JP7291299B2 - 走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法及び学習装置、並びにそれを利用したアップデート方法及びアップデート装置 - Google Patents

走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法及び学習装置、並びにそれを利用したアップデート方法及びアップデート装置 Download PDF

Info

Publication number
JP7291299B2
JP7291299B2 JP2022549394A JP2022549394A JP7291299B2 JP 7291299 B2 JP7291299 B2 JP 7291299B2 JP 2022549394 A JP2022549394 A JP 2022549394A JP 2022549394 A JP2022549394 A JP 2022549394A JP 7291299 B2 JP7291299 B2 JP 7291299B2
Authority
JP
Japan
Prior art keywords
environment
specific
rank
object detector
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022549394A
Other languages
English (en)
Other versions
JP2023514300A (ja
Inventor
柳宇宙
諸泓模
康鳳男
金鎔重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2023514300A publication Critical patent/JP2023514300A/ja
Application granted granted Critical
Publication of JP7291299B2 publication Critical patent/JP7291299B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、２０２０年５月１４日出願された米国特許出願第６３／０２４，６５７号と２０２１年４月１３日出願された米国特許出願第１７／２２９，２６４号に対する優先権を主張し、これは、本願に参照として含まれる。
本発明は、自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための発明であって、具体的には、様々な走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法及び学習装置、並びにそれを利用したアップデート方法及びアップデート装置に関する。
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ； Ｄｅｅｐ ＣＮＮ）は、ディープラーニングの分野で起きた驚くべき発展の核心である。ＣＮＮは、文字認識の問題を解決するために９０年代に既に使用されていたが、現在のように広く使用されるようになったのは、最近の研究結果のおかげである。このようなディープＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類大会で他の競争者に勝ち、優勝を取った。その後、コンボリューションニューラルネットワークは、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）の分野において非常に有用なツールとなった。
このようなコンボリューションニューラルネットワークは、現在様々な分野に応用されており、例えば、自律走行車両に搭載されるオブジェクト検出器を具現することに応用され得る。
ところが、自律走行車両の走行環境は地域、時間、天気などによって多様に変化し、自律走行車両が直面する可能性のある全ての走行環境に対して最適化されたオブジェクト検出器を具現するためには、非常に高い仕様のコンピューティングリソースが必要である。
しかし、一般的に自律走行車両には限定されたコンピューティングリソースが提供されるため、様々な走行環境に対して最適化された一つのオブジェクト検出器を自律走行車両に搭載することは、ほぼ不可能である。
従って、前記問題点を解決するための改善方案が要求される実情である。
本発明は、上述した問題点を全て解決することをその目的とする。
また、本発明は、自律走行車両が様々な走行環境でも円滑に走行することができるようにすることを他の目的とする。
また、本発明は、自律走行車両のオブジェクト検出器がそれぞれの走行環境に適した最適のオブジェクト検出器にアップデートされるようにすることを他の目的とする。
本発明の一実施例によると、走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法において、（ａ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させる段階；及び（ｂ）前記学習装置が、（ｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｉ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行する段階；を含む学習方法が提供される。
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記（ｂ）段階で、前記学習装置が、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする。
前記（ｂ）段階で、前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする。
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする。
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記（ｂ）段階で、前記学習装置が、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする。
また、本発明の他の実施例によると、走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための方法において、（ａ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させ、（ｉｉｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｖ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行した状態で、アップデート装置が、前記自律走行車両の走行環境を示す走行環境イメージを獲得する段階；（ｂ）前記アップデート装置が、（ｉ）前記走行環境イメージを前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれに入力することで、前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれをもって、前記第１コンボリューションレイヤ乃至前記第ｎコンボリューションレイヤのそれぞれを通じて前記走行環境イメージに少なくとも一回のコンボリューション演算を適用することで第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを生成させ、（ｉｉ）前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれを前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれに入力することで、前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれをもって、（ｉｉ－１）第１デコンボリューションレイヤ乃至第ｎデコンボリューションレイヤのそれぞれを通じて前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれに少なくとも一回のデコンボリューション演算を適用することで第１走行環境セグメンテーションマップ乃至第ｎ走行環境セグメンテーションマップのそれぞれを生成させ、（ｉｉ－２）前記第１ディスクリミネータ乃至前記第ｎディスクリミネータのそれぞれを通じて、前記走行環境イメージ上の第１走行メイン領域及びこれに対応する前記第１走行環境セグメンテーションマップ上の第１走行サブ領域がクロップされてコンカチネートされることによって生成される第１走行環境ランクマップ乃至前記走行環境イメージ上の第ｎ走行メイン領域及びこれに対応する前記第ｎ走行環境セグメンテーションマップ上の第ｎ走行サブ領域がクロップされてコンカチネートされることによって生成される第ｎ走行環境ランクマップのそれぞれがリアルであるのかフェークであるのかに関する情報をそれぞれ示す第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させる段階；及び（ｃ）前記アップデート装置が、（ｉ）前記第１走行環境ランクスコア乃至前記第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）前記自律走行車両の現在のオブジェクト検出器を前記特定のオブジェクト検出器にアップデートする段階；を含む方法が提供される。
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする。
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする。
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする。
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする。
また、本発明のまた他の実施例によると、走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び前記インストラクションを実行するために構成された少なくとも一つのプロセッサを含み、前記プロセッサは、（Ｉ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させるプロセス及び（ＩＩ）（ｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させ、（ｉｉ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行する学習装置が提供される。
前記プロセッサは、前記（Ｉ）プロセスで、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記（ＩＩ）プロセスで、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする。
前記プロセッサは、前記（ＩＩ）プロセスで、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする。
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする。
前記プロセッサは、前記（Ｉ）プロセスで、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記（ＩＩ）プロセスで、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする。
また、本発明のまた他の実施例によると、走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするためのアップデート装置において、インストラクションを格納する少なくとも一つのメモリ；及び前記インストラクションを実行するために構成された少なくとも一つのプロセッサを含み、前記プロセッサは、（Ｉ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させ、（ｉｉｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｖ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行した状態で、前記自律走行車両の走行環境を示す走行環境イメージを獲得するプロセス、（ＩＩ）（ｉ）前記走行環境イメージを前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれに入力することで、前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれをもって、前記第１コンボリューションレイヤ乃至前記第ｎコンボリューションレイヤのそれぞれを通じて前記走行環境イメージに少なくとも一回のコンボリューション演算を適用することで第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを生成させ、（ｉｉ）前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれを前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれに入力することで、前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれをもって、（ｉｉ－１）第１デコンボリューションレイヤ乃至第ｎデコンボリューションレイヤのそれぞれを通じて前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれに少なくとも一回のデコンボリューション演算を適用することで第１走行環境セグメンテーションマップ乃至第ｎ走行環境セグメンテーションマップのそれぞれを生成させ、（ｉｉ－２）前記第１ディスクリミネータ乃至前記第ｎディスクリミネータのそれぞれを通じて、前記走行環境イメージ上の第１走行メイン領域及びこれに対応する前記第１走行環境セグメンテーションマップ上の第１走行サブ領域がクロップされてコンカチネートされることによって生成される第１走行環境ランクマップ乃至前記走行環境イメージ上の第ｎ走行メイン領域及びこれに対応する前記第ｎ走行環境セグメンテーションマップ上の第ｎ走行サブ領域がクロップされてコンカチネートされることによって生成される第ｎ走行環境ランクマップのそれぞれがリアルであるのかフェークであるのかに関する情報をそれぞれ示す第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させるプロセス及び（ＩＩＩ）（ｉ）前記第１走行環境ランクスコア乃至前記第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）前記自律走行車両の現在のオブジェクト検出器を前記特定のオブジェクト検出器にアップデートするプロセスを遂行するアップデート装置が提供される。
前記（Ｉ）プロセスで、前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする。
前記（Ｉ）プロセスで、前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする。
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする。
前記（Ｉ）プロセスで、前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする。
本発明は、自律走行車両が様々な走行環境でも円滑に走行することができるようにする効果がある。
また、本発明は、自律走行車両のオブジェクト検出器をそれぞれの走行環境に適した最適のオブジェクト検出器にアップデートすることができる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図１は、本発明の一実施例において、それぞれの走行環境に対応するそれぞれのオブジェクト検出器及びこれに対応するそれぞれのランクネットワークを学習させる学習装置を簡略に示した図面である。 図２は、本発明の一実施例において、学習装置が走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするために、それぞれのオブジェクト検出器及びこれに対応するそれぞれのランクネットワークを学習させる過程を簡略に示した図面である。 図３は、本発明の一実施例において、学習装置が走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするために、それぞれのオブジェクト検出器及びこれに対応するそれぞれのランクネットワークを学習させる過程を簡略に示した図面である。 図４は、本発明の一実施例において、特定の走行環境に適応するように自律走行車両のオブジェクト検出器を特定のオブジェクト検出器にアップデートするアップデート装置を簡略に示した図面である。 図５は、本発明の一実施例において、アップデート装置が自律走行車両のオブジェクト検出器を特定のオブジェクト検出器にアップデートする過程を簡略に示した図面である。 図６は、本発明の一実施例において、アップデート装置が自律走行車両のオブジェクト検出器を特定のオブジェクト検出器にアップデートする過程を簡略に示した図面である。 図７は、本発明の一実施例において、アップデート装置が自律走行車両のオブジェクト検出器を特定のオブジェクト検出器にアップデートするための方法を簡略に示した図面である。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴若しくは各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本明細書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取られるものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な態様にわたって同一であるか、又は類似の機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
ここに提供される本発明の名称や概要は単に便宜のために提供されるもので、この実施形態の範囲または意味を制限し、または限定的に解釈されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
以下の説明では、自動車を例に挙げて説明するが、本発明がこれに限定されるわけではなく、軍事、監視などの分野のように少なくとも一つのカメラが少なくとも一つの所定領域の少なくとも一つのオブジェクトを検出する分野にはどこでも適用され得る。
図１は、本発明の一実施例において、それぞれの走行環境に対応するそれぞれのオブジェクト検出器及びこれに対応するそれぞれのランクネットワークを学習させる学習装置１０００を簡略に示した図面であり、学習装置１０００は、それぞれの走行環境に対応するそれぞれのオブジェクト検出器及びこれに対応するそれぞれのランクネットワークを学習させるためのインストラクションを格納するメモリ１００１と、メモリ１００１に格納されたインストラクションに対応してそれぞれの走行環境に対応するそれぞれのオブジェクト検出器及びこれに対応するそれぞれのランクネットワークを学習させる動作を遂行するプロセッサ１００２とを含むことができる。
具体的に、学習装置１０００は、典型的にコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）及びコンピュータソフトウェア（即ち、コンピューティング装置をもって特定の方式で機能させる各インストラクション）の組合せを利用して所望のシステム性能を達成するものであり得る。
また、コンピューティング装置のプロセッサはＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置はオペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むことができる。
しかし、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。
このように構成された学習装置１０００を利用して走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法について図２及び図３を参照して説明すると以下の通りである。
参考として、下記でそれぞれの構成要素が単数で記載されたとしても、複数の可能性を排除するわけではない。
一例として、本発明の学習装置は、複数のオブジェクト検出器（例えば、ｎ個のオブジェクト検出器）とこれに対応する複数のランクネットワーク（例えば、ｎ個のランクネットワーク）をそれぞれ学習させることができ、図２は、便宜上、第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器１１００－ｋ及びこれに対応する第ｋ環境特定ランクネットワーク１２００－ｋのみを代表的に示している。この際、ｎは１以上の整数であり得る。また、ｋは１以上であり、ｎ以下の整数であり得る。
図２を参照すると、第ｋ環境特定オブジェクト検出器１１００－ｋは、第ｋ環境特定コンボリューションレイヤ、第ｋ環境特定プーリングレイヤ、第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）及び第ｋ環境特定ＦＣレイヤ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）のうち少なくとも一部を含むことができる。
また、第ｋ環境特定ランクネットワーク１２００－ｋは、第ｋ環境特定デコンボリューションレイヤ及び第ｋ環境特定ディスクリミネータ（ｄｉｓｃｒｉｍｉｎａｔｏｒ）を含むことができる。
この際、第ｋ環境特定ディスクリミネータを含むそれぞれのディスクリミネータは、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を遂行する分類器（ｃｌａｓｓｉｆｉｅｒ）であり得、一例として、前記分類器は、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）であり得る。
参考として、前記ディスクリミネータは、ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ（ＧＡＮ）モデルのディスクリミネータであり得る。
一般的に、ＧＡＮモデルは、ジェネレータ（ｇｅｎｅｒａｔｏｒ）及びディスクリミネータを含むことができるが、（ｉ）ジェネレータは、入力を変換してフェークイメージ（ｆａｋｅ ｉｍａｇｅ、例えば、セグメンテーションマップ）を生成することができ、（ｉｉ）ディスクリミネータは、獲得された入力（例えば、ジェネレータから出力されたセグメンテーションマップ）がフェークイメージ（ｆａｋｅ ｉｍａｇｅ）であるのかリアルイメージ（ｒｅａｌ ｉｍａｇｅ）であるのかに関する情報を示す確率値を出力することができる。
この際、ジェネレータは、コンボリューションレイヤ及びデコンボリューションレイヤを含むことができる。従って、以下では、第ｋ環境特定ジェネレータが、第ｋ環境特定コンボリューションレイヤ及び第ｋ環境特定デコンボリューションレイヤを含むものとして説明する。
まず、学習装置１０００の動作について具体的に説明すると、第ｋ走行環境に対応しており第ｋオブジェクトラベル及び第ｋセグメンテーションラベルを含む少なくとも一つの第ｋ学習イメージが全体の学習イメージの中から選択され得る。この際、全体の学習イメージは、第１学習イメージ乃至第ｎ学習イメージを含むことができる。また、第１学習イメージのそれぞれは、第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含むことができ、第ｎ学習イメージのそれぞれは、第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含むことができる。この際、ｎは１以上の整数であり、ｋは１以上ｎ以下の整数であり得る。
例えば、第１走行環境乃至第ｎ走行環境には、都心地における走行環境、郊外における走行環境、山岳地帯における走行環境、海岸における走行環境、雨が降っている走行環境及び雪が降っている走行環境のうち少なくとも一部が該当し得る。ただし、これは様々な走行環境に対する例示に過ぎず、第１走行環境乃至第ｎ走行環境には、自律走行車両が直面する可能性のある任意の走行環境のうち少なくとも一部が含まれ得る。
そして、学習装置１０００は、第ｋ学習イメージを第１走行環境に対応する第１オブジェクト検出器乃至第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器１１００－ｋに入力することで、第ｋ環境特定オブジェクト検出器１１００－ｋをもって、第ｋ学習イメージに含まれた少なくとも一つのオブジェクトに対してオブジェクト検出を遂行し、第ｋ環境特定オブジェクトディテクション情報を生成させることができる。
一例として、学習装置１０００は、第ｋ学習イメージを第ｋ環境特定オブジェクト検出器１１００－ｋに入力することで、第ｋ環境特定オブジェクト検出器１１００－ｋをもって（ｉ）第ｋ環境特定オブジェクト検出器１１００－ｋの少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉｉ）第ｋ環境特定オブジェクト検出器１１００－ｋの第ｋ環境特定プーリングレイヤを通じて第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して第ｋ環境特定フィーチャーマップにＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉｉｉ）第ｋ環境特定オブジェクト検出器１１００－ｋの第ｋ環境特定ＦＣレイヤを通じて第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させることができる。
この際、学習装置１０００は、第ｋ環境特定オブジェクト検出器１１００－ｋをもって、第ｋ環境特定オブジェクト検出器１１００－ｋの第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて第ｋ環境特定ＲＯＩ情報を生成させることができる。
また、学習装置１０００は、第ｋ環境特定フィーチャーマップを第１オブジェクト検出器に対応する第１ランクネットワーク乃至第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち第ｋ環境特定オブジェクト検出器１１００－ｋに対応する第ｋ環境特定ランクネットワーク１２００－ｋに入力することで、第ｋ環境特定ランクネットワーク１２００－ｋをもって、第ｋ環境特定ランクネットワーク１２００－ｋの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させることができる。
参考として、第ｋ環境特定ジェネレータは、第ｋ環境特定コンボリューションレイヤ及び第ｋ環境特定デコンボリューションレイヤを含むことができる。この際、第ｋ環境特定ディスクリミネータに対応する第ｋ環境特定ジェネレータは、第ｋ環境特定コンボリューションレイヤを第ｋ環境特定オブジェクト検出器１１００－ｋと共有することができる。
即ち、第ｋ環境特定ジェネレータは、第ｋ学習イメージに対応する出力として第ｋ環境特定セグメンテーションマップを生成することができる。
そして、学習装置１０００は、第ｋ環境特定ランクネットワーク１２００－ｋをもって、第ｋ環境特定ディスクリミネータを通じて、第ｋ学習イメージ上のメイン領域及びこれに対応する第ｋ環境特定セグメンテーションマップ上の少なくとも一つの第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させることができる。
具体的に説明すると、第ｋ環境特定ディスクリミネータに入力される第ｋ環境特定ランクマップは、第ｋ環境特定ジェネレータから出力される第ｋ環境特定セグメンテーションマップに関する情報だけでなく、第ｋ学習イメージに関する情報も含むことができる。これは、第ｋ環境特定ディスクリミネータをもって、第ｋ環境特定ディスクリミネータに入力される第ｋ環境特定ランクマップがリアルであるのかフェークであるのかを判断させることにおいて、より豊富な情報に基づいて判断することができるようにするためである。参考として、（ｉ）第ｋ学習イメージ上のメイン領域、（ｉｉ）第ｋ環境特定セグメンテーションマップ上の第１サブ領域、（ｉｉｉ）後述する第ｋ環境特定セグメンテーションラベル上の第２サブ領域、（ｉｖ）後述する少なくとも一つの第ｊ環境特定セグメンテーションマップ上の第３サブ領域のそれぞれは、同一の領域に対応する領域であり得る。
そして、学習装置１０００は、（ｉ）第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように第ｋ環境特定オブジェクト検出器１１００－ｋを学習させ、第ｋ環境特定ランクスコアを最大化するように第ｋ環境特定デコンボリューションレイヤと第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｉ）第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコアを最大化するように、また、第ｋ環境特定ランクスコアを最小化するように、第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行することができる。この際、第ｋ環境特定ラベルランクマップは、第ｋ学習イメージ上のメイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成され得る。また、第ｋ環境特定ラベルランクスコアは、第ｋ環境特定ディスクリミネータにより生成され得る。
また、学習装置１０００は、第ｋ環境特定セグメンテーションマップとこれに対応する第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、第ｋ環境特定ランクスコアを最大化するように、第ｋ環境特定デコンボリューションレイヤと第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることができる。
また、学習装置１０００は、第ｋ環境特定ＲＯＩ情報及びこれに対応する第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように第ｋ環境特定ＲＰＮレイヤをさらに学習させることができる。
以下では、ディスクリミネータの性能をさらに向上させるための学習方法を説明する。
図３を参照すると、学習装置１０００は、第ｋ環境特定ディスクリミネータを通じて、第ｋ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す第ｋ環境特定ランクスコアを生成することができる。この際、第ｋ環境特定ランクマップは、第ｋ学習イメージ上のメイン領域及びこれに対応する第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成され得る。
また、学習装置１０００は、第ｋ環境特定ディスクリミネータを通じて、少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成することができる。この際、第ｊ環境特定ランクマップは、第ｋ学習イメージ上のメイン領域及びこれに対応する第ｊ環境特定セグメンテーションマップ上の第３サブ領域がクロップされてコンカチネートされることによって生成され得る。また、ｊは、ｋ値とは異なる、１以上ｎ以下の整数であり得る。
この際、第ｊ環境特定セグメンテーションマップは、第ｋ環境特定ディスクリミネータに対応する第ｋ環境特定ジェネレータを除いた、少なくとも一つの第ｊ環境特定ジェネレータにより生成され得る。
参考として、第ｊ環境特定ジェネレータは、第ｋ環境特定ディスクリミネータに対応する第ｋ環境特定コンボリューションレイヤを除いた、第ｊ環境特定コンボリューションレイヤ及びこれに対応する第ｊ環境特定デコンボリューションレイヤを含むことができる。
即ち、少なくとも一つの第ｊ環境特定セグメンテーションマップは、少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて第ｋ学習イメージにコンボリューション演算が適用されることによって第ｊ環境特定フィーチャーマップが生成された後、第ｊ環境特定コンボリューションレイヤに対応する第ｊ環境特定デコンボリューションレイヤを通じて第ｊ環境特定フィーチャーマップにデコンボリューション演算が適用されることによって生成され得る。
一例として、学習装置１０００は、第１ディスクリミネータの性能をさらに向上させるために、（ｉ）第１ジェネレータを除いた第２ジェネレータ乃至第ｎジェネレータのうち第３ジェネレータを通じて第１学習イメージに対する第３環境特定セグメンテーションマップを出力し、（ｉｉ）第１ランクネットワークをもって第１ディスクリミネータを通じて第３環境特定ランクマップに対する第３環境特定ランクスコアをさらに生成させることができる。この際、第３環境特定セグメンテーションマップは、第１ディスクリミネータに対応する第１走行環境に対応する。また、第３環境特定ランクマップは、第１学習イメージ上の第１メイン領域及びこれに対応する第３環境特定セグメンテーションマップ上の第３サブ領域がクロップされてコンカチネートされることによって生成され得る。
他の例として、学習装置１０００は、第１ディスクリミネータの性能をさらに向上させるために、（ｉ）（ｉ－１）第５ジェネレータを通じて第１学習イメージに対する第５環境特定セグメンテーションマップを出力し、（ｉ－２）第７ジェネレータを通じて第１学習イメージに対する第７環境特定セグメンテーションマップを出力し、（ｉｉ）第１ランクネットワークをもって第１ディスクリミネータを通じて第５環境特定ランクマップに対する第５環境特定ランクスコア及び第７環境特定ランクマップに対する第７環境特定ランクスコアのそれぞれをさらに生成させることができる。この際、第５環境特定セグメンテーションマップ及び第７環境特定セグメンテーションマップは、第１ディスクリミネータに対応する第１走行環境に対応する。また、第５環境特定ランクマップは、第１学習イメージ上の第１メイン領域及びこれに対応する第５環境特定セグメンテーションマップ上の第３サブ領域がクロップされてコンカチネートされることによって生成され得る。また、第７環境特定ランクマップは、第１学習イメージ上の第１メイン領域及びこれに対応する第７環境特定セグメンテーションマップ上の第３サブ領域がクロップされてコンカチネートされることによって生成され得る。
そして、学習装置１０００は、第ｋ環境特定ラベルランクスコアを最大化するように、また、第ｋ環境特定ランクスコアと第ｊ環境特定ランクスコアのそれぞれを最小化するように、第ｋ環境特定ディスクリミネータを学習させることができる。
以下では、オブジェクト検出器及びそれに対応するランクネットワークを学習させるために利用される目的関数（ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ）について説明する。
まず、（ｉ）ディスクリミネータと（ｉｉ）それに対応するコンボリューションレイヤ及びデコンボリューションレイヤとを含むジェネレータを学習させるために使用されるＧＡＮロスは、次の数式１を利用して計算され得る。
Figure 0007291299000001
前記で、ｘは学習イメージ、ｙはセグメンテーションラベル、Ｇ（ｘ）はジェネレータから出力されるセグメンテーションマップ、Ｄ（ｘ，ｙ）は学習イメージ上のメイン領域及びこれに対応するセグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成されるラベルランクマップに対するディスクリミネータの出力であるラベルランクスコア、Ｄ（ｘ，Ｇ（ｘ））は学習イメージ上のメイン領域及びこれに対応するセグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成されたランクマップに対するディスクリミネータの出力であるランクスコアであり得る。
そして、セグメンテーションロスは、次の数式２を利用して計算され得る。
Figure 0007291299000002
前記で、Ｌｃｅは、クロスエントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）ロスであり得る。
次に、オブジェクトディテクションロスは、次の数式３を利用して計算され得る。
Figure 0007291299000003
前記で、Ｒ（ｘ）はＲＰＮから出力されるＲＯＩ情報、Ｏ（ｘ）はオブジェクト検出器から出力されるオブジェクトディテクション情報、ｙｒｐｎはオブジェクトラベルに含まれてＲＰＮレイヤから出力されるターゲット（ｔａｒｇｅｔ）ラベル、ｙｄｅｔはオブジェクトラベルに含まれてオブジェクト検出器から出力されるターゲットラベルであり得る。
そして、ディスクリミネータを学習するためのディスクリミネータロスは、次の数式４を利用して計算され得る。この際、ディスクリミネータロスは、学習対象である特定のディスクリミネータに対応する特定のジェネレータを除いた他のジェネレータに関する情報を参照することで計算され得る。
Figure 0007291299000004
前記でＧｎ（ｘ）は特定のディスクリミネータに対応する特定のジェネレータを除いた少なくとも一つの他のジェネレータから出力される少なくとも一つの他のセグメンテーションマップ、Ｄ（ｘ，Ｇｎ（ｘ））は学習イメージ上のメイン領域及びこれに対応する少なくとも一つの他のセグメンテーションマップ上の第３サブ領域がクロップされてコンカチネートされることによって生成されるランクマップに対する特定のディスクリミネータの出力であるランクスコアであり得る。
これを総合すると、数式１乃至数式４を参照した目的関数（ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ）は、次の数式５のように表され得る。
Figure 0007291299000005
参考として、前記でλはセグメンテーションロスを調節するために選択可能な任意の値であり得る。
学習装置１０００は、数式５の目的関数（ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ）を利用してオブジェクト検出器１１００及びそれに対応するランクネットワークを次のような方法により学習させることができる。
Figure 0007291299000006
Figure 0007291299000007
Figure 0007291299000008
Figure 0007291299000009
Figure 0007291299000010
Figure 0007291299000011
参考として、上記で説明したように、学習装置１０００は、（ｉ）それぞれのジェネレータに含まれるコンボリューションレイヤ及びデコンボリューションレイヤ、（ｉｉ）それぞれのオブジェクト検出器、（ｉｉｉ）それぞれのＲＰＮレイヤを学習させた後、それぞれのジェネレータに対応するそれぞれのディスクリミネータを学習させることができるが、これに限定されるわけではない。例えば、学習装置１０００は、それぞれのジェネレータに対応するそれぞれのディスクリミネータを学習させた後、それぞれのディスクリミネータに対応する（ｉ）それぞれのジェネレータに含まれるコンボリューションレイヤ及びデコンボリューションレイヤ、（ｉｉ）それぞれのオブジェクト検出器、（ｉｉｉ）それぞれのＲＰＮレイヤを学習させることもできる。
このように、それぞれのジェネレータ、それぞれのディスクリミネータ及びそれぞれのオブジェクト検出器が学習された状態で、走行環境イメージが獲得される場合のアップデート装置の動作について、図４乃至図７を参照して説明する。
まず、図４を参照して、自律走行車両のオブジェクト検出器を特定の走行環境に適した特定のオブジェクト検出器にアップデートするアップデート装置について説明する。この際、特定の走行環境に適した特定のオブジェクト検出器は、特定の走行環境に最適化されたオブジェクト検出器であり得る。
アップデート装置２０００は、自律走行車両のオブジェクト検出器を特定の走行環境に対応する特定のオブジェクト検出器にアップデートするためのインストラクションを格納するメモリ２００１と、メモリ２００１に格納されたインストラクションに対応して自律走行車両のオブジェクト検出器を特定の走行環境に対応する特定のオブジェクト検出器にアップデートする動作を遂行するプロセッサ２００２とを含むことができる。
具体的に、アップデート装置２０００は、典型的にコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）及びコンピュータソフトウェア（即ち、コンピューティング装置をもって特定の方式で機能させる各インストラクション）の組合せを利用して所望のシステム性能を達成するものであり得る。
また、コンピューティング装置のプロセッサはＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置はオペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むことができる。
しかし、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。
この際、アップデート装置２０００は、図１に示された学習装置１０００と同一の装置であるか、互いに別個の装置であり得る。
図５を参照すると、自律走行車両のビジョンシステム（ｖｉｓｉｏｎ ｓｙｓｔｅｍ）３０００から自律走行車両の走行環境を示す走行環境イメージが獲得されると、アップデート装置２０００は、第１ランクネットワーク乃至第ｎランクネットワークのそれぞれをもって、走行環境イメージに対応する第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させることができる。
そして、アップデート装置２０００は、（ｉ）第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。
一例として、アップデート装置２０００は、自律走行車両のビジョンシステム３０００に最適のオブジェクト検出器を有線で伝送することによって自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。
他の例として、アップデート装置２０００は、自律走行車両のビジョンシステム３０００に最適のオブジェクト検出器を無線で伝送することによって自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。
即ち、アップデート装置２０００は、ｏｖｅｒ－ｔｈｅ－ａｉｒ（ＯＴＡ）方式を利用して自律走行車両のビジョンシステム３０００に最適のオブジェクト検出器を伝送することによって、自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。
以下では、図６を参照して自律走行車両の現在のオブジェクト検出器が特定のオブジェクト検出器にアップデートされる過程についてより具体的に説明する。
まず、学習装置１０００により、データベースから獲得された第１学習イメージ乃至第ｎ学習イメージが利用されて第１ランクネットワーク乃至第ｎランクネットワーク、及び第１オブジェクト検出器乃至第ｎオブジェクト検出器が学習され、学習された第１ランクネットワーク乃至学習された第ｎランクネットワーク、及び学習された第１オブジェクト検出器乃至学習された第ｎオブジェクト検出器が所定の格納空間に格納された状態でＳ６０１、自律走行車両のビジョンシステム３０００から走行環境イメージが獲得されるとＳ６０２、アップデート装置２０００は、所定の格納空間に格納された第１ランクネットワーク乃至第ｎランクネットワークのそれぞれをもって走行環境イメージに対応する第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させることができる。
そして、アップデート装置２０００は、（ｉ）第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）特定のオブジェクト検出器を自律走行車両のビジョンシステム３０００に伝送Ｓ６０３することで、自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。
以下では、アップデート装置が自律走行車両のオブジェクト検出器を特定のオブジェクト検出器にアップデートする方法について、図７を参照して説明する。
参考として、本発明のアップデート装置２０００は、第１オブジェクト検出器乃至第ｎオブジェクト検出器のそれぞれとこれに対応するそれぞれの第１ランクネットワーク乃至第ｎランクネットワークとのうち少なくとも一部に対して動作を遂行することができ、図７は、便宜上、第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器１１００－ｋ及びこれに対応する第ｋ環境特定ランクネットワーク１２００－ｋのみを代表的に示している。
まず、走行環境イメージが獲得されると、アップデート装置２０００は、（ｉ）走行環境イメージを第１オブジェクト検出器乃至第ｎオブジェクト検出器のそれぞれに入力することで、第１オブジェクト検出器乃至第ｎオブジェクト検出器のそれぞれをもって、第１コンボリューションレイヤ乃至第ｎコンボリューションレイヤのそれぞれを通じて走行環境イメージに少なくとも一回のコンボリューション演算を適用することで第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを生成させ、（ｉｉ）第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを第１ランクネットワーク乃至第ｎランクネットワークのそれぞれに入力することで、第１ランクネットワーク乃至第ｎランクネットワークのそれぞれをもって、（ｉｉ－１）第１デコンボリューションレイヤ乃至第ｎデコンボリューションレイヤのそれぞれを通じて第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれに少なくとも一回のデコンボリューション演算を適用することで第１走行環境セグメンテーションマップ乃至第ｎ走行環境セグメンテーションマップのそれぞれを生成させ、（ｉｉ－２）第１ディスクリミネータ乃至第ｎディスクリミネータのそれぞれを通じて、第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させることができる。この際、第１走行環境ランクスコアは、第１走行環境ランクマップがリアルであるのかフェークであるのかに関する情報を示すことができる。また、第１走行環境ランクマップは、走行環境イメージ上の第１走行メイン領域及びこれに対応する第１走行環境セグメンテーションマップ上の第１走行サブ領域がクロップされてコンカチネートされることによって生成され得る。また、第ｎ走行環境ランクスコアは、第ｎ走行環境ランクマップがリアルであるのかフェークであるのかに関する情報を示すことができる。また、第ｎ走行環境ランクマップは、走行環境イメージ上の第ｎ走行メイン領域及びこれに対応する第ｎ走行環境セグメンテーションマップ上の第ｎ走行サブ領域がクロップされてコンカチネートされることによって生成され得る。
そして、アップデート装置２０００は、（ｉ）第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。この際、例えば、特定のオブジェクト検出器は、第ｋ環境特定オブジェクト検出器１１００－ｋであり得、特定のランクネットワークは、第ｋ環境特定ランクネットワーク１２００－ｋであり得、特定の走行環境ランクスコアは、第ｋ環境特定走行環境ランクスコアであり得る。
これによって、アップデート装置２０００は、自律走行車両をもって様々な走行環境でも最適化されたオブジェクト検出器を利用して適切に走行することができるように支援することができる。
一方、前記ではオブジェクト検出器が自律走行車両に利用される場合について説明したが、これとは異なり、オブジェクト検出器は、自律運航飛行体、自律動作ロボットなど、様々な装置に適用され得る。
また、前記ではオブジェクト検出器をアップデートする方法を説明したが、本発明がこれに限定されるわけではなく、自律走行車両、自律運航飛行体、自律動作ロボットなどに利用される様々な種類のディープラーニングネットワークモデルをアップデートする場合にも同一の方法が適用され得る。
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フレキシブルディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気－光メディア（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (20)

  1. 走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法において、
    （ａ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させる段階；及び
    （ｂ）前記学習装置が、（ｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｉ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行する段階；
    を含む学習方法。
  2. 前記（ａ）段階で、
    前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、
    前記（ｂ）段階で、
    前記学習装置が、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする、請求項１に記載の学習方法。
  3. 前記（ｂ）段階で、
    前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする、請求項１に記載の学習方法。
  4. 前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする、請求項１に記載の学習方法。
  5. 前記（ａ）段階で、
    前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、
    前記（ｂ）段階で、
    前記学習装置が、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする、請求項１に記載の学習方法。
  6. 走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための方法において、
    （ａ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させ、（ｉｉｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｖ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行した状態で、アップデート装置が、前記自律走行車両の走行環境を示す走行環境イメージを獲得する段階；
    （ｂ）前記アップデート装置が、（ｉ）前記走行環境イメージを前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれに入力することで、前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれをもって、前記第１コンボリューションレイヤ乃至前記第ｎコンボリューションレイヤのそれぞれを通じて前記走行環境イメージに少なくとも一回のコンボリューション演算を適用することで第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを生成させ、（ｉｉ）前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれを前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれに入力することで、前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれをもって、（ｉｉ－１）第１デコンボリューションレイヤ乃至第ｎデコンボリューションレイヤのそれぞれを通じて前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれに少なくとも一回のデコンボリューション演算を適用することで第１走行環境セグメンテーションマップ乃至第ｎ走行環境セグメンテーションマップのそれぞれを生成させ、（ｉｉ－２）前記第１ディスクリミネータ乃至前記第ｎディスクリミネータのそれぞれを通じて、前記走行環境イメージ上の第１走行メイン領域及びこれに対応する前記第１走行環境セグメンテーションマップ上の第１走行サブ領域がクロップされてコンカチネートされることによって生成される第１走行環境ランクマップ乃至前記走行環境イメージ上の第ｎ走行メイン領域及びこれに対応する前記第ｎ走行環境セグメンテーションマップ上の第ｎ走行サブ領域がクロップされてコンカチネートされることによって生成される第ｎ走行環境ランクマップのそれぞれがリアルであるのかフェークであるのかに関する情報をそれぞれ示す第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させる段階；及び
    （ｃ）前記アップデート装置が、（ｉ）前記第１走行環境ランクスコア乃至前記第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）前記自律走行車両の現在のオブジェクト検出器を前記特定のオブジェクト検出器にアップデートする段階；
    を含む方法。
  7. 前記（ａ）段階で、
    前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする、請求項６に記載の方法。
  8. 前記（ａ）段階で、
    前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする、請求項６に記載の方法。
  9. 前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする、請求項６に記載の方法。
  10. 前記（ａ）段階で、
    前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする、請求項６に記載の方法。
  11. 走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    前記インストラクションを実行するために構成された少なくとも一つのプロセッサを含み、
    前記プロセッサは、（Ｉ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させるプロセス及び（ＩＩ）（ｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させ、（ｉｉ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行する学習装置。
  12. 前記プロセッサは、
    前記（Ｉ）プロセスで、
    前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、
    前記（ＩＩ）プロセスで、
    前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする、請求項１１に記載の学習装置。
  13. 前記プロセッサは、
    前記（ＩＩ）プロセスで、
    前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする、請求項１１に記載の学習装置。
  14. 前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする、請求項１１に記載の学習装置。
  15. 前記プロセッサは、
    前記（Ｉ）プロセスで、
    前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、
    前記（ＩＩ）プロセスで、
    前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする、請求項１１に記載の学習装置。
  16. 走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするためのアップデート装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    前記インストラクションを実行するために構成された少なくとも一つのプロセッサを含み、
    前記プロセッサは、（Ｉ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させ、（ｉｉｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｖ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行した状態で、前記自律走行車両の走行環境を示す走行環境イメージを獲得するプロセス、（ＩＩ）（ｉ）前記走行環境イメージを前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれに入力することで、前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれをもって、前記第１コンボリューションレイヤ乃至前記第ｎコンボリューションレイヤのそれぞれを通じて前記走行環境イメージに少なくとも一回のコンボリューション演算を適用することで第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを生成させ、（ｉｉ）前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれを前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれに入力することで、前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれをもって、（ｉｉ－１）第１デコンボリューションレイヤ乃至第ｎデコンボリューションレイヤのそれぞれを通じて前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれに少なくとも一回のデコンボリューション演算を適用することで第１走行環境セグメンテーションマップ乃至第ｎ走行環境セグメンテーションマップのそれぞれを生成させ、（ｉｉ－２）前記第１ディスクリミネータ乃至前記第ｎディスクリミネータのそれぞれを通じて、前記走行環境イメージ上の第１走行メイン領域及びこれに対応する前記第１走行環境セグメンテーションマップ上の第１走行サブ領域がクロップされてコンカチネートされることによって生成される第１走行環境ランクマップ乃至前記走行環境イメージ上の第ｎ走行メイン領域及びこれに対応する前記第ｎ走行環境セグメンテーションマップ上の第ｎ走行サブ領域がクロップされてコンカチネートされることによって生成される第ｎ走行環境ランクマップのそれぞれがリアルであるのかフェークであるのかに関する情報をそれぞれ示す第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させるプロセス及び（ＩＩＩ）（ｉ）前記第１走行環境ランクスコア乃至前記第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）前記自律走行車両の現在のオブジェクト検出器を前記特定のオブジェクト検出器にアップデートするプロセスを遂行するアップデート装置。
  17. 前記（Ｉ）プロセスで、
    前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする、請求項１６に記載のアップデート装置。
  18. 前記（Ｉ）プロセスで、
    前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする、請求項１６に記載のアップデート装置。
  19. 前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする、請求項１６に記載のアップデート装置。
  20. 前記（Ｉ）プロセスで、
    前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする、請求項１６に記載のアップデート装置。
JP2022549394A 2020-05-14 2021-05-07 走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法及び学習装置、並びにそれを利用したアップデート方法及びアップデート装置 Active JP7291299B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063024657P 2020-05-14 2020-05-14
US63/024,657 2020-05-14
US17/229,264 2021-04-13
US17/229,264 US11254331B2 (en) 2020-05-14 2021-04-13 Learning method and learning device for updating object detector, based on deep learning, of autonomous vehicle to adapt the object detector to driving circumstance, and updating method and updating device using the same
PCT/KR2021/005723 WO2021230574A1 (en) 2020-05-14 2021-05-07 Learning method and learning device for updating object detector, based on deep learning, of autonomous vehicle to adapt the object detector to driving circumstance, and updating method and updating device using the same

Publications (2)

Publication Number Publication Date
JP2023514300A JP2023514300A (ja) 2023-04-05
JP7291299B2 true JP7291299B2 (ja) 2023-06-14

Family

ID=75801470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022549394A Active JP7291299B2 (ja) 2020-05-14 2021-05-07 走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法及び学習装置、並びにそれを利用したアップデート方法及びアップデート装置

Country Status (6)

Country Link
US (1) US11254331B2 (ja)
EP (1) EP3913530B1 (ja)
JP (1) JP7291299B2 (ja)
KR (1) KR20220003651A (ja)
CN (1) CN115516465A (ja)
WO (1) WO2021230574A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033284B (zh) * 2020-12-22 2022-10-25 迪比（重庆）智能科技研究院有限公司 一种基于卷积神经网络的车辆实时超载检测方法
CN116664825A (zh) * 2023-06-26 2023-08-29 北京智源人工智能研究院 面向大场景点云物体检测的自监督对比学习方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211128A1 (en) 2017-01-24 2018-07-26 Ford Global Technologies, Llc Object Detection Using Recurrent Neural Network And Concatenated Feature Map
US20190072977A1 (en) 2017-09-04 2019-03-07 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object
US20190171223A1 (en) 2017-12-06 2019-06-06 Petuum Inc. Unsupervised Real-to-Virtual Domain Unification for End-to-End Highway Driving
US20200134804A1 (en) 2018-10-26 2020-04-30 Nec Laboratories America, Inc. Fully convolutional transformer based generative adversarial networks

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462940A (zh) * 2014-10-09 2017-02-22 微软技术许可有限责任公司 图像中通用对象检测
US10380741B2 (en) * 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
US10452927B2 (en) * 2017-08-09 2019-10-22 Ydrive, Inc. Object localization within a semantic domain
US10733465B2 (en) * 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US11537868B2 (en) * 2017-11-13 2022-12-27 Lyft, Inc. Generation and update of HD maps using data from heterogeneous sources
US11994860B2 (en) * 2018-06-15 2024-05-28 Allstate Insurance Company Processing system for evaluating autonomous vehicle control systems through continuous learning
US11370423B2 (en) * 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
US10748281B2 (en) * 2018-07-21 2020-08-18 International Business Machines Corporation Negative sample enhanced object detection machine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211128A1 (en) 2017-01-24 2018-07-26 Ford Global Technologies, Llc Object Detection Using Recurrent Neural Network And Concatenated Feature Map
US20190072977A1 (en) 2017-09-04 2019-03-07 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object
US20190171223A1 (en) 2017-12-06 2019-06-06 Petuum Inc. Unsupervised Real-to-Virtual Domain Unification for End-to-End Highway Driving
US20200134804A1 (en) 2018-10-26 2020-04-30 Nec Laboratories America, Inc. Fully convolutional transformer based generative adversarial networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xinge ZHU et al.，Adapting Object Detectors via Selective Cross-Domain Alignment，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)，2019年06月，pp.687-696

Also Published As

Publication number Publication date
JP2023514300A (ja) 2023-04-05
EP3913530C0 (en) 2024-01-17
EP3913530A1 (en) 2021-11-24
US11254331B2 (en) 2022-02-22
WO2021230574A1 (en) 2021-11-18
CN115516465A (zh) 2022-12-23
EP3913530B1 (en) 2024-01-17
US20210354721A1 (en) 2021-11-18
KR20220003651A (ko) 2022-01-10

Similar Documents

Publication Publication Date Title
US11087175B2 (en) Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
US10824947B2 (en) Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same
JP6923960B2 (ja) 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
EP3690846A1 (en) Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
JP7092383B2 (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
JP6912835B2 (ja) 自律走行自動車のレベル４を満たすために要求されるｈｄマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
JP6850046B2 (ja) 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、ｃｎｎ基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
JP7291299B2 (ja) 走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法及び学習装置、並びにそれを利用したアップデート方法及びアップデート装置
EP3686795B1 (en) Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
KR102320985B1 (ko) 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
JP6892157B2 (ja) Ｖ２ｘ情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して３ｄ空間を再構築することによりｈｄマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
CN111507983A (zh) 利用周边汽车的图像自动标注基础汽车的图像的方法及装置
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
CN116524379A (zh) 基于注意力机制和自适应特征融合的航拍目标检测方法
KR20220134428A (ko) 서로 다른 스펙을 가지는 영상 장치들로부터 획득된 이미지들을 이용하여 퍼셉션 네트워크를 학습 및 테스트하는 방법 및 이를 이용한 학습 및 테스트 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230602

R150 Certificate of patent or registration of utility model

Ref document number: 7291299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150