JP6908946B2 - 距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法及び学習装置、そしてこれを使用したテスト方法及びテスト装置 - Google Patents

距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法及び学習装置、そしてこれを使用したテスト方法及びテスト装置 Download PDF

Info

Publication number
JP6908946B2
JP6908946B2 JP2020007739A JP2020007739A JP6908946B2 JP 6908946 B2 JP6908946 B2 JP 6908946B2 JP 2020007739 A JP2020007739 A JP 2020007739A JP 2020007739 A JP2020007739 A JP 2020007739A JP 6908946 B2 JP6908946 B2 JP 6908946B2
Authority
JP
Japan
Prior art keywords
test
image
information
learning
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020007739A
Other languages
English (en)
Other versions
JP2020126630A (ja
Inventor
金桂賢
金鎔重
金鶴京
南雲鉉
夫碩▲くん▼
成明哲
申東洙
呂東勳
柳宇宙
李明春
李炯樹
張泰雄
鄭景中
諸泓模
趙浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126630A publication Critical patent/JP2020126630A/ja
Application granted granted Critical
Publication of JP6908946B2 publication Critical patent/JP6908946B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、自律走行自動車に使用する学習方法及び学習装置に関し、より詳細には、距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法及び学習装置、そしてこれを使用したテスト方法及びテスト装置に関する。
最近、自律走行分野においては、自主走行自動車周辺の物体を検出するために大きく三種類のセンサが使用される。三種類のセンサは、それぞれライダー（ＬｉＤＡＲ）、レーダ（Ｒａｄａｒ）及びカメラである。このようなそれぞれのセンサには、それぞれの短所がある。例えば、ライダーの短所は、広く用いられるには価格が高いという点、レーダの短所は単独で使用されると性能が劣るという点、カメラの短所は天気などの周辺状況の影響を多大に受けるために不安定であるという点である。
それぞれのセンサを個別に使用することは前記ような問題点があるところ、これらを共に使用するセンサ融合（Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）方法が必要である。
しかしながら、センサ融合方法は、皮相的に二つの結果を合わせる方法に関する研究のみが行われており、センサ融合方法の深層についてはあまり研究されていないのが事実である。
本発明は、上述した問題点を解決することを目的とする。
本発明は、距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合（Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）を遂行する学習方法を提供することによって、自律走行を支援するニューラルネットワークを向上させることを目的とする。
また、本発明は、ニューラルネットワークがレーダを通じて取得された情報とカメラを通じて取得された情報とを、チャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成された統合情報を使用するようにして自律走行を支援する方法を提供することを他の目的とする。
また、本発明は、特定の物体に関する情報を含む、レーダを通じて取得された追加情報を使用することによって、別途に特定の物体に関する情報なしでもカメラを通じて得た不完全な情報を補完し得るようにすることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は以下のとおりである。
本発明の一態様によると、撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する方法において、（ａ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記学習装置が、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；（ｂ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させる段階；及び（ｃ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させる段階；を含むことを特徴とする。
一実施例において、前記（ａ）段階で、前記学習装置が、（ｉ）前記デプスイメージを参照して、前記対象自動車からの前記物体の少なくとも一つの距離及び少なくとも一つの角度に関する情報を取得した後、（ｉｉ）前記距離及び前記角度に関する前記情報を参照して前記撮影イメージ上における前記物体のうち少なくとも一部に対応する少なくとも一つの物体座標を求め、（ｉｉｉ）前記物体座標と確率分布とを参照して生成された値をガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するピクセル値として設定して少なくとも一つの前記ガイドチャンネルイメージを生成した後、（ｉｖ）前記ガイドチャンネルイメージを前記撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記マルチチャンネル統合イメージを生成することを特徴とする。
一実施例において、前記（ａ）段階で、前記学習装置が、前記物体座標のうち第１物体座標ないし第Ｎ物体座標と前記確率分布とを参照して下記数式による演算を遂行することによって、前記ガイドチャンネルイメージに、それに対応するピクセル値として含まれる前記値を算出し、
Figure 0006908946
前記数式において、Pkは前記ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、Pkx及びPkyそれぞれは、前記ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、Gmx及びGmyそれぞれは第ｍ物体座標（ｍは１以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする。
一実施例において、前記（ｂ）段階で、前記学習装置が、前記ＣＮＮと連動して作動するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記特徴マップを参照して、前記マルチチャンネル統合イメージ上の前記物体のうち少なくとも一部の少なくとも一つの位置に対応する少なくとも一つの予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）に関する情報を生成させ、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現された前記アウトプットレイヤをもって、前記予測ＲＯＩを参照して前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を含む前記予測物体情報を生成させることを特徴とする。
一実施例において、前記（ａ）段階で、前記学習装置が、前記コンボリューションレイヤに含まれているそれぞれのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）をもって、少なくとも一つのそれ自体のパラメータを使用して、それ自体に入力された値に対して演算を適用した後、出力された値をそれ自体の次のコンボリューションニューロンに伝達するプロセスを繰り返すことによって、前記マルチチャンネル統合イメージに対して前記コンボリューション演算を適用させることを特徴とする。
一実施例において、前記（ｂ）段階で、前記学習装置が、前記コンボリューションレイヤに対応する少なくとも一つのデコンボリューションレイヤの形態で具現された前記アウトプットレイヤをもって、前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測セグメンテーションイメージを含む前記予測物体情報を生成させることを特徴とする。
一実施例において、前記学習装置が、前記コンボリューションレイヤをもって、前記撮影イメージに関する情報とともに前記デプスイメージに関する情報も反映された前記特徴マップを生成させることによって、前記物体のうち前記物体描写率が閾値未満であるそれぞれの特定物体に関する情報が前記予測物体情報にさらに含まれ得るようにすることを特徴とする。
本発明の他の態様によると、撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮをテストする方法において、（ａ）（１）（ｉ）学習装置と連動して作動する学習用対象自動車上の学習用カメラを通じて取得された学習用撮影イメージと、（ｉｉ）前記学習用対象自動車の学習用レーダを通じて取得された学習用デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）とを使用して生成された学習用マルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記学習装置が、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記学習用マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記学習用撮影イメージに関する情報と共に前記学習用デプスイメージに関する情報も反映された少なくとも一つの学習用特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（２）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記学習用特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記学習用マルチチャンネル統合イメージ内の前記学習用物体に関する学習用予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させ、（３）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、前記ＣＮＮ内の前記コンボリューションレイヤをもって、（ｉ）前記テスト装置と連動して作動するテスト用対象自動車上のテスト用カメラを通じて取得されたテスト用撮影イメージと、（ｉｉ）前記テスト用対象自動車のテスト用レーダを通じて取得されたテスト用デプスイメージとを使用して生成されたテスト用マルチチャンネル統合イメージに対して前記コンボリューション演算を少なくとも一回適用させて、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された少なくとも一つのテスト用特徴マップを生成させる段階；及び（ｂ）前記テスト装置が、前記ＣＮＮ内の前記アウトプットレイヤをもって、前記テスト用特徴マップに対して前記アウトプット演算を適用させて、前記テスト用マルチチャンネル統合イメージ内の前記テスト用物体に関するテスト用予測物体情報を生成させる段階；を含むことを特徴とする。
一実施例において、前記（ａ）段階で、前記テスト装置が、（ｉ）前記テスト用デプスイメージを参照して前記テスト用対象自動車からの前記テスト用物体の少なくとも一つのテスト用距離及び少なくとも一つのテスト用角度に関するテスト用情報を取得した後、（ｉｉ）前記テスト用距離及び前記テスト用角度に関する前記テスト用情報を参照して前記テスト用撮影イメージ上における前記テスト用物体のうち少なくとも一部に対応する少なくとも一つのテスト用物体座標を求め、（ｉｉｉ）前記テスト用物体座標とテスト用確率分布とを参照して生成された値をテスト用ガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するテスト用ピクセル値として設定して少なくとも一つの前記テスト用ガイドチャンネルイメージを生成した後、（ｉｖ）前記テスト用ガイドチャンネルイメージを前記テスト用撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記テスト用マルチチャンネル統合イメージを生成することを特徴とする。
一実施例において、前記（ａ）段階で、前記テスト装置が、前記テスト用物体座標のうちテスト用第１物体座標ないしテスト用第Ｎ物体座標と前記テスト用確率分布とを参照して下記数式による演算を遂行することによって、前記テスト用ガイドチャンネルイメージに、それに対応するテスト用ピクセル値として含まれる前記値を算出し、
Figure 0006908946
前記数式において、Pkは前記テスト用ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、Pkx及びPkyそれぞれは、前記テスト用ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、Gmx及びGmyそれぞれは、テスト用第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする。
一実施例において、前記テスト装置が、前記コンボリューションレイヤをもって、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された前記テスト用特徴マップを生成させることによって、前記テスト用物体のうち前記物体描写率が閾値未満であるそれぞれの特定のテスト用物体に関する情報が前記テスト用予測物体情報にさらに含まれ得るようにし、（ｃ）前記テスト装置が、前記テスト用予測物体情報を前記テスト用対象自動車上の少なくとも一つの自律走行モジュールに伝達することによって、前記テスト用対象自動車の自律走行を支援する段階；をさらに含むことを特徴とする。
本発明のまた他の態様によると、撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス、（ＩＩ）前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させるプロセス、及び（ＩＩＩ）前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）前記デプスイメージを参照して前記対象自動車からの前記物体の少なくとも一つの距離及び少なくとも一つの角度に関する情報を取得した後、（ｉｉ）前記距離及び前記角度に関する前記情報を参照して前記撮影イメージ上における前記物体のうち少なくとも一部に対応する少なくとも一つの物体座標を求め、（ｉｉｉ）前記物体座標と確率分布とを参照して生成された値をガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するピクセル値として設定して少なくとも一つの前記ガイドチャンネルイメージを生成した後、（ｉｖ）前記ガイドチャンネルイメージを前記撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記マルチチャンネル統合イメージを生成することを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記物体座標のうち第１物体座標ないし第Ｎ物体座標と前記確率分布とを参照して下記数式による演算を遂行することによって、前記ガイドチャンネルイメージに、それに対応するピクセル値として含まれる前記値を算出し、
Figure 0006908946
前記数式において、Pkは前記ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、Pkx及びPkyそれぞれは前記ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、Gmx及びGmyそれぞれは第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記ＣＮＮと連動して作動するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記特徴マップを参照して前記マルチチャンネル統合イメージ上の前記物体のうち少なくとも一部の少なくとも一つの位置に対応する少なくとも一つの予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）に関する情報を生成させ、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現された前記アウトプットレイヤをもって、前記予測ＲＯＩを参照して前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を含む前記予測物体情報を生成させることを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記コンボリューションレイヤに含まれているそれぞれのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）をもって、少なくとも一つのそれ自体のパラメータを使用して、それ自体に入力された値に対して演算を適用した後、出力された値をそれ自体の次のコンボリューションニューロンに伝達するプロセスを繰り返すことによって、前記マルチチャンネル統合イメージに対して前記コンボリューション演算を適用させることを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記コンボリューションレイヤに対応する少なくとも一つのデコンボリューションレイヤの形態で具現された前記アウトプットレイヤをもって、前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測セグメンテーションイメージを含む前記予測物体情報を生成させることを特徴とする。
一実施例において、前記プロセッサが、前記コンボリューションレイヤをもって、前記撮影イメージに関する情報とともに前記デプスイメージに関する情報も反映された前記特徴マップを生成させることによって、前記物体のうち前記物体描写率が閾値未満であるそれぞれの特定物体に関する情報が前記予測物体情報にさらに含まれ得るようにすることを特徴とする。
本発明のまた他の態様によると、撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮをテストするテスト装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）（１）学習装置が、（ｉ）学習装置と連動して作動する学習用対象自動車上の学習用カメラを通じて取得された学習用撮影イメージ、及び（ｉｉ）前記学習用対象自動車の学習用レーダを通じて取得された学習用デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成された学習用マルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記学習用マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記学習用撮影イメージに関する情報と共に前記学習用デプスイメージに関する情報も反映された少なくとも一つの学習用特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（２）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記学習用特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記学習用マルチチャンネル統合イメージ内の前記学習用物体に関する学習用予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させ、（３）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させた状態で、前記ＣＮＮ内の前記コンボリューションレイヤをもって、（ｉ）前記テスト装置と連動して作動するテスト用対象自動車上のテスト用カメラを通じて取得されたテスト用撮影イメージと、（ｉｉ）前記テスト用対象自動車のテスト用レーダを通じて取得されたテスト用デプスイメージとを使用して生成されたテスト用マルチチャンネル統合イメージに対して前記コンボリューション演算を少なくとも一回適用させて、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された少なくとも一つのテスト用特徴マップを生成させるプロセス、及び（ＩＩ）前記ＣＮＮ内の前記アウトプットレイヤをもって、前記テスト用特徴マップに対して前記アウトプット演算を適用させて、前記テスト用マルチチャンネル統合イメージ内の前記テスト用物体に対するテスト用予測物体情報を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）前記テスト用デプスイメージを参照して前記テスト用対象自動車からの前記テスト用物体の少なくとも一つのテスト用距離及び少なくとも一つのテスト用角度に関するテスト用情報を取得した後、（ｉｉ）前記テスト用距離及び前記テスト用角度に関する前記テスト用情報を参照して前記テスト用撮影イメージ上における前記テスト用物体のうち少なくとも一部に対応する少なくとも一つのテスト用物体座標を求め、（ｉｉｉ）前記テスト用物体座標とテスト用確率分布とを参照して生成された値をテスト用ガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するテスト用ピクセル値として設定して少なくとも一つの前記テスト用ガイドチャンネルイメージを生成した後、（ｉｖ）前記テスト用ガイドチャンネルイメージを前記テスト用撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記テスト用マルチチャンネル統合イメージを生成することを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記テスト用物体座標のうちテスト用第１物体座標ないしテスト用第Ｎ物体座標と前記テスト用確率分布とを参照して下記数式による演算を遂行することによって、前記テスト用ガイドチャンネルイメージに、それに対応するテスト用ピクセル値として含まれる前記値を算出し、
Figure 0006908946
前記数式において、Pkは前記テスト用ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、Pkx及びPkyそれぞれは前記テスト用ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、Gmx及びGmyそれぞれはテスト用第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする。
一実施例において、前記プロセッサが、前記コンボリューションレイヤをもって、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された前記テスト用特徴マップを生成させることによって、前記テスト用物体のうち前記物体描写率が閾値未満であるそれぞれの特定のテスト用物体に関する情報が前記テスト用予測物体情報にさらに含まれ得るようにし、（ＩＩＩ）前記プロセッサが、前記テスト用予測物体情報を前記テスト用対象自動車上の少なくとも一つの自律走行モジュールに伝達することによって、前記テスト用対象自動車の自律走行を支援するプロセス；をさらに遂行することを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合（Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）を遂行する学習方法を提供することによって、自律走行を支援するニューラルネットワークを向上させることができる効果がある。
また、本発明は、ニューラルネットワークがレーダを通じて取得された情報とカメラを通じて取得された情報とをチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成された統合情報を使用するようにして、自律走行を支援する方法を提供することができる他の効果がある。
また、本発明は、特定の物体に関する情報を含む、レーダを通じて取得された追加情報を使用することによって、特定の情報に関する情報なしでもカメラを通じて得た不完全な情報を補完することができるまた他の効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合（Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行する学習装置の構成を簡略に示した図面である。 本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行するのに使用されるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の構成を簡略に示した図面である。 本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を示したフローチャートである。 本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行するために使用されるマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）の一例を示した図面である（その１）。 本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行するために使用されるマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）の一例を示した図面である（その２）。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、その他の障害物）を想定することができるであろう。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合（Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行する学習装置の構成を簡略に示した図面である。
図１を参照すると、学習装置１００は、追って詳細に説明する構成要素であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１３０を含むことができる。ＣＮＮ１３０の入出力及び演算過程は、それぞれ通信部１１０及びプロセッサ１２０により行われ得る。ただし、図１では通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は、後述する様々なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納した状態であり得り得、プロセッサ１２０は、メモリ１１５に格納されたインストラクションを遂行し、プロセッサ１２０は、追って説明する本発明のプロセスを遂行することができる。このように学習装置１００が描写されたからといって、学習装置１００が本発明を実施するためのプロセッサ、メモリ、ミディアムまたはその他のコンピューティング装置の組み合わせを含む統合装置を排除するわけではない。
このような学習装置１００は、対象自動車と連動して作動し、これに搭載された少なくとも一つのカメラ及び少なくとも一つのレーダ（Ｒａｄａｒ）それぞれからトレーニングデータのうち少なくとも一部、つまり、追って説明する撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）及びデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を取得することができる。また、学習装置１００は、トレーニングデータに対応するアノテーションデータ（Ａｎｎｏｔａｔｉｏｎ Ｄａｔａ）である原本正解物体情報（Ｇｒｏｕｎｄ Ｔｒｕｔｈ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を取得することができ、これは追って説明される。ここで、撮影イメージに含まれている少なくとも一つの物体に関する情報がタグ付けされた原本正解物体情報が、マネージャーにより学習装置１００に入力され得るが、これに限定されるわけではない。
以上、本発明の実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行する学習装置１００の構成について考察した。以下、これに含まれているＣＮＮ１３０の構成について考察することにする。
図２は、本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行するのに使用されるＣＮＮの構成を簡略に示した図面である。
図２を参照すると、ＣＮＮ１３０は、少なくとも一つのコンボリューションレイヤ１３１と、少なくとも一つのアウトプットレイヤ１３２と、少なくとも一つのロスレイヤ１３３とを含むことができる。ここでコンボリューションレイヤ１３１は、それ自体に入力されたイメージに対してコンボリューション演算を少なくとも一回適用することができる。より具体的には、学習装置１００が、コンボリューションレイヤ１３１に含まれているそれぞれのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）をもって、少なくとも一つのそれ自体のパラメータを使用して、それ自体に入力された値に対して演算を適用した後、出力された値をそれ自体の次のコンボリューションニューロンに伝達するプロセスを繰り返すことによって、前記それ自体に入力されたイメージに対してコンボリューション演算を適用させることができる。
また、アウトプットレイヤ１３２は、所望する出力に応じて異なるように具現され得る。一例として、マネージャーが、入力されたイメージに対応する予測セグメンテーションイメージに追って説明するＣＮＮ１３０の出力である予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）が含まれることを所望するのであれば、アウトプットレイヤ１３２は、コンボリューションレイヤ１３１に対応する少なくとも一つのデコンボリューションレイヤの形態で具現され得、アウトプット演算として、デコンボリューション演算を少なくとも一回遂行することができる。これとは異なり、マネージャーが、入力されたイメージ内の物体に対する予測物体検出結果が予測物体情報に含まれることを所望するのであれば、マネージャーはＣＮＮ１３０と連動して作動するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）を設定することができ、ＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）としてアウトプットレイヤ１３２を具現することができる。ここで、ＲＰＮは、コンボリューションレイヤ１３１で生成された特徴マップを参照して、特徴マップに対応するイメージ上の少なくとも一部の物体の少なくとも一つの位置に対応する少なくとも一つの予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）を生成することができ、ＦＣレイヤとして具現されたアウトプットレイヤ１３２は、予測ＲＯＩに関する情報を参照して特徴マップに対してアウトプット演算としてＦＣ演算を適用して、予測物体検出結果を含む予測物体情報を生成させることができる。
そして、ロスレイヤ１３３の場合、追って説明するが、ロスを生成し、これを使用してバックプロパゲーションを遂行することによって、ＣＮＮ１３０のパラメータのうち少なくとも一部を学習させることができる。
以上、本発明の学習方法を遂行するのに使用されるＣＮＮ１３０について考察してみたところ、以下、本発明の学習方法自体について図３を参照して考察することにする。
図３は、本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を示したフローチャートである。
図３を参照すると、対象自動車上のカメラ及びレーダからそれぞれ取得された撮影イメージ及びデプスイメージを使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、学習装置１００は、ＣＮＮ１３０内のコンボリューションレイヤ１３１をもって、マルチチャンネル統合イメージに対してコンボリューション演算を適用させて、撮影イメージの情報と共にデプスイメージの情報も反映された特徴マップを生成させることができる（Ｓ０１）。そして、学習装置１００は、ＣＮＮ１３０内のアウトプットレイヤ１３２をもって、特徴マップに対してアウトプット演算を適用させて、マルチチャンネル統合イメージ上の物体に関する予測物体情報を生成させることができる（Ｓ０２）。最後に、学習装置１００は、ＣＮＮ１３０内のロスレイヤ１３３をもって、予測物体情報及びこれに対応する原本正解物体情報を参照してロスを生成させ、これを参照してバックプロパゲーションを遂行することによって、ＣＮＮ１３０のパラメータのうち少なくとも一部を学習させることができる（Ｓ０３）。以下、これについてさらに具体的に説明することにする。
まず、マルチチャンネル統合イメージの取得過程について説明することにする。ここで、撮影イメージは、一般的なカメラにより撮影されたイメージであるので、３つのチャンネル、すなわち、Ｒ、Ｇ、ＢまたはＨ、Ｓ、Ｖチャンネルを有することができる。デプスイメージの場合、対象自動車からの少なくとも一つの距離及び少なくとも一つの角度である二種類の情報を含むので、２つのチャンネルを有することができる。撮影イメージとデプスイメージとは互いにサイズが異なるため、直接コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）され得ない。したがって、学習装置１００は、距離と角度とに関する情報を参照して、撮影イメージ上における物体のうち少なくとも一部に対応する少なくとも一つの物体座標を求めることができる。具体的には、学習装置１００は、（ｉ）パラメータ情報を活用してカメラのＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）情報を得た後、（ｉｉ）ＦＯＶ情報を参照して撮影イメージのそれぞれのピクセルを仮想３次元空間の中にマッピングし、（ｉｉｉ）距離及び角度に関する情報を仮想３次元空間内のピクセル位置と比較することによって、マルチチャンネル統合イメージ上の物体座標を算出することができる。
ここで、それぞれの物体座標は、物体のそれぞれの少なくとも一つの中心座標として決定され得ることもあり、形態等を含めた特性に応じたそれぞれの物体の複数個の座標で決定され得るが、これに限定されるわけではない。
物体座標が取得された後、学習装置１００は、物体座標と確率分布とを参照して生成された値をガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するピクセル値として設定して、少なくとも一つのガイドチャンネルイメージを生成することができる。このプロセスを遂行することによって、デプスイメージはガイドチャンネルイメージの形態で撮影イメージとコンカチネートされ得る。
ここで、ピクセル値は、下記数式による演算を遂行することによって取得され得る。説明の便宜のために、前記物体座標が第１物体座標及び第Ｎ物体座標を含むと仮定し、Ｎは撮影イメージ内の物体の個数に対応する整数（ｉｎｔｅｇｅｒ）である。
Figure 0006908946
前記数式において、Pkはガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、Pkx及びPkyそれぞれは、前記ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し得る。また、ｍは１以上Ｎ以下の整数である場合、Gmx及びGmyそれぞれは第ｍ物体座標のｘ座標及びｙ座標をそれぞれ意味し得る。また、σは予め設定されたサイズ調整値を意味し得る。前記数式によると、ある物体座標と相対的に近い地点の第１例示ピクセル値は相対的に大きく、ある物体座標と相対的に遠い地点の第２例示ピクセル値は、相対的に小さく算出され得る。このようなピクセル値の例示について検討するために、図４ａと図４ｂとを参照することにする。
図４ａと図４ｂとは、本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行するために使用されるマルチチャンネル統合イメージの一例を示した図面である。
図４ａと図４ｂとを参照すると、３つのチャンネルを有する撮影イメージと、物体座標を使用して決定されたピクセル値に対するチャンネルである１つのチャンネルを有するガイドチャンネルイメージとは、マルチチャンネル統合イメージの生成に使用されるため、マルチチャンネル統合イメージ２００は、少なくとも４つのチャンネルを有するイメージであることが分かる。よって、先の３つのチャンネル２１０、２２０、２３０は、カメラから取得された一般的なイメージのチャンネル、すなわち、Ｒ、Ｇ、ＢまたはＨ、Ｓ、Ｖを表すことができる。最後のチャンネル２４０は、前述したガイドチャンネルイメージに対応し、上記のように算出されたピクセル値は、最後のチャンネル２４０において見ることができる。すなわち、第ｍ物体座標２４１に対して、これから最も近いピクセル２４１−１のピクセル値は０．７、中間程度に近いピクセル２４１−２のピクセル値は０．４、最も遠いピクセル２４１−３のピクセル値は０．２であり得る。そして、第ｍ物体座標２４１以外に他の物体座標２４２により、また他のピクセル２４１−４のピクセル値は、他の物体座標２４２と第ｍ物体座標２４１との両方の影響を受けて０．９であって、ずっと大きい。
このようにマルチチャンネル統合イメージが生成された後、学習装置１００は、前述したＳ０１、Ｓ０２及びＳ０３のプロセスを遂行して、ＣＮＮ１３０のパラメータのうち少なくとも一部を学習することができる。当該プロセスは、一般的なフィードフォワードニューラルネットワーク（Ｆｅｅｄ−Ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習プロセスと類似するため、通常の技術者は前記の説明でも十分に本発明を理解することができるはずである。
このような学習プロセスを遂行すると、ＣＮＮは、撮影状況が不適合であることによって撮影イメージ上に少なくとも一つの物体が適合するように現れる確率である、撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ１３０が適合して作動するようにカメラとレーダとをともに使用して学習され得る。より具体的には、対象自動車の周辺が非常に暗いか、対象自動車周辺の天気が極めて好ましくないために撮影イメージ上に物体が適切に表現されないことがあるが、前記ＣＮＮ１３０は、このような場合にも物体認識プロセスまたはイメージセグメンテーションプロセスを十分に遂行することができる。ここで、例示イメージの物体描写率は、入力されたイメージに対する任意の物体に関する情報を検出するように学習されたＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、例示イメージを使用してクラスと位置とを検出させ、ＤＮＮがクラスと位置とを正確に検出する確率を算出することによって生成され得る。例えば、物体のうち過半数以上の特定の物体が建物の影領域に位置して暗く見える状況の場面を撮影イメージが含めば、撮影イメージの物体描写率が閾値未満であり得る。
レーダから取得した情報をカメラから取得した情報に線形的に（Ｌｉｎｅａｒｌｙ）追加する従来の技術は数多く存在するが、本発明は、この二つを線形的に統合しない。すなわち、もう少し掘り下げると、レーダから取得された情報は、カメラから取得された情報と最初から、つまり、学習プロセスから統合される。２つの情報をより緊密に統合するために、学習装置１００は、コンボリューションレイヤ１３１をもって、撮影イメージに関する情報と共にデプスイメージに関する情報も反映された特徴マップを生成させ、アウトプットレイヤ１３２とロスレイヤ１３３とをもって、パラメータを学習するために、これを出力させることができる。これによって、前記２つの情報がパラメータに反映され得る。
以上、本発明の学習プロセスについて説明したところ、以下、ＣＮＮ１３０のテスト方法について説明することにする。
すなわち、（１）（ｉ）学習装置と連動して作動する学習用対象自動車上の学習用カメラを通じて取得された学習用撮影イメージと、（ｉｉ）学習用対象自動車の学習用レーダを通じて取得された学習用デプスイメージとを使用して生成された学習用マルチチャンネル統合イメージが取得されると、学習装置１００が、ＣＮＮ１３０内のコンボリューションレイヤ１３１をもって、学習用マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、学習用撮影イメージに関する情報とともに学習用デプスイメージに関する情報も反映された少なくとも一つの学習用特徴マップを生成させ、（２）学習装置１００が、ＣＮＮ１３０内のアウトプットレイヤ１３２をもって、学習用特徴マップに対してアウトプット演算を少なくとも一回適用させて、学習用マルチチャンネル統合イメージ内の学習用物体に関する学習用予測物体情報を生成させ、（３）学習装置１００が、ＣＮＮ１３０内のロスレイヤ１３３をもって、学習用予測物体情報及びこれに対応する原本正解物体情報を使用して少なくとも一つのロスを生成させ、ロスを使用してバックプロパゲーションを遂行することによって、ＣＮＮ１３０内のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、ＣＮＮ１３０内のコンボリューションレイヤ１３１をもって、（ｉ）テスト装置と連動して作動するテスト用対象自動車上のテスト用カメラを通じて取得されたテスト用撮影イメージ、及び（ｉｉ）テスト用対象自動車のテスト用レーダを通じて取得されたテスト用デプスイメージとを使用して生成されたテスト用マルチチャンネル統合イメージに対してコンボリューション演算を適用させて、テスト用撮影イメージに関する情報と共にテスト用デプスイメージに関する情報も反映された少なくとも一つのテスト用特徴マップを生成させることができる。
以後、テスト装置が、ＣＮＮ１３０に含まれているアウトプットレイヤ１３２をもって、テスト用特徴マップに対してアウトプット演算を適用させて、テスト用マルチチャンネル統合イメージ上のテスト用物体に関するテスト用予測物体情報を生成させることができる。
前記のプロセスは、学習プロセスにおいてロスレイヤ１３３により遂行されるプロセスが抜けたものとほぼ同じであるので、前述した学習プロセスに対する説明に基づいて理解することができるであろう。ただし、テスト用対象自動車が実際の自律走行を遂行する場合にテスト方法が実行されるため、追加のプロセスがさらに遂行され得る。
すなわち、物体描写率が閾値未満であるテスト用特定物体に関する情報も含んでいるテスト用予測物体情報が生成された後、テスト装置は、これを少なくとも一つの自律走行モジュールに伝達して、テスト用対象自動車の自律走行を支援することができる。
このような方法を遂行すると、撮影状況が不適合であるためにカメラを通じて取得されたイメージのクオリティが劣っても安全に自主走行が遂行され得る。
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
[付記]
本願発明は、距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法及び学習装置、そしてこれを使用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＳＥＮＳＯＲ ＦＵＳＩＯＮ ＴＯ ＩＮＴＥＧＲＡＴＥ ＩＮＦＯＲＭＡＴＩＯＮ ＡＣＱＵＩＲＥＤ ＢＹ ＲＡＤＡＲ ＣＡＰＡＢＬＥ ＯＦ ＤＩＳＴＡＮＣＥ ＥＳＴＩＭＡＴＩＯＮ ＡＮＤ ＩＮＦＯＲＭＡＴＩＯＮ ＡＣＱＵＩＲＥＤ ＢＹ ＣＡＭＥＲＡ ＴＯ ＴＨＥＲＥＢＹ ＩＭＰＲＯＶＥ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＦＯＲ ＳＵＰＰＯＲＴＩＮＧ ＡＵＴＯＮＯＭＯＵＳ ＤＲＩＶＩＮＧ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝に関する。

Claims (18)

  1. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する方法において、
    （ａ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記学習装置が、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；
    （ｂ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させる段階；及び
    （ｃ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させる段階；
    を含むことを特徴とし、
    前記（ａ）段階で、
    前記学習装置が、（ｉ）前記デプスイメージを参照して、前記対象自動車からの前記物体の少なくとも一つの距離及び少なくとも一つの角度に関する情報を取得した後、（ｉｉ）前記距離及び前記角度に関する前記情報を参照して前記撮影イメージ上における前記物体のうち少なくとも一部に対応する少なくとも一つの物体座標を求め、（ｉｉｉ）前記物体座標と確率分布とを参照して生成された値をガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するピクセル値として設定して少なくとも一つの前記ガイドチャンネルイメージを生成した後、（ｉｖ）前記ガイドチャンネルイメージを前記撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記マルチチャンネル統合イメージを生成することを特徴とする方法。
  2. 前記（ａ）段階で、
    前記学習装置が、前記物体座標のうち第１物体座標ないし第Ｎ物体座標と前記確率分布とを参照して下記数式による演算を遂行することによって、前記ガイドチャンネルイメージに、それに対応するピクセル値として含まれる前記値を算出し、
    Figure 0006908946
     前記数式において、Pkは前記ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、Pkx及びPkyそれぞれは、前記ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、Gmx及びGmyそれぞれは第ｍ物体座標（ｍは１以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする請求項１に記載の方法。
  3. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する方法において、
    （ａ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記学習装置が、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；
    （ｂ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させる段階；及び
    （ｃ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させる段階；
    を含むことを特徴とし、
    前記（ｂ）段階で、
    前記学習装置が、前記ＣＮＮと連動して作動するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記特徴マップを参照して、前記マルチチャンネル統合イメージ上の前記物体のうち少なくとも一部の少なくとも一つの位置に対応する少なくとも一つの予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）に関する情報を生成させ、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現された前記アウトプットレイヤをもって、前記予測ＲＯＩを参照して前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を含む前記予測物体情報を生成させることを特徴とする方法。
  4. 前記（ａ）段階で、
    前記学習装置が、前記コンボリューションレイヤに含まれているそれぞれのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）をもって、少なくとも一つのそれ自体のパラメータを使用して、それ自体に入力された値に対して演算を適用した後、出力された値をそれ自体の次のコンボリューションニューロンに伝達するプロセスを繰り返すことによって、前記マルチチャンネル統合イメージに対して前記コンボリューション演算を適用させることを特徴とする請求項１に記載の方法。
  5. 前記（ｂ）段階で、
    前記学習装置が、前記コンボリューションレイヤに対応する少なくとも一つのデコンボリューションレイヤの形態で具現された前記アウトプットレイヤをもって、前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測セグメンテーションイメージを含む前記予測物体情報を生成させることを特徴とする請求項１に記載の方法。
  6. 前記学習装置が、前記コンボリューションレイヤをもって、前記撮影イメージに関する情報とともに前記デプスイメージに関する情報も反映された前記特徴マップを生成させることによって、前記物体のうち前記物体描写率が閾値未満であるそれぞれの特定物体に関する情報が前記予測物体情報にさらに含まれ得るようにすることを特徴とする請求項１に記載の方法。
  7. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮをテストする方法において、
    （ａ）（１）（ｉ）学習装置と連動して作動する学習用対象自動車上の学習用カメラを通じて取得された学習用撮影イメージと、（ｉｉ）前記学習用対象自動車の学習用レーダを通じて取得された学習用デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成された学習用マルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）とが取得されると、前記学習装置が、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記学習用マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記学習用撮影イメージに関する情報と共に前記学習用デプスイメージに関する情報も反映された少なくとも一つの学習用特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（２）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記学習用特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記学習用マルチチャンネル統合イメージ内の前記学習用物体に関する学習用予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させ、（３）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、前記ＣＮＮ内の前記コンボリューションレイヤをもって、（ｉ）前記テスト装置と連動して作動するテスト用対象自動車上のテスト用カメラを通じて取得されたテスト用撮影イメージと、（ｉｉ）前記テスト用対象自動車のテスト用レーダを通じて取得されたテスト用デプスイメージとを使用して生成されたテスト用マルチチャンネル統合イメージに対して前記コンボリューション演算を少なくとも一回適用させて、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された少なくとも一つのテスト用特徴マップを生成させる段階；及び
    （ｂ）前記テスト装置が、前記ＣＮＮ内の前記アウトプットレイヤをもって、前記テスト用特徴マップに対して前記アウトプット演算を適用させて、前記テスト用マルチチャンネル統合イメージ内の前記テスト用物体に関するテスト用予測物体情報を生成させる段階；
    を含むことを特徴とし、
    前記（ａ）段階で、
    前記テスト装置が、（ｉ）前記テスト用デプスイメージを参照して前記テスト用対象自動車からの前記テスト用物体の少なくとも一つのテスト用距離及び少なくとも一つのテスト用角度に関するテスト用情報を取得した後、（ｉｉ）前記テスト用距離及び前記テスト用角度に関する前記テスト用情報を参照して前記テスト用撮影イメージ上における前記テスト用物体のうち少なくとも一部に対応する少なくとも一つのテスト用物体座標を求め、（ｉｉｉ）前記テスト用物体座標とテスト用確率分布とを参照して生成された値をテスト用ガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するテスト用ピクセル値として設定して少なくとも一つの前記テスト用ガイドチャンネルイメージを生成した後、（ｉｖ）前記テスト用ガイドチャンネルイメージを前記テスト用撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記テスト用マルチチャンネル統合イメージを生成することを特徴とする方法。
  8. 前記（ａ）段階で、
    前記テスト装置が、前記テスト用物体座標のうちテスト用第１物体座標ないしテスト用第Ｎ物体座標と前記テスト用確率分布とを参照して下記数式による演算を遂行することによって、前記テスト用ガイドチャンネルイメージに、それに対応するテスト用ピクセル値として含まれる前記値を算出し、
    Figure 0006908946
     前記数式において、Pkは前記テスト用ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、Pkx及びPkyそれぞれは、前記テスト用ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、Gmx及びGmyそれぞれは、テスト用第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする請求項７に記載の方法。
  9. 前記テスト装置が、前記コンボリューションレイヤをもって、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された前記テスト用特徴マップを生成させることによって、前記テスト用物体のうち前記物体描写率が閾値未満であるそれぞれの特定のテスト用物体に関する情報が前記テスト用予測物体情報にさらに含まれ得るようにし、
    （ｃ）前記テスト装置が、前記テスト用予測物体情報を前記テスト用対象自動車上の少なくとも一つの自律走行モジュールに伝達することによって、前記テスト用対象自動車の自律走行を支援する段階；
    をさらに含むことを特徴とする請求項７に記載の方法。
  10. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する学習装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス、（ＩＩ）前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させるプロセス、及び（ＩＩＩ）前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とし、
    前記（Ｉ）プロセスで、
    前記プロセッサが、（ｉ）前記デプスイメージを参照して前記対象自動車からの前記物体の少なくとも一つの距離及び少なくとも一つの角度に関する情報を取得した後、（ｉｉ）前記距離及び前記角度に関する前記情報を参照して前記撮影イメージ上における前記物体のうち少なくとも一部に対応する少なくとも一つの物体座標を求め、（ｉｉｉ）前記物体座標と確率分布とを参照して生成された値をガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するピクセル値として設定して少なくとも一つの前記ガイドチャンネルイメージを生成した後、（ｉｖ）前記ガイドチャンネルイメージを前記撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記マルチチャンネル統合イメージを生成することを特徴とする装置。
  11. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記物体座標のうち第１物体座標ないし第Ｎ物体座標と前記確率分布とを参照して下記数式による演算を遂行することによって、前記ガイドチャンネルイメージに、それに対応するピクセル値として含まれる前記値を算出し、
    Figure 0006908946
     前記数式において、Pkは前記ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、Pkx及びPkyそれぞれは前記ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、Gmx及びGmyそれぞれは第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする請求項１０に記載の装置。
  12. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する学習装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス、（ＩＩ）前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させるプロセス、及び（ＩＩＩ）前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とし、
    前記（ＩＩ）プロセスで、
    前記プロセッサが、前記ＣＮＮと連動して作動するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記特徴マップを参照して前記マルチチャンネル統合イメージ上の前記物体のうち少なくとも一部の少なくとも一つの位置に対応する少なくとも一つの予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）に関する情報を生成させ、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現された前記アウトプットレイヤをもって、前記予測ＲＯＩを参照して前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を含む前記予測物体情報を生成させることを特徴とする装置。
  13. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記コンボリューションレイヤに含まれているそれぞれのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）をもって、少なくとも一つのそれ自体のパラメータを使用して、それ自体に入力された値に対して演算を適用した後、出力された値をそれ自体の次のコンボリューションニューロンに伝達するプロセスを繰り返すことによって、前記マルチチャンネル統合イメージに対して前記コンボリューション演算を適用させることを特徴とする請求項１０に記載の装置。
  14. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記コンボリューションレイヤに対応する少なくとも一つのデコンボリューションレイヤの形態で具現された前記アウトプットレイヤをもって、前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測セグメンテーションイメージを含む前記予測物体情報を生成させることを特徴とする請求項１０に記載の装置。
  15. 前記プロセッサが、前記コンボリューションレイヤをもって、前記撮影イメージに関する情報とともに前記デプスイメージに関する情報も反映された前記特徴マップを生成させることによって、前記物体のうち前記物体描写率が閾値未満であるそれぞれの特定物体に関する情報が前記予測物体情報にさらに含まれ得るようにすることを特徴とする請求項１０に記載の装置。
  16. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮをテストするテスト装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）（１）学習装置が、（ｉ）学習装置と連動して作動する学習用対象自動車上の学習用カメラを通じて取得された学習用撮影イメージ、及び（ｉｉ）前記学習用対象自動車の学習用レーダを通じて取得された学習用デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成された学習用マルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記学習用マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記学習用撮影イメージに関する情報と共に前記学習用デプスイメージに関する情報も反映された少なくとも一つの学習用特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（２）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記学習用特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記学習用マルチチャンネル統合イメージ内の前記学習用物体に関する学習用予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させ、（３）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させた状態で、前記ＣＮＮ内の前記コンボリューションレイヤをもって、（ｉ）前記テスト装置と連動して作動するテスト用対象自動車上のテスト用カメラを通じて取得されたテスト用撮影イメージと、（ｉｉ）前記テスト用対象自動車のテスト用レーダを通じて取得されたテスト用デプスイメージとを使用して生成されたテスト用マルチチャンネル統合イメージに対して前記コンボリューション演算を少なくとも一回適用させて、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された少なくとも一つのテスト用特徴マップを生成させるプロセス、及び（ＩＩ）前記ＣＮＮ内の前記アウトプットレイヤをもって、前記テスト用特徴マップに対して前記アウトプット演算を適用させて、前記テスト用マルチチャンネル統合イメージ内の前記テスト用物体に対するテスト用予測物体情報を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とし、
    前記（Ｉ）プロセスで、
    前記プロセッサが、（ｉ）前記テスト用デプスイメージを参照して前記テスト用対象自動車からの前記テスト用物体の少なくとも一つのテスト用距離及び少なくとも一つのテスト用角度に関するテスト用情報を取得した後、（ｉｉ）前記テスト用距離及び前記テスト用角度に関する前記テスト用情報を参照して前記テスト用撮影イメージ上における前記テスト用物体のうち少なくとも一部に対応する少なくとも一つのテスト用物体座標を求め、（ｉｉｉ）前記テスト用物体座標とテスト用確率分布とを参照して生成された値をテスト用ガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するテスト用ピクセル値として設定して少なくとも一つの前記テスト用ガイドチャンネルイメージを生成した後、（ｉｖ）前記テスト用ガイドチャンネルイメージを前記テスト用撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記テスト用マルチチャンネル統合イメージを生成することを特徴とする装置。
  17. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記テスト用物体座標のうちテスト用第１物体座標ないしテスト用第Ｎ物体座標と前記テスト用確率分布とを参照して下記数式による演算を遂行することによって、前記テスト用ガイドチャンネルイメージに、それに対応するテスト用ピクセル値として含まれる前記値を算出し、
    Figure 0006908946
     前記数式において、Pkは前記テスト用ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、Pkx及びPkyそれぞれは前記テスト用ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、Gmx及びGmyそれぞれはテスト用第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする請求項１６に記載の装置。
  18. 前記プロセッサが、前記コンボリューションレイヤをもって、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された前記テスト用特徴マップを生成させることによって、前記テスト用物体のうち前記物体描写率が閾値未満であるそれぞれの特定のテスト用物体に関する情報が前記テスト用予測物体情報にさらに含まれ得るようにし、
    （ＩＩＩ）前記プロセッサが、前記テスト用予測物体情報を前記テスト用対象自動車上の少なくとも一つの自律走行モジュールに伝達することによって、前記テスト用対象自動車の自律走行を支援するプロセス；
    をさらに遂行することを特徴とする請求項１６に記載の装置。
JP2020007739A 2019-01-31 2020-01-21 距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法及び学習装置、そしてこれを使用したテスト方法及びテスト装置 Active JP6908946B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799216P 2019-01-31 2019-01-31
US62/799216 2019-01-31
US16/731,990 US10776673B2 (en) 2019-01-31 2019-12-31 Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
US16/731990 2019-12-31

Publications (2)

Publication Number Publication Date
JP2020126630A JP2020126630A (ja) 2020-08-20
JP6908946B2 true JP6908946B2 (ja) 2021-07-28

Family

ID=69187627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020007739A Active JP6908946B2 (ja) 2019-01-31 2020-01-21 距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法及び学習装置、そしてこれを使用したテスト方法及びテスト装置

Country Status (5)

Country Link
US (1) US10776673B2 (ja)
EP (1) EP3690727B1 (ja)
JP (1) JP6908946B2 (ja)
KR (1) KR102373466B1 (ja)
CN (1) CN111507166B (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11205093B2 (en) 2018-10-11 2021-12-21 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
JP7446903B2 (ja) * 2020-04-23 2024-03-11 株式会社日立製作所 画像処理装置、画像処理方法及び画像処理システム
CN112116644B (zh) * 2020-08-28 2023-05-23 辽宁石油化工大学 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
CN112241763A (zh) * 2020-10-19 2021-01-19 中国科学技术大学 多源多模动态信息融合与认知方法及系统
JP7447042B2 (ja) 2021-03-17 2024-03-11 株式会社東芝 画像処理装置、方法及びプログラム
CN115128566A (zh) * 2021-03-24 2022-09-30 索尼集团公司 雷达数据确定电路及雷达数据确定方法
DE102021002011A1 (de) 2021-04-16 2021-08-12 Daimler Ag Verfahren zur Annotation von Daten einer Umgebungserfassung
US12050660B2 (en) 2021-05-05 2024-07-30 Motional Ad Llc End-to-end system training using fused images
DE102023003086A1 (de) 2022-09-15 2024-03-21 Sew-Eurodrive Gmbh & Co Kg Verfahren zum Trainieren eines neuronalen Netzes zur Detektion eines Objekts und Verfahren zur Detektion eines Objekts mittels eines neuronalen Netzes
KR20240111131A (ko) 2023-01-09 2024-07-16 전창복 자율주행자동차용 카메라 세정장치
CN115861938B (zh) * 2023-02-06 2023-05-26 北京中超伟业信息安全技术股份有限公司 一种基于无人机识别的无人机反制方法及系统
CN116012376B (zh) * 2023-03-23 2023-07-04 深圳佑驾创新科技有限公司 目标检测方法、装置以及车辆

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9007197B2 (en) * 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
JP5862785B2 (ja) * 2012-09-03 2016-02-16 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
US9940539B2 (en) * 2015-05-08 2018-04-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US11500099B2 (en) * 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection
US10671855B2 (en) * 2018-04-10 2020-06-02 Adobe Inc. Video object segmentation by reference-guided mask propagation
CN108764142A (zh) * 2018-05-25 2018-11-06 北京工业大学 基于3dcnn的无人机影像森林烟雾检测和分类方法
CN108830188B (zh) * 2018-05-30 2022-03-04 西安理工大学 基于深度学习的车辆检测方法
US11370423B2 (en) * 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
KR102615196B1 (ko) * 2018-08-21 2023-12-18 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
CN108710875B (zh) * 2018-09-11 2019-01-08 湖南鲲鹏智汇无人机技术有限公司 一种基于深度学习的航拍公路车辆计数方法及装置
US10300851B1 (en) * 2018-10-04 2019-05-28 StradVision, Inc. Method for warning vehicle of risk of lane change and alarm device using the same
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
US10496899B1 (en) * 2019-01-25 2019-12-03 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN in which residual networks are provided for meta learning, and testing method and testing device using the same

Also Published As

Publication number Publication date
US20200250468A1 (en) 2020-08-06
KR102373466B1 (ko) 2022-03-14
JP2020126630A (ja) 2020-08-20
EP3690727A1 (en) 2020-08-05
US10776673B2 (en) 2020-09-15
KR20200095367A (ko) 2020-08-10
EP3690727B1 (en) 2023-03-29
CN111507166B (zh) 2023-08-29
CN111507166A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
JP6908946B2 (ja) 距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法及び学習装置、そしてこれを使用したテスト方法及びテスト装置
EP3690482A1 (en) Learning method and learning device for integrating an image acquired by a camera and a point-cloud map acquired by radar or lidar in a neural network and testing method and testing device using the same
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6923960B2 (ja) 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6886202B2 (ja) 仮想走行の環境で使用されるドメイン適応に適用され得るｇａｎを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6863619B2 (ja) コンボリューションニューラルネットワークから複数の出力のアンサンブルを利用して統合された特徴マップを提供するための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｐｒｏｖｉｄｉｎｇ ｉｎｔｅｇｒａｔｅｄ ｆｅａｔｕｒｅ ｍａｐ ｕｓｉｎｇ ｅｎｓｅｍｂｌｅ ｏｆ ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔｓ ｆｒｏｍ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ｝
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なｒｏｉをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｏｏｌｉｎｇ ｒｏｉ ｂｙ ｕｓｉｎｇ ｍａｓｋｉｎｇ ｐａｒａｍｅｔｅｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ｏｒ ｃｏｍｐａｃｔ ｎｅｔｗｏｒｋｓ ｖｉａ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
US10919543B2 (en) Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
US10621476B1 (en) Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
CN111507159B (zh) 提供自动驾驶安全性的方法和装置
KR102320999B1 (ko) 폴트 톨러런스 및 플럭츄에이션 로버스트를 위한 복수의 뉴럴 네트워크를 사용하여 흔들리는 카메라로 인해 생성된 비디오에서 지터링을 제거하기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6846069B2 (ja) 遠距離検出または軍事目的のために、イメージコンカチネーションを利用したｃｎｎ基盤のハードウェア最適化が可能な物体検出器を学習する方法及び学習装置、それを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ ｗｉｔｈ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ｃｎｎ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ａｔ ｄｉｓｔａｎｃｅ ｏｒ ｍｉｌｉｔａｒｙ ｐｕｒｐｏｓｅ ｕｓｉｎｇ ｉｍａｇｅ ｃｏｎｃａｔｅｎａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
EP3686837B1 (en) Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using gan to enhance fault tolerance and fluctuation robustness in extreme situations
US10728461B1 (en) Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
CN111507161B (zh) 利用合并网络进行异质传感器融合的方法和装置
JP2020038669A (ja) 複数のビデオフレームを利用してｃｎｎのパラメータを最適化するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
EP3686807A2 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
JP2020126635A (ja) 周辺車両のイメージを利用してベース車両のイメージをオートラベリングするオートラベリング装置を学習させる学習方法及び学習装置、そして、これを利用したテスティング方法及びテスティング装置
CN111507169B (zh) 以avm实现注意力驱动资源分配的方法及装置
EP3690718A1 (en) Learning method and learning device for allowing cnn having trained in virtual world to be used in real world by runtime input transformation using photo style transformation, and testing method and testing device using the same
KR20220089602A (ko) 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200710

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210625

R150 Certificate of patent or registration of utility model

Ref document number: 6908946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250