JP6856906B2 - 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置 - Google Patents

自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置 Download PDF

Info

Publication number
JP6856906B2
JP6856906B2 JP2020002012A JP2020002012A JP6856906B2 JP 6856906 B2 JP6856906 B2 JP 6856906B2 JP 2020002012 A JP2020002012 A JP 2020002012A JP 2020002012 A JP2020002012 A JP 2020002012A JP 6856906 B2 JP6856906 B2 JP 6856906B2
Authority
JP
Japan
Prior art keywords
test
neural network
learning
pair
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020002012A
Other languages
English (en)
Other versions
JP2020119537A (ja
Inventor
− ヒョン キム、ケイ
− ヒョン キム、ケイ
キム、ヨンジュン
キム、インスー
− キョン キム、ハク
− キョン キム、ハク
ナム、ウヒョン
ブー、ソッフン
ソン、ミュンチュル
ヨー、ドンフン
リュー、ウジュ
チャン、テウン
ジョン、キュンチョン
チェ、ホンモ
チョウ、ホジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020119537A publication Critical patent/JP2020119537A/ja
Application granted granted Critical
Publication of JP6856906B2 publication Critical patent/JP6856906B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Description

本発明は、自律走行車両レベル４を満たすために、テストイメージ内の領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法に関し、より詳細には、前記グリッド生成器を利用した前記ニューラルネットワーク演算方法において、（ａ）前記テストイメージが取得されると、ペア検出器（pair detector）をもって、前記テストイメージ上に存在するテスト用物体と前記テスト用物体に対応するテスト用非物体とを含む一つ以上のテスト用ペアを検出して、前記テスト用ペアに関するクラス情報と位置情報とを取得させる段階；（ｂ）前記グリッド生成器をもって、前記テスト用ペアに関する位置情報を参照して前記テストイメージ内の複数個のサブセクションに関する情報を含むセクション情報を生成させる段階；（ｃ）ニューラルネットワークをもって、前記ニューラルネットワーク演算を前記テスト用ペアそれぞれを含む前記サブセクションのうち少なくとも一部それぞれに適用するのに使用されるテスト用パラメータを決定し、前記テスト用ペアに関する前記クラス情報と同一または類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して決定させる段階；及び（ｄ）前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応するそれぞれの前記テスト用パラメータを利用して、前記テストイメージに前記ニューラルネットワーク演算を適用することにより、一つ以上のニューラルネットワーク結果を出力させる段階；を含む方法、及びこれを利用した装置に関する。
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｏｒ Ｄｅｅｐ ＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の識別問題を解決するために９０年代にも使用されていたが、近年になって初めて機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で広く使用されるようになった。例えば、ＣＮＮは、２０１２年にＩｍａｇｅＮｅｔイメージ分類コンテスト（ＩｍａｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ）で他の競争相手に勝って優勝を収めた。その後、ＣＮＮは機械学習分野で非常に有用なツールとして使用されるようになった。
一方、ＣＮＮは、自律走行分野でも広く使用される。自律走行環境で大部分の入力イメージは主に入力イメージの中央に車道を含み、左右側に歩道を含むなどの典型的かつ類似した配列を有する。したがって、自律走行用ＣＮＮは、入力イメージの構成要素のように典型的な配列、例えば、典型的な構成要素を備えたトレーニングイメージを利用してパラメータを学習するようになる。
しかし、前記にて言及した学習プロセスには大きな欠点がある。まさに入力イメージの配列がトレーニングイメージの典型的な配列と異なる場合、ＣＮＮ演算が非効率的であるという点である。例えば、コーナーを回る場合、典型的な配列が備えたトレーニングイメージとは異なり、テストイメージの中央に車道がないであろうし、ＣＮＮパラメータは、イメージの中央に車道のある入力イメージに最適化されているので、前記言及されたパラメータではテストイメージを正しく演算することができない。
本発明は、上述の問題点を解決することを目的とする。
本発明は、サブセクションのうち少なくとも一部それぞれに含まれるテスト用非物体とテスト用物体とを含む一つ以上のテスト用ペアに関するクラス情報を参照して、テスト用パラメータを決定する方法を提供することにより、最適化されたニューラルネットワーク結果を出力することを他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、グリッド生成器を利用したニューラルネットワーク演算方法において、（ａ）コンピュータ装置が、テストイメージが取得されると、ペア検出器（ｐａｉｒ ｄｅｔｅｃｔｏｒ）をもって前記テストイメージ上に存在するテスト用物体と前記テスト用物体に対応するテスト用非物体とを含む一つ以上のテスト用ペアを検出して、前記テスト用ペアに関するクラス情報と位置情報とを取得させる段階；（ｂ）前記コンピュータ装置が、前記グリッド生成器をもって、前記テストペアに関する位置情報を参照して、前記テストイメージ内の複数個のサブセクションに関する情報を含むセクション情報を生成させる段階；（ｃ）前記コンピュータ装置が、ニューラルネットワークをもって、前記ニューラルネットワーク演算を前記テスト用ペアそれぞれを含む前記サブセクションのうち少なくとも一部それぞれに適用するのに使用されるテスト用パラメータを決定するようにし、前記テスト用ペアに関する前記クラス情報と同一又は類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して決定させる段階；及び（ｄ）前記コンピュータ装置が、前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応するそれぞれの前記テスト用パラメータを利用して、前記テストイメージに前記ニューラルネットワーク演算を適用することにより、一つ以上のニューラルネットワーク結果を出力させる段階；を含むことを特徴とする方法を開示する。
一実施例において、前記（ｂ）段階で、前記グリッド生成器が可変テンプレート（ｄｙｎａｍｉｃ ｔｅｍｐｌａｔｅ）を利用して前記テストイメージを分け、（ｉ）前記テスト用ペアのうち少なくとも一つが前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする。
一実施例において、前記グリッド生成器が、前記可変テンプレートに関する情報を管理し、前記可変テンプレートは（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする。
一実施例において、前記可変テンプレートは、行グループ（ｒｏｗ ｇｒｏｕｐ）と一つ以上の列グループ（ｃｏｌｕｍｎ ｇｒｏｕｐ）とを含み、前記行グループは、（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び（ｉｉｉ）下段行グループを含み、前記テスト用ペアのうち少なくとも一つが前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする。
一実施例において、前記（ａ）段階以前に、（ａ０）前記コンピュータ装置が、前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習させる段階；をさらに含むことを特徴とする。
一実施例において、前記（ａ０）段階で、前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習し、前記学習用ペアに関するクラス情報を、前記学習用ペアに対応する学習用パラメータと連動して格納することを特徴とする。
一実施例において、前記それぞれのトレーニングイメージ内の前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする。
一実施例において、前記（ｃ）段階で、（ｉ）特定のテスト用物体の面積が前記特定のテスト用物体による特定のサブセクションに含まれた特定のテスト用非物体の面積を超過する場合、前記コンピュータ装置は、前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第１クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第１特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体の前記面積が、前記特定のテスト用非物体の前記面積以下である場合、前記コンピュータ装置は前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第２クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち、少なくとも一つの第２特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることを特徴とする。
一実施例において、前記（ｄ）段階で、前記コンピュータ装置が前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする。
一実施例において、前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体を示し、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする。
本発明の他の態様によると、グリッド生成器を利用したニューラルネットワーク演算をするためのコンピュータ装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）ペア検出器をもって、前記テストイメージ上に存在するテスト用物体と、前記テスト用物体に対応するテスト用非物体を含む一つ以上のテスト用ペアを検出して、前記テスト用ペアに関するクラス情報と位置情報とを取得させるプロセス、（ＩＩ）前記グリッド生成器をもって、前記テスト用ペアに関する前記位置情報を参照して、前記テストイメージ内の複数個のサブセクションに関する情報を含むセクション情報を生成させるプロセス、（ＩＩＩ）ニューラルネットワークをもって、前記ニューラルネットワーク演算を前記テスト用ペアそれぞれを含む前記サブセクションのうち少なくとも一部それぞれに適用するのに使用されるテスト用パラメータを決定し、前記テスト用ペアに関する前記クラス情報と同一又は類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して決定させるプロセス；及び（ＩＶ）前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応するそれぞれの前記テスト用パラメータを利用して、前記テストイメージに前記ニューラルネットワーク演算を適用することにより、一つ以上のニューラルネットワーク結果を出力させるプロセス；を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピュータ装置を開示する。
一実施例において、前記（ＩＩ）プロセスで、前記グリッド生成器が可変テンプレートを利用して前記テストイメージを分け、（ｉ）前記テスト用ペアのうち少なくとも一つが前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする。
一実施例において、前記グリッド生成器が、前記可変テンプレートに対する情報を管理し、前記可変テンプレートは、（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする。
一実施例において、前記可変テンプレートは、行グループと一つ以上の列グループを含み、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び（ｉｉｉ）下段行グループを含み、前記テスト用ペアのうち少なくとも一つが前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする。
一実施例において、前記（Ｉ）プロセス以前に、前記プロセッサが（０）前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習させるプロセスをさらに遂行することを特徴とする。
一実施例において、前記（０）プロセスで、前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用ペアに関する情報を利用して前記学習用パラメータを学習し、前記学習用ペアに関するクラス情報を、前記学習用ペアに対応する学習用パラメータと連動して格納することを特徴とする。
一実施例において、前記それぞれのトレーニングイメージ内の前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、（ｉ）特定のテスト用物体の面積が前記特定のテスト用物体による特定のサブセクションに含まれた特定のテスト用非物体の面積を超過する場合、前記プロセッサは、前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第１クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第１特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体の前記面積が、前記特定のテスト用非物体の前記面積以下である場合、前記プロセッサは、前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第２クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち、少なくとも一つの第２特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることを特徴とする。
一実施例において、前記（ＩＶ）プロセスで、前記プロセスが前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする。
一実施例において、前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体を示し、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする。
本発明によると、テスト用ペアのクラス情報と同一又は類似するクラス情報を有するサブセクションに含まれた学習用ペアに関する情報を利用してテスト用パラメータを決定することにより、最適化されたニューラルネットワーク結果を出力する方法を提供し得る効果がある。
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図１は、本発明によってグリッド生成器を利用してニューラルネットワーク演算方法を遂行するためのコンピュータ装置の構成を示した図面である。 図２は、本発明によってニューラルネットワーク結果を出力するためのプロセスを示した図面である。 図３は、本発明によって前記ニューラルネットワークのパラメータを学習するのに使用される、典型的な配列を有するトレーニングイメージを示した図面である。 図４ａは、本発明によって前記グリッド生成器を利用したニューラルネットワーク演算方法を効率的に適用し得るテストイメージを示した図面である。 図４ｂは、本発明によってサブセクションが可変テンプレートによって生成されたテストイメージを示した図面である。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施し得るように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似した参照符号は、様々な側面にわたって同一であるか、又は類似した機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装又は非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。
参考までに、後述する説明で混同を防止するために、学習プロセスに関する用語には「学習用」という文言が追加されており、テストプロセスに関する用語には「テスト用」という文言が追加された。
図１は、本発明によってグリッド生成器を利用したニューラルネットワーク演算方法を遂行するためのコンピュータ装置の構成を示した図面である。
図１を参照すると、前記コンピュータ装置１００は、ペア検出器１３０、グリッド生成器１４０及びニューラルネットワーク１５０を含むことができる。前記ペア検出器１３０、前記グリッド生成器１４０及び前記ニューラルネットワーク１５０の様々なデータ入出力過程及び演算過程は、通信部１１０及びプロセッサ１２０によってそれぞれ遂行され得る。ただし、図１では前記通信部１１０及び前記プロセッサ１２０の連結関係に関する詳細な説明を省略した。また、前記コンピュータ装置１００は、後述するプロセスを遂行するためのコンピュータ読取り可能な各インストラクション（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｉｎｓｔｒｕｃｔｉｏｎ）を格納し得るメモリ１１５をさらに含むことができる。一例示として、前記プロセッサ、前記メモリ、媒体（ｍｅｄｉｕｍ）等は一つのプロセッサとして統合されて機能することもできる。
以上にて前記コンピュータ装置１００の構成を検討したところ、本発明によって前記グリッド生成器１４０を利用してニューラルネットワーク結果を導き出すプロセスについて検討することとする。
図２は、本発明によって前記ニューラルネットワーク結果を出力するためのプロセスを示した図面である。
図２を参照すると、テストイメージが取得されると、前記ペア検出器１３０、前記グリッド生成器１４０及び前記ニューラルネットワーク１５０の順でプロセスが遂行されることが分かる。前記テストイメージは、ペア検出器１３０に入力され、前記ペア検出器１３０によって生成されたテスト用非物体とテスト用物体とを含む一つ以上のテスト用ペアに対する一つ以上の位置情報と前記テストイメージとは、前記グリッド生成器１４０に入力され得る。最終的に前記ペア検出器１３０によって生成される前記テスト用ペアに関するクラス情報、前記グリッド生成器１４０によって生成されるセクション情報及び前記テストイメージは前記ニューラルネットワーク１５０に入力され得る。その後、前記ニューラルネットワーク１５０は、前記テスト用ペアに関するクラス情報と前記セクション情報とを利用して決定されたテスト用パラメータを参照して前記ニューラルネットワーク結果を出力し得る。
具体的に、道路走行状況を示す前記テストイメージが前記通信部１１０によって取得されると、前記コンピュータ装置１００は、前記ペア検出器１３０をもって、前記テストイメージ上に存在する前記テスト用ペアを検出して、前記テスト用ペアに関するクラス情報と、前記テスト用物体とこれに対応する前記テスト用非物体のペアが前記テストイメージのどこにあるのかに関する情報を含む前記テスト用ペアに関する位置情報とを取得するようにする。
前記テスト用ペアに関する位置情報と前記テスト用ペアに関するクラス情報とが前記ペア検出器１３０によって取得された後、前記コンピュータ装置１００は、前記グリッド生成器１４０をもって、前記テスト用ペアに関する位置情報を参照して、前記テストイメージを複数個のサブセクションに分け、前記テストイメージ内の前記サブセクションに関する情報を含む前記セクション情報を生成させることができる。前記サブセクションのうち一部では、例えば、車道と自動車ペアのように、テスト用物体とテスト用非物体を含む前記ペアのうち少なくとも一部が存在し得る。前記グリッド生成器１４０は、可変テンプレート（ｄｙｎａｍｉｃ ｔｅｍｐｌａｔｅ）を使用して前記テストイメージを前記サブセクションに分けることができる。
具体的に、前記グリッド生成器１４０は、前記可変テンプレートに関する情報を管理することができ、前記可変テンプレートは（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含むことができ、このうち一部は調整可能である。
一例示として、第１方向は前記テストイメージの横軸と平行な方向であり、第２方向は前記テストイメージの縦軸と平行な方向であり得るが、これに限定されるわけではなく、各方向は斜線方向でもあり得、さらには特定の関数によって決定される曲線の方向であり得る。
または、前記可変テンプレートは、行グループと一つ以上の列グループを含むことができる。一例示として、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ及び（ｉｉｉ）下段行グループを含むことができる。前記中段行グループが前記列グループのうち少なくとも一部を含む理由は、一般的に重要な物体多数が前記テストイメージの中心に存在するためである。
前記のように、前記可変テンプレートの構成はすでに設定されており、前記グリッド生成器１４０が前記可変テンプレートを使用して前記テストイメージを分ける際に、一つ以上の境界線が調整された前記可変テンプレートが提供され得る。一例示として、前記サブセクションの前記少なくとも一部それぞれに前記テスト用ペアのうち少なくとも一つが含まれるように前記可変テンプレートが提供され得る。前記セクション情報は、前記調整された境界線位置に関する情報を含むことができる。
これに対し、前記コンピュータ装置１００は、前記グリッド生成器をもって、前記テスト用物体に関する位置情報を参照して、前記セクション情報を生成させることができ、前記にて言及された方法とほぼ同じ方法で生成され得る。例えば、前記可変テンプレートは、前記テスト用物体のうち少なくとも一つが前記サブセクションの前記少なくとも一部それぞれに含まれるように提供され得る。前記テスト用物体に関する位置情報もまた、前記テスト用ペアに関する位置情報が取得される方式と類似する方法で取得され得る。
このように前記セクション情報が生成されると、前記コンピュータ装置１００は、前記ニューラルネットワーク１５０をもって前記テスト用パラメータを決定させることができる。
前記テスト用パラメータを決定するプロセスを記述するために、前記ニューラルネットワークの学習用パラメータを学習するプロセスを説明することとする。
前記テストイメージが前記通信部１１０によって取得される前に、前記コンピュータ装置１００は、前記ニューラルネットワーク１５０をもって、一つ以上のトレーニングイメージに含まれた学習用ペアそれぞれに関する情報を利用して、学習用パラメータを学習させることができる。前記学習用ペアは、学習用物体と学習用非物体を含むことができる。前記それぞれのトレーニングイメージは、道路走行状況で現れ得る典型的な配列を含むことができる。前記典型的な配列を説明するために、図３を参照するようにする。
図３は、本発明によって前記ニューラルネットワークの学習用パラメータを学習するのに使用される、典型的な配列を有する例示トレーニングイメージを示した図面である。
図３を参照すると、前記例示トレーニングイメージ（３００）の中央に車道と自動車部分が位置し、左右側に歩道と歩行者部分が位置し、上段に空の部分が位置することが分かる。前記ニューラルネットワーク１５０のパラメータを学習するのに使用された前記トレーニングイメージは、前記例示トレーニングイメージ（３００）と類似し得る。
前記例示トレーニングイメージ（３００）の構成を説明するために、学習用位置情報と分割領域の用語を検討することとする。
前記分割領域は、前記学習用非物体が位置する領域をいうのであって、車道と自動車部分、歩道と歩行者部分及び空の部分がそれぞれ位置するそれぞれの領域をいう。前記学習用位置情報は、前記分割領域の中心座標に関する情報を含むことができる。
この際、前記それぞれのトレーニングイメージ内で前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とすると、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして前記学習プロセスに使用するために選定し得る。
学習プロセスにおいて、前記ニューラルネットワーク１５０は、前記それぞれのトレーニングイメージに含まれた全体領域を使用して、前記学習用パラメータを学習するのではなく、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域の分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習し、前記学習用ペアに対応する学習用パラメータと連動して前記学習用ペアに関するクラス情報を格納し得る。
例えば、前記ニューラルネットワーク１５０が、図３の前記例示トレーニングイメージのようなトレーニングイメージを複数個使用して前記学習用パラメータを学習する場合を想定し得る。この場合、第１分割領域３１０は空の部分、第２分割領域３２０は左側の歩道と歩行者部分、第３分割領域３３０は車道と自動車部分、そして第４分割領域３４０は右側の歩道と歩行者部分である。前記ニューラルネットワーク１５０は、前記第３分割領域３３０を利用して前記車道と自動車部分に対応する学習用パラメータを学習し、前記学習用車道と自動車部分に関するクラス情報を、前記学習用車道と自動車部分に関するクラス情報を、前記学習用車道と自動車部分に対応するパラメータと連動して格納することができる。これと同様に、前記歩道と歩行者部分に対応する前記学習用パラメータの一部分を決定する場合、第２分割領域３２０と第４分割領域３４０が使用され得、前記歩道と歩行者を含む学習用ペアに関するクラス情報が格納され得る。
以上、前記ニューラルネットワーク１５０の学習プロセスについて検討してみたところ、前記テスト用パラメータを決定するプロセスについて説明することとする。
前記ニューラルネットワーク１５０の学習プロセスが完了すると、前記学習用パラメータとそれに対応するペアに関する前記クラス情報は格納され得る。その後、前記テストイメージが前記通信部１１０によって取得され、前記ペア検出器１３０と、前記グリッド生成器１４０が遂行するプロセスが完了すると、前記コンピュータ装置１００は前記ニューラルネットワーク１５０をもって、前記テスト用ペアのクラス情報と同一又は類似するクラス情報を有する前記学習用ペアに関する情報を使用して学習された学習用パラメータを参照して、前記テスト用パラメータを決定させる。
前記テスト用パラメータは、前記テスト用ペアのクラス情報と同一又は類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して、前記ニューラルネットワーク演算を前記それぞれのテスト用ペアを含む前記サブセクションのうち、前記少なくとも一部それぞれに適用するのに使用され得る。
このようなプロセスを説明すると、前記ニューラルネットワーク１５０は、前記ペア検出器１３０によって取得された前記サブセクションのうち、前記少なくとも一部それぞれに含まれた前記テスト用非物体と前記テスト用物体を含む前記それぞれのペアに関する情報を使用することができる。
例えば、前記車道と自動車部分に対応する特定の学習用パラメータと前記車道及び前記自動車を含む前記学習用ペアに関する前記クラス情報が共に格納される場合が想定される。この場合、前記車道及び前記自動車を含む特定のテスト用ペアが前記テストイメージ内の特定のサブセクションに存在するものと判断されれば、前記特定のテスト用パラメータは、前記特定のテスト用ペアのクラス情報と同一又は類似するクラス情報を有する学習用ペアに関する情報を利用して、学習された特定の学習用パラメータを参照して決定される。
テスト用非物体のみ前記サブセクションの一部に存在したり、テスト用物体のみ前記サブセクションのまた他の一部に存在する場合、前記学習用の非物体と前記学習用物体をそれぞれ使用して学習された追加学習用パラメータは、前記のように対応するサブセクションに適用される前記テスト用パラメータの一部を決定するのに使用され得る。前記のような場合は、本発明において重要な問題ではないので、これについての詳細な説明は省略することとする。
従来の方法と比較してみると、このような方法が効果的である理由は、前記テストイメージに示される前記テスト用ペアの構成要素が多様である場合にも、前記テスト用パラメータが最適化され得るからである。このような長所は、（ｉ）前記テスト用ペアに関するクラス情報と（ｉｉ）前記学習用ペアを利用して学習された、前記テスト用ペアに関する前記クラス情報に対応する、前記学習用パラメータを利用して前記テスト用パラメータを決定する方法に起因する。例えば、一般的な場合には、車道（学習用非物体）は自動車（学習用物体）に対応し得るので、前記ＣＮＮ２００は、前記車道（学習用非物体）と前記自動車（学習用非物体）ペアのように前記に見られた例示と類似する前記学習用ペアを有する前記トレーニングイメージを利用して学習用パラメータを学ぶことができる。従来の方法では、前記テスト用ペアが一般的でない場合、例えば前記車道（テスト用非物体）と歩行者（テスト用物体）ペア、又は歩道（テスト用非物体）と前記自動車（テスト用物体）ペアである場合には、前記テスト用ペアと前記学習用ペアとが異なるため、前記テスト用パラメータは最適化され得ない。しかし、前記のような稀な場合にも、本発明が提供する前記方法を利用すると前記テスト用パラメータは最適化される。その理由は、本発明の場合、前記学習用物体と前記学習用非物体を含む様々な学習用ペアを有する前記トレーニングイメージを活用して前記学習用パラメータを学習し、前記テストイメージに含まれた前記学習用ペアに関する前記クラス情報を利用して前記テスト用パラメータを決定し得るからである。
従来の方法と比べてみたとき、こうした方法が効果的であるまた他の理由は、前記テストイメージに含まれる前記構成要素の相対的位置が、前記トレーニングイメージに含まれる構成要素の相対的位置と異なる場合にも前記適切なテスト用パラメータを適用し得るからである。
具体的に、前記トレーニングイメージでの第１分割領域ないし第ｋ分割領域に対応する第１位置情報ないし第ｋ位置情報それぞれと前記テストイメージにおける第１位置情報ないし第ｋ位置情報それぞれを比較した偏差のうち、少なくとも一部が第２閾値を超過する場合、本発明がより効果的に適用され得るが、これに限定されるわけではない。
図４ａは、本発明によって前記グリッド生成器を利用した前記ニューラルネットワーク演算を効果的に適用し得る例示テストイメージを示した図面である。
図４ａを参照すると、図３とは異なって、車道と自動車部分が左側に位置し、歩道と歩行者部分は右側に位置することを確認することができる。この場合、従来の方法により生成された前記ニューラルネットワーク演算の結果は最適化され得ないが、その理由は、前記テストイメージに含まれた車道と自動車部分の位置と、前記トレーニングイメージに含まれた車道と自動車部分の位置とが異なるからである。したがって、前記テスト用パラメータが最適化されていない状態になるところ、結果が好ましくない短所がある。しかし、本発明の方法がこのような場合に対応する前記テストイメージに適用されるのであれば、前記サブセクションのうち少なくとも一部それぞれに最適化されたパラメータが適用されて、前記ニューラルネットワーク演算の結果が最適に生成されるであろう。これは図４ｂを参照すると分かる。
図４ｂは、本発明により可変テンプレートによって生成されたサブセクションを含む例示テストイメージを示した図面である。
図４ｂを参照すると、前記中段行中心の車道と自動車部分を含むサブセクション５３０と、前記中段行の右側にある歩道と歩行者部分を含むサブセクション５４０とが表示されたことが分かる。前記サブセクションによって、前記トレーニングイメージに含まれる前記車道と自動車部分を使用して学習された前記学習用パラメータが前記サブセクション５３０に適用され得、前記トレーニングイメージに含まれた前記歩道と歩行者の部分を使用して学習された前記学習用パラメータは、前記サブセクション５４０に適用され得る。
一方、前記テスト用パラメータは、特定のサブセクションに含まれる特定のテスト用非物体の面積と特定のテスト用物体の面積とを比較した情報をさらに参照して決定され得る。前記のように前記テスト用パラメータを決定する前記プロセスを説明するために、前記学習用パラメータを学習する過程について説明することとする。
前記学習用のパラメータを学習するプロセスを説明すると、前記ニューラルネットワーク１５０は、第１分割領域ないし第ｋ分割領域までの前記それぞれの分割領域に含まれた前記特定の学習用非物体の面積と前記特定の学習用物体の面積とを比較した情報を参照して、前記特定のサブセクションに対応する前記学習用パラメータを学習し、前記特定の学習用物体と前記学習用非物体とを含む特定の学習用ペアに関するクラス情報を格納することができる。これによって、前記特定の学習用物体の面積が前記特定の学習用非物体の面積を超過する場合、前記ニューラルネットワーク１５０は、少なくとも一つの第１特定の学習用パラメータを学習し、これと連動して前記特定の学習用物体の相対的割合が大きい場合に対応する第１クラス情報を格納する。これとは反対に、前記特定の学習用物体の面積が前記特定の学習用非物体の面積以下である場合、前記ニューラルネットワーク１５０は少なくとも一つの第２特定の学習用パラメータを学習し、これと連動して前記特定の学習用物体の相対的割合が小さい場合に対応する第２クラス情報を格納する。
ここで前記第１クラス情報と前記第２クラス情報は類似するが、前記特定の学習用非物体に比べて前記特定の学習用物体の割合が異なり、このうち一つは大きく、残りの一つは小さいという点では異なる。例えば、車道（学習用非物体）と比較したとき、相対的に大きな自動車（学習用物体）を含む第１学習用ペアがあり、車道（学習用非物体）と比較したとき、相対的に小さい自動車（学習用物体）を含む第２学習用ペアがあると想定してみることにする。この場合、前記第１クラス情報は前記第１学習用ペアに対応し、前記第２クラス情報は前記第２学習用ペアに対応し得る。
具体的に、前記特定のテスト用物体の面積が前記特定のテスト用物体と共に前記特定のサブセクションに含まれた前記特定のテスト用非物体の面積を超過する場合、前記コンピュータ装置１００は、前記特定のテスト用物体と、前記特定のテスト用非物体を含む前記特定のテスト用ペアが第１クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち前記少なくとも一つの第１特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることができる。
これとは反対に、前記特定のテスト用物体の前記面積が前記特定のテスト用非物体の前記面積以下である場合、前記コンピュータ装置は、前記特定のテスト用ペアが第２クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち、前記特定のテスト用ペアに関する前記クラス情報と同一または類似するクラス情報を有する少なくとも一つの第２特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることができる。
前記学習用パラメータは、同一のサブセクションに含まれた前記テスト用物体と前記テスト用非物体との間の割合が異なる前記学習用ペアを参照して学習されるため、前記同一のサブセクションに含まれた前記学習用非物体の面積と前記学習用物体の面積とを比較した情報を利用して前記テスト用パラメータを決定することが有効であろう。たとえば、前記学習用パラメータの一部が学習用物体の面積がこれに対応する学習用非物体の面積を超過する第１学習用ペアを利用して学習された第１学習用パラメータと、学習用物体の面積がこれに対応する学習用非物体の面積以下である第２学習用ペアを利用して学習された第２学習用パラメータを含み、テスト用例示物体の面積が、前記テストイメージ内で前記テスト用例示物体とともにテスト用例示ペアに含まれる、テスト用例示非物体の面積を超過する場合を想定してみると、前記第１学習用パラメータを参照して前記テスト用例示ペアに使用される前記テスト用パラメータの一部が決定され得るであろう。
このように、前記テスト用パラメータが決定すると、前記ニューラルネットワーク演算は前記テストイメージに適用され得るが、前記ニューラルネットワーク演算は、コンボリューション演算およびデコンボリューション演算であり得る。 つまり、前記コンピュータ装置１００は、前記ニューラルネットワーク１５０をもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して前記ニューラルネットワーク演算結果を出力するようにし得る。
先に言及した本発明の方法は、自律走行車両レベル４を満たすためにイメージ内の領域のクラスに応じてモードを転換するために遂行することができる。
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行され得るプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等又は等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (20)

  1. グリッド生成器を利用したニューラルネットワーク演算方法において、
    （ａ）コンピュータ装置が、テストイメージが取得されると、ペア検出器（ｐａｉｒ ｄｅｔｅｃｔｏｒ）をもって、前記テストイメージ上に存在するテスト用物体と前記テスト用物体に対応するテスト用非物体とを含む一つ以上のテスト用ペアを検出して、前記テスト用ペアに関するクラス情報と位置情報とを取得させるようにする段階；
    （ｂ）前記コンピュータ装置が、前記グリッド生成器をもって、前記テストペアに関する位置情報を参照して、前記テストイメージ内の複数個のサブセクションに関する情報を含むセクション情報を生成させる段階；
    （ｃ）前記コンピュータ装置が、ニューラルネットワークをもって、前記ニューラルネットワーク演算を前記テスト用ペアそれぞれを含む前記サブセクションのうち少なくとも一部それぞれに適用するのに使用されるテスト用パラメータを決定し、前記テスト用ペアに関する前記クラス情報と同一又は類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して決定させる段階；及び
    （ｄ）前記コンピュータ装置が、前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応するそれぞれの前記テスト用パラメータを利用して、前記テストイメージに前記ニューラルネットワーク演算を適用することにより、一つ以上のニューラルネットワーク結果を出力させる段階；
    を含むことを特徴とする方法。
  2. 前記（ｂ）段階で、
    前記グリッド生成器が、可変テンプレート（ｄｙｎａｍｉｃ ｔｅｍｐｌａｔｅ）を利用して前記テストイメージを分け、（ｉ）前記テンプレートペアのうち少なくとも一つが前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする請求項１に記載の方法。
  3. 前記グリッド生成器が、前記可変テンプレートに関する情報を管理し、前記可変テンプレートは、（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする請求項２に記載の方法。
  4. 前記可変テンプレートは、行グループ（ｒｏｗ ｇｒｏｕｐ）と一つ以上の列グループ（ｃｏｌｕｍｎ ｇｒｏｕｐ）とを含み、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び （ｉｉｉ）下段行グループを含み、前記テスト用ペアのうち少なくとも一つが前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする請求項２に記載の方法。
  5. 前記（ａ）段階以前に、
    （ａ０）前記コンピュータ装置が、前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習させる段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  6. 前記（ａ０）段階で、
    前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習し、前記学習用ペアに関するクラス情報を、前記学習用ペアに対応する学習用パラメータと連動して格納することを特徴とする請求項５に記載の方法。
  7. 前記それぞれのトレーニングイメージ内の前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする請求項６に記載の方法。
  8. 前記（ｃ）段階で、
    （ｉ）特定のテスト用物体の面積が前記特定のテスト用物体による特定のサブセクションに含まれた特定のテスト用非物体の面積を超過する場合、前記コンピュータ装置は、前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第１クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第１特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体の前記面積が、前記特定のテスト用非物体の前記面積以下である場合、前記コンピュータ装置は前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第２クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第２特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることを特徴とする請求項６に記載の方法。
  9. 前記（ｄ）段階で、
    前記コンピュータ装置が、前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする請求項１に記載の方法。
  10. 前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体を示し、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする請求項９に記載の方法。
  11. グリッド生成器を利用したニューラルネットワーク演算をするためのコンピュータ装置において、
    各インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）ペア検出器をもって、前記テストイメージ上に存在するテスト用物体と前記テスト用物体に対応するテスト用非物体とを含む一つ以上のテスト用ペアを検出して、前記テスト用ペアに関するクラス情報と位置情報とを取得させるプロセス、（ＩＩ）前記グリッド生成器をもって、前記テスト用ペアに関する前記位置情報を参照して、前記テストイメージ内の複数個のサブセクションに関する情報を含むセクション情報を生成させるプロセス、（ＩＩＩ）ニューラルネットワークをもって、前記ニューラルネットワーク演算を前記テスト用ペアそれぞれを含む前記サブセクションのうち少なくとも一部それぞれに適用するのに使用されるテスト用パラメータを決定させ、前記テスト用ペアに関する前記クラス情報と同一または類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して決定させるプロセス；及び（ＩＶ）前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応するそれぞれの前記テスト用パラメータを利用して、前記テストイメージに前記ニューラルネットワーク演算を適用することにより、一つ以上のニューラルネットワーク結果を出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするコンピュータ装置。
  12. 前記（ＩＩ）プロセスで、
    前記グリッド生成器が、可変テンプレートを利用して前記テストイメージを分け、（ｉ）前記テスト用ペアのうち少なくとも一つが、前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする請求項１１に記載のコンピュータ装置。
  13. 前記グリッド生成器が、前記可変テンプレートに関する情報を管理し、前記可変テンプレートは（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする請求項１２に記載のコンピュータ装置。
  14. 前記可変テンプレートは、行グループと一つ以上の列グループを含み、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び（ｉｉｉ）下段行グループを含み、前記テスト用ペアのうち少なくとも一つが前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする請求項１２に記載のコンピュータ装置。
  15. 前記（Ｉ）プロセス以前に、
    前記プロセッサが、（０）前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習させるプロセスをさらに遂行することを特徴とする請求項１１に記載のコンピュータ装置。
  16. 前記（０）プロセスで、
    前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習し、前記学習用ペアに関するクラス情報を、前記学習用ペアに対応する学習用パラメータと連動して格納することを特徴とする請求項１５に記載のコンピュータ装置。
  17. 前記それぞれのトレーニングイメージ内の前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする請求項１６に記載のコンピュータ装置。
  18. 前記（ＩＩＩ）プロセスで、
    （ｉ）特定のテスト用物体の面積が前記特定のテスト用物体による特定のサブセクションに含まれた特定のテスト用非物体の面積を超過する場合、前記プロセッサは、前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第１クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第１特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体の前記面積が、前記特定のテスト用非物体の前記面積以下である場合、前記プロセッサは前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第２クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第２特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることを特徴とする請求項１６に記載のコンピュータ装置。
  19. 前記（ＩＶ）プロセスで、
    前記プロセッサが前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする請求項１１に記載のコンピュータ装置。
  20. 前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体を示し、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする請求項１９に記載のコンピュータ装置。
JP2020002012A 2019-01-22 2020-01-09 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置 Active JP6856906B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/254,525 US10311336B1 (en) 2019-01-22 2019-01-22 Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US16/254,525 2019-01-22

Publications (2)

Publication Number Publication Date
JP2020119537A JP2020119537A (ja) 2020-08-06
JP6856906B2 true JP6856906B2 (ja) 2021-04-14

Family

ID=66673239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020002012A Active JP6856906B2 (ja) 2019-01-22 2020-01-09 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置

Country Status (5)

Country Link
US (1) US10311336B1 (ja)
EP (1) EP3686783A1 (ja)
JP (1) JP6856906B2 (ja)
KR (1) KR102325025B1 (ja)
CN (1) CN111460879B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7261022B2 (ja) * 2019-01-30 2023-04-19 キヤノン株式会社 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体
CA3180994A1 (en) 2020-06-05 2021-12-09 Gautam Narang Method and system for data-driven and modular decision making and trajectory generation of an autonomous agent
EP4162337A4 (en) * 2020-06-05 2024-07-03 Gatik Ai Inc METHOD AND SYSTEM FOR CONTEXT-SENSITIVE DECISION-MAKING OF AN AUTONOMOUS AGENT
CA3240477A1 (en) 2021-12-16 2023-06-22 Apeksha Kumavat Method and system for expanding the operational design domain of an autonomous agent
CA3240409A1 (en) 2021-12-16 2023-06-22 Apeksha Kumavat Method and system for addressing failure in an autonomous agent
US11838826B1 (en) 2023-04-25 2023-12-05 T-Mobile Usa, Inc. Location clustering and routing for 5G drive testing

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448484A (en) * 1992-11-03 1995-09-05 Bullock; Darcy M. Neural network-based vehicle detection system and method
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US7398259B2 (en) * 2002-03-12 2008-07-08 Knowmtech, Llc Training of a physical neural network
US7433524B2 (en) * 2003-05-08 2008-10-07 Ricoh Company, Ltd. Processing system with frame rate and image quality optimized
US20050175243A1 (en) * 2004-02-05 2005-08-11 Trw Automotive U.S. Llc Method and apparatus for classifying image data using classifier grid models
US7958063B2 (en) * 2004-11-11 2011-06-07 Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
EP2313863A1 (en) * 2008-07-14 2011-04-27 National ICT Australia Limited Detection of vehicles in images of a night time scene
US9600745B2 (en) * 2011-03-17 2017-03-21 Nec Corporation Image recognition system, image recognition method, and non-transitory computer readable medium storing image recognition program
GB2497516A (en) * 2011-12-05 2013-06-19 Univ Lincoln Generating training data for automation of image analysis
US9158995B2 (en) * 2013-03-14 2015-10-13 Xerox Corporation Data driven localization using task-dependent representations
CN104346620B (zh) * 2013-07-25 2017-12-29 佳能株式会社 对输入图像中的像素分类的方法和装置及图像处理系统
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
US9390348B2 (en) * 2014-05-19 2016-07-12 Jinling Institute Of Technology Method for categorizing objects in image
US9430715B1 (en) * 2015-05-01 2016-08-30 Adobe Systems Incorporated Identifying and modifying cast shadows in an image
US9836839B2 (en) * 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
US9904849B2 (en) * 2015-08-26 2018-02-27 Digitalglobe, Inc. System for simplified generation of systems for broad area geospatial object detection
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
CN107247956B (zh) * 2016-10-09 2020-03-27 成都快眼科技有限公司 一种基于网格判断的快速目标检测方法
US11308350B2 (en) * 2016-11-07 2022-04-19 Qualcomm Incorporated Deep cross-correlation learning for object tracking
JP6964234B2 (ja) * 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
US10013773B1 (en) * 2016-12-16 2018-07-03 Waymo Llc Neural networks for object detection
US10108850B1 (en) * 2017-04-24 2018-10-23 Intel Corporation Recognition, reidentification and security enhancements using autonomous machines
KR102463175B1 (ko) * 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치
CN107506802A (zh) * 2017-10-19 2017-12-22 广东工业大学 一种基于网格的聚类算法及其装置
US10535191B2 (en) * 2017-12-21 2020-01-14 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN108229446B (zh) * 2018-02-09 2020-07-24 中煤航测遥感集团有限公司 一种区域圈定方法及系统
US10140553B1 (en) * 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles

Also Published As

Publication number Publication date
CN111460879A (zh) 2020-07-28
KR102325025B1 (ko) 2021-11-12
US10311336B1 (en) 2019-06-04
CN111460879B (zh) 2023-09-26
KR20200091321A (ko) 2020-07-30
JP2020119537A (ja) 2020-08-06
EP3686783A1 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
JP6856906B2 (ja) 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置
JP6923960B2 (ja) 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6810415B2 (ja) 自律走行自動車のレベル４を満たすために領域のクラスに応じてモードを切り換えてグリッドセルごとに重み付けコンボリューションフィルタを利用した監視用イメージセグメンテーション方法及び装置、並びにそれを利用したテスト方法及びテスト装置
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なｒｏｉをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｏｏｌｉｎｇ ｒｏｉ ｂｙ ｕｓｉｎｇ ｍａｓｋｉｎｇ ｐａｒａｍｅｔｅｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ｏｒ ｃｏｍｐａｃｔ ｎｅｔｗｏｒｋｓ ｖｉａ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102309708B1 (ko) 인스턴스 세그멘테이션을 이용한 객체의 자세에 따라 모드를 전환할 수 있는 cnn 기반의 수도-3d 바운딩 박스를 검출하는 방법 및 이를 이용한 장치
JP6856904B2 (ja) 物体のスケールに応じてモード転換が可能なｃｎｎ基盤の監視用物体検出器の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6908945B2 (ja) 機能的安全性のために極限状況でフォールトトレランス及びフラクチュエーションロバスト性を向上させるようにテストパターンを利用してｃｎｎのパラメータの無欠性を検証するための方法及び装置
JP6857369B2 (ja) Ｃｎｎを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置
JP6903352B2 (ja) 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｓｅｎｓｏｒ ｆｕｓｉｏｎ ｂｙ ｕｓｉｎｇ ｍｅｒｇｉｎｇ ｎｅｔｗｏｒｋ ｗｈｉｃｈ ｌｅａｒｎｓ ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ｝
JP6856957B2 (ja) 写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたｃｎｎを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6864891B2 (ja) 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置
JP6856905B2 (ja) 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置
JP6853543B2 (ja) 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置
EP3686802A1 (en) Method and device for generating test patterns and selecting optimized test patterns among the test patterns in order to verify integrity of convolution operations to enhance fault tolerance and fluctuation robustness in extreme situations
JP6856852B2 (ja) 横フィルタマスクを利用して自律走行車の走行経路を計画するために車線要素を検出する方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210311

R150 Certificate of patent or registration of utility model

Ref document number: 6856906

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250