JP6850037B2 - 自律走行状況で、障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及びコンピューティング装置 - Google Patents

自律走行状況で、障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及びコンピューティング装置 Download PDF

Info

Publication number
JP6850037B2
JP6850037B2 JP2019160650A JP2019160650A JP6850037B2 JP 6850037 B2 JP6850037 B2 JP 6850037B2 JP 2019160650 A JP2019160650 A JP 2019160650A JP 2019160650 A JP2019160650 A JP 2019160650A JP 6850037 B2 JP6850037 B2 JP 6850037B2
Authority
JP
Japan
Prior art keywords
image
label
composite
bounding box
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019160650A
Other languages
English (en)
Other versions
JP2020038668A (ja
Inventor
ゲヒョン キム
ゲヒョン キム
ヨンジュン キム
ヨンジュン キム
インス キム
インス キム
ハクギョン キム
ハクギョン キム
ウンヒョン ナム
ウンヒョン ナム
ソクフン ブ
ソクフン ブ
ミョンチョル ソン
ミョンチョル ソン
ドンフン ヨ
ドンフン ヨ
ウジュ リュ
ウジュ リュ
テウン ジャン
テウン ジャン
ギョンジュン ジョン
ギョンジュン ジョン
ホンモ ジェ
ホンモ ジェ
ホジン ジョ
ホジン ジョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020038668A publication Critical patent/JP2020038668A/ja
Application granted granted Critical
Publication of JP6850037B2 publication Critical patent/JP6850037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習のための少なくとも一つのイメージデータセットを生成する方法に関し、より詳細には；（ａ）コンピューティング装置が、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応されるバウンディングボックスを利用して生成された初期合成ラベルを獲得する段階：及び（ｂ）前記コンピューティング装置が、ＣＮＮモジュールをもって前記原本イメージ及び前記初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成するようにする段階；を含むものの、前記第１合成ラベルは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体のイメージに対応される特定ラベルを前記原本ラベルに追加することにより生成され、前記第１合成イメージは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように、前記特定の物体の特定イメージが前記原本イメージに合成されたイメージであることを特徴とする方法及びこれを利用したコンピューティング装置に関する。
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげである。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
一方、イメージセグメンテーション（Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）は、入力としてイメージ（トレーニングイメージまたはテストイメージ）を受けて、出力としてラベル（ｌａｂｅｌ）イメージを作り出す方法である。最近、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が脚光を浴び、セグメンテーションもディープラーニングを多く利用する傾向にある。
一方、自律走行状況で利用される障害物を検出するためにＣＮＮを学習する場合、学習装置は自律走行状況で遭遇する様々な物体を学習しなければならず、そのために学習用イメージは自律走行状況で向き合うことになる様々な物体が存在するイメージである必要がある。
しかしながら、実際の走行状況では、道路上に様々な物体が存在し得るが、このようなデータを収集することは容易ではない。つまり、道路上に頻繁に現れない特異な物体に対する学習イメージは、一般走行映像データでは容易には入手できないだろう。例えば、人や自転車、車両等に対しては、一般走行映像データから容易に得られるイメージであるため、このような物体が含まれる学習イメージでは検出性能を高めるための学習をし得るが、虎やワニ等に対しては、一般走行映像データから容易に入手できず、これにより特異な物体への検出性能を高めるための学習は容易でないという問題点が存在する。
本発明は、前述した問題点を解決することを目的とする。
本発明は、自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出し得る性能を高めるために利用される学習用イメージセットを確保することを他の目的とする。
また、バウンディングボックスを含む合成イメージを生成する方法を提供することを他の目的とする。
また、ＣＮＮモジュールをもって原本イメージ、初期合成ラベル及びランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返して（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成イメージ及び前記生成された中間合成ラベルを前記ＣＮＮモジュールの前記入力イメージとして受けるプロセスを遂行することで、実際のイメージとより似ている合成イメージ及び合成ラベルを生成する方法を提供することを他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は次の通りである。
本発明の一態様によれば、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習のための少なくとも一つのイメージデータセットを生成する方法において、（ａ）コンピューティング装置が、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応されるバウンディングボックスを利用して生成された初期合成ラベルを獲得する段階：及び（ｂ）前記コンピューティング装置が、ＣＮＮモジュールをもって前記原本イメージ及び前記初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成するようにする段階；を含むものの、前記第１合成ラベルは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体のイメージに対応される特定ラベルを前記原本ラベルに追加することにより生成され、前記第１合成イメージは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように、前記特定の物体の特定イメージが前記原本イメージに合成されたイメージであることを特徴とする方法を開示する。
一例として、前記（ａ）段階で、前記コンピューティング装置が、（ｉｉｉ）ランダムシード値を追加的に獲得し、前記（ｂ）段階で、前記コンピューティング装置が、前記ＣＮＮモジュールをもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を用いて調整された第１合成イメージを複数生成するものの、前記調整された第１合成イメージは、前記ランダムシード値を変化させながら前記第１合成イメージに含まれた前記特定の物体のサイズ、位置、カラーのうち、少なくとも一部を調整して生成されるイメージであることを特徴とする。
一例として、前記（ａ）段階で、前記コンピューティング装置が、（ｉｉｉ）ランダムシード値を追加的に獲得し、（ｃ）前記学習装置は、前記ＣＮＮモジュールをもって前記第１合成ラベル、前記第１合成イメージ、及び前記ランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返して（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成ラベル及び前記生成された中間合成イメージを前記ＣＮＮモジュールの前記入力として受けるようにする段階；をさらに含み、前記（ｃ）段階で、繰り返し前記中間合成ラベル及び前記中間合成イメージを生成することにより、前記初期合成ラベル内前記バウンディンボックスの位置と同一または類似するように、前記特定の物体に対応する前記特定ラベル及び前記特定イメージを各々前記中間合成ラベル及び前記中間合成イメージ内に繰り返し合成して、第２合成ラベル及び第２合成イメージを生成することを特徴とする。
一例として、前記特定の物体に対応して、前記バウンディングボックスを選択するように提供されるバウンディングボックス候補群の形が所定の確率分布に従うとした場合、前記バウンディングボックスの形は、前記確率分布によって決定されることを特徴とする。
一例として、前記特定の物体に対応する前記バウンディンボックスの候補群の横の長さと縦の長さが各々第１確率分布と第２確率分布に従うとした場合、前記バウンディンボックスの形は、横の長さと縦の長さが各々前記第１確率分布と、前記第２確率分布によって決められることで決定されることを特徴とする。
一例として、前記特定の物体に対応する前記バウンディングボックス候補群の位置が、様々なイメージ内の前記特定の物体と類似した種類と大きさを有した様々な物体の位置情報を参照して獲得された所定の確率分布に従うとすれば、前記特定の物体に対応される前記バウンディングボックスの位置は、前記確率分布によって決定されることを特徴とする。
一例として、（ｄ）前記コンピューティング装置は、前記第１合成イメージと、前記第１合成ラベルを、物体検出及びイメージセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）のうち、少なくとも一部のための学習用データセットを含むデータベースに追加する段階；をさらに含む。
本発明の他の態様によれば、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習のための少なくとも一つのデータセットを生成するコンピューティング装置において、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応されるバウンディングボックスを利用して生成された初期合成ラベルを通信部：及び（Ｉ）ＣＮＮモジュールをもって前記原本イメージ及び前記初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成するようにするプロセスを遂行するプロセッサ；を含むものの、前記第１合成ラベルは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体のイメージに対応される特定ラベルを前記原本ラベルに追加することにより生成され、前記第１合成イメージは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように、前記特定の物体の特定イメージが前記原本イメージに合成されたイメージであることを特徴とするコンピューティング装置を開示する。
一例として、前記通信部が、（ｉｉｉ）ランダムシード値を追加的に獲得して、前記（Ｉ）プロセスで、前記プロセッサが、前記ＣＮＮモジュールをもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を用いて調整された第１合成イメージを複数生成するものの、前記調整された第１合成イメージは、前記ランダムシード値を変化させながら、前記第１合成イメージに含まれた前記特定の物体のサイズ、位置、カラーのうち、少なくとも一部を調整して生成されるイメージであることを特徴とする。
一例として、前記通信部が、（ｉｉｉ）ランダムシード値を追加的に獲得し、前記プロセッサは、（ＩＩ）前記ＣＮＮモジュールをもって前記第１合成ラベル、前記第１合成イメージ、及び前記ランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返して（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成ラベル及び前記生成された中間合成イメージを前記ＣＮＮモジュールの前記入力として受けるプロセス；をさらに遂行して、前記（ＩＩ）プロセスで、繰り返し前記中間合成ラベル及び前記中間合成イメージを生成することにより、前記初期合成ラベル内前記バウンディンボックスの位置と同一または類似するように、前記特定の物体に対応する前記特定ラベル及び前記特定イメージを各々前記中間合成ラベル及び前記中間合成イメージ内に繰り返し合成して、第２合成ラベル及び第２合成イメージを生成することを特徴とする。
一例として、前記特定の物体に対応して、前記バウンディングボックスを選択するように提供されるバウンディングボックス候補群の形が所定の確率分布に従うとした場合、前記バウンディングボックスの形は、前記確率分布によって決定されることを特徴とする。
一例として、前記特定の物体に対応する前記バウンディンボックスの候補群の横の長さと縦の長さが各々第１確率分布と第２確率分布に従うとした場合、前記バウンディンボックスの形は、横の長さと特定の縦の長さが各々前記第１確率分布と、前記第２確率分布によって決められることで決定されることを特徴とする。
一例として、前記特定の物体に対応する前記バウンディングボックス候補群の位置が、様々なイメージ内の前記特定の物体と類似した種類と大きさを有した様々な物体の位置情報を参照して獲得された所定の確率分布に従うとすれば、前記特定の物体に対応される前記バウンディングボックスの位置は、前記確率分布によって決定されることを特徴とする。
一例として、前記プロセッサは、（ＩＩＩ）前記第１合成イメージと、前記第１合成ラベルを、物体検出及びイメージセグメンテーションのうち、少なくとも一部のための学習用データセットを含むデータベースに追加するプロセス；をさらに遂行することを特徴とする。
本発明によれば、自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出し得る性能を高めるために利用される学習用イメージセットを確保し得る効果がある。
また、本発明によれば、バウンディングボックスを含む合成イメージを生成し得る効果がある。
また、本発明によれば、ＣＮＮモジュールをもって第１合成イメージ、第１合成ラベル及びランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返して（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成イメージ及び前記生成された中間合成ラベルを前記ＣＮＮモジュールの前記入力イメージとして受けるプロセスを遂行することで、実際のイメージとより似ている合成イメージ及び合成ラベルを生成し得る効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例の中の一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業がなされることなくこれらの図面に基づいて他の図面が得られ得る。
図１は、本発明に係るコンピューティング装置の構成を示した図面である。 図２は、入力に多様な演算を処理するＣＮＮモジュールの構成を示した図面である。 図３は、本発明の一実施例によって前記ＣＮＮモジュールが第１合成イメージ及び第１合成ラベルを生成する過程を示した図面である。 図４は、前記ＣＮＮモジュールがランダムシード値を利用して繰り返し第２合成イメージ及び第２合成ラベルを生成する過程を示した図面である。
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得て、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者に本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるだろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図１は、本発明に係るコンピューティング装置の構成を示した図面である。
図１を参照すれば、前記コンピューティング装置１００は、ＣＮＮモジュール２００を含み得る。前記ＣＮＮモジュール２００の入出力及び演算過程は、各々通信部１１０及びプロセッサ１２０によって行われ得る。
図２は、本発明に係る前記ＣＮＮモジュール２００が入力値に多様な演算を加える過程を示した図面である。
図２を参照すれば、前記ＣＮＮモジュール２００は、エンコーディングレイヤ２１０、調整レイヤ２２０及びデコーディングレイヤ２３０などを含み得る。
具体的に、前記エンコーディングレイヤ２１０は、原本イメージと初期合成ラベルに一つ以上のコンボリューション演算を加えて一つ以上の特徴マップを生成するプロセスを遂行し、前記調整レイヤ２２０は、前記エンコーディングレイヤから最後に出力された特定の特徴マップ及びランダムシード値を利用して調整された特徴マップを生成するプロセスを遂行し、前記デコーディングレイヤ２３０は、前記調整された特徴マップに一つ以上のデコンボリューション演算を加えて第１合成イメージ及び第１合成ラベルを生成するプロセスを遂行し得る。
前記エンコーディングレイヤで随行される前記コンボリューション演算について具体的に見てみると、前記エンコーディングレイヤ２１０は、前記特徴マップを生成するために前記原本イメージ及び前記初期合成ラベルを獲得する。各々３−チャネル及び１−チャネルデータである前記原本イメージ及び前記初期合成ラベルをチャネルワイズコンカチネーション（Ｃｈａｎｎｅｌ−ｗｉｓｅ Ｃｏｎｃａｔｅｎａｔｉｏｎ）して４−チャネルデータに変換した後、前記エンコーディングレイヤ２１０は、前記４−チャネルデータに前記コンボリューション演算を加える。
前記コンピューティング装置及び前記ＣＮＮモジュールの構成を見たところ、前記コンピューティング装置１００がどのような方式で本発明の目的である自律走行装置の学習のための学習用データセットを生成し得るかについて図３に基づいて説明する。
図３は、前記ＣＮＮモジュールが前記学習用データセットを生成する過程を示した図面である。
図３を参照すれば、前記コンピューティング装置１００は、前記通信部１１０をもって、（ｉ）道路走行状況を示す前記原本イメージ、及び（ｉｉ）前記初期合成ラベルを獲得し得る。初期合成ラベルとは、前記原本イメージに対応される原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応するバウンディングボックスを用いて生成されたラベルを意味する。
そして、前記原本イメージと前記初期合成ラベルが獲得されれば、前記コンピューティング装置１００は、前記ＣＮＮモジュール２００をもって前記原本イメージ及び前記初期合成ラベルを利用して前記第１合成イメージ及び前記第１合成ラベルを生成するようにする。
前記第１合成イメージは、前記特定の物体の前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記バウンディンボックスに対応する前記特定の物体の特定イメージを前記の原本イメージに追加することにより生成される。
前記第１合成ラベルは、前記特定の物体の前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体に対応される特定ラベルを前記原本ラベルに追加することにより生成される。
図３を参照すれば、前記バウンディンボックスに対応するバス（ｂｕｓ）のイメージは、前記原本イメージに合成されるという点、前記バスに対応する前記特定ラベルが前記原本ラベルに合成されるという点がわかる。
前記第１合成イメージ及び前記第１合成ラベルの生成過程は、前記プロセッサ１２０によって遂行され得る。
例えば、図３のように（ｉ）道路を含む前記原本イメージと、（ｉｉ）前記原本イメージに対応する前記原本ラベル及び（ｉｉｉ）合成する大型バスに対応する前記バウンディングボックス（これ以外にも、道路に存在し得るが頻繁に見られない障害物、例えば、牛、キバノロ、落石などがそれに該当し得る）が獲得されれば、前記原本ラベルに前記大型バスに対応する前記バウンディンボックスを合成して前記初期合成ラベルが生成され得る。以降、前記ＣＮＮモジュールが（ｉ）前記大型バスの特定イメージを前記原本イメージ内の前記道路上に位置するように合成することで前記第１合成イメージを生成し、（ｉｉ）前記初期合成ラベル内前記バウンディンボックスを前記大型バスの前記特定イメージに代替することにより前記第１合成ラベルを生成するということである。
ここで、前記初期合成ラベルは、前記コンピューティング装置１００が直接生成してからも獲得され得て、前記コンピューティング装置１００と連動される他の装置（未図示）が生成した後にこれを前記コンピューティング装置１００に伝達してからも獲得され得る。前者の場合、前記原本ラベル及び前記バウンディンボックスは、前記コンピューティング装置１００に入力され得る。
一方、前記第１合成イメージ及び前記第１合成ラベルを合成するには一般的に知られた合成技術が利用され得るが、これは前記バウンディンボックスが前記初期合成ラベルに合成されれば、前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記バウンディンボックスに対応する前記特定ラベルを前記原本ラベルに合成して前記第１合成ラベルが生成され、前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記バウンディンボックスに含まれた前記特定の物体に対応する前記特定イメージを前記原本イメージに合成して前記第１合成イメージが生成され得る。
また、図２で前記第１合成イメージに表示された丸、図３で前記第１合成イメージに表示された丸及び図４において前記中間合成イメージ及び前記中間合成ラベルに表示された丸は、前記大型バスに対応される前記特定ラベル及び前記大型バスに対応される前記特定イメージが前記第１合成イメージ、前記中間合成ラベルまたは前記合成イメージに合成されたことを強調するための図面上の印に過ぎず、前記中間合成ラベル、前記中間合成イメージまたは前記第１合成イメージに丸自体が含まれているものではないことを明らかにしておく。
図２には、前記ＣＮＮモジュールが前記ランダムシード値も獲得して前記第１合成イメージを生成すると示されているが、前記ランダムシード値は、本発明の実施に必須的な要素ではない。「シード値」とは、関数の入力値の一つであるが、前記シード値が固定されれば、前記関数の出力値のうち少なくとも一部の特性が固定される。従って、前記ランダムシード値が変化し続ける乱数ならば、前記関数の前記出力値が多様に出るようにするために利用され得る。
図３を参照すれば、前記ＣＮＮモジュール２００が固定されていない前記ランダムシード値を追加的に獲得すると、前記コンピューティング装置１００は、前記ＣＮＮモジュール２００をもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を利用して、複数の調整された第１合成イメージ及び調整された第１合成ラベルを各々生成するようにし得る。
しかし、もし前記ＣＮＮモジュールが前記ランダムシード値を追加的に獲得しなかったり、固定シード値を獲得する場合、単に特性が一定した前記大型バスの前記イメージが合成された前記第１合成イメージを作り出すだけなので、学習に必要な様々なケースを反映することが難しくなる。
このような短所を避けるため、前記ランダムシード値が様々な値に変化しながら追加的に入力されるようにすることで、カラー、形状及び位置のうち、少なくとも一つが他のバスを含むように前記調整された第１合成イメージが生成され得るようになる。
次に、図４は実際のイメージとさらに似ている第２合成イメージを得るために遂行する繰り返しプロセスを示す。
図４を参照すれば、初期プロセスで、前記コンピューティング装置１００は、前記ＣＮＮモジュール２００をもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を獲得し、第１合成ラベル及び第１合成イメージを生成するようにする。
前記繰り返しプロセスにおいて、前記コンピューティング装置１００は、前記ＣＮＮモジュール２００をもって、前記第１合成ラベル及び前記第１合成イメージ及び前記ランダムシード値の入力を受けて、繰り返し（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成ラベル及び前記生成された中間合成イメージを前記ＣＮＮモジュールの入力として受けるようにする。
ここで、前記中間合成ラベル及び前記中間合成イメージを繰り返し生成する間、前記コンピューティング装置１００は、前記初期合成イメージ内の前記バウンディンボックスの位置と同一または類似するように前記特定の物体に対応する前記特定ラベル及び前記特定イメージを各々前記生成された中間合成ラベル及び前記中間合成イメージ内に合成して充分な結果が出るようにする。前記「充分な結果」とは、入力イメージが合成または実際であることを区別するイメージ判断モジュールがある場合、前記イメージ判断モジュールが任意の入力された中間合成イメージが合成イメージか実際のイメージかを区別できない程度に至った場合を意味する。前記充分な結果が獲得されると、前記コンピューティング装置は、前記ＣＮＮモジュールをもって前記繰り返しプロセスの末端で最後に生成された中間イメージ及び最後に生成された中間ラベルを第２合成ラベル及び第２合成イメージとして出力するようにする。前記ランダムシード値は、前記初期プロセスではランダムに定められ、以降の前記繰り返しプロセスでは同様に維持されるが、この限りではない。
図４の前記繰り返しプロセスを遂行すれば、各々の前記中間合成イメージ及びそれに対応する中間合成ラベル内の同一または類似した位置に、一定の形状とカラーを有する前記特定の物体とそれに対応する特定ラベルが各々合成され得る。上述のように、前記繰り返しプロセスを遂行すれば、実際のイメージとさらに類似したような前記第２合成イメージ及びこれに対応する前記第２合成ラベルを得られ得るようになるだろう。
一方、前記特定の物体に対応される前記バウンディングボックスを、前記原本ラベルに合成する際、前記特定の物体の形態が多様であり得て、前記特定の物体は、前記初期合成イメージの中にどこにでも存在し得るものであることから、前記バウンディングボックスの形及び位置が毎回組み合わせごとに定められるべきである。従って、前記バウンディングボックスの形及び位置を決定する方式を説明する。
前記特定の物体、たとえばキバノロの場合、標準的な体型に基づいたキバノロの身体の比率があるはずで、これによって体長が長いキバノロ、体長が短いキバノロ、脚が長いキバノロや脚が短いキバノロなどの確率が計算され得る。従って、キバノロの例示で分かるように、前記特定の物体に対応して、前記バウンディンボックスを選択するように提供されるバウンディンボックス候補群の形が所定の確率分布に従うと仮定され得て、前記バウンディンボックスの形を前記確率分布によって決定し得る。
前記確率分布が定められた後でも、前記バウンディンボックスの形を決定する方式は様々なものがあり得るが、前記バウンディンボックスの形は長方形で、その横と縦の長さが各々第１確率分布と第２確率分布に従うとした場合、前記バウンディンボックスの形は、前記第１確率分布及び前記第２確率分布によって決定する方式を取ることができる。
また、イメージにおいて遠近法によって近い物体は大きく見え、遠い物体は小さく見える。従って、前記バウンディンボックスに対応する前記特定の物体と同じ種類の物体の基準の大きさがあるなら、前記特定イメージの大きさが前記基準の大きさより小さい場合、前記イメージ上で遠い方に位置する傾向が強いと言えるだろうし、前記特定の物体の大きさが前記基準の大きさより大きい場合、前記イメージ上で近い方に位置する傾向が強いと言えるだろう。結局、前記バウンディンボックス候補群の位置は、前記特定の物体と似ている種類とサイズを有する多様な物体の多様なイメージ内の相対的位置に対する情報を参照にして獲得された所定の確率分布に従うと仮定することができるだろうし、前述の仮定による前記確率分布によって前記バウンディンボックスの位置が決定され得る。
前記方法を通じて、前記第１合成イメージ及び前記第１合成のラベルが生成されれば、前記第１合成イメージ及び前記第１合成イメージ（または前記第２合成イメージ及び前記第２合成ラベル）を物体検出及びイメージセグメンテーションのうち、少なくとも一つ以上の学習のためのトレーニングデータセットを含むデータベースに追加され得るだろう。
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ、原本ラベル及び追加ラベルといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得て、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得て、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記のハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得て、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (14)

  1. 自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習のための少なくとも一つのイメージデータセットを生成する方法において、
    （ａ）コンピューティング装置が、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応されるバウンディングボックスを利用して生成された初期合成ラベルを獲得する段階：及び
    （ｂ）前記コンピューティング装置が、ＣＮＮモジュールをもって前記原本イメージ及び前記初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成するようにする段階；を含むものの、
    前記第１合成ラベルは、前記特定の物体のイメージに対応される前記バウンディングボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体のイメージに対応される特定ラベルを前記原本ラベルに追加することにより生成され、前記第１合成イメージは、前記特定の物体のイメージに対応される前記バウンディングボックスの前記初期合成ラベル内の位置に対応するように、前記特定の物体の特定イメージが前記原本イメージに合成されたイメージであることを特徴とする方法。
  2. 前記（ａ）段階で、
    前記コンピューティング装置が、（ｉｉｉ）ランダムシード値を追加的に獲得し、
    前記（ｂ）段階で、
    前記コンピューティング装置が、前記ＣＮＮモジュールをもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を用いて調整された第１合成イメージを複数生成するものの、前記調整された第１合成イメージは、前記ランダムシード値を変化させながら前記第１合成イメージに含まれた前記特定の物体のサイズ、位置、カラーのうち、少なくとも一部を調整して生成されるイメージであることを特徴とする請求項１に記載の方法。
  3. 前記（ａ）段階で、
    前記コンピューティング装置が、（ｉｉｉ）ランダムシード値を追加的に獲得し、
    （ｃ）コンピューティング装置は、前記ＣＮＮモジュールをもって前記第１合成ラベル、前記第１合成イメージ、及び前記ランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返し（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成ラベル及び前記生成された中間合成イメージを前記ＣＮＮモジュールの前記入力として受けるようにする段階；
    をさらに含み、
    前記（ｃ）段階で、
    繰り返し前記中間合成ラベル及び前記中間合成イメージを生成することにより、前記初期合成ラベル内前記バウンディングボックスの位置と同一または類似するように、前記特定の物体に対応する前記特定ラベル及び前記特定イメージを各々前記中間合成ラベル及び前記中間合成イメージ内に繰り返し合成して、第２合成ラベル及び第２合成イメージを生成することを特徴とする請求項１に記載の方法。
  4. 前記特定の物体に対応して、前記バウンディングボックスを選択するように提供されるバウンディングボックス候補群の形が所定の確率分布に従うとした場合、前記バウンディングボックスの形は、前記確率分布によって決定されることを特徴とする請求項１に記載の方法。
  5. 前記特定の物体に対応する前記バウンディングボックスの候補群の横の長さと縦の長さが各々第１確率分布と第２確率分布に従うとした場合、前記バウンディングボックスの形は、横の長さと縦の長さが各々前記第１確率分布と、前記第２確率分布によって決められることで決定されることを特徴とする請求項４に記載の方法。
  6. 前記特定の物体に対応する前記バウンディングボックス候補群の位置が、様々なイメージ内の前記特定の物体と類似した種類と大きさを有した様々な物体の位置情報を参照して獲得された所定の確率分布に従うとすれば、前記特定の物体に対応される前記バウンディングボックスの位置は、前記確率分布によって決定されることを特徴とする請求項１に記載の方法。
  7. （ｄ）前記コンピューティング装置は、前記第１合成イメージと、前記第１合成ラベルを、物体検出及びイメージセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）のうち、少なくとも一部のための学習用データセットを含むデータベースに追加する段階；
    をさらに含む請求項１に記載の方法。
  8. 自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習のための少なくとも一つのデータセットを生成するコンピューティング装置において、
    （ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応されるバウンディングボックスを利用して生成された初期合成ラベルを通信部：及び
    （Ｉ）ＣＮＮモジュールをもって前記原本イメージ及び前記初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成するようにするプロセスを遂行するプロセッサ；を含むものの、
    前記第１合成ラベルは、前記特定の物体のイメージに対応される前記バウンディングボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体のイメージに対応される特定ラベルを前記原本ラベルに追加することにより生成され、前記第１合成イメージは、前記特定の物体のイメージに対応される前記バウンディングボックスの前記初期合成ラベル内の位置に対応するように、前記特定の物体の特定イメージが前記原本イメージに合成されたイメージであることを特徴とするコンピューティング装置。
  9. 前記通信部が、（ｉｉｉ）ランダムシード値を追加的に獲得して、
    前記（Ｉ）プロセスで、
    前記プロセッサが、前記ＣＮＮモジュールをもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を用いて調整された第１合成イメージを複数生成するものの、前記調整された第１合成イメージは、前記ランダムシード値を変化させながら、前記第１合成イメージに含まれた前記特定の物体のサイズ、位置、カラーのうち、少なくとも一部を調整して生成されるイメージであることを特徴とする請求項８に記載のコンピューティング装置。
  10. 前記通信部が、（ｉｉｉ）ランダムシード値を追加的に獲得し、
    前記プロセッサは、（ＩＩ）前記ＣＮＮモジュールをもって前記第１合成ラベル、前記第１合成イメージ及び、前記ランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返し（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成ラベル及び前記生成された中間合成イメージを前記ＣＮＮモジュールの前記入力として受けるプロセス；をさらに遂行して、
    前記（ＩＩ）プロセスで、
    繰り返し前記中間合成ラベル及び前記中間合成イメージを生成することにより、前記初期合成ラベル内前記バウンディングボックスの位置と同一または類似するように、前記特定の物体に対応する前記特定ラベル及び前記特定イメージを各々前記中間合成ラベル及び前記中間合成イメージ内に繰り返し合成して、第２合成ラベル及び第２合成イメージを生成することを特徴とする請求項８に記載のコンピューティング装置。
  11. 前記特定の物体に対応して、前記バウンディングボックスを選択するように提供されるバウンディングボックス候補群の形が所定の確率分布に従うとした場合、前記バウンディングボックスの形は、前記確率分布によって決定されることを特徴とする請求項８に記載のコンピューティング装置。
  12. 前記特定の物体に対応する前記バウンディングボックスの候補群の横の長さと縦の長さが各々第１確率分布と第２確率分布に従うとした場合、前記バウンディングボックスの形は、横の長さと特定の縦の長さが各々前記第１確率分布と、前記第２確率分布によって決められることで決定されることを特徴とする請求項１１に記載のコンピューティング装置。
  13. 前記特定の物体に対応する前記バウンディングボックス候補群の位置が、様々なイメージ内の前記特定の物体と類似した種類と大きさを有した様々な物体の位置情報を参照して獲得された所定の確率分布に従うとすれば、前記特定の物体に対応される前記バウンディングボックスの位置は、前記確率分布によって決定されることを特徴とする請求項８に記載のコンピューティング装置。
  14. 前記プロセッサは、（ＩＩＩ）前記第１合成イメージと、前記第１合成ラベルを、物体検出及びイメージセグメンテーションのうち、少なくとも一部のための学習用データセットを含むデータベースに追加するプロセス；をさらに遂行することを特徴とする請求項８に記載のコンピューティング装置。
JP2019160650A 2018-09-05 2019-09-03 自律走行状況で、障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及びコンピューティング装置 Active JP6850037B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/121,659 2018-09-05
US16/121,659 US10467503B1 (en) 2018-09-05 2018-09-05 Method and device for generating image data set to be used for learning CNN capable of detecting obstruction in autonomous driving circumstance

Publications (2)

Publication Number Publication Date
JP2020038668A JP2020038668A (ja) 2020-03-12
JP6850037B2 true JP6850037B2 (ja) 2021-03-31

Family

ID=66286251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019160650A Active JP6850037B2 (ja) 2018-09-05 2019-09-03 自律走行状況で、障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及びコンピューティング装置

Country Status (5)

Country Link
US (1) US10467503B1 (ja)
EP (1) EP3620977A1 (ja)
JP (1) JP6850037B2 (ja)
KR (1) KR102314524B1 (ja)
CN (1) CN110879960B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6585995B2 (ja) * 2015-11-06 2019-10-02 クラリオン株式会社 画像処理システム
CN111507362B (zh) * 2019-01-30 2023-12-19 中强光电股份有限公司 神经网络的训练方法、基于神经网络的分类方法及其装置
CN111145365A (zh) * 2019-12-17 2020-05-12 北京明略软件系统有限公司 一种实现分类处理的方法、装置、计算机存储介质及终端
CN113225613B (zh) * 2020-01-21 2022-07-08 北京达佳互联信息技术有限公司 图像识别、视频直播方法和装置
US11631163B2 (en) * 2020-02-11 2023-04-18 Samsung Electronics Co., Ltd. Mobile data augmentation engine for personalized on-device deep learning system
US11270164B1 (en) 2020-09-24 2022-03-08 Ford Global Technologies, Llc Vehicle neural network
JPWO2022250071A1 (ja) * 2021-05-27 2022-12-01

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767565B2 (en) * 2015-08-26 2017-09-19 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US11003995B2 (en) * 2017-05-19 2021-05-11 Huawei Technologies Co., Ltd. Semi-supervised regression with generative adversarial networks
WO2019067641A1 (en) * 2017-09-26 2019-04-04 Aquifi, Inc. SYSTEMS AND METHODS FOR VISUAL INSPECTION BASED ON INCREASED REALITY
US11562213B2 (en) * 2018-04-17 2023-01-24 Intel Corporation Methods and arrangements to manage memory in cascaded neural networks

Also Published As

Publication number Publication date
CN110879960B (zh) 2023-11-14
CN110879960A (zh) 2020-03-13
KR20200027886A (ko) 2020-03-13
KR102314524B1 (ko) 2021-10-20
EP3620977A1 (en) 2020-03-11
US10467503B1 (en) 2019-11-05
JP2020038668A (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
JP6850037B2 (ja) 自律走行状況で、障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及びコンピューティング装置
JP6855082B2 (ja) 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置
JP6923960B2 (ja) 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6855090B2 (ja) カメラから取得されたイメージと、それに対応するレーダまたはライダを通じて取得されたポイントクラウドマップをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
KR102296509B1 (ko) 자율 주행 자동차의 레벨 4를 충족시키기 위해 영역의 클래스에 따라 모드를 전환하여 그리드 셀 별로 가중 컨벌루션 필터를 이용한 감시용 이미지 세그멘테이션 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
EP3693944A1 (en) Method and device for short-term path planning of autonomous driving through information fusion by using v2x communication and image processing
JP6912835B2 (ja) 自律走行自動車のレベル４を満たすために要求されるｈｄマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6935946B2 (ja) セグメンテーションスコアマップ及びクラスタリングマップを利用して自律走行車の走行経路を計画するための車線を検出するポストプロセッシング方法及び装置
JP6869565B2 (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6869559B2 (ja) 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ， ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR20200095337A (ko) 감시 시스템이 보다 정확하게 주변 상황을 식별하고 희귀 이벤트를 검출할 수 있도록 하기 위해, 생성 뉴럴 네트워크와 판별 뉴럴 네트워크를 포함하는 생성적 적대 신경망을 이용하여 합성여부판단불가 합성 이미지를 생성하는 방법과 장치
US10410352B1 (en) Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
JP7092383B2 (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
JP6793411B2 (ja) 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置
US10311336B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
EP3690797A2 (en) Learning method and learning device for learning automatic labeling device capable of auto-labeling image of base vehicle using images of nearby vehicles, and testing method and testing device using the same
JP6892157B2 (ja) Ｖ２ｘ情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して３ｄ空間を再構築することによりｈｄマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
CN111507161B (zh) 利用合并网络进行异质传感器融合的方法和装置
US10311578B1 (en) Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
JP6856957B2 (ja) 写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたｃｎｎを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
EP3913530B1 (en) Learning method and learning device for updating object detector, based on deep learning, of autonomous vehicle to adapt the object detector to driving circumstance, and updating method and updating device using the same
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
EP3686784A1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
EP3686799A1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210226

R150 Certificate of patent or registration of utility model

Ref document number: 6850037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250