JP6869565B2 - 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ - Google Patents

危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ Download PDF

Info

Publication number
JP6869565B2
JP6869565B2 JP2019193145A JP2019193145A JP6869565B2 JP 6869565 B2 JP6869565 B2 JP 6869565B2 JP 2019193145 A JP2019193145 A JP 2019193145A JP 2019193145 A JP2019193145 A JP 2019193145A JP 6869565 B2 JP6869565 B2 JP 6869565B2
Authority
JP
Japan
Prior art keywords
image
label
edge
computing device
edge portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019193145A
Other languages
English (en)
Other versions
JP2020119496A (ja
Inventor
金桂賢
金鎔重
金寅洙
金鶴京
南雲鉉
夫碩▲くん▼
成明哲
呂東勳
柳宇宙
張泰雄
鄭景中
諸泓模
趙浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020119496A publication Critical patent/JP2020119496A/ja
Application granted granted Critical
Publication of JP6869565B2 publication Critical patent/JP6869565B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Description

本発明は、少なくとも一つの入力イメージから一つ以上の物体検出をするためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して危険要素の検出能力を向上させるために利用される学習用イメージデータセットを生成する方法に関し；具体的には、前記入力イメージから前記物体検出をするためのＣＮＮに利用される学習用イメージデータセットを生成する前記方法において、（ａ）前記入力イメージにおいて、前記物体とバックグラウンドとの間の一つ以上の境界に一つ以上のエッジ部分が設定され、前記バックグラウンド及び前記物体のそれぞれに対応するクラスにそれぞれの互いに異なるラベル値が割り当てられた、前記入力イメージに対応する、少なくとも一つの第１ラベルイメージを取得するか、他の装置をもって取得するよう支援する段階；（ｂ）前記バックグラウンドのクラスと、前記物体の各クラスとの間のエッジ部分を抽出して、前記第１ラベルイメージから少なくとも一つのエッジイメージを生成するか、他の装置をもって生成するように支援する段階；（ｃ）前記抽出されたエッジ部分に一つ以上の重み付け値を付与して少なくとも一つのエッジ強化イメージを生成するか、他の装置をもって生成するように支援し、前記第１ラベルイメージに前記エッジ強化イメージを併合して、少なくとも一つの第２ラベルイメージを生成するか、他の装置をもって生成するように支援する段階；及び（ｄ）前記入力イメージと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）イメージとしての前記第２ラベルイメージとを前記学習用イメージデータセットとして格納するか、他の装置をもって格納するように支援する段階；を含む方法及びこれを利用した学習方法及びコンピューティング装置に関する。
ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）は、物やデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別することができる。このため、「機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）」という方法が考案された。多くのデータをコンピュータに入力し、類似したものを分類するようにする技術である。格納されている犬の写真と似たような写真が入力されれば、これを犬の写真だとコンピュータが分類するようにしたのである。
データをいかに分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的だ。このうち、ディープラーニングは人工神経網の後裔だ。
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
イメージセグメンテーション（Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）は、入力としてイメージを受けて、出力としてラベリングされたイメージを作り出す方法である。最近、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が脚光を浴び、セグメンテーションもディープラーニングを多く利用する傾向にある。コンボリューション演算を利用してラベルイメージを作り出す方法など、初期にはエンコーダのみを用いるセグメンテーションを試みていた。その後、エンコーダ・デコーダ構造を設計して、エンコーダでイメージの特徴を抽出し、デコーダを用いてラベルイメージに復元する方法が利用された。しかし、エンコーダ・デコーダの構造だけでは、精密なラベルイメージを得ることが難しかった。すなわち、イメージのエンコーディング及びデコーディング過程でエッジ部分が多く消える問題があり、このような問題を解決し、イメージやそれに対応する特徴マップからエッジを強化するための様々な方法が提案されている。
本発明は、前述した問題点を全て解決することを目的とする。
本発明は、一つ以上の強化されたセマンティック（ｓｅｍａｎｔｉｃ）エッジ部分を含む、少なくとも一つのラベルイメージを利用して、一つ以上のエッジ部分を検出するＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習に利用される、少なくとも一つの学習用イメージデータセットを提供することを他の目的とする。
また、本発明は、イメージセグメンテーション（Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）の過程で精密なエッジ部分を見つけ得るようにＣＮＮを学習し得る方法を提供することをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
本発明の一態様によれば、少なくとも一つの入力イメージから一つ以上の物体検出をするためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に利用される学習用イメージデータセットを生成する方法において、（ａ）コンピューティング装置が、前記入力イメージにおいて、前記物体とバックグラウンドとの間の一つ以上の境界に一つ以上のエッジ部分が設定され、前記バックグラウンド及び前記物体のそれぞれに対応するクラスにそれぞれの互いに異なるラベル値が割り当てられた、前記入力イメージに対応する、少なくとも一つの第１ラベルイメージを取得するか、他の装置をもって取得するよう支援する段階；（ｂ）前記コンピューティング装置が、前記バックグラウンドのクラスと、前記物体の各クラスとの間の前記エッジ部分を抽出して、前記第１ラベルイメージから少なくとも一つのエッジイメージを生成するか、他の装置をもって生成するように支援する段階；（ｃ）前記コンピューティング装置が、前記抽出されたエッジ部分に一つ以上の重み付け値を付与して少なくとも一つのエッジ強化イメージを生成するか、他の装置をもって生成するように支援し、前記第１ラベルイメージに前記エッジ強化イメージを併合して、少なくとも一つの第２ラベルイメージを生成するか、他の装置をもって生成するように支援する段階；及び（ｄ）前記コンピューティング装置が、前記入力イメージと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）イメージとしての前記第２ラベルイメージとを前記学習用イメージデータセットとして格納するか、他の装置をもって格納するように支援する段階；を含むことを特徴とする方法が提供される。
一例として、前記エッジ強化イメージにおいて、前記エッジ部分に割り当てられたラベル値は、前記第１ラベルイメージにおいて前記物体それぞれに割り当てられたそれぞれのラベル値より大きい。
一例として、前記（ｃ）段階において、前記抽出されたエッジ部分の幅を増加させることにより、一つ以上の拡大されたエッジ部分が生成され、前記拡大されたエッジ部分に前記重み付け値を付与して、前記エッジ強化イメージが生成される。
一例として、前記（ｃ）段階において、前記拡大されたエッジ部分に付与された前記重み付け値が均一な（ｕｎｉｆｏｒｍ）分布を有するように前記エッジ強化イメージが生成される。
一例として、前記（ｃ）段階において、前記拡大されたエッジ部分に付与された前記重み付け値が、ガウシアン（Ｇａｕｓｓｉａｎ）分布を有するように前記エッジ強化イメージが生成される。
本発明の他の態様によれば、少なくとも一つの入力イメージから一つ以上の物体を検出するためのＣＮＮの学習方法において、（ａ）第１コンピューティング装置が、（ｉ）前記入力イメージにおいて、前記物体とバックグラウンドとの間の一つ以上の境界に一つ以上のエッジ部分が設定され、前記バックグラウンド及び前記物体のそれぞれに対応するクラスにそれぞれの互いに異なるラベル値が割り当てられた、前記入力イメージに対応する、少なくとも一つの第１ラベルイメージを取得するか、他の装置をもって取得するよう支援するプロセス、（ｉｉ）前記バックグラウンドのクラスと、前記物体の各クラスとの間のエッジ部分を抽出して、前記第１ラベルイメージから少なくとも一つのエッジイメージを生成するか、他の装置をもって生成するように支援するプロセス、（ｉｉｉ）前記抽出されたエッジ部分に一つ以上の重み付け値を付与して少なくとも一つのエッジ強化イメージを生成するか、他の装置をもって生成するように支援し、前記第１ラベルイメージに前記エッジ強化イメージを併合して、少なくとも一つの第２ラベルイメージを生成するか、他の装置をもって生成するように支援するプロセス、及び（ｉｖ）前記入力イメージと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）イメージとしての前記第２ラベルイメージとを少なくとも一つの学習用イメージデータセットとして格納するか、他の装置をもって格納するように支援するプロセスによって、前記学習用イメージデータセットを生成した状態で、第２コンピューティング装置は、前記入力イメージを前記トレーニングイメージとして取得するか、他の装置をもって獲得するように支援する段階；（ｂ）前記第２コンピューティング装置が、前記ＣＮＮから前記トレーニングイメージの少なくとも一つのセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）の結果を取得するか、他の装置をもって取得できるよう支援する段階；及び（ｃ）前記第２コンピューティング装置が、前記セグメンテーション結果及び前記第２ラベルイメージを利用して少なくとも一つのロスを算出し、前記算出されたロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、前記ＣＮＮの一つ以上のパラメータを最適化するか、他の装置をもって最適化するように支援する段階；を含むことを特徴とする方法が提供される。
本発明のまた他の態様によれば、少なくとも一つの入力イメージから一つ以上の物体検出のためのＣＮＮに利用される学習用イメージデータセットを生成するコンピューティング装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）前記入力イメージにおいて、前記物体とバックグラウンドとの間の一つ以上の境界に一つ以上のエッジ部分が設定され、前記バックグラウンド及び前記物体のそれぞれに対応するクラスにそれぞれの互いに異なるラベル値が割り当てられた、前記入力イメージに対応する、少なくとも一つの第１ラベルイメージを取得するか、他の装置をもって取得するよう支援するプロセス、（ＩＩ）前記バックグラウンドのクラスと、前記物体の各クラスとの間のエッジ部分を抽出して、前記第１ラベルイメージから少なくとも一つのエッジイメージを生成するか、他の装置をもって生成するように支援するプロセス、（ＩＩＩ）前記抽出されたエッジ部分に一つ以上の重み付け値を付与して少なくとも一つのエッジ強化イメージを生成するか、他の装置をもって生成するように支援し、前記第１ラベルイメージに前記エッジ強化イメージを併合して少なくとも一つの第２ラベルイメージを生成するか、他の装置をもって生成するように支援するプロセス、及び（ＩＶ）前記入力イメージと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）イメージとしての前記第２ラベルイメージとを前記学習用イメージデータセットとして格納するか、他の装置をもって格納するように支援するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピューティング装置が提供される。
一例として、前記エッジ強化イメージにおいて、前記エッジ部分に割り当てられたラベル値は、前記第１ラベルイメージにおいて前記物体それぞれに割り当てられたそれぞれのラベル値より大きい。
一例として、前記（ＩＩＩ）プロセスにおいて、前記抽出されたエッジ部分の幅を増加させることにより一つ以上の拡大されたエッジ部分が生成され、前記拡大されたエッジ部分に前記重み付け値を付与して、前記エッジ強化イメージが生成される。
一例として、前記（ＩＩＩ）プロセスにおいて、前記拡大されたエッジ部分に付与された前記重み付け値が均一な（ｕｎｉｆｏｒｍ）分布を有するように前記エッジ強化イメージが生成される。
一例として、前記（ＩＩＩ）プロセスにおいて、前記拡大されたエッジ部分に付与された前記重み付け値が、ガウシアン（Ｇａｕｓｓｉａｎ）分布を有するように前記エッジ強化イメージが生成される。
本発明のまた他の態様によれば、少なくとも一つの入力イメージから少なくとも一つの物体検出するためのＣＮＮのコンピューティング装置において、各インストラクションを格納する少なくとも一つのメモリ；及び第１コンピューティング装置が、（ｉ）前記入力イメージにおいて、前記物体とバックグラウンドとの間の一つ以上の境界に一つ以上のエッジ部分が設定され、前記バックグラウンド及び前記物体のそれぞれに対応するクラスにそれぞれの互いに異なるラベル値が割り当てられた、前記入力イメージに対応する、少なくとも一つの第１ラベルイメージを取得するか、他の装置をもって取得するよう支援するプロセス、（ｉｉ）前記バックグラウンドのクラスと、前記物体の各クラスとの間のエッジ部分を抽出して、前記第１ラベルイメージから少なくとも一つのエッジイメージを生成するか、他の装置をもって生成するように支援するプロセス、（ｉｉｉ）前記抽出されたエッジ部分に一つ以上の重み付け値を付与して少なくとも一つのエッジ強化イメージを生成するか、他の装置をもって生成するように支援し、前記第１ラベルイメージに前記エッジ強化イメージを併合して少なくとも一つの第２ラベルイメージを生成するか、他の装置をもって生成するように支援するプロセス、及び（ｉｖ）前記入力イメージと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）イメージとしての前記第２ラベルイメージとを少なくとも一つの学習用イメージデータセットとして格納するか、他の装置をもって格納するように支援するプロセスによって、前記学習用イメージデータセットを生成した状態で；（Ｉ）前記ＣＮＮから前記トレーニングイメージの少なくとも一つのセグメンテーションの結果を取得するか、他の装置をもって取得するように支援するプロセス及び（ＩＩ）前記セグメンテーション結果及び前記第２ラベルイメージを利用して少なくとも一つのロスを算出し、前記算出されたロスをバックプロパゲーションして前記ＣＮＮの一つ以上のパラメータを最適化するか、他の装置をもって最適化するように支援するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピューティング装置が提供される。
本発明によれば、エッジを強化したラベルのイメージを利用して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）によってエッジを効果的に探し得る効果がある。
また、本発明によれば、エッジ強化イメージによる学習によって、今後イメージセグメンテーション（Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）に関するテスト過程の際、精密なエッジを探し得る効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
本発明に係る学習用イメージデータセットの生成過程を概略的に示したフローチャートである。 本発明に係る少なくとも一つのエッジ強化イメージを少なくとも一つの初期ラベルイメージと併合して、少なくとも一つの新しいラベルのイメージを作る過程での各イメージを例示的に示した図面である。 本発明に係る前記エッジ強化イメージ、前記初期ラベルイメージ及び前記エッジ強化イメージを前記初期ラベルイメージと併合して生成された、前記新しいラベルイメージ、そしてこれらそれぞれに対応するラベル値分布の例を示す図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図１は、本発明に係る学習用イメージデータセットの生成過程を概略的に示したフローチャートである。図２は、本発明に係る少なくとも一つのエッジ強化イメージを少なくとも一つの初期ラベルイメージと併合して、少なくとも一つの新しいラベルのイメージを作る過程での各イメージを例示的に示している。
図１及び図２を参照して、本発明に係る一つ以上の物体検出をするためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に利用される前記学習用イメージデータセットを生成する過程を説明する。
まず、コンピューティング装置が、入力イメージにおいて、前記物体とバックグラウンドとの間の一つ以上の境界に一つ以上のエッジ部分が設定され、前記バックグラウンド及び前記物体のそれぞれに対応するクラスにそれぞれの互いに異なるラベル値が割り当てられた、前記入力イメージに対応する、前記初期ラベル（ｌａｂｅｌ）イメージ、すなわち、少なくとも一つの第１ラベルイメージを取得するか、他の装置をもって取得するよう支援する（Ｓ０１）。図２を参照すれば、前記入力イメージ１０において、前記バックグラウンドと、前記物体それぞれに対応する各クラスにそれぞれ異なるラベル値が割り当てられた、前記入力イメージに対応される、前記第１ラベルのイメージ２０を取得するか、他の装置をもって取得するように支援する過程が示されている。この場合、前記第１ラベルイメージ２０において、前記バックグラウンドに対応するクラスのラベル値は０が、二つのコインに対応するクラスのラベル値は１が割り当てられ得、前記バックグラウンドに対応するクラスのラベル値は０、左側コインに対応するクラスのラベル値は１、右側コインに対応するクラスのラベル値は２に割り当てられ得るであろう。
その後、前記コンピューティング装置は、前記バックグラウンドのクラスと、前記物体の各クラスとの間の前記エッジ部分を抽出して、前記第１ラベルイメージから少なくとも一つのエッジイメージ３０を生成するか、他の装置をもって生成するように支援する（Ｓ０２）。その後、前記コンピューティング装置は、前記抽出されたエッジ部分に一つ以上の重み付け値（ｗｅｉｇｈｔ）を付与して、前記エッジ強化イメージ４０を生成するか、他の装置をもって生成するように支援する（Ｓ０３）。一例として、前記コンピューティング装置は、前記エッジ部分の幅を増加させ、前記拡大されたエッジ部分に前記重み付け値を付与し、前記エッジ強化イメージを生成するか、他の装置をもって生成するよう支援し得る。この際、前記エッジ強化イメージ４０において、前記エッジ部分（又は前記拡大されたエッジ部分）に割り当てられたラベル値は、前記第１ラベルイメージ２０内のそれぞれの前記物体に割り当てられたそれぞれのラベル値より大きく設定され得る。例えば、前記第１ラベルイメージ２０において、前記バックグラウンドに対応するクラスのラベル値は０、二つのコインに対応するクラスのラベル値は１に割り当てられるならば、前記エッジ部分のラベル値は２に割り当てられるであろう。しかしながら、前記第１ラベルイメージ２０において、前記二つのコインに対応するクラスの領域と、前記エッジ強化イメージ４０において前記エッジ部分に対応するクラス領域とが互いに重なるため、前記エッジ部分のラベル値が、前記二つのコインに対応するクラスラベル値より大きい必要はないであろう。この場合、以降で説明されるであろうが、前記エッジ部分のラベル値は、前記二つのコインに対応するクラスのラベル値より大きい値を有することになるためである。
図３は、本発明に係る（ｉ）前記エッジ強化イメージ、前記初期ラベルイメージ及び前記エッジ強化イメージを前記初期ラベルイメージと併合して生成された、前記新しいラベルイメージ、そして（ｉｉ）これらそれぞれに対応するラベル値分布の例を示している。
図３を参照すれば、前記エッジ強化イメージ４０は、前記エッジイメージ３０の前記エッジ部分に一つ以上の重み付け値を付与し、前記エッジ部分が強化されることにより生成される。他の例として、前記エッジ部分の幅を増加させることにより、一つ以上の拡大されたエッジ部分が生成され、前記拡大されたエッジ部分に前記重み付け値を付与して前記エッジ強化イメージ４０が生成され得る。この際、前記エッジ部分（又は前記拡大されたエッジ部分）のラベルの値は、他の部分、つまり、前記バックグラウンドのラベル値と異なることがある。図３の例において、一例に係る前記エッジ強化のイメージ４０は、前記エッジ強化のイメージ４０内の前記エッジ部分（又は前記拡大されたエッジ部分）のラベル値４１が均一な（ｕｎｉｆｏｒｍ）分布を有するように形成される。この際、前記エッジ部分（又は前記拡大されたエッジ部分）に前記重み付け値をする方法で前記エッジ強化のイメージ４０を生成する場合には、前記エッジ部分（又は前記拡大されたエッジ部分）に付与された前記重み付け値が均一な分布を有するように前記エッジ強化イメージ４０が形成され得る。また、他の例に係る前記エッジ強化のイメージ４０は、前記エッジ強化のイメージ４０内の前記エッジ部分（又は前記拡大されたエッジ部分）のラベル値４２がガウシアン（Ｇａｕｓｓｉａｎ）分布を有するように前記エッジ強化イメージ４０が生成され得る。この際、前記エッジ部分（又は前記拡大されたエッジ部分）に前記重み付け値を付与する方法で前記エッジ強化のイメージ４０を生成する場合には、前記拡大されたエッジ部分に付与された前記重み付け値がガウシアン分布を有するように前記エッジ強化イメージ４０が形成され得る。
その後、図１及び図２を再度参照すれば、前記コンピューティング装置が、前記初期ラベルイメージ、すなわち、前記第１ラベルイメージ２０に前記エッジ強化イメージ４０を併合して、前記新しいラベルイメージ、すなわち、第２ラベルイメージ５０を生成するか、他の装置をもって生成するように支援し得る（Ｓ０４）。前記第１ラベルイメージ２０に前記エッジ強化イメージ４０を併合する過程は、各イメージの各ラベル値の要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）で遂行され得、前記第１ラベルイメージ２０のラベル値に前記エッジ強化イメージ４０の前記重み付け値を要素ごとの積（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｐｒｏｄｕｃｔ）を適用した後に、前記要素ごとの和が遂行されることもある。
図３を参照すれば、一例に係る前記エッジ強化イメージ４０内の前記エッジ部分（又は前記拡大されたエッジ部分）のラベル値４１が均一な分布を有する場合に、前記ラベル値４１が前記第１ラベルイメージ２０のラベル値２１と合算されれば、前記第２ラベルイメージ５０のラベル値５１を得ることができ、他の実施例に係る前記エッジ強化のイメージ４０内の前記エッジ部分（又は前記拡大されたエッジ部分）のラベル値４２がカウシアン分布を有する場合、前記ラベル値４２が前記第１ラベルイメージ２０のラベル値２２と合算されれば、前記第２ラベルイメージ５０のラベル値５２を得ることができる。前記第２ラベルのイメージ５０では、前記エッジ部分の幅が広いだけでなく、二つの実施例（５１及び５２）の前記エッジ部分（又は前記拡大されたエッジ部分）の前記重み付け値またはラベル値が他のクラスより大きく設定される。
それから、前記コンピューティング装置が、（ｉ）前記入力イメージ１０と（ｉｉ）前記入力イメージ１０に対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）イメージとして機能する前記第２ラベルイメージ５０とを学習用イメージデータセットとして格納するか、他の装置をもって格納するように支援し得る（Ｓ０５）。
そして、前記学習用イメージデータセットを利用して、前記ＣＮＮの一つ以上のパラメータが学習され得る（Ｓ０６）。この際、前記第２ラベルイメージ５０は、前記入力イメージ１０から求めたセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）結果と比較される前記ＧＴイメージとして機能する。例えば、前記入力イメージ１０を前記ＣＮＮに入力してセグメンテーション結果が生成された後、前記セグメンテーション結果と、前記第２ラベルイメージ５０とを利用して、少なくとも一つのロスが算出され、前記算出されたロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮの前記パラメータが学習され得る。
これと同じ方式で生成された前記学習用イメージデータセットを利用して、前記ＣＮＮの前記パラメータが学習されれば、前記第２ラベルイメージ５０内の前記エッジ部分が前記ＧＴイメージのように強化されているため、前記エッジ部分を検出するための前記ＣＮＮの学習がより効果的に行われ得る。特に、前記エッジ部分のラベル値が他のクラスのラベル値より大きければ、前記エッジ部分のロス値が他の部分のロス値より大きく算出されて学習が良好にされ得る。これによって、前記エッジ部分をもっとよく探す方向で学習が行われるようになり、結局さらに精密なエッジ部分を有するセグメンテーション結果を得るように学習され得るようになる。
前述の方法は、走行の際の危険要素を検出する能力を向上させるために利用され得、交通信号機、表示版、道路標識などを検出する程度を増加させることができる。
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えばトレーニングイメージ、テストイメージといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (12)

  1. 少なくとも一つの入力イメージから一つ以上の物体検出をするためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に利用される学習用イメージデータセットを生成する方法において、
    （ａ）コンピューティング装置が、前記入力イメージにおいて、前記物体とバックグラウンドとの間の一つ以上の境界に一つ以上のエッジ部分が設定され、前記バックグラウンド及び前記物体のそれぞれに対応するクラスにそれぞれの互いに異なるラベル値が割り当てられた、前記入力イメージに対応する、少なくとも一つの第１ラベルイメージを取得するか、他の装置をもって取得するよう支援する段階；
    （ｂ）前記コンピューティング装置が、前記バックグラウンドのクラスと、前記物体の各クラスとの間の前記エッジ部分を抽出して、前記第１ラベルイメージから少なくとも一つのエッジイメージを生成するか、他の装置をもって生成するように支援する段階；
    （ｃ）前記コンピューティング装置が、前記エッジ部分に一つ以上の重み付け値を付与して少なくとも一つのエッジ強化イメージを生成するか、他の装置をもって生成するように支援し、前記第１ラベルイメージに前記エッジ強化イメージを併合して、少なくとも一つの第２ラベルイメージを生成するか、他の装置をもって生成するように支援する段階；及び
    （ｄ）前記コンピューティング装置が、前記入力イメージと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）イメージとしての前記第２ラベルイメージとを前記学習用イメージデータセットとして格納するか、他の装置をもって格納するように支援する段階；
    を含むことを特徴とする方法。
  2. 前記エッジ強化イメージにおいて、前記エッジ部分に割り当てられたラベル値は、前記第１ラベルイメージにおいて前記物体それぞれに割り当てられたそれぞれのラベル値より大きいことを特徴とする請求項１に記載の方法。
  3. 前記（ｃ）段階において、
    前記エッジ部分の幅を増加させることにより、一つ以上の拡大されたエッジ部分が生成され、前記拡大されたエッジ部分に前記重み付け値を付与して、前記エッジ強化イメージが生成されることを特徴とする請求項１に記載の方法。
  4. 前記（ｃ）段階において、
    前記拡大されたエッジ部分に付与された前記重み付け値が均一な（ｕｎｉｆｏｒｍ）分布を有するように前記エッジ強化イメージが生成されることを特徴とする請求項３に記載の方法。
  5. 前記（ｃ）段階において、
    前記拡大されたエッジ部分に付与された前記重み付け値が、ガウシアン（Ｇａｕｓｓｉａｎ）分布を有するように前記エッジ強化イメージが生成されることを特徴とする請求項３に記載の方法。
  6. 少なくとも一つの入力イメージから一つ以上の物体を検出するためのＣＮＮの学習方法において、
    （ａ）第１コンピューティング装置が、（ｉ）前記入力イメージにおいて、前記物体とバックグラウンドとの間の一つ以上の境界に一つ以上のエッジ部分が設定され、前記バックグラウンド及び前記物体のそれぞれに対応するクラスにそれぞれの互いに異なるラベル値が割り当てられた、前記入力イメージに対応する、少なくとも一つの第１ラベルイメージを取得するか、他の装置をもって取得するよう支援するプロセス、（ｉｉ）前記バックグラウンドのクラスと、前記物体の各クラスとの間のエッジ部分を抽出して、前記第１ラベルイメージから少なくとも一つのエッジイメージを生成するか、他の装置をもって生成するように支援するプロセス、（ｉｉｉ）前記エッジ部分に一つ以上の重み付け値を付与して少なくとも一つのエッジ強化イメージを生成するか、他の装置をもって生成するように支援し、前記第１ラベルイメージに前記エッジ強化イメージを併合して、少なくとも一つの第２ラベルイメージを生成するか、他の装置をもって生成するように支援するプロセス、及び（ｉｖ）前記入力イメージと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）イメージの前記第２ラベルイメージとを少なくとも一つの学習用イメージデータセットとして格納するか、他の装置をもって格納するように支援するプロセスによって、前記学習用イメージデータセットを生成した状態で、第２コンピューティング装置は、前記入力イメージをトレーニングイメージとして取得するか、他の装置をもって獲得するように支援する段階；
    （ｂ）前記第２コンピューティング装置が、前記ＣＮＮから前記トレーニングイメージの少なくとも一つのセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）の結果を取得するか、他の装置をもって取得できるよう支援する段階；及び
    （ｃ）前記第２コンピューティング装置が、前記セグメンテーション結果及び前記第２ラベルイメージを利用して少なくとも一つのロスを算出し、前記算出されたロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、前記ＣＮＮの一つ以上のパラメータを最適化するか、他の装置をもって最適化するように支援する段階；
    を含むことを特徴とする方法。
  7. 少なくとも一つの入力イメージから一つ以上の物体検出のためのＣＮＮに利用される学習用イメージデータセットを生成するコンピューティング装置において、
    各インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）前記入力イメージにおいて、前記物体とバックグラウンドとの間の一つ以上の境界に一つ以上のエッジ部分が設定され、前記バックグラウンド及び前記物体のそれぞれに対応するクラスにそれぞれの互いに異なるラベル値が割り当てられた、前記入力イメージに対応する、少なくとも一つの第１ラベルイメージを取得するか、他の装置をもって取得するよう支援するプロセス、（ＩＩ）前記バックグラウンドのクラスと、前記物体の各クラスとの間のエッジ部分を抽出して、前記第１ラベルイメージから少なくとも一つのエッジイメージを生成するか、他の装置をもって生成するように支援するプロセス、（ＩＩＩ）前記エッジ部分に一つ以上の重み付け値を付与して少なくとも一つのエッジ強化イメージを生成するか、他の装置をもって生成するように支援し、前記第１ラベルイメージに前記エッジ強化イメージを併合して少なくとも一つの第２ラベルイメージを生成するか、他の装置をもって生成するように支援するプロセス、及び（ＩＶ）前記入力イメージと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）イメージとしての前記第２ラベルイメージとを前記学習用イメージデータセットとして格納するか、他の装置をもって格納するように支援するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするコンピューティング装置。
  8. 前記エッジ強化イメージにおいて、前記エッジ部分に割り当てられたラベル値は、前記第１ラベルイメージにおいて前記物体それぞれに割り当てられたそれぞれのラベル値より大きいことを特徴とする請求項７に記載のコンピューティング装置。
  9. 前記（ＩＩＩ）プロセスにおいて、
    前記エッジ部分の幅を増加させることにより一つ以上の拡大されたエッジ部分が生成され、前記拡大されたエッジ部分に前記重み付け値を付与して、前記エッジ強化イメージが生成されることを特徴とする請求項７に記載のコンピューティング装置。
  10. 前記（ＩＩＩ）プロセスにおいて、
    前記拡大されたエッジ部分に付与された前記重み付け値が均一な（ｕｎｉｆｏｒｍ）分布を有するように前記エッジ強化イメージが生成されることを特徴とする請求項９に記載のコンピューティング装置。
  11. 前記（ＩＩＩ）プロセスにおいて、
    前記拡大されたエッジ部分に付与された前記重み付け値が、ガウシアン（Ｇａｕｓｓｉａｎ）分布を有するように前記エッジ強化イメージが生成されることを特徴とする請求項９に記載のコンピューティング装置。
  12. 少なくとも一つの入力イメージから少なくとも一つの物体検出するためのＣＮＮのコンピューティング装置において、
    各インストラクションを格納する少なくとも一つのメモリ；及び
    第１コンピューティング装置が、（ｉ）前記入力イメージにおいて、前記物体とバックグラウンドとの間の一つ以上の境界に一つ以上のエッジ部分が設定され、前記バックグラウンド及び前記物体のそれぞれに対応するクラスにそれぞれの互いに異なるラベル値が割り当てられた、前記入力イメージに対応する、少なくとも一つの第１ラベルイメージを取得するか、他の装置をもって取得するよう支援するプロセス、（ｉｉ）前記バックグラウンドのクラスと、前記物体の各クラスとの間のエッジ部分を抽出して、前記第１ラベルイメージから少なくとも一つのエッジイメージを生成するか、他の装置をもって生成するように支援するプロセス、（ｉｉｉ）前記エッジ部分に一つ以上の重み付け値を付与して少なくとも一つのエッジ強化イメージを生成するか、他の装置をもって生成するように支援し、前記第１ラベルイメージに前記エッジ強化イメージを併合して少なくとも一つの第２ラベルイメージを生成するか、他の装置をもって生成するように支援するプロセス、及び（ｉｖ）前記入力イメージと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）イメージとしての前記第２ラベルイメージとを少なくとも一つの学習用イメージデータセットとして格納するか、他の装置をもって格納するように支援するプロセスによって、前記学習用イメージデータセットを生成した状態で；（Ｉ）前記ＣＮＮからトレーニングイメージの少なくとも一つのセグメンテーションの結果を取得するか、他の装置をもって取得するように支援するプロセス及び（ＩＩ）前記セグメンテーション結果及び前記第２ラベルイメージを利用して少なくとも一つのロスを算出し、前記算出されたロスをバックプロパゲーションして前記ＣＮＮの一つ以上のパラメータを最適化するか、他の装置をもって最適化するように支援するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするコンピューティング装置。
JP2019193145A 2019-01-25 2019-10-24 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ Active JP6869565B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/257,940 2019-01-25
US16/257,940 US10551845B1 (en) 2019-01-25 2019-01-25 Method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same

Publications (2)

Publication Number Publication Date
JP2020119496A JP2020119496A (ja) 2020-08-06
JP6869565B2 true JP6869565B2 (ja) 2021-05-12

Family

ID=68424612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019193145A Active JP6869565B2 (ja) 2019-01-25 2019-10-24 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝

Country Status (5)

Country Link
US (1) US10551845B1 (ja)
EP (1) EP3686796A1 (ja)
JP (1) JP6869565B2 (ja)
KR (1) KR102313607B1 (ja)
CN (1) CN111489297B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102073873B1 (ko) * 2019-03-22 2020-02-05 주식회사 루닛 시맨틱 세그먼테이션 방법 및 그 장치
CN110163153B (zh) * 2019-05-23 2022-01-04 阿波罗智能技术(北京)有限公司 用于识别交通标志牌边界的方法及装置
CN111859131B (zh) * 2020-07-21 2021-06-15 山东省科院易达科技咨询有限公司 一种多约束条件下的个性化信息推荐方法及信息推荐系统
CN112085001B (zh) * 2020-09-23 2024-04-23 清华大学苏州汽车研究院（相城） 一种基于多尺度边缘特征检测的隧道识别模型及方法
CN113077624A (zh) * 2021-03-23 2021-07-06 广东粤高智慧交通科技有限公司 一种交通事件智慧检测系统
CN113012087B (zh) * 2021-03-31 2022-11-04 中南大学 基于卷积神经网络的图像融合方法
CN114359676B (zh) * 2022-03-08 2022-07-19 人民中科(济南)智能技术有限公司 训练目标检测模型和构建样本集的方法、装置及存储介质
US20230386163A1 (en) * 2022-05-28 2023-11-30 Orbital Insight, Inc. Object Level Data Augmentation Scheme for Training Object Detectors
CN115063639B (zh) * 2022-08-11 2022-12-09 小米汽车科技有限公司 生成模型的方法、图像语义分割方法、装置、车辆及介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767857A (en) * 1996-08-30 1998-06-16 Pacific Data Images, Inc. Method, apparatus, and software product for generating outlines for raster-based rendered images
JP3699873B2 (ja) * 1999-10-27 2005-09-28 オリンパス株式会社 画像処理装置
WO2002093188A2 (en) * 2001-05-17 2002-11-21 Siemens Corporate Research, Inc. A variational approach for the segmentation of the left ventricle in mr cardiac images
TWI239209B (en) * 2004-04-08 2005-09-01 Benq Corp A specific image extraction method, storage medium and image pickup device using the same
WO2007029467A1 (ja) 2005-09-05 2007-03-15 Konica Minolta Medical & Graphic, Inc. 画像処理方法及び画像処理装置
JP5308391B2 (ja) * 2010-03-31 2013-10-09 富士フイルム株式会社 画像符号化装置および方法並びにプログラム
WO2013025219A1 (en) * 2011-08-18 2013-02-21 Hewlett-Packard Development Company, L.P. Creating a blended image
SG10201510667SA (en) * 2012-06-27 2016-01-28 Agency Science Tech & Res Text detection devices and text detection methods
US9710892B2 (en) * 2015-10-21 2017-07-18 Chunghwa Picture Tubes, Ltd. Image enhancement method and image processing apparatus thereof
CN110168477B (zh) * 2016-11-15 2022-07-08 奇跃公司 用于长方体检测的深度学习系统
US11295123B2 (en) * 2017-09-14 2022-04-05 Chevron U.S.A. Inc. Classification of character strings using machine-learning
CN108876804B (zh) * 2017-10-12 2021-07-09 北京旷视科技有限公司 抠像模型训练和图像抠像方法、装置和系统及存储介质
US10852419B2 (en) * 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion

Also Published As

Publication number Publication date
EP3686796A1 (en) 2020-07-29
KR102313607B1 (ko) 2021-10-19
CN111489297B (zh) 2023-08-22
KR20200092841A (ko) 2020-08-04
US10551845B1 (en) 2020-02-04
CN111489297A (zh) 2020-08-04
JP2020119496A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
JP6869565B2 (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6847464B2 (ja) 車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｔｈｒｏｕｇｈ ｃｌａｓｓｉｆｙｉｎｇ ｌａｎｅ ｃａｎｄｉｄａｔｅ ｐｉｘｅｌｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN110874841B (zh) 参照边缘图像的客体检测方法及装置
JP6820030B2 (ja) 異なるラベルセットを有する複数のラベリングされたデータベースを用いて学習する方法及び装置、そしてこれを利用したテスト方法及び装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｍｕｌｔｉｐｌｅ ｌａｂｅｌｅｄ ｄａｔａｂａｓｅｓ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｌａｂｅｌ ｓｅｔｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
US10692002B1 (en) Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
JP6855082B2 (ja) 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置
JP6865363B2 (ja) ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置
JP6875021B2 (ja) 有用な学習データを取捨選別するためのｃｎｎ基盤の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6847463B2 (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
EP3686795B1 (en) Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
JP6856851B2 (ja) イメージエンコーディングのための方法及び装置そしてこれを利用したテスト方法及びテスト装置
US10740593B1 (en) Method for recognizing face using multiple patch combination based on deep neural network with fault tolerance and fluctuation robustness in extreme situation
JP6908939B2 (ja) 障害物の下段ラインを基準にｒｏｉを検出する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏｉ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｂｏｔｔｏｍ ｌｉｎｅｓ ｏｆ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ，ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6980289B2 (ja) 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｕｓｉｎｇ ｌａｎｅ ｍｏｄｅｌ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6869559B2 (ja) 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ， ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6910081B2 (ja) 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
CN110879960A (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
JP6865342B2 (ja) Ｃｎｎ基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191024

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201022

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210407

R150 Certificate of patent or registration of utility model

Ref document number: 6869565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250