JP6865364B2 - エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 - Google Patents

エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 Download PDF

Info

Publication number
JP6865364B2
JP6865364B2 JP2019202412A JP2019202412A JP6865364B2 JP 6865364 B2 JP6865364 B2 JP 6865364B2 JP 2019202412 A JP2019202412 A JP 2019202412A JP 2019202412 A JP2019202412 A JP 2019202412A JP 6865364 B2 JP6865364 B2 JP 6865364B2
Authority
JP
Japan
Prior art keywords
layers
layer
test
deconvolution
feature maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019202412A
Other languages
English (en)
Other versions
JP2020119501A (ja
Inventor
桂賢 金
桂賢 金
鎔重 金
鎔重 金
寅洙 金
寅洙 金
鶴京 金
鶴京 金
雲鉉 南
雲鉉 南
碩▲ふん▼ 夫
碩▲ふん▼ 夫
明哲 成
明哲 成
東勳 呂
東勳 呂
宇宙 柳
宇宙 柳
泰雄 張
泰雄 張
景中 鄭
景中 鄭
泓模 諸
泓模 諸
浩辰 趙
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020119501A publication Critical patent/JP2020119501A/ja
Application granted granted Critical
Publication of JP6865364B2 publication Critical patent/JP6865364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Description

本発明は、歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントなどのイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法に関し;より詳細には、(i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップに、一つ以上のコンボリューション演算を適用して第1ないし第kエンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ;(ii)前記第kエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第(k−1)ないし第1デコード済み特徴マップをそれぞれ出力する第(k−1)ないし第1デコンボリューションレイヤ;(iii)前記(k−1)個のデコンボリューションレイヤのうちでh個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する第1ないし第hマスクレイヤ;及び(iv)前記第1ないし前記第hマスクレイヤにそれぞれ対応する第1ないし第hエッジロスレイヤ;を含む学習装置を利用して前記セグメンテーション性能向上のための前記学習方法において、(a)前記トレーニングイメージが入力されると、前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第kエンコード済み特徴マップを生成させる段階;(b)前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1デコード済み特徴マップを生成させるものの、前記学習装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の基本デコード済み特徴マップからエッジ部分を抽出して第hないし第1エッジ特徴マップを生成するようにし、(ii)前記h個の基本デコード済み特徴マップ及び前記第hないし前記第1エッジ特徴マップを参照して前記第(k−1)ないし前記第1デコード済み特徴マップのうち少なくとも一部として機能するh個のエッジ強化デコード済み特徴マップを生成させる段階;(c)前記第1ないし前記第hエッジロスレイヤをもって前記エッジ部分及びこれに対応するGT(Ground Truth)を参照して第1ないし第hエッジロスを生成するようにして、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整する段階;を含むことを特徴とする学習方法及び前記学習装置、並びにこれを利用したテスト方法及びテスト装置に関するものである。
ディープラーニングは、事物やデータを群集化したり分類するのに使用する技術である。例えば、コンピュータは写真だけで犬と猫を区分することができない。しかし、人はとても容易にこの二つを区分することができる。このため、「機械学習(Machine Learning)」という方法が考案された。これはコンピュータをもって入力された多くのデータのうちで類似したもの同士分類するようにする技術である。犬の写真と類似した動物の写真が入力されると、前記コンピュータはこれを犬の写真であると分類するのである。
データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「意思決定木」や「ベイジアンネットワーク」「サポートベクターマシン(SVM)」「人工神経網」などが代表的である。このうち、ディープラーニングは人工神経網の後裔である。
ディープコンボリューションニューラルネットワーク(Deep Convolution Neural Networks;DeepCNN)は、ディープラーニング分野で起きた驚くべき発展の核心である。CNNは、文字の認識問題を解決するために90年代にすでに使われていたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなディープCNNは、2012年ImageNetイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
イメージセグメンテーション(Image Segmentation)は、少なくとも一つの入力イメージを利用して、少なくとも一つのラベルイメージを生成する方法である。最近、ディープラーニング(Deep learning)技術が脚光を浴びるにつれ、セグメンテーションにおいてもディープラーニングを数多く使用する傾向にある。前記セグメンテーションは、一つ以上のコンボリューション演算を利用して、前記ラベルイメージを生成する方法などの初期にはエンコーダ(Encoder)のみを利用した方法で遂行された。以後、前記エンコーダにより前記イメージの特徴を抽出し、デコーダ(Decoder)によってこのような特徴を前記ラベルイメージに復元するエンコーダ・デコーダ(Encoder−Decoder)構造を利用した方法で前記セグメンテーションが実行された。
図1は、CNNを利用した従来のセグメンテーションのプロセスを簡略に示した図である。
図1を参照すると、既存の車線の検出方法では、学習装置が入力イメージが入力されて、一つ以上のコンボリューションレイヤをもって前記入力イメージに前記コンボリューション演算及びReLUのような一つ以上の非線形演算を適用して、少なくとも一つの特徴マップを生成するようにし、一つ以上のデコンボリューションレイヤをもって前記特徴マップに一つ以上のデコンボリューション演算及びソフトマックス(SoftMax)演算を適用するようにしてセグメンテーション結果を生成する。
ところが、図1に示されているように、前記イメージをエンコードしてデコードするプロセスで、エッジ部分が数多く消失する問題点が存在する。最近、デコードのプロセスにおいて、前記エンコーダのコンボリューションレイヤそれぞれから出力されるそれぞれの情報を利用したユーネット(U−Net)という構造のネットワークが現れた。しかし、前記エッジ部分を検出するための学習が効率的に遂行されず、前記エッジ部分を復元するのに多くのエネルギーが必要になるという短所がある。
本発明では、まず、上述のすべての問題点を解決することを目的とする。
本発明ではセグメンテーションプロセスで入力イメージの一つ以上のエッジ部分をより正確に検出するために、前記エッジ部分のエラーを減らすことによって前記エッジ部分を強化するようにする方法を提供することを他の目的とする。
また、本発明では鮮明なラベルイメージを出力するためのセグメンテーション方法を提供することをまた他の目的とする。
本発明の一態様によると、(i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップに、一つ以上のコンボリューション演算を適用して第1ないし第kエンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ;(ii)前記第kエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第(k−1)ないし第1デコード済み特徴マップをそれぞれ出力する第(k−1)ないし第1デコンボリューションレイヤ;(iii)前記(k−1)個のデコンボリューションレイヤのうちでh個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する第1ないし第hマスクレイヤ;及び(iv)前記第1ないし前記第hマスクレイヤにそれぞれ対応する第1ないし第hエッジロスレイヤ;を含む学習装置を利用してセグメンテーション性能を向上させるための学習方法において、(a)前記トレーニングイメージが入力されると、前記学習装置は、前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第kエンコード済み特徴マップを生成させる段階;(b)前記学習装置は、前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1デコード済み特徴マップを生成させるものの、前記学習装置は前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の基本デコード済み特徴マップからエッジ部分を抽出して第hないし第1エッジ特徴マップを生成するようにし、(ii)前記h個の基本デコード済み特徴マップ及び前記第hないし前記第1エッジ特徴マップを参照して前記第(k−1)ないし前記第1デコード済み特徴マップのうち少なくとも一部として機能するh個のエッジ強化デコード済み特徴マップを生成させる段階;(c)前記学習装置は前記第1ないし前記第hエッジロスレイヤをもって前記エッジ部分及びこれに対応するGTを参照して第1ないし第hエッジロスを生成するようにして、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整する段階;を含むことを特徴とする学習方法が提供される。
一実施例で、前記第1ないし前記第hエッジロスレイヤは、前記エッジ部分と、これに対応するGTの差を計算して前記第1ないし前記第hエッジロスを生成するものの、前記GTは前記第1ないし前記第hエッジ特徴マップの大きさにそれぞれ対応する大きさを有した第1ないし第hGTイメージからそれぞれ抽出される。
一実施例で、前記(b)段階において、前記第(k−1)ないし前記第1デコンボリューションレイヤは、(i)それぞれの前記第hないし前記第1エッジ特徴マップと前記第hないし前記第1マスクレイヤに対応する前記h個のデコンボリューションレイヤから出力されたそれぞれの前記h個の基本デコード済み特徴マップの要素ごとの和(Element−wise Sum)を利用し、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記(k−1)個のデコード済み特徴マップの少なくとも一部として機能する(k−h)個の基本デコード済み特徴マップを生成して、順次に前記第(k−1)ないし前記第1デコード済み特徴マップを生成する。
一実施例で、前記学習装置は、(v)前記第1ないし前記第(k−1)デコンボリューションレイヤのうちでr個のデコンボリューションレイヤに対応して配置される第1ないし第r個のデコンボリューションレイヤに対応して配置される第1ないし第rロスレイヤをさらに含み、前記(c)段階は、(c1)前記学習装置が前記第1ないし前記第rロスレイヤをもって前記第1ないし前記第rロスレイヤに対応する前記r個のデコンボリューションレイヤから出力された各r個のデコード済み特徴マップ及びこれに対応するGTイメージを参照して第1ないし第rロスをそれぞれ生成するようにして、前記第1ないし前記第rロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整する段階;を含む。
一実施例で、前記第1ないし前記第rロスレイヤは、それぞれの前記r個のデコード済み特徴マップにそれぞれ補助コンボリューション演算を適用して出力されたそれぞれのr個の変換済み特徴マップと、これに対応するGTイメージとを参照して前記第1ないし前記第rロスをそれぞれ算出する。
一実施例で、前記学習装置は、(vi)前記第1ないし前記第hマスクレイヤそれぞれの出力端と前記第1ないし前記第hマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第1ないし第h中間レイヤをさらに含み、前記(b)段階は、(b1)前記学習装置は前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤに対応するh個のコンボリューションレイヤから出力されたh個のエンコード済み特徴マップが入力されて第1ないし第h中間特徴マップを生成させる段階;(b2)前記学習装置は、前記第1ないし前記第hマスクレイヤをもってそれぞれの前記第1ないし前記第hマスクレイヤに対応するそれぞれの前記h個のデコンボリューションレイヤからそれぞれ出力された前記h個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第1ないし前記第hエッジ特徴マップを生成させる段階;及び(b3)前記学習装置は、(i)第1ないし第h要素ごとのプロダクトレイヤをもってそれぞれの前記第1ないし前記第h中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて(Element−wise Product)、それぞれの第1ないし第h要素ごとのプロダクトを生成するようにし、(ii)第1ないし第h要素ごとの合算レイヤをもってそれぞれの前記第1ないし前記第h要素ごとのプロダクトと、前記h個の基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第h要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第1ないし前記第(k−1)デコード済み特徴マップのうちでh個のデコード済み特徴マップを生成する段階;を含む。
一実施例で、前記学習装置が前記第kコンボリューションレイヤの出力端と前記第(k−1)デコンボリューションレイヤの入力端との間に位置したさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kエンコード済み特徴マップに一つ以上の中間演算を適用して第(h+1)中間特徴マップを生成し、前記第(h+1)中間特徴マップを前記第(k−1)デコンボリューションレイヤに伝達する。
一実施例で、前記第1ないし前記第h中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行する。
一実施例で、前記(b2)段階において、前記学習装置は前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって前記(k−1)個のデコンボリューションレイヤのうちで前記第mマスクレイヤに対応する第nデコンボリューションレイヤから出力された第n基本デコード済み特徴マップからエッジ部分を抽出して第mエッジ特徴マップを生成するようにし、前記(b3)段階において、前記学習装置は、(i)第m要素ごとのプロダクトレイヤをもって前記第mエッジ特徴マップと前記第mマスクレイヤに対応する第m中間レイヤから出力された第m中間特徴マップとを要素ごとに掛け合わせて第m要素ごとのプロダクトを生成するようにし、(ii)第m要素ごとの合算レイヤをもって前記第m要素ごとのプロダクトと、前記第n基本デコード済み特徴マップとを要素ごとに合算するようにして、第nデコード済み特徴マップを生成する。
一実施例で、前記学習装置は、(v)前記第1ないし前記第(k−1)デコンボリューションレイヤのうちでr個のデコンボリューションレイヤに対応して配置される第1ないし第rロスレイヤをさらに含み、前記学習装置は前記第1デコード済み特徴マップを受けて前記第1ロスレイヤに入力される調整された第1デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含み、前記(c)段階は、(c1)前記学習装置が前記第1ないし前記第rロスレイヤをもって前記第1ないし前記第rロスレイヤに対応する前記r個のデコンボリューションレイヤから出力された各r個のデコード済み特徴マップ及びこれに対応するGTイメージを参照して、第1ないし第rロスをそれぞれ生成するようにし、前記第1ないし前記第rロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するようにする段階;を含む。
本発明の他の態様によると、少なくとも一つのテストイメージに対するセグメンテーションのテスト方法において、(a)学習装置が(i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップに一つ以上のコンボリューション演算を適用して第1ないし第k学習用エンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ、(ii)前記第k学習用エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第(k−1)ないし第1学習用デコード済み特徴マップをそれぞれ出力する第(k−1)ないし第1デコンボリューションレイヤ、(iii)前記(k−1)個のデコンボリューションレイヤのうちでh個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する第1ないし第hマスクレイヤ、及び(iv)前記第1ないし前記第hマスクレイヤにそれぞれ対応する第1ないし第hエッジロスレイヤを含むとするとき、前記学習装置が(1)前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第k学習用エンコード済み特徴マップを生成するようにし、(2)前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1学習用デコード済み特徴マップを生成させるものの、前記学習装置は前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の学習用の基本デコード済み特徴マップから学習用エッジ部分を抽出して第hないし第1学習用エッジ特徴マップを生成するようにし、(ii)前記h個の学習用の基本デコード済み特徴マップ及び前記第hないし前記第1学習用エッジ特徴マップを参照して前記第(k−1)ないし前記第1学習用デコード済み特徴マップのうち少なくとも一部として機能するh個の学習用エッジ強化デコード済み特徴マップを生成するようにし、(3)前記第1ないし前記第hエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するGTを参照して第1ないし第hエッジロスを生成するようにして、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、テスト装置が、前記テストイメージが入力されると、前記第1ないし前記第kコンボリューションレイヤをもって第1ないし第kテスト用エンコード済み特徴マップを出力するようにする段階;及び(b)前記テスト装置は、前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に第(k−1)ないし第1テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第hないし第1テスト用エッジ特徴マップを生成するようにし、(ii)前記h個のテスト用基本デコード済み特徴マップ及び前記第hないし前記第1テスト用エッジ特徴マップを参照して、前記第(k−1)ないし前記第1テスト用デコード済み特徴マップのうち少なくとも一部として機能するh個のテスト用エッジ強化デコード済み特徴マップを生成させる段階;を含むことを特徴とするテスト方法が提供される。
一実施例で、前記(b)段階において、前記第(k−1)ないし前記第1デコンボリューションレイヤは、(i)それぞれの前記第hないし前記第1テスト用エッジ特徴マップと前記第hないし前記第1マスクレイヤに対応する前記h個のデコンボリューションレイヤから出力されたそれぞれの前記h個のテスト用基本デコード済み特徴マップの要素ごとの和(Element−wise Sum)を利用し、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力されたテスト用特徴マップに前記デコンボリューション演算を適用して前記(k−1)個のテスト用デコード済み特徴マップの少なくとも一部として機能する(k−h)個のテスト用基本デコード済み特徴マップを生成して、順次に前記第(k−1)ないし前記第1テスト用デコード済み特徴マップを生成する。
一実施例で、前記テスト装置は、(v)前記第1ないし前記第hマスクレイヤそれぞれの出力端と前記第1ないし前記第hマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第1ないし第h中間レイヤをさらに含み、前記(b)段階は、(b1)前記テスト装置は前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤに対応するh個のコンボリューションレイヤから出力されたh個のテスト用エンコード済み特徴マップが入力されて第1ないし第hテスト用中間特徴マップを生成させる段階;(b2)前記テスト装置は前記第1ないし前記第hマスクレイヤをもってそれぞれの前記第1ないし前記第hマスクレイヤに対応するそれぞれの前記h個のデコンボリューションレイヤからそれぞれ出力された前記第hテスト用基本デコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第1ないし前記第hテスト用エッジ特徴マップを生成させる段階;及び(b3)前記テスト装置は、(i)第1ないし第h要素ごとのプロダクトレイヤをもってそれぞれの前記第1ないし前記第hテスト用中間特徴マップと、これに対応するテスト用エッジ特徴マップとを要素ごとに掛け合わせて(Element−wise Product)、それぞれの第1ないし第hテスト用要素ごとのプロダクトを生成するようにし、(ii)第1ないし第h要素ごとの合算レイヤをもってそれぞれの前記第1ないし前記第hテスト用要素ごとのプロダクトと、前記h個のテスト用基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第hテスト用要素ごとのプロダクトに対応するテスト用基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第1ないし前記第(k−1)テスト用デコード済み特徴マップのうちでh個のテスト用デコード済み特徴マップを生成する段階;を含む。
一実施例で、前記テスト装置が前記第kコンボリューションレイヤの出力端と前記第(k−1)デコンボリューションレイヤの入力端との間に位置したさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kテスト用エンコード済み特徴マップに一つ以上の中間演算を適用して第(h+1)テスト用中間特徴マップを生成し、前記第(h+1)テスト用中間特徴マップを前記第(k−1)デコンボリューションレイヤに伝達する。
一実施例で、前記(b2)段階において、前記テスト装置は前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって前記(k−1)個のデコンボリューションレイヤのうちで前記第mマスクレイヤに対応する第nデコンボリューションレイヤから出力された第nテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第mテスト用エッジ特徴マップを生成するようにし、前記(b3)段階において、前記テスト装置は(i)第m要素ごとのプロダクトレイヤをもって前記第mテスト用エッジ特徴マップと前記第mマスクレイヤに対応する第m中間レイヤから出力された第mテスト用中間特徴マップとを要素ごとに掛け合わせて第mテスト用要素ごとのプロダクトを生成するようにし、(ii)第m要素ごとの合算レイヤをもって前記第mテスト用要素ごとのプロダクトと、前記第nテスト用基本デコード済み特徴マップとを要素ごとに合算するようにして、第nテスト用デコード済み特徴マップを生成する。
本発明のまた他の態様によると、(i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップに一つ以上のコンボリューション演算を適用して第1ないし第kエンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ;(ii)前記第kエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第(k−1)ないし第1デコード済み特徴マップをそれぞれ出力する第(k−1)ないし第1デコンボリューションレイヤ;(iii)前記(k−1)個のデコンボリューションレイヤのうちでh個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する第1ないし第hマスクレイヤ;及び(iv)前記第1ないし前記第hマスクレイヤにそれぞれ対応する第1ないし第hエッジロスレイヤ;を含む、セグメンテーション性能向上のための学習装置において、インストラクションを格納する少なくとも一つのメモリ;及び(I)前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第kエンコード済み特徴マップを生成させるプロセス、(II)前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1デコード済み特徴マップを生成させるものの、前記学習装置は前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の基本デコード済み特徴マップからエッジ部分を抽出して第hないし第1エッジ特徴マップを生成するようにし、(ii)前記h個の基本デコード済み特徴マップ及び前記第hないし前記第1エッジ特徴マップを参照して前記第(k−1)ないし前記第1デコード済み特徴マップのうち少なくとも一部として機能するh個のエッジ強化デコード済み特徴マップを生成させるプロセス、及び(III)前記第1ないし前記第hエッジロスレイヤをもって前記エッジ部分及びこれに対応するGTを参照して第1ないし第hエッジロスを生成するようにして、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;を含むことを特徴とする学習装置が提供される。
一実施例で、前記第1ないし前記第hエッジロスレイヤは、前記エッジ部分と、これに対応するGTの差を計算して前記第1ないし前記第hエッジロスを生成するものの、前記GTは前記第1ないし前記第hエッジ特徴マップの大きさにそれぞれ対応する大きさを有した第1ないし第hGTイメージからそれぞれ抽出される。
一実施例で、前記(II)プロセスにおいて、前記第(k−1)ないし前記第1デコンボリューションレイヤは、(i)それぞれの前記第hないし前記第1エッジ特徴マップと前記第hないし前記第1マスクレイヤに対応する前記h個のデコンボリューションレイヤから出力されたそれぞれの前記h個の基本デコード済み特徴マップの要素ごとの和(Element−wise Sum)を利用し、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記(k−1)個のデコード済み特徴マップの少なくとも一部として機能する(k−h)個の基本デコード済み特徴マップを生成し、順次に前記第(k−1)ないし前記第1デコード済み特徴マップを生成する。
一実施例で、前記学習装置は、(v)前記第1ないし前記第(k−1)デコンボリューションレイヤのうちでr個のデコンボリューションレイヤに対応して配置される第1ないし第rロスレイヤをさらに含み、前記(III)プロセスは、(III−1)前記プロセッサが前記第1ないし前記第rロスレイヤをもって前記第1ないし前記第rロスレイヤに対応する前記r個のデコンボリューションレイヤから出力された各r個のデコード済み特徴マップ及びこれに対応するGTイメージを参照して第1ないし第rロスをそれぞれ生成するようにして、前記第1ないし前記第rロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するプロセス;を含む。
一実施例で、前記第1ないし前記第rロスレイヤは、それぞれの前記r個のデコード済み特徴マップにそれぞれ補助コンボリューション演算を適用して出力されたそれぞれのr個の変換済み特徴マップと、これに対応するGTイメージとを参照して前記第1ないし前記第rロスをそれぞれ算出する。
一実施例で、前記学習装置は、(vi)前記第1ないし前記第hマスクレイヤそれぞれの出力端と前記第1ないし前記第hマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第1ないし第h中間レイヤをさらに含み、前記(II)プロセスは、(II−1)前記プロセッサが前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤに対応するh個のコンボリューションレイヤから出力されたh個のエンコード済み特徴マップが入力されて第1ないし第h中間特徴マップを生成させるプロセス;(II−2)前記プロセッサは前記第1ないし前記第hマスクレイヤをもってそれぞれの前記第1ないし前記第hマスクレイヤに対応するそれぞれの前記h個のデコンボリューションレイヤからそれぞれ出力された前記h個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第1ないし前記第hエッジ特徴マップを生成させるプロセス;及び(III−3)前記プロセッサは(i)第1ないし第h要素ごとのプロダクトレイヤをもってそれぞれの前記第1ないし前記第h中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて(Element−wise Product)、それぞれの第1ないし第h要素ごとのプロダクトを生成するようにし、(ii)第1ないし第h要素ごとの合算レイヤをもってそれぞれの前記第1ないし前記第h要素ごとのプロダクトと、前記h個の基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第h要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第1ないし前記第(k−1)デコード済み特徴マップのうちでh個のデコード済み特徴マップを生成するプロセス;を含む。
一実施例で、前記学習装置が前記第kコンボリューションレイヤの出力端と前記第(k−1)デコンボリューションレイヤの入力端との間に位置したさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kエンコード済み特徴マップに一つ以上の中間演算を適用して第(h+1)中間特徴マップを生成し、前記第(h+1)中間特徴マップを前記第(k−1)デコンボリューションレイヤに伝達する。
一実施例で、前記第1ないし前記第h中間レイヤのうち少なくとも一つは、一つ以上の膨張コンボリューション)演算を遂行する。
一実施例で、前記(II−2)プロセスにおいて、前記プロセッサは前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって前記(k−1)個のデコンボリューションレイヤのうちで前記第mマスクレイヤに対応する第nデコンボリューションレイヤから出力された第n基本デコード済み特徴マップからエッジ部分を抽出して第mエッジ特徴マップを生成するようにし、前記(II−3)プロセスにおいて、前記プロセッサは(i)第m要素ごとのプロダクトレイヤをもって前記第mエッジ特徴マップと前記第mマスクレイヤに対応する第m中間レイヤから出力された第m中間特徴マップとを要素ごとに掛け合わせて第m要素ごとのプロダクトを生成するようにし、(ii)第m要素ごとの合算レイヤをもって前記第m要素ごとのプロダクトと、前記第n基本デコード済み特徴マップとを要素ごとに合算するようにして、第nデコード済み特徴マップを生成する。
一実施例で、前記学習装置は、(v)前記第1ないし前記第(k−1)デコンボリューションレイヤのうちでr個のデコンボリューションレイヤに対応して配置される第1ないし第rロスレイヤをさらに含み、前記学習装置は前記第1デコード済み特徴マップを受けて前記第1ロスレイヤに入力される調整された第1デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含み、前記(III)プロセスは、(III−1)前記プロセッサが前記第1ないし前記第rロスレイヤをもって前記第1ないし前記第rロスレイヤに対応する前記r個のデコンボリューションレイヤから出力された各r個のデコード済み特徴マップ及びこれに対応するGTイメージを参照して第1ないし第rロスをそれぞれ生成するようにして、前記第1ないし前記第rロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するようにするプロセス;を含む。
本発明のまた他の態様によると、少なくとも一つのテストイメージに対してセグメンテーションするためのテスト装置において、インストラクションを格納する少なくとも一つのメモリ;及び学習装置が(i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップに一つ以上のコンボリューション演算を適用して第1ないし第k学習用エンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ、(ii)前記第k学習用エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第(k−1)ないし第1学習用デコード済み特徴マップをそれぞれ出力する第(k−1)ないし第1デコンボリューションレイヤ、(iii)前記(k−1)個のデコンボリューションレイヤのうちでh個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する第1ないし第hマスクレイヤ、及び(iv)前記第1ないし前記第hマスクレイヤにそれぞれ対応する第1ないし第hエッジロスレイヤを含むとするとき、前記学習装置が(1)前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第k学習用エンコード済み特徴マップを生成するようにし、(2)前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1学習用デコード済み特徴マップを生成させるものの、前記学習装置は前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の学習用の基本デコード済み特徴マップから学習用エッジ部分を抽出して第hないし第1学習用エッジ特徴マップを生成するようにし、(ii)前記h個の学習用の基本デコード済み特徴マップ及び前記第hないし前記第1学習用エッジ特徴マップを参照して前記第(k−1)ないし前記第1学習用デコード済み特徴マップのうち少なくとも一部として機能するh個の学習用エッジ強化デコード済み特徴マップを生成するようにし、(3)前記第1ないし前記第hエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するGTを参照して第1ないし第hエッジロスを生成するようにして、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、(I)前記第1ないし前記第kコンボリューションレイヤをもって第1ないし第kテスト用エンコード済み特徴マップを出力するようにするプロセス;及び(II)前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に第(k−1)ないし第1テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第hないし第1テスト用エッジ特徴マップを生成するようにし、(ii)前記h個のテスト用基本デコード済み特徴マップ及び前記第hないし前記第1テスト用エッジ特徴マップを参照して前記第(k−1)ないし前記第1テスト用デコード済み特徴マップのうち少なくとも一部として機能するh個のテスト用エッジ強化デコード済み特徴マップを生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;を含むことを特徴とするテスト装置が提供される。
一実施例で、前記(II)プロセスにおいて、前記第(k−1)ないし前記第1デコンボリューションレイヤは、(i)それぞれの前記第hないし前記第1テスト用エッジ特徴マップと前記第hないし前記第1マスクレイヤに対応する前記h個のデコンボリューションレイヤから出力されたそれぞれの前記h個のテスト用基本デコード済み特徴マップの要素ごとの和(Element−wise Sum)を利用し、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力されたテスト用特徴マップに前記デコンボリューション演算を適用して前記(k−1)個のテスト用デコード済み特徴マップの少なくとも一部として機能する(k−h)個のテスト用基本デコード済み特徴マップを生成し、順次に前記第(k−1)ないし前記第1テスト用デコード済み特徴マップを生成する。
一実施例で、前記テスト装置は(v)前記第1ないし前記第hマスクレイヤそれぞれの出力端と前記第1ないし前記第hマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第1ないし第h中間レイヤをさらに含み、前記(II)プロセスは、(II−1)前記プロセッサは前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤに対応するh個のコンボリューションレイヤから出力されたh個のテスト用エンコード済み特徴マップが入力されて第1ないし第hテスト用中間特徴マップを生成させるプロセス;(II−2)前記プロセッサは前記第1ないし前記第hマスクレイヤをもってそれぞれの前記第1ないし前記第hマスクレイヤに対応するそれぞれの前記h個のデコンボリューションレイヤからそれぞれ出力された前記第hテスト用基本デコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第1ないし前記第hテスト用エッジ特徴マップを生成させるプロセス;及び(II−3)前記プロセッサは(i)第1ないし第h要素ごとのプロダクトレイヤをもってそれぞれの前記第1ないし前記第hテスト用中間特徴マップと、これに対応するテスト用エッジ特徴マップとを要素ごとに掛け合わせて(Element−wise Product)、それぞれの第1ないし第hテスト用要素ごとのプロダクトを生成するようにし、(ii)第1ないし第h要素ごとの合算レイヤをもってそれぞれの前記第1ないし前記第hテスト用要素ごとのプロダクトと、前記h個のテスト用基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第hテスト用要素ごとのプロダクトに対応するテスト用基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第1ないし前記第(k−1)テスト用デコード済み特徴マップのうちでh個のテスト用デコード済み特徴マップを生成するプロセス;を含む。
一実施例で、前記テスト装置が前記第kコンボリューションレイヤの出力端と前記第(k−1)デコンボリューションレイヤの入力端との間に位置したさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kテスト用エンコード済み特徴マップに一つ以上の中間演算を適用して第(h+1)テスト用中間特徴マップを生成し、前記第(h+1)テスト用中間特徴マップを前記第(k−1)デコンボリューションレイヤに伝達する。
一実施例で、前記(II−2)プロセスにおいて、前記プロセッサは前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって前記(k−1)個のデコンボリューションレイヤのうちで前記第mマスクレイヤに対応する第nデコンボリューションレイヤから出力された第nテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第mテスト用エッジ特徴マップを生成するようにし、前記(II−3)プロセスにおいて、前記プロセッサは(i)第m要素ごとのプロダクトレイヤをもって前記第mテスト用エッジ特徴マップと前記第mマスクレイヤに対応する第m中間レイヤから出力された第mテスト用中間特徴マップとを要素ごとに掛け合わせて第mテスト用要素ごとのプロダクトを生成するようにし、(ii)第m要素ごとの合算レイヤをもって前記第mテスト用要素ごとのプロダクトと、前記第nテスト用基本デコード済み特徴マップとを要素ごとに合算するようにして、第nテスト用デコード済み特徴マップを生成する。
本発明によると、エッジロスレイヤを通じてエッジ部分を強化して、セグメンテーションプロセスで正確なエッジ部分を有したラベルイメージを生成することができる効果がある。
また、本発明によると、エッジ情報を抽出するのに多くの演算が要求されないため、鮮明なラベルイメージを出力することができる効果がある。
本発明の実施例の説明に利用されるために添付された下記の図面は、本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野おける通常の知識を有する者(以下「通常の技術者」)にとっては、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
図1は、CNNを利用して従来のセグメンテーションを遂行するプロセスを簡略に示したものである。 図2は、本発明の一実施例によるイメージセグメンテーションのプロセスを簡略に示したものである。 図3は、本発明の他の実施例によるイメージセグメンテーションのプロセスを簡略に示したものである。 図4は、図2及び図3で示されたプロセスにおいて、エッジ情報を抽出して一つ以上のエッジロスを生成する詳細なプロセスを示したものである。 図5は、本発明のまた他の実施例によるイメージセグメンテーションのプロセスを簡略に示したものである。 図6は、本発明のまた他の実施例によるイメージセグメンテーションのプロセスを簡略に示したものである。 図7は、図6で示されたプロセスにおいて、一つ以上のエッジロス及び一つ以上のロスを生成する詳細なプロセスを示したものである。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、その実施例に関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現される得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装または非舗装道路の関連イメージを含み得、この場合、道路環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ(例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ)でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において、通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。
図2は、本発明の一実施例によるイメージセグメンテーションのプロセスを簡略に示したものである。
本発明による学習装置は、図2で示されているように第1コンボリューションレイヤ(100_1)ないし第kコンボリューションレイヤ(100_k)及び第(k−1)デコンボリューションレイヤ(200_(k−1))ないし第1デコンボリューションレイヤ(200_1)を含む。そして、それぞれの第1マスクレイヤ(300_1)ないし第(k−1)マスクレイヤ(300_(k−1))は、それぞれの前記第1デコンボリューションレイヤ(200_1)ないし前記第(k−1)デコンボリューションレイヤ(200_(k−1))に連結される。そして、それぞれの第1エッジロスレイヤ(400_1)ないし第(k−1)エッジロスレイヤ(400_(k−1))は、それぞれの前記第1マスクレイヤ(300_1)ないし前記第(k−1)マスクレイヤ(300_(k−1))に連結される。また、それぞれの第1要素別(Element−Wise)合算レイヤ(310_1)ないし第(k−1)要素ごとの合算レイヤ(310_(k−1)は、それぞれの前記第1マスクレイヤ(300_1)ないし前記第(k−1)マスクレイヤ(300_(k−1))及びそれぞれの前記第1デコンボリューションレイヤ(200_1)ないし前記第(k−1)デコンボリューションレイヤ(200_(k−1))に連結される。この際、前記第1要素ごとの合算レイヤ(310_1)ないし前記第(k−1)要素ごとの合算レイヤ(310_(k−1)は、前記第1デコンボリューションレイヤ(200_1)ないし前記第(k−1)デコンボリューションレイヤ(200_(k−1))からデコード済み(Decoded)特徴マップを取得し、前記第1マスクレイヤ(300_1)ないし前記第(k−1)マスクレイヤ(300_(k−1))からエッジ特徴マップを取得し、前記デコード済み特徴マップと前記エッジ特徴マップの要素ごとの和(Element−wise Sum)を次のデコンボリューションレイヤに伝達する。
まず、少なくとも一つのトレーニングイメージ(10)が入力されると、前記第1コンボリューションレイヤ(100_1)ないし前記第kコンボリューションレイヤ(100_k)は第1ないし第kエンコード済み(Encoded)特徴マップを生成し、前記第(k−1)デコンボリューションレイヤ(200_(k−1))ないし前記第1デコンボリューションレイヤ(200_1)は、前記第kエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第(k−1)ないし第1デコード済み特徴マップを生成する。そして、セグメンテーションラベルイメージ(20)は、前記第1デコード済み特徴マップに少なくとも一つ所定の演算を適用して生成される。
図2を参照すると、前記第(k−1)ないし前記第1デコード済み特徴マップを生成するプロセスにおいて、前記学習装置は、前記第(k−1)マスクレイヤ(300_(k−1))ないし前記第1マスクレイヤ(300_1)をもってそれぞれの前記第(k−1)ないし前記第1デコンボリューションレイヤから出力されるそれぞれの第(k−1)ないし第1基本デコード済み特徴マップからエッジ部分を抽出して第(k−1)ないし第1エッジ特徴マップを生成し、前記第(k−1)要素ごとの合算レイヤ(310_(k−1))ないし前記第1要素ごとの合算レイヤ(310_1)をもってそれぞれの前記第(k−1)ないし前記第1エッジ特徴マップとそれぞれの前記第(k−1)ないし前記第1基本特徴マップとを要素ごとに加える(Element−Wise Add)ことによって、前記第(k−1)ないし前記第1デコード済み特徴マップを生成し、前記第(k−1)ないし第2デコード済み特徴マップはこれに対応する次のデコンボリューションレイヤに伝達される。
そして、前記学習装置は、第(k−1)エッジロスレイヤ(400_(k−1))ないし第1エッジロスレイヤ(400_1)をもって前記第(k−1)マスクレイヤ(300_(k−1))ないし前記第1マスクレイヤ(300_1)から出力された前記第(k−1)ないし前記第1エッジ特徴マップ及びこれに対応するGTを参考にして第(k−1)ないし第1エッジロスを生成させる。前記第1ないし前記第(k−1)エッジロスは、バックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうちで少なくとも一部の一つ以上のパラメータを調整するために利用される。
この際、それぞれの前記第(k−1)エッジロスレイヤ(400_(k−1))ないし前記第1エッジロスレイヤ(400_1)は、少なくとも一つのGTラベルからエッジ情報を抽出し、前記抽出されたエッジ情報及び前記第(k−1)マスクレイヤ(300_(k−1))ないし前記第1マスクレイヤ(300_1)から出力された前記第(k−1)ないし前記第1エッジ特徴マップを参考にして、前記第(k−1)ないし前記第1エッジロスを計算する。このため、前記学習は前記エッジ部分のエラーを利用して前記エッジ部分を強化するために遂行される。前記エッジ部分を復元する場合において、前記エッジ部分は広い帯域の周波数を含むため、小さいサイズの特徴マップから前記エッジ部分を復元するのに多くのエネルギーが必要とされる。したがって、従来の方法において、前記学習プロセスは前記エッジ部分において非効率的であり、これにより前記テストプロセスにおいて正確な結果を出力するのが難しい。しかし、前記エッジ部分が前記エッジレイヤを通じて前記エッジ部分の前記エラーを利用して強化されるため、図2で示されているように前記方法は、前記エッジ部分を検出するCNNの性能を向上させることができる。
この際、前記学習装置は、(i)前記第1コンボリューションレイヤ(100_1)ないし前記第kコンボリューションレイヤ(100_k)をもって順次に前記トレーニングイメージ及び前記第1ないし前記第(k−1)エンコード済み特徴マップの大きさを減少させ、チャンネル数を増加させて前記第1ないし前記第kエンコード済み特徴マップをそれぞれ出力するようにし、(ii)前記第(k−1)デコンボリューションレイヤ(200_(k−1))ないし前記第1デコンボリューションレイヤ(200_1)をもって順次に前記第kエンコード済み特徴マップ及び前記第(k−1)ないし前記第2デコード済み特徴マップの大きさを増加させてチャンネル数を減少させ、前記第(k−1)ないし前記第1デコード済み特徴マップをそれぞれ出力するようにする。そして、前記学習装置は、前記第(k−1)エッジロスレイヤ(400_(k−1))ないし前記第1エッジロスレイヤ(400_1)をもって前記第(k−1)マスクレイヤ(300_(k−1))ないし前記第1マスクレイヤ(300_1)から抽出された(k−1)個のエッジ部分と、これに対応するGTエッジとの差を計算して前記第(k−1)ないし前記第1エッジロスを生成するものの、前記GTエッジは、前記(k−1)個のエッジ部分のイメージ大きさとそれぞれに対応する大きさを有した第(k−1)ないし第1 GTイメージから抽出される。
そして、前記学習装置は、第1ロスレイヤ(500_1)をもって前記第1デコード済み特徴マップ又は前記セグメンテーションラベルイメージ(20)及びこれに対応するGTラベルイメージを参考にして一つ以上の第1のロスを生成するようにし、前記第1のロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整する。
そして、本発明による前記学習装置は、前記第1デコード済み特徴マップを受けて、前記第1ロスレイヤに入力される前記セグメンテーションラベルイメージ(20)と共に調整された第1デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含む。
一方、前記学習装置は前記第1デコンボリューションレイヤ(200_1)からの出力を利用するだけでなく、多数の前記デコンボリューションレイヤから出力された多数の前記デコード済み特徴マップを利用して計算された前記ロスを利用したバックプロパゲーションを遂行する。たとえば、前記学習装置は、前記第(k−1)デコンボリューションレイヤ(200_(k−1))ないし前記第1デコンボリューションレイヤ(200_1)のうち少なくとも一つに対応する図6の第(k−1)ロスレイヤ(500_(k−1))ないし第1ロスレイヤ(500_1)をもって前記第(k−1)ないし前記第1デコンボリューションレイヤの前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに対応するGTラベルイメージを参考にして一つ以上のロスを生成させることで、前記ロスを利用したバックプロパゲーションを遂行する。
図3は、本発明の他の実施例によるイメージセグメンテーションのプロセスを簡単に示したものである。
図3に示された本発明の他の実施例による前記セグメンテーション性能向上のための前記学習装置は、図2に示された本発明の一実施例による前記学習装置と基本的に類似した構成を有するが、前記第(k−1)デコンボリューションレイヤ(200_(k−1))ないし前記第1デコンボリューションレイヤ(200_1)のうちでh個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する第1マスクレイヤ(300_1)ないし第hマスクレイヤ(300_h)及び前記第1ないし前記第hマスクレイヤにそれぞれ対応する第1ディファレンシャルレイヤ(400_1)ないし第hディファレンシャルレイヤ(400_h)を含む。
この場合、図3に示された前記学習装置は、前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1デコード済み特徴マップを生成させるものの、前記学習装置は前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の基本デコード済み特徴マップからエッジ部分を抽出して第hないし第1エッジ特徴マップを生成するようにし、(ii)前記h個の基本デコード済み特徴マップ及び前記第hないし前記第1エッジ特徴マップを参照して前記第(k−1)ないし前記第1デコード済み特徴マップのうち少なくとも一部として機能するh個のエッジ強化デコード済み特徴マップを生成させる。特に、前記第(k−1)ないし前記第1デコンボリューションレイヤを通じて(i)それぞれの前記第hないし前記第1エッジ特徴マップと前記第hないし前記第1マスクレイヤに対応する前記h個のデコンボリューションレイヤから出力されたそれぞれの前記h個の基本デコード済み特徴マップの要素ごとの和(Element−wise Sum)を利用して、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記(k−1)個のデコード済み特徴マップの少なくとも一部として機能する(k−h)個の基本デコード済み特徴マップを生成して、前記第(k−1)ないし前記第1デコード済み特徴マップが生成される。
そして、図3で示された前記学習装置は、前記第1ないし前記第hエッジロスレイヤをもって前記エッジ部分及びこれに対応するGTを参考にして第1ないし第hエッジロスを生成させることで、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤの少なくとも一部分の前記パラメータを調整する。
図4は、図2及び図3で示された前記プロセスにおいて、前記エッジ情報を抽出して前記エッジロスを生成するプロセスを詳細に示したものである。
図4を参照すると、前記学習装置は、前記第(k−1)デコンボリューションレイヤ(200_(k−1))ないし前記第1デコンボリューションレイヤ(200_1)のうちで第nデコンボリューションレイヤ(200_n)をもって以前のデコンボリューションレイヤから伝達された前記第(n+1)デコード済み特徴マップに前記デコンボリューション演算を適用して、第n基本デコード済み特徴マップを生成するようにし、前記第n基本デコード済み特徴マップ及びこれから抽出された第mエッジ特徴マップを利用して第nデコード済み特徴マップを出力するようにする。図4は、図3の前記実施例を基盤として前記エッジ情報を抽出し、前記エッジロスを計算する詳細なプロセスを示すようにするために、前記第1ないし前記第hマスクレイヤのうちで第mマスクレイヤ(300_m)及びこれに対応する第mエッジロスレイヤ(400_m)が前記第nデコンボリューションレイヤ(200_n)に対応して配置される例を示したものである。
まず、前記第nデコンボリューションレイヤ(200_n)は、以前のデコンボリューションレイヤ(200_(n+1))又は以前の要素別合算レイヤ(300_(m+1))から前記第(n+1)デコード済み特徴マップを取得する。そして、前記第nデコンボリューションレイヤ(200_n)は、前記第(n+1)デコード済み特徴マップに前記デコンボリューション演算を適用して前記第n基本デコード済み特徴マップを生成し、これを前記第mマスクレイヤ(300_m)及び第m要素ごとの合算レイヤ(310_m)に伝達する。前記第mマスクレイヤ(300_m)は、第nデコンボリューションレイヤ(200_n)から出力された前記第n基本デコード済み特徴マップからエッジ部分を抽出して前記第mエッジ特徴マップを生成する。前記第m要素ごとの合算レイヤ(310_m)を通じて前記第mエッジ特徴マップが前記第n基本デコード済み特徴マップと要素ごとに合算されて、前記第nデコード済み特徴マップが生成される。前記第nデコード済み特徴マップは、次のデコンボリューションレイヤ(200_(n−1))に伝達される。
また、第mエッジロスレイヤ(400_m)は、前記第mマスクレイヤ(300_m)から出力された前記第mエッジ特徴マップ及びこれに対応するGTエッジあるいはGTイメージから抽出されたエッジ部分を利用して一つ以上の第mエッジロスを生成する。前記エッジロスはバックプロパゲーションされて、前記CNNの前記パラメータを調整するのに利用される。よって、前記CNNの前記パラメータは、前記エッジ部分を強化するのに学習され、鮮明なエッジ部分を有するセグメンテーション結果が生成される。
図5は、本発明のまた他の実施例によるイメージセグメンテーションのプロセスを簡略に示したものである。
図5に示された本発明のまた他の実施例による前記セグメンテーション性能向上のための前記学習装置は、図2または3に示された前記学習装置と基本的に類似した構成を有するが、前記コンボリューションレイヤの少なくとも一つと、それに対応するデコンボリューションレイヤとの間に位置する中間レイヤをさらに含む。たとえば、前記中間レイヤは、前記第1コンボリューションレイヤ(100_1)ないし前記第(k−1)コンボリューションレイヤ(100_(k−1))それぞれの出力端と前記第1マスクレイヤ(300_1)ないし前記第(k−1)マスクレイヤ(300_(k−1))それぞれの出力端との間にそれぞれ位置する第1中間レイヤ(600_1)ないし第(k−1)の中間レイヤ(600_(k−1))を含み、前記第kコンボリューションレイヤの出力端と前記第(k−1)デコンボリューションレイヤの入力端との間に位置する第kの中間レイヤ(600_k)をさらに含む。前記第1ないし前記第kの中間レイヤの少なくとも一つは、一つ以上の膨張コンボリューション(Dilated convolution)演算を遂行する。この際、それぞれの前記中間レイヤのレセプティブフィールド(Receptive Field)は、0の値を有するフィルター加重値によって決定される。そして、図5を参照すると、前記学習装置は、前記第1ないし前記第(k−1)の中間レイヤからのそれぞれの出力と前記第1ないし前記第(k−1)マスクレイヤロータのそれぞれの出力を要素ごとに掛け合わせて第1ないし第(k−1)要素ごとのプロダクト(Element−Wise Product)を生成することができる(k−1)個の要素ごとのプロダクトレイヤ(320_1ないし320_(k−1))をさらに含む。前記第1ないし前記第(k−1)要素ごとのプロダクトは、前記第1要素ごとの合算レイヤ(310_1)ないし前記第(k−1)要素ごとの合算レイヤ(310_(k−1))にそれぞれ伝達され、また前記第1要素ごとの合算レイヤ(310_1)ないし前記第(k−1)要素ごとの合算レイヤ(310_(k−1)が(i)それぞれの前記第1ないし前記第(k−1)要素ごとのプロダクトと(ii)前記(k−1)個の基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第(k−1)要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算することにより、前記第1ないし前記第(k−1)デコード済み特徴マップを生成する。
図面には示されていないが、他の実施例として、前記学習装置は前記第1ないし前記第hマスクレイヤのそれぞれの出力端と前記第1ないし前記第hマスクレイヤに対応するh個のコンボリューションレイヤのそれぞれの出力端との間にそれぞれ位置したh個の中間レイヤを含む。また、前記学習装置は、前記h個のマスクレイヤに対応する第1要素ごとのプロダクトレイヤ(320_1)ないし第h要素ごとのプロダクトレイヤ(320_h)を含む。前記第1ないし前記第h要素ごとのプロダクトレイヤは、前記h個の中間レイヤから出力された第1ないし第h中間特徴マップと前記第1マスクレイヤ(300_1)ないし前記第hマスクレイヤ(300_h)から出力された前記第1ないし前記第hエッジ特徴マップとを要素ごとに掛け合わせて第1ないし第h要素ごとのプロダクトを生成する。前記第1ないし前記第h要素ごとのプロダクトは、第1要素ごとの合算レイヤ(310_1)ないし第h要素ごとの合算レイヤ(310_h)にそれぞれ伝達される。そして、前記第1要素ごとの合算レイヤ(310_1)ないし前記第h要素ごとの合算レイヤ(310_h)がそれぞれの前記第1ないし前記第h要素ごとのプロダクトと、前記h個の基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第h要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに加えることにより、前記第1ないし前記第(k−1)デコード済み特徴マップのうちでh個のデコード済み特徴マップを生成する。
つまり、前記学習装置は、(i)前記h個の中間レイヤをもって前記第1ないし前記第hマスクレイヤに対応するh個のコンボリューションレイヤから出力されたh個のエンコード済み特徴マップが入力されて前記第1ないし前記第h中間特徴マップを生成するようにし、(ii)前記第1ないし前記第hマスクレイヤをもってそれぞれの前記第1ないし前記第hマスクレイヤに対応するそれぞれの前記h個のデコンボリューションレイヤからそれぞれ出力された前記h個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第1ないし前記第hエッジ特徴マップを生成するようにし、(iii−1)前記第1ないし前記第h要素ごとのプロダクトレイヤをもってそれぞれの前記第1ないし前記第h中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて(Element−wise Product)、それぞれの第1ないし第h要素ごとのプロダクトを生成するようにし、(iii−2)第1ないし第h要素ごとの合算レイヤをもってそれぞれの前記第1ないし前記第h要素ごとのプロダクトと、前記h個の基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第h要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第1ないし前記第(k−1)デコード済み特徴マップのうちで前記h個のデコード済み特徴マップを生成する。そして、前記学習装置が前記第kコンボリューションレイヤの出力端と前記第(k−1)デコンボリューションレイヤの入力端との間に位置したさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kエンコード済み特徴マップに一つ以上の中間演算を適用して第(h+1)中間特徴マップを生成し、前記第(h+1)中間特徴マップを前記第(k−1)デコンボリューションレイヤに伝達する。この際、前記中間演算は前記膨張コンボリューション演算であり得る。
図6は、本発明のまた他の実施例によるイメージセグメンテーションのプロセスを簡略に示したものである。
図6に示された本発明のまた他の実施例による前記セグメンテーション性能向上のための前記学習装置は、図5に示された前記学習装置と基本的に類似した構成を有するが、前記第1デコンボリューションレイヤ(200_1)ないし前記第(k−1)デコンボリューションレイヤ(200_(k−1))に対応して位置する前記第1ロスレイヤ(500_1)ないし前記第(k−1)ロスレイヤ(500_(k−1))を含む。図6で示された前記学習装置は、前記第1ロスレイヤ(500_1)ないし前記第(k−1)ロスレイヤ(500_(k−1))をもってそれぞれの前記第1ないし前記第(k−1)デコード済み特徴マップ及びこれに対応するGTイメージを参考にして、前記第1ないし第(k−1)ロスをそれぞれ生成するようにし、前記第1ないし前記第(k−1)ロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤの少なくとも一部のパラメータを調整する。
前記ロスレイヤの場合において、前記第1ロスレイヤは、前記第1デコンボリューションレイヤに対応して位置するが、残りのロスレイヤは第2デコンボリューションレイヤ(200_2)ないし前記第(k−1)デコンボリューションレイヤ(200_(k−1))全てに対応するように位置しないことがある。つまり、前記学習装置は、前記第1ないし前記第(k−1)デコンボリューションレイヤのうちでr個のデコンボリューションレイヤに対応して位置するr個のロスレイヤを含み、前記r個のロスレイヤのうちで前記第1デコンボリューションレイヤ(200_1)に対応して位置する前記第1ロスレイヤ(500_1)は、前記ラベルイメージ(20)及びこれに対応するGTを参照して前記第1のロスを生成する。
前記学習装置は、前記r個のロスレイヤをもって前記r個のロスレイヤに対応する前記r個のデコンボリューションレイヤから出力されるr個のデコード済み特徴マップそれぞれ及びこれに対応するGTを参照してr個のロスをそれぞれ生成させる。そして、前記学習装置は、前記r個のロスのうち少なくとも一つを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤの少なくとも一部の前記パラメータを調整する。
図7は、図6で示された前記プロセスにおいて、前記エッジロス及び前記ロスを生成するプロセスを詳細に示したものである。
図7を参考にして、前記学習装置は、前記第(k−1)デコンボリューションレイヤ(200_(k−1))ないし前記第1デコンボリューションレイヤ(200_1)のうちで前記第nデコンボリューションレイヤ(200_n)をもって以前のデコンボリューションレイヤから伝達された前記第(n+1)デコード済み特徴マップに前記デコンボリューション演算を適用して、前記第n基本デコード済み特徴マップを生成するようにし、前記第n基本デコード済み特徴マップとこれから抽出された前記第mエッジ特徴マップを利用して、前記第nデコード済み特徴マップを生成させる。図7は、図6の実施例を基盤として前記エッジ情報を抽出し、前記エッジロスを計算する詳細なプロセスを説明するために、(i)前記第1ないし前記第hマスクレイヤのうちで前記第mマスクレイヤ(300_m)、(ii)前記第1ないし前記第hエッジロスレイヤのうちで前記第mマスクレイヤに対応する前記第mエッジロスレイヤ(400_m)、(iii)第m中間レイヤ(600_m)、及び(iv)第mロスレイヤ(500_m)が前記第nデコンボリューションレイヤ(200_n)に対応して位置する例を含む。
図7を参照すると、前記第nデコンボリューションレイヤ(200_n)は、以前のデコンボリューションレイヤ(200_(n+1))から、または以前の要素ごとの合算レイヤ(300_(m+1))から前記第(n+1)デコード済み特徴マップを取得する。そして、前記第nデコンボリューションレイヤ(200_n)は、前記第(n+1)デコード済み特徴マップに前記デコンボリューション演算を適用して、前記第n基本デコード済み特徴マップを生成し、これを前記第mマスクレイヤ(300_m)及び前記第m要素ごとの合算レイヤ(310_m)に伝達する。前記第mマスクレイヤ(300_m)は、前記第nデコンボリューションレイヤ(200_n)から出力された前記第n基本デコード済み特徴マップからエッジ部分を抽出して前記第mエッジ特徴マップを生成する。
一方、前記第m中間レイヤ(600_m)は、これに対応するエンコード済み特徴マップに前記中間演算を適用して第m中間特徴マップを生成し、第m要素ごとのプロダクトレイヤ(320_m)は、前記第mエッジ特徴マップと前記第m中間特徴マップとの要素ごとの乗算を通じて第m要素ごとのプロダクトを生成する。前記第m要素ごとのプロダクトは、前記第m要素ごとの合算レイヤ(310_m)を通じて前記第n基本デコード済み特徴マップに要素ごとに合算されることにより、前記第nデコード済み特徴マップを生成する。前記第nデコード済み特徴マップは、次のデコンボリューションレイヤ(200_(n−1))に伝達される。
そして、前記第mエッジロスレイヤ(400_m)は、前記第mマスクレイヤ(300_m)から出力される前記第mエッジ特徴マップ及びこれに対応するGTエッジまたはGTイメージから抽出されるエッジ部分を利用して、前記第mエッジロスを生成する。また、前記第mロスレイヤ(500_m)は、前記第nデコード済み特徴マップ及びこれに対応するGTを利用して一つ以上の第mロスを生成する。前記生成された第mエッジロス及び前記第mロスはバックプロパゲーションされて、前記CNNの前記パラメータを調整するのに利用される。
そして、図2ないし図7に示された前記学習方法は、前記CNNのテスト方法に適用され得る。参考までに下記の説明において、混乱を避けるために前記学習プロセスに関連する用語に「学習用」という単語が追加されており、テストプロセスに関連する用語に「テスト用」という単語が追加された。
つまり、少なくとも一つのテストイメージに対するセグメンテーションのテスト方法は、(a)前記学習装置が(i)前記トレーニングイメージに対応する少なくとも一つの学習用特徴マップに前記コンボリューション演算を適用して第1ないし第k学習用エンコード済み特徴マップをそれぞれ出力する前記第1ないし前記第kコンボリューションレイヤ、(ii)前記第k学習用エンコード済み特徴マップに前記デコンボリューション演算を適用して第(k−1)ないし第1学習用デコード済み特徴マップをそれぞれ出力する前記第(k−1)ないし前記第1デコンボリューションレイヤ、(iii)前記(k−1)個のデコンボリューションレイヤのうちで前記h個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する前記第1ないし前記第hマスクレイヤ、及び(iv)前記第1ないし前記第hマスクレイヤにそれぞれ対応する前記第1ないし前記第hエッジロスレイヤを含むとするとき、前記学習装置が(1)前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第k学習用エンコード済み特徴マップを生成するようにし、(2)前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1学習用デコード済み特徴マップを生成させるものの、前記学習装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の学習用の基本デコード済み特徴マップから学習用エッジ部分を抽出して第hないし第1学習用エッジ特徴マップを生成するようにし、(ii)前記h個の学習用基本デコード済み特徴マップ及び前記第hないし前記第1学習用エッジ特徴マップを参照して前記第(k−1)ないし前記第1学習用デコード済み特徴マップのうち少なくとも一部として機能するh個の学習用エッジ強化デコード済み特徴マップを生成するようにし、(3)前記第1ないし前記第hエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するGTを参照して前記第1ないし前記第hエッジロスを生成するようにして、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、テスト装置が、前記テストイメージが入力されると、前記第1ないし前記第kコンボリューションレイヤをもって第1ないし第kテスト用エンコード済み特徴マップを出力するようにする段階;及び(b)前記テスト装置は、前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に第(k−1)ないし第1テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第hないし第1テスト用エッジ特徴マップを生成するようにし、(ii)前記h個のテスト用基本デコード済み特徴マップ及び前記第hないし前記第1テスト用エッジ特徴マップを参照して前記第(k−1)ないし前記第1テスト用デコード済み特徴マップのうち少なくとも一部として機能するh個のテスト用エッジ強化デコード済み特徴マップを生成させる段階;を含む。
前記エッジロスレイヤや前記レイヤは、学習時間に影響を与えるものの、テストには使用されないためテスト時間には影響を及ぼさない。そのため、プロセス時間に大きな影響を受けずに所望の結果を得ることができる。
このように、マルチエッジロスレイヤを利用した本発明によると、エッジロスレイヤを通じてエッジ部分を強化することにより、セグメンテーションの際にエッジ部分が正確なラベルイメージを得ることができる効果があり、多くの演算量を必要としなくてもエッジ情報をうまく探し出して、精密なラベルイメージが得られる効果がある。
前記セグメンテーション性能は、歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントなどのイベントを検出するのに利用されるために、交通標識、ランドマーク、及び道路標識などの検出度を増加させるために向上される。
本発明の技術分野における通常の技術者に理解され得るところとして、上記で説明されたイメージ、例えば、トレーニングイメージ及びテストイメージのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ(及び/又はメモリー)によって保有/維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカル・ディスク(floptical disk)のような磁気−光メディア(magneto−optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (30)

  1. (i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップに一つ以上のコンボリューション演算を適用して第1ないし第kエンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ;(ii)前記第kエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第(k−1)ないし第1デコード済み特徴マップをそれぞれ出力する第(k−1)ないし第1デコンボリューションレイヤ;(iii)前記(k−1)個のデコンボリューションレイヤのうちでh個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する第1ないし第hマスクレイヤ;及び(iv)前記第1ないし前記第hマスクレイヤにそれぞれ対応する第1ないし第hエッジロスレイヤ;を含む学習装置を利用してセグメンテーション性能を向上させるための学習方法において、
    (a)前記トレーニングイメージが入力されると、前記学習装置は、前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第kエンコード済み特徴マップを生成させる段階;
    (b)前記学習装置は、前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1デコード済み特徴マップを生成させるものの、前記学習装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の基本デコード済み特徴マップからエッジ部分を抽出して第hないし第1エッジ特徴マップを生成するようにし、(ii)前記h個の基本デコード済み特徴マップ及び前記第hないし前記第1エッジ特徴マップを参照して前記第(k−1)ないし前記第1デコード済み特徴マップのうち少なくとも一部として機能するh個のエッジ強化デコード済み特徴マップを生成させる段階;
    (c)前記学習装置は、前記第1ないし前記第hエッジロスレイヤをもって前記エッジ部分及びこれに対応するGTを参照して第1ないし第hエッジロスを生成するようにして、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整する段階;
    を含むことを特徴とする学習方法。
  2. 前記第1ないし前記第hエッジロスレイヤは、前記エッジ部分と、これに対応するGTとの差を計算して前記第1ないし前記第hエッジロスを生成するものの、前記GTは前記第1ないし前記第hエッジ特徴マップの大きさにそれぞれ対応する大きさを有した第1ないし第hGTイメージからそれぞれ抽出されることを特徴とする請求項1に記載の学習方法。
  3. 前記(b)段階で、
    前記第(k−1)ないし前記第1デコンボリューションレイヤは、(i)それぞれの前記第hないし前記第1エッジ特徴マップと前記第hないし前記第1マスクレイヤに対応する前記h個のデコンボリューションレイヤから出力されたそれぞれの前記h個の基本デコード済み特徴マップの要素ごとの和(Element−wise Sum)を利用し、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記(k−1)個のデコード済み特徴マップの少なくとも一部として機能する(k−h)個の基本デコード済み特徴マップを生成して、順次に前記第(k−1)ないし前記第1デコード済み特徴マップを生成することを特徴とする請求項1に記載の学習方法。
  4. 前記学習装置は、(v)前記第1ないし前記第(k−1)デコンボリューションレイヤのうちでr個のデコンボリューションレイヤに対応して配置される第1ないし第rロスレイヤをさらに含み、
    前記(c)段階は、
    (c1)前記学習装置が前記第1ないし前記第rロスレイヤをもって前記第1ないし前記第rロスレイヤに対応する前記r個のデコンボリューションレイヤから出力された各r個のデコード済み特徴マップ及びこれに対応するGTイメージを参照して第1ないし第rロスをそれぞれ生成するようにして、前記第1ないし前記第rロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整する段階;を含むことを特徴とする請求項3に記載の学習方法。
  5. 前記第1ないし前記第rロスレイヤは、それぞれの前記r個のデコード済み特徴マップにそれぞれ補助コンボリューション演算を適用して出力されたそれぞれのr個の変換済み特徴マップと、これに対応するGTイメージとを参照して前記第1ないし前記第rロスをそれぞれ算出することを特徴とする請求項4に記載の学習方法。
  6. 前記学習装置は、(vi)前記第1ないし前記第hマスクレイヤそれぞれの出力端と前記第1ないし前記第hマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第1ないし第h中間レイヤをさらに含み、
    前記(b)段階は、
    (b1)前記学習装置は、前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤに対応するh個のコンボリューションレイヤから出力されたh個のエンコード済み特徴マップが入力されて第1ないし第h中間特徴マップを生成させる段階;(b2)前記学習装置は、前記第1ないし前記第hマスクレイヤをもってそれぞれの前記第1ないし前記第hマスクレイヤに対応するそれぞれの前記h個のデコンボリューションレイヤからそれぞれ出力された前記h個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第1ないし前記第hエッジ特徴マップを生成させる段階;及び(b3)前記学習装置は、(i)第1ないし第h要素ごとのプロダクトレイヤをもってそれぞれの前記第1ないし前記第h中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて(Element−wise Product)、それぞれの第1ないし第h要素ごとのプロダクトを生成するようにし、(ii)第1ないし第h要素ごとの合算レイヤをもってそれぞれの前記第1ないし前記第h要素ごとのプロダクトと、前記h個の基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第h要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第1ないし前記第(k−1)デコード済み特徴マップのうちでh個のデコード済み特徴マップを生成する段階;を含むことを特徴とする請求項3に記載の学習方法。
  7. 前記学習装置が、前記第kコンボリューションレイヤの出力端と前記第(k−1)デコンボリューションレイヤの入力端との間に位置したさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kエンコード済み特徴マップに一つ以上の中間演算を適用して第(h+1)中間特徴マップを生成し、前記第(h+1)中間特徴マップを前記第(k−1)デコンボリューションレイヤに伝達することを特徴とする請求項6に記載の学習方法。
  8. 前記第1ないし前記第h中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行することを特徴とする請求項6に記載の学習方法。
  9. 前記(b2)段階で、
    前記学習装置は、前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって前記(k−1)個のデコンボリューションレイヤのうちで前記第mマスクレイヤに対応する第nデコンボリューションレイヤから出力された第n基本デコード済み特徴マップからエッジ部分を抽出して第mエッジ特徴マップを生成するようにし、
    前記(b3)段階で、
    前記学習装置は、(i)第m要素ごとのプロダクトレイヤをもって前記第mエッジ特徴マップと前記第mマスクレイヤに対応する第m中間レイヤから出力された第m中間特徴マップとを要素ごとに掛け合わせて第m要素ごとのプロダクトを生成するようにし、(ii)第m要素ごとの合算レイヤをもって前記第m要素ごとのプロダクトと、前記第n基本デコード済み特徴マップとを要素ごとに合算するようにして、第nデコード済み特徴マップを生成することを特徴とする請求項6に記載の学習方法。
  10. 前記学習装置は、(v)前記第1ないし前記第(k−1)デコンボリューションレイヤのうちでr個のデコンボリューションレイヤに対応して配置される第1ないし第rロスレイヤをさらに含み、
    前記学習装置は、前記第1デコード済み特徴マップを受けて前記第1ロスレイヤに入力される調整された第1デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含み、
    前記(c)段階は、(c1)前記学習装置が前記第1ないし前記第rロスレイヤをもって前記第1ないし前記第rロスレイヤに対応する前記r個のデコンボリューションレイヤから出力された各r個のデコード済み特徴マップ及びこれに対応するGTイメージを参照して第1ないし第rロスをそれぞれ生成するようにして、前記第1ないし前記第rロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するようにする段階;を含むことを特徴とする請求項9に記載の学習方法。
  11. 少なくとも一つのテストイメージに対するセグメンテーションのテスト方法において、
    (a)学習装置が、(i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップに一つ以上のコンボリューション演算を適用して第1ないし第k学習用エンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ、(ii)前記第k学習用エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第(k−1)ないし第1学習用デコード済み特徴マップをそれぞれ出力する第(k−1)ないし第1デコンボリューションレイヤ、(iii)前記(k−1)個のデコンボリューションレイヤのうちでh個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する第1ないし第hマスクレイヤ、及び(iv)前記第1ないし前記第hマスクレイヤにそれぞれ対応する第1ないし第hエッジロスレイヤを含むとするとき、前記学習装置が(1)前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第k学習用エンコード済み特徴マップを生成するようにし、(2)前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1学習用デコード済み特徴マップを生成させるものの、前記学習装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の学習用基本デコード済み特徴マップから学習用エッジ部分を抽出して第hないし第1学習用エッジ特徴マップを生成するようにし、(ii)前記h個の学習用基本デコード済み特徴マップ及び前記第hないし前記第1学習用エッジ特徴マップを参照して前記第(k−1)ないし前記第1学習用デコード済み特徴マップのうち少なくとも一部として機能するh個の学習用エッジ強化デコード済み特徴マップを生成するようにし、(3)前記第1ないし前記第hエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するGTを参照して第1ないし第hエッジロスを生成するようにして、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、テスト装置が、前記テストイメージが入力されると、前記第1ないし前記第kコンボリューションレイヤをもって第1ないし第kテスト用エンコード済み特徴マップを出力するようにする段階;及び
    (b)前記テスト装置は、前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に第(k−1)ないし第1テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第hないし第1テスト用エッジ特徴マップを生成するようにし、(ii)前記h個のテスト用基本デコード済み特徴マップ及び前記第hないし前記第1テスト用エッジ特徴マップを参照して前記第(k−1)ないし前記第1テスト用デコード済み特徴マップのうち少なくとも一部として機能するh個のテスト用エッジ強化デコード済み特徴マップを生成させる段階;
    を含むことを特徴とするテスト方法。
  12. 前記(b)段階で、
    前記第(k−1)ないし前記第1デコンボリューションレイヤは、(i)それぞれの前記第hないし前記第1テスト用エッジ特徴マップと前記第hないし前記第1マスクレイヤに対応する前記h個のデコンボリューションレイヤから出力されたそれぞれの前記h個のテスト用基本デコード済み特徴マップの要素ごとの和(Element−wise Sum)を利用して、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力されたテスト用特徴マップに前記デコンボリューション演算を適用して前記(k−1)個のテスト用デコード済み特徴マップの少なくとも一部として機能する(k−h)個のテスト用基本デコード済み特徴マップを生成し、順次に前記第(k−1)ないし前記第1テスト用デコード済み特徴マップを生成することを特徴とする請求項11に記載のテスト方法。
  13. 前記テスト装置は(v)前記第1ないし前記第hマスクレイヤそれぞれの出力端と前記第1ないし前記第hマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第1ないし第h中間レイヤをさらに含み、
    前記(b)段階は、
    (b1)前記テスト装置は前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤに対応するh個のコンボリューションレイヤから出力されたh個のテスト用エンコード済み特徴マップが入力されて第1ないし第hテスト用中間特徴マップを生成させる段階;(b2)前記テスト装置は、前記第1ないし前記第hマスクレイヤをもってそれぞれの前記第1ないし前記第hマスクレイヤに対応するそれぞれの前記h個のデコンボリューションレイヤからそれぞれ出力された前記第h個のテスト用基本デコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第1ないし前記第hテスト用エッジ特徴マップを生成させる段階;及び(b3)前記テスト装置は、(i)第1ないし第h要素ごとのプロダクトレイヤをもってそれぞれの前記第1ないし前記第hテスト用中間特徴マップと、これに対応するテスト用エッジ特徴マップとを要素ごとに掛け合わせて(Element−wise Product)、それぞれの第1ないし第hテスト用要素ごとのプロダクトを生成するようにし、(ii)第1ないし第hテスト要素ごとの合算レイヤをもってそれぞれの前記第1ないし前記第hテスト用要素ごとのプロダクトと、前記h個のテスト用基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第hテスト用要素ごとのプロダクトに対応するテスト用基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第1ないし前記第(k−1)テスト用デコード済み特徴マップのうちでh個のテスト用デコード済み特徴マップを生成する段階;を含むことを特徴とする請求項12に記載のテスト方法。
  14. 前記テスト装置が前記第kコンボリューションレイヤの出力端と前記第(k−1)デコンボリューションレイヤの入力端との間に位置したさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kテスト用エンコード済み特徴マップに一つ以上の中間演算を適用して第(h+1)テスト用中間特徴マップを生成し、前記第(h+1)テスト用中間特徴マップを前記第(k−1)デコンボリューションレイヤに伝達することを特徴とする請求項13に記載のテスト方法。
  15. 前記(b2)段階で、
    前記テスト装置は、前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって前記(k−1)個のデコンボリューションレイヤのうちで前記第mマスクレイヤに対応する第nデコンボリューションレイヤから出力された第nテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第mテスト用エッジ特徴マップを生成するようにし、
    前記(b3)段階で、
    前記テスト装置は、(i)第m要素別プロダクトレイヤをもって前記第mテスト用エッジ特徴マップと、前記第mマスクレイヤに対応する第m中間レイヤから出力された第mテスト用中間特徴マップとを要素ごとに掛け合わせて、第mテスト用要素別プロダクトを生成するようにし、(ii)第m要素別合算レイヤをもって前記第mテスト用要素ごとのプロダクトと前記第nテスト用基本デコード済み特徴マップとを要素ごとに合算するようにして、第nテスト用デコード済み特徴マップを生成することを特徴とする請求項13に記載のテスト方法。
  16. (i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップに一つ以上のコンボリューション演算を適用して、第1ないし第kエンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ;(ii)前記第kエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第(k−1)ないし第1デコード済み特徴マップをそれぞれ出力する第(k−1)ないし第1デコンボリューションレイヤ;(iii)前記(k−1)個のデコンボリューションレイヤのうちでh個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する第1ないし第hマスクレイヤ;及び(iv)前記第1ないし前記第hマスクレイヤにそれぞれ対応する第1ないし第hエッジロスレイヤ;を含む、セグメンテーションの性能向上のための学習装置において、
    インストラクションを格納する少なくとも一つのメモリ;及び
    (I)前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第kエンコード済み特徴マップを生成させるプロセス、(II)前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1デコード済み特徴マップを生成させるものの、前記学習装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の基本デコード済み特徴マップからエッジ部分を抽出して第hないし第1エッジ特徴マップを生成するようにし、(ii)前記h個の基本デコード済み特徴マップ及び前記第hないし前記第1エッジ特徴マップを参照して前記第(k−1)ないし前記第1デコード済み特徴マップのうち少なくとも一部として機能するh個のエッジ強化デコード済み特徴マップを生成させるプロセス、及び(III)前記第1ないし前記第hエッジロスレイヤをもって前記エッジ部分及びこれに対応するGTを参照して第1ないし第hエッジロスを生成するようにして、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
    を含むことを特徴とする学習装置。
  17. 前記第1ないし前記第hエッジロスレイヤは、前記エッジ部分と、これに対応するGTの差を計算して前記第1ないし前記第hエッジロスを生成するものの、前記GTは前記第1ないし前記第hエッジ特徴マップの大きさにそれぞれ対応する大きさを有した第1ないし第hGTイメージからそれぞれ抽出されることを特徴とする請求項16に記載の学習装置。
  18. 前記(II)プロセスで、
    前記第(k−1)ないし前記第1デコンボリューションレイヤは、(i)それぞれの前記第hないし前記第1エッジ特徴マップと前記第hないし前記第1マスクレイヤに対応する前記h個のデコンボリューションレイヤから出力されたそれぞれの前記h個の基本デコード済み特徴マップの要素ごとの和(Element−wise Sum)を利用して、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記(k−1)個のデコード済み特徴マップの少なくとも一部として機能する(k−h)個の基本デコード済み特徴マップを生成して、順次に前記第(k−1)ないし前記第1デコード済み特徴マップを生成することを特徴とする請求項16に記載の学習装置。
  19. 前記学習装置は、(v)前記第1ないし前記第(k−1)デコンボリューションレイヤのうちでr個のデコンボリューションレイヤに対応して配置される第1ないし第rロスレイヤをさらに含み、
    前記(III)プロセスは、
    (III−1)前記プロセッサが前記第1ないし前記第rロスレイヤをもって前記第1ないし前記第rロスレイヤに対応する前記r個のデコンボリューションレイヤから出力された各r個のデコード済み特徴マップ及びこれに対応するGTイメージを参照して第1ないし第rロスをそれぞれ生成するようにして、前記第1ないし前記第rロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するプロセス;を含むことを特徴とする請求項18に記載の学習装置。
  20. 前記第1ないし前記第rロスレイヤは、それぞれの前記r個のデコード済み特徴マップにそれぞれ補助コンボリューション演算を適用して出力されたそれぞれのr個の変換済み特徴マップと、これに対応するGTイメージとを参照して前記第1ないし前記第rロスをそれぞれ算出することを特徴とする請求項19に記載の学習装置。
  21. 前記学習装置は、(vi)前記第1ないし前記第hマスクレイヤそれぞれの出力端と前記第1ないし前記第hマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第1ないし第h中間レイヤをさらに含み、
    前記(II)プロセスは、
    (II−1)前記プロセッサが、前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤに対応するh個のコンボリューションレイヤから出力されたh個のエンコード済み特徴マップが入力されて第1ないし第h中間特徴マップを生成させるプロセス;(II−2)前記プロセッサは前記第1ないし前記第hマスクレイヤをもってそれぞれの前記第1ないし前記第hマスクレイヤに対応するそれぞれの前記h個のデコンボリューションレイヤからそれぞれ出力された前記h個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第1ないし前記第hエッジ特徴マップを生成させるプロセス;及び(III−3)前記プロセッサは(i)第1ないし第h要素ごとのプロダクトレイヤをもってそれぞれの前記第1ないし前記第h中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて(Element−wise Product)、それぞれの第1ないし第h要素ごとのプロダクトを生成するようにし、(ii)第1ないし第h要素ごとの合算レイヤをもってそれぞれの前記第1ないし前記第h要素ごとのプロダクトと、前記h個の基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第h要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第1ないし前記第(k−1)デコード済み特徴マップのうちでh個のデコード済み特徴マップを生成するプロセス;を含むことをを特徴とする請求項18に記載の学習装置。
  22. 前記学習装置が前記第kコンボリューションレイヤの出力端と前記第(k−1)デコンボリューションレイヤの入力端との間に位置したさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kエンコード済み特徴マップに一つ以上の中間演算を適用して第(h+1)中間特徴マップを生成し、前記第(h+1)中間特徴マップを前記第(k−1)デコンボリューションレイヤに伝達することを特徴とする請求項21に記載の学習装置。
  23. 前記第1ないし前記第h中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行することを特徴とする請求項21に記載の学習装置。
  24. 前記(II−2)プロセスで、
    前記プロセッサは前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって前記(k−1)個のデコンボリューションレイヤのうちで前記第mマスクレイヤに対応する第nデコンボリューションレイヤから出力された第n基本デコード済み特徴マップからエッジ部分を抽出して第mエッジ特徴マップを生成するようにし、
    前記(II−3)プロセスで、
    前記プロセッサは、(i)第m要素別プロダクトレイヤをもって前記第mエッジ特徴マップと前記第mマスクレイヤに対応する第m中間レイヤから出力された第m中間特徴マップを要素別に掛け合わせて、第m要素別プロダクトを生成するようにし、(ii)第m要素別合算レイヤをもって前記第m要素別プロダクトと前記第n基本デコード特徴マップとを要素ごとに合算するようにして、第nデコード特徴マップを生成することを特徴とする請求項21に記載の学習装置。
  25. 前記学習装置は、(v)前記第1ないし前記第(k−1)デコンボリューションレイヤのうちでr個のデコンボリューションレイヤに対応して配置される第1ないし第rロスレイヤをさらに含み、
    前記学習装置は、前記第1デコード済み特徴マップを受けて前記第1ロスレイヤに入力される調整された第1デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含み、
    前記(III)プロセスは、(III−1)前記プロセッサが前記第1ないし前記第rロスレイヤをもって前記第1ないし前記第rロスレイヤに対応する前記r個のデコンボリューションレイヤから出力された各r個のデコード済み特徴マップ及びこれに対応するGTイメージを参照して第1ないし第rロスをそれぞれ生成するようにして、前記第1ないし前記第rロスを利用したバックプロパゲーションを通じて前記第1ないし前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するようにするプロセス;を含むことを特徴とする請求項24に記載の学習装置。
  26. 少なくとも一つのテストイメージに対するセグメンテーションをするためのテスト装置において、
    インストラクションを格納する少なくとも一つのメモリ;及び
    学習装置が、(i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップに一つ以上のコンボリューション演算を適用して第1ないし第k学習用エンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ、(ii)前記第k学習用エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第(k−1)ないし第1学習用デコード済み特徴マップをそれぞれ出力する第(k−1)ないし第1デコンボリューションレイヤ、(iii)前記(k−1)個のデコンボリューションレイヤのうちでh個のデコンボリューションレイヤ(前記hは1から(k−1)までの整数である)にそれぞれ対応する第1ないし第hマスクレイヤ、及び(iv)前記第1ないし前記第hマスクレイヤにそれぞれ対応する第1ないし第hエッジロスレイヤを含むとするとき、前記学習装置が(1)前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第k学習用エンコード済み特徴マップを生成するようにし、(2)前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に前記第(k−1)ないし前記第1学習用デコード済み特徴マップを生成させるものの、前記学習装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個の学習用基本デコード済み特徴マップから学習用エッジ部分を抽出して第hないし第1学習用エッジ特徴マップを生成するようにし、(ii)前記h個の学習用基本デコード済み特徴マップ及び前記第hないし前記第1学習用エッジ特徴マップを参照して前記第(k−1)ないし前記第1学習用デコード済み特徴マップのうち少なくとも一部として機能するh個の学習用エッジ強化デコード済み特徴マップを生成するようにし、(3)前記第1ないし前記第hエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するGTを参照して第1ないし第hエッジロスを生成するようにして、前記第1ないし前記第hエッジロスを利用したバックプロパゲーションを通じて前記第1乃至前記第(k−1)デコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、(I)前記第1ないし前記第kコンボリューションレイヤをもって第1ないし第kテスト用エンコード済み特徴マップを出力するようにするプロセス;及び(II)前記第(k−1)ないし前記第1デコンボリューションレイヤをもって順次に第(k−1)ないし第1テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第hないし前記第1マスクレイヤをもって、(i)前記第hないし前記第1マスクレイヤそれぞれに対応する前記h個のデコンボリューションレイヤそれぞれから出力されたそれぞれのh個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第hないし第1テスト用エッジ特徴マップを生成するようにし、(ii)前記h個のテスト用基本デコード済み特徴マップ及び前記第hないし前記第1テスト用エッジ特徴マップを参照して前記第(k−1)ないし前記第1テスト用デコード済み特徴マップのうち少なくとも一部として機能するh個のテスト用エッジ強化デコード済み特徴マップを生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
    を含むことを特徴とするテスト装置。
  27. 前記(II)プロセスで、
    前記第(k−1)ないし前記第1デコンボリューションレイヤは、(i)それぞれの前記第hないし前記第1テスト用エッジ特徴マップと前記第hないし前記第1マスクレイヤに対応する前記h個のデコンボリューションレイヤから出力されたそれぞれの前記h個のテスト用基本デコード済み特徴マップの要素ごとの和(Element−wise Sum)を利用し、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力されたテスト用特徴マップに前記デコンボリューション演算を適用して前記(k−1)個のテスト用デコード済み特徴マップの少なくとも一部として機能する(k−h)個のテスト用基本デコード済み特徴マップを生成して、順次に前記第(k−1)ないし前記第1テスト用デコード済み特徴マップを生成することを特徴とする請求項26に記載のテスト装置。
  28. 前記テスト装置は、(v)前記第1ないし前記第hマスクレイヤそれぞれの出力端と前記第1ないし前記第hマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第1ないし第h中間レイヤをさらに含み、
    前記(II)プロセスは、
    (II−1)前記プロセッサは前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤに対応するh個のコンボリューションレイヤから出力されたh個のテスト用エンコード済み特徴マップが入力されて第1ないし第hテスト用中間特徴マップを生成させるプロセス;(II−2)前記プロセッサは前記第1ないし前記第hマスクレイヤをもってそれぞれの前記第1ないし前記第hマスクレイヤに対応するそれぞれの前記h個のデコンボリューションレイヤからそれぞれ出力された前記第hテスト用基本デコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第1ないし前記第hテスト用エッジ特徴マップを生成させるプロセス;及び(II−3)前記プロセッサは、(i)第1ないし第h要素ごとのプロダクトレイヤをもってそれぞれの前記第1ないし前記第hテスト用中間特徴マップと、これに対応するテスト用エッジ特徴マップとを要素ごとに掛け合わせて(Element−wise Product)、それぞれの第1ないし第hテスト用要素ごとのプロダクトを生成するようにし、(ii)第1ないし第h要素ごとの合算レイヤをもってそれぞれの前記第1ないし前記第hテスト用要素ごとのプロダクトと、前記h個のテスト用基本デコード済み特徴マップのうちでそれぞれの前記第1ないし前記第hテスト用要素ごとのプロダクトに対応するテスト用基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第1ないし前記第(k−1)テスト用デコード済み特徴マップのうちでh個のテスト用デコード済み特徴マップを生成するプロセス;を含むことを特徴とする請求項27に記載のテスト装置。
  29. 前記テスト装置が前記第kコンボリューションレイヤの出力端と前記第(k−1)デコンボリューションレイヤの入力端との間に位置したさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kテスト用エンコード済み特徴マップに一つ以上の中間演算を適用して第(h+1)テスト用中間特徴マップを生成し、前記第(h+1)テスト用中間特徴マップを前記第(k−1)デコンボリューションレイヤに伝達することを特徴とする請求項28に記載のテスト装置。
  30. 前記(II−2)プロセスで、
    前記プロセッサは、前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって前記(k−1)個のデコンボリューションレイヤのうちで前記第mマスクレイヤに対応する第nデコンボリューションレイヤから出力された第nテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第mテスト用エッジ特徴マップを生成するようにし、
    前記(II−3)プロセスで、
    前記プロセッサは(i)第m要素ごとのプロダクトレイヤをもって前記第mテスト用エッジ特徴マップと前記第mマスクレイヤに対応する第m中間レイヤから出力された第mテスト用中間特徴マップとを要素ごとに掛け合わせて第mテスト用要素ごとのプロダクトを生成するようにし、(ii)第m要素ごとの合算レイヤをもって前記第mテスト用要素ごとのプロダクトと、前記第nテスト用基本デコード済み特徴マップとを要素ごとに合算するようにして、第nテスト用デコード済み特徴マップを生成することを特徴とする請求項28に記載のテスト装置。
JP2019202412A 2019-01-25 2019-11-07 エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 Active JP6865364B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/257,832 US10410352B1 (en) 2019-01-25 2019-01-25 Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
US16/257,832 2019-01-25

Publications (2)

Publication Number Publication Date
JP2020119501A JP2020119501A (ja) 2020-08-06
JP6865364B2 true JP6865364B2 (ja) 2021-04-28

Family

ID=67845092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019202412A Active JP6865364B2 (ja) 2019-01-25 2019-11-07 エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置

Country Status (5)

Country Link
US (1) US10410352B1 (ja)
EP (1) EP3686795B1 (ja)
JP (1) JP6865364B2 (ja)
KR (1) KR102241595B1 (ja)
CN (1) CN111488880B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003920B2 (en) * 2018-11-13 2021-05-11 GM Global Technology Operations LLC Detection and planar representation of three dimensional lanes in a road scene
US11255693B2 (en) * 2019-03-30 2022-02-22 Intel Corporation Technologies for intelligent traffic optimization with high-definition maps
KR20210061839A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102302476B1 (ko) * 2019-12-09 2021-09-15 숭실대학교산학협력단 실시간 철도 장애물 감지 시스템
US11731662B2 (en) 2020-10-08 2023-08-22 Ford Global Technologies, Llc Autonomous vehicle system for detecting pedestrian presence
US11361201B2 (en) 2020-10-08 2022-06-14 Argo AI, LLC Systems and methods for determining an object type and an attribute for an observation based on fused sensor data
CN112949486B (zh) * 2021-03-01 2022-05-17 八维通科技有限公司 基于神经网络的智能交通数据处理方法及装置
CN113205051B (zh) * 2021-05-10 2022-01-25 中国科学院空天信息创新研究院 基于高空间分辨率遥感影像的储油罐提取方法
CN113963060B (zh) * 2021-09-22 2022-03-18 腾讯科技(深圳)有限公司 基于人工智能的车信图像处理方法、装置及电子设备

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008004A (ja) * 2000-06-20 2002-01-11 Japan Radio Co Ltd デコンボリューション処理装置
JP5416377B2 (ja) * 2008-08-28 2014-02-12 アンリツ産機システム株式会社 画像処理装置及びそれを備えたx線異物検出装置並びに画像処理方法
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
US8520971B2 (en) 2010-09-30 2013-08-27 Apple Inc. Digital image resampling
EP4187486A1 (en) * 2014-12-30 2023-05-31 Ventana Medical Systems, Inc. Method for co-expression analysis
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
US9547908B1 (en) * 2015-09-28 2017-01-17 Google Inc. Feature mask determination for images
US10871536B2 (en) * 2015-11-29 2020-12-22 Arterys Inc. Automated cardiac volume segmentation
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
WO2018033156A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
US10424064B2 (en) * 2016-10-18 2019-09-24 Adobe Inc. Instance-level semantic segmentation system
WO2018076212A1 (zh) * 2016-10-26 2018-05-03 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
US10582907B2 (en) * 2016-10-31 2020-03-10 Siemens Healthcare Gmbh Deep learning based bone removal in computed tomography angiography
US10157441B2 (en) * 2016-12-27 2018-12-18 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
US20190205758A1 (en) * 2016-12-30 2019-07-04 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
WO2018138603A1 (en) * 2017-01-26 2018-08-02 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device including the semiconductor device
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
US10133964B2 (en) * 2017-03-28 2018-11-20 Siemens Healthcare Gmbh Magnetic resonance image reconstruction system and method
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
US11164071B2 (en) * 2017-04-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing computational complexity of convolutional neural networks
US10824938B2 (en) * 2017-04-24 2020-11-03 Intel Corporation Specialized fixed function hardware for efficient convolution
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法
US10733755B2 (en) * 2017-07-18 2020-08-04 Qualcomm Incorporated Learning geometric differentials for matching 3D models to objects in a 2D image
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
US11227108B2 (en) * 2017-09-11 2022-01-18 Nec Corporation Convolutional neural network architecture with adaptive filters
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images
US10896342B2 (en) * 2017-11-14 2021-01-19 Qualcomm Incorporated Spatio-temporal action and actor localization
CN108648197B (zh) * 2018-04-12 2021-09-07 天津大学 一种基于图像背景掩膜的目标候选区域提取方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same

Also Published As

Publication number Publication date
EP3686795C0 (en) 2023-08-09
JP2020119501A (ja) 2020-08-06
KR20200092840A (ko) 2020-08-04
US10410352B1 (en) 2019-09-10
CN111488880A (zh) 2020-08-04
EP3686795A1 (en) 2020-07-29
EP3686795B1 (en) 2023-08-09
CN111488880B (zh) 2023-04-18
KR102241595B1 (ko) 2021-04-19

Similar Documents

Publication Publication Date Title
JP6865364B2 (ja) エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
JP6865363B2 (ja) ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル4及びレベル5を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置
JP6856851B2 (ja) イメージエンコーディングのための方法及び装置そしてこれを利用したテスト方法及びテスト装置
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6855082B2 (ja) 自律走行状況での障害物検出のためのcnn学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置
JP6869565B2 (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置{method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same}
JP6855091B2 (ja) ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置
JP6912835B2 (ja) 自律走行自動車のレベル4を満たすために要求されるhdマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6849932B2 (ja) 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置
CN111507150B (zh) 利用基于深度神经网络的多重图像块组合识别人脸的方法
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なroiをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置{learning method and learning device for pooling roi by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same}
JP6932395B2 (ja) イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置
CN111488978B (zh) 为了元学习用于调整残差网络的方法及装置
US11113574B1 (en) Methods for performing self-supervised learning of deep-learning based detection network by using deep Q-network and devices using the same
JP6978104B2 (ja) Ganを用いて仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法や学習装置、それを利用したテスト方法やテスト装置
CN111476262B (zh) 利用1xH卷积的基于CNN的对象检测方法及装置
JP2020038664A (ja) コンボリューションニューラルネットワークから複数の出力のアンサンブルを利用して統合された特徴マップを提供するための方法及び装置{method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network}
JP6935939B2 (ja) マルチフィーディングを適用した学習方法及び学習装置並びにそれを利用したテスト方法及びテスト装置
JP6916549B2 (ja) 軍事的目的、ドローンまたはロボットに利用されるために一つ以上の以前のバッチをさらに参照してモバイル装置またはiot装置に適用可能なオンラインバッチ正規化、オンデバイス学習、及び連続学習を遂行する方法と装置、並びにそれを利用したテスト方法及びテスト装置
CN110879960A (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
KR102375278B1 (ko) 사진 스타일 변환을 사용하여 런타임 입력 변환에 의해 실제 세계에서 사용되는 가상 세계에서 학습된 cnn을 허용하기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6970461B2 (ja) スマートフォン、ドローン、船舶または軍事的目的のための、トレーニングイメージの最適化サンプリングにより入力データを分析するニューラルネットワークのオンデバイス継続学習方法及び装置、そして、これを利用したテスト方法及び装置
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN117636183A (zh) 一种基于自监督预训练的小样本遥感图像分类方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210310

R150 Certificate of patent or registration of utility model

Ref document number: 6865364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250