JP6752855B2 - 映像イメージをセグメンテーションする方法及びこれを利用した装置 - Google Patents

映像イメージをセグメンテーションする方法及びこれを利用した装置 Download PDF

Info

Publication number
JP6752855B2
JP6752855B2 JP2018189175A JP2018189175A JP6752855B2 JP 6752855 B2 JP6752855 B2 JP 6752855B2 JP 2018189175 A JP2018189175 A JP 2018189175A JP 2018189175 A JP2018189175 A JP 2018189175A JP 6752855 B2 JP6752855 B2 JP 6752855B2
Authority
JP
Japan
Prior art keywords
frame
image
segmentation
cnn
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018189175A
Other languages
English (en)
Other versions
JP2019071056A (ja
Inventor
キム、ヨンジョン
ナム、ウンユン
ボ、シュクフン
シュン、ミュンチュル
エオ、ドンフン
リュウ、ウージュ
ジャン、タエウォン
ジョン、キュンジョン
ジェ、ホンモ
チョ、ホジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2019071056A publication Critical patent/JP2019071056A/ja
Application granted granted Critical
Publication of JP6752855B2 publication Critical patent/JP6752855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Description

本発明は映像イメージをセグメンテーションする方法及びこれを利用したセグメンテーション装置に関し、より詳細には、（ａ）（ｉ）ｔ−（ｉ＋１）フレームで学習された少なくとも一つの第１重み付け値を有するＣＮＮであるＣＮＮ＿ＰＲＥＶＩＯＵＳを利用してｔフレームでの映像イメージをセグメンテーションすることで前記ｔフレームに対する第１セグメンテーションイメージを獲得するプロセス、前記第１セグメンテーションイメージの各々のピクセルからｔ−１フレームに対するセグメンテーションイメージないしｔ−ｉフレームに対するセグメンテーションイメージ各々に対応されるピクセルへのオプティカルフロー情報を含むｔ−１フレームでｔ−ｉフレーム各々に対応されるオプティカルフローイメージのうち少なくとも一部のオプティカルフローイメージを獲得するプロセス、前記オプティカルフローイメージを参照して、前記ｔフレームに対する第１セグメンテーションイメージの少なくとも一部のピクセルを含む第１ピクセルを前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージのうち少なくとも一部のフレームの少なくとも一部ピクセルを含んだ第２ピクセルに置換して前記ｔフレームに対する少なくとも一つのワーピングイメージを獲得するプロセスを遂行するか遂行するように支援する段階；及び（ｂ）前記第１セグメンテーションイメージと前記ワーピングイメージ各々とを参照してロス値を獲得するプロセス、前記獲得されたロス値のうち少なくとも一つを利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの前記第１重み付け値を調整することで獲得される少なくとも一つの第２重み付け値を有するＣＮＮであるＣＮＮ＿ＣＵＲＲＥＮＴを獲得するプロセス、前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して、前記ｔフレームに後行するフレーム及び前記ｔフレームのうち少なくとも一つに対応する映像イメージをセグメンテーションするプロセスを遂行するか遂行するように支援する段階；を含むことを特徴とする方法及びこれを利用するセグメンテーション装置に関する。
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）はディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは文字認識問題を解くために９０年代に既に使用されていたが、現在のように広く使用されるようになったのは最近の研究結果のおかげである。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そうして、コンボリューションニューラルネットワークはＭａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ分野で非常に有用なツールとなった。
イメージセグメンテーションは入力されるイメージ内に位置する関心物体、一例として、自動車、人、道路、空、建物などを分割してラベルイメージを作り上げる方法である。最近ディープラーニング技術が脚光を浴びながら、イメージセグメンテーションもディープラーニングを多く使用する趨勢である。
かかるディープラーニングを利用した従来のイメージセグメンテーションは、トレーニングイメージにＣＮＮの多重コンボリューションレイヤを利用して複数回のコンボリューション演算を加えることで特徴マップを生成し、特徴マップにＣＮＮの多重デコンボリューションレイヤを利用して複数回のデコンボリューション演算を遂行することでラベルイメージを生成して、獲得された前記ラベルイメージと前記トレーニングイメージのＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を比較分析してロス値を獲得し、獲得されたロス値を利用してデコンボリューションレイヤとコンボリューションレイヤを学習する過程である。そして、学習されたコンボリューションレイヤと学習されたデコンボリューションレイヤを利用して入力されるテストイメージ内に位置する関心物体に対するラベルイメージを獲得するようになる。
しかし、かかる従来のイメージセグメンテーション方法はトレーニングイメージを通じて学習されたパラメータを有するＣＮＮを利用して入力されるテストイメージをセグメンテーションするものである。従って、学習に用いられたトレーニングイメージと環境の差が多く出るテストイメージをセグメンテーションする時にはセグメンテーション結果が不正確であるという問題点があった。一例として、イメージ上に位置する道路をセグメンテーションしようとする場合、国別に道路の形態が異なる可能性があり、かかる特定状況に対する学習がなされないと道路を正確にセグメンテーションするのに失敗する場合がある。
前述のように、従来のイメージセグメンテーション方法はセグメンテーションをするためのテストイメージが獲得される環境に関係なく予め学習されたＣＮＮを利用してテストイメージをセグメンテーションした。そのため、従来の方法はセグメンテーションのためのテストイメージが獲得される環境の変化に適応できない問題点があった。
本発明は前記のようなすべての問題点を解決することを目的とする。
本発明はイメージが獲得される環境に関係なく正確にセグメンテーションを遂行できるようにする映像イメージセグメンテーション方法及びこれを利用したセグメンテーション装置を提供することを他の目的とする。
本発明はイメージが獲得される多様な環境に対応したリアルタイム学習を通じて正確にセグメンテーションを遂行できるようにする映像イメージセグメンテーション方法及びこれを利用したセグメンテーション装置を提供することをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記のとおりである。
本発明の一態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を利用して映像イメージをセグメンテーションする方法において、（ａ）セグメンテーション装置が、（ｉ）ｔ−（ｉ＋１）フレームで学習された少なくとも一つの第１重み付け値を有するＣＮＮであるＣＮＮ＿ＰＲＥＶＩＯＵＳを利用してｔフレームでの映像イメージをセグメンテーションすることで前記ｔフレームに対する第１セグメンテーションイメージを獲得するプロセス、（ｉｉ）前記第１セグメンテーションイメージの各々のピクセルからｔ−１フレームに対するセグメンテーションイメージないしｔ−ｉフレームに対するセグメンテーションイメージ各々に対応されるピクセルへのオプティカルフロー情報を含むｔ−１フレームでｔ−ｉフレーム各々に対応されるオプティカルフローイメージのうち少なくとも一部のオプティカルフローイメージを獲得するプロセス、（ｉｉｉ）前記オプティカルフローイメージを参照して、前記ｔフレームに対する第１セグメンテーションイメージの少なくとも一部のピクセルを含む第１ピクセルを前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージのうち少なくとも一部のフレームの少なくとも一部ピクセルを含んだ第２ピクセルに置換して前記ｔフレームに対する少なくとも一つのワーピングイメージを獲得するプロセスを遂行するか遂行するように支援する段階；及び（ｂ）前記セグメンテーション装置が、（ｉ）前記第１セグメンテーションイメージと前記ワーピングイメージ各々を参照してロス値を獲得するプロセス、（ｉｉ）前記獲得されたロス値のうち少なくとも一つを利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの前記第１重み付け値を調整することで獲得される少なくとも一つの第２重み付け値を有するＣＮＮであるＣＮＮ＿ＣＵＲＲＥＮＴを獲得するプロセス、（ｉｉｉ）前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して、前記ｔフレームに後行するフレーム及び前記ｔフレームのうち少なくとも一つに対応する映像イメージをセグメンテーションするプロセスを遂行するか遂行するように支援する段階；を含むことを特徴とする方法が提供される。
一例として、前記（ｂ）段階で、前記セグメンテーション装置は、（ｉ）前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して前記ｔフレームでの映像イメージをセグメンテーションすることで前記ｔフレームに対する第２セグメンテーションイメージを獲得するか、（ｉｉ）少なくとも一つのワーピングイメージを前記ｔフレームに対する修正されたセグメンテーションイメージとして獲得するか獲得するように支援することを特徴とする。
一例として、前記一実施例によれば、前記セグメンテーション装置は、ｉ＋１フレーム周期で前記（ａ）段階及び前記（ｂ）段階を遂行するか遂行するように支援することを特徴とする。
一例として、前記一実施例によれば、前記（ｂ）段階で、前記セグメンテーション装置は、前記ロス値のうち少なくとも一つを利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを前記ｔフレームでリアルタイム学習をする時に、前記ロス値に対する重み付け値を互いに異なるように割り当てるか割り当てるように支援することを特徴とする。
一例として、前記一実施例によれば、前記セグメンテーション装置は、ワーピングイメージのうち前記ｔ−１フレームを利用して獲得した特定ワーピングイメージに対応する前記ロス値のうち特定ロス値に最大の重み付け値を割り当てるか割り当てるように支援することを特徴とする方法が提供される。
一例として、前記一実施例によれば、前記（ｂ）段階で、前記セグメンテーション装置は、前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを前記ｔフレームでリアルタイム学習をして前記ＣＮＮ＿ＣＵＲＲＥＮＴを獲得する時に、前記ロス値のうち少なくとも一つを利用して学習した前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの調整値を前記第１重み付け値に適用して前記第２重み付け値を獲得するか獲得するように支援し、前記第１重み付け値に適用される前記調整値の各々の量はその対応する比率を参照して決定することを特徴とする方法が提供される。
一例として、前記一実施例によれば、前記（ａ）段階で、前記セグメンテーション装置は、前記オプティカルフローイメージを各々獲得する時に、前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージに存在していない新たな物体が前記第１セグメンテーションイメージに現われると、前記新たな物体を背景として処理するか、前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージに存在する物体に決定するか決定するように支援することを特徴とする方法が提供される。
本発明のまた他の態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を利用して入力される映像イメージをセグメンテーションするセグメンテーション装置において、入力される映像のフレームでの映像イメージを獲得するか獲得するように支援する通信部；及び（ｉ）ｔ−（ｉ＋１）フレームで学習された少なくとも一つの第１重み付け値を有するＣＮＮであるＣＮＮ＿ＰＲＥＶＩＯＵＳを利用してｔフレームでの映像イメージをセグメンテーションすることで前記ｔフレームに対する第１セグメンテーションイメージを獲得するプロセス、（ｉｉ）前記第１セグメンテーションイメージの各々のピクセルからｔ−１フレームに対するセグメンテーションイメージないしｔ−ｉフレームに対するセグメンテーションイメージ各々に対応されるピクセルへのオプティカルフロー情報を含むｔ−１フレームでｔ−ｉフレーム各々に対応されるオプティカルフローイメージのうち少なくとも一部のオプティカルフローイメージを獲得するプロセス、（ｉｉｉ）前記オプティカルフローイメージを参照して、前記ｔフレームに対する第１セグメンテーションイメージの少なくとも一部のピクセルを含む第１ピクセルを前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージのうち少なくとも一部のフレームの少なくとも一部ピクセルを含んだ第２ピクセルに置換して前記ｔフレームに対する少なくとも一つのワーピングイメージを獲得するプロセス、（ｉｖ）前記第１セグメンテーションイメージと前記ワーピングイメージ各々を参照してロス値を獲得するプロセス、（ｖ）前記獲得されたロス値のうち少なくとも一つを利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの前記第１重み付け値を調整することで獲得される少なくとも一つの第２重み付け値を有するＣＮＮであるＣＮＮ＿ＣＵＲＲＥＮＴを獲得するプロセス、（ｖｉ）前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して、前記ｔフレームに後行するフレーム及び前記ｔフレームのうち少なくとも一つに対応する映像イメージをセグメンテーションするプロセス；を遂行するか遂行するように支援するプロセッサ；を含むセグメンテーション装置が提供される。
一例として、前記（ｉｖ）と（ｖ）プロセスで、（ｉ）前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して前記ｔフレームでの映像イメージをセグメンテーションすることで前記ｔフレームに対する第２セグメンテーションイメージを獲得するか、（ｉｉ）少なくとも一つのワーピングイメージを前記ｔフレームに対する修正されたセグメンテーションイメージとして獲得するか獲得するように支援することを特徴とするセグメンテーション装置が提供される。
一例として、前記一実施例によれば、前記プロセッサは、ｉ＋１フレーム周期で前記（ｉ）プロセスないし前記（ｖｉ）プロセスを遂行するか遂行するように支援することを特徴とするセグメンテーション装置が提供される。
一例として、前記一実施例によれば、前記（ｖ）プロセスで、前記ロス値のうち少なくとも一つを利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを前記ｔフレームでリアルタイム学習をする時に、前記ロス値に対する重み付け値を互いに異なるように割り当てるか割り当てるように支援することを特徴とするセグメンテーション装置が提供される。
一例として、前記一実施例によれば、前記プロセッサはワーピングイメージのうち前記ｔ−１フレームを利用して獲得した特定ワーピングイメージに対応する前記ロス値のうち特定ロス値に最大の重み付け値を割り当てるか割り当てるように支援することを特徴とするセグメンテーション装置が提供される。
一例として、前記一実施例によれば、前記（ｖ）プロセスで、前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを前記ｔフレームでリアルタイム学習をして前記ＣＮＮ＿ＣＵＲＲＥＮＴを獲得する時に、前記ロス値のうち少なくとも一つを利用して学習した前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの調整値を前記第１重み付け値に適用して前記第２重み付け値を獲得するか獲得するように支援し、前記第１重み付け値に適用される前記調整値の各々の量はその対応する比率を参照して決定することを特徴とするセグメンテーション装置が提供される。
一例として、前記一実施例によれば、前記プロセッサは、前記（ｉｉ）プロセスで、前記オプティカルフローイメージを各々獲得する時に、前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージに存在していない新たな物体が前記第１セグメンテーションイメージに現われると、前記新たな物体を背景として処理するか、前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージに存在する物体に決定するか決定するように支援することを特徴とするセグメンテーション装置が提供される。
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータで判読可能な記録媒体がさらに提供される。
本発明によれば、次のような効果がある。
本発明はＣＮＮをリアルタイム学習をすることでセグメンテーションのためのイメージが獲得される環境に関係なくさらに正確にイメージをセグメンテーションすることができるようになる。
本発明の実施例の説明に利用されるために添付された下記図面は本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野で通常の知識を有する者（以下”通常の技術者”）においては発明的作業がなされることなく本図面に基づいて他の図面が得られることがある。
図１は、本発明の一実施例によって映像イメージをセグメンテーションするシステムを概略的に示したものである。 図２は、本発明の一実施例によって映像イメージをセグメンテーションする方法を概略的に示したものである。 図３は、本発明の一実施例によって映像イメージをセグメンテーションするＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を概略的に示したものである。 図４は、本発明の一実施例によって映像イメージをセグメンテーションする方法でオプティカルフローイメージを獲得する過程を概略的を示したものである。 図５は、本発明の一実施例によって映像イメージをセグメンテーションする方法でワーピングイメージを獲得する状態を概略的に示したものである。 図６は、本発明の一実施例によって映像イメージをセグメンテーションする方法でＣＮＮをリアルタイム学習をする状態を概略的に示したものである。
後述する本発明に対する詳細な説明は、本発明の目的、技術的解法及び長点を明らかにさせるために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び請求項にかけて、’含む’という単語及びその変形は他の技術的特徴、付加物、構成要素または段階を除くものとして意図されたものではない。通常の技術者に本発明の他の目的、長点及び特性が一部は本説明書から、そして一部は本発明の実施から明らかになる。下記の例示及び図面は実例として提供され、本発明を限定するものとして意図されたものではない。
さらに、本発明は本明細書に表示された実施例のすべての可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号は様々な側面にかけて同一か類似する機能を指称する。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
まず、図１は本発明の一実施例によって映像イメージをセグメンテーションするシステムを概略的に示したものである。
図１を参照すれば、前記システムはビジョンセンサ１０とセグメンテーション装置１０００が含まれ得る。
前記ビジョンセンサ１０は周辺映像を撮影するものであり、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、またはイメージキャプチャ装置などが含まれ得る。
この時、図１では前記ビジョンセンサ１０、例えばカメラは、前記セグメンテーション装置１０００と通信するものとして示した。しかし、前記ビジョンセンサ１０は場合によって前記セグメンテーション装置１０００に含まれている場合もある。
そして、前記セグメンテーション装置１０００は前記ビジョンセンサ１０から獲得された入力イメージをＣＮＮを利用してセグメンテーションし、セグメンテーションの結果を参照して前記ＣＮＮをリアルタイム学習をして、リアルタイム学習されたＣＮＮを利用して新たなイメージをセグメンテーションするプロセスを遂行し得る。
また、前記セグメンテーション装置１０００は前記ビジョンセンサ１０から入力される各々のフレームでの映像イメージを獲得する通信部１００と、前記通信部１００から受けた前記映像イメージをセグメンテーションし、前記セグメンテーション結果を参照して前記ＣＮＮを学習して、学習されたＣＮＮを利用して入力される前記新たな映像イメージをセグメンテーションするプロセッサ２００が含まれ得る。
この時、前記プロセッサ２００の動作状態をもう少し具体的に説明すれば、（ｉ）ｔ−（ｉ＋１）フレームで学習された少なくとも一つの第１重み付け値を有するＣＮＮであるＣＮＮ＿ＰＲＥＶＩＯＵＳを利用してｔフレームでの映像イメージをセグメンテーションすることで前記ｔフレームに対する第１セグメンテーションイメージを獲得するプロセス、（ｉｉ）前記第１セグメンテーションイメージの各々のピクセルからｔ−１フレームに対するセグメンテーションイメージないしｔ−ｉフレームに対するセグメンテーションイメージ各々に対応されるピクセルへのオプティカルフロー情報を含むｔ−１フレームでｔ−ｉフレーム各々に対応されるオプティカルフローイメージのうち少なくとも一部のオプティカルフローイメージを獲得するプロセス、（ｉｉｉ）前記オプティカルフローイメージを参照して、前記ｔフレームに対する第１セグメンテーションイメージの少なくとも一部のピクセルを含む第１ピクセルを前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージのうち少なくとも一部のフレームの少なくとも一部ピクセルを含んだ第２ピクセルに置換して前記ｔフレームに対する少なくとも一つのワーピングイメージを獲得するプロセスを遂行し得る。ここで、そして以後に使用される’ピクセル’という用語は’ピクセル値’を意味し得る。
即ち、前記プロセッサ２００は（１）前記ｔフレームから前記ｔ−１フレームへの前記オプティカルフローイメージの少なくとも一部ピクセルを前記ｔ−１フレームに対する前記セグメンテーションイメージの少なくとも一部ピクセルに置換することで前記ｔ−１フレームに対するセグメンテーションイメージに対応する前記ｔフレームに対するワーピングイメージを獲得し得て、（２）前記ｔフレームから前記ｔ−ｉフレームへの前記オプティカルフローイメージの少なくとも一部ピクセルを前記ｔ−ｉフレームに対する前記セグメンテーションイメージの少なくとも一部ピクセルに置換することで前記ｔ−ｉフレームに対するセグメンテーションイメージに対応する前記ｔフレームに対するワーピングイメージを獲得し得る。参考までに、前記ｔ−１フレームと前記ｔ−ｉフレーム間の残りのフレームに対する説明は省略する。
以後、前記プロセッサ２００は（ｉ）前記第１セグメンテーションイメージと前記ワーピングイメージ各々を比較してロス値を獲得するプロセス、（ｉｉ）前記獲得されたロス値を利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの前記第１重み付け値を調整、一例として、前記ＣＮＮ＿ｐｒｅｖｉｏｕｓを現在フレームである前記ｔフレームでリアルタイム学習をしてパラメータを調整することで獲得される少なくとも一つの第２重み付け値を有するＣＮＮであるＣＮＮ＿ＣＵＲＲＥＮＴを獲得するプロセス、（ｉｉｉ）前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して、前記ｔフレームに後行するフレーム及び前記ｔフレームのうち少なくとも一つに対応する映像イメージをセグメンテーションするプロセスを遂行し得る。
このように構成された本発明の一実施例によって前記映像イメージをセグメンテーションする方法を図２を参照してより詳細に説明すれば次のとおりである。
前記ビジョンセンサ１０によって撮影される映像が伝送されると、前記セグメンテーション装置１０００の前記通信部１００は前記映像データの各々のフレームでの各々の映像イメージを獲得し得る。この時、前記ビジョンセンサ１０は自動車に設置されて移動されるか他の運送手段によって移動され得て、移動中に周辺環境の映像イメージを伝送し得る。
前記通信部１００を通じて前記映像データが獲得されると（Ｓ２１０）、前記セグメンテーション装置１０００の前記プロセッサ２００は前記ｔ−（ｉ＋１）フレームで学習された前記第１重み付け値を有するＣＮＮである前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを利用して前記ｔフレームの前記映像イメージをセグメンテーションし（Ｓ２２０）前記ｔフレームに対する前記第１セグメンテーションイメージを獲得し得る（Ｓ２３０）。
そして、前記映像イメージを前記ＣＮＮを利用してセグメンテーションする一例を図３を参照してもう少し具体的に説明すれば、ＣＮＮの複数個のコンボリューションレイヤであるＣＯＮＶ．１、ＣＯＮＶ．２、ＣＯＮＶ．Ｎをもって前記映像イメージに順次複数回のコンボリューション演算を遂行するようにして少なくとも一つの特徴マップが生成される。この時、前記複数個のコンボリューションレイヤの数は所望する分だけ大きくなり得る。
それから、ＣＮＮの複数個のデコンボリューションレイヤであるＤＥＣＯＮＶ．Ｎ、ＤＥＣＯＮＶ．２、ＤＥＣＯＮＶ．１をもって最終的に生成された特徴マップに複数回のデコンボリューション演算を順次遂行するようにして各々の関心物体に対する各々のラベルイメージが獲得される。この時、前記複数個のデコンボリューションレイヤの数は所望する分だけ大きくなり得る。
この時、コンボリューション演算でイメージをエンコーディングして特徴マップを生成し、生成された特徴マップをデコーディングしてラベルイメージを獲得する構造をエンコーディング−デコーディングネットワーク、またはＵ−Ｎｅｔと言う。前記エンコーディング過程で各コンボリューション演算を遂行するたびに演算量を減らすために前記イメージのサイズが１／２に減り、増えたチャネルを通じて複雑なパターンを得るためにイメージのチャネル数は２倍に増加し得る。その結果、前記サイズが減った特徴マップは高周波領域が多く除去されて低周波領域寄りで含まれ得る。かかる低周波領域はイメージの意味のある（ｍｅａｎｉｎｇｆｕｌ）部分、即ち、空、道路、建物、自動車などを示し、かかる意味のある部分にデコンボリューション演算、即ち、デコーディング演算を加えて各々のラベルイメージとして類推するようになる。前記関心物体に対応する各々の前記ラベルイメージを前記入力イメージ上の対応領域に配置することでセグメンテーションイメージを獲得し得る。場合によって特定関心物体に対応されるラベルイメージのみを含むセグメンテーションイメージを獲得する場合もある。
前記図３を参照して説明した過程は前記ＣＮＮを利用してセグメンテーションする過程を例示的に説明するためのものに過ぎず、本発明での前記ＣＮＮを利用してセグメンテーションする過程がこれに限定されるものではない。
再び、図２を参照すれば、前記プロセッサ２００は各々の前記ｔ−１ないしｔ−ｉフレームに対応する各々のオプティカルフローイメージのうち少なくとも一部のオプティカルフローイメージを獲得し得るが、前記オプティカルフローイメージには前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを利用して獲得された前記第１セグメンテーションイメージの各々のピクセルから前記ｔ−１フレームないし前記ｔ−ｉフレームに対するセグメンテーションイメージのうち一部の対応する各ピクセルへのオプティカルフロー情報が含まれている（Ｓ２４０）。
即ち、図４のように、前記プロセッサ２００は前記ｔフレームないし前記ｔ−１フレームでの客体の動きを確認するために、ｔフレームからｔ−１フレームへのオプティカルフローイメージを獲得し得る。また、前記プロセッサ２００はｔ−２フレームないしｔ−ｉフレーム各々に対応する各々のオプティカルフローイメージを獲得し得るが、前記オプティカルフローイメージには前記第１セグメンテーションイメージのピクセルからｔ−２フレームないしｔ−ｉフレームに対する各セグメンテーションイメージの対応されるピクセルへのオプティカルフロー情報が含まれ得る。
この時、ｉは１以上の整数であり、本発明の一実施例によって前記ＣＮＮをリアルタイム学習をするための周期はｉ＋１フレーム周期に設定し得る。また、オプティカルフローイメージはリアルタイム学習を遂行するために所望の個数分獲得され得る。一例として、各々の前記オプティカルフローイメージを（ｉ）前記ｔ−１フレームないし前記ｔ−ｉフレームに対するセグメンテーションイメージすべてに対応して各々獲得するか、（ｉｉ）前記ｔ−１フレームないし前記ｔ−ｉフレームのうち少なくとも一つの特定フレームに対する各々のセグメンテーションイメージに対応して獲得し得る。また、他の例として、ＣＮＮをｉ＋１フレーム周期で前記ＣＮＮをリアルタイム学習をし、前記ｔフレームのイメージが獲得された環境と最も類似する前記ｔ−１フレームに対してのみセグメンテーションイメージに対応するオプティカルフローイメージが獲得され得る。これは前記ｔ−１フレームの物体が前記ｔフレームと比較して最も少ない動きを示したことを意味する。
また、前記オプティカルフローイメージを各々獲得する時に、前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージに存在していない新たな物体が前記第１セグメンテーションイメージに現われると、前記プロセッサ２００は前記新たな物体を背景として処理するか、前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージに存在する特定物体に決定し得る。一例として、前記第１セグメンテーションイメージ内に遠距離の第１建物が現われたら、前記プロセッサ２００は前記第１建物が前記ｔ−ｉフレームに対する前記セグメンテーションイメージ内に遠距離の第２建物となるオプティカルフローに対する情報を生成し得る。
次に、前記プロセッサ２００は前記オプティカルフローイメージを参照して前記第１ピクセルを前記第２ピクセルに置換することで前記ｔフレームに対するワーピングイメージを獲得し得る（Ｓ２５０）。
即ち、前記プロセッサ２００は前記オプティカルフローイメージを参照して前記ｔフレームに対するセグメンテーションイメージのどのピクセルがｔ−１フレームないしｔ−ｉフレームに対する各々のセグメンテーションイメージのどのピクセルと対応するか分かり得る。そのため、図５のように、オプティカルフローイメージに含まれたオプティカルフロー情報を利用して前記ｔフレームに対するセグメンテーションイメージの各々のピクセル値を前記ｔ−１フレームないし前記ｔ−ｉフレームに対する各々のセグメンテーションイメージのうち少なくとも一部の対応されるピクセル値に設定するために、前記プロセッサ２００は前記ｔフレームに対する前記第１セグメンテーションイメージの少なくとも一部のピクセルをｔ−１フレームないしｔ−iフレームの少なくとも一部のセグメンテーションイメージのうち少なくとも一部のピクセルに置換して前記ｔフレームに対するワーピングイメージを獲得し得る（Ｓ２５０）。この時、前記ワーピングイメージはｔフレームでのイメージに対するＧＴイメージとしての機能をし得る。
これをもう少し具体的に説明すれば次のとおりである。
一般的にＣＮＮを学習する時に、トレーニングイメージをＣＮＮのＦＣレイヤに入力して出力される結果値と前記トレーニングイメージから獲得したＧＴイメージを比較してロス値を獲得し、獲得されたロス値を参照してＣＮＮのパラメータを学習するようになる。
しかし、映像イメージ、即ち動く車両から見た場面を、リアルタイムで前記学習されたＣＮＮに入力すると、前記イメージに対するＧＴイメージを獲得することができないので、いわゆるリアルタイム学習は不可能になる。勿論、ユーザがリアルタイムで前記映像イメージに対するＧＴを設定するとリアルタイム学習が可能になる。しかし、ユーザが各々のフレームに対するＧＴ情報を入力するにおいて所定の時間が所要されるので、各々のフレームに対するＧＴ情報をリアルタイムで入力するには限界がある。従来のＣＮＮと異なり、本発明の一実施例にかかる前記ＣＮＮはＣＮＮ学習に必要なＧＴイメージを前記ワーピングイメージを利用して獲得するので、前記ワーピングイメージを利用してリアルタイムで学習することができるようになる。
従って、現在フレームである前記ｔフレームでのリアルタイム学習のために、前記プロセッサ２００は前記ｔフレームに対する前記第１セグメンテーションイメージとこれに対応するワーピングイメージ各々を比較してロス値を獲得し得る（Ｓ２６０）。
そして、前記プロセッサ２００は前記ロス値のうち少なくとも一つを利用するリアルタイム学習を通じて前記第２重み付け値を有する前記ＣＮＮ＿ＣＵＲＲＥＮＴを獲得し得て（Ｓ２７０）、前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用してｔフレームに後行するフレーム及び前記ｔフレームのうち少なくとも一つに対応する映像イメージをセグメンテーションし得る。
この時、前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを現在フレームでリアルタイム学習をして前記ＣＮＮ＿ＣＵＲＲＥＮＴを獲得する時に、前記プロセッサ２００は前記ロス値のうち少なくとも一つを利用して学習した前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの調整値（下の数式１で
Figure 0006752855
）を前記第１重み付け値（下の数式１でｗ(x1)1）に適用して前記ＣＮＮ＿ＣＵＲＲＥＮＴの前記第２重み付け値（下の数式１でｗ’(x1)1）を獲得し得るが、前記第１重み付け値に適用される前記調整値の各々の量は対応する比率を参照して決定する。
即ち、図６のように、多数のｎｅｕｒａｌレイヤから構成された前記ＣＮＮで、δ1のロス値を利用して前記ＣＮＮのｆ1（ｅ）ｎｅｕｒａｌレイヤの重み付け値であるｗ(x1)1、ｗ(x2)1を各々ｗ’(x1)1、ｗ’(x2)1にアップデートさせ得る。
この時、ｗ’(x1)1、ｗ’(x2)1は次の数式１のように表され得る。
Figure 0006752855
前記数式１で、ηは重み付け値をどれくらい変化させるかを決定する少なくとも一つのパラメータである。本発明の一実施例では前記ηの値を非常に小さな値、例えば０．００１ないし０．０１に設定することで、前記第２重み付け値が前記第１重み付け値に対する若干の調整で決定されるようにして、これを通じて現在状況にリアルタイムで適応する重み付け値を有する前記ＣＮＮを具現し得る。この時、前記重み付け値の微細な変化は前記適応に役立つ。前記重み付け値が大きく変化するように設定されると、即ち調整値の適用の比率が増加すると、トレーニングイメージを利用した学習を通じて最適化されたＣＮＮのパラメータがリアルタイム学習によって大きく変化するようになり、これはＣＮＮの安定性を低下させ得る。
また、前記ｔフレームに対する前記第１セグメンテーションイメージとこれに対応するワーピングイメージ各々を比較して獲得した前記ロス値のうち少なくとも一つを利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳをリアルタイム学習をする場合、前記プロセッサ２００は前記ｔフレームに対するワーピングイメージに対応する前記ロス値に対する重み付け値を互いに異なるように適用し得る。一例として、前記ｔ−１フレームのセグメンテーションイメージに対応する重み付け値には最大の調整値が割り当てられ得る。前記重み付け値は前記ｔ−ｉフレームにいくほどより小さくなる場合もあり、その反対の場合もある。他の例として、前記プロセッサ２００は前記ｔ−１フレームに対するセグメンテーションイメージに対応する前記ｔフレームのワーピングイメージを利用して計算したロス値の重み付け値を最大に設定し、他の重み付け値を互いに同一に設定し得る。即ち、前記プロセッサ２００は前記ｔ−１フレームに対するセグメンテーションイメージに対応される特定ロス値に重み付け値を最も大きく割り当てることで前記ｔフレームの映像イメージが獲得される場面の環境と類似する場面を利用してリアルタイム学習をするようにし得る。
このように前記ロス値に互いに異なる重み付け値を適用することと類似して、前記プロセッサ２００は前記調整値に各々異なる重み付け値を適用し得る。即ち、前記プロセッサ２００は前記数式１でのηをフレーム別に獲得された各々のロス値を利用してリアルタイム学習をする過程で互いに異なるように適用し得る。
以後、前記プロセッサ２００はリアルタイム学習された前記第２重み付け値を有する前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して前記ｔフレームでの前記映像イメージをセグメンテーションすることで前記ｔフレームに対する第２セグメンテーションイメージを獲得するか、前記ｔフレームに対するワーピングイメージのうち少なくとも一つを前記ｔフレームでの映像イメージに対するセグメンテーションイメージに決定し得る。
即ち、前記ｔフレームに対するワーピングイメージは前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを利用してセグメンテーションする場合、前記ｔフレームの映像イメージから出力されると期待されるＧＴイメージに対応されるイメージなので、前記ｔフレームに対するワーピングイメージを前記ｔフレームに対するセグメンテーションイメージと考えられ得るが、前記ｔフレームで新たに出現する物体に対するセグメンテーション情報は前記ｔ−ｉフレームに対するセグメンテーションイメージに存在しないため、多少誤差があり得る。従って、前記ｔフレームで新たに出現する物体に対するセグメンテーション情報まで必要とする場合に、前記ｔフレームの映像イメージは前記第２セグメンテーションイメージを獲得するためにリアルタイム学習された前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して再びセグメンテーションされ得る。
前記の説明では前記セグメンテーション装置１０００内に位置する前記プロセッサ２００によって動作がなされるものとして説明したが、前記ＣＮＮを構成する各々のｎｅｕｒａｌレイヤが少なくとも一つの他のプロセッサで動作するように構成され得て、互いに異なるプロセッサは単一の装置内に位置するか互いに異なる装置に位置し得る。
また、以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。
１０…ビジョンセンサ、１００…通信部、２００…プロセッサ、１０００…セグメンテーション装置。

Claims (12)

  1. ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）を利用して入力される映像イメージをセグメンテーションする方法において、
    （ａ）セグメンテーション装置が、（ｉ）ｔ−（ｉ＋１）フレーム、ｉは１以上の整数で学習された少なくとも一つの第１重み付け値を有するＣＮＮであるＣＮＮ＿ＰＲＥＶＩＯＵＳを利用してｔフレームでの映像イメージをセグメンテーションすることで前記ｔフレームに対する第１セグメンテーションイメージを獲得するプロセス、（ｉｉ）前記第１セグメンテーションイメージの各々のピクセルからｔ−１フレームに対するセグメンテーションイメージないしｔ−ｉフレームに対するセグメンテーションイメージ各々に対応されるピクセルへのオプティカルフロー情報を含むｔ−１フレームないしｔ−ｉフレーム各々に対応されるオプティカルフローイメージのうち少なくとも一部のオプティカルフローイメージを獲得するプロセス、（ｉｉｉ）前記オプティカルフローイメージを参照して、前記ｔフレームに対する第１セグメンテーションイメージの少なくとも一部のピクセルを含む第１ピクセルを前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージのうち少なくとも一部のフレームの少なくとも一部ピクセルを含んだ第２ピクセルに置換して前記ｔフレームに対する少なくとも一つのワーピングイメージを獲得するプロセスを遂行するか遂行するように支援する段階；及び
    （ｂ）前記セグメンテーション装置が、（ｉ）前記第１セグメンテーションイメージと前記ワーピングイメージ各々とを参照してロス値を獲得するプロセス、（ｉｉ）前記獲得されたロス値のうち少なくとも一つを利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの前記第１重み付け値を調整することで獲得される少なくとも一つの第２重み付け値を有するＣＮＮであるＣＮＮ＿ＣＵＲＲＥＮＴを獲得するプロセス、（ｉｉｉ）前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して、前記ｔフレームに後行するフレーム及び前記ｔフレームのうち少なくとも一つに対応する映像イメージをセグメンテーションするプロセスを遂行するか遂行するように支援する段階；
    を含み、
    前記（ｂ）段階で、
    前記セグメンテーション装置は、
    前記ロス値のうち少なくとも一つを利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを前記ｔフレームでリアルタイム学習をする時に、前記ロス値それぞれに対するそれぞれの重み付け値を割り当てるか割り当てるように支援することを特徴とする方法。
  2. 前記（ｂ）段階で、
    前記セグメンテーション装置は、
    （ｉ）前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して前記ｔフレームでの映像イメージをセグメンテーションすることで前記ｔフレームに対する第２セグメンテーションイメージを獲得するか、（ｉｉ）少なくとも一つのワーピングイメージを前記ｔフレームに対する修正されたセグメンテーションイメージとして獲得するか獲得するように支援することを特徴とする請求項１に記載の方法。
  3. 前記セグメンテーション装置は、ｉ＋１フレーム周期で前記（ａ）段階及び前記（ｂ）段階を遂行するか遂行するように支援することを特徴とする請求項１に記載の方法。
  4. 前記セグメンテーション装置は、
    前記ロス値のうち、ワーピングイメージのうち前記ｔ−１フレームを利用して獲得した特定ワーピングイメージに対応する特定ロス値、に最大の重み付け値を割り当てるか割り当てるように支援することを特徴とする請求項１に記載の方法。
  5. 前記（ｂ）段階で、
    前記セグメンテーション装置は、
    前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを前記ｔフレームでリアルタイム学習をして前記ＣＮＮ＿ＣＵＲＲＥＮＴを獲得する時に、前記ロス値のうち少なくとも一つを利用して学習した前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの調整値を前記第１重み付け値に適用して前記第２重み付け値を獲得するか獲得するように支援し、前記第１重み付け値に適用される前記調整値の各々の量は前記第１重み付け値をどれくらい変化するかを決定するパラメータを用いて決定することを特徴とする請求項１に記載の方法。
  6. 前記（ａ）段階で、
    前記セグメンテーション装置は、
    前記オプティカルフローイメージを各々獲得する時に、前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージに存在していない新たな物体が前記第１セグメンテーションイメージに現われると、前記新たな物体を背景として処理するか、前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージに存在する物体に決定するか決定するように支援することを特徴とする請求項１に記載の方法。
  7. ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）を利用して入力される映像イメージをセグメンテーションするセグメンテーション装置において、
    入力される映像のフレームでの映像イメージを獲得するか獲得するように支援する通信部；及び
    （ｉ）ｔ−（ｉ＋１）フレーム、ｉは１以上の整数で学習された少なくとも一つの第１重み付け値を有するＣＮＮであるＣＮＮ＿ＰＲＥＶＩＯＵＳを利用してｔフレームでの映像イメージをセグメンテーションすることで前記ｔフレームに対する第１セグメンテーションイメージを獲得するプロセス、（ｉｉ）前記第１セグメンテーションイメージの各々のピクセルからｔ−１フレームに対するセグメンテーションイメージないしｔ−ｉフレームに対するセグメンテーションイメージ各々に対応されるピクセルへのオプティカルフロー情報を含むｔ−１フレームないしｔ−ｉフレーム各々に対応されるオプティカルフローイメージのうち少なくとも一部のオプティカルフローイメージを獲得するプロセス、（ｉｉｉ）前記オプティカルフローイメージを参照して、前記ｔフレームに対する第１セグメンテーションイメージの少なくとも一部のピクセルを含む第１ピクセルを前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージのうち少なくとも一部のフレームの少なくとも一部ピクセルを含んだ第２ピクセルに置換して前記ｔフレームに対する少なくとも一つのワーピングイメージを獲得するプロセス、（ｉｖ）前記第１セグメンテーションイメージと前記ワーピングイメージ各々とを参照してロス値を獲得するプロセス、（ｖ）前記獲得されたロス値のうち少なくとも一つを利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの前記第１重み付け値を調整することで獲得される少なくとも一つの第２重み付け値を有するＣＮＮであるＣＮＮ＿ＣＵＲＲＥＮＴを獲得するプロセス、（ｖｉ）前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して、前記ｔフレームに後行するフレーム及び前記ｔフレームのうち少なくとも一つに対応する映像イメージをセグメンテーションするプロセス；を遂行するか遂行するように支援するプロセッサ；
    を含み、
    前記（ｖ）プロセスで、
    前記ロス値のうち少なくとも一つを利用して前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを前記ｔフレームでリアルタイム学習をする時に、前記ロス値それぞれに対するそれぞれの重み付け値を割り当てるか割り当てるように支援することを特徴とするセグメンテーション装置。
  8. 前記プロセッサは、
    前記（ｉｖ）と（ｖ）プロセスで、
    （ｉ）前記ＣＮＮ＿ＣＵＲＲＥＮＴを利用して前記ｔフレームでの映像イメージをセグメンテーションすることで前記ｔフレームに対する第２セグメンテーションイメージを獲得するか、（ｉｉ）少なくとも一つのワーピングイメージを前記ｔフレームに対する修正されたセグメンテーションイメージとして獲得するか獲得するように支援することを特徴とする請求項７に記載のセグメンテーション装置。
  9. 前記プロセッサは、ｉ＋１フレーム周期で前記（ｉ）プロセスないし前記（ｖｉ）プロセスを遂行するか遂行するように支援することを特徴とする請求項７に記載のセグメンテーション装置。
  10. 前記プロセッサは、
    前記ロス値のうち、ワーピングイメージのうち前記ｔ−１フレームを利用して獲得した特定ワーピングイメージに対応する特定ロス値、に最大の重み付け値を割り当てるか割り当てるように支援することを特徴とする請求項７に記載のセグメンテーション装置。
  11. 前記プロセッサは、
    前記（ｖ）プロセスで、
    前記ＣＮＮ＿ＰＲＥＶＩＯＵＳを前記ｔフレームでリアルタイム学習をして前記ＣＮＮ＿ＣＵＲＲＥＮＴを獲得する時に、前記ロス値のうち少なくとも一つを利用して学習した前記ＣＮＮ＿ＰＲＥＶＩＯＵＳの調整値を前記第１重み付け値に適用して前記第２重み付け値を獲得するか獲得するように支援し、前記第１重み付け値に適用される前記調整値の各々の量は前記第１重み付け値をどれくらい変化するかを決定するパラメータを用いて決定することを特徴とする請求項７に記載のセグメンテーション装置。
  12. 前記プロセッサは、
    前記（ｉｉ）プロセスで、
    前記オプティカルフローイメージを各々獲得する時に、前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージに存在していない新たな物体が前記第１セグメンテーションイメージに現われると、前記新たな物体を背景として処理するか、前記ｔ−１フレームに対するセグメンテーションイメージないし前記ｔ−ｉフレームに対するセグメンテーションイメージに存在する物体に決定するか決定するように支援することを特徴とする請求項７に記載のセグメンテーション装置。
JP2018189175A 2017-10-05 2018-10-04 映像イメージをセグメンテーションする方法及びこれを利用した装置 Active JP6752855B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/725,374 US10089743B1 (en) 2017-10-05 2017-10-05 Method for segmenting an image and device using the same
US15/725,374 2017-10-05

Publications (2)

Publication Number Publication Date
JP2019071056A JP2019071056A (ja) 2019-05-09
JP6752855B2 true JP6752855B2 (ja) 2020-09-09

Family

ID=63517808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018189175A Active JP6752855B2 (ja) 2017-10-05 2018-10-04 映像イメージをセグメンテーションする方法及びこれを利用した装置

Country Status (5)

Country Link
US (1) US10089743B1 (ja)
EP (1) EP3467772A1 (ja)
JP (1) JP6752855B2 (ja)
KR (1) KR102144346B1 (ja)
CN (1) CN109636803B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551059B1 (en) * 2017-11-15 2023-01-10 Snap Inc. Modulated image segmentation
US10977802B2 (en) * 2018-08-29 2021-04-13 Qualcomm Incorporated Motion assisted image segmentation
US10300851B1 (en) * 2018-10-04 2019-05-28 StradVision, Inc. Method for warning vehicle of risk of lane change and alarm device using the same
US10311321B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device using regression loss and testing method, testing device using the same
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
US10482584B1 (en) * 2019-01-31 2019-11-19 StradVision, Inc. Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same
US11080861B2 (en) 2019-05-14 2021-08-03 Matterport, Inc. Scene segmentation using model subtraction
CN110263666B (zh) * 2019-05-29 2021-01-19 西安交通大学 一种基于非对称多流的动作检测方法
KR102285745B1 (ko) * 2019-10-30 2021-08-04 아주대학교산학협력단 전자 장치 및 이의 이상 상황 탐지 방법
KR102294687B1 (ko) * 2019-12-30 2021-08-31 주식회사 써로마인드 자동차의 주변 상황이 위험상황인지를 판단하고 주행가이드를 생성하여 경보하여 주는 방법 및 이를 이용한 장치
CN111210446B (zh) * 2020-01-08 2022-07-29 中国科学技术大学 一种视频目标分割方法、装置和设备
CN112949401B (zh) * 2021-02-01 2024-03-26 浙江大华技术股份有限公司 图像分析方法、装置、设备及计算机存储介质
CN117274885B (zh) * 2023-11-23 2024-02-09 湖北微模式科技发展有限公司 一种人脸伪造视频检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
US20140002441A1 (en) * 2012-06-29 2014-01-02 Hong Kong Applied Science and Technology Research Institute Company Limited Temporally consistent depth estimation from binocular videos
US9959468B2 (en) * 2015-11-06 2018-05-01 The Boeing Company Systems and methods for object tracking and classification
US10049279B2 (en) * 2016-03-11 2018-08-14 Qualcomm Incorporated Recurrent networks with motion-based attention for video understanding
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
GB2549074B (en) * 2016-03-24 2019-07-17 Imagination Tech Ltd Learned feature motion detection
US10390082B2 (en) * 2016-04-01 2019-08-20 Oath Inc. Computerized system and method for automatically detecting and rendering highlights from streaming videos

Also Published As

Publication number Publication date
US10089743B1 (en) 2018-10-02
KR20190039647A (ko) 2019-04-15
CN109636803B (zh) 2023-07-25
CN109636803A (zh) 2019-04-16
KR102144346B1 (ko) 2020-08-13
JP2019071056A (ja) 2019-05-09
EP3467772A1 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
JP6752855B2 (ja) 映像イメージをセグメンテーションする方法及びこれを利用した装置
KR102144358B1 (ko) 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
US11809975B2 (en) System and method for end-to-end-differentiable joint image refinement and perception
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
US9947077B2 (en) Video object tracking in traffic monitoring
KR102144381B1 (ko) 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
CN109583340B (zh) 一种基于深度学习的视频目标检测方法
US8280165B2 (en) System and method for segmenting foreground and background in a video
US20220036523A1 (en) Image processor
WO2015184208A1 (en) Constant bracketing for high dynamic range operations (chdr)
CN110163887B (zh) 基于运动插值估计与前景分割相结合的视频目标跟踪方法
JP7353803B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6901803B2 (ja) フォールトトレランス及びフラクチュエーションロバスト性のための複数のニューラルネットワークを使用して揺れるカメラにより生成されたビデオからジッタリングを取り除くための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
CN112862728B (zh) 伪影去除方法、装置、电子设备和存储介质
US20160203587A1 (en) Method and apparatus for color correction in an alpha matting process
CN114372932A (zh) 一种图像处理的方法及计算机程序产品
JP6600288B2 (ja) 統合装置及びプログラム
CN117593275A (zh) 一种医学图像分割系统
CN110097604B (zh) 图像颜色风格转移方法
CN110555414B (zh) 目标检测方法、装置、设备及存储介质
CN112070686A (zh) 一种基于深度学习的逆光图像协同增强方法
US20220224934A1 (en) Machine-learned in-loop predictor for video compression
CN117561540A (zh) 使用帧序列执行计算机视觉任务的系统和方法
CN115393491A (zh) 一种基于实例分割和参考帧的水墨视频生成方法及装置
EP3588439A1 (en) Method and device for processing a sequence of original frames

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200819

R150 Certificate of patent or registration of utility model

Ref document number: 6752855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250