JP7032536B2 - インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体 - Google Patents
インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体 Download PDFInfo
- Publication number
- JP7032536B2 JP7032536B2 JP2020533099A JP2020533099A JP7032536B2 JP 7032536 B2 JP7032536 B2 JP 7032536B2 JP 2020533099 A JP2020533099 A JP 2020533099A JP 2020533099 A JP2020533099 A JP 2020533099A JP 7032536 B2 JP7032536 B2 JP 7032536B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- instance
- features
- fusion
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims description 216
- 238000000034 method Methods 0.000 title claims description 91
- 230000004927 fusion Effects 0.000 claims description 346
- 238000013528 artificial neural network Methods 0.000 claims description 78
- 230000015654 memory Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 5
- 239000010410 layer Substances 0.000 description 253
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Description
本開示は2018年02月09日に中国特許局に提出された、出願番号CN2018101370447、発明の名称「インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体」の中国特許出願の優先権、および2018年02月09日に中国特許局に提出された、出願番号CN2018101363710、発明の名称「画像分割方法および装置、電子機器、プログラムならびに媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。
ニューラルネットワークによって画像の特徴抽出を行い、少なくとも二つの異なる階層の特徴を出力することと、
前記少なくとも二つの異なる階層の特徴から前記画像における少なくとも一つのインスタンス候補領域に対応する領域特徴を抽出し、同一インスタンス候補領域に対応する領域特徴を融合し、各インスタンス候補領域の第一融合特徴を得ることと、
各第一融合特徴に基づいてインスタンスセグメンテーションを行い、対応するインスタンス候補領域のインスタンスセグメンテーション結果および/または前記画像のインスタンスセグメンテーション結果を得ることと、を含むインスタンスセグメンテーション方法が提供される。
画像の特徴抽出を行い、少なくとも二つの異なる階層の特徴を出力するためのニューラルネットワークと、
前記少なくとも二つの異なる階層の特徴から前記画像における少なくとも一つのインスタンス候補領域に対応する領域特徴を抽出するための抽出モジュールと、
同一インスタンス候補領域に対応する領域特徴を融合し、各インスタンス候補領域の第一融合特徴を得るための第一融合モジュールと、
各第一融合特徴に基づいてインスタンスセグメンテーションを行い、対応するインスタンス候補領域のインスタンスセグメンテーション結果および/または前記画像のインスタンスセグメンテーション結果を得るためのセグメンテーションモジュールと、を含むインスタンスセグメンテーション装置が提供される。
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するためのプロセッサであって、前記コンピュータプログラムが実行される時に本開示のいずれかの実施例に記載の方法を実現するプロセッサと、を含む電子機器が提供される。
同一インスタンス候補領域に対応する複数の領域特徴を各画素に基づいてそれぞれ最大値(element-wise max)を取り、つまり、同一インスタンス候補領域に対応する複数の領域特徴のうち、各画素位置の特徴の最大値を取るように、
または、同一インスタンス候補領域に対応する複数の領域特徴を各画素に基づいてそれぞれ平均値を取り、つまり、同一インスタンス候補領域に対応する複数の領域特徴のうち、各画素位置の特徴の平均値を取るように、
または、同一インスタンス候補領域に対応する複数の領域特徴を各画素に基づいてそれぞれその和を求め、つまり、同一インスタンス候補領域に対応する複数の領域特徴のうち、各画素位置の特徴の和を求めるようにしてもよい。
特定の第一融合特徴に限定されない、任意のインスタンス候補領域の第一融合特徴であってもよい第一融合特徴に基づき、第一融合特徴に対応するインスタンス候補領域のインスタンスセグメンテーションを行い、対応するインスタンス候補領域のインスタンスセグメンテーション結果を得ること、および/または、各第一融合特徴に基づいて画像のインスタンスセグメンテーションを行い、画像のインスタンスセグメンテーション結果を得ることを含んでもよい。
任意のインスタンス候補領域の第一融合特徴である上記第一融合特徴に基づき、画素レベルでのインスタンスクラス予測を行い、上記第一融合特徴に対応するインスタンス候補領域のインスタンスクラス予測結果を得ることと、上記第一融合特徴に基づいて画素レベルでの前景/背景予測を行い、上記第一融合特徴に対応するインスタンス候補領域の前景/背景予測結果を得ることと、
上記インスタンスクラス予測結果および前景/背景予測結果に基づき、上記第一融合特徴の対応のインスタンス物体領域候補の、現在のインスタンス候補領域においてあるインスタンスに属する画素および該インスタンスが属するクラス情報を含むインスタンスセグメンテーション結果を取得することと、を含んでもよい。
少なくとも一つの全畳み込み層を含む第一畳み込みネットワークによって、上記第一融合特徴を抽出することと、
第一全畳み込み層によって、上記第一畳み込みネットワークにより出力される特徴に基づいて画素レベルでの物体クラス予測を行うことと、を含んでもよい。
上記第一融合特徴に基づき、上記第一融合特徴に対応するインスタンス候補領域において前景に属する画素および/または背景に属する画素を予測することを含む。
少なくとも一つの全畳み込み層を含む第二畳み込みネットワークによって、上記第一融合特徴を抽出することと、
全結合層によって、上記第二畳み込みネットワークにより出力される特徴に基づいて画素レベルでの前景/背景予測を行うことと、を含んでもよい。
上記第一融合特徴に対応するインスタンス候補領域の物体クラス予測結果と前景/背景予測結果との画素レベルでの加算処理を行い、上記第一融合特徴に対応するインスタンス候補領域のインスタンスセグメンテーション結果を得ることを含む。
画像の特徴抽出を行い、少なくとも二つの異なる階層の特徴を出力するためのニューラルネットワークと、
上記少なくとも二つの異なる階層の特徴から画像における少なくとも一つのインスタンス候補領域に対応する領域特徴を抽出するための抽出モジュールと、
同一インスタンス候補領域に対応する領域特徴を融合し、各インスタンス候補領域の第一融合特徴を得るための第一融合モジュールと、
各第一融合特徴に基づいてインスタンスセグメンテーションを行い、対応するインスタンス候補領域のインスタンスセグメンテーション結果および/または画像のインスタンスセグメンテーション結果を得るためのセグメンテーションモジュールと、を含み、
そのうち、該ニューラルネットワークは少なくとも二つの異なるネットワーク深さのネットワーク層を含んでもよく、それは画像の特徴抽出を行い、少なくとも二つの異なるネットワーク深さのネットワーク層から少なくとも二つの異なる階層の特徴を出力するために用いられる。
高階層特徴から低階層特徴への方向に従い、上位階層の融合特徴を順にアップサンプリングしてから、第四融合特徴のうちの下位階層の融合特徴と融合するために用いられる。
第一融合特徴に基づき、第一融合特徴に対応するインスタンス候補領域のインスタンスセグメンテーションを行い、対応するインスタンス候補領域のインスタンスセグメンテーション結果を得るたえの第一セグメンテーションユニット、および/または、
各第一融合特徴に基づいて画像のインスタンスセグメンテーションを行い、画像のインスタンスセグメンテーション結果を得るための第二セグメンテーションユニットを含んでもよい。
各第一融合特徴にそれぞれ基づき、各第一融合特徴にそれぞれ対応するインスタンス候補領域のインスタンスセグメンテーションを行い、各インスタンス候補領域のインスタンスセグメンテーション結果を得るための第一セグメンテーションユニットと、
各インスタンス候補領域のインスタンスセグメンテーション結果に基づいて画像のインスタンスセグメンテーション結果を取得するための取得ユニットと、を含んでもよい。
第一融合特徴に基づき、画素レベルでのインスタンスクラス予測を行い、第一融合特徴に対応するインスタンス候補領域のインスタンスクラス予測結果を得るための第一予測サブユニットと、
第一融合特徴に基づいて画素レベルでの前景/背景予測を行い、第一融合特徴に対応するインスタンス候補領域の前景/背景予測結果を得るための第二予測サブユニットと、
インスタンスクラス予測結果および前景/背景予測結果に基づき、第一融合特徴に対応するインスタンス候補領域のインスタンスセグメンテーション結果を取得するための取得サブユニットと、を含む。
コンピュータプログラムを記憶するためのメモリと、
メモリに記憶された、実行される時に本開示の上記いずれかの実施例のインスタンスセグメンテーション方法を実現するコンピュータプログラムを実行するためのプロセッサと、を含む。
Claims (24)
- ニューラルネットワークによって画像の特徴抽出を行い、少なくとも二つの異なる階層の特徴を出力することと、
前記少なくとも二つの異なる階層の特徴から前記画像における少なくとも一つのインスタンス候補領域に対応する領域特徴を抽出し、同一インスタンス候補領域に対応する領域特徴を融合し、各インスタンス候補領域の第一融合特徴を得ることと、
各第一融合特徴に基づいてインスタンスセグメンテーションを行い、対応するインスタンス候補領域のインスタンスセグメンテーション結果および/または前記画像のインスタンスセグメンテーション結果を得ることと、を含み、
前記少なくとも二つの異なる階層の特徴を出力する前記ステップの後に、さらに、前記少なくとも二つの異なる階層の特徴に対して少なくとも一回の再追跡融合を行い、第二融合特徴を得るステップを含み、前記一回の再追跡融合は、前記ニューラルネットワークのネットワーク深さ方向に基づき、異なるネットワーク深さのネットワーク層からそれぞれ出力される異なる階層の特徴に対して、二つの異なる階層方向に順に従って融合することを含み、
前記少なくとも二つの異なる階層の特徴から前記画像における少なくとも一つのインスタンス候補領域に対応する領域特徴を抽出する前記ステップは、前記第二融合特徴から前記少なくとも一つのインスタンス候補領域に対応する領域特徴を抽出することを含む
ことを特徴とするインスタンスセグメンテーション方法。 - 前記ニューラルネットワークによって画像の特徴抽出を行い、少なくとも二つの異なる階層の特徴を出力する前記ステップは、前記ニューラルネットワークによって前記画像の特徴抽出を行い、前記ニューラルネットワークにおける少なくとも二つの異なるネットワーク深さのネットワーク層から少なくとも二つの異なる階層の特徴を出力することを含むことを特徴とする請求項1に記載の方法。
- 前記二つの異なる階層方向は、高階層特徴から低階層特徴への方向、および低階層特徴から高階層特徴への方向を含み、
前記の二つの異なる階層方向に順に従うことは、高階層特徴から低階層特徴への方向および低階層特徴から高階層特徴への方向に順に従うことを含み、
前記異なるネットワーク深さのネットワーク層からそれぞれ出力される異なる階層の特徴を、高階層特徴から低階層特徴への方向および低階層特徴から高階層特徴への方向に順に従って融合する前記ステップは、
前記ニューラルネットワークのネットワーク深さの深から浅への方向に従い、前記ニューラルネットワークにおいて、ネットワーク深さが深いネットワーク層から出力される上位階層の特徴を順にアップサンプリングしてから、ネットワーク深さが浅いネットワーク層から出力される下位階層の特徴と融合し、第三融合特徴を得ることと、
低階層特徴から高階層特徴への方向に従い、下位階層の融合特徴を順にダウンサンプリングしてから、前記第三融合特徴のうちの上位階層の融合特徴と融合することと、を含むことを特徴とする請求項1に記載の方法。 - 前記上位階層の特徴は、前記ニューラルネットワークにおける前記ネットワーク深さが深いネットワーク層から出力される特徴、または前記ネットワーク深さが深いネットワーク層により出力される特徴に対して少なくとも一回特徴抽出を行って得られる特徴を含むことを特徴とする請求項3に記載の方法。
- 前記ニューラルネットワークにおいて、ネットワーク深さが深いネットワーク層から出力される上位階層の特徴をアップサンプリングしてから、ネットワーク深さが浅いネットワーク層から出力される下位階層の特徴と融合する前記ステップは、前記ニューラルネットワークにおいて、ネットワーク深さが深いネットワーク層から出力される上位階層の特徴を順にアップサンプリングしてから、隣接の、ネットワーク深さが浅いネットワーク層から出力される下位階層の特徴と融合することを含むことを特徴とする請求項3または4に記載の方法。
- 前記下位階層の融合特徴を順にダウンサンプリングしてから、前記第三融合特徴のうちの上位階層の融合特徴と融合する前記ステップは、下位階層の融合特徴を順にダウンサンプリングしてから、隣接の、前記第三融合特徴のうちの上位階層の融合特徴と融合することを含むことを特徴とする請求項3から5のいずれか一項に記載の方法。
- 前記二つの異なる階層方向は、高階層特徴から低階層特徴への方向、および低階層特徴から高階層特徴への方向を含み、
前記の二つの異なる階層方向に順に従うことは、低階層特徴から高階層特徴への方向および高階層特徴から低階層特徴への方向に順に従うことを含み、
異なるネットワーク深さのネットワーク層からそれぞれ出力される異なる階層の特徴を、低階層特徴から高階層特徴への方向および高階層特徴から低階層特徴への方向に順に従って融合するステップは、
前記ニューラルネットワークのネットワーク深さの浅から深への方向に従い、前記ニューラルネットワークにおいて、ネットワーク深さが浅いネットワーク層から出力される下位階層の特徴を順にダウンサンプリングしてから、ネットワーク深さが深いネットワーク層から出力される上位階層の特徴と融合し、第四融合特徴を得ることと、
高階層特徴から低階層特徴への方向に従い、上位階層の融合特徴を順にアップサンプリングしてから、前記第四融合特徴のうちの下位階層の融合特徴と融合することと、を含むことを特徴とする請求項1に記載の方法。 - 前記下位階層の特徴は、前記ニューラルネットワークにおいて前記ネットワーク深さが浅いネットワーク層から出力される特徴、または前記ネットワーク深さが浅いネットワーク層により出力される特徴に対して少なくとも一回特徴抽出を行って得られる特徴を含むことを特徴とする請求項7に記載の方法。
- 前記ニューラルネットワークにおいて、ネットワーク深さが浅いネットワーク層から出力される下位階層の特徴を順にダウンサンプリングしてから、ネットワーク深さが深いネットワーク層から出力される上位階層の特徴と融合する前記ステップは、前記ニューラルネットワークにおいて、ネットワーク深さが浅いネットワーク層から出力される下位階層の特徴を順にダウンサンプリングしてから、隣接の、ネットワーク深さが深いネットワーク層から出力される上位階層の特徴と融合することを含むことを特徴とする請求項7または8に記載の方法。
- 前記上位階層の融合特徴を順にアップサンプリングしてから、前記第四融合特徴のうちの下位階層の融合特徴と融合する前記ステップは、上位階層の融合特徴を順にアップサンプリングしてから、隣接の、前記第四融合特徴のうちの下位階層の融合特徴と融合することを含むことを特徴とする請求項7から9のいずれか一項に記載の方法。
- 前記同一インスタンス候補領域に対応する領域特徴を融合する前記ステップは、同一インスタンス候補領域に対応する複数の領域特徴をそれぞれ画素レベルで融合することを含み、
前記同一インスタンス候補領域に対応する複数の領域特徴をそれぞれ画素レベルで融合する前記ステップは、同一インスタンス候補領域に対応する複数の領域特徴を各画素に基づいてそれぞれ最大値を取ること、または、同一インスタンス候補領域に対応する複数の領域特徴を各画素に基づいて平均値を取ること、または、同一インスタンス候補領域に対応する複数の領域特徴を各画素に基づいて和を求めることを含むことを特徴とする請求項1から10のいずれか一項に記載の方法。 - 前記各第一融合特徴に基づいてインスタンスセグメンテーションを行い、対応するインスタンス候補領域のインスタンスセグメンテーション結果および/または前記画像のインスタンスセグメンテーション結果を得る前記ステップは、
第一融合特徴に基づき、前記第一融合特徴に対応するインスタンス候補領域のインスタンスセグメンテーションを行い、前記対応するインスタンス候補領域のインスタンスセグメンテーション結果を得ること、および/または、
各第一融合特徴に基づいて前記画像のインスタンスセグメンテーションを行い、前記画像のインスタンスセグメンテーション結果を得ることを含むことを特徴とする請求項1から11のいずれか一項に記載の方法。 - 前記各第一融合特徴に基づいてインスタンスセグメンテーションを行い、前記画像のインスタンスセグメンテーション結果を得る前記ステップは、
各第一融合特徴にそれぞれ基づき、各第一融合特徴にそれぞれ対応するインスタンス候補領域のインスタンスセグメンテーションを行い、各インスタンス候補領域のインスタンスセグメンテーション結果を得ることと、
前記各インスタンス候補領域のインスタンスセグメンテーション結果に基づいて前記画像のインスタンスセグメンテーション結果を取得することと、を含むことを特徴とする請求項1から12のいずれか一項に記載の方法。 - 第一融合特徴に基づき、前記第一融合特徴に対応するインスタンス候補領域のインスタンスセグメンテーションを行い、前記対応するインスタンス候補領域のインスタンスセグメンテーション結果を得る前記ステップは、
前記第一融合特徴に基づき、画素レベルでのインスタンスクラス予測を行い、前記第一融合特徴に対応するインスタンス候補領域のインスタンスクラス予測結果を得ることと、前記第一融合特徴に基づいて画素レベルでの前景/背景予測を行い、前記第一融合特徴に対応するインスタンス候補領域の前景/背景予測結果を得ることと、
前記インスタンスクラス予測結果および前記前景/背景予測結果に基づき、前記第一融合特徴に対応するインスタンス候補領域のインスタンスセグメンテーション結果を取得することと、を含むことを特徴とする請求項12または13に記載の方法。 - 前記第一融合特徴に基づいて画素レベルでの前景/背景予測を行う前記ステップは、前記第一融合特徴に基づき、前記第一融合特徴に対応するインスタンス候補領域において前景に属する画素および/または背景に属する画素を予測することを含むことを特徴とする請求項14に記載の方法。
- 前記前景は全てのインスタンスクラスに対応する部分を含み、前記背景は前記全てのインスタンスクラスに対応する部分以外の部分を含み、または、前記背景は全てのインスタンスクラスに対応する部分を含み、前記前景は前記全てのインスタンスクラスに対応する部分以外の部分を含むことを特徴とする請求項15に記載の方法。
- 前記インスタンスクラス予測結果および前記前景/背景予測結果に基づき、前記第一融合特徴に対応するインスタンス候補領域のインスタンスセグメンテーション結果を取得する前記ステップは、前記第一融合特徴に対応するインスタンス候補領域の物体クラス予測結果と前景/背景予測結果との画素レベルでの加算処理を行い、前記第一融合特徴に対応するインスタンス候補領域のインスタンスセグメンテーション結果を得ることを含むことを特徴とする請求項14から16のいずれか一項に記載の方法。
- 前記第一融合特徴に対応するインスタンス候補領域の前景/背景予測結果を得るステップの後に、さらに、前記前景/背景予測結果を前記インスタンスクラス予測結果の次元に一致する前景/背景予測結果に変換することを含み、
前記第一融合特徴に対応するインスタンス候補領域の物体クラス予測結果と前景/背景予測結果との画素レベルでの加算処理を行う前記ステップは、前記第一融合特徴に対応するインスタンス候補領域のインスタンスクラス予測結果と変換された前景/背景予測結果との画素レベルでの加算処理を行うことを含むことを特徴とする請求項17に記載の方法。 - 各インスタンス候補領域の第一融合特徴を得る前記ステップの後に、さらに、前記第一融合特徴に基づいて前記画像の少なくとも一部の領域のセマンティックセグメンテーションを行い、セマンティックセグメンテーション結果を得ることを含むことを特徴とする請求項1から11のいずれか一項に記載の方法。
- 各インスタンス候補領域の第二融合特徴を得る前記ステップの後に、さらに、前記第二融合特徴に基づいて前記画像の少なくとも一部の領域のセマンティックセグメンテーションを行い、セマンティックセグメンテーション結果を得ることを含むことを特徴とする請求項1から11のいずれか一項に記載の方法。
- 画像の特徴抽出を行い、少なくとも二つの異なる階層の特徴を出力するためのニューラルネットワークと、
前記少なくとも二つの異なる階層の特徴から前記画像における少なくとも一つのインスタンス候補領域に対応する領域特徴を抽出するための抽出モジュールと、
同一インスタンス候補領域に対応する領域特徴を融合し、各インスタンス候補領域の第一融合特徴を得るための第一融合モジュールと、
各第一融合特徴に基づいてインスタンスセグメンテーションを行い、対応するインスタンス候補領域のインスタンスセグメンテーション結果および/または前記画像のインスタンスセグメンテーション結果を得るためのセグメンテーションモジュールと、
前記少なくとも二つの異なる階層の特徴に対して少なくとも一回の再追跡融合を行い、第二融合特徴を得るための第二融合モジュールであって、前記一回の再追跡融合は、前記ニューラルネットワークのネットワーク深さ方向に基づき、異なるネットワーク深さのネットワーク層からそれぞれ出力される異なる階層の特徴に対して、二つの異なる階層方向に順に従って融合することを含む、第二融合モジュールと、を含み、
前記抽出モジュールは更に、前記第二融合特徴から前記少なくとも一つのインスタンス候補領域に対応する領域特徴を抽出するために用いられることを特徴とするインスタンスセグメンテーション装置。 - コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するためのプロセッサであって、前記コンピュータプログラムがプロセッサによって実行される時に上記請求項1から20のいずれか一項に記載の方法を実現する、プロセッサと、を含むことを特徴とする電子機器。 - コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムはプロセッサにより実行される時、上記請求項1から20のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
- プロセッサに、上記請求項1から20のいずれか一項に記載の方法を実行させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810137044.7 | 2018-02-09 | ||
CN201810137044.7A CN108460411B (zh) | 2018-02-09 | 2018-02-09 | 实例分割方法和装置、电子设备、程序和介质 |
CN201810136371.0A CN108335305B (zh) | 2018-02-09 | 2018-02-09 | 图像分割方法和装置、电子设备、程序和介质 |
CN201810136371.0 | 2018-02-09 | ||
PCT/CN2019/073819 WO2019154201A1 (zh) | 2018-02-09 | 2019-01-30 | 实例分割方法和装置、电子设备、程序和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021507388A JP2021507388A (ja) | 2021-02-22 |
JP7032536B2 true JP7032536B2 (ja) | 2022-03-08 |
Family
ID=67548217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020533099A Active JP7032536B2 (ja) | 2018-02-09 | 2019-01-30 | インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11270158B2 (ja) |
JP (1) | JP7032536B2 (ja) |
KR (1) | KR102438095B1 (ja) |
SG (1) | SG11201913332WA (ja) |
WO (1) | WO2019154201A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110866526A (zh) * | 2018-08-28 | 2020-03-06 | 北京三星通信技术研究有限公司 | 图像分割方法、电子设备及计算机可读存储介质 |
WO2020150223A1 (en) * | 2019-01-15 | 2020-07-23 | Schlumberger Technology Corporation | Residual signal detection for noise attenuation |
CN111626969B (zh) * | 2020-05-22 | 2023-05-30 | 张卫东 | 一种基于注意力机制的玉米病害图像处理方法 |
CN111652142A (zh) * | 2020-06-03 | 2020-09-11 | 广东小天才科技有限公司 | 基于深度学习的题目分割方法、装置、设备和介质 |
CN112489060B (zh) * | 2020-12-07 | 2022-05-10 | 北京医准智能科技有限公司 | 一种用于肺炎病灶分割的系统及方法 |
CN112465801B (zh) * | 2020-12-09 | 2022-11-29 | 北京航空航天大学 | 一种分尺度提取掩码特征的实例分割方法 |
CN113096140B (zh) * | 2021-04-15 | 2022-11-22 | 北京市商汤科技开发有限公司 | 实例分割方法及装置、电子设备及存储介质 |
JP2023527615A (ja) * | 2021-04-28 | 2023-06-30 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 目標対象検出モデルのトレーニング方法、目標対象検出方法、機器、電子機器、記憶媒体及びコンピュータプログラム |
CN113297991A (zh) * | 2021-05-28 | 2021-08-24 | 杭州萤石软件有限公司 | 一种行为识别方法、装置及设备 |
CN113792738A (zh) * | 2021-08-05 | 2021-12-14 | 北京旷视科技有限公司 | 实例分割方法、装置、电子设备和计算机可读存储介质 |
WO2023106546A1 (ko) * | 2021-12-09 | 2023-06-15 | 재단법인대구경북과학기술원 | 상향식 인스턴스 세분화 방법 및 장치 |
CN115205906B (zh) * | 2022-09-15 | 2022-12-23 | 山东能源数智云科技有限公司 | 基于人体解析的仓储作业人员的检测方法、装置及介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6395481B2 (ja) | 2014-07-11 | 2018-09-26 | キヤノン株式会社 | 画像認識装置、方法及びプログラム |
US9558268B2 (en) | 2014-08-20 | 2017-01-31 | Mitsubishi Electric Research Laboratories, Inc. | Method for semantically labeling an image of a scene using recursive context propagation |
KR102450971B1 (ko) * | 2015-05-08 | 2022-10-05 | 삼성전자주식회사 | 객체 인식 장치 및 방법 |
EP3156942A1 (en) | 2015-10-16 | 2017-04-19 | Thomson Licensing | Scene labeling of rgb-d data with interactive option |
US9881234B2 (en) | 2015-11-25 | 2018-01-30 | Baidu Usa Llc. | Systems and methods for end-to-end object detection |
CN105512661B (zh) * | 2015-11-25 | 2019-02-26 | 中国人民解放军信息工程大学 | 一种基于多模态特征融合的遥感影像分类方法 |
CN106250812B (zh) | 2016-07-15 | 2019-08-20 | 汤一平 | 一种基于快速r-cnn深度神经网络的车型识别方法 |
CN106709924B (zh) | 2016-11-18 | 2019-11-22 | 中国人民解放军信息工程大学 | 基于深度卷积神经网络和超像素的图像语义分割方法 |
CN107085609A (zh) | 2017-04-24 | 2017-08-22 | 国网湖北省电力公司荆州供电公司 | 一种基于神经网络进行多特征融合的行人检索方法 |
CN107169974A (zh) | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
CN107424159B (zh) * | 2017-07-28 | 2020-02-07 | 西安电子科技大学 | 基于超像素边缘和全卷积网络的图像语义分割方法 |
CN107483920B (zh) | 2017-08-11 | 2018-12-21 | 北京理工大学 | 一种基于多层级质量因子的全景视频评估方法及系统 |
US10679351B2 (en) * | 2017-08-18 | 2020-06-09 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
CN108335305B (zh) * | 2018-02-09 | 2020-10-30 | 北京市商汤科技开发有限公司 | 图像分割方法和装置、电子设备、程序和介质 |
CN108460411B (zh) * | 2018-02-09 | 2021-05-04 | 北京市商汤科技开发有限公司 | 实例分割方法和装置、电子设备、程序和介质 |
-
2019
- 2019-01-30 WO PCT/CN2019/073819 patent/WO2019154201A1/zh active Application Filing
- 2019-01-30 KR KR1020207016941A patent/KR102438095B1/ko active IP Right Grant
- 2019-01-30 SG SG11201913332WA patent/SG11201913332WA/en unknown
- 2019-01-30 JP JP2020533099A patent/JP7032536B2/ja active Active
- 2019-12-29 US US16/729,423 patent/US11270158B2/en active Active
Non-Patent Citations (1)
Title |
---|
Tsung-Yi Lin et al.,Feature Pyramid Networks for Object Detection,2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),IEEE,2017年07月21日,pp.936-944,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8099589 |
Also Published As
Publication number | Publication date |
---|---|
KR20200087808A (ko) | 2020-07-21 |
JP2021507388A (ja) | 2021-02-22 |
SG11201913332WA (en) | 2020-01-30 |
KR102438095B1 (ko) | 2022-08-30 |
US11270158B2 (en) | 2022-03-08 |
US20200134365A1 (en) | 2020-04-30 |
WO2019154201A1 (zh) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7032536B2 (ja) | インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体 | |
CN108335305B (zh) | 图像分割方法和装置、电子设备、程序和介质 | |
JP6963695B2 (ja) | 単眼画像深度推定方法及び装置、機器、プログラム及び記憶媒体 | |
CN108460411B (zh) | 实例分割方法和装置、电子设备、程序和介质 | |
WO2020020146A1 (zh) | 激光雷达稀疏深度图的处理方法、装置、设备及介质 | |
CN111739005B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
EP3493105A1 (en) | Optimizations for dynamic object instance detection, segmentation, and structure mapping | |
CN111753961A (zh) | 模型训练方法和装置、预测方法和装置 | |
JP6902811B2 (ja) | 視差推定システムと方法、電子機器及びコンピュータ可読記憶媒体 | |
Singh et al. | Survey on single image based super-resolution—implementation challenges and solutions | |
JP2023525462A (ja) | 特徴を抽出するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
CN113781493A (zh) | 图像处理方法、装置、电子设备、介质及计算机程序产品 | |
Liang et al. | Hybrid transformer-CNN networks using superpixel segmentation for remote sensing building change detection | |
CN115330851A (zh) | 单目深度估计方法、装置、电子设备、存储介质及车辆 | |
Ward et al. | Improving image-based localization with deep learning: the impact of the loss function | |
CN114332509B (zh) | 图像处理方法、模型训练方法、电子设备及自动驾驶车辆 | |
CN117011156A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN114898190A (zh) | 一种图像处理方法和装置 | |
Fujita et al. | Cost volume refinement filter for post filtering of visual corresponding | |
CN114282664A (zh) | 自反馈模型训练方法、装置、路侧设备及云控平台 | |
CN113610856A (zh) | 训练图像分割模型和图像分割的方法和装置 | |
Sun et al. | Deeper spatial pyramid network with refined up-sampling for optical flow estimation | |
CN110633595A (zh) | 一种利用双线性插值的目标检测方法和装置 | |
CN113099231B (zh) | 确定亚像素插值位置的方法、装置、电子设备和存储介质 | |
Song et al. | LBCNet: A lightweight bilateral cascaded feature fusion network for real-time semantic segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200616 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200616 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7032536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |