JP7363383B2 - 解析装置、解析プログラム及び解析方法 - Google Patents
解析装置、解析プログラム及び解析方法 Download PDFInfo
- Publication number
- JP7363383B2 JP7363383B2 JP2019200865A JP2019200865A JP7363383B2 JP 7363383 B2 JP7363383 B2 JP 7363383B2 JP 2019200865 A JP2019200865 A JP 2019200865A JP 2019200865 A JP2019200865 A JP 2019200865A JP 7363383 B2 JP7363383 B2 JP 7363383B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inference
- unit
- map
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 47
- 239000002131 composite material Substances 0.000 claims description 22
- 238000000605 extraction Methods 0.000 description 61
- 238000000034 method Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 36
- 230000006866 deterioration Effects 0.000 description 26
- 239000000284 extract Substances 0.000 description 22
- 238000011156 evaluation Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Description
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第1のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第2のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第3のマップを生成するマップ生成部と、
前記誤推論画像を、前記誤推論画像に含まれる要素オブジェクトの領域に分割し、分割した前記要素オブジェクトの領域ごとに、前記第3のマップの画素値を加算し、前記要素オブジェクトの領域ごとの加算値を、前記要素オブジェクトの領域それぞれの面積で除算した値を用いて、誤推論の原因となる画像箇所を領域単位で特定する特定部とを有する。
<解析装置の機能構成>
はじめに、第1の実施形態に係る解析装置の機能構成について説明する。図1は、解析装置の機能構成の一例を示す図である。解析装置100には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置100は、推論部110、誤推論画像抽出部120、誤推論原因抽出部140として機能する。
・既知の解析技術を用いて、正解ラベルを推論するための各画素の重要度を示すマップを生成し、
・生成したマップに基づいて規定した領域を、スコア最大化リファイン画像で置き換え、
・置き換えの効果を参照しながら、誤推論の原因となる画像箇所を領域単位で特定する、
ことで、誤推論原因抽出部140によれば、誤推論の原因となる画像箇所を精度よく特定することができる。
次に、解析装置100のハードウェア構成について説明する。図2は、解析装置のハードウェア構成の一例を示す図である。図2に示すように、解析装置100は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203を有する。CPU201、ROM202、RAM203は、いわゆるコンピュータを形成する。
次に、第1の実施形態に係る解析装置100において実現される機能のうち、誤推論原因抽出部140の機能構成の詳細について説明する。図3は、誤推論原因抽出部の機能構成の一例を示す第1の図である。以下、誤推論原因抽出部140の各部(リファイン画像生成部141、マップ生成部142、特定部143)の詳細について説明する。
はじめに、リファイン画像生成部141の詳細について説明する。図3に示すように、リファイン画像生成部141は、画像リファイナ部301、画像誤差演算部302、推論部303、スコア誤差演算部304を有する。
・生成したリファイン画像を用いて推論した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差であるスコア誤差と、
・生成したリファイン画像と誤推論画像との差分である画像差分値(例えば、画像差分(L1差分)やSSIM(Structural Similarity)やそれらの組み合わせ)と、
が最小化するようにCNNの学習を行う。
・予め定められた学習回数分(例えば、最大学習回数=N回分)、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われる。これにより、推論部303より出力される正解ラベルのスコアが最大化した際のリファイン画像であるスコア最大化リファイン画像が、リファイン画像格納部305に格納される。
次に、マップ生成部142の詳細について説明する。図3に示すように、マップ生成部142は、重要特徴マップ生成部311、劣化尺度マップ生成部312、重畳部313を有する。
次に、特定部143の詳細について説明する。図3に示すように、特定部143は、スーパーピクセル分割部321、重要スーパーピクセル決定部322、重要スーパーピクセル評価部323を有する。
次に、誤推論原因抽出部140の各部(リファイン画像生成部141、マップ生成部142、特定部143)の処理の具体例について説明する。
はじめに、リファイン画像生成部141の処理の具体例について説明する。図4は、リファイン画像生成部の処理の具体例を示す図である。図4の左側の例は、正解ラベル="車種A"の車両が含まれる誤推論画像410を入力してラベルを推論した結果、ラベル="車種B"と誤推論した様子を示している。
・車種Aのスコア=0.0142、
・車種Bのスコア=0.4549、
・車種Cのスコア=0.0018、
であったことを示している。
・ヘッドライト421の色、
・道路標示422の色、
・フロントグリル423の色、
・左側のヘッドライト421とフロントグリル423との間の車体424の色、
を変更することで、スコア最大化リファイン画像420が生成されたことを示している。
・車種Aのスコア=0.9927、
・車種Bのスコア=0.0042、
・車種Cのスコア=0.0022、
であったことを示している。
次に、マップ生成部142の処理の具体例について説明する。図5は、マップ生成部の処理の具体例を示す図である。
(式1)
重要特徴指標マップ=グレイスケール化重要特徴マップ×(1-劣化尺度マップ)
上式において、(1-劣化尺度マップ)の項は、0から1の値をとり、1に近いほど変更度合いが大きく、0に近いほど変更度合いが小さい。つまり、重要特徴指標マップ520は、推論時に注目した各画素の注目度合いを示すグレイスケール化重要特徴マップに、変更度合いの大小による強弱をつけることで生成されたものであり、正解ラベルを推論するための各画素の重要度を示している。
・劣化尺度マップ513において変更度合いが小さい部分について、グレイスケール化重要特徴マップの画素値を小さくし、
・劣化尺度マップ513において変更度合いが大きい部分について、グレイスケール化重要特徴マップの画素値を大きくする、
ことで生成される。
(式2)
(反転した)重要特徴指標マップ=255-[グレイスケール化重要特徴マップ×(1-劣化尺度マップ)]
ここで、重畳部313が、上式に基づいて、グレイスケール化重要特徴マップ502と劣化尺度マップ513とを重畳することによる利点について説明する。
次に、特定部143の各部(ここでは、スーパーピクセル分割部321、重要スーパーピクセル決定部322)の処理の具体例について説明する。
はじめに、特定部143に含まれるスーパーピクセル分割部321の処理の具体例について説明する。図6は、スーパーピクセル分割部の処理の具体例を示す図である。図6に示すように、スーパーピクセル分割部321は、例えば、SLIC(Simple Linear Iterative Clustering)処理を行う分割部610を有する。分割部610は、誤推論画像410を、誤推論画像410に含まれる車両の部品ごとの部分画像であるスーパーピクセルに分割する。また、スーパーピクセル分割部321は、分割部610によりスーパーピクセルに分割されることで生成されたスーパーピクセル分割情報601を出力する。
次に、特定部143に含まれる重要スーパーピクセル決定部322の処理の具体例について説明する。図7は、重要スーパーピクセル決定部の処理の具体例を示す第1の図である。
次に、誤推論原因抽出部140による誤推論原因抽出処理の流れについて説明する。図9及び図10は、誤推論原因抽出処理の流れを示す第1及び第2のフローチャートである。
次に、誤推論原因抽出処理の具体例について説明する。図11は、誤推論原因抽出処理の具体例を示す第1の図である。
上記第1の実施形態のスーパーピクセル分割部321において、分割部610は、スーパーピクセルとして、誤推論画像を、要素オブジェクト(車両の部品)ごとに分割する場合について説明した。しかしながら、誤推論画像の分割方法はこれに限定されない。例えば、スーパーピクセルとして、誤推論画像を、互いに同一サイズ及び同一形状の矩形領域に分割するようにしてもよい。これにより、各スーパーピクセルの面積の違いに起因する加算値のばらつきを抑えることができる。以下、第2の実施形態について、上記第1の実施形態との相違点を説明する。
はじめに、特定部143の各部(ここでは、スーパーピクセル分割部321、重要スーパーピクセル決定部322)の処理の具体例について説明する。
図12は、スーパーピクセル分割部の処理の具体例を示す第2の図である。図12に示すように、スーパーピクセル分割部321は、分割部1210を有する。図6に示した分割部610との相違点は、図12の分割部1210の場合、誤推論画像410を、互いに同一サイズ及び同一形状の矩形領域に分割する(なお、分割の方式は任意である)。
次に、特定部143に含まれる重要スーパーピクセル決定部322の処理の具体例について説明する。図13は、重要スーパーピクセル決定部の処理の具体例を示す第2の図である。
次に、誤推論原因抽出部140による誤推論原因抽出処理の流れについて説明する。図15は、誤推論原因抽出処理の流れを示す第3のフローチャートである。第2の実施形態において、誤推論原因抽出部140は、図15に示す第3のフローチャートと、図10に示した第2のフローチャートとを実行することで、誤推論原因抽出処理を行う。
上記第1及び第2の実施形態では、変更可能領域及び変更不可領域を、スーパーピクセル単位で規定するものとして説明した。しかしながら、変更可能領域及び変更不可領域の規定方法はこれに限定されず、例えば、変更可能領域内を更に細分化することで微調整ブロックを生成し、微調整ブロック単位で変更可能領域及び変更不可領域を規定するようにしてもよい。以下、第3の実施形態について、上記第1及び第2の実施形態との相違点を中心に説明する。
はじめに、第3の実施形態に係る解析装置100における、誤推論原因抽出部140の機能構成の詳細について説明する。図16は、誤推論原因抽出部の機能構成の一例を示す第2の図である。図3に示した誤推論原因抽出部140の機能構成との相違点は、重要スーパーピクセル決定部1622である。
次に、重要スーパーピクセル決定部1622の処理の具体例について説明する。図17は、重要スーパーピクセル決定部の処理の具体例を示す第3の図である。図13との相違点は、細分化部1710を有している点である。
次に、誤推論原因抽出処理の具体例について説明する。図20は、誤推論原因抽出処理の具体例を示す第2の図である。
次に、誤推論原因抽出部140による誤推論原因抽出処理の流れについて説明する。図21は、誤推論原因抽出処理の流れを示す第4のフローチャートである。第3の実施形態において、誤推論原因抽出部140は、図15に示した第3のフローチャートと、図21に示す第4のフローチャートとを実行することで、誤推論原因抽出処理を行う。
上記第3の実施形態では、変更可能領域内の微調整ブロックの一部を、変更可能領域から変更不可領域へと変更する際、推論部303のスコアを参照しながら行うものとして説明した。しかしながら、変更可能領域内の微調整ブロックの一部を、変更可能領域から変更不可領域へと変更する際の手順はこれに限定されない。
上記第3及び第4の実施形態では、スーパーピクセルが、互いに同一サイズ及び同一形状の矩形領域である場合に、変更可能領域を細分化して、微調整ブロックを生成するものとして説明した。しかしながら、スーパーピクセルが、要素オブジェクト(車両の部品)ごとの領域である場合も、同様に変更可能領域を細分化して、微調整ブロックを生成してもよい。
140 :誤推論原因抽出部
141 :リファイン画像生成部
142 :マップ生成部
143 :特定部
301 :画像リファイナ部
302 :画像誤差演算部
303 :推論部
304 :スコア誤差演算部
311 :重要特徴マップ生成部
312 :劣化尺度マップ生成部
313 :重畳部
321 :スーパーピクセル分割部
322 :重要スーパーピクセル決定部
323 :重要スーパーピクセル評価部
610 :分割部
710 :領域抽出部
711 :合成部
1210 :分割部
1622 :重要スーパーピクセル決定部
1710 :細分化部
Claims (8)
- 画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第1のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第2のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第3のマップを生成するマップ生成部と、
前記誤推論画像を、前記誤推論画像に含まれる要素オブジェクトの領域に分割し、分割した前記要素オブジェクトの領域ごとに、前記第3のマップの画素値を加算し、前記要素オブジェクトの領域ごとの加算値を、前記要素オブジェクトの領域それぞれの面積で除算した値を用いて、誤推論の原因となる画像箇所を領域単位で特定する特定部と
を有する解析装置。 - 前記特定部は、
前記領域単位の画素値の加算値が、所定の条件を満たす領域を第1の領域として規定し、
前記領域単位の画素値の加算値が、所定の条件を満たさない領域を第2の領域として規定する、請求項1に記載の解析装置。 - 前記特定部は、
前記リファイン画像から抽出した前記第1の領域の画像と、前記誤推論画像から抽出した前記第2の領域の画像とを合成することで合成画像を生成し、
生成した前記合成画像を入力して、正解ラベルが推論された際のスコアに基づいて、前記誤推論の原因となる画像箇所を領域単位で特定する、請求項2に記載の解析装置。 - 画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第1のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第2のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第3のマップを生成するマップ生成部と、
前記第3のマップの画素値に基づいて、所定の指標に応じた領域単位の画素値の加算値を算出し、
算出した加算値が、所定の条件を満たす領域を第1の領域として規定し、算出した加算値が、所定の条件を満たさない領域を第2の領域として規定し、
前記第1の領域を細分化することで、互いに同一サイズ及び同一形状の微調整ブロックを生成し、
生成した微調整ブロックの一部を前記第1の領域から前記第2の領域へと変更し、
前記リファイン画像から抽出した、前記微調整ブロックの一部を除く前記第1の領域の画像と、前記誤推論画像から抽出した、前記微調整ブロックの一部を含む前記第2の領域の画像とを合成することで合成画像を生成し、
生成した前記合成画像を入力して、正解ラベルが推論された際のスコアに基づいて、誤推論の原因となる画像箇所を領域単位かつ微調整ブロック単位で特定する、
特定部と
を有する解析装置。 - 前記特定部は、
前記誤推論画像を、互いに同一サイズ及び同一形状の矩形領域に分割し、
分割した前記矩形領域ごとに、前記第3のマップの画素値を加算することで、前記所定の指標に応じた領域単位の画素値の加算値を算出する、請求項4に記載の解析装置。 - 前記特定部は、
前記第3のマップの画素値を、前記微調整ブロックごとに加算した加算値に基づいて、前記第1の領域から前記第2の領域へと変更する、前記微調整ブロックの一部を決定する、請求項5に記載の解析装置。 - 画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第1のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第2のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第3のマップを生成し、
前記誤推論画像を、前記誤推論画像に含まれる要素オブジェクトの領域に分割し、分割した前記要素オブジェクトの領域ごとに、前記第3のマップの画素値を加算し、前記要素オブジェクトの領域ごとの加算値を、前記要素オブジェクトの領域それぞれの面積で除算した値を用いて、誤推論の原因となる画像箇所を領域単位で特定する、
処理をコンピュータに実行させるための解析プログラム。 - 画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第1のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第2のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第3のマップを生成し、
前記誤推論画像を、前記誤推論画像に含まれる要素オブジェクトの領域に分割し、分割した前記要素オブジェクトの領域ごとに、前記第3のマップの画素値を加算し、前記要素オブジェクトの領域ごとの加算値を、前記要素オブジェクトの領域それぞれの面積で除算した値を用いて、誤推論の原因となる画像箇所を領域単位で特定する、
処理をコンピュータが実行する解析方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019200865A JP7363383B2 (ja) | 2019-11-05 | 2019-11-05 | 解析装置、解析プログラム及び解析方法 |
US17/022,163 US11361226B2 (en) | 2019-11-05 | 2020-09-16 | Analysis apparatus, non-transitory computer-readable storage medium for storing analysis program, and analysis method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019200865A JP7363383B2 (ja) | 2019-11-05 | 2019-11-05 | 解析装置、解析プログラム及び解析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021076926A JP2021076926A (ja) | 2021-05-20 |
JP7363383B2 true JP7363383B2 (ja) | 2023-10-18 |
Family
ID=75688685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019200865A Active JP7363383B2 (ja) | 2019-11-05 | 2019-11-05 | 解析装置、解析プログラム及び解析方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11361226B2 (ja) |
JP (1) | JP7363383B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7351186B2 (ja) * | 2019-11-05 | 2023-09-27 | 富士通株式会社 | 解析装置、解析プログラム及び解析方法 |
CN116664616B (zh) * | 2023-07-28 | 2023-11-03 | 苏州思谋智能科技有限公司 | 交互式图像分割标注方法、装置、计算机设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016099734A (ja) | 2014-11-19 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5978519A (en) * | 1996-08-06 | 1999-11-02 | Xerox Corporation | Automatic image cropping |
JP4868530B2 (ja) | 2007-09-28 | 2012-02-01 | Kddi株式会社 | 画像認識装置 |
JP4993615B2 (ja) | 2008-03-05 | 2012-08-08 | Kddi株式会社 | 画像認識方法および装置 |
JP2015159945A (ja) * | 2014-02-27 | 2015-09-07 | 富士フイルム株式会社 | 画像表示装置、方法およびプログラム |
JP6697356B2 (ja) | 2016-09-13 | 2020-05-20 | Kddi株式会社 | 所定対象のうちの特定対象における状態を識別する装置、プログラム及び方法 |
JP2018097807A (ja) | 2016-12-16 | 2018-06-21 | 株式会社デンソーアイティーラボラトリ | 学習装置 |
WO2018211350A1 (en) * | 2017-05-19 | 2018-11-22 | Semiconductor Energy Laboratory Co., Ltd. | Machine learning method, machine learning system, and display system |
-
2019
- 2019-11-05 JP JP2019200865A patent/JP7363383B2/ja active Active
-
2020
- 2020-09-16 US US17/022,163 patent/US11361226B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016099734A (ja) | 2014-11-19 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
久保田智規他,CNNを用いた物体認識における誤認識の原因を可視化する一手法,情報処理学会 研究報告 2019-CVIM-218[online],日本,情報処理学会,2019年08月28日,pp.99-104 |
Also Published As
Publication number | Publication date |
---|---|
US11361226B2 (en) | 2022-06-14 |
US20210133584A1 (en) | 2021-05-06 |
JP2021076926A (ja) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110879959B (zh) | 生成数据集的方法及装置、利用其的测试方法及测试装置 | |
US9530071B2 (en) | Hierarchical interlinked multi-scale convolutional network for image parsing | |
JP7279526B2 (ja) | 解析プログラム、解析装置及び解析方法 | |
US20220078358A1 (en) | System for automatic video reframing | |
JP7363383B2 (ja) | 解析装置、解析プログラム及び解析方法 | |
US11341361B2 (en) | Analysis apparatus, storage medium storing analysis program, and analysis method | |
JP7363382B2 (ja) | 解析装置、解析プログラム及び解析方法 | |
US10891471B2 (en) | Method and system for pose estimation | |
US20210390710A1 (en) | System for automatic object mask and hotspot tracking | |
CN112132164B (zh) | 目标检测方法、系统、计算机装置及存储介质 | |
CN113409224B (zh) | 一种图像目标针对性增强方法、装置、设备及存储介质 | |
KR102443630B1 (ko) | 영상 비율을 확장 또는 축소하기 위한 영상 리타겟팅 방법 및 장치 | |
CN114359739B (zh) | 目标识别方法及装置 | |
JP7351186B2 (ja) | 解析装置、解析プログラム及び解析方法 | |
JP7392835B2 (ja) | 解析装置及び解析プログラム | |
JP7392834B2 (ja) | 解析装置及び解析プログラム | |
CN113221757B (zh) | 一种改善行人属性识别准确率的方法、终端及介质 | |
KR101095859B1 (ko) | 영상 분할 장치 및 방법 | |
Liu et al. | Panda: Panoptic data augmentation | |
Kim et al. | Dense pixel-level interpretation of dynamic scenes with video panoptic segmentation | |
Huang et al. | Evaluations of Image Completion Algorithms: Exemplar-Based Inpainting vs. Deep Convolutional GAN | |
CN108492314B (zh) | 基于颜色特性和结构特征的车辆跟踪方法 | |
CN113920133A (zh) | 一种图像分割方法和装置 | |
CN113192104A (zh) | 一种目标特征提取方法及其设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7363383 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |