WO2023007693A1 - 画像分類装置及び方法 - Google Patents

画像分類装置及び方法 Download PDF

Info

Publication number
WO2023007693A1
WO2023007693A1 PCT/JP2021/028252 JP2021028252W WO2023007693A1 WO 2023007693 A1 WO2023007693 A1 WO 2023007693A1 JP 2021028252 W JP2021028252 W JP 2021028252W WO 2023007693 A1 WO2023007693 A1 WO 2023007693A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image classification
feature
teacher information
classification device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/028252
Other languages
English (en)
French (fr)
Inventor
壮太 小松
昌義 石川
史浩 別宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Corp filed Critical Hitachi High Tech Corp
Priority to US18/580,712 priority Critical patent/US20240362892A1/en
Priority to KR1020237044265A priority patent/KR20240012520A/ko
Priority to PCT/JP2021/028252 priority patent/WO2023007693A1/ja
Priority to CN202180100164.XA priority patent/CN117597707A/zh
Publication of WO2023007693A1 publication Critical patent/WO2023007693A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher

Definitions

  • the present invention relates to an image classification device and method, and more particularly to a technique for reducing training data creation costs in an image classification system equipped with a learning function.
  • An image classification system with a learning function may be configured using an image classification model such as deep learning.
  • an image classification model such as deep learning
  • a large number of input images and teacher information indicating the types of images are required as teacher data, and if the amount of data is large, the cost is enormous.
  • Patent Document 1 principal component analysis is performed on an image group to map feature quantities in two or three dimensions. Since the other dimensions are reduced, mapping is performed so that only large features in the image are captured, and small features in the image are ignored. Therefore, it is not suitable when there is important information in a small area in the image. Also, in the case of an image group with large variations in pixel value noise, the noise may be taken as an axis, and important information may be reduced.
  • the present invention provides an image classification apparatus and method capable of extracting and mapping important feature amounts even when there is important information in a small area within an image or even in an image group with a lot of noise. intended to provide
  • an image classification apparatus for classifying images, wherein a first image generated by adding different noises to the same image among images included in an image group. and a second image group composed of different images, learning is performed so that the feature amount obtained from the first image group is similar, and the feature amount obtained from the second image group is more
  • a feature quantity extraction unit that learns differently and extracts feature quantities
  • a feature quantity mapping unit that maps the extracted plurality of feature quantities in two or three dimensions using manifold learning, and displays the mapping results.
  • a display unit for displaying a teacher information attachment work screen for performing teacher information attachment work.
  • the present invention also provides an image classification method for classifying images, wherein a first image classification method generated by adding different noise to the same image included in an image group.
  • An image group and a second image group composed of different images are generated, learning is performed so that the feature amount obtained from the first image group approximates, and the feature amount obtained from the second image group is
  • An image classification method that learns differently, extracts feature quantities, maps the extracted plurality of feature quantities in two or three dimensions using manifold learning, and displays the mapping results on a work screen for attaching teacher information. I will provide a.
  • the present invention it is possible to capture a small area in an important image as an important feature quantity, perform noise-robust feature quantity extraction, and perform two-dimensional or three-dimensional mapping. This supports the creation of appropriate training data and reduces the man-hours required to improve the accuracy of the image classification model.
  • FIG. 1 is a diagram showing an example of an image classification device according to a first embodiment
  • FIG. 5 is a diagram showing an example of a learning processing procedure of an image classification model for realizing a feature quantity extraction unit;
  • 4A and 4B are diagrams showing examples of types of noise addition in processing step S303 of FIG. 3;
  • FIG. which showed an example which selects the area
  • FIG. 11 is a diagram showing an example of a screen for emphasizing and displaying a feature amount that is isolated compared to other feature amounts on the teacher information addition work screen;
  • FIG. 10 is a view showing an example of a screen for designating an area to be re-mapped on the teacher information addition work screen;
  • FIG. 11 is a diagram showing an example of a procedure for determining an area for which re-mapping is recommended;
  • Example 1 generates a first image group generated by adding different noise to the same image among the images included in the image group, and a second image group composed of different images, a feature quantity extraction unit that learns to approximate feature quantities obtained from the first image group, learns to make the feature quantity obtained from the second image group more different, and extracts the feature quantity;
  • a feature amount mapping unit that maps a plurality of feature amounts in two dimensions or three dimensions using manifold learning, a display unit that displays the mapping result, and displays a teacher information addition work screen for performing teacher information addition work, and an embodiment of the image classification device and method thereof.
  • Fig. 1 shows a configuration example of the image classification device according to the first embodiment.
  • the image classification apparatus of this embodiment includes a feature quantity extraction unit 101 that extracts feature quantities of images included in an image group D2 using an image classification model D1, and a plurality of feature quantities D3 that are mapped two-dimensionally or three-dimensionally.
  • a feature amount mapping unit 102 and a display unit 103 for displaying a teacher information addition work screen are provided, and a feature amount distribution map correctly separated for each feature is displayed to realize efficient teacher information addition work.
  • the feature amount extraction unit 101 and the feature amount mapping unit 102 can be realized by executing a predetermined function processing program in a normal central processing unit (CPU).
  • the feature quantity extraction unit 101 is composed of a feature quantity extractor 101-1 for the image classification model and a dimension reducer 101-2 for stepwise reduction of dimensions.
  • the number of dimensions of the feature quantity output by the feature quantity extractor of the image classification model used in deep learning may be 1,000 or more. Since the difference in numbers is large and important features may be reduced, the dimension is reduced step by step using the dimension reducer 101-2.
  • the plurality of feature quantities D3 are less than or equal to the number of dimensions output by the feature quantity extractor and are four or more dimensions.
  • the dimension reducer can be realized by using a neural network or the like.
  • the feature quantity mapping unit 102 can be realized by using, for example, mapping using manifold learning.
  • the image classification model D1 may or may not be a model that you want to learn after giving teacher information.
  • the input image group D2 is composed of an image group to which teacher information is assigned and an image group to which no teacher information is assigned.
  • the teacher information indicates the class of the object mainly appearing in the image.
  • the images of the image group to which the teacher information is not assigned may be images that are not classified into any class of the image group to which the teacher information is assigned.
  • the size of the image group to which the teacher information is assigned does not matter as to the images of the image group to which the teacher information is not assigned.
  • FIG. 2 shows an example of the processing of the feature quantity extraction unit 101 in FIG.
  • the feature quantity extractor 101-1 and dimension reducer 101-2 of the image classification model D1 are learned using the image group D2, and in processing step S202, the learned feature quantity extractor 101-1 and A dimension reducer 101-2 is used to extract the feature quantity of the image group, reduce the dimension, and output.
  • FIG. 3 is a diagram explaining an example procedure of a method for learning the feature quantity extractor 101 of the image classification model D1.
  • the feature quantity extraction unit 101 simultaneously performs two types of learning for the feature quantity extractor D1-1 of the image classification model D1.
  • One is learning using teacher information, and supervised learning of the feature quantity extractor 101-1 and dimension reducer 101-2 is performed using an image group to which teacher information is assigned in processing step S301.
  • processing step S302 a plurality of images are obtained from the image group D2 and divided into one image D4 and a second image group D5, which is the other image group. At this time, the number of acquired images is two or more, and the number of images in the second image group D5 is one or more.
  • processing step S303 a plurality of patterns of noise are added to one image D4 to such an extent that the class of the object shown in the image does not change, and a plurality of images are generated as a first image group D6.
  • processing step S304 the feature amount of the first image group D6 generated from a single image D4 is learned so as to be similar. The amount learns to be more different.
  • the degree of similarity between the feature amounts of the first image group is evaluated using cosine similarity or the like, and learning is performed so that the degree of similarity increases.
  • the processing step S305 it can be realized by learning such that the degree of similarity is similarly reduced.
  • the evaluation of similarity may use the average value of the Euclidean distance, and the method is not limited.
  • FIG. 4 shows examples of different noises added in processing step S303.
  • Image IM1, image IM2, image IM3, and image IM4 show examples in which noise is added to image IM0 of the moon. Since the image IM0 has more pixels in the non-moon portion than the moon pixels in the image, in the mapping by the principal component analysis, in the image group of the moon included in the image group, the fluctuation of the pixels in the non-moon portion is the main factor. Mapping may be performed as a component.
  • the images IM1, IM2, and IM3 are geometric noise.
  • Image IM1 is an example in which noise is added by cropping a partial random area of image IM0. At this time, it is desirable that the size of the area to be cropped is such that it contains the pixels of the moon as much as possible.
  • Image IM2 is an example in which image IM0 is horizontally reversed.
  • Image IM3 is an example in which image IM0 is rotated clockwise by 90 degrees, and the rotation angle is not limited.
  • Image IM4 is an example in which a random value is added for each pixel of image IM0.
  • processing step S304 it is possible to learn that variations in pixel values due to noise are not important features.
  • the noise shown in FIG. 4 may be combined, and a plurality of images can be generated by random combination.
  • FIG. 5 shows an example of a screen for assigning teacher information collectively by designating a feature quantity distribution area shown on the teacher information assignment work screen of the display unit 103 .
  • the user can confirm the distribution of the feature quantity, and assign training information to multiple well-separated feature quantities as Class 1 at once by specifying the region.
  • FIG. 6 shows an example of a screen in which thumbnails of images are displayed at positions where each image is distributed according to the feature amount distribution displayed on the teacher information addition work screen of the display unit 103 .
  • FIG. 7 shows an example of emphasizing and displaying an area in which a plurality of feature amounts are dense and well separated from other feature amounts in the feature amount distribution displayed on the teacher information addition work screen of the display unit 103 .
  • clustering is performed on multiple feature values mapped using X-means, etc., and cluster areas with small cluster variance and large distances from other clusters are emphasized. do.
  • the distance here can be realized using the Euclidean distance or the like.
  • FIG. 8 shows an example of a screen that emphasizes and displays isolated feature amounts compared to other feature amounts in the feature amount distribution displayed on the teacher information addition work screen of the display unit 103 .
  • a point with a large distance from the neighboring feature quantity is emphasized.
  • the number of feature values distributed in the range below a certain distance of the target feature value is small, it may be determined as a feature value to be emphasized, or if the average distance to other feature values is large, may be determined as a feature quantity to be emphasized.
  • FIG. 9 shows an example of a screen for designating an area to be re-mapped in the feature amount distribution displayed on the teacher information addition work screen of the display unit 103.
  • Mapped features may be well-separated features with little variation and features with poor separation and high variability may be displayed. It is possible to display a plurality of well-separated feature values with little variation by performing mapping again in the feature value mapping unit using the .
  • Fig. 10 illustrates an example of a procedure for determining an area for which mapping is recommended again.
  • a clustering result CL1 of a plurality of feature values D3 output by the feature value extraction unit and a clustering result CL2 of a plurality of two-dimensional or three-dimensional feature values D6 output by the feature value mapping unit 102 are compared, and features with different results are identified.
  • An area with a large amount is displayed as an area to be remapped in S1002.
  • a plurality of feature values before mapping are clustered using X-means or the like, and a plurality of feature values mapped in two or three dimensions are similarly clustered to obtain respective clustering results CL1 and CL2.
  • the majority of the clusters to which the plurality of feature quantities before mapping corresponding to the plurality of feature quantities of the post-mapping cluster i belong is defined as the pre-mapping cluster i.
  • the number of feature values other than the pre-mapping cluster i among the plurality of feature values corresponding to the post-mapping cluster i is calculated, and when the threshold value is exceeded, the region of the pre-mapping cluster i is displayed as a region for which mapping is recommended again.
  • the present invention is not limited to the above-described examples, and includes various modifications.
  • the above embodiments have been described in detail for better understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • the above-described configurations, functions, etc. have mainly been described by creating a program that implements part or all of them, but part or all of them can be implemented in hardware by designing them in an integrated circuit, for example. Needless to say, it can be realized. That is, all or part of the functions of the processing unit may be realized by integrated circuits such as ASIC (Application Specific Integrated Circuit) and FPGA (Field Programmable Gate Array) instead of programs.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

画像内の重要な特徴量を抽出しマッピングを行うことができる画像分類装置及びその方法を提供する。画像群に含まれる画像のうち同じ画像に対して異なるノイズを付与して生成された第一の画像群と異なる画像によって構成される第二の画像群を生成し、第一の画像群から得られる特徴量が近似するように学習し、第二の画像群から得られる特徴量はより異なるように学習し特徴量を抽出する特徴量抽出部１０１と、抽出した複数の特徴量を、多様体学習を用いて二次元又は三次元にマッピングする特徴量マッピング部１０２と、マッピング結果を表示し教師情報付与作業画面を構成する表示部１０３とを備える。

Description

画像分類装置及び方法
　本発明は画像分類装置及び方法に係り、特に学習機能を備えた画像分類システムにおける教師データ作成コストを削減するための技術に関する。
　学習機能を備えた画像分類システムは、深層学習等の画像分類モデルを用いて構成されることがある。深層学習等の画像分類モデルを用いる場合、教師データとして多くの入力画像と画像の種別を表す教師情報が必要であり、データ数が多い場合そのコストは膨大である。
　その対策として、画像が持つ特徴量を人が確認できる形にマッピングし教師情報作成作業を支援している。例えば特許文献１では、画像群に対して主成分分析を行い、可視化のため二次元又は三次元にマッピングして画像が持つ特徴ごとに分離している特徴量の分布を表示することで、工数を削減する取り組みが行われてきた。
特開２０１９－６６９９３号公報
　特許文献１では、画像群に対して主成分分析を行い特徴量を二次元又は三次元にマッピングするが、主成分分析はデータ間のばらつきが最も大きくなる軸を二次元又は三次元で決定しそれ以外の次元は削減する手法のため、画像内の大きい特徴のみを捉えるようにマッピングを行い、画像内の小さい特徴は無視されてしまう。そのため、画像内の小さい領域に重要な情報がある場合は適切ではない。また、画素値のノイズのばらつきが大きい画像群だとノイズを軸として捉えてしまい、重要な情報が削減されてしまう場合がある。
　上記の課題を解決するため、本発明においては、画像内の小さい領域に重要な情報がある場合やノイズが多い画像群でも重要な特徴量を抽出しマッピングを行うことができる画像分類装置及び方法を提供することを目的とする。
　上記の課題を解決するため、本発明においては、画像分類を行う画像分類装置であって、画像群に含まれる画像のうち同じ画像に対して異なるノイズを付与して生成された第一の画像群と、異なる画像によって構成される第二の画像群を生成し、前記第一の画像群から得られる特徴量が近似するように学習し、前記第二の画像群から得られる特徴量はより異なるように学習し、特徴量を抽出する特徴量抽出部と、抽出した複数の特徴量を、多様体学習を用いて二次元又は三次元にマッピングする特徴量マッピング部と、マッピング結果を表示し、教師情報付与作業を行う教師情報付与作業画面を表示する表示部と、を備える構成の画像分類装置を提供する。
　また上記の目的を達成するため、本発明においては、画像分類を行う画像分類方法であって、画像群に含まれる画像のうち同じ画像に対して異なるノイズを付与して生成された第一の画像群と、異なる画像によって構成される第二の画像群を生成し、前記第一の画像群から得られる特徴量が近似するように学習し、前記第二の画像群から得られる特徴量はより異なるように学習し、特徴量を抽出し、抽出した複数の特徴量を、多様体学習を用いて二次元又は三次元にマッピングし、マッピング結果を教師情報付与作業画面に表示する画像分類方法を提供する。
　本発明によれば、重要な画像内の小さい領域を重要な特徴量として捉えることとノイズにロバストな特徴量抽出を行うことができ、二次元又は三次元にマッピングすることが可能となる。これにより、適切な教師データ作成を支援し、画像分類モデルの精度向上に必要な工数を削減できる。
実施例１に係る画像分類装置の一例を示す図。 特徴量抽出部の処理手順の概要の一例を示す図。 特徴量抽出部を実現するための画像分類モデルの学習処理手順例を示す図。 図３の処理ステップＳ３０３のノイズ付与の種類の例を示す図。 教師情報付与作業画面で領域を選択し一括で教師情報付与する一例を示した図。 教師情報付与作業画面でサムネイル画像を表示する一例を示した図。 教師情報付与作業画面で複数の特徴量が密集し他の特徴量とよく分離している領域を強調して表示する画面の一例を示した図。 教師情報付与作業画面で他の特徴量と比べて孤立している特徴量を強調して表示する画面の一例を示す図。 教師情報付与作業画面で再度マッピングを行う領域を指定する画面の一例を示す図。 再度マッピングを推奨する領域の決定処理手順の一例を示す図。
　以下本発明の実施例について、図面を参照して詳細に説明する。
　実施例１は、画像群に含まれる画像のうち同じ画像に対して異なるノイズを付与して生成された第一の画像群と、異なる画像によって構成される第二の画像群を生成し、前記第一の画像群から得られる特徴量が近似するように学習し、前記第二の画像群から得られる特徴量はより異なるように学習し、特徴量を抽出する特徴量抽出部と、抽出した複数の特徴量を、多様体学習を用いて二次元又は三次元にマッピングする特徴量マッピング部と、マッピング結果を表示し、教師情報付与作業を行う教師情報付与作業画面を表示する表示部と、を備える構成の画像分類装置、及びその方法の実施例である。
　図１に実施例１に係る画像分類装置の一構成例を示す。本実施例の画像分類装置は、画像群Ｄ２に含まれる画像の特徴量を画像分類モデルＤ１を用いて抽出する特徴量抽出部１０１と、複数の特徴量Ｄ３を二次元又は三次元にマッピングする特徴量マッピング部１０２と、教師情報付与作業画面を表示する表示部１０３を備え、正しく特徴ごとに分離された特徴量分布図を表示し、効率的な教師情報付与作業を実現する。特徴量抽出部１０１や特徴量マッピング部１０２は、通常の中央処理部（ＣＰＵ）で所定の機能処理プログラムを実行することで実現できる。
　特徴量抽出部１０１は画像分類モデルの特徴量抽出器１０１－１と段階的に次元を縮約するための次元縮約器１０１－２から構成される。深層学習で用いる画像分類モデルの特徴量抽出器が出力する特徴量の次元数は千以上である場合があり、直接特徴量マッピング部１０２に入力して二次元又は三次元にマッピングする際、次元数の差が大きく重要な特徴が削減されてしまう可能性があるため、次元縮約器１０１－２を用いて段階的に次元を縮約する。このとき複数の特徴量Ｄ３は特徴量抽出器の出力する次元数以下、四以上の次元である。ここで、次元縮約器はニューラルネットワーク等を用いることで実現できる。特徴量マッピング部１０２は一例として多様体学習を用いたマッピングを用いることで実現できる。
　画像分類モデルＤ１は教師情報付与後に学習させたいモデルでもよく、そうでなくてもよい。入力となる画像群Ｄ２は教師情報が付与されている画像群と教師情報が付与されていない画像群から構成される。ここで教師情報とは画像に主に写っている対象物のクラスを示している。このとき、教師情報が付与されていない画像群の画像は教師情報が付与されている画像群がもついずれかのクラスに分類されない画像でもよい。また、教師情報が付与されていない画像群の画像は教師情報が付与されている画像群の大小は問わない。
　図２は図１の特徴量抽出部１０１の処理の一例を示す。処理ステップＳ２０１では画像分類モデルＤ１の特徴量抽出器１０１－１と次元縮約器１０１－２を、画像群Ｄ２を用いて学習し、処理ステップＳ２０２では学習された特徴量抽出器１０１－１と次元縮約器１０１－２を用いて画像群の特徴量を抽出、次元を縮約し出力する。
　図３は画像分類モデルＤ１の特徴量抽出器１０１を学習する方法の手順例を説明する図である。特徴量抽出部１０１は画像分類モデルＤ１の特徴量抽出器Ｄ１―１の二種類の学習を同時に行う。
　一方は教師情報を用いる学習であり、処理ステップＳ３０１で教師情報が付与されている画像群を用いて特徴量抽出器１０１－１と次元縮約器１０１－２の教師あり学習を行う。
　もう一方では教師情報を用いずに学習を行い、処理ステップＳ３０２以降に示す。処理ステップＳ３０２では画像群Ｄ２から画像を複数枚取得し１枚の画像Ｄ４とそれ以外の画像群である第二画像群Ｄ５に分ける。このとき、取得する枚数は２枚以上とし、第二画像群Ｄ５の枚数は１枚以上とする。
　処理ステップＳ３０３では１枚の画像Ｄ４に対して画像に写っている対象物のクラスが変わらない程度の複数パターンのノイズを付与し、複数の画像を生成し第一画像群Ｄ６とする。処理ステップＳ３０４では１枚の画像Ｄ４から生成されている第一画像群Ｄ６の特徴量は近似するように学習し、処理ステップＳ３０５では複数の異なる画像から構成されている第二画像群Ｄ５の特徴量はより異なるように学習する。
　処理ステップＳ３０４では例えば第一画像群の各特徴量同士の類似度をコサイン類似度等を用いて評価し、類似度が大きくなるように学習することで実現できる。処理ステップＳ３０５では同様に類似度が小さくなるように学習することで実現できる。類似度の評価はユークリッド距離の平均値を用いてもよく、手法を限定しない。
　図４は処理ステップＳ３０３にて付与する異なるノイズの例を示す。月の画像ＩＭ０にノイズを付与した例を、画像ＩＭ１、画像ＩＭ２、画像ＩＭ３、画像ＩＭ４に示している。画像ＩＭ０は画像のうち月の画素よりも月で無い部分の画素の方が多いため、主成分分析によるマッピングでは画像群に含まれる月の画像群において、月で無い部分の画素の変動を主成分としてマッピングを行ってしまう場合がある。
　画像ＩＭ１、画像ＩＭ２、画像ＩＭ３は幾何的なノイズである。画像ＩＭ１は画像ＩＭ０の一部のランダムな領域をクロップするノイズを加えた例である。このとき、クロップする領域のサイズはなるべく月の画素が含まれるようなサイズが望ましい。画像ＩＭ２は画像ＩＭ０を左右反転した例である。画像ＩＭ３は画像ＩＭ０を時計回りに９０度回転した例であり、回転する角度は限定しない。このような画像を複数枚生成し、処理ステップＳ３０４にて学習することにより月の画素と比べて異なる画像同士で変動の多い月で無い画素（例えば雲の形など）は重要ではないという学習を行うことができる。
　画像ＩＭ４は画像ＩＭ０の画素ごとにランダムな値を足した例である。このような画像を複数枚生成し、処理ステップＳ３０４にて学習することにより、画素値のノイズによるばらつきは重要な特徴ではないことを学習できる。
処理ステップＳ３０４では図４に示すノイズを複合してもよく、ランダムに複合することで複数の画像が生成できる。
　図５では表示部１０３の教師情報付与作業画面にて示される特徴量分布の領域を指定し一括で教師情報を付与する画面の一例を示す。ユーザは特徴量分布を確認し、よく分離している複数の特徴量を、領域を指定することでClass 1として一括で教師情報を付与できる。
　図６では表示部１０３の教師情報付与作業画面にて表示される特徴量分布にて各画像が分布された位置に画像のサムネイルを表示した画面の一例を示す。ユーザにサムネイルを提示することで特徴量分布の正しさを容易に確認でき、効率的に教師情報を付与できる。
　図７では表示部１０３の教師情報付与作業画面にて表示される特徴量分布にて複数の特徴量が密集し他の特徴量とよく分離している領域を強調して表示する一例を示す。強調して表示する領域の決定方法の一例として、Ｘ－ｍｅａｎｓ等を用いてマッピングされた複数の特徴量をクラスタリングし、クラスタの分散が小さく、他のクラスタとの距離が大きいクラスタの領域を強調する。ここでの距離はユークリッド距離等を用いて実現できる。
　図８では表示部１０３の教師情報付与作業画面にて表示される特徴量分布にて他の特徴量と比べて孤立している特徴量を強調して表示する画面の一例を示す。強調して表示する特徴量の決定方法の一例として、近傍の特徴量との距離が大きい点を強調する。
　ここで対象の特徴量のある距離以下の範囲にて分布している特徴量の個数が少ない場合に強調する特徴量として決定してもよいし、ほかの特徴量までの距離の平均が大きい場合に強調する特徴量として決定してもよい。
　図９では表示部１０３の教師情報付与作業画面にて表示される特徴量分布にて再度マッピングを行う領域を指定する画面の一例を示す。マッピングされた複数の特徴量はよく分離さればらつきの少ない複数の特徴量とあまり分離されていなくばらつきの多い複数の特徴量が表示される場合があり、この場合ばらつきの多い複数の特徴量のみを用いて再度特徴量マッピング部にてマッピングを行うことでよく分離さればらつきの少ない複数の特徴量を表示することが可能となる。
　図１０では再度マッピングを推奨する領域の決定処理手順の一例を説明する。特徴量抽出部により出力された複数の特徴量Ｄ３をクラスタリング結果ＣＬ１と特徴量マッピング部１０２により出力された二次元または三次元の複数の特徴量Ｄ６のクラスタリング結果ＣＬ２を比較し、結果が異なる特徴量が多い領域を再度マッピングすべき領域として表示Ｓ１００２する。
　マッピング前の複数の特徴量をＸ－ｍｅａｎｓ等でクラスタリングし、二次元または三次元にマッピングされた複数の特徴量を同様にクラスタリングし、それぞれのクラスタリング結果ＣＬ１、ＣＬ２を得る。マッピング後クラスタｉの複数の特徴量に対応するマッピング前の複数の特徴量の所属するクラスタの多数派をマッピング前クラスタｉとする。マッピング後クラスタｉに対応する複数の特徴量のうちマッピング前クラスタｉでない特徴量の個数を計算し、閾値を超えたらマッピング前クラスタｉの領域を再度マッピングを推奨する領域として表示する。
　以上説明した本発明によれば、重要な画像内の小さい領域を重要な特徴量として捉えることとノイズにロバストな特徴量抽出を行うことができ、二次元又は三次元にマッピングすることが可能となる。これにより、適切な教師データ作成を支援し、画像分類モデルの精度向上に必要な工数を削減できる。
　本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。更に、上述した各構成、機能等は、それらの一部又は全部を実現するプログラムを作成する例を中心に説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。すなわち、処理部の全部または一部の機能は、プログラムに代え、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などの集積回路などにより実現してもよい。
１０１　特徴量抽出部
１０２　特徴量マッピング部
１０３　教師情報付与作業画面
１０４　再度マッピング
１０５　再度マッピング結果

Claims (11)

  1. 画像分類を行う画像分類装置であって、
    画像群に含まれる画像のうち同じ画像に対して異なるノイズを付与して生成された第一の画像群と、異なる画像によって構成される第二の画像群を生成し、前記第一の画像群から得られる特徴量が近似するように学習し、前記第二の画像群から得られる特徴量はより異なるように学習し、特徴量を抽出する特徴量抽出部と、
    抽出した複数の特徴量を、多様体学習を用いて二次元又は三次元にマッピングする特徴量マッピング部をと、
    マッピング結果を表示し、教師情報付与作業を行う教師情報付与作業画面を表示する表示部と、
    を備える、
    ことを特徴とする画像分類装置。
  2. 請求項１に記載の画像分類装置であって、
    前記特徴量抽出部は、抽出された特徴量の次元数が大きい場合による多様体学習によるマッピングの精度悪化を回避することを目的に教師情報を用いて学習された次元縮約部を備える、
    ことを特徴とする画像分類装置。
  3. 請求項１に記載の画像分類装置であって、
    前記教師情報付与作業画面は、指定された領域内に含まれる複数の特徴量を再度マッピングし表示する、
    ことを特徴とする画像分類装置。
  4. 請求項１に記載の画像分類装置であって、
    前記教師情報付与作業画面は、マッピングされた複数の特徴量のうち近傍点との距離が遠い特徴量を強調して表示する、
    ことを特徴とする画像分類装置。
  5. 請求項１に記載の画像分類装置であって、
    前記教師情報付与作業画面は、マッピングされた複数の特徴量のうち特徴量分布の密度が高い領域を強調して表示する、
    ことを特徴とする画像分類装置。
  6. 請求項１に記載の画像分類装置であって、
    前記教師情報付与作業画面は、複数の特徴量がマッピングされた位置に画像のサムネイルを表示することを特徴とする画像分類装置。
  7. 請求項１に記載の画像分類装置であって、
    　前記教師情報付与作業画面は、マッピングされた複数の特徴量をマップ上にて領域選択により一括で教師情報付与できることを特徴とする画像分類装置。
  8. 請求項１に記載の画像分類装置であって、
    前記教師情報付与作業画面は、前記特徴量抽出部により出力された複数の特徴量のクラスタリング結果と前記特徴量マッピング部により出力された二次元または三次元の座標を用いたクラスタリング結果を比較し、結果が異なる場合は再度マッピングすべき領域を表示する、
    ことを特徴とする画像分類装置。
  9. 画像分類を行う画像分類方法であって、
    画像群に含まれる画像のうち同じ画像に対して異なるノイズを付与して生成された第一の画像群と、異なる画像によって構成される第二の画像群を生成し、前記第一の画像群から得られる特徴量が近似するように学習し、前記第二の画像群から得られる特徴量はより異なるように学習し、特徴量を抽出し、
    抽出した複数の特徴量を、多様体学習を用いて二次元又は三次元にマッピングし、
    マッピング結果を教師情報付与作業画面に表示する、
    ことを特徴とする画像分類方法。
  10. 請求項９に記載の画像分類方法であって、
    抽出された特徴量の次元数が大きい場合による多様体学習によるマッピングの精度悪化を回避することを目的に次元を縮約し出力する、
    ことを特徴とする画像分類方法。
  11. 請求項９に記載の画像分類方法であって、
    前記教師情報付与作業画面は、複数の特徴量のクラスタリング結果と前記二次元または三次元の座標を用いたクラスタリング結果を比較し、結果が異なる場合は再度マッピングすべき領域を表示する、
    ことを特徴とする画像分類方法。
PCT/JP2021/028252 2021-07-30 2021-07-30 画像分類装置及び方法 Ceased WO2023007693A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/580,712 US20240362892A1 (en) 2021-07-30 2021-07-30 Image Classification Device and Image Classification Method
KR1020237044265A KR20240012520A (ko) 2021-07-30 2021-07-30 화상 분류 장치 및 방법
PCT/JP2021/028252 WO2023007693A1 (ja) 2021-07-30 2021-07-30 画像分類装置及び方法
CN202180100164.XA CN117597707A (zh) 2021-07-30 2021-07-30 图像分类装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/028252 WO2023007693A1 (ja) 2021-07-30 2021-07-30 画像分類装置及び方法

Publications (1)

Publication Number Publication Date
WO2023007693A1 true WO2023007693A1 (ja) 2023-02-02

Family

ID=85086592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028252 Ceased WO2023007693A1 (ja) 2021-07-30 2021-07-30 画像分類装置及び方法

Country Status (4)

Country Link
US (1) US20240362892A1 (ja)
KR (1) KR20240012520A (ja)
CN (1) CN117597707A (ja)
WO (1) WO2023007693A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141051A1 (ja) * 2020-01-09 2021-07-15 ファナック株式会社 ワーク画像解析装置、ワーク画像解析方法、及びプログラム
JP7328915B2 (ja) * 2020-02-12 2023-08-17 株式会社日立ハイテク 画像分類装置及び方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014229115A (ja) * 2013-05-23 2014-12-08 キヤノン株式会社 情報処理装置および方法、プログラム、記憶媒体
JP2020034998A (ja) * 2018-08-27 2020-03-05 日本電信電話株式会社 拡張装置、拡張方法及び拡張プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6971112B2 (ja) 2017-09-29 2021-11-24 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援装置、分類装置および教師データ作成支援方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014229115A (ja) * 2013-05-23 2014-12-08 キヤノン株式会社 情報処理装置および方法、プログラム、記憶媒体
JP2020034998A (ja) * 2018-08-27 2020-03-05 日本電信電話株式会社 拡張装置、拡張方法及び拡張プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
P.Y. SIMARD, D. STEINKRAUS, J.C. PLATT: "Best practices for convolutional neural networks applied to visual document analysis", DOCUMENT ANALYSIS AND RECOGNITION, 2003. PROCEEDINGS. SEVENTH INTERNAT IONAL CONFERENCE ON AUG. 3-6, 2003, PISCATAWAY, NJ, USA,IEEE, vol. 1, 1 January 2003 (2003-01-01), pages 958 - 963, XP055545870, ISBN: 978-0-7695-1960-9, DOI: 10.1109/ICDAR.2003.1227801 *

Also Published As

Publication number Publication date
CN117597707A (zh) 2024-02-23
US20240362892A1 (en) 2024-10-31
KR20240012520A (ko) 2024-01-29

Similar Documents

Publication Publication Date Title
Rahtu et al. Affine invariant pattern recognition using multiscale autoconvolution
TWI716874B (zh) 影像處理裝置、影像處理方法、及影像處理程式
US6853374B2 (en) Image space display method and apparatus
CN110276342A (zh) 车牌辨识方法以及其系统
Wang et al. Transformer for 3D point clouds
CN110163025A (zh) 二维码定位方法及装置
CN111292335B (zh) 一种前景掩模特征图的确定方法、装置及电子设备
JPH03218581A (ja) 画像セグメンテーション方法
CN111179193B (zh) 基于DCNNs和GANs的皮肤镜图像增强和分类方法
CN111832476A (zh) 版面分析方法、阅读辅助设备、电路和介质
CN113780305A (zh) 一种基于两种线索交互的显著性目标检测方法
WO2023007693A1 (ja) 画像分類装置及び方法
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
CN105225218B (zh) 用于文档图像的畸变校正方法和设备
CN108734773A (zh) 一种用于混合图片的三维重建方法及系统
US7751621B1 (en) Method and system for rapid object recall within images
JPH1091782A (ja) 濃淡画像用特定部位抽出方法
CN111507252A (zh) 人体跌倒检测装置、方法、电子终端及存储介质
CN116584100B (zh) 适合于覆盖媒体内容的图像空间检测
CN119516524B (zh) 一种多余物检测数据集制作方法
CN111784561A (zh) 用于从图像中提取对象的方法、装置和存储介质
CN111435448B (zh) 图像显著性物体检测方法、装置、设备及介质
CN119672704A (zh) 一种可用于虚拟设备的多种类菜品识别方法及系统
CN113470183A (zh) 用于等矩形全景图语义解释的多视图一致性正则化
CN116385941B (zh) 用于生成中间特征的神经网络的训练方法、装置及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21951893

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237044265

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237044265

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 202180100164.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21951893

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP