WO2022208632A1 - 推論装置、推論方法、学習装置、学習方法、及びプログラム - Google Patents

推論装置、推論方法、学習装置、学習方法、及びプログラム Download PDF

Info

Publication number
WO2022208632A1
WO2022208632A1 PCT/JP2021/013407 JP2021013407W WO2022208632A1 WO 2022208632 A1 WO2022208632 A1 WO 2022208632A1 JP 2021013407 W JP2021013407 W JP 2021013407W WO 2022208632 A1 WO2022208632 A1 WO 2022208632A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
domain
mathematical model
inference
image
Prior art date
Application number
PCT/JP2021/013407
Other languages
English (en)
French (fr)
Inventor
友哉 澤田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN202180096136.5A priority Critical patent/CN117099127A/zh
Priority to JP2023509940A priority patent/JP7274071B2/ja
Priority to EP21934805.9A priority patent/EP4296939A4/en
Priority to PCT/JP2021/013407 priority patent/WO2022208632A1/ja
Priority to KR1020237031632A priority patent/KR102658990B1/ko
Publication of WO2022208632A1 publication Critical patent/WO2022208632A1/ja
Priority to US18/235,677 priority patent/US20230394807A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Definitions

  • the technology disclosed herein relates to an inference device, an inference method, a learning device, a learning method, and a program.
  • a technology related to an identification device that uses pre-learned information to make inferences for images captured by a camera and performs various types of identification is known.
  • a discriminating device that makes this inference is disclosed that uses a neural network and is reinforced by machine learning such as deep learning.
  • the prior art exemplified in Patent Document 1 is certainly robust against image change levels due to external factors such as weather. However, when trying to handle images with different domains, the prior art cannot learn and reason correctly because the level of change in the images is too great.
  • the domain here means the type of image, and includes, for example, an actual RGB image, a Thermal Infrared image (hereinafter referred to as "TIR image") by an infrared camera, an illustration image, an image generated by a CG simulator, and the like.
  • TIR image Thermal Infrared image
  • a situation where it is necessary to handle images with different domains is when there is an abundance of actual RGB images for training in person recognition using a surveillance camera using infrared images, but there is not an abundance of TIR images to be learned. be.
  • the disclosed technology aims to solve the above problems and provide an inference device, an inference method, a learning device, a learning method, and a program that can correctly perform learning and inference even for images with different domains.
  • a learning device is a learning device that includes a coupled mathematical model capable of machine learning and learns a dataset of a target domain from a dataset of an original domain for a teacher, wherein the front part of the coupled mathematical model is generating a plurality of low-level feature maps from input image data, comparing the low-level feature maps of datasets belonging to the same type of learning object for the original domain and the target domain of the image data, and Calculating shared features, and calculating domain relaxation learning information for each space of (1) color, (2) luminance, (3) low frequency components, and (4) high frequency components among the domain shared features.
  • the learning device makes good use of the essence of learning, which is the order of acquired feature quantities.
  • the essence is that the mathematical model represented by CNN completes learning faster for simple feature values represented by "color" in learning.
  • the learning device can handle images with different domains in learning. Also, by using the information learned by the learning device according to the technology disclosed herein, images with different domains can be handled in inference.
  • FIG. 1 is a system block diagram showing a configuration example of a system including a learning device and an inference device according to Embodiment 1.
  • FIG. 2 is a flow chart showing a processing flow of the system according to Embodiment 1.
  • FIG. 2A shows the flow of learning and inferring images in the original domain.
  • FIG. 2B shows the filter learning flow in preparation for processing the target domain image.
  • FIG. 2C shows the flow when learning and inferring images of the target domain.
  • FIG. 3 is a system block diagram showing a configuration example of a system including a learning device and an inference device according to Embodiment 2.
  • FIG. 4 is a schematic diagram showing the idea of the technology disclosed herein.
  • FIG. 5 is an explanatory diagram No. 1 supplementing the idea of the disclosed technique.
  • FIG. 6 is a second explanatory diagram supplementing the idea of the disclosed technique.
  • the disclosed technology will be clarified by the following description of each embodiment with reference to the drawings.
  • the technology disclosed herein is used in various identification devices that use pre-learned information to perform inference with respect to a captured image captured by a camera.
  • the technology disclosed herein can also be used, for example, in surveillance cameras using infrared images, futuristic room air conditioners equipped with human detection cameras, and the like. More specifically, the disclosed technology relates to learning and inferring a target domain dataset from an original domain dataset for training.
  • the disclosed technology is effective in situations where it is necessary to handle images with different domains.
  • a surveillance camera using infrared images there are a lot of actual RGB images, which are a data set for learning, but there are not a lot of TIR images to be learned.
  • the type of image that can be abundantly prepared for learning such as an actual RGB image
  • the type of an image that is originally desired to be learned such as a TIR image
  • a target domain the type of an image that is originally desired to be learned
  • a CNN is also called a convolutional neural network and has properties such as global position invariance and rotation invariance.
  • a CNN is a type of multilayer perceptron that combines a convolution layer, a pooling layer, and a fully connected layer.
  • Each layer of the image and CNN handled by the technology of the present disclosure can be represented by the spatial resolution and channel of the feature map, respectively.
  • the number of dimensions of an image is determined by the number of pixels in the horizontal direction, the number of pixels in the vertical direction, and the number of channels.
  • the number of channels is 3 for an RGB image and 1 for a TIR image, and horizontal and vertical dimensions are different values. That is, the total number of dimensions of an image can be represented by the number of pixels in the horizontal direction ⁇ the number of pixels in the vertical direction ⁇ channels.
  • a convolutional layer in a CNN performs an operation called two-dimensional convolution.
  • a Gaussian filter that performs a blurring operation is well known as one that performs a convolution operation in general image processing.
  • a filter that performs a convolution operation is called a convolution filter.
  • Processing by a convolution filter places a kernel, which can be regarded as a small image patch such as 3x3, in each pixel of the input image, and outputs the inner product of the input image and the kernel to each pixel.
  • Convolutional layers in CNN usually have multiple layers with multiple convolutional filters, and in deep learning, Activation and Batch Normalization are introduced before and after the convolutional layers to eliminate gradients. It has the effect of preventing over-learning with respect to the locality of learning data.
  • a nonlinear function such as ReLU (Rectified Linear Unit), Sigmoid, or Softmax is used. It avoids the vanishing gradient problem, which makes it impossible to differentiate in linear space.
  • a convolutional layer can be arbitrary dimensional, such as an input with M channels and an output with N channels. The number of convolution filters that a convolution layer has is expressed as a channel. The size of the convolutional layer can be represented by the number of channels in the output layer ⁇ the vertical size of the feature map ⁇ the horizontal size of the feature map.
  • the output of the convolutional layer which contains spatial information, is called a Feature Map or Feature Map.
  • a pooling layer in a CNN performs an image resolution-reducing operation, also called subsampling, to reduce the size of features while preserving them, thereby reducing the position sensitivity of features and achieving global position and rotation invariance. . Since the CNN for image classification finally outputs a vector, the resolution is lowered step by step. There are several methods for the pooling layer, but maximum value pooling is often used. Maximum value pooling performs resizing to output the maximum value for each feature map.
  • a convolution layer and a pooling layer are layers that utilize the structure of an image and have spatial information.
  • the fully connected layer is sometimes placed at the end of the network. Unlike the convolutional layer and the pooling layer, the fully connected layer does not have a structure of horizontal ⁇ vertical ⁇ channel, and quantized features are described as vectors. Fully-connected layers are sometimes used for dimensionality reduction and expansion, where each pixel in the feature map is connected not only to the neighborhood but also to the entire region to obtain more conceptual high-dimensional semantics. It becomes possible to
  • FIG. 1 is a system block diagram showing a configuration example of a system including a learning device 1 and an inference device 2 according to Embodiment 1.
  • the system according to the disclosed technology includes a learning device 1, an inference device 2, a shared storage device 3 in which information can be shared between the learning device 1 and the inference device 2, and an external storage device accessed by the learning device 1. a device 4;
  • the learning device 1 includes an image input unit 10, a shallow layer feature amount extraction unit 11, a common feature amount calculation unit 12, a domain relaxation learning information calculation unit 13, and a high-dimensional feature amount addition unit 14. , and a learning information correction unit 15 .
  • the inference device 2 includes a deep feature amount extraction unit 20 and an attribute regression unit 21 .
  • FIG. 2 is a flow chart showing the processing flow of the system according to the first embodiment.
  • FIG. 2A shows the flow of learning and inferring images in the original domain.
  • FIG. 2B shows the filter learning flow in preparation for processing the target domain image.
  • FIG. 2C shows the flow when learning and inferring images of the target domain.
  • both the learning of images in the original domain and the learning of images in the target domain are classified as supervised learning.
  • the shaded portions in FIGS. 2B and 2C indicate steps performed by shallow-layer CNN 100, described below.
  • the original domain image may be learned by constructing a machine learning model that performs image recognition using CNN, which is a typical method of deep learning.
  • the process of constructing this machine learning model includes a step ST1 of inputting an image, a step ST2 of extracting a feature amount, a step ST3 of calculating an object position or attribute, and a step ST4 of outputting an inference result. and have
  • Machine learning has different purposes depending on the context in which the machine learning model is used. For example, when using a machine learning model in an object recognition device, the goal is to estimate what is where. For example, if the object in the image is a car, the purpose is to infer what attribute the car is at at what position in the image.
  • a method is known in which a feature amount of a teacher image that has been categorized in advance is extracted and a machine learning model is constructed from plots in the feature amount space.
  • SVM support vector machine
  • the like are known as a method of obtaining the boundaries of each category in this feature amount space. Since features are usually multi-dimensional, the feature space is also called a high-dimensional feature space.
  • Step ST3 of calculating the object position or attribute in FIG. 2A corresponds to the process of classifying the attributes of the image or the process of regression of the position of the object.
  • the learning of the images of the target domain is performed at the stage when the learning of the images of the original domain is completed. Learning images of the target domain is done in two stages.
  • the two-stage learning includes learning (hereinafter referred to as “filter learning”) in the shallow feature amount extraction unit 11, the common feature amount calculation unit 12, and the domain relaxation learning information calculation unit 13, and the deep feature amount extraction unit 20 (hereinafter referred to as “main learning”).
  • Image data of the target domain is first input to the learning device 1 via the image input unit 10 .
  • Image data input via the image input unit 10 is output to the shallow layer feature amount extraction unit 11 .
  • the flow of processing in filter learning is shown in FIG. 2B, and the flow of processing in main learning is shown in FIG. 2C.
  • the shallow layer feature amount extraction unit 11 is composed of a plurality of image filters that output a plurality of low-level feature maps from input image data. Since the shallow layer feature amount extraction unit 11 is a plurality of image filters, it is conceivable to configure it with a CNN convolution layer.
  • the shallow layer feature amount extraction unit 11, the common feature amount calculation unit 12, and the domain relaxation learning information calculation unit 13 are included in the shallow layer CNN (hereinafter referred to as "shallow layer CNN 100"). Consists of The shallow layer CNN 100, which is a shallow CNN, has a common feature value (in English, Domain Shared Features, hereinafter referred to as "domain-sharing features”) are extracted.
  • the image data of the original domain and the image data of the target domain are input to the shallow layer feature amount extraction unit 11 as teacher data.
  • the plotting to the high-dimensional feature amount space seems random, but gradually, a certain rule can be seen in the distribution for each image category.
  • FIG. 5 is an explanatory diagram No. 1 supplementing the idea of the disclosed technique.
  • the disclosed technique selects (1) color, (2) luminance, (3) low-frequency components, and (4) high-frequency components, which are low-level features, according to the learning epoch. Teach the ingredients to intensity.
  • the feature map output by the shallow layer feature amount extraction unit 11 includes low-level features (Low- level Feature). (3) The low-frequency component may be rephrased as blur information in the image. Also, (4) the high-frequency component may be rephrased as edge and texture.
  • the shallow layer feature amount extraction unit 11 performs step ST12 for extracting low-level feature amounts.
  • the domain-shared feature amount is strongly supervised according to the degree to which the main learning of the image of the target domain progresses.
  • a method called attention is used as a method of obtaining a feature map (hereinafter referred to as a "weighted feature map”) in which the domain-sharing feature amount is emphasized.
  • attention is a method of automatically learning which area of the feature map output by CNN should be focused on.
  • Attention is the weighting of the region of interest.
  • a feature map has horizontal and vertical spatial dimensions and a channel dimension
  • a teaching method using attention also has attention in the spatial direction and attention in the channel direction.
  • a technique called an SE block is disclosed for attention in the channel direction (for example, Non-Patent Document 1).
  • Non-Patent Document 1 Hu, Jie, Li Shen, and Gang Sun. "Squeeze-and-excitation networks.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
  • FIG. 6 is a second explanatory diagram supplementing the idea of the disclosed technology.
  • the common feature quantity calculator 12 of the shallow layer CNN 100 compares feature maps of data sets belonging to the same category for two domains. A comparison of plots in the high-dimensional feature space is illustrated in the graph on the right side of FIG. FIG. 6 illustrates a comparison of datasets in the category "drying hair with a hair dryer", with the original domain being photographs and the target domain being illustrations. Below is an example of another plot comparison. For example, the category is men in their teens, and the two domains are an original domain of RGB images and a target domain of TIR images. Each teacher image is input to the shallow layer feature amount extraction unit 11, and each feature map is output.
  • the common feature amount calculation unit 12 compares the feature maps for each channel, and assigns a large weight to a channel in which domain-shared feature amounts exist. More specifically, the common feature quantity calculation unit 12 spatially compares the feature maps of the original domain and the target domain calculated by the common feature quantity calculation unit 12, and calculates the distance between the most similar feature maps, for example, The weight may be calculated by image correlation, pixel-by-pixel similarity, SSIM (Structure Similarity), or the like.
  • the common feature amount calculation unit 12 applies Global Average Pooling (GAP) to the feature maps to calculate the representative values, and calculates the distance between the representative values of the most similar feature maps using, for example, image correlation or Similarity in pixel units, SSIM (Structure Similarity), or the like may be calculated and used as a weight.
  • GAP Global Average Pooling
  • the common feature amount calculation unit 12 calculates a feature map that emphasizes the channel of interest (step ST13 for calculating domain-shared feature amounts). These weights are called “domain relaxation weights”.
  • a feature map in which domain-sharing features are emphasized is called a "domain relaxed training signal”.
  • the aforementioned weights and teacher signals are collectively referred to as "domain relaxation learning information”.
  • the common feature quantity calculator 12 of the shallow layer CNN 100 performs step ST14 of calculating domain relaxation weights.
  • the domain relaxation learning information is used as a teacher signal for main learning, which will be described later. Domain-sharing features can be classified into (1) color, (2) luminance, (3) low-frequency components, and (4) high-frequency components.
  • the domain relaxation learning information calculation unit 13 of the shallow layer CNN 100 calculates domain relaxation learning information (domain relaxation Step ST24 for calculating learning information.
  • the effect of having the shallow CNN 100 is clarified by comparing it with a conventional system without the shallow CNN 100.
  • the target domain dataset is not abundant, it is not possible to sufficiently train the machine learning model with only the target domain dataset. Therefore, it is conceivable to try to build a machine learning model with images of other domains with abundant datasets and re-learn with images of the target domain. That is, it is conceivable to try Pre-Training using the dataset of the original domain, transfer learning to the target domain, and Fine-Tuning.
  • the image features differ too much between domains, which destroys the prior learning results.
  • the effect of providing the shallow layer CNN 100 is to prevent the prior learning results from being destroyed, thereby effectively reducing the difference in feature amounts between domains even when there is little learning data for the target domain.
  • the deep feature quantity extraction unit 20 and the attribute regression unit 21 of the inference device 2 may be configured by a CNN (hereinafter referred to as “deep CNN 110”) consisting of a deep layer different from the shallow CNN 100 .
  • deep CNN 110 a CNN
  • initial learning is performed using an abundant dataset of original domain images.
  • the original domain image data set can be roughly used in two ways. A method of using the original domain image data set as it is, and a method of using a feature map in which the domain-sharing feature amount is emphasized through the above-mentioned shallow layer CNN 100 can be considered.
  • the learning device 1 according to the technology disclosed herein may use the original domain image data set by any method.
  • FIG. 4 is a schematic diagram showing the idea of the technology disclosed herein.
  • the teacher data for the full-scale learning of the main learning is a data set of images of the target domain that have passed through the shallow layer CNN 100 . Since the target domain image passes through the shallow layer CNN 100 for which filter learning has been completed, the domain-sharing feature amount is emphasized.
  • Fig. 2C shows the processing flow when learning and inferring images of the target domain.
  • this process includes a step ST21 of inputting a target domain image, a step ST22 of calculating a low-level feature map, a step ST23 of multiplying domain relaxation weights, and a step ST23 of calculating domain relaxation learning information.
  • the shallow layer CNN 100 that has completed filter learning performs step ST22 of calculating a low-level feature map, step ST23 of multiplying domain relaxation weights, and step ST24 of calculating domain relaxation learning information.
  • the deep CNN 110 performs step ST26 of calculating a high-level feature map and step ST27 of calculating an object position or attribute.
  • the greatest feature of the learning device 1 according to the technology disclosed herein is that (1) color, (2) luminance, (3) low-frequency components, and (4) high-frequency components are It is to change the domain-sharing feature quantity to be emphasized in order.
  • the learning information correcting unit 15 of the learning device 1 performs switching of the domain-shared feature quantity to be emphasized.
  • An epoch is a unit for forward propagation and backward propagation of a set of data through a neural network once. Since one epoch is too large for a computer to handle at one time, it is usually divided into several batches. Iteration is the number of Batch required to complete one Epoch. For example, assume that there is a data set of 2000 teacher images. Assume that these 2000 images are divided into batches of 500 images each.
  • the order of the feature amount acquired by the CNN is also (1) color, (2) luminance, (3) low frequency component, and (4) high frequency component. This is due to the sequential nature of CNN.
  • Main learning is evaluated using images of the target domain. If inference can be performed with a desired correct answer rate even if the image of the target domain is input to the deep CNN 110 without direct processing, the reasoning apparatus 2 can use the deep CNN 110 that has completed this main learning as it is. If inference cannot be performed with the desired correct answer rate, the target domain image is multiplied by the unprocessed image and the domain relaxation weight calculated by the learned shallow layer CNN 100 in the high-dimensional feature amount assigning unit 14 of the learning device 1. to generate a processed image (step ST23 of multiplying the domain relaxation weight) and input it to the deep CNN 110 .
  • the reasoning device 2 is composed only of the deep CNN 110
  • the reasoning device 2 is composed of a combination of the shallow CNN 100 and the deep CNN 110 .
  • the inference device 2 can make inferences about the images in the target domain.
  • the processing flow of the inference device 2 will be clarified by the description based on FIG. 2C below.
  • the description here assumes that the inference device 2 is configured by a combination of the shallow CNN 100 and the deep CNN 110 .
  • An image of the target domain to be inferred is first input to the image input unit 10 (step ST21 for inputting the target domain image).
  • a low-level feature map is created from the input image in the shallow layer feature amount extraction unit 11 of the shallow layer CNN 100 (step ST22 for calculating the low-level feature map).
  • the created low-level feature map is multiplied by the domain relaxation weight in the high-dimensional feature quantity assigning unit 14 (step ST23 for multiplication of the domain relaxation weight), and an input image to the deep CNN 110 is generated.
  • the deep CNN 110 calculates the object position or attribute for the input image in the attribute regression unit 21 (step ST27 for calculating the object position or attribute) and outputs the inference result (step ST28 for outputting the inference result).
  • the learning device 1 and the inference device 2 have the effect that learning progresses without lowering the recognition rate even when the amount of data in the dataset of the target domain is small.
  • Embodiment 2 The system including the learning device 1 and the reasoning device 2 according to the first embodiment is based on the assumption that there is a certain amount of target domain data set for learning, even if it is not abundant.
  • a system including the learning device 1 and the inference device 2 according to the second embodiment can cope with the case where there is no data set of the target domain at the learning stage.
  • the problem of learning a class without teacher data to be inferred in the learning stage is called the Zero-Shot Learning problem.
  • the same reference numerals are used for the components that are common to those of the first embodiment, and overlapping descriptions are omitted as appropriate.
  • FIG. 3 is a system block diagram showing a configuration example of a system including the learning device 1 and the inference device 2 according to the second embodiment.
  • the learning device 1 according to Embodiment 2 includes a learning information updating unit 14B instead of the high-dimensional feature amount adding unit 14 and the learning information correcting unit 15.
  • FIG. 14B is a learning information updating unit 14B instead of the high-dimensional feature amount adding unit 14 and the learning information correcting unit 15.
  • the core idea for solving the problem is the same as in the first embodiment. That is, the system according to Embodiment 2 attempts to solve the problem by simultaneously performing filter learning and main learning from a given target domain image. Specifically, the learning information updating unit 14B simultaneously performs step ST23 of multiplying the domain relaxation weight performed by the high-dimensional feature amount adding unit 14 and switching of the domain shared feature amount to be emphasized performed by the learning information correcting unit 15 at the same time.
  • the deep CNN 110 of the reasoning device 2 according to Embodiment 2 uses the same neural network as that of the reasoning device 2 prepared for images in the original domain (see FIG. 2A).
  • the initial state of the deep CNN 110 the initial state of a neural network that has been sufficiently trained with a large-scale image data set in the original domain may be used.
  • Embodiment 3 In Embodiments 1 and 2, the shallow CNN 100 and the deep CNN 110, which are core components, are described as "two independent CNNs" employing CNNs. However, the components corresponding to the shallow CNN 100 and the deep CNN 110 according to the technique of the present disclosure need not be two independent CNNs, nor do they need to be CNNs in the first place. Embodiment 3 clarifies the disclosed technique that employs a configuration example other than "two independent CNNs".
  • the shallow CNN 100 and the deep CNN 110 are realized as one large coupled CNN 120 shared by the learning device 1 and the inference device 2 .
  • the coupled CNN 120 is a kind of multilayer neural network, it can be divided into a front layer 121 and a rear layer 122 .
  • the front layer 121 of the coupled CNN 120 may serve as the shallow CNN 100 and the rear layer 122 of the coupled CNN 120 may serve as the deep CNN 110 . That is, the joint CNN 120 has a function of extracting high-dimensional feature quantities from the input image.
  • a method of sharing the combined CNN 120 may be implemented on the cloud and shared, or may be connected online.
  • a second configuration example implements the joint CNN 120 with a neural network that is not a CNN.
  • a component that implements the joint CNN 120 with a neural network that is not a CNN is named a joint NN 130 .
  • the coupling NN 130 is divided into a coupling NN pre-layer 131 and a coupling NN post-layer 132 .
  • the coupling NN pre-stage layer 131 may play the role of the shallow CNN 100 and the coupling NN post-stage layer 132 may play the role of the deep CNN 110 . That is, the joint NN 130 has a function of extracting high-dimensional feature quantities from the input image. Since the joint NN 130 is a multilayer neural network, it can be said that its learning method is deep learning.
  • a method of sharing the coupled NN 130 may be implemented on the cloud and shared, or may be connected online.
  • a third configuration example realizes the joint CNN 120 with a mathematical model other than a neural network.
  • a component that realizes the coupled CNN 120 with a mathematical model other than a neural network is named a coupled mathematical model 140 .
  • the coupled mathematical model 140 includes a coupled mathematical model front part 141 and a coupled mathematical model rear part 142 .
  • the coupling mathematical model front part 141 may play the role of the shallow layer CNN 100 and the coupling mathematical model rear part 142 may play the role of the deep layer CNN 110 . That is, the coupled mathematical model 140 has a function of extracting high-dimensional feature quantities from an input image.
  • the joint mathematical model 140 like the joint CNN 120, must have an input part, a calculation part that calculates the output from the input with variable parameters, and an output part.
  • the coupled mathematical model 140 must be capable of machine learning by changing variable parameters based on an evaluation function that evaluates the output. Such a coupled mathematical model 140 is described here as "learnable”.
  • a method of sharing the coupled mathematical model 140 may be implemented on the cloud and shared, or may be connected online.
  • the technology of the present disclosure performs (1) color, (2) luminance, (3) low frequency components, ( 4) Change the domain-shared features to be emphasized in the order of high-frequency components. This is based on the fact that in machine learning for image recognition and the like, the simpler the feature represented by "color” is, the more the learning is completed in the early stages of learning.
  • the learning device 1 and the inference device 2 according to the third embodiment have the above-described configurations, learning and inference can be performed correctly even for images having different domains without adopting two independent CNNs. can be done.
  • the inference device 2 the inference method, the learning device 1, the learning method, and the program according to the technology disclosed herein can be used for identification devices that perform various types of identification on captured images, and have industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本開示技術に係る学習装置（１）は、機械学習可能な結合数理モデル（１４０）を備え、教師用のオリジナルドメインのデータセットからターゲットドメインのデータセットを学習する学習装置（１）であって、前記結合数理モデル（１４０）の前段部は、入力された画像データから複数の低レベル特徴マップを生成し、前記画像データのうち前記オリジナルドメインと前記ターゲットドメインについて同じ種類の学習対象に属するデータセットの前記低レベル特徴マップを比較し、ドメイン共有特徴量を算出し、前記ドメイン共有特徴量のうち、｛１｝色、｛２｝輝度、｛３｝低周波成分、及び｛４｝高周波成分のそれぞれの空間についてドメイン緩和学習情報を算出する。

Description

推論装置、推論方法、学習装置、学習方法、及びプログラム
　本開示技術は、推論装置、推論方法、学習装置、学習方法、及びプログラムに関する。
　あらかじめ学習した情報を使用して、カメラによって撮像された撮像画像に対して推論を行い、各種の識別を行う識別装置に関する技術が知られている。この推論を行う識別装置は、ニューラルネットワークを利用したものが開示されており、ディープラーニングなどの機械学習によって強化されている。
　また、識別装置に関する従来技術には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて撮影画像が撮影されたときの天候など外的要因に対してロバストな推論を行う技術が開示されている（例えば特許文献１）。
特開２０１９－１７５１０７号公報
　特許文献１に例示された先行技術は、天候などの外的要因による画像の変化レベルに対しては、たしかにロバストである。しかし、ドメインが異なる画像を扱おうとした場合、画像の変化レベルが大きすぎるため、先行技術では正しく学習と推論とが行えない。ここでドメインとは画像の種類を意味し、例えば、実写のＲＧＢ画像、赤外線カメラによるＴｈｅｒｍａｌ　Ｉｎｆｒａｒｅｄ画像（以下「ＴＩＲ画像」という）、イラスト画像、ＣＧシミュレータが生成する画像、などがあげられる。ドメインが異なる画像を扱う必要が生じる場面は、赤外線画像を用いた監視カメラによる人物認識において、学習用の実写のＲＧＢ画像が潤沢にあるが、本来学習したいＴＩＲ画像が潤沢にない、といったものである。
　本開示技術は上記課題を解決し、ドメインが異なる画像に対しても正しく学習と推論とが行える推論装置、推論方法、学習装置、学習方法、及びプログラムを提供することを目的とする。
　本開示技術に係る学習装置は、機械学習可能な結合数理モデルを備え、教師用のオリジナルドメインのデータセットからターゲットドメインのデータセットを学習する学習装置であって、前記結合数理モデルの前段部は、入力された画像データから複数の低レベル特徴マップを生成し、前記画像データのうち前記オリジナルドメインと前記ターゲットドメインについて同じ種類の学習対象に属するデータセットの前記低レベル特徴マップを比較し、ドメイン共有特徴量を算出し、前記ドメイン共有特徴量のうち、（１）色、（２）輝度、（３）低周波成分、及び（４）高周波成分のそれぞれの空間についてドメイン緩和学習情報を算出する。
　本開示技術に係る学習装置は、獲得特徴量の順序という学習の本質をうまく利用している。どのような本質かというと、ＣＮＮに代表される数理モデルは、学習において「色」に代表される単純な特徴量ほど早く学習を完了させている、というものである。その結果、本開示技術に係る学習装置は、学習においてドメインが異なる画像を扱うことができる。また、本開示技術に係る学習装置が学習した情報を用いれば、推論においてドメインが異なる画像を扱うことができる。
図１は、実施の形態１に係る学習装置と推論装置とを備えたシステムの構成例を示すシステムブロック図である。 図２は、実施の形態１に係るシステムの処理フローを示すフローチャートである。図２Ａは、オリジナルドメインの画像を学習し推論するフローを示している。図２Ｂは、ターゲットドメイン画像を処理する準備のためのフィルタ学習のフローを示している。図２Ｃは、ターゲットドメインの画像を学習し推論するときのフローを示している。 図３は、実施の形態２に係る学習装置と推論装置とを備えたシステムの構成例を示すシステムブロック図である。 図４は、本開示技術の考え方を示した模式図である。 図５は、本開示技術の考え方を補足した説明図その１である。 図６は、本開示技術の考え方を補足した説明図その２である。
　本開示技術は、以下の実施の形態ごとに図面に沿った説明により明らかにされる。本開示技術は、あらかじめ学習した情報を使用してカメラによって撮像された撮像画像に対して推論を行う各種の識別装置に用いられる。本開示技術は、例えば赤外線画像を用いた監視カメラ、人物検知カメラを備えた未来型ルームエアコン、等にも使用できる。より具体的に本開示技術は、教師用のオリジナルドメインのデータセットからターゲットドメインのデータセットを学習し、推論することに関する。
　本開示技術は、ドメインが異なる画像を扱う必要が生じる場面で効果を発揮する。例えば赤外線画像を用いた監視カメラによる人物認識において、学習用のデータセットである実写のＲＧＢ画像が潤沢にあるが、本来学習したいＴＩＲ画像が潤沢にない、といった場面である。ここで、実写のＲＧＢ画像のように学習用に潤沢に準備できる画像の種類は「オリジナルドメイン」と呼ばれ、ＴＩＲ画像のように本来学習したい画像の種類は「ターゲットドメイン」と呼ばれる。
　本開示技術はＣＮＮを基礎とした技術であるため、ＣＮＮの簡単な概要とＣＮＮで用いられる用語の簡単な説明についてここで触れておく。ＣＮＮは畳込みニューラルネットワークとも呼ばれ、大局的な位置不変性と回転不変性といった性質を備える。ＣＮＮは、畳込み層（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｌａｙｅｒ）と、プーリング層（Ｐｏｏｌｉｎｇ　Ｌａｙｅｒ）と、全結合層（Ｆｕｌｌｙ　Ｃｏｎｎｅｃｔｅｄ　Ｌａｙｅｒ）と、を組み合わせた多層パーセプトロンの一種である。
　本開示技術が扱う画像及びＣＮＮの各層は、それぞれ特徴マップの空間解像度とチャネルとで表現することができる。画像の次元数は、横方向の画素数と縦方向の画素数とチャネル数とで決まる。ここでチャネル数とはＲＧＢ画像であれば３、ＴＩＲ画像であれば１、となる横と縦とは別次元の値である。つまり画像の総次元数は、横方向画素数×縦方向画素数×チャネルで表すことができる。
　ＣＮＮにおける畳込み層は、二次元畳込みと呼ばれる操作を行う。一般的な画像処理における畳込み操作を行うものには、ぼかし操作を行うガウシアンフィルタなどが有名である。畳込み操作を行うフィルタは、畳込みフィルタと呼ばれる。畳込みフィルタによる処理は、例えば、3x3などの小さな画像パッチとみなせるカーネルを入力画像の各画素に置き、入力画像とカーネルとの内積を各画素に出力するものである。ＣＮＮにおける畳込み層は、通常畳込みフィルタを複数備えた多段層を持ち、ディープラーニングでは活性化関数（Ａｃｔｉｖａｔｉｏｎ）とバッチ正規化（Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ）を畳込み層の前後に取り入れることで、勾配消失を起こさずかつ学習データの局所性に対する過学習を防ぐ効果を備える。
活性化関数は、例えばＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）やＳｉｇｍｏｉｄ、Ｓｏｆｔｍａｘなどの非線形関数が用いられ、線形空間から逃れることで誤差逆伝播法（Ｂａｃｋ　Ｐｒｏｐａｇａｔｉｏｎ）による畳込み層への勾配伝播の際に、線形空間で微分できなくなる勾配消失問題を避けることができる。
　畳込み層は、入力がＭチャネルであり出力がＮチャネルである、といった任意の次元操作が可能である。畳込み層が有する畳込みフィルタの枚数は、チャネルと表現する。畳込み層のサイズは、出力層のチャネル数×フィーチャーマップの縦サイズ×フィーチャーマップの横サイズで表すことができる。畳込み層の出力は、空間情報を備えるものでありフィーチャーマップ（Ｆｅａｔｕｒｅ　Ｍａｐ）又は特徴量マップと呼ばれる。
　ＣＮＮにおけるプーリング層は、サブサンプリングともよばれる画像の解像度を下げる操作を行い、特徴を残しながらサイズを小さくすることで特徴の位置感度を低下させ、大局的な位置不変性と回転不変性を獲得させる。画像分類のためのＣＮＮは最終的にはベクトルを出力するため、段階的に解像度を下げることを行う。プーリング層にはいくつかの方法が考えられるが、最大値プーリングがよく使われている。最大値プーリングは、フィーチャーマップごとの最大値を出力するリサイズを行うものである。畳込み層とプーリング層とは、画像の構造を活用した層であり、空間情報を持つ。
　ＣＮＮでは、全結合層をネットワークの最後に配置することがある。全結合層は、畳込み層及びプーリング層とは異なり、横×縦×チャネルといった構造を持たず、ベクトルとして量子化された特徴が記述される。全結合層は次元削減や拡張に用いられることがあり、フィーチャーマップの各画素を近傍領域だけでなく全領域に渡って結合することで、より概念的な高次元の意味特徴（ｓｅｍａｎｔｉｃｓ）を獲得することが可能となる。
実施の形態１．
　図１は、実施の形態１に係る学習装置１と推論装置２とを備えたシステムの構成例を示すシステムブロック図である。図１が示すとおり本開示技術に係るシステムは、学習装置１と、推論装置２と、学習装置１と推論装置２とが情報を共有できる共有記憶装置３と、学習装置１がアクセスする外部記憶装置４と、から構成される。
　図１が示すとおり学習装置１は、画像入力部１０と、浅層特徴量抽出部１１と、共通特徴量算出部１２と、ドメイン緩和学習情報算出部１３と、高次元特徴量付与部１４と、学習情報補正部１５と、を備える。また、図１が示すとおり推論装置２は、深層特徴量抽出部２０と、属性回帰部２１と、を備える。
　図２は、実施の形態１に係るシステムの処理フローを示すフローチャートである。図２Ａは、オリジナルドメインの画像を学習し推論するフローを示している。図２Ｂは、ターゲットドメイン画像を処理する準備のためのフィルタ学習のフローを示している。図２Ｃは、ターゲットドメインの画像を学習し推論するときのフローを示している。ここで、オリジナルドメインの画像の学習もターゲットドメインの画像の学習も、いずれも教師あり学習に分類される。図２Ｂ及び図２Ｃにおいて模様のついている部分は、後述する浅層ＣＮＮ１００が実施するステップを示している。
　オリジナルドメインの画像の学習は、ディープラーニングの代表的手法であるＣＮＮにより画像認識を行う機械学習モデルを構築して行ってよい。この機械学習モデルを構築する処理は、図２Ａが示すとおり画像を入力するステップＳＴ１と、特徴量を抽出するステップＳＴ２と、物体位置又は属性を算出するステップＳＴ３と、推論結果を出力するステップＳＴ４と、を有する。
　機械学習は、機械学習モデルが使われる場面によってその目的が異なる。例えば物体認識装置に機械学習モデルを使う場合、その目的はどこに何があるのかを推定することである。例えば、画像に写っているものが車である場合、画像内のどの位置にどんな属性の車があるかを推論することが目的となる。あらかじめカテゴライズされた教師画像に対して、その画像の特徴量を抽出し、特徴量空間でのプロットから機械学習モデルを構築する手法が知られている。この特徴量空間での各カテゴリーの境界を求める方法には、ＳＶＭ（サポートベクターマシン）などが知られている。特徴量は通常複数次元であるため、特徴量空間は高次元特徴量空間とも呼ばれる。なお「同じカテゴリーに属する」という表現は、より広くは「同じ種類の学習対象に属する」と読み替えることができる。
　この画像の属性を分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）させる処理、又は物体の位置を回帰（Ｒｅｇｒｅｓｓｉｏｎ）する処理は、図２Ａの中の物体位置又は属性を算出するステップＳＴ３が該当する。
　ターゲットドメインの画像の学習は、オリジナルドメインの画像の学習が完了した段階で行われる。ターゲットドメインの画像の学習は、２段階の学習で行われる。２段階の学習とは、浅層特徴量抽出部１１、共通特徴量算出部１２、及びドメイン緩和学習情報算出部１３における学習（以下、「フィルタ学習」と呼ぶ）と、深層特徴量抽出部２０における学習（以下、「メイン学習」と呼ぶ）と、である。ターゲットドメインの画像データは、まず画像入力部１０を介して学習装置１へ入力される。画像入力部１０を介して入力された画像データは、浅層特徴量抽出部１１へ出力される。フィルタ学習における処理のフローは図２Ｂに、メイン学習における処理のフローは図２Ｃに、それぞれ示されている。
　浅層特徴量抽出部１１は、入力された画像データから複数の低レベル特徴（Ｌｏｗ－ｌｅｖｅｌ　Ｆｅａｔｕｒｅ）マップを出力する複数の画像フィルタから構成されているものである。浅層特徴量抽出部１１は複数の画像フィルタであるから、ＣＮＮの畳込み層で構成することが考えられる。実施の形態１に係る学習装置１は、浅層特徴量抽出部１１、共通特徴量算出部１２、及びドメイン緩和学習情報算出部１３を浅い層のＣＮＮ（以下、「浅層ＣＮＮ１００」と呼ぶ）で構成する。
　Ｓｈａｌｌｏｗ　ＣＮＮである浅層ＣＮＮ１００は、オリジナルドメインの画像データの特徴量とターゲットドメインの画像データの特徴量とを、それぞれ高次元特徴量空間でプロットしたときに、共通する特徴量（英語ではＤｏｍａｉｎ　Ｓｈａｒｅｄ　Ｆｅａｔｕｒｅｓであり、以下「ドメイン共有特徴量」と呼ぶ）を抽出するように設計する。そこで浅層特徴量抽出部１１には、オリジナルドメインの画像データとターゲットドメインの画像データとが教師データとして入力される。フィルタ学習の初期段階では高次元特徴量空間へのプロットはランダムのように映るが、次第に画像のカテゴリーごとに、分布に一定の法則が見られるようになる。
　図５は、本開示技術の考え方を補足した説明図その１である。図５が示すように本開示技術は、学習のＥｐｏｃｈに応じて低レベル特徴（Ｌｏｗ－ｌｅｖｅｌ　Ｆｅａｔｕｒｅ）である（１）色、（２）輝度、（３）低周波成分、及び（４）高周波成分を強度に教師する。具体的には浅層特徴量抽出部１１が出力する特徴マップは、（１）色、（２）輝度、（３）低周波成分、及び（４）高周波成分のそれぞれの低レベル特徴（Ｌｏｗ－ｌｅｖｅｌ　Ｆｅａｔｕｒｅ）となるように設計する。（３）低周波成分は、画像中のボケ情報と言い換えてもよい。また（４）高周波成分は、エッジとテクスチャと言い換えてもよい。浅層特徴量抽出部１１は、低レベル特徴量を抽出するステップＳＴ１２を実施する。
　共通特徴量算出部１２で抽出した低レベル特徴量のうちドメイン共有特徴量は、ターゲットドメインの画像のメイン学習が進む度合に応じて、ドメイン共有特徴量を強度に教師する。
　浅層ＣＮＮ１００において、ドメイン共有特徴量が強調された特徴マップ（以下、「重付け特徴マップ」と呼ぶ）を得る方法には、Ａｔｔｅｎｔｉｏｎと呼ばれる方法を用いる。簡単に言えばＡｔｔｅｎｔｉｏｎとは、ＣＮＮが出力した特徴マップのどの領域に注目すればいいのかを自動的に学習する方法である。別の言い方をすれば、Ａｔｔｅｎｔｉｏｎは注目すべき領域の重み付けである。特徴マップには横×縦の空間的な次元とチャネルの次元とがあるように、Ａｔｔｅｎｔｉｏｎを用いた教師方法にも空間方向のＡｔｔｅｎｔｉｏｎとチャネル方向のＡｔｔｅｎｔｉｏｎとが存在する。チャネル方向のＡｔｔｅｎｔｉｏｎには、ＳＥブロックと呼ばれる技術が開示されている（例えば、非特許文献１）。
　　　非特許文献１：
Ｈｕ，　Ｊｉｅ，　Ｌｉ　Ｓｈｅｎ，　ａｎｄ　Ｇａｎｇ　Ｓｕｎ．　”Ｓｑｕｅｅｚｅ－ａｎｄ－ｅｘｃｉｔａｔｉｏｎ　ｎｅｔｗｏｒｋｓ．”　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＩＥＥＥ　ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　ｃｏｍｐｕｔｅｒ　ｖｉｓｉｏｎ　ａｎｄ　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ．２０１８．
　図６は、本開示技術の考え方を補足した説明図その２である。図６が示すように浅層ＣＮＮ１００の共通特徴量算出部１２は、２つのドメインについて同じカテゴリーに属するデータセットの特徴マップを比較する。高次元特徴量空間におけるプロットの比較は、図６の右側のグラフに例示した。図６は、オリジナルドメインを写真、ターゲットドメインをイラストとし、「ヘアドライヤーで髪を乾かす」というカテゴリーのデータセットの比較を例示している。以下は、別のプロットの比較の具体例である。例えばカテゴリーは１０代の男性とし、２つのドメインはＲＧＢ画像というオリジナルドメインとＴＩＲ画像というターゲットドメインとする。それぞれの教師画像は浅層特徴量抽出部１１へ入力され、それぞれの特徴マップが出力される。共通特徴量算出部１２は特徴マップをチャネルごとに比較し、ドメイン共有特徴量が存在するチャネルに対しては大きな重みを付与する。
　より具体的に共通特徴量算出部１２は、共通特徴量算出部１２より算出されたオリジナルドメインとターゲットドメインのそれぞれのフィーチャーマップを空間的に比較し、最も類似するフィーチャーマップ間の距離を、例えば画像相関やピクセル単位での類似性、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒｅ　Ｓｉｍｉｌａｒｉｔｙ）などで算出し、重みとしてもよい。
　また、より簡易的に共通特徴量算出部１２は、Ｇｌｏｂａｌ　Ａｖｅｒａｇｅ　Ｐｏｏｌｉｎｇ（ＧＡＰ）をフィーチャーマップに適用して代表値を算出し、最も類似するフィーチャーマップの代表値間の距離を、例えば画像相関やピクセル単位での類似性、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒｅ　Ｓｉｍｉｌａｒｉｔｙ）などで算出し、重みとしてもよい。
　このようにして共通特徴量算出部１２は、注目すべきチャネルを強調した特徴マップを算出する（ドメイン共有特徴量を算出するステップＳＴ１３）。前記の重みは、「ドメイン緩和重み」と呼ぶ。ドメイン共有特徴量が強調された特徴マップは、「ドメイン緩和教師信号」と呼ぶ。前記の重みと教師信号とは、まとめて「ドメイン緩和学習情報」と呼ぶ。浅層ＣＮＮ１００の共通特徴量算出部１２は、ドメイン緩和重みを算出するステップＳＴ１４を実施する。
　ここではチャネル方向のＡｔｔｅｎｔｉｏｎを用いた実施の形態を説明したが、本開示技術はチャネル方向のＡｔｔｅｎｔｉｏｎと空間方向のＡｔｔｅｎｔｉｏｎとを適宜組み合わせてもよい。
　ドメイン緩和学習情報は、後述するメイン学習の教師信号として用いる。ドメイン共有特徴量は、（１）色、（２）輝度、（３）低周波成分、及び（４）高周波成分に分類することができる。浅層ＣＮＮ１００のドメイン緩和学習情報算出部１３は、（１）色、（２）輝度、（３）低周波成分、及び（４）高周波成分のそれぞれについて、ドメイン緩和学習情報を算出する（ドメイン緩和学習情報を算出するステップＳＴ２４）。
　浅層ＣＮＮ１００を備える効果は、浅層ＣＮＮ１００を備えない場合の従来のシステムと比較することにより明らかにされる。まずターゲットドメインのデータセットは潤沢にないため、ターゲットドメインのデータセットのみでは機械学習モデルを十分に学習させることはできない。そこで、データセットが潤沢な他のドメインの画像で機械学習モデルを構築し、ターゲットドメインの画像で再学習しようといった試みも考えられる。すなわち、オリジナルドメインのデータセットを使ってＰｒｅ－Ｔｒａｉｎｉｎｇをし、ターゲットドメインへの転移学習とＦｉｎｅ－Ｔｕｎｉｎｇするといった試みが考え得る。ところがこれを実際に行うと、ドメイン間であまりにも画像の特徴が違いすぎて事前の学習結果を破壊してしまう、ということが生じる。浅層ＣＮＮ１００を備える効果は、事前の学習結果を破壊させないことで、ターゲットドメインの学習データが少ない場合でも効率的にドメイン間での特徴量の違いを緩和できるという効果を奏する。
　浅層ＣＮＮ１００におけるフィルタ学習が終了すれば、いよいよメイン学習を実施することができる。推論装置２の深層特徴量抽出部２０と属性回帰部２１とは、浅層ＣＮＮ１００とは別の深い層からなるＣＮＮ（以下、「深層ＣＮＮ１１０」と呼ぶ）で構成することが考えられる。メイン学習は、潤沢に存在するオリジナルドメインの画像のデータセットを用いて初期的な学習を行う。オリジナルドメインの画像のデータセットは、大きく２通りの使い方が考えられる。オリジナルドメインの画像のデータセットをそのまま使う方法と、前述の浅層ＣＮＮ１００を通してドメイン共有特徴量が強調された特徴マップを使う方法と、が考えられる。本開示技術に係る学習装置１は、いずれの方法でオリジナルドメインの画像のデータセットを使ってもよい。
　メイン学習の初期的な学習が終了すると、深層ＣＮＮ１１０の初期状態が決まり、いよいよメイン学習の本格的な学習を実施することができる（図２Ｃに示したフロー参照）。図４は、本開示技術の考え方を示した模式図である。図４が示すとおり、メイン学習の本格的な学習の教師データは、浅層ＣＮＮ１００を通過したターゲットドメインの画像のデータセットである。フィルタ学習が完了している浅層ＣＮＮ１００を通過しているため、ターゲットドメインの画像はドメイン共有特徴量が強調される。
　図２Ｃは、ターゲットドメインの画像を学習し推論するときの処理フローを示している。図２Ｃが示すとおり、本処理には、ターゲットドメイン画像を入力するステップＳＴ２１と、低レベル特徴マップを算出するステップＳＴ２２と、ドメイン緩和重みを乗算するステップＳＴ２３と、ドメイン緩和学習情報を算出するステップＳＴ２４と、ドメイン緩和学習情報を入力するステップＳＴ２５と、高次特徴マップを算出するステップＳＴ２６と、物体位置又は属性を算出するステップＳＴ２７と、推論結果を出力するステップＳＴ２８と、を有する。フィルタ学習が完了している浅層ＣＮＮ１００は、低レベル特徴マップを算出するステップＳＴ２２と、ドメイン緩和重みを乗算するステップＳＴ２３と、ドメイン緩和学習情報を算出するステップＳＴ２４と、を実施する。また、深層ＣＮＮ１１０は、高次特徴マップを算出するステップＳＴ２６と、物体位置又は属性を算出するステップＳＴ２７と、を実施する。
　本開示技術に係る学習装置１の最大の特徴は、メイン学習の本格的な学習のＥｐｏｃｈに応じて、（１）色、（２）輝度、（３）低周波成分、（４）高周波成分の順番で強調するドメイン共有特徴量を変えることである。この強調するドメイン共有特徴量の切換えは、学習装置１の学習情報補正部１５が行う。Ｅｐｏｃｈとは、ひとやまのデータセットをニューラルネットワークに順伝搬と逆伝搬と１回通す単位のことである。１つのＥｐｏｃｈはコンピュータが１度に扱う量としては大きいため、通常いくつかのＢａｔｃｈに分けられる。Ｉｔｅｒａｔｉｏｎは、１つのＥｐｏｃｈを完了するために必要なＢａｔｃｈの数である。例えば、教師画像が２０００枚のデータセットがあるとする。この２０００枚の画像は、５００枚ずつのＢａｔｃｈに分けたとする。この例では１つのＥｐｏｃｈを完了するため、Ｉｔｅｒａｔｉｏｎが４必要となる。
　本開示技術においてこのような順番で強調する特徴量を変える理由は、ＣＮＮが獲得する特徴量の順序も（１）色、（２）輝度、（３）低周波成分、（４）高周波成分の順番であるというＣＮＮの特質に由来している。
　どれぐらいのＥｐｏｃｈでどの特徴量を用いるかの判断は、ケースバイケースである。或る使用態様においては、Ｅｐｏｃｈが１前後のときの（１）色と（２）輝度とを用い、Ｅｐｏｃｈが２０のときに（３）低周波成分を用い、Ｅｐｏｃｈが６０のときに（４）高周波成分を用い、効果的であった。ただしこれは例示に過ぎず、これに限定したものではない。
　メイン学習の評価は、ターゲットドメインの画像を用いて行う。ターゲットドメインの画像を直接加工なしで深層ＣＮＮ１１０へ入力しても所望の正答率で推論が行えた場合、推論装置２はこのメイン学習が完了した深層ＣＮＮ１１０をそのまま使えばよい。所望の正答率で推論が行えなかった場合、ターゲットドメインの画像は学習装置１の高次元特徴量付与部１４において、加工なし画像と学習済みの浅層ＣＮＮ１００が算出したドメイン緩和重みとを乗算して加工画像を生成し（ドメイン緩和重みを乗算するステップＳＴ２３）、深層ＣＮＮ１１０へ入力する。最初に述べたケースは、深層ＣＮＮ１１０のみで推論装置２を構成するものであり、次に述べたケースは浅層ＣＮＮ１００と深層ＣＮＮ１１０との組合せで推論装置２を構成するものである。
　メイン学習の評価が完了すれば、推論装置２はターゲットドメインの画像についての推論を行うことができる。推論装置２の処理フローは、以下の図２Ｃに基づいた説明により明らかにされる。ここでの説明は、浅層ＣＮＮ１００と深層ＣＮＮ１１０との組合せで推論装置２を構成することを前提とする。
　推論対象であるターゲットドメインの画像は、まず画像入力部１０へ入力される（ターゲットドメイン画像を入力するステップＳＴ２１）。入力された画像は、浅層ＣＮＮ１００の浅層特徴量抽出部１１において低レベル特徴マップが作成される（低レベル特徴マップを算出するステップＳＴ２２）。作成された低レベル特徴マップは、高次元特徴量付与部１４においてドメイン緩和重みが乗算され（ドメイン緩和重みを乗算するステップＳＴ２３）、深層ＣＮＮ１１０への入力画像が生成される。深層ＣＮＮ１１０は、属性回帰部２１において入力された画像についての物体位置又は属性を算出し（物体位置又は属性を算出するステップＳＴ２７）、推論結果を出力する（推論結果を出力するステップＳＴ２８）。
　オリジナルドメインのデータセットとターゲットドメインのデータセットとがともに潤沢であれば、それぞれのドメインごとに学習を行えばよく問題とはならない。また、それぞれのドメインでの学習結果から、それぞれドメインについての高次元特徴量空間でのカテゴリーごとの分布を対応づけることも考えられる。本開示技術に係る学習装置１及び推論装置２は、ターゲットドメインのデータセットのデータ量が少ない場合でも認識率が低下しないように学習が進むという効果を奏する。
実施の形態２．
　実施の形態１に係る学習装置１と推論装置２とを備えたシステムは、潤沢にはないにせよ学習用に一定量のターゲットドメインのデータセットがあることを前提とした。実施の形態２に係る学習装置１と推論装置２とを備えたシステムは、学習段階において全くターゲットドメインのデータセットがない場合に対応できるものである。一般に、学習段階において推論すべき教師データがないクラスを学習する問題は、Ｚｅｒｏ－Ｓｈｏｔ　Ｌｅａｒｎｉｎｇ問題と呼ばれている。以降の実施の形態２についての説明において、実施の形態１と共通する構成要素は同じ符号を用い、重複する説明については適宜省略する。
　図３は、実施の形態２に係る学習装置１と推論装置２とを備えたシステムの構成例を示すシステムブロック図である。図３と図１との比較が示すとおり、実施の形態２に係る学習装置１は、高次元特徴量付与部１４と学習情報補正部１５との代わりに学習情報更新部１４Ｂを備える。
　実施の形態２に係る学習装置１と推論装置２とを備えたシステムの場合においても、課題を解決するコアの考え方は実施の形態１の場合と同じである。すなわち実施の形態２におけるシステムは、初めに与えられた１枚のターゲットドメイン画像から、フィルタ学習とメイン学習とを同時に実施することで、課題の解決を試みる。具体的に学習情報更新部１４Ｂは、高次元特徴量付与部１４が行うドメイン緩和重みを乗算するステップＳＴ２３と、学習情報補正部１５が行う強調するドメイン共有特徴量の切換えを、同時に行う。
　実施の形態２に係る推論装置２の深層ＣＮＮ１１０は、オリジナルドメインの画像用に準備した推論装置２のニューラルネットワークと同じものを用いる（図２Ａ参照）。また、深層ＣＮＮ１１０の初期状態は、オリジナルドメインの大規模画像データセットで十分に学習が完了したニューラルネットワークの初期状態を用いればよい。
　以上のように実施の形態２に係る学習装置１と推論装置２とを備えたシステムは上記の構成を備えるため、ターゲットドメインのデータセットがまったく得られないＺｅｒｏ－Ｓｈｏｔ　Ｌｅａｒｎｉｎｇ問題の場合においても、一定の正答率で推論を行えるという効果を奏する。
実施の形態３．
　実施の形態１と実施の形態２とにおいて、コアとなる構成要素である浅層ＣＮＮ１００と深層ＣＮＮ１１０とは、ともにＣＮＮを採用した「２つの独立したＣＮＮ」として描写がなされた。しかし、本開示技術に係る浅層ＣＮＮ１００と深層ＣＮＮ１１０とに該当する構成要素は、２つの独立したＣＮＮである必要はないしそもそもＣＮＮである必要もない。実施の形態３は、「２つの独立したＣＮＮ」以外の構成例を採用した本開示技術を明らかにするものである。
　まず１つ目の構成例は、浅層ＣＮＮ１００と深層ＣＮＮ１１０とを、１つの大きな結合ＣＮＮ１２０として実現し、学習装置１と推論装置２とで共有するものである。結合ＣＮＮ１２０は、多層のニューラルネットワークの一種であるから、前段層１２１と後段層１２２とに分けることができる。結合ＣＮＮ１２０の前段層１２１が浅層ＣＮＮ１００の役割を果たし、結合ＣＮＮ１２０の後段層１２２が深層ＣＮＮ１１０の役割を果たすようにすればよい。すなわち結合ＣＮＮ１２０は、入力された画像に対して高次元特徴量を抽出する機能を備える。
　結合ＣＮＮ１２０を共有する方法は、クラウド上に実現して共有してもよいし、オンラインでつないでもよい。
　２つ目の構成例は、結合ＣＮＮ１２０をＣＮＮではないニューラルネットワークで実現するものである。結合ＣＮＮ１２０をＣＮＮではないニューラルネットワークで実現した構成要素は、結合ＮＮ１３０と名付ける。結合ＮＮ１３０は、結合ＮＮ前段層１３１と結合ＮＮ後段層１３２とに分ける。結合ＮＮ前段層１３１が浅層ＣＮＮ１００の役割を果たし、結合ＮＮ後段層１３２が深層ＣＮＮ１１０の役割を果たすようにすればよい。すなわち結合ＮＮ１３０は、入力された画像に対して高次元特徴量を抽出する機能を備える。
　なお結合ＮＮ１３０は多層のニューラルネットワークであるから、その学習方法は深層学習であると言える。
　結合ＮＮ１３０を共有する方法も、クラウド上に実現して共有してもよいし、オンラインでつないでもよい。
　３つ目の構成例は、結合ＣＮＮ１２０をニューラルネットワーク以外の数理モデルで実現するものである。結合ＣＮＮ１２０をニューラルネットワーク以外の数理モデルで実現した構成要素は、結合数理モデル１４０と名付ける。結合数理モデル１４０は、結合数理モデル前段部１４１と結合数理モデル後段部１４２とを備える。結合数理モデル前段部１４１が浅層ＣＮＮ１００の役割を果たし、結合数理モデル後段部１４２が深層ＣＮＮ１１０の役割を果たすようにすればよい。すなわち結合数理モデル１４０は、入力された画像に対して高次元特徴量を抽出する機能を備える。
　結合数理モデル１４０は、結合ＣＮＮ１２０と同様に、入力部と、可変なパラメータによって入力から出力を計算する計算部と、出力部と、を備えなければならない。また、結合数理モデル１４０は、出力を評価する評価関数に基づいて、可変なパラメータを変更し、機械学習が可能でなければならない。このような結合数理モデル１４０は、ここでは「学習自在である」と形容する。
　結合数理モデル１４０を共有する方法も、クラウド上に実現して共有してもよいし、オンラインでつないでもよい。
　結合ＮＮ１３０を用いる場合でも結合数理モデル１４０を用いる場合でも、本開示技術はメイン学習の本格的な学習のＥｐｏｃｈに応じて、（１）色、（２）輝度、（３）低周波成分、（４）高周波成分の順番で強調するドメイン共有特徴量を変える。これは、画像認識等における機械学習において、「色」に代表される単純な特徴であればあるほど学習の初期の段階において学習が完了する、という性質を利用している。
　以上のように実施の形態３に係る学習装置１と推論装置２とは上記の構成を備えるため、２つの独立したＣＮＮを採用せずとも、ドメインが異なる画像に対しても正しく学習と推論とが行える。
　本開示技術に係る推論装置２、推論方法、学習装置１、学習方法、及びプログラムは、撮像画像に対して各種の識別を行う識別装置に利用でき、産業上の利用可能性がある。
　１　学習装置、　２　推論装置、　３　共有記憶装置、　４　外部記憶装置、　１０　画像入力部、　１１　浅層特徴量抽出部、　１２　共通特徴量算出部、　１３　ドメイン緩和学習情報算出部、　１４　高次元特徴量付与部、　１４Ｂ　学習情報更新部、　１５　学習情報補正部、　２０　深層特徴量抽出部、　２１　属性回帰部、　１００　浅層ＣＮＮ、　１１０　深層ＣＮＮ、　１２０　結合ＣＮＮ、　１２１　前段層、　１２２　後段層、　１３０　結合ＮＮ、　１３１　結合ＮＮ前段層、　１３２　結合ＮＮ後段層、　１４０　結合数理モデル、　１４１　結合数理モデル前段部、　１４２　結合数理モデル後段部。

Claims (14)

  1. 　機械学習可能な結合数理モデルを備え、教師用のオリジナルドメインのデータセットからターゲットドメインのデータセットを学習する学習装置であって、
    　前記結合数理モデルの前段部は、
    　入力された画像データから複数の低レベル特徴マップを生成し、
    　前記画像データのうち前記オリジナルドメインと前記ターゲットドメインについて同じ種類の学習対象に属するデータセットの前記低レベル特徴マップを比較し、ドメイン共有特徴量を算出し、
    　前記ドメイン共有特徴量のうち、（１）色、（２）輝度、（３）低周波成分、及び（４）高周波成分のそれぞれの空間についてドメイン緩和学習情報を算出することを特徴とする学習装置。
  2. 　前記結合数理モデルは、教師あり学習により学習自在であることを特徴とする請求項１に記載の学習装置。
  3. 　前記結合数理モデルの前記前段部は、畳み込みニューラルネットワークであることを特徴とする請求項２に記載の学習装置。
  4. 　前記結合数理モデルの前記前段部は、学習方法が深層学習であることを特徴とする請求項３に記載の学習装置。
  5. 　前記ドメイン緩和学習情報を用いて入力された前記ターゲットドメインの特徴マップを重み付けし新たな重付け特徴マップを生成する高次元特徴量付与部と、
    　算出された前記ドメイン緩和学習情報のうち、強調するドメイン共有特徴量の切換える学習情報補正部と、
    をさらに備えることを特徴とする請求項１に記載の学習装置。
  6. 　機械学習可能な前記結合数理モデルを備え、前記ターゲットドメインの特徴マップについて推論を実施する推論装置であって、
    　前記結合数理モデルの後段部は、請求項５に記載の学習装置が生成した前記重付け特徴マップを用いてメイン学習されたことを特徴とする推論装置。
  7. 前記結合数理モデルの前記後段部は、教師あり学習により学習自在であることを特徴とする請求項６に記載の推論装置。
  8. 前記結合数理モデルの前記後段部は、畳み込みニューラルネットワークであることを特徴とする請求項６に記載の推論装置。
  9. 前記結合数理モデルの前記後段部は、学習方法が深層学習であることを特徴とする請求項６記載の推論装置。
  10. 　前記学習情報補正部は、推論装置のメイン学習のＥｐｏｃｈに応じて前記強調するドメイン共有特徴量を切換えることを特徴とする請求項５に記載の学習装置。
  11. 　機械学習可能な数理モデルを備え、教師用のオリジナルドメインのデータセットからターゲットドメインのデータセットを学習する学習装置の学習方法であって、
    　２つのドメインの画像を入力するステップと、
    　入力された前記画像から低レベル特徴量を抽出するステップと、
    　抽出された前記低レベル特徴量からドメイン共有特徴量を算出するステップと、
    　前記ドメイン共有特徴量からドメイン緩和重みを算出するステップと、
    を有する学習方法。
  12. 　機械学習可能な数理モデルを備え、ターゲットドメインの画像について特徴マップを受け取り推論を実施する推論装置の推論方法であって、
    　ターゲットドメイン画像の前記特徴マップを入力するステップと、
    　入力された前記ターゲットドメイン画像の前記特徴マップから低レベル特徴マップを算出するステップと、
    を備え、
    　前記数理モデルは、前記低レベル特徴マップからドメイン緩和学習情報を算出し推論することを特徴とする推論方法。
  13. 　機械学習可能な数理モデルを備え、教師用のオリジナルドメインのデータセットからターゲットドメインのデータセットを学習する処理を実行するプログラムであって、
    　２つのドメインの画像を入力するステップと、
    　入力された前記画像から低レベル特徴量を抽出するステップと、
    　抽出された前記低レベル特徴量からドメイン共有特徴量を算出するステップと、
    　前記ドメイン共有特徴量からドメイン緩和重みを算出するステップと、
    を有するプログラム。
  14. 　機械学習可能な数理モデルを備え、ターゲットドメインの画像の特徴マップについて推論を実施する処理を実行するプログラムであって、
    　ターゲットドメイン画像の前記特徴マップを入力するステップと、
    　入力された前記ターゲットドメイン画像から低レベル特徴マップを算出するステップと、を備え、
    　前記数理モデルは、前記低レベル特徴マップからドメイン緩和学習情報を算出し推論することを特徴とするプログラム。
PCT/JP2021/013407 2021-03-29 2021-03-29 推論装置、推論方法、学習装置、学習方法、及びプログラム WO2022208632A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202180096136.5A CN117099127A (zh) 2021-03-29 2021-03-29 推理装置、推理方法、学习装置、学习方法以及程序
JP2023509940A JP7274071B2 (ja) 2021-03-29 2021-03-29 学習装置
EP21934805.9A EP4296939A4 (en) 2021-03-29 2021-03-29 INFERENCE DEVICE, INFERENCE METHOD, LEARNING DEVICE, LEARNING METHOD AND PROGRAM
PCT/JP2021/013407 WO2022208632A1 (ja) 2021-03-29 2021-03-29 推論装置、推論方法、学習装置、学習方法、及びプログラム
KR1020237031632A KR102658990B1 (ko) 2021-03-29 2021-03-29 학습 장치
US18/235,677 US20230394807A1 (en) 2021-03-29 2023-08-18 Learning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/013407 WO2022208632A1 (ja) 2021-03-29 2021-03-29 推論装置、推論方法、学習装置、学習方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/235,677 Continuation US20230394807A1 (en) 2021-03-29 2023-08-18 Learning device

Publications (1)

Publication Number Publication Date
WO2022208632A1 true WO2022208632A1 (ja) 2022-10-06

Family

ID=83455707

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/013407 WO2022208632A1 (ja) 2021-03-29 2021-03-29 推論装置、推論方法、学習装置、学習方法、及びプログラム

Country Status (6)

Country Link
US (1) US20230394807A1 (ja)
EP (1) EP4296939A4 (ja)
JP (1) JP7274071B2 (ja)
KR (1) KR102658990B1 (ja)
CN (1) CN117099127A (ja)
WO (1) WO2022208632A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019175107A (ja) 2018-03-28 2019-10-10 沖電気工業株式会社 認識装置、認識方法、プログラムおよびデータ生成装置
WO2020031851A1 (ja) * 2018-08-08 2020-02-13 富士フイルム株式会社 画像処理方法及び画像処理装置
CN111191690A (zh) * 2019-12-16 2020-05-22 上海航天控制技术研究所 基于迁移学习的空间目标自主识别方法、电子设备和存储介质
JP2020126468A (ja) * 2019-02-05 2020-08-20 富士通株式会社 学習方法、学習プログラムおよび学習装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200380369A1 (en) 2019-05-31 2020-12-03 Nvidia Corporation Training a neural network using selective weight updates
US20230072400A1 (en) 2021-09-07 2023-03-09 Arizona Board Of Regents On Behalf Of Arizona State University SYSTEMS, METHODS, AND APPARATUSES FOR GENERATING PRE-TRAINED MODELS FOR nnU-Net THROUGH THE USE OF IMPROVED TRANSFER LEARNING TECHNIQUES
KR20230139257A (ko) * 2022-03-25 2023-10-05 재단법인 아산사회복지재단 기계 학습 모델 기반의 ct 영상을 분류 및 분할하기 위한 방법 및 장치
WO2023230748A1 (en) 2022-05-30 2023-12-07 Nvidia Corporation Dynamic class weighting for training one or more neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019175107A (ja) 2018-03-28 2019-10-10 沖電気工業株式会社 認識装置、認識方法、プログラムおよびデータ生成装置
WO2020031851A1 (ja) * 2018-08-08 2020-02-13 富士フイルム株式会社 画像処理方法及び画像処理装置
JP2020126468A (ja) * 2019-02-05 2020-08-20 富士通株式会社 学習方法、学習プログラムおよび学習装置
CN111191690A (zh) * 2019-12-16 2020-05-22 上海航天控制技术研究所 基于迁移学习的空间目标自主识别方法、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HU, JIELI SHENGANG SUN: "Squeeze-and-excitation networks", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2018
See also references of EP4296939A4

Also Published As

Publication number Publication date
JP7274071B2 (ja) 2023-05-15
KR20230144087A (ko) 2023-10-13
CN117099127A (zh) 2023-11-21
US20230394807A1 (en) 2023-12-07
EP4296939A1 (en) 2023-12-27
JPWO2022208632A1 (ja) 2022-10-06
EP4296939A4 (en) 2024-05-01
KR102658990B1 (ko) 2024-04-18

Similar Documents

Publication Publication Date Title
Ding et al. Semi-supervised locality preserving dense graph neural network with ARMA filters and context-aware learning for hyperspectral image classification
WO2020216227A9 (zh) 图像分类方法、数据处理方法和装置
CN107529650B (zh) 闭环检测方法、装置及计算机设备
US10311342B1 (en) System and methods for efficiently implementing a convolutional neural network incorporating binarized filter and convolution operation for performing image classification
EP3065085B1 (en) Digital image processing using convolutional neural networks
US20220215227A1 (en) Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium
CN111583263A (zh) 一种基于联合动态图卷积的点云分割方法
KR20170038622A (ko) 영상으로부터 객체를 분할하는 방법 및 장치
JP7405198B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110826458A (zh) 一种基于深度学习的多光谱遥感图像变化检测方法及系统
CN110210493B (zh) 基于非经典感受野调制神经网络的轮廓检测方法及系统
US20220157046A1 (en) Image Classification Method And Apparatus
Verma et al. Computational cost reduction of convolution neural networks by insignificant filter removal
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
Bailly et al. Boosting feature selection for neural network based regression
CN110569852B (zh) 基于卷积神经网络的图像识别方法
WO2022208632A1 (ja) 推論装置、推論方法、学習装置、学習方法、及びプログラム
US20230073175A1 (en) Method and system for processing image based on weighted multiple kernels
Shahbaz et al. Moving object detection based on deep atrous spatial features for moving camera
CN110837787A (zh) 一种三方生成对抗网络的多光谱遥感图像检测方法及系统
Halder et al. Color image segmentation using semi-supervised self-organization feature map
Jiu et al. Deep context networks for image annotation
Gangloff et al. A general parametrization framework for pairwise Markov models: An application to unsupervised image segmentation
Ruz et al. NBSOM: The naive Bayes self-organizing map
Lin et al. Using Fully Convolutional Networks for Floor Area Detection.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21934805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023509940

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20237031632

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237031632

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2021934805

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 202180096136.5

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2021934805

Country of ref document: EP

Effective date: 20230919

NENP Non-entry into the national phase

Ref country code: DE