WO2020003434A1 - 機械学習方法、機械学習装置、及び機械学習プログラム - Google Patents

機械学習方法、機械学習装置、及び機械学習プログラム Download PDF

Info

Publication number
WO2020003434A1
WO2020003434A1 PCT/JP2018/024566 JP2018024566W WO2020003434A1 WO 2020003434 A1 WO2020003434 A1 WO 2020003434A1 JP 2018024566 W JP2018024566 W JP 2018024566W WO 2020003434 A1 WO2020003434 A1 WO 2020003434A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning
machine learning
unit
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/024566
Other languages
English (en)
French (fr)
Inventor
▲高▼橋　渉
翔太 押川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to US17/041,364 priority Critical patent/US11176672B1/en
Priority to CN201880094484.7A priority patent/CN112262394B/zh
Priority to PCT/JP2018/024566 priority patent/WO2020003434A1/ja
Priority to JP2020526802A priority patent/JP6977886B2/ja
Publication of WO2020003434A1 publication Critical patent/WO2020003434A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a machine learning method, a machine learning apparatus, and a computer program for machine learning for image information, and more particularly to a learning model for performing semantic segmentation on an image by supervised machine learning.
  • the present invention relates to a machine learning method, a machine learning device, and a machine learning program.
  • CNN convolutional neural network
  • the CNN generally includes a convolution layer for extracting image features by convolution processing using a plurality of filters, a pooling layer for providing local data position invariance by pooling processing for aggregating responses in a certain area, a convolution layer and pooling.
  • a combined layer that combines image data from which a characteristic portion is extracted by a layer into one node, and outputs a value (feature variable) converted by the activation function.
  • FCN full-layer (or complete) convolutional neural network
  • a model function f (w, x) is generally constructed using the parameter w with respect to the input data x, and the loss of the model function with respect to the correct data prepared in advance is calculated.
  • an appropriate model function is obtained by modifying the parameter w so as to minimize the loss.
  • Such a technique is well known as a backpropagation method (Back Propagation).
  • the correct data is data constituting a label image which is a result of correctly segmenting the input image.
  • the input image data is usually processed by a GPU (Graphics Processing Unit) designed to specialize in image calculation processing.
  • a process of dividing an input image into a predetermined number of images and calculating a loss function for each of the divided images is performed. Is done.
  • the number of images in one unit is called a batch size, and is set in advance as one important parameter in machine learning.
  • the batch size that can be set is limited due to the limitation of the memory capacity of the GPU.
  • the data size required for learning may exceed the memory capacity of the GPU, and processing may not be executed.
  • the present applicant applies machine learning to a cell observation image obtained by a holographic microscope to cultivate pluripotent stem cells. A method is proposed for identifying emerging undifferentiated cells. In such a case, the original cell observation image is extremely high-definition and the imaging range is wide, so that the size of the image data is enormous. There is a case where the data size necessary for learning the data exceeds the memory capacity of the GPU.
  • the size of the input image and the corresponding correct image are reduced in the same manner, and the reduced In this method, learning is performed using images obtained by the learning.
  • an image reduction algorithm a bilinear interpolation method, a bicubic interpolation method, a nearest neighbor method, a Lanczos interpolation method, and the like are known.
  • the conventional machine learning method has the following problems.
  • machine learning generally, after a learning model is created by learning using a learning image and a correct image, accuracy evaluation is performed to determine whether the learning model is appropriate.
  • accuracy evaluation of the learning model a test image and a corresponding correct image are used, but the label image output from the learning model as a result of inputting the test image to the learning model is reduced. It is an image. Therefore, after the reduced label image is enlarged by a bilinear interpolation method or the like to return to the same full-size image as the correct image, the two images are compared and evaluated. However, a difference in a fine region between the two images becomes apparent due to an error of a pixel signal generated when the reduced label image is enlarged, and the evaluation accuracy may be reduced.
  • the present invention has been made in order to solve the above-mentioned problems, and an object of the present invention is to provide a high-precision full-size image even when the size of an input image is large during learning and the image needs to be reduced.
  • An object of the present invention is to provide a machine learning method, a machine learning device, and a machine learning program that can create a learning model that outputs a label image.
  • a machine learning method made in order to solve the above-described problem is a machine learning method for creating a learning model for performing semantic segmentation on an input image using machine learning, a) an image reduction step of reducing the size of the input learning image; b) using a plurality of reduced learning images, a label image generating step of generating a label image according to a learning model based on predetermined parameters, an image enlarging step of expanding the label image to the size of the input learning image, A parameter update step of determining an error by a loss function based on the enlarged label image and a correct image corresponding to the learning image, and updating the parameter in accordance with the error, the label image generation step; A learning execution step of sequentially improving the learning model by repeatedly performing an image enlargement step and the parameter update step; Wherein an enlarged learning model obtained by performing an enlargement process in the image enlarging step on the learning model improved in the learning execution step is obtained as a learning model for performing semantic segmentation.
  • a machine learning device that creates a learning model for performing semantic segmentation on an input image using machine learning, a) an image reducing unit for reducing the size of the input learning image, b) using a plurality of reduced learning images, a label image generation unit that generates a label image according to a learning model based on predetermined parameters, an image enlargement unit that enlarges the label image to the size of the input learning image, A parameter updating unit that obtains an error due to a loss function based on the enlarged label image and the correct image corresponding to the learning image and updates the parameter in accordance with the error; A learning execution unit including: an iterative control unit that sequentially improves the model; and Wherein an enlarged learning model obtained by adding an enlarging process by the image enlarging unit to the learning model improved in the learning executing unit is obtained as a learning model for performing semantic segmentation.
  • a machine learning program made to solve the above-described problem is a machine learning program that creates a learning model on a computer for performing semantic segmentation on an input image using machine learning,
  • Computer a) an image reduction function unit for reducing the size of the input learning image, b) a label image generation function unit that generates a label image according to a learning model based on predetermined parameters using a plurality of reduced learning images, and an image enlargement function unit that enlarges the label image to the size of the input learning image.
  • a parameter update function unit that obtains an error due to a loss function based on the enlarged label image and the correct image corresponding to the learning image, and updates the parameter according to the error; and repeating the processing by each of these function units
  • a repetition control function unit that sequentially improves the learning model by performing, a learning execution function unit including: And an enlarged learning model obtained by applying an enlargement process by the image enlargement function unit to the learning model improved in the learning execution function unit as a learning model for performing semantic segmentation.
  • the machine learning method according to the present invention is not particularly limited as long as semantic segmentation of an image can be performed based on a learning model, regardless of the method or algorithm.
  • a support vector machine Support @ Vector @ Machine: SVM
  • Random Forest Random Forest
  • AdaBoost AdaBoost
  • a plurality (usually, a large number) of sets of images including a training image having the same size (full size) and a correct image are input as images for creating a learning model.
  • the correct image is a label image that is a result of performing accurate semantic segmentation on the learning image.
  • an input full-size learning image is reduced to a predetermined size in an image reducing step.
  • the algorithm for reducing the image is not particularly limited, and any method including the above-described several methods can be used.
  • a learning model for performing semantic segmentation on an unknown image is created by performing machine learning using a plurality of learning images reduced as described above.
  • a label image is generated by a multilayer network including a plurality of convolutional layers and a plurality of pooling layers using a filter coefficient (weight) as a parameter.
  • a label image is generated by a multi-layer network including a convolutional layer in which the coefficient is set to a predetermined value. Since the input image to the network is a reduced image, the label image output from the network is also a reduced image.
  • the reduced label image is enlarged to the size of the original learning image, that is, the full size.
  • the parameter that is, the filter coefficient of the convolutional layer is updated in accordance with the error. I do.
  • the label image is generated again by the multilayer network in which the filter coefficients are updated, and the processing of enlarging the label image and obtaining an error from the correct image is repeated.
  • the filter coefficient group that is, the learning model is successively improved to approach a more accurate model.
  • an enlarged learning model obtained by adding the enlarging process in the image enlarging step to the final learning model is acquired as a learning model for performing semantic segmentation.
  • the parameters of the learning model are determined so as to minimize an error or the like of a pixel signal that may occur during the enlarging process. Will be.
  • the label image output with respect to the input test image is a reduced image, but in the learning model created in the present invention, the output label image Is the same full-size image as the input test image. Therefore, the accuracy of the learning model can be evaluated using the label image output from the learning model and the full-size correct image as they are.
  • the present invention since learning can be performed by reducing the size of an input image, it is possible to increase the batch size or process an image having an extremely large image size. it can.
  • the label image output from the learning model is not a reduced image but a full-size, high-definition image that is the same as the original input image, the accuracy of the learning model can be evaluated with high accuracy, for example.
  • FIG. 1 is a block diagram illustrating an embodiment of a machine learning apparatus according to the present invention.
  • FIG. 3 is a conceptual diagram of a structure of an FCN calculation unit in the machine learning device according to the embodiment.
  • 5 is a flowchart illustrating a flow of processing at the time of learning in the machine learning device according to the embodiment.
  • FIG. 1 is a schematic block diagram of an embodiment of a machine learning device for implementing a machine learning method according to the present invention.
  • the machine learning device includes, as functional blocks, an image reduction unit 11, a learning execution unit 12 including an FCN calculation unit 13, an image enlargement unit 14, an error calculation unit 15, and a parameter update unit 16, and a learning control unit 17
  • This machine learning apparatus uses a personal computer, a higher-performance workstation, or a computer system including a high-performance computer connected to the computer via a communication line as a hardware resource.
  • the present invention can be realized by executing software installed in a computer.
  • FIG. 2 is a conceptual diagram of the structure of the FCN operation unit 13. Details of the structure and processing of FCN are described in detail in many documents including Non-Patent Document 1. Further, implementation using commercially available or free software such as "MATLAB” provided by MathWorks, USA is also possible. Therefore, a brief description will be given here.
  • the FCN includes, for example, a multilayer network 131 in which the repetition of a convolutional layer and a pooling layer is multilayered, and a convolutional layer 132 corresponding to a fully connected layer in the convolutional neural network.
  • a convolution process using a filter (kernel) of a predetermined size and a pooling process of two-dimensionally reducing the convolution result and extracting an effective value are repeated.
  • the multilayer network 131 may include only a convolutional layer without a pooling layer.
  • the convolution layer 132 at the final stage local convolution and deconvolution are performed while a filter of a predetermined size is slid in the input image.
  • a labeled image 134 can be output by performing semantic segmentation on the input image 133.
  • the learning control unit 17 randomly determines learning images to be assigned to a plurality of mini-batches according to a predetermined batch size (step S1).
  • the number of mini-batches is N
  • the number of learning images assigned to one mini-batch is n.
  • the image reduction unit 11 reads n learning images included in one mini-batch in accordance with the assignment determined by the learning control unit 17, and reduces the size of each image to a predetermined size.
  • the learning execution unit 12 executes FCN learning based on the plurality of reduced learning images and the correct images respectively corresponding to the original learning images (step S13).
  • the FCN calculation unit 13 executes a process on the input image and outputs a label image as a result of the segmentation. Since the input image is a reduced image, the output label image is also a reduced image.
  • the image enlargement unit 14 enlarges the size of each of the plurality of label images to the same full size as the original learning image.
  • the error calculator 15 calculates an error based on a predetermined loss function based on the enlarged label image and the corresponding correct image. That is, when calculating this error, both the label image and the correct image are full size images.
  • the parameter update unit 16 updates the filter coefficient in the FCN operation unit 13 based on the calculated error.
  • the learning control unit 17 repeats such a routine until, for example, the error falls within a predetermined allowable range, thereby learning the filter coefficient of the FCN calculation unit 13 based on one mini-batch. That is, the filter coefficient of the FCN calculation unit 13 is learned by the back propagation method.
  • the learning control unit 17 determines whether or not learning has been completed for all mini-batches (step S14). If No is determined in step S14, there is a plurality of mini-batches for which learning images have been allocated in step S11, for which learning has not yet been completed, and the process returns to step S12. Then, under the control of the learning control unit 17, the image reducing unit 11 reads and reduces the learning images included in another mini-batch. Therefore, the processing of steps S12 to S14 is repeated by the number N of mini-batches.
  • step S15 determines whether the process in step S11 has been repeated a predetermined number of epochs. If No is determined in step S15, the process returns from step S15 to S11, and the learning control unit 17 again randomly determines learning images to be allocated to a plurality of mini-batches. Therefore, the learning images assigned to each mini-batch are shuffled. Although the number of epochs is appropriately determined in advance, it is usually a large value such as 1000 times or 10,000 times. That is, the processes of steps S11 to S15 are repeated by the number of epochs, and the learning of the filter coefficients of the FCN calculation unit 13 proceeds in the course of the repetition. If the determination is Yes in step S15, the learning ends. Then, the learning result is stored as a learned model (step S16).
  • the loop for learning the filter coefficient of the FCN calculation unit 13 includes the enlargement processing in the image enlargement unit 14.
  • the reverse operation of the reduction process is performed.
  • an error is inevitable in the pixel signal generated by the interpolation.
  • the machine learning device of the present embodiment includes the error generated when the image is enlarged.
  • a learning model based on FCN is created. Therefore, the learning model created here is a model including the enlargement processing in the image enlargement unit 14.
  • an enlarged learning model obtained by combining this FCN and an enlarging process for enlarging a label image output from the FCN is a learning model for performing semantic segmentation on the input image, and the output of this learning model is a full-size output. It is a label image.
  • a full-size label image output for the input test image and a full-size correct image corresponding to the test image can be used to perform highly accurate evaluation.
  • FCN is used as a machine learning method for semantic segmentation, but it is apparent that ordinary CNN may be used.
  • the present invention is not limited to the machine learning method using a neural network, but may be effectively applied to any machine learning method capable of performing segmentation on an image. Examples of such a machine learning method include a support vector machine, a random forest, and Adaboost.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

フルサイズの学習画像は画像縮小部（１１）で縮小されてＦＣＮ（全層畳み込みニューラルネットワーク）演算部（１３）に入力され、ＦＣＮ演算部（１３）は設定されたフィルタ係数の下での演算を行い縮小ラベル画像を出力する。縮小ラベル画像は画像拡大部（１４）でフルサイズまで拡大され、誤差計算部（１５）はその拡大されたラベル画像とフルサイズの正解画像との誤差を損失関数に基づいて計算し、パラメータ更新部（１６）はその誤差に応じてフィルタ係数を更新する。学習制御部（１７）の制御により学習を繰り返すことで、画像拡大時に生じる誤差を含んで最適なセグメンテーションを実行するような学習モデルを作成することができる。また、学習モデルに画像拡大処理を含むことで、フルサイズのラベル画像を出力することができ、モデルの精度評価も高い精度で行うことができる。

Description

機械学習方法、機械学習装置、及び機械学習プログラム
　本発明は、画像情報を対象とする機械学習方法、機械学習装置、及び機械学習用のコンピュータプログラムに関し、さらに詳しくは、教師有り機械学習により画像に対するセマンティックセグメンテーションを実行する学習モデルを作成するための機械学習方法、機械学習装置、及び機械学習プログラムに関する。
　近年、自動運転、医療用画像診断など様々な分野において、機械学習、特にディープラーニング（深層学習）を用いたセマンティックセグメンテーション等の画像処理技術が利用されている。ディーラーニングを用いた画像処理では、畳み込みニューラルネットワーク（Convolutional Neural Network：以下「ＣＮＮ」と略す ）が広く利用されている。ＣＮＮは、通常、複数のフィルタによる畳み込み処理によって画像の特徴を抽出する畳み込み層と、一定領域の応答を集約するプーリング処理によって局所的なデータの位置不変性を与えるプーリング層と、畳み込み層及びプーリング層により特徴部分が抽出された画像データを一つのノードに結合し、活性化関数によって変換された値（特徴変数）を出力する全結合層と、を有する。また、最近では、ＣＮＮを構成する全結合層を畳み込み層にする全層（又は完全）畳み込みニューラルネットワーク（Fully Convolutional Neural Network：以下「ＦＣＮ」と略す）が提案され（非特許文献１参照）、特にセマンティックセグメンテーションにおける応用が進んでいる。
　いずれにしても上記ＣＮＮ、ＦＣＮを含む機械学習では一般に、入力データｘに対しパラメータｗを用いてモデル関数ｆ（ｗ，ｘ）を構築し、該モデル関数における予め用意された正解データに対する損失を定義して、該損失を最小化するようにパラメータｗを修正することで適切なモデル関数を求める。こうした手法は誤差逆伝播法（Back Propagation）としてよく知られている。セマンティックセグメンテーションにおいて、上記正解データとは入力画像を正しくセグメンテーションした結果であるラベル画像を構成するデータである。
　一般に、画像データを対象とするディープラーニングの学習ではその計算量が膨大になる。そこで、通常、入力された画像データは画像計算処理に特化するように設計されたＧＰＵ（Graphics Processing Unit）で処理される。ただし、その場合でも、一度に多量の画像を処理することは難しいため、入力される画像を所定の枚数毎に区切り、その区切られたひとまとまりの画像毎に損失関数を計算するという処理が実施される。ひとまとまりとされる画像の枚数はバッチサイズと呼ばれ、機械学習の際の一つの重要なパラメータとして予め設定される。
　バッチサイズを大きくすると学習が速く進んで効率的であるものの、ＧＰＵのメモリ容量の制約のために設定可能なバッチサイズには制約がある。また、入力画像のサイズが極端に大きい場合には、バッチサイズを最小値に設定しても学習に必要なデータサイズがＧＰＵのメモリ容量を超えてしまい処理を実行できない場合がある。例えば本出願人らはＰＣＴ／ＪＰ２０１８／００８４８３号、ＰＣＴ／ＪＰ２０１８／００９０４６号等において、ホログラフィック顕微鏡により得られた細胞観察画像に対し機械学習を適用して、多能性幹細胞を培養する過程で発生する未分化逸脱細胞を識別する方法を提案している。こうした場合、元の細胞観察画像は非常に高精細で且つ撮影範囲も広いために画像データのサイズは膨大であり、それに伴って学習時に使用する一時メモリサイズも膨大となるため、１枚の画像の学習に必要なデータサイズがＧＰＵのメモリ容量を超えてしまうことがある。
　そこで従来は、バッチサイズをできるだけ大きくするため、或いは、データサイズが極端に大きな画像を処理するために、入力された画像とこれに対応する正解画像のサイズを同じように縮小し、その縮小された画像を用いて学習を実施するという方法が採られている。画像縮小のアルゴリズムとしては、バイリニア補間法、バイキュービック補間法、最近傍法、ランチョス（Lanczos）補間法などが知られている。
ジョナサン・ロング（Jonathan Long）、ほか２名、「フーリー・コンボリューショナル・ネットワークス・フォー・セマンティック・セグメンテーション（Fully Convolutional Networks for Semantic Segmentation）」、ザ・アイトリプルイー・カンファレンス・オン・コンピュータ・ビジョン・アンド・パターン・リコグニション（The IEEE Conference on Computer Vision and Pattern Recognition）、2015年、pp.3431-3440、（インターネット＜URL: https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf＞）
　しかしながら、上記従来の機械学習方法では次のような問題がある。
　機械学習では、学習画像及び正解画像を用いた学習により学習モデルが作成されたあと、その学習モデルが適切であるかどうかの精度評価が実施されるのが一般的である。この学習モデルの精度評価の際には、テスト画像とこれに対応する正解画像とが用いられるが、該テスト画像を学習モデルに入力した結果として該学習モデルから出力されるラベル画像は縮小された画像である。そのため、その縮小されたラベル画像をバイリニア補間法等により拡大して正解画像と同じフルサイズの画像に戻したうえで、両画像を比較して評価が行われる。ところが、縮小されたラベル画像を拡大する際に生じる画素信号の誤差のために両画像間の微細な領域での差異が顕在化し、評価精度が低下してしまう場合がある。
　本発明は上記課題を解決するためになされたものであり、その目的とするところは、学習時に入力画像のサイズが大きく画像を縮小する必要がある場合であっても、フルサイズの高精度のラベル画像が出力される学習モデルを作成することができる機械学習方法、機械学習装置、及び機械学習プログラムを提供することである。
　上記課題を解決するために成された本発明に係る機械学習方法は、機械学習を用いて入力画像に対するセマンティックセグメンテーションを行うための学習モデルを作成する機械学習方法であって、
　a)入力された学習画像のサイズを縮小する画像縮小ステップと、
　b)複数の縮小された学習画像を用い、所定のパラメータに基づく学習モデルに従ってラベル画像を生成するラベル画像生成ステップ、該ラベル画像を前記入力された学習画像のサイズまで拡大する画像拡大ステップ、及び、該拡大されたラベル画像と前記学習画像に対応する正解画像とに基づき損失関数による誤差を求め該誤差に応じて前記パラメータを更新するパラメータ更新ステップと、を含み、該ラベル画像生成ステップ、該画像拡大ステップ及び該パラメータ更新ステップを繰り返し行うことで前記学習モデルを逐次的に改良する学習実行ステップと、
　を有し、前記学習実行ステップにおいて改良された学習モデルに前記画像拡大ステップによる拡大処理を加えた拡大学習モデルをセマンティックセグメンテーションを行うための学習モデルとして得ることを特徴としている。
　また上記課題を解決するために成された本発明に係る機械学習装置は、機械学習を用いて入力画像に対するセマンティックセグメンテーションを行うための学習モデルを作成する機械学習装置であって、
　a)入力された学習画像のサイズを縮小する画像縮小部と、
　b)複数の縮小された学習画像を用い、所定のパラメータに基づく学習モデルに従ってラベル画像を生成するラベル画像生成部、該ラベル画像を前記入力された学習画像のサイズまで拡大する画像拡大部、該拡大されたラベル画像と前記学習画像に対応する正解画像とに基づき損失関数による誤差を求め該誤差に応じて前記パラメータを更新するパラメータ更新部、及び、それら各部による処理を繰り返し行うことで前記学習モデルを逐次的に改良する繰り返し制御部と、を含む学習実行部と、
　を備え、前記学習実行部において改良された学習モデルに前記画像拡大部による拡大処理を加えた拡大学習モデルをセマンティックセグメンテーションを行うための学習モデルとして得ることを特徴としている。
　さらにまた上記課題を解決するために成された本発明に係る機械学習プログラムは、機械学習を用いて入力画像に対するセマンティックセグメンテーションを行うための学習モデルをコンピュータ上で作成する機械学習プログラムであって、
　コンピュータを、
　a)入力された学習画像のサイズを縮小する画像縮小機能部と、
　b)複数の縮小された学習画像を用い、所定のパラメータに基づく学習モデルに従ってラベル画像を生成するラベル画像生成機能部、該ラベル画像を前記入力された学習画像のサイズまで拡大する画像拡大機能部、該拡大されたラベル画像と前記学習画像に対応する正解画像とに基づき損失関数による誤差を求め該誤差に応じて前記パラメータを更新するパラメータ更新機能部、及び、それら各機能部による処理を繰り返し行うことで前記学習モデルを逐次的に改良する繰り返し制御機能部と、を含む学習実行機能部と、
　して動作させ、前記学習実行機能部において改良された学習モデルに前記画像拡大機能部による拡大処理を加えた拡大学習モデルをセマンティックセグメンテーションを行うための学習モデルとして得ることを特徴としている。
　本発明における機械学習の手法は、学習モデルに基づいて画像のセマンティックセグメンテーションが可能であれば特にその方法やアルゴリズムを問わず、例えば、前述のＦＣＮ、ＣＮＮを含むディープラーニングのほか、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、アダブースト（AdaBoost）などが挙げられる。
　本発明では、学習モデルを作成するための画像として、同じサイズ（フルサイズ）の学習画像と正解画像とを一組とする複数（通常はかなり多数）組の画像が入力される。正解画像は学習画像に対して正確なセマンティックセグメンテーションが実施された結果であるラベル画像である。本発明に係る機械学習方法では、まず画像縮小ステップにより、入力されたフルサイズの学習画像が所定のサイズに縮小される。この画像縮小のアルゴリズムは特に限定されず、前述の幾つかの方法を含むいずれかの方法を用いることができる。
　学習実行ステップでは、上述のように縮小された複数の学習画像を用いて機械学習を行うことにより、未知の画像に対してセマンティックセグメンテーションを行うための学習モデルを作成する。例えばＦＣＮによるディープラーニングを行う場合、ラベル画像生成ステップでは、フィルタの係数（重み）をパラメータとする複数の畳み込み層と複数のプーリング層とを含む多層ネットワークによりラベル画像を生成するが、まずそのフィルタの係数が所定値に設定された畳み込み層を含む多層ネットワークによりラベル画像を生成する。該ネットワークへの入力画像は縮小された画像であるので、該ネットワークから出力されるラベル画像も縮小されたものである。
　画像拡大ステップでは、その縮小されたラベル画像を元の学習画像のサイズ、つまりフルサイズまで拡大する。そして、パラメータ更新ステップでは、所定の損失関数を用いて拡大後のフルサイズのラベル画像と同じフルサイズの正解画像とから誤差を求め、その誤差に応じてパラメータ、つまり畳み込み層のフィルタ係数を更新する。そして、フィルタ係数が更新された多層ネットワークによりラベル画像を再び生成し、そのラベル画像を拡大して正解画像との誤差を求める、という処理を繰り返す。この繰り返しにより、フィルタ係数群つまりは学習モデルを逐次的に改良してより正確なモデルに近づける。そして、最終的な学習モデルに画像拡大ステップにおける拡大処理を加えた拡大学習モデルを、セマンティックセグメンテーションを行うための学習モデルとして取得する。
　本発明では、画像拡大ステップにおける拡大処理を含んで学習が実行されるから、その拡大処理の際に発生する可能性がある画素信号の誤差等をできるだけ小さくするように学習モデルのパラメータが決定されることになる。従来の学習方法で作成される学習モデルでは、入力されたテスト画像に対して出力されるラベル画像は縮小された画像であったが、本発明において作成される学習モデルでは、出力されるラベル画像は入力されたテスト画像と同じフルサイズの画像である。そのため、学習モデルから出力されるラベル画像とフルサイズである正解画像をそのまま用いて、学習モデルの精度評価を行うことができる。
　上述したように本発明によれば、入力画像のサイズを縮小して学習を行うことができるので、バッチサイズを大きくしたり、或いは、画像のサイズが極端に大きな画像も処理したりすることができる。一方、学習モデルから出力されるラベル画像は縮小画像ではなく元の入力画像と同じフルサイズの高精細な画像であるので、例えば高い精度で以て学習モデルの精度評価を行うことができる。
本発明に係る機械学習装置の一実施例のブロック構成図。 本実施例の機械学習装置におけるＦＣＮ演算部の構造の概念図。 本実施例の機械学習装置における学習時の処理の流れを示すフローチャート。
　以下、本発明に係る機械学習方法、機械学習装置、及び機械学習プログラムの一実施例について、添付図面を参照して説明する。
　図１は本発明に係る機械学習方法を実施するための機械学習装置の一実施例の概略ブロック構成図である。
　本実施例の機械学習装置は機能ブロックとして、画像縮小部１１と、ＦＣＮ演算部１３、画像拡大部１４、誤差計算部１５、及びパラメータ更新部１６を含む学習実行部１２と、学習制御部１７と、を含む。なお、この機械学習装置はパーソナルコンピュータやより性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムをハードウェア資源とし、そうしたコンピュータ単体又はコンピュータシステムに搭載されているソフトウェアを実行することで具現化されるものとすることができる。
　図２はＦＣＮ演算部１３の構造の概念図である。ＦＣＮの構造や処理の詳細は非特許文献１を始めとする多くの文献に詳しく説明されている。また、米国マスワークス（MathWorks）社が提供している「MATLAB」などの市販の或いはフリーのソフトウェアを利用した実装も可能である。そのため、ここでは概略的に説明する。
　図２に示すように、ＦＣＮは、例えば畳み込み層とプーリング層との繰り返しが多層化された多層ネットワーク１３１と、畳み込みニューラルネットワークにおける全結合層に相当する畳み込み層１３２と、を含む。この場合、多層ネットワーク１３１では、所定のサイズのフィルタ（カーネル）を用いた畳み込み処理と、畳み込み結果を２次元的に縮小して有効値を抽出するプーリング処理とを繰り返す。但し、多層ネットワーク１３１は、プーリング層がなく畳み込み層のみで構成されていてもよい。また、最終段の畳み込み層１３２では、所定のサイズのフィルタを入力画像内でスライドさせつつ局所的な畳み込み及び逆畳み込みを行う。このＦＣＮでは、入力画像１３３に対してセマンティックセグメンテーションを行うことで、ラベル付けしたラベル画像１３４を出力することができる。
　ＦＣＮによりセグメンテーションを行うには、予め多数の学習画像を用いて、多層ネットワーク１３１に含まれる複数の畳み込み層や最終段の畳み込み層１３２それぞれにおけるフィルタの係数（重み）を学習させる必要がある。次に、図３に示すフローチャートに従って、本実施例の機械学習装置において学習を行う際の動作を説明する。ここでは一般的に機械学習でしばしば用いられている確率的勾配降下法を利用した学習を行う。この方法は、与えられた多数の学習データを予め定めたミニバッチ単位で区切りつつ学習を繰り返す方法であり、学習データがランダムにシャッフルされることにより、局所解にはまりにくくなるという利点がある。
　学習の際には、セグメンテーションの対象である学習画像と、この学習画像に対して適切にセグメンテーションがなされた結果のラベル画像である正解画像とを一組とするセット画像が多数用いられる。ここでは、説明の便宜上、学習画像と正解画像との組はＭであるものとする。
　学習制御部１７は、予め決められているバッチサイズに応じて、複数のミニバッチに割り当てる学習画像をランダムに決定する（ステップＳ１）。ここでは、ミニバッチの数はＮであり、一つのミニバッチに割り当てられる学習画像の数はｎであるとする。
　画像縮小部１１は学習制御部１７で決められた割当てに従って、一つのミニバッチに含まれるｎ枚の学習画像を読み込み、各画像のサイズを所定のサイズに縮小する。次に、学習実行部１２は縮小された複数の学習画像と元の学習画像にそれぞれ対応する正解画像とに基づいて、ＦＣＮの学習を実行する（ステップＳ１３）。
　具体的には、まずパラメータ更新部１６により初期的に設定されたフィルタ係数の下でＦＣＮ演算部１３は入力画像に対する処理を実行しセグメンテーションの結果であるラベル画像を出力する。入力画像は縮小画像であるから、出力されるラベル画像も縮小画像である。画像拡大部１４は複数のラベル画像それぞれについて、元の学習画像と同じフルサイズまで画像のサイズを拡大する。誤差計算部１５は拡大されたラベル画像とそれに対応する正解画像とに基づき、所定の損失関数による誤差を算出する。即ち、この誤差を計算する際には、ラベル画像、正解画像共にフルサイズの画像である。パラメータ更新部１６は算出された誤差に基づいて、ＦＣＮ演算部１３におけるフィルタ係数を更新する。これにより、同じ入力画像に対するＦＣＮ演算部１３における処理の結果、つまりはラベル画像が変化する。学習制御部１７はこのようなルーチンを例えば誤差が所定の許容範囲に収まるまで繰り返すことで、一つのミニバッチに基づくＦＣＮ演算部１３のフィルタ係数を学習する。即ち、誤差逆伝播法によりＦＣＮ演算部１３のフィルタ係数を学習する。
　そのあと、学習制御部１７は全てのミニバッチについての学習が終了したか否かを判定する（ステップＳ１４）。ステップＳ１４でＮｏと判定された場合には、ステップＳ１１で学習画像の割当てが決められた複数のミニバッチの中で未だ学習が済んでいないものがあるから、ステップＳ１２に戻る。そして、学習制御部１７の制御の下で画像縮小部１１は別の一つのミニバッチに含まれる学習画像を読み込んで縮小する。したがって、ステップＳ１２～Ｓ１４の処理はミニバッチの数Ｎだけ繰り返される。
　上記ステップＳ１４でＹｅｓと判定されると、学習制御部１７は、ステップＳ１１の処理を予め決められたエポック数だけ繰り返したか否かを判定する（ステップＳ１５）。このステップＳ１５でＮｏと判定された場合には、ステップＳ１５からＳ１１へと戻り、学習制御部１７は再び複数のミニバッチに割り当てる学習画像をランダムに決定する。したがって、各ミニバッチに割り当てられる学習画像はシャッフルされることになる。エポック数は予め適宜に決められるが、通常、例えば１０００回或いは１万回など大きな値である。即ち、このエポック数だけステップＳ１１～Ｓ１５の処理が繰り返され、その繰り返しの過程でＦＣＮ演算部１３のフィルタ係数の学習が進められる。そして、ステップＳ１５でＹｅｓと判定されると学習を終了する。そして、その学習結果を学習済みのモデルとして保存する（ステップＳ１６）。
　上述したようにＦＣＮ演算部１３のフィルタ係数を学習する際のループには、画像拡大部１４における拡大処理が含まれる。通常、拡大処理では縮小処理を逆の操作を行うが、補間により生成される画素信号には誤差が避けられないが、本実施例の機械学習装置では、この画像拡大の際に生じる誤差も含めてＦＣＮによる学習モデルが作成される。したがって、ここで作成される学習モデルは画像拡大部１４における拡大処理を含んだモデルである。即ち、このＦＣＮと、そのＦＣＮの出力であるラベル画像を拡大する拡大処理を合わせた拡大学習モデルが、入力画像に対するセマンティックセグメンテーションを行うための学習モデルであり、この学習モデルの出力はフルサイズのラベル画像である。
　これにより、例えばテスト画像を用いて、作成された学習モデルの精度を評価する際に、入力されたテスト画像に対して出力されるフルサイズのラベル画像とテスト画像に対応するフルサイズの正解画像とを用いて高精度な評価を行うことができる。
　なお、上記実施例では、セマンティックセグメンテーションのための機械学習法としてＦＣＮを用いていたが、通常のＣＮＮでもよいことは明らかである。また、ニューラルネットワークを用いた機械学習法に限らず、画像についてのセグメンテーションが可能な機械学習法であれば本発明を適用することが有効である。こうした機械学習法としては、例えばサポートベクターマシン、ランダムフォレスト、アダブーストなどがある。
　また、上記実施例はあくまでも本発明の一例にすぎず、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。
１１…画像縮小部
１２…学習実行部
１３…ＦＣＮ演算部
１３１…多層ネットワーク
１３２…畳み込み層
１４…画像拡大部
１５…誤差計算部
１６…パラメータ更新部
１７…学習制御部

Claims (6)

  1. 　機械学習を用いて入力画像に対するセマンティックセグメンテーションを行うための学習モデルを作成する機械学習方法であって、
    　a)入力された学習画像のサイズを縮小する画像縮小ステップと、
    　b)複数の縮小された学習画像を用い、所定のパラメータに基づく学習モデルに従ってラベル画像を生成するラベル画像生成ステップ、該ラベル画像を前記入力された学習画像のサイズまで拡大する画像拡大ステップ、及び、該拡大されたラベル画像と前記学習画像に対応する正解画像とに基づき損失関数による誤差を求め該誤差に応じて前記パラメータを更新するパラメータ更新ステップと、を含み、該ラベル画像生成ステップ、該画像拡大ステップ及び該パラメータ更新ステップを繰り返し行うことで前記学習モデルを逐次的に改良する学習実行ステップと、
    　を有し、前記学習実行ステップにおいて改良された学習モデルに前記画像拡大ステップによる拡大処理を加えた拡大学習モデルをセマンティックセグメンテーションを行うための学習モデルとして得ることを特徴とする機械学習方法。
  2. 　請求項１に記載の機械学習方法であって、
    　前記機械学習は畳み込みニューラルネットワークを用いたディープラーニングであることを特徴とする機械学習方法。
  3. 　機械学習を用いて入力画像に対するセマンティックセグメンテーションを行うための学習モデルを作成する機械学習装置であって、
    　a)入力された学習画像のサイズを縮小する画像縮小部と、
    　b)複数の縮小された学習画像を用い、所定のパラメータに基づく学習モデルに従ってラベル画像を生成するラベル画像生成部、該ラベル画像を前記入力された学習画像のサイズまで拡大する画像拡大部、該拡大されたラベル画像と前記学習画像に対応する正解画像とに基づき損失関数による誤差を求め該誤差に応じて前記パラメータを更新するパラメータ更新部、及び、それら各部による処理を繰り返し行うことで前記学習モデルを逐次的に改良する繰り返し制御部と、を含む学習実行部と、
    　を備え、前記学習実行部において改良された学習モデルに前記画像拡大部による拡大処理を加えた拡大学習モデルをセマンティックセグメンテーションを行うための学習モデルとして得ることを特徴とする機械学習装置。
  4. 　請求項３に記載の機械学習装置であって、
    　前記機械学習は畳み込みニューラルネットワークを用いたディープラーニングであることを特徴とする機械学習装置。
  5. 　機械学習を用いて入力画像に対するセマンティックセグメンテーションを行うための学習モデルをコンピュータ上で作成する機械学習プログラムであって、
    　コンピュータを、
    　a)入力された学習画像のサイズを縮小する画像縮小機能部と、
    　b)複数の縮小された学習画像を用い、所定のパラメータに基づく学習モデルに従ってラベル画像を生成するラベル画像生成機能部、該ラベル画像を前記入力された学習画像のサイズまで拡大する画像拡大機能部、該拡大されたラベル画像と前記学習画像に対応する正解画像とに基づき損失関数による誤差を求め該誤差に応じて前記パラメータを更新するパラメータ更新機能部、及び、それら各機能部による処理を繰り返し行うことで前記学習モデルを逐次的に改良する繰り返し制御機能部と、を含む学習実行機能部と、
    　して動作させ、前記学習実行機能部において改良された学習モデルに前記画像拡大機能部による拡大処理を加えた拡大学習モデルをセマンティックセグメンテーションを行うための学習モデルとして得ることを特徴とする機械学習プログラム。
  6. 　請求項５に記載の機械学習プログラムであって、
    　前記機械学習は畳み込みニューラルネットワークを用いたディープラーニングであることを特徴とする機械学習プログラム。
PCT/JP2018/024566 2018-06-28 2018-06-28 機械学習方法、機械学習装置、及び機械学習プログラム Ceased WO2020003434A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/041,364 US11176672B1 (en) 2018-06-28 2018-06-28 Machine learning method, machine learning device, and machine learning program
CN201880094484.7A CN112262394B (zh) 2018-06-28 2018-06-28 机器学习方法、机器学习装置
PCT/JP2018/024566 WO2020003434A1 (ja) 2018-06-28 2018-06-28 機械学習方法、機械学習装置、及び機械学習プログラム
JP2020526802A JP6977886B2 (ja) 2018-06-28 2018-06-28 機械学習方法、機械学習装置、及び機械学習プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/024566 WO2020003434A1 (ja) 2018-06-28 2018-06-28 機械学習方法、機械学習装置、及び機械学習プログラム

Publications (1)

Publication Number Publication Date
WO2020003434A1 true WO2020003434A1 (ja) 2020-01-02

Family

ID=68986315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024566 Ceased WO2020003434A1 (ja) 2018-06-28 2018-06-28 機械学習方法、機械学習装置、及び機械学習プログラム

Country Status (4)

Country Link
US (1) US11176672B1 (ja)
JP (1) JP6977886B2 (ja)
CN (1) CN112262394B (ja)
WO (1) WO2020003434A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612803A (zh) * 2020-04-30 2020-09-01 杭州电子科技大学 一种基于图像清晰度的车辆图像语义分割方法
JP2020197999A (ja) * 2019-06-04 2020-12-10 京セラ株式会社 画像学習プログラム、画像学習方法、及び画像認識装置
JP2022103149A (ja) * 2020-12-25 2022-07-07 日本電気株式会社 画像処理方法及びコンピューティングデバイス
WO2023038074A1 (ja) * 2021-09-13 2023-03-16 株式会社島津製作所 細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法
JP2023071029A (ja) * 2021-11-10 2023-05-22 株式会社アクセル 情報処理装置、情報処理方法、及びプログラム
WO2023157439A1 (ja) * 2022-02-18 2023-08-24 富士フイルム株式会社 画像処理装置及びその作動方法、推論装置並びに学習装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764806B (zh) * 2020-12-30 2025-07-15 银河水滴科技(江苏)有限公司 基于搜索空间的图像分割模型生成方法、分割方法及装置
US12620059B2 (en) 2021-03-16 2026-05-05 Samsung Electronics Co., Ltd. Method and device for deep guided filter processing
JP7818928B2 (ja) 2021-10-26 2026-02-24 キヤノン株式会社 情報処理装置、推測方法、学習方法、プログラム、記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3814353B2 (ja) * 1996-11-20 2006-08-30 キヤノン株式会社 画像分割方法および画像分割装置
JP3767667B2 (ja) * 1999-08-18 2006-04-19 富士ゼロックス株式会社 画像処理装置
US9785866B2 (en) * 2015-01-22 2017-10-10 Microsoft Technology Licensing, Llc Optimizing multi-class multimedia data classification using negative data
US9824189B2 (en) * 2015-01-23 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, image display system, and storage medium
US11071501B2 (en) * 2015-08-14 2021-07-27 Elucid Bioiwaging Inc. Quantitative imaging for determining time to adverse event (TTE)
CN106874921B (zh) * 2015-12-11 2020-12-04 清华大学 图像分类方法和装置
CN106023220B (zh) * 2016-05-26 2018-10-19 史方 一种基于深度学习的车辆外观部件图像分割方法
CN106920243B (zh) * 2017-03-09 2019-12-17 桂林电子科技大学 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
US10997462B2 (en) * 2018-04-04 2021-05-04 Canon Virginia, Inc. Devices, systems, and methods for clustering reference images for non-destructive testing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUJIYOSHI, HIRONOBU ET AL.: "Image Recognition by Deep Learning.", JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 35, no. 3, 15 May 2017 (2017-05-15), pages 180 - 185, XP055670164, Retrieved from the Internet <URL:https://www.jstage.jst.go.jp/article/jrsj/35/3/35_35_180/_pdf/-char/ja> [retrieved on 20180725] *
LONG, J. ET AL.: "Convolutional Networks for Semantic Segmentation", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 12 June 2015 (2015-06-12), pages 3431 - 3440, XP055573743, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7298965> [retrieved on 20180725], DOI: 10.1109/CVPR.2015.7298965 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197999A (ja) * 2019-06-04 2020-12-10 京セラ株式会社 画像学習プログラム、画像学習方法、及び画像認識装置
JP7210380B2 (ja) 2019-06-04 2023-01-23 京セラ株式会社 画像学習プログラム、画像学習方法、及び画像認識装置
CN111612803A (zh) * 2020-04-30 2020-09-01 杭州电子科技大学 一种基于图像清晰度的车辆图像语义分割方法
CN111612803B (zh) * 2020-04-30 2023-10-17 杭州电子科技大学 一种基于图像清晰度的车辆图像语义分割方法
JP2022103149A (ja) * 2020-12-25 2022-07-07 日本電気株式会社 画像処理方法及びコンピューティングデバイス
JP7347492B2 (ja) 2020-12-25 2023-09-20 日本電気株式会社 画像処理方法及びコンピューティングデバイス
US12205355B2 (en) 2020-12-25 2025-01-21 Nec Corporation Method, device, and computer readable storage medium for image processing
WO2023038074A1 (ja) * 2021-09-13 2023-03-16 株式会社島津製作所 細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法
JP7673813B2 (ja) 2021-09-13 2025-05-09 株式会社島津製作所 細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法
JP2023071029A (ja) * 2021-11-10 2023-05-22 株式会社アクセル 情報処理装置、情報処理方法、及びプログラム
JP7321577B2 (ja) 2021-11-10 2023-08-07 株式会社アクセル 情報処理装置、情報処理方法、及びプログラム
WO2023157439A1 (ja) * 2022-02-18 2023-08-24 富士フイルム株式会社 画像処理装置及びその作動方法、推論装置並びに学習装置

Also Published As

Publication number Publication date
JP6977886B2 (ja) 2021-12-08
JPWO2020003434A1 (ja) 2021-01-07
CN112262394B (zh) 2024-01-16
US20210358129A1 (en) 2021-11-18
CN112262394A (zh) 2021-01-22
US11176672B1 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
JP6977886B2 (ja) 機械学習方法、機械学習装置、及び機械学習プログラム
JP7611416B2 (ja) リソグラフィマスク生成モデルの訓練方法、装置、機器、及びコンピュータプログラム
EP3785187A1 (en) Personalized gesture recognition for user interaction with assistant systems
CN109754359B (zh) 一种应用于卷积神经网络的池化处理的方法及系统
CN113792753A (zh) 动态超图神经网络分类方法和系统
US20240386273A1 (en) Data processing apparatus, training apparatus, method of detecting an object, method of training, and medium
JP2021111388A (ja) ニューラル・ネットワーク・アーキテクチャ・サーチ・システム及び方法
CN115860100A (zh) 一种神经网络模型训练方法、装置及计算设备
CN114565792B (zh) 一种基于轻量化卷积神经网络的图像分类方法和装置
JP2020123270A (ja) 演算装置
CN111753980B (zh) 将第一图像的特征转移到第二图像的方法
CN107743071B (zh) 一种网络节点的增强表示方法及装置
WO2020040007A1 (ja) 学習装置、学習方法及び学習プログラム
CN116912489B (zh) 一种基于傅里叶先验知识的医学图像分割方法和系统
TW202449657A (zh) 基於稀疏化和量化的深度神經網路模型優化
WO2019176479A1 (ja) ニューラルネットワーク型画像処理装置
CN111160487B (zh) 人脸图像数据集的扩充方法和装置
CN112801203B (zh) 基于多任务学习的数据分流训练方法及系统
JP7188589B2 (ja) 復元装置、復元方法、およびプログラム
US20220391761A1 (en) Machine learning device, information processing method, and recording medium
CN116958087B (zh) 基于配准点集的心脏形变场估计方法、系统、装置及介质
CN112602097A (zh) 数据处理系统和数据处理方法
JP6994572B2 (ja) データ処理システムおよびデータ処理方法
CN115994913B (zh) 神经网络的图像特征处理方法、装置、设备和介质
JP7055211B2 (ja) データ処理システムおよびデータ処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18923986

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020526802

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18923986

Country of ref document: EP

Kind code of ref document: A1