JP7096361B2 - ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置 - Google Patents
ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置 Download PDFInfo
- Publication number
- JP7096361B2 JP7096361B2 JP2020559800A JP2020559800A JP7096361B2 JP 7096361 B2 JP7096361 B2 JP 7096361B2 JP 2020559800 A JP2020559800 A JP 2020559800A JP 2020559800 A JP2020559800 A JP 2020559800A JP 7096361 B2 JP7096361 B2 JP 7096361B2
- Authority
- JP
- Japan
- Prior art keywords
- mini
- learning
- batch
- update
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000012545 processing Methods 0.000 title claims description 31
- 238000010801 machine learning Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 6
- 238000004113 cell culture Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
- G06V30/274—Syntactic or semantic context, e.g. balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Description
本開示の技術は、ミニバッチ学習装置とその作動プログラムおよび作動方法に関する。
画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションが知られている。セマンティックセグメンテーションは、Ｕ字型の畳み込みニューラルネットワーク（Ｕ－Ｎｅｔ；U-Shaped Neural Network）等の機械学習モデル（以下、単にモデル）で実現される。
モデルの判別精度を高めるためには、モデルに学習データを与えて学習させ、モデルを更新していくことが必要である。学習データは、学習用入力画像と、学習用入力画像内のクラスが手動で指定されたアノテーション画像とで構成される。特許文献１では、複数の学習用入力画像の中から、アノテーション画像の元となる１つの学習用入力画像を抽出している。
学習には、ミニバッチ学習という手法がある。ミニバッチ学習では、学習データとしてミニバッチデータをモデルに与える。ミニバッチデータは、学習用入力画像とアノテーション画像とを分割した複数の分割画像（例えば元の画像の１／１００のサイズの枠で分割した１万枚の分割画像）のうちの一部（例えば１００枚）で構成される。ミニバッチデータは複数組（例えば１００組）生成され、各組が順次モデルに与えられる。
ここで、学習用入力画像およびアノテーション画像にクラスの偏りがある場合を考える。例えば、学習用入力画像は細胞培養の様子を映した位相差顕微鏡の画像であって、クラス１が分化細胞、クラス２が未分化細胞、クラス３が培地、クラス４が死細胞に分類される画像である。そして、学習用入力画像およびアノテーション画像全体における各クラスの面積割合が、分化細胞３８％、未分化細胞２％、培地４０％、死細胞２０％で、未分化細胞の面積割合が比較的低い場合である。
このように学習用入力画像およびアノテーション画像にクラスの偏りがあると、学習用入力画像およびアノテーション画像から構成されるミニバッチデータにも、クラスの偏りが生じる可能性が高くなる。ミニバッチデータにクラスの偏りが生じた場合は、面積割合が比較的低い稀少クラスが加味されずに学習が行われる。結果として、稀少クラスの判別精度が低いモデルができあがってしまう。
特許文献１では、前述のように、複数の学習用入力画像の中から、アノテーション画像の元となる１つの学習用入力画像を抽出している。しかしながら、この手法では、複数の学習用入力画像の全てにクラスの偏りがあった場合は、結局は稀少クラスの判別精度が低いモデルができあがってしまう。したがって、特許文献１に記載の手法では、稀少クラスの判別精度が低いモデルができあがってしまう、という問題を解決することはできない。
本開示の技術は、セマンティックセグメンテーションを実施するための機械学習モデルのクラスの判別精度の低下を抑制することが可能なミニバッチ学習装置とその作動プログラムと作動方法およびそれを実装した画像処理装置を提供することを目的とする。
上記目的を達成するために、本開示のミニバッチ学習装置は、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置であり、ミニバッチデータにおける、複数のクラスの各々の面積割合を算出する算出部と、面積割合が設定値よりも低い稀少クラスを特定する特定部と、ミニバッチデータを用いた学習の結果に応じて、機械学習モデルを更新する更新部であり、特定部において稀少クラスを特定しなかった場合よりも、特定部において稀少クラスを特定した場合の機械学習モデルの更新度合いを小さくする更新部と、を備える。
更新部は、特定部において稀少クラスを特定しなかった場合よりも、特定部において稀少クラスを特定した場合の、機械学習モデルの各種パラメータの値の変化幅を示す学習係数を小さくすることが好ましい。
更新部に更新度合いを小さくする処理を行わせるか否かの選択指示を受け付ける受付部を備えることが好ましい。
本開示のミニバッチ学習装置の作動プログラムは、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置であり、ミニバッチデータにおける、複数のクラスの各々の面積割合を算出する算出部と、面積割合が設定値よりも低い稀少クラスを特定する特定部と、ミニバッチデータを用いた学習の結果に応じて、機械学習モデルを更新する更新部であり、特定部において稀少クラスを特定しなかった場合よりも、特定部において稀少クラスを特定した場合の機械学習モデルの更新度合いを小さくする更新部として、コンピュータを機能させる。
本開示のミニバッチ学習装置の作動方法は、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置の作動方法であり、ミニバッチデータにおける、複数のクラスの各々の面積割合を算出する算出ステップと、面積割合が設定値よりも低い稀少クラスを特定する特定ステップと、ミニバッチデータを用いた学習の結果に応じて、機械学習モデルを更新する更新ステップであり、特定ステップにおいて稀少クラスを特定しなかった場合よりも、特定ステップにおいて稀少クラスを特定した場合の機械学習モデルの更新度合いを小さくする更新ステップと、を備える。
本開示の技術によれば、セマンティックセグメンテーションを実施するための機械学習モデルのクラスの判別精度の低下を抑制することが可能なミニバッチ学習装置とその作動プログラム、作動方法および画像処理装置を提供することができる。
［第１実施形態］
図１において、ミニバッチ学習装置２は、入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するためのモデル１０の判別精度を高めるために、モデル１０にミニバッチデータ１１を用いたミニバッチ学習を行わせる。ミニバッチ学習装置２は、例えばデスクトップ型のパーソナルコンピュータである。また、モデル１０は、例えばＵ－Ｎｅｔである。
クラスは、入力画像に映る物体の種類と言い換えてもよい。また、セマンティックセグメンテーションは、端的に言えば、入力画像に映る物体のクラスとその輪郭を判別するもので、その判別結果を、モデル１０は出力画像として出力する。例えば入力画像にコップ、本、携帯電話の３つの物体が映っていた場合、出力画像は、理想的には、コップ、本、携帯電話が各々クラスとして判別され、かつこれら物体の輪郭を忠実に辿った輪郭線がそれぞれの物体に描かれたものとなる。
モデル１０のクラスの判別精度は、モデル１０に学習データを与えて学習させ、モデル１０を更新することで高められる。学習データは、モデル１０に入力する学習用入力画像と、学習用入力画像内のクラスが手動で指定されたアノテーション画像との組で構成される。アノテーション画像は、学習用入力画像に応じてモデル１０から出力された学習用出力画像とのいわば答え合わせを行うための画像で、学習用出力画像と比較される。モデル１０のクラスの判別精度が高いほど、アノテーション画像と学習用出力画像との差異は小さくなる。
ミニバッチ学習装置２では、前述のように、学習データとしてミニバッチデータ１１を用いる。ミニバッチデータ１１は、分割学習用入力画像群１２と分割アノテーション画像群１３とで構成される。
ミニバッチ学習においては、分割学習用入力画像群１２がモデル１０に与えられる。これにより、モデル１０から、分割学習用入力画像群１２の分割学習用入力画像２０Ｓ（図４参照）毎に学習用出力画像が出力される。こうしてモデル１０から出力された学習用出力画像の集合である学習用出力画像群１４と、分割アノテーション画像群１３とが比較され、モデル１０のクラスの判別精度が評価される。そして、このクラスの判別精度の評価結果に応じて、モデル１０が更新される。ミニバッチ学習装置２は、これらの分割学習用入力画像群１２のモデル１０への入力と学習用出力画像群１４のモデル１０からの出力、モデル１０のクラスの判別精度の評価、およびモデル１０の更新を、ミニバッチデータ１１を代えつつ行い、モデル１０のクラスの判別精度が所望のレベルとなるまで繰り返す。
図２に示すように、上記のようにしてクラスの判別精度が所望のレベルまで引き上げられたモデル１０は、学習済み機械学習モデル（以下、学習済みモデル）１０Ｔとして運用装置１５に組み込まれる。学習済みモデル１０Ｔには、映った物体のクラスおよびその輪郭が未だ判別されていない入力画像１６が与えられる。学習済みモデル１０Ｔは、入力画像１６に映る物体のクラスとその輪郭を判別し、その判別結果として出力画像１７を出力する。運用装置１５は、ミニバッチ学習装置２と同様、例えばデスクトップ型のパーソナルコンピュータであり、入力画像１６と出力画像１７とを、ディスプレイに並べて表示したりする。なお、運用装置１５は、ミニバッチ学習装置２とは別の装置でもよいし、ミニバッチ学習装置２と同じ装置でもよい。また、運用装置１５に学習済みモデル１０Ｔを組み込んだ後も、学習済みモデル１０Ｔにミニバッチデータ１１を与えて学習させてもよい。
図３Ａに示すように、学習用入力画像２０は、本例においては、細胞培養の様子を映した位相差顕微鏡の１枚の画像である。学習用入力画像２０には、分化細胞、未分化細胞、培地、死細胞が物体として映っている。この場合のアノテーション画像２１は、図３Ｂに示すように、クラス１の分化細胞、クラス２の未分化細胞、クラス３の培地、クラス４の死細胞が、各々手動で指定されたものとなる。なお、学習済みモデル１０Ｔに与えられる入力画像１６も、学習用入力画像２０と同じく、細胞培養の様子を映した位相差顕微鏡の画像である。
図４に示すように、分割学習用入力画像２０Ｓは、学習用入力画像２０内において、横方向にＤＸずつ、かつ縦方向にＤＹずつ順次移動される矩形状の枠２５で囲われた領域を、その都度切り取ったものである。枠２５の横方向の移動量ＤＸは、例えば、枠２５の横方向のサイズの１／２である。同様に、枠２５の縦方向の移動量ＤＹは、例えば、枠２５の縦方向のサイズの１／２である。枠２５は、例えば、学習用入力画像２０の１／５０のサイズである。この場合、分割学習用入力画像２０Ｓは、２０Ｓ＿１～２０Ｓ＿１００００の計１万枚ある。
同様にして、図５に示すように、分割アノテーション画像２１Ｓは、アノテーション画像２１内において、横方向にＤＸずつ、かつ縦方向にＤＹずつ順次移動される矩形状の枠２５で囲われた領域を、その都度切り取ったものである。分割アノテーション画像２１Ｓは、２１Ｓ＿１～２１Ｓ＿１００００の計１万枚ある。なお、以下では、ミニバッチ学習装置２内に学習用入力画像２０およびアノテーション画像２１が既に用意されており、かつ分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓも既に生成されているとして話を進める。
図６に示すように、分割学習用入力画像群１２は、図４で示したように生成された複数の分割学習用入力画像２０Ｓのうちの一部（例えば１万枚の分割学習用入力画像２０Ｓのうちの１００枚）で構成される。同様に図７に示すように、分割アノテーション画像群１３は、図５で示したように生成された複数の分割アノテーション画像２１Ｓのうちの一部（例えば１万枚の分割アノテーション画像２１Ｓのうちの１００枚）で構成される。分割学習用入力画像群１２を構成する分割学習用入力画像２０Ｓと、分割アノテーション画像群１３を構成する分割アノテーション画像２１Ｓとは、枠２５で切り取った領域が同じもの同士である。
図８において、ミニバッチ学習装置２を構成するコンピュータは、ストレージデバイス３０、メモリ３１、ＣＰＵ（Central Processing Unit）３２、通信部３３、ディスプレイ３４、および入力デバイス３５を備えている。これらはデータバス３６を介して相互接続されている。
ストレージデバイス３０は、ミニバッチ学習装置２を構成するコンピュータに内蔵、またはケーブルやネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス３０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス３０には、オペレーティングシステム等の制御プログラムや各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。
メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージデバイス３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
通信部３３は、インターネットあるいは公衆通信網等のＷＡＮ（Wide Area Network）といったネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ３４は各種画面を表示する。各種画面にはＧＵＩ(Graphical User Interface)による操作機能が備えられる。ミニバッチ学習装置２を構成するコンピュータは、各種画面を通じて、入力デバイス３５からの操作指示の入力を受け付ける。入力デバイス３５は、キーボードやマウス、タッチパネル等である。
図９において、ストレージデバイス３０には、学習用入力画像２０、アノテーション画像２１、分割学習用入力画像２０Ｓ、分割アノテーション画像２１Ｓ、およびモデル１０が記憶されている。また、ストレージデバイス３０には、アプリケーションプログラムとして作動プログラム４０が記憶されている。作動プログラム４０は、コンピュータをミニバッチ学習装置２として機能させるためのアプリケーションプログラムである。
作動プログラム４０が起動されると、ミニバッチ学習装置２を構成するコンピュータのＣＰＵ３２は、メモリ３１等と協働して、生成部５０、算出部５１、特定部５２、学習部５３、評価部５４、および更新部５５として機能する。
生成部５０は、図４および図５で示したように学習用入力画像２０およびアノテーション画像２１から生成された分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓから、図６および図７で示したようにその一部を選択することで、ミニバッチデータ１１を生成する。生成部５０は、ミニバッチデータ１１を複数組（例えば１００組）生成する。生成部５０は、生成したミニバッチデータ１１を、算出部５１、学習部５３、および評価部５４に出力する。
なお、生成部５０において、ミニバッチデータ１１とする分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓの選択肢を増やす手法を実行してもよい。具体的には、分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓに、トリミング、左右反転、回転といった画像処理を施して別の画像に仕立て、ミニバッチデータ１１の新たな選択肢とする。こうした手法は、データオーギュメンテーションと呼ばれる。
算出部５１は、ミニバッチデータ１１における、複数のクラスの各々の面積割合を算出する。より詳しくは、算出部５１は、生成部５０からのミニバッチデータ１１の分割アノテーション画像群１３を構成する分割アノテーション画像２１Ｓにおいて手動で指定された領域の画素数を、クラス毎に加算する。次いで、加算した画素数を分割アノテーション画像２１Ｓの全画素数で除算することで、面積割合を算出する。例えば、クラス１の分化細胞と指定された領域の、加算した画素数が１００００で、全画素数が５００００であった場合、クラス１の分化細胞の面積割合は、（１００００／５００００）×１００＝２０％である。算出部５１は、算出した面積割合を特定部５２に出力する。
特定部５２は、面積割合が設定値よりも低い稀少クラスを特定する。特定部５２は、特定した稀少クラスを更新部５５に出力する。
学習部５３は、生成部５０からのミニバッチデータ１１の分割学習用入力画像群１２をモデル１０に与えて学習させる。これによりモデル１０から出力された学習用出力画像群１４を、学習部５３は評価部５４に出力する。
評価部５４は、生成部５０からのミニバッチデータ１１の分割アノテーション画像群１３と、学習部５３からの学習用出力画像群１４とを比較し、モデル１０のクラスの判別精度を評価する。評価部５４は、評価結果を更新部５５に出力する。
評価部５４は、損失関数を用いて、モデル１０のクラスの判別精度を評価する。損失関数は、分割アノテーション画像群１３と学習用出力画像群１４との差異の程度を表す関数である。損失関数の算出値が０に近いほど、モデル１０のクラスの判別精度が高いことを示す。
更新部５５は、評価部５４からの評価結果に応じて、モデル１０を更新する。より具体的には、更新部５５は、学習係数η（図１１参照）を伴う確率的勾配降下法等により、モデル１０の各種パラメータの値を変化させる。学習係数ηは、モデル１０の各種パラメータの値の変化幅を示す。すなわち、学習係数ηが比較的大きい値であるほど、各種パラメータの値の変化幅は大きくなり、モデル１０の更新度合いも大きくなる。
更新部５５は、特定部５２において稀少クラスを特定しなかった場合よりも、特定部５２において稀少クラスを特定した場合のモデル１０の更新度合いを小さくする。より具体的には、更新部５５は、特定部５２において稀少クラスを特定しなかった場合の学習係数ηＡよりも、特定部５２において稀少クラスを特定した場合の学習係数ηＢを小さくする（ηＢ＜ηＡ）。例えば、学習係数ηＡを１／１０して学習係数ηＢとする。
図１０および図１１は、算出部５１、特定部５２、更新部５５の各部の処理の具体例を示す。まず、図１０において、算出部５１は、表６０に示すように、ミニバッチデータ１１の各組１、２、３、・・・について、各クラスの面積割合を算出する。図１０では、第１組のミニバッチデータ１１のクラス１の分化細胞の面積割合を３８％、クラス２の未分化細胞の面積割合を２％、クラス３の培地の面積割合を４０％、クラス４の死細胞の面積割合を２０％等と算出した場合を例示している。
特定部５２は、面積割合が設定値よりも低い稀少クラスを特定する。図１０では、設定値が５％以下であるため、面積割合が２％と設定値よりも低い、第１組のミニバッチデータ１１のクラス２の未分化細胞を稀少クラスとして特定した場合を例示している。なお、ここでは稀少クラスが１つだけ特定された場合を例示しているが、面積割合が設定値よりも低いクラスが複数あった場合は、当然ながら複数のクラスが稀少クラスとして特定される。
続いて図１１において、更新部５５は、表６１に示すように、稀少クラスが特定された第１組のミニバッチデータ１１の場合の学習係数を、稀少クラスが特定されなかった場合の学習係数ηＡ１よりも小さいηＢ１とする。対して、稀少クラスが特定されなかった第２組、第３組等のミニバッチデータ１１の場合は、稀少クラスが特定されなかった場合の学習係数ηＡ２、ηＡ３のままとする。こうして学習係数ηを小さくすることで、更新部５５は、稀少クラスが特定されたミニバッチデータ１１の場合のモデル１０の更新度合いを、稀少クラスが特定されなかった場合のモデル１０の更新度合いよりも小さくする。
次に、上記構成による作用について、図１２に示すフローチャートを参照して説明する。まず、作動プログラム４０が起動されて、図９で示したように、ミニバッチ学習装置２を構成するコンピュータのＣＰＵ３２が、各処理部５０～５５として機能する。
生成部５０において、ミニバッチデータ１１が生成される（ステップＳＴ１００）。ミニバッチデータ１１は、生成部５０から算出部５１、学習部５３、および評価部５４に出力される。
図１０の表６０で示したように、算出部５１により、ミニバッチデータ１１の各組について、各クラスの面積割合が算出される（ステップＳＴ１１０、算出ステップ）。続いて、これも図１０で示したように、特定部５２において、面積割合が設定値よりも低い稀少クラスが特定される（ステップＳＴ１２０、特定ステップ）。
学習部５３において、生成部５０からのミニバッチデータ１１の分割学習用入力画像群１２がモデル１０に与えられて学習が行われる（ステップＳＴ１３０）。そして、これによりモデル１０から出力された学習用出力画像群１４と、生成部５０からのミニバッチデータ１１の分割アノテーション画像群１３とが、評価部５４において比較され、モデル１０のクラスの判別精度が評価される（ステップＳＴ１４０）。
評価部５４による評価結果に基づき、モデル１０のクラスの判別精度が所望のレベルに達したと判定された場合（ＳＴ１５０でＹＥＳ）、ミニバッチ学習が終了される。一方、モデル１０のクラスの判別精度が所望のレベルに達していないと判定された場合（ステップＳＴ１５０でＮＯ）は、ステップＳＴ１６０に処理が移行する。
ステップＳＴ１３０においてモデル１０に与えたミニバッチデータ１１に、稀少クラスがあった場合（ステップＳＴ１６０でＹＥＳ）、図１１の表６１で示したように、更新部５５により、稀少クラスがなかった場合よりも小さい更新度合いでモデル１０が更新（ステップＳＴ１７０、更新ステップ）される。対して、ステップＳＴ１３０においてモデル１０に与えたミニバッチデータ１１に、稀少クラスがなかった場合（ステップＳＴ１６０でＮＯ）は、更新度合いが小さくされることなく、通常の更新度合いでモデル１０が更新（ステップＳＴ１８０、更新ステップ）される。ステップＳＴ１７０およびステップＳＴ１８０の後は、ステップＳＴ１３０に処理が戻され、別の組のミニバッチデータ１１がモデル１０に与えられて以降のステップが繰り返される。
特定部５２において稀少クラスが特定された場合とは、すなわちミニバッチデータ１１にクラスの偏りがあった場合である。こうしたクラスの偏りがあるミニバッチデータ１１では、稀少クラスが加味されずに学習が行われる。より詳しくは、稀少クラスの学習の頻度が、他のクラスと比べて相対的に低くなる。このような偏った学習が行われた後に、更新部５５において何の制約もなくモデル１０を更新した場合、偏った学習の結果がモデル１０に多大な影響を与える。結果として、稀少クラスの判別精度が低いモデル１０ができあがってしまう。
しかしながら、本実施形態では、上述のように、特定部５２において稀少クラスが特定されなかった場合よりも、特定部５２において稀少クラスが特定された場合の更新部５５におけるモデル１０の更新度合いを小さくしている。こうすることで、ミニバッチデータ１１にクラスの偏りがあった場合は、モデル１０はあまり更新されず、クラスに偏りがあるミニバッチデータ１１を用いた学習の結果は、モデル１０に大きな影響は及ぼさない。したがって、稀少クラスの判別精度が低いモデル１０ができあがってしまう、という事態が避けられ、モデル１０のクラスの判別精度の低下を抑制することが可能となる。
なお、特定した稀少クラスの数が多いほど、モデル１０の更新度合いを小さくする程度を増やしてもよい。例えば図１３の表６５に示すように、稀少クラスが２つ特定された第１０組のミニバッチデータ１１の場合の学習係数ηＢ１０を、稀少クラスが特定されなかった場合の学習係数ηＡ１０の１／１００とする（ηＢ１０＝ηＡ１０×０．０１）。一方、稀少クラスが１つだけ特定された第１１組のミニバッチデータ１１の場合の学習係数ηＢ１１を、稀少クラスが特定されなかった場合の学習係数ηＡ１１の１／１０とする（ηＢ１１＝ηＡ１１×０．１）。特定した稀少クラスの数が多いほど、ミニバッチデータ１１のクラスの偏りが大きいと考えられるので、よりモデル１０のクラスの判別精度の低下を抑制することが可能となる。
同様に、面積割合が小さいほど、モデル１０の更新度合いを小さくする程度を増やしてもよい。例えば図１４の表６６に示すように、第２０組のミニバッチデータ１１のように、面積割合が０％以上２．５％未満の場合は、学習係数ηＡを１／１００して学習係数ηＢとする（ηＢ２０＝ηＡ２０×０．０１）。対して、第２１組のミニバッチデータ１１のように、面積割合が２．５％以上５％以下の場合は、学習係数ηＡを１／１０して学習係数ηＢとする（ηＢ２１＝ηＡ２１×０．１）。この場合も図１３の場合と同様に、面積割合が小さいほど、ミニバッチデータ１１のクラスの偏りが大きいと考えられるので、よりモデル１０のクラスの判別精度の低下を抑制することが可能となる。
［第２実施形態］
図１５に示す第２実施形態では、更新部５５に更新度合いを小さくする処理を行わせるか否かを問う。
図１５において、第２実施形態のミニバッチ学習装置のＣＰＵは、第１実施形態の各処理部５０～５５に加えて、受付部７０として機能する。受付部７０は、特定部５２において稀少クラスを特定した場合に、更新部５５に更新度合いを小さくする処理を行わせるか否かの選択指示を受け付ける。
第２実施形態においては、特定部５２において稀少クラスが特定された場合、ディスプレイ３４に問い合わせ画面７１が表示される。問い合わせ画面７１には、稀少クラスが特定された旨と、モデル１０の更新度合いを小さくしてよいか否かを問う旨のメッセージ７２、はいボタン７３、いいえボタン７４が表示される。受付部７０は、はいボタン７３といいえボタン７４の選択指示を、更新部５５に更新度合いを小さくする処理を行わせるか否かの選択指示として受け付ける。はいボタン７３が選択された場合は、更新部５５において更新度合いを小さくする処理が行われる。一方、いいえボタン７４が選択された場合は、更新部５５において更新度合いを小さくする処理は行われない。
アノテーション画像の生成に際しては、クラスの指定は手動であるため、クラスの指定を間違えたりすることがある。また、モデル１０の開発当初はクラスとして指定していたが、開発が進むにつれてあまり重要視しなくなったクラスが出てくることもある。こうした場合は、特定部５２において稀少クラスが特定されたが、モデル１０の更新度合いを小さくしなくても構わない場合がある。
そこで、第２実施形態では、受付部７０により、モデル１０の更新度合いを小さくしてよいか否かの選択指示を受け付けている。したがって、特定部５２において稀少クラスが特定されたが、モデル１０の更新度合いを小さくしなくても構わない場合に対応することができる。
上記各実施形態では、入力画像１６および学習用入力画像２０として、細胞培養の様子を映した位相差顕微鏡の画像を例示し、クラスとして分化細胞や培地を例示したが、これに限定されない。例えばＭＲＩ（Magnetic Resonance Imaging）画像を入力画像１６および学習用入力画像２０とし、肝臓、腎臓といった臓器をクラスとしてもよい。
モデル１０はＵ－Ｎｅｔに限らず、他の畳み込みニューラルネットワーク、例えばＳｅｇＮｅｔでもよい。
モデル１０の更新度合いを小さくする方法としては、学習係数ηを小さくする方法以外の方法を採用してもよい。
ミニバッチ学習装置２を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、ミニバッチ学習装置２を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。具体的には、生成部５０、算出部５１、および特定部５２の機能と、学習部５３、評価部５４、および更新部５５の機能とを、２台のコンピュータに分散して担わせる。この場合は２台のコンピュータでミニバッチ学習装置２を構成する。
このように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４０等のアプリケーションプログラムについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
上記各実施形態において、例えば、生成部５０、算出部５１、特定部５２、学習部５３、評価部５４、更新部５５、受付部７０といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
以上の記載から、以下の付記項１に記載の発明を把握することができる。
［付記項１］
画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置であり、
前記ミニバッチデータにおける、前記複数のクラスの各々の面積割合を算出する算出プロセッサと、
前記面積割合が設定値よりも低い稀少クラスを特定する特定プロセッサと、
前記ミニバッチデータを用いた前記学習の結果に応じて、前記機械学習モデルを更新する更新プロセッサであり、前記特定プロセッサにおいて前記稀少クラスを特定しなかった場合よりも、前記特定プロセッサにおいて前記稀少クラスを特定した場合の前記機械学習モデルの更新度合いを小さくする更新プロセッサと、を備えるミニバッチ学習装置。
本開示の技術は、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体、および、学習装置やプログラムを実装した画像処理装置にもおよぶ。
２ ミニバッチ学習装置
１０ 機械学習モデル（モデル）
１０Ｔ 学習済み機械学習モデル（学習済みモデル）
１１ ミニバッチデータ
１２ 分割学習用入力画像群
１３ 分割アノテーション画像群
１４ 学習用出力画像群
１５ 運用装置
１６ 入力画像
１７ 出力画像
２０ 学習用入力画像
２０Ｓ 分割学習用入力画像
２１ アノテーション画像
２１Ｓ 分割アノテーション画像
２５ 枠
３０ ストレージデバイス
３１ メモリ
３２ ＣＰＵ
３３ 通信部
３４ ディスプレイ
３５ 入力デバイス
３６ データバス
４０ 作動プログラム
５０ 生成部
５１ 算出部
５２ 特定部
５３ 学習部
５４ 評価部
５５ 更新部
６０、６１、６５、６６ 表
７０ 受付部
７１ 問い合わせ画面
７２ メッセージ
７３ はいボタン
７４ いいえボタン
ＤＸ 枠の横方向の移動量
ＤＹ 枠の縦方向の移動量
η 学習係数
ＳＴ１００～ＳＴ１８０ ステップ
Claims (6)
-
画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置であり、
前記ミニバッチデータにおける、前記複数のクラスの各々の面積割合を算出する算出部と、
前記面積割合が設定値よりも低い稀少クラスを特定する特定部と、
前記ミニバッチデータを用いた前記学習の結果に応じて、前記機械学習モデルを更新する更新部であり、前記特定部において前記稀少クラスを特定しなかった場合よりも、前記特定部において前記稀少クラスを特定した場合の前記機械学習モデルの更新度合いを小さくする更新部と、を備えるミニバッチ学習装置。
-
前記更新部は、前記特定部において前記稀少クラスを特定しなかった場合よりも、前記特定部において前記稀少クラスを特定した場合の前記機械学習モデルの各種パラメータの値の変化幅を示す学習係数を小さくする請求項１に記載のミニバッチ学習装置。
-
前記更新部に前記更新度合いを小さくする処理を行わせるか否かの選択指示を受け付ける受付部を備える請求項１または２に記載のミニバッチ学習装置。
-
画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置の作動プログラムであり、
前記ミニバッチデータにおける、前記複数のクラスの各々の面積割合を算出する算出部と、
前記面積割合が設定値よりも低い稀少クラスを特定する特定部と、
前記ミニバッチデータを用いた前記学習の結果に応じて、前記機械学習モデルを更新する更新部であり、前記特定部において前記稀少クラスを特定しなかった場合よりも、前記特定部において前記稀少クラスを特定した場合の前記機械学習モデルの更新度合いを小さくする更新部として、
コンピュータを機能させるミニバッチ学習装置の作動プログラム。
-
画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置の作動方法であり、
前記ミニバッチデータにおける、前記複数のクラスの各々の面積割合を算出する算出ステップと、
前記面積割合が設定値よりも低い稀少クラスを特定する特定ステップと、
前記ミニバッチデータを用いた学習の結果に応じて、前記機械学習モデルを更新する更新ステップであり、前記特定ステップにおいて前記稀少クラスを特定しなかった場合よりも、前記特定ステップにおいて前記稀少クラスを特定した場合の前記機械学習モデルの更新度合いを小さくする更新ステップと、を備えるミニバッチ学習装置の作動方法。
-
画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習する画像処理装置であり、
前記ミニバッチデータにおける、前記複数のクラスの各々の面積割合を行い、
前記面積割合が設定値よりも低い稀少クラスを特定し、
前記稀少クラスを特定しなかった場合よりも、前記稀少クラスを特定した場合の前記機械学習モデルの更新度合いを小さくする、
画像処理装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018234881 | 2018-12-14 | ||
| JP2018234881 | 2018-12-14 | ||
| PCT/JP2019/042935 WO2020121678A1 (ja) | 2018-12-14 | 2019-10-31 | ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020121678A1 JPWO2020121678A1 (ja) | 2021-09-27 |
| JP7096361B2 true JP7096361B2 (ja) | 2022-07-05 |
Family
ID=71077223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020559800A Active JP7096361B2 (ja) | 2018-12-14 | 2019-10-31 | ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11900249B2 (ja) |
| EP (1) | EP3896647A4 (ja) |
| JP (1) | JP7096361B2 (ja) |
| CN (1) | CN113168713B (ja) |
| WO (1) | WO2020121678A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7096361B2 (ja) * | 2018-12-14 | 2022-07-05 | 富士フイルム株式会社 | ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置 |
| WO2020121679A1 (ja) * | 2018-12-14 | 2020-06-18 | 富士フイルム株式会社 | ミニバッチ学習装置とその作動プログラムおよび作動方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017162456A (ja) | 2016-03-11 | 2017-09-14 | 株式会社東芝 | 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング |
| WO2018081537A1 (en) | 2016-10-31 | 2018-05-03 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for image segmentation using controlled feedback |
Family Cites Families (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9454823B2 (en) * | 2010-07-28 | 2016-09-27 | arian Medical Systems, Inc. | Knowledge-based automatic image segmentation |
| JP6509717B2 (ja) | 2015-12-09 | 2019-05-08 | 日本電信電話株式会社 | 事例選択装置、分類装置、方法、及びプログラム |
| JP7110098B2 (ja) * | 2015-12-18 | 2022-08-01 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化 |
| US20170175169A1 (en) * | 2015-12-18 | 2017-06-22 | Min Lee | Clinical decision support system utilizing deep neural networks for diagnosis of chronic diseases |
| CN105894018B (zh) * | 2016-03-29 | 2019-04-23 | 西安电子科技大学 | 基于深度多示例学习的极化sar图像分类方法 |
| US11856260B2 (en) * | 2016-03-30 | 2023-12-26 | Covenant Eyes, Inc. | Applications, systems and methods to monitor, filter and/or alter output of a computing device |
| ES2942621T3 (es) * | 2016-05-02 | 2023-06-05 | Scopito Aps | Construcción de modelo en una red neuronal para detección de objetos |
| EP3570753B1 (en) * | 2017-02-23 | 2024-08-07 | Google LLC | Method and system for assisting pathologist identification of tumor cells in magnified tissue images |
| US10713794B1 (en) * | 2017-03-16 | 2020-07-14 | Facebook, Inc. | Method and system for using machine-learning for object instance segmentation |
| US11557034B2 (en) * | 2017-06-13 | 2023-01-17 | The Trustees Of Princeton University | Fully automatic, template-free particle picking for electron microscopy |
| US10019654B1 (en) * | 2017-06-28 | 2018-07-10 | Accenture Global Solutions Limited | Image object recognition |
| US10062039B1 (en) * | 2017-06-28 | 2018-08-28 | CS Disco, Inc. | Methods and apparatus for asynchronous and interactive machine learning using word embedding within text-based documents and multimodal documents |
| EP3432167B1 (en) * | 2017-07-21 | 2023-04-19 | Tata Consultancy Services Limited | System and method for theme extraction |
| CN111052126B (zh) * | 2017-09-04 | 2024-06-04 | 华为技术有限公司 | 行人属性识别与定位方法以及卷积神经网络系统 |
| CN109493347B (zh) * | 2017-09-12 | 2021-03-23 | 深圳科亚医疗科技有限公司 | 在图像中对稀疏分布的对象进行分割的方法和系统 |
| CN108228703B (zh) * | 2017-10-31 | 2020-05-08 | 北京市商汤科技开发有限公司 | 图像问答方法、装置、系统和存储介质 |
| US20200357516A1 (en) * | 2017-11-21 | 2020-11-12 | Beth Israel Deaconess Medical Center, Inc. | Systems and methods for automatically interpreting images of microbiological samples |
| JP7250793B2 (ja) * | 2017-12-07 | 2023-04-03 | ベンタナ メディカル システムズ， インコーポレイテッド | 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法 |
| EP3514756A1 (en) * | 2018-01-18 | 2019-07-24 | Koninklijke Philips N.V. | Medical analysis method for predicting metastases in a test tissue sample |
| US10580137B2 (en) * | 2018-01-30 | 2020-03-03 | International Business Machines Corporation | Systems and methods for detecting an indication of malignancy in a sequence of anatomical images |
| US11507800B2 (en) * | 2018-03-06 | 2022-11-22 | Adobe Inc. | Semantic class localization digital environment |
| EP3762854A1 (en) * | 2018-03-07 | 2021-01-13 | Google LLC | Virtual staining for tissue slide images |
| CN111837157B (zh) * | 2018-03-08 | 2024-08-23 | 株式会社岛津制作所 | 细胞图像解析方法、细胞图像解析装置、及学习模型创建方法 |
| CN108470159B (zh) * | 2018-03-09 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 车道线数据处理方法、装置、计算机设备和存储介质 |
| CN108416776B (zh) * | 2018-03-16 | 2021-04-30 | 京东方科技集团股份有限公司 | 图像识别方法、图像识别装置、计算机产品和可读存储介质 |
| US10878569B2 (en) * | 2018-03-28 | 2020-12-29 | International Business Machines Corporation | Systems and methods for automatic detection of an indication of abnormality in an anatomical image |
| CN108830277B (zh) * | 2018-04-20 | 2020-04-21 | 平安科技（深圳）有限公司 | 语义分割模型的训练方法、装置、计算机设备和存储介质 |
| US11080857B2 (en) * | 2018-04-26 | 2021-08-03 | NeuralSeg Ltd. | Systems and methods for segmenting an image |
| JP2019195304A (ja) * | 2018-05-10 | 2019-11-14 | 学校法人順天堂 | 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法 |
| CN110163834B (zh) * | 2018-05-14 | 2023-08-25 | 腾讯科技（深圳）有限公司 | 对象识别方法和装置及存储介质 |
| US11409994B2 (en) * | 2018-05-15 | 2022-08-09 | Shenzhen University | Methods for image segmentation, computer devices, and storage mediums |
| KR102102161B1 (ko) * | 2018-05-18 | 2020-04-20 | 오드컨셉 주식회사 | 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램 |
| US10817740B2 (en) * | 2018-06-20 | 2020-10-27 | Zoox, Inc. | Instance segmentation inferred from machine learning model output |
| CN112543934A (zh) * | 2018-06-22 | 2021-03-23 | H-Labs股份有限公司 | 一种确定异常程度的方法、相应的计算机可读介质和分布式癌症分析系统 |
| CN109191515B (zh) * | 2018-07-25 | 2021-06-01 | 北京市商汤科技开发有限公司 | 一种图像视差估计方法及装置、存储介质 |
| US10902588B2 (en) * | 2018-08-13 | 2021-01-26 | International Business Machines Corporation | Anatomical segmentation identifying modes and viewpoints with deep learning across modalities |
| US11055854B2 (en) * | 2018-08-23 | 2021-07-06 | Seoul National University R&Db Foundation | Method and system for real-time target tracking based on deep learning |
| US10984532B2 (en) * | 2018-08-24 | 2021-04-20 | Ordnance Survey Limited | Joint deep learning for land cover and land use classification |
| CN110866526B (zh) * | 2018-08-28 | 2024-10-01 | 北京三星通信技术研究有限公司 | 图像分割方法、电子设备及计算机可读存储介质 |
| GB201814121D0 (en) * | 2018-08-30 | 2018-10-17 | Liopa Ltd | Liopa |
| US10853934B2 (en) * | 2018-09-19 | 2020-12-01 | Indus.Ai Inc | Patch-based scene segmentation using neural networks |
| JP7129870B2 (ja) * | 2018-10-01 | 2022-09-02 | 富士フイルム株式会社 | 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム |
| CN110162644B (zh) * | 2018-10-10 | 2022-12-20 | 腾讯科技（深圳）有限公司 | 一种图像集建立方法、装置和存储介质 |
| KR102500760B1 (ko) * | 2018-10-23 | 2023-02-16 | 삼성전자주식회사 | 이미지 획득 장치 및 그의 제어 방법 |
| US10504027B1 (en) * | 2018-10-26 | 2019-12-10 | StradVision, Inc. | CNN-based learning method, learning device for selecting useful training data and test method, test device using the same |
| JP7300699B2 (ja) * | 2018-11-12 | 2023-06-30 | 株式会社イシダ | 教師データ生成方法、教師データ生成プログラム、教師データ生成装置、及び商品識別装置 |
| CN113302620B (zh) * | 2018-11-13 | 2024-09-10 | 辉达公司 | 使用机器学习模型确定对象与人之间的关联 |
| CN109685116B (zh) * | 2018-11-30 | 2022-12-30 | 腾讯科技（深圳）有限公司 | 图像描述信息生成方法和装置及电子装置 |
| GB2579583B (en) * | 2018-12-04 | 2021-01-06 | Yoti Holding Ltd | Anti-spoofing |
| US11657525B2 (en) * | 2018-12-04 | 2023-05-23 | Yoti Holding Limited | Extracting information from images |
| US20200193281A1 (en) * | 2018-12-13 | 2020-06-18 | Zebra Technologies Corporation | Method for automating supervisory signal during training of a neural network using barcode scan |
| WO2020121679A1 (ja) * | 2018-12-14 | 2020-06-18 | 富士フイルム株式会社 | ミニバッチ学習装置とその作動プログラムおよび作動方法 |
| WO2020121668A1 (ja) * | 2018-12-14 | 2020-06-18 | 富士フイルム株式会社 | ミニバッチ学習装置とその作動プログラムおよび作動方法 |
| JP7096361B2 (ja) * | 2018-12-14 | 2022-07-05 | 富士フイルム株式会社 | ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置 |
| KR20200079581A (ko) * | 2018-12-26 | 2020-07-06 | 오드컨셉 주식회사 | 사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법 |
| CN113678147B (zh) * | 2019-04-09 | 2024-08-27 | 基诺媒体株式会社 | 搜索方法以及信息处理系统 |
| US10607331B1 (en) * | 2019-06-28 | 2020-03-31 | Corning Incorporated | Image segmentation into overlapping tiles |
| EP4036211A4 (en) * | 2019-09-27 | 2022-11-09 | FUJIFILM Corporation | INFORMATION PROCESSING DEVICE, METHOD OF OPERATING INFORMATION PROCESSING DEVICE, AND OPERATING PROGRAM OF INFORMATION PROCESSING DEVICE |
-
2019
- 2019-10-31 JP JP2020559800A patent/JP7096361B2/ja active Active
- 2019-10-31 EP EP19895917.3A patent/EP3896647A4/en active Pending
- 2019-10-31 WO PCT/JP2019/042935 patent/WO2020121678A1/ja unknown
- 2019-10-31 CN CN201980081724.4A patent/CN113168713B/zh active Active
-
2021
- 2021-06-02 US US17/336,807 patent/US11900249B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017162456A (ja) | 2016-03-11 | 2017-09-14 | 株式会社東芝 | 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング |
| WO2018081537A1 (en) | 2016-10-31 | 2018-05-03 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for image segmentation using controlled feedback |
Non-Patent Citations (3)
| Title |
|---|
| 平松侑樹, 外4名，"複数ＣＮＮの統合による細胞画像のセグメンテーション"，第24回 画像センシングシンポジウム，日本，画像センシング技術研究会，2018年06月13日 |
| 相澤宏旭, 外1名，"航空機画像セグメンテーションへのＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ ＣＮＮの適用とその改良"，映像情報メディア学会技術報告，日本，（一社）映像情報メディア学会，2016年08月24日，第40巻, 第28号，p.9-10 |
| 相澤宏旭, 外2名，"多重解像度性を取り入れたＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ ＣＮＮによるパーツセグメンテーション"，第23回 画像センシングシンポジウム，日本，画像センシング技術研究会，2017年06月07日 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113168713A (zh) | 2021-07-23 |
| EP3896647A1 (en) | 2021-10-20 |
| WO2020121678A1 (ja) | 2020-06-18 |
| CN113168713B (zh) | 2024-09-06 |
| JPWO2020121678A1 (ja) | 2021-09-27 |
| US11900249B2 (en) | 2024-02-13 |
| US20210287042A1 (en) | 2021-09-16 |
| EP3896647A4 (en) | 2022-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6569047B1 (ja) | 学習方法、コンピュータプログラム、分類器、及び生成器 | |
| US9478040B2 (en) | Method and apparatus for segmenting object in image | |
| JP7096361B2 (ja) | ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置 | |
| JP7096362B2 (ja) | ミニバッチ学習装置とその作動プログラムおよび作動方法 | |
| CN112562045B (zh) | 生成模型和生成3d动画的方法、装置、设备和存储介质 | |
| CN111105375A (zh) | 图像生成方法及其模型训练方法、装置及电子设备 | |
| CN115409755B (zh) | 贴图处理方法和装置、存储介质及电子设备 | |
| JPWO2020066233A1 (ja) | 学習装置、学習装置の作動プログラム及び作動方法 | |
| US20230005171A1 (en) | Visual positioning method, related apparatus and computer program product | |
| WO2017161767A1 (zh) | 一种元素显示的方法及装置 | |
| CN111540032A (zh) | 基于音频的模型控制方法、装置、介质及电子设备 | |
| CN113962845B (zh) | 图像处理方法、图像处理装置、电子设备以及存储介质 | |
| JP7096360B2 (ja) | ミニバッチ学習装置とその作動プログラムおよび作動方法 | |
| JP7099254B2 (ja) | 学習方法、学習プログラム及び学習装置 | |
| JP2020204863A (ja) | 学習装置、学習装置の作動方法、および学習装置の作動プログラム | |
| CN113470124A (zh) | 特效模型的训练方法及装置、特效生成方法及装置 | |
| CN111860214A (zh) | 人脸检测方法及其模型的训练方法、装置及电子设备 | |
| CN114998554B (zh) | 三维卡通人脸建模方法及装置 | |
| CN113326934B (zh) | 神经网络的训练方法、生成图像及视频的方法和装置 | |
| US20230316731A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
| CN109886248B (zh) | 一种图像生成方法、装置、存储介质及电子设备 | |
| CN114298931A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| WO2022103884A1 (en) | Semi-sorted batching with variable length input for efficient training | |
| CN118230377A (zh) | 图像处理方法、装置、设备、计算机可读存储介质及产品 | |
| CN118674612A (zh) | 图像处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220623 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7096361 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |