JP7138780B2 - 画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システム - Google Patents

画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システム Download PDF

Info

Publication number
JP7138780B2
JP7138780B2 JP2021512160A JP2021512160A JP7138780B2 JP 7138780 B2 JP7138780 B2 JP 7138780B2 JP 2021512160 A JP2021512160 A JP 2021512160A JP 2021512160 A JP2021512160 A JP 2021512160A JP 7138780 B2 JP7138780 B2 JP 7138780B2
Authority
JP
Japan
Prior art keywords
label
image
specified
region
complex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021512160A
Other languages
English (en)
Other versions
JPWO2020204051A1 (ja
Inventor
隆史 涌井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020204051A1 publication Critical patent/JPWO2020204051A1/ja
Application granted granted Critical
Publication of JP7138780B2 publication Critical patent/JP7138780B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Description

本開示の技術は、画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システムに関する。
画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションが知られている。セマンティックセグメンテーションは、Ｕ字型の畳み込みニューラルネットワーク（Ｕ－Ｎｅｔ；Ｕ－Ｓｈａｐｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の機械学習モデル（以下、単にモデル）で実現される。
クラスは、入力画像に映る物体の種類と言い換えてもよい。また、セマンティックセグメンテーションは、端的に言えば、入力画像に映る物体のクラスとその輪郭を判別するものである。モデルは、物体のクラスと輪郭の判別結果を出力画像として出力する。例えば入力画像にコップ、本、携帯電話の３つの物体が映っていた場合、出力画像は、理想的には、コップ、本、携帯電話が各々クラスとして判別され、かつこれら物体の輪郭を忠実に辿った輪郭線がそれぞれの物体に描かれたものとなる。
特表２０１６－５３４７０９号公報に記載されているように、モデルのクラスの判別精度を高めるためには、モデルに学習データを与えて学習させ、モデルを更新していくことが必要である。学習データは、学習用入力画像と、学習用入力画像内のクラスのラベルが指定されたアノテーション画像とで構成される。
アノテーション画像において、ジグザグに入り組んだ輪郭等の比較的複雑な輪郭をもつ領域（以下、複雑領域）と、滑らかな輪郭等の比較的単純な輪郭をもつ領域（以下、単純領域）とに、同じクラスのラベルが指定される場合がある。こうした複雑領域と単純領域とが区別されていない状態のアノテーション画像を学習データとして与えてモデルを学習させると、クラスの判別精度を評価する場合に、単純領域に評価の比重が偏るため、複雑領域に学習の労力があまり掛けられない。したがって、出力画像における複雑領域の判別精度が低下することがあった。
本開示の技術は、セマンティックセグメンテーションを実施するための機械学習モデルにおける、比較的複雑な輪郭をもつ領域の判別精度の低下を抑制することが可能な画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システムを提供することを目的とする。
上記目的を達成するために、本開示の画像処理装置は、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに対して、学習データとして与えるアノテーション画像において、クラスのラベルが指定された複数の指定領域の中から、指定領域のうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域を抽出する抽出部と、アノテーション画像に元々指定されていた元ラベルとは別に、複雑領域に対して追加ラベルを設定する設定部と、を備える。
設定部は、元ラベルが同じクラスを示す複数の指定領域からそれぞれ抽出された複数の複雑領域に対して、同じ追加ラベルを設定することが好ましい。
抽出部は、複数の指定領域の各々に対して、複雑領域を抽出する処理を行うことが好ましい。
抽出部において、第１の指定領域と第２の指定領域の境界を複雑領域として抽出した場合、設定部は、境界の複雑領域に対して、第１の指定領域および第２の指定領域のうちのいずれかに関わる１つの追加ラベルを選択的に設定することが好ましい。
設定部は、複雑領域のうちの設定サイズ以下の小複雑領域に対しては、小複雑領域を包含する指定領域の元ラベルを設定することが好ましい。
本開示の画像処理装置の作動方法は、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに対して、学習データとして与えるアノテーション画像において、クラスのラベルが指定された複数の指定領域の中から、指定領域のうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域を抽出する抽出ステップと、アノテーション画像に元々指定されていた元ラベルとは別に、複雑領域に対して追加ラベルを設定する設定ステップと、を備える。
本開示の画像処理装置の作動プログラムは、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに対して、学習データとして与えるアノテーション画像において、クラスのラベルが指定された複数の指定領域の中から、指定領域のうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域を抽出する抽出部と、アノテーション画像に元々指定されていた元ラベルとは別に、複雑領域に対して追加ラベルを設定する設定部として、コンピュータを機能させる。
本開示の運用装置は、追加ラベルが設定されたアノテーション画像を、学習データとして与えられて学習された機械学習モデルに、入力画像を入力してセマンティックセグメンテーションを実施させ、出力画像を出力させる処理部と、元ラベルと追加ラベルとの関係を記憶したラベル情報に基づいて、出力画像の追加ラベルを元ラベルに置換する置換部と、を備える。
本開示の運用装置の作動方法は、追加ラベルが設定されたアノテーション画像を、学習データとして与えられて学習された機械学習モデルに、入力画像を入力してセマンティックセグメンテーションを実施させ、出力画像を出力させる処理ステップと、元ラベルと追加ラベルとの関係を記憶したラベル情報に基づいて、出力画像の追加ラベルを元ラベルに置換する置換ステップと、を備える。
本開示の運用装置の作動プログラムは、追加ラベルが設定されたアノテーション画像を、学習データとして与えられて学習された機械学習モデルに、入力画像を入力してセマンティックセグメンテーションを実施させ、出力画像を出力させる処理部と、元ラベルと追加ラベルとの関係を記憶したラベル情報に基づいて、出力画像の追加ラベルを元ラベルに置換する置換部として、コンピュータを機能させる。
本開示の機械学習システムは、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに対して、学習データとして与えるアノテーション画像において、クラスのラベルが指定された複数の指定領域の中から、指定領域のうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域を抽出する抽出部と、アノテーション画像に元々指定されていた元ラベルとは別に、複雑領域に対して追加ラベルを設定する設定部と、追加ラベルが設定されたアノテーション画像を、学習データとして与えられて学習された機械学習モデルに、入力画像を入力してセマンティックセグメンテーションを実施させ、出力画像を出力させる処理部と、元ラベルと追加ラベルとの関係を記憶したラベル情報に基づいて、出力画像の追加ラベルを元ラベルに置換する置換部と、を備える。
本開示の技術によれば、セマンティックセグメンテーションを実施するための機械学習モデルにおける、比較的複雑な輪郭をもつ領域の判別精度の低下を抑制することが可能な画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システムを提供することができる。
機械学習システムを示す図である。 機械学習システムにおける処理の概要を示す図である。 培養中の細胞を映した位相差顕微鏡の画像を示す図であり、図３Ａは学習用入力画像、図３Ｂはアノテーション画像をそれぞれ示す。 画像処理装置、学習装置、および運用装置を構成するコンピュータを示すブロック図である。 画像処理装置のＣＰＵを示すブロック図である。 ラベル情報を示す図である。 抽出部により複雑領域を抽出する様子を示す図である。 図７の破線部分の拡大図である。 抽出部により、複数の指定領域の各々に対して、複雑領域を抽出する処理を行う様子を示す図である。 設定部により追加ラベルを設定する様子を示す図である。 設定部により追加ラベルを設定する様子を示す図である 学習装置のＣＰＵを示すブロック図である。 運用装置のＣＰＵを示すブロック図である。 処理部により、モデルに入力画像を入力してセマンティックセグメンテーションを実施させ、出力画像を出力させる様子を示す図である。 置換部により追加ラベルを元ラベルに置換する様子を示す図である。 画像処理装置の処理手順を示すフローチャートである。 学習装置の処理手順を示すフローチャートである。 運用装置の処理手順を示すフローチャートである。 設定部により、小複雑領域に対して、小複雑領域を包含する指定領域の元ラベルを設定する様子を示す図である。 機械学習システムのＣＰＵを示すブロック図である。
［第１実施形態］
図１において、機械学習システム２は、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するためのモデルＭ（図２参照）を用いるシステムである。機械学習システム２は、画像処理装置１０、学習装置１１、および運用装置１２を備える。画像処理装置１０、学習装置１１、および運用装置１２は、例えばデスクトップ型のパーソナルコンピュータである。画像処理装置１０、学習装置１１、および運用装置１２は、ネットワーク１３を介して相互に通信可能に接続されている。ネットワーク１３は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、もしくはインターネット、公衆通信網等のＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。
図２において、画像処理装置１０はアノテーション画像ＡＩを受信する。アノテーション画像ＡＩは、学習用入力画像ＩＩＬ内のクラスのラベルが指定された画像である。画像処理装置１０は、アノテーション画像ＡＩを修正アノテーション画像ＭＡＩとする。修正アノテーション画像ＭＡＩは、アノテーション画像ＡＩにおいてクラスのラベルが指定された指定領域Ｒ（図３参照）から抽出された複雑領域ＣＲ（図７等参照）に対して、元々指定されていた元ラベルとは別に、追加ラベルが設定された画像である（図１０参照）。また、画像処理装置１０は、元ラベルと追加ラベルとの関係を記憶したラベル情報ＬＴを作成する。画像処理装置１０は、修正アノテーション画像ＭＡＩを学習装置１１に、ラベル情報ＬＴを運用装置１２に、それぞれ出力する。
学習装置１１は、画像処理装置１０からの修正アノテーション画像ＭＡＩを受信する。また、学習装置１１は学習用入力画像ＩＩＬを受信する。これら修正アノテーション画像ＭＡＩおよび学習用入力画像ＩＩＬによって、モデルＭのクラスの判別精度を高めるための学習データＬＤが構成される。
学習装置１１はモデルＭを有している。学習装置１１は、学習データＬＤをモデルＭに与えて学習させ、モデルＭのクラスの判別精度を予め設定されたレベルまで引き上げる。学習装置１１は、クラスの判別精度が予め設定されたレベルとされたモデルＭを、学習済みモデルＴＭとして運用装置１２に出力する。
運用装置１２は、画像処理装置１０からのラベル情報ＬＴを受信する。また、運用装置１２は、学習装置１１からの学習済みモデルＴＭを受信する。運用装置１２は、映った物体のクラスおよびその輪郭が未だ判別されていない入力画像ＩＩを学習済みモデルＴＭに与える。学習済みモデルＴＭは、入力画像ＩＩに映る物体のクラスとその輪郭を判別し、その判別結果として出力画像ＯＩを出力する。運用装置１２は、ラベル情報ＬＴに基づいて、出力画像ＯＩの追加ラベルを元ラベルに置換し、置換済み出力画像ＲＯＩとする。
図３Ａに示すように、学習用入力画像ＩＩＬは、本例においては、培養中の細胞を映した位相差顕微鏡の画像である。学習用入力画像ＩＩＬには、分化細胞、未分化細胞、死細胞、培地が物体として映っている。この場合のアノテーション画像ＡＩは、図３Ｂに示すように、ラベル１の「分化細胞」、ラベル２の「未分化細胞」、ラベル３の「死細胞」、ラベル４の「培地」が、各々手動で指定されたものとなる。ラベル４の「培地」は、他のラベル１～ラベル３を指定することで自ずと指定される領域である。以下、ラベル１の「分化細胞」が指定された領域を指定領域Ｒ１、ラベル２の「未分化細胞」が指定された領域を指定領域Ｒ２、ラベル３の「死細胞」が指定された領域を指定領域Ｒ３、ラベル４の「培地」が指定された領域を指定領域Ｒ４と表記する。また、特に区別する必要がない場合は、前述のように、指定領域Ｒ１～Ｒ４をまとめて指定領域Ｒと表記する。なお、学習済みモデルＴＭに与えられる入力画像ＩＩも、学習用入力画像ＩＩＬと同じく、培養中の細胞を映した位相差顕微鏡の画像である。
図４において、画像処理装置１０、学習装置１１、および運用装置１２を構成するコンピュータは、基本的な構成は同じであり、ストレージデバイス３０、メモリ３１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２、通信部３３、ディスプレイ３４、および入力デバイス３５を備えている。これらはバスライン３６を介して相互接続されている。
ストレージデバイス３０は、画像処理装置１０等を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス３０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス３０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージデバイス３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
通信部３３は、ネットワーク１３を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ３４は各種画面を表示する。画像処理装置１０等を構成するコンピュータは、各種画面を通じて、入力デバイス３５からの操作指示の入力を受け付ける。入力デバイス３５は、キーボード、マウス、タッチパネル等である。
なお、以下の説明では、画像処理装置１０の各部に添え字の「Ａ」を、学習装置１１の各部に添え字の「Ｂ」を、運用装置１２の各部に添え字の「Ｃ」を、それぞれ付して区別する。
図５において、画像処理装置１０のストレージデバイス３０Ａには、作動プログラム４０が記憶されている。作動プログラム４０は、コンピュータを画像処理装置１０として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム４０は、本開示の技術に係る「画像処理装置の作動プログラム」の一例である。
ストレージデバイス３０Ａには、アノテーション画像ＡＩも記憶されている。アノテーション画像ＡＩは、画像処理装置１０において事前に作成されて記憶されたものでもよいし、画像処理装置１０とは別の装置において作成され、別の装置から送信されたものを記憶したものでもよい。
作動プログラム４０が起動されると、画像処理装置１０を構成するコンピュータのＣＰＵ３２Ａは、メモリ３１等と協働して、リードライト（以下、ＲＷ（Ｒｅａｄ Ｗｒｉｔｅ）と略す）制御部４５、抽出部４６、設定部４７、および送信制御部４８として機能する。
ＲＷ制御部４５は、ストレージデバイス３０Ａ内の各種データの読み出し、およびストレージデバイス３０Ａへの各種データの記憶を制御する。ＲＷ制御部４５は、ストレージデバイス３０Ａからアノテーション画像ＡＩを読み出し、アノテーション画像ＡＩを抽出部４６に出力する。
抽出部４６は、複数の指定領域Ｒの中から、指定領域Ｒのうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域ＣＲを抽出する。抽出部４６は、複雑領域ＣＲを抽出したアノテーション画像ＡＩである抽出アノテーション画像ＥＡＩを設定部４７に出力する。
ここで、複雑領域ＣＲは、予め設定された条件にて、複雑であると定義された領域である。予め設定された条件は、１つは、指定領域Ｒの絶対的なサイズを閾値とした条件である。具体的には、面積が原寸大で例えば５μｍ２以下、ジグザグの隣り合う山同士のピッチが原寸大で例えば１μｍ以下、等である。あるいは、予め設定された条件は、アノテーション画像ＡＩに映る複数の指定領域Ｒのサイズを参照した相対的な閾値が設定された条件である。具体的には、アノテーション画像ＡＩ中の各指定領域Ｒの面積の代表値（平均値、中間値、最大値、最小値等）の例えば１／１０以下、アノテーション画像ＡＩ中の各指定領域Ｒのジグザグの隣り合う山同士のピッチの代表値（平均値、中間値、最大値、最小値等）の例えば１／１０以下、等である。なお、閾値をユーザが変更可能に構成してもよい。
なお、複雑領域ＣＲの抽出方法としては、例えば、アノテーション画像ＡＩに移動平均フィルタ（平滑化フィルタともいう）を掛け、移動平均フィルタを掛ける前と掛けた後との輪郭の差分が閾値よりも大きい部分を複雑領域ＣＲとして抽出する方法がある。他には、アノテーション画像ＡＩにディスタンストランスフォームを施して、輪郭からの距離が閾値よりも短い部分を複雑領域ＣＲとして抽出する方法、複雑領域ＣＲを抽出するために学習されたモデルを用いる方法等が挙げられる。いずれの場合も、閾値は、前述のように、指定領域Ｒの絶対的なサイズを元にした値であってもよいし、アノテーション画像ＡＩに映る複数の指定領域Ｒのサイズを参照した相対的な値であってもよい。
設定部４７は、抽出部４６からの抽出アノテーション画像ＥＡＩの複雑領域ＣＲに対して追加ラベルを設定する。設定部４７は、追加ラベルを設定した抽出アノテーション画像ＥＡＩを、修正アノテーション画像ＭＡＩとしてＲＷ制御部４５に出力する。また、設定部４７は、ラベル情報ＬＴを作成してＲＷ制御部４５に出力する。
ＲＷ制御部４５は、設定部４７からの修正アノテーション画像ＭＡＩおよびラベル情報ＬＴを、ストレージデバイス３０Ａに記憶する。また、ＲＷ制御部４５は、修正アノテーション画像ＭＡＩおよびラベル情報ＬＴをストレージデバイス３０Ａから読み出し、これらを送信制御部４８に出力する。
送信制御部４８は、修正アノテーション画像ＭＡＩを学習装置１１に送信する制御を行う。また、送信制御部４８は、ラベル情報ＬＴを運用装置１２に送信する制御を行う。
図６に示すように、ラベル情報ＬＴは、追加ラベルとこれに対応する元ラベルが登録された情報である。追加ラベルは、元ラベルのラベル１の「分化細胞」に対応するラベル１＿１の「分化細胞（複雑）」、ラベル２の「未分化細胞」に対応するラベル２＿１の「未分化細胞（複雑）」、ラベル３の「死細胞」に対応するラベル３＿１の「死細胞（複雑）」の計３種がある。
図７、および図７の破線部分を拡大した図８に示すように、抽出部４６は、ラベル１の「分化細胞」の指定領域Ｒ１Ａ、Ｒ１Ｂから、複雑領域ＣＲ１Ａ、ＣＲ１Ｂを、ラベル２の「未分化細胞」の指定領域Ｒ２から複雑領域ＣＲ２を、ラベル３の「死細胞」の指定領域Ｒ３Ａ、Ｒ３Ｂから複雑領域ＣＲ３Ａ、ＣＲ３Ｂを、それぞれ抽出する。抽出部４６は、ラベル４の「培地」の指定領域Ｒ４からは、複雑領域ＣＲを抽出しない。これは、分化細胞、未分化細胞、死細胞はいずれも培地で囲まれているので、「培地」の指定領域Ｒ４から複雑領域ＣＲを抽出した場合、複雑領域ＣＲ１～ＣＲ３と重複してしまうためである。なお、指定領域Ｒと同じく、複雑領域ＣＲ１～ＣＲ３も、前述のようにまとめて複雑領域ＣＲと表記する場合がある。
図９に概念的に示すように、抽出部４６は、複数の指定領域Ｒの各々に対して、複雑領域ＣＲを抽出する処理を行う。図９では、図９Ａに示すように指定領域Ｒ１Ａから複雑領域ＣＲ１Ａを、図９Ｂに示すように指定領域Ｒ１Ｂから複雑領域ＣＲ１Ｂを、また、図９Ｃに示すように指定領域Ｒ２から複雑領域ＣＲ２を、図９Ｄに示すように指定領域Ｒ３Ａから複雑領域ＣＲ３Ａを、図９Ｅに示すように指定領域Ｒ３Ｂから複雑領域ＣＲ３Ｂを、それぞれ抽出した場合を例示している。複雑領域ＣＲ１Ａ、ＣＲ１Ｂ、ＣＲ２は、指定領域Ｒ１Ａ、Ｒ１Ｂ、Ｒ２のうちの一部の領域であり、ジグザグに入り組んだ輪郭の例である。複雑領域ＣＲ３Ａ、ＣＲ３Ｂは、指定領域Ｒ３Ａ、Ｒ３Ｂ自体であり、微細な点の輪郭の例である。なお、１つの指定領域Ｒから、複数の複雑領域ＣＲが抽出される場合もある。
図１０は、図６で示したラベル情報ＬＴにしたがって、図７で示した抽出アノテーション画像ＥＡＩの複雑領域ＣＲに対して、設定部４７において追加ラベルを設定する様子を示す。具体的には、設定部４７は、ラベル１の「分化細胞」の指定領域Ｒ１の複雑領域ＣＲ１に対して、ラベル１＿１の「分化細胞（複雑）」を追加ラベルとして設定する。また、設定部４７は、ラベル２の「未分化細胞」の指定領域Ｒ２の複雑領域ＣＲ２に対して、ラベル２＿１の「未分化細胞（複雑）」を追加ラベルとして設定する。さらに、設定部４７は、ラベル３の「死細胞」の指定領域Ｒ３の複雑領域ＣＲ３に対して、ラベル３＿１の「死細胞（複雑）」を追加ラベルとして設定する。
ラベル１の「分化細胞」の指定領域Ｒ１の２つの複雑領域ＣＲ１Ａ、ＣＲ１Ｂに対するラベル１＿１の「分化細胞（複雑）」、ラベル３の「死細胞」の指定領域Ｒ３の２つの複雑領域ＣＲ３Ａ、ＣＲ３Ｂに対するラベル３＿１の「死細胞（複雑）」から分かるように、設定部４７は、元ラベルが同じクラスを示す複数の指定領域Ｒからそれぞれ抽出された複数の複雑領域ＣＲに対して、同じ追加ラベルを設定する。
また、図１１に示すように、抽出部４６において、第１の指定領域と第２の指定領域の境界を複雑領域ＣＲとして抽出した場合、設定部４７は、境界の複雑領域ＣＲに対して、第１の指定領域および第２の指定領域のうちのいずれかに関わる１つの追加ラベルを選択的に設定する。
図１１では、指定領域Ｒ１と指定領域Ｒ２が接しており、その境界が複雑領域ＣＲ１、ＣＲ２としてそれぞれ抽出された場合を例示している。この場合、設定部４７は、複雑領域ＣＲ１、ＣＲ２のうちの複雑領域ＣＲ１に対してだけ、ラベル１＿１の「分化細胞（複雑）」を追加ラベルとして設定し、複雑領域ＣＲ２に対しては追加ラベルを設定しない。
図１２において、学習装置１１のストレージデバイス３０Ｂには、作動プログラム５５が記憶されている。作動プログラム５５は、コンピュータを学習装置１１として機能させるためのアプリケーションプログラムである。
ストレージデバイス３０Ｂには、学習用入力画像ＩＩＬおよびモデルＭも記憶されている。学習用入力画像ＩＩＬは、前述のように、アノテーション画像ＡＩの元となった画像である。モデルＭは、例えばＵ－Ｎｅｔである。
作動プログラム５５が起動されると、学習装置１１を構成するコンピュータのＣＰＵ３２Ｂは、メモリ３１等と協働して、ＲＷ制御部６０、学習部６１、評価部６２、更新部６３、および送信制御部６４として機能する。
ＲＷ制御部６０は、画像処理装置１０のＲＷ制御部４５と同様、ストレージデバイス３０Ｂ内の各種データの読み出し、およびストレージデバイス３０Ｂへの各種データの記憶を制御する。ＲＷ制御部６０は、画像処理装置１０からの修正アノテーション画像ＭＡＩをストレージデバイス３０Ｂに記憶する。ＲＷ制御部６０は、ストレージデバイス３０Ｂから学習用入力画像ＩＩＬを読み出し、学習用入力画像ＩＩＬを学習部６１に出力する。また、ＲＷ制御部６０は、修正アノテーション画像ＭＡＩをストレージデバイス３０Ｂから読み出し、修正アノテーション画像ＭＡＩを評価部６２に出力する。さらに、ＲＷ制御部６０は、モデルＭをストレージデバイス３０Ｂから読み出し、モデルＭを学習部６１、更新部６３、および送信制御部６４のいずれかに出力する。
学習部６１は、学習用入力画像ＩＩＬを学習データＬＤとしてモデルＭに与えて学習させる。これによりモデルＭから出力された学習用出力画像ＯＩＬを、学習部６１は評価部６２に出力する。
学習部６１は、例えばミニバッチデータを用いたミニバッチ学習をモデルＭに行わせる。ミニバッチデータは、学習用入力画像ＩＩＬと修正アノテーション画像ＭＡＩとを分割した複数の分割画像（例えば元の画像の１／１００のサイズの枠で分割した１万枚の分割画像）のうちの一部（例えば１００枚）で構成される。学習部６１は、こうしたミニバッチデータを複数組（例えば１００組）作成し、各組を順次モデルＭに与えて学習させる。
評価部６２は、修正アノテーション画像ＭＡＩと学習用出力画像ＯＩＬとを比較し、モデルＭのクラスの判別精度を評価する。つまり、修正アノテーション画像ＭＡＩは、学習用出力画像ＯＩＬとのいわば答え合わせを行うための画像であり、モデルＭのクラスの判別精度が高いほど、修正アノテーション画像ＭＡＩと学習用出力画像ＯＩＬとの差異は小さくなる。評価部６２は、評価結果を更新部６３に出力する。
評価部６２は、損失関数を用いて、モデルＭのクラスの判別精度を評価する。損失関数は、修正アノテーション画像ＭＡＩと学習用出力画像ＯＩＬとの差異の程度を表す関数である。損失関数の算出値が０に近いほど、モデルＭのクラスの判別精度が高いことを示す。
更新部６３は、評価部６２からの評価結果に応じて、モデルＭを更新する。具体的には、更新部６３は、学習係数を伴う確率的勾配降下法等により、モデルＭの各種パラメータの値を変化させる。学習係数は、モデルＭの各種パラメータの値の変化幅を示す。すなわち、学習係数が比較的大きい値であるほど、各種パラメータの値の変化幅は大きくなり、モデルＭの更新度合いも大きくなる。更新部６３で更新されたモデルＭは、ＲＷ制御部６０によりストレージデバイス３０Ｂに記憶される。
これら学習部６１によるモデルＭの学習、評価部６２によるクラスの判別精度の評価、および更新部６３によるモデルＭの更新は、クラスの判別精度が予め設定されたレベルとなるまで、繰り返し続けられる。
送信制御部６４は、クラスの判別精度が予め設定されたレベルとされたモデルＭである学習済みモデルＴＭを、運用装置１２に送信する制御を行う。
図１３において、運用装置１２のストレージデバイス３０Ｃには、作動プログラム７０が記憶されている。作動プログラム７０は、コンピュータを運用装置１２として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム７０は、本開示の技術に係る「運用装置の作動プログラム」の一例である。
ストレージデバイス３０Ｃには入力画像ＩＩも記憶されている。入力画像ＩＩは、前述のように、これから学習済みモデルＴＭに与えて、映った物体のクラスおよびその輪郭を学習済みモデルＴＭに判別させる画像である。
作動プログラム７０が起動されると、運用装置１２を構成するコンピュータのＣＰＵ３２Ｃは、メモリ３１等と協働して、ＲＷ制御部７５、処理部７６、および置換部７７として機能する。
ＲＷ制御部７５は、画像処理装置１０のＲＷ制御部４５および学習装置１１のＲＷ制御部６０と同様、ストレージデバイス３０Ｃ内の各種データの読み出し、およびストレージデバイス３０Ｃへの各種データの記憶を制御する。ＲＷ制御部７５は、画像処理装置１０からのラベル情報ＬＴをストレージデバイス３０Ｃに記憶する。また、ＲＷ制御部７５は、学習装置１１からの学習済みモデルＴＭをストレージデバイス３０Ｃに記憶する。ＲＷ制御部７５は、ストレージデバイス３０Ｃから入力画像ＩＩおよび学習済みモデルＴＭを読み出し、これらを処理部７６に出力する。また、ＲＷ制御部７５は、ラベル情報ＬＴをストレージデバイス３０Ｃから読み出し、ラベル情報ＬＴを置換部７７に出力する。
処理部７６は、学習済みモデルＴＭに入力画像ＩＩを入力してセマンティックセグメンテーションを実施させ、出力画像ＯＩを出力させる。処理部７６は、出力画像ＯＩを置換部７７に出力する。置換部７７は、ラベル情報ＬＴに基づいて、出力画像ＯＩの追加ラベルを元ラベルに置換する。置換部７７で追加ラベルが元ラベルに置換された出力画像ＯＩである置換済み出力画像ＲＯＩは、ＲＷ制御部７５によりストレージデバイス３０Ｃに記憶される。
ここで、学習済みモデルＴＭは、図１２で示したように、修正アノテーション画像ＭＡＩを学習データＬＤとして与えられて学習されたモデルである。このため、学習済みモデルＴＭは、ラベル１の「分化細胞」、ラベル２の「未分化細胞」といった元ラベルのクラスだけでなく、ラベル１＿１の「分化細胞（複雑）」、ラベル２＿１の「未分化細胞（複雑）」といった追加ラベルのクラスとその輪郭を判別するモデルとなる。したがって、出力画像ＯＩは、図１４に示すように、ラベル１の「分化細胞」の領域ＲＲ１、ラベル２の「未分化細胞」の領域ＲＲ２、ラベル３の「死細胞」の領域ＲＲ３、ラベル４の「培地」の領域ＲＲ４に加えて、ラベル１＿１の「分化細胞（複雑）」の領域ＲＲ１＿１、ラベル２＿１の「未分化細胞（複雑）」の領域ＲＲ２＿１、ラベル３＿１の「死細胞（複雑）」の領域ＲＲ３＿１が判別された画像となる。なお、出力画像ＯＩの二点鎖線の枠は、「死細胞（複雑）」の領域ＲＲ３＿１と判別された、「死細胞」の領域ＲＲ３の微細な点の集合を示している。
図１５は、図６で示したラベル情報ＬＴに基づいて、図１４で示した出力画像ＯＩの追加ラベルを、置換部７７において元ラベルに置換する様子を示す。具体的には、置換部７７は、領域ＲＲ１＿１（領域ＲＲ１＿１Ａおよび領域ＲＲ１＿１Ｂ）のラベル１＿１「分化細胞（複雑）」をラベル１「分化細胞」に、領域ＲＲ２＿１（領域ＲＲ２＿１Ａおよび領域ＲＲ２＿１Ｂ）のラベル２＿１「未分化細胞（複雑）」をラベル２「未分化細胞」に、それぞれ置換する。また、置換部７７は、領域ＲＲ３＿１のラベル３＿１「死細胞（複雑）」をラベル３「死細胞」に置換する。こうした置換を行うことで、置換済み出力画像ＲＯＩにおいては、領域ＲＲ１＿１は領域ＲＲ１に、領域ＲＲ２＿１は領域ＲＲ２に、領域ＲＲ３＿１は領域ＲＲ３に、それぞれ包含される。なお、置換済み出力画像ＲＯＩの二点鎖線の枠は、領域ＲＲ３＿１からラベルが置換された領域ＲＲ３の集合を示している。
次に、上記構成による作用について、図１６～図１８のフローチャートを参照して説明する。まず、画像処理装置１０において作動プログラム４０が起動されると、図５で示したように、画像処理装置１０のＣＰＵ３２Ａは、ＲＷ制御部４５、抽出部４６、設定部４７、および送信制御部４８として機能される。
図１６において、画像処理装置１０では、図７で示したように、抽出部４６により、アノテーション画像ＡＩの指定領域Ｒから複雑領域ＣＲが抽出される（ステップＳＴ１００）。複雑領域ＣＲが抽出された抽出アノテーション画像ＥＡＩは、設定部４７に出力される。なお、ステップＳＴ１００は、本開示の技術に係る「抽出ステップ」の一例である。
図１０で示したように、設定部４７により、複雑領域ＣＲに対して追加ラベルが設定される（ステップＳＴ１１０）。追加ラベルが設定された修正アノテーション画像ＭＡＩは、図６で示したラベル情報ＬＴとともに、ＲＷ制御部４５によってストレージデバイス３０Ａに記憶される。そして、修正アノテーション画像ＭＡＩは、送信制御部４８により学習装置１１に送信される。また、ラベル情報ＬＴは、送信制御部４８により運用装置１２に送信される。なお、ステップＳＴ１１０は、本開示の技術に係る「設定ステップ」の一例である。
学習装置１１において作動プログラム５５が起動されると、図１２で示したように、学習装置１１のＣＰＵ３２Ｂは、ＲＷ制御部６０、学習部６１、評価部６２、更新部６３、および送信制御部６４として機能される。
図１７において、学習装置１１では、学習部６１により、学習用入力画像ＩＩＬがモデルＭに与えられ、これにより学習用出力画像ＯＩＬがモデルＭから出力される（ステップＳＴ２００）。学習用出力画像ＯＩＬは、評価部６２に出力される。
評価部６２により、修正アノテーション画像ＭＡＩと学習用出力画像ＯＩＬとが比較され、この比較結果に基づいて、モデルＭのクラスの判別精度が評価される（ステップＳＴ２１０）。評価結果は更新部６３に出力される。
評価結果が、モデルＭの判別精度が予め設定されたレベル未満であるという内容であった場合（ステップＳＴ２２０でＮＯ）、更新部６３によりモデルＭが更新される（ステップＳＴ２３０）。そして、更新後のモデルＭを用いて、ステップＳＴ２００、ステップＳＴ２１０が繰り返される。対して、評価結果が、モデルＭの判別精度が予め設定されたレベルであるという内容であった場合（ステップＳＴ２２０でＹＥＳ）、処理が終了される。この判別精度が予め設定されたレベルとされたモデルＭは、学習済みモデルＴＭとして送信制御部６４により運用装置１２に送信される。
運用装置１２において作動プログラム７０が起動されると、図１３で示したように、運用装置１２のＣＰＵ３２Ｃは、ＲＷ制御部７５、処理部７６、および置換部７７として機能される。
図１８において、運用装置１２では、図１４で示したように、処理部７６により、学習済みモデルＴＭに入力画像ＩＩが入力されてセマンティックセグメンテーションが実施され、出力画像ＯＩが出力される（ステップＳＴ３００）。出力画像ＯＩは、置換部７７に出力される。なお、ステップＳＴ３００は、本開示の技術に係る「処理ステップ」の一例である。
図１５で示したように、置換部７７により、ラベル情報ＬＴに基づいて、出力画像ＯＩの追加ラベルが元ラベルに置換される（ステップＳＴ３１０）。追加ラベルが元ラベルに置換された置換済み出力画像ＲＯＩは、例えば、入力画像ＩＩと並べて運用装置１２のディスプレイ３４に表示され、ユーザの閲覧に供される。なお、ステップＳＴ３１０は、本開示の技術に係る「置換ステップ」の一例である。
以上説明したように、画像処理装置１０では、図７で示したように、抽出部４６により、アノテーション画像ＡＩの指定領域Ｒから複雑領域ＣＲが抽出される。そして、図１０で示したように、設定部４７により、アノテーション画像ＡＩに元々指定されていた元ラベルとは別に、複雑領域ＣＲに対して追加ラベルが設定される。こうして追加ラベルが設定された修正アノテーション画像ＭＡＩが、学習装置１１においてモデルＭに学習データＬＤとして与えられて、モデルＭが学習される。したがって、複雑領域ＣＲの判別精度の低下を抑制することが可能となる。
図１０で示したように、設定部４７により、元ラベルが同じクラスを示す複数の指定領域Ｒからそれぞれ抽出された複数の複雑領域ＣＲに対して、同じ追加ラベルが設定される。すなわち、元ラベルが同じ指定領域Ｒの複雑領域ＣＲに対しては、同じ追加ラベルが設定される。したがって、追加ラベルが無暗に乱立することを防ぐことができる。モデルＭのクラスの判別精度は、判別対象のクラスが少ない程容易に高められるので、追加ラベルの乱立を防ぐことができれば、結果としてモデルＭのクラスの判別精度を高めることができる。
図９で示したように、抽出部４６により、複数の指定領域Ｒの各々に対して、複雑領域ＣＲを抽出する処理が行われる。したがって、指定領域Ｒのサイズの大小に左右されることなく、指定領域Ｒの各々から複雑領域ＣＲを抽出することが可能となる。
また、図１１で示したように、抽出部４６において、第１の指定領域と第２の指定領域の境界が複雑領域ＣＲとして抽出された場合、設定部４７により、境界の複雑領域ＣＲに対して、第１の指定領域および第２の指定領域のうちのいずれかに関わる１つの追加ラベルが選択的に設定される。したがって、略同じ位置にあって略同じ形状の複雑領域ＣＲに対して、２つの追加ラベルが設定されてしまうことを避けることができる。このため追加ラベルの設定数が減り、モデルＭに余計な学習をさせて学習の効率が下がることを防ぐことができる。
運用装置１２では、図１４で示したように、処理部７６により、学習済みモデルＴＭに入力画像ＩＩが入力されてセマンティックセグメンテーションが実施され、出力画像ＯＩが出力される。そして、図１５で示したように、置換部７７により、ラベル情報ＬＴに基づいて、出力画像ＯＩの追加ラベルが元ラベルに置換される。
追加ラベルは、複雑領域ＣＲの判別精度の低下を抑制するために、画像処理装置１０において便宜的に設定したものであり、元ラベルのクラスだけを指定してアノテーション画像ＡＩを作成したユーザにとっては不要な情報である。したがって、置換部７７によって追加ラベルを元ラベルに置換して、出力画像ＯＩを置換済み出力画像ＲＯＩとすることで、ユーザにとって本来必要な画像を提供することができる。
［第２実施形態］
図１９に示す第２実施形態では、設定部４７は、複雑領域ＣＲのうちの設定サイズ以下の小複雑領域ＣＲＳに対しては、小複雑領域ＣＲＳを包含する指定領域Ｒの元ラベルを設定する。
図１９では、ラベル３の「死細胞」の複雑領域ＣＲ３が小複雑領域ＣＲＳ３であり、当該小複雑領域ＣＲＳ３がラベル４の「培地」の指定領域Ｒ４で囲まれていた場合を例示している。この場合、設定部４７は、小複雑領域ＣＲＳ３に対して、小複雑領域ＣＲＳ３を包含する指定領域Ｒ４の元ラベルであるラベル４の「培地」を設定する。こうすることで、修正アノテーション画像ＭＡＩにおいては、小複雑領域ＣＲＳ３は指定領域Ｒ４に包含されて消滅する。
このように、第２実施形態では、設定部４７により、複雑領域ＣＲのうちの設定サイズ以下の小複雑領域ＣＲＳに対して、小複雑領域ＣＲＳを包含する指定領域Ｒの元ラベルが設定される。つまり、小複雑領域ＣＲＳはゴミ等のノイズと見なして追加ラベルを設定しない。このため追加ラベルの設定数が減り、モデルＭに余計な学習をさせて学習の効率が下がることを防ぐことができる。
アノテーション作業では、ゴミ等のノイズを誤って指定領域Ｒとして指定してしまうことがある。第２実施形態では、このように誤って指定してしまった指定領域Ｒに、追加ラベルが設定されてしまうことを防ぐこともできる。なお、設定サイズは、例えばユーザが設定する。
［第３実施形態］
図２０に示す第３実施形態では、画像処理装置１０、学習装置１１、および運用装置１２の機能を１台のコンピュータに統合する。
図２０において、機械学習システム１００は、画像処理装置１０、学習装置１１、および運用装置１２と同じく、例えばデスクトップ型のパーソナルコンピュータである。機械学習システム１００のストレージデバイス１０１には、作動プログラム１０２が記憶されている。作動プログラム１０２は、上記第１実施形態の作動プログラム４０、作動プログラム５５、および作動プログラム７０を統合した作動プログラムである。すなわち、作動プログラム１０２は、本開示の技術に係る「画像処理装置の作動プログラム」および「運用装置の作動プログラム」の一例である。なお、図示は省略したが、ストレージデバイス１０１には、アノテーション画像ＡＩ、修正アノテーション画像ＭＡＩ、ラベル情報ＬＴ、学習用入力画像ＩＩＬ、モデルＭ、学習済みモデルＴＭ、置換済み出力画像ＲＯＩ等も記憶される。
作動プログラム１０２が起動されると、機械学習システム１００を構成するコンピュータのＣＰＵ１０３は、メモリ（図示せず）等と協働して、抽出部４６、設定部４７、学習部６１、評価部６２、更新部６３、処理部７６、および置換部７７として機能する。つまり、機械学習システム１００は、上記第１実施形態の画像処理装置１０、学習装置１１、および運用装置１２の機能を統合した装置である。なお、各部の処理は、上記第１実施形態と同じであるため、説明を省略する。
このように、機械学習システムのコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４０、５５、７０、１０２等のアプリケーションプログラムについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
上記各実施形態では、入力画像ＩＩおよび学習用入力画像ＩＩＬとして、培養中の細胞を映した位相差顕微鏡の画像を例示し、クラスとして細胞、培地等を例示したが、これに限定されない。例えばＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）画像を入力画像ＩＩおよび学習用入力画像ＩＩＬとし、肝臓、腎臓といった臓器をクラスとしてもよい。
モデルＭはＵ－Ｎｅｔに限らず、他の畳み込みニューラルネットワーク、例えばＳｅｇＮｅｔでもよい。
上記各実施形態において、例えば、ＲＷ制御部４５、６０、７５、抽出部４６、設定部４７、送信制御部４８、６４、学習部６１、評価部６２、更新部６３、処理部７６、置換部７７といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４０、５５、７０、１０２）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ３２Ａ、３２Ｂ、３２Ｃ、１０３に加えて、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。
以上の記載から、以下の付記項１～３に記載の発明を把握することができる。
［付記項１］
画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに対して、学習データとして与えるアノテーション画像において、前記クラスのラベルが指定された複数の指定領域の中から、前記指定領域のうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域を抽出する抽出プロセッサと、
前記アノテーション画像に元々指定されていた元ラベルとは別に、前記複雑領域に対して追加ラベルを設定する設定プロセッサと、
を備える画像処理装置。
［付記項２］
付記項１に記載の画像処理装置において前記追加ラベルが設定された前記アノテーション画像を、前記学習データとして与えられて学習された前記機械学習モデルに、入力画像を入力して前記セマンティックセグメンテーションを実施させ、出力画像を出力させる処理プロセッサと、
前記元ラベルと前記追加ラベルとの関係を記憶したラベル情報に基づいて、前記出力画像の前記追加ラベルを前記元ラベルに置換する置換プロセッサと、
を備える運用装置。
［付記項３］
画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに対して、学習データとして与えるアノテーション画像において、前記クラスのラベルが指定された複数の指定領域の中から、前記指定領域のうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域を抽出する抽出プロセッサと、
前記アノテーション画像に元々指定されていた元ラベルとは別に、前記複雑領域に対して追加ラベルを設定する設定プロセッサと、
前記追加ラベルが設定された前記アノテーション画像を、前記学習データとして与えられて学習された前記機械学習モデルに、入力画像を入力して前記セマンティックセグメンテーションを実施させ、出力画像を出力させる処理プロセッサと、
前記元ラベルと前記追加ラベルとの関係を記憶したラベル情報に基づいて、前記出力画像の前記追加ラベルを前記元ラベルに置換する置換プロセッサと、
を備える機械学習システム。
本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (11)

  1. 画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに対して、学習データとして与えるアノテーション画像において、前記クラスのラベルが指定された複数の指定領域の中から、前記指定領域のうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域を抽出する抽出部と、
    前記アノテーション画像に元々指定されていた元ラベルとは別に、前記複雑領域に対して追加ラベルを設定する設定部と、
    を備える画像処理装置。
  2. 前記設定部は、前記元ラベルが同じクラスを示す複数の前記指定領域からそれぞれ抽出された複数の前記複雑領域に対して、同じ前記追加ラベルを設定する請求項１に記載の画像処理装置。
  3. 前記抽出部は、複数の前記指定領域の各々に対して、前記複雑領域を抽出する処理を行う請求項１または請求項２に記載の画像処理装置。
  4. 前記抽出部において、第１の指定領域と第２の指定領域の境界を前記複雑領域として抽出した場合、前記設定部は、前記境界の前記複雑領域に対して、前記第１の指定領域および前記第２の指定領域のうちのいずれかに関わる１つの追加ラベルを選択的に設定する請求項１から請求項３のいずれか１項に記載の画像処理装置。
  5. 前記設定部は、前記複雑領域のうちの設定サイズ以下の小複雑領域に対しては、前記小複雑領域を包含する前記指定領域の前記元ラベルを設定する請求項１から請求項４のいずれか１項に記載の画像処理装置。
  6. 画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに対して、学習データとして与えるアノテーション画像において、前記クラスのラベルが指定された複数の指定領域の中から、前記指定領域のうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域を抽出する抽出ステップと、
    前記アノテーション画像に元々指定されていた元ラベルとは別に、前記複雑領域に対して追加ラベルを設定する設定ステップと、
    を備える画像処理装置の作動方法。
  7. 画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに対して、学習データとして与えるアノテーション画像において、前記クラスのラベルが指定された複数の指定領域の中から、前記指定領域のうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域を抽出する抽出部と、
    前記アノテーション画像に元々指定されていた元ラベルとは別に、前記複雑領域に対して追加ラベルを設定する設定部として、
    コンピュータを機能させる画像処理装置の作動プログラム。
  8. 請求項１から請求項５のいずれか１項に記載の画像処理装置において前記追加ラベルが設定された前記アノテーション画像を、前記学習データとして与えられて学習された前記機械学習モデルに、入力画像を入力して前記セマンティックセグメンテーションを実施させ、出力画像を出力させる処理部と、
    前記元ラベルと前記追加ラベルとの関係を記憶したラベル情報に基づいて、前記出力画像の前記追加ラベルを前記元ラベルに置換する置換部と、
    を備える運用装置。
  9. 請求項６に記載の画像処理装置の作動方法において前記追加ラベルが設定された前記アノテーション画像を、前記学習データとして与えられて学習された前記機械学習モデルに、入力画像を入力して前記セマンティックセグメンテーションを実施させ、出力画像を出力させる処理ステップと、
    前記元ラベルと前記追加ラベルとの関係を記憶したラベル情報に基づいて、前記出力画像の前記追加ラベルを前記元ラベルに置換する置換ステップと、
    を備える運用装置の作動方法。
  10. 請求項７に記載の画像処理装置の作動プログラムにおいて前記追加ラベルが設定された前記アノテーション画像を、前記学習データとして与えられて学習された前記機械学習モデルに、入力画像を入力して前記セマンティックセグメンテーションを実施させ、出力画像を出力させる処理部と、
    前記元ラベルと前記追加ラベルとの関係を記憶したラベル情報に基づいて、前記出力画像の前記追加ラベルを前記元ラベルに置換する置換部として、
    コンピュータを機能させる運用装置の作動プログラム。
  11. 画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに対して、学習データとして与えるアノテーション画像において、前記クラスのラベルが指定された複数の指定領域の中から、前記指定領域のうちの少なくとも一部の領域であって、比較的複雑な輪郭をもつ領域である複雑領域を抽出する抽出部と、
    前記アノテーション画像に元々指定されていた元ラベルとは別に、前記複雑領域に対して追加ラベルを設定する設定部と、
    前記追加ラベルが設定された前記アノテーション画像を、前記学習データとして与えられて学習された前記機械学習モデルに、入力画像を入力して前記セマンティックセグメンテーションを実施させ、出力画像を出力させる処理部と、
    前記元ラベルと前記追加ラベルとの関係を記憶したラベル情報に基づいて、前記出力画像の前記追加ラベルを前記元ラベルに置換する置換部と、
    を備える機械学習システム。
JP2021512160A 2019-04-02 2020-03-31 画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システム Active JP7138780B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019070660 2019-04-02
JP2019070660 2019-04-02
PCT/JP2020/014954 WO2020204051A1 (ja) 2019-04-02 2020-03-31 画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システム

Publications (2)

Publication Number Publication Date
JPWO2020204051A1 JPWO2020204051A1 (ja) 2020-10-08
JP7138780B2 true JP7138780B2 (ja) 2022-09-16

Family

ID=72668955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021512160A Active JP7138780B2 (ja) 2019-04-02 2020-03-31 画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システム

Country Status (3)

Country Link
US (1) US12062184B2 (ja)
JP (1) JP7138780B2 (ja)
WO (1) WO2020204051A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11416775B2 (en) * 2020-04-17 2022-08-16 International Business Machines Corporation Training robust machine learning models
US20240104880A1 (en) * 2021-12-27 2024-03-28 Rakuten Group, Inc. Information processing apparatus and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217706A (ja) 2007-03-07 2008-09-18 Tokyo Institute Of Technology ラベリング装置、ラベリング方法及びプログラム
JP2018173814A (ja) 2017-03-31 2018-11-08 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP2018195293A (ja) 2017-05-18 2018-12-06 三菱電機株式会社 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311473A (ja) * 2004-04-16 2005-11-04 Sharp Corp 撮像装置および信号処理方法ならびにそのプログラムと記録媒体
JP5617426B2 (ja) * 2010-08-16 2014-11-05 大日本印刷株式会社 ジャギー緩和処理装置及びジャギー緩和処理方法
US9830502B2 (en) 2013-10-28 2017-11-28 Dh Technologies Development Pte. Ltd. Method and system for classifying and identifying individual cells in a microscopy image
US10685446B2 (en) * 2018-01-12 2020-06-16 Intel Corporation Method and system of recurrent semantic segmentation for image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217706A (ja) 2007-03-07 2008-09-18 Tokyo Institute Of Technology ラベリング装置、ラベリング方法及びプログラム
JP2018173814A (ja) 2017-03-31 2018-11-08 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP2018195293A (ja) 2017-05-18 2018-12-06 三菱電機株式会社 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体

Also Published As

Publication number Publication date
US12062184B2 (en) 2024-08-13
WO2020204051A1 (ja) 2020-10-08
JPWO2020204051A1 (ja) 2020-10-08
US20220012895A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
EP2846309B1 (en) Method and apparatus for segmenting object in image
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
US20180130203A1 (en) Automated skin lesion segmentation using deep side layers
JP7242882B2 (ja) 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
JP2021501377A (ja) 畳み込みニューラルネットワークの高速計算
CN110622175A (zh) 神经网络分类
JP7138780B2 (ja) 画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システム
US11688061B2 (en) Interpretation of whole-slide images in digital pathology
WO2019240900A1 (en) Attention loss based deep neural network training
US20200349674A1 (en) Intelligent image enhancement
JP2018195231A (ja) 学習モデル作成装置、該方法および該プログラム
US11841892B2 (en) Generating test scenarios by detecting failure patterns and themes in customer experiences
JP7195233B2 (ja) 機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラム
CN115699041A (zh) 利用专家模型的可扩展迁移学习
US11900249B2 (en) Mini-batch learning apparatus, operation program of mini-batch learning apparatus, operation method of mini-batch learning apparatus, and image processing apparatus
JP6559353B2 (ja) 自動核セグメンテーション
US12100101B2 (en) Generating 2D mapping using 3D data
US11429871B2 (en) Detection of data offloading through instrumentation analysis
CN113196335A (zh) 小批量学习装置及其工作程序和工作方法
CN113906418A (zh) 一种利用随机样本的接受和拒绝来确定症状关系的方法
CN114067183B (zh) 神经网络模型训练方法、图像处理方法、装置和设备
US12045153B1 (en) Apparatus and method of hot-swapping a component of a component unit in a cluster
US20230177388A1 (en) Visualization and editing of machine learning models
WO2024098742A1 (zh) 一种图像处理方法、装置、电子设备和存储介质
US20240177369A1 (en) System and methods for color gamut normalization for pathology slides

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220906

R150 Certificate of patent or registration of utility model

Ref document number: 7138780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150