JP7477269B2 - 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム - Google Patents

学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム Download PDF

Info

Publication number
JP7477269B2
JP7477269B2 JP2019133641A JP2019133641A JP7477269B2 JP 7477269 B2 JP7477269 B2 JP 7477269B2 JP 2019133641 A JP2019133641 A JP 2019133641A JP 2019133641 A JP2019133641 A JP 2019133641A JP 7477269 B2 JP7477269 B2 JP 7477269B2
Authority
JP
Japan
Prior art keywords
image
learning
similar
target
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019133641A
Other languages
English (en)
Other versions
JP2021018582A (ja
Inventor
功記 小西
友香 鈴木
三雄 須賀
秀夫 西岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jeol Ltd
Nikon Corp
Original Assignee
Jeol Ltd
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jeol Ltd, Nikon Corp filed Critical Jeol Ltd
Priority to JP2019133641A priority Critical patent/JP7477269B2/ja
Publication of JP2021018582A publication Critical patent/JP2021018582A/ja
Application granted granted Critical
Publication of JP7477269B2 publication Critical patent/JP7477269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラムに関する。
医療において細胞や組織が撮像された画像が診断に用いられることがある。コンピュータによる画像認識によって、それらの画像に撮像されている組織や細胞を判定することが行われる。
画像認識において優れた性能をもつ深層学習の手法として、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が知られている（非特許文献１）。ＣＮＮは画像認識において優れた性能を発揮するものの、膨大な数の教師データを学習に必要とする。
ＣＮＮなどの深層学習を用いたセグメンテーション手法において、教師データが十分な数ない場合、あるいは十分な数用意するのが困難な場合、学習器の汎化性能が低くなることが知られている。学習器の汎化性能が低くなることは、セグメンテーションの精度が低下することを意味する。
Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ， Ｐｈｉｌｉｐｐ Ｆｉｓｃｈｅｒ， Ｔｈｏｍａｓ Ｂｒｏｘ、"Ｕ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ"、［ｏｎｌｉｎｅ］、２０１５年５月１８日、インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５０５．０４５９７〉
本発明の一態様は、対象物体が撮像された対象画像において、前記対象物体の領域を判定するために用いられるニューラルネットワークの学習装置であって、前記対象物体と外観が類似した物体である類似物体についての画像である類似画像に基づいて、畳み込みオートエンコーダに対する第１の学習を実行する類似画像学習部と、前記対象画像と、前記対象画像において前記対象物体が示された画像である正解画像との組である教師データと、前記類似画像学習部による前記第１の学習の結果とに基づいて前記ニューラルネットワークに対する第２の学習を実行する対象画像学習部と、を備え、前記対象画像学習部は、前記対象画像を入力とした場合の前記ニューラルネットワークの出力である予測画像を、前記第１の学習の結果に基づく第１の損失算出部に入力することで算出される第１の損失に基づく損失と、前記教師データと、に基づいて前記第２の学習を実行する学習装置である。
本発明の一態様は、上記の学習装置による学習結果に基づいて前記対象画像において前記対象物体を判定する判定部を備える判定装置である。
本発明の一態様は、上記の学習装置を備える顕微鏡である。
本発明の一態様は、上記の判定装置を備える顕微鏡である。
本発明の一態様は、上記の学習装置によって学習された学習済みモデルである。
本発明の一態様は、対象物体が撮像された対象画像において、前記対象物体の領域を判定するために用いられるニューラルネットワークの学習のためのプログラムであって、コンピュータに、前記対象物体と外観が類似した物体である類似物体についての画像である類似画像に基づいて、畳み込みオートエンコーダに対する第１の学習を実行する類似画像学習ステップと、前記対象画像と、前記対象画像において前記対象物体が示された画像である正解画像との組である教師データと、前記類似画像学習ステップによる前記第１の学習の結果とに基づいて前記ニューラルネットワークに対する第２の学習を実行する対象画像学習ステップとを実行させ、前記対象画像学習ステップにおいて、前記対象画像を入力とした場合の前記ニューラルネットワークの出力である予測画像を、前記第１の学習の結果に基づく第１の損失算出部に入力することで算出される第１の損失に基づく損失と、前記教師データと、に基づいて前記第２の学習を実行させるためのプログラムである。
本発明の一態様は、コンピュータに、上記のプログラムによる学習結果に基づいて前記対象画像において前記対象物体を判定する判定ステップを実行させるためのプログラムである。
第１の実施形態に係る画像処理システムの一例を示す図である。 第１の実施形態に係る画像処理装置の構成の一例を示す図である。 第１の実施形態に係る深層学習におけるデータの流れの一例を示す図である。 第１の実施形態に係る画像処理装置の機械学習の処理の一例を示す図である。 第１の実施形態に係る学習処理の一例を示す図である。 第１の実施形態に係る類似度の算出方法の一例を示す図である。 第１の実施形態に係る各画像と学習処理との関係の一例を示す図である。 第１の実施形態に係る判定処理の一例を示す図である。 第１の実施形態に係るセグメンテーション結果の一例を示す図である。 第１の実施形態に係る類似画像の類似度と判定精度との関係の一例を示す図である。 第１の実施形態に係る類似画像における類似物体の空間密度と判定精度との関係の一例を示す図である。 第２の実施形態に係る画像処理システムの一例を示す図である。 第２の実施形態に係る画像と学習処理との関係の一例を示す図である。 第２の実施形態に係る判定画像の一例を示す図である。 第２の実施形態に係る判定精度の一例を示す図である。 第３の実施形態に係る画像処理システムの一例を示す図である。 第４の実施形態に係る画像処理システムの一例を示す図である。 実施形態の変形例に係る対象物体と類似度との対応の一例を示す図である。 実施形態の変形例に係る血管様画像の画像セット間距離の算出処理の一例を示す図である。 実施形態の変形例に係る血管画像及び血管様画像の一例を示す図である。
（第１の実施形態）
以下、図面を参照しながら第１の実施形態について詳しく説明する。図１は、本実施形態に係る画像処理システムＳＴの一例を示す図である。画像処理システムＳＴは、一例として、電子顕微鏡Ｍ２と、光学顕微鏡Ｍ１と、電子顕微鏡画像データベースＤＢ２と、ＤＡＰＩ画像データベースＤＢ１と、画像処理装置Ｔ１とを備える。
画像処理システムＳＴでは、電子顕微鏡Ｍ２によって脳組織の細胞核である脳組織細胞核Ａ２が撮像される。脳組織細胞核Ａ２は、一例として、マウスの小脳の顆粒細胞核である。電子顕微鏡Ｍ２によって撮像された脳組織細胞核Ａ２の画像は、対象画像ＰＡ１として、電子顕微鏡画像データベースＤＢ２から画像処理装置Ｔ１に供給される。画像処理装置Ｔ１に供給される対象画像ＰＡ１の一部は、画像処理装置Ｔ１の学習部１に供給され学習処理に用いられ、残りの一部は画像処理装置Ｔ１の判定部２に供給され判定処理に用いられる。
画像処理装置Ｔ１は、一例として、コンピュータである。画像処理装置Ｔ１は、対象画像ＰＡ１において脳組織細胞核Ａ２の画像を判定し、対象画像ＰＡ１に含まれる領域を脳組織細胞核Ａ２の画像の領域と、それ以外の領域とに分類する。つまり、画像処理装置Ｔ１は、対象画像ＰＡ１に対してセグメンテーションを行う。脳組織細胞核Ａ２は、判定の対象である対象物体の一例である。
画像処理装置Ｔ１は、深層学習に基づいてセグメンテーションを行う。画像処理装置Ｔ１は、学習部１と、判定部２とを備える。学習部１は、深層学習に基づいて学習を実行する。判定部２は、学習部１が学習した結果に基づいて対象画像ＰＡ１において対象物体の画像の領域を判定する。
学習部１は、対象画像ＰＡ１と、核正解画像ＰＴ２との組である教師データＬＤに基づいて学習を実行する。ここで核正解画像ＰＴ２とは、対象画像ＰＡ１において予め脳組織細胞核Ａ２の画像の領域が示された画像である。
核正解画像ＰＴ２は、対象画像ＰＡ１において脳組織細胞核Ａ２を示す領域について、例えば医学的知識をもつ人間によって、この領域の内部が塗られたり、この領域の輪郭が描かれたりすることによって、対象画像ＰＡ１に基づいて作成される。核正解画像ＰＴ２の作成には手間と時間を要するため、核正解画像ＰＴ２を十分な数だけ準備できない場合がある。つまり、画像処理装置Ｔ１が学習を行うために十分な数の教師データＬＤを準備できない場合がある。
画像処理システムＳＴでは、教師データＬＤを画像処理装置Ｔ１が学習を行うために十分な数だけ準備できない場合であっても、学習部１が類似画像ＰＲ１を学習に用いることによって学習の汎化性能の低下を抑制する。ここで類似画像ＰＲ１は、対象物体と外観が類似した物体である類似物体についての画像である。対象物体と外観が類似した物体とは、例えば、対象物体と輪郭などの形状が類似した物体である。また、類似物体についての画像とは、例えば、撮像素子を備える顕微鏡などによって類似物体が撮像された画像である。
画像処理装置Ｔ１は、類似画像ＰＲ１を用いて類似物体の特徴量を学習する。画像処理システムＳＴでは、脳組織細胞核Ａ２と形状が類似した類似物体の一例として、培養初期のヒトの人工多能性幹細胞（ｉＰＳ細胞）の細胞核の蛍光像であるｉＰＳ細胞核Ａ１が採用される。脳組織細胞核Ａ２の形状は粒状であり、ｉＰＳ細胞核Ａ１の形状は粒状の形状と類似している。
なお、本実施形態では、類似物体が対象物体と形状が類似した物体である場合の一例について説明するが、これに限らない。類似物体は、対象物体と構造や模様などのパターンが類似した物体であってもよい。
また、本実施形態では、類似物体についての画像が、類似物体が撮像素子を備える顕微鏡によって撮像された画像である場合の一例について説明するが、これに限らない。類似物体についての画像は、外観が対象物体と類似していれば類似物体が紙面などに描かれた画像であってもよい。
光学顕微鏡Ｍ１は、ＤＡＰＩ（４’，６－ｄｉａｍｉｄｉｎｏ－２－ｐｈｅｎｙｌｉｎｄｏｌｅ）によって染色されたｉＰＳ細胞核Ａ１を、蛍光観察によって観察する。ｉＰＳ細胞核Ａ１は、光学顕微鏡Ｍ１によって撮像され、類似画像元画像ＰＭとしてＤＡＰＩ画像データベースＤＢ１に蓄積される。学習部１は、画像認識によって類似画像元画像ＰＭにおいてｉＰＳ細胞核Ａ１の画像の領域を選択し、選択した領域が示された核正解画像ＰＴ１を生成する。ここで核正解画像ＰＴ１とは、ｉＰＳ細胞核Ａ１が撮像された類似画像元画像ＰＭにおいて、ｉＰＳ細胞核Ａ１の画像の領域が示された画像である。
画像処理装置Ｔ１は、核正解画像ＰＴ１を用いてｉＰＳ細胞核Ａ１の特徴量を学習する。ここでｉＰＳ細胞核Ａ１の特徴量とは、粒状の形状である。ｉＰＳ細胞核Ａ１の形状と脳組織細胞核Ａ２の形状とは、粒状である点において類似している。
画像処理装置Ｔ１は、学習した特徴量を先見情報として、対象物体である脳組織細胞核Ａ２を抽出するための抽出器の学習を行う。ここで先見情報とは、対象物体を抽出するための抽出器の学習を実行するより前に、対象物体の外観と類似した特徴が学習された情報である。
画像処理システムＳＴでは、画像処理装置Ｔ１が深層学習の学習に用いる教師データＬＤの数が十分でない場合であっても、先見情報を学習に用いることができるため、学習の汎化性能の低下を抑制できる。つまり、画像処理システムＳＴでは、教師データＬＤの数が十分でない場合であっても、セグメンテーションの精度を高めることができる。
次に図２を参照し、画像処理装置Ｔ１の構成の詳細について説明する。図２は、本実施形態に係る画像処理装置Ｔ１の構成の一例を示す図である。学習部１は、学習装置の一例であり、判定部２は、判定装置の一例である。
まず学習部１の構成について説明する。学習部１は、類似画像元画像取得部１０と、類似物体抽出部１１と、類似度算出部１２と、学習実行部１３と、教師データ取得部１４と、学習結果出力部１５とを備える。
類似画像元画像取得部１０と、類似物体抽出部１１と、類似度算出部１２と、学習実行部１３と、教師データ取得部１４と、学習結果出力部１５とは、それぞれ、画像処理装置Ｔ１のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）からプログラムを読み込んで処理を実行することにより実現されるモジュールである。
ここで図２に加えて図３を参照しながら、類似画像元画像取得部１０及び類似物体抽出部１１について説明する。図３は、本実施形態に係る深層学習におけるデータの流れの一例を示す図である。
類似画像元画像取得部１０は、類似元画像データベース３から供給される類似画像元画像ＰＭを取得する。図３の類似元画像データベース３は、本実施形態では一例として、図１のＤＡＰＩ画像データベースＤＢ１である。
なお、類似画像元画像取得部１０は、類似元画像データベース３の代わりに、画像処理システムＳＴの外部のデータベースから類似画像元画像ＰＭを取得してもよい。画像処理システムＳＴの外部のデータベースとは、例えば、ウェブ上に画像を公開している画像サーバなどの公共のデータベースである。
類似物体抽出部１１は、類似画像元画像取得部１０が取得した類似画像元画像ＰＭから類似物体を抽出する。類似物体抽出部１１は、抽出した類似物体に基づいて類似画像元画像ＰＭから類似画像ＰＲを生成する。
図２に戻って学習部１の構成の説明を続ける。
類似度算出部１２は、類似物体抽出部１１が生成した類似画像ＰＲと、対象画像取得部１４０が取得した対象画像ＰＡとに基づいて、類似画像ＰＲにおける類似物体の画像と、対象画像ＰＡにおける対象物体の画像との類似度を算出する。類似度算出部１２は、類似度を、一例として、対象物体の画像、及び対象物体の画像それぞれのＨｕモーメントの間のＬ１距離として算出する。本実施形態では、類似度は値が小さいほど、類似画像ＰＲにおける類似物体の画像と、対象画像ＰＡにおける対象物体の画像とは類似している。
学習実行部１３は、深層学習に基づいて学習を実行する。以下では、学習実行部１３が学習に用いる畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を、ニューラルネットワークＮＮという。学習実行部１３は、類似画像学習部１３０と、形状損失算出部１３１と、対象画像学習部１３２と、ＶＡＴ（Ｖｉｒｔｕａｌ Ａｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇ）損失算出部１３３と、クロスエントロピー損失算出部１３４とを備える。
ここで再び図２に加えて図３を参照し、学習実行部１３について説明する。
類似画像学習部１３０は、類似物体抽出部１１が生成した類似画像ＰＲに基づいて第１の学習を実行する。ここで第１の学習とは、一例として、類似画像ＰＲを入力に用いる畳み込みオートエンコーダ（ＣＡＥ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ Ｅｎｃｏｄｅｒ）による学習である。類似画像学習部１３０は、類似画像ＰＲを入力として用いてＣＡＥを用いることによって、類似画像ＰＲにおける類似物体の特徴を抽出する。以下では、類似画像学習部１３０が類似画像ＰＲを入力に用いて学習させたＣＡＥを、ＣＡＥｆという。なお、ＣＡＥｆは、ニューラルネットワークＮＮとは別のニューラルネットワークである。
形状損失算出部１３１は、対象画像学習部１３２によって算出される予測画像ＰＰと、類似画像学習部１３０が学習させたＣＡＥｆとに基づいて、形状損失Ｌ３を算出する。予測画像ＰＰとは、対象画像ＰＡを入力とした場合のニューラルネットワークＮＮの出力である。
対象画像学習部１３２は、対象画像ＰＡと、正解画像ＰＴとの組である教師データＬＤと、類似画像学習部１３０による第１の学習の結果とに基づいて第２の学習を実行する。ここで、対象画像ＰＡは、対象画像取得部１４０によって取得され、正解画像ＰＴは、正解画像取得部１４１によって取得される。第２の学習とは、対象画像ＰＡと、正解画像ＰＴとの組である教師データＬＤを用いて、損失関数Ｌを最小にするようなニューラルネットワークＮＮの重みを算出し、算出した重みによってニューラルネットワークＮＮの重みを更新する処理である。
この損失関数Ｌは、クロスエントロピー損失Ｌ１に、ＶＡＴ損失Ｌ２と、形状損失Ｌ３とがそれぞれに所定の重みを乗じて加算された量である。上述したように、形状損失Ｌ３は、類似画像学習部１３０が第１の学習によって生成したＣＡＥｆに基づいて算出されており、損失関数Ｌにはこの形状損失Ｌ３が加算されている。したがって、損失関数Ｌは、類似画像学習部１３０による第１の学習の結果に基づいている。
ＶＡＴ損失算出部１３３は、対象画像取得部１４０が取得した対象画像ＰＡに基づいてＶＡＴ損失Ｌ２を算出する。
クロスエントロピー損失算出部１３４は、対象画像ＰＡを入力とした場合のニューラルネットワークＮＮの出力である予測画像ＰＰと、正解画像取得部１４１が取得した正解画像ＰＴとに基づいてクロスエントロピー損失Ｌ１を算出する。
図２に戻って学習部１の構成の説明を続ける。
教師データ取得部１４は、教師データデータベース４から教師データＬＤを取得する。教師データ取得部１４は、対象画像取得部１４０と、正解画像取得部１４１とを備える。
対象画像取得部１４０は、教師データデータベース４から対象画像ＰＡを取得する。教師データデータベース４は、本実施形態では一例として、図１の電子顕微鏡画像データベースＤＢ２である。対象画像ＰＡは、電子顕微鏡画像データベースＤＢ２に記憶される対象画像ＰＡ１の一部である。
正解画像取得部１４１は、教師データデータベース４から正解画像ＰＴを取得する。正解画像ＰＴは、対象画像ＰＡに基づいて予め人間によって作成され電子顕微鏡画像データベースＤＢ２に記憶される。正解画像ＰＴは、例えば、図１の核正解画像ＰＴ２である。
学習結果出力部１５は、学習実行部１３の学習結果を判定部２に出力する。学習実行部１３の学習結果とは、学習処理によって重みが更新されたニューラルネットワークＮＮである。
次に、判定部２の構成について説明する。判定部２は、判定画像取得部２０と、判定実行部２１と、判定結果出力部２２とを備える。
判定画像取得部２０は、判定画像データベース５から判定画像ＰＥを取得する。判定画像データベース５は、本実施形態では一例として、図１の電子顕微鏡画像データベースＤＢ２である。判定画像ＰＥは、一例として、電子顕微鏡画像データベースＤＢ２に記憶される対象画像ＰＡ１の一部である。
判定実行部２１は、判定画像取得部２０が取得した判定画像ＰＥと、学習実行部１３によって学習処理によって重みが更新されたニューラルネットワークＮＮとに基づいて、対象画像ＰＡにおいて対象物体の画像の領域を判定する。つまり、判定実行部２１は、対象画像ＰＡに対してセグメンテーションを行う。
判定結果出力部２２は、判定実行部２１が判定した結果であるセグメンテーション結果を、表示装置（不図示）に表示させる。
図４から図８を参照し、画像処理システムＳＴの処理について説明する。
図４は、本実施形態に係る画像処理装置Ｔ１の機械学習の処理の一例を示す図である。図４に示す一例では、対象物体とは第２部位の細胞核である。また、第１部位の細胞核が、対象物体である第２部位の細胞核の類似物体として用いられる。一例として、第１部位の細胞核とはｉＰＳ細胞核Ａ１であり、第２部位の細胞核とは脳組織細胞核Ａ２である。また図４では、第１顕微鏡とは光学顕微鏡Ｍ１であり、第２顕微鏡とは電子顕微鏡Ｍ２である。
ステップＳ１０：第１顕微鏡において第１観察条件が設定される。第１観察条件とは、第１顕微鏡によって第１部位の細胞核を観察するための観察条件である。観察条件は、一例として、蛍光観察、明視野観察などの顕微鏡の観察方法、及び撮像画像のピクセル解像度などが含まれる。本実施形態の第１観察条件における観察条件とは、例えば、蛍光観察である。
ステップＳ２０：第１顕微鏡で第１部位の細胞核が撮像される。この一例では、光学顕微鏡Ｍ１で、ＤＡＰＩによって染色されたｉＰＳ細胞核Ａ１が蛍光観察によって観察される。第１顕微鏡は、第１部位の細胞核を撮像した結果に基づいて、類似画像元画像ＰＭを生成する。
ステップＳ３０：核正解画像ＰＴ１が生成される。本実施形態では、核正解画像ＰＴ１は画像処理装置Ｔ１の学習部１によって類似画像元画像ＰＭから生成される。学習部１は、画像認識によって類似画像元画像ＰＭにおいてｉＰＳ細胞核Ａ１の画像の領域を選択し、選択した領域が示された核正解画像ＰＴ１を生成する。
ステップＳ４０：画像処理装置Ｔ１は、核正解画像ＰＴ１のピクセル解像度を第２観察条件が示すピクセル解像度に一致させるように変更する。このピクセル解像度の変更の処理とは、例えば、アップサンプリングまたはダウンサンプリングである。
ステップＳ５０：画像処理装置Ｔ１は、核正解画像ＰＴ１を用いて類似物体の特徴を学習する。ここで類似物体の特徴の学習においては、例えばＣＡＥが用いられる。
ステップＳ６０：第２顕微鏡において第２観察条件が設定される。第２観察条件とは、第２顕微鏡によって第２部位の細胞核を観察するための観察条件である。
ステップＳ７０：第２顕微鏡で第２部位の細胞核が撮像される。この一例では、電子顕微鏡Ｍ２で、脳組織細胞核Ａ２が観察される。電子顕微鏡Ｍ２は、第２部位の細胞核を撮像した結果に基づいて、対象画像ＰＡを生成する。
ステップＳ８０：複数の対象画像ＰＡが学習用の画像と、判定用の画像とに分割される。例えば、複数の対象画像ＰＡのうち、所定の割合に対応する枚数が学習用の画像に用いられ、残りの枚数が判定用の画像に用いられる。
ステップＳ９０：学習用の対象画像ＰＡに対して、核正解画像ＰＴ２が作成される。ここで核正解画像ＰＴ２は、対象画像ＰＡ１において脳組織細胞核Ａ２を示す領域について、医学的知識をもつ人間によって、この領域の内部が塗られたり、この領域の輪郭が描かれたりすることによって作成される。核正解画像ＰＴ２を作成する作業は、例えば、画像処理ソフトなどを用いて、タッチパネルやディスプレイに表示される核正解画像ＰＴ２の脳組織細胞核Ａ２を示す領域がタッチペンやマウスなどによってなぞられることによって行われる。
学習用の対象画像ＰＡと、核正解画像ＰＴ２との組は、画像処理装置Ｔ１が行う学習処理の教師データＬＤとして用いられる。
ステップＳ１００：画像処理装置Ｔ１は、学習用の対象画像ＰＡと、核正解画像ＰＴ２との組を教師データＬＤとして用いて第２部位の細胞核の特徴量を、深層学習を用いて学習する。この深層学習においては、損失関数として、クロスエントロピー損失に形状損失、及びＶＡＴ損失が追加された関数が用いられる。
ステップＳ１１０：画像処理装置Ｔ１は、学習結果に基づいて、判定用の画像について第２部位の細胞核の画像を判定する。
なお、本実施形態では、ステップＳ３０において説明したように、核正解画像ＰＴ１が類似画像元画像ＰＭから生成される場合の一例について説明したが、これに限らない。核正解画像ＰＴ１として類似画像元画像ＰＭが用いられてもよい。例えば、核正解画像ＰＴ１としてＤＡＰＩによって染色されたｉＰＳ細胞核Ａ１が蛍光観察によって観察された画像が、ｉＰＳ細胞核Ａ１の画像の領域が抽出されることなくそのまま用いられてもよい。
次に図５を参照し、学習部１の学習処理について説明する。図５は、本実施形態に係る学習処理の一例を示す図である。
ステップＳ２００：類似画像元画像取得部１０は、類似元画像データベース３から供給される類似画像元画像ＰＭを取得する。類似画像元画像取得部１０は、取得した類似画像元画像ＰＭを類似物体抽出部１１に供給する。
ステップＳ２１０：教師データ取得部１４は、教師データデータベース４から教師データＬＤを取得する。ここで対象画像取得部１４０は対象画像ＰＡを取得し、一方、正解画像取得部１４１は正解画像ＰＴを取得する。上述したように正解画像ＰＴは、対象画像ＰＡから作成されており、正解画像ＰＴと対象画像ＰＡとは対応づけられている。
対象画像取得部１４０は、取得した対象画像ＰＡを、対象画像学習部１３２及びＶＡＴ損失算出部１３３に供給する。正解画像取得部１４１は、取得した正解画像ＰＴを、クロスエントロピー損失算出部１３４、及び類似度算出部１２に供給する。
ステップＳ２２０：類似物体抽出部１１は、類似画像元画像取得部１０が取得した類似画像元画像ＰＭから類似物体を抽出する。類似物体抽出部１１は、例えば、二値化処理や画像認識のアルゴリズムを用いて類似画像元画像ＰＭから類似物体を抽出する。類似物体抽出部１１は、画像認識のアルゴリズムとして、例えば、テンプレートマッチングを用いる。
類似物体抽出部１１は、抽出した類似物体に基づいて類似画像元画像ＰＭから類似画像ＰＲを生成する。類似物体抽出部１１は、生成した類似画像ＰＲを、類似度算出部１２及び類似画像学習部１３０に供給する。
ステップＳ２３０：類似度算出部１２は、類似物体抽出部１１が生成した類似画像ＰＲと、対象画像取得部１４０が取得した対象画像ＰＡとに基づいて、類似画像ＰＲにおける類似物体の画像と、対象画像ＰＡにおける対象物体の画像との類似度を算出する。
ここで図６を参照し、類似度算出部１２が算出する類似度について説明する。図６は、本実施形態に係る類似度の算出方法の一例を示す図である。図６では、類似画像ＰＲの一例である類似画像ＰＲ１について類似度を算出する場合を説明する。類似画像ＰＲ１には、対象物体の画像である対象物体画像が複数含まれている。複数の対象物体画像のそれぞれを対象物体画像ＳＰｉ（ｉ＝１、２、・・・、Ｎ：Ｎは類似画像ＰＲ１に含まれる対象物体の画像の数）などと表す。
類似度算出部１２は、類似画像ＰＲ１に含まれる複数の対象物体画像のなかから、例えば対象物体画像ＳＰ１を選択する。類似度算出部１２は、選択した対象物体画像ＳＰ１について画像モーメントを算出する。画像モーメントは、例えば式（１）によって定義される。
Figure 0007477269000001
ここで座標ｘ、及び座標ｙは、対象物体画像ＳＰ１に対して２直交座標系（ｘｙ座標系）を設定した場合の対象物体画像ＳＰ１に含まれるある点のｘ座標、及びｙ座標を示す。画素値Ｉ（ｘ，ｙ）は、対象物体画像ＳＰ１の画素値を示す。本実施形態では、類似画像ＰＲ１は二値化画像であるため、画素値Ｉ（ｘ，ｙ）は０または１である。数ｉ、及び数ｊは、式（１）の右辺において座標ｘ、及び座標ｙそれぞれのべき乗を示し、式（１）の左辺において画像モーメントの次数を示す自然数である。
類似度算出部１２は、２直交座標系（ｘｙ座標系）で表された式（１）の画像モーメントを算出する。類似度算出部１２は、対象物体画像ＳＰ１について画像モーメントを、所定の次数について算出する。所定の次数は、Ｈｕモーメントを算出するのに必要な次数である。
類似度算出部１２は、算出した画像モーメントからＨｕモーメントを算出する。Ｈｕモーメントは、画像の並進、スケーリング、及び回転などに対する７種類の不変量であり、画像モーメントの多項式で表される。ここで画像のスケーリングは、画像における類似物体の空間密度によって表される。画像における類似物体の空間密度とは、例えば、画像に占める類似物体の画像の領域の面積の、画像全体の面積に対する割合として算出される。
上述したように、類似度算出部１２は、所定の次数の画像モーメントによって定量化する。
類似度算出部１２は、対象物体画像ＳＰ１と対象物体との類似度を、対象物体画像ＳＰ１のＨｕモーメントと対象物体のＨｕモーメントとのＬ１距離として算出する。
類似度算出部１２は、対象物体との類似度を、対象物体画像ＳＰｉ（ｉ＝１、２、・・・、Ｎ：Ｎは類似画像ＰＲ１に含まれる対象物体の画像の数）について算出する。類似度算出部１２は、一例として、算出した類似度を類似画像ＰＲ１に含まれる対象物体の画像についての平均値を、類似画像ＰＲ１の類似度として算出する。なお、類似度の算出方法は、上述のＨｕモーメントを用いた態様に限られない。例えば、領域の外形を、重心をＯとしたｒΘ座標系で表してヒストグラムを作成し、当該ヒストグラムの差分（Ｌ１距離等）に基づいて類似度を算出してもよい。
図５に戻って学習処理の説明を続ける。以下では、図５に加えて図７を参照しながら学習処理の説明をする。図７は、本実施形態に係る各画像と学習処理との関係の一例を示す図である。
ステップＳ２４０：類似画像学習部１３０は、類似物体抽出部１１が生成した類似画像ＰＲを用いてＣＡＥによる学習を実行する。図７では、類似画像ＰＲを入力とするエンコーダｆによって類似画像ＰＲから特徴が抽出され、エンコーダｆの出力を入力とするデコーダｇの出力が類似画像ＰＲに一致するように学習が行われている。類似画像学習部１３０は、ＣＡＥに類似画像ＰＲを入力に用いて学習させた結果としてＣＡＥｆを生成する。
上述したように、類似画像ＰＲを入力に用いたＣＡＥによる学習とは、第１の学習である。したがって、類似画像学習部１３０は、類似物体抽出部１１が生成した類似画像ＰＲを用いて第１の学習を実行する。つまり、類似画像学習部１３０は、類似画像ＰＲとして、類似物体抽出部１１によって抽出された類似物体が示された画像を用いて第１の学習を実行する。
なお、類似度算出部１２は、類似度が所定の値以下である類似画像ＰＲを、ＣＡＥによる学習において用いる類似画像から除外してもよい。上述したように、類似度は値が小さいほど類似画像ＰＲにおける類似物体の画像と、対象画像ＰＡにおける対象物体の画像とは類似している。
類似度が所定の値以下である類似画像ＰＲを、ＣＡＥによる学習において用いる類似画像から除外される場合、類似物体は、対象物体に対する類似度が所定の値以下である。ここの場合、対象物体に対する外観の類似の程度を示す値を、例えば、類似度の逆数などとすると、類似物体は、対象物体に対する外観の類似の程度を示す値が所定の値以上である。
ステップＳ２５０：ＶＡＴ損失算出部１３３は、対象画像取得部１４０が取得した対象画像ＰＡに基づいてＶＡＴ損失Ｌ２を算出する。ＶＡＴ損失算出部１３３は、算出したＶＡＴ損失Ｌ２を対象画像学習部１３２に供給する。
ＶＡＴ損失Ｌ２は、図７において項Ｌａｄｖとして記載されている。この項Ｌａｄｖは、式（２）によって表される。
Figure 0007477269000002
式（２）においてｒｖａｄｖは、式（３）によって表される。
Figure 0007477269000003
式（２）、及び式（３）において、値ｘは対象画像ＰＡの画素値を示し、値ｙは正解画像ＰＴの画素値を示す。
この項Ｌａｄｖは、いわゆる局所分布平滑化（Ｌｏｃａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎａｌ Ｓｍｏｏｔｈｉｎｇ）に相当し、対象画像ＰＡに摂動を加えることによって、セグメンテーションのロバスト性を向上させる。
ステップＳ２６０：対象画像学習部１３２は、対象画像取得部１４０が取得した対象画像ＰＡと、ニューラルネットワークＮＮとに基づいて予測画像ＰＰを算出する。ここで対象画像学習部１３２は、対象画像取得部１４０が取得した対象画像ＰＡの画素値をニューラルネットワークＮＮの入力として用いて、ニューラルネットワークＮＮの出力を算出する。対象画像学習部１３２は、算出した出力を予測画像ＰＰの画素値とすることによって、予測画像ＰＰを算出する。
図７では、対象画像ＰＡがニューラルネットワークＮＮの入力に用いられた場合のニューラルネットワークＮＮの出力が値φθとして示されている。パラメータθは、ニューラルネットワークＮＮに含まれる各ノード間の重み全体の組を示す。値φθは予測画像ＰＰの画素値に対応し、セグメンテーション予測結果である。
ステップＳ２７０：クロスエントロピー損失算出部１３４は、対象画像ＰＡを入力とした場合のニューラルネットワークＮＮの出力である予測画像ＰＰと、正解画像取得部１４１が取得した正解画像ＰＴとに基づいてクロスエントロピー損失Ｌ１を算出する。クロスエントロピー損失算出部１３４は、算出したクロスエントロピー損失Ｌ１を対象画像学習部１３２に供給する。
クロスエントロピー損失Ｌ１は、図７において項Ｌｃｒｏｓｓ ｅｎｔｒｏｐｙとして記載されている。項Ｌｃｒｏｓｓ ｅｎｔｒｏｐｙは、セグメンテーション予測結果である値φθ（ｘ）と、正解画像ＰＴの画素値である値ｙとのクロスエントロピーである。項Ｌｃｒｏｓｓ ｅｎｔｒｏｐｙは、２クラス分類のための損失関数である。本実施形態において２クラスとは、対象物体の画像の領域に対応するクラスと、対象物体の画像以外の領域に対応するクラスとの２つのクラスである。
ステップＳ２８０：形状損失算出部１３１は、対象画像学習部１３２によって算出される予測画像ＰＰと、正解画像取得部１４１が取得する正解画像ＰＴと、類似画像学習部１３０が学習させたＣＡＥｆとに基づいて、形状損失Ｌ３を算出する。形状損失算出部１３１は、算出した形状損失Ｌ３を対象画像学習部１３２に供給する。
形状損失Ｌ３は、図７において項Ｌｓｈａｐｅとして記載されている。この項Ｌｓｈａｐｅは、セグメンテーション予測結果である値φθ（ｘ）を入力とするＣＡＥｆの出力の値と、正解画像ＰＴの画素値である値ｙを入力とするＣＡＥｆの出力の値との距離である。項Ｌｓｈａｐｅは、式（４）によって表される。
Figure 0007477269000004
項Ｌｓｈａｐｅは、類似画像ＰＲを用いた形状正則化項に相当する。項Ｌｓｈａｐｅは、セグメンテーション予測結果である値φθ（ｘ）と、正解画像ＰＴの画素値である値ｙとの距離を、類似画像ＰＲの類似物体の特徴を抽出するフィルタをかけて比較することによって、パラメータθの探索範囲を制限する。類似画像ＰＲの類似物体の特徴を抽出するフィルタとは、類似画像学習部１３０が学習させたＣＡＥｆである。
ステップＳ２９０：対象画像学習部１３２は、クロスエントロピー損失算出部１３４が算出したクロスエントロピー損失Ｌ１と、ＶＡＴ損失算出部１３３が算出したＶＡＴ損失Ｌ２と、形状損失算出部１３１が算出した形状損失Ｌ３とに基づいて損失関数Ｌを算出する。
図７において、損失関数Ｌは、クロスエントロピー損失Ｌ１と、パラメータλａを乗じたＶＡＴ損失Ｌ２と、パラメータλｓを乗じた形状損失Ｌ３との和である。パラメータλａは、クロスエントロピー損失Ｌ１に対するＶＡＴ損失Ｌ２の重みであり、パラメータλｓは、クロスエントロピー損失Ｌ１に対する形状損失Ｌ３の重みである。
ステップＳ２１００：対象画像学習部１３２は、算出した損失関数Ｌを最小にするようなニューラルネットワークＮＮの重み（パラメータθ）を更新する。ここで対象画像学習部１３２は、例えば、勾配降下法に基づいてニューラルネットワークＮＮの重みを更新する。
つまり、対象画像学習部１３２は、対象物体が撮像された画像である対象画像ＰＡと、対象画像ＰＡにおいて対象物体が示された画像である正解画像ＰＴとの組である教師データＬＤと、類似画像学習部１３０による第１の学習の結果とに基づいて第２の学習を実行する。ここで、対象画像学習部１３２は、形状損失Ｌ３が加算された損失関数Ｌを第２の学習に用いる。形状損失Ｌ３は、類似画像学習部１３０による第１の学習の結果であるＣＡＥｆに基づいている。つまり、対象画像学習部１３２は、類似画像学習部１３０による第１の学習の結果に基づく損失関数Ｌと、教師データＬＤとに基づいて第２の学習を実行する。
図７では、対象画像ＰＡを入力とした場合のニューラルネットワークＮＮの出力である値φθ（ｘ）が、類似画像ＰＲが用いられたパラメータθの更新によって正解画像ＰＴの画素値に近づく様子が示されている。
ステップＳ２１１０：対象画像学習部１３２は、学習終了条件が満たされたか否かを判定する。学習終了条件とは、一例として、損失関数Ｌの値が収束することである。対象画像学習部１３２は、学習終了条件が満たされたと判定する場合（ステップＳ２１１０；ＹＥＳ）、ステップＳ２１２０の処理を実行する。一方、対象画像学習部１３２が、学習終了条件が満たされていないと判定する場合（ステップＳ２１１０；ＮＯ）、学習実行部１３はステップＳ２６０の処理を再び実行する。
ステップＳ２１２０：対象画像学習部１３２は、学習処理によって重みが更新されたニューラルネットワークＮＮを学習結果出力部１５に出力する。学習処理によって重みが更新されたニューラルネットワークＮＮは、学習部１によって学習されたモデルである。ニューラルネットワークＮＮは、学習装置によって学習された学習済みモデルの一例である。
以上で、学習実行部１３は学習処理を終了する。
なお、図５に示した学習処理において、ステップＳ２００における類似画像ＰＲを取得する処理と、ステップＳ２１０における教師データＬＤを取得する処理とは、順番が入れ替えられて実行されてもよい。また、ステップＳ２７０におけるクロスエントロピー損失Ｌ１を算出する処理と、ステップＳ２８０における形状損失Ｌ３を算出する処理とは、順番が入れ替えられて実行されてもよい。
次に図８を参照し、判定部２の判定処理について説明する。図８は、本実施形態に係る判定処理の一例を示す図である。
ステップＳ３００：判定画像取得部２０は、判定画像データベース５から判定画像ＰＥを取得する。判定画像取得部２０は、取得した判定画像ＰＥを判定実行部２１に供給する。
ステップＳ３１０：判定実行部２１は、対象画像ＰＡに対してセグメンテーションを行う。ここで判定実行部２１は、判定画像取得部２０が取得した判定画像ＰＥと、学習実行部１３によって学習処理によって重みが更新されたニューラルネットワークＮＮとに基づいて、対象画像ＰＡにおいて対象物体の画像の領域を判定する。判定実行部２１は、セグメンテーション結果を判定結果出力部２２に供給する。
ステップＳ３２０：判定結果出力部２２は、判定実行部２１によるセグメンテーション結果を、表示装置に表示させる。なお、判定結果出力部２２は、判定実行部２１によるセグメンテーション結果を、画像処理装置Ｔ１の外部のデータベースなどに記憶させてもよい。
以上で、判定部２は判定処理を終了する。
次に図９から図１１を参照し、セグメンテーション結果について説明する。
図９は、本実施形態に係るセグメンテーション結果の一例を示す図である。図９に示す例では、判定画像ＰＥ１に対してセグメンテーションが行われたセグメンテーション結果として、セグメンテーション結果画像ＰＳ１～ＰＳ４が示されている。
判定画像ＰＥ１は、一例として、マウスの小脳の顆粒細胞核が撮像されたＺスタック画像である。判定画像ＰＥ１では、異なる３つの方向について顆粒細胞核の断面が撮像された３つの断面画像を含む。判定画像ＰＥ１が３つの断面画像を含むことに応じて、セグメンテーション結果画像ＰＳ１～ＰＳ４においてもそれぞれ３つの断面画像についてのセグメンテーション結果が示されている。
画像処理装置Ｔ１によるセグメンテーション結果は、セグメンテーション結果画像ＰＳ４である。セグメンテーション結果画像ＰＳ１～ＰＳ３は、画像処理装置Ｔ１によるセグメンテーション結果との比較のために示されている。
セグメンテーション結果画像ＰＳ１は、クロスエントロピー損失が損失関数として用いられて学習が行われたニューラルネットワークによるセグメンテーション結果である。セグメンテーション結果画像ＰＳ２は、クロスエントロピー損失にＶＡＴ損失が加えられ損失関数として用いられて学習が行われたニューラルネットワークによるセグメンテーション結果である。セグメンテーション結果画像ＰＳ３は、クロスエントロピー損失に形状損失が加えられ損失関数として用いられて学習が行われたニューラルネットワークによるセグメンテーション結果である。
対象画像ＰＡにおける対象物体の画像の領域の判定精度は、セグメンテーション結果画像ＰＳ４、セグメンテーション結果画像ＰＳ３、セグメンテーション結果画像ＰＳ２、セグメンテーション結果画像ＰＳ１の順に高い。つまり、画像処理装置Ｔ１によるセグメンテーション結果が、他のセグメンテーション結果に比べて最も高い。
セグメンテーション結果画像ＰＳ２はセグメンテーション結果画像ＰＳ１に比べて判定精度が向上しており、セグメンテーション結果画像ＰＳ４はセグメンテーション結果画像ＰＳ３に比べて判定精度が向上していることから、損失関数にはＶＡＴ損失が加えられた方が加えられない場合に比べて判定精度は向上することがわかる。
なお、損失関数にＶＡＴ損失を加えた場合、学習処理においてＶＡＴ損失を加えない場合に比べて多くのメモリが必要とされる。
一方、セグメンテーション結果画像ＰＳ３はセグメンテーション結果画像ＰＳ１に比べて判定精度が向上しており、セグメンテーション結果画像ＰＳ４はセグメンテーション結果画像ＰＳ２に比べて判定精度が向上していることから、損失関数には形状損失が加えられた方が加えられない場合に比べて判定精度は向上することがわかる。
損失関数にＶＡＴ損失を加えない場合であっても形状損失を加えることによって、判定精度は向上する。セグメンテーションの判定精度を向上させるためには、損失関数には形状損失及びＶＡＴ損失が加えられることが好ましいが、学習処理において利用可能なメモリの容量が十分でない場合にはメモリの容量に応じて、損失関数にはＶＡＴ損失は加えられなくてもよい。
図１０は、本実施形態に係る類似画像ＰＲの類似度と判定精度との関係の一例を示す図である。グラフＧ１は、対象画像ＰＡと類似画像ＰＲとの類似度に対するＤｉｃｅ係数の値を示す。類似度は、上述しように対象画像ＰＡ、及び類似画像ＰＲそれぞれのＨｕモーメントの間のＬ１距離であり、対象画像ＰＡに含まれる対象物体の画像の形状と類似画像ＰＲに含まれる類似物体の画像の形状とは、値が小さいほどより類似している。図１０においてＤｉｃｅ係数は、セグメンテーション結果画像と正解画像との類似の程度を示し、高いほどセグメンテーションの精度が高いことを示す。
グラフＧ１において、点Ｐ１ａは類似画像ＰＲ２ａに対応し、点Ｐ１ｂは類似画像ＰＲ２ｂに対応し、点Ｐ１ｃは類似画像ＰＲ２ｃに対応する。類似画像ＰＲ２ａ、類似画像ＰＲ２ｂ、類似画像ＰＲ２ｃは、この順に対象画像ＰＡとの類似度が高い。類似画像ＰＲ２ｂでは、類似物体は１つだけ含まれておりこの類似物体の形状は、類似画像ＰＲ２ａに含まれる類似物体の形状に比べて、対象物体である顆粒細胞核の形状に類似していない。類似画像ＰＲ２ｃでは、類似物体の形状が多角形であり、類似画像ＰＲ２ａや類似画像ＰＲ２ｂに含まれる類似物体の形状に比べて顆粒細胞核の形状に類似していない。
グラフＧ１から、類似度が増加するにつれてセグメンテーションの精度が低下することがわかる。
次に図１１を参照し、類似物体の空間密度と判定精度との関係について説明する。
図１１は、本実施形態に係る類似画像ＰＲにおける類似物体の空間密度と判定精度との関係の一例を示す図である。図１１において、類似画像ＰＲ２ｂは、類似画像ＰＲ２ａの物体領域を抽出し、そのうちの１つの領域を表示したものである。また、類似画像ＰＲ２ｃは、類似画像ＰＲ２ａから抽出された複数の物体領域に対してＤｏｕｇｌａｓ－Ｐｅｕｋｅｒアルゴリズム適用し、物体領域を、物体領域の輪郭上に頂点を有する多角形として表したものである。上記のようにして類似物体の空間密度を変更した。
グラフＧ２は、類似画像ＰＲにおける類似物体の空間密度に対するＤｉｃｅ係数の値を示す。Ｄｉｃｅ係数は、図１０と同様である。
グラフＧ２において、点Ｐ２ａは類似画像ＰＲ２ａに対応し、点Ｐ２ｂは類似画像ＰＲ２ｂに対応し、点Ｐ２ｃは類似画像ＰＲ２ｃに対応する。類似画像ＰＲ２ａ、類似画像ＰＲ２ｂ、類似画像ＰＲ２ｃは、この順に類似物体の空間密度が高い。
グラフＧ２から、類似物体の空間密度は、セグメンテーションの精度に影響しないことがわかる。
なお、本実施形態においては、類似物体抽出部１１が、類似画像元画像取得部１０が取得した類似画像元画像ＰＭから類似物体を抽出し、抽出した類似物体に基づいて類似画像ＰＲを生成する場合の一例について説明したが、これに限らない。類似画像元画像ＰＭがそのまま類似画像ＰＲとして用いられてもよい。類似画像元画像ＰＭがそのまま類似画像ＰＲとして用いられる場合、例えば、類似物体抽出部１１は類似画像元画像取得部１０が取得した類似画像元画像ＰＭをそのまま類似画像ＰＲとして類似度算出部１２及び類似画像学習部１３０に供給する。あるいは、類似画像元画像ＰＭがそのまま類似画像ＰＲとして用いられる場合、学習部１の構成から類似物体抽出部１１が省略されてもよい。
また、本実施形態においては、類似度算出部１２によって類似画像ＰＲにおける類似物体の画像と、対象画像ＰＡにおける対象物体の画像との類似度が算出される場合の一例について説明したが、これに限らない。学習部１の構成から類似度算出部１２が省略されてもよい。
以上に説明したように、本実施形態に係る学習装置（この一例において、学習部１）は、類似画像学習部１３０と、対象画像学習部１３２とを備える。
類似画像学習部１３０は、判定の対象である対象物体（この一例において、脳組織細胞核Ａ２）と外観が類似した物体である類似物体（この一例において、ｉＰＳ細胞核Ａ１）についての画像である類似画像ＰＲに基づいて第１の学習（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）を実行する。
対象画像学習部１３２は、対象物体（この一例において、脳組織細胞核Ａ２）が撮像された画像である対象画像ＰＡと、対象画像ＰＡにおいて対象物体（この一例において、脳組織細胞核Ａ２）が示された画像である正解画像ＰＴとの組である教師データＬＤと、類似画像学習部１３０による第１の学習（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）の結果とに基づいて第２の学習（この一例において、対象画像ＰＡと、正解画像ＰＴとの組である教師データＬＤを用いて、損失関数Ｌを最小にするようなニューラルネットワークＮＮの重みを算出し、算出した重みによってニューラルネットワークＮＮの重みを更新する処理）を実行する。
この構成により、本実施形態に係る学習装置（この一例において、学習部１）では、教師データＬＤが十分な数がなく判定の精度が低い場合であっても、第１の学習（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）の結果に基づいて第２の学習（この一例において、対象画像ＰＡと、正解画像ＰＴとの組である教師データＬＤを用いて、損失関数Ｌを最小にするようなニューラルネットワークＮＮの重みを算出し、算出した重みによってニューラルネットワークＮＮの重みを更新する処理）を実行できるため、教師データＬＤが十分な数だけない場合であっても、第１の学習の結果（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）に基づかない場合に比べて判定の精度を高めることができる。
ここで類似画像ＰＲは、公共のデータベースなどの画像処理システムＳＴの外部のデータベースから取得されてもよいし、上述したように公共のデータベースなどの画像処理システムＳＴの外部のデータベースから取得される類似画像元画像ＰＭから生成されてもよい。類似画像ＰＲが公共のデータベースなどの画像処理システムＳＴの外部のデータベースから取得される場合、類似物体が含まれる予め用意された画像群を用いることができ、類似画像ＰＲを準備する手間を省くことができる。
本実施形態に係る学習装置（この一例において、学習部１）では、教師データＬＤの数が十分でない場合であっても、外部のデータベースに予め用意された画像群を用いて第１の学習を実行することによって、教師データＬＤの数が十分でないことによる判定の精度の低下を抑制できる。
また、本実施形態に係る学習装置（この一例において、学習部１）は、類似物体抽出部１１をさらに備える。類似物体抽出部１１は、類似画像ＰＲから類似物体（この一例において、ｉＰＳ細胞核Ａ１）を抽出する。また、類似画像学習部１３０は、類似画像ＰＲとして、類似物体抽出部１１によって抽出された類似物体（この一例において、ｉＰＳ細胞核Ａ１）が示された画像を用いて第１の学習（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）を実行する。
この構成により、本実施形態に係る学習装置（この一例において、学習部１）では、ユーザが類似画像ＰＲから類似物体を塗るなどすることなく、類似物体抽出部１１が類似画像ＰＲから類似物体（この一例において、ｉＰＳ細胞核Ａ１）を抽出できるため、類似物体を抽出する手間が省ける。
また、本実施形態に係る学習装置（この一例において、学習部１）では、類似画像ＰＲとして類似物体（この一例において、ｉＰＳ細胞核Ａ１）が示された画像を用いて第１の学習（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）を実行できるため、類似画像ＰＲとして抽出された類似物体（この一例において、ｉＰＳ細胞核Ａ１）が示された画像を用いない場合（例えば、類似画像元画像ＰＭを用いる場合）に比べて、第１の学習（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）の効率を高めることができる。第１の学習の効率を高めるとは、例えば、同程度の第２の学習の精度（この一例において、セグメンテーションの精度）を得るために必要な類似画像ＰＲの枚数を少なくすることである。
また、本実施形態に係る学習装置（この一例において、学習部１）では、類似物体（この一例において、ｉＰＳ細胞核Ａ１）は、対象物体（この一例において、脳組織細胞核Ａ２）に対する外観の類似の程度を示す値（この一例において、類似度の逆数）が所定の値以上である。
この構成により、本実施形態に係る学習装置（この一例において、学習部１）では、対象物体（この一例において、脳組織細胞核Ａ２）に対する外観の類似の程度を示す値（この一例において、類似度の逆数）が所定の値以上である類似物体（この一例において、ｉＰＳ細胞核Ａ１）の類似画像ＰＲを用いて第１の学習（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）を実行できるため、第２の学習（この一例において、対象画像ＰＡと、正解画像ＰＴとの組である教師データＬＤを用いて、損失関数Ｌを最小にするようなニューラルネットワークＮＮの重みを算出し、算出した重みによってニューラルネットワークＮＮの重みを更新する処理）の精度を、対象物体（この一例において、脳組織細胞核Ａ２）に対する外観の類似の程度を示す値（この一例において、類似度の逆数）が所定の値未満である類似物体の類似画像を用いる場合に比べて高めることができる。
また、本実施形態に係る学習装置（この一例において、学習部１）では、対象画像学習部１３２は、類似画像学習部１３０による第１の学習（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）の結果に基づく損失関数Ｌと、教師データＬＤとに基づいて第２の学習（この一例において、対象画像ＰＡと、正解画像ＰＴとの組である教師データＬＤを用いて、損失関数Ｌを最小にするようなニューラルネットワークＮＮの重みを算出し、算出した重みによってニューラルネットワークＮＮの重みを更新する処理）を実行する。
この構成により、本実施形態に係る学習装置（この一例において、学習部１）では、第２の学習に用いる損失関数Ｌに、第１の学習（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）の結果を反映できるため、損失関数Ｌが第１の学習（この一例において、類似画像ＰＲを入力に用いる畳み込みオートエンコーダによる学習）の結果に基づかない場合に比べて判定の精度を高めることができる。
また、本実施形態に係る判定装置（この一例において、判定部２）は、判定部２を備える。判定部２は、学習装置（この一例において、学習部１）による学習結果（この一例において、学習部１の学習処理によって重みが更新されたニューラルネットワークＮＮ）に基づいて対象画像ＰＡにおいて対象物体（この一例において、脳組織細胞核Ａ２）を判定する。
この構成により、本実施形態に係る判定装置（この一例において、判定部２）では、学習装置（この一例において、学習部１）による学習結果（この一例において、学習部１の学習処理によって重みが更新されたニューラルネットワークＮＮ）に基づいて判定ができるため、学習装置（この一例において、学習部１）による学習結果（この一例において、学習部１の学習処理によって重みが更新されたニューラルネットワークＮＮ）に基づかない場合に比べて判定精度を高めることができる。
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、画像処理システムが、脳組織細胞核が電子顕微鏡によって撮像された画像を対象画像とし、ｉＰＳ細胞核が光学顕微鏡によって撮像された画像を類似画像として処理を行う場合について説明をした。本実施形態では、画像処理システムが、ｉＰＳ細胞核が光学顕微鏡によって撮像された画像を対象画像とし、脳組織細胞核が電子顕微鏡によって撮像された画像を類似画像として処理を行う場合について説明をする。
本実施形態に係る画像処理システムを画像処理システムＳＴａといい、画像処理装置を画像処理装置Ｔ１ａという。
図１２は、本実施形態に係る画像処理システムＳＴａの一例を示す図である。画像処理システムＳＴａは、一例として、電子顕微鏡Ｍ２と、光学顕微鏡Ｍ１ａと、電子顕微鏡画像データベースＤＢ２と、ＤＡＰＩ画像データベースＤＢ１と、明視野画像データベースＤＢ３ａと、画像処理装置Ｔ１ａとを備える。
本実施形態に係る画像処理システムＳＴａ（図１２）と第１の実施形態に係る画像処理システムＳＴ（図１）とを比較すると、光学顕微鏡Ｍ１ａ、明視野画像データベースＤＢ３ａ、及び画像処理装置Ｔ１ａが異なる。ここで、他の構成要素（電子顕微鏡Ｍ２、電子顕微鏡画像データベースＤＢ２、及びＤＡＰＩ画像データベースＤＢ１）が持つ機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。
画像処理システムＳＴａでは、光学顕微鏡Ｍ１ａは、ｉＰＳ細胞核Ａ１を、明視野観察によって観察し、また、ＤＡＰＩによって染色されたｉＰＳ細胞核Ａ１を蛍光観察によって観察する。明視野観察によって観察されるｉＰＳ細胞核Ａ１は、光学顕微鏡Ｍ１ａによって撮像され、対象画像ＰＡａとして明視野画像データベースＤＢ３ａに蓄積される。明視野画像データベースＤＢ３ａに蓄積される対象画像ＰＡａの一部が画像処理装置Ｔ１ａの学習部１ａに供給され学習処理に用いられ、残りの一部が画像処理装置Ｔ１ａの判定部２に供給され判定処理に用いられる。
一方、蛍光観察によって観察されるｉＰＳ細胞核Ａ１は、光学顕微鏡Ｍ１ａによって撮像され、正解画像元画像ＰＮａとしてＤＡＰＩ画像データベースＤＢ１に蓄積される。
学習部１ａは、画像認識によって正解画像元画像ＰＮａにおいてｉＰＳ細胞核Ａ１の画像の領域を選択し、選択した領域が示された核正解画像ＰＴ１ａを生成する。学習部１ａは、対象画像ＰＡａと、核正解画像ＰＴ１ａとの組である教師データＬＤａに基づいて学習を実行する。
画像処理システムＳＴａでは、電子顕微鏡Ｍ２によって脳組織細胞核Ａ２が撮像される。電子顕微鏡Ｍ２によって撮像された脳組織細胞核Ａ２の画像は、類似画像元画像ＰＭａとして電子顕微鏡画像データベースＤＢ２に蓄積される。
核正解画像ＰＴ２ａは、電子顕微鏡画像データベースＤＢ２に蓄積される脳組織細胞核Ａ２の画像に基づいて作成される。ここで核正解画像ＰＴ２ａは、脳組織細胞核Ａ２の画像において脳組織細胞核Ａ２を示す領域について、医学的知識をもつ人間によって、この領域の内部が塗られたり、この領域の輪郭が描かれたりすることによって作成される。作成された核正解画像ＰＴ２ａは、電子顕微鏡画像データベースＤＢ２に蓄積され、類似画像ＰＲ１ａとして画像処理装置Ｔ１ａに供給される。
学習部１ａは、類似画像ＰＲ１ａを用いてｉＰＳ細胞核Ａ１の特徴量を学習する。画像処理システムＳＴａでは、ｉＰＳ細胞核Ａ１と形状が類似した類似物体の一例として、脳組織細胞核Ａ２が採用される。
学習部１ａの学習処理と、図４や図５において説明した学習部１の学習処理とでは、第１部位の細胞核、第２部位の細胞核、第１顕微鏡、第２顕微鏡、第１観察条件、及び第２観察条件が異なる。学習部１ａの学習処理では、第１部位の細胞核とは脳組織細胞核Ａ２であり、第２部位の細胞核とはｉＰＳ細胞核Ａ１である。また、学習部１ａの学習処理では、第１顕微鏡とは電子顕微鏡Ｍ２であり、第２顕微鏡とは光学顕微鏡Ｍ１ａである。
また、学習部１ａの学習処理と学習部１の学習処理とでは、図４のステップＳ３０、及びステップＳ９０の核正解画像の生成方法が、以下のステップＳ３０ａ、及びステップＳ９０ａに置き換えられる点が異なる。
ステップＳ３０ａ：核正解画像ＰＴ２ａが作成される。ここで核正解画像ＰＴ２ａは、類似画像元画像ＰＭａにおいて脳組織細胞核Ａ２を示す領域について、医学的知識をもつ人間によって、この領域の内部が塗られたり、この領域の輪郭が描かれたりすることによって作成される。
ステップＳ９０ａ：学習用の対象画像ＰＡａに対して、核正解画像ＰＴ１ａが生成される。本実施形態では、核正解画像ＰＴ１ａは画像処理装置Ｔ１ａの学習部１ａによって対象画像ＰＡａから生成される。学習部１ａは、画像認識によって対象画像ＰＡａにおいてｉＰＳ細胞核Ａ１の画像の領域を選択し、選択した領域が示された核正解画像ＰＴ１ａを生成する。学習用の対象画像ＰＡａと、核正解画像ＰＴ１ａとの組は、画像処理装置Ｔ１ａが行う学習処理の教師データＬＤａとして用いられる。
次に図１３を参照し、ｉＰＳ細胞核Ａ１の画像や脳組織細胞核Ａ２の画像が学習処理においてどのように用いられるかについての具体例を説明する。図１３は、本実施形態に係る画像と学習処理との関係の一例を示す図である。
図１３では、ｉＰＳ細胞核Ａ１の画像である対象画像ＰＡａがニューラルネットワークＮＮの入力に用いられた場合のニューラルネットワークＮＮの出力が値φθとして示されている。対象画像ＰＡａを入力とした場合のニューラルネットワークＮＮの出力である値φθ（ｘ）が、類似画像ＰＲａが用いられたパラメータθの更新によって正解画像ＰＴａの画素値に近づく様子が示されている。正解画像ＰＴａは、ｉＰＳ細胞核Ａ１の画像の領域が示された核正解画像ＰＴ１ａである。
図１３では、類似画像ＰＲａとして脳組織細胞核Ａ２の画像の領域が示された核正解画像ＰＴ２ａが用いられ、ＣＡＥｆによって脳組織細胞核Ａ２の形状の特徴が学習される。
図１３では、対象画像ＰＡａと、正解画像ＰＴａと、類似画像ＰＲａに撮像された脳組織細胞核Ａ２の形状の特徴が学習されたＣＡＥｆとに基づいて、損失関数Ｌが算出される。
次に図１４及び図１５を参照し、画像処理装置Ｔ１ａのセグメンテーション結果について説明する。
図１４は、本実施形態に係る判定画像ＰＥ１ａの一例を示す図である。判定画像ＰＥ１ａは、一例として、光学顕微鏡Ｍ１ａによって明視野観察に基づいてｉＰＳ細胞核Ａ１が撮像されたＺスタック画像である。判定画像ＰＥ１ａでは、異なる３つの方向についてｉＰＳ細胞核Ａ１の断面が撮像された３つの断面画像を含む。判定画像ＰＥ１ａでは、Ｚスタック画像において撮像されるｉＰＳ細胞核Ａ１の深さのうちの中間の深さに相当する深さ以外は、デフォーカスしている。
図１５は、本実施形態に係る判定精度の一例を示す図である。グラフＧ３１、グラフＧ３２、グラフＧ３３、及びグラフＧ３４は、セグメンテーションの精度としてＤｉｃｅ係数の値をＺスタック画像の深さ毎にそれぞれ示す。
グラフＧ３４は、画像処理装置Ｔ１ａによるセグメンテーション精度を示す。グラフＧ３４が示すセグメンテーション精度は、クロスエントロピー損失にＶＡＴ損失及び形状損失が加えられ損失関数として用いられて学習が行われたニューラルネットワークによるセグメンテーション精度である。
グラフＧ３１、グラフＧ３２、グラフＧ３３は、画像処理装置Ｔ１ａによるセグメンテーション精度との比較のために示されている。グラフＧ３１が示すセグメンテーション精度は、クロスエントロピー損失が損失関数として用いられて学習が行われたニューラルネットワークによるセグメンテーション精度である。グラフＧ３２が示すセグメンテーション精度は、クロスエントロピー損失に形状損失が加えられ損失関数として用いられて学習が行われたニューラルネットワークによるセグメンテーション精度である。グラフＧ３３示すセグメンテーション精度は、クロスエントロピー損失にＶＡＴ損失が加えられ損失関数として用いられて学習が行われたニューラルネットワークによるセグメンテーション精度である。
グラフＧ３２とグラフＧ３１との比較、及びグラフＧ３４とグラフＧ３３との比較から、損失関数に形状損失が加えられて学習が行われる場合の方が、損失関数に形状損失が加えられずに学習が行われる場合に比べて、セグメンテーション精度は向上していることがわかる。つまり、脳組織細胞核Ａ２の形状を先見情報として用いることによってセグメンテーション精度は向上する。
また、グラフＧ３３とグラフＧ３１との比較、及びグラフＧ３４とグラフＧ３２との比較から、損失関数にＶＡＴ損失が加えられ学習が行われる場合の方が、損失関数にＶＡＴ損失が加えられずに学習が行われる場合に比べてセグメンテーション精度は向上していることがわかる。
グラフＧ３１、グラフＧ３２、グラフＧ３３、及びグラフＧ３４から、画像処理装置Ｔ１ａによるセグメンテーション精度が、他のセグメンテーション精度に比べて高いことがわかる。つまり、クロスエントロピー損失に形状損失及びＶＡＴ損失が加えられ損失関数として用いられて学習が行われたニューラルネットワークによるセグメンテーション精度が他のセグメンテーション精度に比べて最も高い。
（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について詳しく説明する。
上記第１の実施形態や第２の実施形態では、画像処理システムが、脳組織細胞核が電子顕微鏡によって撮像された画像と、ｉＰＳ細胞核が光学顕微鏡によって撮像された画像とのうち一方が対象画像とされ、他方が類似画像とされる場合について説明をした。本実施形態では、脳組織細胞核が異なる撮像方法によって撮像された画像のうち、一方が対象画像として用いられ、他方が類似画像として用いられる場合について説明する。第３の実施形態では、光学顕微鏡によって撮像された脳組織細胞核の画像が類似画像として用いられ、電子顕微鏡によって撮像された脳組織細胞核の画像が対象画像として用いられる。
本実施形態に係る画像処理システムを画像処理システムＳＴｂといい、画像処理装置を画像処理装置Ｔ１ｂという。
図１６は、本実施形態に係る画像処理システムＳＴｂの一例を示す図である。画像処理システムＳＴｂは、一例として、電子顕微鏡Ｍ２と、光学顕微鏡Ｍ１ａと、電子顕微鏡画像データベースＤＢ２と、ＤＡＰＩ画像データベースＤＢ１ｂと、明視野画像データベースＤＢ３ｂと、画像処理装置Ｔ１ｂとを備える。
本実施形態に係る画像処理システムＳＴｂ（図１６）と第２の実施形態に係る画像処理システムＳＴａ（図１２）とを比較すると、ＤＡＰＩ画像データベースＤＢ１ｂ、明視野画像データベースＤＢ３ｂ、及び画像処理装置Ｔ１ｂが異なる。ここで、他の構成要素（光学顕微鏡Ｍ１ａ、電子顕微鏡Ｍ２、及び電子顕微鏡画像データベースＤＢ２）が持つ機能は第２の実施形態と同じである。第２の実施形態と同じ機能の説明は省略し、第３の実施形態では、第２の実施形態と異なる部分を中心に説明する。
画像処理システムＳＴｂでは、光学顕微鏡Ｍ１ａは、脳組織細胞核Ａ２を、明視野観察によって観察し、また、ＤＡＰＩによって染色された脳組織細胞核Ａ２を蛍光観察によって観察する。明視野観察によって観察される脳組織細胞核Ａ２は、光学顕微鏡Ｍ１ａによって撮像され、撮像された画像は明視野画像データベースＤＢ３ｂに蓄積される。一方、蛍光観察によって観察される脳組織細胞核Ａ２は、光学顕微鏡Ｍ１ａによって撮像され、類似画像元画像ＰＭｂとしてＤＡＰＩ画像データベースＤＢ１ｂに蓄積される。
学習部１ｂは、画像認識によって類似画像元画像ＰＭｂにおいて脳組織細胞核Ａ２の画像の領域を選択し、選択した領域が示された核正解画像ＰＴ１ｂを生成する。作成された核正解画像ＰＴ１ｂは、ＤＡＰＩ画像データベースＤＢ１ｂに蓄積され、類似画像ＰＲ１ｂとして画像処理装置Ｔ１ｂに供給される。
画像処理システムＳＴｂでは、電子顕微鏡Ｍ２によって脳組織細胞核Ａ２が撮像される。電子顕微鏡Ｍ２によって撮像された脳組織細胞核Ａ２の画像は、対象画像ＰＡ１ｂとして電子顕微鏡画像データベースＤＢ２に蓄積される。電子顕微鏡画像データベースＤＢ２に蓄積される対象画像ＰＡ１ｂの一部が画像処理装置Ｔ１ｂの学習部１ｂに供給され学習処理に用いられ、残りの一部が画像処理装置Ｔ１ｂの判定部２に供給され判定処理に用いられる。
核正解画像ＰＴ２ｂは、電子顕微鏡画像データベースＤＢ２に蓄積される脳組織細胞核Ａ２の画像に基づいて作成される。ここで核正解画像ＰＴ２ｂは、脳組織細胞核Ａ２の画像において脳組織細胞核Ａ２を示す領域について、医学的知識をもつ人間によって、この領域の内部が塗られたり、この領域の輪郭が描かれたりすることによって作成される。作成された核正解画像ＰＴ２ｂは、電子顕微鏡画像データベースＤＢ２に蓄積され、核正解画像ＰＴ１ｂとして画像処理装置Ｔ１ｂに供給される。
学習部１ｂは、類似画像ＰＲ１ｂを用いて脳組織細胞核Ａ２の特徴量を学習する。画像処理システムＳＴｂでは、電子顕微鏡Ｍ２によって撮像された脳組織細胞核Ａ２と形状が類似した類似物体の一例として、ＤＡＰＩによって染色され光学顕微鏡Ｍ１ａに蛍光観察によって撮像された脳組織細胞核Ａ２が採用される。
学習部１ｂの学習処理と、図４や図５において説明した学習部１の学習処理とでは、第１部位の細胞核が異なる。学習部１ｂの学習処理では、第１部位の細胞核とは脳組織細胞核Ａ２である。
また、学習部１ｂの学習処理と学習部１の学習処理とでは、図４のステップＳ３０の核正解画像の生成方法が、以下のステップＳ３０ｂに置き換えられる点が異なる。
ステップＳ３０ｂ：核正解画像ＰＴ１ｂが作成される。ここで核正解画像ＰＴ１ｂは、類似画像元画像ＰＭｂにおいて脳組織細胞核Ａ２を示す領域について、医学的知識をもつ人間によって、この領域の内部が塗られたり、この領域の輪郭が描かれたりすることによって作成される。
本実施形態では、類似画像ＰＲｂは、第１顕微鏡である光学顕微鏡Ｍ１ａによって第１観察条件において撮像されて生成され、対象画像ＰＡｂは、第２顕微鏡である電子顕微鏡Ｍ２によって第２観察条件において撮像されて生成される。つまり、本実施形態では、類似画像ＰＲｂと対象画像ＰＡｂとでは、撮像方法が互いに異なる。
電子顕微鏡は、光学顕微鏡に比べ分解能が高い。一方、電子顕微鏡では、電子線照射に高電圧が必要とされ、また顕微鏡内を真空に保つ必要があるなど、光学顕微鏡による観察に比べ観察が簡便ではない。観察が簡便であるという点において、光学顕微鏡による観察の方が、電子顕微鏡による観察よりも効率がよい。
ＤＡＰＩによって染色された脳組織細胞核Ａ２が光学顕微鏡Ｍ１ａによる蛍光観察によって撮像されて画像が生成される場合の方が、脳組織細胞核Ａ２の電子顕微鏡Ｍ２によって撮像されて画像が生成される場合に比べて類似画像ＰＲｂを効率よく生成できる。
また、画像認識によって類似画像元画像ＰＭｂから核正解画像ＰＴ１ｂが生成される場合の方が、電子顕微鏡Ｍ２によって撮像された脳組織細胞核Ａ２の画像から人間によって核正解画像ＰＴ２ｂが作成される場合に比べて、類似画像ＰＲｂを効率よく生成できる。
なお、類似画像ＰＲｂと対象画像ＰＡｂとにおいて、撮像方法は共通であってもよい。例えば、類似画像ＰＲｂと対象画像ＰＡｂとが、ともに第１顕微鏡によって第１観察条件において撮像されてもよい。あるいは、類似画像ＰＲｂと対象画像ＰＡｂとが、ともに第２顕微鏡によって第２観察条件において撮像されてもよい。
以上に説明したように、本実施形態に係る学習装置（この一例において、学習部１ｂ）では、類似画像ＰＲｂと対象画像ＰＡｂとでは、撮像方法（この一例において、第１顕微鏡である光学顕微鏡Ｍ１ａによる第１観察条件における撮像、または第２顕微鏡である電子顕微鏡Ｍ２による第２観察条件による撮像）が互いに異なる。
この構成により、本実施形態に係る学習装置（この一例において、学習部１ｂ）では、類似画像ＰＲｂの撮像方法として対象画像ＰＡｂの撮像方法に比べて効率的な撮像方法を用いることができるため、類似画像ＰＲｂと対象画像ＰＡｂとで撮像方法が共通である場合に比べて効率よく類似画像ＰＲを得ることができる。
類似画像ＰＲｂとして、例えば、対象画像が撮像された撮像方法とは異なる撮像方法によって撮像された画像を用いる場合、例えば、第１の撮像方法によって撮像された画像のセグメンテーションに第２の撮像方法によって撮像された画像を用い、第２の撮像方法によって撮像された画像のセグメンテーションに第１の撮像方法によって撮像された画像を用いてもよいため、セグメンテーションの効率化が可能となる。
（第４の実施形態）
以下、図面を参照しながら本発明の第４の実施形態について詳しく説明する。
上記第３の実施形態では、画像処理システムが、脳組織細胞核が異なる撮像方法によって撮像された画像のうち、一方が対象画像として用いられ、他方が類似画像として用いられる場合の別の一例について説明する。第４の実施形態では、光学顕微鏡によって撮像された脳組織細胞核の画像が対象画像として用いられ、電子顕微鏡によって撮像された脳組織細胞核の画像が類似画像として用いられる。
本実施形態に係る画像処理システムを画像処理システムＳＴｃといい、画像処理装置を画像処理装置Ｔ１ｃという。
図１７は、本実施形態に係る画像処理システムＳＴｃの一例を示す図である。画像処理システムＳＴｃは、一例として、電子顕微鏡Ｍ２と、光学顕微鏡Ｍ１ａと、電子顕微鏡画像データベースＤＢ２ｃと、ＤＡＰＩ画像データベースＤＢ１ｃと、明視野画像データベースＤＢ３ｃと、画像処理装置Ｔ１ｃとを備える。
本実施形態に係る画像処理システムＳＴｃ（図１７）と第３の実施形態に係る画像処理システムＳＴｂ（図１６）とを比較すると、ＤＡＰＩ画像データベースＤＢ１ｃ、明視野画像データベースＤＢ３ｃ、電子顕微鏡画像データベースＤＢ２ｃ、及び画像処理装置Ｔ１ｃが異なる。ここで、他の構成要素（光学顕微鏡Ｍ１ａ、電子顕微鏡Ｍ２）が持つ機能は第３の実施形態と同じである。第３の実施形態と同じ機能の説明は省略し、第４の実施形態では、第３の実施形態と異なる部分を中心に説明する。
画像処理システムＳＴｃでは、光学顕微鏡Ｍ１ａは、脳組織細胞核Ａ２を、明視野観察によって観察し、また、ＤＡＰＩによって染色された脳組織細胞核Ａ２を蛍光観察によって観察する。明視野観察によって観察される脳組織細胞核Ａ２は、光学顕微鏡Ｍ１ａによって撮像され、対象画像ＰＡｃとして明視野画像データベースＤＢ３ｂに蓄積される。一方、蛍光観察によって観察される脳組織細胞核Ａ２は、光学顕微鏡Ｍ１ａによって撮像され、核正解画像ＰＴ１ｃとしてＤＡＰＩ画像データベースＤＢ１ｂに蓄積される。
画像処理システムＳＴｂでは、電子顕微鏡Ｍ２によって脳組織細胞核Ａ２が撮像される。電子顕微鏡Ｍ２によって撮像された脳組織細胞核Ａ２の画像は、類似画像元画像ＰＭｃとして電子顕微鏡画像データベースＤＢ２ｃに蓄積される。
核正解画像ＰＴ２ｃは、電子顕微鏡画像データベースＤＢ２ｃに蓄積される脳組織細胞核Ａ２の画像に基づいて作成される。ここで核正解画像ＰＴ２ｃは、脳組織細胞核Ａ２の画像において脳組織細胞核Ａ２を示す領域について、医学的知識をもつ人間によって、この領域の内部が塗られたり、この領域の輪郭が描かれたりすることによって作成される。作成された核正解画像ＰＴ２ｃは、電子顕微鏡画像データベースＤＢ２ｃに蓄積され、類似画像ＰＲｃとして画像処理装置Ｔ１ｃに供給される。
学習部１ｃは、類似画像ＰＲ１ｃを用いて脳組織細胞核Ａ２の特徴量を学習する。画像処理システムＳＴｃでは、光学顕微鏡Ｍ１ａによって撮像された脳組織細胞核Ａ２と形状が類似した類似物体の一例として、電子顕微鏡Ｍ２によって撮像された脳組織細胞核Ａ２が採用される。
学習部１ｃの学習処理と、第２の実施形態の学習部１ａの学習処理とでは、第２部位の細胞核が異なる。学習部１ｃの学習処理では、第２部位の細胞核とは脳組織細胞核Ａ２である。その他において学習部１ｃの学習処理と、第２の実施形態の学習部１ａの学習処理とは同様である。
本実施形態では、類似画像ＰＲｃは、第２顕微鏡である電子顕微鏡Ｍ２によって第２観察条件において撮像されて生成され、対象画像ＰＡｃは、第１顕微鏡である光学顕微鏡Ｍ１ａによって第１観察条件において撮像されて生成される。つまり、本実施形態では、類似画像ＰＲｃと対象画像ＰＡｃとでは、撮像方法が互いに異なる。
なお、上述した第３の実施形態、及び第４の実施形態では、蛍光観察が光学顕微鏡によって行われる場合の一例について説明したが、これに限らない。第３の実施形態、及び第４の実施形態において、蛍光観察は、共焦点顕微鏡や超解像顕微鏡などによって行われてもよい。
（変形例）
なお、上述した各実施形態においては、対象物体が粒状の形状をもつ細胞核であり、類似度がＨｕモーメントの間のＬ１距離として算出される場合の一例について説明したが、これに限らない。図１８を参照し、対象物体や類似度の他の例について説明する。
図１８は、実施形態の変形例に係る対象物体と類似度との対応の一例を示す図である。対象物体が細胞核、ミトコンドリア、ニューロベクシルなどである場合、対象物体の形状は粒状である。対象物体の形状が粒状である物体である場合、類似度は、上述した各実施形態のように、対象物体の画像、及び対象物体の画像それぞれのＨｕモーメントの間のＬ１距離として算出される。
一方、対象物体が神経突起、血管、細胞膜（または細胞質）、フィラメントなどである場合、対象物体の形状は細長い形状である。対象物体の形状は細長い形状である場合、類似度は、例えば、血管様画像の画像セット間距離として算出される。
ここで図１９及び図２０を参照し、血管様画像の画像セット間距離について説明する。図１９は、実施形態の変形例に係る血管様画像の画像セット間距離の算出処理の一例を示す図である。図２０は、実施形態の変形例に係る血管画像及び血管様画像の一例を示す図である。
図１９に示す算出処理は、例えば、画像処理装置Ｔ１、Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃの類似度算出部１２によって実行される。図１９に示す算出処理の例では、画像セットＡと、画像セットＢとについて画像セット間距離が算出される。画像セットＡは、例えば、複数の対象画像であり、画像セットＢは、例えば、複数の類似画像である。複数の対象画像である画像セットＡにおいて対象物体とは、例えば、血管であり、複数の類似画像である画像セットＢにおいて類似物体とは、例えば、神経突起である。
ステップＳ４００：類似度算出部１２は、画像セットＡを取得する。図２０の血管画像ＰＶ１は、画像セットＡに含まれる画像の一例であり、血管が撮像されている。
ステップＳ４１０：類似度算出部１２は、取得した画像セットＡに血管抽出フィルタを適用する。血管抽出フィルタとは、血管の形状の特徴を抽出するためのフィルタである。血管の形状の特徴には、細長いという特徴が含まれる。
ステップＳ４２０：類似度算出部１２は、画像セットＡに血管抽出フィルタを適用した結果として、血管様画像ＶＡを生成する。図２０の血管様画像ＰＶ２は、血管画像ＰＶ１に血管抽出フィルタが適用されて生成された、血管様画像ＶＡの一例である。
ステップＳ４３０：類似度算出部１２は、血管様画像ＶＡに対してヒストグラム抽出の処理を実行する。
ステップＳ４４０：類似度算出部１２は、画像セットＢを取得する。
ステップＳ４５０：類似度算出部１２は、取得した画像セットＢに血管抽出フィルタを適用する。
ステップＳ４６０：類似度算出部１２は、画像セットＢに血管抽出フィルタを適用した結果として、血管様画像ＶＢを生成する。
ステップＳ４７０：類似度算出部１２は、血管様画像ＶＢに対してヒストグラム抽出の処理を実行する。
ステップＳ４８０：類似度算出部１２は、血管様画像ＶＡと血管様画像ＶＢとのヒストグラム間距離を類似度として算出する。ここでヒストグラム間距離は、一例として、Ｌ１距離である。
なお、上述した各実施形態においては、学習部１、１ａ、１ｂ、１ｃ、及び判定部２がそれぞれ画像処理装置Ｔ１、Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃに備えられる場合の一例について説明したが、これに限らない。学習部１、１ａ、１ｂ、１ｃ、及び判定部２は、それぞれ学習装置、及び判定装置として、画像処理システムＳＴ、ＳＴａ、ＳＴｂ、ＳＴｃのそれぞれにおいて別体の装置として備えられてもよい。
上述した各実施形態においては、画像処理システムＳＴ、ＳＴａ、ＳＴｂ、ＳＴｃのそれぞれにおいて、画像処理装置Ｔ１、Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃが、光学顕微鏡Ｍ１、Ｍ１ａや電子顕微鏡Ｍ２などの顕微鏡とは別体として備えられる場合の一例について説明した。つまり、各実施形態においては、学習装置や判定装置が顕微鏡とは別体として備えられる場合の一例について説明したが、これに限らない。学習装置や判定装置は、顕微鏡と一体となって備えられてもよい。つまり、画像処理システムＳＴにおいて、顕微鏡は、上述した学習装置を備えてもよい。また、画像処理システムＳＴにおいて、顕微鏡は、上述した判定装置を備えてもよい。また、画像処理システムＳＴにおいて、顕微鏡は、上述した学習装置と、上述した判定装置とを備えてもよい。
なお、上述した実施形態における画像処理装置Ｔ１、Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃの一部、例えば、学習部１、１ａ、１ｂ、１ｃ、及び判定部２をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像処理装置Ｔ１、Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における画像処理装置Ｔ１、Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像処理装置Ｔ１、Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
Ｔ１、Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃ…画像処理装置、１、１ａ、１ｂ、１ｃ…学習部、２…判定部、１３０…類似画像学習部、１３２…対象画像学習部、ＰＲ…類似画像、ＰＡ…対象画像、ＰＴ…正解画像、ＬＤ…教師データ

Claims (12)

  1. 対象物体が撮像された対象画像において、前記対象物体の領域を判定するために用いられるニューラルネットワークの学習装置であって、
    前記対象物体と外観が類似した物体である類似物体についての画像である類似画像に基づいて、畳み込みオートエンコーダに対する第１の学習を実行する類似画像学習部と、
    前記対象画像と、前記対象画像において前記対象物体が示された画像である正解画像との組である教師データと、前記類似画像学習部による前記第１の学習の結果とに基づいて前記ニューラルネットワークに対する第２の学習を実行する対象画像学習部と、
    を備え、
    前記対象画像学習部は、前記対象画像を入力とした場合の前記ニューラルネットワークの出力である予測画像を、前記第１の学習の結果に基づく第１の損失算出部に入力することで算出される第１の損失に基づく損失と、前記教師データと、に基づいて前記第２の学習を実行する
    学習装置。
  2. 前記対象画像学習部は、前記第１の損失と、前記予測画像と前記正解画像とにより算出した第２の損失と、に基づいて前記第２の学習を実行する
    請求項１に記載の学習装置。
  3. 前記対象画像学習部は、前記第１の損失と、前記第２の損失と、前記対象画像を用いて算出された第３の損失と、に基づいて前記第２の学習を実行する
    請求項２に記載の学習装置。
  4. 前記類似画像から前記類似物体を抽出する類似物体抽出部をさらに備え、
    前記類似画像学習部は、前記類似画像として、前記類似物体抽出部によって抽出された前記類似物体が示された画像を用いて前記第１の学習を実行する
    請求項１から請求項３のいずれか一項に記載の学習装置。
  5. 前記類似物体は、前記対象物体に対する外観の類似の程度を示す値が所定の値以上である
    請求項１から請求項４のいずれか一項に記載の学習装置。
  6. 前記類似画像と前記対象画像とでは、撮像方法が互いに異なる
    請求項１から請求項５のいずれか一項に記載の学習装置。
  7. 請求項１から請求項６のいずれか一項に記載の学習装置による学習結果に基づいて前記対象画像において前記対象物体を判定する判定部を備える
    判定装置。
  8. 請求項１から請求項６のいずれか一項に記載の学習装置を備える顕微鏡。
  9. 請求項７に記載の判定装置を備える顕微鏡。
  10. 請求項１から請求項６のいずれか一項に記載の学習装置と、
    前記学習装置による学習結果に基づいて前記対象画像において前記対象物体を判定する判定部を備える判定装置と
    を備える顕微鏡。
  11. 対象物体が撮像された対象画像において、前記対象物体の領域を判定するために用いられるニューラルネットワークの学習のためのプログラムであって、
    コンピュータに、
    前記対象物体と外観が類似した物体である類似物体についての画像である類似画像に基づいて、畳み込みオートエンコーダに対する第１の学習を実行する類似画像学習ステップと、
    前記対象画像と、前記対象画像において前記対象物体が示された画像である正解画像との組である教師データと、前記類似画像学習ステップによる前記第１の学習の結果とに基づいて前記ニューラルネットワークに対する第２の学習を実行する対象画像学習ステップと
    を実行させ、
    前記対象画像学習ステップにおいて、前記対象画像を入力とした場合の前記ニューラルネットワークの出力である予測画像を、前記第１の学習の結果に基づく第１の損失算出部に入力することで算出される第１の損失に基づく損失と、前記教師データと、に基づいて前記第２の学習を実行させるためのプログラム。
  12. コンピュータに、
    請求項１１に記載のプログラムによる学習結果に基づいて前記対象画像において前記対象物体を判定する判定ステップ
    を実行させるためのプログラム。
JP2019133641A 2019-07-19 2019-07-19 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム Active JP7477269B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019133641A JP7477269B2 (ja) 2019-07-19 2019-07-19 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019133641A JP7477269B2 (ja) 2019-07-19 2019-07-19 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021018582A JP2021018582A (ja) 2021-02-15
JP7477269B2 true JP7477269B2 (ja) 2024-05-01

Family

ID=74566152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019133641A Active JP7477269B2 (ja) 2019-07-19 2019-07-19 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム

Country Status (1)

Country Link
JP (1) JP7477269B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145791A (ja) 2010-01-13 2011-07-28 Hitachi Ltd 識別器学習画像生成プログラム、方法、及びシステム
US20160035093A1 (en) 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition
WO2017221412A1 (ja) 2016-06-24 2017-12-28 オリンパス株式会社 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740651B2 (en) * 2016-10-27 2020-08-11 General Electric Company Methods of systems of generating virtual multi-dimensional models using image analysis
US11270433B2 (en) * 2017-06-09 2022-03-08 Ai Medical Service Inc. Disease diagnosis support method employing endoscopic images of a digestive organ, a diagnosis support system, a diagnosis support program and a computer-readable recording medium having the diagnosis support program stored therein

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145791A (ja) 2010-01-13 2011-07-28 Hitachi Ltd 識別器学習画像生成プログラム、方法、及びシステム
US20160035093A1 (en) 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition
WO2017221412A1 (ja) 2016-06-24 2017-12-28 オリンパス株式会社 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
野里 博和、他６名，胃内視鏡診断の知識を転移させた深層畳み込みニューラルネットワークによる膀胱内視鏡診断支援，電子情報通信学会技術研究報告 ，日本，一般社団法人電子情報通信学会，2018年10月30日，第118巻, 第286号，第83-88頁，ISSN 2432-6380

Also Published As

Publication number Publication date
JP2021018582A (ja) 2021-02-15

Similar Documents

Publication Publication Date Title
Lösel et al. Introducing Biomedisa as an open-source online platform for biomedical image segmentation
Johnson Adapting mask-rcnn for automatic nucleus segmentation
Yasrab et al. RootNav 2.0: Deep learning for automatic navigation of complex plant root architectures
Wickramasinghe et al. Voxel2mesh: 3d mesh model generation from volumetric data
Peng et al. Automatic reconstruction of 3D neuron structures using a graph-augmented deformable model
CN109409416A (zh) 特征向量降维方法和医学图像识别方法、装置及存储介质
CN110097130A (zh) 分类任务模型的训练方法、装置、设备及存储介质
Kromp et al. Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation
Wen et al. A novel statistical cerebrovascular segmentation algorithm with particle swarm optimization
CN107169974A (zh) 一种基于多监督全卷积神经网络的图像分割方法
Dalca et al. Patch-based discrete registration of clinical brain images
WO2014172527A1 (en) Systems and methods for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
Wang Segmentation of multiple structures in chest radiographs using multi-task fully convolutional networks
CN104680558B (zh) 使用GPU硬件加速的Struck目标跟踪方法
Triki et al. Deep leaf: Mask R-CNN based leaf detection and segmentation from digitized herbarium specimen images
WO2021032062A1 (zh) 图像处理模型生成方法、图像处理方法、装置及电子设备
CN113096137B (zh) 一种oct视网膜图像领域适应分割方法及系统
Wyburd et al. TEDS-Net: enforcing diffeomorphisms in spatial transformers to guarantee topology preservation in segmentations
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
Van Molle et al. Quantifying uncertainty of deep neural networks in skin lesion classification
CN115294086A (zh) 医学影像分割方法、分割模型训练方法、介质及电子设备
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
Wesemeyer et al. Annotation quality vs. quantity for deep-learned medical image segmentation
Wang et al. Fast anatomy segmentation by combining coarse scale multi-atlas label fusion with fine scale corrective learning
Rama et al. Image pre-processing: enhance the performance of medical image classification using various data augmentation technique

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190815

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240418

R150 Certificate of patent or registration of utility model

Ref document number: 7477269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150