JP7430815B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

開示の技術は情報処理装置、情報処理方法及び情報処理プログラムに関する。

画像中に含まれる物体が何であるかを、画素単位で認識するセグメンテーションに関する技術として、以下の技術が知られている。

例えば、特表２０１７－５３２０９２号公報には、医療用画像をセグメント化するためコンピュータに実装された方法がされている。この方法は、メモリから画像を受け取るステップと、画像内の少なくともひとつのランドマークポイントを識別するステップと、画像内の画像ポイントを選択するステップと、プロセッサによって、少なくともひとつのランドマークポイントに関連する画像ポイントに対する少なくともひとつの特徴を決定するステップと、プロセッサによって、決定された少なくともひとつの特徴に基づいて、分類モデルを使用することにより画像ポイントを解剖学的構造と関連付けるステップとを含む。

特開２０１８－０４１１７６号公報には、少なくとも１つのコンピュータが対象車両の駐車位置を特定する駐車位置特定方法が記載されている。この方法は、対象車両に搭載されたカメラによる駐車領域の撮影によって生成される画像である入力データを取得し、入力データを、少なくとも１台の車両が駐車可能な広さを有する駐車領域と駐車領域における車両１台分の駐車位置との関係を示す学習モデルに入力することによって、撮影された前記駐車領域における対象車両の駐車位置を特定することを含む。

機械学習によって学習された推定モデルを用いた画像認識技術の医療分野での活用例として、画像診断支援が知られている。例えば、直腸がんでは、がんが腸管の内腔から発生し、進行するにつれて外側の組織へと浸潤する。がんが周辺組織にまで浸潤しているか否かで治療方針や手術で切除する領域が変わる。このため手術前の診断では、がん領域と周辺組織領域の包含関係を知ることが重要である。ＭＲＩ（Magnetic Resonance Imaging）画像及びＣＴ（Computed Tomography）画像等の医療用画像からがん領域と周辺組織領域との包含関係を特定することは、専門性が必要とされ、作業負担が大きい。このため、機械学習によって学習されたニューラルネットワーク等の推定モデルを用いて、周辺組織へのがんの浸潤の有無を適切に判定し、浸潤が認められる場合には浸潤している範囲を正しく可視化することが求められている。

深層学習等の機械学習によって推定モデルを学習させるためには、がん領域及び周辺組織領域を含む学習用画像に、これらの各領域が存在する範囲を示す範囲情報を正解マスクとして付与した学習用データを大量に用意する必要がある。しかしながら、学習用画像に範囲情報（正解マスク）を付与する作業には時間及び技能が必要とされる。また、臨床における画像診断プロセスでは、読影医が、がんの浸潤の有無について判定を行うものの、各領域について範囲情報を改めて作成しないのが通常である。このため、学習用画像に、範囲情報を付与した学習用データを大量に用意することは容易ではない。

開示の技術は、上記の点に鑑みてなされたものであり、学習用画像に範囲情報が付与された学習用データの数が比較的少ない場合においても、推定モデルが、処理対象の画像に含まれる複数の領域について適切にセグメンテーションを行うように、推定モデルに学習させることを目的とする。

開示の技術に係る情報処理装置は、少なくとも１つのプロセッサを備える。プロセッサは、複数の領域をそれぞれ含む複数の学習用画像のうちの少なくとも一部である第１の学習用画像に複数の領域の各々が存在する範囲を示す範囲情報を付与した複数の第１の学習用データ及び複数の学習用画像のうちの少なくとも一部である第２の学習用画像に複数の領域の関係性を示す関係情報を付与した複数の第２の学習用データを取得する。プロセッサは、第１の学習用画像の各々について、推定モデルを用いて特定される複数の領域が、範囲情報と整合するように推定モデルを学習させるための第１の評価値を算出する。プロセッサは、第２の学習用画像の各々について、推定モデルを用いて関係情報によって示される関係性を推定した推定情報を導出し、推定情報と関係情報との乖離の程度を示す第２の評価値を算出する。プロセッサは、第１の評価値及び第２の評価値を要素として含む損失が小さくなるように推定モデルを学習させる。

複数の領域の関係性は、複数の領域の包含関係であってもよい。複数の学習用画像は、それぞれ、第１の領域及び第１の領域の少なくとも一部を包含する第２の領域を含み得る。関係情報は、第２の学習用画像において、第１の領域が第２の領域に包含されていない部分を有しているか否かを示す情報であってもよく、推定情報は、第２の学習用画像において、第１の領域が第２の領域に包含されていない部分を有している確率であってもよい。プロセッサは、第２の学習用画像の各画素について、推定モデルを用いて、当該画素が第１の領域の第２の領域に包含されていない部分の画素である確率Ｐ_ｘを算出し、各画素について算出した確率Ｐ_ｘに基づいて算出される値を推定情報として導出してもよい。

学習用画像が医療用画像であり、第１の領域が病変領域であり、第２の領域が病変領域の少なくとも一部を包含する生体組織領域であってもよい。

プロセッサは、第１の領域及び第２の領域を含む対象画像を取得し、推定モデルを用いて、第１の領域、第２の領域及び第１の領域の第２の領域に包含されていない部分のうちの少なくとも１つを特定し、特定した領域又は部分を識別可能に表示する制御を行ってもよい。

複数の領域の関係性は、複数の領域の各々が備える特定の要素における大小関係であってもよい。複数の学習用画像は、それぞれ、第１の領域及び第２の領域を含み得る。関係情報は、第２の学習用画像において、第１の領域における要素が第２の領域における要素よりも大きいか否かを示す情報であってもよく、推定情報は、第２の学習用画像において、第１の領域における要素が第２の領域における要素よりも大きい確率であってもよい。プロセッサは、第２の学習用画像の各々について、推定モデルを用いて、第１の領域及び第２の領域を特定し、第１の領域における要素の大きさＦ_Ａ及び第２の領域における要素の大きさＦ_Ｂを導出し、第１の領域における要素の大きさＦ_Ａと第２の領域における要素の大きさＦ_Ｂの差分に応じた値を推定情報として導出してもよい。

複数の領域の関係性は、複数の領域の位置関係であってもよい。複数の学習用画像は、それぞれ、第１の領域及び第２の領域を含み得る。関係情報は、第２の学習用画像において、第１の領域が第２の領域に対して特定の方向に位置しているか否かを示す情報であってもよく、推定情報は、第２の学習用画像において、第１の領域が第２の領域に対して特定の方向に位置している確率であってもよい。

プロセッサは、第２の学習用画像における各画素について、推定モデルを用いて、当該画素が第１の領域である確率Ｐ_ａ、当該画素が第２の領域である確率Ｐ_ｂを算出し、確率Ｐ_ｂが閾値以上である画素のうち特定の方向の側の端部の画素に対して特定の方向に位置する候補領域を設定し、候補領域内の画素について算出した確率Ｐ_ａに基づいて算出される値を推定情報として導出してもよい。

第２の評価値をＥ２、推定情報をｙ_Ｋ、関係情報をｔ_Ｋとしたとき、下記の（Ｉ）式を満たすように第２の評価値Ｅ２を定めることができる。
Ｅ２＝Σ｛－ｔ_Ｋｌｏｇｙ_Ｋ－（１－ｔ_Ｋ）ｌｏｇ（１－ｙ_Ｋ）｝ ・・・ （Ｉ）

開示の技術に係る情報処理方法は、複数の領域をそれぞれ含む複数の学習用画像のうちの少なくとも一部である第１の学習用画像に複数の領域の各々が存在する範囲を示す範囲情報を付与した複数の第１の学習用データ及び複数の学習用画像のうちの少なくとも一部である第２の学習用画像に複数の領域の関係性を示す関係情報を付与した複数の第２の学習用データを取得し、第１の学習用画像の各々について、推定モデルを用いて特定される複数の領域が、範囲情報と整合するように推定モデルを学習させるための第１の評価値を算出し、第２の学習用画像の各々について、推定モデルを用いて関係情報によって示される関係性を推定した推定情報を導出し、推定情報と関係情報との乖離の程度を示す第２の評価値を算出し、第１の評価値及び第２の評価値を要素として含む損失が小さくなるように推定モデルを学習させる方法である。

開示の技術に係る情報処理プログラムは、複数の領域をそれぞれ含む複数の学習用画像のうちの少なくとも一部である第１の学習用画像に複数の領域の各々が存在する範囲を示す範囲情報を付与した複数の第１の学習用データ及び複数の学習用画像のうちの少なくとも一部である第２の学習用画像に複数の領域の関係性を示す関係情報を付与した複数の第２の学習用データを取得し、第１の学習用画像の各々について、推定モデルを用いて特定される複数の領域が、範囲情報と整合するように推定モデルを学習させるための第１の評価値を算出し、第２の学習用画像の各々について、推定モデルを用いて関係情報によって示される関係性を推定した推定情報を導出し、推定情報と関係情報との乖離の程度を示す第２の評価値を算出し、第１の評価値及び第２の評価値を要素として含む損失が小さくなるように推定モデルを学習させる第２の学習処理を行う処理を情報処理装置が備える少なくとも１つのプロセッサに実行させるためのプログラムである。

開示の技術によれば、学習用画像に範囲情報が付与された学習用データの数が比較的少ない場合においても、推定モデルが、処理対象の画像に含まれる複数の領域について適切にセグメンテーションを行うように、推定モデルに学習させることが可能となる。

開示の技術の実施形態に係る情報処理装置の学習フェーズにおける機能的な構成の一例を示す図である。 複数の領域が完全包含関係にある場合を示す図である。 複数の領域が一部包含関係にある場合を示す図である。 直腸がんの症例を示す断層画像である。 直腸がんの症例を示す断層画像である。 開示の技術の実施形態に係る第１の学習用データの一例を示す図である。 開示の技術の実施形態に係る第２の学習用データの一例を示す図である。 開示の技術の実施形態に係る第２の学習用データの一例を示す図である。 開示の技術の実施形態に係る情報処理装置の運用フェーズにおける機能的な構成の一例を示す図である。 開示の技術の実施形態に係る情報処理装置における表示制御の一例を示す図である。 開示の技術の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 開示の技術の実施形態に係る学習処理の流れの一例を示すフローチャートである。 開示の技術の実施形態に係る第２の学習処理の流れの一例を示すフローチャートである。 開示の技術の実施形態に係る画像認識処理の流れの一例を示すフローチャートである。 開示の技術の他の実施形態に係る第２の学習処理の流れの一例を示すフローチャートである。 開示の技術の他の実施形態に係る第２の学習処理の流れの一例を示すフローチャートである。

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素及び部分には同一の参照符号を付与し、重複する説明は適宜省略する。

［第１の実施形態］
図１は、開示の技術の実施形態に係る情報処理装置１０の学習フェーズにおける機能的な構成の一例を示す図である。情報処理装置１０は、取得部１１、第１の評価値算出部１２、第２の評価値算出部１３、学習部１７及び記憶部４３を備える。記憶部４３には、第１の学習用データ２０、第２の学習用データ２３及び推定モデル３０が記憶されている。情報処理装置１０は、学習フェーズにおいて、機械学習によって推定モデル３０を学習させる処理を行う。情報処理装置１０は、推定モデル３０が、複数の領域について包含関係を特定しつつセグメンテーションを行うように推定モデル３０を学習させる。

ここで、図２Ａは、領域１０１及び領域１０２の包含関係が、完全包含関係にある状態の一例を示す図である。本明細書において、「完全包含関係」とは、一方の領域の全ての部分が他方の領域に包含されている関係をいう。図２Ｂは、領域１０１及び領域１０２の包含関係が一部包含関係にある状態の一例を示す図である。本明細書において「一部包含関係」とは、一方の領域の一部分のみが他方の領域に包含されている関係をいう。すなわち、２つの領域が一部包含関係にある場合、一方の領域は、他方の領域に包含されていない部分を有することになる。

図３Ａ及び図３Ｂは、それぞれ直腸がんの症例を示す医療用画像（断層画像）である。これらの断層画像には、がん領域２０１、固有筋層領域２０２及び直腸間膜領域２０３が含まれている。図３Ａは、がん領域２０１と固有筋層領域２０２とが完全包含関係にある症例、すなわち、がん領域２０１が直腸間膜領域２０３に浸潤していない初期のがんの症例である。図３Ｂは、がん領域２０１と固有筋層領域２０２とが一部包含関係にある症例、すなわち、がん領域２０１が直腸間膜領域２０３に浸潤している進行したがんの症例である。以下の説明では、推定モデル３０が、がん領域２０１、固有筋層領域２０２及び直腸間膜領域２０３についてセグメンテーションを行う場合を例に説明する。

取得部１１は、記憶部４３に記憶されている複数の第１の学習用データ２０及び複数の第２の学習用データ２３を取得する。図４は、第１の学習用データ２０の一例を示す図である。第１の学習用データ２０は、複数の領域を含む第１の学習用画像２１に、各領域が存在する範囲を示す範囲情報２２を正解マスクとして付与したデータである。図４には、医療用画像である直腸がんの症例を示す断層画像を、第１の学習用画像２１として用いた場合が例示されている。第１の学習用画像２１には、がん領域２０１、固有筋層領域２０２及び直腸間膜領域２０３が含まれている。がん領域２０１及び固有筋層領域２０２は、完全包含関係又は一部包含関係を有する。なお、がん領域２０１は、開示の技術における第１の領域の一例であり、固有筋層領域２０２は開示の技術における第２の領域の一例である。

第１の学習用データ２０は、がん領域２０１が存在する範囲を示す範囲情報２２Ａ、固有筋層領域２０２が存在する範囲を示す範囲情報２２Ｂ、直腸間膜領域２０３が存在する範囲を示す範囲情報２２Ｃを正解マスクとして第１の学習用画像２１に付与したデータである。第１の学習用画像２１に含まれるがん領域２０１と固有筋層領域２０２との包含関係が完全包含関係である場合、範囲情報２２Ａによって示されるがん領域が存在する範囲の全てが、範囲情報２２Ｂによって示される固有筋層領域が存在する範囲内に含まれることになる。一方、第１の学習用画像２１に含まれるがん領域２０１と固有筋層領域２０２との包含関係が一部包含関係である場合、範囲情報２２Ａによって示されるがん領域が存在する範囲の一部が、範囲情報２２Ｂによって示される固有筋層領域が存在する範囲内に含まれないことになる。また、第１の学習用画像２１において、がん領域２０１の固有筋層領域２０２に包含されている部分の各画素には、これらの領域の双方が正解として割り当てられることになる。

なお、第１の学習用データ２０は、完全包含関係を有する複数の領域を含む第１の学習用画像２１及び一部包含関係を有する複数の領域を含む第１の学習用画像２１の双方を含んで構成されていることが好ましいが、いずれか一方のみを含んで構成されていてもよい。

第１の評価値算出部１２は、取得部１１が取得した複数の第１の学習用データ２０を用いて推定モデル３０を学習させるための第１の評価値Ｅ１を算出する。推定モデル３０は、複数の領域を含む処理対象の画像（以下、対象画像という）について、画素（ボクセル又はピクセル）単位でセグメンテーションを行うように構築された数理モデルである。推定モデル３０は、対象画像に含まれる複数の領域について、包含関係を特定しつつセグメンテーションを行う。すなわち、推定モデル３０は、ある領域が他の領域に包含されている部分の画素に対して、複数の領域を割り当てる。推定モデル３０は、例えばニューラルネットワークを構成するものであってもよい。

第１の評価値算出部１２は、第１の学習用画像２１の各々について、推定モデル３０を用いて特定されるがん領域２０１、固有筋層領域２０２及び直腸間膜領域２０３が、範囲情報（正解マスク）２２Ａ、２２Ｂ、２２Ｃと整合するように推定モデル３０を学習させるための第１の評価値Ｅ１を算出する。第１の評価値Ｅ１は、推定モデル３０における各領域の推定結果と範囲情報２２Ａ、２２Ｂ、２２Ｃとの乖離の程度を示す値であってもよい。（１）式は、第１の評価値Ｅ１の一例である。（１）式に示すように、第１の評価値Ｅ１としてsoft dice lossを用いることができる。（１）式において、Ｇ_ａは範囲情報２２Ａに基づく画素毎の正解値であり、がん領域２０１である画素について１が付与され、がん領域２０１ではない画素について０が付与される。Ｐ_ａは、推定モデル３０によって算出される、当該画素ががん領域２０１である確率である。Ｇ_ｂは範囲情報２２Ｂに基づく画素毎の正解値であり、固有筋層領域２０２である画素について１が付与され、固有筋層領域２０２ではない画素について０が付与される。Ｐ_ｂは、推定モデル３０によって算出される、当該画素が固有筋層領域２０２である確率である。Ｇ_ｃは範囲情報２２Ｃに基づく画素毎の正解値であり、直腸間膜領域２０３である画素について１が付与され、直腸間膜領域２０３ではない画素について０が付与される。Ｐ_ｃは、推定モデル３０によって算出される、当該画素が直腸間膜領域２０３である確率である。γ、δ及びεは、それぞれ、各クラス（がん領域２０１、固有筋層領域２０２及び直腸間膜領域２０３）に対する重み定数である。なお、第１の評価値Ｅ１については、（１）式によって示されるsoft dice lossに限らず、推定モデル３０における各領域の推定結果と範囲情報２２との乖離の程度を示す値であれば他のものを用いることが可能である。例えば、U-Net: Convolutional Networks for Biomedical Image Segmentation arXiv:1505.04597及びBoundary loss for highly unbalanced segmentation arXiv:1812.07032に記載の技術を適用することが可能である。

図５Ａ及び図５Ｂは、それぞれ、第２の学習用データ２３の一例を示す図である。第２の学習用データ２３は、複数の領域を含む第２の学習用画像２４に、これら複数の領域の関係性を示す関係情報ｔ_ｋを正解ラベルとして付与したデータである。図５Ａ及び図５Ｂには、第１の学習用画像２１と同様、医療用画像である直腸がんの症例を示す断層画像を第２の学習用画像２４として用いた場合が例示されている。第２の学習用画像２４には、第１の学習用画像２１と同様、がん領域２０１、固有筋層領域２０２及び直腸間膜領域２０３が含まれている。

本実施形態において、関係情報ｔ_ｋによって示される関係性は、第２の学習用画像２４に含まれる複数の領域の包含関係であり、関係情報ｔ_ｋは、第２の学習用画像２４において、がん領域２０１が固有筋層領域２０２に包含されていない部分を有しているか否か（すなわち、がん領域２０１及び固有筋層領域２０２が一部包含関係であるか否か）を示す情報である。図５Ａに示すように、がん領域２０１が固有筋層領域２０２に包含されていない部分を有していない（がん領域２０１及び固有筋層領域２０２が一部包含関係ではない）第２の学習用画像２４に対しては、関係情報ｔ_ｋとして「０」が付与される。換言すれば、がん領域２０１が直腸間膜領域２０３に浸潤していない症例の第２の学習用画像２４には、関係情報ｔ_ｋとして「０」が付与される。一方、図５Ｂに示すように、がん領域２０１が固有筋層領域２０２に包含されていない部分を有している（がん領域２０１及び固有筋層領域２０２が一部包含関係である）第２の学習用画像２４に対しては、関係情報ｔ_ｋとして「１」が付与される。換言すれば、がん領域２０１が直腸間膜領域２０３に浸潤している症例の第２の学習用画像２４には、関係情報ｔ_ｋとして「１」が付与される。

第２の評価値算出部１３は、取得部１１が取得した複数の第２の学習用データ２３を用いて推定モデル３０を学習させるための第２の評価値Ｅ２を算出する。すなわち、第２の学習用データ２３を用いた推定モデル３０の学習においては、関係情報ｔ_ｋによって示される関係性（本実施形態では、がん領域２０１と固有筋層領域２０２の包含関係）を制約条件とする学習が行われる。

第２の評価値算出部１３は、第２の評価値Ｅ２を算出するにあたり、第２の学習用画像の各々について、推定モデル３０を用いて、関係情報ｔ_ｋによって示される関係性を推定した推定情報ｙ_ｋを導出する。すなわち、第２の評価値算出部１３は、推定モデル３０を用いて、第２の学習用画像２４において、「がん領域２０１が固有筋層領域２０２に包含されていない部分を有しているか否か」について推定した結果を推定情報ｙ_ｋとして導出する。具体的には、第２の評価値算出部１３は、第２の学習用画像２４において、がん領域２０１が固有筋層領域２０２に包含されていない部分を有している確率を推定情報ｙ_ｋとして導出する。推定情報ｙ_ｋを導出する方法は、以下のとおりである。

第２の評価値算出部１３は、取得部１１が取得した第２の学習用画像２４を推定モデル３０に入力する。推定モデル３０は、入力された第２の学習用画像２４について画素毎にセグメンテーションを行う。具体的には、推定モデル３０は、第２の学習用画像２４の各画素について、当該画素ががん領域２０１である確率Ｐ_ａ及び当該画素が固有筋層領域２０２である確率Ｐ_ｂを算出する。推定モデル３０は、更に、第２の学習用画像２４の各画素について、当該画素が、がん領域２０１の固有筋層領域２０２に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）である確率Ｐ_ｘとしてＰ_ａ×（１－Ｐ_ｂ）を算出する。すなわち、確率Ｐ_ｘは、がん領域２０１であり且つ固有筋層領域２０２でない確率として算出される。推定モデル３０は、複数の第２の学習用画像２４の各々の各画素について、確率Ｐ_ａ、Ｐ_ｂ、及びＰ_ｘを算出する。

第２の評価値算出部１３は、第２の学習用画像２４の各画素について算出した確率Ｐ_ｘ（＝Ｐ_ａ×（１－Ｐ_ｂ））に基づいて算出される値を推定情報ｙ_ｋ（第２の学習用画像２４において、がん領域２０１が固有筋層領域２０２に包含されていない部分を有している確率）として導出する。第２の評価値算出部１３は、例えば、第２の学習用画像２４の各画素について算出された確率Ｐ_ｘのうちの最大値を、当該第２の学習用画像２４における推定情報ｙ_ｋとして算出してもよい。また、第２の評価値算出部１３は、当該第２の学習用画像２４の各画素について算出された確率Ｐ_ｘについて、値の大きい順に順位付けしたときの、上位いくつかの値の平均値を、当該第２の学習用画像２４における推定情報ｙ_ｋとして算出してもよい。また、第２の評価値算出部１３は、当該第２の学習用画像２４の各画素について、当該画素が、がん領域の固有筋層領域２０２に包含されていない部分ではない確率Ｐ_ｚ（＝１－（Ｐ_ｘ×（１－Ｐ_ｂ））を算出し、確率Ｐ_ｚの総乗を１から引いた値（１－ΠＰ_ｚ）を推定情報ｙ_ｋとして算出してもよい。上記したもの以外にも、第２の学習用画像２４において、がん領域２０１が固有筋層領域２０２に包含されていない部分を有している確率として適切な値を推定情報ｙ_ｋとして適用することが可能である。

第２の評価値算出部１３は、推定情報ｙ_ｋと正解ラベルとしての関係情報ｔ_ｋとの乖離の程度を示す第２の評価値Ｅ２を算出する。第２の評価値Ｅ２は、例えば、下記の（２）式によって表される。
Ｅ２＝Σ｛－ｔ_Ｋｌｏｇｙ_Ｋ－（１－ｔ_Ｋ）ｌｏｇ（１－ｙ_Ｋ）｝ ・・・ （２）

すなわち、第２評価値Ｅ２は、第２の学習用画像２４の各々について算出される－ｔ_Ｋｌｏｇｙ_Ｋ－（１－ｔ_Ｋ）ｌｏｇ（１－ｙ_Ｋ）を、全ての第２の学習用画像２４について積算した値である。

学習部１７は、第１の評価値Ｅ１及び第２の評価値Ｅ２を要素として含む損失Ｌが小さくなるように推定モデル３０を学習させる。下記の（３）式は、損失Ｌの一例である。（３）式において、Ｗ１は第１の評価値Ｅ１に対する重み定数であり、Ｗ２は第２の評価値Ｅ２に対する重み定数である。
Ｌ＝Ｅ１×Ｗ１＋Ｅ２×Ｗ２ ・・・（３）

図６は、情報処理装置１０の運用フェーズにおける機能的な構成の一例を示す図である。情報処理装置１０は、運用フェーズにおいて、学習済みの推定モデル３０を運用して、対象画像に含まれる複数の領域についてセグメンテーションを行う。情報処理装置１０は、取得部１４、特定部１５及び表示制御部１６を有する。

取得部１４は、セグメンテーションの対象となる複数の領域を含んだ対象画像を取得する。以下において、対象画像が図４に示す第１の学習用画像２１及び図５に示す第２の学習用画像２４に類似した医療用画像であり、対象画像には、がん領域、固有筋層領域及び直腸間膜領域が含まれており、これらの各領域についてセグメンテーションを行う場合を例に説明する。

特定部１５は、取得部１４が取得した対象画像を学習済みの推定モデル３０に入力する。推定モデル３０は、対象画像について画素毎にセグメンテーションを行う。具体的には、推定モデル３０は、対象画像の各画素について、当該画素ががん領域である確率Ｐ_ａ、当該画素が固有筋層領域である確率Ｐ_ｂ及び当該画素が直腸間膜領域である確率Ｐ_ｃを算出する。

特定部１５は、確率Ｐ_ａが所定の閾値以上である画素からなる領域をがん領域であると特定し、確率Ｐ_ｂが所定の閾値以上である画素からなる領域を固有筋層領域であると特定し、確率Ｐ_ｃが閾値以上である画素からなる領域を直腸間膜領域であると特定する。また、特定部１５は、がん領域であると特定した領域のうち、固有筋層ではない領域を、がん領域の固有筋層領域に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）であると特定する。

表示制御部１６は、特定部１５によって特定された各領域及び部分を識別可能に表示する制御を行う。例えば、表示制御部１６は、例えば、図７に示すように、がん領域、固有筋層領領域及びがん領域の固有筋層領域に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）が存在する範囲をそれぞれ示す、色分けされたラベル画像を対象画像に重畳して表示する制御を行う。なお、特定部１５は、がん領域、固有筋層領域及びがん領域の固有筋層領域に包含されていない部分の少なくとも１つを特定してもよい。この場合、表示制御部１６は、特定部１５によって特定された領域又は部分を識別可能に表示する制御を行う。

図８は、情報処理装置１０のハードウェア構成の一例を示す図である。情報処理装置１０は、ＣＰＵ（Central Processing Unit）４１、一時記憶領域としてのメモリ４２、及び不揮発性の記憶部４３を備えている。また、情報処理装置１０は、液晶ディスプレイ等の表示デバイスによって構成される表示部４４、及びキーボード及びマウス等の入力デバイスによって構成される入力部４５を備えている。ＣＰＵ４１、メモリ４２、記憶部４３、表示部４４、及び入力部４５は、バス４６を介して接続されている。

記憶部４３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等の不揮発性の記憶媒体によって実現される。記憶部４３には、第１の学習用データ２０、第２の学習用データ２３、推定モデル３０、学習プログラム５１及び画像認識プログラム５２が格納されている。ＣＰＵ４１は、学習プログラム５１及び画像認識プログラム５２を、メモリ４２に展開した後に実行する。ＣＰＵ４１が学習プログラム５１を実行することにより、ＣＰＵ４１は、取得部１１、第１の評価値算出部１２、第２の評価値算出部１３及び学習部１７として機能する。また、ＣＰＵ４１が画像認識プログラム５２を実行することにより、ＣＰＵ４１は、取得部１４、特定部１５及び表示制御部１６として機能する。ＣＰＵ４１は、開示の技術におけるプロセッサの一例である。

図９は、ＣＰＵ４１が、学習プログラム５１を実行することにより実施される学習処理の流れの一例を示すフローチャートである。ＣＰＵ４１は、例えば、学習フェーズにおいて、ユーザによって入力部４５を介して学習処理の実行指示が入力された場合に学習プログラム５１を実行する。

ステップＳ１において、取得部１１は、記憶部４３に記憶されている複数の第１の学習用データ２０及び複数の第２の学習用データ２３を取得する。

ステップＳ２において、第１の評価値算出部１２は、ステップＳ１において取得した第１の学習用データ２０を用いて推定モデル３０を学習させるための第１の評価値Ｅ１を算出する。より具体的には、第１の評価値算出部１２は、第１の学習用画像２１の各々について、推定モデル３０を用いて特定されるがん領域２０１、固有筋層領域２０２及び直腸間膜領域２０３が、範囲情報２２Ａ、２２Ｂ、２２Ｃと整合するように推定モデル３０を学習させるための第１の評価値Ｅ１を算出する。第１の評価値Ｅ１は、推定モデル３０における各領域の推定結果と範囲情報２２との乖離の程度を示す値であってもよく、例えば上記の（１）式によって示されるものを使用することが可能である。

ステップＳ３において、第２の評価値算出部１３は、ステップＳ１において取得した第２の学習用データ２３を用いて推定モデル３０を学習させるための第２の評価値Ｅ２を算出する。図１０は、第２の評価値Ｅ２の算出処理の詳細を示すフローチャートである。以下、図１０を参照しつつ、第２の評価値Ｅ２の算出処理について説明する。

ステップＳ１１において、第２の評価値算出部１３は、推定モデル３０を用いて、複数の第２の学習用画像２４の各々の各画素について、当該画素ががん領域２０１である確率Ｐ_ａ、当該画素が固有筋層領域２０２である確率Ｐ_ｂ、当該画素ががん領域２０１の固有筋層領域２０２に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）である確率Ｐ_ｘ（＝Ｐ_ａ×（１－Ｐ_ｂ）を算出する。

ステップＳ１２において、第２の評価値算出部１３は、第２の学習用画像２４の各画素について算出した確率Ｐ_ｘに基づいて算出される値を当該第２の学習用画像２４の推定情報ｙ_ｋとして導出する。第２の評価値算出部１３は、一例として、当該第２の学習用画像２４の各画素について算出した確率Ｐ_ｘのうちの最大値を、当該第２の学習用画像２４における推定情報ｙ_ｋとして導出してもよい。第２の評価値算出部１３は、複数の第２の学習用画像２４の各々について推定情報ｙ_ｋを導出する。

ステップＳ１３において、第２の評価値算出部１３は、ステップＳ１２において導出した推定情報ｙ_ｋと関係情報ｔ_ｋとの乖離の程度を示す第２の評価値Ｅ２を算出する。第２の評価値Ｅ２は、例えば、上記の（２）式によって示されるものを使用することが可能である。

ステップＳ４（図９参照）において、学習部１７は、第１の評価値Ｅ１及び第２の評価値Ｅ２を要素として含む損失Ｌが小さくなるように推定モデル３０を学習させる。損失Ｌは、例えば、上記の（３）式によって示されるものを使用することが可能である。使用する第１の学習用データ２０及び第２の学習用データ２３のデータセットを入れ換えながら、ステップＳ１～Ｓ４の処理を繰り返し実施することで、推定モデル３０が最適化される。

図１１は、ＣＰＵ４１が、画像認識プログラム５２を実行することにより実施される画像認識処理の流れの一例を示すフローチャートである。ＣＰＵ４１は、例えば、運用フェーズにおいて、ユーザによって入力部４５を介して画像認識処理の実行指示が入力された場合に画像認識プログラム５２を実行する。

ステップＳ２１において、取得部１４は、がん領域、固有筋層領域及び直腸間膜領域を含む対象画像を取得する。ステップＳ２２において、特定部１５は、学習済みの推定モデル３０を用いて、対象画像の各画素について、当該画素ががん領域である確率Ｐ_ａ、当該画素が固有筋層領域である確率Ｐ_ｂを算出する。

ステップＳ２３において、特定部１５は、確率Ｐ_ａが所定の閾値以上である画素からなる領域をがん領域であると特定し、確率Ｐ_ｂが所定の閾値以上である画素からなる領域を固有筋層領域であると特定する。また、特定部１５は、がん領域であると特定した領域のうち、固有筋層ではない領域を、がん領域の固有筋層領域に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）であると特定する。

ステップＳ２４において、表示制御部１６は、ステップＳ２３において特定された各領域及び部分を識別可能に表示する制御を行う。表示制御部１６は、例えば図７に示すように、がん領域、固有筋層領領域及びがん領域の固有筋層領域に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）が存在する範囲をそれぞれ示す、色分けされたラベル画像を対象画像に重畳して表示する制御を表示部４４に対して行う。

以上のように、開示の技術の実施形態に係る情報処理装置１０は、推定モデル３０を学習させる学習フェーズにおいて、複数の領域（がん領域２０１、固有筋層領域２０２、直腸間膜領域２０３）をそれぞれ含む複数の学習用画像のうちの少なくとも一部である第１の学習用画像２１に上記複数の領域の各々が存在する範囲を示す範囲情報２２（２２Ａ、２２Ｂ、２２Ｃ）を付与した複数の第１の学習用データ２０を取得する。情報処理装置１０は、上記複数の学習用画像のうちの少なくとも一部である第２の学習用画像２４に上記複数の領域の関係性を示す関係情報ｔ_ｋを付与した複数の第２の学習用データ２３を取得する。情報処理装置１０は、第１の学習用画像２１の各々について、推定モデル３０を用いて特定される上記複数の領域が、範囲情報２２（２２Ａ、２２Ｂ、２２Ｃ）と整合するように推定モデル３０を学習させるための第１の評価値Ｅ１を算出する。情報処理装置１０は、第２の学習用画像２４の各々について、推定モデル３０を用いて関係情報ｔ_ｋによって示される関係性を推定した推定情報ｙ_ｋを導出する。情報処理装置１０は、推定情報ｙ_ｋと関係情報ｔ_ｋとの乖離の程度を示す第２の評価値Ｅ２を算出する。情報処理装置１０は、第１の評価値Ｅ１及び第２の評価値Ｅを要素として含む損失Ｌが小さくなるように推定モデル３０を学習させる。

一般的に、対象画像に含まれる複数の領域についてセグメンテーションを行う推定モデルを学習させるためには、セグメンテーションの対象となる複数の領域を含む学習用画像に、これらの各領域が存在する範囲を示す範囲情報を正解マスクとして付与した学習用データ（本実施形態に係る第１の学習用データ）を大量に用意する必要がある。しかしながら、学習用画像に範囲情報を付与する作業には時間及び技能が必要とされるため、そのような学習用データを大量に用意することは容易ではない。

開示の技術の実施形態に係る情報処理装置１０は、第１の学習用画像２１に正解マスクとしての範囲情報２２（２２Ａ、２２Ｂ、２２Ｃ）を付与した第１の学習用データ２０のみならず、第２の学習用画像２４に正解ラベルとしての関係情報ｔ_ｋを付与した第２の学習用データ２３を用いて推定モデル３０を学習させる。従って、第１の学習用データ２０の数が比較的少ない場合においても、第２の学習用データ２３によって補完されるので、推定モデル３０の学習を適切に行うことが可能となる。関係情報ｔ_ｋは、第２の学習用画像２４に含まれる複数の領域が、所定の関係性を有しているか否かを示す情報であり、範囲情報２２（２２Ａ、２２Ｂ、２２Ｃ）と比較して、取得及び学習用画像への付与が容易である。すなわち、推定モデル３０の学習に必要十分な量の第２の学習用データ２３を用意することは、比較的容易である。

また、開示の技術の実施形態に係る情報処理装置１０によれば、第２の学習用データ２３を用いることで、セグメンテーションの対象となる複数の領域の包含関係を制約条件として推定モデル３０を学習させるので、第１の学習用データ２０のみを用いて推定モデル３０を学習させる場合と比較して、特異度（一部包含関係ではない症例について、一部包含関係ではないもとして正しく判定する確率）を向上させることができる。

また、開示の技術の実施形態に係る情報処理装置１０は、学習済みの推定モデル３０を運用する運用フェーズにおいて、第１の領域及び第２の領域を含む対象画像を取得し、推定モデル３０を用いて、第１の領域、第２の領域及び第１の領域の第２の領域に包含されていない部分のうちの少なくとも１つを特定し、特定した領域又は部分を識別可能に表示する制御を行う。情報処理装置１０によれば、例えば、がん領域の周辺組織への浸潤の有無及び浸潤している範囲を可視化することが可能となる。

なお、以上の説明では、医療用画像に含まれるがん領域及び固有筋層領域についてセグメンテーションを行う場合を例示したが、がん領域以外の病変領域及び固有筋層領域以外の生体組織領域についてセグメンテーションを行う場合にも開示の技術を適用することが可能である。また、対象画像が医療用画像である場合を例示したが、これに限定されるものではない。例えば、顕微鏡画像及び製造ラインの検査工程で用いられる検査画像等に含まれる複数の領域についてセグメンテーションを行う場合に開示の技術を適用することも可能である。

また、以上の説明では、学習用画像に、範囲情報２２及び関係情報ｔ_ｋのいずれか一方を付与した学習用データを用いる場合を例示したが、学習用画像に、範囲情報２２及び関係情報ｔ_ｋの双方を付与した学習用データを用いることも可能である。この場合、第１の学習用データ２０及び第２の学習用データ２３の一方が、他方を兼ねることができる。

［第２の実施形態］
上記した第１の実施形態においては、関係情報ｔ_ｋによって示される関係性が、第２の学習用画像２４に含まれる複数の領域の包含関係であり、関係情報ｔ_ｋが、第２の学習用画像２４において、がん領域２０１が固有筋層領域２０２に包含されていない部分が含まれているか否かを示す情報である場合を例示した。第２の実施形態においては、関係情報ｔ_ｋによって示される関係性は、第２の学習用画像２４に含まれる複数の領域（第１の領域及び第２の領域）の各々が備える特定の要素における大小関係であり、関係情報ｔ_ｋが第１の領域における特定の要素が、第２の領域における特定の要素よりも大きいか否かを示す情報とされる。特定の要素は、第２の学習用画像２４から認識できる要素であれば特に限定されるものではなく、例えば、体積、輝度、体積当たりの表面積などが挙げられる。

第２の学習用データ２３において、第１の領域における特定の要素が、第２の領域における特定の要素よりも小さい第２の学習用画像２４に対しては、関係情報ｔ_ｋとして「０」が付与される。一方、第２の学習用データ２３において、第１の領域における特定の要素が、第２の領域における特定の要素よりも大きい第２の学習用画像２４に対しては、関係情報ｔ_ｋとして「１」が付与される。

第２の評価値算出部１３は、取得部１１が取得した複数の第２の学習用データ２３を用いて推定モデル３０を学習させるための第２の評価値Ｅ２を算出する。本実施形態に係る第２の学習用データ２３を用いた学習においては、第１の領域及び第２の領域がそれぞれ備える特定の要素の大小関係を制約条件とする学習が行われる。以下において、本実施形態に係る第２の評価値Ｅ２の算出処理について詳細に説明する。

第２の評価値算出部１３は、第２の評価値Ｅ２を算出するにあたり、第２の学習用画像２４の各々について、推定モデル３０を用いて、関係情報ｔ_ｋによって示される関係性を推定した推定情報ｙ_ｋを導出する。すなわち、第２の評価値算出部１３は、推定モデル３０を用いて、第２の学習用画像２４において、「第１の領域における特定の要素が、第２の領域における特定の要素よりも大きいか否か」について推定した結果を推定情報ｙ_ｋとして導出する。具体的には、第２の評価値算出部１３は、第２の学習用画像２４において、第１の領域における特定の要素が、第２の領域における特定の要素よりも大きい確率を推定情報ｙ_ｋとして導出する。以下において、推定情報ｙ_ｋを導出する方法について説明する。

第２の評価値算出部１３は、取得部１１が取得した第２の学習用画像２４を推定モデル３０に入力する。推定モデル３０は、入力された第２の学習用画像２４について画素毎にセグメンテーションを行い、第１の領域及び第２の領域を特定する。例えば、推定モデル３０を用いて、第２の学習用画像２４の各画素について、当該画素が第１の領域である確率Ｐ_ａ及び当該画素が第２の領域である確率Ｐ_ｂを算出し、確率Ｐ_ａが閾値以上である画素からなる領域を第１の領域として特定し、確率Ｐ_ｂが閾値以上である画素からなる領域を第２の領域として特定してもよい。

第２の評価値算出部１３は、特定した第１の領域における特定の要素の大きさＦ_Ａ及び特定した第２の領域における特定の要素の大きさＦ_Ｂを導出する。Ｆ_Ａ及びＦ_Ｂは、第２の学習用画像２４を解析することで導出することが可能である。

第２の評価値算出部１３は、第２の学習用画像２４の各々について、Ｆ_ＡとＦ_Ｂの差分に応じた値を推定情報ｙ_ｋ（第１の領域における特定の要素が、第２の領域における特定の要素よりも大きい確率）として導出する。第２の評価値算出部１３は、例えば、ｓｉｇｍｏｉｄ｛（Ｆ_Ａ－Ｆ_Ｂ）／（Ｆ_Ａ＋Ｆ_Ｂ）｝を推定情報ｙ_ｋとして導出してもよい。但しｓｉｇｍｏｉｄ（ｘ）＝１／（１＋ｅ^－ｘ）である。

第２の評価値算出部１３は、上記のようにして導出した推定情報ｙ_ｋと正解ラベルとしての関係情報ｔ_ｋとの乖離の程度を示す第２の評価値Ｅ２を算出する。第２の評価値Ｅ２は、例えば、上記の（２）式によって示されるものを使用することが可能である。学習部１７は、第１の評価値Ｅ１及び第２の評価値Ｅ２を要素として含む損失Ｌが小さくなるように推定モデル３０を学習させる。なお、第１の評価値Ｅ１は、第１の実施形態と同様に算出することが可能である。

図１２は、第２の実施形態に係る第２の評価値Ｅ２の算出処理の詳細を示すフローチャートである。以下において、第２の実施形態に係る第２の評価値Ｅ２の算出処理を、図１２を参照しつつ説明する。

ステップＳ３１において、第２の評価値算出部１３は、第２の学習用画像の各々について、推定モデル３０を用いて、第１の領域及び第２の領域を特定する。

ステップＳ３２において、第２の評価値算出部１３は、第２の学習用画像の各々について、第１の領域における特定の要素の大きさＦ_Ａ及び第２の領域における特定の要素の大きさＦ_Ｂを導出する。

ステップＳ３３において、第２の評価値算出部１３は、第２の学習用画像の各々について、推定情報ｙ_ｋとして、ｓｉｇｍｏｉｄ｛（Ｆ_Ａ－Ｆ_Ｂ）／（Ｆ_Ａ＋Ｆ_Ｂ）｝を導出する。

ステップＳ３４において、第２の評価値算出部１３は、ステップＳ３３において導出された推定情報ｙ_ｋと関係情報ｔ_ｋとの乖離の程度を示す第２の評価値Ｅ２を算出する。第２の評価値Ｅ２は、例えば、上記の（２）式によって示されるものを使用することが可能である。

本実施形態に係る情報処理装置１０によれば、第１の実施形態と同様、第１の学習用データ２０の数が比較的少ない場合においても、第２の学習用データ２３によって補完されるので、推定モデル３０の学習を適切に行うことが可能となる。

［第３の実施形態］
上記した第１の実施形態においては、関係情報ｔ_ｋによって示される関係性が、第２の学習用画像２４に含まれる複数の領域の包含関係であり、関係情報ｔ_ｋが、第２の学習用画像２４において、がん領域２０１が固有筋層領域２０２に包含されていない部分が含まれているか否かを示す情報である場合を例示した。第３の実施形態においては、関係情報ｔ_ｋによって示される関係性は、第２の学習用画像２４に含まれる複数の領域（第１の領域及び第２の領域）の位置関係であり、関係情報ｔ_ｋが第２の学習用画像２４において、第１の領域が第２の領域に対して特定の方向に位置しているか否かを示す情報とされる。特定の方向は、例えば上下左右方向である。以下の説明においては、特定の方向が、右方向である場合を例に説明する。

第２の学習用データ２３において、第１の領域が第２の領域に対して右方向に位置している第２の学習用画像２４に対しては、関係情報ｔ_ｋとして「１」が付与される。一方、第２の学習用データ２３において、第１の領域が第２の領域に対して右方向に位置していない第２の学習用画像２４に対しては、関係情報ｔ_ｋとして「０」が付与される。

第２の評価値算出部１３は、取得部１１が取得した複数の第２の学習用データ２３を用いて推定モデル３０を学習させるための第２の評価値Ｅ２を算出する。本実施形態に係る第２の学習用データ２３を用いた学習においては、第１の領域及び第２の領域の位置関係を制約条件とする学習が行われる。以下において、本実施形態に係る第２の評価値Ｅ２の算出処理について詳細に説明する。

第２の評価値算出部１３は、第２の評価値Ｅ２を算出するにあたり、第２の学習用画像２４の各々について、推定モデル３０を用いて、関係情報ｔ_ｋによって示される関係性を推定した推定情報ｙ_ｋを導出する。すなわち、第２の評価値算出部１３は、推定モデル３０を用いて第２の学習用画像２４において、「第１の領域が第２の領域に対して右方向に位置しているか否か」について推定した結果を推定情報ｙ_ｋとして導出する。具体的には、第２の評価値算出部１３は、第２の学習用画像２４において、第１の領域が第２の領域に対して右方向に位置している確率を推定情報ｙ_ｋとして導出する。以下において、推定情報ｙ_ｋを導出する方法について説明する。

第２の評価値算出部１３は、取得部１１が取得した第２の学習用画像２４を推定モデル３０に入力する。推定モデル３０は、入力された第２の学習用画像２４について画素毎にセグメンテーションを行う。具体的には、推定モデル３０は、第２の学習用画像２４の各画素について、当該画素が第１の領域である確率Ｐ_ａ及び当該画素が第２の領域である確率Ｐ_ｂを算出する。

第２の評価値算出部１３は、確率Ｐ_ｂが閾値以上である画素のうち右側の端部の画素に対して右側に位置する領域を候補領域として設定する。第２の評価値算出部１３は、設定した候補領域内における各画素について算出した確率Ｐ_ａに基づいて算出される値を、当該第２の学習用画像２４における推定情報ｙ_ｋ（第１の領域が第２の領域に対して右方向に位置している確率）として導出する。第２の評価値算出部１３は、例えば、候補領域内における各画素について算出した確率Ｐ_ａのうちの最大値を、当該第２の学習用画像２４における推定情報ｙ_ｋとして導出してもよい。

第２の評価値算出部１３は、上記のようにして導出した推定情報ｙ_ｋと正解ラベルとしての関係情報ｔ_ｋとの乖離の程度を示す第２の評価値Ｅ２を算出する。第２の評価値Ｅ２は、例えば、上記の（２）式によって示されるものを使用することが可能である。学習部１７は、第１の評価値Ｅ１及び第２の評価値Ｅ２を要素として含む損失Ｌが小さくなるように推定モデル３０を学習させる。なお、第１の評価値Ｅ１は、第１の実施形態と同様に算出することが可能である。

図１３は、第３の実施形態に係る第２の評価値Ｅ２の算出処理の詳細を示すフローチャートである。以下において、第３の実施形態に係る第２の評価値Ｅ２の算出処理を、図１３を参照しつつ説明する。

ステップＳ４１において、第２の評価値算出部１３は、第２の学習用画像２４の各々の各画素について、推定モデル３０を用いて、当該画素が第１の領域である確率Ｐ_ａ、当該画素が第２の領域である確率Ｐ_ｂを算出する。

ステップＳ４２において、第２の評価値算出部１３は、第２の学習用画像２４の各々について、確率Ｐ_ｂが閾値以上である画素のうちの右側の端部の画素に対して右側に位置する候補領域を設定する。

ステップＳ４３において、第２の評価値算出部１３は、第２の学習用画像の各々について、候補領域内の各画素について算出した確率Ｐ_ａに基づいて算出される値を推定情報ｙ_ｋとして導出する。第２の評価値算出部１３は、例えば、候補領域内における各画素について算出した確率Ｐ_ａのうちの最大値を、当該第２の学習用画像２４における推定情報ｙ_ｋとして導出してもよい。

ステップＳ４４において、第２の評価値算出部１３は、ステップＳ４３において導出された推定情報ｙ_ｋと関係情報ｔ_ｋとの乖離の程度を示す第２の評価値Ｅ２を算出する。第２の評価値Ｅ２は、例えば、上記の（２）式によって示されるものを使用することが可能である。

本実施形態に係る情報処理装置１０によれば、第１の実施形態と同様、第１の学習用データ２０の数が比較的少ない場合においても、第２の学習用データ２３によって補完されるので、推定モデル３０の学習を適切に行うことが可能となる。

上記の各実施形態において、例えば、取得部１１、第１の評価値算出部１２、第２の評価値算出部１３、学習部１７、取得部１４、特定部１５及び表示制御部１６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

また、上記実施形態では、学習プログラム５１及び画像認識プログラム５２が記憶部４３に予め記憶（インストール）されている態様を説明したが、これに限定されない。学習プログラム５１及び画像認識プログラム５２は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、学習プログラム５１及び画像認識プログラム５２は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

なお、２０２０年９月２９日に出願された日本国特許出願２０２０－１６３８７２の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (15)

1. 少なくとも１つのプロセッサを備えた情報処理装置であって、
   前記プロセッサは、
   複数の領域をそれぞれ含む複数の学習用画像のうちの少なくとも一部である第１の学習用画像に前記複数の領域の各々が存在する範囲を示す範囲情報を付与した複数の第１の学習用データ及び前記複数の学習用画像のうちの少なくとも一部である第２の学習用画像に前記複数の領域の関係性を示す関係情報を付与した複数の第２の学習用データを取得し、
   前記第１の学習用画像の各々について、推定モデルを用いて特定される前記複数の領域が、前記範囲情報と整合するように前記推定モデルを学習させるための第１の評価値を算出し、
   前記第２の学習用画像の各々について、前記推定モデルを用いて前記関係情報によって示される関係性を推定した推定情報を導出し、前記推定情報と前記関係情報との乖離の程度を示す第２の評価値を算出し、
   前記第１の評価値及び前記第２の評価値を要素として含む損失が小さくなるように前記推定モデルを学習させる
   情報処理装置。
2. 前記複数の領域の関係性は、前記複数の領域の包含関係である
   請求項１に記載の情報処理装置。
3. 前記複数の学習用画像は、それぞれ、第１の領域及び前記第１の領域の少なくとも一部を包含する第２の領域を含み、
   前記関係情報は、前記第２の学習用画像において、前記第１の領域が前記第２の領域に包含されていない部分を有しているか否かを示す情報であり、
   前記推定情報は、前記第２の学習用画像において、前記第１の領域が前記第２の領域に包含されていない部分を有している確率である
   請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記第２の学習用画像の各画素について、前記推定モデルを用いて、当該画素が前記第１の領域の前記第２の領域に包含されていない部分の画素である確率Ｐ_ｘを算出し、
   各画素について算出した前記確率Ｐ_ｘに基づいて算出される値を前記推定情報として導出する
   請求項３に記載の情報処理装置。
5. 前記学習用画像が医療用画像であり、
   前記第１の領域が病変領域であり、前記第２の領域が前記病変領域の少なくとも一部を包含する生体組織領域である
   請求項３又は請求項４に記載の情報処理装置。
6. 前記プロセッサは、
   前記第１の領域及び前記第２の領域を含む対象画像を取得し、
   前記推定モデルを用いて、前記第１の領域、前記第２の領域及び前記第１の領域の前記第２の領域に包含されていない部分のうちの少なくとも１つを特定し、
   特定した領域又は部分を識別可能に表示する制御を行う
   請求項３から請求項５のいずれか１項に記載の情報処理装置。
7. 前記複数の領域の関係性は、前記複数の領域の各々が備える特定の要素における大小関係である
   請求項１に記載の情報処理装置。
8. 前記複数の学習用画像は、それぞれ、第１の領域及び第２の領域を含み、
   前記関係情報は、前記第２の学習用画像において、前記第１の領域における前記要素が前記第２の領域における前記要素よりも大きいか否かを示す情報であり、
   前記推定情報は、前記第２の学習用画像において、前記第１の領域における前記要素が前記第２の領域における前記要素よりも大きい確率である
   請求項７に記載の情報処理装置。
9. 前記プロセッサは、
   前記第２の学習用画像の各々について、前記推定モデルを用いて、前記第１の領域及び前記第２の領域を特定し、
   前記第１の領域における前記要素の大きさＦ_Ａ及び前記第２の領域における前記要素の大きさＦ_Ｂを導出し、
   前記第１の領域における前記要素の大きさＦ_Ａと前記第２の領域における前記要素の大きさＦ_Ｂの差分に応じた値を前記推定情報として導出する
   請求項８に記載の情報処理装置。
10. 前記複数の領域の関係性は、前記複数の領域の位置関係である
    請求項１に記載の情報処理装置。
11. 前記複数の学習用画像は、それぞれ、第１の領域及び第２の領域を含み、
    前記関係情報は、前記第２の学習用画像において、前記第１の領域が前記第２の領域に対して特定の方向に位置しているか否かを示す情報であり、
    前記推定情報は、前記第２の学習用画像において、前記第１の領域が前記第２の領域に対して前記特定の方向に位置している確率である
    請求項１０に記載の情報処理装置。
12. 前記プロセッサは、
    前記第２の学習用画像における各画素について、前記推定モデルを用いて、当該画素が前記第１の領域である確率Ｐ_ａ、当該画素が前記第２の領域である確率Ｐ_ｂを算出し、
    前記確率Ｐ_ｂが閾値以上である画素のうち前記特定の方向の側の端部の画素に対して前記特定の方向に位置する候補領域を設定し、
    前記候補領域内の画素について算出した前記確率Ｐ_ａに基づいて算出される値を前記推定情報として導出する
    請求項１１に記載の情報処理装置。
13. 前記第２の評価値をＥ２、前記推定情報をｙ_Ｋ、前記関係情報をｔ_Ｋとしたとき、下記の（Ｉ）式を満たす
    請求項１から請求項１２のいずれか１項に記載の情報処理装置。
    Ｅ２＝Σ｛－ｔ_Ｋｌｏｇｙ_Ｋ－（１－ｔ_Ｋ）ｌｏｇ（１－ｙ_Ｋ）｝ ・・・ （Ｉ）
14. 複数の領域をそれぞれ含む複数の学習用画像のうちの少なくとも一部である第１の学習用画像に前記複数の領域の各々が存在する範囲を示す範囲情報を付与した複数の第１の学習用データ及び前記複数の学習用画像のうちの少なくとも一部である第２の学習用画像に前記複数の領域の関係性を示す関係情報を付与した複数の第２の学習用データを取得し、
    前記第１の学習用画像の各々について、推定モデルを用いて特定される前記複数の領域が、前記範囲情報と整合するように前記推定モデルを学習させるための第１の評価値を算出し、
    前記第２の学習用画像の各々について、前記推定モデルを用いて前記関係情報によって示される関係性を推定した推定情報を導出し、前記推定情報と前記関係情報との乖離の程度を示す第２の評価値を算出し、
    前記第１の評価値及び前記第２の評価値を要素として含む損失が小さくなるように前記推定モデルを学習させる
    処理を情報処理装置が備える少なくとも１つのプロセッサが実行する情報処理方法。
15. 複数の領域をそれぞれ含む複数の学習用画像のうちの少なくとも一部である第１の学習用画像に前記複数の領域の各々が存在する範囲を示す範囲情報を付与した複数の第１の学習用データ及び前記複数の学習用画像のうちの少なくとも一部である第２の学習用画像に前記複数の領域の関係性を示す関係情報を付与した複数の第２の学習用データを取得し、
    前記第１の学習用画像の各々について、推定モデルを用いて特定される前記複数の領域が、前記範囲情報と整合するように前記推定モデルを学習させるための第１の評価値を算出し、
    前記第２の学習用画像の各々について、前記推定モデルを用いて前記関係情報によって示される関係性を推定した推定情報を導出し、前記推定情報と前記関係情報との乖離の程度を示す第２の評価値を算出し、
    前記第１の評価値及び前記第２の評価値を要素として含む損失が小さくなるように前記推定モデルを学習させる
    処理を情報処理装置が備える少なくとも１つのプロセッサに実行させるための情報処理プログラム。