WO2022070573A1

WO2022070573A1 - 情報処理装置、情報処理方法及び情報処理プログラム

Info

Publication number: WO2022070573A1
Application number: PCT/JP2021/027589
Authority: WO
Inventors: 朗子流石
Original assignee: 富士フイルム株式会社
Priority date: 2020-09-29
Filing date: 2021-07-26
Publication date: 2022-04-07
Also published as: US20230230245A1; JPWO2022070573A1

Abstract

第１の領域及び第１の領域の少なくとも一部を包含する第２の領域をそれぞれ含む複数の学習用画像の各々に、第１の領域及び第２の領域が存在する範囲を示す範囲情報を付与した複数の学習用データを取得する。学習用画像の各画素について、当該画素が第１の領域の第２の領域に包含されていない部分である確率を、推定モデルを用いて算出する。複数の学習用画像の各々について上記の確率の和である確率和を算出する。第１の領域が第２の領域に包含されていない部分を有する学習用画像の各々について算出される確率和が大きくなり且つ第１の領域が第２の領域に包含されていない部分を有さない学習用画像の各々について算出される確率和がゼロになるように推定モデルを学習させる。

Description

情報処理装置、情報処理方法及び情報処理プログラム

　開示の技術は情報処理装置、情報処理方法及び情報処理プログラムに関する。

　画像中に含まれる物体が何であるかを、画素単位で認識するセグメンテーションに関する技術として、以下の技術が知られている。

　例えば、特開２０１７－０４９８９１号公報には、画像に含まれる対象物体の領域を特定する方法が記載されている。この方法は、下記の処理を含む。複数の画像の各々から対象物体の候補領域を抽出する。抽出された候補領域の各々から特徴量を抽出し、同じ画像から抽出された候補領域のペアの各々に対し、候補領域間の重複度を算出する。候補領域の集合から抽出された部分集合である物体領域集合に基づいて、対象物体を表すか否かを識別するためのモデルを推定する。候補領域の各々に対して抽出された特徴量と、候補領域のペアの各々に対して算出された重複度と、推定されたモデルとに基づいて、物体領域集合に含まれる同じ画像における候補領域間の重複度合いを表す関数を含む目的関数を最適化するように、候補領域の集合から物体領域集合を抽出する。

　機械学習によって学習された推定モデルを用いた画像認識技術の医療分野での活用例として、画像診断支援が知られている。例えば、直腸がんでは、がんが腸管の内腔から発生し、進行するにつれて外側の組織へと浸潤する。がんが周辺組織にまで浸潤しているか否かで治療方針や手術で切除する領域が変わる。このため手術前の診断では、がん領域と周辺組織領域との包含関係を知ることが重要である。ＭＲＩ（Magnetic Resonance Imaging）画像及びＣＴ（Computed Tomography）画像等の医療用画像からがん領域と周辺組織領域との包含関係を特定することは、専門性が必要とされ、作業負担が大きい。このため、機械学習によって学習されたニューラルネットワーク等の推定モデルを用いて、周辺組織へのがんの浸潤の有無を適切に判定し、浸潤が認められる場合には浸潤している範囲を正しく可視化することが求められている。

　ここで、図１Ａは、領域１０１及び領域１０２の包含関係が、完全包含関係にある状態の一例を示す図である。本明細書において、「完全包含関係」とは、一方の領域の全ての部分が他方の領域に包含されている関係をいう。図１Ｂは、領域１０１及び領域１０２の包含関係が一部包含関係の状態の一例を示す図である。本明細書において「一部包含関係」とは、一方の領域の一部分のみが他方の領域に包含されている関係をいう。すなわち、２つの領域が一部包含関係にある場合、一方の領域は、他方の領域に包含されていない部分を有することになる。

　図２Ａ及び図２Ｂは、それぞれ直腸がんの症例を示す断層画像である。これらの断層画像には、がん領域２０１、固有筋層領域２０２及び直腸間膜領域２０３が含まれている。図２Ａは、がん領域２０１と固有筋層領域２０２とが完全包含関係にある症例、すなわち、がん領域２０１が直腸間膜領域２０３に浸潤していない初期のがんの症例である。図２Ｂは、がん領域２０１と固有筋層領域２０２とが一部包含関係にある症例、すなわち、がん領域２０１が直腸間膜領域２０３に浸潤している進行したがんの症例である。

　推定モデルを用いて、がん領域２０１の直腸間膜領域２０３への浸潤の有無を適切に判定し、浸潤が認められる場合には浸潤している範囲を正しく可視化するためには、推定モデルが、セグメンテーションの対象となるがん領域２０１と固有筋層領域２０２との包含関係を適切に特定しつつ、これらの領域のセグメンテーションを適切に行うことが必要となる。

　開示の技術は、上記の点に鑑みてなされたものであり、推定モデルが、セグメンテーションの対象となる複数の領域について、包含関係を適切に特定しつつセグメンテーションを適切に行うように、推定モデルを学習させることを目的とする。

　開示の技術に係る情報処理装置は、少なくとも１つのプロセッサを備える。プロセッサは、第１の領域及び第１の領域の少なくとも一部を包含する第２の領域をそれぞれ含む複数の学習用画像の各々に、第１の領域及び第２の領域が存在する範囲を示す範囲情報を付与した複数の学習用データを取得する。プロセッサは、学習用画像の各画素について、当該画素が第１の領域の第２の領域に包含されていない部分である確率を、推定モデルを用いて算出し、複数の学習用画像の各々について上記の確率の和である確率和を算出する。プロセッサは、第１の領域が第２の領域に包含されていない部分を有する学習用画像の各々について算出される確率和が大きくなり且つ第１の領域が第２の領域に包含されていない部分を有さない学習用画像の各々について算出される確率和がゼロとなるように推定モデルを学習させる。

　プロセッサは、第１の領域が第２の領域に包含されていない部分を有する学習用画像の各々について算出される確率和の平均値である第１の平均値を分母に含み、第１の領域が第２の領域に包含されていない部分を有さない学習用画像の各々について算出される確率和の平均値である第２の平均値を分子に含む評価値を要素の１つとして含む損失が小さくなるように推定モデルを学習させてもよい。

　評価値をＥ１、第１の平均値をＡ１、第２の平均値をＡ２、所定の定数をα及びβとしたとき、下記の（Ｉ）式を満たし得る。
Ｅ１＝（Ａ２＋α）／（Ａ１＋Ａ２＋β）　・・・（Ｉ）

　推定モデルが、学習用画像の各画素について、当該画素が第１の領域である確率Ｐ_ａ及び当該画素が第２の領域である確率Ｐ_ｂを算出し、当該画素が第１の領域の第２の領域に包含されていない部分である確率としてＰ_ａ×（１－Ｐ_ｂ）を算出してもよい。

　学習用画像が医療用画像であってもよい。この場合、第１の領域が病変領域であり、第２の領域が病変領域の少なくとも一部を包含する生体組織領域であってもよい。

　プロセッサは、第１の領域及び第２の領域を含む対象画像を取得し、推定モデルを用いて、第１の領域、第２の領域及び第１の領域の第２の領域に包含されていない部分のうちの少なくとも１つを特定し、特定した領域又は部分を識別可能に表示する制御を行ってもよい。

　上記の確率和に代えて、第１の領域の第２の領域に包含されていない部分である確率が閾値以上である画素の数を用いることが可能である。

　開示の技術に係る情報処理方法は、第１の領域及び第１の領域の少なくとも一部を包含する第２の領域をそれぞれ含む複数の学習用画像の各々に、第１の領域及び第２の領域が存在する範囲を示す範囲情報を付与した複数の学習用データを取得し、学習用画像の各画素について、当該画素が第１の領域の第２の領域に包含されていない部分である確率を、推定モデルを用いて算出し、複数の学習用画像の各々について上記の確率の和である確率和を算出し、第１の領域が第２の領域に包含されていない部分を有する学習用画像の各々について算出される確率和が大きくなり且つ第１の領域が第２の領域に包含されていない部分を有さない学習用画像の各々について算出される確率和がゼロになるように推定モデルを学習させる処理を、情報処理装置が備える少なくとも１つのプロセッサが実行する、というものである。

　開示の技術に係る情報処理プログラムは、第１の領域及び第１の領域の少なくとも一部を包含する第２の領域をそれぞれ含む複数の学習用画像の各々に、第１の領域及び第２の領域が存在する範囲を示す範囲情報を付与した複数の学習用データを取得し、学習用画像の各画素について、当該画素が第１の領域の第２の領域に包含されていない部分である確率を、推定モデルを用いて算出し、複数の学習用画像の各々について上記の確率の和である確率和を算出し、第１の領域が第２の領域に包含されていない部分を有する学習用画像の各々について算出される確率和が大きくなり且つ第１の領域が第２の領域に包含されていない部分を有さない学習用画像の各々について算出される確率和がゼロになるように推定モデルを学習させる処理を、情報処理装置が備える少なくとも１つのプロセッサに実行させるためのプログラムである。

　開示の技術によれば、推定モデルが、セグメンテーションの対象となる複数の領域について、包含関係を適切に特定しつつセグメンテーションを適切に行うように、推定モデルを学習させることが可能となる。

複数の領域が完全包含関係にある場合を示す図である。複数の領域が一部包含関係にある場合を示す図である。直腸がんの症例を示す断層画像である。直腸がんの症例を示す断層画像である。開示の技術の実施形態に係る情報処理装置の学習フェーズにおける機能的な構成の一例を示す図である。開示の技術の実施形態に係る学習用データの一例を示す図である。開示の技術の実施形態に係る情報処理装置の運用フェーズにおける機能的な構成の一例を示す図である。開示の技術の実施形態に係る情報処理装置における表示制御の一例を示す図である。開示の技術の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。開示の技術の実施形態に係る学習処理の流れの一例を示すフローチャートである。図９は、開示の技術の実施形態に係る画像認識処理の流れの一例を示すフローチャートである。

　以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素及び部分には同一の参照符号を付与し、重複する説明は適宜省略する。

　図３は、開示の技術の実施形態に係る情報処理装置１０の学習フェーズにおける機能的な構成の一例を示す図である。情報処理装置１０は、学習フェーズにおいて、機械学習によって推定モデル３０を学習させる処理を行う。情報処理装置１０は、推定モデル３０が、処理対象の画像（以下、対象画像という）に含まれる複数の領域の包含関係を適切に特定しつつ複数の領域のセグメンテーションを適切に行うように、推定モデル３０を学習させる。情報処理装置１０は、取得部１１、学習部１２及び記憶部４３を備える。記憶部４３には、複数の学習用データ２０及び推定モデル３０が記憶されている。

　取得部１１は、記憶部４３に記憶されている複数の学習用データ２０を取得する。図４は、学習用データ２０の一例を示す図である。学習用データ２０は、完全包含関係又は一部包含関係を有する複数の領域を含む学習用画像２１に、各領域が存在する範囲を示す範囲情報２２を正解マスクとして付与したデータである。

　図４には、医療用画像である直腸がんの症例を示す断層画像を学習用画像２１として用いた場合が例示されている。学習用画像２１には、がん領域２０１、固有筋層領域２０２及び直腸間膜領域２０３が含まれている。がん領域２０１及び固有筋層領域２０２は、完全包含関係又は一部包含関係を有する。なお、がん領域２０１は、開示の技術における第１の領域の一例であり、固有筋層領域２０２は開示の技術における第２の領域の一例である。

　学習用データ２０は、がん領域２０１が存在する範囲を示す範囲情報２２Ａ、固有筋層領域２０２が存在する範囲を示す範囲情報２２Ｂ、直腸間膜領域２０３が存在する範囲を示す範囲情報２２Ｃを正解マスクとして学習用画像２１に付与したデータである。学習用画像２１に含まれるがん領域２０１と固有筋層領域２０２との包含関係が完全包含関係である場合、範囲情報２２Ａによって示されるがん領域が存在する範囲の全てが、範囲情報２２Ｂによって示される固有筋層領域が存在する範囲内に含まれることになる。一方、学習用画像２１に含まれるがん領域２０１と固有筋層領域２０２との包含関係が一部包含関係である場合、範囲情報２２Ａによって示されるがん領域が存在する範囲の一部が、範囲情報２２Ｂによって示される固有筋層領域が存在する範囲内に含まれないことになる。また、学習用画像２１において、がん領域２０１の固有筋層領域２０２内に包含されている部分の各画素には、これらの領域の双方が正解として割り当てられることになる。

　学習用データ２０は、完全包含関係を有する複数の領域を含む学習用画像２１及び一部包含関係を有する複数の領域を含む学習用画像２１の双方を含んで構成されている。

　学習部１２は、取得部１１が取得した学習用データ２０を用いて推定モデル３０を学習させる。推定モデル３０は、複数の領域を含む対象画像について、画素（ボクセル又はピクセル）単位でセグメンテーションを行うように構築された数理モデルである。推定モデル３０は、対象画像に含まれる複数の領域の包含関係を特定しつつセグメンテーションを行う。すなわち、推定モデル３０は、ある領域が他の領域に包含されている部分の画素に対して、複数の領域を割り当てる。推定モデル３０は、例えばニューラルネットワークを構成するものであってもよい。

　学習部１２は、学習用画像２１の各画素について、当該画素ががん領域２０１の固有筋層領域２０２に包含されていない部分である確率Ｐ_ｘを、推定モデル３０を用いて算出する。がん領域２０１の固有筋層領域２０２に包含されていない部分は、直腸間膜領域２０３に浸潤したがん領域又は直腸間膜領域２０３を越えて更に外側にまで浸潤したがん領域である。学習部１２は、確率Ｐ_ｘの算出を例えば以下のようにして行う。

　学習部１２は、取得部１１が取得した学習用画像２１を推定モデル３０に入力する。推定モデル３０は、入力された学習用画像２１について画素毎にセグメンテーションを行う。具体的には、推定モデル３０は、学習用画像２１の各画素について、当該画素ががん領域２０１である確率Ｐ_ａ及び当該画素が固有筋層領域２０２である確率Ｐ_ｂを算出する。推定モデル３０は、更に、学習用画像２１の各画素について、当該画素ががん領域２０１の固有筋層領域２０２に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）である確率Ｐ_ｘとしてＰ_ａ×（１－Ｐ_ｂ）を算出する。すなわち、確率Ｐ_ｘは、がん領域２０１であり且つ固有筋層領域２０２でない確率として算出される。推定モデル３０は、複数の学習用画像２１の各々の各画素について、確率Ｐ_ａ、Ｐ_ｂ、及びＰ_ｘを算出する。

　学習部１２は、複数の学習用画像２１の各々について、確率Ｐ_ｘの和である確率和ΣＰ_ｘを算出する。確率和ΣＰ_ｘは、当該学習用画像２１における、がん領域２０１の固有筋層領域２０２に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）の体積（又は面積）に応じた値となる。推定モデル３０が理想的である場合、がん領域２０１及び固有筋層領域２０２の包含関係が一部包含関係である学習用画像２１について算出される確率和ΣＰ_ｘはゼロよりも大きい比較的大きな値となるはずである。また、がん領域２０１及び固有筋層領域２０２の包含関係が完全包含関係である学習用画像２１について算出される確率和ΣＰ_ｘはゼロとなるはずである。そこで学習部１２は、がん領域２０１及び固有筋層領域２０２の包含関係が一部包含関係である学習用画像２１の各々について算出される確率和ΣＰ_ｘがゼロよりも大きい比較的大きな値となり、がん領域２０１及び固有筋層領域２０２の包含関係が完全包含関係である学習用画像２１について算出される確率和ΣＰ_ｘがゼロになるように推定モデル３０を学習させる。

　具体的には、学習部１２は、下記の（１）式によって示される評価値Ｅ１を要素の１つとして含む損失Ｌが小さくなるように推定モデル３０を学習させる。（１）式において、Ａ１は、がん領域２０１及び固有筋層領域２０２の包含関係が一部包含関係である学習用画像２１の各々について算出される確率和ΣＰ_ｘの平均値であり、Ａ２は、がん領域２０１及び固有筋層領域２０２の包含関係が完全包含関係である学習用画像２１の各々について算出される確率和ΣＰ_ｘの平均値であり、α及びβは定数である。αとβは同じ値であってもよい。平均値Ａ１は、がん領域２０１及び固有筋層領域２０２の包含関係が一部包含関係である学習用画像２１の各々について算出される確率和ΣＰ_ｘの合計値を、これらの画像の枚数で除算した値を用いることができる。平均値Ａ２は、がん領域２０１及び固有筋層領域２０２の包含関係が完全包含関係である学習用画像２１の各々について算出される確率和ΣＰ_ｘの合計値を、これらの画像の枚数で除算した値を用いることができる。なお、平均値Ａ１は、開示の技術における第１の平均値の一例であり、平均値Ａ２は、開示の技術における第２の平均値の一例である。
Ｅ１＝（Ａ２＋α）／（Ａ１＋Ａ２＋β）　・・・（１）

　下記の（２）式は、（１）式によって示される評価値Ｅ１を要素の１つとして含む損失Ｌの一例である。（２）式において、評価値Ｅ２は、損失Ｌの他の要素であり、Ｗ１は評価値Ｅ１に対する重み定数であり、Ｗ２は評価値Ｅ２に対する重み定数である。評価値Ｅ１は、主として領域間の包含関係の推定精度を向上させる役割を担い、評価値Ｅ２は、主としてセグメンテーションの精度を向上させる役割を担う。
Ｌ＝Ｅ１×Ｗ１＋Ｅ２×Ｗ２　・・・（２）

　下記の（３）式は、評価値Ｅ２の一例である。（３）式に示すように、評価値Ｅ２としてsoft dice lossを用いることができる。（３）式において、Ｇ_ａは範囲情報２２Ａに基づく画素毎の正解値であり、がん領域２０１である画素について１が付与され、がん領域２０１ではない画素について０が付与される。Ｐ_ａは、推定モデル３０によって算出される、当該画素ががん領域２０１である確率である。Ｇ_ｂは範囲情報２２Ｂに基づく画素毎の正解値であり、固有筋層領域２０２である画素について１が付与され、固有筋層領域２０２ではない画素について０が付与される。Ｐ_ｂは、推定モデル３０によって算出される、当該画素が固有筋層領域２０２である確率である。Ｇ_ｃは範囲情報２２Ｃに基づく画素毎の正解値であり、直腸間膜領域２０３である画素について１が付与され、直腸間膜領域２０３ではない画素について０が付与される。Ｐ_ｃは、推定モデル３０によって算出される、当該画素が直腸間膜領域２０３である確率である。γ、δ及びεは、それぞれ、各クラス（がん領域２０１、固有筋層領域２０２及び直腸間膜領域２０３）に対する重み定数である。なお、評価値Ｅ２については、（３）式によって示されるsoft dice lossに限らず、セグメンテーション精度の向上に寄与する他のものを用いることも可能である。

　学習用画像２１に含まれるがん領域２０１及び固有筋層領域２０２の包含関係が、完全包含関係であるか一部包含関係であるかは、当該学習用画像２１に付与された正解マスクとしての範囲情報２２Ａ、２２Ｂによって把握することができる。推定モデル３０が理想的である場合、平均値Ａ１はゼロよりも大きい比較的大きな値となり、平均値Ａ２はゼロとなるはずである。従って、平均値Ａ１を分母に含み、平均値Ａ２を分子に含む評価値Ｅ１を要素の１つとして含む損失Ｌが小さくなるように推定モデル３０を学習させることで、がん領域２０１及び固有筋層領域２０２の包含関係を適切に特定しつつこれらの領域のセグメンテーションを適切に行う推定モデル３０を構築することができる。

　図５は、情報処理装置１０の運用フェーズにおける機能的な構成の一例を示す図である。情報処理装置１０は、運用フェーズにおいて、学習済みの推定モデル３０を運用して、対象画像に含まれる複数の領域についてセグメンテーションを行う。情報処理装置１０は、取得部１３、特定部１４及び表示制御部１５を有する。

　取得部１３は、セグメンテーションの対象となる複数の領域を含んだ対象画像を取得する。以下において、対象画像が図４に示す学習用画像２１に類似した断層画像であり、対象画像には、がん領域、固有筋層領域及び直腸間膜領域が含まれており、これらの各領域についてセグメンテーションを行う場合を例に説明する。

　特定部１４は、取得部１３が取得した対象画像を学習済みの推定モデル３０に入力する。推定モデル３０は、対象画像について画素毎にセグメンテーションを行う。具体的には、推定モデル３０は、対象画像の各画素について、当該画素ががん領域である確率Ｐ_ａ及び当該画素が固有筋層領域である確率Ｐ_ｂを算出する。推定モデル３０は、更に、対象画像の各画素について、当該画素ががん領域の固有筋層領域に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）である確率Ｐ_ｘとしてＰ_ａ×（１－Ｐ_ｂ）を算出する。

　特定部１４は、確率Ｐ_ａが所定の閾値以上である画素からなる領域をがん領域であると特定し、確率Ｐ_ｂが所定の閾値以上である画素からなる領域を固有筋層領域であると特定する。また、特定部１４は、確率Ｐ_ｘ（＝Ｐ_ａ×（１－Ｐ_ｂ））が所定の閾値以上である画素からなる領域を、がん領域の固有筋層領域に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）であると特定する。

　表示制御部１５は、特定部１４によって特定された各領域を識別可能に表示する制御を行う。例えば、表示制御部１５は、図６に示すように、がん領域、固有筋層領領域及びがん領域の固有筋層領域に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）が存在する範囲をそれぞれ示す、色分けされたラベル画像を対象画像に重畳して表示する制御を行う。なお、特定部１４は、がん領域、固有筋層領域及びがん領域の固有筋層領域に包含されていない部分の少なくとも１つを特定してもよい。この場合、表示制御部１５は、特定部１４によって特定された領域又は部分を識別可能に表示する制御を行う。

　図７は、情報処理装置１０のハードウェア構成の一例を示す図である。情報処理装置１０は、ＣＰＵ（Central Processing Unit）４１、一時記憶領域としてのメモリ４２、及び不揮発性の記憶部４３を備えている。また、情報処理装置１０は、液晶ディスプレイ等の表示デバイスによって構成される表示部４４、及びキーボード及びマウス等の入力デバイスによって構成される入力部４５を備えている。ＣＰＵ４１、メモリ４２、記憶部４３、表示部４４、及び入力部４５は、バス４６を介して接続されている。

　記憶部４３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等の不揮発性の記憶媒体によって実現される。記憶部４３には、学習用データ２０、推定モデル３０、学習プログラム５１、画像認識プログラム５２が格納されている。ＣＰＵ４１は、学習プログラム５１及び画像認識プログラム５２を、メモリ４２に展開した後に実行する。ＣＰＵ４１が学習プログラム５１を実行することにより、ＣＰＵ４１は、取得部１１及び学習部１２として機能する。また、ＣＰＵ４１が画像認識プログラム５２を実行することにより、ＣＰＵ４１は、取得部１３、特定部１４及び表示制御部１５として機能する。ＣＰＵ４１は、開示の技術におけるプロセッサの一例である。

　図８は、ＣＰＵ４１が、学習プログラム５１を実行することにより実施される学習処理の流れの一例を示すフローチャートである。ＣＰＵ４１は、例えば、学習フェーズにおいて、ユーザによって入力部４５を介して学習処理の実行指示が入力された場合に学習プログラム５１を実行する。

　ステップＳ１において、取得部１１は、記憶部４３に記憶されている複数の学習用データ２０を取得する。

　ステップＳ２において、学習部１２は、推定モデル３０を用いて、複数の学習用画像２１の各々の各画素について、当該画素ががん領域２０１である確率Ｐ_ａ、当該画素が固有筋層領域２０２である確率Ｐ_ｂ、当該画素ががん領域２０１の固有筋層領域２０２に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）である確率Ｐ_ｘ（＝Ｐ_ａ×（１－Ｐ_ｂ）を算出する。

　ステップＳ３において、学習部１２は、複数の学習用画像２１の各々について確率和ΣＰ_ｘを算出する。

　ステップＳ４において、学習部１２は、ステップＳ３において算出された確率和ΣＰ_ｘに基づいて（１）式によって示される評価値Ｅ１を要素の１つとして含む損失Ｌを算出する。損失Ｌは、例えば（２）式によって示されるものを使用することが可能であり、評価値Ｅ２は、例えば（３）式によって示されるものを使用することが可能である。

　ステップＳ５において、学習部１２は、ステップＳ４において算出された損失Ｌが最小となるように、推定モデル３０を学習させる。使用する学習用データ２０のセットを入れ換えながら、ステップＳ１～Ｓ５の処理を繰り返し実施することで、推定モデル３０が最適化される。

　図９は、ＣＰＵ４１が、画像認識プログラム５２を実行することにより実施される画像認識処理の流れの一例を示すフローチャートである。ＣＰＵ４１は、例えば、運用フェーズにおいて、ユーザによって入力部４５を介して画像認識処理の実行指示が入力された場合に画像認識プログラム５２を実行する。

　ステップＳ１１において、取得部１３は、対象画像を取得する。ステップＳ１２において、特定部１４は、学習済みの推定モデル３０を用いて、対象画像の各画素について、当該画素ががん領域である確率Ｐ_ａ、当該画素が固有筋層領域である確率Ｐ_ｂ、当該画素ががん領域の固有筋層領域に包含されていない部分（直腸間膜領域に浸潤したがん領域）である確率Ｐ_ｘ（＝Ｐ_ａ×（１－Ｐ_ｂ））を算出する。

　ステップＳ１３において、特定部１４は、確率Ｐ_ａが所定の閾値以上である画素からなる領域をがん領域であると特定し、確率Ｐ_ｂが所定の閾値以上である画素からなる領域を固有筋層領域であると特定する。また、特定部１４は、確率Ｐ_ｘ（＝Ｐ_ａ×（１－Ｐ_ｂ））が所定の閾値以上である画素からなる領域を、がん領域の固有筋層領域に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）であると特定する。

　ステップＳ１４において、表示制御部１５は、ステップＳ１３において特定された各領域を識別可能に表示する制御を行う。表示制御部１５は、例えば図６に示すように、がん領域、固有筋層領領域及びがん領域の固有筋層領域に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）が存在する範囲をそれぞれ示す、色分けされたラベル画像を対象画像に重畳して表示する制御を表示部４４に対して行う。

　以上のように、開示の技術の実施形態に係る情報処理装置１０は、推定モデル３０を学習させる学習フェーズにおいて、第１の領域（例えばがん領域）及び第１の領域の少なくとも一部を包含する第２の領域（例えば固有筋層領域）をそれぞれ含む複数の学習用画像２１の各々に、第１の領域及び第２の領域が存在する範囲を示す範囲情報２２Ａ、２２Ｂを付与した複数の学習用データ２０を取得する。情報処理装置１０は、学習用画像２１の各画素について、当該画素が第１の領域の第２の領域に包含されていない部分（例えば、がん領域の直腸間膜領域に浸潤した部分）である確率Ｐ_ｘ（＝Ｐ_ａ×（１－Ｐ_ｂ））を、推定モデル３０を用いて算出する。情報処理装置１０は、複数の学習用画像２１の各々について確率Ｐ_ｘの和である確率和ΣＰ_ｘを算出する。情報処理装置１０は、第１の領域が第２の領域に包含されていない部分を有する（すなわち、第１の領域及び第２の領域の包含関係が一部包含関係である）学習用画像２１の各々について算出される確率和ΣＰ_ｘが大きくなり且つ第１の領域が第２の領域に包含されていない部分を有さない（すなわち、第１の領域及び第２の領域の包含関係が完全包含関係である）学習用画像２１の各々について算出される確率和ΣＰ_ｘがゼロになるように推定モデル３０を学習させる。

　情報処理装置１０が、上記のように推定モデル３０を学習させることで、推定モデル３０は、対象画像に含まれる複数の領域について、包含関係を適切に特定しつつセグメンテーションを適切に行うことが可能となる。特に、確率Ｐ_ｘの要素を含む評価値Ｅ１を用いることで、特異度（一部包含関係ではない症例について、一部包含関係ではないものとして正しく判定する確率）を向上させることができる。

　また、開示の技術の実施形態に係る情報処理装置１０は、学習済みの推定モデル３０を運用する運用フェーズにおいて、第１の領域及び第２の領域を含む対象画像を取得し、学習済みの推定モデル３０を用いて、第１の領域、第２の領域及び第１の領域の第２の領域に包含されていない部分のうちの少なくとも１つを特定し、特定した領域又は部分を識別可能に表示する制御を行う。これにより、例えば、がん領域の周辺組織への浸潤の有無及び浸潤している範囲を可視化することが可能となる。

　なお、以上の説明では、医療用画像に含まれるがん領域及び固有筋層領域についてセグメンテーションを行う場合を例示したが、がん領域以外の病変領域及び固有筋層領域以外の生体組織領域についてセグメンテーションを行う場合にも開示の技術を適用することが可能である。また、対象画像が医療用画像である場合を例示したが、これに限定されるものではない。例えば、顕微鏡画像及び製造ラインの検査工程で用いられる検査画像等に含まれる複数の領域についてセグメンテーションを行う場合に開示の技術を適用することも可能である。

　また、推定モデル３０の学習に用いる評価値として、確率和ΣＰ_ｘに基づいて算出される評価値を用いる場合を例示したが、この態様に限定されない。確率和ΣＰ_ｘに代えて、確率Ｐ_ｘが閾値以上である画素数Ｎを用いることも可能である。画素数Ｎは、確率和ΣＰ_ｘと同様、がん領域２０１の固有筋層領域２０２に包含されていない部分（がん領域の直腸間膜領域に浸潤した部分）の体積（又は面積）に応じた値となる。画素数Ｎを用いる場合、学習部１２は、下記の（４）式によって示される評価値Ｅ１´を要素の１つとして含む損失Ｌが小さくなるように推定モデル３０を学習させる。（４）式において、Ｎ１は、例えば、がん領域２０１及び固有筋層領域２０２の包含関係が一部包含関係である学習用画像２１の各々について算出される画素数Ｎの平均値であり、Ｎ２は、がん領域２０１及び固有筋層領域２０２の包含関係が完全包含関係である学習用画像２１の各々について算出される上記画素数Ｎの平均値であり、α及びβは定数である。αとβは同じ値であってもよい。
Ｅ１´＝（Ｎ２＋α）／（Ｎ１＋Ｎ２＋β）　・・・（４）

　上記の実施形態において、例えば、取得部１１、学習部１２、取得部１３、特定部１４及び表示制御部１５といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

　また、上記実施形態では、学習プログラム５１及び画像認識プログラム５２が記憶部４３に予め記憶（インストール）されている態様を説明したが、これに限定されない。学習プログラム５１及び画像認識プログラム５２は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、学習プログラム５１及び画像認識プログラム５２は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

　なお、２０２０年９月２９日に出願された日本国特許出願２０２０－１６３８７１の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims

　少なくとも１つのプロセッサを備えた情報処理装置であって、
　前記プロセッサは、
　第１の領域及び前記第１の領域の少なくとも一部を包含する第２の領域をそれぞれ含む複数の学習用画像の各々に、前記第１の領域及び前記第２の領域が存在する範囲を示す範囲情報を付与した複数の学習用データを取得し、
　前記学習用画像の各画素について、当該画素が前記第１の領域の前記第２の領域に包含されていない部分である確率を、推定モデルを用いて算出し、
　前記複数の学習用画像の各々について前記確率の和である確率和を算出し、
　前記第１の領域が前記第２の領域に包含されていない部分を有する学習用画像の各々について算出される前記確率和が大きくなり且つ前記第１の領域が前記第２の領域に包含されていない部分を有さない学習用画像の各々について算出される前記確率和がゼロとなるように前記推定モデルを学習させる
　情報処理装置。
　前記プロセッサは、
　前記第１の領域が前記第２の領域に包含されていない部分を有する学習用画像の各々について算出される前記確率和の平均値である第１の平均値を分母に含み、前記第１の領域が前記第２の領域に包含されていない部分を有さない学習用画像の各々について算出される前記確率和の平均値である第２の平均値を分子に含む評価値を要素の１つとして含む損失が小さくなるように前記推定モデルを学習させる
　請求項１に記載の情報処理装置。
　前記評価値をＥ１、前記第１の平均値をＡ１、前記第２の平均値をＡ２、所定の定数をα及びβとしたとき、下記の（Ｉ）式を満たす
　請求項２に記載の情報処理装置。
　Ｅ１＝（Ａ２＋α）／（Ａ１＋Ａ２＋β）　・・・（Ｉ）
　前記推定モデルが、前記学習用画像の各画素について、当該画素が前記第１の領域である確率Ｐ_ａ及び当該画素が前記第２の領域である確率Ｐ_ｂを算出し、当該画素が前記第１の領域の前記第２の領域に包含されていない部分である確率としてＰ_ａ×（１－Ｐ_ｂ）を算出する
　請求項１から請求項３のいずれか１項に記載の情報処理装置。
　前記学習用画像が医療用画像であり、
　前記第１の領域が病変領域であり、前記第２の領域が前記病変領域の少なくとも一部を包含する生体組織領域である
　請求項１から請求項４のいずれか１項に記載の情報処理装置。
　前記プロセッサは、
　前記第１の領域及び前記第２の領域を含む対象画像を取得し、
　前記推定モデルを用いて、前記第１の領域、前記第２の領域及び前記第１の領域の前記第２の領域に包含されていない部分のうちの少なくとも１つを特定し、
　特定した領域又は部分を識別可能に表示する制御を行う
　請求項１から請求項５のいずれか１項に記載の情報処理装置。
　前記確率和に代えて、前記第１の領域の前記第２の領域に包含されていない部分である確率が閾値以上である画素の数を用いる
　請求項１から請求項６のいずれか１項に記載の情報処理装置。
　第１の領域及び前記第１の領域の少なくとも一部を包含する第２の領域をそれぞれ含む複数の学習用画像の各々に、前記第１の領域及び前記第２の領域が存在する範囲を示す範囲情報を付与した複数の学習用データを取得し、
　前記学習用画像の各画素について、当該画素が前記第１の領域の前記第２の領域に包含されていない部分である確率を、推定モデルを用いて算出し、
　前記複数の学習用画像の各々について前記確率の和である確率和を算出し、
　前記第１の領域が前記第２の領域に包含されていない部分を有する学習用画像の各々について算出される前記確率和が大きくなり且つ前記第１の領域が前記第２の領域に包含されていない部分を有さない学習用画像の各々について算出される前記確率和がゼロとなるように前記推定モデルを学習させる
　処理を、情報処理装置が備える少なくとも１つのプロセッサが実行する情報処理方法。
　第１の領域及び前記第１の領域の少なくとも一部を包含する第２の領域をそれぞれ含む複数の学習用画像の各々に、前記第１の領域及び前記第２の領域が存在する範囲を示す範囲情報を付与した複数の学習用データを取得し、
　前記学習用画像の各画素について、当該画素が前記第１の領域の前記第２の領域に包含されていない部分である確率を、推定モデルを用いて算出し、
　前記複数の学習用画像の各々について前記確率の和である確率和を算出し、
　前記第１の領域が前記第２の領域に包含されていない部分を有する学習用画像の各々について算出される前記確率和が大きくなり且つ前記第１の領域が前記第２の領域に包含されていない部分を有さない学習用画像の各々について算出される前記確率和がゼロとなるように前記推定モデルを学習させる
　処理を、情報処理装置が備える少なくとも１つのプロセッサに実行させるための情報処理プログラム。