JP7242882B2 - 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム - Google Patents

Description

本開示の技術は、情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラムに関する。

入力画像に映る物体の種類であるクラスの判別を画素単位で行うセマンティックセグメンテーションを学習済みモデルに実施させ、判別されたクラスが色等で区分けされた出力画像を、学習済みモデルから出力させることが行われている。また、出力画像に基づいて、入力画像に映る物体の個数等の統計情報を導出することが行われている。

特表２０１６－５３４７０９号公報には、セマンティックセグメンテーションを実施する学習済みモデルに、培養中の複数の細胞を撮影した細胞画像を入力画像として与える技術が記載されている。特表２０１６－５３４７０９号公報では、学習済みモデルにクラスとして細胞を判別させている。また、出力画像に基づいて、細胞の個数、サイズ等を統計情報として導出している。そして、出力画像および統計情報を出力している。

学習済みモデルによるセマンティックセグメンテーションのクラスの判別精度は１００％とはいかず、クラスが誤って判別されることがある。しかしながら、ユーザは、出力画像および統計情報のうち、統計情報のほうを注目しがちで、統計情報のベースとなった出力画像を、セマンティックセグメンテーションの妥当性を確認するために一々チェックしない場合が多い。このため、学習済みモデルによるセマンティックセグメンテーションの妥当性がないことが見過ごされるおそれがあった。

本開示の技術は、学習済みモデルによるセマンティックセグメンテーションの妥当性がないことを確実に報せることが可能な情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラムを提供することを目的とする。

上記目的を達成するために、本開示の情報処理装置は、入力画像に映る物体の種類であるクラスの判別を画素単位で行うセマンティックセグメンテーションを学習済みモデルに実施させた結果、学習済みモデルから出力された出力画像を取得する取得部と、出力画像に基づいて、セマンティックセグメンテーションの妥当性を評価する評価部と、セマンティックセグメンテーションの妥当性がないと評価部において評価した場合、セマンティックセグメンテーションの妥当性がない旨を表す評価結果を表示する制御を行う表示制御部と、を備える。

評価部は、出力画像から画像特徴量を算出し、画像特徴量を用いてセマンティックセグメンテーションの妥当性を評価することが好ましい。

入力画像は、撮影対象を分割した複数の領域のうちの１つの領域が撮影された画像であり、評価部は、複数の領域毎に撮影された複数の入力画像に対応する複数の出力画像を繋ぎ合わせて、撮影対象の全体を表す全体画像を生成し、撮影対象を複数の領域に分割して撮影したことに起因する、全体画像の周期性ノイズの強度を、画像特徴量として算出することが好ましい。

出力画像に基づいて、入力画像に映る物体の統計情報を導出する導出部を備え、表示制御部は、セマンティックセグメンテーションの妥当性がないと評価部において評価した場合、評価結果と併せて、統計情報の信頼性が低い旨を表す警告を表示する制御を行うことが好ましい。

セマンティックセグメンテーションの妥当性がないと評価された出力画像を出力する制御を行う出力制御部を備えることが好ましい。

セマンティックセグメンテーションの妥当性がないと評価された出力画像のクラスの修正指示を受け付ける受付部を備えることが好ましい。

セマンティックセグメンテーションの妥当性がないと評価された出力画像のクラスを修正する修正部を備えることが好ましい。

セマンティックセグメンテーションの妥当性がないと評価された出力画像のクラスが修正された修正済み出力画像を学習用データとして利用し、学習済みモデルを再学習させる再学習部を備えることが好ましい。

入力画像は、培養中の複数の細胞を撮影した細胞画像であることが好ましい。

評価部は、細胞、または細胞の構造物を含む少なくとも２種のクラスの面積比を、画像特徴量として算出することが好ましい。

評価部は、面積比と比較してセマンティックセグメンテーションの妥当性の評価に用いる閾値を、細胞の種類、および／または、細胞の培養日数に応じて変更することが好ましい。

本開示の情報処理装置の作動方法は、入力画像に映る物体の種類であるクラスの判別を画素単位で行うセマンティックセグメンテーションを学習済みモデルに実施させた結果、学習済みモデルから出力された出力画像を取得する取得ステップと、出力画像に基づいて、セマンティックセグメンテーションの妥当性を評価する評価ステップと、セマンティックセグメンテーションの妥当性がないと評価ステップにおいて評価した場合、セマンティックセグメンテーションの妥当性がない旨を表す評価結果を表示する制御を行う表示制御ステップと、を備える。

本開示の情報処理装置の作動プログラムは、入力画像に映る物体の種類であるクラスの判別を画素単位で行うセマンティックセグメンテーションを学習済みモデルに実施させた結果、学習済みモデルから出力された出力画像を取得する取得部と、出力画像に基づいて、セマンティックセグメンテーションの妥当性を評価する評価部と、セマンティックセグメンテーションの妥当性がないと評価部において評価した場合、セマンティックセグメンテーションの妥当性がない旨を表す評価結果を表示する制御を行う表示制御部として、コンピュータを機能させる。

本開示の技術によれば、学習済みモデルによるセマンティックセグメンテーションの妥当性がないことを確実に報せることが可能な情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラムを提供することができる。

情報処理装置等を示す図である。 ウェルを分割した複数の領域を示す図である。 情報処理装置を構成するコンピュータを示すブロック図である。 情報処理装置のＣＰＵの処理部を示すブロック図である。 入力画像および出力画像の例を示す図である。 入力画像および出力画像の例を示す図である。 導出部の処理を示す図である。 評価条件を示す図である。 評価部の処理を示す図である。 評価部の処理を示す図である。 解析結果表示画面を示す図である。 解析結果表示画面上に評価結果表示画面が重畳表示された状態を示す図である。 情報処理装置の処理手順を示すフローチャートである。 情報処理装置の処理手順を示すフローチャートである。 細胞核の面積を細胞質の面積で除算した面積比と比較する閾値を、細胞の種類に応じて変更する例を示す図である。 細胞核の面積を細胞質の面積で除算した面積比と比較する閾値を、細胞の培養日数に応じて変更する例を示す図である。 細胞核の面積を細胞質の面積で除算した面積比と比較する閾値を、細胞の種類および培養日数に応じて変更する例を示す図である。 第３実施形態の評価部を示す図である。 第３実施形態の評価条件を示す図である。 第３実施形態の評価部の処理を示す図である。 第３実施形態の評価部の処理を示す図である。 修正画面を示す図である。 全体画像の中から、クラスを誤って判別している誤判別領域を推定し、誤判別領域情報に基づいて評価を行う態様を示す図である。 学習済みモデルによるセマンティックセグメンテーションの妥当性がないと評価された出力画像のクラスを修正する態様を示す図である。 再学習部を示すブロック図である。 評価用モデルを用いて、学習済みモデルによるセマンティックセグメンテーションの妥当性を評価する態様を示す図である。

［第１実施形態］
図１において、情報処理装置１０は、例えばデスクトップ型のパーソナルコンピュータであり、撮影装置１１で撮影された入力画像１２を受け取る。撮影装置１１は、例えば位相差顕微鏡、明視野顕微鏡等である。撮影装置１１には、細胞１３（図５および図６も参照）を培養するための複数のウェル１４が形成されたウェルプレート１５がセットされる。撮影装置１１は、培養中の複数の細胞１３を撮影した細胞画像を入力画像１２として撮影する。

図２に示すように、撮影装置１１は、ウェル１４を分割した複数の領域２０毎に入力画像１２を撮影する。このため、図１に矢印で示すように、撮影装置１１は、互いに直交する２方向に移動可能である。複数の領域２０の数は、例えば数千である。なお、ウェル１４は、本開示の技術に係る「撮影対象」の一例である。

図３において、情報処理装置１０を構成するコンピュータは、ストレージデバイス３０、メモリ３１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２、通信部３３、ディスプレイ３４、および入力デバイス３５を備えている。これらはバスライン３６を介して相互接続されている。

ストレージデバイス３０は、情報処理装置１０を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス３０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス３０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。

メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージデバイス３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。

通信部３３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ３４は各種画面を表示する。情報処理装置１０を構成するコンピュータは、各種画面を通じて、入力デバイス３５からの操作指示の入力を受け付ける。入力デバイス３５は、キーボード、マウス、タッチパネル等である。

図４において、情報処理装置１０のストレージデバイス３０には、作動プログラム４０が記憶されている。作動プログラム４０は、コンピュータを情報処理装置１０として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム４０は、本開示の技術に係る「情報処理装置の作動プログラム」の一例である。ストレージデバイス３０には、入力画像１２、学習済みモデル４１、出力画像４２、統計情報４３、および評価条件４４も記憶されている。

作動プログラム４０が起動されると、情報処理装置１０を構成するコンピュータのＣＰＵ３２は、メモリ３１等と協働して、リードライト（以下、ＲＷ（Ｒｅａｄ Ｗｒｉｔｅ）と略す）制御部５０、処理部５１、導出部５２、評価部５３、および表示制御部５４として機能する。

ＲＷ制御部５０は、ストレージデバイス３０への各種データの記憶、およびストレージデバイス３０内の各種データの読み出しを制御する。例えば、ＲＷ制御部５０は、撮影装置１１からの入力画像１２を受け取り、ストレージデバイス３０に記憶する。また、ＲＷ制御部５０は、入力画像１２および学習済みモデル４１をストレージデバイス３０から読み出し、処理部５１に出力する。

処理部５１は、入力画像１２を学習済みモデル４１に与える。そして、入力画像１２に映る物体の種類であるクラスの判別を画素単位で行うセマンティックセグメンテーションを学習済みモデル４１に実施させ、学習済みモデル４１から出力画像４２を出力させる。処理部５１は、出力画像４２をＲＷ制御部５０に受け渡す。ＲＷ制御部５０は、出力画像４２をストレージデバイス３０に記憶する。なお、学習済みモデル４１は、例えばＵ－Ｎｅｔ（Ｕ－Ｓｈａｐｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＳｅｇＮｅｔ、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）等の畳み込みニューラルネットワークである。

ＲＷ制御部５０は、出力画像４２をストレージデバイス３０から読み出し、導出部５２および評価部５３に出力する。すなわち、ＲＷ制御部５０は、本開示の技術に係る「取得部」の一例である。

また、ＲＷ制御部５０は、評価条件４４をストレージデバイス３０から読み出し、評価部５３に出力する。

導出部５２は、出力画像４２に基づいて、細胞１３の統計情報４３を導出する。導出部５２は、統計情報４３をＲＷ制御部５０に出力する。ＲＷ制御部５０は、統計情報４３をストレージデバイス３０に記憶する。

評価部５３は、出力画像４２および評価条件４４に基づいて、学習済みモデル４１によるセマンティックセグメンテーションの妥当性を評価する。評価部５３は、妥当性の評価結果５５を表示制御部５４に出力する。

ＲＷ制御部５０は、出力画像４２および統計情報４３をストレージデバイス３０から読み出し、表示制御部５４に出力する。

表示制御部５４は、ディスプレイ３４への各種画面の表示を制御する。各種画面には、出力画像４２および統計情報４３を表示する画面である解析結果表示画面７０（図１１および図１２参照）、評価部５３の評価結果５５を表示する画面である評価結果表示画面８０（図１２参照）等が含まれる。

図５および図６において、出力画像４２は、凡例６０に示すように、クラス１の細胞核６１、クラス２の細胞質６２、クラス３の死細胞６３、およびクラス４の培地６４がそれぞれ判別されて色分けされた画像である。細胞核６１および細胞質６２によって細胞１３が構成される。なお、細胞核６１、細胞質６２、死細胞６３、および培地６４は、本開示の技術に係る「物体」の一例である。

図５は、学習済みモデル４１によるセマンティックセグメンテーションのクラスの判別が正しかった場合を示す。対して図６は、学習済みモデル４１によるセマンティックセグメンテーションのクラスの判別が誤っていた場合を示す。具体的には二点鎖線の丸囲い６５に示すように、クラス３と判別すべき死細胞６３が、クラス２の細胞質６２と誤って判別されている。また、図示は省略したが、学習済みモデル４１は、ウェル１４を複数の領域２０に分割して撮影したことに起因する周期性ノイズを、クラス１の細胞核６１またはクラス２の細胞質６２と誤って判別することもある。こうした学習済みモデル４１によるセマンティックセグメンテーションのクラスの誤判別は、学習済みモデル４１の学習フェーズにおいて、学習用データとして与えられなかったタイプの入力画像１２が入力された場合にしばしば起こる。このように、学習済みモデル４１は、セマンティックセグメンテーションのクラスの判別を誤る場合がある。

図７に示すように、導出部５２は、図２で示した複数の領域２０毎の複数の入力画像１２に対応する複数の出力画像４２＿１、４２＿２、４２＿３、・・・、４２＿Ｎ毎に、細胞１３の個数（以下、細胞数）を計数する。導出部５２は、例えば、細胞核６１の個数を計数することで、各出力画像４２＿１～４２＿Ｎに映る細胞数を計数する。導出部５２は、各出力画像４２＿１～４２＿Ｎに映る細胞数の総和を、統計情報４３として出力する。なお、Ｎは出力画像４２の全枚数を表す自然数である。

図８において、評価条件４４は、細胞核６１の面積を細胞質６２の面積で除算した面積比（細胞核６１の面積／細胞質６２の面積）の平均が０．３～０．５の範囲外であった場合、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価する、という内容である。面積比は、本開示の技術に係る「画像特徴量」の一例である。また、細胞核６１および細胞質６２は、本開示の技術に係る「細胞の構造物」の一例である。さらに、０．３～０．５は、本開示の技術に係る「閾値」の一例である。なお、細胞核６１の面積は、セマンティックセグメンテーションによって細胞核６１と判別された画素の総数である。細胞質６２の面積も同様に、セマンティックセグメンテーションによって細胞質６２と判別された画素の総数である。

この評価条件４４は、細胞核６１と細胞質６２の面積比がおおよそ０．３～０．５の範囲内にある、という統計的な事実に依拠している。また、０．３～０．５の範囲から面積比の平均が外れた場合は、図６で示したように学習済みモデル４１がセマンティックセグメンテーションのクラスの判別を誤った確率が高い、という考えに依拠している。

図９および図１０に示すように、評価部５３は、各出力画像４２＿１～４２＿Ｎについて、細胞核６１と細胞質６２の面積比を算出する。そして、算出した面積比の総和をＮで除算して、面積比の平均を算出する。

評価部５３は、算出した面積比の平均と、評価条件４４の面積比の平均の範囲０．３～０．５とを比較する。図９に示すように、評価部５３は、算出した面積比の平均が、評価条件４４の面積比の平均の範囲内であった場合、学習済みモデル４１によるセマンティックセグメンテーションの妥当性があると評価する。評価部５３は、セマンティックセグメンテーションの妥当性がある旨の評価結果５５を出力する。対して、図１０に示すように、評価部５３は、算出した面積比の平均が、評価条件４４の面積比の平均の範囲外であった場合、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価する。評価部５３は、セマンティックセグメンテーションの妥当性がない旨の評価結果５５を出力する。

図１１および図１２に示すように、表示制御部５４は、解析結果表示画面７０をディスプレイ３４に表示する制御を行う。解析結果表示画面７０には、出力画像４２および統計情報４３が表示される。出力画像４２の下部には、クラスの凡例６０が表示される。凡例６０の下部には、戻しボタン７１および送りボタン７２が設けられている。戻しボタン７１は、複数の出力画像４２＿１～４２＿Ｎのうち、表示する１枚の出力画像４２を戻す場合に選択される。送りボタン７２は、複数の出力画像４２＿１～４２＿Ｎのうち、表示する１枚の出力画像４２を送る場合に選択される。解析結果表示画面７０は、確認ボタン７３が選択された場合、表示が消える。

図１１は、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がある旨の評価結果５５が、評価部５３から出力された場合を示す。対して図１２は、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がない旨の評価結果５５が、評価部５３から出力された場合を示す。この場合、表示制御部５４は、解析結果表示画面７０上に評価結果表示画面８０を重畳表示させる。

評価結果表示画面８０には、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がない旨を表す評価結果５５が表示される。また、評価結果表示画面８０には、統計情報４３の信頼性が低い旨を表す警告８１が表示される。評価結果表示画面８０は、確認ボタン８２が選択された場合、表示が消える。

次に、上記構成による作用について、図１３および図１４のフローチャートを参照して説明する。まず、情報処理装置１０において作動プログラム４０が起動されると、図４で示したように、情報処理装置１０のＣＰＵ３２は、ＲＷ制御部５０、処理部５１、導出部５２、評価部５３、および表示制御部５４として機能される。

図１３に示すように、ＲＷ制御部５０により、ストレージデバイス３０から入力画像１２および学習済みモデル４１が読み出される（ステップＳＴ１００）。入力画像１２および学習済みモデル４１は、ＲＷ制御部５０から処理部５１に出力される。

処理部５１において、学習済みモデル４１に入力画像１２が与えられる。そして、入力画像１２に映る物体のクラスを判別した出力画像４２が学習済みモデル４１から出力される（ステップＳＴ１１０）。出力画像４２は、処理部５１からＲＷ制御部５０に出力され、ＲＷ制御部５０によってストレージデバイス３０に記憶される（ステップＳＴ１２０）。これらのステップＳＴ１００～ＳＴ１２０は、複数の領域２０毎の複数の入力画像１２について行われる。このため、ストレージデバイス３０には、最終的には出力画像４２＿１～４２＿Ｎが記憶される。

図１４に示すように、ＲＷ制御部５０により、ストレージデバイス３０から出力画像４２（出力画像４２＿１～４２＿Ｎ）が読み出される（ステップＳＴ２００）。出力画像４２は、ＲＷ制御部５０から導出部５２および評価部５３に出力される。なお、ステップＳＴ２００は、本開示の技術に係る「取得ステップ」の一例である。

図７で示したように、出力画像４２に基づいて、導出部５２により統計情報４３が導出される（ステップＳＴ２１０）。統計情報４３は、導出部５２からＲＷ制御部５０に出力され、ＲＷ制御部５０によってストレージデバイス３０に記憶される。

また、図９および図１０で示したように、出力画像４２および評価条件４４に基づいて、評価部５３により、学習済みモデル４１によるセマンティックセグメンテーションの妥当性が評価される（ステップＳＴ２２０）。学習済みモデル４１によるセマンティックセグメンテーションの妥当性の評価結果５５は、評価部５３から表示制御部５４に出力される。なお、ステップＳＴ２２０は、本開示の技術に係る「評価ステップ」の一例である。

学習済みモデル４１によるセマンティックセグメンテーションの妥当性がある旨の評価結果５５が、評価部５３から出力された場合（ステップＳＴ２３０でＹＥＳ）、図１１で示したように、表示制御部５４により、解析結果表示画面７０がディスプレイ３４に表示される（ステップＳＴ２４０）。

対して、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がない旨の評価結果５５が、評価部５３から出力された場合（ステップＳＴ２３０でＮＯ）、図１２で示したように、表示制御部５４により、解析結果表示画面７０上に評価結果表示画面８０が重畳表示される（ステップＳＴ２５０）。なお、ステップＳＴ２５０は、本開示の技術に係る「表示制御ステップ」の一例である。

以上説明したように、情報処理装置１０は、取得部としてのＲＷ制御部５０と、評価部５３と、表示制御部５４とを備える。ＲＷ制御部５０は、学習済みモデル４１から出力された出力画像４２をストレージデバイス３０から読み出すことで、出力画像４２を取得する。評価部５３は、出力画像４２に基づいて、学習済みモデル４１によるセマンティックセグメンテーションの妥当性を評価する。表示制御部５４は、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価部５３において評価した場合、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がない旨を表す評価結果５５を含む評価結果表示画面８０をディスプレイ３４に表示する制御を行う。したがって、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないことを確実に報せることが可能となる。

評価部５３は、出力画像４２から、細胞核６１の面積を細胞質６２の面積で除算した面積比を画像特徴量として算出する。そして、面積比を用いて学習済みモデル４１によるセマンティックセグメンテーションの妥当性を評価する。したがって、出力画像４２の画像特徴量以外で評価する場合と比べて、評価結果５５の信頼性を高めることができる。また、面積比は簡単に算出することができるため、妥当性の評価を簡単に済ませることができる。

また、情報処理装置１０は、出力画像４２に基づいて、入力画像１２に映る物体の統計情報４３を導出する導出部５２を備えている。表示制御部５４は、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価部５３において評価した場合、評価結果５５と併せて、統計情報４３の信頼性が低い旨を表す警告８１を表示する制御を行う。したがって、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないことに加えて、統計情報４３の信頼性が低いことも報せることができる。信頼性が低い統計情報４３が誤って参照されることを効果的に防止することができる。

ここで、細胞培養の分野は、ｉＰＳ（Ｉｎｄｕｃｅｄ Ｐｌｕｒｉｐｏｔｅｎｔ Ｓｔｅｍ）細胞等の出現により、最近脚光を浴びている。このため、学習済みモデル４１による細胞画像内の物体のクラスの判別に妥当性がないことを確実に報せる技術が要望されている。本開示の技術では、培養中の複数の細胞１３を撮影した細胞画像を入力画像１２としている。したがって、本開示の技術は、最近の要望に応えることができる技術であるといえる。

［第２実施形態］
細胞核６１の面積を細胞質６２の面積で除算した面積比は、細胞１３の種類によって異なると考えられる。同様に、面積比は、細胞１３の培養日数によっても異なると考えられる。そこで、図１５～図１７に示す第２実施形態では、面積比と比較して学習済みモデル４１によるセマンティックセグメンテーションの妥当性の評価に用いる閾値を、細胞１３の種類、および／または、細胞１３の培養日数に応じて変更する。

図１５に示す表８５は、閾値を細胞１３の種類に応じて変更する例である。細胞１３の種類には、神経細胞、心筋細胞、肝細胞等が例示されている。閾値は、神経細胞の場合には０．３～０．５、心筋細胞の場合には０．２～０．５、肝細胞の場合には０．４～０．６がそれぞれ例示されている。なお、この場合は、学習済みモデル４１が、複数種類の細胞１３を対象としたモデルであることを前提としている。

図１６に示す表８６は、閾値を細胞１３の培養日数に応じて変更する例である。閾値は、細胞１３の培養日数が１日目の場合には０．１～０．３、２日目の場合には０．２～０．４、３日目の場合には０．３～０．５がそれぞれ例示されている。

図１７に示す表８７は、閾値を細胞１３の種類および培養日数に応じて変更する例である。細胞の種類には、図１５で示した表８５と同じく、神経細胞、心筋細胞、肝細胞等が例示されている。例えば神経細胞の閾値は、培養日数が１日目の場合には０．２～０．３、２日目の場合には０．２２～０．３３、３日目の場合には０．２４～０．３８がそれぞれ例示されている。

このように、第２実施形態では、面積比と比較して学習済みモデル４１によるセマンティックセグメンテーションの妥当性の評価に用いる閾値を、細胞１３の種類、および／または、細胞１３の培養日数に応じて変更する。したがって、細胞１３の種類、および／または、細胞１３の培養日数に適応した、学習済みモデル４１によるセマンティックセグメンテーションの妥当性の評価が可能となる。

［第３実施形態］
図６の説明においてもふれたが、学習済みモデル４１は、ウェル１４を複数の領域２０に分割して撮影したことに起因する周期性ノイズを、クラス１の細胞核６１またはクラス２の細胞質６２と誤って判別することもある。そこで、図１８～図２１に示す第３実施形態では、ウェル１４の全体を表す全体画像９８を生成し、全体画像９８の周期性ノイズの強度を、画像特徴量として算出する。

図１８において、第３実施形態の評価部９０は、合成部９５、強度算出部９６、および比較部９７を有する。合成部９５は、ウェル１４を分割した複数の領域２０毎の入力画像１２に対応する複数の出力画像４２＿１～４２＿Ｎを繋ぎ合わせて、ウェル１４の全体を表す全体画像９８を生成する。こうして断片的な出力画像４２＿１～４２＿Ｎを繋ぎ合わせて全体画像９８を生成する処理は、タイリングとも呼ばれる。合成部９５は、全体画像９８を強度算出部９６に出力する。

強度算出部９６は、全体画像９８に対してフーリエ変換を施し、全体画像９８のフーリエスペクトル１０２（図２０および図２１参照）を生成する。強度算出部９６は、生成したフーリエスペクトル１０２から、ウェル１４を複数の領域２０に分割して撮影したことに起因する、全体画像９８の周期性ノイズの強度ＡＭを算出する。周期性ノイズの周波数Ｆ（図２０および図２１参照）は、領域２０のサイズ、数等から予め求めることができる。強度算出部９６は、求めた周波数Ｆのフーリエスペクトル１０２の強度を、周期性ノイズの強度ＡＭとして算出する。強度算出部９６は、周期性ノイズの強度ＡＭを比較部９７に出力する。

比較部９７は、周期性ノイズの強度ＡＭと、予め設定された閾値ＴＨとの大小を比較する。そして、この比較結果に応じた評価結果５５を出力する。

図１９に示すように、第３実施形態の評価条件１００は、周期性ノイズの強度ＡＭが閾値ＴＨ以上の場合、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価する、という内容である。

図２０に示すように、評価部９０は、周期性ノイズの強度ＡＭが閾値ＴＨ未満であった場合、学習済みモデル４１によるセマンティックセグメンテーションの妥当性があると評価する。評価部９０は、セマンティックセグメンテーションの妥当性がある旨の評価結果５５を出力する。対して、図２１に示すように、評価部９０は、周期性ノイズの強度ＡＭが閾値ＴＨ以上であった場合、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価する。評価部９０は、セマンティックセグメンテーションの妥当性がない旨の評価結果５５を出力する。

このように、第３実施形態では、合成部９５により、複数の出力画像４２＿１～４２＿Ｎが繋ぎ合わされて全体画像９８が生成される。そして、強度算出部９６により、全体画像９８の周期性ノイズの強度ＡＭが、画像特徴量として算出される。したがって、学習済みモデル４１により、周期性ノイズがクラス１の細胞核６１またはクラス２の細胞質６２と誤って判別された場合に、セマンティックセグメンテーションの妥当性がないと評価することができる。

なお、面積比を画像特徴量として算出する上記第１、第２実施形態と、本第３実施形態とを複合して実施してもよい。この場合、評価部は、面積比の平均が、評価条件４４の面積比の平均の範囲外であった場合、および／または、周期性ノイズの強度ＡＭが閾値ＴＨ以上であった場合に、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価する。

［第４実施形態］
図２２に示す第４実施形態では、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２を表示する制御を行う。また、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２のクラスの修正指示を受け付ける。

図２２において、第４実施形態の表示制御部１１０は、修正画面１１１をディスプレイ３４に表示する制御を行う。表示制御部１１０は、例えば、解析結果表示画面７０の表示を消した後に、解析結果表示画面７０に代えて修正画面１１１を表示する。修正画面１１１には、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２が表示される。すなわち、表示制御部１１０は、本開示の技術に係る「出力制御部」の一例である。図２２は、図６で示した、クラス３と判別すべき死細胞６３が、クラス２の細胞質６２と誤って判別された出力画像４２が表示された例を示す。

クラスの凡例６０の下部の戻しボタン１１２および送りボタン１１３は、解析結果表示画面７０の戻しボタン７１および送りボタン７２と同様に、表示する１枚の出力画像４２を戻す場合と送る場合にそれぞれ選択される。戻しボタン１１２および送りボタン１１３の下部には、修正ボタン群１１４が設けられている。修正ボタン群１１４には、学習済みモデル４１によって誤って判別されたクラスを、本来のクラスに修正するための各種ボタンが配されている。

ユーザは、修正ボタン群１１４の各種ボタンを操作して、学習済みモデル４１によって誤って判別されたクラスを、本来のクラスに修正した後、ＯＫボタン１１５を選択する。ＯＫボタン１１５が選択された場合、受付部１２０において、出力画像４２のクラスの修正指示が受け付けられる。この修正指示に応じてクラスが修正された修正済み出力画像４２Ｃは、ＲＷ制御部５０によりストレージデバイス３０に記憶される。なお、キャンセルボタン１１６が選択された場合は、修正画面１１１の表示が消える。

このように、第４実施形態では、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２を表示する制御を行う。また、受付部１２０により、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２のクラスの修正指示を受け付ける。したがって、クラスが修正された修正済み出力画像４２Ｃを、元の入力画像１２とともに、学習済みモデル４１を再学習するための学習用データとして利用することができる。修正済み出力画像４２Ｃにより学習済みモデル４１を再学習させることで、学習済みモデル４１のクラスの判別精度をより高めることができる。結果的に、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価されてしまう確率を低減することができる。

修正画面１１１をディスプレイ３４に表示するタイミングとしては、上記の解析結果表示画面７０の表示を消した後に限らない。学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２をストレージデバイス３０に記憶しておき、ユーザの求めに応じて修正画面１１１をディスプレイ３４に表示してもよい。

なお、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２を出力する形態としては、上記で例示した、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２を表示する形態に限らない。学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２を、ストレージデバイス３０に記憶させるためにＲＷ制御部５０に出力する形態でもよい。あるいは、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２を、情報処理装置１０とネットワークで接続された他の装置に送信する形態でもよい。

複数台の情報処理装置１０から、ネットワークを介して、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２を送信してもらい、当該出力画像４２を一括管理する装置を設けてもよい。

［第５実施形態］
図２３および図２４に示す第５実施形態では、全体画像９８の中から、クラスを誤って判別している誤判別領域を推定する。そして、誤判別領域のクラスを修正することで出力画像４２を修正する。

図２３において、推定部１３０には、全体画像９８が入力される。推定部１３０は、推定条件１３１にしたがって、全体画像９８の中から、クラスを誤って判別している誤判別領域を推定する。推定条件１３１は、内部に細胞核６１がない細胞質６２、および周囲に細胞質６２がない細胞核６１を誤判別領域とする、という内容である。推定部１３０は、誤判別領域の推定結果である誤判別領域情報１３２を、評価部１３３に出力する。なお、誤判別領域情報１３２は、全体画像９８における誤判別領域の座標の情報である。

第５実施形態の評価部１３３は、誤判別領域情報１３２に基づいて、全体画像９８内の誤判別領域の面積割合を画像特徴量として算出する。この場合の評価条件１３４は、全体画像９８内の誤判別領域の面積割合が、予め設定された閾値以上であった場合、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価する、という内容である。評価部１３３は、全体画像９８内の誤判別領域の面積割合が閾値未満であった場合は、セマンティックセグメンテーションの妥当性がある旨の評価結果５５を出力する。対して、評価部１３３は、全体画像９８内の誤判別領域の面積割合が閾値以上であった場合は、セマンティックセグメンテーションの妥当性がない旨の評価結果５５を出力する。

図２４において、修正部１４０は、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２を修正して修正済み出力画像４２Ｃとする。具体的には、修正部１４０は、出力画像４２内の誤判別領域のクラスを、一律培地６４とする。修正済み出力画像４２Ｃは、ＲＷ制御部５０によりストレージデバイス３０に記憶される。

このように、第５実施形態では、修正部１４０により、学習済みモデル４１によるセマンティックセグメンテーションの妥当性がないと評価された出力画像４２のクラスを修正する。したがって、上記第４実施形態のようにクラスの修正を全てユーザに委ねる場合と比べて、ユーザの負担を軽減することができる。また、上記第４実施形態と同じく、修正済み出力画像４２Ｃを、学習済みモデル４１を再学習するための学習用データとして利用することができ、学習済みモデル４１のクラスの判別精度をより高めることができる。

なお、修正部１４０でクラスを自動修正した後に、ユーザによるクラスの修正指示を受け付けてもよい。ユーザは、修正部１４０で修正しきれなかったクラスを修正すればよいので、この場合もユーザの負担を軽減することができる、という効果を発揮する。

［第６実施形態］
図２５に示す第６実施形態では、上記第４実施形態および上記第５実施形態の修正済み出力画像４２Ｃを学習用データとして利用し、学習済みモデル４１を再学習させる。

図２５において、再学習部１４５は、処理部１４６、精度評価部１４７、および更新部１４８を有する。処理部１４６は、再学習用入力画像１４９を学習済みモデル４１に与えて、学習済みモデル４１から再学習用出力画像１５０を出力させる。処理部１４６は、再学習用出力画像１５０を精度評価部に出力する。

再学習用入力画像１４９は、修正済み出力画像４２Ｃの元の出力画像４２を学習済みモデル４１から出力させた場合に、処理部５１において学習済みモデル４１に入力された入力画像１２である。この再学習用入力画像１４９と修正済み出力画像４２Ｃとで、学習用データ１５１が構成される。

精度評価部１４７は、修正済み出力画像４２Ｃと再学習用出力画像１５０とを比較し、学習済みモデル４１のクラスの判別精度を評価する。精度評価部１４７は、損失関数を用いて学習済みモデル４１のクラスの判別精度を評価する。損失関数は、修正済み出力画像４２Ｃと再学習用出力画像１５０とのクラスの指定の差異の程度を表す関数である。損失関数の算出値が０に近いほど、学習済みモデル４１のクラスの判別精度が高いことを示す。精度評価部１４７は、損失関数による学習済みモデル４１のクラスの判別精度の評価結果を更新部１４８に出力する。

更新部１４８は、精度評価部１４７からの評価結果に応じて、学習済みモデル４１を更新する。例えば、更新部１４８は、学習係数を伴う確率的勾配降下法等により、学習済みモデル４１の各種パラメータの値を変化させる。学習係数は、パラメータの値の変化幅を示す。すなわち、学習係数が比較的大きい値であるほど、パラメータの値の変化幅は大きくなり、学習済みモデル４１の更新度合いも大きくなる。

再学習部１４５は、これら処理部１４６による学習済みモデル４１への再学習用入力画像１４９の入力と精度評価部１４７への再学習用出力画像１５０の出力、精度評価部１４７による学習済みモデル４１のクラスの判別精度の評価、および更新部１４８による学習済みモデル４１の更新を、学習済みモデル４１のクラスの判別精度が予め設定されたレベルとなるまで、繰り返し続ける。そして、再学習部１４５は、クラスの判別精度が予め設定されたレベルとなった学習済みモデル４１をＲＷ制御部５０に出力する。ＲＷ制御部５０は、再学習部１４５からの学習済みモデル４１をストレージデバイス３０に記憶し、これを読み出して処理部５１に出力する。

再学習部１４５は、例えばミニバッチデータを用いたミニバッチ学習を学習済みモデル４１に行わせる。ミニバッチデータは、修正済み出力画像４２Ｃと再学習用入力画像１４９を分割した複数の分割画像（例えば元の画像の１／１００のサイズの枠で分割した１万枚の分割画像）のうちの一部（例えば１００枚）で構成される。再学習部１４５は、こうしたミニバッチデータを複数組（例えば１００組）作成し、各組を順次学習済みモデル４１に与えて学習させる。

このように、第６実施形態では、再学習部１４５によって、セマンティックセグメンテーションの妥当性がないと評価された出力画像４２のクラスが修正された修正済み出力画像４２Ｃを学習用データ１５１として利用し、学習済みモデル４１を再学習させる。したがって、学習済みモデル４１の再学習を他の装置で実施する場合と比べて、学習済みモデル４１のクラスの判別精度を手軽に高めることができる。また、クラスの判別精度が高められた学習済みモデル４１を、すぐに処理部５１に与えて用いることができる。

上記各実施形態では、画像特徴量を用いて、学習済みモデル４１によるセマンティックセグメンテーションの妥当性を評価しているが、これに限らない。図２６に示す評価部１５５のように、評価用モデル１５６を用いて、学習済みモデル４１によるセマンティックセグメンテーションの妥当性を評価してもよい。評価用モデル１５６は、出力画像４２が入力された場合に、評価結果５５を出力する機械学習モデルである。評価用モデル１５６は、出力画像４２と評価結果５５とのペアを学習用データとして与えられて学習されたモデルである。こうすれば、画像特徴量を算出する処理を省略することができる。

画像特徴量は、例示した面積比、周期性ノイズの強度ＡＭに限らない。細胞１３の円形度といった、細胞１３の形状に関するパラメータを画像特徴量としてもよい。細胞１３の形状に関するパラメータを画像特徴量とする場合は、上記第２実施形態を適用して、学習済みモデル４１によるセマンティックセグメンテーションの妥当性の評価に用いる閾値を、細胞１３の種類、および／または、細胞１３の培養日数に応じて変更してもよい。

統計情報４３は、上記で例示した細胞１３の個数に限らない。細胞１３の全体画像９８に占める総面積でもよいし、画像特徴量として例示した、細胞核６１の面積を細胞質６２の面積で除算した面積比でもよい。

上記各実施形態では、入力画像１２として、培養中の複数の細胞１３を撮影した細胞画像を例示し、クラスとして細胞核６１、細胞質６２等を例示したが、これに限定されない。細胞の構造物の一種である核小体をクラスとしてもよい。また、生細胞、死細胞、分化細胞、未分化細胞等をクラスとしてもよい。この場合は、例えば、分化細胞の面積を未分化細胞の面積で除算した面積比を、画像特徴量として算出する。さらに、複数の細胞１３を１つのウェル１４で培養する場合は、複数の細胞１３の各々をクラスとしてもよい。

また、道路を撮影した衛星動画像を入力画像１２とし、車をクラスとして、車の台数を統計情報４３として導出してもよい。あるいは、街頭を撮影した動画像を入力画像１２とし、人をクラスとして、人数を統計情報４３として導出してもよい。

情報処理装置１０を構成するコンピュータのハードウェア構成は種々の変形が可能である。情報処理装置１０を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、情報処理装置１０の処理部５１の機能と、導出部５２および評価部５３の機能とを、２台のコンピュータに分散して担わせる。この場合は２台のコンピュータで情報処理装置１０を構成する。

このように、情報処理装置１０のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４０等のアプリケーションプログラムについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

上記各実施形態において、例えば、ＲＷ制御部５０、処理部５１、１４６、導出部５２、評価部５３、９０、１３３、１５５、表示制御部５４、１１０、合成部９５、強度算出部９６、比較部９７、受付部１２０、推定部１３０、修正部１４０、精度評価部１４７、および更新部１４８といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ３２に加えて、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。

以上の記載から、以下の付記項１に記載の発明を把握することができる。

［付記項１］
入力画像に映る物体の種類であるクラスの判別を画素単位で行うセマンティックセグメンテーションを学習済みモデルに実施させた結果、前記学習済みモデルから出力された出力画像を取得する取得プロセッサと、
前記出力画像に基づいて、前記セマンティックセグメンテーションの妥当性を評価する評価プロセッサと、
前記セマンティックセグメンテーションの妥当性がないと前記評価プロセッサにおいて評価した場合、前記セマンティックセグメンテーションの妥当性がない旨を表す評価結果を表示する制御を行う表示制御プロセッサと、
を備える情報処理装置。

本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (12)

1. 入力画像に映る物体の種類であるクラスの判別を画素単位で行うセマンティックセグメンテーションを学習済みモデルに実施させた結果、前記学習済みモデルから出力された出力画像を取得する取得部と、
   前記出力画像から画像特徴量を算出し、前記画像特徴量を用いて前記セマンティックセグメンテーションの妥当性を評価する評価部と、
   前記セマンティックセグメンテーションの妥当性がないと前記評価部において評価した場合、前記セマンティックセグメンテーションの妥当性がない旨を表す評価結果を表示する制御を行う表示制御部と、
   を備え、
   前記入力画像は、撮影対象を分割した複数の領域のうちの１つの領域が撮影された画像であり、
   前記評価部は、複数の前記領域毎に撮影された複数の前記入力画像に対応する複数の前記出力画像を繋ぎ合わせて、前記撮影対象の全体を表す全体画像を生成し、前記撮影対象を複数の前記領域に分割して撮影したことに起因する、前記全体画像の周期性ノイズの強度を、前記画像特徴量として算出する、
   情報処理装置。
2. 前記出力画像に基づいて、前記入力画像に映る前記物体の統計情報を導出する導出部を備え、
   前記表示制御部は、前記セマンティックセグメンテーションの妥当性がないと前記評価部において評価した場合、前記評価結果と併せて、前記統計情報の信頼性が低い旨を表す警告を表示する制御を行う請求項１に記載の情報処理装置。
3. 前記セマンティックセグメンテーションの妥当性がないと評価された前記出力画像を出力する制御を行う出力制御部を備える請求項１または請求項２に記載の情報処理装置。
4. 前記セマンティックセグメンテーションの妥当性がないと評価された前記出力画像のクラスの修正指示を受け付ける受付部を備える請求項３に記載の情報処理装置。
5. 前記セマンティックセグメンテーションの妥当性がないと評価された前記出力画像のクラスを修正する修正部を備える請求項３または請求項４に記載の情報処理装置。
6. 前記セマンティックセグメンテーションの妥当性がないと評価された前記出力画像のクラスが修正された修正済み出力画像を学習用データとして利用し、前記学習済みモデルを再学習させる再学習部を備える請求項４または請求項５に記載の情報処理装置。
7. 前記入力画像は、培養中の複数の細胞を撮影した細胞画像である請求項１から請求項６のいずれか１項に記載の情報処理装置。
8. 前記評価部は、前記細胞、または前記細胞の構造物を含む少なくとも２種のクラスの面積比を、前記画像特徴量として算出する請求項７に記載の情報処理装置。
9. 前記評価部は、前記面積比と比較して前記セマンティックセグメンテーションの妥当性の評価に用いる閾値を、前記細胞の種類、および／または、前記細胞の培養日数に応じて変更する請求項８に記載の情報処理装置。
10. 前記評価部は、前記全体画像の中から、前記クラスを誤って判別している誤判別領域を推定し、前記全体画像内の前記誤判別領域の面積割合を前記画像特徴量として算出する請求項１から請求項９のいずれか１項に記載の情報処理装置。
11. 入力画像に映る物体の種類であるクラスの判別を画素単位で行うセマンティックセグメンテーションを学習済みモデルに実施させた結果、前記学習済みモデルから出力された出力画像を取得する取得ステップと、
    前記出力画像から画像特徴量を算出し、前記画像特徴量を用いて前記セマンティックセグメンテーションの妥当性を評価する評価ステップと、
    前記セマンティックセグメンテーションの妥当性がないと前記評価ステップにおいて評価した場合、前記セマンティックセグメンテーションの妥当性がない旨を表す評価結果を表示する制御を行う表示制御ステップと、
    を備え、
    前記入力画像は、撮影対象を分割した複数の領域のうちの１つの領域が撮影された画像であり、
    前記評価ステップにおいては、複数の前記領域毎に撮影された複数の前記入力画像に対応する複数の前記出力画像を繋ぎ合わせて、前記撮影対象の全体を表す全体画像を生成し、前記撮影対象を複数の前記領域に分割して撮影したことに起因する、前記全体画像の周期性ノイズの強度を、前記画像特徴量として算出する、
    情報処理装置の作動方法。
12. 入力画像に映る物体の種類であるクラスの判別を画素単位で行うセマンティックセグメンテーションを学習済みモデルに実施させた結果、前記学習済みモデルから出力された出力画像を取得する取得部と、
    前記出力画像から画像特徴量を算出し、前記画像特徴量を用いて前記セマンティックセグメンテーションの妥当性を評価する評価部と、
    前記セマンティックセグメンテーションの妥当性がないと前記評価部において評価した場合、前記セマンティックセグメンテーションの妥当性がない旨を表す評価結果を表示する制御を行う表示制御部として、
    コンピュータを機能させる情報処理装置の作動プログラムであって、
    前記入力画像は、撮影対象を分割した複数の領域のうちの１つの領域が撮影された画像であり、
    前記評価部は、複数の前記領域毎に撮影された複数の前記入力画像に対応する複数の前記出力画像を繋ぎ合わせて、前記撮影対象の全体を表す全体画像を生成し、前記撮影対象を複数の前記領域に分割して撮影したことに起因する、前記全体画像の周期性ノイズの強度を、前記画像特徴量として算出する、
    情報処理装置の作動プログラム。

Images