JP7623739B2 - ニューラルネットワークの出力解析方法及びそのためのシステム - Google Patents

Description

本発明は、ニューラルネットワークの出力解析方法及びそのシステムに関する。より詳細には、疾患の診断のために学習されたニューラルネットワークによって出力された出力結果を効果的に解析し、より正確な疾患の診断を実行することができる方法及びそのシステムに関する。

病理学又は病理科で行われる主な仕事の１つは、患者の生体画像を読み、特定の疾患の状態又は徴候を判断する診断を行うことである。このような診断は、長年にわたって経験豊富な医療従事者の経験と知識に依存する方法である。

近年、機械学習の発達により画像を認識又は分類するなどの業務をコンピュータシステムによって自動化しようとする試みが活発に行われている。特に、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練した医療従事者が行っていた診断を自動化する試みがなされている。

特に、ニューラルネットワーク（例えば、Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＣＮＮ）を用いたディープラーニングによる診断は、従来の熟練した医療従事者の経験と知識を単純に自動化するのではなく、自ら学習を通じて特徴的な要素を見つけて所望の答えを導き出すという点において、むしろ熟練した医療従事者が分からなかった疾患因子の特徴を画像から見つけることもある。

一般に、生体画像を用いるニューラルネットワークを介する疾患の診断は、生体画像の断片、すなわち、パッチ（ｐａｔｃｈ、又はタイル（ｔｉｌｅ）ともいう）を用いる。すなわち、該当のタイルに対して熟練した医療従事者は、特定の疾患の状態（例えば、癌が発現されたか否か）をアノテーション（ａｎｎｏｔａｉｏｎ）し、このようなアノテーションされた複数のタイルを学習データとして用いることで、ニューラルネットワークを学習するようになる。

このように学習されたニューラルネットワークは、画素ごとに、該当画素が疾患が発現した領域、すなわち、病変領域に含まれる可能性を出力するように実現されてもよい。

これは、各画素ごとに、病変領域に含まれる可能性を推正する情報として意味があるが、それによって病変領域に含まれるか否かを確定的に判断するものではないので、ニューラルネットワークが出力する画素単位の可能性情報を、実際の病変領域に含まれているかに関する情報と確定する、さらなる出力解析ステップが必要な場合がある。

図１は、従来のニューラルネットワークを用いて疾患を診断する過程を模式的に説明する図である。

図１を参照すると、生体画像（全体スライド画像（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ）ともいう）は、一定の大きさの部分画像（パッチ（ｐａｔｃｈ）画像ともいう）に分割され、分割された部分画像毎に学習されたニューラルネットワークが該当のパッチで画素ごとに病変領域に含まれる可能性を出力するニューラルネットワーク処理過程がなされてもよい。

そして、このようにパッチ毎にニューラルネットワークによって出力された出力結果を解析する過程を経て、最終的に該当の生体画像における病変領域を検出するようになる。

出力結果を解析する過程では、各パッチ毎の出力結果をまたスライド範囲に組み合わせる過程がなされてもよいことは言うまでもない。

通常、出力結果を解析する過程は、画素ごとの可能性の程度が０．５以上であると病変領域に含まれるものと、０．５未満であると病変領域に含まれていないものと解析することができ、ニューラルネットワークの学習時には、このような仮定によって解析されることを考慮して学習が行われてもよい。

このような方式は、ニューラルネットワークの学習に用いられたアノテーション情報に間違いが全くなく、学習に用いられた生体画像内の病変領域の全体の大きさと、病変に含まれていない組織領域の全体の大きさとが類似な場合が最適の場合であり得る。しかし、アノテーション情報の構築は、病理専門医の主観的な判断によってなされるため、構築されたアノテーション情報にはある程度の非一貫性及び間違いが存在することがあり、よって、これを学習するように学習されたニューラルネットワークは、一部の病変領域を病変領域ではないものと判断するか、又は病変でない領域の一部を病変領域と誤認する場合が発生することがあるため、このような従来の方式だけでは、出力解析過程を経て検出される病変領域の精度が低下する問題が存在する。

したがって、画素ごとに、ニューラルネットワークの出力結果に対して病変領域に含まれるか否かを判断する出力解析過程をより効果的に精度を高めるようにする技術的思想が要求される。

韓国特許出願公開第１０－２０１９－０１４３５１０号明細書「ツーフェイス疾患診断システム及びその方法」

本発明が達成しようとする技術的な課題は、画素ごとに疾患が発現する可能性、すなわち、病変領域に含まれる可能性を出力するように学習されたニューラルネットワークの出力結果に基づいて、効果的かつ高精度に出力結果を解析することができる方法及びそのシステムを提供することである。

本発明の一態様によると、生体画像の画素ごとに疾患の発現確率を出力するように学習されたニューラルネットワークの出力結果を解析するニューラルネットワークの出力解析方法は、出力解析システムが、画素ごとに前記ニューラルネットワークの出力結果値が最適基準値以上であるか否かによって、該当画素における疾患の発現有無を検出する基準となる前記最適基準値を決定するステップと、前記出力解析システムが、決定した前記最適基準値を用いて生体画像に対して画素ごとの疾患の発現有無を検出した場合に特定される生体画像上の検出病変領域に対して、前記検出病変領域が有効であるか否かを決定するための最適カットオフ値を決定するステップと、前記出力解析システムが、診断すべき診断生体画像に対応する出力結果を前記ニューラルネットワークから入力されると、決定した前記最適基準値と前記最適カットオフ値を用いて前記出力結果に対する出力解析を行うステップと、を含む。

前記最適基準値を決定するステップは、前記出力解析システムが、前記ニューラルネットワークを用いて複数の生体画像それぞれの画素ごとの出力値を取得するステップと、前記出力解析システムが複数の候補基準値を設定し、設定した各候補基準値に対して、各候補基準値を適用して疾患発現を検出した場合の一致度（ここで、前記一致度は、画素ごとに該当候補基準値を適用して検出した検出結果とアノテーションされた結果とが一致する程度に応じて決定される）を演算するステップと、前記出力解析システムが演算した前記各候補基準値の一致度に基づいて前記最適基準値を決定するステップと、を含んでもよい。

前記各候補基準値を適用して疾患の発現有無を決定した場合の一致度を演算するステップは、前記複数の生体画像全体の精度（ａｃｃｕｒａｃｙ）、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）、又はＤＳＣ（Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）と、前記複数の生体画像それぞれの精度（ａｃｃｕｒａｃｙ）、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）、又はＤＳＣ（Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）の平均と、のうち少なくとも１つを用いて前記一致度を演算するステップを含み、前記精度は（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＰ＋ＦＮ）、前記ＩｏＵはＴＰ／（ＴＰ＋ＦＰ＋ＦＮ）、前記ＤＳＣは２×ＴＰ／（２×ＴＰ＋ＦＰ＋ＦＮ）と定義され、前記ＴＰは、前記出力解析システムによって検出した第１病変領域、及びアノテーションされた第２病変領域の両方に含まれた画素の数、前記ＦＮは、前記第２病変領域にのみ含まれる画素の数、前記ＦＰは、前記第１病変領域にのみ含まれる画素の数、及び、前記ＴＮは、前記第１病変領域及び前記第２病変領域の両方に含まれていない画素の数であることを特徴としてもよい。

前記検出病変領域が有効であるか否かを決定するための最適カットオフ値を決定するステップは、前記出力解析システムが、前記ニューラルネットワークを用いて複数の生体画像それぞれの画素ごとの出力値を取得するステップと、前記出力解析システムが、取得した複数の生体画像それぞれの画素ごとの出力値と前記最適基準値とを用いて、前記複数の生体画像それぞれに含まれた少なくとも１つの第１病変領域を検出することで、前記第１病変領域に含まれた画素数を取得するステップと、検出した前記少なくとも１つの前記第１病変領域毎の画素数と、実際に疾患が発現したか否かに基づいて、検出された第１病変領域の有効性を判断する基準となる最適カットオフ値を決定するステップと、を含んでもよい。

前記複数の生体画像それぞれのアノテーションされた病変領域である第２病変領域と、前記第１病変領域に含まれた画素数に基づいて、検出された第１病変領域の有効性を判断する基準となる最適カットオフ値を決定するステップは、前記出力解析システムが線形回帰（ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ）、ロジスティック回帰（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）、又はサポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）のうちいずれか１つを用いて前記最適カットオフ値を決定してもよい。

前記複数の生体画像それぞれのアノテーションされた病変領域である第２病変領域と、前記第１病変領域に含まれた画素数に基づいて、検出された第１病変領域の有効性を判断する基準となる最適カットオフ値を決定するステップは、前記出力解析システムが初期最適カットオフ値を決定するステップと、前記出力解析システムが、予め決定した前記初期最適カットオフ値が予め決定された最小感度又は予め決定された最小特異度を満たすか否かを判断するステップと、判断の結果、満たす場合は、前記初期最適カットオフ値を前記最適カットオフ値と決定し、満たしていない場合は、前記最小感度又は前記最小特異度を満たすまで前記初期最適カットオフ値を一定の単位で順に変更することによって前記最適カットオフ値を探索するステップと、を含んでもよい。

前記ニューラルネットワークの出力解析方法は、前記出力解析システムが決定された前記最適基準値を用いて画素ごとに画素ごとの基準値を決定するステップをさらに含み、前記出力解析システムは、決定した前記画素ごとの基準値を用いて、診断すべき診断生体画像に対して画素ごとの疾患の発現有無を検出するが、前記画素ごとの基準値は、対象画素を基準として、予め決定された少なくとも１つの周辺画素に対する前記ニューラルネットワークの出力値を用いて、前記最適基準値を補正して決定されることを特徴としてもよい。

他の一例のよるニューラルネットワークの出力解析方法は、出力解析システムが診断すべき診断生体画像に対して画素ごとに前記ニューラルネットワークの出力結果値を取得するステップと、前記出力解析システムが、取得した前記出力結果値を所定の基準値と比較して画素ごとの疾患の発現有無を検出するステップと、を含み、前記基準値は、画素ごとに互いに異なるように決定できることを特徴とし、対象画素を基準として、予め決定された少なくとも１つの周辺画素に対する前記ニューラルネットワークの出力結果値を用いて、前記診断生体画像全体に対して所定の方式によって決定された全体基準値を補正して決定されることを特徴とする。

上記の方法は、コンピュータプログラムによって実現されてもよい。

他の一態様によるニューラルネットワーク（２００）の出力解析システムは、プロセッサ及びプログラムが格納されたメモリを含み、前記プロセッサは、前記プログラムを駆動することで、画素ごとに前記ニューラルネットワークの出力結果値が最適基準値以上であるか否かによって、該当画素における疾患の発現有無を検出する基準となる前記最適基準値を決定し、決定した前記最適基準値を用いて生体画像に対して画素ごとの疾患の発現有無を検出した場合に特定される生体画像上の検出病変領域に対して、前記検出病変領域が有効であるか否かを決定するための最適カットオフ値を決定し、診断すべき診断生体画像に対応する出力結果を前記ニューラルネットワークから入力されると、決定した前記最適基準値と前記最適カットオフ値を用いて前記出力結果に対する出力解析を行う。

前記プロセッサは、前記プログラムを駆動することで、前記ニューラルネットワークを用いて複数の生体画像それぞれの画素ごとの出力値を取得し、複数の候補基準値を設定し、設定した各候補基準値に対して、各候補基準値を適用して疾患発現を検出した場合の一致度（ここで、前記一致度は、画素ごとに該当候補基準値を適用して検出した検出結果とアノテーションされた結果とが一致する程度に応じて決定される）を演算し、演算した前記各候補基準値の一致度に基づいて前記最適基準値を決定してもよい。

前記プロセッサは、前記プログラムを駆動することで、前記ニューラルネットワークを用いて複数の生体画像それぞれの画素ごとの出力値を取得し、取得した複数の生体画像それぞれの画素ごとの出力値と前記最適基準値とを用いて、前記複数の生体画像それぞれに含まれた少なくとも１つの第１病変領域を検出することで、前記第１病変領域に含まれた画素数を取得し、検出した前記少なくとも１つの前記第１病変領域毎の画素数と、実際に疾患が発現したか否かに基づいて、検出された第１病変領域の有効性を判断する基準となる前記最適カットオフ値を決定してもよい。

前記プロセッサは、前記プログラムを駆動することで、初期最適カットオフ値を決定し、決定した前記初期最適カットオフ値が、予め決定された最小感度又は予め決定された最小特異度を満たすか否かを判断し、判断の結果、満たす場合は、前記初期最適カットオフ値を前記最適カットオフ値と決定し、満たしていない場合は、前記最小感度又は前記最小特異度を満たすまで前記初期最適カットオフ値を一定の単位で順に変更することによって前記最適カットオフ値を探索してもよい。

前記プロセッサは、前記プログラムを駆動することで、決定された前記最適基準値を用いて画素ごとに画素ごとの基準値を決定し、決定した前記画素ごとの基準値を用いて、診断すべき診断生体画像に対して画素ごとの疾患の発現有無を検出するが、前記画素ごとの基準値は、対象画素を基準として、予め決定された少なくとも１つの周辺画素に対する前記ニューラルネットワークの出力値を用いて、前記最適基準値を補正して決定してもよい。

また他の一態様によると、本発明の技術的思想によるニューラルネットワークの出力解析システムは、プロセッサ及びプログラムが格納されたメモリを含み、前記プロセッサは、前記プログラムを駆動することで、診断すべき診断生体画像に対して画素ごとに前記ニューラルネットワークの出力結果値を取得し、前記出力結果値を所定の基準値と比較して画素ごとの疾患の発現有無を検出するが、前記基準値は、画素ごとに互いに異なるように決定できることを特徴とし、対象画素を基準として、予め決定された少なくとも１つの周辺画素に対する前記ニューラルネットワークの出力結果値を用いて、前記診断生体画像全体に対して所定の方式によって決定された全体基準値を補正して決定されることを特徴とする。

本発明の他の一態様によると、データ処理装置に設置され、上述した方法を行うための媒体に記録されたコンピュータプログラムが提供される。

本発明の技術的思想によると、ニューラルネットワークの出力の解析結果に応じて検出される病変領域が実際の病変領域（アノテーションされた病変領域）とできるだけ一致するように、画素ごとに該当画素が病変領域に含まれているかを決定する基準値を効果的に決定することで、予め任意に決定された基準値を用いる場合に比べて、出力解析結果による疾患の診断精度を高めることができる効果がある。

また、このように決定された基準値を用いて解析された病変領域に対してカットオフ値を定義して活用することで、検体単位（生体画像単位）でも病変領域の検出有無が実際の検体での疾患の存在有無とできるだけ一致するニューラルネットワークの出力を解析することができる効果がある。

本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
従来のニューラルネットワークを用いた病変領域の検出過程を概略的に説明するための図である。 本発明の実施形態によるニューラルネットワークの出力解析方法を実現するための概略的なシステム構成を説明するための図である。 本発明の実施形態によるニューラルネットワークの出力解析システムの概略的な構成を説明するための図である。 本発明の実施形態によるニューラルネットワークの出力結果を解析する概念を概略的に説明するためのフローチャートである。 本発明の一実施形態によって最適基準値を決定する方式を説明するためのフローチャートである。 本発明の一実施形態によって最適カットオフ値を決定する方式を説明するためのフローチャートである。 本発明の実施形態によって画素ごとの基準値を決定する方式を説明するためのフローチャートである。

本発明は多様な変換を加えることができ、様々な実施形態を有することができるところ、特定の実施形態を図面に例示して詳細な説明に詳しく説明する。しかし、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものと理解されなければならない。本発明を説明するにあたって、関連する公知技術に対する具体的な説明が本発明の要旨を曖昧にする可能性があると判断される場合は、その詳細な説明を省略する。

第１、第２などの用語は、多様な構成要素の説明のために使用することができるが、上記構成要素が上記用語によって限定されてはならない。上記用語は、ある構成要素を他の構成要素から区別する目的でのみ使用される。

本出願で使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に他の意味がない限り、複数の表現を含む。

本明細書において、「含む」又は「有する」などの用語は、明細書に記載の特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものと理解されなければならない。

また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合は、前記構成要素は前記他の構成要素に直接前記データを伝送することもでき、少なくとも１つのまた他の構成要素を介して前記データを前記他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合は、前記構成要素からまた他の構成要素を介することなく前記他の構成要素に前記データが伝送されることを意味する。

以下、添付の図面を参照して本発明の実施形態を中心に本発明を詳しく説明する。各図面に提示された同じ参照符号は同じ部材を指す。

図２は、本発明の実施形態によるニューラルネットワークの出力解析方法を実現するための概略的なシステム構成を説明するための図である。

図２を参照すると、本発明の技術的思想による出力解析システム１００は、所定のサーバー１０に設けられて本発明の技術的思想を実現することができる。サーバー１０は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般に、ネットワークを介してクライアントがアクセス可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定のサービスを行うことができるどのような装置もサーバーと定義できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

出力解析システム１００は、予め学習されたニューラルネットワーク２００から、ニューラルネットワーク２００が出力する出力結果を受信できるように実現されてもよい。

出力解析システム１００は、ニューラルネットワーク２００と有無線通信を行うこともでき、又は関数呼び出しなど予め決定されたプロトコルによって出力結果を受信することができる。

ニューラルネットワーク２００は、所定の疾患に対して疾患の発現有無に対する確率値を出力するように学習されたものであってもよい。ニューラルネットワーク２００は、生体画像に対して画素ごとに疾患の発現可能性を示す数値、すなわち確率値を出力することができる。

このような機能を行うためのニューラルネットワーク２００を実現するための技術的思想は、本出願人が出願した先行技術の韓国特許登録番号（１０２１７２２１３、ツーフェイス疾患診断システム及びその方法）、登録番号（１０１９４４５３６、ニューラルネットワークを用いた疾患の診断システム及びその方法）などに詳しく開示されているので、本明細書では詳細な説明は省略する。

ニューラルネットワーク２００と出力解析システム１００とが含まれたサーバ１０は、疾患を診断するためのシステム、すなわち診断システムになりうる。ニューラルネットワーク２００と出力解析システム１００とは、１つの物理的装置、すなわちサーバ１０に備えられてもよいが、実施形態によっては、互いに異なる物理的装置に備えられてもよく、必要に応じて多様な変形が可能なことを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

診断システム１０は、ニューラルネットワーク２００を学習させるために所定の端末２０、２０－１と通信を行うことができる。

端末２０、２０－１は、ニューラルネットワーク２００を学習させるために、複数の学習データをニューラルネットワーク２００に伝送してもよく、ニューラルネットワーク２００は、受信された学習データを用いて学習が行われてもよい。

ニューラルネットワーク２００は、ディープラーニング分野で広く知られている畳み込みニューラルネットワーク（ＣＮＮ）を含むことができるが、これに限定されない。

また端末２０、２０－１は、学習されたニューラルネットワーク２００を用いて疾患の診断を行うために、診断対象となる生体画像を診断システム１０に出力することができる。

これによって、ニューラルネットワーク２００は、生体画像に対して、画素ごとの疾患の発現有無に対する確率値を含む出力結果を出力解析システム１００に伝送することができ、出力解析システム１００は、受信した出力結果を本発明の技術的思想によって解析して解析結果を出力することができる。出力した解析結果を端末２０、２０－１に伝送することができる。

解析結果は、生体画像で病変領域を区分した結果であってもよい。解析結果は、画素ごとに病変領域に含まれるか否かに対する情報を含んでもよい。

本発明の技術的思想による出力解析システム１００は、ニューラルネットワーク２００からの出力結果を受信し、受信した出力結果を解析して実際の疾患状態（疾患の発現有無及び／又は疾患が発現した画素、すなわち病変領域）とできるだけ一致するように予め決定された基準を通じて解析結果を出力することができる。

実際の疾患状態は、専門家によってアノテーションされたアノテーション情報を用いることができることは言うまでもない。

このために、出力解析システム１００は、画素ごとにどの基準値を用いて、それ以上の場合に該当画素に疾患が発現したと判断するかを決定する必要がある。

すなわち、本発明の技術的思想によると、予めユーザの意思によって任意に決定された基準値を用いて画素ごとの疾患の発現有無を決定するのではなく、学習されたニューラルネットワーク２００の出力結果を複数用いて基準値が実際の疾患状態とできるだけ一致するように決定する過程を経ることができる。このような過程を通して決定される基準値を、本明細書では最適基準値と定義することができる。

出力解析システム１００は、最適基準値を決定する過程を経た後、実際の診断対象となる生体画像に対応するニューラルネットワーク２００の出力結果を受信すると、決定された最適基準値を用いて画素ごとに該当画素が病変領域に含まれるか否かを判断することができる。

また、本発明の技術的思想によると、出力解析システム１００は、最適基準値を用いることにとどまらず、最適基準値により検出された病変領域が実際に有効な病変領域であるか否かを判断する基準を予め設定することができる。このような基準を本明細書ではカットオフ値と定義することができる。

すなわち、本発明の技術的思想によると、出力解析システム１００は、診断対象となる生体画像のニューラルネットワーク２００の出力結果を、最適基準値を用いて解析して病変領域を検出することができ、検出した病変領域が実際に有効な病変領域であるかをもう一度判断することで、最終的に生体画像における病変領域を確定することができる。

これは、ニューラルネットワーク２００は、画素ごとの疾患の発現有無に対する確率値を通じて、間違いの和が全体生体画像で最小になるように学習されるようになったものであってもよく、このような場合、ニューラルネットワーク２００の出力結果をそのまま用いると画素ごとの間違いが小さいことがある。しかし、ニューラルネットワーク２００の出力結果をそのまま用いて（すなわち、画素ごとの疾患の発現有無に対する判断を用いて）病変領域を検出する場合は、その結果が実際の検体毎（生体画像毎）の疾患の存在有無と一致しない可能性が高いことがある。

その理由としては、疾患の発現は、非常に局所的な領域（例えば、特定画素に該当する部位）に発現可能性が高くなっているとしても、実際に疾患が発現されるわけではないことがあり、実際疾患の発現有無は、特定画素に該当する局所的な領域の個別状態だけで決定されるよりは、該当領域と周辺領域の状態を全て考慮して決定される可能性が高いためである。

したがって、画素ごとの疾患の発現有無の確率値を用いて、画素ごとの疾患の発現有無に対する判断を行い、その結果のみを用いて病変領域を確定する場合は、いくら最適基準値を最適化して決定する場合であっても、確定した病変領域が実際には疾患が発現していない領域である可能性が常に存在する。

したがって、本発明の技術的思想によると、出力解析システム１００の解析結果として検出された画素ごとの疾患の発現有無が実際の状態（アノテーションされた情報）とできるだけ一致するように最適基準値を決定するだけでなく、決定した最適基準値を用いて検出された病変領域も実際の状態（アノテーションされた情報）とできるだけ一致するように最適カットオフ値を決定することができる。

最適カットオフ値は、最適基準値を用いて検出された病変領域が実際に有効な病変領域であるかを判断する基準として用いることができ、最適カットオフ値は、検出された病変領域に含まれた画素数に対する基準であってもよい。

出力解析システム１００は、最適基準値を用いて一次的に病変領域を検出し、検出した病変領域に含まれた画素数が最適カットオフ値以上の場合にのみ、病変領域を有効な病変領域として確定することができる。

結局、本発明の技術的思想によると、出力解析システム１００は、ニューラルネットワーク２００の学習とは別に、学習されたニューラルネットワーク２００の出力結果をできるだけ実際の状態と一致するように解析するための基準を決定する過程を経ることができる。

また、このような基準は、画素ごとの解析結果（画素ごとの疾患の発現有無に対する判断結果）が実際の状態とできるだけ一致するようにする最適基準値、及び／又は最適基準値を用いて検出された病変領域が実際の状態とできるだけ一致するようにする最適カットオフ値を含んでもよい。

このような技術的思想を実現するための出力解析システム１００は、図３に示すような構成を有することができる。

図３は、本発明の実施形態によるニューラルネットワークの出力解析システムの概略的な構成を説明するための図である。

出力解析システム１００は、本発明の技術的思想を実現するためのプログラムが格納されるメモリ１２０、及びメモリ１２０に格納されたプログラムを行うためのプロセッサ１１０を備えることができる。

プロセッサ１１０は、出力解析システム１００の実現例によって、ＣＰＵ、モバイルプロセッサなど多様な名称として命名できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。また、出力解析システム１００は、複数の物理的装置が有機的に結合されて実現されてもよく、このような場合は、プロセッサ１１０は、物理的装置毎に少なくとも１つ備えられることで本発明の出力解析システム１００を実現できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

メモリ１２０は、プログラムが格納され、プログラムを駆動させるためにプロセッサがアクセスできるいかなる形態の記憶装置で実現されても構わない。また、ハードウェア的な実現例によって、メモリ１２０は、１つの記憶装置ではなく複数の記憶装置で実現されてもよい。また、メモリ１２０は、主記憶装置だけでなく、一時記憶装置を含んでもよい。また、揮発性メモリ又は非揮発性メモリで実現されてもよく、プログラムが格納され、プロセッサによって駆動できるように実現されるあらゆる形態の情報記憶手段を含む意味と定義することができる。

プログラムは、後述するように、本発明の技術的思想によって最適基準値及び／又は最適カットオフ値を決定するための一連のコードの集合であってもよい。また、プログラムは、後述するように、画素ごとに互いに異なる基準値、すなわち画素ごとの基準値を決定してもよい。

また、プログラムは、診断システム１０に診断の対象となる生体画像が入力されると、ニューラルネットワーク２００から生体画像に対応する出力結果を受信し、受信した出力結果を決定した最適基準値、最適カットオフ値、及び／又は画素ごとの基準値を用いて解析することで、解析結果を出力することができる。

出力解析システム１００は、実施形態によって、本発明の技術的思想によってニューラルネットワーク２００を用いて疾患を診断しようとする主体（例えば、医療機関など）が運営して実施するシステムであってもよく、ウェブサーバ、コンピュータなど多様な方式で実現でき、本明細書で定義される機能を行うことができるいかなる形態のデータ処理装置も含んでいると定義することができる。

また、出力解析システム１００は、ニューラルネットワーク２００と同じ物理的装置に備えられてもよく、互いに異なる物理的装置に備えられてもよい。出力解析システム１００とニューラルネットワーク２００とが結合して診断を行う診断システム１０で実現されてもよい。

また、出力解析システム１００の実施形態によって多様な周辺装置１３０がさらに備えられてもよい。例えば、キーボード、モニター、グラフィックカード、通信装置、スキャナなどが周辺装置として出力解析システム１００にさらに含まれてもよいことを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

以下、本明細書において、出力解析システム１００が所定の機能を行うとは、メモリ１２０に格納されたプログラムをプロセッサ１１０が駆動して該当の機能を行うことであることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

図４は、本発明の実施形態によるニューラルネットワークの出力結果を解析する概念を概略的に説明するためのフローチャートである。

図４を参照すると、本発明の技術的思想によるニューラルネットワークの出力解析方法を実現するために、出力解析システム１００は、ニューラルネットワーク２００の出力結果を解析する最適基準値を決定してもよい（Ｓ１００）。

また、最適基準値を用いて単純に病変領域を検出し、検出した検出病変領域を最終的な病変領域として決定することもできるが、前述のように、出力解析システム１００は、決定した最適基準値を用いて検出される検出病変領域の有効性の有無を判断するための最適カットオフ値をさらに決定してもよい（Ｓ２００）。

このように最適基準値及び／又は最適カットオフ値を決定すると、その後には、出力解析システム１００は、診断対象となる生体画像に対応する出力結果をニューラルネットワーク２００から受信すると、受信した出力結果を既決定の最適基準値及び／又は最適カットオフ値を用いて解析し、その解析結果を出力してもよい。

解析結果は、最終的に決定された画素ごとの疾患の発現有無、及び／又は病変領域に対する情報（例えば、位置、バウンダリー、画素数など）であってもよい。もちろん、最適基準値を用いることによって、特定画素が病変領域に含まれたものと一次的に判断されても、最適カットオフ値を通じて該当の病変領域が有効でないと判断された場合は、特定画素に対しては一次的判断が無効となり、病変領域に含まれていないもの（疾患が発現していないもの）と最終的に判断できることは言うまでもない。

最適基準値を決定する過程は、図５に示す通りである。

図５は、本発明の一実施形態によって最適基準値を決定する方式を説明するためのフローチャートである。

図５を参照すると、まず、出力解析システム１００は、ニューラルネットワーク２００から複数の生体画像それぞれの画素ごとの出力値を含む出力結果を取得することができる（Ｓ１１０）。

複数の生体画像は、ニューラルネットワーク２００の学習には用いられていない生体画像であってもよい。また、複数の生体画像は全てアノテーションされたものであってもよい。

これによって、出力解析システム１００は、複数の候補基準値を設定することができる（Ｓ１２０）。複数の候補基準値は、例えば予め設定された単位間隔（例えば、０．０１、０．００１など）の差を有するように複数設定されてもよい。

これによって、出力解析システム１００は、設定した各候補基準値に対して一致度を演算することができる。一致度は、複数の生体画像に対して、画素ごとの出力解析システム１００の判断結果と実際の状態（すなわち、アノテーションされた結果）とどのぐらい一致するかを示す情報であってもよい。

このために、出力解析システム１００は、各候補基準値を用いて生体画像の出力結果を解析し、画素ごとの疾患の発現有無、すなわち解析結果を生成することができる。例えば、特定画素に対して出力結果に含まれた確率値が候補基準値以上であると病変領域に含まれたものと判断し、そうでないと、病変領域に含まれていないものと判断することができる。

また、生成した画素ごとの解析結果を用いて一致度を演算することができ、一致度は、画素ごとに該当候補基準値を適用して検出した検出結果とアノテーションされた結果とが一致する程度に応じて決定することができる。

一致度は、多様な方式によって定義することができる。

一例によると、複数の生体画像全体に対して、画素ごとの判断結果とアノテーションされた結果とを比較して算出される精度（ａｃｃｕｒａｃｙ）、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）、又はＤＳＣ（Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）のうちいずれか１つ又はこれらの組み合わせを用いて一致度を定義することができる。

又は、複数の生体画像それぞれごとに算出される精度（ａｃｃｕｒａｃｙ）の平均、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）の平均、又はＤＳＣ（Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）の平均のうちいずれか１つ又はこれらの組み合わせを用いて一致度を定義することもできる。

出力解析システム１００が各候補基準値を適用して解析した結果、検出した病変領域を第１病変領域と定義し、予めアノテーションされた情報に含まれた病変領域を第２病変領域と定義する場合、ＴＰは、第１病変領域及び第２病変領域の両方に含まれた画素の数を示し、ＦＮは、第２病変領域にのみ含まれる画素の数を示し、ＦＰは、第１病変領域にのみ含まれる画素の数を示し、ＴＮは、第１病変領域及び第２病変領域の両方に含まれていない画素の数を示すことができる。

出力解析システム１００は、各候補基準値を用いて解析した解析結果からＴＰ、ＴＮ、ＦＰ、ＦＮを演算することができ、これに基づいて、精度、ＩｏＵ、ＤＳＣを演算することができる。精度、ＩｏＵ、ＤＳＣは、学習されたニューラルネットワークの性能を測定するための指標として広く用いられており、精度は（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＰ＋ＦＮ）、ＩｏＵはＴＰ／（ＴＰ＋ＦＰ＋ＦＮ）、ＤＳＣは２×ＴＰ／（２×ＴＰ＋ＦＰ＋ＦＮ）と定義することができる。

出力解析システム１００は、各候補基準値の一致度に基づいて、最も一致度の高い候補基準値を最適基準値として決定できることは言うまでもない。

一方、最適カットオフ値を決定する過程は、図６に示す通りである。

図６は、本発明の一実施形態によって最適カットオフ値を決定する方式を説明するためのフローチャートである。

図６を参照すると、出力解析システム１００は、ニューラルネットワーク２００から複数の生体画像それぞれの画素ごとの出力値を含む出力結果を取得することができる（Ｓ２１０）。最適カットオフ値を決定するときに用いられる複数の生体画像も、ニューラルネットワーク２００の学習には用いられていない生体画像であってもよい。もちろん、最適基準値を決定するときに用いられた生体画像とも異なるものであってもよく、同じものであってもよい。このときの各生体画像は全てアノテーションされたものであってもよい。

これによって、出力解析システム１００は、予め決定した最適基準値を用いて病変領域を検出することができる（Ｓ２２０）。すなわち、画素ごとにニューラルネットワーク２００によって判断された確率値が最適基準値以上の場合は、病変領域に含まれた画素として、そうでない場合は、病変領域に含まれていない画素として検出することにより、生体画像それぞれから病変領域を検出することができる。

病変領域は、疾患が発現したと判断された画素、すなわち確率値が最適基準値以上である画素の群集であってもよく、出力解析システム１００は、各病変領域に含まれた画素数を演算することができる（Ｓ２３０）。

また、演算した画素数に基づいて最適カットオフ値を決定することができる（Ｓ２４０）。

このとき、演算した画素数は、生体画像毎の合計であってもよく、病変領域毎の合計であってもよい。例えば、ある１つの生体画像に互いに独立した（離隔した）複数の病変領域が存在することもできる。

このとき、一実施形態によると、複数の病変領域が１つの生体画像に存在する場合も、単純に生体画像毎に病変領域に含まれた画素数を全て合計して、各生体画像ごとに病変領域に含まれた画素数を演算することもできる。又は、生体画像毎でなく、独立した病変領域毎に個別に画素数を演算することもできる。

前者の場合は、ある１つの生体画像を基準としてアノテーションされた情報における疾患の発現有無と、出力解析システム１００によって検出された病変領域の結果ができるだけ一致するように最適カットオフ値を決定することができ、後者の場合は、各病変領域を基準としてアノテーションされた情報における疾患の発現有無と、出力解析システム１００によって検出された病変領域の結果ができるだけ一致するように最適カットオフ値を決定することができる。

すなわち、実際に疾患が発現していない場合であっても、出力解析システム１００によっては病変領域が検出されることがあるが、このような場合は、該当の病変領域はカットオフできることが好ましい。

したがって、出力解析システム１００は、複数の生体画像に対して病変領域を一次的に検出した後、最適カットオフ値未満の画素数を有する病変領域が無効化される場合に、実際の疾患状態と検出された結果とができるだけ一致するように（生体画像毎に又は病変領域毎に）する最適カットオフ値を決定することができる。

例えば、生体画像を基準として画素数を合計して最適カットオフ値を決定する場合は、特定の生体画像に検出された病変領域が複数存在しても、各病変領域に含まれた画素数を単純に合算し、合算した画素数と特定の生体画像における疾患の発現有無が一致するように最適カットオフ値を決定することができる。例えば、出力解析システム１００は、所定のアルゴリズムによって最適カットオフ値を決定することができ、このとき、特定の生体画像に疾患が発現していない場合であれば、合算した画素数より大きな値が最適カットオフ値として決定される可能性の大きくなるようにアルゴリズムを設計し、特定の生体画像に疾患が発現した場合であれば、合算した画素数より小さな値が最適カットオフ値として決定される可能性の大きくなるようにアルゴリズムを設計することができる。

例えば、各病変領域を基準として画素数を合計して最適カットオフ値を決定する場合は、検出された各病変領域の画素数と病変領域における疾患の発現有無が一致するように最適カットオフ値を決定することができる。例えば、出力解析システム１００は、所定のアルゴリズムによって最適カットオフ値を決定することができ、このとき、出力解析システム１００によって検出された特定の病変領域に実際に疾患が発現していない場合であれば、特定の病変領域の画素数より大きな値が最適カットオフ値として決定される可能性の大きくなるようにアルゴリズムを設計し、特定の病変領域に実際に疾患が発現した場合であれば、特定の病変領域の画素数より小さな値が最適カットオフ値として決定される可能性の大きくなるようにアルゴリズムを設計することができる。

このような最適カットオフ値の決定は、各生体画像（各病変領域）毎に最適カットオフ値が適用された際の出力解析システム１００の検出結果が、実際の疾患状態とできるだけ一致するようにする最適値を探索する過程と定義することができ、このような過程は、一次元（線形）の最適化問題と定義することができる。

このような最適化問題は、広く知られているように、線形回帰（ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ）、ロジスティック回帰（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）、又はサポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）問題と定義することができ、このようなアルゴリズムのうち少なくとも１つを用いて最適カットオフ値を決定できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

一方、疾患の判断のためのシステムにおいては、少なくとも満足すべき感度（ｓｅｎｓｉｔｉｖｉｔｙ）又は特異度（Ｓｐｅｃｉｆｉｃｉｔｙ）を満たすようにシステムが設計されなければならない場合が存在し得る。感度は、実際に疾患が発現した領域を疾患が発現したものと検出した比率であり、特異度は、実際に疾患が発現していない領域を疾患が発現していないものと検出した比率を意味することができ、疾患の種類によって、感度が優先される場合と特異度が優先される場合が存在する。

したがって、出力解析システム１００は、予め設定された最小感度又は特異度が満たされるように、最適カットオフ値を決定することもできる。

このために、出力解析システム１００は、上述したような方式でまず最適カットオフ値を決定し、このように決定された最適カットオフ値が初期最適カットオフ値となり得る（Ｓ２４０）。

これによって、出力解析システム１００は、現在の最適カットオフ値が最小感度又は最小特異度を満たすか否かを判断することができ（Ｓ２５０）、判断の結果、満たした場合は、現在の最適カットオフ値を最終的な最適カットオフ値として特定することができる（Ｓ２７０）。

仮に、判断の結果（Ｓ２５０）、現在の最適カットオフ値が最小感度又は最小特異度を満たしていない場合は、現在の最適カットオフ値を予め決定された単位間隔（例えば、１個、５個など）だけ変更し（Ｓ２６０）、変更された最適カットオフ値が、最小感度又は最小特異度が満たすか否かを判断する過程を繰り返すことで、最終的に最小感度又は最小特異度を満たす最適カットオフ値を特定することができる（Ｓ２７０）。

もちろん、最小感度を満たすためには、現在の最適カットオフ値で予め決定された単位間隔だけカットオフ数を減少させることができ、最小特異度を満たすためには、現在の最適カットオフ値で予め決定された単位間隔だけカットオフ数を増加させた後に、変更された最適カットオフ値が最小感度又は最小特異度を満たすか否かを判断することができる。

一方、上述したような最適基準値は、生体画像に含まれた全ての画素ごとに一律に適用されて、各画素ごとに病変領域に含まれるか否かを判断する基準となることができ、本発明の技術的思想によると、このような基準値は画素ごとに異なるように設定されてもよい。

この理由として、全ての画素に対して同じ基準値（最適基準値）が適用される場合、周辺画素の検出結果とまったく異なるように出ることがあり、通常、特定画素の検出結果は、周辺画素の検出結果と密接な関連があるので、これを補正することがさらに好ましい可能性もあるためである。例えば、特定画素は疾患が発現していないと判断されたが、特定画素の周辺画素は全て疾患が発現したと判断される場合が存在することができ、このような場合は、実際疾患の発現状態とは異なる可能性が高い。

したがって、本発明の技術的思想によると、画素ごとに互いに異なる基準値を適用して画素ごとの疾患の発現有無を判断する必要があり、このために、出力解析システム１００は、図５で説明したように、まず最適基準値を決定した後、これを周辺画素の確率値を考慮して補正することで、画素ごとの基準値を決定することもできる。

このような一例は、図７を参照して説明する。

図７は、本発明の実施形態によって画素ごとの基準値を決定する方式を説明するためのフローチャートである。

図７を参照すると、出力解析システム１００は、図５に示すように、まず生体画像の解析に共通に用いられる最適基準値を決定することができる（Ｓ１４０）。

また、画素ごとに最適基準値を補正して画素ごとの基準値を特定することができる（Ｓ１７０）。

このとき、画素ごとに最適基準値を補正するための補正値は、該当画素の周辺画素の確率値（すなわち、ニューラルネットワーク２００の出力値）を用いることができる。

例えば、出力解析システム１００は、特定画素（対象画素）の画素ごとの基準値を決定するために特定画素を含むウィンドウを設定してもよい。ウィンドウは、予め設定された大きさ（例えば、３ｂｙ３、５ｂｙ５など）を有することができる。

これによって、出力解析システム１００は、特定画素の周辺画素でウィンドウに含まれた他の画素を特定し、他の画素のニューラルネットワーク２００の出力値を確認することができる（Ｓ１５０）。

また、他の画素のニューラルネットワーク２００の出力値に基づいて、特定画素に適用される補正値を演算することができる（Ｓ１６０）。補正値は、多様な方式によって決定することができる。

例えば、特定画素と他の画素との出力値の標準偏差、又は標準偏差を一定の値で除算した値が補正値となり得る。

これによって、出力解析システム１００は、最適基準値で補正値を加算または減算することで、特定画素における画素ごとの基準値を特定することができる（Ｓ１７０）。

このような方式によって画素ごとの基準値が特定される場合は、周辺画素の疾患発現の確率値が特定画素における疾患の発現有無に対する判断に影響を及ぼすようになるので、特定画素の判断結果が周辺画素の判断に比べてまったく変わる可能性が低くなるという効果がある。

一方、本発明の実施形態による出力解析方法は、コンピュータで読み取り可能なプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に格納されてもよく、本発明の実施形態による制御プログラム及び対象プログラムもコンピュータで読み取り可能な記録媒体に格納されてもよい。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取ることができるデータが格納されるあらゆる種類の記録装置を含む。

記録媒体に記録されるプログラム命令は、本発明のために特に設計及び構成され、又はソフトウェア分野における当業者に公知として使用可能なものであってもよい。

コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、プロッピィーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、光学ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特に構成されたハードウェア装置が含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードを格納して実行することができる。

プログラム命令の例としては、コンパイラによって作成されたような機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行可能な高級言語コードを含む。

上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述した本発明の説明は例示のためのものであり、本発明が属する技術分野における通常の知識を有する者であれば、本発明の技術的思想や必須な特徴を変更しなくても他の具体的な形態に容易に変形可能であることを理解することができるであろう。よって、以上で記述した実施形態は全ての面で例示的であり、限定的ではないものと理解しなければならない。例えば、単一の形態で説明されている各構成要素は分散して実施されてもよく、同様に分散したものとして説明されている構成要素が結合された形態で実施されてもよい。

本発明の範囲は、上述した詳細な説明よりは後述の特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、またその均等概念から導き出される全ての変更又は変形された形態が本発明の範囲に含まれると解析されなければならない。

本発明は、ニューラルネットワークの出力解析方法及びそのためのシステムに用いることができる。

Claims (8)

1. 生体画像の画素ごとに疾患の発現確率を出力するように学習されたニューラルネットワークの出力結果を解析するニューラルネットワークの出力解析方法であって、
   出力解析システムが、画素ごとに前記ニューラルネットワークの出力結果値が最適基準値以上であるか否かによって、該当画素における疾患の発現有無を検出する基準となる前記最適基準値を決定するステップと、
   前記出力解析システムが、決定した前記最適基準値を用いて生体画像に対して画素ごとの疾患の発現有無を検出した場合に特定される生体画像上の検出病変領域に対して、前記検出病変領域が有効であるか否かを決定するための最適カットオフ値を決定するステップと、
   前記出力解析システムが、診断すべき診断生体画像に対応する出力結果を前記ニューラルネットワークから入力されると、決定した前記最適基準値と前記最適カットオフ値を用いて前記出力結果に対する出力解析を行うステップと、を含み、
   前記最適基準値を決定するステップは、
   前記出力解析システムが、前記ニューラルネットワークを用いて複数の生体画像それぞれの画素ごとの出力値を取得するステップと、
   前記出力解析システムが複数の候補基準値を設定し、設定した各候補基準値に対して、各候補基準値を適用して疾患発現を検出した場合の画素ごとに該当候補基準値を適用して検出した検出結果とアノテーションされた結果とが一致する程度に応じて決定される一致度を演算するステップと、
   前記出力解析システムが演算した前記各候補基準値の一致度に基づいて前記最適基準値を決定するステップであり、
   前記各候補基準値を適用して疾患の発現有無を決定した場合の一致度を演算するステップは、
   前記複数の生体画像全体の精度（ａｃｃｕｒａｃｙ）、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）、又はＤＳＣ（Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）と、
   前記複数の生体画像それぞれの精度（ａｃｃｕｒａｃｙ）、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）、又はＤＳＣ（Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）の平均と、
   のうち少なくとも１つを用いて前記一致度を演算するステップを含み、
   前記精度は（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＰ＋ＦＮ）、前記ＩｏＵはＴＰ／（ＴＰ＋ＦＰ＋ＦＮ）、前記ＤＳＣは２×ＴＰ／（２×ＴＰ＋ＦＰ＋ＦＮ）と定義され、
   前記ＴＰは、前記出力解析システムによって検出した第１病変領域、及びアノテーションされた第２病変領域の両方に含まれた画素の数、前記ＦＮは、前記第２病変領域にのみ含まれる画素の数、前記ＦＰは、前記第１病変領域にのみ含まれる画素の数、及び前記ＴＮは、前記第１病変領域及び前記第２病変領域の両方に含まれていない画素の数であることを特徴とし、
   前記検出病変領域が有効であるか否かを決定するための最適カットオフ値を決定するステップは、
   前記出力解析システムが、前記ニューラルネットワークを用いて複数の生体画像それぞれの画素ごとの出力値を取得するステップと、
   前記出力解析システムが、取得した複数の生体画像それぞれの画素ごとの出力値と前記最適基準値とを用いて、前記複数の生体画像それぞれに含まれた少なくとも１つの第１病変領域を検出することで、前記第１病変領域に含まれた画素数を取得するステップと、
   検出した前記少なくとも１つの前記第１病変領域毎の画素数と、実際に疾患が発現したか否かに基づいて、検出された第１病変領域の有効性を判断する基準となる最適カットオフ値を決定するステップと、
   を含む、ニューラルネットワークの出力解析方法。
2. 前記複数の生体画像それぞれのアノテーションされた病変領域である第２病変領域と、前記第１病変領域に含まれた画素数に基づいて、検出された第１病変領域の有効性を判断する基準となる最適カットオフ値を決定するステップは、
   前記出力解析システムが線形回帰（ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ）、ロジスティック回帰（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）、又はサポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）のうちいずれか１つを用いて前記最適カットオフ値を決定する、請求項１に記載のニューラルネットワークの出力解析方法。
3. 前記複数の生体画像それぞれのアノテーションされた病変領域である第２病変領域と、前記第１病変領域に含まれた画素数に基づいて、検出された第１病変領域の有効性を判断する基準となる最適カットオフ値を決定するステップは、
   前記出力解析システムが初期最適カットオフ値を決定するステップと、
   前記出力解析システムが、予め決定した前記初期最適カットオフ値が、予め決定された実際に疾患が発現した領域を疾患が発現したと検出した比率が最小となる最小感度又は予め決定された実際に疾患が発現していない領域を疾患が発現していないものと検出した比率が最小となる最小特異度を満たすか否かを判断するステップと、
   判断の結果、満たす場合は、前記初期最適カットオフ値を前記最適カットオフ値と決定し、満たしていない場合は、前記最小感度又は前記最小特異度を満たすまで前記初期最適カットオフ値を一定の単位で順に変更することによって前記最適カットオフ値を探索するステップと、
   を含む、請求項１に記載のニューラルネットワークの出力解析方法。
4. 前記ニューラルネットワークの出力解析方法は、
   前記出力解析システムが決定された前記最適基準値を用いて画素ごとに画素ごとの基準値を決定するステップをさらに含み、
   前記出力解析システムは、決定した前記画素ごとの基準値を用いて、診断すべき診断生体画像に対して画素ごとの疾患の発現有無を検出し、
   前記画素ごとの基準値は、対象画素を基準として、予め決定された少なくとも１つの周辺画素に対する前記ニューラルネットワークの出力値を用いて、前記最適基準値を補正して決定されることを特徴とする、請求項１に記載のニューラルネットワークの出力解析方法。
5. データ処理装置に設置され、請求項１ないし請求項４のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。
6. プロセッサと、
   生体画像の画素ごとに疾患の発現確率を出力するように学習されたニューラルネットワーク及びプログラムが格納されたメモリと、
   を含み、
   前記プロセッサは前記プログラムを駆動し、
   画素ごとに前記ニューラルネットワークの出力結果値が最適基準値以上であるか否かによって、該当画素における疾患の発現有無を検出する基準となる前記最適基準値を決定し、
   決定した前記最適基準値を用いて生体画像に対して画素ごとの疾患の発現有無を検出した場合に特定される生体画像上の検出病変領域に対して、前記検出病変領域が有効であるか否かを決定するための最適カットオフ値を決定し、
   診断すべき診断生体画像に対応する出力結果を前記ニューラルネットワークから入力されると、決定した前記最適基準値と前記最適カットオフ値を用いて前記出力結果に対する出力解析を行い、
   前記最適基準値の決定は、
   前記ニューラルネットワークを用いて複数の生体画像それぞれの画素ごとの出力値を取得し、
   複数の候補基準値を設定し、設定した各候補基準値に対して、各候補基準値を適用して疾患発現を検出した場合の画素ごとに該当候補基準値を適用して検出した検出結果とアノテーションされた結果とが一致する程度に応じて決定される一致度を演算し、
   演算した前記各候補基準値の一致度に基づいて前記最適基準値を決定し、
   前記一致度の演算は、
   前記複数の生体画像全体の精度（ａｃｃｕｒａｃｙ）、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）、又はＤＳＣ（Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）と、
   前記複数の生体画像それぞれの精度（ａｃｃｕｒａｃｙ）、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）、又はＤＳＣ（Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）の平均と、
   のうち少なくとも１つを用いて前記一致度を演算し、
   前記精度は（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＰ＋ＦＮ）、前記ＩｏＵはＴＰ／（ＴＰ＋ＦＰ＋ＦＮ）、前記ＤＳＣは２×ＴＰ／（２×ＴＰ＋ＦＰ＋ＦＮ）と定義され、
   前記ＴＰは、前記出力解析システムによって検出した第１病変領域、及びアノテーションされた第２病変領域の両方に含まれた画素の数、前記ＦＮは、前記第２病変領域にのみ含まれる画素の数、前記ＦＰは、前記第１病変領域にのみ含まれる画素の数、及び前記ＴＮは、前記第１病変領域及び前記第２病変領域の両方に含まれていない画素の数であり、
   前記ニューラルネットワークを用いて複数の生体画像それぞれの画素ごとの出力値を取得し、
   取得した複数の生体画像それぞれの画素ごとの出力値と前記最適基準値とを用いて、前記複数の生体画像それぞれに含まれた少なくとも１つの第１病変領域を検出することで、前記第１病変領域に含まれた画素数を取得し、
   検出した前記少なくとも１つの前記第１病変領域毎の画素数と、実際に疾患が発現したか否かに基づいて、検出された第１病変領域の有効性を判断する基準となる前記最適カットオフ値を決定する、ニューラルネットワークの出力解析システム。
7. 前記プロセッサは前記プログラムを駆動し、
   初期最適カットオフ値を決定し、決定した前記初期最適カットオフ値が、予め決定された実際に疾患が発現した領域を疾患が発現したと検出した比率が最小となる最小感度又は予め決定された実際に疾患が発現していない領域を疾患が発現していないものと検出した比率が最小となる最小特異度を満たすか否かを判断し、判断の結果、満たす場合は、前記初期最適カットオフ値を前記最適カットオフ値と決定し、満たしていない場合は、前記最小感度又は前記最小特異度を満たすまで前記初期最適カットオフ値を一定の単位で順に変更することによって前記最適カットオフ値を探索する、請求項６に記載のニューラルネットワークの出力解析システム。
8. 前記プロセッサは前記プログラムを駆動し、
   決定された前記最適基準値を用いて画素ごとに画素ごとの基準値を決定し、
   決定した前記画素ごとの基準値を用いて、診断すべき診断生体画像に対して画素ごとの疾患の発現有無を検出し、
   前記画素ごとの基準値は、対象画素を基準として、予め決定された少なくとも１つの周辺画素に対する前記ニューラルネットワークの出力値を用いて、前記最適基準値を補正して決定する、請求項６に記載のニューラルネットワークの出力解析システム。