JP2024510119A - ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法及びそのシステム - Google Patents

Abstract

ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法及びそのシステムが開示される。予後予測方法は、システムが生体画像を入力されるステップと、システムが、入力された生体画像に対して、生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップと、システムが、生体画像上で全組織のサイズに対応する第１の情報、及び診断結果に基づいて生体画像上で発症領域のサイズに対応する第２の情報を判定し、判定結果に基づいた予後予測情報を生成するステップと、を含み、システムが、入力された生体画像に対して、生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップは、生体画像が所定のサイズに分割された所定のパッチのそれぞれに対して疾患が発現したか否かの判定結果に基づいて発症領域診断結果を生成するか、又はパッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションした結果に基づいて発症領域診断結果を生成する。

Description

本発明は、ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法及びそのシステムに関する。より詳しくは、ニューラルネットワークを介して疾患の発症領域を分割することができる疾患診断システムの診断結果を用いて、該当疾患の予後予測のための予測因子を導き出し、これを用いた予後予測を行うことができる方法及びそのシステムに関する。

病理学又は病理科で行う主なタスクの１つは患者の生体画像を読み取り、特定疾患に対する状態又は徴候を判定する診断を行うことである。このような診断は、長年にわたって熟練した医療関係者の経験と知識に依存する方式である。

最近、機械学習の発達により、画像を認識又は分類するなどのタスクをコンピューティングシステムによって自動化しようとする試みが盛んに行われている。特に、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練した医療関係者が行っていた診断を自動化するための試みがなされている。

特に、ニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングによる診断は、従来の熟練した医療関係者の経験と知識を単に自動化するのではなく、自ら学習を通じて特徴的な要素を見つけて所望の解答を導き出すという点において、むしろ熟練した医療関係者が知らない疾患因子の特徴を画像から見つける場合もある。

一般に、生体画像を用いるニューラルネットワークを介した疾患の診断は、生体画像の断片、すなわちパッチ（ｐａｔｈｃｈ、又はタイル（ｔｉｌｅ）ともいう）を用いる。すなわち、該当のタイルに対して熟練した医療関係者は、特定疾患の状態（例えば、癌の発現有無）をアノテーション（ａｎｎｏｔａｉｏｎ）し、このようなアノテーションされた複数のタイルを学習データとして用いてニューラルネットワークを学習させることに（ｔｒａｉｎｉｎｇ）になる。このとき、ニューラルネットワークとして畳み込みニューラルネットワークを用いることができる。

一方、疾患の予後予測のためには、診断の対象となる全組織で疾患の発現部位がどれだけ大きな領域を占めるかに関する情報、すなわち発現割合を重要なファクタとして活用することができる。このような発現割合を通じて疾患の進行状況を予測し、適した治療方法、手術の有無、薬剤の選択などが行われるので、予後予測のための発現割合は非常に重要な情報であり得る。

しかし、従来は、病理専門家が目視で組織検体が含まれたガラススライドを顕微鏡で観察しながら自分が判定した発病領域を所定のツール（例えば、サインペンなど）でガラススライド上にマーキングし、マーキング情報に基づいて概略的な発現割合のみを導き出すのにとどまっていた。

このような従来の発現割合の判定方式は図１に示されている。

図１は、従来の病理専門家によって疾患の発現割合が判定される方式を説明するための図である。

図１を参照すると、図１の上部に示すように、従来には少なくとも１つの生体組織が所定の方式で染色された後にスライドに配置される。

すると、図１の下部に示すように、病理専門家は、このようなスライドに配置された組織を顕微鏡を介して逐一目視で確認しながら、各組織で疾患が発現した領域をマーキングする。このとき、目視で確認しながら疾患の発症領域をマーキングしなければならないので、非常に微細な領域単位（例えば、前立腺癌の場合はグランド単位）でマーキングを行うことは実質的に不可能であり、図１の下部に示すように、疾患の発症領域の一方向の端点と他方向の端点をマーキングする方式のように、おおよその発現割合を判定できる最小限の情報のみマーキングすることになる。

図１の下部には、病理専門家が赤色の筆記具でスライド（ガラススライド）上に直接マーキングした一例を示している。また、図１では、疾患が前立腺癌の場合を例示として説明するが、本発明の権利範囲がこれに限定されず、様々な疾患に本発明の技術的思想を適用できることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。

すると、図１の下部の場合に、第１の組織に対して病理専門家の判定より分かる発現割合に関する情報は、該当組織の全長は８．５ｍｍであり、マーキングされた情報に基づいて判定された発症領域の長さは７ｍｍであり、発現した領域にはグリソンスコア３及び４が混在しているという情報であるかもしれない。

また、第２の組織に対して病理専門家の判定より分かる発現割合に関する情報は、該当組織の全長は８ｍｍであり、マーキングされた情報に基づいて判定された発症領域の長さは６．５ｍｍであり、発現した領域にはグリソンスコア３及び４が混在しているという情報であるかもしれない。

また、第３の組織に対して病理専門家の判定より分かる発現割合に関する情報は、該当組織の全長は９．６ｍｍであり、マーキングされた情報に基づいて判定された発症領域の長さは１．５ｍｍであり、発現した領域にはグリソンスコア３のみあるという情報であるかもしれない。

このように病理専門家の判定に基づいて予後予測のための発現割合に関する情報を取得する場合は、疾患の発症領域をマーキングする方式、筆記具の太さ，病理専門家の判定時の体調に支配的な影響を受けるしかなく、おそらくかなりの不正確性がある。

また、図１でのように、通常、病理専門家の場合は、疾患の発症領域の境界（例えば、両端点）のみマーキングし、該当境界内のすべての領域に疾患が発現したと仮定して発現割合を予測することが一般的である。しかし、実際は、該当の境界内にも疾患が発現した領域と発現していない領域とが混在し、正確な発現割合を判定しにくいという問題がある。

また、図１で説明したように、疾患が発現しても疾患の進行状態（例えば、前立腺癌のグリソンスコア）が区分される場合は、疾患の進行状態毎の発現割合が重要な情報（例えば、全組織でグリソンスコア３のみの発現割合、グリソンスコア４のみの発現割合）となり得る場合にも、このような情報の取得が実質的に困難であるという問題がある。

従って、ニューラルネットワークを用いた診断結果を用いて正確に予後予測のための情報を取得することができ、これを用いて疾患の予後予測を行うことができる方法及びそのシステムが切実にもとめられる。

韓国特許出願公開第１０－２０１９－００８４８１４「ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾患診断システム及び方法」

本発明が達成しようとする技術的な課題は、ニューラルネットワークを用いた診断結果を用いて正確に予後予測のための情報を取得することができ、これを用いて疾患の予後予測を行うことができる技術的思想を提供することである。

特に、本発明の目的は、パッチ単位で疾患が発現したと判定するものでなく、パッチ内でも疾患が発現した領域の区分のためのセグメンテーションを行うことによって得られた診断結果を用いることによって、より正確な予後予測情報を取得することができる技術的思想を提供することである。

本発明の一態様によると、プロセッサ、及びニューラルネットワークを記憶する記憶装置を含むシステムによって実現される予後予測方法は、前記システムが生体画像を入力されるステップ、前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップと、前記システムが、前記生体画像上で全組織のサイズに対応する第１の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第２の情報を判定し、判定結果に基づいた予後予測情報を生成するステップと、を含み、前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップは、前記生体画像が所定のサイズに分割された所定のパッチのそれぞれに対して疾患が発現したか否かの判定結果に基づいて前記発症領域診断結果を生成するか、又は前記パッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションを行った結果に基づいて前記発症領域診断結果を生成する。

前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップは、前記疾患が発現したとき、発現した疾患の状態が複数のクラスに区分される場合、前記システムが各クラス毎に発症領域診断結果を生成するステップを含み、前記システムが、前記生体画像上で全組織のサイズに対応する第１の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第２の情報を判定し、判定結果に基づいた予後予測情報を生成するステップは、前記システムが、前記発症領域診断結果に基づいて各クラス毎に前記生体画像上で発症領域のサイズに対応する第２の情報を判定することを特徴とすることができる。

前記予後予測情報は、前記全組織のサイズに対する前記発症領域のサイズに対応する発現割合に関する情報を含んでもよい。

他の態様による予後予測のためのシステムは、プロセッサ、前記プロセッサによって駆動されるプログラム及びニューラルネットワークを記憶するメモリを含み、前記プロセッサは、前記プログラムを駆動することによって、生体画像が入力され、生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成し、前記生体画像上で全組織のサイズに対応する第１の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第２の情報を判定し、判定結果に基づいた予後予測情報を生成し、前記生体画像が所定のサイズに分割された所定のパッチのそれぞれに対して疾患が発現したか否かの判定結果に基づいて前記発症領域診断結果を生成するか、又は前記パッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションした結果に基づいて前記発症領域診断結果を生成する。

前記プロセッサは、前記プログラムを駆動することによって、前記疾患が発現したとき、発現した疾患の状態が複数のクラスに区分される場合、各クラス毎に発症領域診断結果を生成し、前記発症領域診断結果に基づいて各クラス毎に前記生体画像上で発症領域のサイズに対応する第２の情報を判定することを特徴とすることができる。

上記の方法は、データ処理装置に設置されたプログラムによって実現することができる。

本発明の技術的思想によると、ニューラルネットワークを用いた診断結果を用いて予後予測を相対的に正確に行うことができる予後予測情報を取得することができ、これを用いて疾患の予後予測を行うことで、正確かつ客観的な情報に基づいた予後予測が可能となるという効果がある。

また、パッチ単位で疾患が発現したと判定するものでなく、パッチ内でも疾患が発現した領域の区分のためのセグメンテーションを行った診断結果を用いることによって、より正確な予後予測情報を取得することができるという効果がある。

本発明の詳細な説明で引用される図面をより十分に理解するために各図面の簡単な説明が提供される。
従来の病理専門家によって疾患の発現割合が判定される方式を説明するための図である。 本発明の技術的思想によるニューラルネットワークを介した疾患の診断結果を用いた予後予測方法を実現するための概略的なシステム構成を示す図である。 本発明の実施形態によるシステムのハードウェア的な構成を説明するための図である。 本発明の実施形態によるシステムの論理的な構成を説明するための図である。 本発明の一実施形態によるシステムを診断システムと予後予測システムとに区分した一例を示すための図である。 本発明の一実施形態によるニューラルネットワークを介した疾患の診断結果を用いた予後予測方法を説明するための生体画像の発症領域診断結果を示す図である。 本発明の一実施形態によるパッチレベルセグメンテーションニューラルネットワークの全体的な構造を説明するための図である。

本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に示し、詳細に説明する。しかしながら、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神および技術的範囲に含まれるすべての変換、等価物から代替物を含むことを理解されたい。本発明の説明において、関連する公知技術の具体的な説明が本発明の要旨を不明瞭にすると判定される場合、その詳細な説明は省略する。

第１、第２などの用語は様々な構成要素を説明するために使用することができるが、構成要素はその用語によって限定されるべきではない。上記用語は、ある構成要素を他の構成要素から区別する目的でのみ使用される。

本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。

本明細書において、「含む」または「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものが存在することを指定するものであり、１つまたは複数の他の特徴、数、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものの存在または追加の可能性を事前に除外しないことを理解されたい。

また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも１つの別の構成要素を介して、データを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、構成要素はまた他の構成要素を介さずに他の構成要素にデータを伝送することを意味する。

以下、添付の図面を参照して本発明の実施形態を中心に本発明を詳細に説明する。各図に示されている同じ参照符号は同じ部材を示す。

図２は、本発明の技術的思想によるニューラルネットワークを介した疾患の診断結果を用いた予後予測方法を実現するための概略的なシステム構成を示す図である。図３は、本発明の実施形態によるシステムのハードウェア的な構成を説明するための図である。図４は、本発明の実施形態によるシステムの論理的な構成を説明するための図である。図５は、本発明の一実施形態によるシステムを診断システムと予後予測システムとに区分した一例を示すための図である。

図２ないし図５を参照すると、本発明の技術的思想を実現するためにニューラルネットワークを介した疾患の診断結果を用いた予後予測のためのシステム１００を備えることができる。

本発明の技術的思想によるシステム１００は、所定のサーバ１０に設置され、本発明の技術的思想を実現することができる。サーバ１０は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定サービスを行うことができるいかなる装置もサーバとして定義できることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。

サーバ１０は、図３に示すように、プロセッサ１１及び記憶装置１２（メモリ）を含んでもよい。プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２－１を駆動できる演算装置を意味し、プロセッサ１１は、プログラム１２－１と、本発明の技術的思想によって定義されるニューラルネットワーク１２－２（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）とを用いて診断を行うことができる。

ニューラルネットワーク１２－２は、生体画像で所定の疾患が発現した領域を判定することができる。一例によると、ニューラルネットワーク１２－２は、生体画像が所定のサイズに分割されたパッチに疾患が発現したか否かを判定するように学習された（ｔｒａｉｎｅｄ）ものであってもよい。このようなニューラルネットワーク１２－２を、後述するようにパッチレベル診断を行うパッチレベルクラシフィケーションニューラルネットワークと定義することができる。

実施形態によっては、ニューラルネットワーク１２－２は、パッチレベルクラシフィケーションニューラルネットワークだけでなく、それぞれのパッチのうちでも疾患が発現した領域のみを区分して特定するためのニューラルネットワーク、すなわちパッチレベルセグメンテーションニューラルネットワークを含んでもよい。パッチレベルセグメンテーションニューラルネットワークは、パッチのうち疾患が存在する領域を特定するパッチレベルセグメンテーションを行うこともできる。

実施形態によって、ニューラルネットワーク１２－２は、スライドレベル診断を行うニューラルネットワークをさらに含んでもよい。実施形態によって、スライドレベル診断を行う構成は、ニューラルネットワークだけでなく、様々な機械学習技術により実現されてもよい。本発明の技術的思想によると、スライドレベル診断を行う診断エンジンは、公知のＸＧＢｏｏｓｔが用いられたが、様々な方式の機械学習技術による診断エンジンが実現されてもよく、このような診断エンジンは、記憶装置１２に記憶されてもよいことは言うまでもない。

サーバ１０は、図３に示すように、プロセッサ１１及び記憶装置１２を含んでもよい。プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２－１を駆動できる演算装置を意味し、プロセッサ１１は、プログラム１２－１と、本発明の技術的思想によって定義されるニューラルネットワーク１２－２（Ｎｅｒｕａｌ Ｎｅｔｗｏｒｋ）とを用いて診断を行うことができる。

ニューラルネットワーク１２－２は、後述するように、パッチレベル診断を行うニューラルネットワークを含んでもよい。パッチレベル診断を行うニューラルネットワークは、スライドを分割した一部であるパッチに疾患が存在するか否かを判定することができる。また、パッチレベル診断を行うニューラルネットワークは、該当パッチのうち疾患の発症領域を特定するセグメンテーションを行うこともでき、このようなニューラルネットワークを以下ではパッチレベルセグメンテーションニューラルネットワークと呼ぶ。

記憶装置１２は、プログラム１２－１、ニューラルネットワーク１２－２、及び／又はスライドレベル診断を行う診断エンジンを記憶できるデータ記憶手段を意味し、実施形態によって複数の記憶手段で実現されてもよい。また記憶装置１２は、サーバ１０に含まれた主記憶装置だけでなく、プロセッサ１１に含まれ得る一時記憶装置又はメモリなどを含む意味であってもよい。

システム１００は、図２又は図３では、いずれかの物理装置で実現されたように示しているが、必要に応じて複数の物理装置が有機的に結合されて本発明の技術的思想によるシステム１００を実現できることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。

本明細書において、システム１００が診断を行うとは、生体組織が表現された生体画像、すなわちスライドの全体又はスライドの一部であるパッチを入力し、本明細書で定義された出力データを出力する一連のプロセスを意味し得る。

一例によると、システム１００は、ツーフェイズ（ｔｗｏ ｐｈａｓｅ）診断を行うことができる。第１のフェイズは、パッチレベル診断を行う過程であってもよく、このような過程で、システム１００は、スライドのパッチ毎に入力を受け、該当パッチに疾患の発現有無を出力し、及び／又は該当パッチで疾患が発症した領域を特定することができる。このためのニューラルネットワークを学習して実現することができることは言うまでもない。

第２のフェイズは、第１のフェイズの診断結果よりスライドに疾患が発現したか否かを出力することができる。このような過程は、ニューラルネットワーク又は所定の機械学習技術を用いることができる。

すなわち、パッチ毎の診断結果によって、一部のパッチが疾患が発現したと判定されても、該当パッチを含むスライド全体に対応する生体組織で疾患が発現したと判定されない可能性は存在し得る。例えば、疾患が発現したと判定されたパッチがスライド内で散らばっているか、又はその数が少ない場合、又は密集度などその他疾患が発現したと判定されたパッチの物理的特性（例えば、位置、サイズ、密集度など）が実際の該当スライドで疾患の発現有無の判定に重要な意味を有し得る。従って、第２のフェイズは、パッチ毎の診断結果と、このような診断結果に基づいて判定されたパッチ（すなわち、疾患が発現したと診断されたパッチ）の特性に基づいてスライドにおける疾患の発現有無を判定することで、効果的かつ精度の高い診断を行うことができる。

一方、システム１００がパッチ毎にセグメンテーションを行うためのパッチレベルセグメンテーションニューラルネットワークを含んでもよい。これは、パッチ単位の診断結果によって、疾患の発現有無をパッチ毎に判定（すなわち、パッチ毎にクラシフィケーション）し、パッチ単位で疾患が発現したと判定される場合は、パッチ内に疾患が発現していない領域が存在するにも、パッチ全体に疾患が発現したと判定される問題があり得る。従って、疾患と診断された組織部分を明確に把握できるように、いずれのパッチ内でも疾患領域を区分できるセグメンテーションが必要であり、このためにパッチレベルセグメンテーションニューラルネットワークを実現することができる。

このようなセグメンテーションのための技術的思想の一例は、韓国公開特許１０－２０１９－００８４８１４「ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾患診断システム及び方法」（以下、「以前出願」）に開示されており、以前出願は本発明の参照として含まれてもよい。

いかなる場合においても、ニューラルネットワーク１２－２は、疾患の発現有無をパッチ毎に判定し、実施形態によってそれぞれのパッチ内でも疾患の発症領域のみを特定することができる。

すなわち、ニューラルネットワーク１２－２は、疾患の発症領域を単にパッチ毎にのみ判定してもよく、パッチ内でも疾患の発症領域のみをさらに特定してもよい。

また、ニューラルネットワーク１２－２は、特定疾患の発現有無だけでなく、特定疾患の進行度を示す状態情報（又は進行度に該当する確率）を判定してもよい。

例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進行度を示す指標であるグリソンパターン（Ｇｌｅａｓｏｎ Ｐａｔｔｅｒｎ）又はグリソンスコア（Ｇｌｅａｓｏｎ Ｓｃｏｒｅ）がニューラルネットワークが出力する状態情報に含まれてもよい。例えば、グリソンスコアは２ないし５の値を有し、数字が大きいほど前立腺癌の発現程度が大きいことを示す。従って、状態情報は、診断の対象となるパッチに該当する生体組織がグリソンスコアの特定値（例えば、３、４、又は５）に該当する確率を意味し得る。

すなわち、ニューラルネットワーク１２－２は、パッチ毎に単に疾患の発現有無だけでなく、疾患が発現した場合でも該当パッチが複数のクラス（例えば、グリソンスコア３、４、又は５）のいずれのクラスに分類されるかを判定することができる。

システム１００が所定のサーバ１０に含まれて実現される場合、システム１００は、サーバ１０に接続可能な少なくとも１つのクライアント（例えば、２０、２０－１）と通信を行ってもよい。このような場合、クライアント（例えば、２０、２０－１）は、生体画像をシステム１００に伝送してもよく、システム１００は、伝送された生体画像に対して本発明の技術的思想による診断を行ってもよい。また、診断結果をクライアント（例えば、２０、２０－１）に伝送してもよい。また、システム１００は、生体画像の診断結果に基づいて予後予測情報を生成して出力してもよい。

このために、システム１００は、図５に示すように診断システムと予後予測システムとを含んでもよい。

診断システムは、上述したように、生体画像が入力されて診断を行う構成であってもよい。診断を行うとは、特に生体画像で疾患が発現した領域を特定できる情報、すなわち発症領域診断結果を出力することを意味し得る。発症領域診断結果は、生体画像上で疾患が発現した領域を特定できる情報であれば十分である。例えば、生体画像上で疾患が発現した領域が他の領域と区分されるように表示された画像情報自体が発症領域診断結果であってもよく、疾患が発現した領域に含まれる画素に関する情報（座標）が発症領域診断結果であってもよい。或いは疾患が発現したパッチの識別情報が発症領域診断結果であってもよい。発症領域診断結果を実現するための様々な実施形態が存在し得る。

予後予測システムは、予後予測に用いられる情報を生成することができる。このために、予後予測システムは、診断システムから発症領域診断結果を受信することができる。

すると、予後予測システムは、生体画像上で全組織のサイズに対応する第１の情報、及び診断結果に基づいて生体画像上で発症領域のサイズに対応する第２の情報を判定することができる。また、判定結果に基づいた予後予測情報を生成することができる。予後予測情報は、上述したように、発現割合に関する情報を含んでもよいが、これに限定されず、発症領域診断結果から導き出すことができ、予後予測に有意性を有するいかなる情報も予後予測情報に含まれ得る。

第１の情報は、組織のサイズに関する情報を示すことができ、第１の情報は長さ、面積、画素数など様々な方式で定義することができる。

第１の情報を判定するために、予後予測システムは、組織の染色された色と背景を所定の方式で区分して組織のサイズに対応する第１の情報を演算することができる。

第２の情報は、組織のうち実際に疾患が発現した領域のサイズを示す情報であり得る。

また、診断システムが、疾患が発現した場合に、疾患の状態によって複数のクラスのいずれかで発現した疾患を分類するように実現された場合、各クラス毎に発症領域のサイズを示す第２の情報が予後予測システムによって演算され得る。例えば、前立腺癌の場合、グリソンスコア３に対応する第２の情報、グリソンスコア４に対応する第２の情報、及びグリソンスコア５に対応する第２の情報がそれぞれ個別に判定されてもよい。

一方、診断システムは、上述したように、単にパッチ毎に疾患の診断を行ってもよく、このような場合は、疾患が発現したと判定されたパッチに対しては、パッチ全体が該当する疾患（又は該当するクラスの疾患）が発現したものとして扱われてもよい。

このような場合でも、図１で上述したように、従来の病理専門家によって第２の情報が判定されることと比べると、遥かに正確な予後予測情報の演算が可能となり得る。

実施形態によっては、診断システムは、パッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションすることができる。このような場合は、いずれのパッチ内でも疾患が発現した領域のみ区分して特定でき、これによって、第２の情報はより正確となり、その結果に基づいて第２の情報が判定される場合、より精度の高い予後予測情報の演算が可能となる。

上記図５に示すような診断システムと予後予測システムとの区分は、その論理的機能を区分したものであり、必ずしも物理的に区分された構成で本発明の技術的思想によるシステム１００が実現されることを意味するわけではない。すなわち、上記図３及び図４に開示された構成が、診断システム及び予後予測システムを全て実現することができる。

このような技術的思想は図６を参照して説明する。

図６は、本発明の一実施形態によるニューラルネットワークを介した疾患の診断結果を用いた予後予測方法を説明するための生体画像の発症領域診断結果を示す図である。

図６は、図１に示す組織が本発明の技術的思想による診断システムによって診断され、発症領域診断結果が生体画像上で表示された一例を示す。

図６に黄色で表示された領域は、疾患状態のうち所定の第１のクラス（例えば、グリソンスコア３）と判定された領域であり、かば色で表示された領域は、疾患状態のうち所定の第２のクラス（例えば、グリソンスコア４）と判定された領域を示す。

図６及び図１を比較して参照すると、図６に示すように、病理専門家が疾患が発現した領域の境界をマーキングし、境界内の組織をすべて疾患が発現したものとして扱うこととは異なり、本発明の技術的思想によると、境界内でも実際に疾患が発現した領域とそうではない領域とを画素レベル又はそれに近い細部領域まで区分して判定することができる。

従って、従来はおおよその発現割合のみ推定されることに比べて、本発明の技術的思想によると、比較的に非常に正確な疾患の発症領域のサイズに関する情報を取得することができる。

また、図６に示すように、疾患が発現した領域だけでなく、疾患の状態、すなわちクラス毎に正確な領域の計算が可能となり得る。従って、システム１００は、全組織に対する疾患の発症領域の割合だけでなく、疾患の発症領域に対する第１のクラス（例えば、グリソンスコア３）の発症領域の割合、疾患の発症領域に対する第２のクラスの発症領域の割合（例えば、グリソンスコア４）、第１のクラスの発症領域に対する第２のクラスの発症領域の割合など、予後予測のための様々な指標を設定することができる。

このように様々な予後予測情報を活用できることは、現在の患者の状態をより詳しく区分することができ、それによる治療や処方が可能となることを意味し得る。

一方、ニューラルネットワーク１２－２は、上述したように、パッチレベルで疾患の診断を行い、生体画像上で疾患の発症領域を判定することができる。もちろん、このような診断を行うためにニューラルネットワークを学習させるプロセスを先に行ってもよい。また、スライドレベル診断にも所定のニューラルネットワークを利用可能なことは上述した通りである。

従って、システム１００は、本発明の技術的思想によって学習されたニューラルネットワーク、及びニューラルネットワークを用いて診断を行うためのプログラムを外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習まで行うシステムであってもよい。また、システム１００は、汎用のデータ処理装置でなく、本発明の技術的思想を実現するために製作された専用装置で実現されてもよく、このような場合は、生体画像をスキャンするための手段などをさらに備えてもよい。

このような技術的思想を実現するためのシステムは、論理的に図４のような構成を有することができる。

図４を参照すると、システムは、制御モジュール１１０、及びニューラルネットワーク及び／又はスライド診断エンジンが記憶されたニューラルネットワークモジュール１２０を含む。また、システム１００は、前処理モジュール１３０をさらに含んでもよい。本発明の実施形態によって、上述の構成要素のうちの一部の構成要素は、必ずしも本発明の実現に必須な構成要素に該当しなくてもよく、また実施形態によって、システム１００は、これよりも多くの構成要素を含んでもよいことは言うまでもない。例えば、システム１００は、クライアント（例えば、２０、２０－１）と通信するための通信モジュール（図示せず）をさらに含んでもよい。

システム１００は、本発明の技術的思想を実現するために必要なハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味し、必ずしも１つの物理的な構成要素又は１つの装置を意味するわけではない。すなわち、システム１００は、本発明の技術的思想を実現するために備えられるハードウェア及び／又はソフトウェアの論理的な結合を意味し、必要に応じては、互いに離隔した装置に設置され、それぞれの機能を行うことで本発明の技術的思想を実現するための論理的な構成の集合で実現されてもよい。また、システム１００は、本発明の技術的思想を実現するためのそれぞれの機能又は役割毎に別に実現される構成の集合を意味し得る。例えば、制御モジュール１１０、ニューラルネットワークモジュール１２０、及び／又は前処理モジュール１３０のそれぞれは、互いに異なる物理装置に位置してもよく、同一の物理装置に位置してもよい。また、実施形態によっては、制御モジュール１１０、ニューラルネットワークモジュール１２０及び／又は前処理モジュール１３０のそれぞれを構成するソフトウェア及び／又はハードウェアの結合も互いに異なる物理装置に位置し、互いに異なる物理装置に位置した構成が互いに有機的に結合されてそれぞれのモジュールを実現することもできる。

また、本明細書でモジュールとは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的結合を意味し得る。例えば、モジュールは、所定のコードと、所定のコードが行われるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味し、必ずしも物理的に接続されたコードを意味するか、一種類のハードウェアを意味するわけではないことは、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。

制御モジュール１１０は、本発明の技術的思想を実現するためにシステム１００に含まれた他の構成（例えば、ニューラルネットワークモジュール１２０及び／又は前処理モジュール１３０など）を制御することができる。

また、制御モジュール１１０は、生体画像を入力され、入力された生体画像に対して、記憶されたニューラルネットワークモジュール１２０及び／又はスライド診断エンジンを用いて本発明の技術的思想による診断を行うことができる。また発症領域診断結果を出力することができる。また、制御モジュール１１０は、予後予測情報を生成することができる。

制御モジュール１１０は、ニューラルネットワークモジュール１２０に記憶されたパッチレベルニューラルネットワーク、すなわち学習されたニューラルネットワークに入力データ、すなわちパッチ毎に入力を受けることができる。また、ニューラルネットワークによって定義される演算を行って出力データ、すなわちパッチに該当する疾患発現確率に対応する特徴値を出力することができる。また、実施形態によっては、パッチのうち疾患が発現した領域を特定することができる。また、実施形態によっては、後述するようなスライドレベル診断のために特徴値が所定の閾値であるか否かによって、該当パッチが疾患が発現したか否かを出力することもできる。

ニューラルネットワークモジュール１２０は、パッチレベル診断を行うパッチ診断エンジン、及びスライドレベル診断を行うスライド診断エンジンを含んでもよい。

パッチレベル診断エンジンは、上述したように、本発明の技術的思想によるディープラーニングに基づくニューラルネットワークを介して実現することができる。スライド診断エンジンは、ディープラーニングに基づくニューラルネットワークが用いられてもよく、ニューラルネットワークでなく所定の機械学習（例えば、ＸＧＢｏｏｓｔ）エンジンが用いられてもよい。

ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集合を意味し得る。本明細書でニューラルネットワークは畳み込みニューラルネットワークであってもよい。

畳み込みニューラルネットワークは、よく知られているように、入力層、複数の隠れ層、及び出力層を含んでもよい。複数の隠れ層のそれぞれは、畳み込み層及びプーリング層（又はサブサンプリング層）を含んでもよい。また、バッチ正規化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ；ＢＮ）層などの正規化層を含むように畳み込みニューラルネットワークが設計されてもよい。

畳み込みニューラルネットワークは、このようなそれぞれの層を定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、重み係数などによって定義することができる。また、出力層は、完全接続（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されたフィードフォワード層（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）と定義することができる。

畳み込みニューラルネットワークを構成する各層毎の設計事項は広く知られている。例えば、複数の層に含まれる層の数、複数の層を定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては、公知の関数を用いてもよく、本発明の技術的思想を実現するために別に定義された関数を用いてもよい。

畳み込み関数の一例としては、離散畳み込み和などがある。プーリング関数の一例としては、マックスプーリング（ｍａｘ ｐｏｏｌｉｎｇ）、アベレージプーリング（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）などを用いることができる。活性化関数の一例としては、シグモイド（ｓｉｇｍｏｉｄ）、タンジェントハイパーボリック（ｔａｎｈ）、ＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）、Ｓｗｉｓｈ、ＥＬＵ（ｅｘｐｏｎｅｎｔｉａｌ ｌｉｎｅａｒ ｕｎｉｔ）などであってもよい。

前述のように、パッチレベル診断を行うニューラルネットワークは、パッチに疾患が存在するか否かを判定するだけでなく、該当パッチのうち疾患の発症領域を特定するためのセグメンテーションを行うパッチレベルセグメンテーションニューラルネットワークであってもよい。

本発明の一実施形態によるパッチレベルセグメンテーションニューラルネットワークは、パッチに疾患が存在するか否かを判定するためのクラシフィケーションを行うニューラルネットワーク（後述する「パッチレベルクラシフィケーションニューラルネットワーク」）に基づいて、これにセグメンテーションのための別途のアーキテクチャを結合した形態で実現することができる。このようなパッチレベルセグメンテーションニューラルネットワークの構造が図７に示されている。図７に示すパッチレベルセグメンテーションニューラルネットワークは、以前出願に詳しく開示されているので、簡単に説明すると以下の通りである。

図７に示すように、本発明の一実施形態によるパッチレベルセグメンテーションニューラルネットワーク４００は、パッチレベルクラシフィケーションニューラルネットワーク２００及びパッチレベルセグメンテーションアーキテクチャ５００を含んでもよい。

パッチレベルクラシフィケーションニューラルネットワーク２００は、スライドを分割した一部であるパッチを入力層に入力し、パッチに疾患が存在するか否かに関するパッチレベル分類結果（例えば、図７に示すようなスコア）を出力することができる。これをクラシフィケーションと呼び、クラシフィケーション過程でパッチレベルクラシフィケーションニューラルネットワーク２００は、内部に含まれた一部の隠れ層で中間生成物として入力（すなわち、パッチ）に対する特徴を生成することができる。特に、画像のような二次元以上のマトリックスを入力として受ける場合、生成される特徴は二次元マトリックスの形態であるので、特徴マップという用語を使用する場合もある。一方、以下では、パッチレベルクラシフィケーションニューラルネットワーク２００に含まれた隠れ層のうち特徴マップを生成する層を特徴マップ抽出層と呼ぶ。

一方、パッチレベルセグメンテーションアーキテクチャ５００は、パッチレベルクラシフィケーションニューラルネットワーク２００に含まれた隠れ層のうち２以上の特徴マップ抽出層のそれぞれで生成される特徴マップ（例えば、以前出願の図４に示されているｆ１、ｆ２、ｆ３）の入力を受け、パッチのうち疾患が存在する領域を特定して出力することができる。

図７では、パッチレベルクラシフィケーションニューラルネットワーク２００がクラシフィケーションを行う過程で、３つの特徴マップ（低レベル特徴マップｆ１、中レベル特徴マップｆ２、高レベル特徴マップｆ３）を生成する例を示しているが、実施形態によって、これより多いまたは少ない数の特徴マップを生成できることは言うまでもない。

一方、本発明の実施形態によると、パッチレベルクラシフィケーションを行うパッチレベルクラシフィケーションニューラルネットワーク２００は、公知のｄｅｎｓｅｎｅｔを用いることができるが、これに限らない。他にも様々なニューラルネットワークを活用でき、いかなる場合においても、パッチレベルクラシフィケーションニューラルネットワーク２００は、特定パッチを入力として受け、該当の特定パッチの疾患発現確率に対応する特徴値を出力するように定義することができる。

パッチレベルセグメンテーションアーキテクチャ５００は、上述したように、パッチレベルクラシフィケーションニューラルネットワーク２００で行われるクラシフィケーション過程で、それぞれの特徴抽出層によって特徴マップｆ１、ｆ２、ｆ３が生成され、これに基づいてパッチのうち疾患が存在する領域を特定することができる。また、このために非局所的な相関関係を利用可能なことは以前出願に開示された通りである。

上述したように、ニューラルネットワークモジュール１２０によって疾患が発現した領域が特定されると、すなわち、発症領域診断結果が生成されると、制御モジュール１１０は予後予測情報を生成することができる。

制御モジュール１１０は、上述したように、診断の対象となった生体画像上で全組織のサイズに対応する第１の情報を判定することができる。例えば、画素の数及び／又はパッチの数に基づいて第１の情報を判定することができる。

また、診断結果に基づいて生体画像上で発症領域のサイズに対応する第２の情報を判定することができる。例えば、疾患が発現したと判定された画素及び／又はパッチの数に基づいて第２の情報を判定することができる。

すると、制御モジュール１１０は、第１の情報、及び第２の情報に基づいて予後予測情報を生成することができる。

また、制御モジュール１１０は、ニューラルネットワークモジュール１２０が画素単位及び／又はパッチ毎に疾患の発現有無を判定して疾患を複数のクラスに区分した場合、各クラス毎に生体画像上で発症領域のサイズに対応する第２の情報を判定することができる。また、このような場合に予後予測情報には、全組織のサイズに対するそれぞれのクラス毎の疾患発症領域のサイズに対応する発現割合が含まれ得ることは言うまでもない。

前処理モジュール１３０は、ニューラルネットワークを用いて診断を行う前に必要な生体画像の前処理を行うことができる。例えば、生体画像の前処理は、生体画像を予め定義されたサイズのパッチにパッチ化する過程を含んでもよく、上述したように、パッチ毎の画素のグレー値を算出してもよい。また、必要に応じて、ニューラルネットワークに適した方式で適切な画像処理を行うこともできることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。

一方、実施形態によって、システム１００は、プロセッサ、及びプロセッサによって実行されるプログラムを記憶するメモリを含んでもよい。プロセッサは、シングルコアＣＰＵ又はマルチコアＣＰＵを含んでもよい。メモリは、高速ランダムアクセスメモリを含んでもよく、１つ以上の磁気ディスク記憶装置、フラッシュメモリ装置、又はその他不揮発性固体状態メモリ装置のような不揮発性メモリを含んでもよい。プロセッサ、及びその他構成要素によるメモリへのアクセスは、メモリコントローラによって制御することができる。

一方、本発明の実施形態による方法は、コンピュータで読み取り可能なプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に記憶されてもよく、本発明の実施形態による制御プログラム及び対象プログラムもコンピュータで読み取り可能な記録媒体に記憶されてもよい。コンピュータで読み取り可能な記録媒体は、コンピューティングシステムによって読み取り可能なデータが記憶されるあらゆる種類の記録装置を含む。

記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたものなどや、ソフトウェア分野の当業者に公知として使用可能なものであってもよい。

コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記憶して実行するために特別に構成されたハードウェア装置が含まれる。またコンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピューティングシステムに分散され、分散方式でコンピュータで読み取り可能なコードを記憶して実行することができる。

プログラム命令の例としては、コンパイラによって作成される機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行することができる高級言語コードを含む。

上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述した本発明の説明は例示のためのものであり、本発明が属する技術分野の通常の知識を有する者であれば、本発明の技術的思想や必須の特徴を変更することなく他の具体的な形態に容易に変形が可能であることを理解することができるであろう。従って、上記で説明した実施形態はすべての点で例示的なものであり、限定的なものではないと理解すべきである。例えば、単一の形態で説明されている各構成要素は分散して実施することができ、同様に分散されたと記載されている構成要素も組み合わせた形で実施することができる。

本発明の範囲は、上記の詳細な説明ではなく、後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、またその均等概念から導出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

本発明は、ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法及びそのシステムに用いることができる。

Claims (6)

1. プロセッサ、及びニューラルネットワークを記憶する記憶装置を含むシステムによって実現される予後予測方法であって、
   前記システムが生体画像を入力されるステップと、
   前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップと、
   前記システムが、前記生体画像上で全組織のサイズに対応する第１の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第２の情報を判定し、判定結果に基づいた予後予測情報を生成するステップと、
   を含み、
   前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップは、
   前記生体画像が所定のサイズに分割された所定のパッチのそれぞれに対して疾患が発現したか否かの判定結果に基づいて前記発症領域診断結果を生成するか、又は前記パッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションした結果に基づいて前記発症領域診断結果を生成する、ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法。
2. 前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップは、
   前記疾患が発現したとき、発現した疾患の状態が複数のクラスに区分される場合、前記システムが各クラス毎に発症領域診断結果を生成するステップを含み、
   前記システムが、前記生体画像上で全組織のサイズに対応する第１の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第２の情報を判定し、判定結果に基づいた予後予測情報を生成するステップは、
   前記システムが、前記発症領域診断結果に基づいて各クラス毎に前記生体画像上で発症領域のサイズに対応する第２の情報を判定することを特徴とする、請求項１に記載のニューラルネットワークを介した疾患の診断結果を用いた予後予測方法。
3. 前記予後予測情報は、
   前記全組織のサイズに対する前記発症領域のサイズに対応する発現割合に関する情報を含む、請求項１に記載のニューラルネットワークを介した疾患の診断結果を用いた予後予測方法。
4. データ処理装置に設置され、請求項１ないし請求項３のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。
5. プロセッサ、及びニューラルネットワークを記憶する記憶装置を含む予後予測のためのシステムであって、
   プロセッサと、
   前記プロセッサによって駆動されるプログラム及びニューラルネットワークを記憶するメモリと、
   を含み、
   前記プロセッサは、前記プログラムを駆動することによって、
   生体画像を入力され、生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成し、前記生体画像上で全組織のサイズに対応する第１の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第２の情報を判定し、判定結果に基づいた予後予測情報を生成し、
   前記生体画像が所定のサイズに分割された所定のパッチのそれぞれに対して疾患が発現したか否かの判定結果に基づいて前記発症領域診断結果を生成するか、又は前記パッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションした結果に基づいて前記発症領域診断結果を生成する、ニューラルネットワークを介した疾患の診断結果を用いた予後予測のためのシステム。
6. 前記プロセッサは、前記プログラムを駆動することによって、
   前記疾患が発現したとき、発現した疾患の状態が複数のクラスに区分される場合、各クラス毎に発症領域診断結果を生成し、
   前記発症領域診断結果に基づいて各クラス毎に前記生体画像上で発症領域のサイズに対応する第２の情報を判定することを特徴とする、請求項５に記載のニューラルネットワークを介した疾患の診断結果を用いた予後予測のためのシステム。