JP2024512272A - ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステム - Google Patents

ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステム Download PDF

Info

Publication number
JP2024512272A
JP2024512272A JP2023551759A JP2023551759A JP2024512272A JP 2024512272 A JP2024512272 A JP 2024512272A JP 2023551759 A JP2023551759 A JP 2023551759A JP 2023551759 A JP2023551759 A JP 2023551759A JP 2024512272 A JP2024512272 A JP 2024512272A
Authority
JP
Japan
Prior art keywords
bladder
neural network
lesion
lesions
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023551759A
Other languages
English (en)
Inventor
イニョン ペク
テヨン カク
ソンウ キム
Original Assignee
ディープ バイオ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディープ バイオ インク filed Critical ディープ バイオ インク
Publication of JP2024512272A publication Critical patent/JP2024512272A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Figure 2024512272000001
ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステムが開示される。前記ニューラルネットワークを用いた膀胱病変の診断方法は、膀胱病変診断システムが単位病理画像を入力するステップと、前記膀胱病変診断システムが、前記単位病理画像を第1ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第1膀胱病変の診断結果を取得するステップと、前記膀胱病変診断システムが、前記単位病理画像を第2ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第1膀胱病変を除いた第2膀胱病変の診断結果を取得するステップと、を含み、前記第1ニューラルネットワークは、前記第1膀胱病変が発現した病変領域がアノテーションされた複数の第1学習データにより学習されたニューラルネットワークであることを特徴とし、前記第2ニューラルネットワークは、前記第2膀胱病変のうちの少なくとも1つの発現有無である発現病変の種類がアノテーションされた複数の第2学習データ(ここで、第2学習データは、病変領域に対するアノテーションが行われていないデータである)により学習されたニューラルネットワークであることを特徴とする。

Description

本発明は、ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステムに関し、より詳しくは、膀胱の生体組織に基づく病理画像を用いて複数の膀胱病変を診断できる診断システムを効果的に学習させて診断に利用することができる方法及びそのシステムに関する。
膀胱癌は、よく発生する癌の1つであり、再発の可能性も高い方である。このような膀胱癌の診断及び局所的な治療方法として、経尿道的膀胱切除術(transurethral resection of bladder;TURB)が主に用いられている。
一般的に、経尿道的膀胱切除術により採取された組織検体を病理的に判読して膀胱癌の確認、重症度の判別などの診断がなされている。
このとき、経尿道的膀胱切除術により採取された組織検体は、膀胱癌の診断だけでなく膀胱に関連する様々な病変を診断するのにも利用することができる。
例えば、経尿道的膀胱切除術により採取された組織検体より確認できる病変の種類は多く、大きく浸潤性癌病変と非浸潤性癌病変に分けられる。
また、非浸潤性病変としては、低悪性度/高悪性度 非浸潤性乳頭状尿路上皮がん、尿路上皮内がん(CIS)などの癌病変と、低悪性度乳頭状尿路上皮新生物(PUNLMP)、悪性度不明の尿路上皮増殖(UPUMP)、尿路上皮乳頭腫、内反性尿路上皮乳頭腫、尿路上皮異形成などの増殖性病変とがある。
また、このような様々な膀胱病変を診断することを病理専門家に全て任せると、非常に高価になるだけでなく、非効率的であり得る。
したがって、経尿道的膀胱切除術により得られた組織検体の病理スライドをスキャナでスキャンして作成した病理画像を分析することで、膀胱癌病変を診断(検出)できる機械学習モデル(ニューラルネットワーク)の需要が増加している。
特に、経尿道的膀胱切除術の組織検体のサイズは比較的大きい方であるため、ガラススライド形態の検体を光学顕微鏡で観察するか、又は病理画像形態の検体をモニターで判読することで、膀胱癌の病変を探して種類を判別することは病理専門医にとって複雑かつ面倒であるため、さらにこのような需要は増加している。
また、このような機械学習モデルを効果的に構築するための技術的思想が必要とされている。
(Antoni2016)Antoni、S. et al.、Bladder Cancer Incidence and Mortality:A Global Overview and Recent Trends.
本発明が達成しようとする技術的な課題は、膀胱癌の診断及び局所的な治療方法によって行われる経尿道的膀胱切除術により得られる組織検体を通じて、さらに様々な膀胱病変を診断できるニューラルネットワークに基づく診断システムを実現する技術的思想を提供することである。
また、このような診断システムにおいて、病変領域をアノテーションして学習させなければならない膀胱病変に対してのみ、制限的に病変領域をアノテーションした学習データを用いてニューラルネットワークを構築し、残りの膀胱病変に対しては、病変の種類のみアノテーションした学習データを用いてニューラルネットワークを構築することで、診断システムの構築の効率性を提供できる技術的思想を提供することである。
上記技術的課題を達成するための本発明の実施形態によるニューラルネットワークを用いた膀胱病変の診断方法は、膀胱病変診断システムが単位病理画像を入力するステップと、前記膀胱病変診断システムが、前記単位病理画像を第1ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第1膀胱病変の診断結果を取得するステップと、前記膀胱病変診断システムが、前記単位病理画像を第2ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第1膀胱病変を除いた第2膀胱病変の診断結果を取得するステップと、を含み、前記第1ニューラルネットワークは、前記第1膀胱病変が発現した病変領域がアノテーションされた複数の第1学習データにより学習されたニューラルネットワークであることを特徴とし、前記第2ニューラルネットワークは、前記第2膀胱病変のうちの少なくとも1つの発現有無である発現病変の種類がアノテーションされた複数の第2学習データ(ここで、第2学習データは、病変領域に対するアノテーションが行われていないデータである)により学習されたニューラルネットワークであることを特徴とする。
前記単位病理画像は、経尿道的膀胱切除術(transurenthral resection of bladder、TURB)により採取された組織検体に対応する病理画像が所定のサイズに分割されたパッチ画像であってもよい。
前記第1膀胱病変は、尿路上皮内がん(CIS)病変を含んでもよい。
前記第2膀胱病変は、浸潤性膀胱癌(invasive urothelial carcinoma)、低悪性度/高悪性度 非浸潤性乳頭状尿路上皮がん、尿路上皮内がん(CIS)、低悪性度乳頭状尿路上皮新生物(PUNLMP)、悪性度不明の尿路上皮増殖(UPUMP)、尿路上皮乳頭腫、内反性尿路上皮乳頭腫、尿路上皮異形成のうちの少なくとも1つを含んでもよい。
上記技術的課題を解決するためのニューラルネットワークを用いた膀胱病変診断システムは、膀胱病変診断システムが単位病理画像を入力するステップと、前記膀胱病変診断システムが、前記単位病理画像を第2ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第1膀胱病変を除いた第2膀胱病変の診断結果を取得するステップと、前記膀胱病変診断システムが、前記単位病理画像を第1ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第1膀胱病変の診断結果を取得するステップと、を含み、前記第1ニューラルネットワークは、前記第1膀胱病変が発現した病変領域がアノテーションされた複数の第1学習データにより学習されたニューラルネットワークであることを特徴とし、前記第2ニューラルネットワークは、前記第2膀胱病変のうちの少なくとも1つの発現有無である発現病変の種類がアノテーションされた複数の第2学習データ(ここで、第2学習データは、病変領域に対するアノテーションが行われていないデータである)により学習されたニューラルネットワークであることを特徴とする。
上記方法は、コンピュータで読み取り可能な記録媒体に記憶されたコンピュータプログラムによって実現することができる。
本発明の他の態様によると、ニューラルネットワークを用いた膀胱病変診断システムは、プロセッサ、及び前記プロセッサによって実行されるプログラムが記録された記憶装置を含み、前記プロセッサは、前記プログラムを駆動することで、単位病理画像を第1ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第1膀胱病変の診断結果を取得し、前記単位病理画像を第2ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第1膀胱病変を除いた第2膀胱病変の診断結果を取得し、前記第1ニューラルネットワークは、前記第1膀胱病変が発現した病変領域がアノテーションされた複数の第1学習データにより学習されたニューラルネットワークであることを特徴とし、前記第2ニューラルネットワークは、前記第2膀胱病変のうちの少なくとも1つの発現有無である発現病変の種類がアノテーションされた複数の第2学習データ(ここで、第2学習データは、病変領域に対するアノテーションが行われていないデータである)により学習されたニューラルネットワークであることを特徴とする。
本発明の技術的思想によると、膀胱癌の診断及び局所的な治療方法によって行われる経尿道的膀胱切除術により得られる組織検体を通じて、さらに様々な膀胱病変を診断できるニューラルネットワークに基づく診断システムによって、経尿道的膀胱切除術により膀胱癌だけでなく様々な膀胱病変を診断できるという効果がある。
また、診断システムの構築において、病変領域をアノテーションして学習させなければならない膀胱病変に対してのみ、制限的に病変領域をアノテーションした学習データを用いてニューラルネットワークを構築し、残りの膀胱病変に対しては、病変の種類のみアノテーションした学習データを用いてニューラルネットワークを構築することで、診断システムを効果的に構築できるという効果がある。
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法を実現するための概略的なシステムを説明するための図である。 本発明の技術的思想によるニューラルネットワークを用いた膀胱病変診断システムの論理的構成を説明するための図である。 本発明の技術的思想によるニューラルネットワークを用いた膀胱病変診断システムの物理的構成を説明するための図である。 本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法の概念を説明するための図である。 本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法を説明するためのフローチャートを示す。
本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の好ましい実施形態を例示する添付図面、及び添付図面に記載された内容を参照しなければならない。
また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも1つのまた他の構成要素を介してデータを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、構成要素からまた他の構成要素を介することなく他の構成要素にデータが伝送されることを意味する。
以下、添付の図面を参照して本発明の好ましい実施形態を説明することで、本発明を詳しく説明する。各図に示されている同じ参照符号は同じ部材を示す。
図1は、本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法を実現するための概略的なシステムを説明するための図である。
図1を参照すると、本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法(以下、診断システム、100)は、所定のサーバ10に設置されて本発明の技術的思想を実現することができる。サーバ10は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般的にネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定サービスを実行することができるいかなる装置もサーバとして定義できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
サーバ10は、図3に示すように、プロセッサ11及び記憶装置12を含んでもよい。プロセッサ11は、本発明の技術的思想を実現するためのプログラム12-1を駆動させることができる演算装置を意味し、プロセッサ11は、プログラム12-1と本発明の技術的思想によって定義する複数のニューラルネットワーク(Nerual Network、12-2、12-3)とを用いて診断を行うことができる。
プロセッサ110は、所定のプログラム(ソフトウェアコード)を実行できる演算装置を意味し、データ処理装置の実施例又はベンダー(Vendor)モバイルプロセッサ、マイクロプロセッサー、CPU、シングルプロセッサ、マルチプロセッサ、GPUなど、様々な名称で命名することができ、1つ以上のプロセッサで実現することができる。
プロセッサ110は、プログラムを駆動することで、本発明の技術的思想に必要なデータ処理を行うことができることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
記憶装置120は、本発明の技術的思想を実現するためのプログラムが記憶/設置される装置を意味することができる。実施形態によって、記憶装置120は、複数の異なる物理装置に分割されてもよく、実施形態によって、記憶装置120の一部は、プロセッサ110の内部に存在してもよい。記憶装置120は、実施形態によって、ハードディスク、GPU、SSD(Solid State Disk)、光ディスク、RAM(Random Access Memory)、及び/又はその他様々な種類の記憶媒体で実現することができ、必要に応じて、記憶装置120に取り外し可能に実現することもできる。
本明細書で診断システム100が診断を行うとは、プロセッサ11がプログラム12-1を駆動することで、ニューラルネットワーク12-2、12-3を介して複数の膀胱病変のうちの少なくとも1つの発現有無及び/又は発現領域を出力することを意味することができる。
所定の膀胱病変の発現領域は画素単位で決定されてもよく、このために、画素毎に所定の疾患の発現領域に含まれるか否かを判断するニューラルネットワークが学習され活用できることが知られているので、本明細書では詳細な説明は省略する。
記憶装置12は、プログラム12-1及びニューラルネットワーク12-2、12-3を記憶できるデータ記憶手段を意味することができ、実施形態によって、複数の記憶手段で実現することもできる。また、記憶装置12は、サーバ10に含まれた主記憶装置だけでなく、プロセッサ11に含まれ得る一時記憶装置又はメモリなどを含む意味であってもよい。
診断システム100は、図1又は図3では、いずれか1つの物理装置で実現したものと示しているが、必要に応じて、複数の物理装置が有機的に結合されて本発明の技術的思想による診断システム100を実現できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
本明細書で診断システム100が診断を行うとは、単位病理画像を入力し、本明細書で定義された出力データを出力する一連のプロセスを意味することができる。出力データは、上述したように、単位病理画像に複数の膀胱病変の1つ又は複数が発現した場合、発現した病変の種類を示すデータであってもよい。或いは、病変の種類のみでなく、上述したように病変が発現した領域を示す情報(例えば、画素毎に病変領域に含まれるか否か)が出力データにさらに含まれてもよい。
単位病理画像は、経尿道的膀胱切除術により得られた組織検体のスライド画像が一定のサイズに分割されたパッチ画像であってもよい。このようなパッチ画像のサイズは、必要に応じて適切に決定されてもよい。
上述したように、経尿道的膀胱切除術により得られた組織検体を通じて様々な膀胱病変を診断することができ、これを病理専門家が個々にスライド画像を確認して診断することは、非常に多くの時間とコストがかかる。
したがって、経尿道的膀胱切除術により得られた組織検体を通じて様々な膀胱病変を診断できる機械学習モデル、すなわち少なくとも1つの学習されたニューラルネットワークの必要性が求められる。
通常、このような機械学習モデルの開発にあたって、最も正確な結果を得る方法は、組織検体の病理画像(スライド画像又はスライド画像が分割されたパッチ画像)毎に発現した病変の種類と領域を個々にアノテーションした学習データを大量に採取し、採取した大量の学習データを、ニューラルネットワークを介して学習させることであり得る。すなわち、指導学習(supervised-learning)の方式で機械学習モデルを訓練することによって、病理画像上で膀胱病変が発現したか否か、発現した場合、どのような膀胱病変が発現したかを出力(診断)するニューラルネットワークを学習することができる。また、上述したように、必要に応じて、発現した膀胱病変の領域まで出力するようにニューラルネットワークを学習することもできる。
ところが、経尿道的膀胱切除術により得られた組織検体及びその病理画像そのものが比較的大きいだけでなく、膀胱病変の種類も多様であるため、あらゆる種類の病変毎に病理専門家が病変の種類及び病変領域を個々にアノテーションすることは非常に難しいことであり、これによって、大量の学習データを構築することも非常に多くのコストと時間がかかる問題がある。
特に、病理画像(単位病理画像)上で発現した病変の種類のみをアノテーションすることに比べて、発現した病変領域を病理画像上にアノテーションすることが比較的大きなリソースがかかるという問題があるが、このような問題を解決するためには、病理画像中の病変領域はアノテーションせず、該当の病理画像にどの病変が発現したか病変の種類のみをアノテーションする方法が考えられる。
また、病変領域に対するアノテーション情報なしに病理画像内に存在する病変の種類情報だけでも、所定の指導学習方法を用いて病変領域及び/又は種類を判別する機械学習モデルを開発することができ、このとき、各病理画像には、画像内で確認できる複数の病変の種類がアノテーションされ、これを用いた指導学習方法としては、consistency lossなどを活用したsemi/unsupervised learning(Xie2019)、noisy label framework(Li2020)、reject option(Geifman2019)、(min/max/attention)multiple-instance learning(Ilse2018)などを活用することができる。
また、本出願人は、このような方式で単位病理画像に発現した病変の種類のみをアノテーションしてニューラルネットワークを学習させ、様々な膀胱病変を診断する診断システムを構築することでその性能を実験した。
ところが、様々な膀胱病変(例えば、低悪性度/高悪性度 非浸潤性乳頭状尿路上皮がん、尿路上皮内がん(CIS)、低悪性度乳頭状尿路上皮新生物(PUNLMP)、悪性度不明の尿路上皮増殖(UPUMP)、尿路上皮乳頭腫、内反性尿路上皮乳頭腫、尿路上皮異形成など)のうちのほとんどの場合は、このような病変の種類のみをアノテーションした学習データで学習させても、病変の種類及び/又は病変領域を良好に診断できることを確認した。
ところが、CISの病変は、上記のように単位病理画像上で病変の種類のみをアノテーションした学習データで学習させたニューラルネットワークでは診断が容易でない特性があることを確認した。これは、CISの病変は、組織の形態よりは細胞の形態によって区分する場合が多く、他の種類の病変とは異なる方式で判別しなければならない特性があるためである。
したがって、本発明は、このような問題を解決するための技術的思想を提供することができる。
本発明の技術的思想によると、様々な膀胱病変を第1膀胱病変と第2膀胱病変に区分し、第1膀胱病変に分類された病変に対しては、病変の種類と病変領域の両方をアノテーションした複数の第1学習データで学習させたニューラルネットワーク、すなわち第1ニューラルネットワークを構築し、第1ニューラルネットワークを介して診断を行うことができる。
また、残りの膀胱病変、すなわち第2膀胱病変に分類された病変に対しては、病変の種類のみをアノテーションした複数の第2学習データで学習させたニューラルネットワーク、すなわち第2ニューラルネットワークを構築し、第2ニューラルネットワークを介して診断を行うことができる。このとき、第2学習データは、前述の病変領域に対してはアノテーションが行われていない学習データであってもよい。
これによって、様々な膀胱病変のうちで病変の種類のみをアノテーションして学習させた場合でも、診断性能の良好な病変は、病変の種類のみをアノテーションして学習させることで、できるだけ学習データの構築を効率的にさせるという効果がある。
また、病変の特性上、病変領域までさらにアノテーションして学習させなければ診断の性能が一定レベル以上発揮されない、制限された病変(例えば、CIS病変)に対してのみ病変の種類及び病変領域をアノテーションすることで、全体的に膀胱病変に対する診断性能を保障できるという効果がある。
診断システム100が所定のサーバ10に含まれて実現される場合、診断システム100は、サーバ10に接続可能な少なくとも1つのクライアント(例えば、20、20-1)と通信を行うこともできる。このような場合、クライアント(例えば、20、20-1)は、病理画像又は単位病理画像を診断システム100に伝送することができ、診断システム100は、伝送された病理画像又は単位病理画像に対して本発明の技術的思想による診断を行うことができる。また、診断結果をクライアント(例えば、20、20-1)に伝送することもできる。
もちろん、実施形態によっては、サーバ10自体に病理画像又は単位病理画像を入力するためのインターフェースが備えられてもよい。
診断システム100は、本発明の技術的思想によるニューラルネットワークを用いて様々な膀胱病変に対する診断を行うことができる。もちろん、このような診断を行うために、ニューラルネットワークを学習させるプロセスを先に行ってもよい。
したがって、診断システム100は、本発明の技術的思想によって学習されたニューラルネットワーク、及びニューラルネットワークを用いて診断を行うためのプログラムを外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習まで行うシステムであってもよい。また、診断システム100は、汎用のデータ処理装置でなく、本発明の技術的思想を実現するために製作された専用装置で実現されてもよく、このような場合は、病理画像をスキャンするための手段などがさらに備えられてもよい。
このような技術的思想を実現するための診断システム100は、論理的に図2のような構成を有することができる。
図2は、本発明の実施形態によるニューラルネットワークを用いた疾患の診断システムの論理的構成を説明するための図である。
図2を参照すると、診断システム100は、制御モジュール110、及びニューラルネットワークが記憶されたニューラルネットワークモジュール120を含む。また、診断システム100は、前処理モジュール130をさらに含んでもよい。
診断システム100は、本発明の技術的思想を実現するために必要なハードウェアリソース(resource)及び/又はソフトウェアを備えた論理的な構成を意味することができ、必ずしも1つの物理的な構成要素を意味するか、1つの装置を意味するわけではない。すなわち、診断システム100は、本発明の技術的思想を実現するために備えられるハードウェア及び/又はソフトウェアの論理的な結合を意味することができ、必要に応じては、互いに離隔した装置に設置されてそれぞれの機能を行うことで、本発明の技術的思想を実現するための論理的な構成の集合として実現することもできる。また、診断システム100は、本発明の技術的思想を実現するためのそれぞれの機能又は役目毎に別に実現される構成の集合を意味することもできる。例えば、制御モジュール110、ニューラルネットワークモジュール120、及び/又は前処理モジュール130のそれぞれは、互いに異なる物理装置に位置してもよく、同一の物理装置に位置してもよい。また、実施形態によっては、制御モジュール110、ニューラルネットワークモジュール120及び/又は前処理モジュール130のそれぞれを構成するソフトウェア及び/又はハードウェアの結合も互いに異なる物理装置に位置し、互いに異なる物理装置に位置した構成が互いに有機的に結合されてそれぞれのモジュールを実現することもできる。
また、本明細書でモジュールとは、本発明の技術的思想を実行するためのハードウェア、及びハードウェアを駆動するためのソフトウェアの機能的、構造的結合を意味することができる。例えば、モジュールは、所定のコードと、所定のコードが行われるためのハードウェアリソース(resource)の論理的な単位を意味することができ、必ずしも物理的に連結されたコードを意味するか、一種類のハードウェアを意味するわけではないことは、本発明の技術分野における平均的な専門家であれば容易に推論することができる。
制御モジュール110は、本発明の技術的思想を実現するために診断システム100に含まれた他の構成(例えば、ニューラルネットワークモジュール120及び/又は前処理モジュール130など)を制御することができる。
また、制御モジュール110は、ニューラルネットワークモジュール120に記憶されたニューラルネットワークを用いて、本発明の技術的思想による診断を行うことができる。
ニューラルネットワークモジュール120は、上述したように、複数のニューラルネットワークを記憶することができる。ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集合を意味することができる。本明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよいが、病理画像上にアノテーションされた病変の種類及び/又は領域に基づいてピッチャーを容易に抽出して診断を行うことができる様々な種類のニューラルネットワークを利用できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
畳み込みニューラルネットワークは、よく知られているように、入力層、複数の隠れ層、及び出力層を含んでもよい。複数の隠れ層のそれぞれは、畳み込み層及びプーリング層(又はサブサンプリング層)を含んでもよい。また、最近では、バッチ正規化(batch normalization(BN))層などの正規化層が含まれるように畳み込みニューラルネットワークを設計することもできる。
畳み込みニューラルネットワークは、このようなそれぞれの層を定義するための関数、フィルタ、ストライド(stride)、重み係数などによって定義することができる。また、出力層は、完全接続(fully connected)されたフィードフォワード層(FeedForward layer)と定義することができる。
畳み込みニューラルネットワークを構成するそれぞれの層毎の設計事項は広く知られている。例えば、複数の層に含まれる層の数、複数の層を定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては、公知の関数が用いられてもよく、本発明の技術的思想を実現するために別に定義された関数が用いられてもよい。
畳み込み関数の一例としては、離散畳み込み和などがある。プーリング関数の一例としては、最大値プーリング(max pooling)、平均プーリング(average pooling)などを利用することができる。活性化関数の一例としては、シグモイド(sigmoid)、タンジェントハイパーボリック(tanh)、ReLU(rectified linear unit)、Swish、ELU(exponential linear unit)などが挙げられる。
このような畳み込みニューラルネットワークの設計事項が定義されると、設計事項が定義された畳み込みニューラルネットワークを記憶装置に記憶することができる。また、畳み込みニューラルネットワークを学習すると、それぞれの層に対応する重み係数を特定することができる。
すなわち、畳み込みニューラルネットワークの学習は、それぞれの層の重み係数が決定されるプロセスを意味することができる。また、畳み込みニューラルネットワークを学習すると、学習された畳み込みニューラルネットワークは、入力層に入力データが入力されると、予め定義された出力層を介して出力データを出力することができる。
本発明の実施形態によるニューラルネットワークは、上述のように広く知られている設計事項のうちの1つ又は複数を選択して定義することもでき、独自の設計事項をニューラルネットワークのために定義することもできる。
制御モジュール110は、ニューラルネットワークモジュール120に記憶された複数のニューラルネットワークに順に単位病理画像、すなわち診断する病理画像を入力することができる。単位病理画像は、スライド画像が所定のサイズに分離されたパッチ画像であってもよいことは上述した通りである。
この場合、複数のニューラルネットワークは、第1ニューラルネットワークと第2ニューラルネットワークを含んでもよい。また、第1ニューラルネットワークと第2ニューラルネットワークは、それぞれ別に学習されて構築され、このときに用いられる学習データにアノテーションされる情報も異なり得る。もちろん、第1ニューラルネットワークと第2ニューラルネットワークに用いられるディープラーニングモデルの種類も互いに異なり得る。
第1ニューラルネットワークは、上述したように第1膀胱病変を診断するためのニューラルネットワークであってもよい。第1ニューラルネットワークの学習のために用いられる複数の第1学習データには、学習データすなわち病理画像毎に病変領域がアノテーションされた情報であってもよい。もちろん、第1膀胱病変の種類が複数である場合は、別に病変の種類がアノテーションされる必要があることは言うまでもない。
このような第1膀胱病変は、尿路上皮内がん(CIS)病変を含んでもよく、必要に応じて他の病変が第1膀胱病変にさらに含まれてもよい。
第2ニューラルネットワークは、上述したように第2膀胱病変を診断するためのニューラルネットワークであってもよい。第2ニューラルネットワークの学習のために用いられる複数の第2学習データには、学習データすなわち病理画像毎に膀胱病変の領域はアノテーションされず、病変の種類のみアノテーションされてもよい。
このような第2膀胱病変は、浸潤性膀胱癌(invasive urothelial carcinoma)、低悪性度/高悪性度 非浸潤性乳頭状尿路上皮がん、尿路上皮内がん(CIS)、低悪性度乳頭状尿路上皮新生物(PUNLMP)、悪性度不明の尿路上皮増殖(UPUMP)、尿路上皮乳頭腫、内反性尿路上皮乳頭腫、尿路上皮異形成を含んでもよく、必要に応じて他の病変が第2膀胱病変にさらに含まれてもよい。
制御モジュール110は、単位病理画像を第1ニューラルネットワークに入力して、第1膀胱病変に対する診断を先に行うことができる。また、第2ニューラルネットワークに単位病理画像を入力して、第2膀胱病変に対する診断を行うことができる。もちろん、第2ニューラルネットワークに単位病理画像を先に入力した後、第1ニューラルネットワークに単位病理画像を入力してもよく、同時に入力して並行して診断が行われてもよいことは言うまでもない。
前処理モジュール130は、ニューラルネットワークを用いて診断を行う前に必要な病理画像の前処理を行うことができる。例えば、病理画像の前処理は、病理画像を予め定義されたサイズのパッチに分割する過程を含んでもよく、必要に応じてニューラルネットワークそれぞれに適した方式で適切な画像処理を行ってもよいことを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
図4は、本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法の概念を説明するための図である。
また、図5は、本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法を説明するためのフローチャートを示す。
図4及び図5を参照すると、診断システム100は、診断の対象となる複数の単位病理画像31、31-1、31-2、31-3などの入力を受ける(S100)。
単位病理画像31、31-1、31-2、31-3などは、経尿道的膀胱切除術により得られた組織検体から生成された少なくとも1つの病理画像(例えば、スライド画像、30)が所定のサイズに分割されたパッチ画像であってもよい。
各々の単位病理画像31、31-1、31-2、31-3などは、第1ニューラルネットワーク及び第2ニューラルネットワークの両方に入力されてもよい(S110、S120)。このとき、各々の単位病理画像31、31-1、31-2、31-3などは、第1ニューラルネットワークに先に入力されて第1膀胱病変が診断された後、第2ニューラルネットワークに入力されて第2膀胱病変が診断されてもよく、その手順が変更されるか又は同時に診断が行われてもよいことは言うまでもない。
各々の単位病理画像31、31-1、31-2、31-3などに対して、第1ニューラルネットワークを介する第1膀胱病変に対する病変の種類及び/又は領域と、第2ニューラルネットワークを介する第2膀胱病変に対する病変の種類及び/又は領域とに対する診断が行われると、各々の単位病理画像31、31-1、31-2、31-3などの診断結果をスライド画像にマッピングすることができる(S130)。
これにより、スライド画像に対する診断結果、すなわちスライド画像で病変領域及び/又は種類が表示された情報を取得することができる。
結局、本発明の技術的思想によると、膀胱癌の診断及び局所的な治療方法によって行われる経尿道的膀胱切除術により得られる組織検体を通じて、さらに様々な膀胱病変を診断できるニューラルネットワークに基づく診断システムを実現することができ、このような診断システムにおいて、病変領域をアノテーションして学習させなければならない膀胱病変に対してのみ、制限的に病変領域をアノテーションした学習データを用いてニューラルネットワークを構築し、残りの膀胱病変に対しては、病変の種類のみアノテーションした学習データを用いてニューラルネットワークを構築することで、診断システムを効果的に構築できるという効果がある。
本発明の実施形態によるニューラルネットワークを用いた膀胱病変の診断方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして実現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが記憶されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ROM、RAM、CD-ROM、磁気テープ、ハードディスク、フロッピーディスク、光データ記憶装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散して、分散方式でコンピュータで読み取り可能なコードを記憶して実行することができる。また、本発明を実現するための機能的な(functional)プログラム、コード及びコードセグメントは、本発明が属する技術分野におけるプログラマーであれば容易に推論することができる。
本発明は、図面に示す一実施形態を参照して説明されたが、これは例示的なものに過ぎず、本技術分野の通常の知識を有する者であれば、これより様々な変形及び均等な他の実施形態が可能であることを理解するであろう。よって、本発明の真の技術的保護範囲は、添付の登録請求の範囲の技術的思想によって定められるべきである。
本発明は、ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステムに用いることができる。

Claims (8)

  1. 膀胱病変診断システムが単位病理画像を入力するステップと、
    前記膀胱病変診断システムが、前記単位病理画像を第1ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第1膀胱病変の診断結果を取得するステップと、
    前記膀胱病変診断システムが、前記単位病理画像を第2ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第1膀胱病変を除いた第2膀胱病変の診断結果を取得するステップと、
    を含み、
    前記第1ニューラルネットワークは、
    前記第1膀胱病変が発現した病変領域がアノテーションされた複数の第1学習データにより学習されたニューラルネットワークであることを特徴とし、
    前記第2ニューラルネットワークは、
    前記第2膀胱病変のうちの少なくとも1つの発現有無である発現病変の種類がアノテーションされた複数の第2学習データ(ここで、第2学習データは、病変領域に対するアノテーションが行われていないデータである)により学習されたニューラルネットワークであることを特徴とする、ニューラルネットワークを用いた膀胱病変の診断方法。
  2. 前記単位病理画像は、
    経尿道的膀胱切除術により採取された組織検体に対応する病理画像が所定のサイズに分割されたパッチ画像であることを特徴とする、請求項1に記載のニューラルネットワークを用いた膀胱病変の診断方法。
  3. 前記第1膀胱病変は、
    尿路上皮内がん(CIS)病変を含む、請求項1に記載のニューラルネットワークを用いた膀胱病変の診断方法。
  4. 前記第2膀胱病変は、
    浸潤性膀胱癌、低悪性度/高悪性度 非浸潤性乳頭状尿路上皮がん、尿路上皮内がん(CIS)、低悪性度乳頭状尿路上皮新生物(PUNLMP)、悪性度不明の尿路上皮増殖(UPUMP)、尿路上皮乳頭腫、内反性尿路上皮乳頭腫、尿路上皮異形成のうちの少なくとも1つを含む、請求項1に記載のニューラルネットワークを用いた膀胱病変の診断方法。
  5. 膀胱病変診断システムが単位病理画像を入力するステップと、
    前記膀胱病変診断システムが、前記単位病理画像を第2ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第1膀胱病変を除いた第2膀胱病変の診断結果を取得するステップと、
    前記膀胱病変診断システムが、前記単位病理画像を第1ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第1膀胱病変の診断結果を取得するステップと、
    を含み、
    前記第1ニューラルネットワークは、
    前記第1膀胱病変が発現した病変領域がアノテーションされた複数の第1学習データにより学習されたニューラルネットワークであることを特徴とし、
    前記第2ニューラルネットワークは、
    前記第2膀胱病変のうちの少なくとも1つの発現有無である発現病変の種類がアノテーションされた複数の第2学習データ(ここで、第2学習データは、病変領域に対するアノテーションが行われていないデータである)により学習されたニューラルネットワークであることを特徴とする、ニューラルネットワークを用いた膀胱病変の診断方法。
  6. データ処理装置に設置され、請求項1ないし請求項5のいずれか一項に記載の方法を行うためのコンピュータで読み取り可能な記録媒体に記憶されたコンピュータプログラム。
  7. プロセッサと、
    前記プロセッサによって実行されるプログラムが記録されたメモリと、
    を含み、
    前記プロセッサは、前記プログラムを駆動することで、
    単位病理画像を第1ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第1膀胱病変の診断結果を取得し、前記単位病理画像を第2ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第1膀胱病変を除いた第2膀胱病変の診断結果を取得し、
    前記第1ニューラルネットワークは、
    前記第1膀胱病変が発現した病変領域がアノテーションされた複数の第1学習データにより学習されたニューラルネットワークであることを特徴とし、
    前記第2ニューラルネットワークは、
    前記第2膀胱病変のうちの少なくとも1つの発現有無である発現病変の種類がアノテーションされた複数の第2学習データ(ここで、第2学習データは、病変領域に対するアノテーションが行われていないデータである)により学習されたニューラルネットワークであることを特徴とする、ニューラルネットワークを用いた膀胱病変診断システム。
  8. 前記第1膀胱病変は、
    尿路上皮内がん(CIS)病変を含む、請求項7に記載のニューラルネットワークを用いた膀胱病変診断システム。

JP2023551759A 2021-03-15 2022-03-14 ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステム Pending JP2024512272A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210033189A KR102354476B1 (ko) 2021-03-15 2021-03-15 뉴럴 네트워크를 이용한 방광병변 진단 시스템 제공방법 및 그 시스템
KR10-2021-0033189 2021-03-15
PCT/KR2022/003546 WO2022197044A1 (ko) 2021-03-15 2022-03-14 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
JP2024512272A true JP2024512272A (ja) 2024-03-19

Family

ID=80050166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023551759A Pending JP2024512272A (ja) 2021-03-15 2022-03-14 ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステム

Country Status (6)

Country Link
US (1) US20240144476A1 (ja)
EP (1) EP4290527A1 (ja)
JP (1) JP2024512272A (ja)
KR (1) KR102354476B1 (ja)
CN (1) CN116917999A (ja)
WO (1) WO2022197044A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354476B1 (ko) * 2021-03-15 2022-01-21 주식회사 딥바이오 뉴럴 네트워크를 이용한 방광병변 진단 시스템 제공방법 및 그 시스템
CN117694839B (zh) * 2024-02-05 2024-04-16 四川省肿瘤医院 基于图像的非肌层浸润性膀胱癌复发率预测方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679753B2 (en) * 2017-02-20 2020-06-09 General Electric Company Methods and systems for hierarchical machine learning models for medical imaging
WO2018165620A1 (en) * 2017-03-09 2018-09-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for clinical image classification
JP7217589B2 (ja) * 2018-02-27 2023-02-03 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR20210030381A (ko) * 2018-06-29 2021-03-17 미라키 이노베이션 씽크 탱크 엘엘씨 기계 학습 및 인공 지능을 이용하는 체내 제어 가능한 소형화 의료 기기
KR102226898B1 (ko) * 2019-01-25 2021-03-11 주식회사 딥바이오 커스터마이징 진단 시스템 제공방법 및 그 시스템
KR102354476B1 (ko) * 2021-03-15 2022-01-21 주식회사 딥바이오 뉴럴 네트워크를 이용한 방광병변 진단 시스템 제공방법 및 그 시스템

Also Published As

Publication number Publication date
EP4290527A1 (en) 2023-12-13
US20240144476A1 (en) 2024-05-02
WO2022197044A1 (ko) 2022-09-22
KR102354476B1 (ko) 2022-01-21
CN116917999A (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
Papanikolaou et al. How to develop a meaningful radiomic signature for clinical use in oncologic patients
Kumar et al. An integration of blockchain and AI for secure data sharing and detection of CT images for the hospitals
Di et al. Hypergraph learning for identification of COVID-19 with CT imaging
To et al. Deep dense multi-path neural network for prostate segmentation in magnetic resonance imaging
Xu et al. Colorectal cancer detection based on deep learning
JP2024512272A (ja) ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステム
KR20230138062A (ko) 계산 검출 방법들을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들
CN104424386A (zh) 基于多参数磁共振影像的前列腺癌计算机辅助识别系统
Li et al. Automated analysis of diabetic retinopathy images: principles, recent developments, and emerging trends
Gu et al. Deep learning based on ultrasound images assists breast lesion diagnosis in China: a multicenter diagnostic study
Han et al. Semi-supervised learning for an improved diagnosis of COVID-19 in CT images
Wang et al. Study on the prognosis predictive model of COVID-19 patients based on CT radiomics
Chen et al. Instance importance-aware graph convolutional network for 3D medical diagnosis
Du et al. Improving the classification performance of esophageal disease on small dataset by semi-supervised efficient contrastive learning
Bhusal et al. Multi-label classification of thoracic diseases using dense convolutional network on chest radiographs
Takagi et al. Transformer-based personalized attention mechanism for medical images with clinical records
Tenali et al. Oral Cancer Detection using Deep Learning Techniques
Budhiraja et al. Choquet integral based deep learning model for COVID-19 diagnosis using eXplainable AI for NG-IoT models
Zheng et al. MA-Net: Mutex attention network for COVID-19 diagnosis on CT images
Zhang et al. Re-thinking and re-labeling LIDC-IDRI for robust pulmonary cancer prediction
US20230190179A1 (en) Graph-based prostate diagnosis network and method for using the same
Youneszade et al. A predictive model to detect cervical diseases using convolutional neural network algorithms and digital colposcopy images
Bhuvaneshwari et al. An internet of health things-driven skin cancer classification using progressive cyclical convolutional neural network with ResNexT50 optimized by exponential particle swarm optimization
Dong et al. SSGNet: semi-supervised multi-path grid network for diagnosing melanoma
Pushpa et al. Liver fat analysis using optimized support vector machine with support vector regression

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230929