JP7430025B2 - 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム - Google Patents

半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム Download PDF

Info

Publication number
JP7430025B2
JP7430025B2 JP2023502693A JP2023502693A JP7430025B2 JP 7430025 B2 JP7430025 B2 JP 7430025B2 JP 2023502693 A JP2023502693 A JP 2023502693A JP 2023502693 A JP2023502693 A JP 2023502693A JP 7430025 B2 JP7430025 B2 JP 7430025B2
Authority
JP
Japan
Prior art keywords
training
patch
slide
neural network
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023502693A
Other languages
English (en)
Other versions
JP2023535338A (ja
Inventor
サンフン イ
ソンウ キム
Original Assignee
ディープ バイオ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディープ バイオ インク filed Critical ディープ バイオ インク
Publication of JP2023535338A publication Critical patent/JP2023535338A/ja
Application granted granted Critical
Publication of JP7430025B2 publication Critical patent/JP7430025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Description

本発明は、半教師あり学習（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を用いて疾患の発症領域に対するアノテーションを行うための方法、およびこれを行う診断システムに関し、スライドレベルで診断結果がラベル付けされている訓練データをパッチレベルとピクセルレベルの半教師あり学習を行うことを可能にし、半教師あり学習を通じて訓練されたニューラルネットワークを用いて疾患の発症領域に対するアノテーションを自動的に行うための方法、およびこれを行う診断システムに関する。
病理学または病理科で行う主なタスクの１つは、患者の生体画像（例えば、患者の生体組織スライド等）を読み取ることによって、特定の疾患に対する状態または徴候の診断を行うことである。このような診断は、長期間にわたる経験豊富な医療従事者の経験と知識に依存している。近年の傾向としては、生体組織のデジタルイメージングによって生成されたスライド画像を読み取る方式が増えている。
近年、機械学習の発達により、コンピュータシステムによる画像の認識や分類等の作業を自動化する試みがなされている。特に、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＣＮＮ）を用いた深層学習手法）を用いることによって、熟練した医療従事者が行っていた診断を自動化する試みがなされており、ニューラルネットワーク（例えば、ＣＮＮ）を用いた深層学習による画像に基づく疾患診断を代表的に挙げることができる。特に、ニューラルネットワーク（例えば、ＣＮＮ）を用いた深層学習による診断は、従来の熟練した医療従事者の経験や知識を単に自動化するのではなく、自己学習によって特徴的な要素を見つけ出し、所望の答えを導出する点において、むしろ熟練した医療従事者が知っていない疾患因子の特徴を画像から見つける場合もある。
一般に、生体画像を用いるニューラルネットワークによる疾患の診断は、生体画像であるスライドのセグメント、すなわちパッチ（ｐａｔｃｈまたはタイル（ｔｉｌｅ）とも呼ばれる）を用いる。すなわち、当該パッチ画像に対して精通した医療従事者は、特定の疾患の状態（例えば、癌が発現しているか否か）や疾患の発症領域をアノテーション（ａｎｎｏｔａｉｏｎ）し、このようなアノテーションされた複数のパッチ画像を訓練データとして用いてニューラルネットワークを学習することになる。この場合、ニューラルネットワークとして畳み込みニューラルネットワークが用いられてもよい。
ところで、一般に、パッチ画像で発症領域をアノテーションする領域アノテーションを生成する作業は、他のアノテーション操作と比較して特に多くの時間とコストを要する。したがって、発症領域に対する予測を行うニューラルネットワークを訓練するための学習データを収集するためには、多くの時間とコストがかかる。
一方、スライド全体に対する診断は従来の医療現場では一般的なプロセスであり、スライドレベルの診断結果がラベル付けされた学習データは、病院等の機関から比較的容易に入手できる。したがって、比較的容易に求められるスライドレベルの診断結果がタグ付けされたスライドデータをパッチ単位の診断を行うことができるニューラルネットワーク、さらにはピクセルレベルの診断を行うことで疾患の発症領域を予測できるニューラルネットワークを学習できる方法が必要となる。
大韓民国特開１０－２０１６－００３４８１４号公報
本発明が達成しようとする技術的な課題は、スライドレベルの診断結果のみを用いて半教師あり学習を行うことによって、パッチ単位の診断結果を予測できるパッチレベルニューラルネットワーク、およびピクセル単位の診断結果を予測できるピクセルレベルニューラルネットワークを学習し、これを通じて疾患の発症領域に対するアノテーションを可能にする方法およびシステムを提供することである。
本発明の一態様によると、ニューラルネットワークを用いた診断システムが、生体画像である所定のスライドが分割されたパッチを入力され、前記パッチに所定の疾患が存在しているか否かに関する分類結果を予測するパッチレベルの分類ニューラルネットワーク、および前記パッチを入力され、前記パッチを構成するピクセル毎に前記疾患に対する分類結果を予測するピクセルレベルの分類ニューラルネットワークを生成するステップと、前記ニューラルネットワークを用いた診断システムが、複数の訓練用スライド画像（ここで、前記複数の訓練用スライド画像のそれぞれには、それに対応するスライドレベルの診断結果がラベル付けされている）を取得するステップと、前記ニューラルネットワークを用いた診断システムが、前記複数の訓練用スライド画像を用いて、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練するステップと、を含み、前記パッチレベルの分類ニューラルネットワークおよびピクセルレベルの分類ニューラルネットワークを段階的に訓練するステップは、（ａ）前記複数の訓練用スライドのそれぞれに対して、前記訓練用スライドに対応する訓練データを生成するステップ（ここで、前記訓練用スライドに対応する訓練データは、前記パッチレベルの分類ニューラルネットワークを訓練するためのパッチレベルの訓練データと、前記ピクセルレベルの分類ニューラルネットワークを訓練するためのピクセルレベルの訓練データと、を含む）と、（ｂ）前記複数の訓練用スライドのそれぞれに対応するパッチレベルの訓練データを用いて前記パッチレベルの分類ニューラルネットワークを訓練するステップと、（ｃ）前記複数の訓練用スライドのそれぞれに対応するピクセルレベルの訓練データを用いて前記ピクセルレベルの分類ニューラルネットワークを訓練するステップと、（ｄ）前記（ａ）ステップないし前記（ｃ）ステップを少なくとも１回繰り返して行うステップと、を含む方法が提供される。
一実施形態において、前記訓練用スライドに対応する訓練データを生成するステップは、前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ（ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である）と、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する予測結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、前記訓練用スライドに対応する代表パッチ画像を前記訓練用スライド画像のスライドレベルの診断結果ラベル付けして、前記訓練用スライド画像に対応するパッチレベルの訓練データを生成するステップと、を含んでもよい。
一実施形態において、前記訓練用スライドに対応する訓練データを生成するステップは、前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ（ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である）と、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する予測結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、前記代表パッチ画像に対する予測結果を出力した前記分類ニューラルネットワークに対する勾配－重み付けクラス活性化マッピング（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）を通じて、前記代表パッチ画像に対応するマスクを生成するステップと、前記訓練用スライドに対応する代表パッチ画像を前記代表パッチ画像に対応するマスクでラベル付けして、前記訓練用スライドに対応するピクセルレベルの訓練データを生成するステップと、を含んでもよい。
一実施形態において、訓練が完了した前記ピクセルレベルの分類ニューラルネットワークに所定の診断対象パッチ画像を入力し、前記診断対象パッチ画像を構成するピクセル毎の前記疾患に対する分類結果を取得するステップと、前記診断対象パッチ画像を構成するピクセル毎の分類結果に基づいて、前記診断対象パッチ画像に前記疾患の発症領域をアノテーションするステップと、をさらに含んでもよい。
一実施形態において、前記疾患は前立腺癌であることを特徴としてもよい。
本発明の他の一態様によると、データ処理装置に設置され、上述した方法を行うためのコンピュータ読み取り可能な媒体に記録されたコンピュータプログラムが提供される。
本発明の他の一態様によると、ニューラルネットワークを用いた診断システムであって、プロセッサと、コンピュータプログラムを格納するメモリと、を含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記ニューラルネットワークを用いた診断システムが上述した方法を行うようにする、ニューラルネットワークを用いた診断システムが提供される。
本発明の他の一態様によると、生体画像である所定のスライドが分割された一部であるパッチを入力され、前記パッチに所定の疾患が存在しているか否かに関する分類結果を予測するパッチレベルの分類ニューラルネットワーク、および前記パッチを入力され、前記パッチを構成するピクセル毎に前記疾患に関する分類結果を予測するピクセルレベルの分類ニューラルネットワークを格納する記憶モジュール、複数の訓練用スライド画像（ここで、前記複数の訓練用スライド画像のそれぞれには、それに対応するスライドレベルの診断結果がラベル付けされている）を取得する取得モジュールと、前記複数の訓練用スライドのイメージを用いて、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練する訓練モジュールを含み、前記訓練モジュールは、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練するために、前記複数の訓練用スライドのそれぞれに対して、前記訓練用スライドに対応する訓練データを生成するステップ（ここで、前記訓練用スライドに対応する訓練データは、前記パッチレベルの分類ニューラルネットワークを訓練するためのパッチレベルの訓練データおよび前記ピクセルレベルの分類ニューラルネットワークを訓練するためのピクセルレベルの訓練データを含む）と、前記複数の訓練用スライドのそれぞれに対応するパッチレベルの訓練データを用いて、前記パッチレベルの分類ニューラルネットワークを訓練するステップと、前記複数の訓練用スライドのそれぞれに対応するピクセルレベルの訓練データを用いて、前記ピクセルレベルの分類ニューラルネットワークを訓練するステップと、を含む訓練過程を２回以上繰り返し行うニューラルネットワークを用いた診断システムが提供される。
一実施形態において、前記訓練用スライドに対応する訓練データを生成するステップは、前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ（ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である）と、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する予測結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、前記訓練用スライドに対応する代表パッチ画像を前記訓練用スライド画像のスライドレベルの診断結果ラベル付けし、前記訓練用スライド画像に対応するパッチレベルの訓練データを生成するステップと、を含んでもよい。
一実施形態において、前記訓練用スライドに対応する訓練データを生成するステップは、前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ（ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である）と、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する予測結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、前記代表パッチ画像に対する予測結果を出力した前記分類ニューラルネットワークに対する勾配－重み付けクラス活性化マッピング（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）を通じて、前記代表パッチ画像に対応するマスクを生成するステップと、前記訓練用スライドに対応する代表パッチ画像を前記代表パッチ画像に対応するマスクでラベル付けして、前記訓練用スライドに対応するピクセルレベルの訓練データを生成するステップと、を含んでもよい。
一実施形態において、訓練が完了した前記ピクセルレベルの分類ニューラルネットワークに所定の診断対象パッチ画像を入力し、前記診断対象パッチ画像を構成するピクセル毎の前記疾患に対する分類結果を取得し、前記診断対象パッチ画像を構成するピクセル毎の分類結果に基づいて、前記診断対象パッチ画像に前記疾患の発症領域をアノテーションするアノテーションモジュールをさらに含んでもよい。
本発明の技術的思想によると、スライドレベルの診断結果のみを用いて半教師あり学習を行うことによって、パッチ単位の診断結果を予測できるパッチレベルニューラルネットワークおよびピクセル単位の診断結果を予測できるピクセルレベルニューラルネットワークを学習し、これを通じて疾患の発症領域に対するアノテーションを可能とする方法およびシステムを提供できるという効果がある。
本発明の詳細な説明において引用された図面をより完全に理解するために、各図面の簡単な説明を提供する。
本発明の技術精神に従った半教師あり学習を用いてニューラルネットワークを学習し、それを用いて疾患の発症領域に対するアノテーションを行う方法の動作環境を示す図である。 本発明の一実施形態による診断システムの概略構成を示す図である。 本発明の一実施形態による診断システムが、複数の訓練用スライド画像を用いてパッチレベルの分類ニューラルネットワークおよびピクセルレベルの分類ニューラルネットワークを段階的に訓練する処理を示すフローチャートである。 本発明の一実施形態による診断システムが１つの訓練用スライドに対応する訓練データを生成する処理の具体例を示す図である。
本発明は種々の変換を適用することができ、種々の実施形態を有し得るので、具体的な実施形態を図面に図示し、詳細な説明において詳細に説明する。しかしながら、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神および範囲に含まれる全ての変換、均等物および代替物を含むことを理解すべきである。本発明を説明するにあたり、関連する公知の技術の詳細な説明が本発明の要旨を不明瞭にするおそれがあると判定した場合には、その詳細な説明は省略する。
第１、第２等の用語は、様々な構成要素を記述するために使用され得るが、構成要素は、用語によって限定されるべきではない。これらの用語は、ある構成要素を他の構成要素と区別する目的でのみ使用される。
本出願で使用される用語は、特定の実施形態を説明するためにのみ使用され、本発明を限定するものではない。単数形表現には、文脈が明確に別段の意味でない限り、複数形表現を含む。
本明細書において、「含む」または「有する」等の用語は、明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものが存在していることを指定するものであり、１つまたは複数の他の特徴、数、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものの存在または付加の可能性を予め除外しないことを理解されたい。
加えて、本明細書において、ある構成要素が他の構成要素にデータを「送信する」とき、構成要素は、データを他の構成要素に直接送信してもよく、少なくとも１つのまた他の構成要素を介して他の構成要素に前記データを送信してもよい。逆に、ある構成要素が他の構成要素にデータを「直接送信」する場合、前記データはまた他の構成要素を経由せずに前記構成要素から前記他の構成要素に送信されることを意味する。
以下、添付図面を参照しながら、本発明の実施の形態を中心に本発明を詳細に説明する。各図に示す同一の符号は同一の部材を表す。
図１は、本発明の技術的思想による半教師あり学習を用いてニューラルネットワークを学習し、それを用いて疾患の発症領域に対するアノテーションを行う方法の動作環境を示す図である。図１を参照すると、本発明の技術的思想による方法は、診断システム１００によって行われてもよい。
本発明の技術的思想において、診断システム１００は、コンピューティングシステムであってもよい。あるいは、本発明の技術的思想を実現する所定のサーバ１０に設置されてもよい。サーバ１０は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般にネットワークを介してクライアント（端末；２０から２０−１）が接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末等のように特定サービスを行えるいかなる装置もサーバーと定義できることを、本発明の技術分野の平均的な専門家であれば容易に推論できるであろう。
サーバ１０は、プロセッサと記憶装置とを含んでもよい。プロセッサは、本発明の技術的思想を実現するためのプログラムを駆動できるコンピューティングデバイスを意味し得る。記憶装置は、本発明の技術的思想を実現するために必要なプログラムや各種データを記憶できるデータ記憶手段を意味してもよく、実施形態によって複数の記憶手段として実現されてもよい。また、記憶装置は、サーバ１０に含まれる主記憶装置だけでなく、プロセッサに含まれ得る一時記憶装置やメモリ等を含む意味であってもよい。
診断システム１００は、図１ではいずれかの物理デバイスで実現されているように示されているが、必要に応じて複数の物理デバイスが有機的に結合されて本発明の技術的思想による診断システム１００を実現できることは、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。
図２は、本発明の一実施形態による診断システム１００の概略構成を示す図である。
図２を参照すると、システム１００は、記憶モジュール１１０、生成モジュール１２０、取得モジュール１３０、学習モジュール１４０、およびアノテーションモジュール１５０を含んでもよい。本発明の実施形態によっては、上述した構成要素のうちの一部の構成要素は、必ずしも本発明の実現に必須な構成要素に該当しない場合があり、実施形態によっては、診断システム１００は、より多くの構成要素を含めることもできることは言うまでもない。例えば、システム１００は、システム１００の他の構成（例えば、記憶モジュール１１０、生成モジュール１２０、取得モジュール１３０、学習モジュール１４０、およびアノテーションモジュール１５０等）の機能および／またはリソースを制御するための制御モジュール（図示せず）をさらに含んでもよい。さらに、実施形態によっては、システム１００は、本発明の技術的思想を実現するのに必要な様々な情報および／またはデータを記憶するためのデータベース（Ｄａｔａｂａｓｅ；ＤＢ；２００）をさらに含んでもよい。
システム１００は、本発明の技術的思想を実現するために必要なハードウェアリソースおよび／またはソフトウェアを含む論理構成を意味してもよく、必ずしも１つの物理的構成要素を意味するか、または１つの装置を意味するわけではない。すなわち、システム１００は、本発明の技術的思想を実現するために備えられたハードウェアおよび／またはソフトウェアの論理的結合を意味してもよく、必要に応じて互いに離間した装置に設置され、それぞれの機能を行うことによって本発明の技術的思想を実現するための論理構成の集合として実現することもできる。加えて、システム１００は、本発明の技術的思想を実現するための機能または役割毎に別に実現される構成の集合を意味し得る。例えば、 記憶モジュール１１０、生成モジュール１２０、取得モジュール１３０、学習モジュール１４０、およびアノテーションモジュール１５０のそれぞれは、異なる物理デバイスに配置されてもよく、同じ物理デバイスに配置されてもよい。さらに、実施形態によっては、記憶モジュール１１０、生成モジュール１２０、取得モジュール１３０、学習モジュール１４０、およびアノテーションモジュール１５０のそれぞれを構成するソフトウェアおよび／またはハードウェアの組み合わせも、異なる物理デバイスに配置され、異なる物理デバイス上に配置された構成は互いに有機的に結合され、それぞれの前記モジュールを実現することもできる。
なお、本明細書において、モジュールという用語は、本発明の技術的思想を実現するためのハードウェアと、ハードウェアを駆動するためのソフトウェアとの機能的および構造的な組み合わせを意味し得る。例えば、モジュールは所定のコードと所定のコードが遂行されるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味するか、一種のハードウェアを意味するわけではないことは、本発明の技術分野の平均的専門家には容易に推論できる。
ＤＢ２００は、病理画像である複数の訓練用スライドを記憶してもよい。訓練用スライドは、組織画像および生検画像を含む様々な生体画像であってもよい。複数の訓練用スライドのそれぞれは、スライドレベルの疾患診断結果がラベル付けされてもよい。
例えば、疾患は前立腺癌であってもよく、以下は主に前立腺癌について説明するが、本発明の技術的思想が前立腺癌に限定されるものではないことは、本発明が属する分野における通常の技術者であれば容易に理解できるであろう。
一方、各訓練用スライドにラベル付けされているスライドレベルの診断結果は、予めスライドに基づいて医療専門家が行った疾患に関する判定の結果であってもよい。
例えば、スライドに対する診断結果は、特定の疾患の発現有無（陰性／陽性）だけでなく、特定の疾患の進行度（または進行確率）を含んでもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進行度の指標であるグリーソンパターン（Ｇｌｅａｓｏｎ Ｐａｔｔｅｒｎ）またはグリーソンスコア（Ｇｌｅａｓｏｎ Ｓｃｏｒｅ）を診断結果に含んでもよい。例えば、グリーソンスコアの値は２から１０であり、６から１０の値は通常、癌と見なすことができ、数値が大きいほど前立腺癌発現の程度が重度であることを示す。グリーソンパターンは、１から５までのレベルに分類できる。
記憶モジュール１１０は、パッチレベルの分類ニューラルネットワーク１６０およびピクセルレベルの分類ニューラルネットワーク１７０を記憶してもよく、パッチレベルの分類ニューラルネットワーク１６０およびピクセルレベルの分類ニューラルネットワーク１７０は、生成モジュール１２０によって生成されてもよい。
パッチレベルの分類ニューラルネットワーク１６０は、パッチを入力され、パッチに所定の疾患が存在しているか否かに関する分類結果を予測するためのニューラルネットワークであってもよい。
この場合、パッチは、所定のスライドを所定のサイズに分割した部分画像であってもよい。すなわち、１つのスライドを複数のパッチに分割してもよく、パッチレベルの分類ニューラルネットワーク１６０がパッチを入力されてパッチレベルの診断を行ってもよい。診断を行う前に、パッチレベルの分類ニューラルネットワーク１６０は、学習モジュール１４０によって予め学習されてもよい。
一方、パッチレベルの診断を行うパッチレベルの分類ニューラルネットワーク１６０によって出力される情報は、パッチに対応する組織に特定の疾患（例えば、特定の種類の癌）が発現しているか否かの判定を可能にする情報であってもよい。例えば、パッチレベルの分類ニューラルネットワーク１６０によって出力される情報は、特定の疾患（例えば、特定の種類の癌）がパッチに対応する組織に発現されているか否かの確率を示す情報であってもよい。この場合、パッチレベルの分類ニューラルネットワーク１６０が出力した確率値が特定の基準値（閾値）以上である場合、パッチに疾患（例えば、前立腺癌）が発現していると判定してもよい。
もちろん、実施形態によって、パッチレベルの分類ニューラルネットワーク１６０は、特定の疾患の進行度（または進行度に対応する確率）を示す情報、ならびに特定の疾患が発現されているか否かを示す情報を出力し得る。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進行度の指標であるグリーソンパターンまたはグリーソンスコアは、前記パッチレベルの分類ニューラルネットワーク１６０が出力する情報に含まれてもよい。一方、パッチレベルの分類ニューラルネットワーク１６０が用いる閾値は種々設定してもよく、閾値に応じて、特定のパッチを疾患が発現したパッチ、すなわち疾患パッチと判定してもよく、または正常パッチと判定してもよい。
一方、ピクセルレベルの分類ニューラルネットワーク１７０は、パッチを入力され、パッチを構成するピクセル毎に前記疾患に対する分類結果を予測するためのニューラルネットワークであってもよい。また、ピクセル毎の分類結果を出力するピクセルレベルの分類ニューラルネットワーク１７０は、疾患の病症領域を区別するためにセグメンテーションを行ってもよい。
ピクセルレベルの分類ニューラルネットワーク１７０は、パッチを構成するピクセル毎の疾患の発症有無あるいは疾患の発症確率が出力され、発症したと判定されたピクセルあるいは発症確率が一定の閾値を超えたピクセルが構成する領域を発症領域と判定してもよい。
実施形態によって、ピクセルレベルの分類ニューラルネットワーク１７０は、ピクセル毎の疾患の発症有無（あるいは疾患の発症確率）および／または疾患の進行度（または前記進行度に該当する確率）を予測して出力することもできる。
一方、セグメンテーション（すなわち、ピクセル毎の診断結果の予測）を行う前に、ピクセルレベルの分類ニューラルネットワーク１７０は、学習モジュール１４０によって予め学習されてもよい。
本明細書において、ニューラルネットワークは、ニューラルネットワークを定義する一連の設計項目を表す情報の集合を意味し得る。一実施形態において、ニューラルネットワーク１６０および１７０は、畳み込みニューラルネットワークであってもよい。
周知のように、畳み込みニューラルネットワークは、入力層、複数の隠れ層、および出力層を含んでもよい。複数の隠れ層のそれぞれは、畳み込み層およびプーリング層（またはサブサンプリング層）を含んでもよい。
畳み込みニューラルネットワークは、これらの層のそれぞれを定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、重み係数等によって定義され得る。さらに、出力層は、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されたフィードフォワード層（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）として定義され得る。
畳み込みニューラルネットワークを構成する各層の設計の詳細は周知である。例えば、複数の層に含まれる層の数、複数の層を定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては、公知の関数を用いてもよく、本発明の技術的思想を実現するために別途定義された関数を用いてもよい。
畳み込み関数の例としては、離散畳み込み和等がある。プーリング関数の一例として、最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）、平均プーリング（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）等を用いることができる。活性化関数の一例は、シグモイド（ｓｉｇｍｏｉｄ）、正接双曲線（ｔａｎｈ）、整流線形ユニット（ＲｅＬＵ）等であってもよい。
畳み込みニューラルネットワークの設計が定義されると、その設計が定義された畳み込みニューラルネットワークは記憶装置に格納されてもよい。また、畳み込みニューラルネットワークが学習されると、各層に該当する重み係数を特定することができる。
すなわち、畳み込みニューラルネットワークの学習は、各層の重み係数が決定される過程を意味し得る。また、畳み込みニューラルネットワークが学習されると、学習された畳み込みニューラルネットワークは、入力層に入力データを入力され、予め定義された出力層を介してデータを出力することができる。
本発明の実施形態によるニューラルネットワークは、上記のように広く知られている設計のうちの１つまたは複数を選択して定義してもよく、独自の設計をニューラルネットワークのために定義してもよい。
再び図２を参照すると、取得モジュール１３０は、パッチレベルの分類ニューラルネットワーク１６０およびピクセルレベルの分類ニューラルネットワーク１７０に対する半教師あり学習のための訓練データを取得してもよい。すなわち、取得モジュール１３０は、複数の訓練用スライド画像を取得してもよく、複数の訓練用スライド画像のそれぞれには、それに対応するスライドレベルの診断結果がラベル付けされていてもよい。例えば、取得モジュール１３０は、ＤＢ２００から訓練用のスライド画像を取得してもよい。
学習モジュール１４０は、複数の訓練用スライド画像を用いて、パッチレベルの分類ニューラルネットワーク１６０およびピクセルレベルの分類ニューラルネットワーク１７０を段階的に訓練することができ、段階的な訓練課程の一例を図３に示す。
図３を参照すると、取得モジュール１３０は、スライドレベルの診断結果がラベル付けされたＮ個（Ｎは２以上の整数）のスライド画像Ｓ１からＳＮを取得してもよい（Ｓ１００）。
その後、学習モジュール１４０は、学習データを生成する処理を行ってもよい。より具体的には、学習モジュール１４０は、Ｎ個の訓練用スライドのそれぞれに対して、訓練用スライドに対応する訓練データを生成してもよい（Ｓ１１０およびＳ１２０）。このとき、訓練用スライドに対応する各訓練データは、パッチレベルの分類ニューラルネットワーク１６０を訓練するためのパッチレベルの訓練データと、ピクセルレベルの分類ニューラルネットワーク１７０を訓練するためのピクセルレベルの訓練データと、を含んでもよい。例えば、第Ｋのスライド（Ｋは１＜＝Ｋ＜＝Ｎの整数）に対応する訓練データは、パッチレベルの訓練データＴ（Ｋ，１）およびピクセルレベルの訓練データＴ（Ｋ，２）を含んでもよい（Ｓ１２０を参照）。
ステップＳ１１０を通じてＮ個の訓練用データが生成されると、学習モジュール１４０は、Ｎ個のパッチレベルの訓練用データ（すなわち、第１の訓練用スライドに対応するパッチレベルの訓練データＴ（１，１）ないし第Ｎの訓練用スライドに対応するピクセルレベルの訓練データＴ（Ｎ，１））を用いてパッチレベルの分類ニューラルネットワーク１６０を訓練することができる。
また、学習モジュール１４０は、Ｎ個のピクセルレベルの訓練用データ（すなわち、第１の訓練用スライドに対応するピクセルレベルの訓練データＴ（１，２）ないし第Ｎの訓練用スライドに対応するピクセルレベルの訓練データＴ（Ｎ，２））を用いてピクセルレベルの分類ニューラルネットワーク１７０を訓練することができる。
一方、学習モジュール１４０は、パッチレベルの分類ニューラルネットワーク１６０およびピクセルレベルの分類ニューラルネットワーク１７０に対する一回の学習が完了すると、所定の訓練条件が満たされたか否かを判断することができ、満たした場合は訓練を終了してもよい（Ｓ１５０）。
例えば、学習モジュール１４０は、訓練が一定回数繰り返されたときに訓練条件が満たされると判定し得る。学習モジュール１４０は、学習されたパッチレベルの分類ニューラルネットワーク１６０および／またはピクセルレベルの分類ニューラルネットワーク１７０が所定の条件を満たす場合に、訓練条件が満たされると判断し得る。
一方、一実施形態において、学習モジュール１４０は、学習データを生成する過程において、まだ訓練中であるパッチレベルの分類ニューラルネットワーク１６０を用いることができる。
図４は、学習モジュール１４０が１つの訓練用スライド（スライドＳＫ）に対応する訓練データを生成する過程（すなわち、図３のステップＳ１２０）の具体例を示す図である。
図４を参照すると、学習モジュール１４０は、訓練用スライドＳＫを構成する各パッチをパッチレベルの分類ニューラルネットワーク１６０に入力し、パッチレベルの分類ニューラルネットワーク１６０は、各パッチに対応するパッチレベルの診断結果を予測できる（Ｓ１２２）。
さらに、学習モジュール１４０は、各パッチを入力されたパッチレベルの分類ニューラルネットワーク１６０に対する勾配－重み付けクラス活性化マッピングを介して各パッチに対応するマスク画像を生成するすることができる（Ｓ１２３）。勾配－重み付けクラス活性化マッピングは、画像からの結果予測に大きな影響を与えた領域を強調するローカライゼーションマップを生成するための手法である。
例えば、学習モジュール１４０は、特定のパッチを入力されたパッチレベルの分類ニューラルネットワーク１６０に対する勾配－重み付けクラス活性化マッピングによって生成されたローカライゼーションマップにおいて、所定の閾値以上のピクセルをマスクすることによって、該当パッチに対応するマスク画像を生成することができる。
一方、学習モジュール１４０は、ステップＳ１２２で行われたパッチレベルの分類ニューラルネットワーク１６０の各パッチの診断結果に基づいて、訓練用スライドＳＫを構成する各パッチのうちから代表パッチＲＫ決定することができる（Ｓ１２４）。例えば、パッチレベルの分類ニューラルネットワーク１６０が疾患に対する発症確率を出力するニューラルネットワークである場合、学習モジュール１４０は、発症確率が最も高いパッチを代表パッチとして決定し得る。あるいは、学習モジュール１４０は、所定の値以上の発症確率を有する少なくとも１つのパッチを代表パッチとして決定してもよい。
一方、ステップＳ１２４で代表パッチＲＫが決定されると、学習モジュール１４０は、訓練用スライドＳＫのラベルＬＫで代表パッチＲＫをラベル付けし、スライドＳＫに対応するパッチレベルの訓練データＴ（Ｋ，１）を生成することができる（Ｓ１２５）。
また、学習モジュール１４０は、ＲＫに対応するマスク画像で代表パッチＲＫをラベル付けし、スライドＳＫに対応するピクセルレベルの訓練データＴ（Ｋ，２）を生成するすることができる。
このように図３および図４を参照して説明した訓練方法によると、パッチレベルの分類ニューラルネットワーク１６０およびピクセルレベルの分類ニューラルネットワークを訓練するための訓練データが、スライドレベルの訓練データ（すなわち、スライドレベルの診断結果がラベル付けされたスライド画像）から自動的に生成され、それによって各ニューラルネットワークが訓練される。これによって、スライドレベルの訓練データのみを用いてパッチレベルの分類ニューラルネットワーク１６０およびピクセルレベルの分類ニューラルネットワークを訓練することができる半教師あり学習を実現することができる。
また、パッチレベルの分類ニューラルネットワーク１６０の予測結果に基づいて訓練データが生成され、このように生成された訓練データが再びパッチレベルの分類ニューラルネットワーク１６０の訓練に用いられる段階的方式の訓練によって、パッチレベルの分類ニューラルネットワーク１６０の高度化を行うことができる。
一方、再び図２を参照すると、前記アノテーションモジュール１５０は、訓練が完了した前記ピクセルレベルの分類ニューラルネットワーク１７０を用いて生体画像に対するアノテーションを行うことができる。
すなわち、アノテーションモジュール１５０は、訓練が完了した前記ピクセルレベルの分類ニューラルネットワーク１７０に所定の診断対象パッチ画像を入力し、診断対象パッチ画像を構成する各ピクセル毎の前記疾患に対する分類結果を取得し、診断対象パッチ画像を構成する各ピクセル毎の分類結果に基づいて、診断対象パッチ画像に疾患の発症領域をアノテーションすることができる。
また、本明細書では前立腺癌に対して本発明の技術的思想が適用された一例を主に説明したが、特定の組織だけでなく該当組織の周辺組織の状態まで考慮して前記特定の組織の診断を行う必要がある他の疾患に対しても、本発明の技術的思想が適用される場合、正確な診断が可能であることを本発明の技術分野の平均的専門家であれば容易に推論できるであろう。
一方、実施形態によって、診断システム１００は、プロセッサと、プロセッサによって実行されるプログラムを格納するメモリと、を含んでもよい。プロセッサは、シングルコアＣＰＵまたはマルチコアＣＰＵを含んでもよい。メモリは、高速ランダムアクセスメモリを含んでもよく、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステートメモリデバイス等の不揮発性メモリを含んでもよい。プロセッサおよび他の構成要素によるメモリへのアクセスは、メモリコントローラによって制御され得る。
一方、本発明の一実施形態による方法は、コンピュータ読み取り可能なプログラムコマンドの形態で実現され、コンピュータ読み取り可能な記録媒体に格納されてもよく、本発明の一実施形態による制御プログラムおよび対象プログラムもコンピュータ読み取り可能な記録媒体に格納されてもよい。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取られ得るデータが格納されるあらゆる種類の記録装置を含む。
記録媒体に記録されるプログラム命令は、本発明のために特に設計および構成されたものであってもよく、またはソフトウェア当業者に公知かつ利用可能であってもよい。
コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、プロプティカルディスクなどの磁気－光媒体、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラムコマンドを格納して実行するように構成されたハードウェア装置が含まれる。また、コンピュータ読み取り可能な記録媒体はネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが格納され実行されることができる。
プログラム命令の例としては、コンパイラによって作成されるような機械語コードだけでなく、インタプリタ等を用いて電子的に情報を処理する装置、例えば、コンピュータによって実行できる高度な言語コードを含む。
上述のハードウェアデバイスは、本発明の動作を行うための１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、逆もまた同様である。
前述した本発明の説明は例示のためのものであり、本発明が属する技術分野の通常の知識を有する者であれば、本発明の技術的思想や必須的な特徴を変更することなく、他の具体的な形態に簡単に変形が可能であることを理解することができるであろう。したがって、以上で述べた実施形態は、あらゆる面で例示的なものであり、限定的でないものと理解しなければならない。例えば、単一の形態で記述された各構成要素が分散されてもよく、同様に分散として記述された構成要素が結合された形態で実施されてもよい。
本発明の範囲は、上記の詳細な説明よりは後述の特許請求の範囲によって示され、特許請求の範囲の意味および範囲、そしてその均等概念から導出されるすべての変更または変形された形態が本発明の範囲に含まれるものと解釈されなければならない。
本発明は、半教師あり学習を用いて疾患の発症領域に対するアノテーションを行う方法、およびそれを行うための診断システムに用いることができる。

Claims (11)

  1. ニューラルネットワークを用いた診断システムが、生体画像である所定のスライドが分割された一部であるパッチを入力され、前記パッチに所定の疾患が存在しているか否かに関する分類結果を予測するパッチレベルの分類ニューラルネットワーク、および前記パッチを入力され、前記パッチを構成するピクセル毎に前記疾患に対する分類結果を予測するピクセルレベルの分類ニューラルネットワークを生成するステップと、
    前記ニューラルネットワークを用いた診断システムが、複数の訓練用スライド画像（ここで、前記複数の訓練用スライド画像のそれぞれには、それに対応するスライドレベルの診断結果がラベル付けされている）を取得するステップと、
    前記ニューラルネットワークを用いた診断システムが、前記複数の訓練用スライド画像を用いて、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練するステップと、
    を含み、
    前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練するステップは、
    （ａ）前記複数の訓練用スライドのそれぞれに対して、前記訓練用スライドに対応する訓練データを生成するステップ（ここで、前記訓練用スライドに対応する訓練データは、前記パッチレベルの分類ニューラルネットワークを訓練するためのパッチレベルの訓練データおよび前記ピクセルレベルの分類ニューラルネットワークを訓練するためのピクセルレベルの訓練データを含む）と、
    （ｂ）前記複数の訓練用スライドのそれぞれに対応するパッチレベルの訓練データを用いて、前記パッチレベルの分類ニューラルネットワークを訓練するステップと、
    （ｃ）前記複数の訓練用スライドのそれぞれに対応するピクセルレベルの訓練データを用いて、前記ピクセルレベルの分類ニューラルネットワークを訓練するステップと、
    （ｄ）前記（ａ）ステップないし前記（ｃ）ステップを少なくとも一回繰り返すステップと、を含む、方法。
  2. 前記訓練用スライドに対応する訓練データを生成するステップは、
    前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ（ここで、訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である）と、
    前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、
    前記訓練用スライドに対応する代表パッチ画像を前記訓練用スライド画像のスライドレベルの診断結果でラベル付けし、前記訓練用スライド画像に対応するパッチレベルの訓練データを生成するステップと、を含む、請求項１に記載の方法。
  3. 前記訓練用スライドに対応する訓練データを生成するステップは、
    前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ（ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である）と、
    前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、
    前記代表パッチ画像に対する予測結果を出力した前記分類ニューラルネットワークに対する勾配－重み付けクラス活性化マッピング（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）を通じて、前記代表パッチ画像に対応するマスクを生成するステップと、
    前記訓練用スライドに対応する代表パッチ画像を前記代表パッチ画像に対応するマスクでラベル付けし、前記訓練用スライドに対応するピクセルレベルの訓練データを生成するステップと、を含む、請求項１に記載の方法。
  4. 訓練が完了した前記ピクセルレベルの分類ニューラルネットワークに所定の診断対象パッチ画像を入力し、前記診断対象パッチ画像を構成するピクセル毎の前記疾患に対する分類結果を取得するステップと、
    前記診断対象パッチ画像を構成するピクセル毎の分類結果に基づいて、前記診断対象パッチ画像に前記疾患の発症領域をアノテーションするステップと、をさらに含む、請求項１に記載の方法。
  5. 前記疾患は、
    前立腺癌であることを特徴とする、請求項１に記載の方法。
  6. データ処理装置に設置され、請求項１ないし請求項５のいずれか一項に記載の方法を行うためのコンピュータ読み取り可能な媒体に記録されたコンピュータプログラム。
  7. プロセッサと、
    コンピュータプログラムを格納するメモリと、
    を含み、
    前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記ニューラルネットワークを用いた診断システムが請求項１ないし請求項５のいずれか一項に記載の方法を行うようにする、ニューラルネットワークを用いた診断システム。
  8. 生体画像である所定のスライドが分割された一部であるパッチを入力され、前記パッチに所定の疾患が存在しているか否かに関する分類結果を予測するパッチレベルの分類ニューラルネットワーク、および前記パッチを入力され、前記パッチを構成するピクセル毎に前記疾患に対する分類結果を予測するピクセルレベルの分類ニューラルネットワークを格納する記憶モジュールと、
    複数の訓練用スライド画像（ここで、前記複数の訓練用スライド画像のそれぞれには、それに対応するスライドレベルの診断結果がラベル付けされている）を取得する取得モジュールと、
    前記複数の訓練用スライド画像を用いて、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練する学習モジュールと、
    を含み、
    前記学習モジュールは、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練するために、
    前記複数の訓練用スライドのそれぞれに対して、訓練用スライドに対応する訓練データを生成するステップ（ここで、前記訓練用スライドに対応する訓練データは、前記パッチレベルの分類ニューラルネットワークを訓練するためのパッチレベルの訓練データおよび前記ピクセルレベルの分類ニューラルネットワークを訓練するためのピクセルレベルの訓練データを含む）と、
    前記複数の訓練用スライドのそれぞれに対応するパッチレベルの訓練データを用いて、前記パッチレベルの分類ニューラルネットワークを訓練するステップと、
    前記複数の訓練用スライドのそれぞれに対応するピクセルレベルの訓練データを用いて前記ピクセルレベルの分類ニューラルネットワークを訓練するステップと、を含む訓練過程を２回以上繰り返す、ニューラルネットワークを用いた診断システム。
  9. 前記訓練用スライドに対応する訓練データを生成するステップは、
    前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ（ここで、訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である）と、
    前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、
    前記訓練用スライドに対応する代表パッチ画像を前記訓練用スライド画像のスライドレベルの診断結果でラベル付けし、前記訓練用スライド画像に対応するパッチレベルの訓練データを生成するステップと、を含む、請求項８に記載のニューラルネットワークを用いた診断システム。
  10. 前記訓練用スライドに対応する訓練データを生成するステップは、
    前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ（ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である）と、
    前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、
    前記代表パッチ画像に対する予測結果を出力した前記分類ニューラルネットワークに対する勾配－重み付けクラス活性化マッピング（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）を通じて、前記代表パッチ画像に対応するマスクを生成するステップと、
    前記訓練用スライドに対応する代表パッチ画像を前記代表パッチ画像に対応するマスクでラベル付けし、前記訓練用スライドに対応するピクセルレベルの訓練データを生成するステップと、を含む、請求項８に記載のニューラルネットワークを用いた診断システム。
  11. 訓練が完了した前記ピクセルレベルの分類ニューラルネットワークに所定の診断対象パッチ画像を入力し、前記診断対象パッチ画像を構成するピクセル毎の前記疾患に対する分類結果を取得し、
    前記診断対象パッチ画像を構成するピクセル毎の分類結果に基づいて、前記診断対象パッチ画像に前記疾患の発症領域をアノテーションするアノテーションモジュールをさらに含む、請求項８に記載の診断システム。

JP2023502693A 2020-07-23 2020-07-23 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム Active JP7430025B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/009721 WO2022019356A1 (ko) 2020-07-23 2020-07-23 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템

Publications (2)

Publication Number Publication Date
JP2023535338A JP2023535338A (ja) 2023-08-17
JP7430025B2 true JP7430025B2 (ja) 2024-02-09

Family

ID=79728717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023502693A Active JP7430025B2 (ja) 2020-07-23 2020-07-23 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム

Country Status (5)

Country Link
US (1) US20230298753A1 (ja)
EP (1) EP4170678A4 (ja)
JP (1) JP7430025B2 (ja)
CN (1) CN116134535A (ja)
WO (1) WO2022019356A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430946B1 (en) 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
WO2020045848A1 (ko) 2018-08-27 2020-03-05 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2020111754A2 (ko) 2018-11-30 2020-06-04 주식회사 딥바이오 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2884008A1 (fr) * 2005-03-31 2006-10-06 France Telecom Systeme et procede de localisation de points d'interet dans une image d'objet mettant en oeuvre un reseau de neurones
CN103679185B (zh) * 2012-08-31 2017-06-16 富士通株式会社 卷积神经网络分类器系统、其训练方法、分类方法和用途
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
KR101944536B1 (ko) * 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR101887194B1 (ko) * 2018-06-20 2018-08-10 주식회사 뷰노 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
KR101919908B1 (ko) * 2018-05-14 2018-11-20 주식회사 뷰노 의료 영상의 레이블링을 지원하는 방법 및 이를 이용한 장치
KR102236948B1 (ko) * 2019-01-25 2021-04-06 주식회사 딥바이오 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020045848A1 (ko) 2018-08-27 2020-03-05 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2020111754A2 (ko) 2018-11-30 2020-06-04 주식회사 딥바이오 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
US10430946B1 (en) 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques

Also Published As

Publication number Publication date
EP4170678A1 (en) 2023-04-26
WO2022019356A1 (ko) 2022-01-27
CN116134535A (zh) 2023-05-16
JP2023535338A (ja) 2023-08-17
EP4170678A4 (en) 2024-03-13
US20230298753A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
JP7157492B2 (ja) 病理画像の検索のためのシステム及び方法
JP7406758B2 (ja) 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
JP7146300B2 (ja) ツーフェーズ疾病診断システム及び該方法
JP2020502712A (ja) ニューラルネットワークを用いた疾病診断システム及びその方法
JP7216447B2 (ja) セグメンテーションを行うニューラルネットワークを用いた疾病診断システム及び方法
CN112740335A (zh) 基于神经网络的疾病诊断系统和方法
JP7152810B2 (ja) 多色モデル及びニューラルネットワークを用いた疾病診断システム及び方法
JP7320856B2 (ja) 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
JP7299658B2 (ja) ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法
JP2023529585A (ja) オートエンコーダ及びマルチインスタンス学習を通じたニューラルネットワーク学習方法並びにこれを実行するコンピューティングシステム
CN115699024A (zh) 疾病严重程度判断用神经网络学习方法及系统
CN112567466A (zh) 诊断结果生成系统及其方法
CN117256033A (zh) 用于学习判断乳腺癌病变区域的人工神经网络的学习方法及执行其的计算系统
JP7430025B2 (ja) 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム
US20230289957A1 (en) Disease diagnosis method using neural network trained by using multi-phase biometric image, and disease diagnosis system performing same
KR102226897B1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
EP4258206A1 (en) Methods and systems for classifying a malignancy risk of a kidney and training thereof
EP4293685A1 (en) Prognosis prediction method using result of disease diagnosis through neural network and system therefor
KR20240033470A (ko) 훈련을 위한 의료 영상을 생성하기 위한 방법 및 장치
CN118196013A (zh) 支持多医生协同监督的多任务医学图像分割方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230224

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240123

R150 Certificate of patent or registration of utility model

Ref document number: 7430025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150