JP6851094B2 - ニューラルネットワークを用いた疾病診断システム及びその方法 - Google Patents

ニューラルネットワークを用いた疾病診断システム及びその方法 Download PDF

Info

Publication number
JP6851094B2
JP6851094B2 JP2019552437A JP2019552437A JP6851094B2 JP 6851094 B2 JP6851094 B2 JP 6851094B2 JP 2019552437 A JP2019552437 A JP 2019552437A JP 2019552437 A JP2019552437 A JP 2019552437A JP 6851094 B2 JP6851094 B2 JP 6851094B2
Authority
JP
Japan
Prior art keywords
neural network
tile
layer
disease
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019552437A
Other languages
English (en)
Other versions
JP2020502712A (ja
Inventor
ソン ワ キム
ソン ワ キム
Original Assignee
ディープ バイオ インク
ディープ バイオ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディープ バイオ インク, ディープ バイオ インク filed Critical ディープ バイオ インク
Publication of JP2020502712A publication Critical patent/JP2020502712A/ja
Application granted granted Critical
Publication of JP6851094B2 publication Critical patent/JP6851094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/20—Supervised data analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Bioethics (AREA)
  • Biotechnology (AREA)

Description

本発明は、ニューラルネットワークを用いた疾病診断システム及びその方法に関し、さらに詳しくは、ニューラルネットワークによる学習を行い、学習されたニューラルネットワークを用いて生体組織の画像を入力する場合、所定の疾病（例えば、前立腺癌）を診断することができるシステム及びその方法に関する。
病理学または病理科で行う重要な業務の一つは、患者の生体画像を読み取り、特定疾病の状態または兆候を判断する診断を行うことである。このような診断は、長期間にわたって熟練した医療従事者の経験と知識に頼るものである。
最近では、機械学習の発達に伴い、画像を認識したり分類したりするなどの業務をコンピュータシステムによって自動化しようとする試みが活発に行われている。特に機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒｌａ ｎｅｔｗｏｒｋ、ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練した医療従事者が行う診断を自動化するための試みがなされている。
特にニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングによる診断によれば、従来の熟練した医療従事者の経験と知識を単に自動化するのではなく、自ら学習により特徴的な要素を見つけて希望の答えを導き出すという点において、むしろ熟練した医療従事者が知らない疾病因子の特徴を画像から見つける場合もある。
一般的に、生体画像を用いる、ニューラルネットワークによる疾病の診断には、生体画像の部分、すなわちタイル（ｔｉｌｅ）を使用する。つまり、当該タイルに対して熟練した医療従事者は、特定疾病の状態（例えば、癌の発現の有無）をアノテーション（ａｎｎｏｔａｔｉｏｎ）し、このようにアノテーションされた多数のタイルをトレーニングデータとして用いてニューラルネットワークを学習する。このとき、ニューラルネットワークとしては、畳み込みニューラルネットワークが利用されてもよい。
しかし、このような方式の場合、学習されたニューラルネットワークによれば、当該タイルの画像特徴のみでタイルの疾病の状態を判断するが、実際に特定疾病について特定の生体組織の状態を判断するときには、特定の生体組織そのものだけでなく特定の生体組織の周辺の組織の現状（例えば、形状、特定のパターンの存在有無など）をも同時に考慮すべき場合がある。しかしながら、従来の方式は、このような場合に不適合であるという問題がある。
韓国公開特許１０−２０１６−００３４８１４「ニューラルネットワークを伴ったクライアント装置及びそれを含むシステム」
本発明が解決しようとする技術的な課題は、特定タイルの疾病の状態（例えば、疾病の発現有無、または疾病の状態を示す指標など）を判断するために、特定タイルだけでなく周辺のタイルをも学習に用いることにより、より精度を高めることができる、ニューラルネットワークを用いる診断システム及びその方法を提供することである。
また、単にタイルの疾病の状態についての情報を出力することにとどまらず、そのような状態を判断した根拠となる因子についての情報をも出力することができる、ニューラルネットワークを用いた診断システム及びその方法を提供することである。
前記技術的課題を達成するための、プロセッサとニューラルネットワークを保存する記憶装置（Ｓｔｏｒａｇｅ Ｄｅｖｉｃｅ）とを含むシステムに具現化され、生体画像と前記ニューラルネットワークを用いた疾病診断システムは、前記生体画像に含まれる所定のタイルを入力層として入力され、複数の第１層および出力層を含むマイクロニューラルネットワーク（ｍｉｃｒｏ−ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と；前記タイルを含み、前記タイルの隣接タイルを少なくとも一つ含むマクロタイル（ｍａｃｒｏ ｔｉｌｅ）を 入力層として入力され、複数の第２層及び前記出力層を含むマクロニューラルネットワーク（ｍａｃｒｏ−ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と；を含み、前記出力層は、前記タイルに対応する生体組織の前記疾病の状態を示す状態チャネルを少なくとも一つ含む。
前記出力層は、前記第１層に含まれており、前記出力層の直前層である第１直前層と、前記第２層に含まれており、前記出力層の直前層である第２直前層と、のそれぞれの出力データに基づいて決定されることを特徴としてもよい。
前記マクロニューラルネットワークは、前記マイクロニューラルネットワークに比べて大きなストライド（ｓｔｒｉｄｅ）を有することを特徴としてもよい。
前記出力層は、前記状態チャネルと；前記状態チャネルの値に関連付けられる関連因子の発現度合いを示す少なくとも一つの関連因子チャネルと；を含んでいてもよい
前記疾病は、前立腺癌であることを特徴としてもよい。
前記状態チャネルは、前記タイルに対応する生体組織が予め定められた範囲のグリーソンパターン値を有する確率を表すチャネルであってもよい。
前記関連因子チャネルは、前記タイルに対応する生体組織の細胞核が特定の条件を満足する確率を表すチャネル；前記タイルに対応する生体組織が単一細胞層（ｓｉｎｇｌｅ ｃｅｌｌ ｌａｙｅｒ）として分類される確率を表すチャネル；前記タイルに対応する生体組織が高密度グランド（ｇｌａｎｄ）として分類される確率を表すチャネル；または前記タイルに対応する生体組織が正常ストロマ（ｓｔｒｏｍａ）として分類される確率を表すチャネルのうちの少なくともいずれか一つのチャネルを含んでいてもよい。
前記技術的課題を解決するための、プロセッサ及び記憶装置を含むシステムに具現化され、生体画像と前記ニューラルネットワークを用いた疾病診断システムは、前記生体画像に含まれる所定のタイルを入力される入力層、複数の層、及び出力層を含み、前記出力層は、前記タイルに対応する生体組織の前記疾病の状態を示す少なくとも一つの状態チャネルと、前記状態チャネルの値に関連付けられる関連因子の発現度合いを示す少なくとも一つの関連因子チャネルと、を含む。
前記技術的課題を解決するための、プロセッサ及び記憶装置を含むシステムに具現化され、生体画像とニューラルネットワークを用いた疾病の診断システムが実行する方法は、前記生体画像に含まれる所定のタイルを入力層とし、複数の第１層及び出力層を含むマイクロニューラルネットワークと、前記タイルを含み、前記タイルの隣接タイルを少なくとも一つ含むマクロタイルを入力層とし、複数の第２層及び前記出力層を含むマクロニューラルネットワークと、を保存するステップと；前記タイル及び前記出力層と相応するように前記タイルにアノテーション（ａｎｎｏｔａｔｉｏｎ）されたアノテーション情報を用いて、前記マイクロニューラルネットワーク及び前記マクロニューラルネットワークをそれぞれ学習させるステップと；を含み、前記出力層は、前記タイルに対応する生体組織の前記疾病の状態を示す状態チャネルを少なくとも一つ含む。
前記ニューラルネットワークを用いた疾病診断方法は、学習された前記マイクロニューラルネットワーク及び前記マクロニューラルネットワークを含む前記ニューラルネットワークが、診断対象生体画像に含まれる対象タイルを入力されるステップと；前記ニューラルネットワークを介して前記出力層に相応する出力データを出力するステップと；をさらに含んでいてもよい。
前記出力層は、前記第１層に含まれており、前記出力層の直前層である第１直前層と、前記第２層に含まれており、前記出力層の直前層である第２直前層と、のそれぞれの出力データに基づいて決定されてもよい。
前記技術的課題を解決するための、プロセッサとニューラルネットワークを保存する記憶装置とを含むシステムに具現化され、生体画像と前記ニューラルネットワークを用いた疾病診断システムが実行する方法は、前記生体画像に含まれる所定のタイルを入力される入力層、複数の層、および出力層を含むニューラルネットワークを保存するステップと；前記タイル及び前記出力層に相応する前記タイルのアノテーション情報を用いて前記ニューラルネットワークを学習させるステップと；を含み、前記出力層は、前記タイルに対応する生体組織の前記疾病の状態を示す少なくとも一つの状態チャネルと、前記状態チャネルの値に関連付けられる関連因子の発現度合いを示す少なくとも一つの関連因子チャネルと、を含んでいてもよい。
前記方法は、データ処理装置に設けられるコンピュータプログラムと、前記コンピュータプログラムを実行することができるデータ処理装置のハードウェアと、により具現化されてもよい。
本発明の技術的思想によれば、特定タイルに対する診断を行いながら、特定タイルを含み、周辺のタイルをさらに含むマクロタイルをも同時に考慮して、特定タイルの疾病の状態を判断することができるニューラルネットワークを提供することにより、より高い診断の精度を提供することができるという効果がある。
また、ニューラルネットワークが、単に疾病の状態についての情報だけを出力するのではなく、そのような状態に関連する因子についての情報をもさらに出力することにより、診断システムにより判断された疾病の状態についての情報の信頼性を向上させることができ、状態についての情報とその根拠をも把握することができ、このため、誤った判断に対する検証が可能であるという効果がある。
本発明の詳細な説明において引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
本発明の技術的思想に係る、ニューラルネットワークを用いた疾病診断システムの概略的なシステム構成を示す図である。 本発明の実施形態に係る、ニューラルネットワークを用いた疾病診断システムの論理的な構成を説明するための図である。 本発明の実施形態に係る、ニューラルネットワークを用いた疾病診断システムのハードウェア的な構成を説明するための図である。 本発明の実施形態に係るニューラルネットワークの構成を説明するための図である。 本発明の実施形態に係るニューラルネットワークの出力層を説明するための図である。 本発明の実施形態に係るニューラルネットワークを学習するためのアノテーション情報の一例を示す図である。 本発明の実施形態に係るニューラルネットワークにおける関連因子を説明するための図である。 本発明の実施形態に係るニューラルネットワークにおける関連因子を説明するための図である。 本発明の実施形態に係るニューラルネットワークにおける関連因子を説明するための図である。 本発明の実施形態に係るニューラルネットワークにおける関連因子を説明するための図である。 本発明の実施形態に係るニューラルネットワークを用いた診断結果を説明するための図である。 本発明の実施形態に係る、ニューラルネットワークを用いた疾病診断システムにより診断された生体画像を説明するための図である。
本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。しかし、これは、本発明を特定の実施形態に対して限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変換、均等物ないし代替物を含むものと理解されるべきである。本発明を説明するにあたり、関連する公知の技術についての具体的な説明が本発明の要旨を曖昧にするおそれがあると判断される場合には、その詳細な説明を省略する。
第１、第２などの用語は、様々な構成要素を説明するために使用することができるが、構成要素は、用語によって限定されてはならない。用語は、一つの構成要素を他の構成要素から区別する目的にのみ使用される。
本出願で使用した用語は、単に特定の実施例を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に異なる意味でない限り、複数の表現を含む。
本明細書において、「含む」または「有する」などの用語は、明細書上に記載されている特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするのであって、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものと理解されるべきである。
また、本明細書においては、ある構成要素が他の構成要素にデータを「送る」場合には、「送る」とは、構成要素は他の構成要素に直接的にデータを送ってもよく、少なくとも一つの更に他の構成要素を介してデータを他の構成要素に送ってもよいことを意味する。逆に、ある構成要素が他の構成要素にデータを直接的に「送る」場合には、「送る」とは、構成要素から他の構成要素を介することなく他の構成要素にデータが送られることを意味する。
以下、添付図面に基づいて、本発明の実施形態を中心に本発明について詳細に説明する。各図面に示す同じ参照符号は、同じ部材を指し示す。
図１は、本発明の技術的思想に係るニューラルネットワークを用いた疾病診断システムの概略的なシステム構成を示す図である。
図１を参照すると、本発明の技術的思想に係るニューラルネットワークを用いた疾病診断システム（以下、診断システム、１００）は、所定のサーバ１０に設けられて本発明の技術的思想を具現化することができる。サーバ１０は、本発明の技術的思想を具現化するための演算能力を有するデータ処理装置を意味し、一般的には、ネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定のサービスを実行できるいかなる装置もサーバとして定義できることを、本発明の技術分野における平均的な専門家にとっては容易に推論可能であろう。
サーバ１０は、図３に示すように、プロセッサ１１及び記憶装置１２を含んでいてもよい。プロセッサ１１は、本発明の技術的思想を具現化するためのプログラム１２−１を駆動させることができる演算装置を意味することができ、プロセッサ１１は、プログラム１２−１と、本発明の技術的思想によって定義されるニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１２−２を用いて診断を行うことができる。
記憶装置１２は、プログラム１２−１及びニューラルネットワーク１２−２を保存することができるデータ記憶手段（ｄａｔａ ｓｔｏｒａｇｅ ｍｅａｎｓ）を意味することができ、具現化例によっては、複数の記憶手段で具現化されてもよい。また、記憶装置１２は、サーバ１０に含まれる主記憶装置だけでなく、プロセッサ１１に含まれてもよい一時的な記憶装置またはメモリなどを含むことを意味することもできる。
診断システム１００は、図１または図３においてはある物理的装置で具現化されたものを示しているが、必要に応じて、複数の物理的装置が有機的に結合されて本発明の技術的思想に係る診断システム１００を具現化することができることを、本発明の技術分野における平均的な専門家にとっては容易に推論可能であろう。
本明細書において、診断システム１００が診断を行うということは、生体組織が表現された生体画像の入力を受け、本明細書で定義された出力データを出力する一連のプロセスを意味することができる。出力データは、診断システム１００に用いられるニューラルネットワークの出力層が出力する情報を意味することができ、出力データには、生体画像に含まれるタイルに対応する生体組織が特定疾病に対してどのような状態であるかを示す状態情報が含まれていてもよい。このような状態情報は、出力層に含まれた状態チャネルが出力する情報であってもよい。
例えば、状態情報は、タイルに対応する組織に特定疾病（例えば、特定の種類の癌）が発現されたかどうかについての確率情報であってもよい。または、後述するように、単に特定疾病の発現の有無に加えて、特定疾病の進行度合いを示す情報（または進行度合いに該当する確率）であってもよい。例えば、後述するように、本発明の技術的思想が前立腺癌の診断に利用される場合、前立腺癌の進行度合いを示す指標であるグリーソンパターン（Ｇｌｅａｓｏｎ Ｐａｔｔｅｒｎ）またはグリーソンスコア（Ｇｌｅａｓｏｎ Ｓｃｏｒｅ）が状態情報に含まれてもよい。例えば、グリーソンパターンは２〜５の値を有し、数字が大きいほど前立腺癌の発現度合いが酷いことを示す。したがって、状態情報は、診断の対象となるタイルに対応する生体組織がグリーソンパターンの特定値（例えば、３、４、または５）に該当する確率を意味することもできる。
状態情報は、複数であってもよい。例えば、第１状態情報は、グリーソンパターンが３である確率、第２状態情報は、グリーソンパターンが４である確率、第３状態情報は、グリーソンパターンが５である確率を表すことができ、これらの第１状態情報、第２状態情報、第３状態情報に相応する状態チャネルのすべてが出力層に定義されてもよい。具現化例によっては、グリーソンパターンが所定の範囲（例えば、３〜５、４〜５）などを有する確率を表す状態情報が定義されてもよい。すなわち、一つの状態情報が疾病の進行状態を表現する複数の指標に対応することもできる。
出力層に含まれる状態チャネルは、学習時に該当タイルをどのようにアノテーション（ａｎｎｏｔａｔｉｏｎ）するかによって決定できることは勿論である
一方、本発明の技術的思想によれば、出力層には、状態チャネルだけでなく関連因子チャネルも含まれていてもよい。このような技術的思想については後述する。
診断システム１００が所定のサーバ１０に含まれて具現化される場合、診断システム１００は、サーバ１０に接続可能な少なくとも一つのクライアント（例えば、２０、２０−１）との通信を行ってもよい。このような場合、クライアント（例えば、２０、２０−１）は、生体画像を診断システム１００に送ってもよく、診断システム１００は、送られた生体画像に対して、本発明の技術的思想に係る診断を行ってもよい。そして、診断結果をクライアント（例えば、２０、２０−１）に送ってもよい。
診断システム１００は、本発明の技術的思想に係るニューラルネットワークを用いて診断を行ってもよい。もちろん、このような診断を行うために、ニューラルネットワークを学習させるプロセスを最初に実行してもよい。
したがって、診断システム１００は、本発明の技術的思想により学習されたニューラルネットワークと、ニューラルネットワークを用いて診断を行うためのプログラムとを、外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習をも行うシステムであってもよい。また、診断システム１００は、汎用のデータ処理装置ではなく、本発明の技術的思想を具現化するために製造された専用装置で具現化されてもよく、このような場合には、生体画像をスキャンするための手段などがさらに備えられてもよい。
本発明の技術的思想に係る診断システム１００に用いられるニューラルネットワークは、マイクロニューラルネットワーク及びマクロニューラルネットワークを含んでいてもよい。
マイクロニューラルネットワークは、特定の一つのタイルを用いて学習を行い、タイルそのものイメージ特徴を用いて、タイルに対する診断を行うための一連のプロセスを実行するネットワークを意味することができる。
マクロニューラルネットワークは、タイルだけでなく、タイルを含み、タイルの隣接タイルを少なくとも一つ含むマクロタイルを用いて学習を行い、マクロタイル全体のイメージ特徴を利用してタイルに対する診断を行うための一連のプロセスを実行するネットワークを意味することができる。
したがって、本発明の技術的思想に係るニューラルネットワークは、特定タイルの診断を行うために、特定タイルそのもののイメージだけを考慮するのではなく、特定タイルに隣接する少なくとも一つのタイルのイメージをも考慮して、特定タイルの診断を行う特徴を有してもよい。このような技術的思想により、実際特定タイルに対応する生体組織を診断するために、生体組織だけでなく生体組織の周辺組織の状態をも考慮しなければならない疾病の診断において、精度を非常に有意なレベルまで向上させることができるという効果がある。また、生体画像を多数のタイルに分割する場合、タイルの分割方式や生体組織における分割領域の位置に応じて、発生可能な診断結果に強力な影響を与えることができるという効果を有する。
このような技術的思想を具現化するための診断システム１００は、論理的に図２のような構成を有することができる。
図２は、本発明の実施形態に係るニューラルネットワークを用いた疾病診断システムの論理的な構成を説明するための図である。
図２を参照すると、診断システム１００は、制御モジュール１１０と、ニューラルネットワークが保存されているニューラルネットワークモジュール１２０と、を含む。また、診断システム１００は、前処理モジュール１３０を更に含んでいてもよい。
診断システム１００は、本発明の技術的思想を具現化するために必要なハードウェアリソース（ｒｅｓｏｕｒｃｅ）および／またはソフトウェアを備えた論理的な構成を意味してもよく、必ずしも単一の物理的な構成要素を意味したり、単一の装置を意味したりするわけではない。つまり、診断システム１００は、本発明の技術的思想を具現化するために具備されるハードウェアおよび／またはソフトウェアの論理的な結合を意味してもよく、必要な場合には、互いに離隔した装置に設けられてそれぞれの機能を行うことにより、本発明の技術的思想を具現化するための論理的な構成の集合として具現化されてもよい。また、診断システム１００は、本発明の技術的思想を具現化するためのそれぞれの機能又は役割ごとに個別に具現化される構成の集合を意味してもよい。例えば、制御モジュール１１０、ニューラルネットワークモジュール１２０および／または前処理モジュール１３０のそれぞれは、互いに異なる物理的装置に位置してもよく、同じ物理的装置に位置してもよい。また、具現化例によっては、制御モジュール１１０、ニューラルネットワークモジュール１２０および／または前処理モジュール１３０のそれぞれを構成するソフトウェアおよび／またはハードウェアの結合もまた互いに異なる物理的装置に位置し、互いに異なる物理的装置の構成が互いに有機的に結合してそれぞれのモジュールを具現化することもできる。
また、本明細書において、モジュールとは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的な結合を意味してもよい。例えば、モジュールは、所定のコード及び所定のコードが行われるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味したり、一種類の数のハードウェアを意味したりするわけではないということは、本発明の技術分野における平均的な専門家にとっては容易に推論可能である。
制御モジュール１１０は、本発明の技術的思想を具現化するために、診断システム１００に含まれる他の構成（例えば、ニューラルネットワークモジュール１２０および／または前処理モジュール１３０など）を制御してもよい。
また、制御モジュール１１０は、ニューラルネットワークモジュール１２０に保存されたニューラルネットワークを用いて、本発明の技術的思想による診断を行ってもよい。診断を行うということは、前述したように、出力層に定義された少なくとも一つのチャネルのチャネル値を出力することを意味してもよい。それぞれのチャネルの値は、診断の対象となるタイルが対応するチャネルが定義する情報に該当する確率を示してもよい。
ニューラルネットワークモジュール１２０は、ニューラルネットワークを保存してもよい。ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集合を意味してもよい。本明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。
畳み込みニューラルネットワークは、周知のように、入力層、複数の隠れ層及び出力層を含んでいてもよい。複数の隠れ層の各々は、畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）及びプーリング層（Ｐｏｏｌｉｎｇ ｌａｙｅｒ）（またはサブサンプリング層）を含んでいてもよい。
畳み込みニューラルネットワークでは、これらの各層が、関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、重み係数（Ｗｅｉｇｈｔ ｆａｃｔｏｒ）などによって定義されてもよい。また、出力層は、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）のフィードフォワード層（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）と定義されてもよい。
畳み込みニューラルネットワークを構成する個々の層別設計は、幅広く知られている。例えば、複数の層に含まれる層の数、複数の層を定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれには、公知の関数が利用されてもよく、本発明の技術的思想を具現化するために別途定義の関数が利用されてもよい。
畳み込み関数の一例としては、離散関数、畳み込み関数などがある。プーリング関数の一例としては、最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）関数、平均プーリング（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）関数などが利用されてもよい。活性化関数の一例としては、シグモイド（ｓｉｇｍｏｉｄ）関数、タンジェントハイパボリック（ｔａｎｈ）関数、正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ、ＲｅＬＵ） などが挙げられる。
このような畳み込みニューラルネットワークの設計事項が定義されると、設計事項が定義された畳み込みニューラルネットワークが記憶装置に保存されてもよい。そして、畳み込みニューラルネットワークが学習されると、各層に該当する重み係数が特定化されてもよい。
すなわち、畳み込みニューラルネットワークの学習は、各層の重み係数が決定されるプロセスを意味してもよい。そして、畳み込みニューラルネットワークが学習されると、学習された畳み込みニューラルネットワークは、入力層に入力データを入力され、予め定義された出力層を介して出力データを出力してもよい。
本発明の実施形態に係るニューラルネットワークは、前述したように周知の設計事項のいずれか一つまたは複数の設計事項を選択して定義されてもよく、独自の設計事項が、ニューラルネットワークのために定義されてもよい。
制御モジュール１１０は、ニューラルネットワークモジュール１２０に保存されたニューラルネットワーク、すなわち、学習されたニューラルネットワークに入力データを入力してもよい。そして、ニューラルネットワークによって定義される演算を実行して出力データを出力してもよい。
前処理モジュール１３０は、ニューラルネットワークを用いて診断を行う前に必要な生体画像の前処理を行ってもよい。例えば、生体画像の前処理は、生体画像を予め定義されたサイズでタイル化する過程を含んでいてもよく、必要に応じては、ニューラルネットワークに適した方法で適切な画像処理を行ってもよいことは、本発明の技術分野における平均的な専門家にとっては容易に推量可能であろう。
一方、本発明の技術的思想に係るニューラルネットワークは、前述したように、マイクロニューラルネットワーク及びマクロニューラルネットワークを含む技術的な特徴を有する。このような一例については、図４に基づいて詳細に説明する。
図４は、本発明の実施形態に係るニューラルネットワークの構成を説明するための図である。
図４を参照すると、本発明の技術的思想に係るニューラルネットワーク２００は、マイクロニューラルネットワーク及びマクロニューラルネットワークを含む。
マイクロニューラルネットワークは、複数の層２１０及び出力層２３０を含む。複数の層２１０には、入力層２１１及び複数の隠れ層の２１２が含まれる。
マクロニューラルネットワークは、複数の層２２０及び出力層２３０を含む。複数の層２２０には、入力層２２１及び複数の隠れ層の２２２が含まれる。
マイクロニューラルネットワークは、特定タイル３０を入力され、特定タイルの診断結果、すなわち、出力層２３０に定義された出力データを出力するように定義される。
また、マクロニューラルネットワークは、特定タイル３０を含み、特定タイル３０の隣接タイルを少なくとも一つ含むマクロタイル４０を入力され、特定タイルの診断結果を出力するように定義される。
すなわち、本発明の技術的思想に係るニューラルネットワーク２００は、特定タイル３０の診断結果を出力するために、特定タイル３０の画像特性だけでなく特定タイル３０の隣接タイルの画像特性をも考慮して、診断結果を出力してもよい
マクロタイル４０は、図４においては、タイルをめぐる３タイルが利用される一例を図示しているが、様々な実施形態が可能できることはもちろんである。
出力層２３０は、マイクロニューラルネットワークに含まれた出力層２３０の直前層である第１直前層２１２−１と、マクロニューラルネットワークに含まれた出力層２３０の直前層である第２直前層２２２−１と、のそれぞれの出力データを入力され、出力層２３０に定義された出力データを出力してもよい。第１直前層２１２−１、第２直前層２２２−１及び出力層２３０は、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されてもよい。
出力層２３０を定義するフィードフォワード（Ｆｅｅｄｆｏｒｗａｒｄ）関数としては、入力層に入力された入力データがニューラルネットワーク２００を介して結果として出力層２３０に出力データを出力する様々な関数のうちのいずれか一つが使用されてもよい。
結論として、ニューラルネットワーク２００は、特定タイル３０の診断を行うために、特定タイル３０の画像特性と、特定タイル３０を含むマクロタイル４０の画像特性とを同時に考慮して、多数のトレーニングデータのアノテーション値と相応する出力層２３０の出力データを出力するように学習される。
すなわち、ニューラルネットワーク２００を学習するためには、多数のトレーニングデータが使用され、多数のトレーニングデータは、特定タイル３０及びマクロタイル４０のペアを含んでいてもよい。そして、マクロタイル４０の場合もまた、特定タイル３０のアノテーション情報を用いて学習を行ってもよい。
すると、ニューラルネットワーク２００は、特定タイル３０の画像特性とマクロタイル４０の画像特性とを両方とも考慮して、特定タイル３０のアノテーション情報に相応する出力データを出力できるように学習されてもよい。
そして、学習されたニューラルネットワーク２００は、診断の対象となる対象タイル及び対象タイルに相応するマクロタイルのそれぞれを、マイクロニューラルネットワーク及びマクロニューラルネットワークの入力層の入力データとして入力されると、対象タイルの診断結果、すなわち、出力層２３０の出力データを出力することができる。
一方、マクロニューラルネットワークは、マイクロニューラルネットワークに比べて大きなストライドを有することを特徴としてもよい。これは、マクロニューラルネットワークでは、マクロタイル４０に含まれる画像の特性をマイクロニューラルネットワークに比べてより断続的に抽出することを意味してもよい。これは、マクロニューラルネットワークもまた、特定タイル３０を診断するためのものであり、マイクロニューラルネットワークと同様に、画像の特徴を非常に細かく抽出し、抽出された画像の特徴を抽象化する過程を経る必要はないことを意味してもよい。また、むしろ特定タイル３０ではない隣接タイルの画像特徴が、特定タイル３０の診断に多くの影響を与えることをある程度排除することができるという効果も有することができる。したがって、マクロニューラルネットワークのストライド値をマイクロニューラルネットワークよりも大きくすることにより、ネットワーク設計をより効率よく行うことができる。一例によれば、マイクロニューラルネットワークに使用されるストライド値は１であってもよく、マクロニューラルネットワークに使用されるストライド値は２または３などであってもよい。
また、すべての隠れ層に共通的により大きなストライド値が適用される必要はない可能性があり、初期の数個の畳み込み層にのみ適用されるストライド値は、マイクロニューラルネットワークに比べてマクロニューラルネットワークほうが大きくてもよい。
一方、出力層２３０は、診断の対象となる特定タイル３０の診断結果としての出力データを出力することができる。診断結果は、特定タイル３０の疾病の状態についての情報を少なくとも含んでいてもよい。疾病の状態についての情報は、単に特定疾病が特定タイル３０に発現したかどうか（または確率値）についての情報を意味してもよい。
しかし、疾病の種類に応じて、疾病の状態についての情報には、より具体的に疾病の進行度合いを示す情報が含まれてもよい。以下では、診断システム１００により診断される疾病の種類が前立腺癌である場合を一例として説明するが、本発明の技術的思想が必ずしも前立腺癌に限定されて適用される必要はないことを、本発明の技術分野における平均的な専門家にとっては容易に推論可能であろう。
図５は、本発明の実施形態に係るニューラルネットワークの出力層を説明するための図である。
図５を参照すると、本発明の実施形態に係る出力層２３０は、少なくとも一つのチャネル（例えば、２３１乃至２３８）を含んでいてもよい。
出力層２３０は、前述したように、疾病の状態についての情報を示す状態チャネル（例えば、２３６、２３７、２３８）が少なくとも一つ含まれてもよい。状態チャネル（例えば、２３６、２３７、２３８）は、それぞれ疾病の進行度合いを示す情報であってもよい。例えば、第１状態チャネル２３６は、前立腺癌の進行度合いを示す指標であるグリーソンパターン値のうちのいずれか一つである第１値（例えば、グリーソンパターン３）を有する確率を表す情報であってもよい。第２状態チャネル２３７及び第３状態チャネル２３８は、それぞれグリーソンパターン値のうちの他の値である第２値（例えば、グリーソンパターン４）及び第３値（例えば、グリーソンパターン５）を有する確率を表す情報であってもよい。このように、疾病の種類に応じて進行度合いを示す指標が定義されている場合には、進行度合いに応じた状態チャネルが定義されることにより、単純に疾病の発現有無だけでなく、当該疾病の進行度合いをも診断することができるという効果がある。
一方、本発明の技術的思想によれば、出力層２３０には、状態チャネルの値、すなわち、診断の対象とされたタイルが、疾病の発現有無または疾病の進行度合いについての情報だけでなく、状態チャネルの値に関連付けられた関連因子の発現度合いを示す関連因子チャネル（例えば、２３２、２３３、２３４、２３５）が少なくとも一つさらに含まれてもよい。
すなわち、関連因子チャネル（例えば、２３２、２３３、２３４、２３５）は、疾病の発現有無または疾病の進行度合いを判断するのに根拠となった個々の因子の発現有無を示す情報であってもよい。例えば、前立腺癌の発現有無または進行度合いは、細胞核の状態が所定の条件を満たしているかどうか、グランド（ｇｌａｎｄ）細胞壁が一層からなるかどうか、グランドが一定以上に密集しているかどうか、および／またはストロマの形状が正常かどうかなどの個別因子が一つまたは複数考慮された上で判断されてもよい。
つまり、これらの個々の因子の組み合わせによって状態チャネルのチャネル値が判断されるが、本発明の技術的思想によれば、これらの個々の因子自体を別のチャネルとして定義し、個々の因子の発現有無もまた学習により診断を行う特徴を有してもよい。
このように関連因子チャネル（例えば、２３２、２３３、２３４、２３５）を出力層２３０に定義する場合には、実際に状態チャネルのみが存在する場合、医療スタッフがどのような理由で当該状態チャネルの出力値が導き出されたかを知らない問題を解決することができる。すなわち、本発明の技術的思想によれば、状態チャネルの出力値、例えば、 診断システム１００が、疾病が発現した、または疾病がある程度進行していると判断した場合、その判断の根拠である個々の因子の発現有無、すなわち、関連因子チャネル（例えば、２３２、２３３、２３４、２３５）の出力値をさらに提供することができるという効果がある。これにより、診断システム１００の診断結果に対するより高い信頼性を提供することができるという効果がある。また、関連因子チャネル（例えば、２３２、２３３、２３４、２３５）の出力値と状態チャネルの出力値とが互いにマッチングするかどうかを簡単に確認することができるので、診断システム１００の学習が正常に行われているかどうかを学習中にも判断することができるという効果があり、ニューラルネットワーク２００の学習自体においても効果的であると言える。さらに関連因子チャネル（例えば、２３２、２３３、２３４、２３５）を別途に学習する場合には、ニューラルネットワーク２００は、より正確な診断率を有することが確認された。これは、実際に出力層２３０に関連因子チャネル（例えば、２３２、２３３、２３４、２３５）が含まれることにより、ニューラルネットワーク２００が個々の因子を状態チャネルの出力値の判断に際して考慮していることを意味してもよい。
診断システム１００が前立腺癌の診断のために学習された場合には、関連因子チャネルは、タイルに対応する生体組織の細胞核が特定の条件を満足する確率を表すチャネルを含んでいてもよい。例えば、特定の条件は、核が相対的に大きい場合、色が濃い場合、核小体がはっきり見える場合、核が円形に近い程度などの条件を含んでいてもよく、これらの条件が満足するほど前立腺癌の発現または進行度合いが酷い確率が高い可能性がある。
また、関連因子チャネル（例えば、２３２、２３３、２３４、２３５）は、タイルに対応する生体組織が単一細胞層、すなわち、グランド細胞壁が一層で明確に表示される場合に分類される確率を表すチャネルを含んでいてもよい。単一細胞層の特徴が発現される場合に、前立腺癌が発症したか、その進行度合いが酷い確率が高い可能性がある。
また、関連因子チャネル（例えば、２３２、２３３、２３４、２３５）は、タイルに対応する生体組織が高密度グランド（ｇｌａｎｄ）として分類される確率を表すチャネルを含んでいてもよい。例えば、一定の範囲内にグランドが予め定められた数以上に密集しているかどうかに応じて、前立腺癌が発症する確率または進行度合いが酷い可能性がある。
また、関連因子チャネル（例えば、２３２、２３３、２３４、２３５）は、タイルに対応する生体組織が正常ストロマ（ｓｔｒｏｍａ）として分類される確率を表すチャネルを含んでいてもよい。すなわち、通常のストロマの形状を有する場合には、前立腺癌の確率または進行度合いが低い可能性がある。
出力層２３０に定義されたそれぞれのチャネル値を、学習されたニューラルネットワーク２００が出力データとして出力するためには、トレーニングデータ、すなわち、タイル及びマクロタイルのそれぞれに出力層２３０に相応するチャネルのアノテーション値がアノテーションされるべきであることはもちろんであり、そのためにはチャネル値をアノテーションすることができる専門的な人材が必要となる可能性があるのはいうまでもない。
本発明の実施形態においては、出力層２３０に含まれるチャネルのうち所定のチャネル（例えば、２３１）は、何らの有意味な情報も有しない可能性がある。つまり、当該チャネルは、学習及び診断に用いられないチャネルである可能性がある。これは、ネットワークの設計時に出力層２３０が２の倍数のチャネルを有することが有利である場合、使用しないチャネルを少なくとも一つ含むように出力層２３０が設計される可能性があるからである。
結局、本発明の技術的思想に係る診断システム１００に用いられるニューラルネットワーク２００は、診断の対象となるあるタイルを診断するために、タイルだけでなく、タイルを含むマクロタイルのイメージをも考慮して、より高い精度で診断を行うことができるという特徴がある。
また、ニューラルネットワーク２００は、単に状態チャネルだけを出力データとして出力するのではなく関連因子チャネルを少なくとも一つ含むことにより、診断結果に対する信頼性を確保することができるだけでなく、ニューラルネットワーク２００の学習にも効果的であり、関連因子チャネルが出力層に含まれることで、状態チャネルの診断結果自体に対する精度が上がるという効果がある。
図６は、本発明の実施形態に係るニューラルネットワークを学習するためのアノテーション情報の一例を示す図である。
図６を参照すると、本発明の技術的思想に係るニューラルネットワーク２００を学習するためには、図６のようなマクロタイルのアノテーション情報が必要であると言える。図６では、マクロタイルの中央に存在するタイルに対して、出力層２３０に定義されたチャネルのそれぞれの値がアノテーションされる。例えば、図６の下端に記載されたように、８つのチャネル値がそれぞれアノテーションされており、第一のチャネルは未使用のチャネル、第二のチャネルは前述したような細胞核に対する関連因子チャネル、第三のチャネルは単一細胞層と関連した関連因子チャネル、第四のチャネルは高密度グランドの関連因子チャネル、第五のチャネルは正常ストロマであるかどうかに対する関連因子チャネル、第六のチャネルはグリーソンパターン３である状態チャネル、第七のチャネルはグリーソンパターン４である状態チャネル、第八のチャネルはグリーソンパターン５である状態チャネルが例示的に示されている。また、アノテータは、マクロタイルの中央に位置したタイルに対してグリーソンパターン４である状態を有するとアノテーションされたものであり得る。もちろん、図６には示されていないが、グリーソンパターン４であると判断した根拠となった関連因子チャネルに対してアノテーションをさらに行ってもよい。
このようにアノテーションされた情報とアノテーションされたタイル及びタイルを含むマクロタイルが、トレーニングデータとして利用されてニューラルネットワーク２００が学習されてもよい。
図７〜図１０は、本発明の実施形態に係るニューラルネットワークの関連因子を説明するための図である。
図７〜図１０は、前述したように、関連因子チャネルに該当する値がアノテーションされた（または診断された）タイルの一例を示している。図７は、タイルの中の細胞の核の条件が満足しているタイルが反転されて表示されており、図８は、単一細胞層に該当するタイルが反転されて表示されている。また、図９は、高密度腺に該当するタイルが反転されて表示されており、図１０は、通常のストロマに該当するタイルが反転されて表示されている。
したがって、本発明の技術的思想に係る診断システム１００によれば、多数のタイルが存在する生体画像から、特定疾病の発現または特定の進行状態に該当するタイルを抽出することができるだけでなく、これとは別に、特定の個別因子が発現したタイルを抽出することもできるという効果がある。
図１１は、本発明の実施形態に係るニューラルネットワークを用いた診断結果を説明するための図である。
図１１を参照すると、本発明の実施形態に係るニューラルネットワーク２００を用いた診断システム１００は、図１１に示すタイルのうちの中央タイルについての、図１１の下端に記載されたような診断結果を出力することができる。
例えば、診断システム１００は、学習されたニューラルネットワーク２００を用いて、図１１に示すタイルのうちの中央タイルについて、第１関連因子チャネルの値は０．９０、第２関連因子チャネルの値は０．７３、第３関連因子チャネルの値は０．９５、第４関連因子チャネルの値は０、第１状態チャネルの値は０．６４、第２状態チャネルの値は０．４、第３状態チャネルの値は０であると判断した。
これは、中央タイルはグリーソンパターン３である確率が高く、細胞核が特定の条件を満足する確率が高く、単一細胞層に該当する確率及び高密度腺に該当する確率が高いと判断しているといえる。
図１２は、本発明の実施形態に係るニューラルネットワークを用いた疾病診断システムにより診断された生体画像を説明するための図である。
図１２は、本発明の技術的思想に係る診断システム１００により診断された生体画像から、前立腺癌が発症した部位を進行度合いに応じて異ならせて表示した結果の一例を示している。図１２では、緑色表示部分はグリーソンパターン３に該当する生体組織、紫表示部分はグリーソンパターン４に該当する生体組織、赤色表示部分はグリーソンパターン５に該当する生体組織を表示した一例を示している。
したがって、本発明の技術的思想に係る診断システム１００によれば、既存に熟練した病理学医療従事者が長時間にわたって診断したのに対して、自動的に且つ効果的に早い時間内に診断することができるという効果がある。また、状態チャネルを、疾病の進行度合いに応じて複数の出力層に含むように定義することにより、生体組織における疾病の進行度合いの差に基づいて、図１２に示すように異ならせて表示することもできるという効果がある。
また、前述したように、単純に単一のタイルのみを学習し、これを利用して診断を行うニューラルネットワークを構成する場合に比べて、単一のタイル及び単一のタイルを含むマクロタイルをすべて考慮して単一のタイルを診断した結果、診断率の精度がさらに高くなることが確認できた。
さらに、本明細書では、前立腺癌に対して本発明の技術的思想が適用された一例を主に説明したが、特定組織だけでなく当該組織が周辺組織の状態をも考慮して、特定組織の診断を行う必要がある他の疾病に対しても、本発明の技術的思想が適用される場合、正確な診断が可能であることを、本発明の技術分野における平均的な専門家にとっては容易に推論可能であろう。
本発明の実施形態に係るニューラルネットワークを用いた疾病診断方法は、コンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードとして具現化することが可能である。コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータが読み取り可能な記録装置の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピーディスク、光データ保存装置などがある。また、コンピュータが読み取り可能な記録媒体は、ネットワークに接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが保存され、実行されることができる。そして、本発明を具現化するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論可能である。
本発明を、図示の一実施形態に基づいて説明したが、これは単なる例示的なものに過ぎず、本技術分野における通常の知識を有する者であれば、これから様々な変形が行え、且つ、均等な他の実施形態が採用可能であるということが理解できるはずである。よって、本発明の真の技術的な保護範囲は、添付の登録請求範囲の技術的な思想により定められるべきである。
本発明は、ニューラルネットワークを用いた疾病の診断システム及びその方法に利用可能である。

Claims (13)

  1. プロセッサとニューラルネットワークを保存する記憶装置とを含むシステムに具現化され、生体画像と前記ニューラルネットワークを用いた疾病診断システムにおいて、
    前記生体画像に含まれる所定のタイルを入力層として入力され、複数の第１層および出力層を含むマイクロニューラルネットワークと；
    前記タイルを含み、前記タイルの隣接タイルを少なくとも一つ含むマクロタイルを入力層として入力され、複数の第２層及び前記出力層を含むマクロニューラルネットワークと；を含み、
    前記出力層は、
    前記タイルに対応する生体組織の前記疾病の状態を示す状態チャネルを少なくとも一つ含むことを特徴とする、ニューラルネットワークを用いた疾病診断システム。
  2. 前記出力層は、
    前記第１層に含まれており、前記出力層の直前層である第１直前層と、前記第２層に含まれており、前記出力層の直前層である第２直前層と、のそれぞれの出力データに基づいて決定されることを特徴とする、請求項１に記載のニューラルネットワークを用いた疾病の診断システム。
  3. 前記マクロニューラルネットワークは、
    前記マイクロニューラルネットワークに比べて大きなストライド（ｓｔｒｉｄｅ）を有することを特徴とする、請求項１に記載のニューラルネットワークを用いた疾病の診断システム。
  4. 前記出力層は、
    前記状態チャネルと；
    前記状態チャネルの値に関連付けられる関連因子の発現度合いを示す少なくとも一つの関連因子チャネルと；を含むことを特徴とする、請求項１に記載のニューラルネットワークを用いた疾病診断システム。
  5. 前記疾病は、
    前立腺癌であることを特徴とする、請求項４に記載のニューラルネットワークを用いた疾病の診断システム。
  6. 前記状態チャネルは、
    前記タイルに対応する生体組織が予め定められた範囲のグリーソンパターン値を有する確率を表すチャネルであることを特徴とする、請求項５に記載のニューラルネットワークを用いた疾病の診断システム。
  7. 前記関連因子チャネルは、
    前記タイルに対応する生体組織の細胞核が特定の条件を満足する確率を表すチャネルと；
    前記タイルに対応する生体組織が単一細胞層として分類される確率を表すチャネルと、
    前記タイルに対応する生体組織が高密度グランド（ｇｌａｎｄ）として分類される確率を表すチャネル；または
    前記タイルに対応する生体組織が正常ストロマ（ｓｔｒｏｍａ）として分類される確率を表すチャネルのうちの少なくともいずれか一つのチャネルを含むことを特徴とする、請求項５に記載のニューラルネットワークを用いた疾病の診断システム。
  8. プロセッサ及び記憶装置を含むシステムに具現化され、生体画像とニューラルネットワークを用いた疾病の診断システムが実行する方法において、
    前記生体画像に含まれる所定のタイルを入力層として入力され、複数の第１層及び出力層を含むマイクロニューラルネットワークと、前記タイルを含み、前記タイルの隣接タイルを少なくとも一つ含むマクロタイルを入力層として入力され、複数の第２層及び前記出力層を含むマクロニューラルネットワークと、を保存するステップと；
    前記タイル及び前記出力層と相応するように前記タイルにアノテーション（ａｎｎｏｔａｔｉｏｎ）されたアノテーション情報を用いて、前記マイクロニューラルネットワーク及び前記マクロニューラルネットワークをそれぞれ学習させるステップと；を含み、
    前記出力層は、
    前記タイルに対応する生体組織の前記疾病の状態を示す状態チャネルを少なくとも一つ含むことを特徴とする、ニューラルネットワークを用いた疾病診断方法。
  9. 前記ニューラルネットワークを用いた疾病診断方法は、
    学習された前記マイクロニューラルネットワーク及び前記マクロニューラルネットワークを含む前記ニューラルネットワークが、診断対象生体画像に含まれる対象タイルを入力されるステップと；
    前記ニューラルネットワークを介して前記出力層に相応する出力データを出力するステップと；をさらに含むことを特徴とする、請求項８に記載のニューラルネットワークを用いた疾病診断方法。
  10. 前記出力層は、
    前記第１層に含まれており、前記出力層の直前層である第１直前層と、前記第２層に含まれており、前記出力層の直前層である第２直前層と、のそれぞれの出力データに基づいて決定されることを特徴とする、請求項８に記載のニューラルネットワークを用いた疾病診断方法。
  11. 前記マクロニューラルネットワークは、
    前記マイクロニューラルネットワークに比べて大きなストライド（ｓｔｒｉｄｅ）を有することを特徴とする、請求項８に記載のニューラルネットワークを用いた疾病診断方法。
  12. 前記出力層は、
    前記状態チャネルと；
    前記状態チャネルの値に関連付けられる関連因子の発現度合いを示す少なくとも一つの関連因子チャネルと；を含むことを特徴とする、請求項８に記載のニューラルネットワークを用いた疾病診断方法。
  13. データ処理装置に設けられ、請求項８乃至請求項１２のいずれか一項に記載の方法を実行するための媒体に記録されたコンピュータプログラム。
JP2019552437A 2016-12-11 2017-12-06 ニューラルネットワークを用いた疾病診断システム及びその方法 Active JP6851094B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160168176A KR101944536B1 (ko) 2016-12-11 2016-12-11 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR10-2016-0168176 2016-12-11
PCT/KR2017/014219 WO2018106005A1 (ko) 2016-12-11 2017-12-06 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
JP2020502712A JP2020502712A (ja) 2020-01-23
JP6851094B2 true JP6851094B2 (ja) 2021-03-31

Family

ID=62492265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019552437A Active JP6851094B2 (ja) 2016-12-11 2017-12-06 ニューラルネットワークを用いた疾病診断システム及びその方法

Country Status (7)

Country Link
US (1) US11074686B2 (ja)
EP (1) EP3553789B1 (ja)
JP (1) JP6851094B2 (ja)
KR (1) KR101944536B1 (ja)
CN (1) CN110366759B (ja)
ES (1) ES2962851T3 (ja)
WO (1) WO2018106005A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101944536B1 (ko) * 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR102172213B1 (ko) * 2018-06-04 2020-10-30 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
KR102162895B1 (ko) 2018-06-04 2020-10-07 주식회사 딥바이오 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
KR102215269B1 (ko) * 2018-08-07 2021-02-15 주식회사 딥바이오 진단 결과 생성 시스템 및 방법
KR102185893B1 (ko) * 2018-08-07 2020-12-02 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
KR102151723B1 (ko) * 2018-08-07 2020-09-03 주식회사 딥바이오 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102174379B1 (ko) * 2018-08-27 2020-11-04 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102226899B1 (ko) * 2018-11-16 2021-03-11 주식회사 딥바이오 지도학습기반의 합의 진단방법 및 그 시스템
KR102226897B1 (ko) * 2019-01-25 2021-03-11 주식회사 딥바이오 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
KR102226898B1 (ko) * 2019-01-25 2021-03-11 주식회사 딥바이오 커스터마이징 진단 시스템 제공방법 및 그 시스템
US11361434B2 (en) 2019-01-25 2022-06-14 Otonexus Medical Technologies, Inc. Machine learning for otitis media diagnosis
KR102236948B1 (ko) * 2019-01-25 2021-04-06 주식회사 딥바이오 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
KR102329546B1 (ko) * 2019-07-13 2021-11-23 주식회사 딥바이오 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
US11488014B2 (en) * 2019-10-22 2022-11-01 International Business Machines Corporation Automated selection of unannotated data for annotation based on features generated during training
EP3828816A1 (en) * 2019-11-28 2021-06-02 Siemens Healthcare GmbH Patient follow-up analysis
KR20210137828A (ko) * 2020-05-11 2021-11-18 의료법인 성광의료재단 기계학습 예측모델을 이용한 난소암 진단 방법 및 이를 적용하는 시스템
US20230298753A1 (en) * 2020-07-23 2023-09-21 Deep Bio Inc. Method for annotating pathogenic site of disease by means of semi- supervised learning, and diagnosis system for performing same
US20230289957A1 (en) * 2020-07-23 2023-09-14 Deep Bio Inc. Disease diagnosis method using neural network trained by using multi-phase biometric image, and disease diagnosis system performing same
KR102254755B1 (ko) * 2020-11-10 2021-05-21 주식회사 딥바이오 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템
KR102246319B1 (ko) * 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2022164133A1 (ko) * 2021-01-26 2022-08-04 주식회사 뷰노 의료 영상의 병변 평가 방법
KR102316525B1 (ko) 2021-03-08 2021-10-22 주식회사 딥바이오 Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790761A (en) * 1992-12-11 1998-08-04 Heseltine; Gary L. Method and apparatus for the diagnosis of colorectal cancer
WO1996012187A1 (en) * 1994-10-13 1996-04-25 Horus Therapeutics, Inc. Computer assisted methods for diagnosing diseases
US5638823A (en) * 1995-08-28 1997-06-17 Rutgers University System and method for noninvasive detection of arterial stenosis
US6004267A (en) 1997-03-07 1999-12-21 University Of Florida Method for diagnosing and staging prostate cancer
US7037267B1 (en) * 1999-11-10 2006-05-02 David Lipson Medical diagnostic methods, systems, and related equipment
US8346482B2 (en) * 2003-08-22 2013-01-01 Fernandez Dennis S Integrated biosensor and simulation system for diagnosis and therapy
US20050136509A1 (en) * 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US7935055B2 (en) * 2003-09-19 2011-05-03 Siemens Medical Solutions Usa, Inc. System and method of measuring disease severity of a patient before, during and after treatment
FR2884008A1 (fr) 2005-03-31 2006-10-06 France Telecom Systeme et procede de localisation de points d'interet dans une image d'objet mettant en oeuvre un reseau de neurones
US9779213B2 (en) * 2008-07-25 2017-10-03 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud System for evaluating a pathological stage of prostate cancer
CN101639937B (zh) * 2009-09-03 2011-12-14 复旦大学 一种基于人工神经网络的超分辨率方法
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
JP5589366B2 (ja) 2009-11-27 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
CN103679185B (zh) 2012-08-31 2017-06-16 富士通株式会社 卷积神经网络分类器系统、其训练方法、分类方法和用途
AU2015261891A1 (en) 2014-05-23 2016-10-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
KR101563569B1 (ko) 2014-05-28 2015-10-28 한국과학기술원 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
JP2016064004A (ja) * 2014-09-25 2016-04-28 大日本印刷株式会社 医用画像表示処理方法、医用画像表示処理装置およびプログラム
WO2016189605A1 (ja) 2015-05-22 2016-12-01 株式会社Ｕｂｉｃ データ分析に係るシステム、制御方法、制御プログラム、および、その記録媒体
IL239191A0 (en) 2015-06-03 2015-11-30 Amir B Geva Image sorting system
CN106203327B (zh) * 2016-07-08 2019-04-19 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
KR101944536B1 (ko) * 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
US9934364B1 (en) * 2017-02-28 2018-04-03 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis

Also Published As

Publication number Publication date
ES2962851T3 (es) 2024-03-21
WO2018106005A1 (ko) 2018-06-14
JP2020502712A (ja) 2020-01-23
CN110366759B (zh) 2024-03-01
EP3553789B1 (en) 2023-08-16
EP3553789A4 (en) 2020-07-08
US11074686B2 (en) 2021-07-27
EP3553789C0 (en) 2023-08-16
CN110366759A (zh) 2019-10-22
US20190385306A1 (en) 2019-12-19
EP3553789A1 (en) 2019-10-16
KR20180066983A (ko) 2018-06-20
KR101944536B1 (ko) 2019-02-01

Similar Documents

Publication Publication Date Title
JP6851094B2 (ja) ニューラルネットワークを用いた疾病診断システム及びその方法
JP7307926B2 (ja) 被検体の致命的症状の発生を早期に予測するための予測結果を生成する方法、及びそれを利用する装置
RU2543563C2 (ru) Системы и способы поддержки клинических решений
KR102172213B1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
CN107103201A (zh) 医疗导航路径的生成方法、装置及医疗路径导航方法
EP3819912B1 (en) System and method for disease diagnosis using neural network
JP2022510113A (ja) 半教師あり学習を用いた診断システム提供方法、及びそれを用いた診断システム
KR102285665B1 (ko) 학습 커리큘럼 제공 방법, 시스템 및 장치
JP7152810B2 (ja) 多色モデル及びニューラルネットワークを用いた疾病診断システム及び方法
JP7320856B2 (ja) 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
CN109448858A (zh) 结直肠癌医疗数据处理方法及装置、存储介质、电子设备
JP2022506857A (ja) 教師あり学習に基づく合意診断方法及びそのシステム
CN114503153A (zh) 利用神经网络及非局部块进行分割的疾病诊断系统及方法
CN112567466A (zh) 诊断结果生成系统及其方法
JP7109815B2 (ja) デュアルクラスに対応できる疾病診断システム及び該方法
Zhang et al. Inferring EHR utilization workflows through audit logs
JP7430025B2 (ja) 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム
AMP Whole Genome Analysis Working Group The Association for Molecular Pathology's approach to supporting a global agenda to embrace personalized genomic medicine
Sreeja et al. Parasitical Disease Prediction Model–a Deep Learning Based Approach
CN118568666A (zh) 基于联邦学习和大小模型协同的跨模态知识融合计算方法
CN114694163A (zh) 家系图的识别方法、装置、设备和计算机可读存储介质
AU2014200288A1 (en) A computing device, computer readable storage medium, a computer implemented method and a data schema for the visualisation of aetiological factors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210302

R150 Certificate of patent or registration of utility model

Ref document number: 6851094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250