JP2024502806A - 病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステム - Google Patents

病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステム Download PDF

Info

Publication number
JP2024502806A
JP2024502806A JP2023540030A JP2023540030A JP2024502806A JP 2024502806 A JP2024502806 A JP 2024502806A JP 2023540030 A JP2023540030 A JP 2023540030A JP 2023540030 A JP2023540030 A JP 2023540030A JP 2024502806 A JP2024502806 A JP 2024502806A
Authority
JP
Japan
Prior art keywords
slide image
pathology slide
pathology
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023540030A
Other languages
English (en)
Inventor
テヨン カク
イニョン ペク
ソンウ キム
Original Assignee
ディープ バイオ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディープ バイオ インク filed Critical ディープ バイオ インク
Publication of JP2024502806A publication Critical patent/JP2024502806A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioethics (AREA)

Abstract

単一の検体に対する連続したセクション（ｓｅｒｉａｌ ｓｅｃｔｉｏｎｓ）の各々を互いに異なる様々な染色試薬で染色した病理スライドを用いて人工ニューラルネットワークを学習することによって、疾患に対する正確な判断を行うようにする方法、及びこれを行うコンピューティングシステムが開示される。本発明の一態様によると、人工ニューラルネットワークを学習する方法であって、ニューラルネットワーク学習システムが、Ｍ個の個別学習データ（ここで、Ｍは、２以上の自然数である）を含む学習データセットを生成するステップと、ニューラルネットワーク学習システムが、学習データセットに基づいて人工ニューラルネットワークを学習するステップと、を含み、Ｍ個の個別学習データを含む学習データセットを生成するステップは、１＜＝ｍ＜＝Ｍの全てのｍに対して、学習データセットに含まれる第ｍの学習データを生成するステップを含み、第ｍの学習データを生成するステップは、第１の病理スライド画像ないし第Ｎの病理スライド画像（ここで、Ｎは、２以上の自然数である）を取得するステップ（ここで、第１の病理スライド画像ないし第Ｎの病理スライド画像は、単一の病理検体に対する連続したセクション（ｓｅｒｉａｌ ｓｅｃｔｉｏｎ）を互いに異なる染色試薬で染色した病理スライド画像である）と、第１の病理スライド画像ないし第Ｎの病理スライド画像に基づいて第ｍの学習データを生成するステップと、を含む、人工ニューラルネットワークの学習方法が提供される。

Description

本発明は、病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステムに関する。より詳しくは、単一の検体に対する連続したセクション（ｓｅｒｉａｌ ｓｅｃｔｉｏｎｓ）の各々を互いに異なる様々な染色試薬で染色した病理スライドを用いて人工ニューラルネットワークを学習することによって、疾患に対する正確な判断を行うようにする方法、及びこれを行うコンピューティングシステムに関する。
腫瘍周辺で腫瘍細胞と相互作用し、腫瘍の増殖に影響を与える隣接細胞を腫瘍微小環境という。腫瘍微小環境に関する研究は、癌の現在状態に関する診断、予後、及び特定の治療方法に対する反応性を把握し、新しい治療方法を開発する上で非常に重要である。
従来、腫瘍微小環境の分析のために腫瘍微小環境内に存在すると予想される特定の免疫細胞又はタンパク質を標的とする免疫組織化学（ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ；以下、ＩＨＣ）染色試薬を活用していた。すなわち、特定の標的に対するＩＨＣ染色試薬で病理検体を染色し、染色結果を病理専門医が光学顕微鏡を介して目視で読み取って標的の位置関係を把握し、量を計量する過程を行っていた。このとき、様々な免疫細胞又はタンパク質を複合的に見て判断しなければならないので、単一の検体に対する連続したセクションからなる複数のスライドを製作し、それぞれをＨ＆Ｅ及び様々な標的ＩＨＣ染色試薬で染色した後、その結果をそれぞれ病理専門医が読み取り、その結果を総合している。腫瘍微小環境を構成する様々な要素の位置関係が重要であるため、このような方式の分析には限界があり、このような限界を超えるために様々な標的を一度に染色するマルチプレックスＩＨＣ方式の染色方法が登場したが、これは安価でなく一般化されていない。
一方、ディープラーニング、特に畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）を用いた病理スライド画像の分析によって癌の現在状態に関する診断、重症度区分による予後診断、特定のＩＨＣ染色結果に対する計測などを行う技術が開発され、商用化されている。現在開発されている技術は、単一の染色病理スライド画像を対象とし、分析結果は特定の分類や数値の形態で提供されるため、これを簡単に組み合わせて腫瘍微小環境に対する位置関係を含めて把握することは容易でない。例えば、従来の特許（ＪＰ６６５０４５３Ｂ２）によると、癌の予後のために連続したセクションからなるスライド画像を活用しているが、各スライド画像を別に分析した結果スコアを総合して予後を判別し、全てのスライド画像の位置関係を総合した分析を行っていない。
従って、マルチプレックスＩＨＣ方式を用いることなく腫瘍微小環境を分析できるように、単一の検体に対する連続したセクションからなる多種染色スライドに対して、位置関係を含んで総合的に分析できるようにする技術的思想が求められている。
特許第６６５０４５３号公報
本発明が達成しようとする技術的な課題は、単一の検体に対する連続したセクションの各々をＨ＆Ｅや様々な標的ＩＨＣ染色試薬などで染色した病理スライドを活用して人工ニューラルネットワークで学習することによって、学習された人工ニューラルネットワークが腫瘍微小環境を総合的に分析できるようにすることで、癌の現在の状態に関する診断、予後及び特定の治療方法に対する反応性を高精度で把握できるようにする方法及びシステムを提供することである。
本発明の一態様によると、人工ニューラルネットワークを学習する方法であって、ニューラルネットワーク学習システムが、Ｍ個の個別学習データ（ここで、Ｍは、２以上の自然数である）を含む学習データセットを生成するステップと、前記ニューラルネットワーク学習システムが、前記学習データセットに基づいて前記人工ニューラルネットワークを学習するステップと、を含み、前記Ｍ個の個別学習データを含む学習データセットを生成するステップは、１＜＝ｍ＜＝Ｍの全てのｍに対して、前記学習データセットに含まれる第ｍの学習データを生成するステップを含み、前記第ｍの学習データを生成するステップは、第１の病理スライド画像ないし第Ｎの病理スライド画像（ここで、Ｎは、２以上の自然数である）を取得するステップ（ここで、前記第１の病理スライド画像ないし第Ｎの病理スライド画像は、単一の病理検体に対する連続したセクション（ｓｅｒｉａｌ ｓｅｃｔｉｏｎ）を互いに異なる染色試薬で染色した病理スライド画像である）と、前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップと、を含む、人工ニューラルネットワークの学習方法が提供される。
一実施形態において、前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップは、前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像をチャネル重畳（ｃｈａｎｎｅｌ ｓｔａｃｋｉｎｇ）によって１つの多チャネル画像に変換するステップを含み、前記第ｍの学習データは、前記多チャネル画像を含んでもよい。
一実施形態において、前記学習データはＮ個のチャネルを含み、前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像をチャネル重畳によって１つの多チャネル画像に変換するステップは、１＜＝ｎ＜＝Ｎの全ての自然数ｎに対して、第Ｎの病理スライド画像の各画素値で前記多チャネル画像の第ｎのチャネルを構成するステップを含んでもよい。
一実施形態において、前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップは、前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像内に存在する生体組織領域を特定するステップと、前記第１の病理スライドないし前記第Ｎの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第１の病理スライドないし前記第Ｎの病理スライド画像を整合するステップと、前記整合された第１の病理スライド画像ないし前記整合された第Ｎの病理スライド画像をチャネル重畳によって１つの多チャネル画像に変換するステップと、を含み、前記第ｍの学習データは、前記多チャネル画像を含んでもよい。
一実施形態において、前記学習データはＮ個のチャネルを含み、前記整合された第１の病理スライド画像ないし前記整合された第Ｎの病理スライド画像をチャネル重畳によって１つの多チャネル画像に変換するステップは、１＜＝ｎ＜＝Ｎの全ての自然数ｎに対して、整合された第Ｎの病理スライド画像の各画素値で前記多チャネル画像の第ｎのチャネルを構成するステップを含んでもよい。
一実施形態において、前記第１の病理スライドないし前記第Ｎの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第１の病理スライドないし前記第Ｎの病理スライド画像を整合するステップは、１＜＝ｉ＜＝Ｎの全ての自然数ｉに対して、第ｉの病理スライド画像に対応する変換関係を算出するステップを含み（ここで、前記第ｉの病理スライド画像に対応する変換関係は、前記第ｉの病理スライド画像と、それに対応する整合された第ｉの病理スライド画像との間の変換関係である）、前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップは、１＜＝ｊ＜＝Ｎの全ての自然数ｊに対して、第ｊの病理スライド画像に付与された病変アノテーション領域を前記第ｊの病理スライド画像に対応する変換関係を用いて変形するステップと、前記変形された第１の病理スライド画像の病変アノテーション領域ないし前記変形された第Ｎの病理スライド画像の病変アノテーション領域をチャネル重畳によって１つの多チャネル病変アノテーション領域に変換するステップと、をさらに含み、前記第ｍの学習データは、前記多チャネル病変アノテーション領域をさらに含んでもよい。
本発明の他の一態様によると、上述の人工ニューラルネットワークの学習方法によって学習された人工ニューラルネットワークを介して所定の判断対象病理検体に対する判断結果を提供する方法であって、コンピューティングシステムが、第１の判断対象病理スライド画像ないし第Ｎの判断対象病理スライド画像（ここで、Ｎは、２以上の自然数である）を取得するステップ（ここで、前記第１の判断対象病理スライド画像ないし前記第Ｎの判断対象病理スライド画像は、前記判断対象病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である）と、前記コンピューティングシステムが、前記人工ニューラルネットワークが前記第１の判断対象病理スライド画像ないし前記第Ｎの判断対象病理スライド画像に基づいて判断した前記判断対象病理検体に対する判断結果を出力するステップと、を含む方法が提供される。
本発明の他の一態様によると、データ処理装置に設置され、上述の方法を行うための媒体に記録されたコンピュータプログラムが提供される。
本発明の他の一態様によると、上述の方法を行うためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。
本発明の他の一態様によると、人工ニューラルネットワーク学習システムであって、プロセッサと、コンピュータプログラムを格納するメモリと、を含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記コンピューティングシステムに人工ニューラルネットワークを学習する方法を実行させ、前記人工ニューラルネットワーク学習システムは、ニューラルネットワーク学習システムが、Ｍ個の個別学習データ（ここで、Ｍは、２以上の自然数である）を含む学習データセットを生成するステップと、前記ニューラルネットワーク学習システムが、前記学習データセットに基づいて前記人工ニューラルネットワークを学習するステップと、を含み、前記Ｍ個の個別学習データを含む学習データセットを生成するステップは、１＜＝ｍ＜＝Ｍの全てのｍに対して、前記学習データセットに含まれる第ｍの学習データを生成するステップを含み、前記第ｍの学習データを生成するステップは、第１の病理スライド画像ないし第Ｎの病理スライド画像（ここで、Ｎは、２以上の自然数である）を取得するステップ（ここで、前記第１の病理スライド画像ないし第Ｎの病理スライド画像は、単一の病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である）と、前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップと、を含む、人工ニューラルネットワーク学習システムが提供される。
本発明の他の一態様によると、プロセッサと、コンピュータプログラムを格納するメモリと、を含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記コンピューティングシステムに上述の人工ニューラルネットワークの学習方法によって学習された人工ニューラルネットワークを介して病理検体に対する判断結果を提供する方法を実行させ、前記判断結果を提供する方法は、第１の判断対象病理スライド画像ないし第Ｎの判断対象病理スライド画像（ここで、Ｎは、２以上の自然数である）を取得するステップ（ここで、前記第１の判断対象病理スライド画像ないし前記第Ｎの判断対象病理スライド画像は、所定の判断対象病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である）と、前記人工ニューラルネットワークが前記第１の判断対象病理スライド画像ないし前記第Ｎの判断対象病理スライド画像に基づいて判断した前記判断対象病理検体に対する判断結果を出力するステップと、を含む病理検体に対する判断結果提供システムが提供される。
本発明の技術的思想によると、単一の検体に対する連続したセクションの各々をＨ＆Ｅや様々な標的ＩＨＣ染色試薬などで染色した病理スライドを活用して人工ニューラルネットワークを学習することによって、学習された人工ニューラルネットワークが腫瘍微小環境を総合的に分析できるようにすることで、癌の現在状態に関する診断、予後及び特定の治療方法に対する反応性を高精度で把握できるようにする方法及びシステムを提供することができる。
また、本発明の技術的思想によると、マルチプレックスＩＨＣのような高コストの一般化されていない方法に代わり、広く用いられている方法を活用して生成した複数枚の病理スライド画像を重畳して活用できるようにすることで、マルチプレックスＩＨＣと類似の効果を得ることができ、また、マルチプレックスＩＨＣの結果をカラーフィルタリングを通じて標的毎に位置情報を分離する過程で発生し得る誤りの可能性を遮断することで、腫瘍微小環境分析の精度を高めることができるという効果がある。
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
本発明の技術的思想による人工ニューラルネットワークの学習方法及び病理検体に対する判断結果の提供方法が実行される環境を概略的に示す図である。 本発明の一実施形態によるニューラルネットワークの学習方法を説明するためのフローチャートである。 チャネル重畳によってＲＧＢ色モデルで表される複数の病理スライド画像により生成される１つの多チャネル画像を示す図である。 本発明の一実施形態による個別学習データを生成する過程の一例を示す図である。 本発明の一実施形態による病理検体に対する判断結果の提供方法の一例を示すフローチャートである。 本発明の一実施形態による人工ニューラルネットワーク学習システムの概略的な構成を示す図である。 本発明の一実施形態による判断結果提供システムの概略的な構成を示す図である。
本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に示し、詳細に説明する。しかし、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神及び技術範囲に含まれる全ての変換、等価物ないし代替物を含むものとして理解されたい。本発明の説明において、関連する公知技術についての具体的な説明が本発明の要旨を不明瞭にすると判断される場合、その詳細な説明を省略する。
第１、第２などの用語は様々な構成要素を説明するために使用することができるが、構成要素は用語によって限定されるべきではない。第１、第２などの用語は特別な順序を表すものではなく、ある構成要素を他の構成要素から区別する目的でのみ使用される。
本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。
本明細書において、「含む」又は「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものが存在することを指定するものであり、１つ又はそれ以上の他の特徴、数、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものの存在又は追加の可能性を事前に除外しないものとして理解されたい。
また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも１つのまた他の構成要素を介して、データを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、ある構成要素はまた他の構成要素を介することなく、他の構成要素にデータを伝送することを意味する。
以下、添付の図面を参照して本発明の実施形態を中心に本発明を詳しく説明する。各図に示されている同じ参照符号は同じ部材を示す。
図１は、本発明の技術的思想による人工ニューラルネットワークの学習方法、及び病理検体に対する判断結果の提供方法が実行される環境を概略的に示す図である。
図１を参照すると、本発明の一実施形態による人工ニューラルネットワークの学習方法は、ニューラルネットワーク学習システム１００によって行うことができ、本発明の一実施形態による病理検体に対する判断結果の提供方法は、病理検体に対する判断結果提供システム（２００；以下、「判断結果提供システム」という）によって行うことができる。ニューラルネットワーク学習システム１００は、病理検体に対する診断情報、予後情報及び／又は治療方法に対する反応情報を提供するための人工ニューラルネットワーク３００を学習することができ、判断結果提供システム２００は、学習された人工ニューラルネットワーク３００を用いて対象検体に対する各種の判断（例えば、疾患の発現有無、予後、治療方法に対する判断など）を行うことができる。
ニューラルネットワーク学習システム１００及び／又は判断結果提供システム２００は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置であるコンピューティングシステムであってもよく、一般にネットワークを介してクライアントが接続可能なデータ処理装置であるサーバだけでなく、パーソナルコンピュータや携帯端末などのようなコンピュータ装置を含んでもよい。
ニューラルネットワーク学習システム１００及び／又は判断結果提供システム２００は、１つの物理装置で実現することもできるが、必要に応じて複数の物理装置が有機的に結合して本発明の技術的思想によるニューラルネットワーク学習システム１００及び／又は判断結果提供システム２００を実現できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
ニューラルネットワーク学習システム１００は、複数の病理検体から生成された学習データに基づいてニューラルネットワーク３００を学習することができる。
病理検体は、人体の様々な臓器から採取した生検、及び手術によって切除した生体組織であってもよい。ニューラルネットワーク学習システム１００は、病理検体の連続したセクションのデジタル病理スライド画像を用いて個別学習データを生成し、これをニューラルネットワーク３００の入力層に入力することによって、ニューラルネットワーク３００を学習することができる。
一実施形態において、ニューラルネットワーク３００は、所定の疾患に対して、疾患の発現有無に対する確率値を出力するように学習された人工ニューラルネットワークであってもよい。ニューラルネットワーク３００は、入力層を介して入力されたデータに基づいて、対象検体に対する判断結果（例えば、疾患の発現有無の可能性）を示す数値、すなわち確率値を出力することができる。
本明細書における人工ニューラルネットワークは、人間のニューロンの動作原理に基づいて人工的に構築したニューラルネットワークであり、多層パーセプトロンモデルを含み、人工ニューラルネットワークを定義する一連の設計事項を表す情報の集合を意味することができる。
一実施形態において、人工ニューラルネットワークは、畳み込みニューラルネットワークであるか、又は畳み込みニューラルネットワークを含んでもよい。
一方、学習したニューラルネットワーク３００は、判断結果提供システム２００に格納でき、判断結果提供システム２００は、学習した人工ニューラルネットワークを用いて所定の診断対象検体に対する判断をすることができる。
図１に示すように、ニューラルネットワーク学習システム１００及び／又は判断結果提供システム２００は、所定の親システム１０のサブシステムの形態で実現することもできる。親システム１０はサーバであってもよい。サーバ１０は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般にネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定のサービスを実行可能ないかなる装置もサーバとして定義できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
あるいは、実施形態によって、ニューラルネットワーク学習システム１００及び判断結果提供システム２００は、互いに分離した形態で実現することもできる。
図２は、本発明の一実施形態によるニューラルネットワークの学習方法を説明するためのフローチャートである。
図２を参照すると、ニューラルネットワーク学習システム１００は、Ｍ個の個別学習データ（ここで、Ｍは、２以上の自然数である）を含む学習データセットを生成することができる。このために、ニューラルネットワーク学習システム１００は、１＜＝ｍ＜＝Ｍの全てのｍに対して、学習データセットに含まれる第ｍの学習データを生成することができる（Ｓ１００）。
学習データセットに含まれる第ｍの学習データを生成するために、ニューラルネットワーク学習システム１００は、第１の病理スライド画像ないし第Ｎの病理スライド画像（ここで、Ｎは、２以上の自然数である）を取得することができる（Ｓ１１０）。
このとき、第１の病理スライド画像ないし第Ｎの病理スライド画像は、単一の病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像であってもよい。
病理検体の各セクションは、デジタルスライド画像を製作するために病理検体をスライスした一部であってもよく、病理検体を連続してスライスして複数のガラススライドを製作した後、これらをそれぞれ異なる染色試薬で染色してデジタル化することで、第１の病理スライド画像ないし第Ｎの病理スライド画像を生成することができる。このとき、染色試薬は、Ｈ＆Ｅ（Ｈｅｍａｔｏｘｙｌｉｎ ａｎｄ Ｅｏｓｉｎ）染色のための試薬、又は特定の標的をＩＨＣ（ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）染色するための試薬であってもよい。
例えば、１つの病理検体を連続してスライスし、スライスされた各セクションを順にＨ＆Ｅ染色試薬、第１のＩＨＣ染色試薬、第２のＩＨＣ染色試薬などで染色してガラススライドを製作した後、これをデジタル画像化して該当の病理検体に対応する複数の病理スライド画像を生成することができる。
実施形態によって、ニューラルネットワーク学習システム１００は、外部の端末から所定の病理検体に対応する第１の病理スライド画像ないし第Ｎの病理スライド画像を受信することができ、病理検体に対応する第１の病理スライド画像ないし第Ｎの病理スライド画像を予め格納しているメモリ装置より、第１の病理スライド画像ないし第Ｎの病理スライド画像を取得することもできる。
一方、ニューラルネットワーク学習システム１００は、第１の病理スライド画像ないし第Ｎの病理スライド画像に基づいて第ｍの学習データを生成することができる（Ｓ１２０）。
一実施形態において、ニューラルネットワーク学習システム１００は、チャネル重畳方式によって第ｍの学習データを生成することができる。すなわち、ニューラルネットワーク学習システム１００は、第１の病理スライド画像ないし第Ｎの病理スライド画像をチャネル重畳によって１つの多チャネル画像に変換することができ、第ｍの学習データは、多チャネル画像を含んでもよい。
図３は、チャネル重畳によってＲＧＢ色モデルで表される複数の病理スライド画像により生成される１つの多チャネル画像を示す図である。図３は、単一の病理検体から抽出された４個の連続したセクションのスライド画像を多チャネル画像に変換する場合を示す。
図３を参照すると、多チャネル画像２０は、スライド画像の数４と、各スライド画像を構成するチャネルの数３の積である１２個のチャネルから構成されてもよい。
第１チャネル２１－１は、第１のスライド画像の各画素のＲチャネル値から構成されてもよく、第２チャネル２１－２は、第１のスライド画像の各画素のＧチャネル値から構成されてもよく、第３チャネル２１－３は、第１のスライド画像の各画素のＢチャネル値から構成されてもよく、第４チャネル２２－１は、第２のスライド画像の各画素のＲチャネル値から構成されてもよく、第５チャネル２２－２は、第２のスライド画像の各画素のＧチャネル値から構成されてもよく、第６チャネル２２－３は、第２のスライド画像の各画素のＢチャネル値から構成されてもよく、第７チャネル２３－１は、第３のスライド画像の各画素のＲチャネル値から構成されてもよく、第８チャネル２３－２は、第３のスライド画像の各画素のＧチャネル値から構成されてもよく、第９チャネル２３－３は、第１のスライド画像の各画素のＢチャネル値から構成されてもよく、第１０チャネル２４－１は、第４のスライド画像の各画素のＲチャネル値から構成されてもよく、第１１チャネル２４－２は、第４のスライド画像の各画素のＧチャネル値から構成されてもよく、第１２チャネル２４－３は、第４のスライド画像の各画素のＢチャネル値から構成されてもよい。
一方、単一の病理検体から抽出された各病理スライド画像は、該当のスライド画像を製作する過程で位置や方向が少しずつずれることがある。この場合、各病理スライド画像のチャネル重畳を行う前に、各病理スライド画像を整合する過程が実行されるべきであり、この場合のフローチャートが図４に示されている。
図４を参照すると、ニューラルネットワーク学習システム１００は、第１の病理スライド画像ないし第Ｎの病理スライド画像内に存在する生体組織領域を特定することができる（Ｓ１２１）。
ニューラルネットワーク学習システム１００が画像から生体組織領域を特定する方法は様々であり得る。一実施形態において、ニューラルネットワーク学習システム１００は、スライド画像に生体組織領域に対する情報が予めアノテーションされている場合、該当の情報を用いて生体組織領域を特定することができる。又は、ニューラルネットワーク学習システム１００は、予め学習された生体組織領域判断用ニューラルネットワークを用いて生体組織領域を特定することもできる。又は、公知の様々な方法により生体組織領域を特定することができる。
一方、ニューラルネットワーク学習システム１００は、第１の病理スライドないし第Ｎの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、第１の病理スライドないし第Ｎの病理スライド画像を整合することができる（Ｓ１２２）。一実施形態において、ニューラルネットワーク学習システム１００は、２＜＝ｊ＜＝Ｎの全ての自然数ｊに対して、第（ｊ－１）の病理スライド画像内の生体組織領域と、第ｊの病理スライド画像内の生体組織領域との間の位置及び形態が一致するように、第（ｊ－１）の病理スライド画像と第ｊの病理スライド画像とを整合する過程を繰り返して行うことができる。
画像マッチングは、コンピュータビジョン分野で活用される技法であり、互いに異なる画像を変形して１つの座標系に示す処理技法を意味する。２つの画像を整合する方法としては、その画像に含まれた組織領域の輪郭ができるだけ類似するように変換する方法、又は組織領域内の特徴点ができるだけ一致するように変換する方法などがあり、具体的に、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）などにより測定される２つの画像間の類似度に基づく整合アルゴリズムを用いることができる。
一方、第１の病理スライド画像ないし整合された第Ｎの病理スライド画像を整合する過程において、整合される各病理スライド間の変換関係を算出することができる。すなわち、ニューラルネットワーク学習システム１００は、１＜＝ｉ＜＝Ｎの全ての自然数ｉに対して、第ｉの病理スライド画像に対応する変換関係を算出することができる。ここで、第ｉの病理スライド画像に対応する変換関係は、第ｉの病理スライド画像と、それに対応する整合された第ｉの病理スライド画像との間の変換関係である。
次いで、図４を参照すると、ニューラルネットワーク学習システム１００は、整合された第１の病理スライド画像ないし整合された第Ｎの病理スライド画像をチャネル重畳によって１つの多チャネル画像に変換することができ（Ｓ１２３）、これは、図３を参照して上述したものと同様であるので、詳しい説明は省略する。
一実施形態において、各病理スライド画像には、病変領域が予めアノテーションされていてもよく、このような場合、予めアノテーションされた病変アノテーション領域が学習データにさらに含まれてもよい。
これに対して、より詳しく説明すると、ニューラルネットワーク学習システム１００は、１＜＝ｊ＜＝Ｎの全ての自然数ｊに対して、第ｊの病理スライド画像に付与された病変アノテーション領域を、第ｊの病理スライド画像に対応する変換関係を用いて変形し、変形された第１の病理スライド画像の病変アノテーション領域ないし変形された第Ｎの病理スライド画像の病変アノテーション領域をチャネル重畳によって１つの多チャネル病変アノテーション領域に変換することができ、第ｍの学習データは、多チャネル病変アノテーション領域をさらに含んでもよい。
一方、第ｍの学習データに対応する病理検体に対する診断情報、予後情報、及び／又は特定の治療方法に対する反応情報が存在する場合、ニューラルネットワーク学習システム１００は、これを第ｍの学習データのラベルに設定することができる。
上記のような方法により、Ｍ個の個別学習データを含む学習データセットが生成されると、ニューラルネットワーク学習システム１００は、生成された学習データセットをニューラルネットワーク３００の入力層に入力してニューラルネットワーク３００を学習することができる（図２のＳ１３０）。
このような本発明の技術的思想によるニューラルネットワークの学習方法は、マルチプレックスＩＨＣのような高コストの一般化されていない方法に代わって、広く用いられている方法を活用して生成した複数枚の病理スライド画像を重畳して活用できるようにすることで、マルチプレックスＩＨＣと類似の効果を得ることができ、また、マルチプレックスＩＨＣの結果をカラーフィルタリングを通じて標的毎に位置情報を分離する過程で発生し得る誤りの可能性を遮断することで、腫瘍微小環境分析の精度を高めることができるという効果がある。
図５は、本発明の一実施形態による病理検体に対する判断結果の提供方法の一例を示すフローチャートである。図５による病理検体に対する判断結果の提供方法は、判断結果提供システム２００によって行うことができ、判断結果提供システム２００は、ニューラルネットワーク学習システム１００によって学習された人工ニューラルネットワーク３００を格納することができる。
図５を参照すると、判断結果提供システム２００は、所定の判断対象病理検体の第１の判断対象病理スライド画像ないし第Ｎの判断対象病理スライド画像を取得することができる（Ｓ２１０）。このとき、第１の判断対象病理スライド画像ないし第Ｎの判断対象病理スライド画像は、判断対象病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である。
判断結果提供システム２００は、判断対象検体の第１の病理スライド画像ないし第Ｎの病理スライド画像に基づいて入力データを生成することができる（Ｓ２２０）。判断対象検体の第１の病理スライド画像ないし第Ｎの病理スライド画像に対応する入力データを生成する過程は、図３及び図４を参照して説明した過程と非常に類似するので、別途の説明は省略する。
判断結果提供システム２００は、人工ニューラルネットワーク３００に入力データを入力し、人工ニューラルネットワークが出力した結果に基づいて判断対象病理検体に対する判断結果を出力することができる（Ｓ２３０）。
図６は、本発明の一実施形態による人工ニューラルネットワーク学習システム１００の概略的な構成を示す図であり、図７は、本発明の一実施形態による判断結果提供システム２００の概略的な構成を示す図である。
人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００は、本発明の技術的思想を実現するために必要なハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備える論理的な構成を意味することができ、必ずしも１つの物理的な構成要素又は１つの装置を意味するわけではない。すなわち、人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００は、本発明の技術的思想を実現するために備えられるハードウェア及び／又はソフトウェアの論理的な結合を意味することができ、必要に応じて互いに離隔した装置に設置され、それぞれの機能を行うことで本発明の技術的思想を実現するための論理的な構成の集合として実現することもできる。また、人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００は、本発明の技術的思想を実現するためのそれぞれの機能又は役目毎に別に実現される構成の集合を意味することもできる。人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００の各構成は、互いに異なる物理装置に位置することもでき、同じ物理装置に位置することもできる。また、実施形態によっては、人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００の各構成要素を構成するソフトウェア及び／又はハードウェアの組み合わせも互いに異なる物理装置に位置し、互いに異なる物理装置に位置した構成が互いに有機的に結合してそれぞれのモジュールを実現することもできる。
また、本明細書においてモジュールとは、本発明の技術的思想を行うためのハードウェア、及びハードウェアを駆動するためのソフトウェアの機能的、構造的結合を意味することができる。例えば、モジュールは、所定のコードと、所定のコードが実行されるためのハードウェアリソースの論理的な単位を意味することができ、必ずしも物理的に接続されたコード又は一種類のハードウェアを意味するわけではないことは、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
図６を参照すると、人工ニューラルネットワーク学習システム１００は、記憶モジュール１１０、取得モジュール１２０、生成モジュール１３０、及び学習モジュール１４０を含んでもよい。本発明の実施形態によっては、上述の構成要素のうちで一部の構成要素は必ずしも本発明の実現に必須な構成要素に該当しないこともあり、また、実施形態によって、人工ニューラルネットワーク学習システム１００は、これより多くの構成要素を含むこともできることは言うまでもない。例えば、人工ニューラルネットワーク学習システム１００は、外部装置と通信するための通信モジュール（図示せず）、人工ニューラルネットワーク学習システム１００の構成要素及びリソースを制御するための制御モジュール（図示せず）をさらに含んでもよい。
記憶モジュール１１０は、学習される人工ニューラルネットワーク４０を格納することができる。
取得モジュール１２０は、それぞれの単一の病理検体に対する連続したセクションを互いに異なる染色試薬で染色した第１の病理スライド画像ないし第Ｎの病理スライド画像を取得することができる。
生成モジュール１３０は、第１の病理スライド画像ないし第Ｎの病理スライド画像に基づいて個別学習データを生成することができ、複数の個別学習データを含む学習データセットを構成することができる。
学習モジュール１４０は、学習データセットに基づいて人工ニューラルネットワーク３００を学習することができる。
図７を参照すると、判断結果提供システム２００は、記憶モジュール２１０、取得モジュール２２０、生成モジュール２３０、及び判断モジュール２４０を含むことができる。本発明の実施形態によって、上述の構成要素のうちで一部の構成要素は必ずしも本発明の実現に必須な構成要素に該当しなくてもよく、また、実施形態によって、判断結果提供システム２００は、これより多くの構成要素を含むこともできることは言うまでもない。例えば、判断結果提供システム２００は、３軸振動センサー２０と通信するための通信モジュール（図示せず）、判断結果提供システム２００の構成要素及びリソースを制御するための制御モジュール（図示せず）をさらに含むことができる。
記憶モジュール２１０は、学習された人工ニューラルネットワーク４０を格納することができる。
取得モジュール２２０は、所定の判断対象病理検体の連続したセクションを互いに異なる染色試薬で染色した第１の判断対象病理スライド画像ないし第Ｎの判断対象病理スライド画像を取得することができる。
生成モジュール２３０は、第１の判断対象病理スライド画像ないし第Ｎの判断対象病理スライド画像に基づいて入力データを生成することができる。
判断モジュール２４０は、入力データを人工ニューラルネットワークに入力し、人工ニューラルネットワーク４０から出力される予測値に基づいて判断対象検体に対する判断を行うことができる。
一方、実施形態の一例によって、人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００は、プロセッサと、プロセッサによって実行されるプログラムを格納するメモリと、を含むことができる。プロセッサは、シングルコアＣＰＵ又はマルチコアＣＰＵを含むことができる。メモリは、高速ランダムアクセスメモリを含むことができ、１つ以上の磁気ディスク記憶装置、フラッシュメモリ装置、又はその他不揮発性固体メモリ装置のような不揮発性メモリを含むこともできる。プロセッサ及びその他構成要素によるメモリへのアクセスは、メモリコントローラによって制御することができる。
一方、本発明の実施形態による方法は、コンピュータで読み取り可能なプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に格納でき、本発明の実施形態による制御プログラム及び対象プログラムもコンピュータで読み取り可能な記録媒体に格納することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取ることができるデータが記憶されるあらゆる種類の記録装置を含む。
記録媒体に記録されるプログラム命令は、本発明のために特に設計及び構成されたものなどであってもよく、ソフトウェア分野における当業者に公知として使用可能なものであってもよい。
コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、プロッピィーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、光学ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記憶および実行するように特に構成されたハードウェア装置が含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードを記憶及び実行することができる。
プログラム命令の例としては、コンパイラによって作成されるような機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行することができる高級言語コードも含まれる。
上述のハードウェア装置は、本発明の動作を行うために、１つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。
上述した本発明の説明は例示のためのものであり、本発明が属する技術分野における通常の知識を有する者であれば本発明の技術的思想や必須な特徴を変更することなく、他の具体的な形態に容易に変形が可能であることを理解することができるであろう。従って、上記で説明した実施形態は全ての点で例示的なものであり、限定的なものではないと理解すべきである。例えば、単一の形態で説明されている各構成要素は分散して実施することができ、同様に分散されたと記載されている構成要素も組み合わせた形で実施することができる。
本発明の範囲は、上述の詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲そしてその均等概念から導出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。
本発明は、病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステムに用いることができる。

Claims (12)

  1. 人工ニューラルネットワークを学習する方法であって、
    ニューラルネットワーク学習システムが、Ｍ個の個別学習データ（ここで、Ｍは、２以上の自然数である）を含む学習データセットを生成するステップと、
    前記ニューラルネットワーク学習システムが、前記学習データセットに基づいて前記人工ニューラルネットワークを学習するステップと、
    を含み、
    前記Ｍ個の個別学習データを含む学習データセットを生成するステップは、１＜＝ｍ＜＝Ｍの全てのｍに対して、前記学習データセットに含まれる第ｍの学習データを生成するステップを含み、
    前記第ｍの学習データを生成するステップは、
    第１の病理スライド画像ないし第Ｎの病理スライド画像（ここで、Ｎは、２以上の自然数である）を取得するステップ（ここで、前記第１の病理スライド画像ないし第Ｎの病理スライド画像は、単一の病理検体に対する連続したセクション（ｓｅｒｉａｌ ｓｅｃｔｉｏｎ）を互いに異なる染色試薬で染色した病理スライド画像である）と、
    前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップと、
    を含む、人工ニューラルネットワークの学習方法。
  2. 前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップは、
    前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像をチャネル重畳（ｃｈａｎｎｅｌ ｓｔａｃｋｉｎｇ）によって１つの多チャネル画像に変換するステップを含み、
    前記第ｍの学習データは前記多チャネル画像を含む、請求項１に記載の人工ニューラルネットワークの学習方法。
  3. 前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップは、
    前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像内に存在する生体組織領域を特定するステップと、
    前記第１の病理スライドないし前記第Ｎの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第１の病理スライドないし前記第Ｎの病理スライド画像を整合するステップと、
    前記整合された第１の病理スライド画像ないし前記整合された第Ｎの病理スライド画像をチャネル重畳によって１つの多チャネル画像に変換するステップと、
    を含み、
    前記第ｍの学習データは前記多チャネル画像を含む、請求項１に記載の人工ニューラルネットワークの学習方法。
  4. 前記第１の病理スライドないし前記第Ｎの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第１の病理スライドないし前記第Ｎの病理スライド画像を整合するステップは、
    １＜＝ｉ＜＝Ｎの全ての自然数ｉに対して、第ｉの病理スライド画像に対応する変換関係を算出するステップを含み（ここで、前記第ｉの病理スライド画像に対応する変換関係は、前記第ｉの病理スライド画像と、それに対応する整合された第ｉの病理スライド画像との間の変換関係である）、
    前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップは、
    １＜＝ｊ＜＝Ｎの全ての自然数ｊに対して、第ｊの病理スライド画像に付与された病変アノテーション領域を前記第ｊの病理スライド画像に対応する変換関係を用いて変形するステップと、
    前記変形された第１の病理スライド画像の病変アノテーション領域ないし前記変形された第Ｎの病理スライド画像の病変アノテーション領域をチャネル重畳によって１つの多チャネル病変アノテーション領域に変換するステップと、
    をさらに含み、
    前記第ｍの学習データは、前記多チャネル病変アノテーション領域をさらに含む、請求項３に記載の人工ニューラルネットワークの学習方法。
  5. 請求項１に記載の人工ニューラルネットワークの学習方法によって学習された人工ニューラルネットワークを介して所定の判断対象病理検体に対する判断結果を提供する方法であって、
    コンピューティングシステムが、第１の判断対象病理スライド画像ないし第Ｎの判断対象病理スライド画像（ここで、Ｎは、２以上の自然数である）を取得するステップ（ここで、前記第１の判断対象病理スライド画像ないし前記第Ｎの判断対象病理スライド画像は、前記判断対象病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である）と、
    前記コンピューティングシステムが、前記人工ニューラルネットワークが前記第１の判断対象病理スライド画像ないし前記第Ｎの判断対象病理スライド画像に基づいて判断した前記判断対象病理検体に対する判断結果を出力するステップと、
    を含む、方法。
  6. データ処理装置に設置され、請求項１ないし請求項５のいずれか一項に記載の方法を行うための記録媒体に記録されたコンピュータプログラム。
  7. 請求項１ないし請求項５のいずれか一項に記載の方法を行うためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
  8. 人工ニューラルネットワーク学習システムであって、
    プロセッサと、コンピュータプログラムを格納するメモリと、を含み、
    前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記コンピューティングシステムに人工ニューラルネットワークを学習する方法を実行させ、
    前記人工ニューラルネットワーク学習システムは、
    ニューラルネットワーク学習システムが、Ｍ個の個別学習データ（ここで、Ｍは、２以上の自然数である）を含む学習データセットを生成するステップと、
    前記ニューラルネットワーク学習システムが、前記学習データセットに基づいて前記人工ニューラルネットワークを学習するステップと、
    を含み、
    前記Ｍ個の個別学習データを含む学習データセットを生成するステップは、１＜＝ｍ＜＝Ｍの全てのｍに対して、前記学習データセットに含まれる第ｍの学習データを生成するステップを含み、
    前記第ｍの学習データを生成するステップは、
    第１の病理スライド画像ないし第Ｎの病理スライド画像（ここで、Ｎは、２以上の自然数である）を取得するステップ（ここで、前記第１の病理スライド画像ないし第Ｎの病理スライド画像は、単一の病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である）と、
    前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップと、
    を含む、人工ニューラルネットワーク学習システム。
  9. 前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップは、
    前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像をチャネル重畳によって１つの多チャネル画像に変換するステップを含み、
    前記第ｍの学習データは前記多チャネル画像を含む、請求項８に記載の人工ニューラルネットワークの学習システム。
  10. 前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップは、
    前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像内に存在する生体組織領域を特定するステップと、
    前記第１の病理スライドないし前記第Ｎの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第１の病理スライドないし前記第Ｎの病理スライド画像を整合するステップと、
    前記整合された第１の病理スライド画像ないし前記整合された第Ｎの病理スライド画像をチャネル重畳によって１つの多チャネル画像に変換するステップと、
    を含み、
    前記第ｍの学習データは前記多チャネル画像を含む、請求項８に記載の人工ニューラルネットワーク学習システム。
  11. 前記第１の病理スライドないし前記第Ｎの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第１の病理スライドないし前記第Ｎの病理スライド画像を整合するステップは、
    １＜＝ｉ＜＝Ｎの全ての自然数ｉに対して、第ｉの病理スライド画像に対応する変換関係を算出するステップを含み（ここで、前記第ｉの病理スライド画像に対応する変換関係は、前記第ｉの病理スライド画像と、それに対応する整合された第ｉの病理スライド画像との間の変換関係である）、
    前記第１の病理スライド画像ないし前記第Ｎの病理スライド画像に基づいて前記第ｍの学習データを生成するステップは、
    １＜＝ｊ＜＝Ｎの全ての自然数ｊに対して、第ｊの病理スライド画像に付与された病変アノテーション領域を前記第ｊの病理スライド画像に対応する変換関係を用いて変形するステップと、
    前記変形された第１の病理スライド画像の病変アノテーション領域ないし前記変形された第Ｎの病理スライド画像の病変アノテーション領域をチャネル重畳によって１つの多チャネル病変アノテーション領域に変換するステップと、
    をさらに含み、
    前記第ｍの学習データは、前記多チャネル病変アノテーション領域をさらに含む、請求項１０に記載の人工ニューラルネットワーク学習システム。
  12. 病理検体に対する判断結果提供システムであって、
    プロセッサと、コンピュータプログラムを格納するメモリと、を含み、
    前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記コンピューティングシステムに請求項１に記載の人工ニューラルネットワークの学習方法によって学習された人工ニューラルネットワークを介して病理検体に対する判断結果を提供する方法を実行させ、
    前記判断結果を提供する方法は、
    第１の判断対象病理スライド画像ないし第Ｎの判断対象病理スライド画像（ここで、Ｎは、２以上の自然数である）を取得するステップ（ここで、前記第１の判断対象病理スライド画像ないし前記第Ｎの判断対象病理スライド画像は、所定の判断対象病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である）と、
    前記人工ニューラルネットワークが前記第１の判断対象病理スライド画像ないし前記第Ｎの判断対象病理スライド画像に基づいて判断した前記判断対象病理検体に対する判断結果を出力するステップと、
    を含む、病理検体に対する判断結果提供システム。

JP2023540030A 2021-01-07 2022-01-07 病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステム Pending JP2024502806A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0001912 2021-01-07
KR1020210001912A KR102246319B1 (ko) 2021-01-07 2021-01-07 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
PCT/KR2022/000269 WO2022149894A1 (ko) 2021-01-07 2022-01-07 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Publications (1)

Publication Number Publication Date
JP2024502806A true JP2024502806A (ja) 2024-01-23

Family

ID=75910856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023540030A Pending JP2024502806A (ja) 2021-01-07 2022-01-07 病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステム

Country Status (5)

Country Link
EP (1) EP4258283A1 (ja)
JP (1) JP2024502806A (ja)
KR (1) KR102246319B1 (ja)
CN (1) CN116783662A (ja)
WO (1) WO2022149894A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102246319B1 (ko) * 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023287235A1 (ko) * 2021-07-14 2023-01-19 주식회사 루닛 병리 이미지 분석 방법 및 시스템
KR102485414B1 (ko) * 2021-12-13 2023-01-06 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
KR102393957B1 (ko) 2021-12-30 2022-05-03 서울대학교병원 전립선암 분석 장치 및 프로그램, 이의 동작 방법
WO2023167448A1 (ko) * 2022-03-03 2023-09-07 주식회사 루닛 병리 슬라이드 이미지를 분석하는 방법 및 장치
KR102471515B1 (ko) * 2022-03-31 2022-11-28 주식회사 딥바이오 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
KR102579826B1 (ko) * 2022-12-09 2023-09-18 (주) 브이픽스메디칼 인공지능 기반 진단 보조 정보 제공 방법, 장치 및 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61216526A (ja) 1985-03-22 1986-09-26 Nec Ic Microcomput Syst Ltd 周波数−ディジタル変換回路
WO2016087592A1 (en) 2014-12-03 2016-06-09 Ventana Medical Systems, Inc. Systems and methods for early-stage cancer prognosis
KR101944536B1 (ko) * 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR102172213B1 (ko) * 2018-06-04 2020-10-30 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
KR102185893B1 (ko) * 2018-08-07 2020-12-02 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
KR102246318B1 (ko) * 2018-10-05 2021-04-30 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법
KR102311654B1 (ko) * 2019-02-01 2021-10-08 장현재 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
KR102108050B1 (ko) * 2019-10-21 2020-05-07 가천대학교 산학협력단 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
KR102246319B1 (ko) * 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Also Published As

Publication number Publication date
KR102246319B1 (ko) 2021-05-03
CN116783662A (zh) 2023-09-19
EP4258283A1 (en) 2023-10-11
WO2022149894A1 (ko) 2022-07-14

Similar Documents

Publication Publication Date Title
JP2024502806A (ja) 病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステム
Pires et al. A data-driven approach to referable diabetic retinopathy detection
JP6983328B2 (ja) 特徴転送ネットワークによる非監視下のクロスドメイン距離メトリック適応
US9892361B2 (en) Method and system for cross-domain synthesis of medical images using contextual deep network
Huang et al. Temporal HeartNet: towards human-level automatic analysis of fetal cardiac screening video
Memmesheimer et al. Gimme signals: Discriminative signal encoding for multimodal activity recognition
JP2020530637A (ja) 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法
KR102122068B1 (ko) 이미지 분석 시스템 및 분석 방법
Rajesh Cybernetic microbial detection system using transfer learning
JP2022547722A (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
JP2023538662A (ja) Ｆｅｗ－Ｓｈｏｔ学習を使用した組織染色パターンおよびアーチファクト分類
Sadik et al. Autismnet: Recognition of autism spectrum disorder from facial expressions using mobilenet architecture
Kundu et al. Vision transformer based deep learning model for monkeypox detection
Bošnački et al. Deep learning with convolutional neural networks for histopathology image analysis
Krug et al. Analyzing and visualizing deep neural networks for speech recognition with saliency-adjusted neuron activation profiles
CN110366707A (zh) 用于通过卷积字典学习和编码进行全息无透镜成像中的对象检测的系统和方法
Vicent et al. An algorithm to detect overlapping red blood cells for sickle cell disease diagnosis
Tymchenko et al. Classifying mixed patterns of proteins in microscopic images with deep neural networks
Schmidt et al. Real-time rotated convolutional descriptor for surgical environments
JP2024503977A (ja) ペットの癌を特定するためのシステム及び方法
Goel et al. Improving YOLOv6 using advanced PSO optimizer for weight selection in lung cancer detection and classification
Xiong et al. On training deep 3d cnn models with dependent samples in neuroimaging
Li et al. Generative ai enables the detection of autism using eeg signals
Vishnu Priyal et al. Modified UNet Architecture with Less Number of Learnable Parameters for Nuclei Segmentation
Kowalski et al. Convolutional neural networks in the ovarian cancer detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240625