JP2023523882A - 免疫抗癌剤に対する反応を予測する方法及びシステム - Google Patents

免疫抗癌剤に対する反応を予測する方法及びシステム Download PDF

Info

Publication number
JP2023523882A
JP2023523882A JP2022556072A JP2022556072A JP2023523882A JP 2023523882 A JP2023523882 A JP 2023523882A JP 2022556072 A JP2022556072 A JP 2022556072A JP 2022556072 A JP2022556072 A JP 2022556072A JP 2023523882 A JP2023523882 A JP 2023523882A
Authority
JP
Japan
Prior art keywords
slide image
immunophenotype
immune
pathology slide
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022556072A
Other languages
English (en)
Other versions
JPWO2021225421A5 (ja
Inventor
ドングン ユ
チャンヨン オク
ギョンヒョン ペン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lunit Inc
Original Assignee
Lunit Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lunit Inc filed Critical Lunit Inc
Priority claimed from KR1020210059537A external-priority patent/KR102628046B1/ko
Publication of JP2023523882A publication Critical patent/JP2023523882A/ja
Publication of JPWO2021225421A5 publication Critical patent/JPWO2021225421A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Biotechnology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Genetics & Genomics (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)

Abstract

【課題】少なくとも一つのコンピュータ装置により遂行される、免疫抗癌剤に対する反応を予測する方法を提供する。【解決手段】この方法は、第１の病理スライドイメージを受信するステップと、第１の病理スライドイメージ内において一つ以上の対象アイテムを検出するステップと、一つ以上の対象アイテムに対する検出結果に基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するステップと、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報に基づいて、第１の病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップとを含む。【選択図】図１

Description

本開示は、免疫抗癌剤に対する反応を予測する方法及びシステムに関し、より具体的には、病理スライドイメージ内の少なくとも一部領域の免疫表現型（immune phenotype）又は免疫表現型と関連付けられた情報の少なくとも一つに基づいて、病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成する方法及びシステムに関する。
最近、癌治療に対する第３世代の抗癌剤として、患者の体内の兔疫体系を活用する免疫抗癌剤に対する関心が寄せられている。免疫抗癌剤は、癌細胞が人体の兔疫体系を回避できないようにしたり、免疫細胞が癌細胞をよく認識して攻撃するようにしたりする任意の薬物を称することができる。人体の兔疫体系を介して作用するため、抗癌剤の副作用がほとんどなくて、他の抗癌剤よりも癌患者の生存期間もさらに長いことができる。しかしながら、このような免疫抗癌剤は、全ての癌患者に効果があるものではない。したがって、現在の癌患者に対して免疫抗癌剤の効果を予測するためには、免疫抗癌剤の反応性を予測することが重要である。
一方、免疫抗癌剤の反応性を予測するためのバイオマーカー（bio marker）としてＰＤ－Ｌ１の発現率を確認できる。すなわち、患者の治療前の組織を獲得してＩＨＣ（immunohistochemistry）の方式により染色してから、人が直接的に染色された組織からＰＤ－Ｌ１の発現量をカウンタした後、一定以上の発現率を有する患者に対し、免疫抗癌剤が効果のあるものと予測できる。このような従来の技術によれば、人の目で直接的にＰＤ－Ｌ１の発現率を算出するため、主観的な要素によって客観的な定量化が困難であるという問題点がある。また、免疫抗癌剤に対する反応予測のための多様な要素が存在するが、これをＰＤ－Ｌ１の発現という一つの要素（factor）として予測する場合、正確度を低下させる恐れがある。なぜならば、ＰＤ－Ｌ１が発現される状況にも、免疫細胞が癌細胞の周辺に存在しないと、免疫抗癌剤に対する反応が現れにくいからである。また、現在のＰＤ－Ｌ１の発現の定量化方法だけでは、免疫抗癌剤の抗腫瘍効果と関連付けられた免疫細胞が空間的にどのような分布に存在するかを把握しにくいことがある。
本開示は、前記のような問題点を解決するための免疫抗癌剤に対する反応を予測する方法及びシステムを提供する。
本開示は、方法、装置（システム）又は命令語を保存するコンピュータ読み取り可能な保存媒体、コンピュータプログラムを含む多様な方式により具現化され得る。
本開示の一実施例に係る少なくとも一つのコンピュータ装置により遂行される免疫抗癌剤に対する反応を予測する方法は、第１の病理スライドイメージを受信するステップと、第１の病理スライドイメージ内において一つ以上の対象アイテムを検出するステップと、一つ以上の対象アイテムに対する検出結果に基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型（immune phenotype）又は免疫表現型と関連付けられた情報を決定するステップと、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報に基づいて、第１の病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップとを含む。
本開示の一実施例において、検出するステップは、人工神経網対象アイテム検出モデルを利用して、第１の病理スライドイメージ内において一つ以上の対象アイテムを検出するステップを含み、人工神経網対象アイテム検出モデルは、参照病理スライドイメージから一つ以上の参照対象アイテムを検出するように学習される。
本開示の一実施例において、第１の病理スライドイメージ内の少なくとも一部領域は一つ以上の対象アイテムを含み、一つ以上の対象アイテムは癌と関連付けられたアイテム及び免疫細胞を含み、決定するステップは、第１の病理スライドイメージ内の少なくとも一部領域内において、癌と関連付けられたアイテム内の免疫細胞の数、分布又は密度の少なくとも一つを算出するステップと、算出された免疫細胞の数、分布又は密度の少なくとも一つに基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するステップとを含む。
本開示の一実施例において、癌と関連付けられたアイテムは癌領域（cancer area）及び癌ストロマ（cancer stroma）を含み、算出するステップは、第１の病理スライドイメージ内の少なくとも一部領域内において、癌領域内の免疫細胞の密度を算出するステップと、第１の病理スライドイメージ内の少なくとも一部領域内において、癌ストロマ内の免疫細胞の密度を算出するステップとを含み、決定するステップは、癌領域内の免疫細胞の密度又は癌ストロマ内の免疫細胞の密度の少なくとも一つに基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するステップを含む。
本開示の一実施例において、癌領域内の免疫細胞の密度が第１の閾密度以上である場合、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫活性（immune inflamed）として判定され、癌領域内の免疫細胞の密度が第１の閾密度未満であると同時に、癌ストロマ内の免疫細胞の密度が第２の閾密度以上である場合、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫排除（immune excluded）として判定され、癌領域内の免疫細胞の密度が第１の閾密度未満であると同時に、癌ストロマ内の免疫細胞の密度が第２の閾密度未満である場合、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫欠乏（immune desert）として判定される。
本開示の一実施例において、第１の閾密度は、複数の病理スライドイメージ内の複数の関心領域の各々において、癌領域内の免疫細胞の密度の分布に基づいて決定され、第２の閾密度は、複数の病理スライドイメージ内の複数の関心領域の各々において、癌ストロマ内の免疫細胞の密度の分布に基づいて決定される。
本開示の一実施例において、決定するステップは、癌領域内の特定領域内に含まれた免疫細胞の数に基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型を免疫活性、免疫排除又は免疫欠乏の一つとして決定するステップをさらに含む。
本開示の一実施例において、決定するステップは、人工神経網免疫表現型分類モデルに、第１の病理スライドイメージ内の少なくとも一部領域の各々に対するフィーチャ（feature）又は第１の病理スライドイメージ内の少なくとも一部領域を入力することで、第１の病理スライドイメージ内の少なくとも一部領域の各々の免疫表現型又は免疫表現型と関連付けられた情報を決定するステップを含み、人工神経網免疫表現型分類モデルは、参照病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は参照病理スライドイメージ内の少なくとも一部領域が入力されることで、参照病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するように学習される。
本開示の一実施例において、第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャは、第１の病理スライドイメージ内の少なくとも一部領域の一つ以上の対象アイテムに対する統計的なフィーチャ、一つ以上の対象アイテムに対する幾何学的なフィーチャ又は第１の病理スライドイメージ内の少なくとも一部領域に対応するイメージフィーチャの少なくとも一つを含む。
本開示の一実施例において、第１の病理スライドイメージ内の少なくとも一部領域は複数の関心領域を含み、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は複数の関心領域の各々の免疫表現型を含み、生成するステップは、複数の関心領域の各々の免疫表現型に基づいて、第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型を決定するステップと、第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップとを含む。
本開示の一実施例において、生成するステップは、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型を利用して、第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型マップを生成するステップと、免疫抗癌剤反応予測モデルに生成された免疫表現型マップを入力することで、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップとを含み、免疫抗癌剤反応予測モデルは、参照免疫表現型マップが入力されることで、参照予測結果を生成するように学習される。
本開示の一実施例において、生成するステップは、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型と関連付けられた情報を利用して、第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型特徴マップを生成するステップと、免疫抗癌剤反応予測モデルに生成された免疫表現型特徴マップを入力することで、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップとを含み、免疫抗癌剤反応予測モデルは、参照免疫表現型特徴マップが入力されることで、参照予測結果を生成するように学習される。
本開示の一実施例において、患者と関連付けられた第２の病理スライドイメージからバイオマーカーの発現に関する情報を獲得するステップをさらに含み、生成するステップは、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つ及びバイオマーカーの発現に関する情報に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップを含む。
本開示の一実施例において、バイオマーカーはＰＤ－Ｌ１である。
本開示の一実施例において、ＰＤ－Ｌ１の発現に関する情報は、ＴＰＳ（Tumor Proportion Score）値又はＣＰＳ（Combined Proportion Score）値の少なくとも一つを含む。
本開示の一実施例において、獲得するステップは、第２の病理スライドイメージを受信するステップと、人工神経網発現情報生成モデルに第２の病理スライドイメージを入力することで、ＰＤ－Ｌ１の発現に関する情報を生成するステップとを含み、人工神経網発現情報生成モデルは、参照病理スライドイメージが入力されることで、ＰＤ－Ｌ１の発現に関する参照情報を生成するように学習される。
本開示の一実施例において、人工神経網発現情報生成モデルに第２の病理スライドイメージを入力することで、ＰＤ－Ｌ１の発現に関する情報を生成するステップは、人工神経網発現情報生成モデルを利用して、第２の病理スライドイメージ内の少なくとも一部領域の腫瘍細胞の位置、リンパ球の位置、マクロファージの位置又はＰＤ－Ｌ１の発現可否の少なくとも一つを検出することで、ＰＤ－Ｌ１の発現に関する情報を生成するステップを含む。
本開示の一実施例において、一つ以上の対象アイテムに対する検出結果、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型、免疫表現型と関連付けられた情報、患者が免疫抗癌剤に反応するか否かに対する予測結果又は第１の病理スライドイメージ内の少なくとも一部領域内の免疫細胞の密度の少なくとも一つを出力するステップをさらに含む。
本開示の一実施例において、患者が免疫抗癌剤に反応するか否かに対する予測結果に基づいて、複数の免疫抗癌剤のうち、患者に適合した少なくとも一つの免疫抗癌剤に関する情報を出力するステップをさらに含む。
本開示の一実施例に係る前述した免疫抗癌剤に対する反応を予測する方法をコンピュータで実行するために、コンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラムが提供される。
本開示の一実施例に係る情報処理システムは、一つ以上のインストラクション（instructions）を保存するメモリと、保存された一つ以上のインストラクションを実行することで、第１の病理スライドイメージを受信し、第１の病理スライドイメージ内において一つ以上の対象アイテムを検出し、一つ以上の対象アイテムに対する検出結果に基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報を決定し、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報に基づいて、第１の病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するように構成されたプロセッサとを含む。
本開示の一部の実施例によれば、病理スライドイメージから決定される免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを利用して、患者が免疫抗癌剤に反応するか否かを予測できる。すなわち、癌細胞の周辺の免疫環境を客観的に分析することで、患者が免疫抗癌剤に反応するか否かに対する予測率を向上させることができる。
本開示の一部の実施例によれば、ＰＤ－Ｌ１の発現率を客観的に定量化でき、定量化したＰＤ－Ｌ１の発現率を利用して患者が免疫抗癌剤に反応するか否かに対して予測できる。このようなＰＤ－Ｌ１の発現に関する情報だけでなく、病理スライドイメージから決定される免疫表現型及び／又は免疫表現型と関連付けられた情報を共に利用することで、患者が免疫抗癌剤に反応するか否かに対する予測の正確度を一層高めることができる。
本開示の一部の実施例によれば、人工神経網モデルを用いて、免疫表現型及び／又は免疫表現型と関連付けられた情報を決定したり、ＰＤ－Ｌ１の発現に関する情報を獲得したりできるため、従来技術よりも正確かつ迅速に処理できる。
本開示の一部の実施例によれば、ユーザには、免疫抗癌剤の反応性予測過程で生成された結果が視覚的かつ直観的に提供され得る。また、ユーザには、免疫抗癌剤の反応性予測過程で生成された結果等を整理したリポートが提供され得る。さらに、ユーザには、免疫抗癌剤の反応性予測過程で生成された結果に基づいて、複数の免疫抗癌剤のうち、患者に最適な免疫抗癌剤及び／又は免疫抗癌剤の組合せが推薦され得る。
本開示の効果は、これに制限されず、言及されない他の効果等は、請求範囲の記載から本開示が属する技術分野における通常の知識を有する者（以下、“通常の技術者”という）に明確に理解されるべきである。
本開示の実施例等は、以下の添付図面に基づいて説明される。ここで、類似の参照番号は類似の要素を示すが、これに限定されるものではない。
本開示の一実施例に係る情報処理システムが免疫抗癌剤に対する反応予測結果を提供するシステムを示す例示的構成図である。 本開示の一実施例に係る情報処理システムの内部構成を示すブロック図である。 本開示の一実施例に係る免疫抗癌剤に対する反応を予測する方法を示すフローチャートである。 本開示の一実施例に係る病理スライドイメージ内において対象アイテムを検出し、関心領域を決定し、関心領域の免疫表現型を判定する例を示す図である。 本開示の一実施例に係る免疫表現型判定結果を生成する例を示す図である。 本開示の一実施例に係る免疫抗癌剤に対する反応予測結果を生成する例を示す図である。 本開示の一実施例に係るＰＤ－Ｌ１の発現に関する情報及び／又は免疫表現型情報の免疫抗癌剤の反応可否の予測性能を分析した結果を示す図である。 本開示の一実施例に係る免疫表現型と、ＣＤ３－陽性細胞、ＣＤ８－陽性細胞、ＦＯＸＰ３－陽性細胞及びＣＤ６８－陽性細胞の発現に関する情報との間の連関性を示すグラフである。 本開示の一実施例に係る患者が免疫抗癌剤に反応するか否かに対して予測する多様な方法の性能を示すグラフである。 本開示の一実施例に係る免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を出力する例を示す図である。 本開示の他の実施例に係る免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を出力する例を示す図である。 本開示の他の実施例に係る免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を出力する例を示す図である。 本開示の他の実施例に係る免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を出力する例を示す図である。 本開示の他の実施例に係る免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を出力する例を示す図である。 本開示の他の実施例に係る免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を出力する例を示す図である。 本開示の一実施例に係る人工神経網モデルの例を示す図である。 本開示の一実施例に係る免疫抗癌剤に対する反応予測結果を提供する例示的なシステム構成図である。
以下、本開示の実施のための具体的な内容を添付図面に基づいて詳細に説明する。ただし、以下の説明では、本開示の要旨を不要に不明瞭にする恐れがある場合、当分野の公知の機能や構成に関する具体的な説明は省略する。
添付図面において、同一又は対応する構成要素には同一の参照符号が付与される。また、以下の実施例の説明において、同一又は対応する構成要素の重複記述は省略され得る。しかしながら、構成要素に関する記述が省略されても、そのような構成要素が、ある実施例に含まれないものと意図してはならない。
開示の実施例の利点及び特徴、そしてそれらを達成する方法は、添付図面に基づいて後述する実施例を参照すれば明確になる。しかしながら、本開示は、以下で開示される実施例に限定されず、互いに異なる多様な形態で具現化され得る。但し、本実施例は、本開示が完全になるようにし、本開示が通常の技術者に発明のカテゴリを正確に認識させるために提供されるだけである。
本明細書で使用される用語について簡略に説明し、開示の実施例について具体的に説明する。本明細書で使用される用語は、本開示での機能を考慮しつつ、可能な限り現在広く使用される一般的な用語を選択したが、これは関連分野に従事する技術者の意図又は判例、新技術の出現などにより変化し得る。また、特定の場合は出願人が任意で選定した用語もあり得るが、これらの意味は当該発明の説明の部分において詳細に記載する。よって、本開示で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたった内容に基づいて定義されるべきである。
本明細書では、文脈上において明確に特定しない限り、単数の表現は複数の表現を含み、複数の表現は単数の表現を含むことができる。明細書の全般に渡り、ある部分がある構成要素を「含む」とする際、これは特に反対の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むこともできることを意味する。
また、明細書で使用される「モジュール」又は「部」という用語は、ソフトウェアやハードウェア構成要素を意味し、「モジュール」又は「部」はある役割を遂行する。しかしながら、「モジュール」又は「部」はソフトウェアやハードウェアに限定される意味ではない。「モジュール」又は「部」は、アドレッシング可能な保存媒体にあるように構成してもよく、一つ又はそれ以上のプロセッサを再生させるように構成してもよい。したがって、一例として、「モジュール」又は「部」は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ又は変数のうちで少なくとも一つを含むことができる。構成要素と「モジュール」又は「部」は、内部で提供される機能はさらに小さい数の構成要素及び「モジュール」又は「部」で結合されたり、追加的な構成要素と「モジュール」又は「部」にさらに分離されたりできる。
本開示の一実施例によれば、「モジュール」又は「部」はプロセッサ及びメモリで具現化され得る。「プロセッサ」は汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、制御器、マイクロ制御器、状態マシンなどを含むように広く解釈されるべきである。いくつかの環境では、「プロセッサ」は特定用途向け半導体（ＡＳＩＣ）、プログラム可能なロジックデバイス（ＰＬＤ）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）等を称することもできる。「プロセッサ」は、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサの組合せ、ＤＳＰコアと結合した一つ以上のマイクロプロセッサの組合せ、若しくは、任意の他のそのような構成等の組合せのような処理デバイスの組合せを称することもできる。また、「メモリ」は電子情報を保存可能な任意の電子コンポーネントを含むように広く解釈されるべきである。「メモリ」は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）、ＰＲＯＭ（Programmable Read-Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Reda-Only Memory）、フラッシュメモリ、磁気又は光学データ保存装置、レジスタなどのようなプロセッサ－読み取り可能な媒体の多様な類型を称することもできる。プロセッサがメモリから情報を読み取り／読み取ったりメモリに情報を記録できる場合、メモリはプロセッサと電子通信状態にあると言われる。プロセッサに集積されたメモリはプロセッサと電子通信状態にある。
本開示において、「システム」は、サーバ装置及びクラウド装置の少なくとも一つを含むことができるが、これに限定されるものではない。例えば、システムは一つ以上のサーバ装置からなることができる。他の例として、システムは一つ以上のクラウド装置からなることができる。また他の例として、システムはサーバ装置及びクラウド装置の全部からなって動作されることもできる。
本開示において、「目的データ」は、機械学習モデルの学習に使用され得る任意のデータ又はデータアイテムを称することができ、例えば、イメージを示すデータ、音声又は音声特徴を示すデータなどを含むが、これに限定されるものではない。本開示では、目的データとして病理スライドイメージの全体及び／又は病理スライドイメージに含まれた少なくとも一つのパッチを利用して説明しているが、これに限定されず、機械学習モデルの学習に使用され得る任意のデータが目的データに該当できる。また、目的データは、アノテーション（annotation）作業によりラベル情報がタグ付けされる。
本開示において、「病理スライドイメージ」は、人体から取り出した組織などを顕微鏡で観察するために、一連の化学的処理過程を通して固定及び染色された病理スライドの撮影イメージを称する。例えば、病理スライドイメージは、顕微鏡で撮影したデジタルイメージを称することができ、人体内の細胞（cell）、組織（tissue）及び／又はストラクチャー（structure）に関する情報を含むことができる。また、病理スライドイメージは一つ以上のパッチを含むことができ、一つ以上のパッチにはアノテーション作業によりラベル情報（例えば、免疫表現型に関する情報）がタグ付けされる。例えば、「病理スライドイメージ」は、Ｈ＆Ｅ染色された組織スライド及び／又はＩＨＣ染色された組織スライドを含むことができるが、これに限定されず、多様な染色方式（例えば、ＣＩＳＨ（Chromogenic in situ hybridization）、ＦＩＳＨ（Fluorescent in situ hybridization）、Ｍｕｌｔｉｐｌｅｘ ＩＨＣなど）が適用された組織スライド又は非染色（unstained）の組織スライドも含むことができる。他の例として、「病理スライドイメージ」は、免疫抗癌剤の反応を予測するために生成された患者の組織スライドであって、免疫抗癌剤治療前の患者の組織スライド及び／又は免疫抗癌剤治療後の患者の組織スライドを含むことができる。
本開示において、「パッチ」は、病理スライドイメージ内の小領域を称することができる。例えば、パッチは、病理スライドイメージに対し、セグメンテーション（segmentation）を遂行することにより抽出された意味論的オブジェクトに対応する領域を含むことができる。また他の例として、パッチは、病理スライドイメージを分析することにより生成されたラベル情報と関連付けられたピクセル等の組合せを称することができる。
本開示において、「病理スライドイメージの少なくとも一部領域」は、病理スライドイメージ内の分析対象となる少なくとも一部領域を称することができる。例えば、病理スライドイメージの少なくとも一部領域は、病理スライドイメージのうち、対象アイテムが含まれた少なくとも一部領域を称することができる。他の例として、病理スライドイメージの少なくとも一部領域は、病理スライドイメージを分割することにより生成された複数のパッチのうち、少なくとも一部を称することができる。また、「病理スライドイメージの少なくとも一部領域」は、病理スライドイメージを構成する全ての領域（又は全てのパッチ）のうち、全体又は一部を称することができる。本開示において、「病理スライドイメージの少なくとも一部領域」は関心領域として称することができ、これとは反対に、関心領域は病理スライドイメージの少なくとも一部領域を称することができる。
本開示において、「機械学習モデル」及び／又は「人工神経網モデル」は、与えられた入力に対する解答（answer）を推論するのに使用する任意のモデルを含むことができる。一実施例によれば、機械学習モデルは、入力層（layer）、複数個の隠れ層及び出力層を含む人工神経網モデルを含むことができる。ここで、各層は複数のノードを含むことができる。例えば、機械学習モデルは、病理スライドイメージ及び／又は病理スライドに含まれた少なくとも一つのパッチに対してラベル情報を推論するように学習できる。このとき、アノテーション作業により生成されたラベル情報が機械学習モデルを学習させるのに利用される。また、機械学習モデルは、機械学習モデルに含まれた複数のノードと関連付けられた加重値を含むことができる。ここで、加重値は、機械学習モデルと関連付けられた任意のパラメータを含むことができる。
本開示において、「学習」は、少なくとも一つのパッチ及びラベル情報を利用して、機械学習モデルと関連付けられた加重値を変更する任意の過程を称することができる。一実施例によれば、学習は、少なくとも一つのパッチ及びラベル情報を利用して、機械学習モデルを１回以上の順方向伝搬（forward propagation）及び逆方向伝搬（backward propagation）により機械学習モデルと関連付けられた加重値を変更又はアップデートする過程を称することができる。
本開示において、「ラベル情報（label information）」は、データサンプルの正答情報であって、アノテーション作業の結果として獲得された情報である。ラベル又はラベル情報は、当該技術分野においてアノテーションやタグなどの用語と混用されることができる。本開示において、「アノテーション（annotation）」は、アノテーション作業及び／又はアノテーション作業の遂行によって決定されたアノテーション情報（例えば、ラベル情報など）を称することができる。本開示において、「アノテーション情報」は、アノテーション作業のための情報及び／又はアノテーション作業で生成された情報（例えば、ラベル情報）を称することができる。
本開示において、「対象アイテム」は、病理スライドイメージ内において検出対象となるデータ／情報、イメージ領域及びオブジェクトなどを称することができる。一実施例によれば、対象アイテムは、疾病（例えば、癌）の診断、治療及び予防などのために、病理スライドイメージから検出しようとする対象を含むことができる。例えば、「対象アイテム」は、細胞単位の対象アイテム及び領域単位の対象アイテムを含むことができる。
本開示において、「病理スライドの少なくとも一部領域の免疫表現型」は、病理スライドの少なくとも一部領域内の免疫細胞の数、分布及び密度の少なくとも一つに基づいて決定できる。このような免疫表現型は、多様な分類方式により表示できるが、例えば、免疫表現型は、免疫活性（immune inflamed）、免疫排除（immune excluded）及び免疫欠乏（immune desert）として示される。
本開示において、「免疫表現型と関連付けられた情報」は、免疫表現型を表したり特徴化したりする任意の情報を含むことができる。一実施例によれば、免疫表現型と関連付けられた情報は免疫表現型の特徴量を含むことができる。ここで、免疫表現型の特徴量は、免疫表現型（例えば、免疫活性、免疫排除、免疫欠乏）に対応するクラスに該当するスコア（score）値（分流器のクラス別のスコア又は密度値）及び／又は分流器に入力されるフィーチャ（feature）などのように免疫表現型と関連付けられた各種ベクトルなどを含むことができる。例えば、免疫表現型と関連付けられた情報は、１）人工神経網や機械学習モデルから出力される免疫表現型と関連付けられたスコア値、２）免疫表現型に対する閾値（又はカットオフ（cut-off））に適用される免疫細胞の密度値、個数、各種統計値、或いは免疫細胞の分布を表現するベクトル値など、３）免疫細胞又は癌細胞及び他の細胞の種類（癌細胞、免疫細胞、Ｆｉｂｒｏｂｌａｓｔ、Ｌｙｍｐｈｏｃｙｔｅ、ｐｌａｓｍａ ｃｅｌｌ、Ｍａｃｒｏｐｈａｇｅ、Ｅｎｄｏｔｈｅｌｉａｌ ｃｅｌｌなど）別の相対的な関係（例：方向及び距離を考慮したヒストグラムベクトルやグラフ表現ベクトルなど）や、相対的な統計値（例：他の細胞数対免疫細胞数の比率など）を含むスカラー値やベクトル値など、４）免疫細胞及び癌細胞と周辺領域の種類（例：癌領域、癌ストロマ領域、Ｔｅｒｔｉａｒｙ ｌｙｍｐｈｏｉｄ ｓｔｒｕｃｔｕｒｅ、Ｎｏｒｍａｌ ｒｅｇｉｏｎ、Ｎｅｃｒｏｓｉｓ、Ｆａｔ、Ｂｌｏｏｄ ｖｅｓｓｅｌ、Ｈｉｇｈ ｅｎｄｏｔｈｅｌｉａｌ ｖｅｎｕｌｅ、Ｌｙｍｐｈａｔｉｃ ｖｅｓｓｅｌ、Ｎｅｒｖｅなど）別の統計値（例：癌ストロマ領域対免疫細胞数の比率など）や、分布（例：ヒストグラムベクトルやグラフ表現ベクトルなど）を含むスカラー値やベクトル値などを含むことができる。
本開示において、「複数のＡ各々」及び／又は「複数のＡの各々」は、複数のＡに含まれた全ての構成要素の各々を称したり、複数のＡに含まれた一部の構成要素の各々を称したりできる。例えば、複数の関心領域の各々は、複数の関心領域に含まれた全ての関心領域の各々を称したり、複数の関心領域に含まれた一部の関心領域の各々を称したりできる。
本開示において、「インストラクション（instruction）」は、機能に基づいて組み合わせた一つ以上の命令語であって、コンピュータプログラムの構成要素であると同時に、プロセッサにより実行されるものを称することができる。
本開示において、「ユーザ」は、ユーザ端末を利用する者を称することができる。例えば、ユーザは、アノテーション作業を遂行するユーザ（annotator）を含むことができる。他の例として、ユーザは、免疫抗癌剤に対する反応予測結果（例えば、患者が免疫抗癌剤に反応するか否かに対する予測結果）が提供される医者や患者などを含むことができる。また、ユーザはユーザ端末を称することができ、反対に、ユーザ端末はユーザを称することができる。すなわち、ユーザ及びユーザ端末は本明細書で混用されることができる。
図１は、本開示の一実施例に係る情報処理システム１００が免疫抗癌剤に対する反応予測結果を提供するシステムを示す例示的構成図である。図に示すように、免疫抗癌剤に対する反応予測結果（例えば、患者が免疫抗癌剤に反応するか否かに対する予測結果）を提供するシステムは、情報処理システム１００、ユーザ端末１１０及び保存システム１２０を含むことができる。ここで、情報処理システム１００は、ユーザ端末１１０及び保存システム１２０の各々と連結されて通信可能であるように構成できる。図１では、一つのユーザ端末１１０を示しているが、これに限定されず、複数のユーザ端末１１０が情報処理システム１００と連結されて通信するように構成できる。また、図１では、情報処理システム１００を一つのコンピュータ装置として示しているが、これに限定されず、情報処理システム１００は、複数のコンピュータ装置を介して情報及び／又はデータを分散処理するように構成できる。また、図１では、保存システム１２０を一つの装置として示しているが、これに限定されず、複数の保存装置として構成されたり、クラウド（cloud）を支援するシステムとして構成されたりできる。また、図１では、免疫抗癌剤に対する反応予測結果を提供するシステムの各々の構成要素は、機能的に区分される機能要素を示すもので、複数の構成要素が実際の物理的環境において互いに統合される形態で具現化され得る。
情報処理システム１００及びユーザ端末１１０は、免疫抗癌剤に対する反応を予測結果として生成して提供するのに利用される任意のコンピュータ装置である。ここで、コンピュータ装置は、コンピュータの機能が具備された任意の種類の装置を称することができ、例えば、ノートブック、デスクトップ（desktop）、ラップトップ（laptop）、サーバ、クラウドシステムなどになり得るが、これに限定されるものではない。
情報処理システム１００は、第１の病理スライドイメージを受信できる。例えば、情報処理システム１００は、保存システム１２０から第１の病理スライドイメージを受信できる。他の例として、情報処理システム１００は、ユーザ端末１１０から第１の病理スライドイメージを受信できる。情報処理システム１００は、受信された第１の病理スライドイメージを用いて、第１の病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するように構成できる。
一実施例において、情報処理システム１００は、第１の病理スライドイメージ内において一つ以上の対象アイテムを検出できる。例えば、情報処理システム１００は、人工神経網対象アイテム検出モデルを利用して、第１の病理スライドイメージ内において一つ以上の対象アイテムを検出できる。ここで、人工神経網対象アイテム検出モデルは、参照病理スライドイメージから一つ以上の参照対象アイテムを検出するように学習されたモデルに該当できる。ここで、一つ以上の対象アイテムは、癌と関連付けられたアイテム及び免疫細胞を含むことができる。また、癌と関連付けられたアイテムは癌領域（cancer area）及び癌ストロマ（cancer stroma）を含むことができる。本明細書において、癌領域（cancer area）は癌基質（cancer epithelium）と混用されることができる。
情報処理システム１００は、一つ以上の対象アイテムに対する検出結果に基づいて、病理スライドイメージ内の少なくとも一部領域の免疫表現型（immune phenotype）又は免疫表現型と関連付けられた情報の少なくとも一つを決定できる。一実施例において、情報処理システム１００は、病理スライドイメージ内の少なくとも一部領域内において、癌と関連付けられたアイテム内の免疫細胞の数、分布又は密度の少なくとも一つを算出し、算出された免疫細胞の数、分布又は密度の少なくとも一つに基づいて、病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定できる。例えば、情報処理システム１００は、病理スライドイメージ内の少なくとも一部領域内において、癌領域内の免疫細胞の密度及び癌ストロマ内の免疫細胞の密度を算出し、癌領域内の免疫細胞の密度又は癌ストロマ内の免疫細胞の密度の少なくとも一つに基づいて、病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定できる。
このとき、癌領域内の免疫細胞の密度が第１の閾密度以上である場合、病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫活性（immune inflamed）として決定できる。また、癌領域内の免疫細胞の密度が第１の閾密度未満であると同時に、癌ストロマ内の免疫細胞の密度が第２の閾密度以上である場合、病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫排除（immune excluded）として決定できる。また、癌領域内の免疫細胞の密度が第１の閾密度未満であると同時に、癌ストロマ内の免疫細胞の密度が第２の閾密度未満である場合、病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫欠乏（Immune desert）として決定できる。ここで、第１の閾密度は、複数の病理スライドイメージ内の複数の関心領域の各々において、癌領域内の免疫細胞の密度の分布に基づいて決定され、第２の閾密度は、複数の病理スライドイメージ内の複数の関心領域の各々において、癌ストロマ内の免疫細胞の密度の分布に基づいて決定される。付加的又は代替的に、情報処理システム１００は、癌領域内の特定領域内に含まれた免疫細胞の数に基づいて、一つ以上の関心領域の免疫表現型を免疫活性、免疫排除又は免疫欠乏の一つとして決定できる。
他の実施例において、情報処理システム１００は、人工神経網免疫表現型分類モデルに、病理スライドイメージ内の少なくとも一部領域に対するフィーチ（feature）又は病理スライドイメージ内の少なくとも一部領域を入力することで、病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定できる。ここで、人工神経網免疫表現型分類モデルは、参照病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は参照病理スライドイメージ内の少なくとも一部領域が入力されることで、病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するように学習されたモデルに該当できる。ここで、病理スライドイメージ内の少なくとも一部領域に対するフィーチャは、病理スライドイメージ内の少なくとも一部領域の一つ以上の対象アイテムに対する統計的なフィーチャ、一つ以上の対象アイテムに対する幾何学的なフィーチャ又は病理スライドイメージ内の少なくとも一部領域に対応するイメージフィーチャの少なくとも一つを含むことができる。また、人工神経網免疫表現型分類モデルに入力される病理スライドイメージ内の少なくとも一部領域は、Ｈ＆Ｅ染色されたイメージ内の少なくとも一部領域、ＩＨＣ染色されたイメージ内の少なくとも一部領域、Ｍｕｌｔｉｐｌｅｘ ＩＨＣ染色されたイメージ内の少なくとも一部領域などを含むことのできるが、これに限定されるものではない。
情報処理システム１００は、病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つに基づいて、第１の病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。一実施例において、情報処理システム１００は、第１の病理スライドイメージの複数の関心領域の各々に対する免疫表現型に基づいて、第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型（すなわち、代表免疫表現型）を決定できる。情報処理システム１００は、このように決定された第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。
他の実施例において、情報処理システム１００は、病理スライドイメージ内の少なくとも一部領域の免疫表現型を利用して、病理スライドイメージ内の少なくとも一部領域に対する免疫表現型マップ（immune phenotype map）を生成し、免疫抗癌剤反応予測モデルに生成された免疫表現型マップを入力することで、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。ここで、免疫抗癌剤反応予測モデルは、参照免疫表現型マップが入力されることで、参照予測結果を生成するように学習された統計モデル（statistical model）及び／又は人工神経網モデルを含むことができる。
また他の実施例において、情報処理システム１００は、患者と関連付けられた第２の病理スライドイメージからバイオマーカーの発現に関する情報を獲得し、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型及び免疫表現型と関連付けられた情報の少なくとも一つ及びバイオマーカーの発現に関する情報に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。ここで、バイオマーカーはＰＤ－Ｌ１であり得るが、これに限定されず、ＣＤ３、ＣＤ８、ＣＤ６８、ＦＯＸＰ３、ＣＤ２０、ＣＤ４、ＣＤ４５、ＣＤ１６３、以外に免疫細胞と関連付けられた多様なバイオマーカーを含むことができる。ここで、ＰＤ－Ｌ１の発現に関する情報は、ＴＰＳ（Tumor Proportion Score）又はＣＰＳ（Combined Proportion Score）の少なくとも一つを含むことができる。例えば、情報処理システム１００は、第２の病理スライドイメージを受信して、人工神経網発現情報生成モデルに第２の病理スライドイメージを入力することで、バイオマーカーの発現に関する情報を生成できる。例えば、情報処理システム１００は、人工神経網発現情報生成モデルを利用して、第２の病理スライドイメージ内の少なくとも一部領域に存在する細胞（腫瘍細胞、リンパ球、マクロファージなど）の位置、前記細胞等のバイオマーカーの発現可否、バイオマーカー陽性細胞の数、バイオマーカー陽性細胞の量に対するスコアの少なくとも一つを検出することで、バイオマーカーの発現に関する情報を生成できる。ここで、人工神経網発現情報生成モデルは、参照病理スライドイメージが入力されることで、バイオマーカーの発現に関する参照情報を生成するように学習されたモデルに該当できる。
例えば、情報処理システム１００は、第２の病理スライドイメージを受信し、人工神経網発現情報生成モデルに第２の病理スライドイメージを入力することで、ＰＤ－Ｌ１の発現に関する情報を生成できる。例えば、情報処理システム１００は、人工神経網発現情報生成モデルを利用して、第２の病理スライドイメージ内の少なくとも一部領域の腫瘍細胞の位置、リンパ球の位置、マクロファージの位置又はＰＤ－Ｌ１の発現可否の少なくとも一つを検出することで、ＰＤ－Ｌ１の発現に関する情報を生成できる。ここで、人工神経網発現情報生成モデルは、参照病理スライドイメージが入力されることで、ＰＤ－Ｌ１の発現に関する参照情報を生成するように学習されたモデルに該当できる。
情報処理システム１００は、ユーザ端末１１０を介して一つ以上の対象アイテムに対する検出結果、病理スライドイメージ内の少なくとも一部領域の免疫表現型、免疫表現型と関連付けられた情報、患者が免疫抗癌剤に反応するか否かに対する予測結果又は病理スライドイメージ内の少なくとも一部領域内の免疫細胞の密度の少なくとも一つを出力できる。すなわち、ユーザ１３０（例えば、医者や患者など）には、免疫抗癌剤に対する反応を予測する過程で生成される結果がユーザ端末１１０を介して提供される。付加的又は代替的に、情報処理システム１００は、患者が免疫抗癌剤に反応するか否かに対する予測結果に基づいて、複数の免疫抗癌剤のうち、患者に適合した少なくとも一つの免疫抗癌剤に関する情報をユーザ端末１１０を介して出力できる。
保存システム１２０は、免疫抗癌剤に対する反応予測結果を提供するための、対象患者と関連付けられた病理スライドイメージ、機械学習モデルと関連付けられた各種データを保存して管理する装置又はクラウドシステムである。データを効率よく管理するために、保存システム１２０は、データベースを用いて各種データを保存して管理できる。ここで、各種データは、機械学習モデルと関連付けられた任意のデータを含むことができ、例えば、目的データのファイル、目的データのメタ情報、アノテーション作業結果である目的データに関するラベル情報、アノテーション作業に関するデータ、機械学習モデル（例：人工神経網モデル）などを含むことができるが、これに限定されるものではない。図１では、情報処理システム１００及び保存システム１２０が別途のシステムとして示したが、これに限定されず、一つのシステムとして統合されて構成され得る。
全体的な免疫細胞等の分布に関する情報（例えば、癌細胞の内部にどれくらい免疫細胞が侵入しているかに対する様態など）が免疫抗癌剤の反応予測に重要な役割を果たすので、免疫抗癌剤に対する反応を予測する際に、Ｈ＆Ｅ染色された病理スライドイメージ（すなわち、Ｈ＆Ｅ染色された組織スライドイメージ）での多様な免疫細胞の分布に関する情報を使用できる。本開示の一部の実施例によれば、癌細胞の周辺の免疫環境を客観的に分析して、患者が免疫抗癌剤に反応するか否かに対する予測率を高めることができる。また、ＰＤ－Ｌ１の発現率を客観的に定量化でき、定量化したＰＤ－Ｌ１の発現率を利用して、患者が免疫抗癌剤に反応するか否かに対して予測できる。
図２は、本開示の一実施例に係る情報処理システム１００の内部構成を示すブロック図である。一実施例によれば、図に示すように、情報処理システム１００は、対象アイテム検出部２１０、関心領域決定部２２０、免疫表現型決定部２３０及び免疫抗癌剤の反応予測部２４０を含むことができる。図２では、情報処理システム１００の各々の構成要素は、機能的に区分される機能要素を示すもので、複数の構成要素が実際の物理的環境において互いに統合される形態で具現化できる。
対象アイテム検出部２１０は、病理スライドイメージ（例えば、Ｈ＆Ｅ染色された第１の病理スライドイメージ、ＩＨＣ染色された第２の病理スライドイメージなど）を受信し、受信された第１の病理スライドイメージ内において一つ以上の対象アイテムを検出できる。一実施例において、対象アイテム検出部２１０は、人工神経網対象アイテム検出モデルを利用して、第１の病理スライドイメージ内において一つ以上の対象アイテムを検出できる。例えば、対象アイテム検出部２１０は、第１の病理スライドイメージ内において、腫瘍細胞（tumor cell）、リンパ球（lymphocyte）、マクロファージ（macrophage）、樹状細胞（dendritic cell）、線維芽細胞（fibroblast）、内皮細胞（endothelial cell）、血管（blood vessel）、癌ストロマ（cancer stroma）、癌上皮（cancer epithelium）、癌領域（cancer area）、正常領域（normal area）（例えば、正常リンパ構造（normal lymph node architecture）領域）などを対象アイテムとして検出できる。
関心領域決定部２２０は、第１の病理スライドイメージ内において一つ以上の関心領域を決定できる。ここで、関心領域は、病理スライドイメージ内において一つ以上の対象アイテムが検出された領域を含むことができる。例えば、関心領域決定部２２０は、第１の病理スライドイメージを構成する複数のパッチのうち、一つ以上の対象アイテムを含むパッチを関心領域として決定できる。本開示において、関心領域決定部２２０が情報処理システム１００に含まれるように示しているが、これに限定されず、情報処理システム１００は関心領域を決定することなく、免疫表現型決定部２３０及び免疫抗癌剤の反応予測部２４０は第１の病理スライドイメージ内の少なくとも一部領域を処理できる。
免疫表現型決定部２３０は、一つ以上の対象アイテムに対する検出結果に基づいて、第１の病理スライドイメージ内の少なくとも一部領域（例：一つ以上の関心領域など）の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを判定できる。一実施例において、免疫表現型決定部２３０は、第１の病理スライドイメージ内の少なくとも一部領域内において、癌と関連付けられたアイテム内の免疫細胞の数、分布又は密度の少なくとも一つを算出し、算出された免疫細胞の数、分布又は密度の少なくとも一つに基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定できる。例えば、免疫表現型決定部２３０は、一つ以上の関心領域内において、癌領域内の免疫細胞の密度又は癌ストロマ内の免疫細胞の密度の少なくとも一つを算出し、これに基づいて、一つ以上の関心領域の免疫表現型及び／又は免疫表現型と関連付けられた情報を決定できる。さらに、免疫表現型決定部２３０は、癌領域内の特定領域内に含まれた免疫細胞の数に基づいて、一つ以上の関心領域の免疫表現型を免疫活性、免疫排除又は免疫欠乏の一つとして決定できる。
一実施例において、免疫表現型決定部２３０は、人工神経網免疫表現型分類モデルに、第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は第１の病理スライドイメージ内の少なくとも一部領域の少なくとも一つを入力することで、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型及び／又は免疫表現型と関連付けられた情報を決定できる。ここで、第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャは、第１の病理スライドイメージ内の少なくとも一部領域の一つ以上の対象アイテムに対する統計的なフィーチャ、一つ以上の対象アイテムに対する幾何学的なフィーチャ又は第１の病理スライドイメージ内の少なくとも一部領域に対応するイメージフィーチャの少なくとも一つを含むことができる。付加的又は代替的に、第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャは、前述した統計的なフィーチャ、幾何学的なフィーチャ及びイメージフィーチャの２つ以上のフィーチャが融合されたフィーチャを含むことができる。
免疫抗癌剤の反応予測部２４０は、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型及び／又は免疫表現型と関連付けられた情報に基づいて、第１の病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。
一実施例において、免疫抗癌剤の反応予測部２４０は、第１の病理スライドイメージの複数の関心領域の各々の免疫表現型に基づいて、第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型を決定し、第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。他の実施例において、免疫抗癌剤の反応予測部２４０は、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型を利用して、第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型マップを生成し、免疫抗癌剤反応予測モデルに生成された免疫表現型マップを入力することで、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。
ここで、免疫表現型マップは、第１の病理スライドイメージ内の少なくとも一部領域が３つの免疫表現型の一つに分類されることにより生成された関心領域の集合を称することができる。例えば、免疫表現型マップは、複数の関心領域の各々の免疫表現型が病理スライドイメージに表示されたマップを称することができる。付加的又は代替的に、免疫表現型マップは、３つの免疫表現型と関連付けられた情報（例えば、人工神経網免疫表現型分類モデルから出力される免疫表現型に対するスコア、免疫表現型に対する閾値（又はカットオフ（cut-off））に適用される免疫細胞の密度値など）をさらに含む免疫表現型特徴マップ（immune phenotype feature map）を含むことができる。
また他の実施例において、免疫抗癌剤の反応予測部２４０は、患者と関連付けられた第２の病理スライドイメージ（例えば、第１の病理スライドイメージと対応する領域のＩＨＣ染色された病理スライドイメージ）からバイオマーカー（例：ＰＤ－Ｌ１など）の発現に関する情報を獲得できる。このとき、免疫抗癌剤の反応予測部２４０は、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つ及びバイオマーカーの発現に関する情報に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。ここで、バイオマーカーの発現に関する情報は、第２の病理スライドイメージを人工神経網発現情報生成モデルに入力することにより生成できる。
図２において、情報処理システム１００は、対象アイテム検出部２１０、関心領域決定部２２０、免疫表現型決定部２３０及び免疫抗癌剤の反応予測部２４０からなるが、これに限定されず、一部の構成を省略したり他の構成を追加したりできる。一実施例において、情報処理システム１００は、出力部（図示せず）をさらに含み、出力部は、一つ以上の対象アイテムに対する検出結果、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型、免疫表現型と関連付けられた情報、患者が免疫抗癌剤に反応するか否かに対する予測結果又は一つ以上の関心領域内の免疫細胞の密度の少なくとも一つを出力できる。例えば、出力部は、複数の免疫抗癌剤のうち、患者に適合した少なくとも一つの免疫抗癌剤に関する情報を出力できる。
図３は、本開示の一実施例に係る免疫抗癌剤に対する反応を予測する方法３００を示すフローチャートである。一実施例において、免疫抗癌剤に対する反応を予測する方法３００は、プロセッサ（例えば、情報処理システムの少なくとも一つのプロセッサ）により遂行できる。免疫抗癌剤に対する反応を予測する方法３００は、プロセッサが第１の病理スライドイメージを受信することにより開始することができる（Ｓ３１０）。プロセッサは、第１の病理スライドイメージ内において一つ以上の対象アイテムを検出できる（Ｓ３２０）。例えば、プロセッサは、人工神経網対象アイテム検出モデルを利用して、第１の病理スライドイメージ内において一つ以上の対象アイテムを検出できる。
続いて、プロセッサは、一つ以上の対象アイテムに対する検出結果に基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定できる（Ｓ３３０）。ここで、第１の病理スライドイメージ内の少なくとも一部領域は一つ以上の対象アイテムを含むことができ、一つ以上の対象アイテムは癌と関連付けられたアイテム及び免疫細胞を含むことができる。例えば、プロセッサは、第１の病理スライドイメージ内の少なくとも一部領域内において、癌と関連付けられたアイテム内の免疫細胞の数、分布又は密度の少なくとも一つを算出し、算出された免疫細胞の数、分布又は密度の少なくとも一つに基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型及び／又は免疫表現型と関連付けられた情報を決定できる。
プロセッサは、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つに基づいて、第１の病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる（Ｓ３４０）。一実施例において、プロセッサは、第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。他の実施例において、プロセッサは、第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型マップを免疫抗癌剤反応予測モデルに入力することで、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。また他の実施例において、プロセッサは、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型と関連付けられた情報を利用して、第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型特徴マップを生成し、免疫抗癌剤反応予測モデルに生成された免疫表現型特徴マップを入力することで、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。
また他の実施例において、プロセッサは、患者と関連付けられた第２の病理スライドイメージからバイオマーカーの発現に関する情報を獲得し、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型及びバイオマーカーの発現に関する情報に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。このために、プロセッサは、患者と関連付けられた第２の病理スライドイメージを受信し、人工神経網発現情報生成モデルに第２の病理スライドイメージを入力することで、バイオマーカーの発現に関する情報を生成できる。ここで、第２の病理スライドイメージは第１の病理スライドイメージと対応する領域に対する病理スライドイメージに該当できる。
図４は、本開示の一実施例に係る病理スライドイメージ内において対象アイテムを検出し、関心領域を決定し、関心領域の免疫表現型を判定する例を示す図である。患者が免疫抗癌剤に反応するか否かに対して予測するために、ユーザ（例えば、医者や研究員など）は、患者の組織（例えば、治療直前の組織など）を獲得し、一つ以上の病理スライドイメージを生成できる。例えば、ユーザは、獲得された患者の組織に対してＨ＆Ｅ染色し、Ｈ＆Ｅ染色された組織スライドをスキャナーによりデジタル化することで、病理スライドイメージ（例えば、第１の病理スライドイメージ）を生成できる。他の例として、ユーザは、獲得された患者の組織に対してＩＨＣ染色し、ＩＨＣ染色された組織スライドをスキャナーによりデジタル化することで、病理スライドイメージ（例えば、第２の病理スライドイメージ）を生成できる。
プロセッサ（例えば、情報処理システムの少なくとも一つのプロセッサ）は、人工神経網対象アイテム検出モデルを利用して、病理スライドイメージ（例えば、デジタル化したＨ＆Ｅ組織映像（Whole slide image））から多様な対象アイテムを検出できる（Ｓ４１０）。ここで、人工神経網対象アイテム検出モデルは、参照病理スライドイメージから一つ以上の参照対象アイテムを検出するように学習されたモデルに該当できる。例えば、プロセッサは、細胞単位の対象アイテムとして、腫瘍細胞（tumor cell）、リンパ球（lymphocyte）、マクロファージ（macrophage）、樹状細胞（dendritic cell）、線維雅細胞（fibroblast）、内皮細胞（endothelial cell）などを検出できる。付加的又は代替的に、プロセッサは、領域単位の対象アイテムとして、癌ストロマ（cancer stroma）、癌上皮（cancer epithelium）、癌領域（cancer area）、正常領域（normal area）（例えば、正常リンパ構造（normal lymph node architecture）を含む領域）などを検出できる。
一実施例において、プロセッサは、細胞単位の対象アイテムを検出するように学習された人工神経網モデルを利用して、病理スライドイメージ内において細胞単位の対象アイテムを検出できる。付加的又は代替的に、プロセッサは、領域単位の対象アイテムを検出するように学習された人工神経網モデルを利用して、病理スライドイメージ内において領域単位の対象アイテムを検出できる。すなわち、細胞単位の対象アイテムを検出する人工神経網モデル及び領域単位の対象アイテムを検出する人工神経網モデルは、互いに別個のモデルであり得る。これとは異なり、プロセッサは、細胞単位の対象アイテム及び領域単位の対象アイテムを同時に検出するように学習された人工神経網モデルを利用して、病理スライドイメージ内において細胞単位の対象アイテム及び／又は領域単位の対象アイテムを検出できる。すなわち、一つの人工神経網モデルを利用して、細胞単位の対象アイテム及び領域単位の対象アイテムを全部検出できる。
細胞単位の対象アイテム検出結果及び領域単位の対象アイテム検出結果は、互いに補完されることができる。一実施例において、プロセッサは、腫瘍細胞に対する検出結果（すなわち、細胞単位の対象アイテム検出結果）に基づいて、病理スライドイメージ内において癌領域（すなわち、領域単位の対象アイテム検出結果）を推定したり、推定された癌領域を修正又は変更したりできる。これとは反対に、プロセッサは、癌領域に対する検出結果（すなわち、領域単位の対象アイテム検出結果）に基づいて、病理スライドイメージ内において腫瘍細胞（すなわち、細胞単位の対象アイテム検出結果）を推定したり、推定された腫瘍細胞を修正又は変更したりできる。すなわち、癌領域は領域単位の対象アイテムに該当し、腫瘍細胞は細胞単位の対象アイテムに該当するという差があるが、腫瘍細胞が含まれた領域は結局癌領域に該当するので、細胞単位の対象アイテム検出結果及び領域単位の対象アイテム検出結果は、互いに補完されることができる。
例えば、領域単位の対象アイテムを検出する場合、細部的な細胞単位の対象アイテム（すなわち、腫瘍細胞）の検出が抜ける等のような検出エラーを発生させるが、プロセッサは、癌領域として検出された領域の細胞等が実際の腫瘍細胞として検出されたか否かによって検出結果を補完できる。また、反対に、腫瘍細胞として検出された領域が癌領域として検出されたか否かによって検出結果を補完できる。このように、プロセッサは、細胞単位の対象アイテム検出結果及び領域単位の対象アイテム検出結果を利用して、互いに長短所を補完でき、検出結果のエラーを最小化できる。
プロセッサは、病理スライドイメージ（例えば、Ｈ＆Ｅ染色された全体スライドイメージ）内において、癌領域（例えば、癌基質）、癌ストロマ及び／又は腫瘍細胞を含む癌と関連付けられたアイテム及び免疫細胞を検出できる（Ｓ４１０）。続いて、プロセッサは、病理スライドイメージ内において一つ以上の関心領域を決定できる（Ｓ４２０）。例えば、プロセッサは、病理スライドイメージがＮ ｇｒｉｄｓ（ここで、Ｎは任意の自然数）に分割されることにより生成された複数のパッチ（例えば、１ｍｍ２の大きさのパッチ）のうち、少なくとも一部のパッチ（例えば、癌と関連付けられたアイテム及び／又は免疫細胞が検出されたパッチ）を関心領域（例：病理スライドイメージ内の少なくとも一部領域）として決定できる。
プロセッサは、一つ以上の関心領域での癌と関連付けられたアイテム及び／又は免疫細胞検出結果に基づいて、一つ以上の関心領域の免疫表現型を判定できる（Ｓ４３０）。ここで、一つ以上の関心領域は複数のピクセルを含むことができ、一つ以上の関心領域での癌と関連付けられたアイテム及び／又は免疫細胞検出結果は、一つ以上の関心領域に含まれた複数のピクセルの各々での癌と関連付けられたアイテム及び／又は免疫細胞の各々に対する予測値を含むことができる。一実施例において、プロセッサは、一つ以上の関心領域内において、癌と関連付けられたアイテム内の免疫細胞の数、分布又は密度の少なくとも一つを算出し、算出された免疫細胞の数、分布又は密度の少なくとも一つに基づいて、一つ以上の関心領域の免疫表現型を決定できる。例えば、プロセッサは、一つ以上の関心領域内において、癌領域内の免疫細胞（Lymphocyte in Tumor area）の密度及び癌ストロマ内の免疫細胞（Lymphocyte in Stroma area）の密度を算出し、癌領域内の免疫細胞の密度又は癌ストロマ内の免疫細胞の密度の少なくとも一つに基づいて、一つ以上の関心領域の免疫表現型を決定できる。さらに、プロセッサは、癌領域内の特定領域内に含まれた免疫細胞の数を参考にして、一つ以上の関心領域の免疫表現型を免疫活性、免疫排除又は免疫欠乏の一つとして決定できる。
図４に示すように、癌領域内の免疫細胞の密度が第１の閾密度以上である場合、一つ以上の関心領域の免疫表現型は免疫活性（immune inflamed）として決定できる。また、癌領域内の免疫細胞の密度が第１の閾密度未満であると同時に、癌ストロマ内の免疫細胞の密度が第２の閾密度以上である場合、一つ以上の関心領域の免疫表現型は免疫排除（immune excluded）として決定できる。また、癌領域内の免疫細胞の密度が第１の閾密度未満であると同時に、癌ストロマ内の免疫細胞の密度が第２の閾密度未満である場合、一つ以上の関心領域の免疫表現型は免疫欠乏（Immune desert）として決定できる。
ここで、第１の閾密度は、複数の病理スライドイメージ内の複数の関心領域の各々において、癌領域内の免疫細胞の密度の分布に基づいて決定できる。これと類似するように、第２の閾密度は、複数の病理スライドイメージ内の複数の関心領域の各々において、癌ストロマ内の免疫細胞の密度の分布に基づいて決定できる。例えば、第１の閾密度は、複数の病理スライドイメージの関心領域の各々において、癌領域内の免疫細胞の密度に対する分布から上位Ｘ％（ここで、Ｘは０から１００間の数）の密度値に該当できる。これと同様に、第２の閾密度は、複数の病理スライドイメージの関心領域の各々において、癌ストロマ内の免疫細胞に対する密度の分布から上位Ｙ％（ここで、Ｙは０から１００間の数）の密度値に該当できる。Ｘ及び／又はＹの値は、従来技術に係る生物学的（biological）基準又は任意の基準により決定できる。
このような第１の閾密度及び第２の閾密度は互いに同一又は異なることができる。また、第１の閾密度又は第２の閾密度は各々２以上の閾密度を含むことができる。一実施例において、第１の閾密度又は第２の閾密度は、上位領域に対する閾密度及び下位領域に対する閾密度を含むことができる。例えば、癌領域内の免疫細胞の密度が第１の閾密度のうち、上位領域に対する閾密度以上である場合は、癌領域内の免疫細胞の密度が第１の閾密度以上であるケースに該当できる。また、癌領域内の免疫細胞の密度が第１の閾密度のうち、下位領域に対する閾密度未満である場合は、癌領域内の免疫細胞の密度が第１の閾密度未満であるケースに該当できる。
図４では、関心領域の免疫表現型判定（Ｓ４３０）を生成するものを示しているが、これに限定されず、免疫表現型と関連付けられた情報を生成することもできる。免疫表現型と関連付けられた情報を生成するために、プロセッサは、免疫表現型を判定するのに使用された前述の要素などを使用できる。例えば、このような要素は、癌と関連付けられたアイテム内の免疫細胞の数、分布又は密度の少なくとも一つを含むことができる。
図５は、本開示の一実施例に係る免疫表現型判定結果５４０を生成する例を示す図である。一実施例において、プロセッサ（例えば、情報処理システムの少なくとも一つのプロセッサ）は、人工神経網免疫表現型分類モデル５３０に第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャを入力することで、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型を判定できる。ここで、人工神経網免疫表現型分類モデル５３０は、参照病理スライドイメージ内の少なくとも一部領域に対するフィーチャが入力されることで、参照病理スライドイメージ内の少なくとも一部領域の免疫表現型を免疫活性、免疫排除又は免疫欠乏の一つとして判定するように学習された分流器に該当できる。
ここで、第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャは、第１の病理スライドイメージ内の少なくとも一部領域の一つ以上の対象アイテムに対する統計的なフィーチャ（例：第１の病理スライドイメージ内の少なくとも一部領域での特定対象アイテムの密度や数など）、一つ以上の対象アイテムに対する幾何学的なフィーチャ（例：特定対象アイテム等間の相対的な位置情報を含むフィーチャなど）及び／又は第１の病理スライドイメージ内の少なくとも一部領域に対応するイメージフィーチャ（例：第１の病理スライドイメージ内の少なくとも一部領域に含まれた複数のピクセルから抽出されたフィーチャ、第１の病理スライドイメージ内の少なくとも一部領域に対応するイメージベクトルなど）などを含むことができる。付加的又は代替的に、第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャは、第１の病理スライドイメージ内の少なくとも一部領域の一つ以上の対象アイテムに対する統計的なフィーチャ、一つ以上の対象アイテムに対する幾何学的なフィーチャ又は第１の病理スライドイメージ内の少なくとも一部領域に対応するイメージフィーチャのうち、２つ以上のフィーチャを連結したフィーチャを含むことができる。
情報処理システムの免疫表現型決定部２３０は、第１の病理スライドイメージ内の少なくとも一部領域５１０の入力を受け付け、第１の病理スライドイメージ内の少なくとも一部領域５１０の免疫表現型を判定できる。ここで、免疫表現型決定部２３０に入力される第１の病理スライドイメージ内の少なくとも一部領域５１０は、第１の病理スライドイメージ内の少なくとも一部領域５１０での対象アイテムに対する検出結果を含むことができる。図に示すように、免疫表現型決定部２３０のフィーチャ抽出部５２０は、第１の病理スライドイメージ内の少なくとも一部領域５１０を受信し、第１の病理スライドイメージ内の少なくとも一部領域５１０の各々に対するフィーチャを抽出し、人工神経網免疫表現型分類モデル５３０に入力できる。これにより、人工神経網免疫表現型分類モデル５３０は、第１の病理スライドイメージ内の少なくとも一部領域５１０の各々の免疫表現型を判定して、免疫表現型判定結果５４０を出力できる。
図５では、フィーチャ抽出部５２０が免疫表現型決定部２３０に含まれ、免疫表現型決定部２３０が第１の病理スライドイメージ内の少なくとも一部領域５１０を受信するものと示したが、これに限定されるものではない。例えば、免疫表現型決定部２３０は、第１の病理スライドイメージ内の少なくとも一部領域５１０の各々に対するフィーチャそのままを受信して、人工神経網免疫表現型分類モデル５３０に入力することで、免疫表現型判定結果５４０を出力できる。
図５では、人工神経網免疫表現型分類モデル５３０が第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャの入力を受け付けるものと示したが、これに限定されず、第１の病理スライドイメージ内の少なくとも一部領域の入力を受け付けて処理するように構成されることもできる。付加的又は代替的に、人工神経網免疫表現型分類モデル５３０は、免疫表現型判定結果５４０だけでなく、免疫表現型と関連付けられた情報の少なくとも一つを出力するように構成できる。このような場合、人工神経網免疫表現型分類モデル５３０は、参照病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は参照病理スライドイメージ内の少なくとも一部領域が入力されることで、参照病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するように学習できる。
図６は、本開示の一実施例に係る免疫抗癌剤に対する反応予測結果６３０を生成する例を示す図である。プロセッサは、病理スライドイメージ（例えば、第１の病理スライドイメージ）内の複数の関心領域の各々に対して免疫表現型を判定できる。続いて、プロセッサは、複数の関心領域の各々の免疫表現型（すなわち、複数の関心領域の各々に対する免疫表現型）に基づいて、病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。例えば、プロセッサは、病理スライドイメージでの免疫表現型等の分布に基づいて、当該病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。
一実施例において、プロセッサは、複数の関心領域の各々の免疫表現型に基づいて、病理スライドイメージの全体領域内において最も多く含まれた免疫表現型を決定できる。続いて、プロセッサは、病理スライドイメージの全体領域内において最も多く含まれた免疫表現型に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。例えば、病理スライドイメージの全体領域内において最も多く含まれた免疫表現型が免疫活性である場合、プロセッサは、当該病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するもの（すなわち、患者はＲｅｓｐｏｎｄｅｒ）と予測できる。これとは異なり、病理スライドイメージの全体領域内において最も多く含まれた免疫表現型が免疫排除又は免疫欠乏である場合、プロセッサは、当該病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応しないもの（すなわち、患者はＮｏｎ－ｒｅｓｐｏｎｄｅｒ）と予測できる。
他の実施例において、プロセッサは、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型を利用して、第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型マップ６１０を生成できる。例えば、プロセッサは、第１の病理スライドイメージ内の少なくとも一部領域（例えば、複数の関心領域の各々）の免疫表現型に基づいて、複数の関心領域を分類することにより生成される集合を用いて免疫表現型マップを生成できる。ここで、免疫表現型マップは免疫表現型特徴マップを含むことができ、免疫表現型特徴マップは、関心領域の免疫表現型だけでなく、これと関連付けられた情報をさらに含むことができる。例えば、プロセッサは、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型、免疫表現型別スコア（例えば、人工神経網免疫表現型分類モデルから出力されるスコアなど）、癌と関連付けられたアイテム内の免疫細胞の数、分布、密度（例えば、癌領域内の免疫細胞の密度又は癌ストロマ内の免疫細胞の密度など）に関する情報を含む免疫表現型特徴マップを生成できる。
その後、図に示すように、プロセッサは、免疫抗癌剤に対する反応予測モデル６２０に生成された免疫表現型マップ６１０を入力することで、患者が免疫抗癌剤に反応するか否かに対する予測結果６３０を生成できる。例えば、プロセッサは、免疫抗癌剤に対する反応予測モデル６２０に免疫表現型マップ６１０を入力することで、当該病理スライドイメージと関連付けられた患者をＲｅｓｐｏｎｄｅｒ又はＮｏｎ－ｒｅｓｐｏｎｄｅｒに分類できる。このとき、免疫抗癌剤に対する反応予測モデル６２０は、免疫表現型間の空間情報及び／又は位置情報などを考慮して、最終的に患者の反応性を予測できる。例えば、免疫抗癌剤に対する反応予測モデル６２０は、免疫表現型マップに基づいて、病理スライドイメージの少なくとも一つ以上のｇｌｏｂａｌ ｆｅａｔｕｒｅを取りまとめることができる。このために、免疫抗癌剤に対する反応予測モデル６２０は、免疫表現型マップに基づいて、グラフを形成したり、多様なｐｏｏｌｉｎｇ方法（例えば、ＲＮＮ、ＣＮＮ、単純ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ、ｓｕｍ ｐｏｏｌｉｎｇ、ｍａｘ ｐｏｏｌｉｎｇ、ｂａｇ－ｏｆ－ｗｏｒｄｓ／ＶＬＡＤ／Ｆｉｓｈｅｒなど）を使用したりするように構成できる。
ここで、免疫抗癌剤に対する反応予測モデル６２０は、参照免疫表現型マップが入力されることで、参照免疫抗癌剤の反応可否に対する予測結果を生成するように学習された、統計モデル及び／又は人工神経網モデルに該当できる。例えば、複数の患者の実際の治療結果に基づいて、ユーザ（例：医者など）がアノテーション作業を遂行することで、各患者の病理スライドイメージに対してＲｅｓｐｏｎｄｅｒ又はＮｏｎ－ｒｅｓｐｏｎｄｅｒにラベルを決定できる。その後、プロセッサは、各患者の病理スライドイメージ（又は各患者の病理スライドイメージに対する免疫表現型マップ）及びラベルを利用して、免疫抗癌剤に対する反応予測モデル６２０を学習できる。他の例として、プロセッサは、免疫表現型のグラフが入力されることで、Ｒｅｓｐｏｎｄｅｒ又はＮｏｎ－ｒｅｓｐｏｎｄｅｒに分類するように免疫抗癌剤に対する反応予測モデル６２０を学習できる。このために、プロセッサは、免疫表現型マップでの関心領域に対応する免疫表現型を表したり特徴化したりする免疫表現型のグラフに変換して生成できる。
他の実施例において、プロセッサは、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型と関連付けられた情報を利用して、第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型特徴マップを生成できる。その後、プロセッサは、免疫抗癌剤に対する反応予測モデル６２０に生成された免疫表現型特徴マップを入力することで、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。このとき、免疫抗癌剤に対する反応予測モデル６２０は、参照免疫表現型特徴マップが入力されることで、参照予測結果が生成されるように学習できる。
図７は、本開示の一実施例に係るバイオマーカーの発現に関する情報及び／又は免疫表現型情報の免疫抗癌剤の反応可否の予測性能を分析した結果を示す図である。プロセッサ（例えば、情報処理システムの少なくとも一つのプロセッサ）は、患者と関連付けられた病理スライドイメージ（例えば、第１の病理スライドイメージと対応する第２の病理スライドイメージ）からバイオマーカー（例：ＰＤ－Ｌ１）の発現に関する情報を獲得できる。このとき、プロセッサは、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型及びＰＤ－Ｌ１の発現に関する情報に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。ここで、ＰＤ－Ｌ１の発現に関する情報は、ＴＰＳ（Tumor Proportion Score）又はＣＰＳ（Combined Proportion Score）の少なくとも一つを含むことができる。さらに、プロセッサは、患者のＴＭＢ（Tumor Mutation Burden）数値、ＭＳＩ（Microsatellite instability）数値、ＨＲＤ（Homologous Recombination Deficiency）値などのような追加の患者データを獲得して、患者の免疫抗癌剤の反応可否を予測することもできる。
一実施例において、プロセッサは、第２の病理スライドイメージ（例えば、ＩＨＣ染色された病理スライドイメージ）を受信し、人工神経網発現情報生成モデルに第２の病理スライドイメージを入力することで、ＰＤ－Ｌ１の発現に関する情報を生成できる。例えば、プロセッサは、人工神経網発現情報生成モデルを利用して、第２の病理スライドイメージに含まれた第１の病理スライドイメージ内の少なくとも一部領域の腫瘍細胞の位置、リンパ球の位置、マクロファージの位置又はＰＤ－Ｌ１の発現可否の少なくとも一つを検出することで、ＰＤ－Ｌ１の発現に関する情報を生成できる。ここで、人工神経網発現情報生成モデルは、参照病理スライドイメージが入力されることで、ＰＤ－Ｌ１の発現に関する参照情報を生成するように学習されたモデルに該当できる。他の実施例において、プロセッサは、ユーザ（例えば、病理学者）が病理スライドイメージ（例えば、ＩＨＣ染色された病理スライドイメージ）から直接的に算出したＰＤ－Ｌ１の発現に関する情報を受信できる。
例えば、ＰＤ－Ｌ１の発現に関する情報のうち、ＴＰＳは次の数１の式によって算出できる。
Figure 2023523882000002
このように算出されたＴＰＳ値及びＴＰＳの基準値（カットオフ（cut-off）値）に基づいて、患者は一つ以上の群に分類できる。例えば、非小細胞肺癌に対し、ＴＰＳ＜１％である場合に患者は「ＰＤ－Ｌ１の発現がない群」、１％≦ＴＰＳ≦４９％である場合に患者は「ＰＤ－Ｌ１の発現がある群」、ＴＰＳ≧５０％である場合に患者は「ＰＤ－Ｌ１の発現が高い群」に分類できる。ＴＰＳの基準値は、前記値（１％、４９％、５０％）に限定されず、癌の種類やＰＤ－Ｌ１抗体の種類などによって異なることができる。
他の例として、ＰＤ－Ｌ１の発現に関する情報のうち、ＣＰＳは次の数２の式によって算出できる。このとき、ＣＰＳの最大上限値は１００であり、数２の式によって算出されたＣＰＳが１００より大きい場合、ＣＰＳは１００として決定できる。
Figure 2023523882000003
このように算出されたＣＰＳ値及びＣＰＳの基準値（カットオフ（cut-off）値）に基づいて、患者は一つ以上の群に分類できる。例えば、１０％をＣＰＳの基準値（カットオフ（cut-off）値）として、患者をＣＰＳ≧１０％、ＣＰＳ＜１０％である群に分類できるが、これに限定されず、癌の種類やＰＤ－Ｌ１抗体の種類などによってＣＰＳの基準値（カットオフ値）は異なることができる。
図示の表７１０は、免疫表現型（すなわち、代表免疫表現型）が免疫活性に分類された患者（表７１０においてｉｎｆｌａｍｅｄ）と、免疫非活性に分類された患者（表７１０においてｎｏｔ－ｉｎｆｌａｍｅｄ）との免疫抗癌剤の反応可否を比較した結果、ＰＤ－Ｌ１のＴＰＳが１％以上４９％以下である患者群と、５０％以上である患者群とから客観的反応率（overall response rate、ORR）及び無進行生存期間中央値（median progression-free survival、mPFS）が改善されたことを示す。したがって、プロセッサは、免疫表現型及びＰＤ－Ｌ１の発現に関する情報を共に利用して、患者が免疫抗癌剤に反応するか否かに対して有意味な予測結果を生成できる。表７１０において、Ｎは患者の数を表し、ＣＩはｃｏｎｆｉｄｅｎｃｅ ｉｎｔｅｒｖａｌを表し、ＨＲはｈａｚａｒｄ ｒａｔｉｏを表す。
また、図示のグラフ７２０は、免疫抗癌剤に対する反応可否（すなわち、患者が免疫抗癌剤に反応するか否か）を予測する際に、ＰＤ－Ｌ１のＴＰＳを利用する場合（すなわち、「ＰＤ－Ｌ１ ＴＰＳ」）、免疫表現型を利用する場合（すなわち、「Ｈ＆Ｅ」）、ＴＭＢを利用する場合（すなわち、「ＴＭＢ」）、前述した情報を全部利用する場合（すなわち、「Ｅｎｓｅｍｂｌｅ ｏｆ ｔｈｒｅｅ」）各々の特異度（Specificity）－敏感度（Sensitivity）に対するＲＯＣ（Receiver Operating Characteristic）ｃｕｒｖｅｓを示す。図示のグラフ７２０によれば、ＴＭＢのＡＵＲＯＣ（Area Unser ROC curve）は０．６４０４に算出され、ＰＤ－Ｌ１ ＴＰＳのＡＵＲＯＣは０．７７０５に算出され、Ｈ＆ＥのＡＵＲＯＣは０．７７１９に算出され、Ｅｎｓｅｍｂｌｅ ｏｆ ｔｈｒｅｅのＡＵＲＯＣは０．８８７４に算出される。すなわち、ＰＤ－Ｌ１の発現に関する情報（すなわち、ＰＤ－Ｌ１ ＴＰＳ及びＴＭＢ）及び免疫表現型（すなわち、Ｈ＆Ｅ）を全部利用して、免疫抗癌剤に対する反応可否を予測する場合の性能が、最も優れるという点が立証された。
図８は、本開示の一実施例に係る免疫表現型と、ＣＤ３－陽性細胞、ＣＤ８－陽性細胞、ＦＯＸＰ３－陽性細胞及びＣＤ６８－陽性細胞の発現に関する情報との間の連関性を示すグラフである。プロセッサ（例えば、情報処理システムの少なくとも一つのプロセッサ）は、病理スライドイメージの複数の関心領域の各々の免疫表現型に基づいて、活性スコア（Inflamed Score、IS）を算出できる。ここで、活性スコアは、病理スライドイメージの複数の関心領域のうち、免疫表現型が免疫活性として決定され、腫瘍を含む関心領域（例えば、病理スライドイメージを構成する１ｍｍ２の大きさの領域）の比率として定義できる。例えば、活性スコアは次の数３の式によって算出できる。
Figure 2023523882000004
 ここで、N of inflamed+excluded+desert gridsは病理スライドイメージの複数の関心領域の数を表し、N of the inflamed gridsは免疫表現型が免疫活性に該当する関心領域の数を表す。
活性スコアの基準値（cut-off）を２０％として、１０個の癌腫に対する患者（Ｎ（患者数）＝１，０１３）の免疫抗癌剤治療後の全体生存期間を比較した結果、肺癌だけでなく、黒色腫（melanoma）、頭頸部癌（head and neck cancer）でも、活性スコアが基準値以上に該当する患者に対し、免疫抗癌剤治療後の全体生存期間が長いという点が立証された。また、肺癌を含む（Ｎ＝５１９）場合又は除外（Ｎ＝４９４）した場合にも、活性スコアが高い患者であるほど、免疫抗癌剤治療に対する予後が好ましい傾向にある。
本実験において、免疫表現型に対する病理学的検証のために、患者のＨ＆Ｅ染色された病理スライドイメージを１ｍｍ２の複数のパッチに分割し、各パッチ内での癌領域のＴＩＬ（tumor-infiltrating lymphocyte）及び癌ストロマ（Cancer stroma）のＴＩＬを基準として免疫表現型を決定した。病理スライドイメージ内での複数のパッチの各々の免疫表現型に基づいて、代表免疫表現型（すなわち、病理スライドイメージで最も多い免疫表現型）を決定した。例えば、活性スコアが３３．３％以上である場合、当該病理スライドイメージの代表免疫表現型は免疫活性として決定できる。
次に、免疫抗癌剤により治療された非小細胞肺癌（ＮＳＣＬＣ）の組織に対してＭｕｌｔｉｐｌｅｘ ＩＨＣ染色を遂行し、バイオマーカーのＣＤ３、ＣＤ８、ＣＤ２０、ＣＤ６８、ＦＯＸＰ３、ＣＫ、ＤＡＰＩに対する染色を遂行した。正規化（normalized）した細胞の数は、陽性の細胞の全体数を病理スライドイメージのＤＡＰＩ－陽性細胞の数で除算して算出できる。例えば、正規化したＣＤ３－陽性細胞の数は、次の数４の式に基づいて算出できる。
Figure 2023523882000005
 ここで、Normalized CD3+は正規化したＣＤ３－陽性細胞の数を表し、N of CD3-positive cellsはＣＤ３－陽性細胞の数を表し、N of DAPI cellsはＤＡＰＩ細胞の数を表す。
図示のグラフ８１０、８２０、８３０、８４０は、前述したように、Ｈ＆Ｅ染色された病理スライドイメージから決定された免疫表現型（すなわち、代表免疫表現型）、及び、Ｍｕｌｔｉｐｌｅｘ ＩＨＣ分析により確認されたバイオマーカーの発現間の相関関係を示す。第１のグラフ８１０及び第２のグラフ８２０によれば、抗腫瘍活性の役割を果たす標準化したＣＤ３－陽性細胞及びＣＤ８－陽性細胞が、他の免疫表現型に比べて免疫活性に該当する病理スライドイメージ内に非常に豊富に現れる（ＣＤ３：ＦＣ（fold change）＝１．５７、Ｐ＝０．０１８２）（ＣＤ８：ＦＣ＝１．２４、Ｐ＝０．０６９７）。
反面、第３のグラフ８３０によれば、免疫抑制活性と関連付けられたＦＯＸＰ３－陽性細胞は、免疫排除に該当する病理スライドイメージで豊富に現れる（ＦＣ＝１．２６、Ｐ＝０．０６５６）。また、第４のグラフ８４０によれば、ＣＤ６８－陽性細胞は、免疫欠乏に該当する病理スライドイメージで豊富に現れる（ＦＣ＝１．７６、Ｐ＝０．００４６７）。これにより、プロセッサは、Ｈ＆Ｅ染色された病理スライドイメージから決定された免疫表現型に基づいて、患者が免疫抗癌剤に反応するか否かに対して有意味な予測結果を生成できる。
図９は、本開示の一実施例に係る患者が免疫抗癌剤に反応するか否かに対して予測する多様な方法の性能を示すグラフ９１０、９２０である。患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するために、プロセッサ（例えば、情報処理システムの少なくとも一つのプロセッサ）は、前述した実施例等により、患者の第１の病理スライドイメージ（例えば、Ｈ＆Ｅ染色された病理スライドイメージ）に対する免疫表現型を決定できる。ここで、病理スライドイメージに対する免疫表現型は、病理スライドイメージ内の一つ以上の関心領域の免疫表現型、病理スライドイメージ内に最も多く含まれた免疫表現型（すなわち、代表免疫表現型）、免疫表現型マップなどを称することができる。
付加的又は代替的に、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するために、プロセッサは、患者と関連付けられた第２の病理スライドイメージ（例えば、ＩＨＣ染色された病理スライドイメージ）からＰＤ－Ｌ１の発現に関する情報（例えば、ＴＰＳやＣＰＳ）を獲得できる。例えば、ＰＤ－Ｌ１の発現に関する情報はユーザが直接的に算出した情報に該当できる。他の例として、ＰＤ－Ｌ１の発現に関する情報は、プロセッサが人工神経網発現情報生成モデルを利用して、患者の第２の病理スライドイメージから生成した情報に該当できる。
一実施例において、プロセッサは、第２の病理スライドイメージを受信し、人工神経網発現情報生成モデルに第２の病理スライドイメージを入力することで、ＰＤ－Ｌ１の発現に関する情報を生成できる。付加的又は代替的に、プロセッサは、人工神経網発現情報生成モデルを利用して、第２の病理スライドイメージに含まれた第１の病理スライドイメージ内の少なくとも一部領域の腫瘍細胞の位置、リンパ球の位置、マクロファージの位置又はＰＤ－Ｌ１の発現可否の少なくとも一つを検出することで、ＰＤ－Ｌ１の発現に関する情報を生成できる。ここで、第２の病理スライドイメージは、第１の病理スライドイメージと同じ患者の同じ領域に対する病理スライドイメージを含むことができる。例えば、プロセッサは、ＩＨＣ染色された病理スライドイメージからインハウス制御組織（in-house control tissue）領域を除去し、患者の組織領域を一つ以上の関心領域に分け、人工神経網発現情報生成モデルを利用して、ＲＯＩから腫瘍細胞、リンパ球、マクロファージの位置及びＰＤ－Ｌ１の発現可否（例えば、ＰＤ－Ｌ１陰性、ＰＤ－Ｌ１陽性）を検出することで、ＴＰＳ及び／又はＣＰＳを算出できる。
ここで、人工神経網発現情報生成モデルは、参照病理スライドイメージが入力されることで、ＰＤ－Ｌ１の発現に関する参照情報を生成するように学習されたモデルであり得る。人工神経網発現情報生成モデルを生成／学習するために、プロセッサは、複数の学習病理スライドイメージ及び複数の学習病理スライドイメージに関するラベル情報（又はアノテーション情報）を受信できる。ここで、学習病理スライドイメージに関するラベル情報は、ユーザがアノテーション作業を遂行することにより生成されたものであり得る。
図示のＲＯＣ ｃｕｒｖｅグラフ９１０は、免疫抗癌剤に対する反応を予測する際に、人工神経網発現情報生成モデルを用いて算出されたＴＰＳを利用する場合（すなわち、「ＡＩ ＰＤ－Ｌ１ ＴＰＳ」）、人が直接的に算出したＴＰＳを利用する場合（すなわち、「Ｈｕｍａｎ ＰＤ－Ｌ１ ＴＰＳ」）、ＴＭＢを利用する場合（すなわち、「Ｔｕｍｏｒ Ｍｕｔａｔｉｏｎ Ｂｕｒｄｅｎ」）各々の特異度（Specificity）－敏感度（Sensitivity）に対するＲＯＣ ｃｕｒｖｅｓを示す。ＲＯＣ ｃｕｒｖｅグラフ９１０において、ＡＩ ＰＤ－Ｌ１ ＴＰＳのＡＵＲＯＣは０．７８４に算出され、Ｈｕｍａｎ ＰＤ－Ｌ１ ＴＰＳのＡＵＲＯＣは０．７６４に算出され、ＴＭＢのＡＵＲＯＣは０．７１０に算出されることができる。すなわち、免疫抗癌剤に対する反応を予測する際に、ＡＩ ＰＤ－Ｌ１ ＴＰＳが特異度（Specificity）－敏感度（Sensitivity）に対して最も優れた性能を有するという点が立証された。
一実施例において、プロセッサは、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型及びＰＤ－Ｌ１の発現に関する情報に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。具体的には、患者の免疫抗癌剤の反応可否を予測する際に、Ｈ＆Ｅ染色された病理スライドイメージ（例えば、第１の病理スライドイメージ）を通して決定された免疫表現型、及び、ＩＨＣ染色された病理スライドイメージ（例えば、第２の病理スライドイメージ）から獲得されたＰＤ－Ｌ１の発現に関する情報を各々利用する場合よりも、免疫表現型及びＰＤ－Ｌ１の発現に関する情報を共に利用する場合の性能が優れた。ここで、Ｈ＆Ｅ染色された病理スライドイメージを通して決定された免疫表現型は、病理スライドイメージの代表免疫表現型、一つ以上の関心領域の免疫表現型、免疫表現型マップなどを称することができる。
図示のＡＩ基盤のバイオマーカーの正確度の比較（Comparison of Accuracy rate of AI-powered Biomarker）グラフ９２０によれば、免疫抗癌剤に対する反応を予測する際に、人が直接的に算出したＰＤ－Ｌ１ ＴＰＳを利用する場合（「Ｈｕｍａｎ ＰＤ－Ｌ１ ＴＰＳ」）の正確度は約０．６８に該当し、ＴＭＢを利用する場合の正確度は約０．６９に該当し、免疫表現型を利用する場合（「ＡＩ Ｈ＆Ｅ」）の正確度は約０．７１５に該当し、人工神経網発現情報生成モデルを利用して算出されたＴＰＳを使用する場合（「ＡＩ ＰＤ－Ｌ１ ＴＰＳ」）の正確度は約０．７２に該当する。また、Ｈｕｍａｎ ＰＤ－Ｌ１ ＴＰＳ及びＡＩ ＰＤ－Ｌ１ ＴＰＳを共に使用する場合（「Ｈｕｍａｎ ＰＤ－Ｌ１ ＴＰＳ＋ＡＩ ＰＤ－Ｌ１ ＴＰＳ」）の正確度は約０．７１５に該当し、ＴＭＢ及びＡＩ ＰＤ－Ｌ１ ＴＰＳを共に使用する場合（「ＴＭＢ＋ＡＩ ＰＤ－Ｌ１ ＴＰＳ」）の正確度は約０．７２に該当し、ＡＩ Ｈ＆Ｅ及びＡＩ ＰＤ－Ｌ１ ＴＰＳを共に使用する場合（「ＡＩ Ｈ＆Ｅ＋ＡＩ ＰＤ－Ｌ１ ＴＰＳ」）の正確度は約０．７７に該当する。すなわち、免疫抗癌剤に対する反応を予測する際に、ＡＩ Ｈ＆Ｅ＋ＡＩ ＰＤ－Ｌ１ ＴＰＳが正確度に対して最も優れた性能を有するという点が立証された。
図１０は、本開示の一実施例に係る免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を出力する例を示す図である。一実施例において、プロセッサ（例えば、情報処理システム端末の少なくとも一つのプロセッサ及び／又はユーザ端末の少なくとも一つのプロセッサ）は、一つ以上の対象アイテムに対する検出結果、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型、免疫表現型と関連付けられた情報、免疫抗癌剤の反応可否に対する予測結果又は第１の病理スライドイメージ内の少なくとも一部領域内の免疫細胞の密度の少なくとも一つを出力できる。情報処理システム（例えば、情報処理システムの少なくとも一つのプロセッサ）が免疫抗癌剤に反応するか否かに対する予測過程で生成された結果をユーザ端末に提供することで、ユーザ端末は受信された結果を出力できる。例えば、ユーザ端末は、図に示すように、ユーザインタフェースを介してディスプレイ上に結果等を表示できる。
一実施例において、ユーザ端末は、病理スライドイメージ及び／又は第１の病理スライドイメージ内の少なくとも一部領域に対する対象アイテムの検出結果１０１０を出力できる。例えば、ユーザ端末は、対象アイテムの各々に関するラベル情報が含まれた病理スライドイメージを出力できる。ユーザ端末は、領域単位の対象アイテムの場合にマスク（mask）で表示され、細胞単位の対象アイテムの場合に細胞核の中心点又は境界ボックス（bounding box）で表示された病理スライドイメージを出力できる。他の実施例において、ユーザ端末は、病理スライドイメージの全体又は第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型マップ（又は、免疫表現型特徴マップ）などをミニマップ、ヒットマップ（heatmap）及び／又はラベルマップ（label map）などの表現方式により視覚化して出力できる。また他の実施例において、ユーザ端末は、第１の病理スライドイメージ内の少なくとも一部領域に対する免疫抗癌剤の反応可否の予測結果として、免疫表現型、活性スコア、反応可否スコア（Respond score及び／又はNon-respond score）に基づいて、反応可否スコアマップ（Respond/Non-respond score map）をヒットマップ及び／又はラベルマップなどの表現方式により視覚化して出力できる。
また他の実施例において、ユーザ端末は、病理スライドイメージの全体及び／又は一部領域に対する領域別免疫細胞の密度を出力できる。例えば、ユーザ端末は、病理スライドイメージの全体及び／又は一部領域に対する領域別免疫細胞の密度に対する数値を出力したり、バーグラフ（Bar graph）を出力したりできる。また他の実施例において、ユーザ端末は、円グラフ（circle plot）の形態で表現された患者の免疫表現型の分布を出力できる。図に示すように、ユーザ端末は、領域別免疫細胞の密度に対するバーグラフ及び患者の免疫表現型の分布に対する円グラフを含む分析結果１０２０を出力できる。
ユーザ端末は、情報処理システムから免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を受信し、受信された結果を出力できる。これにより、ユーザは、免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を視覚的かつ直観的に認知できる。図１０では、予測過程で生成された結果がユーザ端末で作動するユーザインタフェースを介して視覚的に出力されているが、これに限定されず、生成された結果は多様な方法によりユーザに提供できる。
図１１乃至図１５は、本開示の他の実施例に係る免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を出力する例を示す図である。一実施例において、情報処理システム（例えば、情報処理システムの少なくとも一つのプロセッサ）は、免疫抗癌剤に反応するか否かに対する予測過程で生成された結果を含むリポート（report）１１００、１２００、１３００、１４００、１５００を生成して提供できる。このように生成されたリポート１１００、１２００、１３００、１４００、１５００は、ユーザ端末及び／又は出力装置を介して出力できる形態のファイル、データ、テキスト、イメージなどで提供できる。ここで、リポート１１００、１２００、１３００、１４００、１５００は、図１０で説明した結果等のうち、少なくとも一つを含むことができる。
一実施例において、情報処理システムは患者の最終Ｒｅｓｐｏｎｄｅｒ／Ｎｏｎ－ｒｅｓｐｏｎｄｅｒに対するスコア（例えば、０から１間のスコア）（例えば、患者がＲｅｓｐｏｎｄｅｒである確率及び／又は Ｎｏｎ－ｒｅｓｐｏｎｄｅｒである確率を示す結果）を含むリポートを生成できる。付加的又は代替的に、情報処理システムは、Ｒｅｓｐｏｎｄｅｒ／Ｎｏｎ－ｒｅｓｐｏｎｄｅｒを決定する基準値（cut-off value）に関する情報を含むリポートを生成できる。付加的又は代替的に、情報処理システムは、病理スライドイメージ内での免疫表現型及び／又はＴＩＬ密度の分布（例えば、Ｍｉｎ、Ｍａｘ、Ａｖｇ値）を含むリポートを生成できる。例えば、情報処理システムは、３つの免疫表現型に分類された関心領域の各々に対するＴＩＬ ＤＥＮＳＩＴＹの分布及びＭｉｎ、Ｍａｘ、Ａｖｇ値を含むリポートを生成できる。付加的又は代替的に、情報処理システムは、病理スライドイメージ内の関心領域が３つの免疫表現型に分類された免疫表現型マップを含むリポートを生成できる。
情報処理システムは、免疫抗癌剤治療前及び／又は後の病理映像（例えば、病理スライドイメージなど）に対して、本開示の一部の実施例を遂行することで、獲得耐性（Acquired Resistance）メカニズムを把握して各耐性メカニズムに合わせて治療方針を提供できる。例えば、プロセッサは、免疫抗癌剤治療を受けた患者の病理映像及び患者に投与された治療剤の種類などの入力データを利用して分析を遂行することで、患者に投与された免疫抗癌剤及び／又は他の免疫抗癌剤等の各々に対して治療結果を予測できる。一実施例において、情報処理システムは、患者が免疫抗癌剤に反応するか否かに対する予測結果に基づいて、複数の免疫抗癌剤のうち、患者に適合した少なくとも一つの免疫抗癌剤に関する情報を出力できる。例えば、情報処理システムは、患者がＲｅｓｐｏｎｄｅｒとして判断された場合、反応可能性が高い免疫抗癌剤製品及び／又は製品の組合せを含むリポートを生成できる。
図示のリポート１１００、１２００、１３００、１４００、１５００のように、免疫抗癌剤の反応可否の予測過程で生成された結果等は、テキスト及び／又はイメージを含む文書の形態で作成されてユーザに提供できる。例えば、図１１に示すように、リポート１１００は、病理スライドイメージ、患者の情報、基本情報及び／又は予測結果（Responder/Non-responderの可否）を含むことができる。また、図１２に示すように、リポート１２００は、免疫表現型の比率を示すグラフ、数値、ＴＩＬ密度に関する情報（例えば、密度の分布等）を含むことができる。また、図１３に示すように、リポート１３００は、統計的な結果（例えば、TCGA PAN-CARCINOMA STATISTICS）及び／又は分析結果を示すグラフ、臨床記録（CLINICAL NOTES）などを含むことができる。図１４に示すように、リポート１４００は、参照文献に関する情報（例えば、ACADEMIC REFERENCES）などを含むことができる。図１５に示すように、リポート１５００は、予測過程で生成された結果（例えば、免疫表現型マップイメージ、FEATURE STATISTICSなど）及び／又は予測過程で使用された情報などを含むことができる。
図１１乃至図１５では、予測過程で生成された結果がリポートの形態で出力されているが、これに限定されず、生成された結果は多様な方法によりユーザに提供できる。
図１６は、本開示の一実施例に係る人工神経網モデル１６００の例を示す図である。人工神経網モデル１６００は、機械学習モデルの一例として、機械学習（Machine Learning）技術及び認知科学において、生物学的神経網の構造に基づいて具現化された統計学的学習アルゴリズム又はそのアルゴリズムを実行する構造である。
一実施例によれば、人工神経網モデル１６００は、生物学的神経網のように、シナプスの結合によりネットワークを形成した人工ニューロンであるノード（Node）等がシナプスの加重値を繰り返して調整して、特定の入力に対応した正常出力及び推論出力間の誤差が減少するように学習することで、問題解決能力を有する機械学習モデルを示すことができる。例えば、人工神経網モデル１６００は、機械学習やディープラーニングなどの人工知能学習法に使用される任意の確率モデル、ニューラルネットワークモデルなどを含むことができる。
一実施例によれば、人工神経網モデル１６００は、入力される病理スライドイメージから一つ以上の対象アイテムを検出するように構成された人工神経網モデルを含むことができる。付加的又は代替的に、人工神経網モデル１６００は、入力される第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は第１の病理スライドイメージ内の少なくとも一部領域に基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するように構成された人工神経網モデルを含むことができる。付加的又は代替的に、人工神経網モデル１６００は、入力される免疫表現型マップに基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するように構成された人工神経網モデルを含むことができる。付加的又は代替的に、人工神経網モデル１６００は、入力される免疫表現型特徴マップに基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するように構成された人工神経網モデルを含むことができる。
付加的又は代替的に、人工神経網モデル１６００は、入力される病理スライドイメージからバイオマーカーの発現（例：ＰＤ－Ｌ１の発現など）に関する情報を生成するように構成された人工神経網モデルを含むことができる。
人工神経網モデル１６００は、多層のノード等及びこれら間の連結により構成された多層パーセプトロン（ＭＬＰ：multilayer perceptron）として具現化される。本実施例に係る人工神経網モデル１６００は、ＭＬＰを含む多様な人工神経網モデル構造の一つを利用して具現化され得る。図１６に示すように、人工神経網モデル１６００は、外部から入力信号又はデータ１６１０を受信する入力層１６２０と、入力データに対応した出力信号又はデータ１６５０を出力する出力層１６４０と、入力層１６２０及び出力層１６４０間に位置し、入力層１６２０から信号を受け付けて特性を抽出して出力層１６４０に伝達するｎ個（ここで、ｎは正の整数）の隠れ層１６３０＿１乃至１６３０＿ｎとからなる。ここで、出力層１６４０は、隠れ層１６３０＿１乃至１６３０＿ｎから信号を受け付けて外部に出力する。
人工神経網モデル１６００の学習方法には、教師信号（正解）の入力に応じて問題の解決に最適化するように学習する教師学習（Supervised Learning）方法と、教師信号を必要としない教師なし学習（Unsupervised Learning）方法とがある。一実施例において、情報処理システムは、病理スライドイメージから一つ以上の対象アイテムを検出するように、人工神経網モデル１６００を教師学習及び／又は教師なし学習により学習させることができる。例えば、情報処理システムは、参照病理スライドイメージ及び一つ以上の参照対象アイテムに関するラベル情報を利用して、病理スライドイメージから一つ以上の対象アイテムを検出するように、人工神経網モデル１６００を教師学習により学習させることができる。他の実施例において、情報処理システムは、第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は第１の病理スライドイメージ内の少なくとも一部領域に基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するように、人工神経網モデル１６００を教師学習及び／又は教師なし学習により学習させることができる。例えば、情報処理システムは、参照病理スライドイメージ内の少なくとも一部領域に対するフィーチャ及び参照病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つに関するラベル情報を利用して、参照病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は参照病理スライドイメージ内の少なくとも一部領域に基づいて、参照病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するように、人工神経網モデル１６００を教師学習により学習させることができる。
また他の実施例において、情報処理システムは、免疫表現型マップ又は免疫表現型特徴マップに基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するように、人工神経網モデル１６００を教師学習及び／又は教師なし学習により学習させることができる。例えば、情報処理システムは、参照免疫表現型マップ（又は参照免疫表現型特徴マップ）及び参照予測結果に関するラベル情報を利用して、免疫表現型マップ（又は免疫表現型特徴マップ）に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するように、人工神経網モデル１６００を教師学習により学習させることができる。また他の実施例において、情報処理システムは、病理スライドイメージからＰＤ－Ｌ１の発現に関する情報を生成するように、人工神経網モデル１６００を教師学習及び／又は教師なし学習により学習させることができる。例えば、情報処理システムは、参照病理スライドイメージ及びＰＤ－Ｌ１の発現に関する参照情報に関するラベル情報を利用して、病理スライドイメージからＰＤ－Ｌ１の発現に関する情報を生成するように、人工神経網モデル１６００を教師学習により学習させることができる。
このように学習された人工神経網モデル１６００は、情報処理システムのメモリ（図示せず）に保存でき、通信モジュール及び／又はメモリから受信された病理スライドイメージに対する入力に応じて、病理スライドイメージ内において一つ以上の対象アイテムを検出できる。付加的又は代替的に、人工神経網モデル１６００は、第１の病理スライドイメージ内の少なくとも一部領域の各々に対するフィーチャ（feature）又は第１の病理スライドイメージ内の少なくとも一部領域に対する入力に応じて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報を決定できる。付加的又は代替的に、人工神経網モデル１６００は、免疫表現型マップ又は免疫表現型特徴マップに対する入力に応じて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。付加的又は代替的に、人工神経網モデル１６００は、通信モジュール及び／又はメモリから受信された病理スライドイメージに対する入力に応じて、バイオマーカーの発現に関する情報を生成できる。
一実施例によれば、対象アイテムを検出する人工神経網モデル及び／又はバイオマーカーの発現（例：ＰＤ－Ｌ１の発現など）に関する情報を生成する人工神経網モデルの入力変数は、一つ以上の病理スライドイメージ（例えば、Ｈ＆Ｅ染色された病理スライドイメージ、ＩＨＣ染色された病理スライドイメージ）であり得る。例えば、人工神経網モデル１６００の入力層１６２０に入力される入力変数は、一つ以上の病理スライドイメージを一つのベクトルデータ要素として構成した、イメージベクトル１６１０になり得る。イメージの入力に応じて、人工神経網モデル１６００の出力層１６４０で出力される出力変数は、病理スライドイメージから検出された一つ以上の対象アイテムを表したり特徴化したりするベクトル１６５０になり得る。付加的又は代替的に、人工神経網モデル１６００の出力層１６４０で出力される出力変数は、病理スライドイメージから生成されたバイオマーカーの発現に関する情報を表したり特徴化したりするベクトル１６５０になり得る。すなわち、人工神経網モデル１６００の出力層１６４０は、病理スライドイメージから検出された一つ以上の対象アイテム及び／又は病理スライドイメージから生成されたバイオマーカーの発現に関する情報を表したり特徴化したりするベクトルを出力するように構成できる。本開示において、人工神経網モデル１６００の出力変数は、以上で説明された類型に限定されず、病理スライドイメージから検出された一つ以上の対象アイテム及び／又は病理スライドイメージから生成されたバイオマーカーの発現に関する情報を示す任意の情報／データを含むことができる。
他の実施例において、参照病理スライドイメージ内の少なくとも一部領域の免疫表現型を判定する機械学習モデル、すなわち、人工神経網モデル１６００の入力変数は、第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は第１の病理スライドイメージ内の少なくとも一部領域であり得る。例えば、人工神経網モデル１６００の入力層１６２０に入力される入力変数は、第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は第１の病理スライドイメージ内の少なくとも一部領域を一つのベクトルデータ要素として構成した、数値ベクトル１６１０になり得る。このような入力に応じて、人工神経網モデル１６００の出力層１６４０で出力される出力変数は、第１の病理スライドイメージ内の少なくとも一部領域の各々の免疫表現型又は免疫表現型と関連付けられた情報を表したり特徴化したりするベクトル１６５０になり得る。本開示において、人工神経網モデル１６００の出力変数は、以上で説明された類型に限定されず、第１の病理スライドイメージ内の少なくとも一部領域の各々の免疫表現型を表したり特徴化したりする任意の情報／データを含むことができる。また他の実施例において、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成する機械学習モデル、すなわち、人工神経網モデル１６００の入力変数は、免疫表現型マップ又は免疫表現型特徴マップであり得る。例えば、人工神経網モデル１６００の入力層１６２０に入力される入力変数は、免疫表現型マップ又は免疫表現型特徴マップを一つのベクトルデータ要素として構成した、数値ベクトル１６１０及び／又はイメージデータになり得る。免疫表現型マップ又は免疫表現型特徴マップに対する入力に応じて、人工神経網モデル１６００の出力層１６４０で出力される出力変数は、患者が免疫抗癌剤に反応するか否かに対する予測結果を表したり特徴化したりするベクトル１６５０になり得る。本開示において、人工神経網モデル１６００の出力変数は、以上で説明された類型に限定されず、患者が免疫抗癌剤に反応するか否かに対する予測結果を示す任意の情報／データを含むことができる。さらに、人工神経網モデル１６００の出力層１６４０は、出力された予測結果などに対する信頼度及び／又は正確度を示すベクトルを出力するように構成できる。
このように、人工神経網モデル１６００の入力層１６２０及び出力層１６４０に複数の入力変数と対応する複数の出力変数が各々マッチングされ、入力層１６２０、隠れ層１６３０＿１乃至１６３０＿ｎ及び出力層１６４０に含まれたノード等間のシナプス値が調整されることで、特定の入力に対応した正常出力が抽出されるように学習できる。このような学習過程により、人工神経網モデル１６００の入力変数に隠されている特性を把握でき、入力変数に基づいて計算された出力変数及び目標出力間の誤差が低下するように、人工神経網モデル１６００のノード等間のシナプス値（又は加重値）を調整できる。このように学習された人工神経網モデル１６００を利用して、入力された病理スライドイメージに応じて、対象アイテム検出結果及び／又はＰＤ－Ｌ１の発現に関する情報を出力できる。付加的又は代替的に、人工神経網モデル１６００を利用して、入力された一つ以上の参照病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は参照病理スライドイメージ内の少なくとも一部領域に応じて、一つ以上の関心領域の各々の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つが出力されることができる。付加的又は代替的に、人工神経網モデル１６００を利用して、入力された免疫表現型マップに応じて、患者が免疫抗癌剤に反応するか否かに対する予測結果を出力できる。
図１７は、本開示の一実施例に係る免疫抗癌剤に対する反応予測結果を提供する例示的なシステム１００構成図である。図に示すように、情報処理システム１００は、一つ以上のプロセッサ１７１０、バス１７３０、通信インタフェース１７４０、プロセッサ１７１０により遂行されるコンピュータプログラム１７６０をロード（load）するメモリ１７２０及びコンピュータプログラム１７６０を保存する保存モジュール１７５０を含むことができる。ただし、図１７には本開示の実施例と関連付けられた構成要素だけが示されている。よって、本開示が属する技術分野における通常の技術者であれば、図１７に示す構成要素の以外に他の汎用的な構成要素等がさらに含まれることできることが分かる。
プロセッサ１７１０は、情報処理システム１００の各構成の全般の動作を制御する。プロセッサ１７１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＭＣＵ（Micro Controller Unit）、ＧＰＵ（Graphic Processing Unit）又は当分野の公知の任意の形態のプロセッサを含んで構成できる。また、プロセッサ１７１０は、本開示の実施例等に係る方法を実行するための少なくとも一つのアプリケーション又はプログラムに対する演算を遂行できる。情報処理システム１００は一つ以上のプロセッサを具備できる。
メモリ１７２０は、各種データ、命令及び／又は情報を保存できる。メモリ１７２０は、本開示の多様な実施例に係る方法／動作を実行するために、保存モジュール１７５０から一つ以上のコンピュータプログラム１７６０をロードできる。メモリ１７２０は、ＲＡＭのような揮発性メモリで具現化され得るが、本開示の技術的範囲はこれに限定されるものではない。
バス１７３０は、情報処理システム１００の構成要素間の通信機能を提供できる。バス１７３０は、住所バス（Address Bus）、データバス（Data Bus）及び制御バス（Control Bus）等のような多様な形態のバスで具現化され得る。
通信インタフェース１７４０は、情報処理システム１００の有無線インターネット通信を支援できる。また、通信インタフェース１７４０は、インターネット通信の以外の多様な通信方式を支援することもできる。このために、通信インタフェース１７４０は、当分野の公知の通信モジュールを含んで構成できる。
保存モジュール１７５０は、一つ以上のコンピュータプログラム１７６０を非一時的に保存できる。保存モジュール１７５０は、ＲＯＭ（read-only memory）、ＥＰＲＯＭ（erasable programmable read-only memory）、ＥＥＰＲＯＭ（electrically erasable PROM）、フラッシュメモリのような不揮発性メモリ、ハードディスク、取り外し可能形ディスク又は当分野の公知の任意の形態のコンピュータ読み取り可能な記録媒体を含んで構成できる。
コンピュータプログラム１７６０は、メモリ１７２０にロードされるとき、プロセッサ１７１０が本開示の多様な実施例に係る動作／方法を遂行するようにする一つ以上のインストラクション（instructions）を含むことができる。すなわち、プロセッサ１７１０は、一つ以上のインストラクションを実行することで、本開示の多様な実施例に係る動作／方法を遂行できる。
例えば、コンピュータプログラム１７６０は、第１の病理スライドイメージを受信する動作、第１の病理スライドイメージ内において一つ以上の対象アイテムを検出する動作、一つ以上の対象アイテムに対する検出結果に基づいて、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定する動作、第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つに基づいて、第１の病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成する動作などを遂行するようにする一つ以上のインストラクションを含むことができる。このような場合、情報処理システム１００を通して、本開示のいくつかの実施例に係る免疫抗癌剤に対する反応予測システムが具現化され得る。
本開示の前述した説明は、通常の技術者が本開示を遂行又は利用できるようにするために提供される。本開示の多様な修正例が通常の技術者にとって自明であり、本願に定義された一般の原理等は、本開示の趣旨又は範囲から逸脱しないと同時に、多様な変形例に適用することもできる。したがって、本開示は、本願に説明された例等に制限されるように意図したものではなく、本願に開示された原理及び新規な特徴等が一貫する最広義の範囲が付与されるように意図する。
例示的な具現例等が一つ以上の独立型コンピュータシステムの脈絡から現在開示された主題の様態を活用するのを言及することもできるが、本主題はそのように制限されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連携して具現化され得る。さらに、現在開示された主題の様態は、複数のプロセシングチップやデバイス又はこれらに亘って具現化されることもでき、ストレージは複数のデバイスに亘って類似に影響を受けることもできる。このようなデバイスなどは、ＰＣ、ネットワークサーバ及びハンドヘルドデバイスを含むこともできる。
本明細書では、本開示が一部の実施例と関連付けられて説明されたが、本発明が属する技術分野における通常の技術者が理解できる本開示の範囲から逸脱しない範囲内で多様な変形及び変更が可能であることが分かる。また、そのような変形及び変更は、本明細書で添付された特許請求の範囲に属するものと理解しなければならない。

Claims (39)

  1. 少なくとも一つのコンピュータ装置により遂行される、免疫抗癌剤に対する反応を予測する方法において、
    第１の病理スライドイメージを受信するステップと、
    前記第１の病理スライドイメージ内において一つ以上の対象アイテムを検出するステップと、
    前記一つ以上の対象アイテムに対する検出結果に基づいて、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するステップと、
    前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報の少なくとも一つに基づいて、前記第１の病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップとを含む、免疫抗癌剤に対する反応を予測する方法。
  2. 前記検出するステップは、
    人工神経網対象アイテム検出モデルを利用して、前記第１の病理スライドイメージ内において前記一つ以上の対象アイテムを検出するステップを含み、
    前記人工神経網対象アイテム検出モデルは、参照病理スライドイメージから一つ以上の参照対象アイテムを検出するように学習される、請求項１に記載の免疫抗癌剤に対する反応を予測する方法。
  3. 前記第１の病理スライドイメージ内の少なくとも一部領域は、前記一つ以上の対象アイテムを含み、前記一つ以上の対象アイテムは、癌と関連付けられたアイテム及び免疫細胞を含み、
    前記決定するステップは、
    前記第１の病理スライドイメージ内の少なくとも一部領域内において、前記癌と関連付けられたアイテム内の前記免疫細胞の数、分布又は密度の少なくとも一つを算出するステップと、
    前記算出された免疫細胞の数、分布又は密度の少なくとも一つに基づいて、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報の少なくとも一つを決定するステップとを含む、請求項１に記載の免疫抗癌剤に対する反応を予測する方法。
  4. 前記癌と関連付けられたアイテムは、癌領域及び癌ストロマを含み、
    前記算出するステップは、
    前記第１の病理スライドイメージ内の少なくとも一部領域内において、前記癌領域内の前記免疫細胞の密度を算出するステップと、
    前記第１の病理スライドイメージ内の少なくとも一部領域内において、前記癌ストロマ内の前記免疫細胞の密度を算出するステップとを含み、
    前記決定するステップは、
    前記癌領域内の前記免疫細胞の密度又は前記癌ストロマ内の前記免疫細胞の密度の少なくとも一つに基づいて、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報の少なくとも一つを決定するステップを含む、請求項３に記載の免疫抗癌剤に対する反応を予測する方法。
  5. 前記癌領域内の前記免疫細胞の密度が第１の閾密度以上である場合、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫活性として決定され、
    前記癌領域内の前記免疫細胞の密度が前記第１の閾密度未満であると同時に、前記癌ストロマ内の前記免疫細胞の密度が第２の閾密度以上である場合、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫排除として決定され、
    前記癌領域内の前記免疫細胞の密度が前記第１の閾密度未満であると同時に、前記癌ストロマ内の前記免疫細胞の密度が前記第２の閾密度未満である場合、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫欠乏として決定される、請求項４に記載の免疫抗癌剤に対する反応を予測する方法。
  6. 前記第１の閾密度は、複数の病理スライドイメージ内の複数の関心領域の各々において、前記癌領域内の前記免疫細胞の密度の分布に基づいて決定され、
    前記第２の閾密度は、前記複数の病理スライドイメージ内の複数の関心領域の各々において、前記癌ストロマ内の前記免疫細胞の密度の分布に基づいて決定される、請求項５に記載の免疫抗癌剤に対する反応を予測する方法。
  7. 前記決定するステップは、
    前記癌領域内の特定領域内に含まれた前記免疫細胞の数に基づいて、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型を免疫活性、免疫排除又は免疫欠乏の一つとして決定するステップをさらに含む、請求項３に記載の免疫抗癌剤に対する反応を予測する方法。
  8. 前記決定するステップは、
    人工神経網免疫表現型分類モデルに、前記第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は前記第１の病理スライドイメージ内の少なくとも一部領域を入力することで、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は免疫表現型と関連付けられた情報の少なくとも一つを決定するステップを含み、
    前記人工神経網免疫表現型分類モデルは、参照病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は参照病理スライドイメージ内の少なくとも一部領域が入力されることで、前記参照病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報の少なくとも一つを決定するように学習される、請求項１に記載の免疫抗癌剤に対する反応を予測する方法。
  9. 前記第１の病理スライドイメージ内の少なくとも一部領域に対するフィーチャは、前記第１の病理スライドイメージ内の少なくとも一部領域の前記一つ以上の対象アイテムに対する統計的なフィーチャ、前記一つ以上の対象アイテムに対する幾何学的なフィーチャ又は前記第１の病理スライドイメージ内の少なくとも一部領域に対応するイメージフィーチャの少なくとも一つを含む、請求項８に記載の免疫抗癌剤に対する反応を予測する方法。
  10. 前記第１の病理スライドイメージ内の少なくとも一部領域は、複数の関心領域を含み、
    前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、前記複数の関心領域の各々の免疫表現型を含み、
    前記生成するステップは、
    前記複数の関心領域の各々の免疫表現型に基づいて、前記第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型を決定するステップと、
    前記第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型に基づいて、前記患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップとを含む、請求項１に記載の免疫抗癌剤に対する反応を予測する方法。
  11. 前記生成するステップは、
    前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型を利用して、前記第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型マップを生成するステップと、
    免疫抗癌剤反応予測モデルに前記生成された免疫表現型マップを入力することで、前記患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップとを含み、
    前記免疫抗癌剤反応予測モデルは、参照免疫表現型マップが入力されることで、参照予測結果を生成するように学習される、請求項１に記載の免疫抗癌剤に対する反応を予測する方法。
  12. 前記生成するステップは、
    前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型と関連付けられた情報を利用して、前記第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型特徴マップを生成するステップと、
    免疫抗癌剤反応予測モデルに前記生成された免疫表現型特徴マップを入力することで、前記患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップとを含み、
    前記免疫抗癌剤反応予測モデルは、参照免疫表現型特徴マップが入力されることで、参照予測結果を生成するように学習される、請求項１に記載の免疫抗癌剤に対する反応を予測する方法。
  13. 前記患者と関連付けられた第２の病理スライドイメージからバイオマーカーの発現に関する情報を獲得するステップをさらに含み、
    前記生成するステップは、
    前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報の少なくとも一つ、及び、前記バイオマーカーの発現に関する情報に基づいて、前記患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するステップを含む、請求項１に記載の免疫抗癌剤に対する反応を予測する方法。
  14. 前記バイオマーカーはＰＤ－Ｌ１である、請求項１３に記載の免疫抗癌剤に対する反応を予測する方法。
  15. 前記ＰＤ－Ｌ１の発現に関する情報は、ＴＰＳ値又はＣＰＳ値の少なくとも一つを含む、請求項１４に記載の免疫抗癌剤に対する反応を予測する方法。
  16. 前記獲得するステップは、
    前記第２の病理スライドイメージを受信するステップと、
    人工神経網発現情報生成モデルに前記第２の病理スライドイメージを入力することで、前記ＰＤ－Ｌ１の発現に関する情報を生成するステップとを含み、
    前記人工神経網発現情報生成モデルは、参照病理スライドイメージが入力されることで、ＰＤ－Ｌ１の発現に関する参照情報を生成するように学習される、請求項１４に記載の免疫抗癌剤に対する反応を予測する方法。
  17. 前記人工神経網発現情報生成モデルに前記第２の病理スライドイメージを入力することで、前記ＰＤ－Ｌ１の発現に関する情報を生成するステップは、
    前記人工神経網発現情報生成モデルを利用して、前記第２の病理スライドイメージ内の少なくとも一部領域の腫瘍細胞の位置、リンパ球の位置、マクロファージの位置又はＰＤ－Ｌ１の発現可否の少なくとも一つを検出することで、前記ＰＤ－Ｌ１の発現に関する情報を生成するステップを含む、請求項１６に記載の免疫抗癌剤に対する反応を予測する方法。
  18. 前記一つ以上の対象アイテムに対する検出結果、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型、前記免疫表現型と関連付けられた情報、前記患者が免疫抗癌剤に反応するか否かに対する予測結果又は前記第１の病理スライドイメージ内の少なくとも一部領域内の免疫細胞の密度の少なくとも一つを出力するステップをさらに含む、請求項１に記載の免疫抗癌剤に対する反応を予測する方法。
  19. 前記患者が免疫抗癌剤に反応するか否かに対する予測結果に基づいて、複数の免疫抗癌剤のうち、前記患者に適合した少なくとも一つの免疫抗癌剤に関する情報を出力するステップをさらに含む、請求項１に記載の免疫抗癌剤に対する反応を予測する方法。
  20. 請求項１乃至１９のいずれか一項に記載の免疫抗癌剤に対する反応を予測する方法をコンピュータで実行するために、コンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラム。
  21. 情報処理システムであって、
    一つ以上のインストラクションを保存するメモリと、
    前記保存された一つ以上のインストラクションを実行することで、
    第１の病理スライドイメージを受信し、前記第１の病理スライドイメージ内において一つ以上の対象アイテムを検出し、前記一つ以上の対象アイテムに対する検出結果に基づいて、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報を決定し、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報に基づいて、前記第１の病理スライドイメージと関連付けられた患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するように構成されたプロセッサとを含む、情報処理システム。
  22. 前記プロセッサは、
    人工神経網対象アイテム検出モデルを利用して、前記第１の病理スライドイメージ内において前記一つ以上の対象アイテムを検出するようにさらに構成され、
    前記人工神経網対象アイテム検出モデルは、参照病理スライドイメージから一つ以上の参照対象アイテムを検出するように学習される、請求項２１に記載の情報処理システム。
  23. 前記第１の病理スライドイメージ内の少なくとも一部領域は、前記一つ以上の対象アイテムを含み、前記一つ以上の対象アイテムは、癌と関連付けられたアイテム及び免疫細胞を含み、
    前記プロセッサは、
    前記第１の病理スライドイメージ内の少なくとも一部領域内において、前記癌と関連付けられたアイテム内の前記免疫細胞の数、分布又は密度の少なくとも一つを算出し、前記算出された免疫細胞の数、分布又は密度の少なくとも一つに基づいて、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報の少なくとも一つを決定するようにさらに構成される、請求項２１に記載の情報処理システム。
  24. 前記癌と関連付けられたアイテムは、癌領域及び癌ストロマを含み、
    前記プロセッサは、
    前記第１の病理スライドイメージ内の少なくとも一部領域内において、前記癌領域内の前記免疫細胞の密度を算出し、前記第１の病理スライドイメージ内の少なくとも一部領域内において、前記癌ストロマ内の前記免疫細胞の密度を算出し、前記癌領域内の前記免疫細胞の密度又は前記癌ストロマ内の前記免疫細胞の密度の少なくとも一つに基づいて、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報の少なくとも一つを決定するようにさらに構成される、請求項２３に記載の情報処理システム。
  25. 前記癌領域内の前記免疫細胞の密度が第１の閾密度以上である場合、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫活性として決定され、
    前記癌領域内の前記免疫細胞の密度が前記第１の閾密度未満であると同時に、前記癌ストロマ内の前記免疫細胞の密度が第２の閾密度以上である場合、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫排除として決定され、
    前記癌領域内の前記免疫細胞の密度が前記第１の閾密度未満であると同時に、前記癌ストロマ内の前記免疫細胞の密度が前記第２の閾密度未満である場合、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、免疫欠乏として決定される、請求項２４に記載の情報処理システム。
  26. 前記第１の閾密度は、複数の病理スライドイメージ内の複数の関心領域の各々において、前記癌領域内の前記免疫細胞の密度の分布に基づいて決定され、
    前記第２の閾密度は、前記複数の病理スライドイメージ内の複数の関心領域の各々において、前記癌ストロマ内の前記免疫細胞の密度の分布に基づいて決定される、請求項２５に記載の情報処理システム。
  27. 前記プロセッサは、
    前記癌領域内の特定領域内に含まれた前記免疫細胞の数に基づいて、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型を免疫活性、免疫排除又は免疫欠乏の一つとして決定するようにさらに構成される、請求項２３に記載の情報処理システム。
  28. 前記プロセッサは、
    人工神経網免疫表現型分類モデルに、前記第１の病理スライドイメージ内の少なくとも一部領域の各々に対するフィーチャ又は第１の病理スライドイメージ内の少なくとも一部領域を入力することで、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報の少なくとも一つを判定するようにさらに構成され、
    前記人工神経網免疫表現型分類モデルは、参照病理スライドイメージ内の少なくとも一部領域に対するフィーチャ又は参照病理スライドイメージ内の少なくとも一部領域が入力されることで、前記参照病理スライドイメージ内の少なくとも一部領域の免疫表現型又は前記免疫表現型と関連付けられた情報の少なくとも一つを決定するように学習される、請求項２１に記載の情報処理システム。
  29. 前記第１の病理スライドイメージ内の少なくとも一部領域の各々に対するフィーチャは、前記第１の病理スライドイメージ内の少なくとも一部領域の前記一つ以上の対象アイテムに対する統計的なフィーチャ、前記一つ以上の対象アイテムに対する幾何学的なフィーチャ又は前記第１の病理スライドイメージ内の少なくとも一部領域に対応するイメージフィーチャの少なくとも一つを含む、請求項２８に記載の情報処理システム。
  30. 前記第１の病理スライドイメージ内の少なくとも一部領域は、複数の関心領域を含み、
    前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型は、前記複数の関心領域の各々の免疫表現型を含み、
    前記プロセッサは、
    前記複数の関心領域の各々の免疫表現型に基づいて、前記第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型を決定し、前記第１の病理スライドイメージの全体領域内において最も多く含まれた免疫表現型に基づいて、前記患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するようにさらに構成される、請求項２１に記載の情報処理システム。
  31. 前記プロセッサは、
    前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型を利用して、第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型マップを生成し、免疫抗癌剤反応予測モデルに前記生成された免疫表現型マップを入力することで、前記患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するようにさらに構成され、
    前記免疫抗癌剤反応予測モデルは、参照免疫表現型マップが入力されることで、参照予測結果を生成するように学習される、請求項２１に記載の情報処理システム。
  32. 前記プロセッサは、
    前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型と関連付けられた情報を利用して、前記第１の病理スライドイメージ内の少なくとも一部領域に対する免疫表現型特徴マップを生成し、免疫抗癌剤反応予測モデルに前記生成された免疫表現型特徴マップを入力することで、前記患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するようにさらに構成され、
    前記免疫抗癌剤反応予測モデルは、参照免疫表現型特徴マップが入力されることで、参照予測結果を生成するように学習される、請求項２１に記載の情報処理システム。
  33. 前記プロセッサは、
    前記患者と関連付けられた第２の病理スライドイメージからバイオマーカーの発現に関する情報を獲得し、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型及び前記バイオマーカーの発現に関する情報に基づいて、前記患者が免疫抗癌剤に反応するか否かに対する予測結果を生成するようにさらに構成される、請求項２１に記載の情報処理システム。
  34. 前記バイオマーカーはＰＤ－Ｌ１である、請求項３３に記載の情報処理システム。
  35. 前記ＰＤ－Ｌ１の発現に関する情報は、ＴＰＳ値又はＣＰＳ値の少なくとも一つを含む、請求項３４に記載の情報処理システム。
  36. 前記プロセッサは、
    前記第２の病理スライドイメージを受信し、人工神経網発現情報生成モデルに前記第２の病理スライドイメージを入力することで、前記ＰＤ－Ｌ１の発現に関する情報を生成するようにさらに構成され、
    前記人工神経網発現情報生成モデルは、参照病理スライドイメージが入力されることで、ＰＤ－Ｌ１の発現に関する参照情報を生成するように学習される、請求項３４に記載の情報処理システム。
  37. 前記プロセッサは、
    前記人工神経網発現情報生成モデルを利用して、前記第２の病理スライドイメージ内の少なくとも一部領域の腫瘍細胞の位置、リンパ球の位置、マクロファージの位置又はＰＤ－Ｌ１の発現可否の少なくとも一つを検出することで、前記ＰＤ－Ｌ１の発現に関する情報を生成するようにさらに構成される、請求項３６に記載の情報処理システム。
  38. 前記プロセッサは、
    前記一つ以上の対象アイテムに対する検出結果、前記第１の病理スライドイメージ内の少なくとも一部領域の免疫表現型、前記免疫表現型と関連付けられた情報、前記患者が免疫抗癌剤に反応するか否かに対する予測結果又は前記第１の病理スライドイメージ内の少なくとも一部領域内の免疫細胞の密度の少なくとも一つを出力するようにさらに構成される、請求項２１に記載の情報処理システム。
  39. 前記プロセッサは、
    前記患者が免疫抗癌剤に反応するか否かに対する予測結果に基づいて、複数の免疫抗癌剤のうち、前記患者に適合した少なくとも一つの免疫抗癌剤に関する情報を出力するようにさらに構成される、請求項２１に記載の情報処理システム。
JP2022556072A 2020-05-08 2021-05-07 免疫抗癌剤に対する反応を予測する方法及びシステム Pending JP2023523882A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20200055483 2020-05-08
KR10-2020-0055483 2020-05-08
KR20210054206 2021-04-27
KR10-2021-0054206 2021-04-27
KR1020210059537A KR102628046B1 (ko) 2020-05-08 2021-05-07 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
KR10-2021-0059537 2021-05-07
PCT/KR2021/005771 WO2021225421A1 (ko) 2020-05-08 2021-05-07 면역 항암제에 대한 반응을 예측하는 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2023523882A true JP2023523882A (ja) 2023-06-08
JPWO2021225421A5 JPWO2021225421A5 (ja) 2023-06-15

Family

ID=78468159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022556072A Pending JP2023523882A (ja) 2020-05-08 2021-05-07 免疫抗癌剤に対する反応を予測する方法及びシステム

Country Status (4)

Country Link
US (2) US20220036971A1 (ja)
JP (1) JP2023523882A (ja)
KR (1) KR20240015696A (ja)
WO (1) WO2021225421A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11366624B2 (en) * 2020-03-30 2022-06-21 Kyocera Document Solutions Inc. Super-resolution convolutional neural network with gradient image detection
US20210383533A1 (en) * 2020-06-03 2021-12-09 Nvidia Corporation Machine-learning-based object detection system
US12014502B2 (en) * 2022-05-24 2024-06-18 Lunit Inc. Method and device for evaluating quality of pathological slide image
US20240153616A1 (en) * 2022-11-03 2024-05-09 PathAI, Inc. Systems and methods for deep learning model annotation using specialized imaging modalities
US20240212146A1 (en) * 2022-11-11 2024-06-27 Lunit Inc. Method and apparatus for analyzing pathological slide images
CN115880262B (zh) * 2022-12-20 2023-09-05 桂林电子科技大学 基于在线噪声抑制策略的弱监督病理图像组织分割方法
EP4404202A1 (en) * 2023-01-19 2024-07-24 Lunit Inc. Method and device for generating medical information based on pathological slide image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60215302T2 (de) * 2001-01-05 2007-03-29 Immunivest Corp., Wilmington Einrichtungen und verfahren für bildobjekte
AU2013211871B2 (en) * 2012-01-25 2017-12-14 Board Of Regents, The University Of Texas System Biomarkers and combination therapies using oncolytic virus and immunomodulation
CA3069612A1 (en) * 2017-07-13 2019-01-17 Institut Gustave-Roussy A radiomics-based imaging tool to monitor tumor-lymphocyte infiltration and outcome in cancer patients treated by anti-pd-1/pd-l1
KR101889723B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR102068279B1 (ko) * 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템

Also Published As

Publication number Publication date
KR20240015696A (ko) 2024-02-05
WO2021225421A1 (ko) 2021-11-11
US20230420072A1 (en) 2023-12-28
US20220036971A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
JP2023523882A (ja) 免疫抗癌剤に対する反応を予測する方法及びシステム
US11462325B2 (en) Multimodal machine learning based clinical predictor
KR102628046B1 (ko) 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
US20220367053A1 (en) Multimodal fusion for diagnosis, prognosis, and therapeutic response prediction
EP2864920B1 (en) Systems and methods for generating biomarker signatures with integrated bias correction and class prediction
US10665347B2 (en) Methods for predicting prognosis
US20230056839A1 (en) Cancer prognosis
US11954859B2 (en) Methods of assessing diseases using image classifiers
Wetteland et al. Automatic diagnostic tool for predicting cancer grade in bladder cancer patients using deep learning
Wang et al. A hybrid feature selection algorithm and its application in bioinformatics
US20230419492A1 (en) Method and apparatus for providing information associated with immune phenotypes for pathology slide image
Li et al. Identifying diagnostic biomarkers of breast cancer based on gene expression data and ensemble feature selection
US20130218581A1 (en) Stratifying patient populations through characterization of disease-driving signaling
Abreu et al. Personalizing breast cancer patients with heterogeneous data
KR20230040973A (ko) 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템
Zhou et al. SEnSCA: Identifying possible ligand‐receptor interactions and its application in cell–cell communication inference
Patel et al. Predicting Mutation Status and Recurrence Free Survival in Non-Small Cell Lung Cancer: A Hierarchical ct Radiomics–Deep Learning Approach
Dawood et al. Data-Driven Modelling of Gene Expression States in Breast Cancer and their Prediction from Routine Whole Slide Images
Phongwattana et al. Clustering-based multi-class classification of complex disease
US20240346804A1 (en) Pipelines for tumor immunophenotyping
Xu et al. Fraction and Spatial Organization of Tumor-Infiltrating Lymphocytes Correlating with Bladder Cancer Patient Survival
Fang Artificial Intelligence Model Selection for Breast Cancer Risk Screening
이은주 Machine Learning-Based Classification of Proximal and Distal Gastric Cancer in The Cancer Genome Atlas Database
WO2024079279A1 (en) Disease characterisation
WO2022140191A1 (en) Methods for identifying and using cell behavior in drug screening and diagnosis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240507