JP7292685B2 - 高頻度変異型癌の判別システム、プログラム及び方法 - Google Patents

高頻度変異型癌の判別システム、プログラム及び方法 Download PDF

Info

Publication number
JP7292685B2
JP7292685B2 JP2020500447A JP2020500447A JP7292685B2 JP 7292685 B2 JP7292685 B2 JP 7292685B2 JP 2020500447 A JP2020500447 A JP 2020500447A JP 2020500447 A JP2020500447 A JP 2020500447A JP 7292685 B2 JP7292685 B2 JP 7292685B2
Authority
JP
Japan
Prior art keywords
image data
cancer
unit
pathological section
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020500447A
Other languages
English (en)
Other versions
JPWO2019159821A1 (ja
Inventor
俊文 若井
修二郎 奥田
能史 島田
浩 井筒
啓輔 兒玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denka Co Ltd
Niigata University NUC
Original Assignee
Denka Co Ltd
Niigata University NUC
Denki Kagaku Kogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denka Co Ltd, Niigata University NUC, Denki Kagaku Kogyo KK filed Critical Denka Co Ltd
Publication of JPWO2019159821A1 publication Critical patent/JPWO2019159821A1/ja
Priority to JP2023015100A priority Critical patent/JP2023058553A/ja
Application granted granted Critical
Publication of JP7292685B2 publication Critical patent/JP7292685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/15Medicinal preparations ; Physical properties thereof, e.g. dissolubility
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G01N2001/302Stain compositions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Hematology (AREA)
  • Biophysics (AREA)
  • Urology & Nephrology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Description

本発明は、高頻度変異型癌の判別システム、プログラム及び方法に関する。
癌の遺伝子変異を広く調べることにより、遺伝子変異のパターンによって癌を分類することができることが判明してきた。そのような癌に特徴的な変異のパターンの一つに、高頻度変異型(Hypermutation又はHypermutated)がある。高頻度変異型の癌は、体細胞変異率が他の型に比べて高いことで区別される。胃癌、乳癌、大腸癌、膠芽腫、子宮癌などで、高頻度変異型の特徴を示す癌があることが知られている。高頻度変異型の癌は、DNA複製時のミスマッチ修復機構の欠損や不完全さを示すマイクロサテライト不安定性の性質を同時に持つ場合が多い。これは、ミスマッチ修復酵素であるMLH1、MLH3、MSH2、MSH3、MSH6、PMS2の遺伝子が変異を起こしていることや、MLH1遺伝子の発現がメチル化によって抑制されていることに起因すると考えられている。また、DNA複製酵素であるポリメラーゼε(POLE)の変異によって、特に高い頻度で体細胞変異を引き起こし、高頻度変異型となることも知られている(非特許文献1,2)。
一方、癌免疫逃避機構が解明され、この機構を標的とする新しい癌免疫治療法が臨床に応用されるようになった。なかでも特徴的なのは、イムノチェックポイント経路ともいわれるPD-1(Programmed cell Death-1)/PD-L1(PD-1 Ligand1)経路である。免疫抑制補助シグナルPD-1/PD-L1経路をブロックすることで、T細胞の免疫抑制が解除され、T細胞が活性化し癌特異的抗原を発現している腫瘍の抑制が起こる。また、CTLA-4も活性化T細胞に発現し、抗原提示細胞のCD28リガンドが結合するとT細胞の活性化が抑制されるため、この経路をブロックすることでもT細胞の免疫抑制を解除し、腫瘍抑制を引き起こすことが可能である。このような原理を応用した抗癌剤が実用化されている(例:ニボルマブ、イピリブマブ)。
さらに、このような免疫抑制性の機構は他にも複数存在し、将来それらの免疫抑制機構をブロックする抗腫瘍剤が開発、実用化されていくことが期待されている。高頻度変異型の癌は、免疫機構のターゲットとなる癌特異的な抗原を多く持っているため、免疫抑制のシグナル経路をブロックする療法の効果が高いことが示されており、癌が高頻度変異型であることを簡便に判別できる方法が望まれている(非特許文献3)。
従来、高頻度変異型がんを検査するには、網羅的な遺伝子解析を行って変異数をカウントする方法が知られているが、検査に手間と時間が多く必要であるという問題点があった。また、癌に高頻度変異を引き起こす原因のひとつであるミスマッチ修復機構の欠損又は不完全さを、関連遺伝子の免疫染色又はマイクロサテライト不安定性試験で検査する方法も知られているが、この方法では全ての高頻度変異型癌を検出できないという問題がある。
一方、特許文献1に開示されるような病理診断支援プログラムが知られている。
Nat Rev Cancer.2014 December;14(12):786‐800 J Pathol 2013;230:148‐153 Science 03 Apr 2015 Vol. 348,Issue 6230,pp.124-128
特願2004-346911号公報
特許文献1では、腫瘍の有無、良性・悪性を判定することが可能であるとされているが、高頻度変異癌の判別方法については何ら言及されていない。
本発明はこのような事情に鑑みてなされたものであり、従来と比べて精度の高い高頻度変異癌の判別方法、プログラム及び方法を提供するものである。
本発明によれば、入力部、保持部、機械学習実行部及び判別部を備え、前記入力部は、複数の第1画像データ、複数の第2画像データ及び複数の第3画像データを入力可能に構成され、第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データであり、第2画像データは、高頻度変異型癌ではない癌の病理切片であって、第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、第3画像データは、新たに高頻度変異型癌であるか否かの判別を行うがんの病理切片であって、第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、前記保持部は、第1画像データ及び第2画像データを保持可能に構成され、前記機械学習実行部は、前記保持部により保持された第1画像データ及び第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成可能に構成され、前記判別部は、前記判別モデルに第3画像データを入力し、第3画像データが高頻度変異型癌であるか否かを判別可能に構成される、高頻度変異型癌の判別システムが提供される。
本発明によれば、第1画像データ及び第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成する。ここで、第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データである。また、第2画像データは、高頻度変異型癌ではない癌の病理切片であって、第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データである。そして、判別モデルに第3画像データを入力し、第3画像データが高頻度変異型癌であるか否かを判別可能に構成される。ここで、第3画像データは、新たに高頻度変異型癌であるか否かの判別を行うがんの病理切片であって、第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データである。これにより、従来においては次世代シーケンサーなどによる遺伝子解析を行わなければ困難であった高頻度変異型癌か否かの判別を、迅速かつ高精度で行うことができ、治療に有効な薬剤の選択を容易に行うことが可能となる。
以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、前記病理切片の染色方法が、ヘマトキシリン・エオシン染色である。
好ましくは、前記入力部は、非癌画像データをさらに入力可能に構成され、前記非癌画像データは、癌の病理切片ではない画像データであり、前記保持部は、前記非癌画像データをさらに保持可能に構成され、前記機械学習実行部は、前記保持部により保持された非癌画像データを教師データとし、癌の病理切片の画像データであるか否かを判別する判別モデルをさらに生成可能に構成され、前記判別部は、第3画像データが癌の画像データであるか否かをさらに判別可能に構成される。
好ましくは、画像処理部を備え、前記画像処理部は、第1画像データ及び第2画像データおよび非癌画像データの少なくとも1つに対し、ピクセル毎におけるRGBの各色を、第1画像データ及び第2画像データまたは非癌画像データ全体の色分布に基づいてCIE表色系におけるZ値に変換するZ値変換処理を実行可能に構成される。
好ましくは、前記画像処理部は、前記入力部に入力される第1画像データ及び第2画像データおよび非癌画像データの少なくとも1つを分割する分割処理を実行可能に構成される。
好ましくは、前記分割処理は、第1画像及び第2画像データの少なくとも一方に対し、同一の病理切片の画像データを分割する分割処理を実行可能に構成される。
好ましくは、前記画像処理部は、分割後の画像において一部の領域が重複するように、前記分割処理を実行する。
好ましくは、前記画像処理部は、前記入力部に入力される第3画像データを分割する分割処理をさらに実行可能に構成される。
好ましくは、前記判別部は、前記第3画像データについて、癌の病理切片の画像データであるか否かを判別し、癌の病理切片であると判別された画像データについて、さらに、高頻度変異型癌であるか否かを判別する。
好ましくは、前記判別部は、癌の病理切片の画像データであると判別された画像データ内における前記高頻度変異型癌であると判別された画像データの比率に基づいて、前記癌が高頻度変異癌であるか否かを判別する。
他の観点によれば、コンピュータを、入力部、保持部、機械学習実行部及び判別部として機能させ、前記入力部は、複数の第1画像データ及び複数の第2画像データを入力可能に構成され、第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データであり、第2画像データは、高頻度変異型癌ではない癌の病理切片であって、第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、前記保持部は、第1画像データ及び第2画像データを保持可能に構成され、前記機械学習実行部は、前記保持部により保持された第1画像データ及び第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成可能に構成される、プログラムが提供される。
他の観点によれば、上述の何れか1つに記載のシステムを用いて実行される、高頻度変異型癌の判別方法が提供される。
他の観点によれば、上述の何れか1つに記載のプログラムを用いて実行される、高頻度変異型癌の判別方法が提供される。
好ましくは、免疫チェックポイント阻害剤の有効性を判断する工程を含む。
本発明の第1実施形態に係るシステム10の機能ブロック図である。 本発明の第1実施形態に係る高頻度変異型癌であるか否かを判別する判別モデルを生成するフローを表すフローチャートである。 判定モデルを用いて第3画像データが高頻度変異型癌であるか否かを判別する際における第3画像データの流れを表す概念図である。 本発明の第1実施形態に係る高頻度変異型癌であるか否かを判別するフローを表すフローチャートである。 図4のS13における解析について説明するための概念図である。 判定モデルにおける重みwについて説明するための概念図である。 図2のS5における機械学習の実行について説明するための概念図である。 第2実施形態に係るシステム20の機能ブロック図である。 画像処理部22における入力画像の分割処理を説明する図である。 画像処理部22における入力画像の分割処理を説明する図である。 本実施形態における第3画像データの判別処理の処理フローである。 判別部25における判別処理を説明する図である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
<1.第1実施形態>
1.1.高頻度変異型癌であるか否かの判別
以下、図1~図4を用いて、本発明の一実施形態に係るシステム10について説明する。
(1.1.1.システム10)
図1に示すように、システム10は、入力部1、画像処理部2、保持部3、機械学習実行部4及び判別部5を備える。
入力部1は、複数の第1画像データ、複数の第2画像データ及び複数の第3画像データを入力可能に構成される。ここで、第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データである。また、第2画像データは、高頻度変異型癌ではない癌の病理切片であって、第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データである。さらに、第3画像データは、新たに高頻度変異型癌であるか否かの判別を行うがんの病理切片であって、第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データである。ここで、本実施形態では、これらの画像データのRGB値は、0~255の値を取り得る。
本実施形態では、癌ゲノムDNA配列の解析よりHypermutationタイプ(高頻度変異型)及びNon-Hypermutationタイプ(高頻度変異型でない)と判断された大腸癌サンプルのそれぞれ17症例の病理組織染色標本を取得した。ここで、かかる17症例は、日本人の大腸癌患者201人で癌ゲノムシーケンスをした結果、Hypermutationと判定できた17症例である(参考:Nagahashi et al GenomeMed 2017)。そして、かかる標本をヘマトキシリン・エオシン染色した大腸癌の病理組織染色標本を、デジタルパソロジー技術を用いて第1画像データ及び第2画像データとした。ここで、本実施形態では、MIRAXフォーマットに準拠したデジタルパソロジー画像データとして第1画像データ及び第2画像データを保存した。ここで、上記条件はこれに限定されず、大腸癌以外の癌サンプルを所定の症例数取得する構成としてもよい。
このように、本実施形態では、臨床例の多いヘマトキシリン・エオシン染色された画像データを第1画像データ及び第2画像データとして採用しているため、汎用性の高い判別システムを実現することが可能となっている。
ただし、染色方法は、条件に応じて他の方法を採用し得る。さらに、画像データの保存フォーマットもこれに限定されない。
画像処理部2は、入力部1に入力される複数の第1画像データ、第2画像データ及び第3画像データを分割する分割処理を実行可能に構成される。本実施形態では、画像処理部2は、第1画像データ、第2画像データ及び第3画像データを所定のタイルに分割する機能を備える。一例として、画像処理部2により、第1画像データ、第2画像データ及び第3画像データが300pixel×300pixelサイズの画像に分割される。なお、かかる分割サイズは特に限定されないが、画像データが癌組織部位であるか否かを識別できるサイズとすることが好ましい。そして、本実施形態では、分割処理により、第1画像データ及び第2画像データのそれぞれが1000個以上に分割される。さらに、本実施形態では、画像処理部2は、第1画像及び第2画像データの少なくとも一方に対し、同一の病理切片の画像データを分割する分割処理を実行可能に構成される。なお、分割サイズ及び分割数はこれに限定されず、任意の条件を採用し得る。
このように、入力部1に入力する画像データを分割することにより、後続の機械学習に用いる教師データのデータ数を増やすことができ、機械学習の精度を向上することが可能となる。
また、本実施形態では、画像処理部2はさらに、分割された第1画像データ及び第2画像データに対し、ピクセル毎におけるRGBの各色を、第1画像データ及び第2画像データ全体の色分布に基づいてCIE表色系におけるZ値に変換する変換処理を実行可能に構成される。具体的には、Z値は0を中心とした正規分布を取り、画像データのRGB値は、0~255の値であるので、RGB各色のZ値化した値を標準偏差(σ)の2倍の範囲に収めることが望ましい。このため、画像処理部2は、2σ以上の値は2σに、-2σ以下の値は-2σに補正する機能を備える。また、画像処理部2は、これらの値に対して、2を加算しすべての値を0以上の値に変換した後、4で割ることで0~1値に規格化する機能を備える。さらに、画像処理部2は、かかる値に255掛けることにより、通常の色表現の値に変換する機能を備える。合わせて、画像処理部2は、かかる値が整数値となるように、小数点以下を切り捨てる処理も行う。なお、規格化する手法はこれに限定されない。
ここで、「x=int(((min(max(xz,-2),2)+2)/4)×255)」と規定すると、「xz=z値化したRGBの値」が成立する。
このように、第1画像データ及び第2画像データのRGBの各色をZ値に変換することにより、染色処理における色味のばらつき(色の濃淡)を少なくすることができ、染色の度合いが後続の機械学習に与える影響を抑えることが可能となる。その結果、機械学習の精度を向上することが可能となる。
保持部3は、第1画像データ及び第2画像データを保持可能に構成される、ここで、保持部3は、任意のメモリ、ラッチ、HDD又はSSD等により構成される。
機械学習実行部4は、保持部3により保持された第1画像データ及び第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成可能に構成される。判別モデルの詳細については図3を用いて後述する。
機械学習実行部4の機械学習アルゴリズムは特に限定されないが、例えばニューラルネットワークや深層学習(ディープラーニング)を利用することができる。また、例えばGoogle社により開発された「Inception-v3」という画像識別用のCNN(Convolutional Neural Network)を利用することができる。そして、「Keras」フレームワークを用いてかかるCNNを実行することができる。そして、機械学習自体については、過学習を防ぐため、1epoch毎にバリデーションセットの画像で学習中モデルの精度を算出し、精度指標の変動が収まったepochで学習を切り上げる、「Early Stopping」手法を用いて実施することができる。なお、本実施形態では、Z値化での学習において、14epoch分機械学習を繰り返し実行している。
判別部5は、判別モデルに第3画像データを入力し、第3画像データが高頻度変異型癌であるか否かを判別可能に構成される。
(1.1.2.フローチャート)
次に、図2を用いて、本発明の一実施形態に係る高頻度変異型癌であるか否かを判別する判別モデルを生成するフローを説明する。
まず、S1において、第1画像データ及び第2画像データを入力部1に入力する。
次に、S2において、画像処理部2により、第1画像データ及び第2画像データを分割する分割処理が実行される。本実施形態では、第1画像データ及び第2画像データのそれぞれが1000個以上のタイルに分割される。なお、かかる分割数は適宜設定することができ、例えば1000~3000、好ましくは、1000~2000、さらに好ましくは、1000~1500個としてもよい。具体的には例えば、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000、2100、2200、2300、2400、2500、2600、2700、2800、2900、3000個であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。
あわせて、画像処理部2により、分割された第1画像データ及び第2画像データをZ値化するZ値化が実行される。
次に、S3において、Z値化された第1画像データ及び第2画像データに対し、それぞれの画像データが高頻度変異型癌組織部位(Hypermutaionタイプ)であるか非高頻度変異型癌組織部位(Non-hypermutationタイプ)であるかを判定し、各画像データに対してラベルを付す。例えば、癌を専門とする病理医により判定してもよく、既にラベルが付された画像データをサーバから取得する構成としてもよい。また、分割前の画像データのうち、Hypermutaionタイプ又はNon-hypermutationタイプに相当する箇所にマークをつけ、分割後のタイル画像データがマークされた箇所に相当する場合、分割後のデータにラベルを付す構成とすることもできる。
次に、S4において、入力部1に入力した17症例分の第1画像データ及び第2画像データから、機械学習実行部4による機械学習に利用する13症例分の画像データを選定する。かかる選定はランダムになされてもよく、癌を専門とする病理医により選定されてもよい。そして、ラベルが付された第1画像データ及び第2画像データが保持部3に保持される。かかる第1画像データ及び第2画像データが、機械学習における「正解セット」となる。
次に、S5において、機械学習実行部4により、保持部3により保持された第1画像データ及び第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成するために機械学習を実行する。具体的には、S4においてラベルが付された13症例分の第1画像データ及び第2画像データを用いて、かかる画像データが高頻度型変異癌であるか否かを判別するための機械学習を実行する。
次に、S6において、判別モデルの判定精度が所定の精度以上であるかを判断する。判別モデルの判定精度が所定の精度以上でない場合(NO)、再びS4に戻り、17症例分の第1画像データ及び第2画像データから、異なる組み合わせの13症例分の画像データを選定し、S5における処理を実行する。一方、判別モデルの判定精度が所定の精度以上である場合(YES)、かかる判定モデルを採用することとし、S7に進む。
最後に、S7において、判別部5は、S6で決定された判定モデルを出力し、保持部3又は不図示の記憶部に記憶する。
(1.1.3.高頻度変異型癌であるか否かの判別)
次に、図3及び図4を用いて、判定モデルを用いて第3画像データが高頻度変異型癌であるか否かを判別する際における第3画像データの流れについて説明する。
図3に示されるように、本実施形態では、入力部1に入力された第3画像データが画像処理部2に出力され、上述の画像処理(分割処理及びZ値化処理)が実行された第3画像データが判別部5に出力される。そして、判別部5は、図2のS7において出力された判別モデルを用い、第3画像データが高頻度変異型癌であるか否かを判別する。
このように、第3画像データについても分割処理を行うことにより、判別対象の画像データのサイズと、第1および第2画像データのサイズとが合うこととなり、判別部5における判別精度を向上させることができる。
このときのフローチャートは以下の通りである。
図4に示されるように、まず、S11において、第3画像データが入力部1に入力される。
次に、S12において、画像処理部2により画像処理(分割処理及びZ値化処理)が実行される。
次に、S13において、判別部5により、上述の判別モデルを用いて、第3画像データが高頻度変異型癌であるか否かを判別する。
最後に、S14において、判別部5による判別結果を出力する。かかる判別結果の出力態様は特に限定されず、「高頻度変異型癌である」、「高頻度変異型癌でない」、「高頻度変異型癌である確率がX%である」、等とすることができる。
(1.1.4.判別モデルによる判別)
次に、図5及び図6を用いて、図4のS13における判定モデルを用いた判別について説明する。なお、本実施形態では、機械学習のアルゴリズムは特に限定されず、ニューラルネットワークや深層学習(ディープラーニング)を利用することができる。以下、説明の簡素化のため、ニューラルネットワークを用いた例について説明する。
図5に示すように、ニューラルネットワーク(以下、図面中でNNと表記)は、複数の層(第1層L1~第3層L3)及び複数の計算ノードN(N11~N31)により構成される。ここで、Nijは、第i層のj番目の計算ノードNを表す。本実施形態では、i=3、j=5としてニューラルネットワークを構築している。なお、i,jの値はこれに限定されず、例えばi=1~100、j=1~100の間の整数又は100以上の整数とすることができる。
また、各計算ノードNには、予め定められた重みwが設定される。図4に示すように、例えば、第2層の計算ノードN23に着目した場合、計算ノードN23と、一つ前の層である第1層の全計算ノードN11~N15の間に、重みwが設定される。重みwは、例えば-1~1の値に設定される。
機械学習実行部4は、ニューラルネットワークに種々のパラメータを入力する。本実施形態では、ニューラルネットワークに入力するパラメータとして、第3画像データのZ値、第3画像データのZ値の分布、第3画像データのZ値と第1画像データのZ値の差分、第3画像データのZ値と第2画像データのZ値の差分、第3画像データのZ値と第1画像データ及び第2画像データのZ値の分布の差分を用いる。ここで、第1~第3画像データのZ値は、ピクセル単位におけるZ値である。また、第1~第3画像データのZ値の分布は、画像データ(300pixel×300pixel)内におけるZ値の分布である。また、第3画像データと第1画像データ及び第2画像データのZ値の分布の差分は、第3画像データのZ値の分布と、第1画像データ及び第2画像データの対応するピクセル毎におけるZ値の分布の差分、又は画像データ内における対応するピクセル毎のZ値の差分の合計である。
ここで、上述の通り、各パラメータは、ニューラルネットワークに入力されるにあたり、0~1の値に正規化されている。例えば、入力パラメータが0の場合、入力信号として0を入力する。また、入力パラメータが1の場合、入力信号として1を入力する。
そして、判別部5は、各種パラメータにより規定される入力信号を第1層L1に入力する。かかる入力信号は、第1層の計算ノードN11~N15から、第2層L2の計算ノードN21~N25にそれぞれ出力される。このとき、計算ノードN11~N15から出力された値に対し、計算ノードN毎に設定された重みwを掛け合わせた値が計算ノードN21~N25に入力される。計算ノードN21~N25は、入力値を足し合わせ、かかる値に図6に示されるバイアスbを足した値を活性化関数f()に入力する。そして、活性化関数f()の出力値(図4の例では仮想的な計算ノードノードN'23からの出力値)が次ノードである計算ノードN31に伝搬される。このとき、計算ノードN21~N25と計算ノードN31の間との間に設定された重みwと上記出力値を掛け合わせた値が計算ノードN31に入力される。計算ノードN31は、入力値を足し合わせ、合計値を出力信号として出力する。このとき、計算ノードN31は、入力値を足し合わせ、合計値にバイアスを足した値を活性化関数f()に入力してその出力値を出力信号として出力してもよい。ここで、本実施形態では、出力信号の値は0~1の値となるように調整されている。そして、機械学習実行部4は、出力信号の値に対応する値を高頻度変異型癌であるか否かを判別する確率として出力する。
以上説明したように、本実施形態のシステム10は、第1画像データ及び第2画像データを教師データとし、機械学習実行部4による機械学習を実行することにより、高頻度変異型癌であるか否かを判別する判別モデル(ニューラルネットワーク及び重みw)を生成する。そして、判別部5により、かかる判別モデルを用いて第3画像データが高頻度変異型癌であるか否かを判別する。
1.2.判別モデルの生成
次に、図7を用いて、図2のS5~S6における判別モデルの生成について説明する。
図7に示すように、機械学習実行部4は、図5に示されるニューラルネットワークと同じ構成のニューラルネットワークを構成する各計算ノードNに対し、例えば-1~1までの重みwを設定する。このとき、重みwの影響を低減するため、最初に設定する重みwの絶対値は小さいことが好ましい。そして、5種類のパラメータセットをニューラルネットワークに入力する。本実施形態では、ニューラルネットワークに入力するパラメータとして、第1画像データのZ値、第2画像データのZ値、第1画像データのZ値の分布、第2画像データのZ値の分布、第1画像データと第2画像データのZ値の差分を用いる。ここで、第1画像データのZ値及び第2画像データのZ値は、ピクセル単位におけるZ値である。また、第1画像データのZ値の分布及び第2画像データのZ値の分布は、画像データ(300pixel×300pixel)内におけるZ値の分布である。また、第1画像データと第2画像データのZ値の差分は、第1画像データ及び第2画像データの対応するピクセル毎のZ値の差分又は画像データ内における対応するピクセル毎のZ値の差分の合計である。
そして、ニューラルネットワークからの出力信号と、教師データ(専門医による判別)を比較し、出力信号と教師データの差分(以下、誤差という)が予め定められた閾値以上の場合、重みwを変更し、再び5種類のパラメータセットをニューラルネットワークに入力する。このとき、重みwの変更は、公知の誤差伝搬法等により実行される。かかる計算を繰り返し実行(機械学習)することにより、ニューラルネットワークからの出力信号と予め与えた教師データの誤差を極小化する。このとき、機械学習の学習回数は特に限定されず、例えば、1000回~20000回とすることができる。また、実際の出力信号と予め与えた教師データの誤差が極小化されていなくても、かかる誤差が予め定められた閾値以下となった場合又は開発者の任意のタイミングで機械学習を終了することにしてもよい。
そして、機械学習実行部4による機械学習が終了すると、機械学習実行部4は、このときの各計算ノードNの重みをニューラルネットワークに設定する。つまり、本実施形態では、ニューラルネットワーク上に設けられたメモリ等の記憶部に重みwが格納される。そして、機械学習実行部4により設定された重みwが、システム10に設けられた不図示の記憶部に送信され、図5のニューラルネットワークの各計算ノードNの重みwとされる。本実施形態では、図5のニューラルネットワーク上に設けられたメモリ等の記憶部に重みwが格納される。ここで、図7のニューラルネットワークの構成を、図5のニューラルネットワークの構成と同じにすることにより、機械学習実行部4により設定された重みwをそのまま用いることが可能になる。
<2.第2実施形態>
図8~図12を用いて、本発明の第2実施形態について説明する。なお、実施形態1と同様の構成および機能については、その説明を繰り返さない。
図8に示すように、第2実施形態に係るシステム20では、入力部21は、第1画像データ、第2画像データに加えて、非癌画像データをさらに入力可能に構成される。ここで非癌画像データとは、癌の病理切片以外の画像データを意味する。画像処理部22は、入力された画像データに対して分割処理を行う。分割処理の詳細は後述する。
保持部23は、分割された第1画像データおよび第2画像データに加えて、分割された非癌画像データをさらに保持可能に構成される。機械学習実行部24は、保持部3により保持された第1画像データ、第2画像データ、および非癌画像データを教師データとし、癌の画像であるか否かを判別する判別モデル(以下、第1判別モデルという)と、癌の画像が高頻度変異型癌であるか否かを判別する判別モデル(以下、第2判別モデルという)とを生成可能に構成される。判別部25は、第1および第2判別モデルに第3画像データを入力し、第3画像データが癌の画像データであるか否かと、高頻度変異型癌の画像データであるか否かとを判別可能に構成される。
図9は、入力部21に入力される一例としての画像データPを示す。画像データPは、組織領域Tと、ブランク領域BL(例えば、プレパレートの領域)を有する。組織領域Tは、高頻度変異型癌ではない癌の領域C1と、高頻度変異型癌の領域C2と、癌ではない組織領域NCとを含む。
画像処理部22は、入力部21に入力される画像データPに対して分割処理を行う。図9に示す例では、組織領域Tを縦10×横10に100分割している。すなわち、組織領域Tを包含するように100個からなるタイルD00~D99を設定する。
この例においては、高頻度変異型癌の領域C2に対応するタイル(例えば、タイルD54)は第1画像データに相当し、高頻度変異型癌でない癌の領域C1に対応するタイル(例えば、タイルD34)は、第2画像データに相当する。また、癌でない組織領域NCのみに対応するタイル(例えば、タイルD15)、ブランク領域BLのみに対応するタイル(例えば、タイルD49)、および、癌でない組織領域NCとブランク領域BLとを含むタイル(例えば、タイルD04)は、いずれも非癌画像データに相当する。
このように、本実施形態においては、非癌画像データとして、癌でない組織領域NCに対応するタイル、ブランク領域BLのみに対応するタイル、癌でない組織領域NCとブランク領域BLとを含むタイルなど、様々な画像を入力して機械学習を行う。このように非癌画像の多様性を増やすことにより、検査対象データが癌画像であるか否かの判定の精度が向上する。
また、本実施形態では、上記分割処理(以下、第1の分割処理という)後の画像データに対して、さらなる分割処理(以下、第2の分割処理という)を行うこともできる。図10では、第1の分割処理によって分割後のタイルDnmを、さらに5つのタイルに分割している。ここで、第2の分割処理では、分割後のタイルにおいて一部の領域が重複するように分割処理が実行される。すなわち、第2の分割処理後のタイルDnm1とタイルDnm2とは、一部の画像が重複している。また、タイルDnm2とタイルDnm3とも一部の画像が重複している。
このように、分割後の画像において一部の領域が重複するように分割処理を実行することにより、画像数を増加することが可能となり、後続の機械学習における学習効率を向上させることができる。
図11は、本実施形態における第3画像データの判別処理の処理フローである。図11に示すように、本実施形態では、判別部25は第3画像データが癌画像であるか否かの判別と、高頻度変異型癌であるか否かの判別とを行う。
具体的には、ステップS23内におけるステップS231において、判別部25は、第3画像データが癌画像であるか否かの判別を行う。癌画像でない場合(ステップS231においてNo)、ステップS233において、当該第3画像データは非癌画像であると判別する。
一方、癌画像である場合(ステップS231においてYes)、判別部25は、ステップS232において、第3画像データが高頻度変異型癌の画像であるか否かの判別を行う。高頻度変異型癌でない場合(ステップS232においてNo)、ステップS235において、当該第3画像データは高頻度変異型癌の画像でないと判別される。一方、高頻度変異型癌である場合(ステップS232においてYes)、ステップS234において、当該第3画像データは高頻度変異型癌の画像であると判別される。
このようにして、本実施形態では、第3画像データについて癌画像であるか否かの判別と、高頻度変異型癌であるか否かの判別とを行う。そのため、癌の画像データであるか否かを病理医等が予め診断する必要がなく、判別処理における作業効率を向上させることができる。
ここで、判別部25は、癌の画像データであると判別された画像データ内における高頻度変異型癌であると判別された画像データの比率に基づいて、当該癌が高頻度変異癌であるか否かを判別してもよい。
図12に示す例では、第3画像データP2において、癌の画像データであると判別された画像E1内に、高頻度変異型癌であると判別された画像E2が存在している。そのとき、判別部25は、(E2のタイルの枚数)/(E1のタイルの枚数)で定められる比率が予め定められた閾値より大きい場合に、画像E1によって示される領域が高頻度変異型癌であると判別する。
このようにすることにより、局所的に高頻度変異型癌であると判別してしまう偽陽性をノイズとして除去することが可能となり、判別の精度を向上することが可能となる。
以上のように、第2実施形態では、入力部21は、非癌画像データをさらに入力可能に構成され、機械学習実行部24は、非癌画像データをも教師データとし、癌の病理切片の画像データであるか否かを判別する判別モデルをさらに生成可能に構成される。そして、判別部25は、第3画像データが癌の画像データであるか否かをさらに判別可能に構成される。このような構成とすることにより、第3画像データについて、病理医になどによる癌であるか否かの診断が必要なくなり、判別処理の作業効率が向上する。
<3.その他の実施形態>
以上、種々の実施形態について説明したが、本発明は以下の態様でも実施可能である。
コンピュータを、
入力部、保持部、機械学習実行部及び解析部として機能させ、
前記入力部は、複数の第1画像データ及び複数の第2画像データを入力可能に構成され、
第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データであり、
第2画像データは、高頻度変異型癌ではない病理切片であって、第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、
前記保持部は、第1画像データ及び第2画像データを保持可能に構成され、
前記機械学習実行部は、前記保持部により保持された第1画像データ及び第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成可能に構成される、
プログラム。
上述の何れか1つに記載のシステムを用いて実行される、高頻度変異型癌の判別方法。なお、ここにいう高頻度変異型癌とは、任意の癌種を含み、例えば脳腫瘍、頭頚部癌、乳癌、肺癌、食道癌、胃癌、十二指腸癌、虫垂癌、大腸癌、直腸癌、肝癌、膵癌、胆嚢癌、胆管癌、肛門癌、腎癌、尿管癌、膀胱癌、前立腺癌、陰茎癌、精巣癌、子宮癌、卵巣癌、外陰癌、膣癌、皮膚癌などの固形癌が挙げられるがこれらに限定されない。本発明の目的では高頻度変異型がんは、大腸癌、肺癌、胃癌、メラノーマ(悪性黒色腫)、頭頚部癌、食道癌であることが好ましい。
上述のプログラムを用いて実行される、高頻度変異型癌の判別方法。
免疫チェックポイント阻害剤の有効性を判断する工程を含む、上述の何れか1つに記載の判別方法。かかる判別方法は、高頻度変異型の癌を有すると判別された患者が、免疫チェックポイント阻害剤の投与の有効性が高いことを示す工程をさらに含むことができる。高頻度変異型癌は、免疫機構のターゲットとなる癌特異的な抗原を多く持っているため、免疫抑制のシグナル経路をブロックする療法の効果が高いことが示されている。かかる判別方法では、癌が高頻度変異型であることを簡便に判別できるため有利である。ここにいう「免疫チェックポイント」は、当該分野で公知であり(Naidoo et al. British Journal of Cancer (2014) 111, 2214-2219)、CTLA4、PD1、及び、そのリガンドPDL-1等が知られている。その他には、TIM-3、KIR、LAG-3、VISTA、BTLAが含まれる。免疫チェックポイントの阻害剤は、それらの正常な免疫機能を阻害する。例えば、免疫チェックポイントの分子の発現を負に制御するか、又は、その分子に結合して、正常な受容体/リガンド相互作用をブロックすることによって阻害する。免疫チェックポイントは、抗原に対する免疫系応答にブレーキをかけるように働くので、その阻害剤は、この免疫抑制効果を減少させ、免疫応答を増強する。免疫チェックポイントの阻害剤は、当技術分野で公知であり、好ましいものは、抗CTLA-4抗体(例;イピリムマブ(ipilimumab),トレメリムマブ(tremelimumab))、抗PD-1抗体(例:ニボルマブ(nivolumab)、ペンブロリズマブ(lambrolozumab)、pidilizumab、及びRG7446(Roche))、並びに、抗PDL-1抗体(例;BMS-936559(Bristol-Myers Squibb)、MPDL3280A(Genentech)、MSB0010718C(EMD-Serono)及びMEDI4736(AstraZeneca))等の抗-免疫チェックポイント抗体である。
また、保持部3は、外部のPC又はサーバ等の情報処理装置に設けるクラウドコンピューティングの態様とすることができる。この場合、計算の度に必要なデータを外部の情報処理装置がシステム10に送信する。
また、上述のプログラムを格納した、コンピュータ読取り可能な非一時的記録媒体として提供することもできる。さらに、上述のプログラムの機能を実装したASIC(application specific integrated circuit)、FPGA(field-programmable gate array)、DRP(Dynamic ReConfigurable Processor)として提供することもできる。
1,21 :入力部
2,22 :画像処理部
3,23 :保持部
4,24 :機械学習実行部
5,25 :判別部
10,20 :システム

Claims (15)

  1. 入力部、保持部、機械学習実行部及び判別部を備え、
    前記入力部は、複数の第1画像データ、複数の第2画像データ及び複数の第3画像データを入力可能に構成され、
    前記第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データであり、
    前記第2画像データは、高頻度変異型癌ではない癌の病理切片であって、前記第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、
    前記第3画像データは、新たに高頻度変異型癌であるか否かの判別を行うがんの病理切片であって、前記第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、
    前記保持部は、前記第1画像データ及び前記第2画像データを保持可能に構成され、
    前記機械学習実行部は、前記保持部により保持された前記第1画像データ及び前記第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成可能に構成され、
    前記判別部は、前記判別モデルに前記第3画像データを入力し、前記第3画像データが高頻度変異型癌であるか否かを判別可能に構成される、
    高頻度変異型癌の判別システム(但し、前記病理切片の染色方法が、免疫染色であるものを除く)
  2. 前記病理切片の染色方法が、ヘマトキシリン・エオシン染色である、
    請求項1に記載のシステム。
  3. 前記入力部は、非癌画像データをさらに入力可能に構成され、
    前記非癌画像データは、癌の病理切片ではない画像データであり、
    前記保持部は、前記非癌画像データをさらに保持可能に構成され、
    前記機械学習実行部は、前記保持部により保持された前記非癌画像データを教師データとし、癌の病理切片の画像データであるか否かを判別する判別モデルをさらに生成可能に構成され、
    前記判別部は、前記第3画像データが癌の画像データであるか否かをさらに判別可能に構成される、
    請求項1または請求項2に記載のシステム。
  4. 画像処理部を備え、
    前記画像処理部は、前記第1画像データ、および前記第2画像データの少なくとも1つに対し、ピクセル毎におけるRGBの各色を、前記第1画像データ、または前記第2画像データ全体の色分布に基づいてCIE表色系におけるZ値に変換するZ値変換処理を実行可能に構成される、
    請求項1又は請求項2に記載のシステム。
  5. 画像処理部を備え、
    前記画像処理部は、前記第1画像データ、前記第2画像データおよび前記非癌画像データの少なくとも1つに対し、ピクセル毎におけるRGBの各色を、前記第1画像データ、前記第2画像データまたは前記非癌画像データ全体の色分布に基づいてCIE表色系におけるZ値に変換するZ値変換処理を実行可能に構成される、
    請求項3に記載のシステム。
  6. 前記画像処理部は、
    前記入力部に入力される前記第1画像データ、および前記第2画像データの少なくとも1つを分割する分割処理を実行可能に構成される、
    請求項4に記載のシステム。
  7. 前記画像処理部は、
    前記入力部に入力される前記第1画像データ、前記第2画像データ、および前記非癌画像データの少なくとも1つを分割する分割処理を実行可能に構成される、
    請求項5に記載のシステム。
  8. 前記画像処理部は、
    分割後の画像において一部の領域が重複するように、前記分割処理を実行する、請求項6又は請求項7に記載のシステム。
  9. 前記画像処理部は、
    前記入力部に入力される前記第3画像データを分割する分割処理をさらに実行可能に構成される、請求項6~請求項8の何れか1つに記載のシステム。
  10. 前記判別部は、
    前記第3画像データについて、癌の病理切片の画像データであるか否かを判別し、
    癌の病理切片であると判別された画像データについて、さらに、高頻度変異型癌であるか否かを判別する、
    請求項3、請求項5、及び請求項7のうち何れか1つに記載のシステム。
  11. 前記判別部は、
    癌の病理切片の画像データであると判別された画像データ内における前記高頻度変異型癌であると判別された画像データの比率に基づいて、前記癌が高頻度変異癌であるか否かを判別する、
    請求項10に記載のシステム。
  12. コンピュータを、
    入力部、保持部、機械学習実行部及び判別部として機能させ、
    前記入力部は、複数の第1画像データ及び複数の第2画像データを入力可能に構成され、
    前記第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データであり、
    前記第2画像データは、高頻度変異型癌ではない癌の病理切片であって、前記第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、
    前記保持部は、前記第1画像データ及び前記第2画像データを保持可能に構成され、
    前記機械学習実行部は、前記保持部により保持された前記第1画像データ及び前記第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成可能に構成される、
    プログラム(但し、前記病理切片の染色方法が、免疫染色であるものを除く)
  13. 請求項1~請求項11の何れか1つに記載のシステムを用いて実行される、
    高頻度変異型癌の判別方法。
  14. 請求項12記載のプログラムを用いて実行される、
    高頻度変異型癌の判別方法。
  15. 免疫チェックポイント阻害剤の有効性を判断する工程を含む、
    請求項13又は請求項14に記載の判別方法。
JP2020500447A 2018-02-15 2019-02-07 高頻度変異型癌の判別システム、プログラム及び方法 Active JP7292685B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023015100A JP2023058553A (ja) 2018-02-15 2023-02-03 高頻度変異型癌の判別システム、プログラム及び方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018024784 2018-02-15
JP2018024784 2018-02-15
PCT/JP2019/004499 WO2019159821A1 (ja) 2018-02-15 2019-02-07 高頻度変異型癌の判別システム、プログラム及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023015100A Division JP2023058553A (ja) 2018-02-15 2023-02-03 高頻度変異型癌の判別システム、プログラム及び方法

Publications (2)

Publication Number Publication Date
JPWO2019159821A1 JPWO2019159821A1 (ja) 2021-03-04
JP7292685B2 true JP7292685B2 (ja) 2023-06-19

Family

ID=67619174

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020500447A Active JP7292685B2 (ja) 2018-02-15 2019-02-07 高頻度変異型癌の判別システム、プログラム及び方法
JP2023015100A Pending JP2023058553A (ja) 2018-02-15 2023-02-03 高頻度変異型癌の判別システム、プログラム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023015100A Pending JP2023058553A (ja) 2018-02-15 2023-02-03 高頻度変異型癌の判別システム、プログラム及び方法

Country Status (6)

Country Link
US (2) US11295447B2 (ja)
EP (2) EP3754334B1 (ja)
JP (2) JP7292685B2 (ja)
KR (1) KR20200121318A (ja)
CN (3) CN115684568A (ja)
WO (1) WO2019159821A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4134909A4 (en) * 2020-04-06 2024-02-21 Niigata University DATA GENERATION DEVICE, DATA GENERATION METHOD AND PROGRAM
US20230274428A1 (en) * 2020-10-14 2023-08-31 Genomedia Inc. Information processing system, information processing method, and program
WO2023228229A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015052581A (ja) 2013-01-08 2015-03-19 キヤノン株式会社 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置
WO2016093090A1 (ja) 2014-12-09 2016-06-16 コニカミノルタ株式会社 画像処理装置及び画像処理プログラム
WO2017010397A1 (ja) 2015-07-15 2017-01-19 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体
WO2017037180A1 (en) 2015-09-02 2017-03-09 Ventana Medical Systems, Inc. Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265283B2 (ja) 2003-05-26 2009-05-20 トヨタ自動車株式会社 Cngエンジンの燃料性状別制御方法
US10839510B2 (en) * 2015-08-19 2020-11-17 Colorado Seminary, Which Owns And Operates The University Of Denver Methods and systems for human tissue analysis using shearlet transforms
US10438096B2 (en) * 2016-12-27 2019-10-08 Definiens Ag Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
WO2018144044A1 (en) * 2017-02-03 2018-08-09 Q Bio, Inc. lTERATIVE MEDICAL TESTING OF BIOLOGICAL SAMPLES
US11954614B2 (en) * 2017-02-08 2024-04-09 10X Genomics, Inc. Systems and methods for visualizing a pattern in a dataset
CN107064019B (zh) 2017-05-18 2019-11-26 西安交通大学 用于无染色病理切片高光谱图像采集及分割的装置及方法
JP7198577B2 (ja) * 2017-11-17 2023-01-04 シスメックス株式会社 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
WO2019106946A1 (ja) * 2017-12-01 2019-06-06 ソニー株式会社 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015052581A (ja) 2013-01-08 2015-03-19 キヤノン株式会社 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置
WO2016093090A1 (ja) 2014-12-09 2016-06-16 コニカミノルタ株式会社 画像処理装置及び画像処理プログラム
WO2017010397A1 (ja) 2015-07-15 2017-01-19 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体
WO2017037180A1 (en) 2015-09-02 2017-03-09 Ventana Medical Systems, Inc. Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUEDES, L.B. et al.,MSH2 Loss in Primary Prostate Cancer,Clinical Cancer Research,2017年11月15日,Vol. 23, No. 22,pp. 6863-6874
SCHAUMBERG, A. J. et al.,H&E-stained Whole Slide Image Deep Learning Predicts SPOP Mutation State in Prostate Cancer,bioRxiv,2017年03月03日,064279,1-11,[online], [令和4年6月13日検索], <URL: https://doi.org/10.1101/064279>
TRACEY, L. et al.,Somatic hypermutation signature in B-cell low-grade lymphomas,haematologica,2008年,Vol. 93, No. 8,pp. 1186-1194
YUZA, K. et al.,Hypermutation and microsatellite instability in gastrointestinal cancers.,Oncotarget,2017年12月01日,Vol. 8, No. 67,pp. 112103-112115

Also Published As

Publication number Publication date
KR20200121318A (ko) 2020-10-23
CN111727371B (zh) 2022-11-04
WO2019159821A1 (ja) 2019-08-22
EP4235594A3 (en) 2023-10-25
US11295447B2 (en) 2022-04-05
JP2023058553A (ja) 2023-04-25
JPWO2019159821A1 (ja) 2021-03-04
EP3754334A1 (en) 2020-12-23
CN115684569A (zh) 2023-02-03
US11869190B2 (en) 2024-01-09
EP3754334B1 (en) 2023-06-21
CN111727371A (zh) 2020-09-29
EP4235594A2 (en) 2023-08-30
CN115684568A (zh) 2023-02-03
US20210035300A1 (en) 2021-02-04
EP3754334A4 (en) 2021-04-14
US20220301167A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
JP2023058553A (ja) 高頻度変異型癌の判別システム、プログラム及び方法
Kuntz et al. Gastrointestinal cancer classification and prognostication from histology using deep learning: Systematic review
Kudo et al. Artificial intelligence system to determine risk of T1 colorectal cancer metastasis to lymph node
Catto et al. The application of artificial intelligence to microarray data: identification of a novel gene signature to identify bladder cancer progression
Singh et al. Hybrid stomach-intestinal chromatin states underlie human Barrett’s metaplasia
Klein et al. Artificial intelligence for solid tumour diagnosis in digital pathology
Komisarof et al. A four gene signature predictive of recurrent prostate cancer
Zhang et al. Artificial intelligence-assisted selection and efficacy prediction of antineoplastic strategies for precision cancer therapy
Huang et al. Prediction of target-drug therapy by identifying gene mutations in lung cancer with histopathological stained image and deep learning techniques
Alderman et al. Categorizing renal oncocytic neoplasms on core needle biopsy: a morphologic and immunophenotypic study of 144 cases with clinical follow-up
Weyn et al. Determination of tumour prognosis based on angiogenesis-related vascular patterns measured by fractal and syntactic structure analysis
Ahonen et al. A high-content image analysis approach for quantitative measurements of chemosensitivity in patient-derived tumor microtissues
Joyce et al. The surgical management of Spitz naevi and atypical spitzoid neoplasms: a review of the literature
Hoang et al. Prediction of cancer treatment response from histopathology images through imputed transcriptomics
Arlova et al. Artificial intelligence-based tumor segmentation in mouse models of lung adenocarcinoma
Su et al. BCR-Net: A deep learning framework to predict breast cancer recurrence from histopathology images
Schmauch et al. Transcriptomic learning for digital pathology
Hu et al. Prediction of clinicopathological features, multi-omics events and prognosis based on digital pathology and deep learning in HR+/HER2− breast cancer
Hossain Mollah et al. β-empirical Bayes inference and model diagnosis of microarray data
Kim et al. Validity of patient-derived xenograft mouse models for lung cancer based on exome sequencing data
Manganaro et al. Consensus clustering methodology to improve molecular stratification of non-small cell lung cancer
Bisheshar et al. Addition of tumor microenvironment immune cell composition to improve the performance of a predictive model for oral squamous cell carcinoma
Tong et al. Learning transcriptional and regulatory dynamics driving cancer cell plasticity using neural ODE-based optimal transport
Saber et al. Radiomics using computed tomography to predict CD73 expression and prognosis of colorectal cancer liver metastases
Grau et al. Interpretable semisupervised classifier for predicting cancer stages

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220128

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230203

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230215

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230530

R150 Certificate of patent or registration of utility model

Ref document number: 7292685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150