JP7226895B2 - 医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするための方法及び装置 - Google Patents

医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするための方法及び装置 Download PDF

Info

Publication number
JP7226895B2
JP7226895B2 JP2019566558A JP2019566558A JP7226895B2 JP 7226895 B2 JP7226895 B2 JP 7226895B2 JP 2019566558 A JP2019566558 A JP 2019566558A JP 2019566558 A JP2019566558 A JP 2019566558A JP 7226895 B2 JP7226895 B2 JP 7226895B2
Authority
JP
Japan
Prior art keywords
histological
image
sample
target
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019566558A
Other languages
English (en)
Other versions
JP2020508536A (ja
Inventor
ケネス マーク ソリバン
ジン マン カン
Original Assignee
コー・ヤング・テクノロジー・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コー・ヤング・テクノロジー・インコーポレーテッド filed Critical コー・ヤング・テクノロジー・インコーポレーテッド
Publication of JP2020508536A publication Critical patent/JP2020508536A/ja
Application granted granted Critical
Publication of JP7226895B2 publication Critical patent/JP7226895B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本出願は、２０１７年２月２１日付で出願された先行米国仮特許出願第６２／４６１，４９０号、及び２０１７年９月２７日付で出願された米国仮特許出願第６２／５６３，７５１号に基づいており、これから優先権の利益を主張し、この米国出願の内容全体は参考として本明細書に含まれている。
本開示は、一般的にディスプレイのために組織学的イメージ（ｈｉｓｔｏｌｏｇｉｃａｌ ｉｍａｇｅ）をプロセッシングすることに関するものであって、さらに具体的には、準指導学習モデル（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を用いて組織学的イメージの修正されたイメージを生成することに関するものである。
組織学において、Ｈ＆Ｅ（ヘマトキシリン及びエオシン）染色が医療診断に広く用いられてきた。例えば、患者の身体で癌のような疑わしい病変を検査するために、医師は疑わしい病変のサンプルを取得し、Ｈ＆Ｅ染色の顕微鏡写真を生成するための予め定められた手続きを行うことができる。医師は次に、患者の疾病を診断するために、顕微鏡でＨ＆Ｅ染色の顕微鏡写真を見ることができる。Ｈ＆Ｅ染色の顕微鏡写真を取得するために、患者からの疑わしい病変のサンプルは、典型的に組織学実験室に送られる。また、Ｈ＆Ｅ染色の顕微鏡写真を生成するために、一連の予め定められた手続きが行われる。そのような手続きは、Ｈ＆Ｅ染色の顕微鏡写真を取得するのに、通常、一日以上が要される。一部の場合においては、疾病の適時治療を提供するために、外科手術の間に疾病の迅速な診断が要求され得る。しかし、前記手続きによると、疑わしい病変に対する疾病が手術の間に直ちに診断されないこともある。
一方、ＣＴ（Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）顕微鏡写真などのようなイメージがキャプチャされて潜在的患者を確実に診断するのに用いられ得る。しかし、そのような顕微鏡写真のイメージをキャプチャすることは、潜在的患者に相対的に多くの費用が要され得る。また、そのようなＣＴ及びＭＲＩデバイスはあまりにも大きく、手術の間に人体の一部分をキャプチャするのに用いられ得ない。即ち、このデバイスは、手術の間に手術室に位置させたり、手術室に移動させたりするのに適していないこともある。
即刻かつ迅速な診断のために、ＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）デバイスのような医療イメージングデバイスによりキャプチャされた相対的に低い品質を有するイメージが、患者における疑わしい病変の位置確認のために用いられてきた。そのようなイメージはＣＴ及び／またはＭＲＩ顕微鏡写真より安く取得され得、Ｈ＆Ｅ染色の顕微鏡写真より速かに生成され得る。しかし、そのようなイメージは、イメージにおいて１つ以上の組織類型の疾病を正確に診断するのに適切な可視性（ｖｉｓｉｂｉｌｉｔｙ）を有していないことがある。
本開示に記載された実施例は、準指導学習モデルであり得る予測モデルを用いて医療イメージングデバイスによりキャプチャされた組織学的イメージの修正されたイメージを生成することに関するものである。
本開示の一様態によると、医療イメージングデバイスによりキャプチャされた１つ以上の組織学的イメージをプロセッシングするために、コンピュータにより行われる方法が開示される。この方法において、少なくとも１つの組織類型を含む組織学的イメージのそれぞれが受信され、組織学的イメージのそれぞれにおける少なくとも１つの候補組織類型が第１オートエンコーダ（ａｕｔｏｅｎｃｏｄｅｒ）により決定される。組織学的イメージにおける少なくとも１つの候補組織類型に対応する少なくとも１つのターゲット領域が、第１オートエンコーダにより識別される。組織学的イメージのそれぞれにおけるターゲット領域に対応する少なくとも１つのターゲット組織学的イメージは、１つ以上のサンプル組織学的イメージを１つ以上のサンプルターゲット組織学的イメージと連関させる予測モデルに基づいて識別される。識別されたターゲット組織学的イメージまたはイメージと連関した１つ以上のディスプレイ特性が組織学的イメージに適用される。本開示は、この方法に関するデバイス及びコンピュータ読み取り可能媒体をさらに説明する。
本開示の一様態は、医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするために、コンピュータにより行われる方法に関するものであり、この方法は、少なくとも１つの組織類型を含む組織学的イメージを受信する段階と、第１オートエンコーダにより、組織学的イメージにおける候補組織類型を決定する段階と、第１オートエンコーダにより、組織学的イメージにおける候補組織類型に対応するターゲット領域を識別する段階と、１つ以上のサンプル組織学的イメージを１つ以上のサンプルターゲット組織学的イメージと連関させる予測モデルに基づいて組織学的イメージにおけるターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別する段階と、識別された少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を組織学的イメージに適用する段階とを含む。この方法は、適用されたディスプレイ特性を含む組織学的イメージの修正されたイメージを生成する段階をさらに含むことができる。
一実施例において、予測モデルは、サンプル組織学的イメージのそれぞれにおける第１パッチセット及びサンプルターゲット組織学的イメージのそれぞれにおける第２パッチセットを含むことができ、予測モデルにおいて第１パッチセットは第２パッチセットと連関し、１つ以上のディスプレイ特性を適用する段階は、識別された少なくとも１つのターゲット組織学的イメージにおける第２パッチセットに基づいて受信された組織学的イメージにおける複数のパッチを修正する段階を含む。
一実施例において、候補組織類型に対応するターゲット領域を識別する段階は、組織学的イメージにおけるターゲット領域を含む複数の領域を識別する段階を含むことができ、予測モデルは、サンプル組織学的イメージのそれぞれにおける第１領域セット、及びサンプルターゲット組織学的イメージのそれぞれにおける第２領域セットを含み、予測モデルにおいて第１領域セットは第２領域セットと連関し、１つ以上のディスプレイ特性を適用する段階は、識別された少なくとも１つのターゲット組織学的イメージにおける第２領域セットに基づいて受信された組織学的イメージにおける複数の領域を修正する段階を含む。
一実施例において、第１非指導学習モデルは、第１サンプル組織学的イメージセットに基づいて第１オートエンコーダをトレーニングすることにより生成され得る。一実施例において、予測モデルは、第１非指導学習モデル及び第２非指導学習モデルに基づいて生成され得、第２非指導学習モデルは、第２サンプルターゲット組織学的イメージセットをトレーニングすることにより生成され得る。一実施例において、第１サンプル組織学的イメージセットにおけるＭ個のサンプル組織学的イメージの１つ以上の解剖学的位置は、第２サンプルターゲット組織学的イメージセットにおけるＮ個のサンプルターゲット組織学的イメージの１つ以上の解剖学的位置とマッチングするように整列され得、Ｍ及びＮは、正の整数である。一実施例において、予測モデルは、１つ以上のディスプレイ特性を示す１つ以上の特徴に関するデータを含むことができ、Ｎ個のサンプルターゲット組織学的イメージからの１つ以上の特徴をＭ個のサンプル組織学的イメージからの１つ以上の特徴と連関させることによりトレーニングされる。
一実施例において、医療イメージングデバイスによりキャプチャされた組織学的イメージは、ターゲット構造体の１つ以上の組織学的イメージを含むことができ、ターゲット構造体は、可視表面から２～４ｍｍの深さを有することができる。一実施例において、第１非指導学習モデルは、組織学的イメージにおけるターゲット領域と連関した１つ以上の特徴に基づいてトレーニングされ得る。一実施例において、第１非指導学習モデル、第２非指導学習モデル、及び予測モデルのそれぞれは、人工神経（ニューラル）ネットワークの１つ以上のモデルハイパーパラメータ（ｍｏｄｅｌ ｈｙｐｅｒｐａｒａｍｅｔｅｒｓ）及び１つ以上の加重値により定義された多層モデル（ｍｕｌｔｉｌａｙｅｒ ｍｏｄｅｌ）を含むことができる。
本開示の一様態は、医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするためのイメージプロセッシングデバイスに関するものであり、このデバイスは、少なくとも１つの組織類型を含む組織学的イメージを受信し、組織学的イメージにおける候補組織類型を決定し、組織学的イメージにおける候補組織類型に対応するターゲット領域を識別するように構成された第１オートエンコーダと、１つ以上のサンプル組織学的イメージを１つ以上のサンプルターゲット組織学的イメージと連関させる予測モデルに基づいて組織学的イメージにおけるターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別し、識別された少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を組織学的イメージに適用するように構成されたイメージ生成ユニットとを含む。
一実施例において、イメージ生成ユニットは、適用されたディスプレイ特性を含む組織学的イメージの修正されたイメージを生成するようにさらに構成され得る。一実施例において、第１オートエンコーダは、組織学的イメージにおけるターゲット領域を含む複数の領域を識別するようにさらに構成され得、予測モデルは、サンプル組織学的イメージのそれぞれにおける第１領域セット、及びサンプルターゲット組織学的イメージのそれぞれにおける第２領域セットを含み、予測モデルにおいて第１領域セットは第２領域セットと連関し、イメージ生成ユニットは、識別された少なくとも１つのターゲット組織学的イメージにおける第２領域セットに基づいて受信された組織学的イメージにおける複数の領域を修正するようにさらに構成される。
一実施例において、第１非指導学習モデルは、第１サンプル組織学的イメージセットに基づいて第１オートエンコーダをトレーニングすることにより生成され得る。一実施例において、予測モデルは、第１非指導学習モデル及び第２非指導学習モデルに基づいて生成され得、第２非指導学習モデルは、第２サンプルターゲット組織学的イメージセットをトレーニングすることにより生成され得る。一実施例において、第１サンプル組織学的イメージセットにおけるＭ個のサンプル組織学的イメージの１つ以上の解剖学的位置は、第２サンプルターゲット組織学的イメージセットにおけるＮ個のサンプルターゲット組織学的イメージの１つ以上の解剖学的位置とマッチングするように整列され得、Ｍ及びＮは、正の整数である。
本開示の一様態は、組織学的イメージをプロセッシングするための命令語を含む非一時的コンピュータ読み取り可能格納媒体に関するものであり、この命令語はコンピュータのプロセッサに動作を行わせ、この動作は、少なくとも１つの組織類型を含む組織学的イメージを受信する動作と、組織学的イメージにおける候補組織類型を決定する動作と、組織学的イメージにおける候補組織類型に対応するターゲット領域を識別する動作と、１つ以上のサンプル組織学的イメージを１つ以上のサンプルターゲット組織学的イメージと連関させる予測モデルに基づいて組織学的イメージにおけるターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別する動作と、識別された少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を組織学的イメージに適用する動作とを含む。
一実施例において、候補組織類型に対応するターゲット領域を識別する動作は、組織学的イメージにおけるターゲット領域を含む複数の領域を識別する動作を含むことができ、ここで予測モデルは、サンプル組織学的イメージのそれぞれにおける第１領域セット、及びサンプルターゲット組織学的イメージのそれぞれにおける第２領域セットを含み、ここで予測モデルにおいて第１領域セットは第２領域セットと連関し、ここで１つ以上のディスプレイ特性を適用する動作は、識別された少なくとも１つのターゲット組織学的イメージにおける第２領域セットに基づいて受信された組織学的イメージにおける複数の領域を修正する動作を含む。
一実施例において、予測モデルは、複数のディスプレイ特性を示す１つ以上の特徴を含むことができ、第２サンプルターゲット組織学的イメージセットにおけるＮ個のサンプルターゲット組織学的イメージからの１つ以上の特徴を、第１サンプル組織学的イメージセットにおけるＭ個のサンプル組織学的イメージからの１つ以上の特徴と連関させることによりトレーニングされ得、Ｍ及びＮは、正の整数である。
本開示は、準指導学習モデルであり得る予測モデルを用いて医療イメージングデバイスによりキャプチャされた組織学的イメージの修正されたイメージを生成することに関する。
本開示の一実施例による、医療イメージングデバイスが医療手術の間作動しており、医療イメージングデバイスによりキャプチャされた組織学的イメージの修正されたイメージがディスプレイユニット上にディスプレイされる手術室の環境を示している。 本開示の一実施例による、予測モデルに基づいて組織学的イメージにおけるターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別し、少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を組織学的イメージに適用することにより組織学的イメージの修正されたイメージを生成するための流れ図である。 本開示の一実施例による、第１オートエンコーダ、第２オートエンコーダ、及び指導連関学習機（ｓｕｐｅｒｖｉｓｅｄ ａｓｓｏｃｉａｔｉｏｎ ｌｅａｒｎｅｒ）をトレーニングすることにより予測モデルを生成し、第１オートエンコーダ及び予測モデルに基づいて組織学的イメージをプロセッシングするように構成されたイメージプロセッシングデバイスのブロック図を例示している。 本開示の一実施例による、組織学的イメージの第１サンプルイメージデータベースにおけるサンプル組織学的イメージに基づいて第１オートエンコーダをトレーニングすることにより生成され得る第１非指導学習モデルのブロック図を示している。 本開示の一実施例による、ターゲット組織学的イメージの第２サンプルイメージデータベースにおけるサンプルターゲット組織学的イメージに基づいて第２オートエンコーダをトレーニングすることにより生成され得る第２非指導学習モデルのブロック図を例示している。 本開示の一実施例による、マッチングするイメージのゴールデンセット（ｇｏｌｄｅｎ ｓｅｔ）に基づいて第２非指導学習モデルを第１非指導学習モデルと連関させることにより予測モデルを生成するように構成されたイメージプロセッシングデバイス内の指導連関学習機を示している。 本開示の一実施例による、予測モデルに基づいて組織学的イメージの修正されたイメージを生成するために用いられるプロセッサ内のイメージ生成ユニット及び第１オートエンコーダのブロック図を示している。 本開示の一実施例による、医療イメージングデバイスによりキャプチャされた組織学的イメージを受信し、第１オートエンコーダ及び予測モデルを用いて組織学的イメージの修正されたイメージを生成するための方法のフローチャートである。 本開示の一実施例による、第１及び第２非指導学習モデルを生成するために第１及び第２オートエンコーダをトレーニングして、マッチングするイメージのゴールデンセットに基づいて第２非指導学習モデルを第１非指導学習モデルと連関させることにより予測モデルを生成するための方法のフローチャートである。
本開示の発明の様態の実施例は、添付の図面と関連して読めば、下記の詳細な説明を参照して理解されるであろう。
多様な実施例についてこれから詳細に言及し、実施例の例は、添付の図面に例示されている。下記の詳細な説明において、本主題の完全な理解を提供するために数多くの特定の細部事項が記載されている。しかし、本主題がこの特定の細部事項を用いずに実施され得ることは、本技術分野の通常の技術者には明白であろう。他の場合において、広く公知された方法、手続き、システム、及びコンポーネントが多様な実施例の様態を不要に曖昧にさせないために、詳細に説明されていない。
図１は、本開示の一実施例による、医療イメージングデバイス１００が医療手術の間作動しており、医療イメージングデバイス１００によりキャプチャされた組織学的イメージの修正されたイメージ１２０がディスプレイデバイス１１０上にディスプレイされる手術室の環境を例示している。例示されたような手術室において、医者１０及び／または２０は、ベッド４０上に横たわっている患者３０を手術することができる。本実施例において、医者１０及び／または２０は、手術の間患者３０の疾病または疾患を診断するために、医療イメージングデバイス１００を用いることができる。例えば、医療イメージングデバイス１００は、ＯＣＴデバイス、Ｘ－線放射線検査（Ｘ－ｒａｙ ｒａｄｉｏｇｒａｐｈｙ）デバイス、ＭＲＩデバイス、ＣＴデバイス、超音波検査（ｕｌｔｒａｓｏｎｏｇｒａｐｈｙ）または超音波デバイス、内視鏡検査（ｅｎｄｏｓｃｏｐｙ）デバイス、触覚イメージングデバイス、サーモグラフィーデバイス、核医学機能イメージング（ｎｕｃｌｅａｒ ｍｅｄｉｃｉｎｅ ｆｕｎｃｔｉｏｎａｌ ｉｍａｇｉｎｇ）デバイス、またはこれと類似のような、身体部位の２次元または３次元組織学的イメージをキャプチャするように構成される任意の類型のイメージキャプチャデバイスであってもよい。
医療イメージングデバイス１００は、患者３０の身体部位における少なくとも１つの組織類型を含む組織学的イメージ（例えば、Ｍ２ＴＭのＯＣＴイメージングシステムのＯＣＴデバイスによりキャプチャされたＭ２ＴＭのイメージをキャプチャしたり生成したりするように構成され得る。例えば、組織学的イメージがＯＣＴデバイスによりキャプチャされると、組織学的イメージはグレースケールイメージであり得る。たとえ、本実施例において医療イメージングデバイス１００がベッド４０に固定されて設置されたものとして例示されていても、医療イメージングデバイス１００が患者３０の身体部位のイメージをキャプチャできるように医療イメージングデバイス１００は、手術室の任意の部分に固定されて設置されるように構成され得る。代案として、医療イメージングデバイス１００は、医師１０及び／または２０により患者３０の関心部位近傍に位置し得るように脱付着型（ｄｅｔａｃｈａｂｌｅ）及び／または携帯型（ｐｏｒｔａｂｌｅ）であるように構成され得る。
一実施例によると、医療イメージングデバイス１００がＯＣＴデバイスであれば、医療イメージングデバイス１００は、光ソースを用いて患者３０の身体部位に光（例えば、レーザまたは低コヒーレンス（ｌｏｗ－ｃｏｈｅｒｅｎｃｅ）光）を照射し、患者３０の身体部位で後方散乱される光を収集して、医療イメージングデバイス１００によりキャプチャされる後方散乱された光のエコー時間の遅延を測定することができる。また、医療イメージングデバイス１００は、収集された光の光学コヒーレンスを識別するように構成され得る。医療イメージングデバイス１００は、例えば、エコー時間の遅延を測定することにより、及び／または光の光学コヒーレンスを決定することにより、身体部位における少なくとも１つの組織類型を示す１つ以上の２次元組織学的イメージ（例えば、垂直スライスのイメージ）及び／または３次元組織学的イメージ（例えば、３次元断層写真）を生成することができる。１つ以上の組織類型を含む２次元組織学的イメージまたは３次元組織学的イメージは、可視表面（ｖｉｓｉｂｌｅ ｓｕｒｆａｃｅ）から予め定められた深さ（例えば、約２～４ｍｍ）を有するターゲット構造体を有することができる。一実施例において、医療イメージングデバイス１００は、１つ以上の３次元組織学的イメージを任意の方向にクロッピング（ｃｒｏｐｐｉｎｇ）したり、スライシングしたりすることによりターゲット構造体の一部分を示す２次元組織学的イメージを生成するように構成され得る。一実施例において、医療イメージングデバイス１００は、２次元組織学的イメージに基づいて患者３０における身体部位の１つ以上の３次元組織学的イメージを生成するように構成され得る。
患者３０における身体部位に対する３次元組織学的イメージまたは２次元組織学的イメージが生成されると、生成された組織学的イメージは、図３を参照して後で詳細に記述される、イメージプロセッシングデバイス（図示せず）に提供され得る。イメージプロセッシングデバイスは、複数の類型の組織を含む組織学的イメージを受信及び／またはプロセッシングするように構成され得る。一実施例において、医療イメージングデバイス１００から組織学的イメージが受信されると、イメージプロセッシングデバイスは、組織学的イメージをプロセッシングして組織学的イメージの修正されたイメージ１２０を生成することができる。
図２は、本開示の一実施例による、医療イメージングデバイス１００によりキャプチャされた組織学的イメージ２１０におけるターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別し、組織学的イメージ２１０の修正されたイメージ１２０を生成するための流れ図である。医療イメージングデバイス１００は、患者３０の身体部位の組織学的イメージ２１０（例えば、２次元組織学的イメージ）をキャプチャしたり生成したりして、これをイメージプロセッシングデバイスに提供することができる。例えば、図２に示すように、組織学的イメージ２１０は、患者３０の乳房における少なくとも１つの組織類型を含むことができる。
一実施例において、イメージプロセッシングデバイスは、組織学的イメージ２１０における候補組織類型を決定し、組織学的イメージ２１０における候補組織類型に対応するターゲット領域を識別するために組織学的イメージ２１０を第１オートエンコーダに入力するように構成され得る。第１オートエンコーダは、効率的なコーディングの非指導学習のために用いられる任意の類型の人工神経ネットワークであってもよい。また、第１オートエンコーダは、図４を参照して後で詳細に説明されるように、第１非指導学習モデルを生成するためにトレーニングされ得る。候補組織類型は、組織学的イメージ２１０における任意の意味のあるまたは疑わしい位置を含むことができる。例えば、候補組織類型は、細胞核、腫瘍、またはこれと類似のものであってもよい。
組織学的イメージ２１０でターゲット領域が識別されると、イメージプロセッシングデバイスは、１つ以上の組織学的イメージを１つ以上のターゲット組織学的イメージと連関させる予測モデルに基づいて組織学的イメージにおけるターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別することができる。一実施例において、ターゲット組織学的イメージは、キャプチャされた組織学的イメージの可視性または識別性（ｄｉｓｃｅｒｎｉｂｉｌｉｔｙ）を改善させるために医療イメージングデバイス１００によりキャプチャされた組織学的イメージから修正され得る任意の組織学的イメージであってもよい。少なくとも１つのターゲット組織学的イメージは、そのディスプレイ特性に基づいてキャプチャされたイメージを修正するのに用いられ得る。例えば、組織学的イメージがＯＣＴデバイスによりキャプチャされると、少なくとも１つのターゲット組織学的イメージは、Ｈ＆Ｅ染色の１つ以上のイメージであり得る。一実施例によると、予測モデルは、第１非指導学習モデルの拡張として生成され得、効率的なコーディングの準指導学習のための任意の類型の人工神経ネットワークであってもよい。例えば、準指導マシンラーニング技術と称され得る、非指導マシンラーニング技術と指導マシンラーニング技術をいずれも用いるものが、図６を参照して後で詳細に説明されるように、予測モデルを生成するのに適用され得る。
組織学的イメージ２１０におけるターゲット領域に対応する少なくとも１つのターゲット組織学的イメージが識別されると、イメージプロセッシングデバイスは、少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を組織学的イメージ２１０に適用することができる。例えば、１つ以上のディスプレイ特性は、組織学的イメージ及びターゲット組織学的イメージで類似の特性を有するポイントまたはパッチのカラー、形状、及び／または鮮明度（ｓｈａｒｐｎｅｓｓ）、ポイントまたはパッチの配列、分布及び／または密度のような１つ以上の特徴を含むことができる。パッチは、イメージをプロセッシングするための単位またはウィンドウ（例えば、８×８ピクセル）であり得る組織学的イメージにおける区域（ａｒｅａ）または領域（ｒｅｇｉｏｎ）であってもよい。ターゲット組織学的イメージは、そのような単位またはウィンドウに基づいてセグメント化され得る。一実施例によると、イメージプロセッシングデバイスは、識別された組織学的イメージの１つ以上のディスプレイ特性に基づいて組織学的イメージ２１０の１つ以上のディスプレイ特性を変更することができる。このプロセスにおいて、任意の適切なスタイルの伝達技術が組織学的イメージ２１０を識別されたターゲット組織学的イメージのスタイルに変更するのに採択され得る。例えば、組織学的イメージ、例えば、イメージ２１０がＯＣＴデバイスによりキャプチャされると、これはＨ＆Ｅ染色、例えば、図２に示されたようなイメージ１２０の形態に見えるように修正され得る。
一実施例によると、イメージプロセッシングデバイスは、識別されたターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を含む修正されたイメージ１２０を生成することができる。例えば、イメージプロセッシングデバイスは、ターゲット領域内の各ピクセルのカラー成分の値（例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）値）及び鮮明度の値を変更することができる。組織学的イメージ２１０から修正されたイメージ１２０に見られるように、赤色（例えば、真紅色）カラーの陰影がターゲット領域に割り当てられ得、ターゲット領域の中心の周囲のある部分は、ターゲット領域の可視性を改善させるために調整される。従って、高品質の可視性を有する修正されたイメージ１２０は、医者１０及び／または２０がデバイス１００により最初にキャプチャされた組織学的イメージ２１０を用いるより、患者３０をさらに正確に診断できるようにさせ得る。一部の実施例において、医者１０及び／または２０が手術の間にも修正されたイメージ１２０を容易に提供され得るように、イメージプロセッシングデバイスは、組織学的イメージ２１０をプロセッシングして修正されたイメージ１２０を生成することができる。これと同様に、医療イメージングデバイス１００によりキャプチャされた３次元組織学的イメージがイメージプロセッシングデバイスに提供され、ターゲット組織学的イメージのスタイルに修正され得る。この場合に、３次元組織学的イメージの修正されたイメージがディスプレイデバイス１１０上にディスプレイされ得る。また、医者１０及び／または２０が３次元組織学的イメージの一部分を選択できると、選択された部分に対応する２次元組織学的イメージの修正されたイメージがディスプレイデバイス１１０上にディスプレイされ得る。
図３は、本開示の一実施例による、第１オートエンコーダ３１０、第２オートエンコーダ３２０、及び指導連関学習機３３０をトレーニングすることにより予測モデルを生成し、第１オートエンコーダ３１０及び予測モデルに基づいて組織学的イメージをプロセッシングするように構成されたイメージプロセッシングデバイス３００のブロック図を例示している。イメージプロセッシングデバイス３００は、プロセッサ３０５、通信ユニット３４０、及び／または格納ユニット３５０を含むことができる。イメージプロセッシングデバイス３００におけるプロセッサ３０５は、第１オートエンコーダ３１０、第２オートエンコーダ３２０、指導連関学習機３３０、及び／またはイメージ生成ユニット３６０を含むことができる。
イメージプロセッシングデバイス３００は、通信ネットワーク３７０を介して通信ユニット３４０を通じて医療イメージングデバイス１００と通信するように構成される。一部の実施例において、イメージプロセッシングデバイス３００は、電気データケーブル及びブルートゥース（登録商標）、ジグビー（ＺｉｇＢｅｅ（登録商標））、赤外線伝送などのような短距離無線ネットワークを含むものの、これらに制限されない、任意の類型の有線／無線接続を介して医療イメージングデバイス１００と通信することができる。たとえ、イメージプロセッシングデバイス３００が医療イメージングデバイス１００と別個のデバイスであるものとして図３に示されていても、一部の実施例において、医療イメージングデバイス１００とイメージプロセッシングデバイス３００は、単一デバイス内に統合され得る。
プロセッサ３０５における第１オートエンコーダ３１０は、格納ユニット３５０から複数の組織学的イメージ及び複数のサンプル組織学的イメージを受信するように構成され得る。また、第１オートエンコーダ３１０は、受信された組織学的イメージ及び複数のサンプル組織学的イメージに基づいてトレーニングされ得、それにより第１非指導学習モデルを生成することができる。Ｋ－平均クラスタリング（ Ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）等を含むものの、これに制限されない任意の適切な非指導学習技術が第１オートエンコーダ３１０をトレーニングするのに用いられ得る。これと同様に、プロセッサ３０５における第２オートエンコーダ３２０は、格納ユニット３５０から複数のターゲット組織学的イメージ及び複数のサンプルターゲット組織学的イメージを受信し、受信されたターゲット組織学的イメージ及び複数のサンプルターゲット組織学的イメージに基づいてトレーニングされて、第２非指導学習モデルを生成するように構成され得る。第１オートエンコーダ３１０は、組織学的イメージの効率的なコーディングの非指導学習のために用いられる人工神経ネットワークを含むことができるのに対し、第２オートエンコーダ３２０は、ターゲット組織学的イメージの効率的なコーディングの非指導学習のために用いられる人工神経ネットワークを含むことができる。一部の実施例において、第１オートエンコーダ３１０及び第２オートエンコーダ３２０は、積層オートエンコーダ（ｓｔａｃｋｅｄ ａｕｔｏｅｎｃｏｄｅｒｓ）、多層コンボリューションオートエンコーダ（ｍｕｌｔｉ－ｌａｙｅｒ ｃｏｎｖｏｌｕｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒｓ）等を含む、多層オートエンコーダを含むことができる。たとえ、オートエンコーダが非指導学習ユニットまたは方法の一例として例示されていても、ＧＡＮ（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ）、ＳＯＭ（ｓｅｌｆ－ｏｒｇａｎｉｚｉｎｇ ｍａｐ）、ＡＲＴ（ａｄａｐｔｉｖｅ ｒｅｓｏｎａｎｃｅ ｔｈｅｏｒｙ）、ｋ－平均クラスタリング 、及び／またはＥＭ（ｅｘｐｅｃｔａｔｉｏｎ－ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを含むものの、これらに制限されない、任意の他の適切な類型の非指導マシンラーニング方法がそのようなユニットに対して用いられ得る。また、たとえ、組織学的イメージ、サンプル組織学的イメージ、ターゲット組織学的イメージ、及び／またはサンプルターゲット組織学的イメージが格納ユニット３５０に格納されたものとして例示されていても、イメージの少なくとも一部は、１つ以上の外部格納ユニットに格納され得る。
プロセッサ３０５は、第１非指導学習モデルを生成するために複数のサンプル組織学的イメージに基づいて第１オートエンコーダ３１０をトレーニングするように構成され得る。第１非指導学習モデルは、格納ユニット３５０に格納され得るか、または第１オートエンコーダ３１０内に統合され得る。一実施例において、第１オートエンコーダ３１０は、サンプル組織学的イメージのそれぞれにおいてセマンティックセグメント化（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）を行うように（例えば、ターゲット領域を識別するように）トレーニングされ得る。セマンティックセグメント化の間、第１オートエンコーダ３１０は、サンプル組織学的イメージのそれぞれにおける候補組織類型を決定し、サンプル組織学的イメージにおける候補組織類型に対応するターゲット領域を識別するようにトレーニングされ得る。このプロセスにおいて、第１オートエンコーダ３１０は、サンプル組織学的イメージから特徴を抽出し、サンプル組織学的イメージを、サンプル組織学的イメージからの特徴と類似の特徴を有するグループに分類するように構成され得る。例えば、第１オートエンコーダ３１０は、サンプル組織学的イメージからの特徴と第１非指導学習モデルにおける特徴またはパラメータのそれぞれ（例えば、人工神経ネットワークの隠匿階層）間の類似度（例えば、距離または確率）を決定し、第１非指導学習モデルにおける特徴またはパラメータからサンプル組織学的イメージに対して最も大きい類似度（ｓｉｍｉｌａｒｉｔｙ）（例えば、最も小さい距離）を有する特徴またはパラメータのセットを選択することができる。この場合に、第１非指導学習モデルにおける特徴またはパラメータは、１つ以上のサンプル組織学的イメージで抽出された特徴に基づいて生成され得、ネットワークのトポロジー（例えば、階層の数及び幅、フィルターサイズなど）、活性化関数など、及びそのネットワークの学習された加重値及びバイアスのようなモデルハイパーパラメータとして表現され得る。
サンプル組織学的イメージに対して最も大きい類似度を有する特徴またはパラメータのセットが選択されると、サンプル組織学的イメージは、第１非指導学習モデルにおける選択された特徴またはパラメータのセットに対応するように決定され得る。第１オートエンコーダ３１０は続けて、サンプル組織学的イメージにおける候補組織類型を決定し、第１非指導学習モデルにおける選択された特徴またはパラメータのセットに基づいて候補組織類型に対応するターゲット領域を識別することができる。このプロセスにおいて、第１オートエンコーダ３１０は、選択された特徴またはパラメータのセットに基づいてサンプル組織学的イメージにおけるターゲット領域を含む複数の領域を識別することができる。例えば、複数の領域は、第１非指導学習モデルにおける選択された特徴またはパラメータと連関した複数の領域に対応することができる。この場合に、複数の領域は、１つ以上の組織細胞、空気などを示すことができる。
プロセッサ３０５は、サンプル組織学的イメージのそれぞれにおいてセマンティックセグメント化を行うことにより第１非指導学習モデルを生成するように第１オートエンコーダ３１０をトレーニングすることができる。一実施例において、第１オートエンコーダ３１０は、サンプル組織学的イメージをサンプル組織学的イメージの特徴に対応する選択された特徴またはパラメータのセットを有するグループに分類することができる。このプロセスにおいて、グループと連関したパラメータは、組織学的イメージにおける識別されたターゲット領域または識別された複数の領域に対する抽出された特徴に基づいてアップデートされたり調整されたりする。組織学的イメージにおける候補組織類型に対応する、ターゲット領域を含む識別された複数の領域が識別され、組織学的イメージの修正されたイメージを生成するためにイメージ生成ユニット３６０に提供され得る。一部の実施例において、第１オートエンコーダ３１０は、医療イメージングデバイス１００によりキャプチャされた組織学的イメージを受信することができ、サンプル組織学的イメージと類似の方式で組織学的イメージでセマンティックセグメント化を行うようにトレーニングされ得る。
第２オートエンコーダ３２０は、第２非指導学習モデルを生成するために受信されたターゲット組織学的イメージ及びサンプルターゲット組織学的イメージに基づいてトレーニングされ得る。第２非指導学習モデルは、格納ユニット３５０に格納され得るか、または第２オートエンコーダ３２０内に統合され得る。一実施例によると、第２オートエンコーダ３２０は、第２非指導学習モデルを生成するために第１オートエンコーダ３１０と類似の方式でトレーニングされ得る。このプロセスにおいて、第２オートエンコーダ３２０は、受信されたターゲット組織学的イメージ及びサンプルターゲット組織学的イメージのそれぞれから１つ以上の特徴を抽出することができる。続いて、第２非指導学習モデルは、抽出された特徴に基づいて第１非指導学習モデルのものと類似の方式でターゲット組織学的イメージ及びサンプルターゲット組織学的イメージをグループ化し、第２非指導学習モデルを生成することができる。生成された第２指導学習モデルは、プロセッサ３０５における指導連関学習機３３０によりアクセスされ得る。
指導連関学習機３３０は、図６を参照して詳細に説明されるように、本開示の一実施例による、マッチングするイメージのゴールデンセットに基づいて第２非指導学習モデルを第１非指導学習モデルと連関させることにより予測モデルを生成するように構成され得る。マッチングするイメージのゴールデンセットは、１つ以上のサンプル組織学的イメージ及びサンプル組織学的イメージに対応する１つ以上のサンプルターゲット組織学的イメージを含むことができる、任意のイメージセットを示すことができる。マッチングするイメージのゴールデンセットにおいて、サンプル組織学的イメージのそれぞれは、サンプルターゲット組織学的イメージのそれぞれのものと同一の人体内の組織または解剖学的位置を含むことができる。例えば、指導連関学習機３３０は、第１非指導学習モデルにおける特定の組織類型に対応するターゲット領域を含む組織学的イメージ内の複数の領域を組織学的イメージに対応するサンプルターゲット組織学的イメージ内の複数の領域の１つ以上のディスプレイ特性を示す特徴と連関させ得る。一実施例において、予測モデルは、ネットワークのトポロジー（例えば、階層の数及び幅、フィルターサイズなど）、活性化関数など及びそのネットワークの学習された加重値及びバイアスのようなモデルハイパーパラメータのようなパラメータにより定義され得るディープラーニング神経ネットワーク基盤の構造として表現され得る。例えば、予測モデルのパラメータは、複数のディスプレイ特性を、例えば、ターゲット組織学的イメージ、サンプルターゲット組織学的イメージ、組織学的イメージ、及びサンプル組織学的イメージと連関させるためのマッピングまたは伝達関数を表現することができる。
イメージプロセッシングデバイス３００における格納ユニット３５０は、医療イメージングデバイス１００によりキャプチャされたサンプル組織学的イメージの第１データベース及び／または少なくとも１つの予め定められた組織染色の少なくとも１つのイメージを含むサンプルターゲット組織学的イメージの第２データベースを格納するように構成される。例えば、第２データベースは、Ｈ＆Ｅ染色のサンプル組織学的イメージを含むことができる。一実施例において、格納ユニット３５０は、第１オートエンコーダ３１０により生成された第１非指導学習モデル及び第２オートエンコーダ３２０により生成された第２非指導学習モデルを含むことができる。たとえ、格納ユニット３５０が本実施例においてイメージプロセッシングデバイス３００の一部であるものとして例示されていても、格納ユニット３５０は、イメージプロセッシングデバイス３００と通信するように構成され得る外部デバイスに少なくとも部分的に含まれ得る。格納ユニット３５０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のような任意の適切な格納またはメモリーデバイスを用いて具現され得る。
格納ユニット３５０は、サンプル組織学的イメージの第１データベース内の予め定められた数（例えば、正の整数Ｍ）のサンプル組織学的イメージ及びサンプルターゲット組織学的イメージの第２データベース内の予め定められた数（例えば、正の整数Ｎ）のサンプルターゲット組織学的イメージを含む、マッチングするイメージのゴールデンセットも格納することができる。第１データベース内のＭ個のサンプル組織学的イメージの１つ以上の特徴（例えば、解剖学的位置）は、第２データベース内のＮ個のサンプルターゲット組織学的イメージの１つ以上の特徴（例えば、解剖学的位置）とマッチングするように連関したり整列したりすることができる。例えば、Ｍ個のサンプル組織学的イメージのそれぞれにおけるボクセルまたはピクセルは、Ｎ個のサンプル組織学的イメージのそれぞれにおけるそれらと同一の位置を有する。
イメージプロセッシングデバイス３００におけるイメージ生成ユニット３６０は、第１オートエンコーダ３１０から組織学的イメージに対するターゲット領域を受信し、ターゲット領域の可視性を改善させるために組織学的イメージを修正するように構成される。一実施例によると、イメージ生成ユニット３６０は、予測モデルに基づいて組織学的イメージにおけるターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別することができる。イメージ生成ユニット３６０は続いて、少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を組織学的イメージに適用することができる。一実施例によると、少なくとも１つのターゲット組織学的イメージにおける複数の領域のそれぞれに対する１つ以上のディスプレイ特性は、組織学的イメージにおける対応する領域のそれぞれに適用され得る。この場合に、ディスプレイ特性は、少なくとも１つのターゲット組織学的イメージと連関したイメージスタイルを示すことができ、例えば、少なくとも１つのターゲット組織学的イメージで類似の特性を有するポイントまたはパッチのカラー、形状、及び／または鮮明度、ポイントまたはパッチの配列、分布及び／または密度のような１つ以上の特徴またはパラメータを含むことができる。少なくとも１つのターゲット組織学的イメージに対するディスプレイ特性を組織学的イメージに適用することにより、組織学的イメージのイメージスタイルが少なくとも１つのターゲット組織学的イメージのイメージスタイルに伝えられ得る。適用されたディスプレイ特性を含む組織学的イメージの修正されたイメージが生成され、修正されたイメージを医師のようなユーザにディスプレイするために、ディスプレイユニットに提供され得る。
図４は、本開示の一実施例による、第１サンプルイメージデータベース４１０内のサンプル組織学的イメージ及び組織学的イメージ４２０に基づいて第１非指導学習モデル４３０を生成するようにトレーニングされるように構成された第１オートエンコーダ３１０のブロック図を示している。第１オートエンコーダ３１０は、区域セグメント化ユニット４４０、特徴抽出ユニット４５０、組織類型決定ユニット４６０、ターゲット領域識別ユニット４７０、及びモデル生成ユニット４８０を含むことができる。第１サンプルイメージデータベース４１０は、医療イメージングデバイス１００（例えば、ＯＣＴデバイス）によりキャプチャされたサンプル組織学的イメージを含むことができる。たとえ、組織学的イメージ４２０が第１オートエンコーダ３１０に入力されるものとして例示されていても、第１オートエンコーダ３１０をトレーニングするために複数の組織学的イメージが第１オートエンコーダ３１０に入力され得ることが認識されるであろう。
第１オートエンコーダ３１０における区域セグメント化ユニット４４０は、第１サンプルイメージデータベース４１０から３次元または２次元のサンプル組織学的イメージを受信し、サンプル組織学的イメージのそれぞれにおける１つ以上の区域をセグメント化すように構成される。一実施例において、区域セグメント化ユニット４４０は、サンプル組織学的イメージにおける複数のパッチをセグメント化することができる。他の実施例によると、サンプル組織学的イメージにおける１つ以上の区域は、明るさ、ポイントの位置などのような１つ以上の類似の特性を有する１つ以上のブロブ（ｂｌｏｂｓ）を決定することによりセグメント化され得る。サンプル組織学的イメージにおけるブロブが決定されると、区域セグメント化ユニット４４０は、パッチクラスタリングの動作でブロブをクラスタリングすることができる。例えば、予め定められた明るさ値の範囲内にある明るさ値を有して近接して位置する複数のブロブがブロブクラスタにクラスタリングされ得る。セグメント化された区域は、第１オートエンコーダ３１０における特徴抽出ユニット４５０に提供され得る。
特徴抽出ユニット４５０は、区域セグメント化ユニット４４０からのサンプル組織学的イメージにおけるセグメント化された区域から１つ以上の特徴を抽出するように構成される。一実施例において、特徴抽出ユニット４５０は、パターン、ポイントの密度、ポイントの分布または空間などのような区域を特徴づける特徴を抽出することができる。例えば、特徴は、スケール－不変特徴変換技術、テンプレートマッチング技術、またはこれと類似のような任意の適切な特徴抽出技術を用いることにより区域から抽出され得る。この場合に、特徴は、数字のセットを含むことができる、特徴ベクタとして表現され得る。抽出された特徴は、第１オートエンコーダ３１０における組織類型決定ユニット４６０に提供され得る。
組織類型決定ユニット４６０は、特徴抽出ユニット４５０からサンプル組織学的イメージに対する１つ以上の特徴を受信し、サンプル組織学的イメージにおける少なくとも１つの候補組織類型を決定するように構成される。このプロセスにおいて、組織類型決定ユニット４６０は、サンプル組織学的イメージに関する特徴と類似の第１非指導学習モデル４３０における１つ以上の特徴またはパラメータのセットを選択することができる。サンプル組織学的イメージにおける少なくとも１つの候補組織類型は、選択されたパラメータまたは特徴のセットに基づいて決定され得る。例えば、組織類型は、任意の正常細胞または腫瘍、癌などのような非正常細胞を特徴づけることができる任意の組織類型を含むことができる。決定された候補組織類型及び選択されたパラメータまたは特徴のセットは、第１オートエンコーダ３１０におけるターゲット領域識別ユニット４７０に提供され得る。
ターゲット領域識別ユニット４７０は、組織類型決定ユニット４６０からサンプル組織学的イメージにおける候補組織類型及び／または選択されたグループのパラメータまたは特徴を受信し、選択されたパラメータまたは特徴のセットに基づいてサンプル組織学的イメージにおける領域から候補組織類型に対応するターゲット領域を識別するように構成される。一実施例によると、サンプル組織学的イメージにおけるターゲット領域は、第１非指導学習モデル４３０の選択されたパラメータまたは特徴のセットにより定義される決定された候補組織類型を有する領域に対応するターゲット領域を検出することにより識別され得る。また、ターゲット領域識別ユニット４７０は、第１非指導学習モデル４３０における選択されたパラメータまたは特徴のセットに基づいてサンプル組織学的イメージにおけるターゲット領域を含む複数の領域を識別することができる。この場合に、選択されたパラメータまたは特徴のセットは、サンプル組織学的イメージにおけるターゲット領域及び１つ以上の周辺領域を示すことができる。サンプル組織学的イメージにおけるターゲット領域を含む識別された領域に関する特徴は、モデル生成ユニット４８０に提供され得る。
モデル生成ユニット４８０は、サンプル組織学的イメージにおける識別された領域に関する特徴を受信し、第１オートエンコーダ３１０をトレーニングすることにより第１非指導学習モデル４３０を生成し、トレーニング及び／または調整するように構成され得る。一実施例によると、モデル生成ユニット４８０は、サンプル組織学的イメージにおけるターゲット領域を含む識別された領域に関する特徴に基づいてサンプル組織学的イメージに対する選択されたパラメータまたは特徴のセットをアップデートしたり調整したりすることができる。サンプル組織学的イメージに対するパラメータまたは特徴のセットが選択されなかった場合、サンプル組織学的イメージから抽出された特徴が第１非指導学習モデル４３０で新たに分類されたグループを定義するのに用いられ得る。たとえ、本実施例において複数のサンプル組織学的イメージが第１オートエンコーダ３１０をトレーニングするのに用いられるものとして例示されていても、医療イメージングデバイス１００によりキャプチャされた複数の組織学的イメージは、サンプル組織学的イメージと類似の方式で第１オートエンコーダ３１０をトレーニングするのに用いられ得る。たとえ、第１オートエンコーダ３１０が個別ユニット４４０、４５０、４６０、４７０及び４８０であるものとして例示されていても、第１オートエンコーダ３１０は、単一ユニットまたは個別ユニット４４０、４５０、４６０、４７０及び／または４８０の任意の組み合わせとして具現され得る。また、たとえ、サンプル組織学的イメージがセマンティックセグメント化を行い、第１オートエンコーダ３１０をトレーニングするのに用いられるものとして例示されていても、組織学的イメージ４２０は、サンプル組織学的イメージと類似の方式でセマンティックセグメント化を行い、及び／または第１オートエンコーダ３１０をトレーニングするのに用いられ得る。生成されたまたはアップデートされた第１非指導学習モデル４３０は、図６を参照して説明されるように、予測モデル６２０を生成するのに用いられ得る。
図５は、本開示の一実施例による、第２サンプルイメージデータベース５１０内のサンプル組織学的イメージ及び入力ターゲット組織学的イメージ５２０に基づいて第２非指導学習モデル５３０を生成するようにトレーニングされるように構成された第２オートエンコーダ３１０のブロック図を例示している。第２オートエンコーダ３１０は、区域セグメント化ユニット５４０、特徴抽出ユニット５５０、組織類型決定ユニット５６０、ターゲット領域識別ユニット５７０、及びモデル生成ユニット５８０を含むことができる。一実施例によると、第２サンプルイメージデータベース５１０は、少なくとも１つの予め定められた組織染色の少なくとも１つのイメージ（例えば、Ｈ＆Ｅ染色のイメージ）を含むサンプルターゲット組織学的イメージを含むことができる。たとえ、ターゲット組織学的イメージ５２０が第２オートエンコーダ３２０に入力されるものとして例示されていても、第２オートエンコーダ３１０をトレーニングするために複数のターゲット組織学的イメージが第２オートエンコーダ３１０に入力され得ることが認識されるであろう。
第２オートエンコーダ３２０は、サンプルターゲット組織学的イメージ及びターゲット組織学的イメージにセマンティックセグメント化を行い、第２非指導学習モデル５３０を生成し、トレーニング及び／またはアップデートするように構成され得る。このために、第２オートエンコーダ３２０における領域セグメント化ユニット５４０、特徴抽出ユニット５５０、組織類型決定ユニット５６０、ターゲット領域識別ユニット５７０、及びモデル生成ユニット５８０はそれぞれ、領域セグメント化ユニット４４０、特徴抽出ユニット４５０、組織類型決定ユニット４６０、ターゲット領域識別ユニット４７０、及びモデル生成ユニット４８０と類似の機能または動作を行うことができる。生成されたまたはアップデートされた第２非指導学習モデル５３０は、図６を参照して説明されるように、予測モデル６２０を生成するのに用いられ得る。
図６は、本開示の一実施例による、マッチングするイメージのゴールデンセット６１０に基づいて第２非指導学習モデル５３０を第１非指導学習モデル４３０と連関させることにより予測モデル６２０を生成するように構成されたイメージプロセッシングデバイス３００における指導連関学習機３３０を示している。一実施例において、予測モデルは、ディープラーニング神経ネットワーク基盤の構造を示すことができる。予測モデルは、ネットワークのトポロジー（例えば、階層の数及び幅、フィルターサイズなど）、活性化関数など及びそのネットワークの学習された加重値及びバイアスのようなモデルハイパーパラメータにより定義され得る複数のパラメータを含むことができる。予測モデル６２０におけるパラメータは、組織学的イメージ及びターゲット組織学的イメージのそれぞれに対する１つ以上のディスプレイ特性を示す１つ以上の特徴を含むことができる。
一実施例において、予測モデル６２０は、組織学的イメージのそれぞれにおける第１パッチセット、及びターゲット組織学的イメージのそれぞれにおける第２パッチセットを含むことができ、ここで予測モデルにおいて第１パッチセットは第２パッチセットと連関する。イメージ生成ユニット３６０は、少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を適用し、及び／または識別された少なくとも１つのターゲット組織学的イメージにおける第２パッチセットに基づいて受信された組織学的イメージにおける複数のパッチを修正することにより修正されたイメージ７２０を生成することができる。
マッチングするイメージのゴールデンセット６１０は、第１サンプルイメージデータベース４１０内の１つ以上のサンプル組織学的イメージ及び第２サンプルイメージデータベース５１０内の１つ以上のサンプルターゲット組織学的イメージを含むことができ、ここでサンプル組織学的イメージは、サンプルターゲット組織学的イメージの解剖学的位置とマッチングするように整列する。一実施例によると、サンプル組織学的イメージは、１つ以上のサンプルターゲット組織学的イメージのそれぞれの解剖学的位置と同一の解剖学的位置を有することができる。これと同様に、サンプルターゲット組織学的イメージは、１つ以上のサンプル組織学的イメージのそれぞれの解剖学的位置と同一の解剖学的位置を有することができる。
指導連関学習機３３０は、マッチングするイメージのゴールデンセット６１０内のサンプルターゲット組織学的イメージから抽出される１つ以上のディスプレイ特性を示す少なくとも１つの特徴をマッチングするイメージのゴールデンセット６１０内の１つ以上のサンプル組織学的イメージと連関させるように構成される。このプロセスにおいて、サンプルターゲット組織学的イメージからの少なくとも１つの特徴は、第２非指導学習モデル５３０に含まれ得るサンプル組織学的イメージのそれぞれにおける複数の領域に相関することができる。これにより、第２非指導学習モデル５３０におけるサンプルターゲット組織学的イメージ（例えば、Ｈ＆Ｅ染色のイメージ）からの少なくとも１つの特徴に対応する既存のまたは知られているディスプレイ特性が、第１非指導学習モデル４３０におけるサンプル組織学的イメージ（例えば、Ｍ２ＴＭのイメージ）のそれぞれにおける複数の領域からの特徴に伝えられ得る。予測モデル６２０は続いて、サンプルターゲット組織学的イメージ（即ち、Ｈ＆Ｅ染色のイメージ）からの少なくとも１つの特徴をサンプル組織学的イメージ（例えば、Ｍ２ＴＭのイメージ）と連関させることにより生成されたりトレーニングされたりし得る。例えば、予測モデルは、第１及び第２非指導学習モデルに対する類似度メトリックを生成するようにトレーニングされ得る。
指導連関学習機３３０は、予測モデル６２０をトレーニング及び／またはアップデートするために、マッチングするイメージのゴールデンセット６１０における１つ以上のサンプルターゲット組織学的イメージのそれぞれに対して１つ以上のラベルを用いるように構成される。ラベルは、サンプルターゲット組織学的イメージにおける１つ以上の領域を識別する任意のデータまたは情報（例えば、細胞核、腫瘍など）を示すことができる。サンプルターゲット組織学的イメージにおける領域に対するラベルは、実験者またはユーザにより入力され得るサンプルターゲット組織学的イメージに対するデータまたは情報に基づいて決定され得る。指導連関学習機３３０は、予測モデル６２０をトレーニングするために第２サンプルイメージデータベース５１０のサンプルターゲット組織学的イメージに対するラベルを対応するサンプル組織学的イメージに割り当てることができる。
一実施例において、第１非指導学習モデル４３０、第２非指導学習モデル５３０、及び予測モデル６２０のそれぞれは、人工神経ネットワークの１つ以上のモデルハイパーパラメータ及び／または１つ以上の加重値により定義された多層モデルを含むことができる。
図７は、本開示の一実施例による、予測モデル６２０に基づいて組織学的イメージ７１０の修正されたイメージ７２０を生成するために用いられるプロセッサ３０５におけるイメージ生成ユニット３６０及び第１オートエンコーダ３１０のブロック図を示している。プロセッサ３０５は、任意の医療イメージングデバイス（例えば、医療イメージングデバイス１００）によりキャプチャされ得る組織学的イメージ７１０を受信し、組織学的イメージ７１０の可視性を改善させるために組織学的イメージ７１０の修正されたイメージ７２０を生成することができる。このプロセスにおいて、プロセッサ３０５は、組織学的イメージ７１０を修正するために予測モデル６２０にアクセスすることができる。
プロセッサ３０５における第１オートエンコーダ３１０は、受信された組織学的イメージにセマンティックセグメント化を行うことができる。一実施例によると、第１オートエンコーダ３１０は組織学的イメージでセグメント化を行い、組織学的イメージから１つ以上の特徴を抽出することができる。特徴に基づいて、第１オートエンコーダ３１０は、組織学的イメージを抽出された特徴と類似の特徴またはパラメータを有するグループに分類することができる。グループの特徴またはパラメータに基づいて、組織学的イメージにおける候補組織類型が決定され得、候補組織類型に対応するターゲット領域が識別され得る。このプロセスにおいて、ターゲット領域を含む複数の領域は、抽出された特徴をグループの選択された特徴またはパラメータと比較することにより識別され得る。ターゲット領域を含む識別された領域は、続いてプロセッサ３０５におけるイメージ生成ユニット３６０に提供され得る。
イメージ生成ユニット３６０は、組織学的イメージにおける識別された領域を受信し、予測モデル６２０に基づいて修正されたイメージ７２０を生成するように構成され得る。一実施例によると、イメージ生成ユニット３６０は、予測モデル６２０でターゲット領域に関する特徴に対応する少なくとも１つのターゲット組織学的イメージに対する１つ以上のディスプレイ特性を示す特徴を識別するように構成され得る。例えば、イメージ生成ユニット３６０は、識別された領域の特徴と類似の１つ以上の組織学的イメージに対するグループの特徴を検出し、組織学的イメージに対するグループに相関する少なくとも１つのターゲット組織学的イメージに対するグループの特徴を識別することができる。少なくとも１つのターゲット組織学的イメージに対するグループの特徴と連関した１つ以上のディスプレイ特性が組織学的イメージ７１０の識別された領域のそれぞれに適用され得る。例えば、１つ以上のディスプレイ特性は、少なくとも１つのターゲット組織学的イメージに対するグループにおけるパッチ（例えば、ｎ×ｎピクセル、ここで、ｎは正の整数である）等のカラー、形状、配列、分布、密度、鮮明度のような複数の特徴と連関する。一実施例によると、イメージプロセッシングデバイスは、少なくとも１つのターゲット組織学的イメージに対するグループの１つ以上のディスプレイ特性に基づいて組織学的イメージ７１０の１つ以上のディスプレイ特性を変更することができる。このプロセスにおいて、組織学的イメージ７１０を少なくとも１つのターゲット組織学的イメージに対するグループのスタイルに変更するために任意の適切なスタイルの伝達技術が採択され得る。一実施例によると、イメージ生成ユニット３６０は、少なくとも１つのターゲット組織学的イメージのグループと連関した特徴に基づいて組織学的イメージ７１０で組織学的イメージ７１０の識別された領域を修正することにより修正されたイメージ７２０を生成することができる。修正されたイメージ７２０は、続いて修正されたイメージ７２０から識別され得る疾病または疾患を診断するためにディスプレイユニット（例えば、ディスプレイデバイス１１０）上にディスプレイされ得る。
一実施例において、イメージ生成ユニット３６０は、ＣｙｃｌｅＧＡＮ技術により具現され得る、サイクル一貫性のある敵対ネットワーク（ｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｔ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ）のような１つ以上の知られている生成的ネットワーク（ｇｅｎｅｒａｔｉｖｅ ｎｅｔｗｏｒｋｓ）を用いて組織学的イメージ７１０の修正されたイメージ７２０を生成することができる。この場合に、予測モデル６２０は、サイクル一貫性のある敵対ネットワークによりトレーニングされ得る。このプロセスにおいて、第１マッピング関数Ｇと第１敵対判別機（ａｄｖｅｒｓａｒｉａｌ ｄｉｓｃｒｉｍｉｎａｔｏｒ）Ｄｘは、１つ以上のサンプルターゲット組織学的イメージに基づいて１つ以上のサンプル組織学的イメージを変換（ｔｒａｎｓｌａｔｅ）及び／または修正するのに用いられ得るのに対し、第２マッピング関数Ｆと第２敵対判別機Ｄｙは、サンプル組織学的イメージに基づいてサンプルターゲット組織学的イメージを変換及び／または修正するのに用いられ得る。そのようなマッピングを調節するために、サンプル組織学的イメージが第１マッピング関数及び第１敵対判別機を用いてサンプルターゲット組織学的イメージに変換される時に、第１サイクル一貫性損失（ｃｙｃｌｅ ｃｏｎｓｉｓｔｅｎｃｙ ｌｏｓｓ）が決定され得る。これと同様に、サンプルターゲット組織学的イメージが第２マッピング関数及び第２敵対判別機を用いてサンプル組織学的イメージに変換される時に、第２サイクル一貫性損失が決定され得る。サンプル組織学的イメージ及びサンプルターゲット組織学的イメージに対する予測モデルは、第１及び第２マッピング関数、第１及び第２敵対判別機、及び／または第１及び第２サイクル一貫性損失に基づいて生成され得る。ＣｙｃｌｅＧＡＮ技術により生成された予測モデルに基づいて、組織学的イメージ７１０（例えば、Ｍ２ＴＭのイメージ）は、イメージ７２０（例えば、Ｈ＆Ｅ染色のイメージ）に修正され得る。
図８は、本開示の一実施例による、医療イメージングデバイスによりキャプチャされた組織学的イメージを受信し、例えば、第１オートエンコーダ（例えば、第１オートエンコーダ３１０）及び予測モデル（例えば、予測モデル６２０）を用いて組織学的イメージの修正されたイメージを生成するための方法８００のフローチャートを示している。方法８００は、コンピュータ、プロセッサ、医療デバイス、イメージプロセッシングデバイス、または医療デバイスの一部であるモジュールにより行われ得る。一実施例において、非一時的コンピュータ読み取り可能格納媒体は、１つ以上の組織学的イメージをプロセッシングするための命令語を含むことができ、この命令語は、コンピュータのプロセッサに方法８００を行わせる。最初に、イメージプロセッシングデバイス（例えば、イメージプロセッシングデバイス３００）は、８１０において、少なくとも１つの組織類型を含む組織学的イメージを受信することができる。８２０において、イメージプロセッシングデバイスにおける第１オートエンコーダは、受信された組織学的イメージにおける候補組織類型を決定することができる。８３０において、第１オートエンコーダは、組織学的イメージにおける候補組織類型に対応するターゲット領域を識別することができる。
８４０において、モデル生成ユニット（例えば、モデル生成ユニット４８０）は、予測モデルに基づいて組織学的イメージにおけるターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別することができる。予測モデルは、非指導ディープラーニング技術及び指導ディープラーニング技術の任意の適切な組み合わせに基づいて生成され得る。８５０において、イメージ生成ユニット（例えば、イメージ生成ユニット３６０）は、組織学的イメージを修正するために、識別された少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を組織学的イメージに適用することができる。修正されたイメージは、ターゲット領域の可視性を改善させ得る。
図９は、本開示の一実施例による、第１及び第２非指導学習モデルを生成するために第１及び第２オートエンコーダ（例えば、第１及び第２オートエンコーダ３１０及び３２０）をトレーニングして、マッチングするイメージのゴールデンセットに基づいて第２非指導学習モデルを第１非指導学習モデルと連関させることにより予測モデル（例えば、予測モデル６２０）を生成するための方法９００のフローチャートである。方法９００は、コンピュータ、プロセッサ、医療デバイス、イメージプロセッシングデバイス、または医療デバイスの一部であるモジュールにより行われ得る。一実施例において、非一時的コンピュータ読み取り可能格納媒体は、１つ以上の組織学的イメージをプロセッシングするための命令語を含むことができ、この命令語はコンピュータのプロセッサに、方法９００を行わせる。最初に、プロセッサ（例えば、プロセッサ３０５）は、９１０において、第１非指導学習モデルを生成するために第１サンプル組織学的イメージセットに基づいて第１オートエンコーダ（例えば、第１オートエンコーダ３１０）をトレーニングすることができる。９２０において、プロセッサは、第２非指導学習モデルを生成するために第２サンプルターゲット組織学的イメージセットに基づいて第２オートエンコーダ（例えば、第２オートエンコーダ３２０）をトレーニングすることができる。指導連関学習機（例えば、指導連関学習機３３０）は、９３０において、マッチングするイメージのゴールデンセットに基づいて第１非指導学習モデルを第２非指導学習モデルと連関させ得る。９４０において、予測モデル６２０は、医療イメージングデバイス（例えば、医療イメージングデバイス１００）によりキャプチャされた入力組織学的イメージをプロセッシングするために生成及び／またはトレーニングされて用いられ得る。
本開示の思想または範囲を逸脱することなく本開示に多様な修正及び変形が行われ得るということが、本技術分野の通常の技術者には明白であろう。従って、本開示の修正及び変形が添付の請求項及びその等価物の範囲内にありさえすれば、本開示がそのような修正及び変形をカバーするものとして意図される。

Claims (9)

  1. 医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするために、コンピュータにより行われる方法であって、
    少なくとも１つの組織類型を含む前記組織学的イメージを受信する段階と、
    第１オートエンコーダにより、前記組織学的イメージで候補組織類型を決定する段階と、
    前記第１オートエンコーダにより、前記組織学的イメージで前記候補組織類型に対応するターゲット領域を識別する段階と、
    １つ以上のサンプル組織学的イメージを１つ以上のサンプルターゲット組織学的イメージと連関させる予測モデルに基づいて前記組織学的イメージで前記ターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別する段階と、
    前記識別された少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を前記組織学的イメージに適用する段階と、
    前記適用された１つ以上のディスプレイ特性を含む前記組織学的イメージの修正されたイメージを生成する段階と、
    を含み、
    第１サンプル組織学的イメージセットに基づいて前記第１オートエンコーダをトレーニングすることにより第１非指導学習モデルが生成され、
    第２サンプルターゲット組織学的イメージセットに基づいて第２オートエンコーダをトレーニングすることにより第２非指導学習モデルが生成され、
    前記予測モデルは、前記第１非指導学習モデル及び前記第２非指導学習モデルに基づいて生成され、
    前記第１サンプル組織学的イメージセットにおけるＭ個のサンプル組織学的イメージの１つ以上の解剖学的位置は、前記第２サンプルターゲット組織学的イメージセットにおけるＮ個のサンプルターゲット組織学的イメージの１つ以上の解剖学的位置とマッチングするように整列し、Ｍ及びＮは正の整数であり、
    前記予測モデルは、１つ以上のディスプレイ特性を示す１つ以上の特徴に関するデータ
    を含み、前記Ｎ個のサンプルターゲット組織学的イメージからの１つ以上の特徴を前記Ｍ個のサンプル組織学的イメージからの１つ以上の特徴と連関させることによりトレーニングされる、
    方法。
  2. 前記予測モデルは、前記サンプル組織学的イメージのそれぞれにおける第１パッチセット及び前記サンプルターゲット組織学的イメージのそれぞれにおける第２パッチセットを含み、
    前記予測モデルにおいて前記第１パッチセットは前記第２パッチセットと連関し、
    前記１つ以上のディスプレイ特性を適用する段階は、前記識別された少なくとも１つのターゲット組織学的イメージにおける前記第２パッチセットに基づいて前記受信された組織学的イメージにおける複数のパッチを修正する段階を含む、請求項１に記載の方法。
  3. 前記候補組織類型に対応する前記ターゲット領域を識別する段階は、前記組織学的イメージで前記ターゲット領域を含む複数の領域を識別する段階を含み、
    前記予測モデルは、前記サンプル組織学的イメージのそれぞれにおける第１領域セット、及び前記サンプルターゲット組織学的イメージのそれぞれにおける第２領域セットを含み、
    前記予測モデルにおいて前記第１領域セットは前記第２領域セットと連関し、
    前記１つ以上のディスプレイ特性を適用する段階は、前記識別された少なくとも１つのターゲット組織学的イメージにおける前記第２領域セットに基づいて前記受信された組織学的イメージにおける前記複数の領域を修正する段階を含む、請求項１に記載の方法。
  4. 前記第１非指導学習モデルは、前記組織学的イメージにおける前記ターゲット領域と連関した１つ以上の特徴に基づいてトレーニングされる、請求項１に記載の方法。
  5. 前記第１非指導学習モデル、前記第２非指導学習モデル、及び前記予測モデルのそれぞれは、人工神経ネットワークの１つ以上のモデルハイパーパラメータ（ｍｏｄｅｌ ｈｙｐｅｒｐａｒａｍｅｔｅｒｓ）及び１つ以上の加重値により定義された多層モデル（ｍｕｌｔｉｌａｙｅｒ ｍｏｄｅｌ）を含む、請求項１に記載の方法。
  6. 医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするためのイメージプロセッシングデバイスであって、
    少なくとも１つの組織類型を含む前記組織学的イメージを受信し、前記組織学的イメージで候補組織類型を決定し、前記組織学的イメージで前記候補組織類型に対応するターゲット領域を識別するように構成された第１オートエンコーダと、
    １つ以上のサンプル組織学的イメージを１つ以上のサンプルターゲット組織学的イメージと連関させる予測モデルに基づいて前記組織学的イメージで前記ターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別し、前記識別された少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を前記組織学的イメージに適用し、前記適用された１つ以上のディスプレイ特性を含む前記組織学的イメージの修正されたイメージを生成するように構成されたイメージ生成ユニットと
    を含み、
    第１サンプル組織学的イメージセットに基づいて前記第１オートエンコーダをトレーニングすることにより第１非指導学習モデルが生成され、
    第２サンプルターゲット組織学的イメージセットに基づいて第２オートエンコーダをトレーニングすることにより第２非指導学習モデルが生成され、
    前記予測モデルは、前記第１非指導学習モデル及び前記第２非指導学習モデルに基づいて生成され、
    前記第１サンプル組織学的イメージセットにおけるＭ個のサンプル組織学的イメージの１つ以上の解剖学的位置は、前記第２サンプルターゲット組織学的イメージセットにおけるＮ個のサンプルターゲット組織学的イメージの１つ以上の解剖学的位置とマッチングするように整列し、Ｍ及びＮは正の整数であり、
    前記予測モデルは、１つ以上のディスプレイ特性を示す１つ以上の特徴に関するデータを含み、前記Ｎ個のサンプルターゲット組織学的イメージからの１つ以上の特徴を前記Ｍ個のサンプル組織学的イメージからの１つ以上の特徴と連関させることによりトレーニングされる、
    イメージプロセッシングデバイス。
  7. 前記第１オートエンコーダは、前記組織学的イメージで前記ターゲット領域を含む複数の領域を識別するようにさらに構成され、
    前記予測モデルは、前記サンプル組織学的イメージのそれぞれにおける第１領域セット、及び前記サンプルターゲット組織学的イメージのそれぞれにおける第２領域セットを含み、
    前記予測モデルにおいて前記第１領域セットは前記第２領域セットと連関し、
    前記イメージ生成ユニットは、前記識別された少なくとも１つのターゲット組織学的イメージにおける前記第２領域セットに基づいて前記受信された組織学的イメージにおける前記複数の領域を修正するようにさらに構成される、請求項６に記載のイメージプロセッシングデバイス。
  8. 組織学的イメージをプロセッシングするための命令語を含む非一時的コンピュータ読み取り可能格納媒体であって、前記命令語はコンピュータのプロセッサに動作を行わせ、前記動作は、
    少なくとも１つの組織類型を含む前記組織学的イメージを受信する動作と、
    第１オートエンコーダにより、前記組織学的イメージで候補組織類型を決定する動作と、
    第１オートエンコーダにより、前記組織学的イメージで前記候補組織類型に対応するターゲット領域を識別する動作と、
    １つ以上のサンプル組織学的イメージを１つ以上のサンプルターゲット組織学的イメージと連関させる予測モデルに基づいて、前記組織学的イメージで前記ターゲット領域に対応する少なくとも１つのターゲット組織学的イメージを識別する動作と、
    前記識別された少なくとも１つのターゲット組織学的イメージと連関した１つ以上のディスプレイ特性を前記組織学的イメージに適用する動作と、
    前記適用された１つ以上のディスプレイ特性を含む前記組織学的イメージの修正されたイメージを生成する動作と、
    を含み、
    第１サンプル組織学的イメージセットに基づいて前記第１オートエンコーダをトレーニングすることにより第１非指導学習モデルが生成され、
    第２サンプルターゲット組織学的イメージセットに基づいて第２オートエンコーダをトレーニングすることにより第２非指導学習モデルが生成され、
    前記予測モデルは、前記第１非指導学習モデル及び前記第２非指導学習モデルに基づいて生成され、
    前記第１サンプル組織学的イメージセットにおけるＭ個のサンプル組織学的イメージの１つ以上の解剖学的位置は、前記第２サンプルターゲット組織学的イメージセットにおけるＮ個のサンプルターゲット組織学的イメージの１つ以上の解剖学的位置とマッチングするように整列し、Ｍ及びＮは正の整数であり、
    前記予測モデルは、１つ以上のディスプレイ特性を示す１つ以上の特徴に関するデータ
    を含み、前記Ｎ個のサンプルターゲット組織学的イメージからの１つ以上の特徴を前記Ｍ個のサンプル組織学的イメージからの１つ以上の特徴と連関させることによりトレーニングされる、
    格納媒体。
  9. 前記候補組織類型に対応する前記ターゲット領域を識別する動作は、前記組織学的イメージで前記ターゲット領域を含む複数の領域を識別する動作を含み、
    前記予測モデルは、前記サンプル組織学的イメージのそれぞれにおける第１領域セット、及び前記サンプルターゲット組織学的イメージのそれぞれにおける第２領域セットを含み、
    前記予測モデルにおいて前記第１領域セットは前記第２領域セットと連関し、
    前記１つ以上のディスプレイ特性を適用する動作は、前記識別された少なくとも１つのターゲット組織学的イメージにおける前記第２領域セットに基づいて前記受信された組織学的イメージにおける前記複数の領域を修正する動作を含む、請求項８に記載の格納媒体。
JP2019566558A 2017-02-21 2018-02-21 医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするための方法及び装置 Active JP7226895B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762461490P 2017-02-21 2017-02-21
US62/461,490 2017-02-21
US201762563751P 2017-09-27 2017-09-27
US62/563,751 2017-09-27
PCT/KR2018/002118 WO2018155898A1 (en) 2017-02-21 2018-02-21 Method and apparatus for processing histological image captured by medical imaging device

Publications (2)

Publication Number Publication Date
JP2020508536A JP2020508536A (ja) 2020-03-19
JP7226895B2 true JP7226895B2 (ja) 2023-02-21

Family

ID=63252850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019566558A Active JP7226895B2 (ja) 2017-02-21 2018-02-21 医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするための方法及び装置

Country Status (6)

Country Link
US (1) US11984217B2 (ja)
EP (1) EP3586306A4 (ja)
JP (1) JP7226895B2 (ja)
KR (1) KR102622542B1 (ja)
CN (1) CN110326024B (ja)
WO (1) WO2018155898A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783603B2 (en) * 2018-03-07 2023-10-10 Verily Life Sciences Llc Virtual staining for tissue slide images
JP7181001B2 (ja) * 2018-05-24 2022-11-30 日本電子株式会社 生物組織画像処理システム及び機械学習方法
JP6981940B2 (ja) * 2018-08-29 2021-12-17 富士フイルム株式会社 画像診断支援装置、方法及びプログラム
US20220058839A1 (en) * 2018-12-31 2022-02-24 Oregon Health & Science University Translation of images of stained biological material
CN113498323A (zh) * 2019-02-26 2021-10-12 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
US20220198689A1 (en) * 2019-04-10 2022-06-23 The Board Of Trustees Of The Leland Stanford Junior University High Resolution Alignment of 3D Imaging with 2D Imaging
US10996306B2 (en) * 2019-04-25 2021-05-04 General Electric Company MRI system and method using neural network for detection of patient motion
JP2021029258A (ja) * 2019-08-13 2021-03-01 ソニー株式会社 手術支援システム、手術支援方法、情報処理装置、及び情報処理プログラム
US11633145B2 (en) * 2019-10-21 2023-04-25 The Trustees Of Dartmouth College Specimen imaging with x-ray and optical measurement
US10733325B1 (en) 2019-11-15 2020-08-04 Capital One Services, Llc Securing user-entered text in-transit
KR102306658B1 (ko) * 2019-12-24 2021-09-30 아주대학교산학협력단 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치
US11508169B2 (en) * 2020-01-08 2022-11-22 Palo Alto Research Center Incorporated System and method for synthetic image generation with localized editing
CN117034212A (zh) * 2020-03-10 2023-11-10 百度在线网络技术（北京）有限公司 处理图像数据的方法、装置、电子设备和计算机存储介质
JP6885517B1 (ja) * 2020-03-17 2021-06-16 株式会社村田製作所 診断支援装置及びモデル生成装置
KR102447341B1 (ko) * 2020-04-10 2022-09-26 주식회사 뷰웍스 유방 촬영 장치 및 방법
US20230169627A1 (en) * 2020-04-10 2023-06-01 University Of Tsukuba Measurement signal processing device, measurement signal processing method, and program
CN111539883B (zh) * 2020-04-20 2023-04-14 福建帝视信息科技有限公司 基于强可逆对抗网络的数字病理图像h&e染色复原方法
EP4158539A1 (en) * 2020-06-02 2023-04-05 Memorial Sloan Kettering Cancer Center Machine learning model for analyzing pathology data from metastatic sites
KR102261475B1 (ko) * 2020-06-05 2021-06-07 주식회사 딥바이오 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
KR102196874B1 (ko) * 2020-08-07 2020-12-31 주식회사 환경과학기술 위성 이미지 생성 학습 장치, 위성 이미지 생성 학습 방법, 위성 이미지 생성 장치 및 위성 이미지 생성 방법
CN112908451B (zh) * 2021-04-16 2023-12-26 千乘镜像(北京)科技有限公司 图像处理方法、装置和存储介质
CN113781366B (zh) * 2021-11-03 2023-06-23 四川大学 一种基于深度学习的眼部oct图像清晰化方法
US20230162364A1 (en) * 2021-11-19 2023-05-25 Verily Life Sciences Llc Segmentation generation for image-related functions
US20230301510A1 (en) * 2022-03-24 2023-09-28 Worcester Polytechnic Institute Robotic-assisted optical coherence tomography (oct)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011104016A (ja) 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
US20130317369A1 (en) 2012-03-19 2013-11-28 Genetic Innovations, Inc. Devices, systems, and methods for virtual staining
WO2016092394A1 (en) 2014-12-10 2016-06-16 Koninklijke Philips N.V. Systems and methods for translation of medical imaging using machine learning

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
WO2009058915A1 (en) * 2007-10-29 2009-05-07 The Trustees Of The University Of Pennsylvania Computer assisted diagnosis (cad) of cancer using multi-functional, multi-modal in-vivo magnetic resonance spectroscopy (mrs) and imaging (mri)
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US9025850B2 (en) * 2010-06-25 2015-05-05 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
PT2779089T (pt) 2010-07-30 2019-02-19 Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud Sistemas e métodos para segmentação e processamento de imagens de tecidos e extração de características dos mesmos para tratar, diagnosticar ou prever condições médicas
WO2012123718A1 (en) 2011-03-14 2012-09-20 The University Of Warwick Histology analysis
US8948522B2 (en) * 2011-08-04 2015-02-03 Seiko Epson Corporation Adaptive threshold for object detection
US9317781B2 (en) * 2013-03-14 2016-04-19 Microsoft Technology Licensing, Llc Multiple cluster instance learning for image classification
US9786050B2 (en) 2013-03-15 2017-10-10 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
US9668699B2 (en) * 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US20150269314A1 (en) * 2014-03-20 2015-09-24 Rudjer Boskovic Institute Method and apparatus for unsupervised segmentation of microscopic color image of unstained specimen and digital staining of segmented histological structures
US10283221B2 (en) * 2016-10-27 2019-05-07 International Business Machines Corporation Risk assessment based on patient similarity determined using image analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011104016A (ja) 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
US20130317369A1 (en) 2012-03-19 2013-11-28 Genetic Innovations, Inc. Devices, systems, and methods for virtual staining
WO2016092394A1 (en) 2014-12-10 2016-06-16 Koninklijke Philips N.V. Systems and methods for translation of medical imaging using machine learning

Also Published As

Publication number Publication date
JP2020508536A (ja) 2020-03-19
US11984217B2 (en) 2024-05-14
KR102622542B1 (ko) 2024-01-10
CN110326024A (zh) 2019-10-11
KR20190112170A (ko) 2019-10-02
US20200035350A1 (en) 2020-01-30
CN110326024B (zh) 2023-11-03
EP3586306A1 (en) 2020-01-01
WO2018155898A1 (en) 2018-08-30
EP3586306A4 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
JP7226895B2 (ja) 医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするための方法及び装置
JP4310099B2 (ja) 肺疾患検出のための方法及びシステム
US10249042B2 (en) Method and apparatus for providing medical information service on basis of disease model
US7599542B2 (en) System and method for detection and display of diseases and abnormalities using confidence imaging
CN107624192B (zh) 通过内窥镜组织分化的外科引导和术中病理的系统和方法
CN110458883A (zh) 一种医疗影像的处理系统、方法、装置和设备
CN114129240B (zh) 一种引导信息生成方法、系统、装置及电子设备
US20180082153A1 (en) Systems and methods for deconvolutional network based classification of cellular images and videos
CN109493325A (zh) 基于ct影像的肿瘤异质性分析系统
Sinha et al. Medical image processing
CN111954805A (zh) 用于光学组织学图像的分析和远程解译的系统和方法
US8705830B2 (en) Method and device for processing 3-D image data of a skull
CN107408198A (zh) 细胞图像和视频的分类
CN114332132A (zh) 图像分割方法、装置和计算机设备
JP2006346094A (ja) 検出情報の出力方法及び医用画像処理システム
CN116097086A (zh) 细胞诊断和分析方法
Elkhill et al. Geometric learning and statistical modeling for surgical outcomes evaluation in craniosynostosis using 3D photogrammetry
Li et al. Clinical study of diffusion-weighted imaging in the diagnosis of liver focal lesion
Eswaran et al. Applying Machine Learning for Medical Image Processing
Cao et al. Deep learning based lesion detection for mammograms
CN111862014A (zh) 一种基于左右侧脑室分割的alvi自动测量方法及装置
CN115132357B (zh) 基于医学影像图预测目标疾病指标状态的装置
Li et al. SOMA: Subject‐, object‐, and modality‐adapted precision atlas approach for automatic anatomy recognition and delineation in medical images
TWI778759B (zh) 醫療影像處理方法和設備、及其電腦儲存介質和電腦程式產品
CN116344001B (zh) 一种基于人工智能的医疗信息可视化管理系统及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R150 Certificate of patent or registration of utility model

Ref document number: 7226895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150