JP2024500470A - 医療画像における病変分析方法 - Google Patents

医療画像における病変分析方法 Download PDF

Info

Publication number
JP2024500470A
JP2024500470A JP2023538160A JP2023538160A JP2024500470A JP 2024500470 A JP2024500470 A JP 2024500470A JP 2023538160 A JP2023538160 A JP 2023538160A JP 2023538160 A JP2023538160 A JP 2023538160A JP 2024500470 A JP2024500470 A JP 2024500470A
Authority
JP
Japan
Prior art keywords
nodule
medical image
suspicious
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023538160A
Other languages
English (en)
Inventor
ヒョンホ パク
グァンビーン パク
ソンホ イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vuno Inc
Original Assignee
Vuno Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vuno Inc filed Critical Vuno Inc
Publication of JP2024500470A publication Critical patent/JP2024500470A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Pulmonology (AREA)

Abstract

本開示の一実施例に基づき、コンピューティング装置において実行される、医療画像における病変分析方法が開示される。上記方法は、医療画像に存在する疑わしい結節(nodule)の位置情報を取得する段階、上記位置情報に対応する医療画像のパッチ(patch)に基づき、上記疑わしい結節に係るマスク(mask)を生成する段階、及び上記医療画像のパッチ及び疑わしい結節に係るマスクに基づき、上記疑わしい結節の状態に係るクラス(class)分類を行う段階を含むことが可能である。

Description

本発明は、医療画像の処理方法に係り、より具体的には、人工知能を利用して医療画像に存在する特定の疾患に係る病変を検出し、評価する方法に関する。
医療画像は、人体の色々な臓器の物理的状態を理解できるようにする資料である。医療画像には、デジタル放射線画像(X-ray)、コンピューター断層撮影(CT)、磁気共鳴画像(MRI)等がある。
医療画像を利用して特定の疾患の病変を検出することを自動化する方法に係る研究及び技術開発が、持続的に行われてきている。しかし、従来の技術は、医療画像に存在する病変を特定することに焦点を合わせているため、特定の疾患の診断に適した形で病変に係る情報を生成及び加工することはできていなかった。つまり、特定の疾患の診断に適した必要情報を提供するという観点では、従来の技術は、病変の検出及び評価という目的に合った性能を提供できていない状況である。
米国登録特許第7305111号(2007.12.04)は、肺がんスクリーニングのための肺結節検出の自動化方法について開示している。
本開示は、前述の背景技術に鑑みて案出されたものであり、医療画像に存在する特定の疾患を診断するための病変を検出し、評価する方法を提供することを目的とする。
前述の課題を実現するための本開示の一実施例に基づき、コンピューティング装置により実行される医療画像における病変分析方法が開示される。上記方法は、医療画像に存在する疑わしい結節(nodule)の位置情報を取得する段階;上記位置情報に対応する医療画像のパッチ(patch)に基づき、上記疑わしい結節に係るマスク(mask)を生成する段階;及び上記医療画像のパッチ及び疑わしい結節に係るマスクに基づき、上記疑わしい結節の状態に係るクラス(class)分類を行う段階を含むことが可能である。
代替の実施例において、上記疑わしい結節の位置情報を取得する段階は、事前学習された第1のモデルを用いて、上記医療画像に含まれている少なくとも1つの関心領域における結節の存在に係る確率値及び候補位置情報を生成する段階;及び上記第1のモデルを用いて、上記少なくとも1つの関心領域における結節の存在に係る確率値をもとに、上記候補位置情報から上記疑わしい結節の位置情報を決定する段階を含むことが可能である。
代替の実施例において、上記疑わしい結節に係るマスクを生成する段階は、上記医療画像から上記位置情報に対応するパッチを抽出する段階;及び上記第2のモデルを用いて、上記パッチに基づき、上記疑わしい結節の全体の領域に係る第1のマスクと、上記疑わしい結節における特定の属性(attribute)を表す領域に係る第2のマスクを生成する段階を含むことが可能である。
代替の実施例において、上記方法は、上記第1のマスクをもとに、上記疑わしい結節の全体の領域の径(diameter)や体積(volume)のうち、少なくとも1つを含む第1の数値情報を生成する段階;及び上記第2のマスクをもとに、上記疑わしい結節における特定の属性を表す領域の径や体積のうち、少なくとも1つを含む第2の数値情報を生成する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、肺疾患診断の補助的指標を基準にして、上記疑わしい結節の状態に係るクラス及び第1の数値情報に基づき、上記疑わしい結節に対する評価スコアを算出する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、上記疑わしい結節の状態に係るクラスが、上記疑わしい結節の特定の属性に係る所定の類型に該当する場合、肺疾患診断の補助的指標を基準にして、上記疑わしい結節の状態に係るクラスと、第1の数値情報と、第2の数値情報とに基づき、上記疑わしい結節に対する評価スコアを算出する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、上記方法は、上記疑わしい結節の位置情報と、マスクと、疑わしい結節の状態に係るクラスと、第1の数値情報と、第2の数値情報と、評価スコアとのうち、少なくとも1つに基づいてユーザーインターフェース(user interface)を生成する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、上記医療画像の被検体(subject)と分析済み画像の被検体とが対応するか否かを判断する段階;及び上記医療画像の被検体と分析済み画像の被検体とが対応する場合、事前学習された第4のモデルを用いて、上記医療画像と分析済み画像の撮影時点を基準にして、上記医療画像の評価スコア又は上記分析済み画像の評価スコアを修正する段階をさらに含むことが可能である。
代替の実施例において、上記医療画像の評価スコア又は上記分析済み画像の評価スコアを修正する段階は、上記第4のモデルを用いて、上記医療画像と上記分析済み画像との間のレジストレーション(registration)を行う段階;上記第4のモデルを用いて、上記医療画像に存在する疑わしい結節と、上記分析済み画像に存在する疑わしい結節とをマッチング(matching)させ、上記マッチングされた疑わしい結節の変更情報を識別する段階;及び上記変更情報をもとに、上記医療画像又は上記分析済み画像の評価スコアを修正する段階を含むことが可能である。
代替の実施例において、上記医療画像の評価スコア又は上記分析済み画像の評価スコアを修正する段階は、上記医療画像が上記分析済み画像が撮影される前の時点に撮影されている場合、上記第4のモデルを用いて、上記医療画像の評価スコアをもとに、上記分析済み画像の評価スコアを修正する段階;及び上記医療画像が上記分析済み画像が撮影された以降の時点に撮影された場合、上記第4のモデルを用いて、上記分析済み画像の評価スコアをもとに、上記医療画像の評価スコアを修正する段階を含むことが可能である。
代替の実施例において、上記方法は、事前学習された第5のモデルを用いて、上記疑わしい結節の位置情報、状態に係るクラス、数値情報をもとに、上記疑わしい結節の悪性度を推定する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、事前学習された第5のモデルを用いて、上記パッチ及びマスクに基づき、上記疑わしい結節の悪性度を推定する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、上記疑わしい結節の位置情報と、マスクと、疑わしい結節の状態に係るクラスと、第1の数値情報と、第2の数値情報と、悪性度とのうち、少なくとも1つに基づいてユーザーインターフェース(user interface)を生成する段階をさらに含むことが可能である。
代替の実施例において、上記疑わしい結節の状態に係るクラス分類を行う段階は、事前学習された少なくとも1つのサブモデルを含む第3のモデルを用いて、上記パッチ及びマスクに基づき、それぞれ異なるサブモデルを用いて、上記疑わしい結節の属性に係る類型(type)、スピキュラ(spiculation)の有無、石灰化(calcification)の有無のうち、少なくとも1つを決定する段階を含むことが可能である。
前述の課題を実現するための本開示のもう1つの一実施例に基づき、コンピューティング装置により実行される医療画像における病変分析方法が開示される。上記方法は、医療画像の被検体と分析済み画像の被検体とが対応するか否かを判断する段階;上記医療画像に存在する疑わしい結節の状態に係るクラス及び数値情報に基づき、上記疑わしい結節に対する評価スコアを算出する段階;及び上記医療画像の被検体と分析済み画像の被検体とが対応する場合、上記医療画像と分析済み画像の撮影時点を基準にして、上記医療画像の評価スコア又は上記分析済み画像の評価スコアを修正する段階を含むことが可能である。
代替の実施例において、上記方法は、上記医療画像の被検体と分析済み画像の被検体とが対応しない場合、上記医療画像の評価スコアを保存する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、上記保存された評価スコア又は上記修正された評価スコアに基づき、ユーザーインターフェースを生成する段階をさらに含むことが可能である。
代替の実施例において、上記医療画像の評価スコア又は上記分析済み画像の評価スコアを修正する段階は、事前学習された第4のモデルを用いて、上記医療画像と上記分析済み画像との間のレジストレーションを行う段階;上記第4のモデルを用いて、上記医療画像に存在する疑わしい結節と、上記分析済み画像に存在する疑わしい結節とをマッチングさせ、上記マッチングされた疑わしい結節の変更情報を識別する段階;及び上記変更情報をもとに、上記医療画像又は上記分析済み画像の評価スコアを修正する段階を含むことが可能である。
代替の実施例において、上記医療画像の評価スコア又は上記分析済み画像の評価スコアを修正する段階は、上記医療画像が上記分析済み画像が撮影される前の時点に撮影されている場合、事前学習された第4のモデルを用いて、上記医療画像の評価スコアをもとに、上記分析済み画像の評価スコアを修正する段階;及び上記医療画像が上記分析済み画像が撮影された以降の時点に撮影された場合、上記第4のモデルを用いて、上記分析済み画像の評価スコアをもとに、上記医療画像の評価スコアを修正する段階を含むことが可能である。
前述のような課題を実現するための本開示の一実施例に基づき、コンピューター可読保存媒体に保存されたコンピュータープログラムが開示される。上記コンピュータープログラムは、1つ以上のプロセッサーにおいて実行される場合、医療画像における病変を分析するための以下の動作が実行されるが、上記動作は;医療画像に存在する疑わしい結節の位置情報を取得する動作;上記位置情報に対応する医療画像のパッチに基づき、上記疑わしい結節に係るマスクを生成する動作;及び上記医療画像のパッチ及び疑わしい結節に係るマスクに基づき、上記疑わしい結節の状態に係るクラス分類を行う動作を含むことが可能である。
前述の課題を解決するための本開示の一実施例に基づき、医療画像における病変を分析するコンピューティング装置が開示される。上記装置は、少なくとも1つのコアを含むプロセッサー;上記プロセッサーにおいて実行可能なプログラムコードを含むメモリー;及び胸部領域を含む医療画像を受信するためのネットワーク部を含み、上記プロセッサーは、医療画像に存在する疑わしい結節の位置情報を取得し、上記位置情報に対応する医療画像のパッチ(patch)に基づき、上記疑わしい結節に係るマスクを生成し、上記医療画像のパッチ及び疑わしい結節に係るマスクに基づき、上記疑わしい結節の状態に係るクラス分類を行うことが可能である。
前述の課題を実現するための本開示の一実施例に基づき、ユーザーインターフェースを提供するユーザー端末が開示される。上記ユーザー端末は、少なくとも1つのコアを含むプロセッサー;メモリー;コンピューティング装置から、医療画像に含まれている病変の分析情報に基づいて生成されるユーザーインターフェース(user interface)を受信するネットワーク部;及び上記ユーザーインターフェースを提供する出力部;を含むことが可能である。この場合、上記病変の分析情報は、疑わしい結節(nodule)の位置情報、上記疑わしい結節に係るマスク(mask)、上記疑わしい結節の状態に係るクラス(class)、上記疑わしい結節の数値情報、上記疑わしい結節に対する評価情報、上記疑わしい結節の悪性度のうち、少なくとも1つを含むことが可能である。
本開示は、医療画像に存在する特定の疾患を診断するための病変を検出し、評価する方法を提供することが可能である。
図1は、本開示の一実施例において、医療画像における病変を分析するためのコンピューティング装置のブロック構成図である。 図2は、本開示の一実施例におけるネットワーク関数を示す概略図である。 図3は、本開示の一実施例において、コンピューティング装置が病変を読影するプロセスを示すブロック構成図である。 図4は、本開示の一実施例において、コンピューティング装置が病変を読影するプロセスを示すフローチャートである。 図5は、本開示の一実施例において、コンピューティング装置が病変を読影し、評価するプロセスを示すブロック構成図である。 図6は、本開示の一実施例において、コンピューティング装置が病変の評価結果を修正するプロセスを示すブロック構成図である。 図7は、本開示の一実施例における、医療画像における病変を分析する方法に係るフローチャートである。 図8は、本開示の代替の実施例において、医療画像における病変を分析する方法に係るフローチャートである。 図9は、本開示の一実施例におけるコンピューティング環境を示す概略図である。
多様な実施例が以下に図面を参照しながら説明されるが、図面を通して類似の図面番号は類似の構成要素を表すために使われる。本明細書において多様な説明が本開示に対する理解を容易にするために示される。しかし、これらの実施例がこれらの具体的な説明がなくても間違いなく実施されることができる。
本明細書において、「コンポーネント」、「モジュール」、「システム」等の用語は、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェアとハードウェアとの組み合わせ、またはソフトウェアの実行を指す。例えば、コンポーネントは、プロセッサー上で実行される処理手順(procedure)、プロセッサー、オブジェクト、実行スレッド、プログラム、及び/またはコンピューターになり得るが、これらに限定されるものではない。例えば、コンピューティング装置で実行されるアプリケーションとコンピューティング装置は、両方ともコンポーネントになり得る。1つ以上のコンポーネントは、プロセッサー及び/または実行スレッドの中に常駐することができ、1つのコンポーネントは1つのコンピューターの中でローカル化されることができ、または2つ以上のコンピューターに配分されることもできる。また、このようなコンポーネントは、その内部に保存されている多様なデータ構造を持つ、多様なコンピューター可読媒体から実行することができる。コンポーネントは、例えば1つ以上のデータパケットを持つ信号(例えば、ローカルシステム、分散システムにおいて他のコンポーネントと相互作用する1つのコンポーネントからのデータ及び/または信号を通じて、他のシステムと、インターネットのようなネットワークを介して伝送されるデータ)によってローカル及び/または遠隔処理等を通じて通信することができる。
用語「または」は、排他的な「または」ではなく、内包的な「または」を意味する意図で使われる。つまり、特に特定されておらず、文脈上明確ではない場合、「XはAまたはBを利用する」は、自然な内包的置換のうち1つを意味するものとする。つまり、XがAを利用したり;XがBを利用したり;またはXがA及びBの両方を利用する場合、「XはAまたはBを利用する」は、これらのいずれにも当てはまるとすることができる。また、本明細書における「及び/または」という用語は、取り挙げられた関連アイテムのうち、1つ以上のアイテムの可能なすべての組み合わせを指し、含むものと理解されるべきである。
また、述語としての「含む(含める)」及び/または修飾語として「含む(含める)」という用語は、当該特徴及び/または構成要素が存在することを意味するものと理解されるべきである。ただし、述語としての「含む(含める)」及び/または修飾語として「含む(含める)」という用語は、1つ以上の他のさらなる特徴、構成要素及び/またはこれらのグループが存在すること、または追加されることを排除しないものと理解されるべきである。また、特に数が特定されていない場合や、単数の形を示すことが文脈上明確でない場合、本明細書と請求範囲において単数は、一般的に「1つまたはそれ以上」を意味するものと解釈されるべきである。
そして、「A又はBのうち少なくとも1つ」という用語については、「Aだけを含む場合」、「Bだけを含む場合」、「AとBの組み合わせの場合」を意味するものと解釈されたい。
当業者は、さらに、ここに開示される実施例に係るものとして説明された多様な例示的論理的ブロック、構成、モジュール、回路、手段、ロジック及びアルゴリズム段階が、電子ハードウェア、コンピューターソフトウェア、またはその両方の組み合わせによって実現されることができることを認識すべきである。ハードウェアとソフトウェアとの相互交換性を明確に例示するために、多様な例示的コンポーネント、ブロック、構成、手段、ロジック、モジュール、回路及び段階が、それらの機能性の側面で一般的に上述された。そのような機能性がハードウェアとして実装されるか或いはソフトウェアとして実装されるかは、全般的なシステムに係る特定のアプリケーション(application)及び設計制限によって決まる。熟練した技術者は、個々の特定アプリケーションのために多様な方法で説明された機能性を実現できる。ただし、そのような実現に係る決定が本開示内容の領域を逸脱するものと解釈されてはならない。
ここに示す実施例に係る説明は、本開示の技術分野において通常の知識を持つ者が本発明を利用したり、または実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者にとっては明確であり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
本開示において、ネットワーク関数と人工神経回路網とニューラルネットワーク(neural network)とは、相互置換可能に用いることが可能である。
一方、本発明の詳細な説明及び請求項において用いられている用語「画像」または「画像データ」は、離散的画像要素(例えば、2次元画像においては、ピクセル)で構成されている多次元データを指し、言い換えると、(例えば、ビデオ画面に表示された)目視で認識できる対象、又は、(例えば、CTやMRI装置などのピクセル出力に対応するファイルのような)その対象のデジタル表現物を指す用語である。
例えば、「イメージ」や「画像」は、コンピューター断層撮影(CT;computed tomography)、磁気共鳴画像(MRI;magnetic resonance imaging)、超音波又は、その他本発明の技術分野における公知のあらゆる医療画像システムにより収集された被検体(subject)の医療画像になり得る。画像が必ずしも医療的目的で提供されたものである必要はなく、非医療的目的で提供されたものにもなり得るが、例えば、セキュリティー検査用のエックス線撮影などが挙げられる。
本発明の詳細な説明及び請求項において、「DICOM(Digital Imaging and Communications in Medicine;医療用デジタル画像及び通信)」の標準は、医療用機器におけるデジタル画像表現と通信に利用されるあらゆる標準規格の総称であり、DICOM標準は、米国放射線専門医会(ACR)と米国電機工業会(NEMA)とで構成している連合委員会が発表する。
また、本発明の詳細な説明及び請求項において、「医療用画像管理システム(PACS;Picture Archiving and Communication System)」は、DICOM標準に沿って、医療用画像を保管、加工、送信するシステムを指す用語であり、エックス線、CT、MRIなどのデジタル医療画像装置を利用して取得した医療画像のデータを、DICOMの規格に合わせて保存し、ネットワークを介して院内や外部の端末に送信することが可能であり、そのデータには、読影結果や診療記録を追加することが可能である。
図1は、本開示の一実施例において、医療画像における病変を分析するためのコンピューティング装置のブロック構成図である。
図1に図示されたコンピューティング装置(100)の構成は、簡略化して示した例示に過ぎない。本開示の一実施例において、コンピューター装置(100)には、コンピューター装置(100)のコンピューティング環境を実装するための他の構成が含まれることが可能であり、開示されている構成のうち一部だけでコンピューター装置(100)を構成することも可能である。
コンピューター装置(100)は、プロセッサー(110)、メモリー(130)、ネットワーク部(150)を含むことができる。
プロセッサー(110)は、1つ以上のコアで構成されることができ、コンピューティング装置の中央処理装置(CPU:central processing unit)、汎用グラフィック処理装置(GPGPU:general purpose graphics processing unit)、テンサー処理装置(TPU: tensor processing unit)等のデータ分析、ディープラーニングのためのプロセッサーを含むことが可能である。プロセッサー(120)は、メモリー(130)に保存されたコンピュータープログラムを読み取り、本開示の一実施例における機械学習のためのデータ処理を実行することができる。本開示の一実施例に基づき、プロセッサー(120)は、ニューラルネットワークの学習のための演算を行うことができる。プロセッサー(120)は、ディープラーニング(DL:deep learning)における学習のための入力データの処理、入力データからのフィーチャーの抽出、誤差計算、逆伝播(backpropagation)を利用したニューラルネットワークの加重値の更新等のニューラルネットワークの学習のための計算を実行することができる。プロセッサー(120)のCPU、GPGPU及びTPUのうち少なくとも1つがネットワーク関数の学習を処理できる。例えば、CPUとGPGPUがともにネットワーク関数の学習やネットワーク関数を利用したデータの分類を行うことができる。なお、本開示の一実施例において、複数のコンピューティング装置のプロセッサーを一緒に使ってネットワーク関数の学習やネットワーク関数を利用したデータ分類を行うことができる。また、本開示の一実施例におけるコンピューティング装置において実行されるコンピュータープログラムは、CPU、GPGPU及びTPUで実行可能なプログラムになり得る。
本開示の一実施例において、プロセッサー(110)は、少なくとも1つの事前学習されたマシンラーニングモデルを用いて、医療画像をもとに、特定の疾患に係る病変を読影できる。プロセッサー(110)は、医療画像を、検出(detection)を基盤とする神経回路網モデルに入力し、医療画像に存在する病変の位置情報を識別することが可能である。プロセッサー(110)は、病変の位置情報をもとに、医療画像の一部分に該当するパッチ(patch)を生成できる。プロセッサー(110)は、病変の位置情報に対応するパッチを、セグメンテーション(segmentation)を基盤とする神経回路網モデルに入力し、病変に対するマスクを生成することが可能である。この場合、マスクは、医療画像における病変が存在する領域に係る情報を含むデータの集合体を意味することが可能である。プロセッサー(110)は、パッチとマスクを、分類(classification)を基盤とする神経回路網モデルに入力し、病変の状態を示すクラス情報を生成できる。かかる動作を通じて、プロセッサー(110)は、医療画像をもとに、特定の疾患の診断基準になる病変に係る情報(例えば、病変の体内における位置、状態等)を生成できる。
例えば、プロセッサー(110)は、ネットワーク部(150)に入力された胸部領域を含む医療画像を、事前学習された第1のモデルに入力できる。この場合、胸部領域を含む医療画像は、少なくとも1つの肺組織を含む3次元CT画像等を含むことが可能である。プロセッサー(110)は、胸部領域を含む医療画像を、第1のモデルに入力し、医療画像に存在する疑わしい結節(nodule)の位置情報を取得できる。疑わしい結節の位置情報は、医療画像における疑わしい結節として識別された領域の中心座標系を含むことが可能である。医療画像が、3次元CT画像の場合、疑わしい結節の位置情報は、疑わしい結節と判定された領域の中心の(X、Y、Z)の座標値を含むことが可能である。
プロセッサー(110)は、第1のモデルを用いて取得した疑わしい結節の位置情報に基づき、胸部領域を含む医療画像から位置情報に対応するパッチを抽出できる。プロセッサー(110)は、疑わしい結節の位置情報に対応するパッチを、事前学習された第2のモデルに入力できる。プロセッサー(110)は、医療画像から生成されたパッチを、第2のモデルに入力し、疑わしい結節に係るマスクを生成できる。つまり、プロセッサー(110)は、第2のモデルを用いて、パッチの中に存在する疑わしい結節が存在する領域に係る情報を抽出できる。
プロセッサー(110)は、第2のモデルを用いて生成した疑わしい結節に係るマスクとともにその前に抽出したパッチを、事前学習された第3のモデルに入力できる。プロセッサー(110)は、疑わしい結節に係るマスクとパッチの両方を第3のモデルに入力し、疑わしい結節の状態に対してクラス(class)を行うことが可能である。この場合、疑わしい結節の状態は、肺疾患の判断の基礎となる疑わしい結節の特徴、属性等を含むことが可能である。言い換えると、プロセッサー(110)は、肺疾患の診断のための病変情報を取得するために、第3のモデルを用いて、医療画像のパッチの中における疑わしい結節の状態を識別できる。
本開示の一実施例において、プロセッサー(110)は、特定の疾患の診断のための補助的指標をもとに、医療画像から読影した病変を評価できる。プロセッサー(110)は、セグメンテーションを基盤とする神経回路網モデルを用いて生成したマスクをもとに、病変が存在する領域に係る数値を演算できる。プロセッサー(110)は、特定の疾患の診断のための補助的指標をもとに、病変の数値を含む数値情報と病変の状態に係るクラス情報に基づき、病変の評価スコアを算出できる。また、プロセッサー(110)は、事前学習された神経回路網モデルを用いて、病変の悪性度を予測することも可能である。プロセッサー(110)は、回帰(regression)を基盤とする神経回路網モデルを用いて、病変の位置情報、病変の状態に係るクラス情報、病変の数値情報をもとに、病変の悪性度を推定できる。かかる動作を通じて、プロセッサー(110)は、医療画像をもとに、特定の疾患の診断指標として活用できる病変に対する評価情報を生成できる。
例えば、プロセッサー(110)は、第2のモデルを用いて生成した疑わしい結節のマスクをもとに、医療画像において疑わしい結節が存在する領域に係る数値情報を生成できる。この場合、数値情報は、疑わしい結節の径(diameter)や体積(volume)等に係る数値を含むことが可能である。プロセッサー(110)は、疑わしい結節の数値情報と第3のモデルを用いて分類した疑わしい結節の状態に係るクラスをもとに、メモリー(130)に保存されている肺疾患診断の補助指標に基づき、疑わしい結節の評価スコアを算出できる。この場合、肺疾患診断の補助指標は、Lung-RADS(Lung CT Screening Reporting and Data System)を基盤とする分類指標等を含むことが可能である。言い換えると、プロセッサー(110)は、疑わしい結節の構造的情報と属性情報との両方を利用し、肺疾患診断の補助的指標に基づいて決めた基準に合わせて、疑わしい結節の評価点数を決定できる。プロセッサー(110)が決定した評価点数は、医療画像の被検体(subject)に対する肺疾患の診断及び予後の予測等に活用することが可能である。
プロセッサー(110)は、第1のモデルによって生成された疑わしい結節の位置情報と、第3のモデルによって生成された疑わしい結節の状態に係るクラス情報とマスクをもとに生成された疑わしい結節の数値情報とを、事前学習された第5のモデルに入力できる。プロセッサー(110)は、疑わしい結節の位置情報、クラス情報、数値情報を第5のモデルに入力し、疑わしい結節の悪性度を推定できる。また、プロセッサー(110)は、医療画像から抽出したパッチと、第2のモデルによって生成されたマスクとを、第5のモデルに入力し、疑わしい結節の悪性度を推定することも可能である。言い換えると、プロセッサー(110)は、疑わしい結節の定量的情報を利用し、疑わしい結節の悪性度を推定することも可能であり、疑わしい結節に係る画像情報を活用し、疑わしい結節の悪性度を推定することも可能である。プロセッサー(110)は、第5のモデルを用いて、胸部領域を含む医療画像に存在する疑わしい結節の位置情報、構造的情報、属性情報をすべて考慮し、肺疾患に影響を及ぼす疑わしい結節の悪性度を予測できる。プロセッサー(110)が予測した悪性度は、医療画像の被検体に対する肺疾患の診断及び予後の予測等に活用することが可能である。
本開示の一実施例において、プロセッサー(110)は、事前学習された神経回路網モデルを用いて、時系列の関係にある、特定の被検体に係る医療画像をもとに、病変に係る評価スコアを修正できる。プロセッサー(110)が、分析済み画像と同一の被検体に係る医療画像を、コンピューティング装置(100)に入力すると、プロセッサー(110)は、事前学習されたマシンラーニングモデルを用いて、分析済み画像に存在する病変と、後に入力された医療画像に存在する病変とをマッチング(matching)させ、変更された情報を把握することが可能である。そして、プロセッサー(110)は、変更された情報を病変に係る評価スコアに反映し、評価スコアを修正できる。変更された情報がない場合は、プロセッサー(110)は、病変に係る評価スコアを修正せずに既存の評価スコアをそのまま維持することが可能である。
例えば、プロセッサー(110)は、ネットワーク部(150)を介して受信した医療画像をもとに、疑わしい結節の評価スコアを算出するための前述の動作を行い、算出された評価スコアを、メモリー(130)に保存することが可能である。新しい医療画像がネットワーク部(150)を介して受信された場合、プロセッサー(110)は、新しい医療画像の被検体が、分析済み医療画像の被検体と対応するか否かを判断できる。つまり、プロセッサー(110)は、新しい医療画像の被検体を識別するために用いる識別子(ID)が、複数の分析済み医療画像の識別子の1つと一致するか否かを判断できる。新しい医療画像の識別子が、複数の分析済み医療画像の識別子の1つと一致する場合、プロセッサー(110)は、事前学習された第4のモデルを用いて、既存の画像に存在する疑わしい結節と、新しい画像に存在する疑わしい結節とをマッチングさせることが可能である。プロセッサー(110)は、第4のモデルを用いて、マッチングされた疑わしい結節の変更情報を識別し、変更情報をもとに疑わしい結節に係る評価スコアを修正できる。かかる動作を通じて、プロセッサー(110)は、特定の被検体における病変の変化を効果的に追跡し、肺疾患の予後に係る判断に必要な情報の精度を高めることが可能である。
本開示の一実施例において、メモリー(130)は、プロセッサー(110)が生成したり、決定した任意の形態の情報と、ネットワーク部(150)が受信した任意の形態の情報とを保存することができる。
本開示の一実施例において、メモリー(130)は、フラッシュメモリータイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリー(例えばSD又はXDメモリー等)、ラム(Random Access Memory、RAM)、SRAM(Static Random Access Memory)、ロム(Read-Only Memory、ROM)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、PROM(Programmable Read-Only Memory)、磁気メモリー、磁気ディスク、光ディスクのうち少なくとも1つのタイプの保存媒体を含むことができる。コンピューティン装置(100)は、インターネット(internet)上で上記メモリー(130)の保存機能を実行するウェブストレージ(web storage)と連携して動作することも可能である。前述のメモリーに係る記述は、例示に過ぎず、本開示はこれらに限定されない。
本開示の一実施形態によるネットワーク部(150)は、任意の形態の公知の有線及び無線通信システムを使用することができる。
ネットワーク部(150)は、人体臓器が写っている医療画像を、医療画像撮影システムから受信できる。例えば、人体臓器が写っている医療画像は、2次元特徴又は3次元特徴で学習された神経回路網モデルの学習用データ又は推論用データになり得る。人体臓器が写っている医療画像は、少なくとも1つの肺領域を含む3次元CT領域になり得る。人体臓器が写っている医療画像は、前述の例示に限らず、エックス線画像、MR画像等のように、撮影により取得された人体臓器に係る画像をすべて含むことが可能である。
また、ネットワーク部(150)は、プロセッサー(110)により処理された情報やユーザーインターフェース等を、他の端末との通信を通じて送受信できる。例えば、ネットワーク部(150)は、プロセッサー(100)により生成されたユーザーインターフェースを、クライアント(例えば、ユーザー端末)に提供できる。また、ネットワーク部(150)は、クライアントに対して行われたユーザーによる外部入力を受信し、プロセッサー(110)に転送できる。この時、プロセッサー(100)は、ネットワーク部(150)から受け取ったユーザーの外部入力をもとに、ユーザーインターフェースを通じて提供される情報の出力、修正、変更、追加等の動作を処理できる。
一方、本開示の一実施例において、コンピューティング装置(100)は、クライアントとの通信を通して情報を送受信するコンピューティングシステムとして、サーバーを含むことが可能である。この場合、クライアントは、サーバーにアクセスできる任意の形の端末になり得る。例えば、サーバーであるコンピューティング装置(100)は、医療画像撮影システムから医療画像を受信し、病変を分析し、分析結果を含むユーザーインターフェースを、ユーザー端末に提供できる。この場合、ユーザー端末は、サーバーであるコンピューティング装置(100)から受信したユーザーインターフェースを出力し、ユーザーとの相互作用を通じて情報の入力を受けたり、処理することができる。
ユーザー端末は、サーバーであるコンピューティング装置(100)から送られてくる医療画像に含まれている病変(例えば、疑わしい結節等)の分析情報を提供するために提供されたユーザーインターフェースを表示することが可能である。図示は省略しているが、ユーザー端末は、コンピューティング装置(100)からユーザーインターフェースを受信するネットワーク部、少なくとも1つのコアを含むプロセッサー、メモリー、ユーザーインターフェースを提供する出力部、ユーザーが行った外部入力を受信する入力部を含むことが可能である。
追加の実施例において、コンピューティング装置(100)は、任意のサーバーにおいて生成されたデータリソースを受け取り、追加の情報処理を行う任意の形の端末を含むことも可能である。
図2は、本開示の一実施例において、医療データに対する診断関連情報を提供するために用いられるネットワーク関数を示す概略図である。
本明細書の全体を通して、演算モデル、神経回路網、ネットワーク関数、ニューラルネットワーク(neural network)は、同一の意味で用いることができる。神経回路網は、一般的にノードと呼ばれる相互連結された計算単位の集合で構成されることが多い。このようなノードは、ニューロン(neuron)と称することもできる。神経回路網は、少なくとも1つ以上のノードを含めて構成される。神経回路網を構成するノード(またはニューロン)は1つ以上のリンクによって相互連結されることが可能である。
神経回路網において、リンクを介して繋がっている1つ以上のノードは、相対的に入力ノード及び出力ノードの関係を形成することができる。入力ノード及び出力ノードの概念は相対的なものであり、あるノードに対して出力ノードとなる任意のノードは、他のノードとの関係においては入力ノードになり得るが、その逆も成立する。前述のように、入力ノードと出力ノードとの関係はリンクを中心にして成立することができる。1つの入力ノードに1つ以上の出力ノードがリンクを介して繋がることができ、その逆も成立する。
1つのリンクを介して繋がっている入力ノード及び出力ノードの関係において、出力ノードのデータは入力ノードに入力されたデータに基づきその値が決められることが可能である。ここで入力ノードと出力ノードとを相互連結するノードは加重値(weight)を持つことができる。加重値は可変的なものになり得るが、神経回路網が所望の機能を行うために、利用者またはアルゴリズムによって変わることが可能である。例えば、1つの出力ノードに1つ以上の入力ノードが各リンクによって相互連結されている場合、出力ノードは上記出力ノードに繋がっている入力ノードに入力された値及び各入力ノードに対応するリンクに設定された加重値に基づき出力ノードの値を決定することができる。
前述のように、神経回路網は、1つ以上のノードが1つ以上のリンクを介して相互連結され神経回路網の中で入力ノードと出力ノードの関係を形成する。神経回路網において、ノードとリンクの数及びノードとリンクとの間の相関関係、各リンクに付与された加重値の値によって、神経回路網の特性が決まることが可能である。例えば、同数のノード及びリンクが存在し、リンクの加重値の値がそれぞれ異なる2つの神経回路網が存在する場合、その2つの神経回路網を、相異なるものと認識することができる。
神経回路網は、1つ以上のノードの集合で構成することができる。神経回路網を構成するノードの部分集合は、レイヤー(layer)を構成できる。神経回路網を構成する複数のノードのうち一部は、第1入力ノードからの距離に基づき、1つのレイヤー(layer)を構成することができる。例えば、第1入力ノードからの距離がnであるノードの集合は、nレイヤーを構成することができる。第1入力ノードからの距離は、第1入力ノードから当該ノードに到達するために経由しなければならないリンクの最小限の数を基に定義することができる。しかし、このようなレイヤーの定義は、説明のために任意に取り挙げたものであり、神経回路網の中におけるレイヤーの構成は、前述の説明と異なる方法で定義されることができる。例えば、ノードのレイヤーは、最終出力ノードからの距離を基に定義することもできる。
第1入力ノードは、神経回路網の中のノードのうち、他のノードとの関係においてリンクを経由せずにデータが直接入力される1つ以上のノードを意味することができる。または、神経回路網のネットワークの中で、リンクを基準にしたノード間の関係において、リンクを介して繋がっている他の入力ノードを持たないノードを意味することができる。これと同様に、最終出力ノードは、神経回路網の中のノードのうち、他のノードとの関係において、出力ノードを持たない1つ以上のノードを意味することができる。また、ヒドンノードは、第1入力ノード及び最終出力ノードではないノードで、神経回路網を構成するノードを意味することができる。
本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードと同数で、入力レイヤーからヒドゥンレイヤー(隠れ層)へと進むにつれ、ノードの数が一度減ってから、再び増加する形の神経回路網になり得る。本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より少なく、入力レイヤーからヒドゥンレイヤーへと進むにつれ、ノードの数が減少していく形の神経回路網になり得る。また、本開示の他の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より多く、入力レイヤーからヒドゥンレイヤーへと進むにつれ、ノードの数が増加していく形の神経回路網になり得る。本開示の他の一実施例における神経回路網は、上述の神経回路網を組み合わせた形の神経回路網になり得る。
ディープニューラルネットワーク(DNN:deep neural network、深層神経回路網)は、入力レイヤーと出力レイヤー以外に複数のヒドゥンレイヤーを含む神経回路網を意味することができる。ディープニューラルネットワークを利用するとデータの潜在的な構造(latent structures)を把握することができる。つまり、写真、文章、ビデオ、音声、音楽の潜在的な構造(例えば、ある物が写真に映っているか、文章の内容と感情はどのようなものなのか、音声の内容と感情はどのようなものなのか等)を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク(CNN:convolutional neural network)、リカレントニューラルネットワーク(RNN;:recurrent neural network)、オートエンコーダー(auto encoder)、GAN(Generative Adversarial Networks)、制限ボルツマンマシン(RBM:restricted boltzmann machine)、深層信頼ネットワーク(DBN:deep belief network)、Qネットワーク、Uネットワーク、シャムネットワーク、敵対的生成ネットワーク(GAN:Generative Adversarial Network)等を含むことができる。前述のディープニューラルネットワークは、例示に過ぎず本開示はこれらに限定されない。
本開示の一実施例において、ネットワーク関数は、オートエンコーダー(autoencoder)を含むこともできる。オートエンコーダーは、入力データに類似した出力データを出力するための人工神経回路網の一種になり得る。オートエンコーダーは、少なくとも1つのヒドゥンレイヤーを含むことができ、奇数個のヒドゥンレイヤーが入出力レイヤーの間に配置されることができる。各レイヤーのノード数は、入力レイヤーのノード数から、ボトルネックレイヤー(エンコード)という中間レイヤーに向かって減っていき、ボトルネックレイヤーから出力レイヤー(入力レイヤーと対称を成す)に向かって、縮小と対照する形で、拡張することもできる。オートエンコーダーは、非線形次元減少を行うことができる。入力レイヤー及び出力レイヤーの数は、入力データの前処理後に次元に対応することができる。オートエンコーダー構造において、エンコーダーに含まれたヒドゥンレイヤーのノードの数は、入力データから遠くなるほど減っていく構造を持つことができる。ボトルネックレイヤー(エンコーダーとデコーダーの間に位置する、ノードの数が最も少ないレイヤー)のノードの数が少なすぎる場合、十分な量の情報が伝わらない可能性があるため、特定の数以上(例えば、入力レイヤーの半分以上等)に維持されることもあり得る。
ニューラルネットワークは、教師あり学習(supervised learning)、教師なし学習(unsupervised learning)、半教師あり学習(semi supervised learning)、または、強化学習(reinforcement learning)のうち、少なくともいずれか1つの方式で学習されることができる。ニューラルネットワークの学習は、ニューラルネットワークが特定の動作を行うための知識をニューラルネットワークに提供する過程になり得る。
ニューラルネットワークは、出力のエラーを最小化する方向で学習されることが可能である。ニューラルネットワークの学習において、繰り返し学習データをニューラルネットワークに入力させ、学習データに関するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向としてニューラルネットワークのエラーをニューラルネットワークの出力レイヤーから入力レイヤーの方向へ逆伝播(back propagation)してニューラルネットワークの各ノードの加重値を更新するプロセスが行われる。教師あり学習の場合、個々の学習データに正解がラベリングされている学習データを使い(つまり、ラベリングされた学習データ)、教師なし学習の場合は、個々の学習データに正解がラベリングされていない場合がある。つまり、例えばデータ分類に関する教師あり学習における学習データは、学習データの各々にカテゴリーがラベリングされたデータになり得る。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力(カテゴリー)と学習データのラベルを比較することでエラー(error)を計算することが可能である。他の例として、データ分類に関する教師なし学習の場合、入力である学習データをニューラルネットワークの出力と比較することでエラーを計算することが可能である。計算されたエラーは、ニューラルネットワークにおいて逆方向(つまり、出力レイヤーから入力レイヤー方向)へ逆伝播され、逆伝播を通じてニューラルネットワークの各レイヤーの各ノードの連結加重値を更新することが可能である。更新される各ノードの連結加重値は、学習率(learing rate)によって変化量が決まることが可能である。入力データに対するニューラルネットワークの計算とエラーの逆伝播は、学習のサイクル(epoch)を構成することができる。学習率は、ニューラルネットワークの学習のサイクルの反復回数によって適用方式が変わることが可能である。例えば、ニューラルネットワークの学習初期においては、学習率を高くしてニューラルネットワークが早く一定のレベルの性能を確保するようにすることで効率を高め、学習の後半においては学習率を低くして精度を上げることが可能である。
ニューラルネットワークの学習において、一般的に学習データは実際のデータ(つまり、学習されたニューラルネットワークを利用して処理しようとするデータ)の部分集合であることが可能であり、そのため学習データに係るエラーは減少するが、実際のデータに係るエラーは増加する学習サイクルが存在し得る。過剰適合(over fitting)は、このように学習データについて過度に学習したため、実際のデータにおいてエラーが増加する現象である。例えば、黄色い猫を見て猫を学習したニューラルネットワークが、黄色以外の色の猫を見ると猫であることを認識できない現象が過剰適合の一種になり得る。過剰適合は、マシンラーニングアルゴリズムのエラーを増加させる原因になり得る。このような過剰適合を防ぐために、多様な最適化方法を適用できる。過剰適合を防ぐためには、学習データを増加させる方法、正則化(regulaization)、学習の過程でネットワークのノードの一部を非活性化するドロップアウト(drop out)、バッチ正規化レイヤー(batch normalization layer)の活用等の方法を適用できる。
図3は、本開示の一実施例において、コンピューティング装置が病変を読影するプロセスを示すブロック構成図である。
図3を参照すると、本開示の一実施例において、コンピューティング装置(100)のプロセッサー(110)は、事前学習された第1のモデル(210)を用いて、医療画像(11)に存在する疑わしい結節の位置情報(13)を取得できる。例えば、プロセッサー(110)は、医療画像(11)を第1のモデル(210)に入力し、医療画像(11)に含まれている少なくとも1つの関心領域における結節の存在に係る確率値及び候補位置情報を生成できる。この場合、関心領域は、疑わしい結節の候補群に該当する医療画像における一領域を意味することが可能である。また、候補位置情報は、関心領域の位置情報を意味することが可能である。プロセッサー(110)は、第1のモデル(210)を用いて、少なくとも1つの関心領域における結節の存在に係る確率値をもとに、疑わしい結節の位置情報(13)を決定できる。プロセッサー(110)は、複数の関心領域における結節の存在に係る確率値の各々が、所定のしきい値以上であるか否かを判断できる。プロセッサー(110)は、所定のしきい値以上の確率値に該当する少なくとも1つの関心領域の位置情報を、疑わしい結節の位置情報(13)として決定できる。
プロセッサー(110)は、疑わしい結節の位置情報(13)をもとに、医療画像(11)から、事前学習された第2のモデル(220)又は第3のモデル(230)への入力データに該当するパッチ(15)を抽出できる。つまり、プロセッサー(110)は、医療画像(11)から疑わしい結節の位置情報(13)に該当する領域を抽出し、パッチ(15)を生成できる。従って、パッチ(15)は、医療画像から病変の分析に不必要な領域がフィルタリングされ、疑わしい結節に係る有意味な情報を含む画像データになり得る。プロセッサー(110)は、第2のモデル(220)を用いて、パッチ(15)をもとに、疑わしい結節に係るマスク(17)を生成できる。例えば、プロセッサー(110)は、パッチ(15)を第2のモデル(220)に入力し、疑わしい結節の全体の領域又は疑わしい結節における特定の属性(attribute)を表す領域のうち、少なくとも1つに対するマスク(17)を生成できる。この場合、特定の属性は、疑わしい結節の状態を示す属性類型(type)の1つである固体の属性になり得るが、これは一例にすぎず、かかる属性は前述の例示に限らない。第2のモデル(220)を用いた動作を通じて、プロセッサー(110)は、医療画像(11)から不必要な情報を取り除き、疑わしい結節が存在する領域に係る情報を効果的に抽出できる。
プロセッサー(110)は、事前学習された第3のモデル(230)を用いて、パッチ(15)と第2のモデル(220)の出力に該当するマスク(17)をもとに、疑わしい結節の状態に係るクラス情報(19)を生成できる。第3のモデル(230)は、パッチ(15)とマスク(17)との両方の入力を受けることで、パッチ(15)だけの入力を受ける場合より、精度の高いクラス情報(19)を出力できる。例えば、プロセッサー(110)は、パッチ(15)とマスク(17)との両方を、少なくとも1つのサブモデルを含む第3のモデル(230)に入力し、それぞれ異なるサブモデルを用いて、疑わしい結節の属性に係る類型、スピキュラ(spiculation)の有無、石灰化(calcification)の有無のうち、少なくとも1つを示すクラス情報(19)を生成できる。具体的に、プロセッサー(110)は、第3のモデル(230)の第1のサブモデルを用いて、パッチ(15)と、疑わしい結節の全体の領域に係るマスクと、疑わしい結節における特定の属性を表す領域に係るマスクとをもとに、疑わしい結節の固体の属性に係る類型を決定できる。プロセッサー(110)は、第3のモデル(230)の第2のサブモデルを用いて、パッチ(15)と、疑わしい結節の全体の領域に係るマスクと、疑わしい結節における特定の属性を表す領域に係るマスクとをもとに、疑わしい結節におけるスピキュラの有無を決定できる。プロセッサー(110)は、第3のモデル(230)の第3のサブモデルを用いて、パッチ(15)と、疑わしい結節の全体の領域に係るマスクと、疑わしい結節における特定の属性を表す領域に係るマスクとをもとに、疑わしい結節における石灰化の有無を決定できる。前述のように、第3のモデル(230)に含まれている複数のサブモデルが、クラスの種類ごとに、並列的に動作を行うことも可能であるが、第3のモデル(230)が、単一モデルとして、複数の種類のクラスを、単独に分類する動作を行うことも可能である。また、第3のモデル(230)は、前述の3つのサブモデルをすべて含むことも、そのうち一部だけを含むことも可能である。
図4は、本開示の一実施例において、コンピューティング装置が病変を読影するプロセスを示すフローチャートである。
図4を参照すると、S110の段階において、コンピューティング装置(100)は、医療画像撮影システムから病変分析の対象となる人体臓器を撮影した医療画像を受信することが可能である。例えば、医療画像は、肺が含まれるように胸部領域を撮影したCT画像になり得る。コンピューティング装置(100)は、事前学習された神経回路網モデルである第1のモデルを用いて、医療画像に存在する病変の位置情報を取得できる。例えば、コンピューティング装置(100)は、第1のモデルを用いて、胸部領域を撮影したCT画像から、疑わしい結節の中心座標値を取得できる。
S120において、コンピューティング装置(100)は、病変の位置情報をもとに、医療画像から所定の規格の画像ユニット(unit)を抽出できる。所定の規格は、事前学習された神経回路網モデルの入力に合わせて最適化できる。例えば、コンピューティング装置(100)は、第1のモデルを用いて取得された疑わしい結節の中心座標値を中心にするパッチを抽出できる。コンピューティング装置(100)は、事前学習された神経回路網モデルである第2のモデルを用いて、医療画像から抽出した画像ユニットをもとに、病変に対するマスクを生成できる。例えば、コンピューティング装置(100)は、疑わしい結節の中心座標値に対応するパッチを、第2のモデルに入力し、疑わしい結節に係る情報を含むマスクを生成できる。
S130の段階において、コンピューティング装置(100)は、事前学習された神経回路網モデルである第3のモデルを用いて、S120の段階で抽出した画像ユニット及びマスクをもとに、病変の状態に係るクラス分類を行うことが可能である。例えば、コンピューティング装置(100)は、疑わしい結節の中心座標値に対応するパッチと、第2のモデルによって生成されたマスクとを、第3のモデルに入力し、疑わしい結節の状態に係るクラス分類を行うことが可能である。この場合、疑わしい結節の状態は、疑わしい結節の物理的属性(例えば、固体、部分的に固体、非固体等)及び特性(例えば、スピキュラ、石灰化等)を含むことが可能である。
図5は、本開示の一実施例において、コンピューティング装置が病変を読影し、評価するプロセスを示すブロック構成図である。
図5を参照すると、本開示の一実施例において、コンピューティング装置(100)のプロセッサー(110)は、少なくとも1つの肺の領域を含む医療画像(21)を第1のモデル(210)に入力し、肺の領域に存在する疑わしい結節の位置情報(22)を生成できる。プロセッサー(110)は、疑わしい結節の位置情報(22)をもとに、医療画像(21)から抽出した3次元パッチ(23)を第2のモデル(220)に入力し、複数のマスク(24、25)を生成できる。この場合、第1のマスク(24)は、疑わしい結節の全体の領域に係る情報を含むマスクになり得る。第2のマスク(25)は、疑わしい結節の全体の領域のうち、疑わしい結節における特定の属性(例えば、固体等)を表す領域に係る情報を含むマスクになり得る。プロセッサー(110)は、3次元パッチ(23)と複数のマスク(24、25)を、第3のモデル(230)に入力し、疑わしい結節の属性の類型、スピキュラの有無、石灰化の有無等を示すクラス情報(27)を生成できる。
一方、プロセッサー(110)は、疑わしい結節に係るマスク(24、25)をもとに、疑わしい結節の径又は体積のうち、少なくとも1つを含む数値情報(26)を生成できる。この場合、数値情報(26)は、第1のマスク(24)をもとに生成された第1の数値情報を含むが、疑わしい結節が特定のクラスに分類される場合には、第2のマスク(25)をもとに生成された第2の数値情報をさらに含むことも可能である。第1の数値情報は、医療画像(21)に存在する疑わしい結節の全体の領域の径及び体積のうち、少なくとも1つを表す数値を含むことが可能である。第2の数値情報は、医療画像(21)に存在する疑わしい結節における特定の属性を表す領域の径や体積のうち、少なくとも1つを表す数値を含むことが可能である。プロセッサー(110)は、第1のマスク(24)に含まれている情報をもとに、3次元パッチ(23)における疑わしい結節に該当する領域の形、大きさ等に係る構造的数値を計算できる。ただし、疑わしい結節の状態に係るクラスが、疑わしい結節の特定の属性に係る所定の類型(例えば、部分的に固体)に該当する場合、プロセッサー(110)は、第1のマスク(24)に含まれている情報と、第2のマスク(25)に含まれている情報とをもとに、前述の数値を計算できる。
プロセッサー(110)は、肺疾患診断の補助的指標(30)に基づき、数値情報(26)及びクラス情報(27)をもとに、疑わしい結節の評価スコア(28)を算出できる。例えば、プロセッサー(110)は、肺がん診断の補助的指標(30)に基づき、医療画像(21)から検出された疑わしい結節の数値情報(26)とクラス情報(27)を検討し、補助的指標(30)により規定されている複数のスコアのうち1つを疑わしい結節に対する評価として決定できる。具体的に、プロセッサー(110)は、数値情報(26)に含まれている疑わしい結節の全体の領域と、固体の属性を表す領域とのうち、少なくとも1つの直径、体積等に係る数値と、クラス情報(27)に含まれている固体の属性に係る類型、スピキュラの有無、石灰化の有無に係る情報とをもとに、疑わしい結節がlung-RADSの分類体系における6つのカテゴリーのうち、どれに当てはまるかを判断できる。クラス情報(27)において、疑わしい結節の固体の属性に係る類型が、固体又は非固体の場合、プロセッサー(110)は、数値情報(26)に含まれている第1の数値情報を用いて、疑わしい結節が、lung-RADSの分類体系における6つのカテゴリーのうち、どれに当てはまるかを判断できる。クラス情報(27)において、疑わしい結節の固体の属性に係る類型が部分的に固体だった場合、プロセッサー(110)は、数値情報(26)に含まれている第1の数値情報と第2の数値情報との両方を用いて、疑わしい結節が、lung-RADSの分類体系におけるどのカテゴリーに当てはまるかを判断できる。プロセッサー(110)は、かかる判断の結果をもとに、lung-RADSの分類体系における6つのカテゴリーのうち1つを、疑わしい結節の評価スコア(28)として決定できる。
プロセッサー(110)は、第1のモデル(210)、第2のモデル(220)、第3のモデル(230)を通じて出力された疑わしい結節に係る情報をもとに、肺疾患の原因として、疑わしい結節が肺に与える影響の程度を予測できる。プロセッサー(110)は、事前学習された第5のモデル(250)を用いて、疑わしい結節の位置情報(22)、数値情報(26)、クラス情報(27)をもとに、疑わしい結節の悪性度(29)を推定できる。例えば、プロセッサー(110)は、位置情報(22)に含まれている結節の中心座標値、数値情報(26)に含まれている結節の大きさの値、クラス情報(27)に含まれている固体の属性の類型、スピキュラの有無、石灰化の有無等に係る情報を、第5のモデル(250)に入力して、疑わしい結節の悪性度(29)を算出できる。
図5において図示は省略しているが、プロセッサー(110)は、事前学習された第5のモデル(250)を用いて、医療画像(21)から抽出された3次元パッチ(23)と、第2のモデル(220)を用いて生成したマスク(24、25)とをもとに、疑わしい結節の悪性度(29)を推定することも可能である。つまり、プロセッサー(110)は、医療画像(21)から抽出される疑わしい結節に係る定量的情報(22、26,27)を第5のモデル(250)に直接入力する方法で、悪性度(29)を推定することも可能であるが、医療画像(21)を加工して生成した画像情報(23、24、25)を第5のモデルに入力する方法で、悪性度(29)を推定することも可能である。
図6は、本開示の一実施例において、コンピューティング装置が病変の評価結果を修正するプロセスを示すブロック構成図である。
図6を参照すると、本開示の一実施例におけるコンピューティング装置(100)のプロセッサー(110)は、同一の被検体を時系列に撮影した複数の医療画像をもとに、疑わしい結節に対する評価スコアを修正できる。プロセッサー(110)は、同一の被検体を時系列に撮影した複数の医療画像のそれぞれの撮影時点を基準にして、疑わしい結節に対する評価スコアを修正できる。コンピューティング装置(100)に医療画像が順次入力されると、プロセッサー(110)は、医療画像(41)と同一の被検体を対象とする画像が入力され、分析された履歴が存在するか否かを判断できる。医療画像(41)と同一の被検体を対象とする画像に係る履歴が存在しないと判断した場合、プロセッサー(110)は、医療画像(41)を新しい被検体に係る医療画像と認識し、Aの段階(50)を経て、疑わしい結節に係る評価スコア(45)を算出できる。この場合、Aの段階(50)は、図5に示す評価スコア(28)の算出プロセスと対応するものとみなすことが可能である。
医療画像(41)と同一の被検体を対象とする、分析済み画像が存在すると判断した場合、プロセッサー(110)は、事前学習された第4のモデル(240)を用いて、分析済み画像と医療画像(41)との間のレジストレーション(registration)を行うことが可能である。この場合、レジストレーションは、時差が存在する分析済み画像と医療画像(41)との相対的な位置関係を合わせる動作を意味する。プロセッサー(110)は、第4のモデル(240)を用いて、レジストレーションが完了した分析済み画像に存在する疑わしい結節と、医療画像(41)に存在する疑わしい結節とをマッチングさせることが可能である。図6において図示は省略しているが、プロセッサー(110)は、医療画像(41)に対しAの段階(50)を実行し、マッチングされた疑わしい結節間の変更情報を識別できる。この場合、Aの段階(50)は、図5に示す評価スコア(28)の算出プロセスと対応するものとみなすことが可能である。プロセッサー(110)は、変更情報をもとに、医療画像(41)の評価スコア又は分析済み画像の評価スコアを修正することが可能である。医療画像(41)が分析済み画像を撮影する前の時点に撮影されている場合、プロセッサー(110)は、変更情報をもとに、分析済み画像の評価スコアを修正することが可能である。逆に、医療画像(41)が、分析済み画像が撮影された以降の時点に撮影された場合、プロセッサー(110)は、変更情報をもとに、医療画像の評価スコアを修正することが可能である。つまり、プロセッサー(110)は、医療画像(41)と分析済み画像の撮影時点を比較し、比較的最近に撮影された画像の評価スコアを修正することが可能である。つまり、プロセッサー(110)は、疑わしい結節の時間的変化を効果的に追跡するために、比較的最近に撮影された画像に対する評価スコアを修正することが可能である。かかるプロセスを通じて、プロセッサー(110)は、最終的に特定の被検体に対する疑わしい結節に対する修正された評価スコア(49)を生成することが可能である。かかる評価スコア修正動作は、コンピューティング装置(100)に医療画像(41)が入力されるたびに、繰り返し実行することが可能である。
図7は、本開示の一実施例における、医療画像における病変を分析する方法に係るフローチャートである。
図7を参照すると、S210の段階において、胸部領域を含む医療画像が入力されると、本開示の一実施例におけるコンピューティング装置(100)は、分析済み画像の中に、入力された画像と同じ識別子を有する画像が存在するか否かを判断できる。この場合、識別子は、画像の撮影の対象に対する識別情報を指す。例えば、コンピューティング装置(100)は、入力されたCT画像の被検体が、分析済みCT画像の被検体と対応するか否かを判断できる。入力されたCT画像の被検体が、分析済みCT画像の被検体と対応する場合、コンピューティング装置(100)は、算出済みかつ保存済みの疑わしい結節の評価スコアを修正するための一連の動作を実行することが可能である。入力されたCT画像の被検体が、分析済みCT画像の被検体と対応しない場合、コンピューティング装置(100)は、新しい被検体に係る医療画像が入力されたとみなし、入力されたCT画像をもとに、疑わしい結節を読影し評価する一連の動作を実行することが可能である。
以下に、入力画像の被検体が既存画像の被検体と対応すると判断された場合に実行される疑わしい結節の評価スコアを修正するためのおおよその過程を説明する。
S221の段階において、コンピューティング装置(100)は、入力された画像をもとに、肺の組織に存在する疑わしい結節の中心位置情報を取得できる。例えば、コンピューティング装置(100)は、事前学習された検出を基盤とする神経回路網モデルを用いて、入力された画像をもとに、少なくとも1つの疑わしい結節の候補領域に係る情報を生成できる。コンピューティング装置(100)は、検出を基盤とする神経回路網モデルを用いて、候補領域に係る情報をもとに、疑わしい結節の中心位置情報を生成できる。
S222の段階において、コンピューティング装置(100)は、入力された画像から疑わしい結節の中心位置情報をもとにした画像パッチを抽出できる。コンピューティング装置(100)は、入力された画像から抽出した画像パッチに基づき、疑わしい結節のマスクを生成できる。コンピューティング装置(100)は、疑わしい結節のマスクをもとに、疑わしい結節の構造的数値を含む数値情報を生成できる。例えば、コンピューティング装置(100)は、事前学習されたセグメンテーションを基盤とする神経回路網モデルを用いて、画像パッチに基づき、疑わしい結節に係る複数のマスクを生成できる。コンピューティング装置(100)は、複数のマスクに含まれている情報をもとに、疑わしい結節の径、体積等に係る数値を演算し、数値情報を生成することが可能である。この場合、数値情報は、疑わしい結節の全体の領域に係る構造的情報を含む第1の数値情報と、疑わしい結節における特定の属性(例えば、固体の属性)を表す領域に係る構造的情報を含む第2の数値情報とのうち、少なくとも1つを含むことが可能である。
S223の段階において、コンピューティング装置(100)は、S222の段階において生成された画像パッチ及びマスクをもとに、疑わしい結節の状態に係るクラス分類を行うことが可能である。疑わしい結節の状態に係るクラスには、疑わしい結節の属性に係る類型を表す第1のクラス、疑わしい結節におけるスピキュラの有無を表す第2のクラス、疑わしい結節における石灰化有無を表す第3のクラスを含むことが可能である。コンピューティング装置(100)は、疑わしい結節の状態を第1のクラス、第2のクラス、第3のクラスにそれぞれ分類できる。例えば、コンピューティング装置(100)は、事前学習された分類を基盤とする神経回路網モデルの第1のサブモデルを用いて、画像パッチと複数のマスクをもとに、疑わしい結節の固体の属性に係る類型を固体、部分的に固体、非固体に分類することが可能である。コンピューティング装置(100)は、分類を基盤とする神経回路網モデルの第2のサブモデルを用いて、画像パッチと複数のマスクをもとに、疑わしい結節をスピキュラ若しくはスピキュラ無しに分類することが可能である。コンピューティング装置(100)は、分類を基盤とする神経回路網モデルの第3のサブモデルを用いて、画像パッチと複数のマスクをもとに、疑わしい結節を石灰化若しくは非石灰化に分類することが可能である。
S224の段階において、コンピューティング装置(100)は、S221の段階において生成された疑わしい結節の中心位置情報と、S222の段階において生成された数値情報と、S223の段階において生成されたクラス情報とをもとに、疑わしい結節の評価スコア及び悪性度を算出できる。例えば、コンピューティング装置(100)は、所定の診断補助指標に定める基準に沿って、数値情報とクラス情報を演算し、疑わしい結節の評価スコアを算出することが可能である。コンピューティング装置(100)は、事前学習された回帰を基盤とする神経回路網モデルを用いて、疑わしい結節の中心位置情報と、数値情報と、クラス情報とをもとに、疑わしい結節の悪性度を推定できる。また、コンピューティング装置(100)は、事前学習された回帰を基盤とする神経回路網モデルを用いて、S222の段階において生成された画像パッチ及びマスクをもとに、疑わしい結節の悪性度を推定することも可能である。
S225の段階において、コンピューティング装置(100)は、入力された画像と既存の画像との相対的位置を一致させるレジストレーションを行うことが可能である。コンピューティング装置(100)は、前述の段階において読影した、入力された画像における疑わしい結節と、読影済みかつ保存済みの既存の画像における疑わしい結節とをマッチングさせ、疑わしい結節の変化を把握できる。例えば、コンピューティング装置(100)は、事前学習されたマシンラーニングモデルを用いて、入力された画像と既存の画像との間のレジストレーションを行うことが可能である。コンピューティング装置(100)は、レジストレーションが完了した2つの画像の各々に存在する少なくとも1つの疑わしい結節をマッチングさせ、マッチングされる疑わしい結節間において、変化が発生したか否かを判断できる。
S226の段階において、入力された画像と、既存の画像との間でマッチングされた疑わしい結節に変化が発生したと判断された場合、コンピューティング装置(100)は、入力された画像から算出された疑わしい結節の評価スコアや既存の画像から算出された疑わしい結節の評価スコアを、相互の評価スコアに反映し、修正された評価スコアを算出することが可能である。この場合、評価スコアが修正される画像を、画像の撮影時点を基準にして決定することが可能である。例えば、入力された画像が特定の被検体を2009年に撮影した画像であり、既存の画像は特定の被検体を2015年に撮影した画像である場合、コンピューティング装置(100)は、入力された画像の評価スコアを、既存の画像の評価スコアに反映することで、既存の画像の評価スコアを修正することも可能である。逆に、入力された画像が特定の被検体を2015年に撮影した画像であり、既存の画像は特定の被検体を2009年に撮影した画像である場合、コンピューティング装置(100)は、既存の画像の評価スコアを、入力された画像の評価スコアに反映することで、入力された画像の評価スコアを修正することも可能である。入力された画像と既存の画像との間において、マッチングされた疑わしい結節に変化がなかったと判断された場合、コンピューティング装置(100)は、既存の評価スコアを修正せずに、そのまま維持することが可能である。
一方、入力された画像と既存の画像における被検体同士が、対応しないと判断された場合に行われる疑わしい結節の読影及び評価の過程に係るS231段階乃至S234の段階は、前述のS221乃至S224の段階と対応するため、具体的な説明は省略する。
図8は、本開示の代替の一実施例において、医療画像における病変を分析する方法に係るフローチャートである。
図8を参照すると、胸部領域を含む医療画像が入力されると、本開示の代替の実施例におけるコンピューティング装置(100)は、疑わしい結節に対する読影及び評価を優先的に行うことが可能である。図7とは違って図8においては、疑わしい結節に対する読影及び評価を行ってから、入力された画像が既存の画像と同一の被検体を撮影した画像であるか否かを判断する。つまり、図7に示す方法と、図8に示す方法とでは、疑わしい結節の評価スコアを修正するための判断を行うタイミングの順番が異なると理解することが可能である。従って、図8における各段階(S310乃至S370の段階)の詳細な内容について、図7と対応する内容については、説明を省略する。
一方、本開示の一実施形態によれば、データ構造を格納したコンピューター可読保存媒体が開示される。
データ構造は、データに効率的なアクセスおよび修正を可能にするデータの組織、管理、保存を意味することができる。データ構造は、特定の問題(例えば、最短時間でデータ検索、データ保存、データ修正)を解決するためのデータ組織を意味することができる。データ構造は、特定のデータ処理機能をサポートするように設計されたデータ要素間の物理的または論理的な関係と定義することもできる。データ要素間の論理的な関係は、ユーザーが考えるデータ要素間の連結関係を含むことができる。データ要素間の物理的な関係は、コンピューター可読保存媒体(例えば、ハードディスク)に物理的に保存されているデータ要素間の実際の関係を含むことができる。データ構造は具体的にデータの集合、データ間の関係、データに適用できる関数またはコマンドを含むことができる。効果的に設計されたデータ構造により、コンピューティング装置はコンピューティング装置のリソースを最小限に使用しながら計算を行うことができる。具体的にコンピューティング装置は効果的に設計されたデータ構造を通じて演算、読み取り、挿入、削除、比較、交換、検索の効率性を高めることができる。
データ構造はデータ構造の形態によって線形データ構造と非線形データ構造に区分されることができる。線形データ構造は、一つのデータの後に一つのデータだけが連結される構造である可能性がある。線形データ構造はリスト(List)、スタック(Stack)、キュー(Queue)、デッキ(Deque)を含むことができる。リストは、内部的に順序が存在する一連のデータセットを意味することが可能である。リストは連結リスト(Linked List)を含むことができる。連結リストはそれぞれのデータがポインタを持って一列に連結されている方式でデータが連結されたデータ構造でありうる。連結リストでポインタは、次や以前のデータとの連結情報を含むことができる。連結リストは形態によって単一連結リスト、二重連結リスト、円形連結リストで表現できる。スタックは制限的にデータにアクセスできるデータリスト構造である可能性がある。スタックは、データ構造の片端でのみデータを処理(例えば、挿入または削除)できる線形データ構造である可能性がある。スタックに保存されたデータは、遅く入るほど早く出てくるデータ構造(LIFO-Lastin First Out)である可能性がある。キューは制限的にデータにアクセスできるデータ羅列構造であり、スタックとは異なり遅く保存されたデータほど遅く出てくるデータ構造(FIFO-FirstinFirstOut)であることができる。デッキはデータ構造の両端でデータを処理できるデータ構造になり得る。
非線形データ構造は、一つのデータの後に複数のデータが連結される構造である可能性がある。非線形データ構造はグラフ(Graph)データ構造を含むことができる。グラフデータ構造は頂点(Vertex)と幹線(Edge)で定義でき、幹線は互いに異なる二つの頂点を連結する線を含むことができる。グラフデータ構造ツリー(Tree)データ構造を含むことができる。ツリーデータ構造はツリーに含まれる複数の頂点のうち、互いに異なる2つの頂点を連結させる経路が一つのデータ構造になり得る。すなわち、グラフデータ構造でループ(loop)を形成しないデータ構造になり得る。
本明細書にかけて、演算モデル、神経回路網、ネットワーク関数、ニューラルネットワークは同じ意味で使用できる。(以下ではニューラルネットワークで統一して記述する。)データ構造はニューラルネットワークを含むことができる。そして、ニューラルネットワークを含むデータ構造は、コンピューター可読保存媒体に保存されることができる。ニューラルネットワークを含むデータ構造はまた、ニューラルネットワークに入力されるデータ、ニューラルネットワークの加重値、ニューラルネットワークのハイパーパラメータ、ニューラルネットワークから獲得したデータ、ニューラルネットワークの各ノードまたはレイヤーに関連する活性関数、ニューラルネットワークの学習のための損失関数を含むことができる。ニューラルネットワークを含むデータ構造は、上記開示された構成のうち任意の構成要素を含むことができる。すなわち、ニューラルネットワークを含むデータ構造は、ニューラルネットワークに入力されるデータ、ニューラルネットワークの加重値、ニューラルネットワークのハイパーパラメータ、ニューラルネットワークから獲得したデータ、ニューラルネットワークの各ノードまたはレイヤーに関連する活性関数、ニューラルネットワークのトレーニングのための損失関数など、全部またはこれらの任意の組み合わせを含んで構成されることができる。前述した構成以外にも、ニューラルネットワークを含むデータ構造は、ニューラルネットワークの特性を決定する任意の他の情報を含むことができる。また、データ構造は、ニューラルネットワークの演算過程で使用されたり、発生するすべての形態のデータを含むことができ、前述の事項に制限されるわけではない。コンピューター可読保存媒体は、コンピューター可読記録媒体および/またはコンピューター可読伝送媒体を含むことができる。ニューラルネットワークは、一般的にノードと呼ばれる相互接続された計算単位の集合で構成されることができる。このようなノードはニューロン(neuron)と呼ばれることができる。ニューラルネットワークは、少なくとも1つ以上のノードを含んで構成される。
データ構造は、ニューラルネットワークに入力されるデータを含むことができる。ニューラルネットワークに入力されるデータを含むデータ構造は、コンピューター可読保存媒体に保存されることができる。ニューラルネットワークに入力されるデータは、ニューラルネットワークの学習過程で入力される学習データおよび/または学習が完了したニューラルネットワークに入力される入力データを含むことができる。ニューラルネットワークに入力されるデータは、前処理(pre-processing)を経たデータおよび/または前処理対象となるデータを含むことができる。前処理はデータをニューラルネットワークに入力させるためのデータ処理過程を含むことができる。したがって、データ構造は前処理対象となるデータおよび前処理で発生するデータを含むことができる。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
データ構造は、ニューラルネットワークの加重値を含むことができる。(本明細書で加重値、パラメータは同じ意味で使用できる。)そして、神経回路網の加重値を含むデータ構造はコンピューター可読保存媒体に保存されることができる。ニューラルネットワークは、複数の加重値を含むことができる。加重値は可変的であり、ニューラルネットワークが望む機能を遂行するために、ユーザーまたはアルゴリズムによって可変することができる。例えば、一つの出力ノードに一つ以上の入力ノードがそれぞれのリンクによって相互接続された場合、出力ノードは上記出力ノードと連結された入力ノードに入力された値及びそれぞれの入力ノードに対応するリンクに設定されたパラメータに基づいて出力ノード値を決定することができる。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
制限ではなく例として、加重値は神経回路網学習過程で可変する加重値および/または神経回路網学習が完了した加重値を含むことができる。ニューラルネットワーク学習過程で可変される加重値は、学習サイクルが始まる時点の加重値および/または学習サイクルの間に可変される加重値を含むことができる。ニューラルネットワーク学習が完了した加重値は、学習サイクルが完了した加重値を含むことができる。したがって、ニューラルネットワークの加重値を含むデータ構造は、ニューラルネットワーク学習過程で可変される加重値および/またはニューラルネットワーク学習が完了した加重値を含むデータ構造を含むことができる。したがって、上述した加重値および/または各加重値の組み合わせは、神経回路網の加重値を含むデータ構造に含まれるものとする。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
ニューラルネットワークの加重値を含むデータ構造は、直列化(serialization)過程を経た後、コンピューター可読保存媒体(例えば、メモリ、ハードディスク)に保存されることができる。直列化は、データ構造を同一または他のコンピューティングデバイスに保存し、後で再構成して使用できる形態に変換する過程である可能性がある。コンピューティングデバイスは、データ構造を直列化し、ネットワークを介してデータを送受信することができる。直列化されたニューラルネットワークの加重値を含むデータ構造は、逆直列化(deserialization)を通じて同じコンピューティング装置または他のコンピューティング装置で再構成されることができる。ニューラルネットワークの加重値を含むデータ構造は、シリアル化に限定されるものではない。さらに、神経回路網の加重値を含むデータ構造は、コンピューティング装置の資源を最小限に使用しながら演算の効率を高めるためのデータ構造(例えば、非線形データ構造でB-Tree、Trie、m-way search tree、AVLtree、Red-Black Tree)を含むことができる。前述の事項は例示に過ぎず、本開示はこれに限定されない。
データ構造は、ニューラルネットワークのハイパーパラメータ(Hyper-parameter)を含むことができる。そして、ニューラルネットワークのハイパーパラメータを含むデータ構造は、コンピューター可読保存媒体に保存されることができる。ハイパーパラメータは、ユーザーによって可変される変数である可能性がある。ハイパーパラメータは、例えば、学習率(learning rate)、コスト関数(cost function)、学習サイクル反復回数、加重値初期化(例えば、加重値初期化対象となる加重値の範囲設定)、Hidden Unit個数(例えば、ヒドゥンレイヤーの個数、ヒドゥンレイヤーのノード数)を含むことができる。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
図9は、本開示の実施例が具現化されることのできる例示的なコンピューティング環境に係る簡略で一般的な概略図である。
本開示が一般的にコンピューティング装置により具現化されることができると前述されているが、当業者であれば本開示が一つ以上のコンピューター上で実行されることのできるコンピューター実行可能命令及び/またはその他のプログラムモジュールと結合して及び/またはハードウェアとソフトウェアの組み合わせとして具現化されることができるということをよく理解できるだろう。
一般的に、本明細書におけるモジュールは、特定のタスクを実行したり、特定の抽象的なデータ類型を実装するルーティン、プログラム、コンポーネント、データ構造、その他等々を含む。また、当業者なら本開示の方法がシングルプロセッサーまたはマルチプロセッサーコンピューターシステム、ミニコンピューター、メインフレームコンピューターはもちろん、パーソナルコンピューター、ハンドヘルド(handheld)コンピューティング装置、マイクロプロセッサー基盤、またはプログラム可能な家電製品、その他等々(これらは、それぞれ1つ以上の関連する装置と繋がって動作することができる)をはじめとする、他のコンピューターシステムの構成によって実施されることができることをよく理解できるだろう。
本開示において説明された実施例は、さらに、あるタスクが通信ネットワークを通じて繋がっている遠隔処理装置によって実行される分散コンピューティング環境で実施されることができる。分散コンピューティング環境において、プログラムモジュールは、ローカルや遠隔メモリー保存装置の両方に位置することができる。
コンピューターは、多様なコンピューター可読媒体を含む。コンピューターによってアクセス可能な媒体はいずれもコンピューター可読媒体になり得るが、このようなコンピューター可読媒体は揮発性及び非揮発性媒体、一時的(transitory)及び非一時的(non-transitory)媒体、移動式及び非-移動式媒体を含む。制限ではなく例として、コンピューター可読媒体は、コンピューター可読保存媒体及びコンピューター可読伝送媒体を含むことができる。コンピューター可読保存媒体は、コンピューター可読命令、データ構造、プログラムモジュール又はその他のデータのような情報を保存する任意の方法又は技術により実装される揮発性及び非揮発性媒体、一時的及び非-一時的媒体、移動式及び非移動式媒体を含む。コンピューター可読保存媒体は、RAM、ROM、EEPROM、フラッシュメモリーまたはその他のメモリー技術、CD-ROM、DVD(digital video disk)またはその他の光ディスク保存装置、磁気カセット、磁気テープ、磁気ディスク保存装置またはその他の磁気保存装置、またはコンピューターによってアクセスされることができ、情報を保存するのに使われることのできる任意のその他の媒体を含むが、これに限定されない。
コンピューター可読伝送媒体は、通常、搬送波(carrier wave)またはその他の伝送メカニズム(transport mechanism)のような被変調データ信号(modulated data signal)にコンピューター可読命令、データ構造、プログラムモジュールまたはその他のデータ等を実装し、すべての情報伝達媒体を含む。被変調データ信号という用語は、信号の中で情報をエンコードするように、その信号の特性のうち1つ以上を設定または変更した信号を意味する。制限ではなく例として、コンピューター可読伝送媒体は、有線ネットワークまたは直接配線接続(direct-wired connection)のような有線媒体、そして音響、RF、赤外線、その他の無線媒体のような無線媒体を含む。前述の媒体のいずれかによる任意の組み合わせもまたコンピューター可読伝送媒体の範囲に含まれるものとする。
コンピューター(1102)を含む本開示の多様な側面を実現する例示的な環境(1100)が示されており、コンピューター(1102)は、処理装置(1104)、システムメモリー(1106)、システムバス(1108)を含む。システムバス(1108)は、システムメモリー(1106)(これに限定されない)をはじめとするシステムコンポーネントを処理装置(1104)につなげる。処理装置(1104)は、多様な商用プロセッサーのうち任意のプロセッサーになり得る。デュエルプロセッサーとその他のマルチプロセッサーアーキテクチャもまた処理装置(1104)として利用されることができる。
システムバス(1108)は、メモリーバス、周辺装置バス、そして多様な商用バスアーキテクチャの中から、任意のものを使用するローカルバスにさらに相互連結されることのできる複数の類型のバス構造のうちいずれかになり得る。システムメモリー(1106)は、読み取り専用メモリー(ROM)(1110)やランダムアクセスメモリー(RAM)(1112)を含む。基本的な入出力システム(BIOS)は、ROM、EPROM、EEPROM等の非揮発性メモリー(1110)に保存され、このBIOSは、起動中の時等にコンピューター(1102)の中の複数の構成要素間の情報のやりとりをサポートする基本的なルーティンを含む。RAM(1112)は、またデータをキャッシュするための静的RAM等の高速RAMを含むことができる。
コンピューター(1102)においては、また、内蔵型ハードディスクドライブ(HDD)(1114)(例えば、EIDE、SATA)―この内蔵型ハードディスクドライブ(1114)はまた適切なシャシー(図示は省略)の中で外付け型の用途で構成されることができる―、磁気フロッピーディスクドライブ(FDD)(1116)(例えば、移動式ディスケット(1118)から読み取ったりそれに書き込むためのものである)及び光ディスクドライブ(1120)(例えば、CD-ROMディスク(1122)を読み取ったり、DVD等のその他の高容量光媒体から読み取ったり、それに書き込むためのものである)を含む。ハードディスクドライブ(1114)、磁気ディスクドライブ(1116)及び光ディスクドライブ(1120)は、それぞれハードディスクドライブインターフェース(1124)、磁気ディスクドライブインターフェース(1126)及び光ドライブインターフェース(1128)によってシステムバス(1108)に繋がることができる。外付け型ドライブの実装のためのインターフェース(1124)は、例えば、USB(Universal Serial Bus)やIEEE1394インターフェース技術のうち、少なくとも1つまたはその両方を含む。
これらのドライブ及びこれらに係るコンピューター可読媒体は、データ、データ構造、コンピューターで実行可能な命令、その他等々の非揮発性保存を提供する。コンピューター(1102)の場合、ドライブ及び媒体は、任意のデータを適切なデジタル形式に保存することに対応する。前述におけるコンピューター可読保存媒体に係る説明が、HDD、移動式磁気ディスク及びCDまたはDVD等の移動式光媒体について触れているが、当業者ならジップドライブ(zip drive)、磁気カセット、フラッシュメモリーカード、カートリッジ、その他等々のコンピューターにより読み取り可能な他の類型の保存媒体もまた例示的な運営環境で使われることができ、さらに、このような媒体のうち任意のある媒体が、本開示の方法を実行するためのコンピューターで実行可能な命令を含むことができることをよく理解できるだろう。
運営システム(1130)、1つ以上のアプリケーションプログラム(1132)、その他のプログラムモジュール(1134)及びプログラムデータ(1136)をはじめとする多数のプログラムモジュールが、ドライブ及びRAM(1112)に保存されることができる。運営システム、アプリケーション、モジュール及び/またはデータの全部またはその一部分がまたRAM(1112)にキャッシュされることができる。本開示が商業的に利用可能な様々な運営システムまたは複数の運営システムの組み合わせにより実装されることができることをよく理解できるだろう。
ユーザーは、1つ以上の有線・無線の入力装置、例えば、キーボード(1138)及びマウス(1140)等のポインティング装置を通じてコンピューター(1102)に命令及び情報を入力することができる。その他の入力装置(図示は省略)としてはマイク、IRリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、その他等々があり得る。これら及びその他の入力装置が、よくシステムバス(1108)に繋がっている入力装置インターフェース(1142)を通じて処理装置(1104)に繋がることがあるが、並列ポート、IEEE1394直列ポート、ゲームポート、USBポート、IRインターフェース、その他等々のその他のインターフェースによって繋がることができる。
モニター(1144)または他の類型のディスプレイ装置も、ビデオアダプター(1146)等のインターフェースを通じてシステムバス(1108)に繋がる。モニター(1144)に加えて、コンピューターは一般的にスピーカー、プリンター、その他等々のその他の周辺出力装置(図示は省略)を含む。
コンピューター(1102)は、有線及び/または無線通信による(複数の)遠隔コンピューター(1148)等の1つ以上の遠隔コンピューターへの論理的接続を利用し、ネットワーク化された環境で動作することができる。(複数の)遠隔コンピューター(1148)は、ワークステーション、サーバーコンピューター、ルーター、パーソナルコンピューター、携帯用コンピューター、マイクロプロセッサー基盤の娯楽機器、ピア装置またはその他の通常のネットワークノードになることができ、一般的にコンピューター(1102)について述べられた構成要素のうち、多数またはその全部を含むが、簡略化するために、メモリー保存装置(1150)のみ図示されている。図示されている論理的接続は、近距離通信網(LAN)(1152)及び/または、より大きいネットワーク、例えば、遠距離通信網(WAN)(1154)における有線・無線の接続を含む。このようなLAN及びWANのネットワーキング環境は、オフィスや会社では一般的なもので、イントラネット等の全社的コンピューターネットワーク(enterprise-wide computer network)を容易にし、これらはすべて全世界のコンピューターネットワーク、例えば、インターネットに繋がることができる。
LANネットワーキング環境で使われるとき、コンピューター(1102)は、有線及び/または無線通信ネットワークインターフェース、または、アダプター(1156)を通じてローカルネットワーク(1152)に繋がる。アダプター(1156)は、LAN(1152)への有線または無線通信を容易にすることができ、このLAN(1152)は、また無線アダプター(1156)と通信するためにそれに設置されている無線アクセスポイントを含む。WANネットワーキング環境で使われるとき、コンピューター(1102)は、モデム(1158)を含むことができたり、WAN(1154)上の通信サーバーに繋がったり、またはインターネットを通じる等、WAN(1154)を通じて通信を設定するその他の手段を持つ。内蔵型又は外付け型、そして、有線または無線装置になり得るモデム(1158)は、直列ポートインターフェース(1142)を通じてシステムバス(1108)に繋がる。ネットワーク化された環境において、コンピューター(1102)について説明されたプログラムモジュールまたはその一部分が、遠隔メモリー/保存装置(1150)に保存されることができる。図示されたネットワーク接続が例示的なものであり、複数のコンピューター間で通信リンクを設定する他の手段が使われることができるということは容易に理解できることである。
コンピューター(1102)は、無線通信で配置されて動作する任意の無線装置またはユニット、例えば、プリンター、スキャナー、デスクトップ及び/または携帯用コンピューター、PDA(portable data assistant)、通信衛星、無線で検出可能なタグに係る任意の装備または場所及、及び電話と通信する動作をする。これは、少なくともWi-Fi及びブルートゥース(登録商標)無線技術を含む。従って、通信は、従来のネットワークのように予め定義された構造であったり、単純に少なくとも2つの装置の間でのアドホック通信(ad hoc communication)になり得る。
Wi-Fi(Wireless Fidelity)は、有線で繋がっていなくても、インターネット等への接続を可能にする。Wi-Fiは、このような装置、例えば、コンピューターが室内及び室外で、つまり基地局の通話圏内のどこからでもデータを送受信できるようにするセル電話のような無線技術である。Wi-Fiネットワークは、安全で信頼性があり、高速である無線接続を提供するためにIEEE802.11(a、b、g、その他)という無線技術を使う。コンピューターを互いに、インターネット及び有線ネットワーク(IEEE802.3またはイーサネットを使う)に接続するためにWi-Fiが使われることができる。Wi-Fiネットワークは、非認可2.4や5GHzの無線帯域において、例えば、11Mbps(802.11a)または54Mbps(802.11b)のデータレートで動作したり、両帯域(デュエル帯域)を含む製品において動作することができる。
本開示の技術分野における通常の知識を持つ者は情報及び信号が任意の多様な異なる技術及び手法を利用して示されることができることを理会できる。例えば、上記の説明において参照できるデータ、指示、命令、情報、信号、ビット、シンボル及びチップは、電圧、電流、電磁気派、磁場等または粒子、光学場等または粒子、またはこれらの任意の組み合わせによって示されることができる。
本開示の技術分野において通常の知識を持つ者は、ここに開示された実施例に係る説明で取り挙げられた多様な例示的な論理ブロック、モジュール、プロセッサー、手段、回路、アルゴリズム段階が電子ハードウェア、(利便性のために、ここでは「ソフトウェア」と称される)多様な形のプログラムまたは設計コード、またはこれらすべての結合により実装されることができることを理解できるだろう。ハードウェア及びソフトウェアのこのような相互互換性を明確に説明するために、多様な例示的なコンポーネント、ブロック、モジュール、回路、及び段階がこれらの機能に着目して上記で一般的に説明された。このような機能がハードウェアやソフトウェアで実装されるかどうかは、特定のアプリケーションおよび全体システムに対して付与される設計上の制限によって決まる。本開示の技術分野において通常の知識を持つ者は、個々の特定のアプリケーションについて多様な手法で説明された機能を実現することができるが、このような実現の決定は、本開示の範囲を逸脱するものと解釈されてはならない。
ここに示された多様な実施例は、方法、装置、または標準プログラミング及び/またはエンジニアリング技術を使った製造物品(article)によって実現できる。用語「製造物品」は、任意のコンピューターで可読な装置からアクセス可能なコンピュータープログラム、キャリアー、または媒体(media)を含む。例えば、コンピューターで可読保存媒体は、磁気保存装置(例えば、ハードディスク、フロッピーディスク、磁気ストリップ等)、光学ディスク(例えば、CD、DVD等)、スマートカード及びフラッシュメモリー装置(例えば、EEPROM、カード、スティック、キードライブ等)を含むが、これらに限定されるものではない。また、ここに示されている多様な保存媒体は、情報を保存するための1つ以上の装置及び/または他の機械可読媒体を含む。
示されたプロセスにおける複数の段階の特定の順番または階層構造は、例示的なアプローチの一例であることを理解すべきである。設計上の優先順位に基づき、本開示の範囲内で、プロセスにおける段階の特定の順番または階層構造が再配列されることができることを理解すべきである。添付の方法請求項は、サンプルとしての順番で、多様な段階のエレメントを提供するが、示された特定の順番または階層構造に限定されることを意味するわけではない。
示された実施例に関する説明は、任意の本開示の技術分野において通常の知識を持つ者が、本開示を利用したり、または実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者には明確に理解できるものであり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
上述のように、発明の実施のための最善の形態において、関連する内容を述べた。
本発明は、医療画像における病変を分析するコンピューティング装置等に利用されることが可能である。

Claims (19)

  1. 少なくとも1つのプロセッサーを含むコンピューティング装置により実行される医療画像における病変分析方法であって、
    前記医療画像に存在する疑わしい結節(nodule)の位置情報を取得する段階;
    前記位置情報に対応する前記医療画像のパッチ(patch)に基づき、前記疑わしい結節の全体の領域及び前記疑わしい結節における特定の属性(attribute)を表す領域に係るマスクを生成する段階;及び
    前記医療画像の前記パッチ及び前記マスクに基づき、前記疑わしい結節の状態に係るクラス(class)分類を行う段階;
    を含む、
    方法。
  2. 請求項1において、
    前記疑わしい結節の位置情報を取得する段階は、
    事前学習された第1のモデルを用いて、前記医療画像に含まれている少なくとも1つの関心領域における結節の存在に係る確率値及び候補位置情報を生成する段階;及び
    前記第1のモデルを用いて、前記少なくとも1つの関心領域における結節の存在に係る確率値をもとに、前記候補位置情報から前記疑わしい結節の位置情報を決定する段階;
    を含む、
    方法。
  3. 請求項1において、
    前記マスクを生成する段階は、
    前記医療画像から前記位置情報に対応するパッチを抽出する段階;及び
    事前学習された第2のモデルを用いて、前記パッチに基づき、前記疑わしい結節の全体の領域に係る第1のマスクと、前記疑わしい結節における特定の属性を表す領域に係る第2のマスクを生成する段階;
    を含む、
    方法。
  4. 請求項3において、
    前記第1のマスクをもとに、前記疑わしい結節の全体の領域の径(diameter)や体積(volume)のうち、少なくとも1つを含む第1の数値情報を生成する段階;及び
    前記第2のマスクをもとに、前記疑わしい結節における特定の属性を表す領域の径及び体積のうち、少なくとも1つを含む第2の数値情報を生成する段階;
    をさらに含む、
    方法。
  5. 請求項4において、
    肺疾患診断の補助的指標を基準にして、前記疑わしい結節の状態に係るクラス及び第1の数値情報に基づき、前記疑わしい結節に対する評価スコアを算出する段階;
    をさらに含む、
    方法。
  6. 請求項5において、
    前記疑わしい結節の位置情報と、マスクと、疑わしい結節の状態に係るクラスと、第1の数値情報と、第2の数値情報と、評価スコアとのうち、少なくとも1つに基づいてユーザーインターフェース(user interface)を生成する段階;
    をさらに含む、
    方法。
  7. 請求項5において、
    前記医療画像の被検体(subject)と、分析済み画像の被検体とが対応するか否かを判断する段階;及び
    前記医療画像の被検体と、前記分析済み画像の被検体とが対応する場合、事前学習された第4のモデルを用いて、前記医療画像と前記分析済み画像の撮影時点を基準にして、前記医療画像の評価スコア又は前記分析済み画像の評価スコアを修正する段階;
    をさらに含む、
    方法。
  8. 請求項4において、
    前記疑わしい結節の状態に係るクラスが、前記疑わしい結節の特定の属性に係る所定の類型に該当する場合、肺疾患診断の補助的指標を基準にして、前記疑わしい結節の状態に係るクラスと、第1の数値情報と、第2の数値情報とに基づき、前記疑わしい結節に対する評価スコアを算出する段階;
    をさらに含む、
    方法。
  9. 請求項8において、
    前記疑わしい結節の位置情報と、マスクと、疑わしい結節の状態に係るクラスと、第1の数値情報と、第2の数値情報と、評価スコアとのうち、少なくとも1つに基づく、ユーザーインターフェース(user interface)を生成する段階;
    をさらに含む、
    方法。
  10. 請求項8において、
    前記医療画像の被検体(subject)と、分析済み画像の被検体とが対応するか否かを判断する段階;及び
    前記医療画像の被検体と、前記分析済み画像の被検体とが対応する場合、事前学習された第4のモデルを用いて、前記医療画像と前記分析済み画像の撮影時点を基準にして、前記医療画像の評価スコア又は前記分析済み画像の評価スコアを修正する段階;
    をさらに含む、
    方法。
  11. 請求項10において、
    前記医療画像の評価スコア又は前記分析済み画像の評価スコアを修正する段階は、
    前記第4のモデルを用いて、前記医療画像と前記分析済み画像との間のレジストレーション(registration)を行う段階;
    前記第4のモデルを用いて、前記医療画像に存在する疑わしい結節と、前記分析済み画像に存在する疑わしい結節とをマッチング(matching)させ、前記マッチングされた疑わしい結節の変更情報を識別する段階;及び
    前記変更情報をもとに、前記医療画像又は前記分析済み画像の評価スコアを修正する段階;
    を含む、
    方法。
  12. 請求項10において、
    前記医療画像の評価スコア又は前記分析済み画像の評価スコアを修正する段階は、
    前記医療画像が前記分析済み画像が撮影される前の時点に撮影されている場合、前記第4のモデルを用いて、前記医療画像の評価スコアをもとに、前記分析済み画像の評価スコアを修正する段階;及び
    前記医療画像が前記分析済み画像が撮影された以降の時点に撮影された場合、前記第4のモデルを用いて、前記分析済み画像の評価スコアをもとに、前記医療画像の評価スコアを修正する段階;
    を含む、
    方法。
  13. 請求項4において、
    事前学習された第5のモデルを用いて、前記疑わしい結節の位置情報、状態に係るクラス及び数値情報をもとに、前記疑わしい結節の悪性度を推定する段階;
    をさらに含む、
    方法。
  14. 請求項13において、
    前記疑わしい結節の位置情報と、前記マスクと、疑わしい結節の状態に係るクラスと、第1の数値情報と、第2の数値情報と、悪性度とのうち、少なくとも1つに基づいてユーザーインターフェースを生成する段階;
    をさらに含む、
    方法。
  15. 請求項4において、
    事前学習された第5のモデルを用いて、前記パッチ及び前記マスクに基づき、前記疑わしい結節の悪性度を推定する段階;
    をさらに含む、
    方法。
  16. 請求項15において、
    前記疑わしい結節の位置情報と、前記マスクと、疑わしい結節の状態に係るクラスと、第1の数値情報と、第2の数値情報と、悪性度とのうち、少なくとも1つに基づいてユーザーインターフェースを生成する段階;
    をさらに含む、
    方法。
  17. 請求項1において、
    前記疑わしい結節の状態に係るクラス分類を行う段階は、
    事前学習された少なくとも1つのサブモデルを含む第3のモデルを用いて、前記パッチ及び前記マスクに基づき、それぞれ異なるサブモデルを用いて、前記疑わしい結節の属性に係る類型(type)、スピキュラ(spiculation)の有無、石灰化(calcification)の有無のうち、少なくとも1つを決定する段階;
    を含む、
    方法。
  18. 医療画像における病変を分析するコンピューティング装置であって、
    少なくとも1つのコアを含むプロセッサー;
    前記プロセッサーにおいて実行可能なプログラムコードを含むメモリー;及び
    前記医療画像を受信するためのネットワーク部;
    を含み、
    前記プロセッサーは、
    前記医療画像に存在する疑わしい結節(nodule)の位置情報を取得し、
    前記位置情報に対応する医療画像のパッチ(patch)に基づき、前記疑わしい結節の全体の領域及び前記疑わしい結節における特定の属性(attribute)を表す領域に係るマスクを生成し、
    前記医療画像のパッチ及び前記マスクに基づき、前記疑わしい結節の状態に係るクラス(class)分類を行う、
    装置。
  19. ユーザー端末であって、
    少なくとも1つのコアを含むプロセッサー;
    メモリー;
    コンピューティング装置から医療画像に含まれている病変の分析情報に基づいて生成されるユーザーインターフェース(user interface)を受信するネットワーク部;及び
    前記ユーザーインターフェースを提供する出力部;
    を含み、
    前記病変の分析情報は、
    疑わしい結節(nodule)の位置情報と、前記疑わしい結節の全体の領域及び前記疑わしい結節における特定の属性(attribute)を表す領域に係るマスク(mask)と、前記疑わしい結節の状態に係るクラス(class)と、前記疑わしい結節の数値情報と、前記疑わしい結節に対する評価情報と、前記疑わしい結節の悪性度とのうち、少なくとも1つを含む、
    端末。
JP2023538160A 2020-12-23 2021-11-09 医療画像における病変分析方法 Pending JP2024500470A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0181634 2020-12-23
KR1020200181634A KR102358050B1 (ko) 2020-12-23 2020-12-23 의료 영상 기반의 병변 분석 방법
PCT/KR2021/016198 WO2022139170A1 (ko) 2020-12-23 2021-11-09 의료 영상 기반의 병변 분석 방법

Publications (1)

Publication Number Publication Date
JP2024500470A true JP2024500470A (ja) 2024-01-09

Family

ID=80252773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023538160A Pending JP2024500470A (ja) 2020-12-23 2021-11-09 医療画像における病変分析方法

Country Status (4)

Country Link
US (1) US20220198668A1 (ja)
JP (1) JP2024500470A (ja)
KR (3) KR102358050B1 (ja)
WO (1) WO2022139170A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102583160B1 (ko) * 2022-07-18 2023-09-26 주식회사 래디센 X-ray 이미지의 노듈위치 결정방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623692B2 (en) * 2005-07-22 2009-11-24 Carestream Health, Inc. Pulmonary nodule detection in a chest radiograph
US8731255B2 (en) * 2008-11-05 2014-05-20 University Of Louisville Research Foundation, Inc. Computer aided diagnostic system incorporating lung segmentation and registration
KR101251822B1 (ko) * 2011-11-18 2013-04-09 서울여자대학교 산학협력단 동적조영증강 폐 전산화단층촬영 영상에서 관류 분석 시스템 및 방법
US10064594B2 (en) * 2015-08-06 2018-09-04 Case Western Reserve University Characterizing disease and treatment response with quantitative vessel tortuosity radiomics
KR101974786B1 (ko) * 2018-08-17 2019-05-31 (주)제이엘케이인스펙션 뇌동맥류 병변의 특성을 이용한 중증도 및 예후 예측 방법 및 시스템
KR102150682B1 (ko) * 2019-08-08 2020-09-02 주식회사 딥노이드 특이점 분류 장치 및 분류 방법

Also Published As

Publication number Publication date
KR20220092457A (ko) 2022-07-01
KR102589405B1 (ko) 2023-10-16
KR20220091434A (ko) 2022-06-30
WO2022139170A1 (ko) 2022-06-30
US20220198668A1 (en) 2022-06-23
KR102358050B1 (ko) 2022-02-08

Similar Documents

Publication Publication Date Title
KR102460257B1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
TWI814154B (zh) 基於醫學影像的疾病預測方法
Sridhar et al. A Torn ACL Mapping in Knee MRI Images Using Deep Convolution Neural Network with Inception‐v3
Shamrat et al. Analysing most efficient deep learning model to detect COVID-19 from computer tomography images
Rufo et al. A hybrid machine learning model based on global and local learner algorithms for diabetes mellitus prediction
KR20220107940A (ko) 의료 영상의 병변 평가 방법
JP2024500470A (ja) 医療画像における病変分析方法
JP2024508852A (ja) 医療画像における病変分析方法
US20220172370A1 (en) Method for detecting white matter lesions based on medical image
US20220130065A1 (en) Method for analyzing thickness of cortical region
KR102554181B1 (ko) 골 영상으로부터 골 연령을 판독하는 방법
KR102622660B1 (ko) 의료 영상에 대한 연속 절편 검출 방법
KR102653257B1 (ko) 의료 영상을 기반으로 하는 관심 대상의 상태 판독 방법
Sumithra et al. Optimizing Brain Tumor Recognition with Ensemble support Vector-based Local Coati Algorithm and CNN Feature Extraction
US20220237777A1 (en) Method for measuring lesion of medical image
KR102375786B1 (ko) 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법
KR102569976B1 (ko) 의료 영상 처리 방법
KR102534088B1 (ko) 의료 데이터 검색 방법
KR20230056174A (ko) 딥러닝 기반의 의료 영상 분석 방법
Gautam et al. A Review Paper on Machine Learning Techniques and Its Applications in Health Care Sector
KR20220165111A (ko) 의료 영상의 분류 방법
Palkar et al. Empowering Glioma Prognosis With Transparent Machine Learning and Interpretative Insights Using Explainable AI
Shaik et al. A Deep Learning Framework for Prognosis Patients with COVID-19
KR20230126083A (ko) 의료 영상을 분석하기 위한 방법
KR20230092306A (ko) 의료 영상을 분석하기 위한 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230621