JP2024508852A - 医療画像における病変分析方法 - Google Patents

医療画像における病変分析方法 Download PDF

Info

Publication number
JP2024508852A
JP2024508852A JP2023552270A JP2023552270A JP2024508852A JP 2024508852 A JP2024508852 A JP 2024508852A JP 2023552270 A JP2023552270 A JP 2023552270A JP 2023552270 A JP2023552270 A JP 2023552270A JP 2024508852 A JP2024508852 A JP 2024508852A
Authority
JP
Japan
Prior art keywords
nodule
module
sub
mask
suspicious
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023552270A
Other languages
English (en)
Inventor
ヒョンホ パク
グァンビーン パク
ソンホ イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vuno Inc
Original Assignee
Vuno Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vuno Inc filed Critical Vuno Inc
Publication of JP2024508852A publication Critical patent/JP2024508852A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本開示の一実施例に基づき、コンピューティング装置において実行される、医療画像における病変分析方法が開示される。上記方法は、前処理モジュールを用いて、胸部領域を含む医療画像から、事前学習された検出（ｄｅｔｅｃｔｉｏｎ）モジュールの入力画像を生成する段階、検出モジュールを用いて、入力画像を基に少なくとも１つの関心領域の結節（ｎｏｄｕｌｅ）の存在に係る確率値、及び少なくとも１つの関心領域の第１位置情報を生成する段階、後処理モジュールを用いて、結節の存在に係る確率値を基に、第１位置情報から医療画像に存在する疑わしい結節に係る第２位置情報を決定する段階を含むことが可能である。

Description

本発明は、医療画像の処理方法に係り、より具体的には、人工知能を利用して医療画像に存在する特定の疾患に係る病変を検出し、評価する方法に関するものである。
医療画像は、人体の色々な臓器の物理的状態を理解できるようにする資料である。医療画像には、デジタル放射線画像（Ｘ－ｒａｙ）、コンピューター断層撮影（ＣＴ）、磁気共鳴画像（ＭＲＩ）等がある。
医療画像を利用して特定の疾患の病変を検出することを自動化する方法に係る研究及び技術開発が、持続的に行われてきている。しかし、従来の技術は、医療画像に存在する病変を特定することに焦点を合わせていることにとどまっており、特定の疾患の診断に適した形で病変に係る情報を生成及び加工して提供するものではない。つまり、特定の疾患の診断に適した必要情報を提供するという観点では、従来の技術は、病変の検出及び評価という目的に合った性能を提供できていない状況である。
米国登録特許第７３０５１１１号（２００７．１２．０４）は、肺がんスクリーニングのための肺結節検出の自動化方法について開示している。
本開示は、前述の背景技術に鑑みて案出されたものであり、医療画像に存在する特定の疾患を診断するための病変を検出し、評価する方法を提供することを目的とする。
前述の課題を実現するための本開示の一実施例に基づき、コンピューティング装置により実行される医療画像における病変分析方法が開示される。上記方法は、前処理モジュールを用いて、胸部領域を含む医療画像から、事前学習された検出（ｄｅｔｅｃｔｉｏｎ）モジュールの入力画像を生成する段階；上記検出モジュールを用いて、上記入力画像を基に、少なくとも１つの関心領域の結節（ｎｏｄｕｌｅ）の存在に係る確率値及び上記少なくとも１つの関心領域の第１位置情報を生成する段階；及び後処理モジュールを用いて、上記結節の存在に係る確率値を基に、上記第１位置情報から上記医療画像に存在する疑わしい結節に係る第２位置情報を決定する段階を含むことが可能である。
代替の実施例において、上記検出モジュールの入力画像を生成する段階は、上記前処理モジュールを用いて、上記胸部領域を含む３次元医療画像を基に、ハウンズフィールドユニット（ｈｏｕｎｓｆｉｅｌｄ ｕｎｉｔ）の値を演算する段階；及び上記前処理モジュールを用いて、上記ハウンズフィールドユニットの値が演算された３次元医療画像から複数の２次元医療画像を生成する段階を含むことが可能である。
代替の実施例において、上記結節の存在に係る確率値及び第１位置情報を生成する段階は、上記検出モジュールに含まれている第１サブ検出モジュールを用いて、複数の２次元医療画像を基に、上記少なくとも１つの関心領域に係る第１確率値及び第１位置情報を生成する段階；及び上記検出モジュールに含まれている第２サブ検出モジュールを用いて、３次元医療画像及び上記第１位置情報を基に、上記少なくとも１つの関心領域に係る第２確率値を推定する段階を含むことが可能である。
代替の実施例において、上記第１確率値及び第１位置情報を生成する段階は、上記第１サブ検出モジュールに含まれている第１神経回路網モジュールを用いて、上記複数の２次元医療画像を基に、複数のサイズを有する複数の第１特徴マップを生成する段階；上記第１サブ検出モジュールに含まれている第２神経回路網モジュールを用いて、上記複数の第１特徴マップのサイズを基準に、上記複数の第１特徴マップのうち少なくとも一部を結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）して複数の第２特徴マップを生成する段階；及び上記第１サブ検出モジュールに含まれている第３神経回路網モジュールを用いて、上記複数の第２特徴マップを所定のアンカーボックス（ａｎｃｈｏｒ ｂｏｘ）にマッチングさせて、上記少なくとも１つの関心領域に係る第１確率値及び第１位置情報を生成する段階を含むことが可能である。
代替の実施例において、上記第１確率値及び第１位置情報を生成する段階は、上記第１サブ検出モジュールを用いて、関心領域が複数ある場合、複数の関心領域間の重なり領域の比率を基に、上記複数の関心領域の少なくとも一部をクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）する段階；及び第１サブ検出モジュールを用いて、上記第１位置情報に含まれている座標系（ｃｏｏｒｄｉｎａｔｅ）を補正する段階を含むことが可能である。
代替の実施例において、上記第２確率値を算出する段階は、上記第２サブ検出モジュールに含まれている第４神経回路網モジュールを用いて、上記位置情報を基準にして、上記３次元医療画像から抽出されたパッチ（ｐａｔｃｈ）を基に、エンコーディング（ｅｎｃｏｄｉｎｇ）を行うことで、少なくとも１つの第３特徴マップを生成する段階；上記第２サブ検出モジュールに含まれている第５神経回路網モジュールを用いて、上記第３特徴マップを基に、デコーディング（ｄｅｃｏｄｉｎｇ）を行うことで、少なくとも１つの第４特徴マップを生成する段階；及び上記第２サブ検出モジュールに含まれている第６神経回路網モジュールを用いて、上記第３特徴マップと第４特徴マップを統合することで生成された特徴マップを基に、上記少なくとも１つの関心領域に係る第２確率値を生成する段階を含むことが可能である。
代替の実施例において、上記第２サブ検出モジュールは、ランダムサンプリング（ｒａｎｄｏｍ ｓａｍｐｌｉｎｇ）された学習画像を基に、神経回路網を学習させる第１動作；及び再現率（ｒｅｃａｌｌ）と精密度（ｐｒｅｃｉｓｉｏｎ）に基づいて選別された学習画像を基に、神経回路網を学習させる第２動作を実行することで、事前学習されることが可能である。
代替の実施例において、上記疑わしい結節に係る第２位置情報を取得する段階は、上記後処理モジュールを用いて、上記第１確率値及び第２確率値の加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）によって生成された上記結節の存在に係る確率値としきい値を比較する段階；及び上記後処理モジュールを用いて、上記比較の結果として選定された結節の存在に係る確率値と対応する、上記少なくとも１つの関心領域の第１位置情報を、上記疑わしい結節に係る第２位置情報として決定する段階を含むことが可能である。
代替の実施例において、上記方法は、事前学習された評価（ｍｅａｓｕｒｅｍｅｎｔ）モジュールを用いて、上記第２位置情報と対応する医療画像のパッチを基に、上記疑わしい結節に係るマスクを生成する段階；及び上記疑わしい結節に係るマスクを基に、上記疑わしい結節の直径（ｄｉａｍｅｔｅｒ）及び体積（ｖｏｌｕｍｅ）のうち少なくとも１つを含む数値情報を生成する段階をさらに含むことが可能である。
代替の実施例において、上記疑わしい結節に係るマスクは、上記第２位置情報と対応する３次元パッチを基に生成された上記疑わしい結節の全体領域に係る第１マスク；及び上記第２位置情報と対応する３次元パッチを基に生成された上記疑わしい結節の特定の属性（ａｔｔｒｉｂｕｔｅ）を表す領域に係る第２マスクを含むことが可能である。
代替の実施例において、上記方法は、事前学習された分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）モジュールを用いて、上記医療画像のパッチ及び疑わしい結節に係るマスクを基に、上記疑わしい結節の状態に係るクラスを分類する段階をさらに含むことが可能である。
代替の実施例において、上記疑わしい結節の状態に係るクラスを分類する段階は、上記分類モジュールに含まれているそれぞれ相異なるサブモジュールを用いて、上記パッチ及びマスクを基に、上記疑わしい結節の属性に係る類型（ｔｙｐｅ）、スピキュラ（ｓｐｉｃｕｌａｔｉｏｎ）の有無、石灰化（ｃａｌｃｉｆｉｃａｔｉｏｎ）の有無のうち少なくとも１つを決定する段階を含むことが可能である。
代替の実施例において、上記方法は、肺がん診断の補助指標に基づき、上記疑わしい結節の状態に係るクラス及び数値情報を基に、上記疑わしい結節の評価スコアを算出する段階；及び上記入力画像の被検体と分析済み画像の被検体が対応する場合、事前学習されたトラッキング（ｔｒａｃｋｉｎｇ）モジュールを用いて、上記入力画像と分析済みの画像の撮影時点を基準にして、上記医療画像の評価スコア又は上記分析済み画像の評価スコアを修正する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、上記疑わしい結節に係る第２位置情報、マスク、クラス、数値情報又は評価スコアのうち少なくとも１つを基にしたユーザーインターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を生成する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、事前学習された悪性度予測モジュールを用いて、上記疑わしい結節の第２位置情報、状態に係るクラス及び数値情報を基に、上記疑わしい結節の悪性度を推定する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、事前学習された悪性度予測モジュールを用いて、上記医療画像のパッチ及び疑わしい結節に係るマスクを基に、上記疑わしい結節の悪性度を推定する段階をさらに含むことが可能である。
代替の実施例において、上記方法は、上記疑わしい結節に係る第２位置情報、マスク、クラス、数値情報又は悪性度のうち少なくとも１つを基にしたユーザーインターフェースを生成する段階をさらに含むことが可能である。
前述の課題を実現するための本開示の別の一実施例に基づき、コンピューティング装置により実行される医療画像における病変分析方法が開示される。上記方法は、胸部領域を含む医療画像に存在する疑わしい結節の位置情報を基に、事前学習された評価モジュールの入力パッチを生成する段階；及び上記事前学習された評価モジュールを用いて、上記位置情報と対応する少なくとも１つの入力パッチを基に、上記疑わしい結節に係るマスクを生成する段階を含むことが可能である。
代替の実施例において、上記疑わしい結節に係るマスクを生成する段階は、上記評価モジュールに含まれている第１サブ評価モジュールを用いて、上記少なくとも１つの入力パッチを基に、上記疑わしい結節の全体領域に係る第１マスクを生成する段階；及び上記評価モジュールに含まれている第２サブ評価モジュールを用いて、上記少なくとも１つの入力パッチを基に、上記疑わしい結節の特定の属性を表す領域に係る第２マスクを生成する段階を含むことが可能である。
代替の実施例において、上記第１マスクを生成する段階は、上記評価モジュールに１つの疑わしい結節に係る複数のサイズを有する複数の入力パッチが入力される場合、上記第１サブ評価モジュールを用いて、複数の入力パッチの各々から上記１つの疑わしい結節に係る複数の第１サブマスクを生成する段階；及び上記第１サブ評価モジュールを用いて、上記複数の第１サブマスクを組み合わせ、上記組み合わせの結果に基づき、上記１つの疑わしい結節の全体領域に係る第１マスクを生成する段階を含むことが可能である。
代替の実施例において、上記第２マスクを生成する段階は、上記第２サブ評価モジュールを用いて、上記少なくとも１つの入力パッチを基に、上記疑わしい結節の特定の属性を表す候補領域に係る第２サブマスクを生成する段階；上記第２サブ評価モジュールを用いて、上記第１マスクと第２サブマスクとの重なり領域を識別する段階；及び上記識別された重なり領域を基に、上記疑わしい結節の特定の属性を表す領域に係る第２マスクを生成する段階を含むことが可能である。
前述の課題を実現するための本開示の別の一実施例に基づき、コンピューティング装置により実行される医療画像における病変分析方法が開示される。上記方法は、胸部領域を含む医療画像に存在する疑わしい結節の位置情報を基に生成されたパッチ及び上記疑わしい結節に係るマスクを受信する段階；及び事前学習された分類モジュールを用いて、上記パッチ及びマスクを基に、上記疑わしい結節の状態に係るクラスを分類する段階を含むことが可能である。
代替の実施例において、上記疑わしい結節の状態に係るクラスを分類する段階は、上記分類モジュールに含まれている第１サブ分類モジュールを用いて、上記パッチ及びマスクを基に、上記疑わしい結節の属性に係る類型を決定する段階；上記分類モジュールに含まれている第２サブ分類モジュールを用いて、上記パッチ及びマスクを基に、上記疑わしい結節のスピキュラの有無を決定する段階；又は上記分類モジュールに含まれている第３サブ分類モジュールを用いて、上記パッチ及びマスクを基に、上記疑わしい結節の石灰化の有無を決定する段階のうち少なくとも１つを含むことが可能である。
代替の実施例において、上記疑わしい結節の属性に係る類型を決定する段階は、上記第１サブ分類モジュールに含まれている第１属性分類モジュールを用いて、上記パッチ及びマスクを基に、上記疑わしい結節の固形（ｓｏｌｉｄ）の属性に係る第１類型を決定する段階；上記第１サブ分類モジュールに含まれている第２属性分類モジュールを用いて、上記パッチ及びマスクを基に、上記疑わしい結節の固形の属性に係る第２類型を決定する段階；及び上記第１サブ分類モジュールに含まれている第３属性分類モジュールを用いて、第１類型と第２類型とを比較した結果を基に、上記疑わしい結節の固形の属性に係る類型を最終的に決定する段階をさらに含むことが可能である。この場合、上記第１属性分類モジュールは、神経回路網を通じて事前学習されることが可能である。
代替の実施例において、上記第２類型を決定する段階は、上記第２属性分類モジュールを用いて、上記パッチから、マスクに含まれている複数のボクセル（ｖｏｘｅｌ）のハウンズフィールドユニット（ｈｏｕｎｓｆｉｅｌｄ ｕｎｉｔ）の値が所定のハウンズフィールドユニットの値より高い複数のボクセルの比率を演算する段階；上記第２属性分類モジュールを用いて、上記複数のボクセルの比率としきい値を比較する段階；及び上記比較の結果を基に、上記パッチに存在する疑わしい結節の固形の属性に係る第２類型を決定する段階を含むことが可能である。
代替の実施例において、上記疑わしい結節の固形の属性に係る類型を最終的に決定する段階は、上記第１類型が上記第２類型に含まれない類型である場合、上記第３属性分類モジュールを用いて、上記第１類型を上記疑わしい結節の固形の属性に係る最終類型として決定する段階；及び上記第１類型が第２類型に含まれる類型である場合、上記第３属性分類モジュールを用いて、上記第２類型を上記疑わしい結節の固形の属性に係る最終類型として決定する段階を含むことが可能である。
代替の実施例において、上記第１類型は、固形、部分的固形（ｐａｒｔ－ｓｏｌｉｄ）又は非固形（ｎｏｎ－ｓｏｌｉｄ）を含むことが可能である。そして、上記第２類型は、固形又は非固形を含むことが可能である。
代替の実施例において、上記第２サブ分類モジュールは、神経回路網を通じて事前学習されることも可能である。
代替の実施例において、上記疑わしい結節の石灰化の有無を決定する段階は、上記第３サブ分類モジュールを用いて、上記パッチから、マスクに含まれている複数のボクセルのハウンズフィールドユニットの値が所定のハウンズフィールドユニットの値より高い複数のボクセルの比率を演算する段階；上記第３サブ分類モジュールを用いて、上記複数のボクセルの比率としきい値を比較する段階；及び上記比較の結果を基に、上記パッチに存在する疑わしい結節の石灰化の有無を決定する段階を含むことが可能である。
代替の実施例において、上記第３サブ分類モジュールは、神経回路網を通じて事前学習されることも可能である。
前述のような課題を実現するための本開示の一実施例に基づき、コンピューター可読保存媒体に保存されたコンピュータープログラムが開示される。上記コンピュータープログラムは、１つ以上のプロセッサーにおいて実行される場合、医療画像における病変を分析するための以下の動作が実行されるが、上記動作は；前処理モジュールを用いて、胸部領域を含む医療画像から、事前学習された検出（ｄｅｔｅｃｔｉｏｎ）モジュールの入力画像を生成する動作；上記検出モジュールを用いて、上記入力画像を基に、少なくとも１つの関心領域の結節（ｎｏｄｕｌｅ）の存在に係る確率値、及び上記少なくとも１つの関心領域の第１位置情報を生成する動作；及び後処理モジュールを用いて、上記結節の存在に係る確率値を基に、上記第１位置情報から上記医療画像に存在する疑わしい結節に係る第２位置情報を決定する動作を含むことが可能である。
前述の課題を解決するための本開示の一実施例に基づき、医療画像における病変を分析するコンピューティング装置が開示される。上記装置は、少なくとも１つのコアを含むプロセッサー；上記プロセッサーで実行可能な複数のプログラムコードを含むメモリー；及び胸部領域を含む医療画像を受信するためのネットワーク部を含み、上記プロセッサーは、前処理モジュールを用いて、胸部領域を含む医療画像から、事前学習された検出（ｄｅｔｅｃｔｉｏｎ）モジュールの入力画像を生成し、上記検出モジュールを用いて、上記入力画像を基に、少なくとも１つの関心領域の結節（ｎｏｄｕｌｅ）の存在に係る確率値、及び上記少なくとも１つの関心領域の第１位置情報を生成し、後処理モジュールを用いて、上記結節の存在に係る確率値を基に、上記第１位置情報から上記医療画像に存在する疑わしい結節に係る第２位置情報を決定することが可能である。
前述の課題を実現するための本開示の一実施例に基づき、ユーザーインターフェースを提供するユーザー端末が開示される。上記ユーザー端末は、少なくとも１つのコアを含むプロセッサー；メモリー；コンピューティング装置から医療画像に含まれている病変の分析情報を基に生成されたユーザーインターフェースを受信するネットワーク部；及び上記ユーザーインターフェースを提供する出力部を含むことが可能である。この場合、上記病変の分析情報は、疑わしい結節の位置情報、上記疑わしい結節に係るマスク、上記疑わしい結節の状態に係るクラス、上記疑わしい結節の数値情報、上記疑わしい結節に係る評価情報、又は上記疑わしい結節の悪性度のうち少なくとも１つを含むことが可能である。
本開示は、医療画像に存在する特定の疾患を診断するための病変を検出し、評価する方法を提供することが可能である。
図１は、本開示の一実施例において、医療画像における病変を分析するためのコンピューティング装置のブロック構成図である。 図２は、本開示の一実施例におけるネットワーク関数を示す概略図である。 図３は、本開示の一実施例における、コンピューティング装置に含まれている探知モジュールの動作の過程を示すブロック構成図である。 図４は、本開示の一実施例における、探知モジュールの構造を示すブロック構成図である。 図５は、本開示の一実施例における、探知モジュールに含まれている第１サブ検出モジュールの構造を示すブロック構成図である。 図６は、本開示の一実施例における、探知モジュールに含まれている第２サブ検出モジュールの構造を示すブロック構成図である。 図７は、本開示の一実施例における、探知モジュールの動作の過程を示すフローチャートである。 図８は、本開示の一実施例における、コンピューティング装置の病変の分析及び評価を行う過程を示すブロック構成図である。 図９は、本開示の一実施例における、コンピューティング装置の病変の評価結果を修正する過程を表すブロック構成図である。 図１０は、本開示の一実施例における、医療画像における病変を分析する過程に係るフローチャートである。 図１１は、本開示の代替の実施例における、医療画像における病変を分析する過程に係るフローチャートである。 図１２は、本開示の一実施例における、コンピューティング装置に含まれている評価モジュールの動作の過程を示すブロック構成図である。 図１３は、本開示の一実施例における、評価モジュールの構造を示すブロック構成図である。 図１４は、本開示の一実施例における、評価モジュールの動作の過程を示すフローチャートである。 図１５は、本開示の一実施例における、コンピューティング装置に含まれている分類モジュールの動作の過程を示すブロック構成図である。 図１６は、本開示の一実施例における、分類モジュールの構造を示すブロック構成図である。 図１７は、本開示の一実施例における、分類モジュールに含まれている第１サブ分類モジュールの構造を示すブロック構成図である。 図１８は、本開示の一実施例における、分類モジュールの動作の過程を示すブロック構成図である。 図１９は、本開示の一実施例におけるコンピューティング環境を示す概略図である。
多様な実施例について以下に図面を参照用いて説明する。本明細書において多様な説明が本開示に対する理解を容易にするために示される。しかし、かかる実施例がかかる具体的な説明がなくても実施されることが可能であることは自明である。
本明細書において、「コンポーネント」、「モジュール」、「システム」等の用語は、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェアとハードウェアとの組み合わせ、又はソフトウェアの実行を指す。例えば、コンポーネントは、プロセッサー上で実行される処理手順（ｐｒｏｃｅｄｕｒｅ）、プロセッサー、オブジェクト、実行スレッド、プログラム、及び／又はコンピューターになり得るが、これらに限定されるものではない。例えば、コンピューティング装置で実行されるアプリケーションとコンピューティング装置は、両方ともコンポーネントになり得る。１つ以上のコンポーネントは、プロセッサー及び／又は実行スレッドの中に常駐することが可能である。１つのコンポーネントは、１つのコンピューターの中でローカル化されることが可能である。１つのコンポーネントは、２つ以上のコンピューターに配分されることが可能である。また、このようなコンポーネントは、その内部に保存されている多様なデータ構造を有する多様なコンピューター可読媒体において実行することが可能である。コンポーネントは、例えば１つ以上のデータパケットを含む信号（例えば、ローカルシステムや分散システムにおいて他のコンポーネントと相互作用する１つのコンポーネントからのデータ及び／又は信号を用いて、他のシステムと、インターネットのようなネットワークを介して伝送されるデータ）を用いてローカル及び／又は遠隔処理等を通じて通信することが可能である。
なお、用語「又は」は、排他的な「又は」ではなく、内包的な「又は」を意味する意図で使われる。つまり、特に特定されておらず、文脈上明確ではない場合、「Ｘは、Ａ又はＢを利用する」は、自然な内包的置換のうち１つを意味するものとする。つまり、ＸがＡを利用したり；ＸがＢを利用したり；又はＸがＡ及びＢの両方を利用する場合、「ＸはＡ又はＢを利用する」は、これらのいずれにも当てはまるとすることが可能である。また、本明細書における「及び／又は」という用語は、取り挙げられた複数の関連アイテムのうち、１つ以上のアイテムの可能なすべての組み合わせを指し、含むものと理解されるべきである。
また、述語としての「含む（含める）」及び／又は修飾語としての「含む（含める）」という用語は、当該特徴及び／又は構成要素が存在することを意味するものと理解されるべきである。ただし、述語としての「含む（含める）」及び／又は修飾語として「含む（含める）」という用語は、１つ以上の他のさらなる特徴、構成要素及び／又はこれらのグループの存在又は追加を排除しないものと理解されるべきである。また、特に数が特定されていない場合や、単数の形を示すことが文脈上明確でない場合、本明細書と請求範囲において単数は、一般的に「１つ又はそれ以上」を意味するものと解釈されるべきである。
そして、「Ａ又はＢのうち少なくとも１つ」という用語については、「Ａだけを含む場合」、「Ｂだけを含む場合」、「ＡとＢの組み合わせの場合」を意味するものと解釈されるべきである。
当業者は、さらに、ここに開示されている実施例に係るものとして説明された多様な例示的論理的ブロック、構成、モジュール、回路、手段、ロジック及びアルゴリズム段階が、電子ハードウェア、コンピューターソフトウェア、又はその両方の組み合わせによって実現されることが可能であることを認識すべきである。ハードウェアとソフトウェアとの相互交換性を明確に例示するために、多様な例示的コンポーネント、ブロック、構成、手段、ロジック、モジュール、回路及び段階が、それらの機能性の側面で一般的に上述された。そのような機能性がハードウェアとして実装されるか或いはソフトウェアとして実装されるかは、全般的なシステムに係る特定のアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）及び設計制限によって決まる。熟練した技術者は、個々の特定アプリケーションのために多様な方法で説明された機能性を実現することが可能である。ただし、そのような実現に係る決定が本開示内容の領域を逸脱するものと解釈されてはならない。
ここに示す実施例に係る説明は、本開示の技術分野において通常の知識を持つ者が本発明を利用したり、又は実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者には明確に理解できるものである。ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることが可能である。従って、本発明はここに示す実施例だけに限定されるものではない。本発明はここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
本開示において、ネットワーク関数、人工神経回路網及びニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、相互置換可能に用いることが可能である。
一方、本発明の詳細な説明及び請求項において用いられている用語「画像」または「画像データ」は、離散的画像要素（例えば、２次元画像においては、ピクセル）で構成されている多次元データを指し、言い換えると、（例えば、ビデオ画面に表示された）目視で認識できる対象、又は、（例えば、ＣＴやＭＲＩ装置などのピクセル出力に対応するファイルのような）その対象のデジタル表現物を指す用語である。
例えば、「イメージ」や「画像」は、コンピューター断層撮影（ＣＴ；ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）、磁気共鳴画像（ＭＲＩ；ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）、超音波又は、その他本発明の技術分野における公知のあらゆる医療画像システムにより収集された被検体（ｓｕｂｊｅｃｔ）の医療画像になり得る。画像が必ずしも医療的目的で提供されたものである必要はなく、非医療的目的で提供されたものにもなり得るが、例えば、セキュリティー検査用のエックス線撮影などが挙げられる。
本発明の詳細な説明及び請求項において、「ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ；医療用デジタル画像及び通信）」の標準は、医療用機器におけるデジタル画像表現と通信に利用されるあらゆる標準規格の総称であり、ＤＩＣＯＭ標準は、米国放射線専門医会（ＡＣＲ）と米国電機工業会（ＮＥＭＡ）とで構成している連合委員会が発表する。
また、本発明の詳細な説明及び請求項において、「医療用画像管理システム（ＰＡＣＳ；Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）」は、ＤＩＣＯＭ標準に沿って、医療用画像を保存、加工、送信するシステムを指す用語であり、エックス線、ＣＴ、ＭＲＩなどのデジタル医療画像装置を利用して取得した医療画像のデータを、ＤＩＣＯＭ形式に保存し、ネットワークを介して院内や外部の端末に送信することが可能であり、そのデータには、読影結果や診療記録を追加することが可能である。
図１は、本開示の一実施例において、医療画像における病変を分析するためのコンピューティング装置のブロック構成図である。
図１に図示されたコンピューティング装置（１００）の構成は、簡略化して示した例示に過ぎない。本開示の一実施例において、コンピューティング装置（１００）には、コンピューティング装置（１００）のコンピューティング環境を実装するための他の構成が含まれることが可能であり、開示されている構成のうち一部だけでコンピューティング装置（１００）を構成することも可能である。
コンピューティング装置（１００）は、プロセッサー（１１０）、メモリー（１３０）、ネットワーク部（１５０）を含むことができる。
本開示の一実施例において、プロセッサー（１００）は、１つ以上のコアで構成されることが可能であり、コンピューティング中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、汎用グラフィック処理装置（ＧＰＧＰＵ：ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、テンサー処理装置（ＴＰＵ：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）等のデータ分析、ディープラーニングのためのプロセッサーを含むことができる。プロセッサー（１１０）は、メモリー（１３０）に保存されたコンピュータープログラムを読み取り、本開示の一実施例における機械学習のためのデータ処理を実行することができる。本開示の一実施例に基づき、プロセッサー（１１０）は、ニューラルネットワークの学習のための演算を行うことができる。プロセッサー（１１０）は、ディープラーニング（ＤＬ：ｄｅｅｐ ｌｅａｒｎｉｎｇ）において、学習のための入力データの処理、入力データからのフィーチャーの抽出、誤差計算、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を利用したニューラルネットワークの重みの更新等のニューラルネットワークの学習のための計算を実行することができる。プロセッサー（１１０）のＣＰＵとＧＰＧＰＵとＴＰＵとのうち、少なくとも１つが、ネットワーク関数の学習を処理できる。例えば、ＣＰＵとＧＰＧＰＵとがともにネットワーク関数の学習やネットワーク関数を利用したデータの分類を行うことができる。なお、本開示の一実施例において、複数のコンピューティング装置のプロセッサーを一緒に使ってネットワーク関数の学習やネットワーク関数を利用したデータ分類を行うことができる。また、本開示の一実施例における、コンピューティング装置において実行されるコンピュータープログラムは、ＣＰＵ、ＧＰＧＰＵ又はＴＰＵで実行可能なプログラムになり得る。
本開示の一実施例において、プロセッサー（１１０）は、少なくとも１つの事前学習された機械学習モジュールを用いて、医療画像を基に特定の疾患に係る病変を読影することが可能である。プロセッサー（１１０）は、医療画像を第１機械学習モジュールに入力して、医療画像に存在する病変の位置情報を識別することが可能である。プロセッサー（１１０）は、病変の位置情報を基に、医療画像の一部分に該当するパッチ（ｐａｔｃｈ）を生成することが可能である。プロセッサー（１１０）は、病変の位置情報と対応するパッチを第２機械学習モジュールに入力して、病変に係るマスクを生成することが可能である。この場合、マスクは、医療画像における病変が存在する領域に係る情報を含むデータの集合体を意味することが可能である。プロセッサー（１１０）は、パッチとマスクを第３機械学習モジュールに入力して、病変の状態を表すクラス情報を生成することが可能である。かかる動作を通じて、プロセッサー（１１０）は、医療画像を基に、特定の疾患の診断基準になる病変に係る情報（例えば、体内における病変の位置、状態等）を生成することが可能である。
例えば、プロセッサー（１１０）は、ネットワーク部（１５０）に入力された胸部領域を含む医療画像を、事前学習された探知モジュールに入力することが可能である。この場合、胸部領域を含む医療画像は、少なくとも１つの肺組織を含む３次元ＣＴ画像等を含むことが可能である。プロセッサー（１１０）は、胸部領域を含む医療画像を探知モジュールに入力して、医療画像に存在する疑わしい結節（ｎｏｄｕｌｅ）の位置情報を取得することが可能である。疑わしい結節の位置情報は、医療画像における疑わしい結節として識別された領域の中心座標系を含むことが可能である。医療画像が、３次元ＣＴ画像の場合、疑わしい結節の位置情報は、疑わしい結節と判定された領域の中心の（Ｘ，Ｙ，Ｚ）の座標値を含むことが可能である。
プロセッサー（１１０）は、探知モジュールを用いて取得された疑わしい結節の位置情報を基に、胸部領域を含む医療画像から位置情報と対応するパッチを抽出することが可能である。プロセッサー（１１０）は、疑わしい結節の位置情報と対応するパッチを事前学習された評価モジュールに入力することが可能である。プロセッサー（１１０）は、医療画像から生成されたパッチを評価モジュールに入力して、疑わしい結節に係るマスクを生成することが可能である。言い換えると、プロセッサー（１１０）は、評価モジュールを用いてパッチの中に存在する疑わしい結節が存在する領域に係る情報を抽出することが可能である。
プロセッサー（１１０）は、評価モジュールを用いて生成された疑わしい結節に係るマスクと共に先に抽出されたパッチを事前学習された分類モジュールに入力することが可能である。プロセッサー（１１０）は、疑わしい結節に係るマスクとパッチを一緒に分類モジュールに入力して、疑わしい結節の状態に係るクラス（ｃｌａｓｓ）を分類することが可能である。この場合、疑わしい結節の状態は、肺疾患の判断の基礎となる疑わしい結節の特徴、属性等を含むことが可能である。言い換えると、プロセッサー（１１０）は、肺疾患の診断のための病変情報を取得するために、分類モジュールを用いて医療画像のパッチにおいて疑わしい結節がどのような状態であるかを識別することが可能である。
本開示の一実施例において、プロセッサー（１１０）は、特定の疾患の診断のための補助指標を基に、医療画像から読影した病変を評価することが可能である。プロセッサー（１１０）は、第２機械学習モジュールによって生成されたマスクを基に、病変が存在する領域に係る数値を演算することが可能である。プロセッサー（１１０）は、特定の疾患の診断のための補助指標を基に、病変の数値を含む数値情報と病変の状態に係るクラス情報に基づき、病変の評価スコアを算出することが可能である。また、プロセッサー（１１０）は、事前学習された機械学習モジュールを用いて病変の悪性度を予測することも可能である。プロセッサー（１１０）は、第４機械学習モジュールを通じて病変の位置情報、病変の状態に係るクラス情報及び病変の数値情報を基に、病変の悪性度を推定することが可能である。かかる動作を通じて、プロセッサー（１１０）は、医療画像を基に、特定の疾患の診断指標として活用できる病変に対する評価情報を生成することが可能である。
例えば、プロセッサー（１１０）は、評価モジュールを用いて生成された疑わしい結節のマスクを基に、医療画像において疑わしい結節が存在する領域に係る数値情報を生成することが可能である。この場合、数値情報は、疑わしい結節の直径（ｄｉａｍｅｔｅｒ）や体積（ｖｏｌｕｍｅ）等に係る数値を含むことが可能である。プロセッサー（１１０）は、疑わしい結節の数値情報と分類モジュールを用いて分類された疑わしい結節の状態に係るクラスを基に、メモリー（１３０）に保存されている肺疾患診断の補助指標に基づいて疑わしい結節の評価スコアを算出することが可能である。この場合、肺疾患診断の補助指標は、Ｌｕｎｇ－ＲＡＤＳ（Ｌｕｎｇ ＣＴ Ｓｃｒｅｅｎｉｎｇ Ｒｅｐｏｒｔｉｎｇ ａｎｄ Ｄａｔａ Ｓｙｓｔｅｍ）を基盤とする分類指標等を含むことが可能である。言い換えると、プロセッサー（１１０）は、疑わしい結節の構造的情報と属性情報との両方を利用し、肺疾患診断の補助指標に基づいて決められた基準に合わせて、疑わしい結節の評価スコアを決定することが可能である。プロセッサー（１１０）によって決定された評価スコアは、医療画像の被検者（ｓｕｂｊｅｃｔ）に対する肺疾患の診断及び予後予測等に活用されることが可能である。
プロセッサー（１１０）は、探知モジュールによって生成された疑わしい結節の位置情報、分類モジュールによって生成された疑わしい結節の状態に係るクラス情報及びマスクを基に生成された疑わしい結節の数値情報を、事前学習された悪性度予測モジュールに入力することが可能である。プロセッサー（１１０）は、疑わしい結節の位置情報、クラス情報及び数値情報を悪性度予測モジュールに入力して疑わしい結節の悪性度を推定することが可能である。また、プロセッサー（１１０）は、医療画像から抽出されたパッチ及び評価モジュールによって生成されたマスクを悪性度予測モジュールに入力して、疑わしい結節の悪性度を推定することも可能である。言い換えると、プロセッサー（１１０）は、疑わしい結節の定量的情報を利用し、疑わしい結節の悪性度を推定することも可能であり、疑わしい結節に係る画像情報を活用し、疑わしい結節の悪性度を推定することも可能である。プロセッサー（１１０）は、悪性度予測モジュールを通じて胸部領域を含む医療画像に存在する疑わしい結節の位置情報、構造的情報及び属性情報を一緒に考慮して、肺疾患に影響を及ぼす疑わしい結節の悪性度を予測することが可能である。プロセッサー（１１０）が予測した悪性度は、医療画像の被検体に対する肺疾患の診断及び予後予測等に活用することが可能である。
本開示の一実施例において、プロセッサー（１１０）は、事前学習された機械学習モジュールを用いて、時系列的な関係にある特定の被検体に係る複数の医療画像を基に、病変に係る評価スコアを修正することが可能である。プロセッサー（１１０）によって分析済みの画像と同一の被検体に係る医療画像がコンピューティング装置（１００）に入力されると、プロセッサー（１１０）は、第５機械学習モジュールを用いて分析済みの画像と、後から入力された医療画像に存在する病変とをマッチング（ｍａｔｃｈｉｎｇ）させることで、変更された情報を把握することが可能である。そして、プロセッサー（１１０）は、変更された情報を病変に係る評価スコアに反映し、評価スコアを修正することが可能である。変更された情報がない場合は、プロセッサー（１１０）は、病変に係る評価スコアを修正せずに既存の評価スコアをそのまま維持することが可能である。
例えば、プロセッサー（１１０）は、ネットワーク部（１５０）を介して受信した医療画像を基に、疑わしい結節の評価スコアを算出するための前述の動作を行い、算出された評価スコアを、メモリー（１３０）に保存することが可能である。新しい医療画像がネットワーク部（１５０）を介して受信された場合、プロセッサー（１１０）は、新しい医療画像の被検体が、分析済み医療画像の被検体と対応するか否かを判断することが可能である。つまり、プロセッサー（１１０）は、新しい医療画像の被検体を識別するために用いる識別子（ＩＤ）が、複数の分析済み医療画像の識別子の１つと一致するか否かを判断することが可能である。新しい医療画像の識別ＩＤ識別子が、複数の分析済みの医療画像の識別子のうち１つと一致する場合、プロセッサー（１１０）は、事前学習されたトラッキングモジュールを用いて、既存の画像と新しい画像に存在する同一の疑わしい結節をマッチングさせることが可能である。プロセッサー（１１０）は、トラッキングモジュールを用いてマッチングされた疑わしい結節の変更情報を識別して、変更情報を基に、疑わしい結節に係る評価スコアを修正することが可能である。かかる動作を通じて、プロセッサー（１１０）は、特定の被検体における病変の変化を効果的に追跡し、肺疾患の予後に係る判断に必要な情報の精度を高めることが可能である。
本開示の一実施例において、メモリー（１３０）は、プロセッサー（１１０）が生成したり、決定した任意の形態の情報及びネットワーク部（１５０）が受信した任意の形態の情報を保存することができる。
本開示の一実施例において、メモリー（１３０）は、フラッシュメモリータイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリー（例えばＳＤ又はＸＤメモリー等）、ラム（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ロム（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリー、磁気ディスク、光ディスクのうち少なくとも１つのタイプの保存媒体を含むことができる。コンピューティング装置（１００）は、インターネット（ｉｎｔｅｒｎｅｔ）上で前記メモリー（１３０）の保存機能を実行するウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）と連携して動作することも可能である。前述のメモリーに係る記述は、例示に過ぎず、本開示はこれらに限定されない。
本開示の一実施例におけるネットワーク部（１５０）は、任意の形を有する公知の有無線通信システムと連携して作動することが可能である。
ネットワーク部（１５０）は、人体臓器が写っている医療画像を、医療画像撮影システムから受信することが可能である。例えば、人体臓器が表現されている医療画像は、２次元特徴又は３次元特徴で学習された機械学習モジュールの学習用データ又は推論用データになり得る。人体臓器が写っている医療画像は、少なくとも１つの肺領域を含む３次元ＣＴ領域になり得る。人体臓器が写っている医療画像は、前述の例示に限らず、エックス線画像、ＭＲ画像等のように、撮影により取得された人体臓器に係る画像をすべて含むことが可能である。
また、ネットワーク部（１５０）は、プロセッサー（１１０）によって処理された情報、ユーザーインターフェース等を、他の端末との通信を介して送受信することが可能である。例えば、ネットワーク部（１５０）は、プロセッサー（１１０）によって生成されたユーザーインターフェースを、クライアント（例えば、ユーザー端末）に提供することが可能である。また、ネットワーク部（１５０）は、クライアントに対して行われたユーザーによる外部入力を受信し、プロセッサー（１１０）に転送することが可能である。この場合、プロセッサー（１１０）は、ネットワーク部（１５０）から受け取ったユーザーの外部入力を基に、ユーザーインターフェースを介して提供される情報の出力、修正、変更、追加等の動作を処理することが可能である。
一方、本開示の一実施例におけるコンピューティング装置（１００）は、クライアントとの通信を介して情報を送受信するコンピューティングシステムとしてサーバーを含むことが可能である。この場合、クライアントは、サーバーにアクセスできる任意の形の端末になり得る。例えば、サーバーであるコンピューティング装置（１００）は、医療画像撮影システムから医療画像を受信して病変を分析し、分析結果を含むユーザーインターフェースをユーザー端末に提供することが可能である。この場合、ユーザー端末は、サーバーであるコンピューティング装置（１００）から受信したユーザーインターフェースを出力し、ユーザーとの相互作用を通じて情報の入力を受けたり、処理することが可能である。
ユーザー端末は、サーバーであるコンピューティング装置（１００）から送られてくる医療画像に含まれている病変（例えば、疑わしい結節等）の分析情報を提供するために提供されたユーザーインターフェースを表示することが可能である。図示は省略しているが、ユーザー端末は、コンピューティング装置（１００）からユーザーインターフェースを受信するネットワーク部、少なくとも１つのコアを含むプロセッサー、メモリー、ユーザーインターフェースを提供する出力部、ユーザーが行った外部入力を受信する入力部を含むことが可能である。
追加の実施例において、コンピューティング装置（１００）は、任意のサーバーにおいて生成されたデータリソースを受け取り、追加の情報処理を行う任意の形の端末を含むことも可能である。
図２は、本開示の一実施例において、ネットワーク関数を示す概略図である。
本開示の一実施形態による慢性疾患予測のための機械学習モデルまたは心電図信号の前処理のためのディープラーニングモデルは、神経回路網を含むことができる。本明細書の全体を通して、演算モデル、神経回路網、ネットワーク関数、ニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、同一の意味で用いることができる。神経回路網は、一般的にノードと呼ばれる相互連結された計算単位の集合で構成されることが多い。このようなノードは、ニューロン（ｎｅｕｒｏｎ）と称することもできる。神経回路網は、少なくとも１つ以上のノードを含めて構成される。神経回路網を構成するノード（またはニューロン）は１つ以上のリンクによって相互連結されることが可能である。
神経回路網において、リンクを介して繋がっている１つ以上のノードは、相対的に入力ノード及び出力ノードの関係を形成することができる。入力ノード及び出力ノードの概念は相対的なものであり、あるノードに対して出力ノードとなる任意のノードは、他のノードとの関係においては入力ノードになり得るが、その逆も成立する。前述のように、入力ノードと出力ノードとの関係はリンクを中心にして成立することができる。１つの入力ノードに１つ以上の出力ノードがリンクを介して繋がることができ、その逆も成立する。
１つのリンクを介して繋がっている入力ノード及び出力ノードの関係において、出力ノードのデータは入力ノードに入力されたデータに基づきその値が決められることが可能である。ここで入力ノードと出力ノードとを相互連結するノードは加重値（ｗｅｉｇｈｔ）を持つことができる。加重値は可変的なものになり得るが、神経回路網が所望の機能を行うために、利用者またはアルゴリズムによって変わることが可能である。例えば、１つの出力ノードに１つ以上の入力ノードが各リンクによって相互連結されている場合、出力ノードは前記出力ノードに繋がっている入力ノードに入力された値及び各入力ノードに対応するリンクに設定された加重値に基づき出力ノードの値を決定することができる。
前述のように、神経回路網は、１つ以上のノードが１つ以上のリンクを介して相互連結され神経回路網の中で入力ノードと出力ノードの関係を形成する。神経回路網において、ノードとリンクの数及びノードとリンクとの間の相関関係、各リンクに付与された加重値の値によって、神経回路網の特性が決まることが可能である。例えば、同数のノード及びリンクが存在し、リンクの加重値の値がそれぞれ異なる２つの神経回路網が存在する場合、その２つの神経回路網を、相異なるものと認識することができる。
神経回路網は、1つ以上のノードの集合で構成することができる。神経回路網を構成するノードの部分集合は、レイヤー（ｌａｙｅｒ）を構成できる。神経回路網を構成する複数のノードのうち一部は、第１入力ノードからの距離に基づき、１つのレイヤー（ｌａｙｅｒ）を構成することができる。例えば、第１入力ノードからの距離がｎであるノードの集合は、ｎレイヤーを構成することができる。第１入力ノードからの距離は、第１入力ノードから当該ノードに到達するために経由しなければならないリンクの最小限の数を基に定義することができる。しかし、このようなレイヤーの定義は、説明のために任意に取り挙げたものであり、神経回路網の中におけるレイヤーの構成は、前述の説明と異なる方法で定義されることができる。例えば、ノードのレイヤーは、最終出力ノードからの距離を基に定義することもできる。
第１入力ノードは、神経回路網の中のノードのうち、他のノードとの関係においてリンクを経由せずにデータが直接入力される１つ以上のノードを意味することができる。または、神経回路網のネットワークの中で、リンクを基準にしたノード間の関係において、リンクを介して繋がっている他の入力ノードを持たないノードを意味することができる。これと同様に、最終出力ノードは、神経回路網の中のノードのうち、他のノードとの関係において、出力ノードを持たない１つ以上のノードを意味することができる。また、ヒドンノードは、第１入力ノード及び最終出力ノードではないノードで、神経回路網を構成するノードを意味することができる。
本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードと同数で、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が一度減ってから、再び増加する形の神経回路網になり得る。本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より少なく、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が減少していく形の神経回路網になり得る。また、本開示の他の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より多く、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が増加していく形の神経回路網になり得る。本開示の他の一実施例における神経回路網は、上述の神経回路網を組み合わせた形の神経回路網になり得る。
ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、深層神経回路網）は、入力レイヤーと出力レイヤー以外に複数のヒドンレイヤーを含む神経回路網を意味することができる。ディープニューラルネットワークを利用するとデータの潜在的な構造（ｌａｔｅｎｔ ｓｔｒｕｃｔｕｒｅｓ）を把握することができる。つまり、写真、文章、ビデオ、音声、音楽の潜在的な構造（例えば、ある物が写真に映っているか、文章の内容と感情はどのようなものなのか、音声の内容と感情はどのようなものなのか等）を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、リカレントニューラルネットワーク（ＲＮＮ；：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、オートエンコーダー（ａｕｔｏ ｅｎｃｏｄｅｒ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）、制限ボルツマンマシン（ＲＢＭ：ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ）、深層信頼ネットワーク（ＤＢＮ：ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、Ｑネットワーク、Ｕネットワーク、シャムネットワーク、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）等を含むことができる。前述のディープニューラルネットワークは、例示に過ぎず本開示はこれらに限定されない。
本開示の一実施例において、ネットワーク関数は、オートエンコーダー（ａｕｔｏｅｎｃｏｄｅｒ）を含むこともできる。オートエンコーダーは、入力データに類似した出力データを出力するための人工神経回路網の一種になり得る。オートエンコーダーは、少なくとも１つのヒドンレイヤーを含むことができ、奇数個のヒドンレイヤーが入出力レイヤーの間に配置されることができる。各レイヤーのノード数は、入力レイヤーのノード数から、ボトルネックレイヤー（エンコード）という中間レイヤーに向かって減っていき、ボトルネックレイヤーから出力レイヤー（入力レイヤーと対称を成す）に向かって、縮小と対称する形で、拡張することもできる。オートエンコーダーは、非線形次元減少を行うことができる。入力レイヤー及び出力レイヤーの数は、入力データの前処理後に次元に対応することができる。オートエンコーダー構造において、エンコーダーに含まれたヒドンレイヤーのノードの数は、入力データから遠くなるほど減っていく構造を持つことができる。ボトルネックレイヤー（エンコーダーとデコーダーの間に位置する、ノードの数が最も少ないレイヤー）のノードの数が少なすぎる場合、十分な量の情報が伝わらない可能性があるため、特定の数以上（例えば、入力レイヤーの半分以上等）に維持されることもあり得る。
ニューラルネットワークは、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、半教師あり学習（ｓｅｍｉ ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、または、強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）のうち、少なくともいずれか１つの方式で学習されることができる。ニューラルネットワークの学習は、ニューラルネットワークが特定の動作を行うための知識をニューラルネットワークに提供する過程になり得る。
ニューラルネットワークは、出力のエラーを最小化する方向で学習されることが可能である。ニューラルネットワークの学習において、繰り返し学習データをニューラルネットワークに入力させ、学習データに関するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向としてニューラルネットワークのエラーをニューラルネットワークの出力レイヤーから入力レイヤーの方向へ逆伝播（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）してニューラルネットワークの各ノードの加重値を更新するプロセスが行われる。教師あり学習の場合、個々の学習データに正解がラベリングされている学習データを使い（つまり、ラベリングされた学習データ）、教師なし学習の場合は、個々の学習データに正解がラベリングされていない場合がある。つまり、例えばデータ分類に関する教師あり学習における学習データは、学習データの各々にカテゴリがラベリングされたデータになり得る。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力（カテゴリ）と学習データのラベルを比較することでエラー（ｅｒｒｏｒ）を計算することが可能である。他の例として、データ分類に関する教師なし学習の場合、入力である学習データをニューラルネットワークの出力と比較することでエラーを計算することが可能である。計算されたエラーは、ニューラルネットワークにおいて逆方向（つまり、出力レイヤーから入力レイヤー方向）へ逆伝播され、逆伝播を通じてニューラルネットワークの各レイヤーの各ノードの連結加重値を更新することが可能である。更新される各ノードの連結加重値は、学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）によって変化量が決まることが可能である。入力データに対するニューラルネットワークの計算とエラーの逆伝播は、学習のサイクル（ｅｐｏｃｈ）を構成することができる。学習率は、ニューラルネットワークの学習のサイクルの反復回数によって適用方式が変わることが可能である。例えば、ニューラルネットワークの学習初期においては、学習率を高くしてニューラルネットワークが早く一定のレベルの性能を確保するようにすることで効率を高め、学習の後半においては学習率を低くして精度を上げることが可能である。
ニューラルネットワークの学習において、一般的に学習データは実際のデータ（つまり、学習されたニューラルネットワークを利用して処理しようとするデータ）の部分集合であることが可能であり、そのため学習データに係るエラーは減少するが、実際のデータに係るエラーは増加する学習サイクルが存在し得る。過剰適合（ｏｖｅｒ ｆｉｔｔｉｎｇ）は、このように学習データについて過度に学習したため、実際のデータにおいてエラーが増加する現象である。例えば、黄色い猫を見て猫を学習したニューラルネットワークが、黄色以外の色の猫を見ると猫であることを認識できない現象が過剰適合の一種になり得る。過剰適合は、マシンラーニングアルゴリズムのエラーを増加させる原因になり得る。このような過剰適合を防ぐために、多様な最適化方法を適用できる。過剰適合を防ぐためには、学習データを増加させる方法、正則化（ｒｅｇｕｌａｉｚａｔｉｏｎ）、学習の過程でネットワークのノードの一部を非活性化するドロップアウト（ｄｒｏｐ ｏｕｔ）、バッチ正規化レイヤー（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒ）の活用等の方法を適用できる。
図３及び図４は、本開示の一実施例における、コンピューティング装置に含まれている探知モジュールの動作過程及び構造を示すブロック構成図である。
図３を参照すると、本開示の一実施例における、コンピューティング装置（１００）は、医療画像（１１）に存在する疑わしい結節に係る情報を抽出する探知モジュール（２００）を含むことが可能である。探知モジュール（２００）は、コンピューティング装置（１００）に伝達された胸部領域を含む医療画像（１１）から検出モジュール（２２０）の入力画像を生成する前処理モジュール（２１０）と、前処理モジュール（２１０）によって生成された入力画像を基に、少なくとも１つの関心領域に係る情報を導出する検出モジュール（２２０）と、検出モジュール（２２０）を通じて導出された関心領域に係る情報を基に、疑わしい結節に係る位置情報を導出する後処理モジュール（２３０）とを含むことが可能である。この場合、探知モジュール（２００）に含まれている検出モジュール（２２０）は、少なくとも１つの神経回路網を含むことが可能である。検出モジュール（２２０）は、事前学習された神経回路網を通じて前述の動作を実行することが可能である。前処理モジュール（２１０）及び後処理モジュール（２３０）も事前学習された少なくとも１つの神経回路網を含むことが可能であり、神経回路網を通じて前述の動作を実行することも可能である。
図４を参照すると、前処理モジュール（２１０）は、胸部領域を含む３次元医療画像である、肺の組織が撮影されたＣＴ画像の入力を受けることが可能である。前処理モジュール（２１０）は、入力されたＣＴ画像を標準ＤＩＣＯＭ形式に基づき、画像群単位で分類することが可能である。この場合、分類子は大体ＤＩＣＯＭの類型－１属性（ａｔｔｒｉｂｕｔｅ）のうち、同一のシリーズ（Ｓｅｒｉｅｓ）を示唆する値を採用するが、実際にはコンピューティング装置（１００）が使われる環境に依存する場合がある。前処理モジュール（２１０）は、前述のようにＣＴ画像を自ら画像群単位で分類することも可能であるが、すでに分類されているＣＴ画像の入力を受けることも可能である。
前処理モジュール（２１０）は、分類子によって分類された画像群を基に、ハウンズフィールドユニット（ｈｏｕｎｓｆｉｅｌｄ ｕｎｉｔ、ＨＵ）の値を演算することが可能である。例えば、前処理モジュール（２１０）は、標準ＤＩＣＯＭ形式に基づく属性値を用いて画像群から順次にハウンズフィールドユニットの値を算出することが可能である。この場合、標準ＤＩＣＯＭ形式に基づく属性値は、Ｒｅｓｃａｌｅ Ｉｎｔｅｒｃｅｐｔ Ａｔｔｒｉｂｕｔｅ（００２８，１０５２）及びＲｅｓｃａｌｅ Ｓｌｏｐｅ Ａｔｔｒｉｂｕｔｅ（００２８，１０５３）になり得る。前処理モジュール（２１０）は、算出されたハウンズフィールドユニットの値をそのまま使うのではなく、［－１０００，６００］のような第１範囲として切り取ってから、再び［０，１］のような第２範囲に線形変換することが可能である。続いて、前処理モジュール（２１０）は、Ｃｕｂｉｃ Ｂ－スプライン補間（ｃｕｂｉｃ Ｂ－ｓｐｌｉｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）等のような補間を行い、水平面（ａｘｉａｌ）、冠状面（ｃｏｒｏｎａｌ）、矢状面（ｓａｇｉｔｔａｌ）の３つの軸に係るボクセルスペーシング（ｖｏｘｅｌ ｓｐａｃｉｎｇ）が、それぞれ所定の数値を満たすように画像を変換することが可能である。例えば、所定の数値は、各軸においてそれぞれ１．０，０．６７，０．６７になり得る。ただし、前述の数値及び記載は、一例にすぎず、本発明の解釈を限定するものではなく、当業者にとって理解できる範囲内で変更することが可能である。
前処理モジュール（２１０）は、ハウンズフィールドユニットの値が演算されたＣＴ画像から複数の２次元画像を生成することが可能である。つまり、検出モジュール（２２０）は、２次元の画像を入力として用いる２．５次元の神経回路網モジュールを含むため、検出モジュール（２２０）の入力に適した形態に画像を加工する作業を前処理モジュール（２１０）が実行することが可能である。例えば、検出モジュール（２２０）は、（ａｘｉａｌ，ｃｏｒｏｎａｌ，ｓａｇｉｔｔａｌ）＝（７，５４０，５４０）の入力を用いる２．５次元の神経回路網モジュールを含むことが可能である。ただし、前述の数値及び記載は、一例にすぎず、本発明の解釈を限定するものではなく、当業者にとって理解できる範囲内で変更することが可能である。かかる２．５次元の神経回路網モジュールの入力の大きさに合わせて、前処理モジュール（２１０）は、３次元ＣＴ画像を加工し、複数の２次元画像を生成することが可能である。前処理モジュール（２１０）によって生成された複数の２次元画像は、後述する検出モジュール（２２０）の第１サブ検出モジュール（２２１）の入力として用いられることが可能である。
図４を参照すると、検出モジュール（２２０）は、前処理モジュール（２１０）によって生成された入力画像を基に、少なくとも１つの関心領域に係る第１確率値及び第１位置情報を生成する第１サブ検出モジュール（２２１）と、前処理モジュール（２１０）によって生成された入力画像と第１位置情報を基に、少なくとも１つの関心領域に係る第２確率値を推定する第２サブ検出モジュール（２２２）とを含むことが可能である。この場合、第１確率値及び第２確率値は、各モジュール（２２１，２２２）によって識別された各関心領域に疑わしい結節が含まれている確率を表す数値になり得る。例えば、前処理モジュール（２１０）を通ったＣＴ画像は、第１サブ検出モジュール（２２１）と第２サブ検出モジュール（２２２）にそれぞれ入力され、結節が含まれていると判断される関心領域に係る情報を抽出するために用いられることが可能である。第１サブ検出モジュール（２２１）は、前処理されたＣＴ画像の入力を受け、少なくとも１つの関心領域に係る第１確率値と座標値を算出することが可能である。この場合、第１サブ検出モジュール（２２１）によって算出された座標値は、第２サブ検出モジュール（２２２）の入力として用いられることが可能である。第２サブ検出モジュール（２２２）は、第１サブ検出モジュール（２２１）によって算出された座標値を基に前処理されたＣＴ画像から３次元パッチ（ｐａｔｃｈ）を抽出することが可能である。第２サブ検出モジュール（２２２）は、３次元パッチを基に第１サブ検出モジュール（２２１）が識別した関心領域に、実際に結節が含まれている第２確率値を改めて推算することが可能である。第１サブ検出モジュール（２２１）及び第２サブ検出モジュール（２２２）の具体的な動作過程及び構造については、図５及び図６を参照して詳しく後述する。
後処理モジュール（２３０）は、検出モジュール（２２０）を通じて導出された関心領域に係る情報を基に、探知モジュール（２００）の最終出力値である疑わしい結節に係る情報を導出することが可能である。後処理モジュール（２３０）は、第１サブ検出モジュール（２２１）を通じて導出された第１確率値と、第２サブ検出モジュール（２２２）を通じて導出された第２確率値の加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）とを通じて、結節の存在に係る第３確率値を生成することが可能である。後処理モジュール（２３０）は、第３確率値としきい値を比較し、複数の関心領域の中から、疑わしい結節に該当する領域を選定することが可能である。言い換えると、後処理モジュール（２３０）は、第３確率値としきい値の比較結果として選定された確率値と対応する関心領域の位置情報を、疑わしい結節の位置情報として決定することが可能である。前述の過程を通じて後処理モジュール（２３０）は、最終的に疑わしい結節の中心座標値を含む第２位置情報（１５）を出力することが可能である。
例えば、第１サブ検出モジュール（２２１）の第１確率値をｐ１、第２サブ検出モジュール（２２２）の第２確率値をｐ２、第１サブ検出モジュール（２２１）が識別した関心領域の直径をｄと仮定する。後処理モジュール（２３０）は、前述の３つの入力値を用いて、各関心領域について以下のような方式で第３確率値のｐを確定することが可能である。
（１）ｐ１＜０．０５の場合、ｐ＝０
（２）ｄ≧７［ｍｍ］、ｐ１＜０．９７の場合、ｐ＝０
（３）ｄ≦４［ｍｍ］、ｐ１＜０．９７の場合、ｐ＝０
（４）その他の場合、ｐ＝０．２×ｐ１＋０．８×ｐ２
第３確率値のｐが所定のしきい値以上の場合、後処理モジュール（２３０）は、しきい値以上の確率値と対応する関心領域の中心座標値を最終出力とすることが可能である。所定のしきい値の基本値は０．８２とすることが可能であり、敏感度によって０．７８，０．９１に変更されることが可能である。ただし、前述の数値及び記載は、一例にすぎず、本発明の解釈を限定するものではなく、当業者にとって理解できる範囲内で変更することが可能である。
図５は、本開示の一実施例における、探知モジュールに含まれている第１サブ検出モジュールの構造を示すブロック構成図である。
図５を参照すると、本開示の一実施例における、第１サブ検出モジュール（２２１）は、前処理モジュール（２１０）から生成された複数の２次元画像の入力を受け、複数のサイズを有する複数の第１特徴マップを生成する第１神経回路網モジュール（２４０）を含むことが可能である。第１サブ検出モジュール（２２１）は、複数の第１特徴マップのサイズを基準に、複数の第１特徴マップのうち少なくとも一部を結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）して複数の第２特徴マップを生成する、第２神経回路網モジュール（２５０）を含むことが可能である。また、第１サブ検出モジュール（２２１）は、複数の第２特徴マップを所定のアンカーボックス（ａｎｃｈｏｒ ｂｏｘ）にマッチングさせて、少なくとも１つの関心領域に係る第１確率値及び第１位置情報を生成する、第３神経回路網モジュール（２６０）を含むことが可能である。
例えば、第１サブ検出モジュール（２２１）は、２．５次元の画像の入力を受ける神経回路網の構造を有することが可能である。前述のように、第１サブ検出モジュール（２２１）は、［７，５４０，５４０］の形態を有する画像を入力として受け取り、結節が含まれていると判断される一連の関心領域に係る確率値及び座標値を出力することが可能である。図５を参照すると、第１サブ検出モジュール（２２１）の神経回路網は、ｂａｃｋｂｏｎｅ－ｎｅｃｋ－ｈｅａｄの構造を有することが可能である。
ｂａｃｋｂｏｎｅ構造は、プーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）を含むステムセル（ｓｔｅｍ－ｃｅｌｌ）ブロックの後、ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎを含むボトルネック（ｂｏｔｔｌｅｎｅｃｋ）ブロック（２４１）が繰り返される形態の第１神経回路網モジュール（２４０）を含むことが可能である。ボトルネックブロック（２４１）は、ストライド（ｓｔｒｉｄｅ）値を通じて特徴マップのサイズを拡大したり縮小したりすることが可能である。ｂａｃｋｂｏｎｅ構造において第１神経回路網モジュール（２４０）の各々は、相異なるサイズの結節を検出するための、複数のサイズを有する複数の第１特徴マップを生成することが可能である。具体的に、［６８，６８］、［６８，６８］、［３４，３４］、［３４，３４］、［３４，３４］のサイズを有する複数の第１特徴マップが、第１神経回路網モジュール（２４０）の出力値になり得る。第１神経回路網モジュール（２４０）によって生成された複数の第１特徴マップは、ｎｅｃｋ構造の入力として用いられることが可能である。ただし、前述のサイズに係る数値は、一例にすぎず、本発明の解釈を限定するものではなく、当業者にとって理解できる範囲内で変更することが可能である。
ｂａｃｋｂｏｎｅ構造から出力値を生成する一連の過程を、特徴マップをエンコーディング（ｅｎｃｏｄｉｎｇ）する過程としたら、ｎｅｃｋ構造は、ｂａｃｋｂｏｎｅ構造から生成された複数の特徴マップを適切に組み合わせて最終検出過程を実行するのに適した形態に、特徴マップをデコーディング（ｄｅｃｏｄｉｎｇ）する過程であると解釈することが可能である。ｎｅｃｋ構造は、Ｂａｃｋｂｏｎｅ構造の第１神経回路網モジュール（２４０）によって生成された複数の第１特徴マップをサイズ別に結合させて複数の第２特徴マップを生成する、第２神経回路網モジュール（２５０）を含むことが可能である。第２神経回路網モジュール（２５０）は、サイズが似ている複数の第１特徴マップを互いに結合させて、次のレベルの複数の第２特徴マップを生成する、少なくとも１つの中間ブロック（２５１）を含むことが可能である。また、第２神経回路網モジュール（２５０）は、少なくとも１つの中間ブロック（２５１）を通じて、入力として与えられた全ての第１特徴マップを結合させて、複数の第２特徴マップを生成することが可能である。具体的には、第２神経回路網モジュール（２５０）のうち１つは、サイズが［６８，６８］に該当する複数の第１特徴マップを結合させて、複数の第２特徴マップを生成することが可能である。第２神経回路網モジュール（２５）のうち他の１つは、サイズが［３４，３４］である複数の第１特徴マップを結合させて、複数の第２特徴マップを生成することが可能である。また、第２神経回路網モジュール（２５０）は、全ての第１特徴マップを結合させて、複数の第２特徴マップを生成することが可能である。第２神経回路網モジュール（２５０）によって生成された複数の第２特徴マップは、ｈｅａｄ構造の入力として用いられることが可能である。
ｈｅａｄ構造は、ｎｅｃｋ構造の第２神経回路網モジュール（２５０）によって生成された複数の第２特徴マップの入力を個別に受ける複数の検出ブロック（２６１）を含む、第３神経回路網モジュール（２６０）を含むことが可能である。つまり、ｈｅａｄ構造において、第３神経回路網モジュール（２６０）は、第２神経回路網モジュール（２５０）の出力を基に、第１サブ検出モジュール（２２１）の出力値に該当する関心領域の結節の存在確率値と位置情報を生成することが可能である。具体的には、第３神経回路網モジュール（２６０）の検出ブロック（２６１）は、第２特徴マップを事前に定義しておいたアンカーボックスにマッチングして、第２特徴マップに該当する関心領域に結節が含まれている確率値、アンカーボックスと実際の出力値のオフセット（ｏｆｆｓｅｔ）に該当する関心領域に存在する結節の大きさと位置情報を出力することが可能である。
一方、図５において図示は省略されているが、第３神経回路網モジュール（２６０）を通じて識別された関心領域が複数ある場合、第１サブ検出モジュール（２２１）は、同一の結節が含まれていると判断される複数の関心領域をクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）し、１つの結節に統合する作業を実行することが可能である。また、第１サブ検出モジュール（２２１）は、第３神経回路網モジュール（２６０）を通じて複数の関心領域の第１位置情報に対する補正作業を実行することが可能である。例えば、第１サブ検出モジュール（２２１）は、任意の複数の関心領域を同一の平面に投影し、複数の関心領域間の重なり領域の比率を基に、複数の関心領域の少なくとも一部をクラスタリングすることが可能である。具体的には、第１サブ検出モジュール（２２１）は、任意の複数の関心領域間のＩＯＵ（ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）を計算し、計算された数値が複数の関心領域間のユークリッド（ｅｕｃｌｉｄｅａｎ）距離に反比例するしきい値を超過したら、複数の関心領域に同一の結節が含まれていると判断し、クラスタリングすることが可能である。クラスタリングされた関心領域の場合、第１サブ検出モジュール（２２１）は、結節の存在確率値が最も高い領域の位置情報と直径値をその代表値として算出することが可能である。第１サブ検出モジュール（２２１）は、多様な入力を通じて求められた複数の関心領域の複数の第１位置情報を、同一の座標系（ｃｏｏｒｄｉｎａｔｅ）に変換し、第２サブ検出モジュール（２２２）の入力値を最終的に生成することが可能である。
図６は、本開示の一実施例における、探知モジュールに含まれている第２サブ検出モジュールの構造を示すブロック構成図である。
図６を参照すると、本開示の一実施例における、第２サブ検出モジュール（２２２）は、第１位置情報を基準にして前処理モジュール（２１０）から出力された画像から抽出された３次元パッチを基にエンコーディングを行って、少なくとも１つの第３特徴マップを生成する第４神経回路網モジュール（２７０）を含むことが可能である。この場合、第２サブ検出モジュール（２２２）は、第４神経回路網モジュール（２７０）の入力パッチを生成するために、前処理された３次元画像から、第１位置情報に該当する領域を、所定の大きさを有するパッチとして抽出することが可能である。第２サブ検出モジュール（２２２）は、第３特徴マップを基にデコーディングを実行することで、少なくとも１つの第４特徴マップを生成する第５神経回路網モジュール（２８０）を含むことが可能である。また、図６において図示は省略されているが、第２サブ検出モジュール（２２２）は、第３特徴マップと第４特徴マップを統合して生成された特徴マップを基に、少なくとも１つの関心領域に係る第２確率値を生成する第６神経回路網モジュールを含むことが可能である。
例えば、第２サブ検出モジュール（２２２）は、第１サブ検出モジュール（２２１）の出力値として与えられた関心領域の中心座標値を利用し、前処理モジュール（２１０）において加工された画像から抽出された３次元パッチを入力値として有する。具体的には、３次元パッチのサイズは、［７２，７２，７２］になり得る。第２サブ検出モジュール（２２２）は、３次元パッチの入力を受け、当該パッチに結節が含まれているか否かを示唆する１つの実数値を出力することが可能である。第２サブ検出モジュール（２２２）は、図６のようにエンコーダー－デコーダー構造の神経回路網を含むことが可能である。第２サブ検出モジュール（２２２）は、３次元パッチの大きさを調整する１つ以上のエンコーダーブロック（２７１）を含む第４神経回路網モジュール（２７０）と、１つ以上のデコーダーブロック（２８１）を含む第５神経回路網モジュール（２８０）とを含むことが可能である。第４神経回路網モジュール（２７０）を通過した３次元パッチは、［３，３，３］のサイズまで圧縮されることが可能である。圧縮されたパッチは、第５神経回路網モジュール（２８０）を通過しながら［１８，１８，１８］のサイズまで復元されることが可能である。かかる復元過程において同一の大きさを有する第４神経回路網モジュール（２７０）の第３特徴マップとの組み合わせ（ｅｌｅｍｅｎｔ－ｗｉｓｅ ｓｕｍ）が行われ、より複雑な第４特徴マップが生成されることが可能である。第２サブ検出モジュール（２２２）は、３次元畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）を実行する第６神経回路網モジュールを用いて第４特徴マップを基に、関心領域における結節の存在に係る第２確率値を出力することが可能である。
一方、第２サブ検出モジュール（２２２）は、ランダムサンプリング（ｒａｎｄｏｍ ｓａｍｐｌｉｎｇ）された学習画像を基に神経回路網を学習させる第１動作と、再現率（ｒｅｃａｌｌ）と精密度（ｐｒｅｃｉｓｉｏｎ）に基づいて選別された学習画像を基に神経回路網を学習させる第２動作とを実行することで学習されることが可能である。例えば、第２サブ検出モジュール（２２２）は、ランダムサンプリングされた学習のための複数の３次元パッチの入力を受け、３次元特徴で神経回路網を１次学習させることが可能である。ランダムサンプリングされた複数の学習用３次元パッチを基に学習が完了すると、第２サブ検出モジュール（２２２）は、複数の１次学習用３次元パッチに対し比較的に予測が難しい複数の学習用３次元パッチを基に、神経回路網を２次学習させることが可能である。この場合、比較的に予測が難しい複数の学習用３次元パッチは、複数の１次学習用３次元パッチに比べて再現率が高く、精密度が低い複数の３次元パッチになり得る。かかる一種のカリキュラム（ｃｕｒｒｉｃｕｌｕｍ）学習を通じて、第２サブ検出モジュール（２２２）の確率値推定機能を大幅に向上させることが可能である。
図７は、本開示の一実施例における、探知モジュールの動作の過程を示すフローチャートである。
図７を参照すると、Ｓ１１０段階において、本開示に一実施例に基づくコンピューティング装置（１００）は、医療用画像管理システムから病変の分析のための医療画像を受信することが可能である。病変の分析のための医療画像は、胸部領域を含む３次元ＣＴ画像になることも可能である。コンピューティング装置（１００）が３次元ＣＴ画像を医療画像として受信する場合、コンピューティング装置（１００）は、前処理モジュールを用いて医療画像を加工することで、検出モジュールの入力画像を生成することが可能である。この場合、前処理モジュールは、医療画像からのハウンズフィールドユニットの値の抽出、医療画像の線形変換とパディング（ｐａｄｄｉｎｇ）等を通じた大きさの調節、医療画像の分割を通じた２次元画像生成等を実行することが可能である。
段階Ｓ１２０において、コンピューティング装置（１００）は、検出モジュールを用いて、前処理モジュールを通じて加工された画像を基に、少なくとも１つの関心領域における結節の存在に係る確率値と関心領域の第１位置情報を生成することが可能である。この場合、関心領域は、結節が存在すると予測される領域として理解されることが可能である。従って、関心領域の第１位置情報は、後述する段階Ｓ１３０において最終的に決定される疑わしい結節のための位置情報の候補群として理解されることが可能である。
段階Ｓ１３０において、コンピューティング装置（１００）は、後処理モジュールを用いて検出モジュールの出力値を基に、医療画像に存在する疑わしい結節に係る第２位置情報を決定することが可能である。コンピューティング装置（１００）は、後処理モジュールを用いて、結節の存在に係る確率値を基に、第１位置情報から医療画像に存在する疑わしい結節に係る第２位置情報を決定することが可能である。例えば、関心領域が複数ある場合、コンピューティング装置（１００）は、複数の関心領域の複数の確率値と、事前に定義されているしきい値とを比較することが可能である。コンピューティング装置（１００）は、事前に定義されているしきい値以上の確率値と対応する関心領域を、疑わしい結節と判断することが可能である。言い換えると、コンピューティング装置（１００）は、しきい値以上の確率値と対応する関心領域の位置情報（ｉ．ｅ．第１位置情報）を疑わしい結節に係る位置情報（ｉ．ｅ．第２位置情報）として決定することが可能である。かかる過程を通じてコンピューティング装置（１００）は、医療画像に存在する結節を正確に検出することが可能である。
図８は、本開示の一実施例における、コンピューティング装置の病変を読影し、評価する過程を示すブロック構成図である。
図８を参照すると、本開示の一実施例における、コンピューティング装置（１００）のプロセッサー（１１０）は、少なくとも１つの肺の領域を含む医療画像（２１）を探知モジュール（２００）に入力させて、肺の領域に存在する疑わしい結節の位置情報（２２）を生成することが可能である。プロセッサー（１１０）は、疑わしい結節の位置情報（２２）を基準に、医療画像（２１）から抽出された３次元パッチ（２３）を評価モジュール（３００）に入力させて、複数のマスク（２４，２５）を生成することが可能である。この場合、第１マスク（２４）は、疑わしい結節の全体領域に係る情報を含むマスクになり得る。第２マスク（２５）は、疑わしい結節の全体領域のうち、疑わしい結節が特定の属性（ｅ．ｇ．固形（ｓｏｌｉｄ）等）を表す領域に係る情報を含むマスクになり得る。プロセッサー（１１０）は、３次元パッチ（２３）と複数のマスク（２４，２５）を分類モジュール（４００）に入力させて、疑わしい結節の属性の類型、スピキュラの有無、石灰化の有無等を表すクラス情報（２７）を生成することが可能である。
一方、プロセッサー（１１０）は、疑わしい結節に係る複数のマスク（２４，２５）を基に、疑わしい結節の直径と体積のうち少なくとも１つを含む数値情報（２６）を生成することが可能である。この場合、数値情報（２６）は、第１マスク（２４）を基に生成された第１の数値情報を含むが、疑わしい結節が特定のクラスに分類される場合には、第２マスク（２５）を基に生成された第２の数値情報をさらに含むことも可能である。第１の数値情報は、医療画像（２１）に存在する疑わしい結節の全体領域に係る直径と体積のうち少なくとも１つを表すことが可能である。第２の数値情報は、医療画像（２１）に存在する疑わしい結節の特定の属性を表す領域に係る直径と体積のうち、少なくとも１つを表す数値を含むことが可能である。プロセッサー（１１０）は、第１マスク（２４）に含まれている情報を基に、３次元パッチ（２３）における疑わしい結節に該当する領域の形、大きさ等に係る構造的数値を計算することが可能である。ただし、疑わしい結節の状態に係るクラスが疑わしい結節の特定の属性に係る所定の類型（ｅ．ｇ．部分的固形（ｐａｒｔ－ｓｏｌｉｄ）)に該当する場合、プロセッサー（１１０）は、第１マスク（２４）に含まれている情報と共に、第２マスク（２５）に含まれている情報を基に、前述の数値を計算することが可能である。
プロセッサー（１１０）は、肺疾患診断の補助指標（３０）に基づき、数値情報（２６）及びクラス情報（２７）を基に、疑わしい結節の評価スコア（２８）を算出することが可能である。例えば、プロセッサー（１１０）は、肺がん診断の補助指標（３０）に基づき、医療画像（２１）から検出された疑わしい結節の数値情報（２６）とクラス情報（２７）を検討し、補助指標（３０）により規定されている複数のスコアのうち１つで疑わしい結節を評価することが可能である。具体的には、プロセッサー（１１０）は、数値情報（２６）に含まれている疑わしい結節の全体領域と固形の属性を表す領域のうち少なくとも１つの直径、体積等に係る数値と、クラス情報（２７）に含まれている固形の属性に係る類型、スピキュラの有無、石灰化の有無に係る情報とを基に、疑わしい結節がＬｕｎｇ－ＲＡＤＳ分類における複数の範疇のうちどれに含まれるかを判断することが可能である。クラス情報（２７）に基づき、疑わしい結節の固形の属性に係る類型が、固形又は非固形（ｎｏｎ－ｓｏｌｉｄ）である場合、プロセッサー（１１０）は、数値情報（２６）に含まれている第１の数値情報を利用して、疑わしい結節がＬｕｎｇ－ＲＡＤＳ分類における複数の範疇のうちどれに含まれるかを判断することが可能である。クラス情報（２７）に基づき、疑わしい結節の固形の属性に係る類型が部分的固形だった場合、プロセッサー（１１０）は、数値情報（２６）に含まれている第１の数値情報と第２の数値情報とを両方用いて、疑わしい結節がＬｕｎｇ－ＲＡＤＳ分類における複数の範疇のうちどれに含まれるかを判断することが可能である。プロセッサー（１１０）は、かかる判断の結果に基づき、Ｌｕｎｇ－ＲＡＤＳ分類における複数の範疇のうち１つを、疑わしい結節の評価スコア（２８）として決定することが可能である。
プロセッサー（１１０）は、探知モジュール（２００）、評価モジュール（３００）及び分類モジュール（４００）を通じて出力された疑わしい結節に係る複数の情報を基に、肺疾患の原因として疑わしい結節が肺に影響を及ぼす程度を予測することが可能である。プロセッサー（１１０）は、事前学習された悪性度予測モジュール（６００）を用いて、疑わしい結節の位置情報（２２）、数値情報（２６）及びクラス情報（２７）を基に、疑わしい結節の悪性度（２９）を推定することが可能である。例えば、プロセッサー（１１０）は、位置情報（２２）に含まれている結節の中心座標値、数値情報（２６）に含まれている結節の大きさの値、クラス情報（２７）に含まれている固形属性の類型、スピキュラの有無、石灰化の有無等に係る情報を悪性度予測モジュール（６００）に入力させて、疑わしい結節の悪性度（２９）を算出することが可能である。
図８において図示は省略されているが、プロセッサー（１１０）は、事前学習された悪性度予測モジュール（６００）を用いて医療画像（２１）から抽出された３次元パッチ（２３）と評価モジュール（３００）によって生成されたマスク（２４，２５）を基に、疑わしい結節の悪性度（２９）を推定することも可能である。つまり、プロセッサー（１１０）は、医療画像（２１）から抽出される疑わしい結節に係る複数の定量的情報（２２，２６，２７）を悪性度予測モジュール（６００）に直接入力して悪性度（２９）を推定することも可能であり、医療画像（２１）の加工によって生成された複数の画像情報（２３，２４，２５）を悪性度予測モジュール（６００）に入力して悪性度（２９）を推定することも可能である。
図９は、本開示の一実施例における、コンピューティング装置の病変の評価結果を修正する過程を表すブロック構成図である。
図９を参照すると、本開示の一実施例におけるコンピューティング装置（１００）のプロセッサー（１１０）は、同一の被検体を時系列に撮影した複数の医療画像を基に、疑わしい結節に対する評価スコアを修正することが可能である。プロセッサー（１１０）は、同一の被検体を時系列に撮影した複数の医療画像のそれぞれの撮影時点を基準にして、疑わしい結節に対する評価スコアを修正することが可能である。コンピューティング装置（１００）に医療画像が順次入力されると、プロセッサー（１１０）は、医療画像（４１）と同一の被検体を対象とする画像が入力され、分析された履歴が存在するか否かを判断することが可能である。医療画像（４１）と同一の被検体を対象とする画像に係る履歴が存在しないと判断した場合、プロセッサー（１１０）は、医療画像（４１）を新しい被検体に係る医療画像と認識し、段階Ａ（５０）を経て、疑わしい結節に係る評価スコア（４５）を算出することが可能である。この場合、段階Ａ（５０）は、図８に示す評価スコア（２８）の算出プロセスと対応するものとみなすことが可能である。
医療画像（４１）と同一の被検体を対象とする分析済みの画像が存在すると判断された場合、プロセッサー（１１０）は、事前学習されたトラッキングモジュール（５００）を用いて、分析済みの画像と医療画像（４１）間の整合（ｒｅｇｉｓｔｒａｔｉｏｎ）を実行することが可能である。ここで整合とは、時間差が存在する分析済みの画像と医療画像（４１）との相対的な位置関係を合わせる動作を意味する。プロセッサー（１１０）は、トラッキングモジュール（５００）を用いて、整合が完了した分析済みの画像に存在する疑わしい結節と、医療画像（４１）に存在する疑わしい結節とをマッチングさせることが可能である。図９において図示は省略しているが、プロセッサー（１１０）は、医療画像（４１）に対し段階Ａ（５０）を実行し、マッチングされた疑わしい結節間の変更情報を識別することが可能である。この場合、段階Ａ（５０）は、図８に示す評価スコア（２８）の算出プロセスと対応するものとみなすことが可能である。プロセッサー（１１０）は、変更情報を基に、医療画像（４１）の評価スコア又は分析済みの画像の評価スコアを修正することが可能である。医療画像（４１）が分析済みの画像を撮影する前の時点に撮影されている場合、プロセッサー（１１０）は、変更情報を基に、分析済み画像の評価スコアを修正することが可能である。逆に、医療画像（４１）が分析済みの画像を撮影した時点以降に撮影された場合、プロセッサー（１１０）は、変更情報を基に、医療画像の評価スコアを修正することが可能である。つまり、プロセッサー（１１０）は、医療画像（４１）と分析済みの画像の撮影時点を比較し、比較的最近に撮影された画像の評価スコアを修正することが可能である。つまり、プロセッサー（１１０）は、疑わしい結節の時間的変化を効果的に追跡するために、比較的最近に撮影された画像に対する評価スコアを修正することが可能である。かかるプロセスを通じて、プロセッサー（１１０）は、最終的に特定の被検体に対する疑わしい結節に対する修正された評価スコア（４９）を生成することが可能である。かかる評価スコアの修正動作は、コンピューティング装置（１００）に医療画像（４１）が入力されるたびに、繰り返し実行することが可能である。
図１０は、本開示の一実施例における、医療画像における病変を分析する方法に係るフローチャートである。
図１０を参照すると、Ｓ２１０の段階において、胸部領域を含む医療画像が入力されると、本開示の一実施例におけるコンピューティング装置（１００）は、分析済みの画像の中に、入力された画像と同じ識別子を有する画像が存在するか否かを判断することが可能である。この場合、識別子は、画像の撮影対象に対する識別情報を指す。例えば、コンピューティング装置（１００）は、入力されたＣＴ画像の被検体が、分析済みＣＴ画像の被検体と対応するか否かを判断することが可能である。入力されたＣＴ画像の被検体が、分析済みＣＴ画像の被検体と対応する場合、コンピューティング装置（１００）は、算出済み且つ保存済みの疑わしい結節の評価スコアを修正するための一連の動作を実行することが可能である。入力されたＣＴ画像の被検体が、分析済みＣＴ画像の被検体と対応しない場合、コンピューティング装置（１００）は、新しい被検体に係る医療画像が入力されたとみなし、入力されたＣＴ画像を基に、疑わしい結節を読影し評価する一連の動作を実行することが可能である。
以下に、入力画像の被検体が既存画像の被検体と対応すると判断された場合に実行される疑わしい結節の評価スコアを修正するためのおおよその過程を説明する。
Ｓ２２１の段階において、コンピューティング装置（１００）は、入力された画像を基に、肺の組織に存在する疑わしい結節の中心位置情報を取得することが可能である。例えば、コンピューティング装置（１００）は、事前学習された探知モジュールを用いて、入力画像を基に、少なくとも１つの疑わしい結節の候補領域に係る情報を生成することが可能である。コンピューティング装置（１００）は、探知モジュールを用いて、候補領域に係る情報を基に、疑わしい結節の中心位置情報を生成することが可能である。
Ｓ２２２の段階において、コンピューティング装置（１００）は、入力された画像から疑わしい結節の中心位置情報を基にした画像パッチを抽出することが可能である。コンピューティング装置（１００）は、入力された画像から抽出した画像パッチに基づき、疑わしい結節のマスクを生成することが可能である。コンピューティング装置（１００）は、疑わしい結節のマスクを基に、疑わしい結節の構造的数値を含む数値情報を生成することが可能である。例えば、コンピューティング装置（１００）は、事前学習された評価モジュールを用いて、画像パッチを基に、疑わしい結節に係る複数のマスクを生成することが可能である。コンピューティング装置（１００）は、複数のマスクに含まれている情報を基に、疑わしい結節の直径、体積等に係る数値を演算し、数値情報を生成することが可能である。この場合、数値情報は、疑わしい結節の全体領域に係る構造的情報を含む第１の数値情報と、疑わしい結節の特定の属性（ｅ．ｇ．固形等）を表す領域に係る構造的情報を含む第２の数値情報とのうち、少なくとも１つを含むことが可能である。
Ｓ２２３の段階において、コンピューティング装置（１００）は、Ｓ２２２の段階において生成された画像パッチ及びマスクを基に、疑わしい結節の状態に係るクラス分類を行うことが可能である。疑わしい結節の状態に係るクラスには、疑わしい結節の属性に係る類型を表す第１クラス、疑わしい結節のスピキュラの有無を表す第２クラス、又は疑わしい結節の石灰化の有無を示す第３クラスを含むことが可能である。コンピューティング装置（１００）は、疑わしい結節の状態を第１クラス、第２クラス、第３クラスのうち少なくとも１つに分類することが可能である。例えば、コンピューティング装置（１００）は、分類モジュールの第１サブ分類モジュールを用いて画像パッチと複数のマスクを基に、疑わしい結節の固形の属性に係る類型を固形、部分的固形又は非固形に分類することが可能である。コンピューティング装置（１００）は、分類モジュールの第２サブ分類モジュールを用いて、画像パッチと複数のマスクを基に、疑わしい結節を、スピキュラ又はノン・スピキュラに分類することが可能である。コンピューティング装置（１００）は、分類モジュールの第３サブ分類モジュールを用いて画像パッチと複数のマスクを基に、疑わしい結節を、石灰化又は非石灰化に分類することが可能である。
Ｓ２２４の段階において、コンピューティング装置（１００）は、Ｓ２２１の段階において生成された疑わしい結節の中心位置情報と、Ｓ２２２の段階において生成された数値情報と、Ｓ２２３の段階において生成されたクラス情報とを基に、疑わしい結節の評価スコア及び悪性度を算出することが可能である。例えば、コンピューティング装置（１００）は、所定の診断補助指標に定める基準に沿って、数値情報とクラス情報を演算し、疑わしい結節の評価スコアを算出することが可能である。コンピューティング装置（１００）は、悪性度予測モジュールを用いて、疑わしい結節の中心位置情報、数値情報及びクラス情報を基に、疑わしい結節の悪性度を推定することが可能である。また、コンピューティング装置（１００）は、悪性度予測モジュールを用いて、段階Ｓ２２２において生成された画像パッチ及びマスクを基に、疑わしい結節の悪性度を推定することも可能である。
段階Ｓ２２５において、コンピューティング装置（１００）は、入力画像と既存の画像の相対的な位置を一致させる整合を実行することが可能である。コンピューティング装置（１００）は、前述の段階において読影した、入力された画像における疑わしい結節と、読影済みかつ保存済みの既存の画像における疑わしい結節とをマッチングさせ、疑わしい結節の変化を把握することが可能である。例えば、コンピューティング装置（１００）は、事前学習されたトラッキングモジュールを用いて入力画像と既存の画像間の整合を実行することが可能である。コンピューティング装置（１００）は、整合が完了した２つの画像の各々に存在する少なくとも１つの疑わしい結節をマッチングさせて、マッチングされる疑わしい結節の間に変化が発生したかを判断することが可能である。
段階Ｓ２２６において、入力画像と既存の画像間でマッチングされた疑わしい結節に変化が発生したと判断された場合、コンピューティング装置（１００）は、入力画像から導出された疑わしい結節の評価スコア、又は既存の画像から導出された疑わしい結節の評価スコアを相互評価スコアに反映して、修正された評価スコアを算出することが可能である。この場合、評価スコアが修正される画像を、画像の撮影時点を基準にして決定することが可能である。例えば、入力された画像が特定の被検体を２００９年に撮影した画像であり、既存の画像は特定の被検体を２０１５年に撮影した画像である場合、コンピューティング装置（１００）は、入力された画像の評価スコアを、既存の画像の評価スコアに反映することで、既存の画像の評価スコアを修正することも可能である。逆に、入力された画像が特定の被検体を２０１５年に撮影した画像であり、既存の画像は特定の被検体を２００９年に撮影した画像である場合、コンピューティング装置（１００）は、既存の画像の評価スコアを、入力された画像の評価スコアに反映することで、入力された画像の評価スコアを修正することも可能である。入力された画像と既存の画像との間において、マッチングされた疑わしい結節に変化がなかったと判断された場合、コンピューティング装置（１００）は、既存の評価スコアを修正せずに、そのまま維持することが可能である。
一方、入力された画像と既存の画像における被検体同士が、対応しないと判断された場合に行われる疑わしい結節の読影及び評価の過程に係るＳ２３１段階乃至Ｓ２３４の段階は、前述のＳ２２１乃至Ｓ２２４の段階と対応するため、具体的な説明は省略する。
図１１は、本開示の代替の一実施例において、医療画像における病変を分析する方法に係るフローチャートである。
図１１を参照すると、胸部領域を含む医療画像が入力されると、本開示の代替の実施例におけるコンピューティング装置（１００）は、疑わしい結節に対する読影及び評価を優先的に行うことが可能である。図１０とは違って図１１においては、疑わしい結節に対する読影及び評価を行ってから、入力された画像が既存の画像と同一の被検体を撮影した画像であるか否かを判断する。つまり、図１０に示す方法と図１１に示す方法は、疑わしい結節の評価スコアを修正するための判断の前後関係に差異が存在すると理解されることが可能である。従って、図１１における各段階（Ｓ３１０乃至Ｓ３７０の段階）の詳細な内容について、図１０と対応する内容は説明を省略する。
図１２及び図１３は、本開示の一実施例における、コンピューティング装置に含まれている評価モジュールの動作過程及び構造を示すブロック構成図である。
図１２を参照すると、本開示の一実施例におけるコンピューティング装置（１００）は、医療画像の入力パッチ（６１）から結節と疑われる領域のマスク（６５）を生成する評価モジュール（３００）を含むことが可能である。評価モジュール（３００）は、胸部領域を含む医療画像から生成されたパッチ（６１）の入力を受け、疑わしい結節に係るマスク（６５）を生成することが可能である。この場合、コンピューティング装置（１００）は、評価モジュール（３００）の入力パッチ（６１）を、疑わしい結節の位置情報を基に、胸部領域を含む医療画像から抽出することが可能である。つまり、入力パッチ（６１）は、疑わしい結節の位置情報と対応する領域を含む所定の画像単位になり得る。コンピューティング装置（１００）は、図３を通じて説明した探知モジュール（２００）を用いて、入力パッチ（６１）の生成に用いられる疑わしい結節の位置情報を生成することが可能である。コンピューティング装置（１００）は、ユーザー端末、外部医療情報システム等を通じて入力パッチ（６１）の生成に用いられる疑わしい結節の位置情報そのものを受信することも可能である。
評価モジュール（３００）は、少なくとも１つの入力パッチ（６１）を基に、疑わしい結節の全体領域に係る第１マスクを生成する第１サブ評価モジュール（３１０）、及び少なくとも１つの入力パッチ（６１）を基に、疑わしい結節の特定の属性を表す領域に係る第２マスクを生成する第２サブ評価モジュール（３２０）を含むことが可能である。第１サブ評価モジュール（３１０）及び第２サブ評価モジュール（３２０）は、事前学習された神経回路網を通じて前述の動作を実行することが可能である。この場合、各モジュール（３１０、３２０）の神経回路網は、入力画像に係るサイズと関係なく、分割（ｓｅｇｍｅｎｔａｔｉｏｎ）を実行できる畳み込み神経回路網を含むことが可能である。
図１３を参照すると、第１サブ評価モジュール（３１０）は、疑わしい結節の位置情報を基に生成された３次元パッチの入力を受け、疑わしい結節の全体領域を表す第１マスクを生成することが可能である。例えば、第１サブ評価モジュール（３１０）は、図３の探知モジュール（２００）によって生成された疑わしい結節の位置情報を基に生成された３次元パッチの入力を受け、パッチにおいて結節と疑われる領域を表す第１マスクを生成することが可能である。第１サブ評価モジュール（３１０）は、外部医療情報システムから受信された疑わしい結節の位置情報を基に生成された３次元パッチの入力を受け、パッチにおいて結節と疑われる領域を表す第１マスクを生成することも可能である。この場合、３次元パッチのサイズは［３２，３２，３２］になり得るが、これらに限らない。
また、第１サブ評価モジュール（３１０）は、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）構造を有する神経回路網を含むことが可能である。従って、第１サブ評価モジュール（３１０）は、入力のサイズと関係なく入力パッチを受信することが可能である。つまり、第１サブ評価モジュール（３１０）は、１つの疑わしい結節に係る多様なサイズの入力パッチの入力を受け、多様な出力を組み合わせ、疑わしい結節に係る第１マスクを生成することが可能である。例えば、評価モジュール（３００）に、１つの疑わしい結節に係る様々なサイズを有する複数の入力パッチが入力される場合、第１サブ評価モジュール（３１０）は、複数の入力パッチの各々から、１つの疑わしい結節に係る複数の第１サブマスクを生成することが可能である。第１サブ評価モジュール（３１０）は、複数の第１サブマスクを組み合わせ、組み合わせの結果に基づき、１つの疑わしい結節の全体領域に係る第１マスクを生成することが可能である。この場合、組み合わせ方式には、多様なアンサンブル（ｅｎｓｅｍｂｌｅ）アルゴリズムが適用されることが可能である。
第２サブ評価モジュール（３２０）は、疑わしい結節の位置情報を基に生成された３次元パッチの入力を受け、疑わしい結節の固形の要素（ｃｏｍｐｏｎｅｎｔ）を表す領域に係る第２マスクを生成することが可能である。例えば、第２サブ評価モジュール（３２０）は、図３の探知モジュール（２００）によって生成された疑わしい結節の位置情報を基に生成された３次元パッチの入力を受け、パッチにおいて結節と疑われる領域において固形の要素を表す領域に係る第２マスクを生成することが可能である。第１サブ評価モジュール（３１０）は、外部医療情報システムから受信された疑わしい結節の位置情報を基に生成された３次元パッチの入力を受け、パッチにおいて結節と疑われる領域において固形の要素を表す領域に係る第２マスクを生成することも可能である。この場合、３次元パッチのサイズは［３２，３２，３２］になり得るが、これらに限らない。
図１３を参照すると、疑わしい結節の固形の要素を表す領域に係る第２マスクは、疑わしい結節の全体領域に係る第１マスクに含まれるため、第２サブ評価モジュール（３２０）は、第１サブ評価モジュール（３１０）の出力結果を活用して、第２マスクを生成することが可能である。例えば、第２サブ評価モジュール（３２０）は、少なくとも１つの入力パッチを基に疑わしい結節の固形の要素を表す候補領域に係る第２サブマスクを生成することが可能である。第２サブ評価モジュール（３２０）は、第１サブ評価モジュール（３１０）によって生成された第１マスクと第２サブマスクとの重なり領域を識別することが可能である。第２サブ評価モジュール（３２０）は、識別領域を基に、疑わしい結節の固形の要素を表す第２マスクを生成することが可能である。この場合、第２サブ評価モジュール（３２０）の第２マスク生成のための神経回路網構造は、前述の第１サブ評価モジュール（３１０）の神経回路網構造に相応することが可能である。
一方、評価モジュール（３００）は、ＯＨＥＭ（ｏｎｌｉｎｅ ｈａｒｄ ｅｘａｍｐｌｅ ｍｉｎｉｎｇ）を用いて、比較的予測が難しい学習データを自動的に選択することで、神経回路網の学習を実行することが可能である。評価モジュール（３００）は、ＯＨＥＭを通じて学習されることで、マスク生成のための疑わしい結節の識別及び抽出の性能を向上させることが可能である。
図１４は、本開示の一実施例における、評価モジュールの動作の過程を示すフローチャートである。
図１４を参照すると、段階Ｓ４１０において、本開示の一実施例に基づくコンピューティング装置（１００）は、医療用画像管理システムから病変の分析のための医療画像を受信することが可能である。病変の分析のための医療画像は、胸部領域を含む３次元ＣＴ画像になることも可能である。コンピューティング装置（１００）は、探知モジュールを用いて、図７と同様の過程を通じて、医療画像から疑わしい結節の位置情報を抽出することが可能である。コンピューティング装置（１００）は、疑わしい結節の位置情報を基に、医療画像から評価モジュールの入力パッチを生成することが可能である。言い換えると、コンピューティング装置（１００）は、３次元ＣＴ画像に対する分析を通じて疑わしい結節の位置情報を識別して、３次元ＣＴ画像から結節と疑われる領域を含む所定の大きさの３次元パッチを抽出することが可能である。一方、前述のようにコンピューティング装置（１００）は、探知モジュールを用いて、疑わしい結節の位置情報を直接抽出することも可能であるが、外部システムを通じて疑わしい結節の位置情報を受信して使用することも可能である。
段階Ｓ４２０において、コンピューティング装置（１００）は、第１サブ評価モジュールを用いて、入力パッチを基に、疑わしい結節の全体領域に係る第１マスクを生成することが可能である。例えば、コンピューティング装置（１００）は、段階Ｓ４１０において生成された３次元パッチを第１サブ評価モジュールに入力することが可能である。コンピューティング装置（１００）は、３次元パッチの入力を受けた第１サブ評価モジュールを通じて、パッチにおいて疑わしい結節と判断される全ての領域を表す第１マスクを生成することが可能である。この場合、第１マスクは、疑わしい結節の全体領域に係る位置、大きさ等のメタ情報を含むデータの集合体として理解されることが可能である。
段階Ｓ４３０において、コンピューティング装置（１００）は、第２サブ評価モジュールを用いて、入力パッチを基に、疑わしい結節の特定の属性を表す候補領域に係る第２サブマスクを生成することが可能である。例えば、コンピューティング装置（１００）は、段階Ｓ４１０において生成された３次元パッチを第２サブ評価モジュールに入力することが可能である。コンピューティング装置（１００）は、３次元パッチの入力を受けた第２サブ評価モジュールを通じて、パッチにおいて疑わしい結節と判断される全ての領域のうち、固形の属性を表す候補領域に係る第２サブマスクを生成することが可能である。
段階Ｓ４４０において、コンピューティング装置（１００）は、第２サブ評価モジュールを用いて、段階Ｓ４２０において生成された第１マスクと、段階Ｓ４３０において生成された第２サブマスクとの重なり領域を基に、疑わしい結節の特定の属性を表す領域に係る第２マスクを生成することが可能である。例えば、コンピューティング装置（１００）は、第２サブ評価モジュールを通じて第１サブマスクと第２サブマスクとの間の重なり領域を識別することが可能である。コンピューティング装置（１００）は、重なり領域が疑わしい結節の固形の属性を表す領域であると最終的に判断し、第２サブ評価モジュールを通じて重なり領域を表す第２マスクを生成することが可能である。この場合、第２マスクは、疑わしい結節の固形の属性を表す領域に係る位置、大きさ等のメタ情報を含むデータの集合体として理解されることが可能である。
図１５及び図１６は、本開示の一実施例における、コンピューティング装置に含まれている分類モジュールの動作過程及び構造を示すブロック構成図である。
図１５を参照すると、本開示の一実施例におけるコンピューティング装置（１００）は、医療画像の入力パッチ（７１）及び疑わしい結節に係るマスク（７５）を基に、結節と疑われる領域の状態に係るクラス情報（７９）を生成する分類モジュール（４００）を含むことが可能である。分類モジュール（４００）は、胸部領域を含む医療画像から生成されたパッチ（７１）と共に、疑わしい結節を表すマスク（７５）の入力を受け、疑わしい結節の状態に係るクラスを分類することが可能である。この場合、コンピューティング装置（１００）は、分類モジュール（４００）の入力パッチ（７１）を、疑わしい結節の位置情報を基に、胸部領域を含む医療画像から抽出することが可能である。つまり、入力パッチ（71）は、疑わしい結節の位置情報と対応する領域を含む所定の画像単位になり得る。コンピューティング装置（１００）は、図３を通じて説明した探知モジュール（２００）を用いて、入力パッチ（７１）の生成に用いられる疑わしい結節の位置情報を生成することが可能である。コンピューティング装置（１００）は、ユーザー端末、外部医療情報システム等を通じて入力パッチ（７１）の生成に用いられる疑わしい結節の位置情報そのものを受信することも可能である。また、コンピューティング装置（１００）は、図１２を通じて説明した評価モジュール（３００）を用いて、入力パッチ（７１）から疑わしい結節の全体領域と特定の属性を表す領域のうち少なくとも１つを含むマスク（７５）を生成することが可能である。
分類モジュール（４００）は、医療画像から生成された入力パッチ（７１）及び疑わしい結節に係るマスク（７５）を基に、疑わしい結節の属性に係る類型を決定する第１サブ分類モジュール（４１０）を含むことが可能である。分類モジュール（４００）は、入力パッチ（７１）及びマスク（７５）を基に、疑わしい結節のスピキュラの有無を決定する第２サブ分類モジュール（４２０）を含むことが可能である。また、分類モジュール（４００）は、入力パッチ（７１）及びマスク（７５）を基に、疑わしい結節の石灰化の有無を決定する第３サブ分類モジュール（４３０）を含むことが可能である。分類モジュール（４００）は、前述の相異なる複数のサブ分類モジュール（４１０，４２０，４３０）を通じて、疑わしい結節の属性に係る類型、疑わしい結節のスピキュラの有無、疑わしい結節の石灰化の有無のうち少なくとも１つを決定し、クラス情報（７９）を出力することが可能である。この場合、第２サブ分類モジュール（４２０）は、事前学習された神経回路網を通じて前述の動作を実行することが可能である。
図１６を参照すると、第１サブ分類モジュール（４１０）は、疑わしい結節の位置情報を基に生成された３次元パッチと、３次元パッチから生成された疑わしい結節のマスクの入力を受け、疑わしい結節の属性に係る類型を分類することが可能である。この場合、疑わしい結節の属性に係る類型は、固形、部分的固形又は非固形を含むことが可能である。つまり、第１サブ分類モジュール（４１０）は、入力画像から識別された疑わしい結節が固形要素をどれくらい含んでいるかを判断することが可能である。例えば、第１サブ分類モジュール（４１０）は、深層学習アルゴリズムを用いて、３次元パッチ及びマスクを基に、疑わしい結節の属性に係る類型を固形、部分的固形又は非固形に分類することが可能である。また、第１サブ分類モジュール（４１０）は、所定のルール（ｒｕｌｅ）に基づいて、３次元パッチ及びマスクを基に、疑わしい結節の属性に係る類型を固形又は非固形に分類することが可能である。第１サブ分類モジュール（４１０）は、深層学習アルゴリズムに基づく分類結果とルールに基づく分類結果とを総合して、疑わしい結節の属性に係る類型を最終的に決定することが可能である。
第２サブ分類モジュール（４２０）は、事前学習された神経回路網に基づき、疑わしい結節の位置情報を基に生成された３次元パッチと、３次元パッチから生成された疑わしい結節のマスクとの入力を受け、疑わしい結節のスピキュラの有無を決定することが可能である。第２サブ分類モジュール（４２０）に含まれている神経回路網は、３次元特徴で学習された畳み込み神経回路網を含むことが可能である。第２サブ分類モジュール（４２０）のように、３次元パッチとそれを基に生成された疑わしい結節に係るマスクとを一緒に使用する場合、３次元パッチのみを使用する場合より、疑わしい結節の属性に係る分類性能を高めることが可能である。第２サブ分類モジュール（４２０）によって生成された疑わしい結節のスピキュラに係る情報は、疑わしい結節の評価（ｅ．ｇ．Ｌｕｎｇ－ＲＡＤＳ点数の算出、悪性度の算出等)に用いられることが可能である。
第３サブ分類モジュール（４３０）は、疑わしい結節の位置情報を基に生成された３次元パッチと、３次元パッチから生成された疑わしい結節のマスクとの入力を受け、疑わしい結節の石灰化の有無を決定することが可能である。具体的には、第３サブ分類モジュール（４３０）は、３次元パッチから、マスクに含まれている複数のボクセルのハウンズフィールドユニットの値が、所定のハウンズフィールドユニットの値より高い複数のボクセルの比率を演算することが可能である。第３サブ分類モジュール（４３０）は、前述の比率としきい値を比較し、比較の結果によって、パッチに存在する疑わしい結節の石灰化の有無を決定することが可能である。例えば、第３サブ分類モジュール（４３０）は、マスクに含まれている全体のボクセルの数に対する所定のハウンズフィールドユニットの値以上のボクセルの数を、３次元パッチを基に演算することが可能である。ハウンズフィールドユニットの値を基に演算されたボクセルの比率が、特定のしきい値より高ければ、第３サブ分類モジュール（４３０）は、３次元パッチに含まれている疑わしい結節において石灰化が進んでいると判断することが可能である。ハウンズフィールドユニットの値を基に演算されたボクセルの比率が特定のしきい値より低ければ、第３サブ分類モジュール（４３０）は、３次元パッチに含まれている疑わしい結節に石灰化が進んでいないと判断することが可能である。第３サブ分類モジュール（４３０）によって生成された疑わしい結節の石灰化情報は、疑わしい結節の評価（ｅ．ｇ．Ｌｕｎｇ－ＲＡＤＳ点数の算出、悪性度の算出等)に用いられることが可能である。
一方、第３サブ分類モジュール（４３０）は、事前学習された神経回路網に基づき、疑わしい結節の石灰化の有無を決定することも可能である。例えば、第３サブ分類モジュール（４３０）は、３次元パッチ及びマスクの入力を受け、事前学習された神経回路網を通じて、疑わしい結節の石灰化の進行如何を判断することが可能である。また、第３サブ分類モジュール（４３０）は、３次元パッチ及びマスクの入力を受け、事前学習された神経回路網を通じて、疑わしい結節を石灰化又は非石灰化に分類することが可能である。
図１７は、本開示の一実施例における、分類モジュールに含まれている第１サブ分類モジュールの構造を示すブロック構成図である。
図１７を参照すると、第１サブ分類モジュール（４１０）は、疑わしい結節の位置情報を基に生成された３次元パッチと、３次元パッチから生成された疑わしい結節のマスクの入力を受け、疑わしい結節の固形の属性に係る第１類型を決定する第１属性分類モジュール（４１１）を含むことが可能である。第１サブ分類モジュール（４１０）は、３次元パッチ及び疑わしい結節のマスクの入力を受け、疑わしい結節の固形の属性に係る第２類型を決定する第２属性分類モジュール（４１２）を含むことが可能である。また、第１サブ分類モジュール（４１０）は、第１属性分類モジュール（４１１）と第２属性分類モジュール（４１２）の出力を比較した結果に基づき、疑わしい結節の固形の属性に係る類型を最終的に決定する第３属性分類モジュール（４１３）を含むことが可能である。この場合、第１属性分類モジュール（４１１）は、事前学習された神経回路網を通じて前述の動作を実行することが可能である。
第１属性分類モジュール（４１１）は、事前学習された神経回路網に基づき、疑わしい結節の位置情報を基に生成された３次元パッチと、３次元パッチから生成された疑わしい結節のマスクの入力を受け、疑わしい結節の固形の属性に係る第１類型を決定することが可能である。この場合、第１類型は、固形、部分的固形、非固形のうち１つを含むことが可能である。第１属性分類モジュール（４１１）に含まれている神経回路網は、３次元特徴で学習された畳み込み神経回路網を含むことが可能である。第１属性分類モジュール（４１１）と共に、３次元パッチとそれを基に生成された疑わしい結節に係るマスクを一緒に使用する場合、３次元パッチのみを使用する場合より、疑わしい結節の固形の属性に係る分類性能を高めることが可能である。第１属性分類モジュール（４１１）によって生成された疑わしい結節の第１類型は、疑わしい結節の固形の属性に係る類型を最終的に決定するのに用いられることが可能である。
第２属性分類モジュール（４１２）は、疑わしい結節の位置情報を基に生成された３次元パッチと、３次元パッチから生成された疑わしい結節のマスクの入力を受け、疑わしい結節の固形の属性に係る第２類型を決定することが可能である。この場合、第２類型は、固形と非固形のうち１つを含むことが可能である。具体的には、第２属性分類モジュール（４１２）は、３次元パッチから、マスクに含まれている複数のボクセルのハウンズフィールドユニットの値が、所定のハウンズフィールドユニットの値より高い複数のボクセルの比率を演算することが可能である。第２属性分類モジュール（４１２）は、前述の比率としきい値を比較し、比較の結果に基づいてパッチに存在する疑わしい結節の第２類型を決定することが可能である。例えば、第２属性分類モジュール（４１２）は、マスクに含まれている全体のボクセルの数に対する所定のハウンズフィールドユニットの値以上のボクセルの数を、３次元パッチを基に演算することが可能である。ハウンズフィールドユニットの値を基に演算されたボクセルの比率が、特定のしきい値より高ければ、第２属性分類モジュール（４１２）は、３次元パッチに含まれている疑わしい結節が固形に該当すると判断することが可能である。ハウンズフィールドユニットの値を基に演算されたボクセルの比率が特定のしきい値より低ければ、第２属性分類モジュール（４１２）は、３次元パッチに含まれている疑わしい結節が非固形に該当すると判断することが可能である。第２属性分類モジュール（４１２）によって生成された疑わしい結節の第2類型は、疑わしい結節の固形の属性に係る類型を最終的に決定するのに用いられることが可能である。
第３属性分類モジュール（４１３）は、第１属性分類モジュール（４１１）の出力である第１類型と、第２属性分類モジュール（４１２）の出力である第２類型とを比較し、疑わしい結節の固形の属性に係る類型を最終的に決定することが可能である。具体的には、第３属性分類モジュール（４１３）は、第１類型が第２類型に含まれる類型であるか否かを判断することが可能である。第１類型が第２類型に含まれない類型である場合、第３属性分類モジュール（４１３）は、第１類型を、上記疑わしい結節の固形の属性に係る最終類型として決定することが可能である。第１類型が第２類型に含まれる類型である場合、第３属性分類モジュール（４１３）は、第２類型を、疑わしい結節の固形の属性に係る最終的な類型として決定することが可能である。例えば、第１類型が部分的固形と決定された場合、第１類型は、固形と非固形のうち１つである第２類型に含まれない類型であるため、第３属性分類モジュール（４１３）は、第１類型である部分的固形を、疑わしい結節の固形の属性に係る類型として最終的に決定することが可能である。第１類型が固形と非固形のうち１つに決定された場合、第１類型は、固形と非固形のうち１つである第２類型に含まれる類型であるため、第３属性分類モジュール（４１３）は、第２類型を、疑わしい結節の固形の属性に係る類型として最終的に決定することが可能である。
図１８は、本開示の一実施例における、分類モジュールの動作の過程を示すブロック構成図である。
図１８を参照すると、段階Ｓ５１０において、本開示の一実施例におけるコンピューティング装置（１００）は、外部画像分析システムから、病変の分析のための医療画像から生成されたパッチ及び病変に係るマスクを受信することが可能である。病変の分析のための医療画像は、胸部領域を含む３次元ＣＴ画像になることも可能である。パッチは、疑わしい結節の位置情報を基に、３次元ＣＴ画像から抽出された３次元パッチになり得る。病変に係るマスクは、３次元パッチを基に生成された疑わしい結節の全体領域、又は固形の属性を表す領域のうち、少なくとも１つに係るマスクになり得る。
段階Ｓ５１０において、コンピューティング装置（１００）は、病変の分析のための医療画像を受信し、医療画像から生成されたパッチ及び病変に係るマスクを自ら生成することも可能である。コンピューティング装置（１００）は、探知モジュールを用いて、図７と同様の過程を通じて、医療画像から疑わしい結節の位置情報を抽出することが可能である。コンピューティング装置（１００）は、疑わしい結節の位置情報を基に、医療画像から評価モジュールの入力パッチを生成することが可能である。言い換えると、コンピューティング装置（１００）は、３次元ＣＴ画像に対する分析を通じて疑わしい結節の位置情報を識別して、３次元ＣＴ画像から結節と疑われる領域を含む所定の大きさの３次元パッチを抽出することが可能である。一方、前述のようにコンピューティング装置（１００）は、探知モジュールを用いて、疑わしい結節の位置情報を直接抽出することも可能であるが、外部システムを通じて疑わしい結節の位置情報を受信して使用することも可能である。また、コンピューティング装置（１００）は、評価モジュールを用いて、図１４のような過程を通じて、３次元パッチから疑わしい結節に係るマスクを生成することが可能である。
コンピューティング装置（１００）は、段階Ｓ５１０を通じて、受信又は生成された３次元パッチ及びマスクを基に、疑わしい結節の固形の属性に係る類型を決定するための段階Ｓ５２０乃至Ｓ５４０、疑わしい結節のスピキュラの有無を決定するための段階Ｓ５５０、又は疑わしい結節の石灰化の有無を決定するための段階Ｓ５６０をそれぞれ区別し、必要に応じて個別に実行することが可能である。コンピューティング装置（１００）は、各段階を個別に実行し、疑わしい結節を評価するために活用されるクラス情報を生成することが可能である。
段階Ｓ５２０において、コンピューティング装置（１００）は、３次元特徴で事前学習された第１属性分類モジュールを用いて、パッチ及びマスクを基に、疑わしい結節の固形の属性に係る第１類型を決定することが可能である。例えば、コンピューティング装置（１００）は、段階Ｓ５１０において、受信又は生成された３次元パッチと共に、３次元パッチから生成されたマスクを神経回路網に基づく第１属性分類モジュールに入力することが可能である。コンピューティング装置（１００）は、３次元パッチとマスクの入力を受けた第１属性分類モジュールを通じて、パッチにおいて結節と判断される領域の属性を固形、部分的固形又は非固形に分類することが可能である。従って、第１類型は、固形、部分的固形、非固形のうち１つとして決定されることが可能である。
段階Ｓ５３０において、コンピューティング装置（１００）は、第２属性分類モジュールを用いて、パッチ及びマスクを基に、疑わしい結節の固形の属性に係る第２類型を決定することが可能である。例えば、コンピューティング装置（１００）は、段階Ｓ５１０において、受信又は生成された３次元パッチと共に、３次元パッチから生成されたマスクを、ルールに基づく第２属性分類モジュールに入力することが可能である。コンピューティング装置（１００）は、３次元パッチとマスクの入力を受けた第２属性分類モジュールを通じて、パッチにおいて結節と判断される領域の属性を、固形又は非固形に分類することが可能である。この場合、第２属性分類モジュールは、マスクに含まれているボクセルのハウンズフィールドユニットの値を基に、パッチにおいて結節と判断される領域の属性を、固形又は非固形に分類することが可能である。従って、第２類型は、固形と非固形のうち１つとして決定されることが可能である。段階Ｓ５３０は、段階Ｓ５１０と並列的に実行されることが可能である。
段階Ｓ５４０において、コンピューティング装置（１００）は、第３属性分類モジュールを用いて、段階Ｓ５２０において決定された第１類型と、段階Ｓ５３０において決定された第２類型とを基に、疑わしい結節の固形の属性に係る最終的な類型を決定することが可能である。例えば、コンピューティング装置（１００）は、第３属性分類モジュールを用いて、第１類型と第２類型を比較することが可能である。第１類型が、第２類型の中の１つに含まれない固有の類型である場合、コンピューティング装置（１００）は、第３属性分類モジュールを用いて、第１類型を疑わしい結節の固形の属性に係る最終的な類型として決定することが可能である。第１類型が、第２類型の中の１つに含まれる類型である場合、コンピューティング装置（１００）は、第３属性分類モジュールを用いて、第２類型を疑わしい結節の固形の属性に係る最終的な類型として決定することが可能である。
段階Ｓ５５０において、コンピューティング装置（１００）は、３次元特徴で事前学習された第２サブ分類モジュールを用いて、パッチ及びマスクを基に、疑わしい結節のスピキュラの有無を決定することが可能である。例えば、コンピューティング装置（１００）は、段階Ｓ５１０において、受信又は生成された３次元パッチと共に、３次元パッチから生成されたマスクを神経回路網に基づく第２サブ分類モジュールに入力することが可能である。コンピューティング装置（１００）は、３次元パッチとマスクの入力を受けた第２サブ分類モジュールを通じて、パッチにおいて結節と判断される領域のスピキュラの有無を決定することが可能である。この場合、第２サブ分類モジュールに含まれている神経回路網構造は、第１属性分類モジュールに含まれている神経回路網構造と対応することが可能である。
段階Ｓ５６０において、コンピューティング装置（１００）は、第３サブ分類モジュールを用いて、パッチ及びマスクを基に、疑わしい結節の石灰化の有無を決定することが可能である。例えば、コンピューティング装置（１００）は、段階Ｓ５１０において、受信又は生成された３次元パッチと共に、３次元パッチから生成されたマスクをルールに基づく第３サブ分類モジュールに入力することが可能である。コンピューティング装置（１００）は、３次元パッチとマスクの入力を受けた第３サブ分類モジュールを通じて、パッチにおいて結節と判断される領域の石灰化の有無を決定することが可能である。この場合、第３サブ分類モジュールは、マスクに含まれているボクセルのハウンズフィールドユニットの値を基に、パッチにおいて結節と判断される領域に石灰化が進んでいるか否かを判断することが可能である。また、コンピューティング装置（１００）は、段階Ｓ５１０において、受信又は生成された３次元パッチと共に、３次元パッチから生成されたマスクを深層学習アルゴリズムに基づく第３サブ分類モジュールに入力することも可能である。コンピューティング装置（１００）は、３次元パッチとマスクの入力を受けた事前学習された第３サブ分類モジュールを通じて、パッチにおいて結節と判断される領域の石灰化の有無を決定することが可能である。
本開示の一実施例に基づき、データ構造を保存したコンピューター可読保存媒体が開示される。
データ構造は、データに効率的なアクセスおよび修正を可能にするデータの組織、管理、保存を意味することができる。データ構造は、特定の問題（例えば、最短時間でデータ検索、データ保存、データ修正）を解決するためのデータ組織を意味することができる。データ構造は、特定のデータ処理機能をサポートするように設計されたデータ要素間の物理的または論理的な関係と定義することもできる。データ要素間の論理的な関係は、ユーザーが考えるデータ要素間の連結関係を含むことができる。データ要素間の物理的な関係は、コンピューター可読保存媒体(例えば、ハードディスク）に物理的に保存されているデータ要素間の実際の関係を含むことができる。データ構造は具体的にデータの集合、データ間の関係、データに適用できる関数またはコマンドを含むことができる。効果的に設計されたデータ構造により、コンピューティング装置はコンピューティング装置のリソースを最小限に使用しながら計算を行うことができる。具体的にコンピューティング装置は効果的に設計されたデータ構造を通じて演算、読み取り、挿入、削除、比較、交換、検索の効率性を高めることができる。
データ構造はデータ構造の形態によって線形データ構造と非線形データ構造に区分されることができる。線形データ構造は、一つのデータの後に一つのデータだけが連結される構造である可能性がある。線形データ構造はリスト（Ｌｉｓｔ）、スタック（Ｓｔａｃｋ）、キュー（Ｑｕｅｕｅ）、デッキ（Ｄｅｑｕｅ）を含むことができる。リストは、内部的に順序が存在する一連のデータセットを意味することが可能である。リストは連結リスト（Ｌｉｎｋｅｄ Ｌｉｓｔ）を含むことができる。連結リストはそれぞれのデータがポインタを持って一列に連結されている方式でデータが連結されたデータ構造でありうる。連結リストでポインタは、次や以前のデータとの連結情報を含むことができる。連結リストは形態によって単一連結リスト、二重連結リスト、円形連結リストで表現できる。スタックは制限的にデータにアクセスできるデータリスト構造である可能性がある。スタックは、データ構造の片端でのみデータを処理（例えば、挿入または削除）できる線形データ構造である可能性がある。スタックに保存されたデータは、遅く入るほど早く出てくるデータ構造（ＬＩＦＯ－Ｌａｓｔ ｉｎ Ｆｉｒｓｔ Ｏｕｔ）である可能性がある。キューは制限的にデータにアクセスできるデータ羅列構造であり、スタックとは異なり遅く保存されたデータほど遅く出てくるデータ構造（ＦＩＦＯ－Ｆｉｒｓｔ ｉｎ Ｆｉｒｓｔ Ｏｕｔ）であることができる。デッキはデータ構造の両端でデータを処理できるデータ構造になり得る。
非線形データ構造は、一つのデータの後に複数のデータが連結される構造である可能性がある。非線形データ構造はグラフ（Ｇｒａｐｈ）データ構造を含むことができる。グラフデータ構造は頂点（Ｖｅｒｔｅｘ）と幹線（Ｅｄｇｅ）で定義でき、幹線は互いに異なる二つの頂点を連結する線を含むことができる。グラフデータ構造ツリー（Ｔｒｅｅ）データ構造を含むことができる。ツリーデータ構造はツリーに含まれる複数の頂点のうち、互いに異なる2つの頂点を連結させる経路が一つのデータ構造になり得る。すなわち、グラフデータ構造でループ（ｌｏｏｐ）を形成しないデータ構造になり得る。
本明細書において、演算モデル、神経回路網、ネットワーク関数、ニューラルネットワークは同じ意味で使用できる（以下ではニューラルネットワークで統一して記述する）。データ構造はニューラルネットワークを含むことができる。そして、ニューラルネットワークを含むデータ構造は、コンピューター可読保存媒体に保存されることができる。ニューラルネットワークを含むデータ構造はまた、ニューラルネットワークに入力されるデータ、ニューラルネットワークの加重値、ニューラルネットワークのハイパーパラメータ、ニューラルネットワークから獲得したデータ、ニューラルネットワークの各ノードまたはレイヤーに関連する活性関数、ニューラルネットワークの学習のための損失関数を含むことができる。ニューラルネットワークを含むデータ構造は、前記開示された構成のうち任意の構成要素を含むことができる。すなわち、ニューラルネットワークを含むデータ構造は、ニューラルネットワークに入力されるデータ、ニューラルネットワークの加重値、ニューラルネットワークのハイパーパラメータ、ニューラルネットワークから獲得したデータ、ニューラルネットワークの各ノードまたはレイヤーに関連する活性関数、ニューラルネットワークのトレーニングのための損失関数など、全部またはこれらの任意の組み合わせを含んで構成されることができる。前述した構成以外にも、ニューラルネットワークを含むデータ構造は、ニューラルネットワークの特性を決定する任意の他の情報を含むことができる。また、データ構造は、ニューラルネットワークの演算過程で使用されたり発生するすべての形態のデータを含むことができ、前述の事項に制限されるわけではない。コンピューター可読保存媒体は、コンピューター可読記録媒体及び／またはコンピューター可読伝送媒体を含むことができる。ニューラルネットワークは、一般的にノードと呼ばれる相互接続された計算単位の集合で構成されることができる。このようなノードはニューロン（ｎｅｕｒｏｎ）と呼ばれることができる。ニューラルネットワークは、少なくとも1つ以上のノードを含んで構成される。
データ構造は、ニューラルネットワークに入力されるデータを含むことができる。ニューラルネットワークに入力されるデータを含むデータ構造は、コンピューター可読保存媒体に保存されることができる。ニューラルネットワークに入力されるデータは、ニューラルネットワークの学習過程で入力される学習データ及び／または学習が完了したニューラルネットワークに入力される入力データを含むことができる。ニューラルネットワークに入力されるデータは、前処理（ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ）を経たデータ及び／または前処理対象となるデータを含むことができる。前処理はデータをニューラルネットワークに入力させるためのデータ処理過程を含むことができる。したがって、データ構造は前処理対象となるデータおよび前処理で発生するデータを含むことができる。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
データ構造は、ニューラルネットワークの加重値を含むことができる(本明細書で加重値、パラメータは同じ意味で使用できる)。そして、神経回路網の加重値を含むデータ構造はコンピューター可読保存媒体に保存されることができる。ニューラルネットワークは、複数の加重値を含むことができる。加重値は可変的であり、ニューラルネットワークが望む機能を遂行するために、ユーザーまたはアルゴリズムによって可変することができる。例えば、一つの出力ノードに一つ以上の入力ノードがそれぞれのリンクによって相互接続された場合、出力ノードは前記出力ノードと連結された入力ノードに入力された値及びそれぞれの入力ノードに対応するリンクに設定されたパラメータに基づいて出力ノード値を決定することができる。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
制限ではなく例として、加重値は神経回路網学習過程で可変する加重値及び／または神経回路網学習が完了した加重値を含むことができる。ニューラルネットワーク学習過程で可変される加重値は、学習サイクルが始まる時点の加重値及び／または学習サイクルの間に可変される加重値を含むことができる。ニューラルネットワーク学習が完了した加重値は、学習サイクルが完了した加重値を含むことができる。したがって、ニューラルネットワークの加重値を含むデータ構造は、ニューラルネットワーク学習過程で可変される加重値及び／またはニューラルネットワーク学習が完了した加重値を含むデータ構造を含むことができる。したがって、上述した加重値及び／または各加重値の組み合わせは、神経回路網の加重値を含むデータ構造に含まれるものとする。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
ニューラルネットワークの加重値を含むデータ構造は、直列化（ｓｅｒｉａｌｉｚａｔｉｏｎ）過程を経た後、コンピューター可読保存媒体(例えば、メモリ、ハードディスク)に保存されることができる。直列化は、データ構造を同一または他のコンピューティングデバイスに保存し、後で再構成して使用できる形態に変換する過程である可能性がある。コンピューティングデバイスは、データ構造を直列化し、ネットワークを介してデータを送受信することができる。直列化されたニューラルネットワークの加重値を含むデータ構造は、逆直列化（ｄｅｓｅｒｉａｌｉｚａｔｉｏｎ）を通じて同じコンピューティング装置または他のコンピューティング装置で再構成されることができる。ニューラルネットワークの加重値を含むデータ構造は、シリアル化に限定されるものではない。さらに、神経回路網の加重値を含むデータ構造は、コンピューティング装置の資源を最小限に使用しながら演算の効率を高めるためのデータ構造（例えば、非線形データ構造でＢ－Ｔｒｅｅ，Ｔｒｉｅ，ｍ－ｗａｙ ｓｅａｒｃｈ ｔｒｅｅ，ＡＶＬ ｔｒｅｅ，Ｒｅｄ－Ｂｌａｃｋ Ｔｒｅｅ）を含むことができる。前述の事項は例示に過ぎず、本開示はこれに限定されない。
データ構造は、ニューラルネットワークのハイパーパラメータ（Ｈｙｐｅｒ－ｐａｒａｍｅｔｅｒ）を含むことができる。そして、ニューラルネットワークのハイパーパラメータを含むデータ構造は、コンピューター可読保存媒体に保存されることができる。ハイパーパラメータは、ユーザーによって可変される変数である可能性がある。ハイパーパラメータは、例えば、学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）、コスト関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）、学習サイクル反復回数、加重値初期化（例えば、加重値初期化対象となる加重値の範囲設定）、Ｈｉｄｄｅｎ Ｕｎｉｔ個数（例えば、ヒドゥンレイヤーの個数、ヒドゥンレイヤーのノード数）を含むことができる。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
図１９は、本開示の実施例が具現化されることのできる例示的なコンピューティング環境に係る簡略で一般的な概略図である。
本開示が一般的にコンピューティング装置により具現化されることができると前述されているが、当業者であれば本開示が一つ以上のコンピューター上で実行されることのできるコンピューター実行可能命令及び／またはその他のプログラムモジュールと結合して及び／またはハードウェアとソフトウェアの組み合わせとして具現化されることができるということをよく理解できるだろう。
一般的に、本明細書におけるモジュールは、特定のタスクを実行したり、特定の抽象的なデータ類型を実装するルーティン、プログラム、コンポーネント、データ構造、その他等々を含む。また、当業者なら本開示の方法がシングルプロセッサーまたはマルチプロセッサーコンピューターシステム、ミニコンピューター、メインフレームコンピューターはもちろん、パーソナルコンピューター、ハンドヘルド（ｈａｎｄｈｅｌｄ）コンピューティング装置、マイクロプロセッサー基盤、またはプログラム可能な家電製品、その他等々（これらは、それぞれ１つ以上の関連する装置と繋がって動作することができる）をはじめとする、他のコンピューターシステムの構成によって実施されることができることをよく理解できるだろう。
本開示において説明された実施例は、さらに、あるタスクが通信ネットワークを通じて繋がっている遠隔処理装置によって実行される分散コンピューティング環境で実施されることができる。分散コンピューティング環境において、プログラムモジュールは、ローカルや遠隔メモリー保存装置の両方に位置することができる。
コンピューターは、多様なコンピューター可読媒体を含む。コンピューターによってアクセス可能な媒体はいずれもコンピューター可読媒体になり得るが、このようなコンピューター可読媒体は揮発性及び非揮発性媒体、一時的（ｔｒａｎｓｉｔｏｒｙ）及び非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）媒体、移動式及び非－移動式媒体を含む。制限ではなく例として、コンピューター可読媒体は、コンピューター可読保存媒体及びコンピューター可読伝送媒体を含むことができる。コンピューター可読保存媒体は、コンピューター可読命令、データ構造、プログラムモジュール又はその他のデータのような情報を保存する任意の方法又は技術により実装される揮発性及び非揮発性媒体、一時的及び非－一時的媒体、移動式及び非移動式媒体を含む。コンピューター可読保存媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリーまたはその他のメモリー技術、ＣＤ－ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ）またはその他の光ディスク保存装置、磁気カセット、磁気テープ、磁気ディスク保存装置またはその他の磁気保存装置、またはコンピューターによってアクセスされることができ、情報を保存するのに使われることのできる任意のその他の媒体を含むが、これに限定されない。
コンピューター可読伝送媒体は、通常、搬送波（ｃａｒｒｉｅｒ ｗａｖｅ）またはその他の伝送メカニズム（ｔｒａｎｓｐｏｒｔ ｍｅｃｈａｎｉｓｍ）のような被変調データ信号（ｍｏｄｕｌａｔｅｄ ｄａｔａ ｓｉｇｎａｌ）にコンピューター可読命令、データ構造、プログラムモジュールまたはその他のデータ等を実装し、すべての情報伝達媒体を含む。被変調データ信号という用語は、信号の中で情報をエンコードするように、その信号の特性のうち１つ以上を設定または変更した信号を意味する。制限ではなく例として、コンピューター可読伝送媒体は、有線ネットワークまたは直接配線接続（ｄｉｒｅｃｔ－ｗｉｒｅｄ ｃｏｎｎｅｃｔｉｏｎ）のような有線媒体、そして音響、ＲＦ、赤外線、その他の無線媒体のような無線媒体を含む。前述の媒体のいずれかによる任意の組み合わせもまたコンピューター可読伝送媒体の範囲に含まれるものとする。
コンピューター（１１０２）を含む本開示の多様な側面を実現する例示的な環境（１１００）が示されており、コンピューター（１１０２）は、処理装置（１１０４）、システムメモリー（１１０６）、システムバス（１１０８）を含む。システムバス（１１０８）は、システムメモリー（１１０６）（これに限定されない）をはじめとするシステムコンポーネントを処理装置（１１０４）につなげる。処理装置（１１０４）は、多様な商用プロセッサーのうち任意のプロセッサーになり得る。デュエルプロセッサーとその他のマルチプロセッサーアーキテクチャもまた処理装置（１１０４）として利用されることができる。
システムバス（１１０８）は、メモリーバス、周辺装置バス、そして多様な商用バスアーキテクチャの中から、任意のものを使用するローカルバスにさらに相互連結されることのできる複数の類型のバス構造のうちいずれかになり得る。システムメモリー（１１０６）は、読み取り専用メモリー（ＲＯＭ）（１１１０）やランダムアクセスメモリー（ＲＡＭ）（１１１２）を含む。基本的な入出力システム（ＢＩＯＳ）は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の非揮発性メモリー（１１１０）に保存され、このＢＩＯＳは、起動中の時等にコンピューター（１１０２）の中の複数の構成要素間の情報のやりとりをサポートする基本的なルーティンを含む。ＲＡＭ（１１１２）は、またデータをキャッシュするための静的ＲＡＭ等の高速ＲＡＭを含むことができる。
コンピューター（１１０２）においては、また、内蔵型ハードディスクドライブ（ＨＤＤ）（１１１４）（例えば、ＥＩＤＥ、ＳＡＴＡ）－この内蔵型ハードディスクドライブ（１１１４）はまた適切なシャシー（図示は省略）の中で外付け型の用途で構成されることができる－、磁気フロッピーディスクドライブ（ＦＤＤ）（１１１６）（例えば、移動式ディスケット（１１１８）から読み取ったりそれに書き込むためのものである）及び光ディスクドライブ（１１２０）（例えば、ＣＤ－ＲＯＭディスク（１１２２）を読み取ったり、ＤＶＤ等のその他の高容量光媒体から読み取ったり、それに書き込むためのものである）を含む。ハードディスクドライブ（１１１４）、磁気ディスクドライブ（１１１６）及び光ディスクドライブ（１１２０）は、それぞれハードディスクドライブインターフェース（１１２４）、磁気ディスクドライブインターフェース（１１２６）及び光ドライブインターフェース（１１２８）によってシステムバス（１１０８）に繋がることができる。外付け型ドライブの実装のためのインターフェース（１１２４）は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＩＥＥＥ１３９４インターフェース技術のうち、少なくとも１つまたはその両方を含む。
これらのドライブ及びこれらに係るコンピューター可読媒体は、データ、データ構造、コンピューターで実行可能な命令、その他等々の非揮発性保存を提供する。コンピューター（１１０２）の場合、ドライブ及び媒体は、任意のデータを適切なデジタル形式に保存することに対応する。前述におけるコンピューター可読保存媒体に係る説明が、ＨＤＤ、移動式磁気ディスク及びＣＤまたはＤＶＤ等の移動式光媒体について触れているが、当業者ならジップドライブ（ｚｉｐ ｄｒｉｖｅ）、磁気カセット、フラッシュメモリーカード、カートリッジ、その他等々のコンピューターにより読み取り可能な他の類型の保存媒体もまた例示的な運営環境で使われることができ、さらに、このような媒体のうち任意のある媒体が、本開示の方法を実行するためのコンピューターで実行可能な命令を含むことができることをよく理解できるだろう。
運営システム（１１３０）、１つ以上のアプリケーションプログラム（１１３２）、その他のプログラムモジュール（１１３４）及びプログラムデータ（１１３６）をはじめとする多数のプログラムモジュールが、ドライブ及びＲＡＭ（１１１２）に保存されることができる。運営システム、アプリケーション、モジュール及び／またはデータの全部またはその一部分がまたＲＡＭ（１１１２）にキャッシュされることができる。本開示が商業的に利用可能な様々な運営システムまたは複数の運営システムの組み合わせにより実装されることができることをよく理解できるだろう。
ユーザーは、１つ以上の有線・無線の入力装置、例えば、キーボード（１１３８）及びマウス（１１４０）等のポインティング装置を通じてコンピューター（１１０２）に命令及び情報を入力することができる。その他の入力装置（図示は省略）としてはマイク、ＩＲリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、その他等々があり得る。これら及びその他の入力装置が、よくシステムバス（１１０８）に繋がっている入力装置インターフェース（１１４２）を通じて処理装置（１１０４）に繋がることがあるが、並列ポート、ＩＥＥＥ１３９４直列ポート、ゲームポート、ＵＳＢポート、ＩＲインターフェース、その他等々のその他のインターフェースによって繋がることができる。
モニター（１１４４）または他の類型のディスプレイ装置も、ビデオアダプター（１１４６）等のインターフェースを通じてシステムバス（１１０８）に繋がる。モニター（１１４４）に加えて、コンピューターは一般的にスピーカー、プリンター、その他等々のその他の周辺出力装置（図示は省略）を含む。
コンピューター（１１０２）は、有線及び／または無線通信による（複数の）遠隔コンピューター（１１４８）等の１つ以上の遠隔コンピューターへの論理的接続を利用し、ネットワーク化された環境で動作することができる。（複数の）遠隔コンピューター（１１４８）は、ワークステーション、サーバーコンピューター、ルーター、パーソナルコンピューター、携帯用コンピューター、マイクロプロセッサー基盤の娯楽機器、ピア装置またはその他の通常のネットワークノードになることができ、一般的にコンピューター（１１０２）について述べられた構成要素のうち、多数またはその全部を含むが、簡略化するために、メモリー保存装置（１１５０）のみ図示されている。図示されている論理的接続は、近距離通信網（ＬＡＮ）（１１５２）及び／または、より大きいネットワーク、例えば、遠距離通信網（ＷＡＮ）（１１５４）における有線・無線の接続を含む。このようなＬＡＮ及びＷＡＮのネットワーキング環境は、オフィスや会社では一般的なもので、イントラネット等の全社的コンピューターネットワーク（ｅｎｔｅｒｐｒｉｓｅ－ｗｉｄｅ ｃｏｍｐｕｔｅｒ ｎｅｔｗｏｒｋ）を容易にし、これらはすべて全世界のコンピューターネットワーク、例えば、インターネットに繋がることができる。
ＬＡＮネットワーキング環境で使われるとき、コンピューター（１１０２）は、有線及び／または無線通信ネットワークインターフェース、または、アダプター（１１５６）を通じてローカルネットワーク（１１５２）に繋がる。アダプター（１１５６）は、ＬＡＮ（１１５２）への有線または無線通信を容易にすることができ、このＬＡＮ（１１５２）は、また無線アダプター（１１５６）と通信するためにそれに設置されている無線アクセスポイントを含む。ＷＡＮネットワーキング環境で使われるとき、コンピューター（１１０２）は、モデム（１１５８）を含むことができたり、ＷＡＮ（１１５４）上の通信サーバーに繋がったり、またはインターネットを通じる等、ＷＡＮ（１１５４）を通じて通信を設定するその他の手段を持つ。内蔵型又は外付け型、そして、有線または無線装置になり得るモデム（１１５８）は、直列ポートインターフェース（１１４２）を通じてシステムバス（１１０８）に繋がる。ネットワーク化された環境において、コンピューター（１１０２）について説明されたプログラムモジュールまたはその一部分が、遠隔メモリー／保存装置（１１５０）に保存されることができる。図示されたネットワーク接続が例示的なものであり、複数のコンピューター間で通信リンクを設定する他の手段が使われることができるということは容易に理解できることである。
コンピューター（１１０２）は、無線通信で配置されて動作する任意の無線装置またはユニット、例えば、プリンター、スキャナー、デスクトップ及び／または携帯用コンピューター、ＰＤＡ（ｐｏｒｔａｂｌｅ ｄａｔａ ａｓｓｉｓｔａｎｔ）、通信衛星、無線で検出可能なタグに係る任意の装備または場所、及び電話と通信する動作をする。これは、少なくともＷｉ－Ｆｉ及びブルートゥース（登録商標）無線技術を含む。従って、通信は、従来のネットワークのように予め定義された構造であったり、単純に少なくとも２つの装置の間でのアドホック通信（ａｄ ｈｏｃ ｃｏｍｍｕｎｉｃａｔｉｏｎ）になり得る。
Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）は、有線で繋がっていなくても、インターネット等への接続を可能にする。Ｗｉ－Ｆｉは、このような装置、例えば、コンピューターが室内及び室外で、つまり基地局の通話圏内のどこからでもデータを送受信できるようにするセル電話のような無線技術である。Ｗｉ－Ｆｉネットワークは、安全で信頼性があり、高速である無線接続を提供するためにＩＥＥＥ８０２．１１（ａ、ｂ、ｇ、その他）という無線技術を使う。コンピューターを互いに、インターネット及び有線ネットワーク（ＩＥＥＥ８０２．３またはイーサネットを使う）に接続するためにＷｉ－Ｆｉが使われることができる。Ｗｉ－Ｆｉネットワークは、非認可２．４や５ＧＨｚの無線帯域において、例えば、１１Ｍｂpｓ（８０２．１１ａ）または５４Ｍｂpｓ（８０２．１１ｂ）のデータレートで動作したり、両帯域（デュエル帯域）を含む製品において動作することができる。
本開示の技術分野における通常の知識を持つ者は、情報及び信号が任意の多様な異なる技術及び手法を利用して示されることができることを理解できる。例えば、前記の説明において参照できるデータ、指示、命令、情報、信号、ビット、シンボル及びチップは、電圧、電流、電磁波、磁場等または粒子、光学場等または粒子、またはこれらの任意の組み合わせによって示されることができる。
本開示の技術分野において通常の知識を持つ者は、ここに開示された実施例に係る説明で取り挙げられた多様な例示的な論理ブロック、モジュール、プロセッサー、手段、回路、アルゴリズム段階が電子ハードウェア、（利便性のために、ここでは「ソフトウェア」と称される）多様な形のプログラムまたは設計コード、またはこれらすべての結合により実装されることができることを理解できるだろう。ハードウェア及びソフトウェアのこのような相互互換性を明確に説明するために、多様な例示的なコンポーネント、ブロック、モジュール、回路、及び段階がこれらの機能に着目して前記で一般的に説明された。このような機能がハードウェアやソフトウェアで実装されるかどうかは、特定のアプリケーション及び全体システムに対して付与される設計上の制限によって決まる。本開示の技術分野において通常の知識を持つ者は、個々の特定のアプリケーションについて多様な手法で説明された機能を実現することができるが、このような実現の決定は、本開示の範囲を逸脱するものと解釈されてはならない。
ここに示された多様な実施例は、方法、装置、または標準プログラミング及び／またはエンジニアリング技術を使った製造物品（ａｒｔｉｃｌｅ）によって実現できる。用語「製造物品」は、任意のコンピューターで可読な装置からアクセス可能なコンピュータープログラム、キャリアー、または媒体（ｍｅｄｉａ）を含む。例えば、コンピューターで可読保存媒体は、磁気保存装置（例えば、ハードディスク、フロッピーディスク、磁気ストリップ等）、光学ディスク（例えば、ＣＤ、ＤＶＤ等）、スマートカード及びフラッシュメモリー装置（例えば、ＥＥＰＲＯＭ、カード、スティック、キードライブ等）を含むが、これらに限定されるものではない。また、ここに示されている多様な保存媒体は、情報を保存するための１つ以上の装置及び／または他の機械可読媒体を含む。
示されたプロセスにおける複数の段階の特定の順番または階層構造は、例示的なアプローチの一例であることを理解すべきである。設計上の優先順位に基づき、本開示の範囲内で、プロセスにおける段階の特定の順番または階層構造が再配列されることができることを理解すべきである。添付の方法請求項は、サンプルとしての順番で、多様な段階のエレメントを提供するが、示された特定の順番または階層構造に限定されることを意味するわけではない。
示された実施例に関する説明は、任意の本開示の技術分野において通常の知識を持つ者が、本開示を利用したり、または実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者には明確に理解できるものであり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。

Claims (33)

  1. 少なくとも１つのプロセッサーを含むコンピューティング装置により実行される医療画像における病変分析方法であって、
    前処理モジュールを用いて、胸部領域を含む前記医療画像から、事前学習された検出（ｄｅｔｅｃｔｉｏｎ）モジュールの入力画像を生成する段階；
    前記検出モジュールを用いて、前記入力画像を基に、少なくとも１つの関心領域の結節（ｎｏｄｕｌｅ）の存在に係る確率値、及び前記少なくとも１つの関心領域の第１位置情報を生成する段階；及び
    後処理モジュールを用いて、前記結節の存在に係る確率値を基に、前記第１位置情報から前記医療画像に存在する疑わしい結節に係る第２位置情報を決定する段階；
    を含む、
    方法。
  2. 請求項１において、
    前記検出モジュールの前記入力画像を生成する段階は、
    前記前処理モジュールを用いて、前記胸部領域を含む３次元医療画像を基に、ハウンズフィールドユニット（ｈｏｕｎｓｆｉｅｌｄ ｕｎｉｔ）の値を演算する段階；及び
    前記前処理モジュールを用いて、前記ハウンズフィールドユニットの値が演算された３次元医療画像から複数の２次元医療画像を生成する段階；
    を含む、
    方法。
  3. 請求項１において、
    前記結節の存在に係る確率値及び前記第１位置情報を生成する段階は、
    前記検出モジュールに含まれている第１サブ検出モジュールを用いて、複数の２次元医療画像を基に、前記少なくとも１つの関心領域に係る第１確率値及び前記第１位置情報を生成する段階；及び
    前記検出モジュールに含まれている第２サブ検出モジュールを用いて、３次元医療画像及び前記第１位置情報を基に、前記少なくとも１つの関心領域に係る第２確率値を推定する段階；
    を含む、
    方法。
  4. 請求項３において、
    前記第１確率値及び前記第１位置情報を生成する段階は、
    前記第１サブ検出モジュールに含まれている第１神経回路網モジュールを用いて、前記複数の２次元医療画像を基に、複数のサイズを有する複数の第１特徴マップを生成する段階；
    前記第１サブ検出モジュールに含まれている第２神経回路網モジュールを用いて、前記複数の第１特徴マップのサイズを基準に、前記複数の第１特徴マップのうち少なくとも一部を結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）して複数の第２特徴マップを生成する段階；及び
    前記第１サブ検出モジュールに含まれている第３神経回路網モジュールを用いて、前記複数の第２特徴マップを所定のアンカーボックス（ａｎｃｈｏｒ ｂｏｘ）にマッチングさせて、前記少なくとも１つの関心領域に係る前記第１確率値及び前記第１位置情報を生成する段階；
    を含む、
    方法。
  5. 請求項４において、
    前記第１確率値及び前記第１位置情報を生成する段階は、
    関心領域が複数ある場合、前記第１サブ検出モジュールを用いて、複数の関心領域間の重なり領域の比率を基に、前記複数の関心領域の少なくとも一部をクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）する段階；及び
    前記第１サブ検出モジュールを用いて、前記第１位置情報に含まれている座標系（ｃｏｏｒｄｉｎａｔｅ）を補正する段階；
    をさらに含む、
    方法。
  6. 請求項３において、
    前記第２確率値を算出する段階は、
    前記第２サブ検出モジュールに含まれている第４神経回路網モジュールを用いて、前記第１位置情報を基準に、前記３次元医療画像から抽出されたパッチ（ｐａｔｃｈ）を基にエンコーディング（ｅｎｃｏｄｉｎｇ）を行って、少なくとも１つの第３特徴マップを生成する段階；
    前記第２サブ検出モジュールに含まれている第５神経回路網モジュールを用いて、前記第３特徴マップを基にデコーディング（ｄｅｃｏｄｉｎｇ）を行って、少なくとも１つの第４特徴マップを生成する段階；及び
    前記第２サブ検出モジュールに含まれている第６神経回路網モジュールを用いて、前記第３特徴マップと第４特徴マップを統合することで生成された特徴マップを基に、前記少なくとも１つの関心領域に係る前記第２確率値を生成する段階；
    を含む、
    方法。
  7. 請求項３において、
    前記第２サブ検出モジュールは、
    ランダムサンプリング（ｒａｎｄｏｍ ｓａｍｐｌｉｎｇ）された学習画像を基に神経回路網を学習させる第１動作；及び
    再現率（ｒｅｃａｌｌ）と精密度（ｐｒｅｃｉｓｉｏｎ）に基づいて選別された学習画像を基に、神経回路網を学習させる第２動作；
    を実行することで、事前学習されたものである、
    方法。
  8. 請求項３において、
    前記疑わしい結節に係る第２位置情報を取得する段階は、
    前記後処理モジュールを用いて、前記第１確率値及び前記第２確率値の加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）によって生成された前記結節の存在に係る確率値としきい値を比較する段階；及び
    前記後処理モジュールを用いて、前記比較の結果として選定された結節の存在に係る確率値と対応する、前記少なくとも１つの関心領域の前記第１位置情報を、前記疑わしい結節に係る前記第２位置情報として決定する段階；
    を含む、
    方法。
  9. 請求項１において、
    事前学習された評価（ｍｅａｓｕｒｅｍｅｎｔ）モジュールを用いて、前記第２位置情報と対応する医療画像のパッチを基に、前記疑わしい結節に係るマスクを生成する段階；及び
    前記疑わしい結節に係るマスクを基に、前記疑わしい結節の直径（ｄｉａｍｅｔｅｒ）及び体積（ｖｏｌｕｍｅ）のうち少なくとも１つを含む数値情報を生成する段階；
    をさらに含む、
    方法。
  10. 請求項９において、
    前記疑わしい結節に係るマスクは、
    前記第２位置情報と対応する３次元パッチを基に生成された前記疑わしい結節の全体領域に係る第１マスク；及び
    前記第２位置情報と対応する３次元パッチを基に生成された前記疑わしい結節の特定の属性（ａｔｔｒｉｂｕｔｅ）を表す領域に係る第２マスク；
    を含む、
    方法。
  11. 請求項９において、
    事前学習された分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）モジュールを用いて、前記医療画像のパッチ及び前記疑わしい結節に係るマスクを基に、前記疑わしい結節の状態に係るクラスを分類する段階；
    をさらに含む、
    方法。
  12. 請求項１１において、
    前記疑わしい結節の状態に係るクラスを分類する段階は、
    前記分類モジュールに含まれているそれぞれ相異なるサブモジュールを用いて、前記パッチ及び前記マスクを基に、前記疑わしい結節の属性に係る類型（ｔｙｐｅ）、スピキュラ（ｓｐｉｃｕｌａｔｉｏｎ）の有無、又は石灰化（ｃａｌｃｉｆｉｃａｔｉｏｎ）の有無のうち少なくとも１つを決定する段階；
    を含む、
    方法。
  13. 請求項１１において、
    肺がん診断の補助指標を基準に、前記疑わしい結節の状態に係るクラス及び前記数値情報を基に、前記疑わしい結節の評価スコアを算出する段階；及び
    前記入力画像の被検体と分析済みの画像の被検体が対応する場合、事前学習されたトラッキング（ｔｒａｃｋｉｎｇ）モジュールを用いて、前記入力画像と分析済みの画像の撮影時点を基準に、前記医療画像の評価スコア又は前記分析済み画像の評価スコアを修正する段階；
    をさらに含む、
    方法。
  14. 請求項１３において、
    前記疑わしい結節に係る前記第２位置情報、前記マスク、前記クラス、前記数値情報、又は前記評価スコアのうち少なくとも１つを基にしたユーザーインターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を生成する段階；
    をさらに含む、
    方法。
  15. 請求項１１において、
    事前学習された悪性度予測モジュールを用いて、前記疑わしい結節の前記第２位置情報、状態に係る前記クラス及び前記数値情報を基に、前記疑わしい結節の悪性度を推定する段階；
    をさらに含む、
    方法。
  16. 請求項１１において、
    事前学習された悪性度予測モジュールを用いて、前記医療画像の前記パッチ及び疑わしい結節に係る前記マスクを基に、前記疑わしい結節の悪性度を推定する段階；
    をさらに含む、
    方法。
  17. 請求項１５又は請求項１６において、
    前記疑わしい結節に係る前記第２位置情報、前記マスク、前記クラス、前記数値情報、又は前記悪性度のうち少なくとも１つを基に、ユーザーインターフェースを生成する段階；
    をさらに含む、
    方法。
  18. 少なくとも１つのプロセッサーを含むコンピューティング装置により実行される医療画像における病変分析方法であって、
    胸部領域を含む前記医療画像に存在する疑わしい結節（ｎｏｄｕｌｅ）の位置情報を基に事前学習された評価モジュールの入力パッチ（ｐａｔｃｈ）を生成する段階；及び
    前記事前学習された評価（ｍｅａｓｕｒｅｍｅｎｔ）モジュールを用いて、前記位置情報と対応する少なくとも１つの前記入力パッチを基に、前記疑わしい結節に係るマスク（ｍａｓｋ）を生成する段階；
    を含む、
    方法。
  19. 請求項１８において、
    前記疑わしい結節に係る前記マスクを生成する段階は、
    前記評価モジュールに含まれている第１サブ評価モジュールを用いて、前記少なくとも１つの入力パッチを基に、前記疑わしい結節の全体領域に係る第１マスクを生成する段階；及び
    前記評価モジュールに含まれている第２サブ評価モジュールを用いて、前記少なくとも１つの入力パッチを基に、前記疑わしい結節の特定の属性（ａｔｔｒｉｂｕｔｅ）を表す領域に係る第２マスクを生成する段階；
    を含む、
    方法。
  20. 請求項１９において、
    前記第１マスクを生成する段階は、
    前記評価モジュールに１つの疑わしい結節に係る複数のサイズを有する複数の入力パッチが入力される場合、前記第１サブ評価モジュールを用いて、複数の入力パッチの各々から前記１つの疑わしい結節に係る複数の第１サブマスクを生成する段階；及び
    前記第１サブ評価モジュールを用いて、前記複数の第１サブマスクを組み合わせ、前記組み合わせの結果を基に、前記１つの疑わしい結節の全体領域に係る前記第１マスクを生成する段階；
    を含む、
    方法。
  21. 請求項２０において、
    前記第２マスクを生成する段階は、
    前記第２サブ評価モジュールを用いて、前記少なくとも１つの入力パッチを基に、前記疑わしい結節の特定の属性を表す候補領域に係る第２サブマスクを生成する段階；
    前記第２サブ評価モジュールを用いて、前記第１マスクと前記第２サブマスクとの重なり領域を識別する段階；及び
    前記識別された重なり領域を基に、前記疑わしい結節の特定の属性を表す領域に係る前記第２マスクを生成する段階；
    を含む、
    方法。
  22. 少なくとも１つのプロセッサーを含むコンピューティング装置により実行される医療画像における病変分析方法であって、
    胸部領域を含む前記医療画像に存在する疑わしい結節（ｎｏｄｕｌｅ）の位置情報を基に生成されたパッチ（ｐａｔｃｈ）、及び前記疑わしい結節に係るマスクを受信する段階；及び
    事前学習された分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）モジュールを用いて、前記パッチ及び前記マスクを基に、前記疑わしい結節の状態に係るクラスを分類する段階；
    を含む、
    方法。
  23. 請求項２２において、
    前記疑わしい結節の状態に係る前記クラス分類を行う段階は、
    前記分類モジュールに含まれている第１サブ分類モジュールを用いて、前記パッチ及び前記マスクを基に、前記疑わしい結節の属性に係る類型（ｔｙｐｅ）を決定する段階；
    前記分類モジュールに含まれている第２サブ分類モジュールを用いて、前記パッチ及び前記マスクを基に、前記疑わしい結節のスピキュラ（ｓｐｉｃｕｌａｔｉｏｎ）の有無を決定する段階；又は
    前記分類モジュールに含まれている第３サブ分類モジュールを用いて、前記パッチ及び前記マスクを基に、前記疑わしい結節の石灰化（ｃａｌｃｉｆｉｃａｔｉｏｎ）の有無を決定する段階；
    のうち少なくとも１つを含む、
    方法。
  24. 請求項２３において、
    前記疑わしい結節の属性に係る前記類型を決定する段階は、
    前記第１サブ分類モジュールに含まれている第１属性分類モジュールを用いて、前記パッチ及び前記マスクを基に、前記疑わしい結節の固形（ｓｏｌｉｄ）の属性に係る第１類型を決定する段階；
    前記第１サブ分類モジュールに含まれている第２属性分類モジュールを用いて、前記パッチ及び前記マスクを基に、前記疑わしい結節の固形の属性に係る第２類型を決定する段階；及び
    前記第１サブ分類モジュールに含まれている第３属性分類モジュールを用いて、前記第１類型と前記第２類型とを比較した結果を基に、前記疑わしい結節の固形の属性に係る類型を最終的に決定する段階；
    を含み、
    前記第１属性分類モジュールは、
    神経回路網を通じて事前学習されたものである、
    方法。
  25. 請求項２４において、
    前記第２類型を決定する段階は、
    前記第２属性分類モジュールを用いて、前記パッチから、前記マスクに含まれている複数のボクセル（ｖｏｘｅｌ）のハウンズフィールドユニット（ｈｏｕｎｓｆｉｅｌｄ ｕｎｉｔ）の値が所定のハウンズフィールドユニットの値より高い複数のボクセルの比率を演算する段階；
    前記第２属性分類モジュールを用いて、前記複数のボクセルの比率としきい値を比較する段階；及び
    前記比較の結果を基に、前記パッチに存在する疑わしい結節の固形の属性に係る前記第２類型を決定する段階；
    を含む、
    方法。
  26. 請求項２４において、
    前記疑わしい結節の固形の属性に係る類型を最終的に決定する段階は、
    前記第１類型が前記第２類型に含まれない類型である場合、前記第３属性分類モジュールを用いて、前記第１類型を前記疑わしい結節の固形の属性に係る最終類型として決定する段階；及び
    前記第１類型が前記第２類型に含まれる類型である場合、前記第３属性分類モジュールを用いて、前記第２類型を前記疑わしい結節の固形の属性に係る最終類型として決定する段階；
    を含む、
    方法。
  27. 請求項２４において、
    前記第１類型は、
    固形、部分的固形（ｐａｒｔ－ｓｏｌｉｄ）又は非固形（ｎｏｎ－ｓｏｌｉｄ）を含み、
    前記第２類型は、
    固形又は非固形を含む、
    方法。
  28. 請求項２３において、
    前記第２サブ分類モジュールは、
    神経回路網を通じて事前学習されたものである、
    方法。
  29. 請求項２３において、
    前記疑わしい結節の石灰化の有無を決定する段階は、
    前記第３サブ分類モジュールを用いて、前記パッチから、前記マスクに含まれている複数のボクセルのハウンズフィールドユニットの値が所定のハウンズフィールドユニットの値より高い複数のボクセルの比率を演算する段階；
    前記第３サブ分類モジュールを用いて、前記複数のボクセルの比率としきい値を比較する段階；及び
    前記比較の結果を基に、前記パッチに存在する疑わしい結節の石灰化の有無を決定する段階；
    を含む、
    方法。
  30. 請求項２３において、
    前記第３サブ分類モジュールは、
    神経回路網を通じて事前学習されたものである、
    方法。
  31. コンピューター可読保存媒体に保存されているコンピュータープログラムであって、前記コンピュータープログラムは、1つ以上のプロセッサーで実行される場合、医療画像における病変を分析するための以下の動作を実行させるものであり、前記動作は:
    前処理モジュールを用いて、胸部領域を含む前記医療画像から、事前学習された検出（ｄｅｔｅｃｔｉｏｎ）モジュールの入力画像を生成する動作；
    前記検出モジュールを用いて、前記入力画像を基に、少なくとも１つの関心領域の結節（ｎｏｄｕｌｅ）の存在に係る確率値、及び前記少なくとも１つの関心領域の第１位置情報を生成する動作；及び
    後処理モジュールを用いて、前記結節の存在に係る確率値を基に、前記第１位置情報から前記医療画像に存在する疑わしい結節に係る第２位置情報を決定する動作；
    を含む、
    コンピューター可読保存媒体に保存されたコンピュータープログラム。
  32. 医療画像における病変を分析するコンピューティング装置であって、
    少なくとも１つのコアを含むプロセッサー；
    前記プロセッサーにおいて実行可能な複数のプログラムコードを含むメモリー；及び
    胸部領域を含む医療画像を受信するためのネットワーク部；
    を含み、
    前記プロセッサーは、
    前処理モジュールを用いて、胸部領域を含む前記医療画像から、事前学習された検出（ｄｅｔｅｃｔｉｏｎ）モジュールの入力画像を生成し、
    前記検出モジュールを用いて、前記入力画像を基に、少なくとも１つの関心領域の結節（ｎｏｄｕｌｅ）の存在に係る確率値、及び前記少なくとも１つの関心領域の第１位置情報を生成し、
    後処理モジュールを用いて、前記結節の存在に係る確率値を基に、前記第１位置情報から前記医療画像に存在する疑わしい結節に係る第２位置情報を決定する、
    装置。
  33. ユーザー端末であって、
    少なくとも１つのコアを含むプロセッサー；
    メモリー；
    コンピューティング装置から医療画像に含まれている病変の分析情報を基に生成されたユーザーインターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を受信するネットワーク部；及び
    前記ユーザーインターフェースを提供する出力部；
    を含み、
    前記病変の分析情報は、
    疑わしい結節（ｎｏｄｕｌｅ）の位置情報、前記疑わしい結節に係るマスク（ｍａｓｋ）、前記疑わしい結節の状態に係るクラス（ｃｌａｓｓ）、前記疑わしい結節の数値情報、前記疑わしい結節に係る評価情報、又は前記疑わしい結節の悪性度のうち少なくとも１つを含むものである、
    端末。
JP2023552270A 2021-03-04 2022-03-02 医療画像における病変分析方法 Pending JP2024508852A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0028533 2021-03-04
KR1020210028533A KR20220125741A (ko) 2021-03-04 2021-03-04 의료 영상 기반의 병변 분석 방법
PCT/KR2022/002928 WO2022186594A1 (ko) 2021-03-04 2022-03-02 의료 영상 기반의 병변 분석 방법

Publications (1)

Publication Number Publication Date
JP2024508852A true JP2024508852A (ja) 2024-02-28

Family

ID=83155462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023552270A Pending JP2024508852A (ja) 2021-03-04 2022-03-02 医療画像における病変分析方法

Country Status (4)

Country Link
US (1) US20240144474A1 (ja)
JP (1) JP2024508852A (ja)
KR (1) KR20220125741A (ja)
WO (1) WO2022186594A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511818B (zh) * 2022-09-21 2023-06-13 北京医准智能科技有限公司 一种肺结节检出模型的优化方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102200776B1 (ko) * 2018-11-27 2021-01-08 서울여자대학교 산학협력단 간유리음영 결절 자동분류 방법 및 장치
KR101981202B1 (ko) * 2018-12-11 2019-05-22 메디컬아이피 주식회사 의료영상 재구성 방법 및 그 장치
KR102236617B1 (ko) * 2019-01-04 2021-04-06 서울대학교병원 폐암 종양 크기 측정 방법 및 이를 수행하기 위한 장치
US11113532B2 (en) * 2019-04-16 2021-09-07 Lg Electronics Inc. Artificial intelligence apparatus for recognizing object and method therefor
KR102150682B1 (ko) * 2019-08-08 2020-09-02 주식회사 딥노이드 특이점 분류 장치 및 분류 방법

Also Published As

Publication number Publication date
US20240144474A1 (en) 2024-05-02
WO2022186594A1 (ko) 2022-09-09
KR20220125741A (ko) 2022-09-14

Similar Documents

Publication Publication Date Title
CN110276741B (zh) 结节检测及其模型训练的方法和装置以及电子设备
TWI814154B (zh) 基於醫學影像的疾病預測方法
Dodia et al. Recent advancements in deep learning based lung cancer detection: A systematic review
Ma et al. A new classifier fusion method based on historical and on-line classification reliability for recognizing common CT imaging signs of lung diseases
Rufo et al. A hybrid machine learning model based on global and local learner algorithms for diabetes mellitus prediction
US20210398280A1 (en) Bone age assessment method for bone image
JP2024508852A (ja) 医療画像における病変分析方法
US20220198668A1 (en) Method for analyzing lesion based on medical image
US20220172370A1 (en) Method for detecting white matter lesions based on medical image
US20220130065A1 (en) Method for analyzing thickness of cortical region
KR102449240B1 (ko) 모델 학습 방법
KR102554181B1 (ko) 골 영상으로부터 골 연령을 판독하는 방법
KR102622660B1 (ko) 의료 영상에 대한 연속 절편 검출 방법
KR102653257B1 (ko) 의료 영상을 기반으로 하는 관심 대상의 상태 판독 방법
Tasnim et al. A Deep Learning Based Image Processing Technique for Early Lung Cancer Prediction
US20220237777A1 (en) Method for measuring lesion of medical image
Dai et al. Effectively fusing clinical knowledge and AI knowledge for reliable lung nodule diagnosis
KR102556235B1 (ko) 컨텐츠 기반 영상 검색 방법 및 장치
KR102375786B1 (ko) 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법
KR102569976B1 (ko) 의료 영상 처리 방법
Ma et al. Learning with distribution of optimized features for recognizing common CT imaging signs of lung diseases
KR20230056174A (ko) 딥러닝 기반의 의료 영상 분석 방법
Palkar et al. Empowering Glioma Prognosis With Transparent Machine Learning and Interpretative Insights Using Explainable AI
KR20220165111A (ko) 의료 영상의 분류 방법
KR20220107940A (ko) 의료 영상의 병변 평가 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230828