JP7376954B2 - 特性情報を考慮した医療映像分析方法、医療映像分析装置及び医療映像分析システム - Google Patents

特性情報を考慮した医療映像分析方法、医療映像分析装置及び医療映像分析システム Download PDF

Info

Publication number
JP7376954B2
JP7376954B2 JP2021564677A JP2021564677A JP7376954B2 JP 7376954 B2 JP7376954 B2 JP 7376954B2 JP 2021564677 A JP2021564677 A JP 2021564677A JP 2021564677 A JP2021564677 A JP 2021564677A JP 7376954 B2 JP7376954 B2 JP 7376954B2
Authority
JP
Japan
Prior art keywords
information
medical image
region
target
parameter group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021564677A
Other languages
English (en)
Other versions
JP2023512365A (ja
Inventor
ドンヒョン キム
ミンホ イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neurophet Inc
Original Assignee
Neurophet Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neurophet Inc filed Critical Neurophet Inc
Publication of JP2023512365A publication Critical patent/JP2023512365A/ja
Application granted granted Critical
Publication of JP7376954B2 publication Critical patent/JP7376954B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103Treatment planning systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103Treatment planning systems
    • A61N5/1038Treatment planning systems taking into account previously administered plans applied to the same patient, i.e. adaptive radiotherapy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Radiation-Therapy Devices (AREA)

Description

本出願は医療映像を分析する医療映像分析方法、医療映像分析装置及び医療映像分析システムに関する。
腫瘍を治療するための分野において、腫瘍周辺に位置する器官(organ)を保護しながらも腫瘍を完全に除去するために放射線が照射される領域を、治療する以前に定義することが必須的に要求される。この時、放射線が照射される領域を定義することは施術者の治療履歴、性向や被施術者の年齢、健康状態などにより異なることがある。
腫瘍を治療するために放射線が照射される領域を定義する従来技術には、施術者に手動的に放射線が照射される領域を定義する方式と、ソフトウェアを利用して放射線が照射される領域を自動的に定義する方式が存在する。
ただし、手動方式によって生成された放射線が照射される領域に基づく治療補助情報は、施術者の肉眼に依存して算出されるため、治療の再現性や正確度が比較的低いという問題点を有し、自動方式の場合には施術者、被施術者または腫瘍の類型など(以下、施術者など)により異なって定義される放射線が照射される領域を、施術者などの特性を反映して自動的に算出することができないという限界点が存在した。
したがって、施術者などの特性を反映して放射線が照射される領域を画して、自動的に治療補助情報を算出する医療イメージ分析装置及び医療イメージ分析方法に対する研究が要求される。
本発明の1つの課題は、医療映像に関する情報を提供する医療映像分析方法、医療映像分析装置及び医療映像分析システムを提供することである。
本発明が解決しようとする課題は、上述の課題に制限されず、言及されない課題は本明細書及び図面から当業者とって明確に理解されるべきである。
本出願に開示された医療イメージ分析方法は、対象医療イメージを取得することと、放射線が照射される対象領域を決めるための治療計画情報を取得し、前記治療計画情報は第1特性情報または第2特性情報を含むことと、前記治療計画情報に基づいて前記第1特性情報に対応する第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、対象パラメーター群を選択することと、前記対象医療イメージに基づいて前記対象領域と関連する領域情報を取得するように学習された人工神経網の複数のノードのうち少なくとも一つを含む特性ノード群のパラメーター値を前記対象パラメーター群で決めることと、及び、前記対象パラメーター群が適用された前記人工神経網及び前記対象医療イメージに基づいて、前記治療計画情報に対応する前記対象領域と関連する治療補助情報を提供することを含んでもよい。
本出願に開示された医療イメージ分析方法は、対象医療イメージを取得することと、放射線が照射される対象領域を決めるための基礎になるパラメーターと関連する第1特性情報または第2特性情報を含む治療計画情報を取得することと、前記治療計画情報に基づいて決められた対象パラメーター群を持つノード群を含む人工神経網を利用して、前記治療計画情報に基づいて前記対象医療イメージを複数の領域でセグメンテーションを実行することによって、対象腫瘍と関連する第1領域、及び前記第1領域と隣接しかつ前記対象領域と関連する第2領域を取得することと、前記ノード群の前記対象パラメーター群に基づいて前記第2領域のバウンダリーを決め、前記治療計画情報が前記第1特性情報を含む場合、前記第2領域は第1バウンダリーを有し、前記治療計画情報が前記第2特性情報を含む場合、前記第2領域は前記第1バウンダリーとは異なる第2バウンダリーを有することと、及び、前記医療イメージに前記第2領域のバウンダリー及び前記第1領域のバウンダリーを提供することを含んでよい。
本出願に開示された医療イメージ分析装置は、対象医療イメージを取得する医療イメージ取得部と、及び、前記対象医療イメージに基づいて治療補助情報を提供するコントローラーを含む。前記コントローラーは、対象医療イメージを取得して、放射線が照射される対象領域を決めるための治療計画情報を取得し、前記治療計画情報は第1特性情報または第2特性情報を含み、前記治療計画情報に基づいて、前記第1特性情報に対応する第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、対象パラメーター群を選択して、前記対象医療イメージに基づいて、前記対象領域と関連する領域情報を取得するように学習された人工神経網の複数のノードのうち少なくとも一つを含む特性ノード群のパラメーター値を前記対象パラメーター群で決め、前記対象パラメーター群が適用された前記人工神経網及び前記対象医療イメージに基づいて、前記治療計画情報に対応する前記対象領域と関連する治療補助情報を提供するように構成されることができる。
本出願に開示された医療イメージ分析装置は、対象医療イメージを取得する医療イメージ取得部と、及び、前記対象医療イメージに基づいて治療補助情報を提供するコントローラーを含む。前記コントローラーは、対象医療イメージを取得し、放射線が照射される対象領域を決めるための基礎になるパラメーターと関連する第1特性情報または第2特性情報を含む治療計画情報を取得し、前記治療計画情報に基づいて決められた対象パラメーター群を持つノード群を含む人工神経網を利用して、前記治療計画情報に基づいて前記対象医療イメージを複数の領域でセグメンテーションを実行することによって、対象腫瘍と関連する第1領域、及び前記第1領域と隣接しかつ前記対象領域と関連する第2領域を取得し、前記ノード群の前記対象パラメーター群に基づいて前記第2領域のバウンダリーを決め、前記治療計画情報が前記第1特性情報を含む場合、前記第2領域は第1バウンダリーを有し、前記治療計画情報が前記第2特性情報を含む場合、前記第2領域は前記第1バウンダリーとは異なる第2バウンダリーを有し、前記医療イメージに前記第2領域のバウンダリー及び前記第1領域のバウンダリーを提供するように構成されることができる。
本発明の課題を解決するための手段は上述した解決手段に制限されるものではなく、言及されない解決手段は本明細書及び添付された図面から当業者にとって明確に理解されるべきである。
本出願の実施例によれば、医療イメージと関連する特性情報に基づいて神経網モデルを学習させ、学習された神経網モデルを基礎として対象医療イメージを分析することによって、特性情報が反映された治療補助情報を提供することができる。
本発明の効果は、上述した効果に制限されるものではなく、言及されない効果は、本明細書及び添付された図面から当業者にとって明確に理解されるべきである。
本出願の一実施例による医療イメージの分析によって提供される治療補助情報の一例を示す図である。 本出願の一実施例による医療イメージ分析システムに関する概略図である。 本出願の一実施例による医療イメージ分析装置に関するブロック図である。 本出願の一実施例による医療イメージセグメンテーションのためのプロセスを示す図である。 本出願の一実施例による学習装置の神経網モデルの学習方法に対する順序図である。 本出願の一実施例による医療イメージと関連する学習データ群の例示的な構造図である。 本出願の一実施例による学習装置に提供される人工神経網モデルの一例である。 本出願の一実施例による人工神経網モデルを学習すること方法の順序図である。 本出願の一実施例による人工神経網モデルを学習させる方法を示す概略図である。 本出願の一実施例による人工神経網モデルを学習する1つ方法の順序図である。 本出願の一実施例による医療イメージと関連する学習データ群の例示的な構造図である。 本出願の一実施例による特性レイヤーのパラメーター群を更新する方法を示す概略図である。 本出願の一実施例による医療イメージ分析装置(2000)の神経網モデルを利用したイメージセグメンテーション方法に対する順序図である。 本出願の一実施例による対象医療イメージの例示的な構造図である。 本出願の一実施例による医療イメージ分析装置(2000)の対象医療イメージに対するセグメンテーション動作の概略図である。 本出願の一実施例による対象医療イメージのセグメンテーション方法に対する順序図である。 本出願の一実施例による対象医療イメージ分析結果と関連するユーザーインターフェースの例示図である。 本出願の一実施例による対象医療イメージのセグメンテーション動作を示す概略図である。 本出願の一実施例による対象医療イメージ分析結果と関連するユーザーインターフェースの例示図である。 本出願の一実施例による対象医療イメージ分析結果と関連するユーザーインターフェースの例示図である。
発明を実施すための形態
本出願の一実施例による医療イメージ分析方法は、対象医療イメージを取得することと、放射線が照射される対象領域を決めるための治療計画情報を取得することと、前記治療計画情報は第1特性情報または第2特性情報を含み、前記治療計画情報に基づいて、前記第1特性情報に対応する第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、対象パラメーター群を選択することと、前記対象医療イメージに基づいて、前記対象領域と関連する領域情報を取得するように学習された人工神経網の複数のノードのうち少なくとも一つを含む特性ノード群のパラメーター値を前記対象パラメーター群で決めることと、及び、前記対象パラメーター群が適用された前記人工神経網及び前記対象医療イメージに基づいて、前記治療計画情報に対応する前記対象領域と関連する治療補助情報を提供することを含んでもよい。
本出願の一実施例による医療イメージ分析方法によれば、前記人工神経網は放射線照射と関連する一つ以上のラベルに基づいて、前記対象医療イメージに対してセグメンテーションを実行し、前記対象領域及び腫瘍領域を含む複数の領域を取得するように構成されることができる。
本出願の一実施例による医療イメージ分析方法によれば、前記一つ以上のラベルは腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び前記腫瘍領域と関連するラベルのうち、少なくとも一つを含む。前記人工神経網は、前記対象医療イメージのセルに対し前記少なくとも一つのラベルを割り当てて前記対象領域と関連する領域情報、前記放射線が照射されてはいけない領域と関連する領域情報及び前記腫瘍領域と関連する領域情報を取得するように学習され、前記対象領域と関連する前記治療補助情報は、前記セルに割り当てられたラベルに基づいて取得されることができる。
本出願の一実施例による医療イメージ分析方法によれば、前記治療計画情報が前記第1特性情報を含む場合、前記対象パラメーター群は前記第1パラメーター群で決められ、前記治療補助情報を提供することは、前記第1パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された第1対象領域情報を提供することを含み、前記治療計画情報が前記第2特性情報を含む場合、前記対象パラメーター群は前記第2パラメーター群で決められる。前記治療補助情報を提供することは、前記第2パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された第2対象領域情報を提供することを含む。前記第2対象領域情報は前記第1対象領域情報と異なる。
本出願の一実施例による医療イメージ分析方法によれば、前記第1対象領域情報は第1バウンダリーによって定義され、前記第2対象領域情報は第2バウンダリーによって定義される。前記対象医療イメージ上で前記第1バウンダリー及び前記第2バウンダリーのうち、少なくとも一つのバウンダリーは前記第1バウンダリー及び前記第2バウンダリーのうち、他の一つのバウンダリーを含んでもよい。
本出願の一実施例による医療イメージ分析方法によれば、前記対象パラメーター群は前記対象領域と関連する領域情報を取得することに用いられ、前記治療計画情報が前記第1特性情報を含む場合、前記対象パラメーター群は前記第1パラメーター群で決められる。前記治療補助情報を提供することは、前記第1パラメーター群が適用された前記人工神経網を通じて取得した腫瘍領域情報に基づいて取得された第3対象領域情報を提供することを含み、前記治療計画情報が前記第2特性情報を含む場合、前記対象パラメーター群は前記第2パラメーター群で決められる。前記治療補助情報を提供することは、前記第2パラメーター群が適用された前記人工神経網を通じて取得した前記腫瘍領域情報に基づいて取得された第4対象領域情報を提供することを含む。前記第3対象領域情報は前記第4対象領域情報と実質的に同一であってもよい。
本出願の一実施例による医療イメージ分析方法によれば、前記治療計画情報を取得することは、入力モジュールを通じて、前記第1特性情報または前記第2特性情報のうち、少なくとも一つを選択する使用者の入力を取得することを含む。前記対象パラメーター群を選択することは、前記使用者の入力に基づいて、前記第1特性情報に対応する前記第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、前記使用者の入力に対応するパラメーター群を前記対象パラメーター群で選択することを含んでもよい。
本出願の一実施例による医療イメージ分析方法によれば、前記対象パラメーター群が含まれない人工神経網及び前記対象医療イメージに基づいて取得された前記対象領域と関連する第2治療補助情報を提供することを更に含み、前記第2治療補助情報は、前記第1特性情報または第2特性情報に依存せず、前記人工神経網によって取得されてもよい。
本出願の一実施例による医療イメージ分析方法によれば、入力モジュールを通じて、第1対象領域情報及び第2対象領域情報のうち少なくとも一つを選択し、前記選択された対象領域情報に基づいて放射線の照射開始を指示する使用者の入力を取得することと、及び、前記使用者の入力に対応して放射線の照射開始を指示することを更に含む。前記第1対象領域情報は前記第1パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された対象領域と関連する情報であり、前記第2対象領域情報は前記第2パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された対象領域と関連する情報であってもよい。
本出願の一実施例による医療イメージ分析方法は、対象医療イメージを取得することと、放射線が照射される対象領域を決めるための基礎になるパラメーターと関連する第1特性情報または第2特性情報を含む治療計画情報を取得することと、前記治療計画情報に基づいて決められた対象パラメーター群を持つノード群を含む人工神経網を利用し、前記治療計画情報に基づいて前記対象医療イメージを複数の領域でセグメンテーションを実行することによって、対象腫瘍と関連する第1領域及び前記第1領域と隣接しかつ前記対象領域と関連する第2領域を取得することと、前記ノード群の前記対象パラメーター群に基づいて前記第2領域のバウンダリーを決め、前記治療計画情報が前記第1特性情報を含む場合、前記第2領域は第1バウンダリーを有し、前記治療計画情報が前記第2特性情報を含む場合、前記第2領域は前記第1バウンダリーとは異なる第2バウンダリーを有することと、及び、前記医療イメージに前記第2領域のバウンダリー及び前記第1領域のバウンダリーを提供することを含んでよい。
本出願の一実施例による医療イメージ分析方法によれば、前記医療イメージ分析方法は、前記治療計画情報に基づいて前記対象パラメーター群を決めることを更に含む。前記第1特性情報に対応する第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、少なくとも一つを選択することによって前記対象パラメーター群を決めることができる。
本出願の一実施例による医療イメージ分析方法によれば、前記治療計画情報が前記第1特性情報を含む場合、前記第1パラメーター群に基づいて前記第1バウンダリーを持つ前記第2領域が決められ、前記治療計画情報が前記第2特性情報を含む場合、前記第2パラメーター群に基づいて前記第2バウンダリーを持つ前記第2領域が決められることができる。
本出願の一実施例による医療イメージ分析方法によれば、前記治療計画情報が前記第1特性情報を含む場合、前記第1領域は第3バウンダリーを有し、前記治療計画情報が前記第2特性情報を含む場合、前記第1領域は第4バウンダリーを有し、前記第3バウンダリーと前記第4バウンダリーは実質的に同一であってもよい。
本出願の一実施例による医療イメージ分析方法によれば、前記治療計画情報を取得することは、入力モジュールを通じて、前記第1特性情報または前記第2特性情報のうち、少なくとも一つを選択する使用者の入力を取得することを含む。前記対象パラメーター群を決めることは、前記使用者の入力に基づいて、前記第1特性情報に対応する前記第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、前記治療計画情報と関連する前記使用者の入力に対応する前記対象パラメーター群を選択することを含んでよい。
本出願の一実施例による医療イメージ分析方法によれば、前記治療計画情報は施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連する。前記施術者情報は腫瘍を施術する施術者と関連する身元情報及び治療履歴情報のうち少なくとも一つを含む。前記被施術者情報は施術を受ける被施術者の身元情報及び基底疾患情報のうち少なくとも一つを含む。前記腫瘍情報は施術対象である腫瘍の大きさ、類型及び発現レベルと関連する情報のうち少なくとも一つを含む。前記放射線情報は放射線の種類、強さ、形態及び危険度と関連する情報のうち少なくとも一つを含む。
本出願の一実施例による医療イメージ分析方法によれば、前記方法は、入力モジュールを通じて、前記対象医療イメージに対し前記対象腫瘍と関連する第3領域及び前記対象領域と関連する第4領域を含む複数の領域を定義した使用者治療情報と関連する使用者の入力を取得することと、及び、前記第3領域のバウンダリー及び前記第4領域のバウンダリーを前記対象医療イメージに表示して出力することを更に含んでもよい。
本出願の一実施例による医療イメージ分析方法によれば、前記対象パラメーター群が含まれない人工神経網及び前記対象医療イメージに基づいて取得された前記対象領域と関連する補助情報を提供することを更に含み、前記補助情報は、前記第1特性情報または第2特性情報に依存せず、前記人工神経網によって取得されることができる。
本出願の一実施例による医療イメージ分析方法によれば、入力モジュールを通じて、前記第2領域に基づいて前記対象領域に対する放射線の照射開始を指示する使用者の入力を取得することと、及び、前記使用者の入力に対応して、前記第2領域に対する放射線の照射開始を指示することを更に含んでよい。
本出願の一実施例による医療イメージ分析方法によれば、前記複数の領域は腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び前記腫瘍領域のうち、少なくとも一つと関連することができる。
本出願の一実施例による医療イメージ分析方法によれば、前記人工神経網は放射線照射と関連する一つ以上のラベルに基づいて、前記対象医療イメージに対してセグメンテーションを実行して、前記複数の領域を取得するように構成されることができる。
本出願の一実施例による医療イメージ分析方法によれば、前記一つ以上のラベルは腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び前記腫瘍領域と関連するラベルのうち、少なくとも一つを含む。前記人工神経網は、前記対象医療イメージのセルに対し前記少なくとも一つのラベルを割り当てて前記対象領域と関連する領域情報、前記放射線が照射されてはいけない領域と関連する領域情報及び前記腫瘍領域と関連する領域情報を取得するように学習され、前記複数の領域は前記セルに割り当てられたラベルに基づいて取得されることができる。
本出願の一実施例による医療イメージ分析装置は、対象医療イメージを取得する医療イメージ取得部と、及び、前記対象医療イメージに基づいて治療補助情報を提供するコントローラーを含む。前記コントローラーは、対象医療イメージを取得し、放射線が照射される対象領域を決めるための治療計画情報を取得し、前記治療計画情報は第1特性情報または第2特性情報を含み、前記治療計画情報に基づいて、前記第1特性情報に対応する第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、対象パラメーター群を選択して、前記対象医療イメージに基づいて、前記対象領域と関連する領域情報を取得するように学習された人工神経網の複数のノードのうち少なくとも一つを含む特性ノード群のパラメーター値を前記対象パラメーター群で決め、前記対象パラメーター群が適用された前記人工神経網及び前記対象医療イメージに基づいて、前記治療計画情報に対応する前記対象領域と関連する治療補助情報を提供するように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記人工神経網は放射線照射と関連する一つ以上のラベルに基づいて、前記対象医療イメージに対してセグメンテーションを実行し、前記対象領域及び腫瘍領域を含む複数の領域を取得するように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記一つ以上のラベルは腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び前記腫瘍領域と関連するラベルのうち、少なくとも一つを含む。前記人工神経網は、前記対象医療イメージのセルに対し前記少なくとも一つのラベルを割り当てて前記対象領域と関連する領域情報、前記放射線が照射されてはいけない領域と関連する領域情報及び前記腫瘍領域と関連する領域情報を取得するように学習され、前記対象領域と関連する前記治療補助情報は前記セルに割り当てられたラベルに基づいて取得されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記コントローラーは、前記治療計画情報が前記第1特性情報を含む場合、前記対象パラメーター群は前記第1パラメーター群で決められ、前記治療補助情報を提供することは、前記第1パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された第1対象領域情報を提供して前記治療補助情報を提供する。前記治療計画情報が前記第2特性情報を含む場合、前記対象パラメーター群は前記第2パラメーター群で決められ、前記第2パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された前記第1対象領域情報と異なる第2対象領域情報を提供して前記治療補助情報を提供するように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記第1対象領域情報は第1バウンダリーによって定義され、前記第2対象領域情報は第2バウンダリーによって定義される。前記対象医療イメージ上で前記第1バウンダリー及び前記第2バウンダリーのうち、少なくとも一つのバウンダリーは前記第1バウンダリー及び前記第2バウンダリーのうち、他の一つのバウンダリーを含むことができる。
本出願の一実施例による医療イメージ分析装置によれば、前記対象パラメーター群は前記対象領域と関連する領域情報を取得することに用いられ、前記コントローラーは、前記治療計画情報が前記第1特性情報を含む場合、前記対象パラメーター群を前記第1パラメーター群で決め、前記第1パラメーター群が適用された前記人工神経網を通じて取得した腫瘍領域情報に基づいて取得された第3対象領域情報を提供して前記治療補助情報を提供し、前記治療計画情報が前記第2特性情報を含む場合、前記対象パラメーター群を前記第2パラメーター群で決め、前記第2パラメーター群が適用された前記人工神経網を通じて取得した前記腫瘍領域情報に基づいて取得された第4対象領域情報を提供して前記治療補助情報を提供するように構成され、前記第3対象領域情報は前記第4対象領域情報と実質的に同一であってもよい。
本出願の一実施例による医療イメージ分析装置によれば、前記医療イメージ分析装置は、前記治療計画情報と関連する使用者の入力を受信する入力モジュールと、前記使用者の入力に対応して前記治療補助情報を出力する出力モジュールを更に含む。前記コントローラーは、前記入力モジュールを通じて前記第1特性情報または前記第2特性情報のうち、少なくとも一つを選択する使用者の入力を取得して前記治療計画情報を取得し、出力モジュールを通じて、前記使用者の入力に基づいて、前記第1特性情報に対応する前記第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、前記使用者の入力に対応するパラメーター群を前記対象パラメーター群で選択するように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記治療計画情報は施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連する。前記施術者情報は腫瘍を施術する施術者と関連する身元情報及び治療履歴情報のうち少なくとも一つを含む。前記被施術者情報は施術を受ける被施術者の身元情報及び基底疾患情報のうち少なくとも一つを含む。前記腫瘍情報は施術対象である腫瘍の大きさ、類型、腫瘍の位置及び発現レベルと関連する情報のうち少なくとも一つを含む。前記放射線情報は放射線の種類、強さ、照射周期及び危険度と関連する情報のうち少なくとも一つを含む。
本出願の一実施例による医療イメージ分析装置によれば、前記医療イメージ分析装置は、複数の領域を定義する使用者入力を受信する入力モジュールと、及び、前記使用者の入力に対応して前記使用者治療情報出力する出力モジュールを更に含む。前記コントローラーは、前記入力モジュールを通じて、前記対象医療イメージに対し腫瘍領域と関連する腫瘍領域情報及び前記対象領域と関連する対象領域情報を含む複数の領域を定義する使用者治療情報と関連する使用者の入力を取得し、出力モジュールを通じて、前記使用者治療情報及び前記治療補助情報を出力するように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記コントローラーは、前記対象パラメーター群が含まれない人工神経網及び前記対象医療イメージに基づいて取得された前記対象領域と関連する第2治療補助情報を提供するように構成される。前記第2治療補助情報は、前記第1特性情報または第2特性情報に依存せず、前記人工神経網によって取得されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記医療イメージ分析装置は、放射線の照射開始を指示する使用者入力を受信する入力モジュールを更に含む。前記コントローラーは、入力モジュールを通じて、第1対象領域情報及び第2対象領域情報のうち少なくとも一つを選択し、前記選択された対象領域情報に基づいて放射線の照射開始を指示する使用者の入力を取得し、前記使用者の入力に対応して放射線の照射開始を指示するように構成される。前記第1対象領域情報は前記第1パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された対象領域と関連する情報であり、前記第2対象領域情報は前記第2パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された対象領域と関連する情報であってもよい。
本出願の一実施例による医療イメージ分析装置によれば、対象医療イメージを取得する医療イメージ取得部と、及び、前記対象医療イメージに基づいて治療補助情報を提供するコントローラーを含む。前記コントローラーは、対象医療イメージを取得し、放射線が照射される対象領域を決めるための基礎になるパラメーターと関連する第1特性情報または第2特性情報を含む治療計画情報を取得し、前記治療計画情報に基づいて決められた対象パラメーター群を持つノード群を含む人工神経網を利用し、前記治療計画情報に基づいて前記対象医療イメージを複数の領域でセグメンテーションを実行することによって、対象腫瘍と関連する第1領域及び前記第1領域と隣接しかつ前記対象領域と関連する第2領域を取得し、前記ノード群の前記対象パラメーター群に基づいて前記第2領域のバウンダリーを決める。前記治療計画情報が前記第1特性情報を含む場合、前記第2領域は第1バウンダリーを有する。前記治療計画情報が前記第2特性情報を含む場合、前記第2領域は前記第1バウンダリーとは異なる第2バウンダリーを有する。前記医療イメージに前記第2領域のバウンダリー及び前記第1領域のバウンダリーを提供するように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記コントローラーは、前記治療計画情報に基づいて前記対象パラメーター群を決め、前記第1特性情報に対応する第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、少なくとも一つを選択することによって前記対象パラメーター群を決めるように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記コントローラーは、前記治療計画情報が前記第1特性情報を含む場合、前記第1パラメーター群に基づいて前記第1バウンダリーを持つ前記第2領域を決める。前記治療計画情報が前記第2特性情報を含む場合、前記第2パラメーター群に基づいて前記第2バウンダリーを持つ前記第2領域を決めるように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記治療計画情報が前記第1特性情報を含む場合、前記第1領域は第3バウンダリーを有する。前記治療計画情報が前記第2特性情報を含む場合、前記第1領域は第4バウンダリーを有する。前記第3バウンダリーと前記第4バウンダリーは実質的に同一であってもよい。
本出願の一実施例による医療イメージ分析装置によれば、前記医療イメージ分析装置は、前記治療計画情報と関連する使用者の入力を受信する入力モジュールを更に含む。前記コントローラーは、前記入力モジュールを通じて、前記第1特性情報または前記第2特性情報のうち、少なくとも一つを選択する使用者の入力を取得し、前記使用者の入力に基づいて、前記第1特性情報に対応する前記第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、前記治療計画情報と関連する前記使用者の入力に対応するパラメーター群を前記対象パラメーター群で選択するように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記治療計画情報は施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連する。前記施術者情報は腫瘍を施術する施術者と関連する身元情報及び治療履歴情報のうち少なくとも一つを含む。前記被施術者情報は施術を受ける被施術者の身元情報及び基底疾患情報のうち少なくとも一つを含む。前記腫瘍情報は施術対象である腫瘍の大きさ、類型及び発現レベルと関連する情報のうち少なくとも一つを含む。前記放射線情報は放射線の種類、強さ、形態及び危険度と関連する情報のうち少なくとも一つを含む。
本出願の一実施例による医療イメージ分析装置によれば、前記医療イメージ分析装置は、前記治療計画情報と関連する使用者の入力を受信する入力モジュールと、前記使用者の入力に対応して治療補助情報を出力する出力モジュールを更に含む。前記コントローラーは、前記入力モジュールを通じて前記対象医療イメージに対し前記対象腫瘍と関連する第3領域及び前記対象領域と関連する第4領域を含む複数の領域を定義した使用者治療情報と関連する使用者の入力を取得し、前記出力モジュールを通じて前記第3領域のバウンダリー及び前記第4領域のバウンダリーを前記対象医療イメージに表示して出力するように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記コントローラーは、前記対象パラメーター群が含まれない人工神経網及び前記対象医療イメージに基づいて取得された前記対象領域と関連する補助情報を提供するように構成される。前記補助情報は、前記第1特性情報または第2特性情報に依存せず、前記人工神経網によって取得されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記医療イメージ分析装置は、前記対象領域に対し放射線の照射開始を指示する使用者入力を受信する入力モジュールを更に含む。前記コントローラーは、前記入力モジュールを通じて前記第2領域に基づいて前記対象領域に対する放射線の照射開始を指示する使用者の入力を取得し、前記使用者の入力に対応して前記第2領域に対する放射線の照射開始を指示するように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記複数の領域は腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び前記腫瘍領域のうち、少なくとも一つと関連することができる。
本出願の一実施例による医療イメージ分析装置によれば、前記人工神経網は放射線照射と関連する一つ以上のラベルに基づいて、前記対象医療イメージに対してセグメンテーションを実行し、前記複数の領域を取得するように構成されることができる。
本出願の一実施例による医療イメージ分析装置によれば、前記一つ以上のラベルは腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び前記腫瘍領域と関連するラベルのうち、少なくとも一つを含む。前記人工神経網は、前記対象医療イメージのセルに対し前記少なくとも一つのラベルを割り当てて前記対象領域と関連する領域情報、前記放射線が照射されてはいけない領域と関連する領域情報及び前記腫瘍領域と関連する領域情報を取得するように学習され、前記複数の領域は前記セルに割り当てられたラベルに基づいて取得されることができる。
本出願の上述した目的、特徴及び長所は添付された図面に関連する次の詳細な説明を通じてさらに明らかになる。ただし、本出願は多様な変更を加えることができ、いろんな実施例を有することができ、以下では特定実施例を図面に例示して本発明を詳細に説明する。
明細書全体にかけて同じ参照番号は原則的に同じ構成要素を示す。また、各実施例の図面に示される同じ思想の範囲内の機能が同じ構成要素は同じ参照符号を使用して説明し、これに対する重複説明は省略する。
本出願に関連した公知機能または構成に対する具体的説明は本出願の要旨を不必要としたと判断される場合、その詳細な説明を省略する。また、本明細書の説明過程で利用される数字((例えば、第1、第2等)は一つの構成要素を他の構成要素と区分するための識別記号に過ぎない。
また、以下の実施例で使用される構成要素に対する接尾辞「モジュール」及び「部」は明細書を容易に作成するために考慮して付与されたり混用されることであり、その自体で互いに区別される意味または役割を有するものではない。
以下の実施例で、単数の表現は文脈上で明らかに異なるように意味しない限り、複数の表現も含む。
以下の実施例で、含み、または、有するなどの用語は明細書上に記載された特徴、または、構成要素が存在することを意味し、一つ以上の他の特徴または構成要素が付加される可能性を予め排除するものではない。
図面では説明を容易にするために構成要素において、その大きさが拡張または縮小されることができる。例えば、図面に示される各構成の大きさ及び厚さは説明の便宜のために任意に示し、本発明は必ず図示されことには限定されない。
ある実施例が別に実現可能な場合、特定のプロセスの順序は説明される順序と異なって実行されてもよい。例えば、連続して説明される二つのプロセスが実質的に同時に実行されてもよく、説明される順序と相反する順序で行ってもよい。
以下の実施例で、構成要素などが連結された時、構成要素が直接連結された場合だけではなく、構成要素の間に構成要素が介在して間接的に連結された場合も含まれる。
例えば、本明細書での構成要素などが電気的に接続される時、構成要素などが直接電気的に接続された場合だけではなく、その間に構成要素などが介在して間接的に電気的に接続される場合も含まれる。
図1を参考すれば、治療補助情報は放射線が照射される領域と関連して、腫瘍が位置する臓器に対応する領域(GTV)、放射線治療時被施術者の動きを考慮したマージンに関連する領域(CTV)及び複数回の腫瘍治療に対する臓器の微細な動きを考慮したマージン(PTV)を含むことができる。また、治療補助情報は放射線が照射されてはいけない領域(OAR)、例えば、腫瘍周辺の器官(organ)が位置する領域を含むことができる。
この時、放射線が照射される領域及び放射線が照射されてはいけない領域は施術者により異なるように定義されることができる。また、放射線が照射される領域及び放射線が照射されてはいけない領域は被施術者の特性、腫瘍の類型及び/または腫瘍を治療するための放射線の類型により異なるように定義されることができる。
本出願の医療映像分析装置、医療映像分析システム及び医療映像分析方法は放射線が照射される領域及び/または放射線が照射されてはいけない領域を医療イメージのセグメンテーション技法を活用して自動的に算出し、施術者、被施術者、腫瘍及び/または放射線の特性を反映して、放射線が照射される領域及び/または放射線が照射されてはいけない領域と関連する治療補助情報を算出して使用者に提供することができる。
以下では腫瘍治療と関連する治療補助情報を算出する内容を中心に説明する。ただし、これは例示に過ぎず医療映像分析をベースに腫瘍以外の施術者などの特性を反映して治療補助情報を生成するためのすべての医療分野に利用されることができる。
以下では本出願の一実施例による医療イメージ分析方法、医療イメージ分析装置及び医療イメージ分析システムに関して説明する。
図2は本出願の一実施例による医療イメージ分析システムに関する概略図である。図2を参照すれば、本出願の一実施例による医療イメージ分析システムは医療イメージ取得装置(1000)、医療イメージ分析装置(2000)及び学習装置(3000)を含むことができる。
医療イメージ取得装置(1000)は医療イメージを取得してネットワークにより医療イメージ分析装置(2000)に送信することができる。
一例で、医療イメージ取得装置(1000)は磁気共鳴画像(MRI,Magnetic Resonance Imaging)を取得するための装置であってもよい。この時、医療イメージ取得装置(1000)により取得された磁気共鳴画像はネットワークを通じて医療イメージ分析装置(2000)に伝達されることができる。
他の例で、医療イメージ取得装置(1000)はコンピュータ断層撮影(CT,Computed Tomography)映像を取得するための装置であってもよい。この時、医療イメージ取得装置(1000)により取得されたコンピュータ断層撮影映像はネットワークを通じて医療イメージ分析装置(2000)に伝達されることができる。
また他の例で、医療イメージ取得装置(1000)は放射線撮影(Radiography)によって取得された映像を取得するための装置であってもよい。この時、医療イメージ取得装置(1000)により取得された放射線撮影映像はネットワークを通じて医療イメージ分析装置(2000)に伝達されることができる。
また、医療イメージ取得装置(1000)は複数個の医療イメージ取得装置(1000)で構成されることができる。
上述した医療イメージ取得装置(1000)は例示に過ぎず、これに対し制限されない。医学撮影(medical imaging)に活用される任意の適切な装置やシステムを包括する意味で解釈されなければならない。
医療イメージ取得装置(1000)により取得されたイメージは2次元形態のイメージであってもよい。この時、医療イメージはピクセルの座標、色、強度などに関連するピクセル情報を含むことができる。
医療イメージ取得装置(1000)により取得された医療イメージは3次元形態のイメージであってもよい。この時、イメージはボクセルの座標、色、強度と関連するピクセル情報を含むことができる。
医療イメージ取得装置(1000)により取得された医療イメージは医療イメージと関連する特性情報を含むことができる。例えば、医療イメージは対象体、すなわち、被施術者情報を含むことができる。具体的に被施術者情報とは、被施術者の身元情報((例えば、年齢、性別、姓名など)または被施術者の医療情報((例えば、基底疾患、治療履歴など)を包括する意味であってもよい。この時、被施術者情報は医療イメージに対しメタデータで構造化されることができる。
医療イメージ取得装置(1000)により取得された医療イメージは医療イメージの整列に関連する情報を含むことができる。例えば、医療イメージ取得装置(1000)は対象体の基準座標軸の方向(RAS)を考慮し、撮影された医療イメージの方向に関連するデータ(ijk)を共に取得することができる。医療イメージ取得装置(1000)は医療イメージ取得装置(1000)の座標軸に対する情報(xyz)及び対象体(100)の基準座標軸に対する情報(RAS)を考慮して撮影されたイメージの方向に関連するデータ(ijk)を取得することができる。
この時、上述したデータは取得された医療イメージに対しメタデータで構造化されて医療イメージ分析装置(2000)に送信されたり、医療イメージとは別個で医療イメージ分析装置(2000)に伝達されることができる。
医療イメージ取得装置(1000)により取得された医療イメージは身体の特定部位の解剖学的構造と関連する情報を含むことができる。また、身体の特定部位は医学撮影(medical imaging)が活用されるすべての部位に対応することができる。説明の便宜のために後述する図面と明細書では腫瘍(tumor)と関連する医療イメージを中心に説明するが、これは例示に過ぎず、本出願に開示される実施例は腫瘍以外の任意の適切な部位((例えば、肺、乳房、心臓、関節、血管など)に含まれる疾患を治療するために医療イメージを分析するすべての場合に対して適用されることができる。
一方、本出願の一実施例による医療イメージ取得装置(1000)はサーバーの形態で実現されることができる。この時、サーバーは医療イメージ及び医療イメージと関連する情報を保存するように構成されることができる。また、サーバーは医療イメージ及び医療イメージと関連する情報を修正またはプロセシング(processing)するように実現されることができる。
また、医療イメージは医療イメージ分析装置(2000)のメモリーまたはサーバーに保存されて、セグメンテーションを行いまたは治療補助情報を出力することに活用されることができる。これに関しては、以下で詳しく説明する。
本出願の一実施例による医療イメージ分析装置(2000)は医療イメージ取得装置(1000)から取得された医療イメージを学習装置(3000)により学習された人工神経網を利用してセグメンテーションを行って、治療補助情報を出力する動作を実行できる。これと関連しては、詳しく後述する。
本出願の一実施例による学習装置(3000)は学習データ群を利用して、医療イメージのセグメンテーションのための神経網モデルのパラメーター群を更新することができる。また、本出願の一実施例による学習装置(3000)は学習データ群を利用して、特性情報に関する医療イメージをセグメンテーションするための神経網モデルのパラメーター群を更新する動作を実行できる。これに関しては、図4乃至図14を用いて詳しく後述する。
図2に示すように、医療イメージ取得装置(1000)、医療イメージ分析装置(2000)及び学習装置(3000)はそれぞれ別途の装置により提供されることを図示した。ただし、これは例示に過ぎず、医療イメージ取得装置(1000)、医療イメージ分析装置(2000)及び/または学習装置(3000)は単一装置で実現されることができる。または、医療イメージ取得装置(1000)、医療イメージ分析装置(2000)及び学習装置(3000)のうち、一部は別途の装置により提供し、残りの装置は単一装置で実現されることができる。
以下では図3を用いて本出願の一実施例による医療イメージ分析装置(2000)の構成を説明する。図3は本出願の一実施例による医療イメージ分析装置(2000)に関するブロック図である。
本出願の一実施例による医療イメージ分析装置(2000)は通信モジュール(2100)、メモリー(2200)、コントローラー(2300)を含むことができる。
通信モジュール(2100)は医療イメージ取得装置(1000)、学習装置(3000)及び任意の外部機器と通信を行うことができる。換言すれば、医療イメージ分析装置(2000)は通信モジュール(2100)を通じて、医療イメージ取得装置(1000)から医療イメージを送受信し、または中継機及びサーバーなどを含む外部機器及び学習装置(3000)と任意データの送受信を行うことができる。
例えば、医療イメージ分析装置(2000)は、通信モジュール(2100)を通じて、医療イメージ取得装置(1000)から取得された医療イメージ、学習装置(3000)から学習された神経網モデルに関するパラメーター情報を受信することができる。他の実施例によれば、医療イメージ分析装置(2000)は、通信モジュール(2100)を通じて、分析結果と関連する情報を任意の外部装置により送信することができる。また、他の実施例によれば、医療イメージ分析装置(2000)は通信モジュール(2100)を通じてインターネットに接続して医療イメージと関連する各種データ、分析結果と関連する情報をアップロードすることができる。
通信モジュール(2100)は大きく有線タイプと無線タイプに分かれる。有線タイプと無線タイプはそれぞれの長短所を有するので、場合によっては医療イメージ分析装置(2000)には有線タイプと無線タイプが同時に設けられることもできる。
ここで、有線タイプの場合、LAN(Local Area Network)、またはUSB(Universal Serial Bus)通信が代表的な例であり、それ以外に他の方式も可能である。
また、ここで、無線タイプの場合、主にブルートゥース(登録商標)(Bluetooth)またはジグビー(Zigbee)のようなWPAN(Wireless Personal Area Network)シリーズの通信方式を利用することができる。しかし、無線通信プロトコルはこれにより制限されず、無線タイプの通信モジュールはワイファイ(Wi-Fi)のようなWLAN(Wireless Local Area Network)シリーズの通信方式または他の公知の他の通信方式を利用することもできる。
メモリー(2200)は各種情報を保存することができる。メモリー(2200)には各種データが一時的または半永久的に保存されることができる。メモリー(2200)の例として、ハードディスク(HDD:Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリー(flash memory)、ロム(ROM:Read-Only Memory)、ラム(RAM:Random Access Memory)等がある。
メモリー(2200)は医療イメージ分析装置(2000)に内蔵される形態や着脱可能な形態で提供されることができる。メモリー(2200)には医療イメージ分析装置(2000)を駆動するための運用プログラム(OS:Operating System)や医療イメージ分析装置(2000)の各構成を動作させるためのプログラムをはじめとして医療イメージ分析装置(2000)の動作に必要な各種データが保存されることができる。例えば、メモリー(2200)には医療イメージと関連する各種データ、分析結果と関連する情報が保存されることができる。
コントローラー(2300)は医療イメージ分析装置(2000)の全般的な動作を制御することができる。例えば、コントローラー(2300)はメモリー(2200)から医療イメージ分析装置(2000)の動作のためのプログラムをロードして実行することができる。
コントローラー(2300)はハードウェアやソフトウェア、またはこれらの組合せによりCPU(Central Processing Unit)やこれと類似する装置で実現されることができる。ハードウェア的には電気的信号を処理して制御機能を実行する電子回路形態で提供されることができ、ソフトウェア的にはハードウェア的回路を駆動させるプログラムやコード形態で提供されることができる。
一方、図3を再び参考にすれば、本出願の一実施例による医療イメージ分析装置(2000)は入力モジュール(2400)と出力モジュール(2500)を含むことができる。
この時、医療イメージ分析装置(2000)は入力モジュール(2400)及び出力モジュール(2500)を利用して、使用者の入力を取得して使用者の入力に対応する情報を出力することができる。例えば、医療イメージ分析装置(2000)は入力モジュール(2400)を利用してデータ取得を要求する使用者入力、医療イメージの前処理を指示する使用者入力、イメージセグメンテーションに関連する使用者入力及び一部ノードのパラメーター群を決めるための特性情報に対する使用者入力を取得して、対応する情報を、出力モジュール(2500)を通じて出力することができる。
1つ例で、使用者は入力モジュール(2400)を通じて医療イメージ分析装置(2000)の分析と関連する条件や設定を入力することができる。
例えば、使用者は入力モジュール(2400)を通じて対象医療イメージをセグメンテーションするための対象特性情報を設定することができる。この時、医療イメージ分析装置(2000)は入力モジュール(2400)から受信された対象特性情報に基づいて医療イメージのセグメンテーションを実行するように実現されることができる。
入力モジュール(2400)はマウス、キーボード、タッチパッドなどの多様な形態で実現されることができる。
出力モジュール(2500)は医療イメージ分析装置(2000)の医療イメージ分析動作上での知らせや医療イメージ分析結果などを出力するように提供されることができる。
例えば、医療イメージ分析装置(2000)が医療イメージのセグメンテーション動作を実行する場合、医療イメージにエラーが存在するという通知ウィンドウは出力モジュール(2500)を通じて提供されることができる。
他の例によれば、医療イメージ分析装置(2000)が医療イメージのセグメンテーション動作を実行する場合、セグメンテーション結果は出力モジュール(2500)を通じて提供されることができる。
また他の例によれば、医療イメージ分析装置(2000)により医療イメージの分析が完了した場合、医療イメージの分析結果((例えば、セグメンテーション情報または治療補助情報など)は出力モジュール(2500)を通じて使用者に提供されることができる。
出力モジュール(2500)はスマートフォンのディスプレー、モニターのディスプレーなどの任意の適切な形態で実現されることができる。
また、本出願の一実施例による医療イメージ分析装置(2000)は入力モジュール(2400)を通じて使用者の入力を取得し、出力モジュール(2500)を通じて使用者の入力に対応する情報を出力するためのユーザーインターフェースを更に含むことができる。
図3では、本出願の一実施例による医療イメージ分析装置(2000)は入力モジュール(2400)及び出力モジュール(2500)を含むことを図示したが、これは例示に過ぎず、入力モジュール(2400)及び出力モジュール(2500)が省略された医療イメージ分析装置(2000)が提供されることができる。
この時、医療イメージ分析装置(2000)とは別途の外部装置が上述した入力モジュールと出力モジュールを含むことができる。また、医療イメージ分析装置(2000)から分析された結果は、通信モジュールを通じて別途の外部装置へ送信されて、別途の外部装置の入力モジュールと出力モジュールを通じて使用者に提供されることができる。
一方、本出願の一実施例による医療イメージ分析装置(2000)はサーバーの形態で実現されることができる。この時、サーバーは医療イメージ取得装置(1000)から送信された医療イメージ及び医療イメージと関連する情報を保存するように構成される。また、サーバーは医療イメージ及び医療イメージと関連する情報を修正、プロセシング(processing)するように実現されることができる。
また、医療イメージ分析装置(2000)のサーバーは医療イメージ取得装置(1000)のサーバーとは別途で実現されるが、これに対し制限されず、医療イメージ取得装置(1000)のサーバーと医療イメージ分析装置(2000)のサーバーは単一な形態で実現されることができる。換言すれば、医療イメージ取得装置(1000)と医療イメージ分析装置(2000)は共通のサーバーを持つ形態で実現されることができる。
本出願の一実施例による医療イメージ分析装置(2000)は医療イメージのセグメンテーションを実行できる。この時、本出願の一実施例による医療イメージのセグメンテーションは学習された神経網モデルを利用して実行されることができる。
また、本出願の一実施例による医療イメージ分析装置(2000)は医療イメージと関連する対象特性情報に基づいて医療イメージのセグメンテーションを実行できる。この時、本出願の一実施例による医療イメージのセグメンテーションは対象特性情報に基づいて学習されたパラメーター群が含まれる神経網モデルを利用して実行されることができる。本出願の一実施例による医療イメージのセグメンテーションのための神経網モデルは、対象特性情報を反映した特徴ベクターが神経網モデルの一部レイヤーから出力されるように構成されることができる。
以下では医療イメージ分析装置(2000)の一実施例によって実行されるいくつかの動作に対して更に具体的に説明する。
以下では説明の便宜のために腫瘍(tumor)と関連する医療イメージを分析する実施例を中心に説明する。ただし、腫瘍に制限されず本出願に開示される多様な実施例は腫瘍以外の任意の適切な身体の部位と関連する疾患を治療するために医療イメージを分析する全ての医療分野に対しても適用される。
本出願の一実施例による医療イメージ分析装置(2000)は医療イメージ及び医療イメージと関連する情報を取得することができる。
具体的に医療イメージ分析装置(2000)は医療イメージ取得装置(1000)から医療イメージを取得することができる。更に具体的に、医療イメージ分析装置(2000)は通信モジュール(2100)を通じて医療イメージ取得装置(1000)から医療イメージと医療イメージと関連する情報を取得することができる。
また、医療イメージ分析装置(2000)は医療イメージ取得装置(1000)、入力モジュール(2400)による使用者の入力または、任意の外部装置((例えば、サーバー)から医療イメージと関連する情報を取得することができる。
医療イメージと関連する情報は医療イメージに含まれるデータ、医療イメージと関連する特性情報を包括する意味である。
この時、医療イメージに含まれるデータは医療イメージ内に含まれたピクセルまたはボクセルに関するデータ、医療イメージの方向(orientation)と関連するデータ及び医療イメージに対し構造化された任意のメタデータ(metadata)であってもよい。
特に、後述する医療イメージの対象体(即ち、被施術者)に対する情報がメタデータとして医療イメージに対し構造化されることができる。
この時、医療イメージと関連する特性情報は、施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連する情報であってもよい。また、特性情報は治療補助情報を算出することに基礎になることができる。換言すれば、特性情報は治療補助情報を計画することに利用され、このような趣旨で特性情報は治療計画情報として称することができる。
以下では特性情報と治療計画情報を混用して使用するが、これは説明の便宜のためのものであり、称する用語によって制限的に解釈されない。
例えば、施術者情報は医療イメージに基づいて治療を実行する施術者の身元情報((例えば、年齢、性別、姓名など)を含むことができる。
または、施術者情報は医療イメージに対し放射線照射領域を設定または定義した施術者の治療履歴情報を含むことができる。例えば、第1施術者は医療イメージの第1領域を放射線照射領域として定義して治療を実行できる。この時、第1施術者の身元情報と医療イメージの第1領域を放射線照射領域として選択した治療履歴情報は医療イメージと関連する特性情報であってもよい。それに反して、第2施術者は医療イメージの第2領域を放射線照射領域として決めて放射線治療を実行できる。この時、第2施術者の身元情報と医療イメージの第2領域を放射線照射領域として選択した治療履歴情報は医療イメージと関連する特性情報であってもよい。
例えば、被施術者情報は腫瘍と関連する放射線治療を受ける被施術者の身元情報((例えば、年齢、性別、姓名など)を含むことができる。
または、被施術者情報は被施術者の医療情報(例えば、基底疾患、治療履歴など)を含むことができる。例えば、被施術者は基底疾患を有し、または放射線治療と関連する既存治療履歴が存在することができる。この時、被施術者の身元情報と被施術者の基底疾患の有無、基底疾患の情報及び既存治療履歴と関連する情報は医療イメージと関連する特性情報であってもよい。
例えば、腫瘍情報は腫瘍の大きさ、形態、発現レベル(Grade)、腫瘍の類型または腫瘍の位置などを含む医療イメージと関連する腫瘍に関する情報を包括する意味であってもよい。この時、医療イメージと関連する腫瘍に関する情報は特性情報であってもよい。例えば、第1被施術者は第1腫瘍情報(例えば、第1大きさ、第1形態、第1位置など)を含む腫瘍を有してもよい。それに反して、第2被術者は第2腫瘍情報(例えば、第2大きさ、第2形態、第2位置など)を含む腫瘍を有してもよい。この時、第1腫瘍情報と第2腫瘍情報は医療イメージと関連する特性情報であってもよい。
例えば、放射線情報は腫瘍を施術または治療するために用いる放射線(Radiation)の種類、放射線の強さ、放射線の照射周期、放射線のスポットサイズ、または放射線装置のメーカーなどを含む放射線と関連する情報を包括する意味であってもよい。例えば、第1放射線情報を含む放射線を用いて第1腫瘍の施術や治療を行うことができる。それに反して、第2放射線情報を含む放射線を用いて第2腫瘍の施術や治療を行うことができる。この時、第1放射線情報と第2放射線情報は医療イメージと関連する特性情報であってもよい。
本出願の一実施例による学習装置(3000)は上述した特性情報を取得し、特性情報に基づいて特性情報に特異的な特徴ベクターが出力されるように、パラメーター群を更新するように実現されることができる。
また、本出願の一実施例による医療イメージ分析装置(2000)は特性情報に基づいて取得されたパラメーター群で、神経網モデルの対応するノードのパラメーター群を代えて、特性情報を反映した医療イメージのセグメンテーションを実行するように実現されることができる。
医療イメージ分析装置(2000)は上述した特性情報は医療イメージに対し構造化されたメタデータの形態として特性情報を取得するように実現されることができる。例えば、上述した特性情報のうち、被施術者情報の身元情報(例えば、年齢、性別、姓名など)は医療イメージに対しメタデータで構造化されて医療イメージ分析装置(2000)が取得するように実現されることができる。
または、医療イメージ分析装置(2000)は任意の外部装置から上述した特性情報を取得するように実現されることができる。例えば、医療イメージ分析装置(2000)は上述した特性情報のうち、施術者情報、腫瘍情報、放射線情報及び/または被施術者情報は任意のサーバーを含む任意の外部装置から取得するように実現されることができる。
または、医療イメージ分析装置(2000)は上述した特性情報を入力モジュール(2400)により使用者から入力されて取得することができる。例えば、使用者は、入力モジュール(2400)を通じて、施術者の身元情報または施術者の治療履歴情報、腫瘍と関連する情報及び腫瘍を治療するための放射線情報などを入力することができる。この時、医療イメージ分析装置(2000)は使用者の入力を受信することによって、特性情報を取得することができる。
この時、医療イメージと関連する特性情報は、施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち、少なくとも一つと関連する情報であってもよい。また、特性情報は治療補助情報を算出することに基礎になることができる。換言すれば、特性情報は治療補助情報を計画することに利用され、このような趣旨で特性情報は治療計画情報として称することができる。
以下では特性情報と治療計画情報を混用して使用するが、これは説明の便宜のためのものであり、称する用語によって制限的に解釈されない。
例えば、施術者情報は医療イメージに基づいて治療を実行する施術者の身元情報(例えば、年齢、性別、姓名など)を含むことができる。
または、施術者情報は医療イメージに対し放射線照射領域を設定または定義した施術者の治療履歴情報を含むことができる。例えば、第1施術者は医療イメージの第1領域を放射線照射領域として定義して治療を実行できる。この時、第1施術者の身元情報と医療イメージの第1領域を放射線照射領域として選択した治療履歴情報は医療イメージと関連する特性情報であってもよい。それに反して、第2施術者は医療イメージの第2領域を放射線照射領域として決めて放射線治療を実行できる。この時、第2施術者の身元情報と医療イメージの第2領域を放射線照射領域として選択した治療履歴情報は医療イメージと関連する特性情報であってもよい。
例えば、被施術者情報は腫瘍と関連する放射線治療を受ける被施術者の身元情報(例えば、年齢、性別、姓名など)を含むことができる。
または、被施術者情報は被施術者の医療情報(例えば、基底疾患、治療履歴など)を含むことができる。例えば、被施術者は基底疾患を有しまたは放射線治療と関連する既存治療履歴が存在することができる。この時、被施術者の身元情報と被施術者の基底疾患の有無、基底疾患の情報及び既存治療履歴と関連する情報は医療イメージと関連する特性情報であってもよい。
例えば、腫瘍情報は腫瘍の大きさ、形態、発現レベル(Grade)、腫瘍の類型または腫瘍の位置などを含む医療イメージと関連する腫瘍に関する情報を包括する意味であってもよい。この時、医療イメージと関連する腫瘍に関する情報は特性情報であってもよい。例えば、第1被施術者は第1腫瘍情報(例えば、第1大きさ、第1形態、第1位置など)を含む腫瘍を有してもよい。それに反して、第2被術者は第2腫瘍情報(例えば、第2大きさ、第2形態、第2位置など)を含む腫瘍を有してもよい。この時、第1腫瘍情報と第2腫瘍情報は医療イメージと関連する特性情報であってもよい。
例えば、放射線情報は腫瘍を施術または治療するために用いる放射線(Radiation)の種類、放射線の強さ、放射線の照射周期、放射線のスポットサイズ、または、放射線装置のメーカーなどを含む放射線と関連する情報を包括する意味であってもよい。例えば、第1放射線情報を含む放射線を用いて第1腫瘍の施術や治療を行うことができる。それに反して、第2放射線情報を含む放射線を用いて第2腫瘍の施術や治療を行うことができる。この時、第1放射線情報と第2放射線情報は医療イメージと関連する特性情報であってもよい。
本出願の一実施例による学習装置(3000)は上述した特性情報を取得し、特性情報に基づいて、特性情報に特異的な特徴ベクターが出力されるように、パラメーター群を更新するように実現されることができる。
また、本出願の一実施例による医療イメージ分析装置(2000)は特性情報に基づいて取得されたパラメーター群で、神経網モデルの対応するノードのパラメーター群を代えて、特性情報を反映した医療イメージのセグメンテーションを実行するように実現されることができる。
医療イメージ分析装置(2000)は上述した特性情報は医療イメージに対し構造化されたメタデータの形態として特性情報を取得するように実現されることができる。例えば、上述した特性情報のうち、被施術者情報の身元情報(例えば、年齢、性別、姓名など)は医療イメージに対しメタデータで構造化されて医療イメージ分析装置(2000)が取得するように実現されることができる。
または、医療イメージ分析装置(2000)は任意の外部装置から上述した特性情報を取得するように実現されることができる。例えば、医療イメージ分析装置(2000)は上述した特性情報のうち、施術者情報、腫瘍情報、放射線情報及び/または被施術者情報は任意のサーバーを含む任意の外部装置から取得するように実現されることができる。
または、医療イメージ分析装置(2000)は上述した特性情報を入力モジュール(2400)により使用者から入力されて取得することができる。例えば、使用者は、入力モジュール(2400)を通じて、施術者の身元情報または施術者の治療履歴情報、腫瘍と関連する情報及び腫瘍を治療するための放射線情報などを入力することができる。この時、医療イメージ分析装置(2000)は使用者の入力を受信することによって、特性情報を取得することができる。
また、本出願の一実施例による医療イメージ分析装置(2000)は医療イメージ分析と関連する動作に関する情報を取得することができる。
具体的に医療イメージ分析装置(2000)は、医療イメージを前処理または整列するための医療イメージと関連するテンプレート(Template)と関連する情報を任意の外部装置から取得することができる。
医療イメージ分析装置(2000)により取得されたデータは、医療イメージ分析装置(2000)のメモリー(2200)または医療イメージ分析装置(2000)の任意の外部装置(例えば、サーバー)に保存されることができる。また、医療イメージ分析装置(2000)により取得されたデータは、学習装置(3000)に送信されることができる。または、医療イメージ分析装置(2000)により取得されたデータは任意の外部装置(例えば、サーバー)へ送信されることができる。
本出願の一実施例による医療イメージ分析装置(2000)は医療イメージの前処理を実行できる。例えば、医療イメージ分析装置(2000)は医療イメージ分析正確度を向上させるための前処理を実行できる。医療イメージ分析装置(2000)は、医療イメージをセグメンテーションの動作を実行する前に、より正確なセグメンテーション結果を導出するための医療イメージの前処理を実行するように提供されることができる。
一つ例において、医療イメージ分析装置(2000)は、医療イメージ取得装置(1000)から取得された医療イメージ形式の変換を実行するように提供されることができる。具体的に分析する医療イメージの形式を統一することによって神経網モデルを更に安定的かつ正確に学習させることができる。更に具体的に、神経網モデルの学習に利用される医療イメージと同じ形式を有する医療イメージを用いて分析を実行することにより、更に安定的かつ正確である。したがって、本出願の一実施例による医療イメージ分析装置(2000)は、医療イメージ取得装置(1000)から取得されたイメージ形式の変換を実行するように提供されることができる。
1つ例において、医療イメージ分析装置(2000)は、医療イメージ取得装置(1000)から取得された医療イメージに存在できるノイズ(noise)を除去し、またはアーチファクト(artifact)の補正を実行するように提供されることができる。例えば、ノイズを除去するためにぼやかす技法及びメディアンフィルター(Median filter)を利用した技法が利用されることができる。医療イメージ分析装置(2000)はノイズを除去して、アーチファクトの補正を実行することによって、更に正確な医療イメージのセグメンテーション結果を導出し、正確度が改善されたセグメンテーション結果に基づいて治療補助情報を出力できるため、客観的な治療補助情報を使用者に提供することができる。
一つ例において、医療イメージ分析装置(2000)は医療イメージ取得装置(1000)から取得されたイメージのインテンシティ(intensity)を補正する動作を実行するように提供されることができる。インテンシティ(intensity)を適切に補正することによって、医療イメージに存在するノイズ(noise)を除去することができ、分析しようとする解剖学構造に特化した医療イメージを取得することができる。
一つ例において、医療イメージ分析装置(2000)は医療イメージ取得装置(1000)から取得された医療イメージをスムージング処理する動作を実行するように提供されることができる。例えば、医療イメージをスムージング処理する方法としてぼやかす(RPurring)、ガウシアンフィルター(Gaussian filiter)を用いる技法が利用されることができる。
一つ例において、医療イメージ分析装置(2000)は医療イメージ取得装置(1000)から取得された医療イメージの比率を調節しまたは医療イメージを切り取る動作を実行するように提供されることができる。例えば、医療イメージ分析装置(2000)は医療イメージを切り取るために任意の適切なクロップ(crop)技法を活用するように実現されることができる。または、医療イメージ分析装置(2000)は医療イメージの比率を調節するためにオンデマンド・イメージリサイジング(Ondemand image resizing)、ラムダ・イメージリサイジング(Lambda image resizing)、CILanczosScaleTransformフィルターを利用したリサイジング方法、CIFilterを利用したリサイジング方法などの任意の適切なイメージリサイジング技法を活用するように実現されることができる。
一つ例において、医療イメージ分析装置(2000)は後述する学習装置(3000)での医療イメージに対する前処理動作に対応する前処理動作を実行するように実現されることができる。例えば、学習装置(3000)において、医療イメージを第1前処理技法により神経網モデルを学習させた場合、医療イメージ分析装置(2000)は第1前処理技法に対応する前処理技法により対象医療イメージを前処理するように実現されることができる。これを通じて神経網モデルを利用する医療イメージセグメンテーションは更に安定的かつ正確に実現されることができる。
本出願の一実施例による医療イメージ分析装置(2000)は医療イメージを整列することができる。
例えば、医療イメージ分析装置(2000)は医療イメージの方向(orientation)と関連する情報を取得し、医療イメージの方向と関連する情報に基づいて医療イメージを整列するように実現されることができる。
他の例において、医療イメージ分析装置(2000)は医療イメージと関連するテンプレート(Template)を取得し、医療イメージをテンプレート(Template)に空間的に整合させることによって、医療イメージを整列するように実現されることができる。
ただし、上述した医療イメージの整列方法は例示に過ぎず、医療イメージ分析装置(2000)は任意の適切な方法によって医療イメージを整列するように実現されることができる。例えば、医療イメージ分析装置(2000)は医療イメージ内に含まれる特徴領域を基礎にして医療イメージを整列するように実現されることができる。
本出願の一実施例による医療イメージ分析装置(2000)は医療イメージのセグメンテーションを実行できる。この時、医療イメージ分析装置(2000)は医療イメージと関連する特性情報を考慮して医療イメージがセグメンテーションを実行するように実現されることができる。
以下では図4乃至図17を参考にして、本実施例による医療イメージのセグメンテーションのための学習装置(3000)及び医療イメージ分析装置(2000)の動作に対し具体的に説明する。
本出願の一実施例によれば、医療イメージのセグメンテーション動作は学習された神経網モデルを利用して実行されることができる。ただし、神経網モデルを利用しなくても任意の適切な方法を利用して本出願の一実施例による医療イメージのセグメンテーション動作が実現されることができる。
以下では医療イメージセグメンテーションのための神経網モデルを学習させる動作と学習された神経網モデルを利用して医療イメージのセグメンテーションを実行する内容を中心に説明する。
図4に示すように、図4は本出願の一実施例による医療イメージのセグメンテーションプロセスを示す図である。
図4により、本出願の一実施例による医療イメージのセグメンテーションプロセスは、医療イメージのセグメンテーションのための人工神経網モデルの学習プロセス(P1000)と学習された人工神経網モデルを利用した対象医療イメージのセグメンテーションプロセス(P2000)を含むことができる。
この時、学習プロセス(P1000)は本出願の一実施例による学習装置(3000)により実現されることができる。
また、セグメンテーションプロセス(P2000)は本出願の一実施例による医療イメージ分析装置(2000)により実現されることができる。
この時、学習装置(3000)から実現される学習プロセス(P1000)により取得された神経網モデルのパラメーター群は任意の適切な通信モジュールを通じて医療イメージ分析装置(2000)へ送信されることができる。
この時、医療イメージ分析装置(2000)は学習プロセス(P1000)により取得された神経網モデルのパラメーター群に基づいて、対象医療イメージのセグメンテーションを実行するように実現されることができる。また、医療イメージ分析装置(2000)はセグメンテーションプロセス(P2000)により取得されたセグメンテーション情報に基づいて、特性情報を反映する治療補助情報を出力するように実現されることができる。
本出願の一実施例による学習プロセス(P1000)は学習データ群を取得するプロセス(P1100)、神経網モデルを学習させるプロセス(P1200)、神経網モデルを検証するプロセス(P1300)及び神経網モデルのパラメーターを取得するプロセス(P1400)を含むことができる。
以下では図5を参考にして、本出願の一実施例による学習装置(3000)の神経網モデルの学習方法を説明する。図5は本出願の一実施例による学習装置(3000)の神経網モデルの学習方法に対する順序図である。
図5を参考にすれば、本出願の一実施例による学習装置(3000)の神経網モデルの学習方法は、学習データ群を取得する段階(S1100)、学習データ群をスクリーニングする段階(S1200)、学習データ群の前処理及び整列(S1300)、神経網モデルの学習及び検証段階(S1400)及び神経網モデルのパラメーターを取得する段階(S1500)を含むことができる。
学習データ群を取得する段階(S1100)において、本出願の一実施例による学習装置(3000)は医療イメージ取得装置(1000)またはサーバーを含む任意の外部装置から、医療イメージに関する学習データ群を取得することができる。
学習データ群を取得する段階(S1100)において、本出願の一実施例による学習装置(3000)は、医療イメージ取得装置(1000)、サーバーを含む任意の外部装置及び/または使用者の入力から医療イメージと関連する特性情報を取得することができる。この時、取得された特性情報は、学習プロセス(P1000)で神経網モデルの隠しレイヤー(Hidden Layer)の一部を構成する特性レイヤーのパラメーター群を学習または更新することに基礎になることができる。
図6に示すように、図6は本出願の一実施例による医療イメージと関連する学習データ群の例示的な構造図である。
学習装置(3000)により取得する医療イメージと関連する学習データ群(DS)は少なくとも一つ以上の医療イメージデータを含むことができる。換言すれば、学習装置(3000)により取得する学習データ群(DS)は、第1医療イメージデータ(ID1)、第2医療イメージデータ(ID2)及び第n医療イメージデータ(IDn)等の少なくとも一つ以上の医療イメージデータを含むことができる。
また、少なくとも一つ以上の医療イメージデータは、医療イメージに対するラベルデータを含むことができる。例えば、第1医療イメージデータ(ID1)は第1医療イメージ(I1)に対する第1ラベルデータ(L1)を含むことができる。
この時、図6に示される学習データ群に含まれるラベルに関するデータは、医療イメージに対し同じ施術者によって手動または自動でラベリングされたデータであってもよい。
ただし、これは説明の便宜のための例示に過ぎず、図6に示された学習データ群に含まれるラベルに関するデータは、複数の施術者によって手動または自動でラベリングされたデータであってもよい。このような場合でも、学習装置(3000)により取得できる特性情報に施術者情報などが含まれるため、特性情報を反映して医療イメージをセグメンテーションするための神経網モデルを学習させる目的を十分に達成させるように学習プロセス(P1000)が実現されることができる。
学習装置(3000)により取得する学習データ群(DS)に含まれる医療イメージデータは、医療イメージ及びラベルに関するデータを含むことができる。
例えば、図6を参考にすれば、学習データ群(DS)に含まれる第1医療イメージデータ(ID1)は、第1医療イメージ(I1)及び第1ラベル(L1)と関連するデータを含むことができる。
具体的に、第1ラベル(L1)は、腫瘍(tumor)を施術または治療できる臨床医から手動で第1医療イメージ(I1)に対しラベリングされて取得されることができる。または、第1ラベル(L1)は任意の適切なイメージセグメンテーション技法を利用して自動でラベリングされて取得されることができる。
また、ラベルに関するデータは、腫瘍(tumor)を施術または治療するための領域と関連するラベルであってもよい。例えば、腫瘍(tumor)を施術または治療するためには、放射線が照射される領域と腫瘍に放射線が印加されてはいけない領域が定義されることができる。この時、図6に示さるように、学習データ群(DS)に含まれるラベルと関連したデータは、医療イメージの腫瘍に対応する領域(以下腫瘍領域)、放射線が照射される領域、放射線が照射されてはいけない領域を含む複数の領域を定義するラベルデータであってもよい。
また、ラベルに関するデータは複数の独立したラベルであってもよい。
一つ例において、ラベルに関するデータは、放射線が照射される領域及び/または放射線が照射されてはいけない領域に関するラベルを含むことができる。
例えば、ラベルに関するデータ(例えば、第1ラベル(L1)乃至第nラベル(Ln)等)は腫瘍が位置する臓器に対応する領域(GTV)、放射線治療時被施術者の動きを考慮したマージンに関する領域(CTV)及び/または複数回の腫瘍治療に対する臓器の微細な動きを考慮したマージンに関する領域(PTV)を含む放射線が照射される領域に対応する複数の独立したラベルを含むことができる。
例えば、ラベルに関するデータ(例えば、第1ラベル(L1)乃至第nラベル(Ln)等)は、放射線が照射されてはいけない領域(OAR)と関連するラベルを含むことができる。
医療イメージデータに含まれる医療イメージ及びラベルに関するデータは、本出願の一実施例による学習方法と関連する人工神経網モデルを学習させて人工神経網モデルを検証することに基礎になることができる。
一方、学習データ群(DS)に含まれる医療イメージデータは、医療イメージの特性情報と関連するデータを更に含むことができる。
特性情報と関連するデータは、上述した通り、施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連することができる。
この時、特性情報と関連するデータは、医療イメージに対しメタデータとして構造化されることができる。例えば、医療イメージの被施術者の身元情報(例えば、年齢、性別、姓名など)を含む被施術者の情報は医療イメージに対しメタデータとして構造化されることができる。
また、学習データ群(DS)に含まれる医療イメージデータは、医療イメージの方向に関連するデータを更に含むことができる。この時、学習装置(3000)は、医療イメージの方向に関連するデータに基づいて医療イメージを整列するように実現されることができる。
図6では第1医療イメージデータ(ID1)に含まれるデータのみを示すが、これは説明の便宜のための例示に過ぎず、第2医療イメージデータ(ID2)または第n医療イメージデータ(IDn)等を含む学習データ群の医療イメージデータはイメージ及びラベルに関するデータを含むことができる。
ただし、学習装置(3000)は上述した医療イメージの方向に関するデータ及び/または特性情報と関連するデータを、医療イメージとは別途で任意の外部装置から取得するように実現されることができる。
または、学習装置(3000)は上述した医療イメージの方向に関するデータ及び/または特性情報と関連するデータを、使用者の入力から受信するように実現されることができる。
学習データ群をスクリーニングする段階(S1200)において、本出願の一実施例による学習装置(3000)は、学習データ群を取得する段階(S1100)により取得された学習データ群をスクリーニングし、または学習データ群に含まれる医療イメージデータのうち、一部医療イメージデータのみを選別する動作を実行するように実現されることができる。
一つ例において、取得された学習データ群のうち一部医療イメージデータは、セグメンテーションを行うための人工神経網モデルを学習することに適切でないこともある。例えば、一部医療イメージデータは深刻なアーチファクト(Artifact)や深刻なノイズを含むことができる。このような医療イメージデータは人工神経網モデルを学習させるために適切でないこともある。
したがって、学習装置(3000)は取得された学習データ群に含まれる医療イメージデータをスクリーニングまたは人工神経網モデルを学習させるために有効な医療イメージデータを選別するように実現されることができる。
学習データ群の前処理及び整列する段階(S1300)において、本出願の一実施例による学習装置(3000)は、学習データ群に含まれる医療イメージのノイズやアーチファクトを除去または医療イメージのインテンシティを補正する前処理動作を実行するように実現されることができる。
また、本出願の一実施例による学習装置(3000)は、医療イメージの方向に関するデータに基づいて医療イメージを整列し、または医療イメージをテンプレートに整合して医療イメージを整列する動作を実行するように実現されることができる。
これに関しては、上述した医療イメージ分析装置(2000)の前処理動作と関連して、上述した医療イメージの整列動作が同一して学習装置(3000)により実現されるように提供されることができる。または、学習装置(3000)と医療イメージ分析装置(2000)の間のデータ送受信を通じて医療イメージ分析装置(2000)により医療イメージの前処理及び整列動作を実行した後、学習装置(3000)へ伝達するように実現されるだろう。
神経網モデルの学習及び検証段階(S1400)において、本出願の一実施例による学習装置(3000)は、医療イメージセグメンテーションを行うための人工神経網モデルを学習させることができる。
具体的に人工神経網モデルは医療イメージデータが入力されるための入力レイヤー、セグメンテーション結果であるレーベリング結果を出力するための出力レイヤー及び少なくとも一つ以上のノードを含む隠しレイヤーを含むことができる。
この時、学習装置(3000)は、取得された学習データ群に含まれる医療イメージデータを入力レイヤーを通じて入力し、神経網モデルによって取得された医療イメージデータに対するラベルに関する出力データを、出力レイヤーを通じて取得するように実現されることができる。
例えば、学習装置(3000)は、第1医療イメージデータ(ID1)を入力し、出力レイヤーを通じて第1’ラベル(L1’)を出力するように構成される人工神経網を学習するように実現されることができる。また、学習装置(3000)は、第2医療イメージデータ(ID2)を入力レイヤーにより入力し、出力レイヤーを通じて出力された第2’ラベル(L2’)を取得することができる。
この時、学習装置(3000)は、第1医療イメージデータ(ID1)に含まれる第1ラベル(L1)と出力レイヤーを通じて取得された第1’ラベル(L1’)、及び第2医療イメージデータ(ID2)に含まれる第2ラベル(L2)と出力レイヤーを通じて取得される第2’ラベル(L2’)等に基づいて神経網モデルを更新するように実現されることができる。
また、学習装置(3000)は、医療イメージと関連する特性情報を反映して医療イメージをセグメンテーションするための特徴ベクターが算出されるように特性レイヤーにより隠しレイヤーの一部を構成する神経網モデルを用意することができる。この時、学習装置(3000)は、隠しレイヤーに含まれる特性レイヤーの少なくとも一部ノードのパラメーター群を更新する学習過程を通じて、特性情報を反映して医療イメージのセグメンテーションを実行する神経網モデルを学習させることができる。すなわち、学習装置(3000)は、特性レイヤーの一部ノードのパラメーター群を更新することによって、特性情報を反映して医療イメージのセグメンテーションを実行するための特徴ベクターを取得するように神経網モデルを学習させることができる。
以下では図7を参考にし、本出願の一実施例による学習装置(3000)が利用できる人工神経網モデルの例示にして説明する。
図7は本出願の一実施例による学習装置(3000)を利用できる人工神経網モデルの一例である。
図7を参考にすれば、本出願の一実施例による学習装置(3000)は、医療イメージセグメンテーションを行うための人工神経網でU-netを活用することができる。
イメージセグメンテーションに活用されるU-netは収縮経路(Contraction path)及び拡張経路(Expansion path)を含むアーキテクチャーにより構成されることができる。
具体的にU-netの収縮経路は2番のコンボルーション(convolution)及びマックスプーリング(max pooling)が連続的に実行されるように構成されることができる。この時、U-netの収縮経路ではイメージと関連する特性が抽出されることができる。
しかし、収縮経路では特性マップの大きさはまた減るため、U-netは拡張経路を追加的に含み、特性マップの大きさを復旧するように構成されることができる。
U-netの拡張経路はアップコンボルーション(Up-convolution)及び2番のコンボルーション(convolution)が連続的に実行されるように構成されることができる。この時、U-netの拡張経路ではイメージと特性マップの大きさが抽出されることができる。
追加的にU-netは同じレベルの特性マップをコンカチネーション(concatenation)するようにアーキテクチャーが構成されて、収縮経路から拡張経路へ特性と関連する位置情報を提供することができる。
この時、入力イメージ(Input Image)のラベルと出力される対象イメージのラベルとの間の差に基づいて、入力イメージのラベルと対象イメージのラベルとの差が最小になるように、U-netの含まれるレイヤーの少なくとも一つのノードのパラメーター群または加重値群が調節されることができる。
具体的に、学習装置(3000)は上述した少なくとも一つのノードのパラメーター群(または加重値群)を調節する動作を繰り返し実行するように実現されて、入力イメージに含まれるラベル情報と神経網モデルから対象イメージのラベルとの差が最小化されるノードのパラメーターまたは加重値を取得することができる。
また、本出願の一実施例による学習装置(3000)が利用できる神経網モデルは、学習データ群の医療イメージデータと関連する特性情報によるラベルを反映するように構成されることができる。学習データ群に含まれる医療イメージに対するラベル情報は、特性情報により異なることができる。例えば、同じ医療イメージに対し、第1特性情報に対応する場合、医療イメージデータは第1ラベル情報を含んでもよく、第2特性情報に対応する場合、医療イメージデータは第2ラベル情報を含むことができる。
さらに具体的に、第1施術者情報を持つ施術者が医療イメージをラベリングした結果は第1ラベル情報を含んでもよく、第2施術者情報を持つ施術者が同じ医療イメージをラベリングした結果は第2ラベル情報を含むことができる。
本出願の一実施例による学習装置(3000)は、医療イメージデータと関連する特性情報に対応するラベル情報を反映して医療イメージをセグメンテーションするための神経網モデルを学習させることができる。例えば、第1特性情報に基づいて医療イメージを第1セグメンテーション情報で出力するものの、第2特性情報に基づいて医療イメージを第2セグメンテーション情報で出力するように神経網モデルを学習させることができる。
一つ例において、本出願の一実施例による学習装置(3000)に利用される神経網モデルは、学習データ群の医療イメージデータと関連する特性情報によるラベルを学習させるための特性レイヤーは神経網モデルのレイヤーに含まれることがある。
例えば、学習データ群の医療イメージデータが医療イメージと第1特性情報によるラベルデータを含む場合、本出願の一実施例による学習装置(3000)は、第1特性情報を反映して医療イメージをセグメンテーションするために、神経網モデルに含まれる特性レイヤーの少なくとも一部ノードが第1パラメーター群を持つように更新させるように実現されることができる。
学習データ群の医療イメージデータが医療イメージと第2特性情報によるラベルデータを含む場合、本出願の一実施例による学習装置(3000)は、第2特性情報を反映して医療イメージをセグメンテーションするために、神経網モデルに含まれる特性レイヤーの少なくとも一部ノードが第2パラメーター群を持つように学習させるように実現されることができる。
特性情報を反映する医療イメージのセグメンテーションのための神経網モデルを学習させる内容は図8乃至図14を用いて後述する。
上述した通り、本出願の一実施例による学習装置(3000)は、神経網モデルの出力レイヤーを通じて出力される出力データに含まれるラベルデータに基づいて人工神経網モデルを学習させる動作を実行できる。
具体的に、人工神経網モデルを学習する段階(S1400)では、学習データ群を取得する段階(S1100)から取得した医療イメージデータに含まれるラベルに関するデータを取得することができる。
この時、学習装置(3000)は、医療イメージデータ及び出力データに含まれるラベルデータに基づいて神経網モデルを学習させるように実現されることができる。
さらに具体的に、学習装置(3000)は、医療イメージデータに含まれるラベルデータと出力データに含まれるラベルデータの間の差に基づいて、神経網モデルの隠しレイヤーに含まれる少なくとも一つのノードの加重値群やパラメーター群を調節することによって神経網モデルを学習させるように実現されることができる。
一つ例において、学習装置(3000)は、第1医療イメージ(I1)を人工神経網の入力レイヤーへ入力して出力データに含まれる第1Aラベル(L1A)に対応するラベルデータを取得することができる。この時、学習装置(3000)は、第1医療イメージデータ(ID1)に含まれる第1ラベル(L1)に対応するラベルデータ及び第1Aラベル(L1A)に関するラベルデータに基づいて神経網モデルを学習させることができる。例えば、学習装置(3000)は、第1ラベル(L1)と第1Aラベル(L1A)の間の差に基づいて神経網モデルの隠しレイヤーに含まれる少なくとも一つのノードの加重値群やパラメーター群を調節することによって神経網モデルを学習させることができる。
他の例で、学習装置(3000)は、第iイメージ(Ii)を人工神経網の入力レイヤーへ入力して出力データに含まれる第iAラベル(LiA)に対応するラベルデータを取得することができる。この時、学習装置(3000)は、第iイメージデータ(IDi)に含まれる第iラベル(Li)に対応するラベルデータ及び第iAラベル(LiA)に関するラベルデータに基づいて神経網モデルを学習させることができる。例えば、学習装置(3000)は、第iラベル(Li)と第iAラベル(LiA)の間の差に基づいて神経網モデルの隠しレイヤーに含まれる少なくとも一つのノードの加重値群やパラメーター群を調節することによって神経網モデルを学習させることができる。ここでiは任意の数であってもよい。
また、本出願の一実施例による学習装置(3000)は、医療イメージと関連する特性情報を反映して医療イメージをセグメンテーションするための神経網モデルを学習させまたは更新するように実現されることができる。
例えば、学習装置(3000)は、学習データ群に含まれるラベルデータ群と神経網モデルの出力レイヤーを通じて出力される出力データに含まれるラベルデータに基づいて、特性情報を反映するように医療イメージをセグメンテーションのための神経網モデルを学習させまたは更新することができる。
例えば、学習装置(3000)は、第1特性情報と関連する学習データ群に含まれる第j医療イメージを神経網モデルの入力レイヤーへ入力して出力データに含まれる第jAラベル(LjA)に対応するラベルデータを取得することができる。この時、学習装置(3000)は、第1特性情報と関連する学習データ群に含まれる第jラベル(Lj)に対応するラベルデータと神経網モデルから出力される第jAラベル(LjA)に基づいて、第1特性情報を反映して医療イメージをセグメンテーションするための第1特徴ベクターを算出するように神経網モデルを学習させまたは更新するように実現されることができる。具体的に、学習装置(3000)は、第jラベル(Lj)に対応するラベルデータと神経網モデルから出力される第jAラベル(LjA)の差が最小化されるように、神経網モデルに含まれる特性レイヤーの少なくとも一部ノードのパラメーター群を更新するように実現されることができる。
例えば、学習装置(3000)は、第2特性情報と関連する学習データ群に含まれる第k医療イメージを神経網モデルの入力レイヤーへ入力して出力データに含まれる第kAラベル(LkA)に対応するラベルデータを取得することができる。この時、学習装置(3000)は、第2特性情報と関連する学習データ群に含まれる第kラベル(Lk)に対応するラベルデータと神経網モデルから出力される第kAラベル(LkA)に基づいて、第2特性情報を反映して医療イメージをセグメンテーションするための第2特徴ベクターを算出するように神経網モデルを学習させまたは更新するように実現されることができる。具体的に、学習装置(3000)は、第kラベル(Lk)に対応するラベルデータと神経網モデルから出力される第kAラベル(LkA)の間の差が最小化されるように、神経網モデルに含まれる特性レイヤーの少なくとも一部ノードのパラメーター群を更新するように実現されることができる。
ただし、上述した内容は例示に過ぎず、本出願の一実施例による学習装置(3000)は、特性情報を反映して医療イメージに対しセグメンテーションを行う神経網モデルを学習させるように、神経網モデルの任意のノードのパラメーター群やノードの加重値の値群を更新するように実現されることができる。
神経網モデルの隠しレイヤーの一部を構成する特性レイヤーの少なくとも一部ノードのパラメーター群を更新する内容は図10乃至図14を用いて詳しく後述する。
人工神経網モデルを検証する段階(S1400)において、本出願の一実施例による学習装置(3000)は学習された人工神経網モデルを検証することができる。
一つ例において、本出願の一実施例による学習装置(3000)は、学習データ群(DS)に含まれる少なくとも一つの医療イメージデータに基づいて、学習された神経網モデルを通じて出力されるラベルデータを含む出力データを取得することができる。この時、学習装置(3000)は、少なくとも一つの医療イメージデータと関連するラベルデータ及び学習された神経網モデルを通じて出力されるラベルデータに基づいて学習された神経網モデルを検証することができる。
例えば、学習装置(3000)は、少なくとも一つの医療イメージデータと関連するラベルデータ及び学習された神経網モデルを通じて出力されるラベルデータの類似度を比較することによって、学習された神経網モデルの隠しレイヤーのノードのパラメーター群や加重値の値群が適切であるか否かを検証することができる。
また、人工神経網モデルを検証する段階(S1400)において、本出願の一実施例による学習装置(3000)は。特徴ベクターを算出するパラメーター群を持つ特性レイヤーの少なくとも一部ノードのパラメーター群を検証することができる。
一つ例において、本出願の一実施例による学習装置(3000)は、第1特性情報と関連する学習データ群(DS)に含まれる少なくとも一つの医療イメージデータに基づいて、特性レイヤーを含む学習された神経網モデル、及び特性レイヤーの一部ノードの第1パラメーター群に基づいて算出される第1特徴ベクターに基づいて出力されるラベルデータを取得することができる。この時、学習装置(3000)は、第1特性情報と関連する少なくとも一つの医療イメージデータに関するラベルデータ及び出力レイヤーを通じて出力されるラベルデータに基づいて学習された神経網モデルを検証することができる。例えば、学習装置(3000)は、第1特性情報と関連する少なくとも一つの医療イメージデータと関連するラベルデータ、及び出力レイヤーを通じて出力されるラベルデータの類似度を比較することによって、特性レイヤーの少なくとも一部ノードのパラメーター群が適切であるか否かを検証することができる。
一つ例において、本出願の一実施例による学習装置(3000)は、第2特性情報と関連する学習データ群(DS)に含まれる少なくとも一つの医療イメージデータに基づいて、特性レイヤーを含む学習された神経網モデル及び特性レイヤーの一部ノードの第2パラメーター群に基づいて算出される第2特徴ベクターに基づいて出力されるラベルデータを取得することができる。この時、学習装置(3000)は、第2特性情報と関連する少なくとも一つの医療イメージデータと関連するラベルデータ及び出力レイヤーを通じて出力されるラベルデータに基づいて学習された神経網モデルを検証することができる。例えば、学習装置(3000)は、第2特性情報と関連する少なくとも一つの医療イメージデータに関するラベルデータ及び出力レイヤーを通じて出力されるラベルデータの類似度を比較することによって、特性レイヤーの少なくとも一部ノードのパラメーター群が適切であるか否かを検証することができる。
人工神経網モデルを取得する段階(S1500)において、本出願の一実施例による学習装置(3000)は、学習データ群に含まれる医療イメージデータに対し人工神経網モデルを学習させて、人工神経網モデルを検証する動作を繰り返し実行することによって、医療イメージデータに含まれるラベルデータと人工神経網の出力されるラベルデータとの間の差が最小化される加重値セットやパラメーター群を有する少なくとも一つのノードを含む神経網モデルを取得することができる。
また、人工神経網モデルを取得する段階(S1500)において、本出願の一実施例による学習装置(3000)は、特性情報と関連する学習データ群の医療イメージデータ群に含まれるラベルデータと、特性レイヤーに含まれる一部ノードのパラメーター群に基づいて出力されるラベルデータとの間の差が最小化されるパラメーター群を取得することができる。
取得された神経網モデルのノードのパラメーター群(または加重値の値群)は、セグメンテーションプロセス(P2000)の医療イメージセグメンテーションを行うための人工神経網モデルに利用されることができる。
また、取得された特性レイヤーの一部ノードと関連するパラメーター群は、セグメンテーションプロセス(P2000)の医療イメージセグメンテーションプロセスに利用されることができる。
上述したことによれば、人工神経網を利用するセグメンテーションを中心に説明したが、本出願に開示される学習装置(3000)または医療イメージ分析装置(2000)は、人工神経網を利用するイメージセグメンテーションを含み、多様なイメージセグメンテーションアルゴリズムを利用することができる。
一つ例において、イメージセグメンテーションアルゴリズムは機械学習モデルにより提供されることができる。機械学習モデルの代表的な例として、人工神経網(Artificial Neural Network)がある。具体的に、人工神経網の代表的な例として、データが入力される入力レイヤー、結果を出力する出力レイヤー、及び入力レイヤーと出力レイヤーの間でデータを処理する隠しレイヤー(hidden layer)を含むディープラーニングシリーズの人工神経網がある。人工神経網の細部的な例として、畳み込みニューラルネットワーク(Convolution Neural Network)、回帰型ニューラルネットワーク(Recurrent Neural Network)、ディープニューラルネットワーク(Deep Neural Network)、敵対的生成ネットワーク(Generative Adversarial Network)等がある。本明細書において、人工神経網は上述した人工神経網、他の多様な形態の人工神経網及びこれらを組み合わせた形態の人工神経網の全て36個を含む包括的な意味と解釈されるべきであり、必ずディープラーニングシースのみあることでもない。
それだけではなく、機械学習モデルが必ず人工神経網モデル形態のみであることではなく、他にも最も近い隣接アルゴリズム(KNN)、ランダムフォレスト(Random Forest)、サポートベクターマシン(SVM)、主成分分析法(PCA)等を含んでもよく、以上で言及された技法はアンサンブルされた形態や他の様々な方式により組み合わされた形態の全てを含むことができる。一方、人工神経網を中心に言及される実施例において、特別に言及されない限り人工神経網が異なる機械学習モデルで代替される可能性もある。
更に、本明細書において、イメージセグメンテーションアルゴリズムが必ず機械学習モデルで限定されるものではない。すなわち、イメージセグメンテーションアルゴリズムは、機械学習モデルではない様々な判断/決定アルゴリズムが含まれることもある。
したがって、本明細書において、イメージセグメンテーションアルゴリズムは、イメージデータを利用してセグメンテーションを実行する全ての形態のアルゴリズムを全て含む包括的な意味で理解されるべきである。
以下では図8乃至図14を参考にして、本出願の一実施例による学習装置(3000)により実現される医療イメージのセグメンテーションのための神経網モデルの学習方法に対し詳しく説明する。本実施例によれば、図5の神経網モデルを学習する段階(S1400)は、神経網モデルのパラメーターを取得する段階を得る段階を含むことができる。
本実施例によれば、神経網モデルのパラメーターは、特性情報により医療イメージをセグメンテーションするための特徴ベクターが出力されるように学習された隠しレイヤーの一部を構成する特性レイヤーの一部ノードのパラメーターを含むことができる。
例えば、医療イメージをセグメンテーションするための1次神経網モデルを学習させ、学習された1次神経網モデルの隠しレイヤーの所定の位置に追加された特性レイヤーの少なくとも一つノード(特性ノードとして称してもよい)のパラメーター群(特性パラメーター群として称してもよい)を2次的に更新して特性情報を反映する医療イメージのセグメンテーションのための神経網モデルが学習されることができる。この時、好ましい実施例によれば、一次的に神経網モデルを学習させる場合、特性ノード以外の隠しレイヤーに含まれるノード(以下、共通ノード)のパラメーター群が更新されてもよく、2次的に神経網モデルを学習させる場合、共通ノードのパラメーター群は固定されて、特性レイヤーの少なくとも一つの特性ノードの特性パラメーター群が更新されてもよい。
例えば、特性レイヤーは、一次的に学習された神経網モデルの人工神経網のボトルネック層(bottleneck layer、エンコーダー及びデコーダーの間のレイヤー)に位置することができる。特性レイヤーは、一次的に神経網モデルの学習後に追加的にボトルネック層(bottleneck layer、エンコーダー及びデコーダーの間のレイヤー)に結合されまたは追加されることができる。または、特性レイヤーは、一次的に学習される神経網モデルの隠しレイヤーの一部を構成するものの、特性レイヤーに含まれる特性ノードの特性パラメーター群は、1次学習時には更新されず、2次学習時に更新されるように構成されることができる。
以下では、特性情報を反映して医療イメージに対してセグメンテーションを行うように神経網モデルを学習させる様々な実施例に対して図8乃至図14を参考にして説明する。
図8を参考されたい。図8は本出願の一実施例による神経網モデルを学習する1つ方法の順序図である。更に具体的に、図8は図5のS1400段階の神経網モデルを学習する方法を具体化した順序図である。
本出願の一実施例による神経網モデルを学習する方法は、学習データ群を取得する段階(S2100),学習データ群に基づいて人工神経網モデルを学習する段階(S2200)、及び人工神経網モデルのパラメーターを取得する段階(S2300)を含むことができる。
学習データ群を取得する段階(S2100)において、本出願の一実施例による学習装置(3000)は、学習データ群を取得することができる。
例えば、学習データ群は、図6により説明された少なくとも一つの医療イメージデータを含むことができる。
例えば、本出願の一実施例による学習装置(3000)は、複数個の学習データ群を取得することができる。例えば、学習装置(3000)は、第1学習データ群及び第2学習データ群を含む複数個の学習データ群を取得することができる。
この時、第1学習データ群は、第1特性情報による医療イメージに対するラベルデータを含む少なくとも一つの医療イメージデータを含むことができる。例えば、第1学習データ群は、第1特性情報と関連する医療イメージデータを含むことができる。例えば、第1学習データ群は、第1施術者情報を有する施術者から取得した医療イメージに対するラベルデータを含む医療イメージデータから構成されることができる。
これに反して、第2学習データ群は、第1特性情報とは異なる第2特性情報と関連する医療イメージに対するラベルデータを含む少なくとも一つの医療イメージデータを含むことができる。例えば、第2学習データ群は、第2特性情報と関連する医療イメージデータを含むことができる。例えば、第2学習データ群は、第1施術者情報とは異なる第2施術者情報を有する施術者から取得した医療イメージに対するラベルデータを含む医療イメージデータから構成されることができる。または、第2学習データ群は、施術者情報とは異なる類型の特性情報(例えば、被施術者情報、腫瘍情報、放射線情報など)と関し、取得した医療イメージに対するラベルデータを含む医療イメージデータから構成されることができる。
一方、本出願の一実施例による学習装置(3000)は、特性情報を取得することができる。この時、特性情報は上述した通り、施術者情報、被施術者情報、腫瘍情報及び/または放射線情報と関連する情報であってもよい。
この時、本出願の一実施例による学習装置(3000)は、入力モジュール(2400)から特性情報と関連する使用者の入力を取得することができる。
また、本出願の一実施例による学習装置(3000)は、任意の外部装置から特性情報と関連する使用者の入力を取得することができる。
また、本出願の一実施例による学習装置(3000)は、医療イメージに対し構造化されたメタデータを取得することによって、特性情報を取得することができる。例えば、特性情報、特に被施術者情報(例えば、被施術者の人的情報など)は、医療イメージに対しメタデータとして構造化されることができる。この時、学習装置(3000)は、医療イメージに対し構造化されたメタデータを取得することによって特性情報を取得するように実現されることができる。
学習データ群に基づいて人工神経網モデルを学習させる段階(S2200)において、本出願の一実施例による学習装置(3000)は、取得された学習データ群に基づいて人工神経網モデルを学習させるように実現されることができる。
一つ例において、本出願の一実施例による学習装置(3000)は、取得された学習データ群に基づいて人工神経網モデルを学習させるように実現されることができる。
図9を参考にされたい。図9は本出願の一実施例による人工神経網モデルを学習させる方法を示す概略図である。
図9を参考にすれば、本出願の一実施例による学習装置(3000)は、学習データを人工神経網の入力レイヤーへ入力し、人工神経網の出力レイヤーを通じて取得した出力データを取得することができる。この時、出力データは、学習データ群に含まれる医療イメージに対するラベルに関するデータであってもよい。
この時、本出願の一実施例による学習装置(3000)は、出力データに含まれるラベルデータ及び学習データ群に含まれる医療イメージと関連するラベルデータに基づいて人工神経網を学習させることができる。
更に具体的に、本出願の一実施例による学習装置(3000)は、出力データに含まれるラベルデータ、及び学習データ群に含まれる医療イメージと関連するラベルデータの差に基づいて、人工神経網モデルに含まれるノードのパラメーター群または加重値の値群を調節することができる。
本出願の一実施例による学習装置(3000)は、人工神経網モデルに含まれるノードのパラメーター群または加重値の値群を調節する動作を繰り返し実行して、出力データに含まれるラベルデータ、及び学習データ群に含まれる医療イメージと関連するラベルデータ間の差が最小化される人工神経網モデルのパラメーター群及び/または加重値の値群を取得することができる。
一つ例において、本出願の一実施例による学習装置(3000)は、第1学習データ群及び第2学習データ群を含む学習データ群に基づいて人工神経網モデルを学習させるように実現されることができる。
この時、第1学習データ群は、第1特性情報と関連する医療イメージに対応する第1ラベルデータを含んでもよく、第2学習データ群は、第1特性情報とは異なる第2特性情報と関連する医療イメージに対応する第2ラベルデータを含むことができる。
例えば、本出願の一実施例による学習装置(3000)は、特性情報を考慮せずに、第1学習データ群及び第2学習データ群を含む学習データ群に基づいて人工神経網モデルを学習させることができる。換言すれば、図8に示される神経網モデルの学習方法は、特性情報に関係せず医療イメージのセグメンテーションのための神経網モデルの学習方法であってもよい。
他の例で、本出願の一実施例による学習装置(3000)は、特性情報を考慮して、特性情報別で人工神経網モデルを学習させるように実現されることができる。例えば、学習装置(3000)は、第1特性情報と関連する医療イメージに対応する第1ラベルデータを含む第1学習データ群に基づいて、第1パラメーター群(または第1加重値の値群)を有するノードを含むように神経網モデルを学習させることができる。それに反して、学習装置(3000)は、第2特性情報と関連する医療イメージに対応する第2ラベルデータを含む第2学習データ群に基づいて、第2パラメーター群(または第2加重値の値群)を有するノードを含むように神経網モデルを学習させることができる。
例えば、図9を参考にすれば、学習装置(3000)は、第1特性情報と関連する第1学習データ群を人工神経網の入力レイヤーへ入力し、人工神経網の出力レイヤーを通じて取得した出力データを取得することができる。この時、出力データは医療イメージに対するラベルに関するデータであってもよい。
この時、本出願の一実施例による学習装置(3000)は、出力データ及び第1学習データ群に含まれる医療イメージと関連する第1ラベルデータに基づいて人工神経網を学習させることができる。例えば、第1学習データ群に含まれる第1ラベルデータは、第1特性情報により医療イメージに対しラベリングされたデータであってもよい。この時、学習装置(3000)は、出力データ及び第1ラベルデータに基づいて第1特性情報を反映して医療イメージに対しセグメンテーションを行うための第1人工神経網モデルを学習させることができる。
更に具体的に、本出願の一実施例による学習装置(3000)は、出力データ及び第1学習データ群に含まれる医療イメージと関連する第1ラベルデータの差に基づいて、人工神経網モデルに含まれるノードのパラメーター群またはノードの加重値の値群を調節することができる。
この時、学習装置(3000)は、人工神経網モデルに含まれるノードのパラメーター群または加重値の値群を調節する動作を繰り返し実行することによって、出力データ及び第1学習データ群に含まれる医療イメージと関連する第1ラベルデータの差が最小化される第1パラメーター群及び/または第1加重値の値群を有するノードを含む第1人工神経網モデルを学習させることができる。
他の例において、学習装置(3000)は、第1特性情報と異なる第2特性情報に関する第2学習データ群を人工神経網の入力レイヤーへ入力して、人工神経網の出力レイヤーを通じて取得した出力データを取得することができる。この時、出力データは、医療イメージに対するラベルに関するデータであってもよい。
この時、本出願の一実施例による学習装置(3000)は、出力データ及び第2学習データ群に含まれる医療イメージと関連する第2ラベルデータに基づいて人工神経網を学習させることができる。例えば、第2学習データ群に含まれる第2ラベルデータは、第2特性情報により医療イメージに対しラベルリングされたデータであってもよい。この時、学習装置(3000)は、出力データ及び第2ラベルデータに基づいて第2特性情報を反映して医療イメージに対しセグメンテーションを行うための第2人工神経網モデルを学習させることができる。
更に具体的に、本出願の一実施例による学習装置(3000)は、出力データ及び第2学習データ群に含まれる医療イメージと関連する第2ラベルデータの差に基づいて人工神経網モデルに含まれるノードのパラメーターまたはノードの加重値の値を調節することができる。
この時、学習装置(3000)は、人工神経網モデルに含まれるノードのパラメーターまたはノードの加重値の値を調節する動作を繰り返し実行することによって、出力データ及び第2学習データ群に含まれる医療イメージと関連する第2ラベルデータの差が最小化される第2パラメーター群及び/または第2加重値の値群を有するノードを含む第2人工神経網モデルを学習させることができる。
この時、第2パラメーター群及び/または第2加重値の値群は、第1特性情報と関連する第1パラメーター群及び/または第1加重値の値群とは少なくとも一部異なってもよい。
上述したように、特性情報を反映する医療イメージのセグメンテーションを行うために神経網モデルに含まれるノードのパラメーター群及び/または加重値の値群を更新する方法によって神経網モデルを学習することを説明した。ただし、これは例示に過ぎず、特性情報を考慮して医療イメージに対しセグメンテーションを行うために特徴ベクターを算出するように、特性レイヤーを人工神経網の一部レイヤーと結合して、特性レイヤーの少なくとも一部ノードのパラメーター群を更新する方法によっても神経網モデルを学習するように実現されることができる。
例えば、本出願の一実施例による学習装置(3000)は、第1特性情報と関連する医療イメージに対応する第1ラベルデータを含む第1学習データ群に基づいて、隠しレイヤーの一部を構成する特性レイヤーの少なくとも一部ノードのパラメーター群を更新することができる。この時、更新されたパラメーター群は、医療イメージを第1ラベルデータに対応するように医療イメージに対しセグメンテーションを行うための第1特徴ベクターを出力するように更新されたパラメーター群であってもよい。
または、本出願の一実施例による学習装置(3000)は、第1特性情報とは異なる第2特性情報に関する医療イメージに対応する第2ラベルデータを含む第2学習データ群に基づいて、隠しレイヤーの一部を構成する特性レイヤーの少なくとも一部ノードのパラメーター群を更新することができる。この時、第2学習データ群に基づいて更新されたパラメーター群は、医療イメージを第2ラベルデータに対応するように医療イメージに対しセグメンテーションを行うための第2特徴ベクターを出力するように更新されたパラメーター群であってもよい。これに関しては、図10乃至図14を詳細に後述する。
人工神経網モデルのパラメーターを取得する段階(S2300)において、本出願の一実施例による学習装置(3000)は、人工神経網モデルの学習結果として、人工神経網モデルのノードのパラメーター群及び/または加重値の値群を取得することができる。
一つ例において、本出願の一実施例による学習装置(3000)は、特性情報とは関係なく、学習データ群を基に神経網モデルを学習させることによって、人工神経網モデルのノードのパラメーター群及び/または加重値の値群を取得することができる。この場合、好ましい実施例による学習装置(3000)は、S2300段階で取得したパラメーター群を固定した後、神経網モデルの一部レイヤー(例えば、ボトルネック層(bottleneck layer、エンコーダー及びデコーダーの間のレイヤー)に特性レイヤーを結合または追加して、図10に示す特性情報を反映する神経網モデルを取得するように、特性レイヤーの少なくとも一部ノードのパラメーター群を更新するように構成されることができる。
一つ例において、本出願の一実施例による学習装置(3000)は、特性情報を考慮して学習データ群を基に神経網モデルを学習させることによって、特性情報を反映するように構成された人工神経網モデルのノードのパラメーター及び/または加重値の値を取得することができる。例えば、上述したように、学習装置(3000)は、第1特性情報と関連する第1学習データ群を基に第1神経網モデルを学習させるように実現され、学習装置(3000)は、第1神経網モデルに含まれるノードの第1パラメーター群(または第1加重値の値群)を取得することができる。
それに反して、学習装置(3000)は、第2特性情報と関連する第2学習データ群を基に第2神経網モデルを学習させるように実現され、学習装置(3000)は、第2神経網モデルに含まれるノードの第2パラメーター群(または第2加重値の値群)を取得することができる。
取得されたパラメーター群(または加重値の値群)は、図4に示すセグメンテーションプロセス(P2000)の対象医療イメージをセグメンテーションするために利用されることができる。
他の例で、本出願の一実施例による学習装置(3000)は、S2300段階で特性情報を反映するように人工神経網モデルの一部レイヤー(例えば、ボトルネック層(bottleneck layer)、エンコーダー及びデコーダーの間のレイヤー)に特性レイヤーを結合させて特性情報と関連する特徴ベクターを算出するように、特性レイヤーの少なくとも一部ノードのパラメーター群を学習するように実現されることができる。この時、本出願の一実施例による学習装置(3000)は、特性レイヤーの少なくとも一部ノードのパラメーター群を取得することができる。
特性レイヤーの少なくとも一部ノードのパラメーター群は、図4に示すセグメンテーションプロセス(P2000)の学習された神経網モデルに対応するノードに追加されて、対象医療イメージをセグメンテーションするために利用されることができる。
または、特性レイヤーの少なくとも一部ノードのパラメーター群は後述する図10に関する学習方法により追加的に更新されることができる。
以下では図10乃至図14を参考にして、本出願の一実施例による隠しレイヤーを構成する特性レイヤーの少なくとも一部ノードのパラメーター群を更新する方法に対し説明する。
図10は、本出願の一実施例による人工神経網モデルを学習する1つ方法の順序図である。更に具体的に、図10は、図5のS1400段階での神経網モデルを学習させる方法を具体化した順序図である。
本出願の一実施例による学習装置(3000)は、人工神経網モデルを学習させることに関する隠しレイヤーを構成する特性レイヤーの少なくとも一部ノードのパラメーター群を更新する段階を更に含むことができる。
本出願の一実施例による人工神経網モデルを学習する方法は、学習データ群及び人工神経網モデルのパラメーターを取得する段階(S3100)、学習データ群の特性情報及びラベルデータに基づいてパラメーター群を更新する段階(S3200)、及び人工神経網モデルのパラメーター群を取得する段階(S3300)を更に含むことができる。
この時、学習データ群及び人工神経網モデルのパラメーターを取得する段階(S3100)において、本出願の一実施例による学習装置(3000)は、医療イメージのセグメンテーションのための学習データ群を取得することができる。
この時、学習データ群は、特性情報により区分される複数の学習データ群を含むことができる。換言すれば、学習データ群は、第1特性情報と関連する第1学習データ群及び第2特性情報と関連する第2学習データ群を含むことができる。
図11及び図12を参考にする。図11乃至図12は、本出願の一実施例による医療イメージと関連する学習データ群の例示的な構造図である。具体的に、図11乃至図12に示される学習データ群は、特性情報を反映して医療イメージに対しセグメンテーションを行うために、人工神経網モデルの一部レイヤーに追加される特性レイヤーの少なくとも一部ノードのパラメーター群を更新するために使用されることができる。
図11を参考にすれば、第1学習データ群は、少なくとも一つの医療イメージ及び第1特性情報と関連して少なくとも一つの医療イメージに対応するラベルに関するデータを含むことができる。換言すれば、第1学習データ群は、医療イメージ及びラベルに関するデータを含む少なくとも一つの医療イメージデータを含むことができる。
また、学習装置(3000)は、第1学習データ群と関連する特性情報に関するデータを取得することができる。特性情報に関するデータは、上述した通り任意の外部装置から取得しまたは入力モジュールを通した使用者の入力から取得することができる。また、特性情報に関するデータは、医療イメージに対しメタデータで構造化されてもよく、学習装置(3000)は、メタデータを取得することによって特性情報に関するデータを取得することができる。
この時、第1学習データ群は、少なくとも一つの医療イメージに関する第1特性情報により定義されたラベルに関するデータを含むことができる。
一つ例において、第1学習データ群は、第1a医療イメージデータを含んでもよく、第1a医療イメージデータは、第1医療イメージ及び第1aラベルに関するデータを含むことができる。この時、第1aラベルは、第1医療イメージに対し第1特性情報に関して定義されたラベルデータであってもよい。
例えば、第1aラベルは、第1施術者情報の特性情報を持つ第1施術者が第1医療イメージに対し定義した放射線を照射する領域及び/または放射線が照射されてはいけない領域に関するラベルであってもよい。
他の例で、第1学習データ群は、第2a医療イメージデータを含んでもよく、第2a医療イメージデータは、第2医療イメージ及び第2aラベルに関するデータを含むことができる。この時、第2aラベルは、第2医療イメージに対し第1特性情報に関して生成されたラベルデータであってもよい。
例えば、第2aラベルは、第1施術者情報の第1特性情報を持つ第1施術者が第2医療イメージに対し定義した放射線を照射する領域及び/または放射線が照射されてはいけない領域に関連したラベルであってもよい。
第1学習データ群に含まれる少なくとも一つのラベルに関するデータは、好ましくは、第1特性情報と関連して医療イメージに定義されたデータであってもよい。
本出願の一実施例による学習装置(3000)は、第1学習データ群を利用し、第1特性情報を反映して医療イメージをセグメンテーションするための第1特徴ベクターを出力する特性レイヤーの少なくとも一部ノードのパラメーター群を更新することができる。
図12を参考にすれば、第2学習データ群は、少なくとも一つの医療イメージ及び第2特性情報と関連して少なくとも一つの医療イメージに対応するラベルに関するデータを含むことができる。換言すれば、第2学習データ群は、医療イメージ及びラベルに関するデータを含む少なくとも一つの医療イメージデータを含むことができる。
また、学習装置(3000)は、第2学習データ群と関連して特性情報に関するデータを取得することができる。特性情報に関するデータは、上述した通り任意の外部装置から取得しまたは入力モジュールを通じる使用者の入力から取得することができる。また、特性情報に関するデータは、医療イメージに対しメタデータで構造化されてもよく、学習装置(3000)は、メタデータを取得することによって特性情報に関するデータを取得することができる。
この時、第2学習データ群は、少なくとも一つの医療イメージと関連し、第1特性情報とは異なる第2特性情報により定義されたラベルに関するデータを含むことができる。
一つ例において、第2学習データ群は、第1b医療イメージデータを含んでもよく、第1b医療イメージデータは、第1医療イメージ及び第1bラベルに関するデータを含むことができる。この時、第1bラベルは、第1医療イメージに対し第2特性情報に関して生成されたラベルデータであってもよい。
例えば、第1bラベルは、第2施術者情報の第2特性情報を持つ第2施術者が第1医療イメージに対し定義した放射線を照射する領域及び/または放射線が照射されてはいけない領域に関するラベルであってもよい。
他の例で、第2学習データ群は、第2b医療イメージデータを含んでもよく、第2b医療イメージデータは、第2医療イメージ及び第2bラベルに関するデータを含むことができる。この時、第2bラベルは、第2医療イメージに対し第2特性情報に関して生成されたラベルデータであってもよい。
例えば、第2bラベルは、第2施術者情報の第2特性情報を持つ第2施術者が第2医療イメージに対し定義した放射線を照射する領域及び/または放射線が照射されてはいけない領域に関するラベルであってもよい。
好ましくは、第2学習データ群に含まれる少なくとも一つのラベルに関するデータは、全て第2特性情報と関連し、医療イメージに定義されたデータであってもよい。具体的に、第1学習データ群に含まれる少なくとも一つのラベルに関するデータは、全て第1特性情報と関連するデータである反面、第2学習データ群に含まれる少なくとも一つのラベルに関するデータは、全て第2特性情報に関するデータであってもよい。
この時、第1bラベルは図11により説明された第1aラベルとは異なってもよい。具体的に、同じ第1医療イメージに対し、第1施術者情報の特性情報を持つ第1施術者が定義した放射線を照射する領域(または放射線が照射されてはいけない領域)と、第2施術者情報の特性情報を持つ第2施術者が定義した放射線を照射する領域(または放射線が照射されてはいけない領域)は異なることができる。
この時、第2bラベルは図11により説明された第2aラベルとは相異なることができる。具体的に、同じ第1医療イメージに対し、第1施術者情報の第1特性情報を持つ第1施術者が定義した放射線を照射する領域(または放射線が照射されてはいけない領域)と第2施術者情報の第2特性情報を持つ第2施術者が定義した放射線を照射する領域(または放射線が照射されてはいけない領域)は異なることができる。
本出願の一実施例による学習装置(3000)は、第2学習データ群を利用し、第2特性情報を反映して医療イメージをセグメンテーションするための第2特徴ベクターを出力する特性レイヤーの少なくとも一部ノードのパラメーター群を更新することができる。
図11及び図12に関し、第1学習データ群と第2学習データ群と関連する特性情報に関して施術者情報を中心に説明している。
ただし、これは説明を便宜にするためであり、上述した第1特性情報及び/または第2特性情報は施術者情報を含み、被施術者情報、腫瘍情報及び/または放射線情報と関連してもよい。
換言すれば、本出願の一実施例による学習装置(3000)は、施術者情報、被施術者情報、腫瘍情報及び/または放射線情報と関連する特性情報により腫瘍を施術しまたは治療するための放射線が照射される領域をセグメンテーションするように、神経網モデルを学習させることができる。このために、図11及び図12に示される学習データ群の特性情報は、施術者情報、被施術者情報、腫瘍情報、放射線情報またはこれらの任意の組合せで構成されてもよい。
一つ例において、本出願の一実施例による学習装置(3000)は、施術者情報により異なるように、医療イメージをセグメンテーションするように神経網モデルを学習させて実現することができる。例えば、第1施術者は、腫瘍を施術しまたは治療するために、攻撃的治療履歴(例えば、平均的な治療範囲以上の治療傾向を見せる治療履歴)に関する特性情報を持つことができる。すなわち、第1施術者は、腫瘍を施術しまたは治療するために放射線が照射される領域を比較的広い第1領域で定義することができる。それに反して、第2施術者は、腫瘍を施術しまたは治療するために保守的な治療履歴(例えば、平均的な治療範囲未満の治療傾向を見せる治療履歴)に関する特性情報を持つことができる。すなわち、第2施術者は腫瘍を施術しまたは治療するために放射線が照射される領域を第1領域より比較的狭い第2領域で定義することができる。
本出願の一実施例による学習装置(3000)は、施術者情報を考慮して医療イメージをセグメンテーションするように、神経網モデルの隠しレイヤーの一部を構成する特性レイヤーの少なくとも一部ノードのパラメーター群を更新することができる。例えば、学習装置(3000)は、第1施術者情報に依存して、医療イメージのセグメンテーションを行う神経網モデルを学習させるために、図11の第1学習データ群を利用することができる。この時、図11の第1学習データ群は、第1施術者情報を含む第1特性情報に関する医療イメージのラベルデータを含むように構成されることができる。また、学習装置(3000)は、第2施術者情報に依存して、医療イメージのセグメンテーションを行う神経網モデルを学習させるために図12の第2学習データ群を利用することができる。この時、図12の第2学習データ群は、第2施術者情報を含む第2特性情報に関する医療イメージのラベルデータを含むように構成されることができる。
一つ例において、本出願の一実施例による学習装置(3000)は、被施術者情報(例えば、年齢、性別、基底疾患、治療履歴)により異なるように、医療イメージをセグメンテーションする神経網モデルを学習させるように実現されることができる。例えば、第1被施術者は、第1年齢区間に属する年齢情報を含み、または基底疾患が存在して放射線治療を保守的に受ける必要性(例えば、平均的な放射線照射範囲より狭い範囲で放射線治療を受ける必要性)が存在することができる。すなわち、第1被施術者の腫瘍を施術または治療するために、放射線が照射される領域は相対的に狭い第1領域として定義される必要が存在する。それに反して、第2被施術者は、第1年齢区間より相対的に少ない年齢区間である第2年齢区間に属する年齢情報を含み、または基底疾患が存在せずに、放射線治療を攻撃的に受ける必要性(例えば、平均的な放射線照射範囲より広い範囲で放射線治療を受ける必要性)が存在することができる。すなわち、第2被施術者の腫瘍を施術または治療するために、放射線が照射される領域は第1領域より相対的に広い第2領域として定義される必要が存在する。
本出願の一実施例による学習装置(3000)は、被施術者情報を考慮して医療イメージをセグメンテーションするように神経網モデルを学習させることができる。例えば、学習装置(3000)は、第1被施術者情報を反映するための神経網モデルを学習させるために、図11の第1学習データ群を利用することができる。この時、図11の第1学習データ群は、第1被施術者情報と関連する第1特性情報に関する医療イメージのラベルデータを含むように構成されることができる。この時、学習装置(3000)は、第1被施術者情報及びラベルデータに基づいて第1被施術者情報に依存的な特徴ベクターが出力されるように、神経網モデルの隠しレイヤーの一部を構成する特性レイヤーの少なくとも一つのノードのパラメーター群を第1パラメーター群で更新することができる。
また、学習装置(3000)は、第2被施術者情報を反映するための神経網モデルを学習させるために、図12の第2学習データ群を利用することができる。この時、図12の第2学習データ群は、第2被施術者情報と関連する第2特性情報に関する医療イメージのラベルデータを含むように構成されることができる。
この時、学習装置(3000)は、第2被施術者情報及びラベルデータに基づいて、第2被施術者情報に依存的な特徴ベクターが出力されるように、神経網モデルの隠しレイヤーの一部を構成する特性レイヤーの少なくとも一つのノードのパラメーター群を第2パラメーター群で更新することができる。
一つ例において、本出願の一実施例による学習装置(3000)は、腫瘍情報(例えば、大きさ、形態、発現レベル(grade)、腫瘍の位置(例えば、周辺器官(organ)との距離))により異なるように、医療イメージをセグメンテーションするように神経網モデルを学習させるように実現される。例えば、第1腫瘍情報を持つ第1腫瘍において、大きさが第1大きさよりは、発現レベルが第1発現レベルより小さくなって、放射線治療を保守的に受ける必要性(例えば、平均的な放射線照射範囲より狭い範囲で放射線治療を受ける必要性)が存在することができる。すなわち、第1腫瘍に対しては放射線が照射される領域は、相対的に狭い第1領域として定義される必要が存在する。それに反して、第2腫瘍情報を持つ第2腫瘍において、大きさは第2大きさより大きいまたは発現レベルが第2発現レベルより高くてなって、放射線治療を攻撃的に受ける必要性(例えば、平均的な放射線照射範囲より広い範囲で放射線治療を受ける必要性)が存在することができる。すなわち、第2腫瘍に対して放射線が照射される領域は、第1領域より相対的に広い第2領域として定義される必要が存在する。
本出願の一実施例による学習装置(3000)は、腫瘍情報を考慮して医療イメージをセグメンテーションするように神経網モデルを学習させることができる。例えば、学習装置(3000)は、第1腫瘍情報を反映するための神経網モデルを学習させるために、図11の第1学習データ群を利用することができる。この時、図11の第1学習データ群は、第1腫瘍情報と関連する第1特性情報に関する医療イメージのラベルデータを含むように構成されることができる。
この時、学習装置(3000)は、第1腫瘍情報及び第1腫瘍情報と関連して定義された放射線照射領域に関するラベルデータに基づいて、第1腫瘍情報に依存的な特徴ベクターが算出されるように、神経網モデルの隠しレイヤーの一部を構成する特性レイヤーの少なくとも一つのノードのパラメーター群を更新することができる。
また、学習装置(3000)は、第2腫瘍情報を反映するための神経網モデルを学習させるために、図12の第2学習データ群を利用することができる。この時、図12の第2学習データ群は、第2腫瘍情報と関連する第2特性情報に関する医療イメージのラベルデータを含むように構成されることができる。
この時、学習装置(3000)は、第2腫瘍情報及び第2腫瘍情報と関連して定義された放射線照射領域に関するラベルデータに基づいて、第2腫瘍情報に依存的な特徴ベクターが算出されるように、神経網モデルの隠しレイヤーの一部を構成する特性レイヤーの少なくとも一つのノードのパラメーター群を更新することができる。
一つ例において、本出願の一実施例による学習装置(3000)は、放射線情報(例えば、放射線の種類、放射線の照射周期(例えば、ロングパルス(long pulse)、ショットパルス(short pulse))、放射線の強さ、スポットサイズ)により異なるように、医療イメージをセグメンテーションするように神経網モデルを学習させるように実現される。例えば、第1放射線情報(例えば、第1類型または第1メーカー)を有する第1放射線は放射線の強さが強く、相対的に身体に対し危険な種類の放射線であることもあり、第1放射線により治療を実行する場合には放射線治療を保守的に実行する必要性(例えば、平均的な放射線照射範囲より狭い範囲で放射線治療を受ける必要性)が存在することができる。すなわち、第1放射線を利用する腫瘍治療において、放射線が照射される領域は相対的に狭い第1領域として定義される必要が存在することができる。それに反して、第2放射線情報(例えば、第2類型または第2メーカー)を有する第2放射線は放射線の強さが弱く、相対的に身体に対し安全な種類の放射線であることもあり、この場合、放射線治療を攻撃的に実行する必要性(例えば、平均的な放射線照射範囲より狭い範囲で放射線治療を受ける必要性)が存在することができる。すなわち、第2放射線を利用する腫瘍治療において、放射線が照射される領域は第1領域より相対的に広い第2領域として定義される必要が存在することができる。
本出願の一実施例による学習装置(3000)は、腫瘍を治療するために使用される放射線の情報を考慮して、医療イメージをセグメンテーションするように神経網モデルを学習させることができる。例えば、学習装置(3000)は、第1放射線情報を反映するための神経網モデルを学習させるために、図11の第1学習データ群を利用することができる。この時、図11の第1学習データ群は、第1放射線情報と関連する第1特性情報に関して医療イメージのラベルデータを含むように構成されることができる。
この時、学習装置(3000)は、第1放射線情報及び第1放射線情報と関連して定義された放射線照射領域に関するラベルデータに基づいて、第1放射線情報に依存的な特徴ベクターが算出されるように、神経網モデルの隠しレイヤーの一部を構成する特性レイヤーの少なくとも一つのノードのパラメーター群を更新することができる。
また、学習装置(3000)は、第2放射線情報を反映するための神経網モデルを学習させるために図12の第2学習データ群を利用することができる。この時、図12の第2学習データ群は、第2放射線情報と関連する第2特性情報に関して医療イメージのラベルデータを含むように構成されることができる。
この時、学習装置(3000)は、第2放射線情報及び第2放射線情報と関連して定義された放射線照射領域に関するラベルデータに基づいて、第2放射線情報に依存的な特徴ベクターが算出されるように、神経網モデルの隠しレイヤーの一部を構成する特性レイヤーの少なくとも一つのノードのパラメーター群を更新することができる。
ただし、上述した学習データ群は例示に過ぎず、本出願の一実施例による学習装置(3000)は、上述した特性情報になる施術者情報、被施術者情報、腫瘍情報、放射線情報及びこれらの組み合わせを含む特性情報に依存的に医療イメージをセグメンテーションする神経網モデルを学習させるように、任意の適切な学習データ群を取得することができる。
また、上述した内容では放射線が照射される領域を学習させることを中心に説明したが、放射線が照射されてはいけない領域に関して神経網モデルを学習させることはもちろん類似的に適用されることができる。
学習データ群及び人工神経網モデルのパラメーターを取得する段階(S3100)において、本出願の一実施例による学習装置(3000)は、人工神経網モデル及び人工神経網モデルノードのパラメーター群(または加重値セット)を取得するように実現されることができる。
一つ例において、学習装置(3000)により取得されるパラメーター群は、特性情報を考慮せずに取得された医療イメージのセグメンテーションを学習させるための神経網モデルのパラメーター群であってもよい。
この時、学習装置(3000)は、取得された神経網モデルの隠しレイヤーに特性レイヤーを追加または結合させて、追加的に特性情報に依存的な特徴ベクターが算出されるための、特性レイヤーの一部ノードのパラメーター群を更新するように実現されることができる。具体的に、学習装置(3000)は、取得されたパラメーター群を有する神経網モデル及び学習データ群に基づいて、特性情報と関連する特性レイヤーの一部ノードのパラメーター群を更新するように実現されることができる。これを通じて、本出願の一実施例による学習装置(3000)は、特性情報に対し特異的に医療イメージをセグメンテーションするためのパラメーター群を含む最終神経網モデルを取得することができる。
他の例で、本出願の一実施例による学習装置(3000)は、特性情報を考慮して学習された第1パラメーター群を有するノードを含む第1神経網モデル及び第2パラメーター群を有するノードを含む第2神経網モデルを取得することができる。
第1神経網モデルは、第1特性情報を反映して医療イメージをセグメンテーションするための神経網モデルであってもよく、第1パラメーター群を有するノードを含むことができる。
本出願の一実施例による医療イメージ分析装置(2000)は、第1神経網モデルを利用して、対象医療イメージをセグメンテーションし、第1特性情報を反映して第1セグメンテーション情報を取得するように実現されることができる。
または、本出願の一実施例による学習装置(3000)は、第1神経網モデルの隠しレイヤーに追加的な特性レイヤーを結合させて特性レイヤーに含まれる少なくとも一つのノードのパラメーター群を更新して、第1特性情報に対し更に特異的でかつ精巧に医療イメージをセグメンテーションできる神経網モデルを取得するように実現されることができる。
第2神経網モデルは、第2特性情報を反映して医療イメージをセグメンテーションするための神経網モデルであってもよく、第1パラメーター群とは異なる第2パラメーター群を有するノードを含むことができる。
本出願の一実施例による医療イメージ分析装置(2000)は、第2神経網モデルを利用し、対象医療イメージをセグメンテーションして、第2特性情報を反映して第2セグメンテーション情報を取得するように実現されることができる。
または、本出願の一実施例による学習装置(3000)は、第2神経網モデルの隠しレイヤーに追加的な特性レイヤーを結合させて特性レイヤーに含まれる少なくとも一つのノードのパラメーター群を更新し、第2特性情報に対し更に特異的でかつ精巧に医療イメージをセグメンテーションできる神経網モデルを取得するように実現されることができる。
一方、学習データ群及び人工神経網モデルのパラメーターを取得する段階(S3100)において、本出願の一実施例による学習装置(3000)は、特性情報と関連する初期特徴ベクターが算出されるようにパラメーター群を取得するように実現されることができる。例えば、図8に関して上述した通り、本出願の一実施例による学習装置(3000)は、神経網モデルのパラメーター群及び神経網モデルの隠しレイヤーの一部を構成する特性レイヤーを含んで一次的に特性レイヤーの少なくとも一つのノードのパラメーター群を学習することができる。一次的に学習された神経網モデルは、特性情報に依存的な初期特徴ベクターが算出されるように実現されることができる。この時、学習データ群及び人工神経網モデルのパラメーターを取得する段階(S3100)において、本出願の一実施例による学習装置(3000)は、特性情報と関連する初期特徴ベクターを算出するパラメーター群を含む神経網モデルを取得することができる。
学習データ群の特性情報及びラベルデータに基づいてパラメーター群を更新する段階(S3200)において、本出願の一実施例による学習装置(3000)は、取得されたパラメーター群を有するノードを含む人工神経網モデル及び学習データ群に基づいて、パラメーター群を更新しまたは学習するように実現されることができる。
この時、好ましい実施例による学習装置(3000)は、S3100段階により取得された神経網モデルが特性情報に依存せずに学習されることがあり、S3200段階において、S3100段階で取得された神経網モデルのノードのパラメーター群は固定されることがある。換言すれば、S3200段階において、S3100段階で取得されたパラメーター群は更新されないように固定されることができる。この時、S3200段階で学習装置(3000)は、神経網モデルの隠しレイヤーの一部レイヤーに特性レイヤーを追加して、特性情報に対し特異的に医療イメージをセグメンテーションするように、特性レイヤーに含まれた少なくとも一つのノードのパラメーター群を更新することができる。
神経網モデルのアーキテクチャーをエンコーダー(encoder)及びデコーダー(decoder)基盤のU-netから構成される場合、特性レイヤーは、S3100段階で取得された人工神経網のボトルネック層(bottleneck layer、エンコーダー及びデコーダーの間のレイヤー)に結合または追加されて、特性情報を反映して医療イメージのセグメンテーション動作を学習するように構成されることができる。
また、学習データ群の特性情報及びラベルデータに基づいて、パラメーター群を更新する段階(S3200)において、本出願の一実施例による学習装置(3000)は、特性情報によりパラメーター群を異なるように学習させまたは更新することができる。
以下では図13及び図14を参考にして本出願の一実施例によるパラメーター群を更新する方法に対し詳しく叙述する。
図13乃至図14は、本出願の一実施例による特性レイヤーのパラメーター群を更新する方法を示す概略図である。
具体的に図13は図11に図示される第1学習データ群に基づいて、第1特徴ベクターを算出するように特性レイヤーのパラメーター群を更新する方法を示す概略図である。
図14は図12に図示される第2学習データ群に基づいて、第1特徴ベクターとは異なる値を有する第2特徴ベクターを算出するように、特性レイヤーのパラメーター群を更新する方法を示す概略図である。
図13を参考にすれば、本出願の一実施例による学習装置(3000)は、第1学習データ群に基づいて、第1特性レイヤーに含まれる少なくとも一つのノードのパラメーター群を更新または学習させるように構成されることができる。図13に図示される第1特性レイヤーは、パラメーター群を更新する動作を実行する前に、神経網モデルの隠しレイヤーに結合または追加されることができる。
具体的に、第1学習データ群は、医療イメージ及び第1特性情報と関連する放射線治療領域を定義するラベルに関するデータを含むことができる。この時、学習装置(3000)は、第1特性情報に対し特異的に医療イメージをセグメンテーションするように、第1特徴ベクターを算出する神経網モデルを取得するようにパラメーター群を更新することができる、
例えば、学習装置(3000)は、第1学習データ群に含まれる医療イメージを神経網モデルの入力レイヤーへ入力して、神経網モデルの出力レイヤーを通じて出力データを取得するように実現されることができる。この時、学習装置(3000)は、第1学習データ群に含まれる第1特性情報と関連するラベルデータ及び出力データに基づいて、神経網モデルの隠しレイヤーの一部を構成する第1特性レイヤーに含まれる少なくとも一つのノードのパラメーター群を更新することができる。
例えば、学習装置(3000)は、第1学習データ群に含まれる第i医療イメージを神経網モデルの入力レイヤーへ入力して、神経網モデルの出力レイヤーを通じて出力データを取得することができる。
この時、出力データは、第i医療イメージに対するラベルデータを含むことができる。例えば、出力データは、第i医療イメージと関連する第iAラベルデータであってもよい。
この時、本出願の一実施例による学習装置(3000)は、出力データに含まれる第iAラベル及び第1学習データ群に含まれる第i医療イメージと関連する第iaラベルに基づいて、第1特性レイヤーに含まれる少なくとも一つのノードのパラメーター群を更新するように実現されることができる。具体的に、学習装置(3000)は、第iAラベル及び第1学習データ群に含まれる第i医療イメージと関連する第iaラベルの差が最小になるまでに、第1特性レイヤーに含まれる少なくとも一つのノードのパラメーター群を更新するように実現されることができる。
この時、第1学習データ群は、医療イメージ及び第1特性情報と関連して定義される放射線照射領域に対するラベルデータを含むため、第1学習データ群から学習された神経網モデルは、医療イメージを第1特性情報と関連するラベルデータで出力するように学習されることができる。
図14を参考にすれば、本出願の一実施例による学習装置(3000)は、第1学習データ群とは区別される第2学習データ群に基づいて、第2特徴ベクターを算出するように特性レイヤーのパラメーター群を更新または学習させるように構成されることができる。図14に図示される第2特性レイヤーは、パラメーター群を更新する動作を実行する前に、神経網モデルの隠しレイヤーに結合または追加されることができる。
具体的に、第2学習データ群は、医療イメージ及び第2特性情報と関連する放射線治療領域を定義したラベルに関するデータを含むことができる。この時、学習装置(3000)は、第2特性情報に対し特異的に医療イメージをセグメンテーションするように、第2特徴ベクターを算出する神経網モデルを取得するようにパラメーター群を更新することができる。例えば、学習装置(3000)は、第2学習データ群に含まれる医療イメージを神経網モデルの入力レイヤーへ入力して、神経網モデルの出力レイヤーを通じて出力データを取得するように実現されることができる。この時、学習装置(3000)は、第2学習データ群に含まれる第2特性情報と関連するラベルデータ及び出力データに基づいて、神経網モデルの隠しレイヤーの一部を構成する第2特性レイヤーに含まれる少なくとも一つのノードのパラメーター群を更新することができる。
例えば、学習装置(3000)は、第2学習データ群に含まれる第j医療イメージを、神経網モデルの入力レイヤーへ入力して、神経網モデルの出力レイヤーを通じて出力データを取得することができる。
この時、出力データは、第j医療イメージに対するラベルに関連するデータを含むことができる。例えば、出力データは、第j医療イメージと関連する第jBラベルデータを含むことができる。
この時、本出願の一実施例による学習装置(3000)は、第jBラベル及び第2学習データ群に含まれる第j医療イメージと関連する第jbラベルに基づいて、第2特性レイヤーに含まれる少なくとも一つのノードのパラメーター群を更新するように実現されることができる。具体的に、学習装置(3000)は、第jBラベル及び第2学習データ群に含まれる第j医療イメージと関連する第jbラベルの差が最小になるまでに、第2特性レイヤーに含まれる少なくとも一つのノードのパラメーター群を更新するように実現されることができる。
この時、第2学習データ群は、医療イメージ及び第2特性情報と関連して定義された放射線照射領域に対するラベルデータを含むため、第2学習データ群から学習された神経網モデルは、医療イメージを第2特性情報と関連するラベルデータで出力するように学習されることができる。
第1特性情報及び/または第2特性情報は、上述した通り施術者情報、被施術者情報、腫瘍情報及び/または放射線情報と関連することができる。
学習データ群の特性情報及びラベルデータに基づいてパラメーター群を更新する段階(S3200)において、本出願の一実施例による学習装置(3000)は、上述した施術者情報、被施術者情報、腫瘍情報及び/または放射線情報に基づいてパラメーター群を更新するように実現されることができる。この時、学習装置(3000)は、特性情報の類型別(例えば、施術者情報と被施術者情報)が異なる特徴ベクターを算出するようにパラメーターを更新することができ、共通類型の特性情報内でも特性情報の差(例えば、第1施術者情報と第2施術者情報)により異なる値を有する特徴ベクターを算出するようにパラメーターを更新することができる。
一つ例において、本出願の一実施例による学習装置(3000)は、図13及び図14に関して説明した通り、施術者情報と関連する特性情報に基づいてパラメーター群を更新することができる。
例えば、学習装置(3000)は、施術者情報と関連する特性情報に関する学習データ群に基づいて、施術者情報に対し特異的に医療イメージをセグメンテーションするための第1特徴ベクターが算出されるように、神経網モデルに含まれる特性レイヤーの少なくとも一つのノードのパラメーター群を更新することができる。
具体的に、学習データ群は、第1施術者情報を有する第1施術者から取得された医療イメージに対する放射線治療領域に対するラベルと関連するデータを含むことができる。この時、学習装置(3000)は、学習データ群を人工神経網モデルの入力レイヤーへ入力して、出力レイヤーを通じて出力データを取得することができる。この時、学習装置(3000)は、出力データと学習データ群に含まれる第1施術者情報と関連するラベルデータに基づいて、パラメーター群を更新して、第1aパラメーター群を有する少なくとも一つのノードを含む神経網モデルを取得することができる。
また、学習データ群は、第2施術者情報を有する第2施術者から取得した医療イメージに対する放射線治療領域に対するラベルと関連するデータを含むことができる。この時、学習装置(3000)は、学習データ群を人工神経網モデルの入力レイヤーへ入力して、出力レイヤーを通じて出力データを取得することができる。この時、学習装置(3000)は、出力データと学習データ群に含まれる第2施術者情報と関連するラベルデータに基づいて、パラメーター群を更新して、第1bパラメーター群を有する少なくとも一つのノードを含む神経網モデルを取得することができる。本出願の一実施例による学習装置(3000)は、施術者情報の差により異なるパラメーター群を有する神経網モデルを取得するように、パラメーター群を更新することができる。したがって、医療イメージ分析装置(2000)は、学習された神経網モデルは利用して、施術者情報に対し特異的に医療イメージを自動的に複数の領域に区画することができるという有利な効果を有する。
他の例において、学習装置(3000)は、被施術者情報と関連する特性情報に関する学習データ群に基づいて、被施術者情報に依存して医療イメージをセグメンテーションするための第2特徴ベクターが算出されるように、神経網モデルに含まれる特性レイヤーの少なくとも一つのノードのパラメーター群を更新することができる。具体的に、学習データ群は、第1被施術者情報を有する第1被施術者の腫瘍を治療するために放射線が照射される領域(または放射線が照射されてはいけない領域)と関連する医療イメージに対するラベルデータを含むことができる。この時、学習装置(3000)は、学習データ群を人工神経網モデルの入力レイヤーへ入力して、出力レイヤーを通じて出力データを取得することができる。この時、学習装置(3000)は、出力データと学習データ群に含まれる第1被施術者情報と関連するラベルデータに基づいてパラメーター群を更新して、第2aパラメーター群を有する少なくとも一つのノードを含む神経網モデルを取得することができる。また、学習データ群は、第2被施術者情報を有する第2被施術者の腫瘍を治療するために放射線が照射される領域(または放射線が照射されてはいけない領域)と関連する医療イメージに対するラベルデータを含むことができる。この時、学習装置(3000)は、学習データ群を人工神経網モデルの入力レイヤーへ入力して、出力レイヤーを通じて出力データを取得することができる。この時、学習装置(3000)は、出力データと学習データ群に含まれる第2被施術者情報と関連するラベルデータに基づいて、パラメーター群を更新して第2bパラメーター群を有する少なくとも一つのノードを含む神経網モデルを取得することができる。本出願の一実施例による学習装置(3000)は、被施術者情報の差により異なるパラメーター群を有する神経網モデルを取得するように、パラメーター群を更新することができる。したがって、医療イメージ分析装置(2000)は、学習された神経網モデルを利用して、被施術者依存的なセグメンテーション情報を取得することができるという有利な効果を有する。
他の例えば、学習装置(3000)は、腫瘍情報と関連する特性情報に関する学習データ群に基づいて、腫瘍情報に対し特異的に医療イメージをセグメンテーションするための第3特徴ベクターが算出されるように、神経網モデルに含まれる特性レイヤーの少なくとも一つのノードのパラメーター群を更新することができる。
具体的に、学習データ群は、第1腫瘍情報を有する第1腫瘍を治療するために放射線が照射される領域(または放射線が照射されてはいけない領域)と関連する医療イメージに対するラベルデータを含むことができる。この時、学習装置(3000)は、学習データ群を人工神経網モデルの入力レイヤーへ入力して、出力レイヤーを通じて出力データを取得することができる。この時、学習装置(3000)は、出力データ及び学習データ群に含まれる第1腫瘍情報と関連するラベルデータに基づいて、パラメーター群を更新して、第3aパラメーター群を有する少なくとも一つのノードを含む神経網モデルを取得することができる。
また、学習データ群は、第2腫瘍情報を有する第2腫瘍を治療するために放射線が照射される領域(または放射線が照射されてはいけない領域)と関連する医療イメージに対するラベルデータを含むことができる。この時、学習装置(3000)は、学習データ群を人工神経網モデルの入力レイヤーへ入力して、出力レイヤーを通じて出力データを取得することができる。この時、学習装置(3000)は、出力データ及び学習データ群に含まれる第2腫瘍情報と関連するラベルデータに基づいて、パラメーター群を更新して、第3bパラメーター群を有する少なくとも一つのノードを含む神経網モデルを取得することができる。本出願の一実施例による学習装置(3000)は、腫瘍情報の差により異なるパラメーター群に対し神経網モデルを取得するようにパラメーター群を更新することができる。したがって、医療イメージ分析装置(2000)は、学習された神経網モデルは利用して腫瘍情報に対し特異的に医療イメージを自動的に複数の領域で区画することができるという有利な効果を有する。
他の例えば、学習装置(3000)は、放射線情報と関連する特性情報に関する学習データ群に基づいて、腫瘍情報に依存して医療イメージをセグメンテーションするための第4特徴ベクターが算出されるように、神経網モデルに含まれる特性レイヤーの少なくとも一つのノードのパラメーター群を更新することができる。
具体的に、学習データ群は、第1放射線情報を有する第1放射線で腫瘍を治療するために放射線が照射される領域(または放射線が照射されてはいけない領域)と関連する医療イメージに対するラベルデータを含むことができる。この時、学習装置(3000)は、学習データ群を人工神経網モデルの入力レイヤーへ入力して、出力レイヤーを通じて出力データを取得することができる。この時、学習装置(3000)は、出力データ及び学習データ群に含まれる第1放射線情報と関連するラベルデータに基づいてパラメーター群を更新して、第4aパラメーター群を有する少なくとも一つのノードを含む神経網モデルを取得することができる。また、学習データ群は、第2放射線情報を有する第2放射線で腫瘍を治療するために放射線が照射される領域(または放射線が照射されてはいけない領域)と関連する医療イメージに対するラベルデータを含むことができる。この時、学習装置(3000)は、学習データ群を人工神経網モデルの入力レイヤーへ入力して、出力レイヤーを通じて出力データを取得することができる。この時、学習装置(3000)は、出力データ及び学習データ群に含まれる第2放射線情報と関連するラベルデータに基づいてパラメーター群を更新して、第4bパラメーター群を有する少なくとも一つのノードを含む神経網モデルを取得することができる。本出願の一実施例による学習装置(3000)は、放射線情報の差により異なるパラメーター群を有する神経網モデルを取得するように、パラメーター群を更新することができる。したがって、医療イメージ分析装置(2000)は、学習された神経網モデルを利用して放射線情報に依存してセグメンテーション情報を取得することができるという有利な効果を有する。
一方、上述した通り学習データ群及び人工神経網モデルのパラメーター取得する段階(S3100)では、初期特徴ベクターを算出する隠しレイヤーの一部ノード、特に、特性レイヤーの少なくとも一つノードに含まれる初期パラメーター群を取得することができる。
この時、学習データ群の特性情報及びラベルデータに基づいてパラメーター群を更新する段階(S3200)において、本出願の一実施例による学習装置(3000)は、取得された初期パラメーター群に基づいて、特性情報に対し特異的に医療イメージのセグメンテーションを実行できる最終的なパラメーター群を有する神経網モデルを取得するように、初期パラメーター群を更新することができる。
人工神経網モデルのパラメーター群を取得する段階(S3300)において、本出願の一実施例による学習装置(3000)は、上述した通り神経網モデルのパラメーター群を更新する動作を繰り返し実行することによって、出力データに含まれるラベルデータと学習データ群に含まれるラベルデータとの間の差が最小になるパラメーター群を有する神経網モデルを取得することができる。
上述したように、図10のS3200段階に関連して、好ましくはS3100段階により取得された神経網モデルのノードのパラメーター群または加重値の値群を固定した後、特性レイヤーに含まれる少なくとも一つのノードのパラメーター群を更新することができると記載された。ただし、これは例示に過ぎず、これに対し制限することではなく、特性レイヤー以外の隠しレイヤーに含まれる神経網モデルのノードのパラメーター群及び加重値の値群も共に更新されるように学習装置(3000)が実現されることができる。
再び図4を参考にすれば、本出願の一実施例によるセグメンテーションプロセス(P2000)は、データ取得プロセス(P2100)及び学習された神経網モデルを利用するセグメンテーションプロセス(P2200)を含むことができる。
セグメンテーションプロセス(P2000)は、本出願の一実施例による医療イメージ分析装置(2000)により実現されることができる。
以下では図15を参考にして、本出願の一実施例による医療イメージ分析装置(2000)の神経網モデルを利用する医療イメージセグメンテーション動作を説明する。図15は、本出願の一実施例による医療イメージ分析装置(2000)の神経網モデルを利用したイメージセグメンテーション方法に対する順序図である。
図15を参考にすれば、本出願の一実施例による医療イメージ分析装置(2000)の神経網モデルを利用するイメージセグメンテーション方法は、対象医療イメージ及び対象特性情報を取得する段階(S4100)、対象特性情報に基づいてパラメーター群を取得する段階(S4200)、及び神経網モデルのパラメーター群に基づいてセグメンテーション情報を取得する段階(S4300)を含むことができる。
対象医療イメージ及び対象特性情報を取得する段階(S4100)において、医療イメージ分析装置(2000)は、医療イメージ取得装置(1000)から対象医療イメージを取得することができる。
また、医療イメージ分析装置(2000)は、医療イメージ取得装置(1000)、任意の外部装置または使用者の入力から対象医療イメージのセグメンテーションに利用される対象特性情報を取得することができる。
この時、対象特性情報は、後述する神経網モデルのパラメーター群を取得することと、パラメーター群を代えることに対して基礎になることができる。
図16を参考にする。図16は本出願の一実施例による対象医療イメージの例示的な構造図である。
一つ例において、本出願の一実施例により医療イメージ分析装置(2000)により取得する対象医療イメージデータ(TID)は、対象医療イメージ(TI)に対する情報を含むことができる。例えば、対象医療イメージ(TI)に対する情報は、ピクセルの座標、強度、色などに関する情報を包括することができる。
他の例において、対象医療イメージデータ(TID)は、対象特性情報(TFI)を含むことができる。この時、対象特性情報(TFI)は取得された対象医療イメージ(TI)に対しメタデータとして構造化されることができる。例えば、対象医療イメージ(TI)の対象体である被施術者情報に関する対象特性情報(TFI)は、対象医療イメージ(TI)に対しメタデータで構造化されることができる。
一方、対象特性情報(TFI)は、対象医療イメージ(TI)とは別途で任意の外部装置から取得されることができる。
または、対象特性情報(TFI)は上述した通り医療イメージ分析装置(2000)の入力モジュール(2400)を通じた使用者の入力から取得されてもよい。例えば、使用者は第1施術者に関する第1施術者情報を反映して対象医療イメージ(TI)をセグメンテーションすることを望む場合、入力モジュール(2400)を通じて第1施術者情報に関する対象特性情報を入力してもよく、医療イメージ分析装置(2000)は、第1施術者情報に対応する入力を取得することによって、対象特性情報(TFI)を取得するように実現されることができる。
再び図4を参考にすれば、医療イメージ分析装置(2000)は、データ取得プロセス(P2100)により取得された対象医療イメージデータを学習された神経網モデルの入力レイヤーへ入力するように実現されることができる。
この時、医療イメージ分析装置(2000)は、上述した学習装置(3000)により実現される学習プロセス(P1000)から取得されたパラメーター群を有するノードを含む人工神経網モデルを取得でき、取得された人工神経網モデルを、対象医療イメージ(TI)をセグメンテーションするための神経網モデルとして使用することができる。
したがって、対象特性情報に基づいて神経網モデルのパラメーター群を取得する段階(S4200)において、本出願の一実施例による医療イメージ分析装置(2000)は、神経網モデル及び/または神経網モデルのパラメーター群(または加重値の値群)を取得することができる。
一つ例において、本出願の一実施例による医療イメージ分析装置(2000)は、取得された対象特性情報に基づいて人工神経網モデルを取得するように実現されることができる。
例えば、医療イメージ分析装置(2000)が第1対象特性情報を取得した場合、医療イメージ分析装置(2000)は、第1対象特性情報に対応する特性情報に基づいて学習された第1パラメーター群を有するノードを含む第1人工神経網モデルを取得するように実現されることができる。それに反して、医療イメージ分析装置(2000)が第2対象特性情報を取得した場合、医療イメージ分析装置(2000)は、第2対象特性情報に対応する特性情報に基づいて学習された第2パラメーター群を有するノードを含む第2人工神経網モデルを取得するように実現されることができる。
例えば、対象特性情報が第1施術者情報を有する特性情報と関連する場合、本出願の一実施例による医療イメージ分析装置(2000)は、第1施術者情報に関し更新されて取得した第1aパラメーター群を有するノードを含む神経網モデルを取得するように実現されることができる。この時、第1aパラメーター群を有するノードを含む神経網モデルは、第1施術者情報に対し特異的に医療イメージをセグメンテーションするための第1a特徴ベクターを算出することができる。例えば、医療イメージ分析装置(2000)により取得された対象特性情報が第1施術者情報に対応する場合、医療イメージ分析装置(2000)は、第1施術者情報と関連するラベルに関するデータ及び医療イメージを含む学習データ群に基づいて更新されたパラメーター群を取得することができる。
それに反して、対象特性情報が第2施術者情報を有する特性情報と関連する場合、本出願の一実施例による医療イメージ分析装置(2000)は、第2施術者情報に関し学習された第1bパラメーター群を有するノードを含む神経網モデルを取得するように実現されることができる。この時、第1bパラメーター群を有するノードを含む神経網モデルは、第施術者情報に対し特異的に医療イメージをセグメンテーションするための第1b特徴ベクターを算出することができる。例えば、医療イメージ分析装置(2000)により取得された対象特性情報が第2施術者情報に対応する場合、医療イメージ分析装置(2000)は、第2施術者情報と関連するラベルに関するデータ及び医療イメージを含む学習データ群に基づいて更新されたパラメーター群を取得することができる。
他の例により、対象特性情報が第1被施術者情報を有する特性情報と関連する場合、本出願の一実施例による医療イメージ分析装置(2000)は、第1被施術者情報に関し学習された第2aパラメーター群を有するノードを含む神経網モデルを取得するように実現されることができる。この時、第2aパラメーター群を有するノードを含む神経網モデルは、第1被施術者情報に対し特異的に医療イメージをセグメンテーションするための第2a特徴ベクターを算出することができる。例えば、被施術者が第1年齢区間に該当しまたは基底疾患を有することが現れる第1被施術者情報を対象特性情報から取得した場合、医療イメージ分析装置(2000)は、被施術者が第1年齢区間に該当しまたは基底疾患を有する特性情報と関連する医療イメージに対するラベルに関するデータ及び医療イメージを含む学習データ群に基づいて学習されたパラメーター群を有するノードを含む神経網モデルを取得することができる。
それに反して、対象特性情報が第2被施術者情報を有する特性情報と関連する場合、本出願の一実施例による医療イメージ分析装置(2000)は、第2被施術者情報に関し更新された第2bパラメーター群を有するノードを含む神経網モデルを取得するように実現されることができる。この時、第2bパラメーター群を有するノードを含む神経網モデルは、第1被施術者情報に対し特異的に医療イメージをセグメンテーションするための第2b特徴ベクターを算出することができる。例えば、被施術者が第2年齢区間に該当しまたは基底疾患を有しないことが現れる第2被施術者情報を対象特性情報から取得した場合、医療イメージ分析装置(2000)は、被施術者が第2年齢区間に該当しまたは基底疾患を有しない特性情報と関連する医療イメージに対するラベルに関するデータ及び医療イメージを含む学習データ群に基づいて学習されたパラメーター群を有するノードを含む神経網モデルを取得することができる。
他の例により、対象特性情報が第1腫瘍情報を有する特性情報と関連する場合、本出願の一実施例による医療イメージ分析装置(2000)は、第1腫瘍情報に関し学習された第3aパラメーター群を有するノードを含む神経網モデルを取得するように実現されることができる。この時、第3aパラメーター群を有するノードを含む神経網モデルは、第1腫瘍情報に対し特異的に医療イメージをセグメンテーションするための第3a特徴ベクターを算出することができる。例えば、第1類型の腫瘍情報を対象特性情報から取得した場合、医療イメージ分析装置(2000)は、第1類型に該当する特性情報と関連する医療イメージに対するラベルに関するデータ及び医療イメージを含む学習データ群に基づいて学習されたパラメーター群を有するノードを含む神経網モデルを取得することができる。
それに反して、対象特性情報が第2腫瘍情報を有する特性情報と関連する場合、本出願の一実施例による医療イメージ分析装置(2000)は、第2腫瘍情報と関し更新された第3bパラメーター群を有するノードを含む神経網モデルを取得するように実現されることができる。この時、第3bパラメーター群を有するノードを含む神経網モデルは、第2腫瘍情報に対し特異的に医療イメージをセグメンテーションするための第3b特徴ベクターを算出することができる。例えば、第2類型の腫瘍情報を対象特性情報から取得した場合、医療イメージ分析装置(2000)は、第2類型に該当する特性情報と関連する医療イメージに対するラベルに関するデータ及び医療イメージを含む学習データ群に基づいて学習されたパラメーター群を有するノードを含む神経網モデルを取得することができる。
この時、第1類型及び第2類型は、腫瘍の大きさ、腫瘍の発現レベル、腫瘍の形態または腫瘍の位置を包括することができる。
他の例において、対象特性情報が第1放射線情報を有する特性情報と関連する場合、本出願の一実施例による医療イメージ分析装置(2000)は、第1放射線情報に関して学習された第4aパラメーター群を有するノードを含む神経網モデルを取得するように実現されることができる。この時、第4aパラメーター群を有するノードを含む神経網モデルは、第1放射線情報に基づいて特異的に医療イメージをセグメンテーションするための第4a特徴ベクターを算出することができる。例えば、第1強度、第1種類または第1周期で腫瘍を施術する第1種類の放射線に対する情報を対象特性情報から取得した場合、医療イメージ分析装置(2000)は、第1放射線を利用して腫瘍施術時放射線が照射される領域を画した医療イメージに対するラベルデータ及び医療イメージを含む学習データ群に基づいて学習されたパラメーター群を有するノードを含む神経網モデルを取得することができる。
それに反して、対象特性情報が第2放射線情報を有する特性情報と関連する場合、本出願の一実施例による医療イメージ分析装置(2000)は、第2放射線情報に関して更新された第4bパラメーター群を有するノードを含む神経網モデルを取得することができる。この時、第4bパラメーター群を有するノードを含む神経網モデルは、第1放射線情報に基づいて特異的に医療イメージをセグメンテーションするための第4b特徴ベクターを算出することができる。例えば、第2強度、第2種類または第2周期で腫瘍を施術する第2種類の放射線に対する情報を対象特性情報から取得した場合、医療イメージ分析装置(2000)は、第2放射線を利用して腫瘍施術時放射線が照射される領域を画した医療イメージに対するラベルデータ及び医療イメージを含む学習データ群に基づいて学習されたパラメーター群を有するノードを含む神経網モデルを取得することができる。
換言すれば、本出願の一実施例による医療イメージ分析装置(2000)は、施術者情報、被施術者情報、腫瘍情報及び/または放射線情報と関連する対象特性情報を考慮して対象医療イメージをセグメンテーションするように、対象特性情報を考慮して更新された神経網モデル及び/または神経網モデルの少なくとも一つのノードのパラメーター群を取得することができる。
ただし、上述した内容は例示に過ぎず、対象特性情報が多様な特性情報の組合により少なくとも一つのパラメーター群を取得するように実現されるはずである。例えば、対象特性情報が第1施術者情報と第2腫瘍情報と関連する場合、医療イメージ分析装置(2000)は、第1aパラメーター群及び第2bパラメーター群を取得しまたは新しいパラメーター群を取得するように実現されることもできる。
再び図15を参考にすれば、神経網モデルのパラメーター群に基づいてセグメンテーション情報を取得する段階(S4300)において、本出願の一実施例による医療イメージ分析装置(2000)は、学習された神経網モデル及び神経網モデルの少なくとも一部ノードに含まれるパラメーター群に基づいて、対象医療イメージのセグメンテーション動作を実行するように実現されることができる。
本出願の一実施例による医療イメージ分析装置(2000)は、学習された神経網モデルのパラメーター群に基づいて、対象医療イメージのセグメンテーション動作を実行するように実現されることができる。具体的に、医療イメージ分析装置(2000)は、対象医療イメージを学習された神経網モデルの入力レイヤーへ入力することができ、出力レイヤーを通じて対象医療イメージのセグメンテーション結果を出力するように実現されるはずである。
図17を参考にする。図17は、本出願の一実施例による医療イメージ分析装置(2000)の対象医療イメージに対するセグメンテーション動作の概略図である。
図17を参考にすれば、本出願の一実施例による医療イメージ分析装置(2000)は、対象医療イメージ、学習された人工神経網及び対象特性情報を取得することができる。
一つ例において、対象特性情報が第1対象特性情報と関連する場合、本出願の一実施例による医療イメージ分析装置(2000)は、第1対象特性情報に基づいて第1パラメーター群を取得することができる。
この時、取得された第1パラメーター群は、学習された人工神経網モデルの隠しレイヤーの一部を構成する特性レイヤーのノードに対応することができる。
医療イメージ分析装置(2000)は、対象医療イメージを学習された人工神経網モデルの入力レイヤーへ入力することができ、特性レイヤーの少なくとも一つのノードに含まれる第1パラメーター群を有する学習された人工神経網モデルに基づいて、出力レイヤーを通じて出力される第1セグメンテーション情報を取得することができる。
この時、第1セグメンテーション情報は、第1対象特性情報に対し特異的に医療イメージを複数の領域で区切られることができる。例えば、第1セグメンテーション情報は、腫瘍に対応する第1領域と第1対象特性情報を反映して放射線が照射される対象領域と関連する第2領域を含むことができる。
他の例において、対象特性情報が第2対象特性情報と関連する場合、本出願の一実施例による医療イメージ分析装置(2000)は、第2対象特性情報に基づいて第2パラメーター群を取得することができる。
この時、取得された第2パラメーター群は、学習された人工神経網モデルの隠しレイヤーの一部を構成する特性レイヤーのノードに対応することができる。
医療イメージ分析装置(2000)は、対象医療イメージを学習された人工神経網モデルの入力レイヤーへ入力することができ、特性レイヤーの少なくとも一つのノードに含まれる第2パラメーター群を有する学習された人工神経網モデルに基づいて出力レイヤーを通じて出力される第2セグメンテーション情報を取得することができる。
この時、第2セグメンテーション情報は、第2対象特性情報に対し特異的に医療イメージを複数の領域で区切られることができる。例えば、第2セグメンテーション情報は、腫瘍に対応する第3領域と第2対象特性情報を反映して放射線が照射される対象領域と関連する第4領域を含むことができる。
この時、第1セグメンテーション情報に含まれる第2領域と第2セグメンテーション情報に含まれる第4領域は、対象特性情報が異なることにより異なるように取得されることができる。例えば、第2領域は、第1バウンダリーによって定義されるが、第4領域は、第1バウンダリーとは異なる第2バウンダリーによって定義されることができる。
換言すれば、本出願の一実施例による医療イメージ分析装置(2000)は、特性情報に依存して放射線が照射される領域を画するように実現されることができる。特性情報により放射線が照射される領域を異なるようにセグメンテーションできるため、医療イメージ分析装置(2000)は、セグメンテーション情報に基づいて、特性情報に対し特異的な治療補助情報を使用者に提供することができるという有利な効果を有する。
一方、本出願の一実施例による医療イメージ分析装置(2000)は、多様な対象特性情報の組み合わせに基づいて対象医療イメージをセグメンテーションするために、少なくとも2つ以上の学習された神経網モデルを並列的に利用するように実現されることができる。
第1神経網モデルと第2神経網モデルは独立的に設けられることができる。第1神経網モデルと第2神経網モデルは、少なくとも一つのレイヤーを共有することができる。第1神経網モデルと第2神経網モデルは、対象医療イメージに基づいてそれぞれ異なる出力を取得するように提供されることができる。
例えば、医療イメージ分析装置(2000)は、互いに並列的に設けられる第1神経網モデル及び第2神経網モデルを含むことができる。第1神経網モデルは、対象医療イメージをセグメンテーションして、腫瘍領域を取得するための神経網モデルであってもよい。それに反して、第2神経網モデルは、対象医療イメージをセグメンテーションして、放射線が照射される領域や放射線が照射されてはいけない領域を取得するためのモデルであってもよい。
例えば、並列的に構成される第1神経網モデル及び第2神経網モデルによって最終的に取得される対象医療イメージの複数個の領域は、腫瘍領域、放射線が照射される領域(例えば、GTV、CTV、PTV)及び/または放射線が照射されてはいけない領域(OAR)を含むことができる。
一実施例によれば、第1神経網モデルは腫瘍領域を取得することができる。第1神経網モデルは、特性情報に依存せずに腫瘍領域を取得することができる。腫瘍領域の場合、医療イメージ内で腫瘍に対応する領域であるため、特性情報と関係せずに実質的に同一に取得される必要がある。この時、本出願の一実施例によれば、腫瘍領域は対象特性情報と関連するパラメーター群が含まれない第1神経網モデルによって取得されるため、対象特性情報が変更されることにより、腫瘍領域は実質的に影響されずにセグメンテーションされることができる。これに伴い、腫瘍領域は、対象特性情報から影響を受けずに取得されることができる。このために、医療イメージ分析装置(2000)は、第1神経網モデルを対象特性情報と関連する特徴ベクターが含まれない学習された神経網モデルを取得することができる。
または、第1神経網モデルは、腫瘍類型情報により決定されるパラメーター群に基づいて特徴ベクターを取得し、取得された特徴ベクターに基づいて、腫瘍類型情報から少なくとも一部依存的に腫瘍領域を取得することができる。例えば、腫瘍類型情報が、腫瘍の大きさが平均の大きさより大きい情報を含む場合、腫瘍類型情報に対する施術者の領域の定義傾向を反映する特徴ベクターを算出するように、更新されたパラメーター群を取得し、特徴ベクターに基づいて腫瘍領域を取得するように構成されることができる。
第2神経網モデルは治療計画に関する領域を取得することができる。第2神経網モデルは、特性情報に少なくとも一部依存して治療計画に関する領域を取得することができる。第2神経網モデルによって取得された治療計画に関する領域((例えば、放射線が照射される領域や放射線が照射されてはいけない領域、GTV、CTV、PTV OARなど)は対象特性情報に対し特異的に区切られた領域であってもよい。このために、医療イメージ分析装置(2000)は、第2神経網モデルを対象特性情報に関する特徴ベクターを算出するためのパラメーター群を有する少なくとも一つのノードが含まれた特性レイヤーを含む神経網モデルから取得することができる。放射線が照射される領域(例えば、GTV、CTV、PTV)及び/または放射線が照射されてはいけない領域(OAR)は、特徴ベクターが算出されるように更新されたパラメーター群を有する少なくとも一つのノードが含まれる第2神経網モデルによって取得されるため、対象特性情報が変更されることにより、対象特性情報を反映して取得することができる。
ただし、上述した内容は例示に過ぎず、医療イメージ分析装置(2000)は、少なくとも2つ以上の学習された神経網モデルを並列的に配置して実現されることもできるが、学習された神経網モデルを少なくとも2つ以上駆動することによって、上述した内容の目的を達成するように提供されることができる。
医療イメージ分析装置(2000)は、出力レイヤーを通じて出力されるセグメンテーション情報に基づいて、腫瘍領域、放射線が照射される領域及び/または放射線が照射されてはいけない領域を含む複数の領域に対し視覚的なグラフィックをオーバレイして出力モジュール(2500)により、使用者にディスプレーするように実現されることができる。
本出願の一実施例による医療イメージ分析装置(2000)により取得するセグメンテーション情報は、対象医療イメージから取得した腫瘍領域及び放射線が照射される領域を含む複数の領域に対応するレーベリング形態であってもよい。例えば、神経網モデルの出力レイヤーを通じて出力されるセグメンテーション情報は、対象医療イメージから取得された第1領域を定義する第1ラベル、第2領域を定義する第2ラベルを含むレーベリングデータの形態であってもよい。
具体的に、医療イメージは、セル(例えば、ピクセル、ボクセル)の座標に関する情報を含んでいる。医療イメージ分析装置(2000)は、神経網を通じて医療イメージに含まれるそれぞれのセルに対し付与された複数のラベルに対応する可能性を示す確率情報を取得することができる。例えば、第1セルに対し、複数のラベルのうち、第1ラベルに対応する可能性は第1確率であり、第2ラベルに対応する可能性は第2確率であることを示す確率情報を取得することができる。
この時、医療イメージ分析装置(2000)は、それぞれのセルに対し複数のラベルのうち、最も高い確率が付与されるラベルをセルのラベルで割り当てることができる。例えば、第1セルが第1ラベルに対応する確率が最も高い場合、第1セルは第1ラベルで割り当てられることができる。
また、医療イメージ分析装置(2000)は、同じラベルで割り当てられたセルに基づいて、領域情報を取得することができる。例えば、第1ラベルで割り当てられた複数のセルの情報に基づいて、第1領域情報を取得することができる。それに反して、第1ラベルとは異なる第2ラベルで割り当てられた複数のセルの情報に基づいて、第2領域情報を取得することができる。
本出願の一実施例による医療イメージ分析装置(2000)は、セグメンテーション情報を使用者に提供するために適切な視覚的なグラフィック処理を実行することができる。
一つ例において、セグメンテーション情報は、第1ラベルに基づいて対象イメージの第1領域に対し第1色をオーバレイし、対象イメージの第2領域に対し第2色をオーバレイする形態で加工されることができる。
他の例で、医療イメージ分析装置(2000)は、セグメンテーション情報に対し、第1ラベルに基づいて取得した第1領域に関する第1バウンダリーを対象イメージに表示し、第2ラベルに基づいて取得した第2領域に関する第2バウンダリーを対象イメージに表示するように加工することができる。
これを通じて第1領域と第2領域を更に容易に区別することができる。ただし、上述した内容は例示に過ぎず、第1領域と第2領域を区別するための任意の形態として出力結果を構成することができる。
また、本出願の一実施例による医療イメージ分析装置(2000)により取得するセグメンテーション情報は、瘍領域及び放射線が照射される領域を含む複数の領域に関する情報を含むことができる。
または、セグメンテーション情報は放射線が照射されてはいけない領域に関する情報を更に含むことができる。
一つ例において、セグメンテーション情報は、腫瘍が位置する臓器に対応する領域(GTV)、放射線治療時の被施術者の動きを考慮したマージンに関する領域(CTV)、及び複数回の腫瘍治療に対する臓器の微細な動きを考慮したマージンに関する領域(PTV)及び/または放射線が照射されてはいけない領域(OAR)を含む複数の領域に関する情報を含むことができる。この時、腫瘍が位置する臓器に対応する領域(GTV)、放射線治療時の被施術者の動きを考慮したマージンに関する領域(CTV)、及び複数回の腫瘍治療に対する臓器の微細な動きを考慮したマージンに関する領域(PTV)及び/または放射線が照射されてはいけない領域(OAR)は、対象特性情報により異なるように取得されることができる。具体的に、本出願の一実施例による医療イメージ分析装置(2000)は、特性情報を考慮して医療イメージに対し複数の領域を自動的に画するように学習された神経網モデルを利用して、対象医療イメージをセグメンテーションすることができる。したがって、本出願の一実施例による医療イメージ分析装置(2000)は、対象特性情報を考慮して複数の領域を自動的に画するように実現されることができる。この時、取得された複数の領域は、対象特性情報により異なるように定義されることができる。
例えば、対象特性情報が、平均的領域の定義範囲より相対的に広く放射線が照射される領域を定義して腫瘍を治療した履歴情報を含む第1施術者情報と関連する場合、医療イメージ分析装置(2000)は、第1施術者情報を反映するように学習された神経網モデルに基づいて、平均的定義領域範囲より相対的に広く照射される領域(例えば、GTV、CTV、PTVなど)を画するように実現されることができる。それに反して、対象特性情報が、平均的定義領域範囲より相対的に狭く放射線が照射される領域を定義して腫瘍を治療した履歴情報を含む第2施術者情報と関連する場合、医療イメージ分析装置(2000)は、第2施術者情報を反映するように学習された神経網モデルを利用して、平均的定義領域範囲より相対的に狭く放射線が照射される領域(例えば、GTV、CTV、PTVなど)を画するように実現されることができる。
例えば、対象特性情報が、平均的領域の定義範囲より相対的に広く放射線が照射されてはいけない領域を定義して腫瘍を治療した履歴情報を含む第1施術者情報と関連する場合、医療イメージ分析装置(2000)は、第1施術者情報に対し、特異的に学習された神経網モデルに基づいて、平均的領域の定義範囲より相対的に広く放射線が照射されてはいけない領域(例えば、OAR)を画するように実現されることができる。それに反して、対象特性情報が、平均的領域の定義範囲より相対的に狭く放射線が照射されてはいけない領域を定義して腫瘍を治療した履歴情報を含む第2施術者情報と関連する場合、医療イメージ分析装置(2000)は、第2施術者情報に対し、特異的に学習された神経網モデルを利用して、平均的な領域の定義範囲より相対的に狭く放射線が照射されてはいけない領域(例えば、OAR)を画するように実現されることができる。
ただし、上述した内容は例示に過ぎず、医療イメージ分析装置(2000)は、施術者情報以外の被施術者情報、腫瘍情報及び/または放射線情報と関連して学習された神経網モデル及び/またはパラメーター群に基づいて、放射線が照射される領域や放射線が照射されてはいけない領域を画するように実現されることができる。
したがって、セグメンテーション情報は、腫瘍に対する施術や治療と関連して治療補助情報により活用されるはずである。
また、本出願の一実施例による医療イメージ分析装置(2000)は、対象特性情報に基づいて取得した神経網モデルに基づいて、対象医療イメージをセグメンテーションしてナヨセグメンテーション情報を取得することができる。したがって、本出願の一実施例による医療イメージ分析装置(2000)は、対象特性情報を反映した治療補助情報を使用者に提供することができる。
例えば、医療イメージ分析装置(2000)が第1施術者情報に対応する対象特性情報を取得した場合、医療イメージ分析装置(2000)は、第1施術者情報と関連する第1aパラメーター群を有するノードを含む神経網モデルに基づいて、セグメンテーション情報を取得することができる。例えば、第1施術者情報が攻撃的((例えば、平均的治療範囲以上の治療傾向を見せる)腫瘍施術履歴に関する情報を含む場合、医療イメージ分析装置(2000)が取得するセグメンテーション情報は、腫瘍領域と放射線が照射される領域を含む複数の領域を含み、放射線が照射される領域は第1aバウンダリーによって定義されることができる。
他の例において、医療イメージ分析装置(2000)が第2施術者情報に対応する対象特性情報を取得した場合、医療イメージ分析装置(2000)は、第2施術者情報と関連する第1bパラメーター群を有するノードを含む神経網モデルに基づいて、セグメンテーション情報を取得することができる。例えば、第2施術者情報が保守的な((例えば、平均的治療範囲未満の治療傾向を見せる)腫瘍施術履歴に関する情報を含む場合、医療イメージ分析装置(2000)が取得するセグメンテーション情報は、腫瘍領域と放射線が照射される領域を有する複数の領域を含み、放射線が照射される領域は第1bバウンダリーによって定義されることができる。
この時、第1aバウンダリー及び第1bバウンダリーは放射線が照射される領域の外部バウンダリーであってもよい。
この時、第1施術者情報を反映する第1aバウンダリーは、第2施術者情報を反映する第1bバウンダリーと異なることができる。したがって、第1施術者情報を反映する第1aバウンダリーによって定義される領域の広さは、第2施術者情報を反映する第1bバウンダリーに定義される領域の広さと異なることができる。この時、第1aバウンダリーによって定義される領域の広さは、攻撃的((例えば、平均的治療範囲以上の治療傾向を見せる)腫瘍施術履歴により特異的に学習された神経網モデルから算出されるため、第2aバウンダリーによって定義される領域の広さより広いこともある。
例えば、医療イメージ分析装置(2000)が第1被施術者情報に対応する対象特性情報を取得した場合、医療イメージ分析装置(2000)は、第1被施術者情報と関連する第2aパラメーター群を有するノードを含む神経網モデルに基づいて、セグメンテーション情報を取得することができる。例えば、第1被施術者情報は被施術者の年齢が第1年齢区間に属しまたは基底疾患がないことを示す情報を含む場合、医療イメージ分析装置(2000)が取得するセグメンテーション情報は、腫瘍領域と放射線が照射される領域を有する複数の領域を含み、放射線が照射される領域は、第2aバウンダリーによって定義されることができる。
他の例において、医療イメージ分析装置(2000)が第2被施術者情報に対応する対象特性情報を取得した場合、医療イメージ分析装置(2000)は、第2被施術者情報と関連する第2bパラメーター群を有するノードを含む神経網モデルに基づいて、セグメンテーション情報を取得することができる。例えば、第2被施術者情報は被施術者の年齢が第1年齢区間より高い年齢値を含む第2年齢区間に属しまたは基底疾患が存在するという情報を含む場合、医療イメージ分析装置(2000)が取得するセグメンテーション情報は、腫瘍領域と放射線が照射される領域を有する複数の領域を含み、放射線が照射される領域は第2bバウンダリーによって定義されることができる。
この時、第2aバウンダリー及び第2bバウンダリーは、放射線が照射される領域の外部バウンダリーであってもよい。
この時、第1被施術者情報を反映する第2aバウンダリーは、第2被施術者情報を反映する第2bバウンダリーと異なることができる。したがって、第1被施術者情報を反映する第2aバウンダリーによって定義される領域の広さは、第2被施術者情報を反映する第2bバウンダリーに定義される領域の広さと異なることができる。この時、第2aバウンダリーによって定義される領域の広さは、被施術者の情報を考慮して平均的治療範囲領域より相対的に広い範囲で放射線が照射される領域を取得するように学習された神経網モデルから算出されため、第2bバウンダリーによって定義される領域の広さより広いこともある。
例えば、医療イメージ分析装置(2000)が第1腫瘍情報に対応する対象特性情報を取得した場合、医療イメージ分析装置(2000)は、第1腫瘍情報と関連する第3aパラメーター群を有する神経網モデルに基づいて、セグメンテーション情報を取得することができる。例えば、第1腫瘍情報は腫瘍の発現レベルが相対的に高く(例えば、Grade3以上)、平均の大きさより大きい大きさを有する腫瘍を示す情報を含む場合、医療イメージ分析装置(2000)が取得するセグメンテーション情報は、腫瘍領域と放射線が照射される領域を有する複数の領域を含み、放射線が照射される領域は、第3aバウンダリーによって定義されることができる。
他の例において、医療イメージ分析装置(2000)が第2腫瘍情報に対応する対象特性情報を取得した場合、医療イメージ分析装置(2000)は、第2腫瘍情報と関連する第3bパラメーター群を有する神経網モデルに基づいて、セグメンテーション情報を取得することができる。例えば、第2腫瘍情報は腫瘍の発現レベルが相対的に低く(例えば、Grade3未満)、平均の大きさより小さい大きさを有する腫瘍を示す情報を含む場合、医療イメージ分析装置(2000)が取得するセグメンテーション情報は、腫瘍領域と放射線が照射される領域を有する複数の領域を含み、放射線が照射される領域は、第3bバウンダリーによって定義されることができる。
この時、第3aバウンダリー及び第3bバウンダリーは、放射線が照射される領域の外部バウンダリーであってもよい。
この時、第1腫瘍情報に基づいて取得された第3aバウンダリーは、第2腫瘍情報に基づいて取得された第3bバウンダリーと異なることができる。したがって、第1腫瘍情報に基づいて取得された第3aバウンダリーによって定義される領域の広さは、第2腫瘍情報に基づいて取得された第3bバウンダリーに定義される領域の広さと異なることができる。この時、第3aバウンダリーによって定義される領域の広さは、腫瘍情報を考慮して平均的治療範囲領域より相対的に広い範囲で放射線が照射される領域を取得するように学習された神経網モデルから算出されるため、第3bバウンダリーによって定義される領域の広さより広いこともある。
例えば、医療イメージ分析装置(2000)が第1放射線情報に対応する対象特性情報を取得した場合、医療イメージ分析装置(2000)は、第1放射線情報と関連する第4aパラメーター群を有するノードを含む神経網モデルに基づいて、セグメンテーション情報を取得することができる。例えば、第1放射線情報は照射される放射線が第1種類(例えば、第1メーカー、第1波長帯域の放射線など)を示す場合、医療イメージ分析装置(2000)が取得するセグメンテーション情報は、腫瘍領域と放射線が照射される領域を有する複数の領域を含み、放射線が照射される領域は、第4aバウンダリーによって定義されることができる。
他の例えば、医療イメージ分析装置(2000)が第2放射線情報に対応する対象特性情報を取得した場合、医療イメージ分析装置(2000)は、第2放射線情報と関連する第4bパラメーター群を有するノードを含む神経網モデルを利用してセグメンテーション情報を取得することができる。例えば、第2放射線情報は照射される放射線が第2種類(例えば、第2メーカー、第2波長帯域の放射線など)を示す場合、医療イメージ分析装置(2000)が取得するセグメンテーション情報は、腫瘍領域と放射線が照射される領域を有する複数の領域を含み、放射線が照射される領域は、第4bバウンダリーによって定義されることができる。
この時、第4aバウンダリー及び第4bバウンダリーは、放射線が照射される領域の外部バウンダリーであってもよい。
この時、第1放射線情報に基づいて取得された第4aバウンダリーは、第2放射線情報に基づいて取得された第4bバウンダリーと異なることができる。したがって、第1放射線情報に基づいて取得された第4aバウンダリーによって定義される領域の広さは、第2放射線情報に基づいて取得された第4bバウンダリーに定義される領域の広さと異なることができる。
上述した通り、本出願の一実施例による医療イメージ分析装置(2000)は、対象特性情報に対し特異的に異なるように放射線が照射される領域を取得することができる。
したがって、本出願の一実施例による医療イメージ分析装置(2000)により取得されるセグメンテーション情報は、腫瘍に関して放射線が照射される領域を取得するための治療補助情報を利用することができる。特に、特性情報を考慮して放射線が照射される領域を自動的に定義することができるため、医療イメージ分析装置(2000)は、細かい治療が要求される腫瘍の治療に関して、特性情報を反映しながらも正確な治療補助情報を使用者に提供できるという長所を有する。
また、使用者自身が求める特性情報を反映して治療補助情報を取得するために、特性情報を入力モジュールにより入力することができ、医療イメージ分析装置(2000)は、使用者の入力に基づいて、特性情報を反映して治療補助情報を取得することができる。したがって、治療補助情報が特性情報に基づいて取得される意味によれば、特性情報は治療計画情報で指摘されるはずである。
一方、本出願の一実施例による医療イメージ分析装置(2000)は、セグメンテーション情報に基づいて、放射線の照射を指示する使用者の入力を受信することができる。例えば、医療イメージ分析装置(2000)は、入力モジュール(2400)を通じてセグメンテーション情報に基づいて腫瘍を治療するための放射線の照射開始を指示する使用者の入力を取得することができる。
また、本出願の一実施例による医療イメージ分析装置(2000)は、放射線の照射開始を指示する使用者の入力に基づいて、セグメンテーション情報により放射線の照射を開始することができる。例えば、医療イメージ分析装置(2000)は、任意の外部の放射線照射装置にセグメンテーション情報及び使用者の入力に対応して放射線の照射を開始する指示を伝達することができる。
または、本出願の一実施例による医療イメージ分析装置(2000)は、放射線の出力部を更に含むことができる。この時、医療イメージ分析装置(2000)はセグメンテーション情報及び使用者の入力に対応して放射線の照射を開始することができる。
一方、本出願の一実施例による医療イメージ分析装置(2000)は、セグメンテーションプロセス(P2000)において、学習された人工神経網モデルのパラメーター群を更新しまたはアップデートするように実現されることができる。例えば、医療イメージ分析装置(2000)は、セグメンテーションプロセス(P2000)において、隠しレイヤーの一部レイヤーを構成する特性レイヤーの少なくとも一つのノードに含まれるパラメーター群を更新しまたはアップデートすることができる。または医療イメージ分析装置(2000)はセグメンテーションプロセス(P2000)において、特性レイヤー以外の隠しレイヤーに含まれる少なくとも一つのノードに含まれるパラメーター群を更新しまたはアップデートすることができる。
一つ例において、医療イメージ分析装置(2000)は、学習された神経網モデルを利用したセグメンテーションプロセス(P2200)により、対象医療イメージをセグメンテーションして取得されたセグメンテーション情報を、手動でまたは任意のソフトウェアを利用して修正可能に実現されることができる。この時、医療イメージ分析装置(2000)は、修正されたセグメンテーション情報に基づいて、学習された神経網モデルの少なくとも一つ以上のノードの加重値群や少なくとも一つ以上のノードのパラメーター群を修正することによって、人工神経網モデルを更新しまたはアップデートするように実現されることができる。
一つ例において、本出願の一実施例による医療イメージ分析装置(2000)は、取得されたセグメンテーション情報の少なくとも一部を修正することに関する使用者の入力を受信し、修正されたセグメンテーション情報に基づいて、放射線の照射を開始する使用者の入力を受信することができる。例えば、使用者は、入力モジュール(2400)を通じてセグメンテーション情報に含まれる放射線が照射される領域や放射線が照射されてはいけない領域の修正を指示する入力ができる。
この時、医療イメージ分析装置(2000)は、神経網モデルの出力レイヤーを通じて取得されたセグメンテーション情報と修正されたセグメンテーション情報の差に基づいて、神経網モデルのパラメーター群を更新しまたはアップデートするように実現されることができる。
以下では図18を参考にして、本出願の一実施例による対象医療イメージに対するセグメンテーション動作を説明する。図4乃至図17で説明したセグメンテーションを行うための学習装置(3000)及び医療イメージ分析装置(2000)の動作は同一に適用されてもよく、重複する内容は簡略に説明することにする。
図18は、本出願の一実施例による対象医療イメージのセグメンテーション方法に対する順序図である。
図18を参考にすれば、本出願の一実施例による対象医療イメージに対するセグメンテーション動作は、対象医療イメージ及び神経網モデルを取得する段階(S5100)、対象特性情報を取得する段階(S5200)、神経網モデルのノードのパラメーターを代替える段階(S5300)、及びセグメンテーション情報を取得する段階(S5400)を含むことができる。
対象医療イメージ及び神経網モデルを取得する段階(S5100)において、本出願の一実施例による医療イメージ分析装置(2000)は、対象医療イメージを取得することができる。この時、医療イメージ分析装置(2000)は、医療イメージ取得装置(1000)または任意の外部装置(例えば、サーバー)から分析を必要とする対象医療イメージを取得することができる。
また、対象医療イメージ及び神経網モデルを取得する段階(S5100)において、本出願の一実施例による医療イメージ分析装置(2000)は、学習された神経網モデルを取得することができる。この時、学習された神経網モデルは、特性情報と関連する特徴ベクターが算出されるように取得されたパラメーター群を含む少なくとも一つのノードを含むことができる。
また、対象医療イメージ及び神経網モデルを取得する段階(S5100)において、本出願の一実施例による医療イメージ分析装置(2000)は、特性情報と関連する少なくとも一つ以上の神経網モデルのパラメーター群を取得するように実現されることができる。具体的に、特性情報は多様であってもよい。例えば、特性情報は、施術者情報、被施術者情報、腫瘍情報、放射線情報またはこれらの任意の組合せに関してもよく、本出願の一実施例による医療イメージ分析装置(2000)は、多様な特性情報と関連する複数のパラメーター群を取得することができる。
例えば、対象医療イメージ及び神経網モデルを取得する段階(S5100)において、本出願の一実施例による医療イメージ分析装置(2000)は施術者情報と関連する少なくとも一つ以上の神経網モデルのパラメーター群を取得することができる。
例えば、本出願の一実施例による医療イメージ分析装置(2000)は、被施術者情報と関連する少なくとも一つ以上の神経網モデルのパラメーター群を取得することができる。
例えば、本出願の一実施例による医療イメージ分析装置(2000)は、腫瘍情報と関連する少なくとも一つ以上の神経網モデルのパラメーター群を取得することができる。
例えば、本出願の一実施例による医療イメージ分析装置(2000)は、放射線情報と関連する少なくとも一つ以上の神経網モデルのパラメーター群を取得することができる。
対象特性情報を取得する段階(S5200)において、本出願の一実施例による医療イメージ分析装置(2000)は、対象医療イメージと関連する対象特性情報を取得することができる。この時、対象特性情報とは、上述した通り対象医療イメージをセグメンテーションして治療補助情報を取得するためにセグメンテーションの基礎になる治療計画情報であってもよい。
この時、本出願の一実施例による医療イメージ分析装置(2000)は、入力モジュール(2400)を通した使用者の入力から対象特性情報を取得することができる。
または、本出願の一実施例による医療イメージ分析装置(2000)は、任意の外部装置(例えば、サーバー)から対象特性情報を取得することができる。
または、本出願の一実施例による医療イメージ分析装置(2000)は、対象医療イメージに対しメタデータを取得することによって、対象特性情報を取得することができる。
本出願の一実施例による医療イメージ分析装置(2000)は、取得した対象特性情報に基づいて、対象医療イメージをセグメンテーションするように実現されることができる。
具体的に医療イメージ分析装置(2000)は、対象特性情報に基づいて学習された神経網モデルのパラメーター群を代替え(S5300)するように実現されることができる。
より具体的に医療イメージ分析装置(2000)は、特性情報と関連する複数のパラメーター群のうち、対象特性情報と関連するパラメーター群を選択するように実現されることができる。
例えば、医療イメージ分析装置(2000)は、特性情報と関連する少なくとも一つ以上のパラメーター群を含む神経網モデルを取得することができる。この時、医療イメージ分析装置(2000)は、少なくとも一つ以上のパラメーター群のうち対象特性情報と関連するパラメーター群を選択するように実現されることができる。
一つ例において、医療イメージ分析装置(2000)が対象特性情報から施術者情報を取得した場合、医療イメージ分析装置(2000)は、少なくとも一つ以上のパラメーター群のうち、施術者情報と関連する第1パラメーター群を選択するように実現されることができる。
この時、第1パラメーター群は、対象特性情報と対応する学習データ群に含まれる施術者情報と関連する特性情報に基づいて学習されることによって取得されてもよく、第1パラメーター群を有するノードを含む神経網モデルは、施術者情報に対し特異的に対象医療イメージをセグメンテーションすることができる。これに伴い、施術者領域の定義傾向が反映されたセグメンテーション情報または治療補助情報が取得されることができる。
例えば、第1パラメーター群は、放射線が照射される領域を平均的治療範囲より相対的に広く定義する治療履歴情報を含む施術者情報に基づいて取得された場合、第1パラメーター群を持つ少なくとも一つのノードを含む神経網モデルは、対象医療イメージに対し放射線が照射される領域を平均的治療範囲より相対的に広く画することができる。
一つ例において、医療イメージ分析装置(2000)が対象特性情報から被施術者情報を取得した場合、医療イメージ分析装置(2000)は、少なくとも一つ以上のパラメーター群のうち、被施術者情報と関連する第2パラメーター群を選択するように実現されることができる。
この時、第2パラメーター群は、対象特性情報と対応する学習データ群に含まれる被施術者情報と関連する特性情報に基づいて学習して取得されてもよく、第2パラメーター群を持つノードを含む神経網モデルは、被施術者情報に対し特異的に対象医療イメージをセグメンテーションすることができる。これに伴い、被施術者の情報により変わる施術者の領域の定義傾向が反映されたセグメンテーション情報または治療補助情報が得られることができる。
例えば、第2パラメーター群は、第1年齢区間に属しまたは基底疾患が存在しないことを示す被施術者情報に基づいて、放射線が照射される領域を平均的治療範囲より相対的に広く定義するように学習されて取得した場合、第2パラメーター群を持つ少なくとも一つのノードを含む神経網モデルは、対象医療イメージに対し放射線が照射される領域を平均的治療範囲より相対的に広く画することができる。
一つ例において、医療イメージ分析装置(2000)が対象特性情報から腫瘍情報を取得した場合、医療イメージ分析装置(2000)は、少なくとも一つ以上のパラメーター群のうち、腫瘍情報と関連する第3パラメーター群を選択するように実現されることができる。
この時、第3パラメーター群は、対象特性情報と対応する学習データ群に含まれる腫瘍情報と関連する特性情報に基づいて取得されてもよく、第3パラメーター群を持つノードを含む神経網モデルは、腫瘍情報に対し特異的に対象医療イメージをセグメンテーションすることができる。これに伴い、腫瘍情報(例えば、腫瘍の類型など)により変わる施術者の領域の定義傾向が反映されたセグメンテーション情報または治療補助情報が得られることができる。
例えば、第3パラメーター群は、第1類型(例えば、腫瘍の大きさが平均大きさより小さい大きさまたは発現レベルが3 grade未満)を示す腫瘍情報に基づいて、放射線が照射される領域を平均的治療範囲より相対的に狭く定義するように学習されて取得した場合、第3パラメーター群を持つ少なくとも一つ以上のノードを含む神経網モデルは、対象医療イメージに対し放射線が照射される領域を平均的治療範囲より相対的に狭く画することができる。
一つ例において、医療イメージ分析装置(2000)が対象特性情報から放射線情報を取得した場合、医療イメージ分析装置(2000)は、少なくとも一つ以上のパラメーター群のうち、放射線情報と関連する第4パラメーター群を選択するように実現されることができる。
この時、第4パラメーター群は、対象特性情報と対応する学習データ群に含まれる放射線情報と関連する特性情報に基づいて取得されてもよく、第4パラメーター群を持つノードを含む神経網モデルは、放射線情報を反映して対象医療イメージをセグメンテーションすることができる。これに伴い、放射線情報(例えば、放射線メーカー、種類、波長帯域など)により変わる施術者の領域の定義傾向が反映されたセグメンテーション情報または治療補助情報が得られることができる。
例えば、第4パラメーター群は、腫瘍施術に使用される放射線が第1波長帯域対や第1メーカーから製造された放射線装置によって発生したことを示す放射線情報に基づいて、放射線が照射される領域を平均的治療範囲より相対的に狭く定義するように学習して取得された場合、第4パラメーター群を持つ少なくとも一つのノードを含む神経網モデルは、対象医療イメージに対し放射線が照射される領域を平均的治療範囲より相対的に狭く画することができる。
また、医療イメージ分析装置(2000)は、学習された神経網モデルのパラメーター群を選択されたパラメーター群に変えるように実現されることができる。
一つ例において、医療イメージ分析装置(2000)は、対象特性情報に基づいて取得されたパラメーター群から学習された神経網モデルの一部ノードのパラメーター群(または、加重値の値群)を代えるように実現されることができる。
具体的にイメージ分析装置(2000)は、S5100段階で取得した神経網モデルに含まれるノードの一部パラメーターを、対象特性情報に基づいて選択されたパラメーター群に変えるように実現されることができる。
この時、代替されるパラメーター群は、特性レイヤーに含まれる少なくとも一つの特性ノードに含まれる特性パラメーター群であってもよい。例えば、学習プロセス(P1000)において、特性情報に対し特異的に医療イメージをセグメンテーションするためにボトルネック層(bottleneck layer、エンコーダー及びデコーダーの間のレイヤー)に位置する特性レイヤーと関連する特性パラメーター群が更新されることができる。この時、セグメンテーションプロセス(P2000)において、医療イメージ分析装置(2000)は、学習プロセス(P1000)で更新された特性ノードの特性パラメーター群に対応するパラメーター群を選択して特性ノードの対応するノードのパラメーター群を代えるように実現されることができる。
ただし、上述した内容は例示に過ぎず、医療イメージ分析装置(2000)は、特性情報を反映して医療イメージをセグメンテーションするために、特性ノード以外の共通ノードのパラメーター群を適切に選択して、共通ノードに対応するノードのパラメーター群を代えるように実現されることができる。
例えば、医療イメージ分析装置(2000)において、対象特性情報が第1特性情報と関連する場合、医療イメージ分析装置(2000)は、複数のパラメーター群のうち第1特性情報と関連する第1パラメーター群を選択することができ、第1パラメーター群を神経網モデルの一部のノード(例えば、特性レイヤーに含まれる少なくとも一つのノード)のパラメーター群に変えることによって、第1特性情報に対し特異的に対象医療イメージをセグメンテーションするための神経網モデルを構成することができる。
上述した通り、対象特性情報(または第1特性情報)は、施術者情報、被施術者情報、腫瘍情報及び/または放射線情報と関連し、本出願の一実施例による医療イメージ分析装置(2000)は、対象特性情報により異なるパラメーター群を選択及び取得して、神経網モデルの一部ノードのパラメーター群を対象特性情報が考慮されたパラメーター群に変えることができる。
したがって、本出願の一実施例による医療イメージ分析装置(2000)は、ユーザーの望む対象特性情報に対し特異的に対象医療イメージを複数の領域でセグメンテーションすることができる。換言すれば、施術者の領域の定義傾向が反映されたセグメンテーション情報または治療補助情報が取得されることができる。または、被施術者の情報、腫瘍情報及び/または放射線情報と関連する対象特性情報により変わる施術者の領域の定義傾向が反映されたセグメンテーション情報または治療補助情報が得られることができる。
ただし、上述した内容は例示に過ぎず、施術者情報、被施術者情報、腫瘍情報及び/または放射線情報の多様な組合せにより学習された神経網モデルのパラメーター群を代えるように実現されることができる。
また、施術者情報、被施術者情報、腫瘍情報及び/または放射線情報以外の任意の適切な情報に基づいて学習された神経網モデルのパラメーター群を代えるように実現されることができる。
セグメンテーション情報を取得する段階(S5400)において、本出願の一実施例による医療イメージ分析装置(2000)は、代替されたパラメーター群を含む神経網モデルを利用して、対象医療イメージと関連するセグメンテーション情報を取得することができる。
一つ例において、医療イメージ分析装置(2000)は、施術者情報を反映して代替されたパラメーター群を持つノードを含んだ神経網モデルに基づいて、対象医療イメージと関連するセグメンテーション情報を取得することができる。
例えば、対象特性情報が第1施術者情報と関連する場合、医療イメージ分析装置(2000)は、複数のパラメーター群のうち第1施術者情報を考慮して学習された第1-1パラメーター群を選択して、神経網モデルの少なくとも一つのノード(例えば、特性レイヤーに含まれる少なくとも一つのノード)のパラメーター群を第1-1パラメーター群に変えることができる。
この時、医療イメージ分析装置(2000)は、第1-1パラメーター群で代替されたノードを含む神経網モデルに基づいて、対象医療イメージのセグメンテーションを実行することによって、第1施術者情報に対し特異的な第1セグメンテーション情報を取得することができる。
それに反して、対象特性情報が第2施術者情報と関連する場合、医療イメージ分析装置(2000)は、複数のパラメーター群のうち、第2施術者情報を考慮して学習された第1-2パラメーター群を選択、神経網モデルの少なくとも一つのノード(例えば、特性レイヤーに含まれる少なくとも一つのノード)のパラメーター群を第1-2パラメーター群に変えることができる。
この時、医療イメージ分析装置(2000)は、第1-2パラメーター群で代替されたノードを含む神経網モデルに基づいて、対象医療イメージのセグメンテーションを実行することによって、第2施術者情報に対し特異的な第2セグメンテーション情報を取得することができる。
他の例えば、対象特性情報が第1被施術者情報と関連する場合、医療イメージ分析装置(2000)は、複数のパラメーター群のうち、第1被施術者情報を考慮して学習された第2-1パラメーター群を選択、神経網モデルの少なくとも一つのノード(例えば、特性レイヤーに含まれた少なくとも一つのノード)のパラメーター群を第2-1パラメーター群に変えることができる。
この時、医療イメージ分析装置(2000)は、第2-1パラメーター群で代替されたノードを含む神経網モデルに基づいて、対象医療イメージのセグメンテーションを実行することによって、第1被施術者情報に対する施術者の領域の定義傾向が反映された第1セグメンテーション情報を取得することができる。
それに反して、対象特性情報が第2被施術者情報と関連する場合、医療イメージ分析装置(2000)は、複数のパラメーター群のうち、第2被施術者情報を考慮して学習された第2-2パラメーター群を選択、神経網モデルの一部ノード(例えば、特性レイヤーに含まれる少なくとも一つのノード)のパラメーター群を第2-2パラメーター群に変えることができる。
この時、医療イメージ分析装置(2000)は、第2-2パラメーター群で代替されたノードを含む神経網モデルに基づいて対象医療イメージのセグメンテーションを実行することによって、第2被施術者情報に対する施術者の領域の定義傾向が反映された第2セグメンテーション情報を取得することができる。
他の例において、対象特性情報が第1腫瘍情報と関連する場合、医療イメージ分析装置(2000)は、複数のパラメーター群のうち、第1腫瘍情報を考慮して学習された第3-1パラメーター群を選択、神経網モデルの一部ノード(例えば、特性レイヤーに含まれる少なくとも一つのノード)のパラメーター群を第3-1パラメーター群に変えることができる。
この時、医療イメージ分析装置(2000)は、第3-1パラメーター群で代替されたノードを含む神経網モデルに基づいて、対象医療イメージのセグメンテーションを実行することにより、第1腫瘍情報に対する施術者の領域の定義傾向が反映された第1セグメンテーション情報を取得することができる。
それに反して、対象特性情報が第2腫瘍情報と関連する場合、医療イメージ分析装置(2000)は、複数のパラメーター群のうち、第2腫瘍情報を考慮して学習された第3-2パラメーター群を選択、神経網モデルの一部ノード(例えば、特性レイヤーに含まれる少なくとも一つのノード)のパラメーター群を第3-2パラメーター群に変えることができる。
この時、医療イメージ分析装置(2000)は、第3-2パラメーター群で代替されたノードを含む神経網モデルに基づいて、対象医療イメージのセグメンテーションを実行することにより、第2腫瘍情報に対する施術者の領域の定義傾向が反映された第2セグメンテーション情報を取得することができる。
他の例において、対象特性情報が第1放射線情報と関連する場合、医療イメージ分析装置(2000)は、複数のパラメーター群のうち、第1放射線情報を考慮して学習された第4-1パラメーター群を選択、神経網モデルの一部ノード(例えば、特性レイヤーに含まれる少なくとも一つのノード)のパラメーター群を第4-1パラメーター群に変えることができる。
この時、医療イメージ分析装置(2000)は、第4-1パラメーター群で代替されたノードを含む神経網モデルに基づいて、対象医療イメージのセグメンテーションを実行することにより、第1放射線情報に対する施術者の領域の定義傾向が反映された第1セグメンテーション情報を取得することができる。
それに反して、対象特性情報が第2放射線情報と関連する場合、医療イメージ分析装置(2000)は、複数のパラメーター群のうち、第2放射線情報を考慮して学習された第4-2パラメーター群を選択、神経網モデルの一部ノード(例えば、特性レイヤーに含まれる少なくとも一つのノード)のパラメーター群を第4-2パラメーター群に変えることができる。
この時、医療イメージ分析装置(2000)は、第4-2パラメーター群で代替されたノードを含む神経網モデルに基づいて、対象医療イメージのセグメンテーションを実行することにより、第2放射線情報に対する施術者の領域の定義傾向が反映された第2セグメンテーション情報を取得することができる。
この時、第1セグメンテーション情報に含まれる少なくとも一部情報と第2セグメンテーション情報に含まれる少なくとも一部情報は異なることができる。
具体的に、第1セグメンテーション情報及び第2セグメンテーション情報は、全て腫瘍領域と関連する第1領域及び放射線が照射される領域(例えば、GTV、CTV、PTV)の第2領域を含むことができる。
この時、第1セグメンテーション情報の第2領域は、放射線が照射される領域(例えば、GTV、CTV、PTV)を相対的に広く定義する性向を持つ第1施術者情報を含む、学習データ群から取得された第1-1パラメーター群を持つ神経網モデルから取得されることができる。この時、第1セグメンテーション情報の第2領域は相対的に広い第1バウンダリーによって定義されることができる。それに反して、第2セグメンテーション情報の第2領域は、放射線が照射される領域(例えば、GTV、CTV、PTV)を相対的に狭く定義する性向を持つ第2施術者情報を含む、学習データ群から取得された第1-2パラメーター群を持つ神経網モデルから取得でき、この場合、第2セグメンテーション情報の第2領域は、第1バウンダリーよりは相対的に狭い第2バウンダリーによって定義されることができる。
または、第1セグメンテーション情報の第2領域は、相対的に低い年齢区間に属する年齢情報を含む第1被施術者情報に基づいて、放射線が照射される領域(例えば、GTV、CTV、PTV)が相対的に広く定義されたラベルデータを含む学習データ群から取得された第2-1パラメーター群を持つ神経網モデルから取得されることができる。この場合、第2-1パラメーター群を持つ神経網モデルは、相対的に低い年齢区間に属する年齢情報を反映して、対象医療イメージのセグメンテーションを実行できるため、第1セグメンテーション情報の第2領域は相対的に広い第1バウンダリーによって定義されることができる。または、第2セグメンテーション情報の第2領域は、基底疾患がある情報を含む第2被施術者情報に基づいて、放射線が照射される領域(例えば、GTV、CTV、PTV)が相対的に狭く定義されたラベルデータを含む学習データ群から取得された第2-2パラメーター群を持つ神経網モデルから取得されることができる。この場合、第2-2パラメーター群を持つ神経網モデルは、基底疾患が存在する情報を反映して対象医療イメージのセグメンテーションを実行できるため、第2セグメンテーション情報の第2領域は、第1バウンダリーよりは相対的に狭い第2バウンダリーによって定義されることができる。
または、第1セグメンテーション情報の第2領域は、腫瘍の大きさが所定大きさ以上、または腫瘍の発現レベルが一定レベル以上の腫瘍の類型に関する情報を含む第1腫瘍情報に基づいて、放射線が照射される領域(例えば、GTV、CTV、PTV)が相対的に広く定義されたラベルデータを含む、学習データ群から取得された第3-1パラメーター群を持つ神経網モデルから取得されることができる。この場合、第3-1パラメーター群を持つ神経網モデルは、腫瘍の類型を考慮して対象医療イメージのセグメンテーションを実行できるため、第1セグメンテーション情報の第2領域は相対的に広い第1バウンダリーによって定義されることができる。または、第2セグメンテーション情報の第2領域は、腫瘍の位置が周辺器官と隣接するように位置していることを示す第2腫瘍情報に基づいて、放射線が照射される領域(例えば、GTV、CTV、PTV)が相対的に狭く定義されたラベルデータを含む、学習データ群から取得される第3-2パラメーター群を持つ神経網モデルから取得されることができる。この場合、第3-2パラメーター群を持つ神経網モデルは、腫瘍の位置が周辺器官と隣接するように位置していることを示す腫瘍の位置情報を反映して対象医療イメージのセグメンテーションを実行できる。したがって、第2セグメンテーション情報の第2領域は、第1バウンダリーよりは相対的に狭い第2バウンダリーによって定義されることができる。
または、第1セグメンテーション情報の第2領域は、腫瘍の大きさが所定大きさ以上、または腫瘍の発現レベルが一定レベル以上の腫瘍の類型に関連した情報を含む第1腫瘍情報に基づいて、放射線が照射される領域(例えば、GTV、CTV、PTV)が相対的に広く定義されたラベルデータを含む、学習データ群から取得された第3-1パラメーター群を持つ神経網モデルから取得されることができる。この場合、第3-1パラメーター群を持つ神経網モデルは、腫瘍の類型を考慮して対象医療イメージのセグメンテーションを実行できるため、第1セグメンテーション情報の第2領域は、相対的に広い第1バウンダリーによって定義されることができる。または、第2セグメンテーション情報の第2領域は、腫瘍の位置が周辺器官と隣接するように位置していることを示す第2腫瘍情報に基づいて、放射線が照射される領域(例えば、GTV、CTV、PTV)が相対的に狭く定義されたラベルデータを含む、学習データ群から取得された第3-2パラメーター群を持つ神経網モデルから取得されることができる。この場合、第3-2パラメーター群を持つ神経網モデルは、腫瘍の位置が周辺器官と隣接するように位置していることを示す腫瘍の位置情報を反映して対象医療イメージのセグメンテーションを実行できる。したがって、第2セグメンテーション情報の第2領域は、第1バウンダリーよりは相対的に狭い第2バウンダリーによって定義されることができる。
または、第1セグメンテーション情報の第2領域は、学習データ群から取得された第4-1パラメーター群を持つ神経網モデルから取得されることができる。この時、第4-1パラメーター群は、放射線の強さが所定強さより弱いという情報を含む第1放射線情報に基づいて、放射線が照射される領域(例えば、GTV、CTV、PTV)が相対的に広く定義されたラベルデータを含む、学習データ群から更新されたパラメーター群から取得されることができる。この場合、第4-1パラメーター群を持つ神経網モデルは、放射線の種類、強さ、類型などを考慮して対象医療イメージのセグメンテーションを実行できるため、第1セグメンテーション情報の第2領域は相対的に広い第1バウンダリーによって定義されることができる。それに反して、第2セグメンテーション情報の第2領域は、学習データ群から取得された第4-2パラメーター群を持つ神経網モデルから取得されることができる。この時、第4-2パラメーター群は、放射線の強さが所定強さより大きい、または放射線が相対的に身体に危険だという第2放射線情報に基づいて、放射線が照射される領域(例えば、GTV、CTV、PTV)が相対的に狭く定義されたラベルデータを含む、学習データ群から更新されたパラメーター群から取得されることができる。この場合、第4-2パラメーター群を持つ神経網モデルは、放射線の強さや放射線の危険もなどを考慮して対象医療イメージのセグメンテーションを実行できるため、第2セグメンテーション情報の第2領域は、相対的に狭い第2バウンダリーによって定義されることができる。
したがって、本出願の一実施例の医療イメージ分析装置(2000)により生成された対象医療イメージのセグメンテーション情報は、施術者情報、被施術者情報、腫瘍情報、及び/または放射線情報により放射線が照射される領域を異なるように提供することができる。これにより、セグメンテーション情報は、腫瘍を治療することにおいて、治療補助情報として活用されることができる。
一方、腫瘍領域と関連する第1領域も、代替されたパラメーター群によりバウンダリーが異なるように算出されることができる。ただし、好ましい実施例によれば、第1セグメンテーション情報の第1領域と第2セグメンテーション情報の第1領域は、代替されたパラメーター群とは関係なく実質的に同じバウンダリーを持つことができる。
以下では図19乃至図24を参考にして、本出願の一実施例による対象医療イメージ分析結果と関連するユーザーインターフェースを説明する。
図19は、本出願の一実施例による対象医療イメージ分析結果と関連するユーザーインターフェースの例示である。
図20は、本出願の一実施例による対象医療イメージのセグメンテーション動作を示す概略図である。
図21は、本出願の一実施例による対象医療イメージ分析結果と関連するユーザーインターフェースの例示である。
図22乃至図24は、本出願の一実施例による対象医療イメージ分析結果と関連するユーザーインターフェースの例示である。
本出願の一実施例による医療イメージ分析装置(2000)は、出力モジュール(2500)を通じて医療イメージの分析結果であるセグメンテーション情報を出力するように実現されることができる。この時、医療イメージ分析装置(2000)は、出力モジュール(2500)を通じて対象特性情報を設定するためのチェックボックスを共に出力することができ、使用者は入力モジュール(2400)を通じて対象特性情報を選択することができる。
この時、本出願の一実施例による医療イメージ分析装置(2000)は、入力モジュール(2400)を通じて取得した対象特性情報に基づいて、対応する対象医療イメージのセグメンテーション情報を出力モジュール(2500)を通じて出力するように実現されることができる。
例えば、図19を参考にする。図19は、第1施術者情報及び第2被施術者情報を含む対象特性情報と関連するパラメーター群を含む神経網モデルに基づいて、対象医療イメージをセグメンテーションした結果を出力モジュール(2500)により出力することを示している。換言すれば、対象医療イメージのセグメンテーション結果である第1セグメンテーション情報は、第1施術者情報及び第2被施術者情報と関連するパラメーター群を含む神経網モデルに基づいて区切られた領域(例えば、腫瘍領域、放射線が照射される領域、放射線が照射されてはいけない領域など)を含むことができる。
この時、医療イメージ分析装置(2000)は、第1セグメンテーション情報に基づいて、第1施術者情報及び第2被施術者情報に対応する対象特性情報を取得した場合、腫瘍を治療するために放射線が照射される領域及び/または放射線が照射されてはいけない領域と関連する治療補助情報を使用者に提供することができる。
この時、本出願の一実施例による医療イメージ分析装置(2000)は、現在の特性情報(または現在の治療計画情報)と関連する情報(O1)を共に出力するように実現されることができる。また、医療イメージ分析装置(2000)は、使用者が特性情報を設定することができるように構成された治療計画情報(O2)をさらに出力するように実現されることができる。
例えば、図19を参考にすれば、使用者は、入力モジュール(2400)を通じて治療計画情報(O2)の施術者情報、被施術者情報、腫瘍情報及び/または放射線情報(図19に未図示)中の特定情報を選択する入力ができる。
この時、医療イメージ分析装置(2000)は、使用者の入力に対応するセグメンテーション情報を出力するように実現されることができる。
例えば、図20を参考にすれば、医療イメージ分析装置(2000)は、図19における上述した通り、対象特性情報(例えば、第2施術者及び第1腫瘍)を設定するための使用者の入力を取得でき、取得された使用者の入力に基づいて選択された対象特性情報に対応するパラメーター群を代替(例えば、第1パラメーター群から第2パラメーター群で代替)するように実現されることができる。換言すれば。医療イメージ分析装置(2000)は、取得された使用者の入力に基づいて対象特性情報に対応するパラメーター群を選択して既存の神経網モデルのパラメーター群を代えるように実現されることができる。
これを通じて、本出願の一実施例による医療イメージ分析装置(2000)は、選択された対象特性情報に基づいて、対象医療イメージをセグメンテーションすることができ、出力モジュール(2500)を通じて第1セグメンテーション情報を第2セグメンテーション情報に変換して出力するように提供されることができる。
この時、第2セグメンテーション情報に含まれる放射線が照射される領域のバウンダリーと第1セグメンテーション情報に含まれる放射線が照射される領域のバウンダリーは、対象特性情報の差を反映して異なることができる。
図21を参考にする。図21は、第2施術者情報及び第1腫瘍情報を含む対象特性情報と関連するパラメーター群を含む神経網モデルに基づいて、対象医療イメージをセグメンテーションした結果を出力モジュール(2500)により出力することを示している。
換言すれば、対象医療イメージのセグメンテーション結果である第2セグメンテーション情報は、第2施術者情報及び第1腫瘍情報と関連するパラメーター群を含む神経網モデルに基づいて区切られた領域(例えば、腫瘍領域、放射線が照射される領域、放射線が照射されてはいけない領域など)を含むことができる。
この時、第2セグメンテーション情報に含まれる放射線が照射される領域のバウンダリーは、図19の第1セグメンテーション情報に含まれる放射線が照射される領域のバウンダリーとは異なることができる。
例えば、図19に示される第1セグメンテーション情報は、放射線が照射される領域を平均的治療範囲より相対的に広く定義する治療履歴情報を持つ第1施術者と関連する施術者情報、及び放射線が照射される領域が相対的に広く定義されるように学習される被施術者情報に基づいて学習された第1パラメーター群を有するノードを含む神経網モデルに基づいて取得されることができる。それに反して、図21に示される第2セグメンテーション情報は、放射線が照射される領域を平均的治療範囲より相対的に狭く定義する治療履歴情報を持つ第2施術者と関連する施術者情報、及び放射線が照射される領域が相対的に狭く定義されるように学習されることに関する腫瘍情報に基づいて学習された第2パラメーター群を持つノードを神経網モデルに基づいて取得されることができる。
したがって、第2セグメンテーション情報に含まれる放射線が照射される領域(例えば、GTV、CTV、PTV領域など)のバウンダリーは、図19の第1セグメンテーション情報に含まれる放射線が照射される領域のバウンダリー(イェ、GTV、CTV、PTV領域など)とは異なってもよく、好ましくは、第2セグメンテーション情報に含まれる放射線が照射される領域(例えば、GTV、CTV、PTV領域など)の広さは、図19の第1セグメンテーション情報に含まれる放射線が照射される領域(例えば、GTV、CTV、PTV領域など)の広さより小さいこともある。
上述した通り、医療イメージ分析装置(2000)は、第2セグメンテーション情報に基づいて第2施術者情報及び第1腫瘍情報に対応する対象特性情報を取得した場合、腫瘍を治療するために放射線が照射される領域と関連する治療補助情報を使用者に提供することができる。
一方、図19に示される第1セグメンテーション情報及び図21に示される第2セグメンテーション情報は、腫瘍領域に対応する情報を含むことができる。この時、第1セグメンテーション情報の腫瘍領域のバウンダリーと第2セグメンテーション情報に含まれる腫瘍領域のバウンダリーは、上述と類似して、対象特性情報に基づいて異なることができる。
ただし、好ましい実施例によれば、第1セグメンテーション情報の腫瘍領域のバウンダリーと第2セグメンテーション情報に含まれる腫瘍領域のバウンダリーは、実質的に同一であってもよい。
例えば、第1セグメンテーション情報の腫瘍領域と第2セグメンテーション情報の腫瘍領域は、対象特性情報(例えば、施術者情報、被施術者情報、腫瘍情報、及び/または放射線情報)により学習された神経網モデルに基づいて取得されるか、対象特性情報と関連するパラメーター群に関係せずに実質的に同一に取得されることができる。
また、本出願の一実施例による医療イメージ分析装置(2000)は、多様な施術者情報により放射線が照射される領域(または、放射線が照射されてはいけない領域)の定義傾向が反映された治療補助情報を取得することができる。
例えば、図19の第1セグメンテーション情報は、第1施術者が腫瘍に関する医療イメージに対し放射線が照射される領域を定義する傾向が反映された情報である。それに反して、図21の第2セグメンテーション情報は、第2施術者が腫瘍に関する医療イメージに対し放射線が照射される領域を定義する傾向が反映された情報である。
一実施例による医療イメージ分析装置(2000)は、施術者情報によるセグメンテーション情報を共に出力して使用者に施術者の領域の定義傾向に対する情報を提供することができる。したがって、使用者は腫瘍に関する他の施術者などの治療補助情報の提供を受けることができる。これを通じて使用者は、他施術者などの治療補助情報に基づいて、腫瘍に対する治療計画を建てるので、状況によって最適な治療補助情報を取得することによって効率的な腫瘍治療計画を樹立することができる。
ただし、図19乃至図21に示す内容は、説明の便宜のための例示に過ぎず、医療イメージ分析装置(2000)は、任意の適切なユーザーインターフェースを活用して対象特性情報に対する使用者の入力を取得して、使用者の入力に対応するセグメンテーション情報を出力するように実現されることはもちろんである。
また、医療イメージ分析装置(2000)は、対象特性情報と関連して施術者情報、被施術者情報、腫瘍情報及び/または放射線情報の任意の組合せでパラメーター群を取得し、既存の神経網モデルのパラメーター群を代えることによって、使用者にセグメンテーション情報を提供するように実現されることができる。
また、図19乃至図21には示されなかったが、セグメンテーション情報は、放射線が照射されてはいけない領域(例えば、OAR)を含むことができ、放射線が照射されてはいけない領域(例えば、OAR)は対象特性情報と関連する使用者の入力に基づいて、異なるように取得されることができる。換言すれば、対象特性情報により取得された放射線が照射されてはいけない領域のバウンダリーは異なることができる。これに関しては図22により詳細に後述する。
図22を参考にする。図22は本出願の一実施例による対象医療イメージ分析結果と関連するユーザーインターフェースの例示である。
本出願の一実施例による医療イメージ分析装置(2000)は、出力モジュール(2500)を通じてセグメンテーション情報を出力するように実現されることができる。この時、セグメンテーション情報は、腫瘍領域、放射線が照射される領域及び/または放射線が照射されてはいけない領域(OAR)と関連する情報を含むことができる。
例えば、腫瘍領域は腫瘍に対応する医療イメージ内の領域であってもよく、放射線が照射される領域は、腫瘍が位置する臓器に対応する領域(GTV)、及びマージン領域(例えば、放射線治療時の被施術者の動きを考慮したマージンに関する領域(CTV)、及び複数回の腫瘍治療に対する臓器の微細な動きを考慮したマージンに関する領域(PTV)等)を含むことができる。
この時、医療イメージ分析装置(2000)により出力される放射線が照射される領域(例えば、GTV、マージン領域(例えば、CTV,PTV))及び/または放射線が照射されてはいけない領域(OAR)は、対象特性情報により異なるように出力されることができる。
例えば、医療イメージ分析装置(2000)は、対象医療イメージのセグメンテーションを実行して、放射線が照射される領域及び/または放射線が照射されてはいけない領域を取得することができる。この時、医療イメージ分析装置(2000)は、対象特性情報に基づいて更新されたパラメーター群を含む神経網モデルを取得でき、神経網モデルに基づいて、対象医療イメージをセグメンテーションして、放射線が照射される領域(例えば、腫瘍領域、GTV、マージン領域(例えば、CTV、PTV))及び放射線が照射されてはいけない領域(OAR)を取得して出力することができる。この時、放射線が照射される領域(例えば、腫瘍領域、GTV、マージン領域(例えば、CTV、PTV))及び放射線が照射されてはいけない領域(OAR)は、対象特性情報により異なるように取得して出力されることができる。
例えば、医療イメージ分析装置(2000)は、放射線が照射される領域を平均的治療範囲より相対的に広く定義することに関連する対象特性情報を取得した場合、医療イメージ分析装置(2000)は、対象特性情報に基づいて選択されたパラメーター群を有するノードを含む神経網モデルから、第1バウンダリーを有する放射線が照射される領域((例えば、腫瘍領域、GTV、マージン領域(例えば、CTV、PTV)))を取得することができる。それに反して、医療イメージ分析装置(2000)は、放射線が照射される領域を平均的治療範囲より相対的に狭く定義することに関する対象特性情報を取得した場合、医療イメージ分析装置(2000)は、対象特性情報に基づいて選択されたパラメーター群を有するノードを含む神経網モデルから、第2バウンダリーを有する放射線が照射される領域((例えば、腫瘍領域、GTV、マージン領域(例えば、CTV、PTV)))を取得することができる。
この時、第1バウンダリーと第2バウンダリーは異なってもよく、好ましくは、第1バウンダリーによって定義される領域の広さは、第2バウンダリーによって定義される領域の広さより広いこともある。ただし、上述した通り、放射線が照射される領域のうち、腫瘍領域に関しては、第1バウンダリーと第2バウンダリーが実質的に同一であることもある。
他の例において、医療イメージ分析装置(2000)は、放射線が照射されてはいけない領域(OAR)を平均的治療範囲より相対的に狭く定義することに関する対象特性情報(例えば、腫瘍治療を攻撃的に実行する治療履歴情報を有する施術者情報、腫瘍の大きさが大きかったり発現レベルが高い腫瘍情報など)を取得した場合、医療イメージ分析装置(2000)は、対象特性情報に基づいて選択されたパラメーター群を有するノードを含む神経網モデルから、第3バウンダリーを有する放射線が照射されてはいけない領域(OAR)を取得することができる。それに反して、医療イメージ分析装置(2000)は、放射線が照射されてはいけない領域(OAR)を平均的治療範囲より相対的に広く定義することに関する対象特性情報(例えば、腫瘍治療を保守的に実行する治療履歴情報を有する施術者情報、腫瘍の大きさが小さかったり発現レベルが小さい腫瘍情報、被施術者の年齢が少なかったり基底疾患がある被施術者情報など)を取得した場合、医療イメージ分析装置(2000)は、対象特性情報に基づいて決められたパラメーター群を有するノードを含む神経網モデルから、第4バウンダリーを有する放射線が照射されてはいけない領域(OAR)を取得することができる。
この時、第3バウンダリーと第4バウンダリーは異なってもよく、好ましくは、第3バウンダリーによって定義される領域の広さは、第4バウンダリーによって定義される領域より小さいこともある。
図23を参考にする。図23は、本出願の一実施例による対象医療イメージ分析結果に関するユーザーインターフェースの例示である。
本出願の一実施例による医療イメージ分析装置(2000)は、使用者治療情報と少なくとも一つ以上の治療補助情報を出力するように実現されることができる。
ここで、使用者治療情報は、対象医療イメージに関し使用者が定義した放射線が照射される領域(例えば、GTV、CTV、PTVなど)及び/または放射線が照射されてはいけない領域(例えば、OAR)と関連する情報を意味することになる。医療イメージ分析装置(2000)は、入力モジュール(2400)を通じて使用者が対象医療イメージに対応する領域にバウンダリーを定義する入力によって取得することで、使用者治療情報を取得することができる。
また、少なくとも一つ以上の治療補助情報は、対象特性情報を反映して取得された第1治療補助情報及び対象特性情報を反映せずに取得された第2治療補助情報を含むことができる。
例えば、第1治療補助情報は、第2施術者情報及び第1腫瘍情報に基づいて取得されたパラメーター群を有するノードを含む神経網モデルによって出力される情報であってもよい。第1治療補助情報は、第2施術者情報と関連する施術者の領域の定義傾向及び第1腫瘍情報に対する第2施術者情報と関連する施術者の領域の定義傾向を反映するように学習された神経網モデルによって取得されるため、第1治療補助情報は、第2施術者情報と第1腫瘍情報に依存的な放射線が照射される領域及び/または放射線が照射されてはいけない領域に関する情報を含むことができる。
例えば、第2治療補助情報は、対象特性情報を反映せず、すなわち、図23の第2施術者及び第1腫瘍情報を考慮せず、対象医療イメージをセグメンテーションして取得されることができる。例えば、図8乃至図9に関して、本出願の一実施例による医療イメージ分析装置(2000)は、特性情報を考慮せずに学習された神経網モデルに基づいて、対象医療イメージをセグメンテーションすることにより、第2治療補助情報を取得することができる。第1治療補助情報と類似して、第2治療補助情報は、放射線が照射される領域及び/または放射線が照射されてはいけない領域に関する情報を含むことができる。ただし、第2治療補助情報は、対象特性情報(例えば、第2施術者情報及び第1腫瘍情報)を考慮せずに学習された神経網モデルによって取得されることができる。例えば、第2治療補助情報は、対象特性情報に関するパラメーター群を有するノード(例えば、特性レイヤーに含まれた少なくとも一つのノード)が省略された神経網モデルによって取得されることができる。したがって、第2治療補助情報に含まれる放射線が照射される領域及び/または放射線が照射されてはいけない領域に関する情報は、第1治療補助情報に含まれる放射線が照射される領域及び/または放射線が照射されてはいけない領域に関する情報と異なることができる。
この時、本出願の一実施例による医療イメージ分析装置(2000)は、使用者治療情報を少なくとも一つ以上の治療補助情報と共に対象医療イメージに対しオーバレイし、出力モジュール(2500)を通じて使用者に使用者治療情報をディスプレーすることができる。これを通じて、本出願の一実施例による医療イメージ分析装置(2000)により、使用者は、使用者自身の治療情報と神経網モデルを通じて出力される少なくとも一つ以上の治療補助情報を比較して、使用者自身の治療性向を確認できるという長所が存在する。
また、使用者は、少なくとも一つ以上の治療補助情報を参考にして、自身の治療情報に含まれるバウンダリーの少なくとも一部を効果的に修正して最適な治療計画を建てるという有利な長所を提供されることができる。
図24を参考にする。図24は、本出願の一実施例による対象医療イメージ分析結果に関するユーザーインターフェースの例示である。
本出願の一実施例による医療イメージ分析装置(2000)は、図23に示されるように、使用者治療情報と少なくとも一つ以上の治療補助情報を出力するように実現されることができる。すなわち、図24に示される治療補助情報は、図23での第1治療補助情報や第2補助治療情報を含むことができる。
また、本出願の一実施例による医療イメージ分析装置(2000)は、使用者治療情報及び少なくとも一つ以上の治療補助情報のうち、少なくとも一つに基づいて、放射線を照射するように実現されることができる。
例えば、本出願の一実施例による医療イメージ分析装置(2000)は、放射線出力部を更に含んでもよく、任意の外部の放射線照射装置と通信するように実現されることができる。
この時、医療イメージ分析装置(2000)は、入力モジュール(2400)を通じて使用者から放射線を照射することを指示する入力を受信し、使用者の入力に対応して放射線を照射する指示を、放射線出力部や任意の外部の放射線照射装置に伝達するように実現されることができる。
この時、放射線出力部または任意の外部の放射線照射装置は、使用者治療情報及び少なくとも一つ以上の治療補助情報のうち、少なくとも一つに基づいて、放射線を照射することができる。
一方、本出願の一実施例による医療イメージ分析装置(2000)は、放射線照射を指示する使用者の入力に対応して、出力モジュール(2500)により使用者に、使用者治療情報及び少なくとも一つ以上の治療補助情報のうち、少なくとも一つを選択する入力を要請する通知窓や使用者治療情報及び少なくとも一つ以上の治療補助情報のうち少なくとも一つを修正するための入力を要請する通知窓を提供するように実現されることができる。
ただし、図22乃至図24に示した内容は説明の便宜のための例示に過ぎず、医療イメージ分析装置(2000)は、任意の適切なユーザーインターフェースを活用して治療補助情報(または、セグメンテーション情報)及び/または使用者治療情報を出力して、放射線を照射することを指示するための使用者の入力を受信することができる。
本出願に開示された医療イメージ分析方法、医療イメージ分析装置及び医療イメージ分析システムは、医療イメージを分析するために利用されることができる。
特に、本出願に開示される医療イメージ分析方法、医療イメージ分析装置及び医療イメージ分析システムは、放射線を利用して腫瘍を治療するための治療補助情報を提供するための分野に適用されることができる。例えば、腫瘍を治療するための治療計画情報に基づいて放射線が照射される領域を取得するための治療補助情報を提供するための分野に適用されることができる。
ただし、本出願に開示される医療イメージ分析方法、医療イメージ分析装置及び医療イメージ分析システムは、腫瘍だけではなく放射線を利用して施術したり治療するために医療イメージを利用するあらゆる分野にも適用されることができる。
以上の実施形態を説明した特徴、構造、効果などは、本発明の少なくとも一つの実施形態に含まれ、必ず一つの実施形態にだけに限定されるものではない。さらに、各実施形態により例示された特徴、構造、効果などは実施形態が属する分野の通常の知識を有する者によって他の実施形態に対しても組合せまたは変形して実施可能である。したがって、このような組合せと変形に関する内容は、本発明の範囲に含まれると解釈するべきである。
また、以上には実施形態を中心に説明したが、これは単に例示のみであり、本発明を限定するものではなくて、当業者は本実施形態の本質的特性から離れない範囲で、以上に例示されなかったいろんな変形と応用が可能であることが分かるはずである。すなわち、実施形態により具体的に示された各構成要素は変形して実施できる。そしてこのような変形と応用に関する差異点は、請求範囲により規定される本発明の範囲に含まれると解釈するべきである。

Claims (46)

  1. 医療イメージを取得し、前記医療イメージに基づいて治療補助情報を提供する装置を利用して前記医療イメージを分析する方法であって、
    前記方法は、
    対象医療イメージを取得することと、
    放射線が照射される対象領域を決めるための治療計画情報を取得し、前記治療計画情報は第1特性情報または第2特性情報を含むことと、
    前記治療計画情報に基づいて、前記第1特性情報に対応する第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、対象パラメーター群を選択することと、
    前記対象医療イメージに基づいて、前記対象領域と関連する領域情報を取得するように学習された人工神経網の複数のノードのうち少なくとも一つを含む特性ノード群のパラメーター値を前記対象パラメーター群で決めることと、及び
    前記対象パラメーター群が適用された前記人工神経網及び前記対象医療イメージに基づいて、前記治療計画情報に対応する前記対象領域と関連する前記治療補助情報を提供することと、を含み、
    前記第1特性情報及び前記第2特性情報は、人工神経網の学習に用いられる情報として、施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連するものである、
    医療イメージ分析方法。
  2. 前記人工神経網は放射線照射と関連する一つ以上のラベルに基づいて、
    前記対象医療イメージに対してセグメンテーションを実行し、前記対象領域及び腫瘍領域を含む複数の領域を取得するように構成される、
    請求項1に記載の医療イメージ分析方法。
  3. 前記一つ以上のラベルは腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び腫瘍領域と関連するラベルのうち、少なくとも一つを含み、
    前記人工神経網は、前記対象医療イメージのセルに対して、前記少なくとも一つのラベルを割り当てて前記対象領域と関連する領域情報、前記放射線が照射されてはいけない領域と関連する領域情報及び前記腫瘍領域と関連する領域情報を取得するように学習されており、
    前記対象領域と関連する前記治療補助情報は前記セルに割り当てられたラベルに基づいて取得される、
    請求項1に記載の医療イメージ分析方法。
  4. 前記治療計画情報が前記第1特性情報を含む場合、前記対象パラメーター群は前記第1パラメーター群で決められ、前記治療補助情報を提供することは、前記第1パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された第1対象領域情報を提供することを含み、
    前記治療計画情報が前記第2特性情報を含む場合、前記対象パラメーター群は前記第2パラメーター群で決められ、前記治療補助情報を提供することは、前記第2パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された第2対象領域情報を提供することを含み、前記第2対象領域情報は前記第1対象領域情報と異なる、
    請求項1に記載の医療イメージ分析方法。
  5. 前記第1対象領域情報は第1バウンダリーによって定義され、前記第2対象領域情報は第2バウンダリーによって定義され、
    対象医療イメージ上で前記第1バウンダリー及び前記第2バウンダリーのうち、少なくとも一つのバウンダリーは前記第1バウンダリー及び前記第2バウンダリーのうち、他の一つのバウンダリーを含む、
    請求項4に記載の医療イメージ分析方法。
  6. 前記対象パラメーター群は前記対象領域と関連する領域情報を取得することに用いられ、
    前記治療計画情報が前記第1特性情報を含む場合、前記対象パラメーター群は前記第1パラメーター群で決められ、前記治療補助情報を提供することは、前記第1パラメーター群が適用された前記人工神経網を通じて取得した腫瘍領域情報に基づいて取得された第3対象領域情報を提供することを含み、
    前記治療計画情報が前記第2特性情報を含む場合、前記対象パラメーター群は前記第2パラメーター群で決められ、前記治療補助情報を提供することは、前記第2パラメーター群が適用された前記人工神経網を通じて取得した前記腫瘍領域情報に基づいて取得された第4対象領域情報を提供することを含み、前記第3対象領域情報は前記第4対象領域情報と実質的に同一である、
    請求項3に記載の医療イメージ分析方法。
  7. 前記治療計画情報を取得することは、入力モジュールを通じて、前記第1特性情報または前記第2特性情報のうち、少なくとも一つを選択する使用者の入力を取得することを含み、
    前記対象パラメーター群を選択することは、前記使用者の入力に基づいて、前記第1特性情報に対応する前記第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、前記使用者の入力に対応するパラメーター群を前記対象パラメーター群で選択することを含む、
    請求項1に記載の医療イメージ分析方法。
  8. 前記治療計画情報は施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連し、
    前記施術者情報は腫瘍を施術する施術者と関連する身元情報及び治療履歴情報のうち少なくとも一つを含み、
    前記被施術者情報は施術を受ける被施術者の身元情報及び基底疾患情報のうち少なくとも一つを含み、
    前記腫瘍情報は施術対象である腫瘍の大きさ、類型、腫瘍の位置及び発現レベルと関連する情報のうち少なくとも一つを含み、
    前記放射線情報は放射線の種類、強さ、照射周期及び危険度と関連する情報のうち少なくとも一つを含む、
    請求項1に記載の医療イメージ分析方法。
  9. 前記方法は、
    入力モジュールを通じて、前記対象医療イメージに対して腫瘍領域と関連する腫瘍領域情報及び前記対象領域と関連する対象領域情報を含む複数の領域を定義する使用者治療情報と関連する使用者の入力を取得すること、
    出力モジュールを通じて、前記使用者治療情報及び前記治療補助情報を出力することを更に含む、
    請求項1に記載の医療イメージ分析方法。
  10. 前記方法は、
    前記対象パラメーター群が含まれない人工神経網及び前記対象医療イメージに基づいて取得された前記対象領域と関連する第2治療補助情報を提供することを更に含むものの、
    前記第2治療補助情報は前記第1特性情報または第2特性情報に依存せずに前記人工神経網によって取得される、
    請求項1に記載の医療イメージ分析方法。
  11. 前記方法は、
    入力モジュールを通じて、第1対象領域情報及び第2対象領域情報のうち少なくとも一つを選択し、前記選択された対象領域情報に基づいて放射線の照射開始を指示する使用者の入力を取得することと、及び
    前記使用者の入力に対応して放射線の照射開始を指示することを更に含むものの、
    前記第1対象領域情報は前記第1パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された対象領域と関連する情報であり、
    前記第2対象領域情報は前記第2パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された対象領域と関連する情報である、
    請求項1に記載の医療イメージ分析方法。
  12. 医療イメージを取得し、前記医療イメージに基づいて治療補助情報を提供する装置により前記医療イメージを分析する方法であって、
    前記方法は、
    対象医療イメージを取得することと、
    放射線が照射される対象領域を決めるための基礎になるパラメーターと関連する第1特性情報または第2特性情報を含む治療計画情報を取得することと、
    前記治療計画情報に基づいて決められた対象パラメーター群を持つノード群を含む人工神経網を利用して、前記治療計画情報に基づいて前記対象医療イメージを複数の領域でセグメンテーションを実行することによって、対象腫瘍に関連する第1領域及び前記第1領域と隣接しかつ前記対象領域と関連する第2領域を取得することと、
    前記ノード群の前記対象パラメーター群に基づいて前記第2領域のバウンダリーを決め、前記治療計画情報が前記第1特性情報を含む場合、前記第2領域は第1バウンダリーを有し、前記治療計画情報が前記第2特性情報を含む場合、前記第2領域は前記第1バウンダリーとは異なる第2バウンダリーを有することと、及び
    前記医療イメージに前記第2領域のバウンダリー及び前記第1領域のバウンダリーを提供することを含み、
    前記第1特性情報及び前記第2特性情報は、人工神経網の学習に用いられる情報として、施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連するものである、
    医療イメージ分析方法。
  13. 前記医療イメージ分析方法は、
    前記治療計画情報に基づいて前記対象パラメーター群が決められることを更に含むものの、
    前記第1特性情報に対応する第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、少なくとも一つを選択することによって前記対象パラメーター群が決められる、
    請求項12に記載の医療イメージ分析方法。
  14. 前記治療計画情報が前記第1特性情報を含む場合、前記第1パラメーター群に基づいて前記第1バウンダリーを持つ前記第2領域を決め、
    前記治療計画情報が前記第2特性情報を含む場合、前記第2パラメーター群に基づいて前記第2バウンダリーを持つ前記第2領域を決める、
    請求項13に記載の医療イメージ分析方法。
  15. 前記治療計画情報が前記第1特性情報を含む場合、前記第1領域は第3バウンダリーを持ち、
    前記治療計画情報が前記第2特性情報を含む場合、前記第1領域は第4バウンダリーを持つものの、
    前記第3バウンダリーと前記第4バウンダリーは実質的に同じである、
    請求項13に記載の医療イメージ分析方法。
  16. 前記治療計画情報を取得することは、
    入力モジュールを通じて、前記第1特性情報または前記第2特性情報のうち、少なくとも一つを選択する使用者の入力を取得することを含み、
    前記対象パラメーター群を決めることは、
    前記使用者の入力に基づいて、前記第1特性情報に対応する前記第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、前記治療計画情報と関連する前記使用者の入力に対応する前記対象パラメーター群を選択することを含む、
    請求項13に記載の医療イメージ分析方法。
  17. 前記治療計画情報は施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連し、
    前記施術者情報は腫瘍を施術する施術者と関連する身元情報及び治療履歴情報のうち少なくとも一つを含み、
    前記被施術者情報は施術を受ける被施術者の身元情報及び基底疾患情報のうち少なくとも一つを含み、
    前記腫瘍情報は施術対象である腫瘍の大きさ、類型及び発現レベルと関連する情報のうち少なくとも一つを含み、
    前記放射線情報は放射線の種類、強さ、形態及び危険度と関連する情報のうち少なくとも一つを含む、
    請求項12に記載の医療イメージ分析方法。
  18. 前記方法は、
    入力モジュールを通じて、前記対象医療イメージに対し前記対象腫瘍に関連する第3領域及び前記対象領域と関連する第4領域を含む複数の領域を定義する使用者治療情報と関連する使用者の入力を取得することと、及び
    前記第3領域のバウンダリー及び前記第4領域のバウンダリーを前記対象医療イメージに表示して出力することを更に含む、
    請求項12に記載の医療イメージ分析方法。
  19. 前記方法は、
    前記対象パラメーター群が含まれない人工神経網及び前記対象医療イメージに基づいて取得された前記対象領域と関連する補助情報を提供することを更に含むものの、
    前記補助情報は前記第1特性情報または第2特性情報に依存せずに前記人工神経網によって取得される、
    請求項12に記載の医療イメージ分析方法。
  20. 前記方法は、
    入力モジュールを通じて、前記第2領域に基づいて前記対象領域に対する放射線の照射開始を指示する使用者の入力を取得することと、及び
    前記使用者の入力に対応して、前記第2領域に対する放射線の照射開始を指示することを更に含む、
    請求項12に記載の医療イメージ分析方法。
  21. 前記複数の領域は腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び腫瘍領域のうち、少なくとも一つと関連する、
    請求項12に記載の医療イメージ分析方法。
  22. 前記人工神経網は放射線照射と関連する一つ以上のラベルに基づいて、前記対象医療イメージに対してセグメンテーションを実行し、前記複数の領域を取得するように構成される、
    請求項21に記載の医療イメージ分析方法。
  23. 前記一つ以上のラベルは腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び前記腫瘍領域と関連するラベルのうち、少なくとも一つを含み、
    前記人工神経網は、前記対象医療イメージのセルに対し前記少なくとも一つのラベルを割り当てて前記対象領域と関連する領域情報、前記放射線が照射されてはいけない領域と関連する領域情報及び前記腫瘍領域と関連する領域情報を取得するように学習され、
    前記複数の領域は前記セルに割り当てられたラベルに基づいて取得される、
    請求項22に記載の医療イメージ分析方法。
  24. 医療イメージを分析して腫瘍に関連する治療補助情報を提供する装置であって、
    対象医療イメージを取得する医療イメージ取得部と、及び
    前記対象医療イメージに基づいて治療補助情報を提供するコントローラーと、を含み、
    前記コントローラーは、
    対象医療イメージを取得して、放射線が照射される対象領域を決めるための治療計画情報を取得し、前記治療計画情報は第1特性情報または第2特性情報を含み、前記治療計画情報に基づいて前記第1特性情報に対応する第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、対象パラメーター群を選択し、前記対象医療イメージに基づいて前記対象領域と関連する領域情報を取得するように学習された人工神経網の複数のノードのうち、少なくとも一つを含む特性ノード群のパラメーター値を前記対象パラメーター群で決め、前記対象パラメーター群が適用された前記人工神経網及び前記対象医療イメージに基づいて、前記治療計画情報に対応する前記対象領域と関連する前記治療補助情報を提供するように構成され
    前記第1特性情報及び前記第2特性情報は、人工神経網の学習に用いられる情報として、施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連するものである、
    医療イメージ分析装置。
  25. 前記人工神経網は放射線照射と関連する一つ以上のラベルに基づいて、前記対象医療イメージに対してセグメンテーションを実行し、前記対象領域及び腫瘍領域を含む複数の領域を取得するように構成される、
    請求項24に記載の医療イメージ分析装置。
  26. 前記一つ以上のラベルは、腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び腫瘍領域と関連するラベルのうち、少なくとも一つを含み、
    前記人工神経網は、前記対象医療イメージのセルに対し前記少なくとも一つのラベルを割り当てて前記対象領域と関連する領域情報、前記放射線が照射されてはいけない領域と関連する領域情報及び前記腫瘍領域と関連する領域情報を取得するように学習され、
    前記対象領域と関連する前記治療補助情報は前記セルに割り当てられたラベルに基づいて取得される、
    請求項24に記載の医療イメージ分析装置。
  27. 前記コントローラーは、
    前記治療計画情報が前記第1特性情報を含む場合、前記対象パラメーター群は前記第1パラメーター群で決め、前記治療補助情報を提供することは、前記第1パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された第1対象領域情報を提供して前記治療補助情報を提供し、
    前記治療計画情報が前記第2特性情報を含む場合、前記対象パラメーター群は前記第2パラメーター群で決め、前記第2パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された前記第1対象領域情報と異なる第2対象領域情報を提供して前記治療補助情報を提供するように構成される、
    請求項24に記載の医療イメージ分析装置。
  28. 前記第1対象領域情報は第1バウンダリーによって定義され、前記第2対象領域情報は第2バウンダリーによって定義されるものの、
    対象医療イメージ上で前記第1バウンダリー及び前記第2バウンダリーのうち、少なくとも一つのバウンダリーは前記第1バウンダリー及び前記第2バウンダリーのうち、他の一つのバウンダリーを含む、
    請求項27に記載の医療イメージ分析装置。
  29. 前記対象パラメーター群は前記対象領域と関連する領域情報を取得することに用いられ、
    前記コントローラーは、
    前記治療計画情報が前記第1特性情報を含む場合、前記対象パラメーター群を前記第1パラメーター群で決め、前記第1パラメーター群が適用された前記人工神経網を通じて取得した腫瘍領域情報に基づいて取得された第3対象領域情報を提供して前記治療補助情報を提供し、
    前記治療計画情報が前記第2特性情報を含む場合、前記対象パラメーター群を前記第2パラメーター群で決め、前記第2パラメーター群が適用された前記人工神経網を通じて取得した前記腫瘍領域情報に基づいて取得された第4対象領域情報を提供して前記治療補助情報を提供するように構成されるものの、
    前記第3対象領域情報は前記第4対象領域情報と実質的に同じである、
    請求項24に記載の医療イメージ分析装置。
  30. 前記医療イメージ分析装置は、
    前記治療計画情報と関連する使用者の入力を受信する入力モジュールと、
    前記使用者の入力に対応して前記治療補助情報を出力する出力モジュールと、を更に含み、
    前記コントローラーは、
    前記入力モジュールを通じて前記第1特性情報または前記第2特性情報のうち、少なくとも一つを選択する使用者の入力を取得して前記治療計画情報を取得し、出力モジュールを通じて前記使用者の入力に基づいて前記第1特性情報に対応する前記第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、前記使用者の入力に対応するパラメーター群を前記対象パラメーター群で選択するように構成される、
    請求項24に記載の医療イメージ分析装置。
  31. 前記治療計画情報は施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連し、
    前記施術者情報は腫瘍を施術する施術者と関連する身元情報及び治療履歴情報のうち少なくとも一つを含み、
    前記被施術者情報は施術を受ける被施術者の身元情報及び基底疾患情報のうち少なくとも一つを含み、
    前記腫瘍情報は施術対象である腫瘍の大きさ、類型、腫瘍の位置及び発現レベルと関連する情報のうち少なくとも一つを含み、
    前記放射線情報は放射線の種類、強さ、照射周期及び危険度と関連する情報のうち少なくとも一つを含む、
    請求項24に記載の医療イメージ分析装置。
  32. 前記医療イメージ分析装置は、
    複数の領域を定義する使用者入力を受信する入力モジュールと、及び前記使用者の入力に対応して前記使用者治療情報出力する出力モジュールを更に含み、
    前記コントローラーは、
    前記入力モジュールを通じて前記対象医療イメージに対して腫瘍領域と関連する腫瘍領域情報及び前記対象領域と関連する対象領域情報を含む複数の領域を定義する使用者治療情報と関連する使用者の入力を取得し、
    出力モジュールを通じて前記使用者治療情報及び前記治療補助情報を出力するように構成される、
    請求項24に記載の医療イメージ分析装置。
  33. 前記コントローラーは、
    前記対象パラメーター群が含まれない人工神経網及び前記対象医療イメージに基づいて取得された前記対象領域と関連する第2治療補助情報を提供するように構成され、
    前記第2治療補助情報は前記第1特性情報または第2特性情報に依存せずに前記人工神経網によって取得される、
    請求項24に記載の医療イメージ分析装置。
  34. 前記医療イメージ分析装置は、
    放射線の照射開始を指示する使用者入力を受信する入力モジュールを更に含み、
    コントローラーは、
    入力モジュールを通じて第1対象領域情報及び第2対象領域情報のうち少なくとも一つを選択し、前記選択された対象領域情報に基づいて放射線の照射開始を指示する使用者の入力を取得し、
    前記使用者の入力に対応して放射線の照射開始を指示するように構成され、
    前記第1対象領域情報は前記第1パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された対象領域と関連する情報であり、
    前記第2対象領域情報は前記第2パラメーター群が適用された前記人工神経網を通じて取得した領域情報に基づいて取得された対象領域と関連する情報である、
    請求項24に記載の医療イメージ分析装置
  35. 医療イメージを分析して腫瘍に関連する治療補助情報を提供する装置であって、
    対象医療イメージを取得する医療イメージ取得部と、及び
    前記対象医療イメージに基づいて治療補助情報を提供するコントローラーを含むみ、
    前記コントローラーは、
    前記対象医療イメージを取得して、放射線が照射される対象領域を決めるための基礎になるパラメーターと関連する第1特性情報または第2特性情報を含む治療計画情報を取得し、前記治療計画情報に基づいて決められた対象パラメーター群を持つノード群を含む人工神経網を利用し、前記治療計画情報に基づいて前記対象医療イメージを複数の領域でセグメンテーションを実行することによって、対象腫瘍と関連する第1領域及び前記第1領域と隣接しかつ前記対象領域と関連する第2領域を取得し、前記ノード群の前記対象パラメーター群に基づいて前記第2領域のバウンダリーを決め、前記治療計画情報が前記第1特性情報を含む場合、前記第2領域は第1バウンダリーを有し、前記治療計画情報が前記第2特性情報を含む場合、前記第2領域は前記第1バウンダリーとは異なる第2バウンダリーを有し、前記医療イメージに前記第2領域のバウンダリー及び前記第1領域のバウンダリーを提供するように構成され
    前記第1特性情報及び前記第2特性情報は、人工神経網の学習に用いられる情報として、施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連するものである、
    医療イメージ分析装置。
  36. 前記コントローラーは、
    前記治療計画情報に基づいて前記対象パラメーター群を決め、前記第1特性情報に対応する第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、少なくとも一つを選択することによって前記対象パラメーター群を決めるように構成される、
    請求項35に記載の医療イメージ分析装置。
  37. 前記コントローラーは、
    前記治療計画情報が前記第1特性情報を含む場合、前記第1パラメーター群に基づいて前記第1バウンダリーを持つ前記第2領域を決め、前記治療計画情報が前記第2特性情報を含む場合、前記第2パラメーター群に基づいて前記第2バウンダリーを持つ前記第2領域を決めるように構成される、
    請求項36に記載の医療イメージ分析装置。
  38. 前記治療計画情報が前記第1特性情報を含む場合、前記第1領域は第3バウンダリーを有し、前記治療計画情報が前記第2特性情報を含む場合、前記第1領域は第4バウンダリーを有し、
    前記第3バウンダリーと前記第4バウンダリーは実質的に同じである、
    請求項35に記載の医療イメージ分析装置。
  39. 前記医療イメージ分析装置は、
    前記治療計画情報と関連する使用者の入力を受信する入力モジュールを更に含み、
    前記コントローラーは、
    前記入力モジュールを通じて前記第1特性情報または前記第2特性情報のうち、少なくとも一つを選択する使用者の入力を取得し、
    前記使用者の入力に基づいて前記第1特性情報に対応する前記第1パラメーター群及び前記第2特性情報に対応する第2パラメーター群のうち、前記治療計画情報と関連する前記使用者の入力に対応するパラメーター群を前記対象パラメーター群で選択するように構成される、
    請求項36に記載の医療イメージ分析装置。
  40. 前記治療計画情報は施術者情報、被施術者情報、腫瘍情報及び放射線情報のうち少なくとも一つと関連し、
    前記施術者情報は腫瘍を施術する施術者と関連する身元情報及び治療履歴情報のうち少なくとも一つを含み、
    前記被施術者情報は施術を受ける被施術者の身元情報及び基底疾患情報のうち少なくとも一つを含み、
    前記腫瘍情報は施術対象である腫瘍の大きさ、類型及び発現レベルと関連する情報のうち少なくとも一つを含み、
    前記放射線情報は放射線の種類、強さ、形態及び危険度と関連する情報のうち少なくとも一つを含む、
    請求項35に記載の医療イメージ分析装置。
  41. 前記医療イメージ分析装置は、
    前記治療計画情報と関連する使用者の入力を受信する入力モジュールと、
    前記使用者の入力に対応して治療補助情報を出力する出力モジュールを更に含み、
    前記コントローラーは、
    前記入力モジュールを通じて前記対象医療イメージに対し前記対象腫瘍と関連する第3領域及び前記対象領域と関連する第4領域を含む複数の領域を定義する使用者治療情報と関連する使用者の入力を取得し、前記出力モジュールを通じて前記第3領域のバウンダリー及び前記第4領域のバウンダリーを前記対象医療イメージに表示して出力するように構成される、
    請求項35に記載の医療イメージ分析装置。
  42. 前記コントローラーは、
    前記対象パラメーター群が含まれない人工神経網及び前記対象医療イメージに基づいて取得された前記対象領域と関連する補助情報を提供するように構成され、前記補助情報は前記第1特性情報または第2特性情報に依存せずに前記人工神経網によって取得される、
    請求項35に記載の医療イメージ分析装置。
  43. 前記医療イメージ分析装置は、
    前記対象領域に対して放射線の照射開始を指示する使用者入力を受信する入力モジュールを更に含み、
    前記コントローラーは、
    前記入力モジュールを通じて前記第2領域に基づいて前記対象領域に対する放射線の照射開始を指示する使用者の入力を取得し、前記使用者の入力に対応して前記第2領域に対する放射線の照射開始を指示するように構成される、
    請求項35に記載の医療イメージ分析装置。
  44. 前記複数の領域は腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び腫瘍領域のうち、少なくとも一つと関連する、
    請求項35に記載の医療イメージ分析装置。
  45. 前記人工神経網は放射線照射と関連する一つ以上のラベルに基づいて、前記対象医療イメージに対してセグメンテーションを実行し、前記複数の領域を取得するように構成される、
    請求項44に記載の医療イメージ分析装置。
  46. 前記一つ以上のラベルは腫瘍が位置する臓器に対応する領域(GTV)、被施術者の動きを考慮したマージンに関連する領域(CTV)、臓器の動きを考慮したマージンに関連する領域(PTV)、放射線が照射されてはいけない領域(OAR)及び前記腫瘍領域と関連するラベルのうち、少なくとも一つを含み、
    前記人工神経網は、前記対象医療イメージのセルに対し前記少なくとも一つのラベルを割り当てて前記対象領域と関連する領域情報、前記放射線が照射されてはいけない領域と関連する領域情報及び前記腫瘍領域と関連する領域情報を取得するように学習され、
    前記複数の領域は前記セルに割り当てられたラベルに基づいて取得される、
    請求項45に記載の医療イメージ分析装置。
JP2021564677A 2020-12-30 2020-12-30 特性情報を考慮した医療映像分析方法、医療映像分析装置及び医療映像分析システム Active JP7376954B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/019416 WO2022145538A1 (ko) 2020-12-30 2020-12-30 특성 정보를 고려한 의료 영상 분석 방법, 의료 영상 분석 장치 및 의료 영상 분석 시스템

Publications (2)

Publication Number Publication Date
JP2023512365A JP2023512365A (ja) 2023-03-27
JP7376954B2 true JP7376954B2 (ja) 2023-11-09

Family

ID=82118879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021564677A Active JP7376954B2 (ja) 2020-12-30 2020-12-30 特性情報を考慮した医療映像分析方法、医療映像分析装置及び医療映像分析システム

Country Status (4)

Country Link
US (1) US20220207721A1 (ja)
EP (1) EP4272812A1 (ja)
JP (1) JP7376954B2 (ja)
WO (1) WO2022145538A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080064953A1 (en) 2006-09-13 2008-03-13 Tony Falco Incorporating Internal Anatomy In Clinical Radiotherapy Setups
US20160140300A1 (en) 2013-06-12 2016-05-19 University Health Network Method and system for automated quality assurance and automated treatment planning in radiation therapy
JP2017512091A (ja) 2014-02-27 2017-05-18 インパック メディカル システムズ、 インク.Impac Medical Systems Inc. 適応性放射線治療における自動輪郭抽出システム及び方法
JP2019526380A (ja) 2016-09-07 2019-09-19 エレクタ、インク.Elekta, Inc. 放射線療法治療計画のモデルを学習して放射線療法の線量分布を予測するためのシステムおよび方法
JP2020528791A (ja) 2017-07-25 2020-10-01 エレクタ、インク.Elekta, Inc. ディープ畳み込みニューラルネットワークを使用する放射線治療計画

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429808B2 (en) * 2019-12-19 2022-08-30 Varian Medical Systems International Ag Systems and methods for scalable segmentation model training

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080064953A1 (en) 2006-09-13 2008-03-13 Tony Falco Incorporating Internal Anatomy In Clinical Radiotherapy Setups
US20160140300A1 (en) 2013-06-12 2016-05-19 University Health Network Method and system for automated quality assurance and automated treatment planning in radiation therapy
JP2017512091A (ja) 2014-02-27 2017-05-18 インパック メディカル システムズ、 インク.Impac Medical Systems Inc. 適応性放射線治療における自動輪郭抽出システム及び方法
JP2019526380A (ja) 2016-09-07 2019-09-19 エレクタ、インク.Elekta, Inc. 放射線療法治療計画のモデルを学習して放射線療法の線量分布を予測するためのシステムおよび方法
JP2020528791A (ja) 2017-07-25 2020-10-01 エレクタ、インク.Elekta, Inc. ディープ畳み込みニューラルネットワークを使用する放射線治療計画

Also Published As

Publication number Publication date
US20220207721A1 (en) 2022-06-30
WO2022145538A1 (ko) 2022-07-07
EP4272812A1 (en) 2023-11-08
JP2023512365A (ja) 2023-03-27

Similar Documents

Publication Publication Date Title
Liu et al. MRI-based treatment planning for liver stereotactic body radiotherapy: validation of a deep learning-based synthetic CT generation method
US8232535B2 (en) System and method of treating a patient with radiation therapy
US11801024B2 (en) Apparatus and method for maintaining image quality while minimizing x-ray dosage of a patient
JP6496813B2 (ja) 放射線療法の線量計算のための方法、コンピュータプログラム、およびシステム
KR102313661B1 (ko) 특성 정보를 고려한 의료 영상 분석 방법, 의료 영상 분석 장치 및 의료 영상 분석 시스템
CN114341936A (zh) 用于医学成像中的图像裁剪和解剖结构分割的系统和方法
Van der Veen et al. Deep learning for elective neck delineation: More consistent and time efficient
WO2012012768A1 (en) System and method for identifying an anatomical organ in a patient
KR101721798B1 (ko) 방사선 치료 계획의 변경 시점 평가 방법
US9014454B2 (en) Method and apparatus pertaining to images used for radiation-treatment planning
CN115666717A (zh) 用于导出和利用虚拟体积结构来预测在实施治疗的放射时的潜在碰撞的方法和装置
JP6095112B2 (ja) 放射線治療システム
US11769251B2 (en) Systems and methods for medical image analysis
JP7376954B2 (ja) 特性情報を考慮した医療映像分析方法、医療映像分析装置及び医療映像分析システム
KR102596666B1 (ko) 의료 영상 기반 통합 의료 서비스 제공 시스템 및 방법
US20220309673A1 (en) Using radiation dose information for automatic organ segmentation model training

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231020

R150 Certificate of patent or registration of utility model

Ref document number: 7376954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150