JP2024053093A - 自動roi生成のために構成された患者動作追跡システム - Google Patents

自動roi生成のために構成された患者動作追跡システム Download PDF

Info

Publication number
JP2024053093A
JP2024053093A JP2024036275A JP2024036275A JP2024053093A JP 2024053093 A JP2024053093 A JP 2024053093A JP 2024036275 A JP2024036275 A JP 2024036275A JP 2024036275 A JP2024036275 A JP 2024036275A JP 2024053093 A JP2024053093 A JP 2024053093A
Authority
JP
Japan
Prior art keywords
roi
motion tracking
patient
tracking system
labeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024036275A
Other languages
English (en)
Inventor
ケロードレン ケビン
Original Assignee
ビジョン アールティ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビジョン アールティ リミテッド filed Critical ビジョン アールティ リミテッド
Publication of JP2024053093A publication Critical patent/JP2024053093A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/105Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using a laser alignment system
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1055Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using magnetic resonance imaging [MRI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1059Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using cameras imaging the patient
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Radiation-Therapy Devices (AREA)

Abstract

Figure 2024053093000001
【課題】本開示は、放射線治療室に位置付けられている患者の3D表面上の関心領域の自動生成のための患者動作追跡システムに関する。
【解決手段】具体的に、本開示は、関心領域(ROI)が患者の生成された3D表面上で自動生成される動作追跡システムの支援アプローチに関する。更に、患者の3D表面上でROIを自動生成する方法が記載される。特に、全ての実施形態は、放射線治療セットアップでの自動ROI生成の方法を組み込むシステムに言及する。
【選択図】図1

Description

本開示は、放射線治療室に位置付けられている患者の3D表面上の関心領域の自動生成のための患者動作追跡システムに関する。具体的に、本開示は、関心領域(ROI)が患者の生成された3D表面上で自動生成される動作追跡システムの支援アプローチに関する。更に、患者の3D表面上でROIを自動生成する方法が記載される。特に、全ての実施形態は、放射線治療セットアップでの自動ROI生成の方法を組み込むシステムに言及する。
関心領域(ROI)を選択することは、放射線治療における、特に、表面誘導放射線治療(Surface Guided Radio Therapy,SGRT)における、重要なステップである。関心領域は、放射線のためのターゲットエリアを通常含む患者の生体構造の領域である。このROIは、患者の位置合わせ及び治療の間に患者位置合わせ及び患者の動作追跡を夫々モニタするためにしばしば使用される。よって、関心領域は、臨床的に意義があるべきであり、望ましくは、患者の腫瘍に対して適切に位置している、すなわち、放射線治療により治療されるべきターゲットエリアの周りに集中している、べきである。放射線セットアップにおいて、患者は、頭部固定具、腹部固定具、又は治療室内のカウチ上で適所に患者を保持する同様の装置などの拘束装置によって、通常は動かないようにされる。動作追跡が高速かつ正確であるために、関心領域は、望ましくは、そのような固定装置を除外し、よって、患者のターゲットエリアしか含むべきではない。それはまた、信頼できる表面レジストレーション及び適切なフレームレートを確保する適切なサイズであるべきである。よって、患者動作追跡システムの性能は、ROIが患者においてどれくらいうまく定義されるかに依存する。ROIは、通常、患者を治療する医師によって、イメージングソフトウェアにおいて患者表面に描かれる。
既存のシステムでは、ユーザは、手動で、例えば、患者のスクリーン画像に対するブラシストローク又は矩形選択により、関心領域をカバーするよう意図されたエリアを表す。患者ごとにROIを表す(すなわち、作成する)この手動プロセスは、時間がかかるプロセスであり、放射線治療を受けている各患者の治療時間を長引かせる。更には、医師は、各解剖学的部位のための最適なROIを描くために、ある程度の知識及び手腕を有している必要がある。異なる解剖学的部位は、異なるROI作成を必要とする可能性があり、従って、ROI及び医師は、各解剖学的部位のためにどのようなROIを使用すべきか知るために、ある程度の訓練を受ける。よって、上記の問題のうちの少なくともいくつかに対処し、放射線治療を受けている患者ごとのROIを識別及びマークするための最適化されたプロセスを可能にする簡単な解決法を提供する必要がある。
然るに、患者の3D表面における関心領域(ROI)の自動生成のための簡単な患者動作追跡システムが開示される。より詳細に、本開示は、最低限のユーザ入力に基づく、イメージングソフトウェアにおける3D表面上でのROIの自動生成のためのシステム及び方法について記載する。本明細書中で種々の例において記載される患者動作追跡システムは、概して、放射線治療中に患者の少なくとも一部分を追跡するよう構成される。特に、システムによって追跡される患者の部分は、患者のターゲットエリア(すなわち、癌組織エリア)をカバーする関心領域として設定される。ROIの正確な推定及び生成は、動作追跡システムの精度にとって重要であり、これは、本願が、放射線治療室に位置付けられている患者の生成された3D表面上での関心領域の自動生成を可能にするシステムに特に焦点を当てている理由である。
然るに、一実施形態において、システムは、関心領域(ROI)記述データを記憶しているメモリと、入力表面を利用し、該入力表面から3D表面を生成するよう構成される3D表面生成プロセッサとを有する。3D表面は、望ましくは、入力表面のターゲットエリアを少なくとも有し、ここで、ターゲットエリアは、癌組織が集中している患者表面の部分として定義される。システムは更に、記憶されているROI記述データ及び3D表面を利用して、ROIラベル付き3D表面をディスプレイユニット及び動作追跡モジュールへ出力するよう構成されるROI生成プロセッサを有し、このとき、ROIラベル付き3D表面は、放射線治療室での患者の位置合わせ及び/又は治療の間に患者の動作を追跡するために前記動作追跡モジュールによって利用される。「ROIラベル付き3D表面」は、ROIが適用されている患者の3D表面であることが理解されるべきである。よって、3D表面は、3D表面生成プロセッサによって生成され、次いでシステムによって処理されて、生成された3D表面のROIラベル付きバージョンとして出力される。従って、ROI生成プロセッサを組み込む患者動作追跡システムを提供することによって、生成された3D表面上でROIを自動生成することができるシステムが提供される。自動生成されたROIは、患者の正確な部分が放射線治療中に追跡されることを確かにするために、動作追跡モジュールによって利用される。特に、3D表面上の生成されたROIは、放射線治療装置のビームがどこに焦点を合わせられているかに対応するセット閾値内で患者が機械カウチ上に位置付けられているかどうかを評価するために、動作追跡モジュールによって利用される。
ターゲットエリアの正確な動作追跡を提供することに加えて、3D表面上でのROIの生成はまた、動作追跡のために使用されるデータの量がROIに限定されることも可能にする。これは、動作追跡モジュールの高速処理を確かにする。
実施形態において、システムは、入力面の生成を可能にする3D走査再構成システムを更に有する。3D走査再構成システムは、如何なる適切な方法でも放射線治療室において配置されるよう構成され、3D走査再構成システムは、例えば、治療室内のカウチに横たわっている患者のデータを記録し、そのデータを3D表面生成モジュールへ送信することができる。3D走査再構成システムは、患者の入力表面を記録する如何なる記録システムであってもよく、よって、3D走査再構成システムは、キネクト(Kinect)システム、立体照明(structured light)システム、LIDARレーザ走査システム、タイム・オブ・フライト(time-of-flight)システム、ステレオカメラシステム、コンピュータ断層撮影システム、磁気共鳴撮像システムとして提供されてよい。
入力表面は、実施形態では、CTスキャンデータセットであってよいことが留意されるべきであり、3D表面生成プロセッサへ入力される。かような場合に、CTスキャンの間に患者から取得されたCTスキャンデータは、3D表面を生成するために使用可能であり、3D表面の上には、ROIがシステムによって自動的に描かれる。
好適な実施形態では、入力表面は、患者の少なくともターゲットエリアの2D画像フレームの連続として構成され、3D表面生成プロセッサは、2D画像フレームから3D表面を生成するよう構成される。よって、好適な実施形態では、3D走査再構成システムは、治療室において配置されるよう構成されかつ患者の少なくとも一部分をカバーする視野を有している1つ以上のカメラ(例えば、一対以上のカメラ)として構成される。カメラによって記録される2D画像は、一実施形態では、3D生成プロセッサへ入力される。次いで、3D生成プロセッサは、入力された2D画像フレームを利用して、3D表面を生成する。よって、より詳細に、システムは、放射線治療室において配置されるようかつ患者の少なくともターゲットエリアの2D画像フレームの連続を取得するよう構成される1つ以上のカメラを更に有してよい。
代替案において、3D生成プロセッサへ入力される入力表面はまた、上述されたように、例えば、CTスキャンデータとして構成されてもよい。従って、かような実施形態では、3D生成プロセッサは、RTSTRUCT DICOMフォーマットとして構成された、すなわち、2D輪郭のリストとしてディスクに書き込まれた入力表面を供給されてよく、このとき、3D生成プロセッサは、それらの2D輪郭を利用して3D表面を取得する。
ROI生成プロセッサにより患者の3D表面に自動的にオーバーレイされる代表ROIを生成することができるように、システムは、記憶されているROI記述データが、注釈付きリファレンスROIを夫々適用されている1つ以上のリファレンス表面を有するように、構成されてよい。よって、3D表面のターゲットエリアに対応する1つ以上のリファレンス表面は、リファレンス表面上に適用される対応する注釈付きリファレンスROIとともに、メモリに記憶されてよい。このようにして、生成される3D表面のターゲットエリアの1つ以上の代表データは、システムのメモリに記憶され、ROI生成部によって、入力表面の3D表面に適合するROIを自動生成するために利用される。メモリに記憶されるリファレンス表面及びリファレンスROIを生成する種々の可能性は、図の詳細な説明において詳細に説明される。よって、「リファレンス表面」及び「リファレンスROI」との表記は、以下で「テンプレート表面」及び「テンプレートROI」とも表される、システムのメモリに記憶されるデータをカバーすることが留意されるべきである。
実施形態において、注釈付きリファレンスROIは、各リファレンス表面に適用される1つ以上のランドマークの識別に基づき、このとき、ランドマークは、リファレンス表面の一意に識別可能な部分を表す。ランドマークの組を与えることによって、注釈付きROIは一意の特徴の組を表し、これは、望ましくは、ROI生成プロセッサへ入力される3D表面と比較されるべきである。これについては、詳細な記載においてより明らかになる。これらのリファレンスランドマークは、リファレンス表面及びリファレンスROIの「訓練セット」に適用されるランドマークの組を表してもよいことが以下で明らかになるだろう。
更に、一実施形態において、入力ランドマークの組は、ROI生成プロセッサへ入力される3D表面上に注釈を付けてもよい。これらの入力ランドマークは、例えば、医師、臨床医、又は治療室で患者を治療する同様の人によって、3D表面上に注釈を付けることができる。よって、実施形態において、3D表面はまた、入力ランドマーク情報も含み、この情報は、詳細な説明において明らかになるように、ROI生成プロセッサにおいて使用されてよい。よって、本開示は、リファレンスランドマークと入力ランドマークとを区別し、これらは、「訓練データベース」において、及びROI生成プロセッサへの入力として、夫々利用される。
本明細書で記載されるシステムは、患者の腹部、頭部及び頸部、胸部、などの治療に関して生成されるROIのような、種々のターゲットROIのために使用され得る。たとえ患者のどの身体部分が放射線治療により治療されるべきであるとしても、ROIは、患者の3D表面上でターゲットエリアのために生成される必要がある。よって、例えば、定位放射線手術(Stereotactic Radiosurgery,SRS)を実行するときに、注釈付きROIのランドマークが患者の頭部のデータの代表セットを表すことは重要である。よって、かような実施形態では、入力ランドマーク及びリファレンスランドマークは、患者の左目及び右目、顎並び鼻を表す点として設定されてもよい。癌を治療されるべきである患者の他の部位に関して、ROIについて注釈を付ける入力ランドマーク及びリファレンスランドマークは、ターゲットエリア上の一意に識別可能な点を表すために選択される。
上述されたように、ROI生成プロセッサによって生成されるROIは、癌組織が位置しているターゲットエリアを十分にカバーしていることが重要である。よって、システムは、ROIがターゲットエリアを十分にカバーしていることを確かにするように、3D表面上で自動生成されたROIを補正及び調整することを臨床医、医師、などに可能にする。よって、かような調整を助けるために、ROIラベル付き3D表面は、ディスプレイユニットへ入力されるよう構成され、このとき、ディスプレイユニットは、ユーザがROI生成プロセッサへの制御入力を介して関心領域を調整することを可能にするよう構成される。ユーザからかような制御入力を供給するとき、ROIラベル付き3D表面のROIラベルの少なくとも境界の調整が有効になる。
上述されたように、患者動作追跡システムの性能は、患者の3D表面上でどれくらいうまく関心領域(ROI)が定義されるかに依存するので、ROI生成プロセッサから出力されるROIの品質を評価することも関係がある。すなわち、ROIは、望ましくは、ROIの正確な動作追跡のための十分なデータ量を含むべきである。よって、実施形態において、システムは更に、ROIの品質がROIラベル付き3D表面におけるデータの量の見積もりによって評価されるように、構成されてよい。従って、実施形態において、ROIラベル付き3D表面は、システムの品質モジュールに読み込まれ、このとき、品質モジュールは、ROIラベル付き3D表面における3Dデータの1つ以上の幾何学的測定を推定し、該推定された幾何学的測定を1つ以上のセット閾値と比較するよう構成される。
一例において、ROIラベル付き表面は、十分な品質のためにセット閾値よりも低く設定されるべきである複数のデータ点を有してよい。
幾何学的測定は、ROIラベル付き3D表面における点/三角形、ROIラベル付き3D表面の角度、曲率、サイズ、などとして考えられるべきである。よって、ROIの形状、データ構造などの適切な指標が評価される。一実施形態において、ROIの品質を評価するために、表面曲率の統計的測定が推定されてもよい。他の代替案では、ROIの法線の範囲が見積もられ、セット閾値と比較されてもよい。
これに従って、システムは、このようにして、ROIラベル付き3D表面を読み込む品質モジュールを有して構成されてよく、品質モジュールは、ROIラベル付き3D表面において3D点の量を推定し、該推定された3D点の量をセット閾値と比較するよう構成される。点の量を推定するだけではなく、上記の代替案も使用可能である。
ROIの品質を“評価する”方法とは無関係に、システムは、ROIの品質を評価するよう構成され、エラーメッセージ又は同様のものをシステムのユーザへ出力して、ROI生成プロセッサによる自動生成されたROI及び/又は代替的に、調整された(臨床医によって調整された)ROIが、動作追跡のために使用される十分なデータ量を含まないこと、及び/又はROIが動作追跡のために過剰なデータを含むこと、を示してもよい。望ましくは、ROIは、セット閾値を超えるデータ、表面、曲率などを含まなくてもよい。これは、処理時間、ひいては、動作追跡の機能性を増大させる可能性があるからである。
先に詳述されたROI生成プロセッサは、関心領域(ROI)記述データを記憶しているメモリを有して構成されることが留意されるべきである。記憶されているROI記述データは、3D表面上でのROIの生成のために使用される表面及びROIの種々の記述情報を有してよい。種々の記述ROIデータは、本明細書で記載される患者動作追跡システムに関して利用可能であり、図の以下の説明において更に詳細に説明される。
本開示の実施形態は、添付の図面とともに考えられている以下の詳細な説明から最も良く理解され得る。図は、略図であって、明りょうさのために簡略化されており、それらは単に、特許請求の範囲の理解を助けるための詳細を示し、一方で、他の詳細は省略される。全体を通して、同じ参照番号が、同じ又は対応する部分について使用される。各実施形態の個々の図は、他の実施形態のいずれか又は全ての図と夫々組み合わされてよい。それら及び他の実施形態、特徴及び/又は技術的効果は、以降で説明される実例から明らかであり、それらを参照して説明される。
3D表面上でのROIの自動生成のための第1の例に従う患者動作追跡システムの概略図を示す。 3D表面上でのROIの自動生成のための第2の例に従う患者動作追跡システムの概略図を示す。 特に定位放射線手術セットアップにおいて、3D表面上でのROIの自動生成のための第2の例に従う患者動作追跡システムの概略図を示す。 3D表面上でのROIの自動生成のための第3の例に従う患者動作追跡システムの概略図を示す。 3D表面上でのROIの自動生成のための第4の例に従う患者動作追跡システムの概略図を示す。 3D表面上でのROIの自動生成のための第5の例に従う患者動作追跡システムの概略図を示す。
添付の図面に関連して以下で示される詳細な説明は、患者動作追跡システムの様々な構成の説明として意図される。詳細な説明は、様々な概念の完全な理解をもたらすための具体的な詳細を含む。なお、当業者に明らかなように、それらの概念は、そのような具体的な詳細によらずに実施されてもよい。装置及び方法のいくつかの態様は、様々なブロック、機能ユニット、モジュール、コンポーネント、回路、ステップ、プロセス、アルゴリズムなど(まとめて「要素」と呼ばれる)によって記載される。用途、設計制約又は他の理由に応じて、それらの要素は、電子ハードウェア、コンピュータプログラム、又はそれらの任意の組み合わせを用いて実施されてよい。
舞台を設定するよう、放射線治療セットアップにおいて患者の3D表面上にROIを描く目下のアプローチが最初に説明される。然るに、目下のアプローチは、放射線治療における臨床医、医師又は他の教育を受けた人が患者のCTスキャン上にROIを描くことを含む。続いて、描かれたROIは、治療室において患者を位置付けるために使用される。患者が治療室にいると、患者のリファレンスキャプチャが患者追従監視システムによって取られ、CTスキャン上に描かれたROIはリファレンスキャプチャへ移される。続いて、リファレンスキャプチャ上のROIは、患者監視のために使用される。よって、ROIは、治療プロセスの立案段階において描かれ、治療室における患者の実際の位置と直接には相関されない。ROIは、任意に、患者監視のためにROIを使用することより前に、リファレンスキャプチャ上で編集されてもよいことが留意されるべきである。よって、本分野内で知られている目下の方法は、臨床医、医師などが、関連する関心領域をCTスキャンのターゲットエリア上に手動で描く手動式アプローチを利用する。ROI生成のためのより正確な自動化されたアプローチを提供し、同時に、放射線治療を受ける患者ごとに使用される時間を最適化することを鑑みて、この手動式アプローチは、まさに本開示が避けようとしているものである。このような既存の方法によれば、エラーのリスクは、例えば、治療室において生成される実際の3D表面よりもむしろCTスキャンで描かれるROIを利用するときに、動作追跡モジュールに導入される。これは、患者が、CTスキャンが捕捉されたときとまさに同じ位置で治療室内のカウチ上に位置付けられることが確実でないからである。よって、ROIは変更されている可能性があり、このことは、ターゲットエリアを考慮した患者の動作追跡の精度に影響を及ぼす。
従って、図1を参照して、本開示は、放射線治療室に位置付けられている患者(あるいは、代替的に、患者は、例えば、CTスキャン室(より詳細には表されず)に位置付けられてもよい)の3D表面上での関心領域の自動生成のために構成される患者動作追跡システム1を提供することによって、目下のシステムのこれら及び他の問題を解決しようとするものである。患者動作追跡システム1は、関心領域(ROI)記述データ3を記憶しているメモリ2を有する。更に、システムは、入力表面5を利用し、入力表面5から3D表面を生成するよう構成される3D表面生成プロセッサ4を有し、このとき、3D表面は、入力表面の少なくともターゲットエリアを有する。3D表面は、ROI生成プロセッサ6に入力される。ROI生成プロセッサ6は、記憶されているROI記述データ3及び3D表面を利用して、ROIラベル付き3D表面7をディスプレイ8及び動作追跡モジュール9へ出力するよう構成される。このようにして、ROIラベル付き3D表面7は、動作追跡モジュール9によって、治療室における患者の位置合わせ及び/又は治療の間に患者の動作を追跡するために利用される。
図1に従う実例は、メモリ2がROI生成プロセッサ6の部分を形成してもよいことを示す。なお、メモリは必ずしも、システム1のこの具体的な部分の部分でなくてもよく、患者動作追跡システムにおいてどこにでも保持されてよいことが留意されるべきである。
図1に更に表されているように、システム1は、放射線治療室において配置されるよう構成されかつ入力表面5を生成するよう構成される3D走査再構成システム10を有する。概要部分で説明されたように、3D走査再構成システムは、例えば、立体視カメラなどのカメラであることができ、それは、キネクトセットアップのようなシステム又は、3D表面が生成され得るデータストリームを生成するあらゆる他の適切なシステムであってよい。
システムの実施形態において、更に詳細に表されないが、入力表面5は、患者の少なくともターゲットエリアの2D画像フレームの連続として構成されてもよい。よって、入力表面5は、患者の“画像”又は同様の“再構成データ”として如何なる適切な方法でも生成されてよく、これらのデータは、2D画像フレーム又は他の適切な再構成データから3D表面を生成する3D表面生成プロセッサへ入力される。好適な実施形態では、入力表面は、治療室に取り付けられた1つ以上の立体視カメラのようなカメラから捕捉された2D画像の組である。
代替の実施形態では、入力表面は、上述されたように、患者のCTスキャンデータとして構成されてもよく、スキャンデータは、放射線治療の事前立案フェーズにおいて取得されている。入力表面としてCTスキャンデータを利用するとき、3D生成プロセッサは、CTスキャンデータから3D表面を生成するよう構成される。CTスキャンデータは、この実施形態では、前に生成されたROIを含まず、RAW CTスキャンデータとして構成される。
更なる代替案では、入力表面は、3D表面がフィッティングされ得る点群の形でLIDARセンサから受け取られたデータとして構成されてもよい。
治療室に取り付けられている1つ以上のカメラを利用する好適な実施形態では、カメラは、患者の少なくともターゲットエリアの2D画像フレームの連続を取得するよう構成される。更に、これらの2Dカメラは、3D表面上でのROIの自動生成の後に、治療中に連続的に、カウチに横たわっている患者の2D画像ストリームを捕捉するよう構成される。2D画像ストリームは、動作追跡モジュールへ入力され、そして、動作追跡モジュールによる2D画像ストリームの連続した受け取りに基づき生成される3D表面とROIラベル付き3D表面とを比較することによって患者のあらゆる可能性がある動作を追跡するように、ROIラベル付き3D表面とともに利用される。
より詳細に、記憶されているROI記述データは、1つ以上のリファレンス表面を有し、各リファレンス表面は、注釈付きリファレンスROIを適用されている。リファレンス表面及びリファレンスROIの詳細は、以下でROI記述データに関するより具体的な実施形態を説明するときに、より明らかになるだろう。更に、注釈付きリファレンスROIは、リファレンス表面の夫々に適用される1つ以上のランドマークの識別に基づく。このとき、ランドマークは、リファレンス表面の一意に識別可能な部分を表す。よって、2つの異なる組のランドマークが、以下の例となる実施形態では使用され得ることが留意されるべきである。いくつかの実施形態では、単に、ランドマークが、ROI記述データとしてメモリに記憶されているリファレンスROIに適用される。しかし、他の実施形態では、リファレンスランドマークに加えて、入力ランドマークの組も、ROI生成プロセッサへ入力される3D表面に適用され得る。
図1で概略的に表されているように、ROIラベル付き3D表面7は、ディスプレイユニット8へ入力されるよう構成される。このとき、ディスプレイユニット8は、ユーザがROI生成プロセッサ6への制御入力を介して関心領域を調整することを可能にするよう構成される。従って、ユーザからの制御入力は、ROIラベル付き3D表面7のROIラベルの少なくとも境界の調整を利用する。
図1に更に表されているように、システム1は、ROI品質モジュール11を更に有してもよい。ROI品質モジュール11は、ROIラベル付き3D表面7を入力として取り、ROIラベル付き3D表面7の部分を形成するROIラベルの品質を評価するよう構成される。より詳細に、ROIラベル付き3D表面7はROI品質モジュール11に読み込まれ、それから、ROI品質モジュール11は、サイズ又は曲率のような、ROIラベル付き3D表面7における3Dデータの幾何学的測定を推定し、推定された幾何学的測定を1つ以上のセット閾値と比較する。閾値の大きさは、ROIラベル付き表面のROIラベル内に含まれるデータの量、すなわち、ROIラベル表面のサイズ、に基づいてセットされてよい。代替的に、閾値の大きさは、動作追跡のために使用されるようROIラベル付き3D表面に必要とされるリファレンスデータ量と、生成されたROIラベル付き3D表面における実際のデータ量との間のパーセンテージ指標に基づいてもよい。いずれの場合にも、セット閾値は、ROIラベル付き3D表面がROIの最大値内にあることを反映することが重要であり、最大値を超えると、フレームレートに対する影響が重要になりすぎる。ROI品質モジュールとの関連で、より具体的に、実施形態において、ROIは、それが受け入れられるROIであると言うために、10000個に満たない三角形(代替の点、曲率、法線など)を有していることがチェックされる。ROIラベル付き3D表面について最大値に満たないセット閾値を選択する理由は、大きすぎるROIラベル付き3D表面は臨床的に関連する可能性が低いためであり、そのような大きい表面はまた、ソフトウェアを減速させ、患者の監視を妨げることになる。従って、ROIラベル付き3D表面の品質のための閾値は、患者を正確に監視及び追跡するよう十分なデータ量を動作追跡システムに供給しながら、同時に、動作追跡モジュールのソフトウェアによって実行される処理を減速させないデータ制限内にあることの長所及び短所のバランスを取るようにセットされるべきである。代替案において、表面曲率などの幾何学的測定は、選択されたROIが動作追跡システムの性能のための十分な幾何学的詳細を含むことを確かにするように、セット閾値と比較され得る。
ROIラベル付き3D表面がROI品質モジュールによって評価された場合に、ROI品質モジュールは、評価をユーザへ出力するよう構成される。評価は、2つ以上の結果のうちの1つとして構成される。1つのシナリオでは、ROI品質モジュールは、ROIラベル付き3D表面が動作追跡のために適切であるとのインジケータをユーザへ出力し、あるいは、もう1つのシナリオでは、ROI品質モジュールは、ROIラベル付き3D表面が、より適切なROIラベル付き3D表面を動作追跡のために生成するよう調整されるべきであるとのインジケータをユーザへ出力する。よって、ROI品質モジュールは、ROIラベル付き3D表面が更なる動作追跡のために承認される場合にディスプレイモジュールにフィードバック(矢印12として表される)するよう構成される。実施形態において、ROIラベル付き3D表面が“承認された”、すなわち、品質モジュール11によって動作追跡のために適切であると評価されたときにのみ、ROIラベル付き3D表面は動作追跡モジュール9へ入力されることが留意されるべきである。これは、ROIラベル付き3D表面が、正確な動作追跡のために必要とされる正確なデータ量を含むことを確かにする。
これより図2を参照すると、ROI生成プロセッサ106の実施形態の例が、より詳細に表されている。この実施形態では、ROI生成プロセッサ106は、おおまかな構成において上述されたように、治療室内のカウチに横たわっている患者の3D表面を入力として取るよう構成される。3D表面は、上述されたように、入力表面105から生成される。入力表面105は、システム1の3D表面生成プロセッサ104へ入力される。更に、入力表面105は、1つ以上のカメラのような、選択された3D再構成システム110の1つによって取得される。よって、当然ながら、図1の実施形態で記載されるシステムのいくつかの特徴は、図2における実施形態のそれらと同様である。従って、主な違いのみが詳細に説明される。生成された3D表面は、図2では、表面105aとして表されており、3D表面105aは、3D表面生成モジュール104からROI生成プロセッサ106へ入力される(矢印106aによって表される入力パス)。
図2の実施形態では、ROI生成プロセッサ106は、ROI記述データ103a、103bを有して構成されるメモリ102を有する。ROI記述データ103a、103bは、より詳細には、テンプレート表面103a及びテンプレートROI103bとして構成され、テンプレート表面103a及びテンプレートROI103bは、ROI生成プロセッサ106へ入力されるよう構成される。よって、メモリ102は、ROI生成プロセッサ106の部分を形成すること及び/又はシステムにおいて別個のユニットであることができる。更に、テンプレート表面103a及びテンプレートROI103bは、この実施形態では、リファレンス表面及びリファレンスROIとして構成され得る。
ROI生成プロセッサ106は、ワーピングされたROI113を少なくとも生成するようにテンプレートROI103b及びテンプレート表面103aを3D表面105aとアライメントしワーピングし、続いて、ワーピングされたROI113を3D表面105aに移す(矢印115によって示される)よう構成される。
更に、図2に表されているように、システムはまた、テンプレート表面103a及びテンプレートROI103bを生成しメモリ102へ出力するよう構成される訓練モジュール120を有してもよい。よって、訓練モジュール120は、システムの部分を形成し得るが、別個のコンポーネントとして利用されてもよく、そのようなものとしてシステムから遠隔にある。いずれの場合にも、訓練モジュール120は、記憶されているテンプレートROI103b及びテンプレート表面103aを有し、例となるターゲット表面(すなわち、3D表面)上でのROIがどのように見えるかを記述するROIの代表データセットを生成するために使用される。
従って、実施形態において、システムは、図2に表されているように、2つ以上のリファレンスターゲット表面121a、121b、121c、121dを有し、各リファレンスターゲット表面が注釈付きリファレンスROI122a、122b、122c、122dを適用されている、記載された訓練モジュール120を有してよい。訓練モジュールは、2つ以上のリファレンスターゲット表面121a、121b、121c、121dをアライメントし、続いて、アライメントされたリファレンスターゲット表面の平均を計算してテンプレート表面103aを生成するよう構成される。更に、訓練モジュールはまた、注釈付きリファレンスROI122a、122b、122c、122dの平均を計算してテンプレートROI103bを生成するよう構成される。生成されたテンプレートROI103b及びテンプレート表面103aは、次いでシステムのメモリに記憶され、その後に、上述されたように、ROIラベル付き3D表面107を生成するためにROI生成プロセッサ106で使用される。ROIラベル付き3D表面107の生成は上述されたとおりである。また図1に関連して記載されたように、このROIラベル付き3D表面107は、ディスプレイモジュール108及び/又は動作追跡モジュール109へ出力され、動作追跡モジュール109は、次いで、放射線治療セットアップにおける患者の動作追跡のためにROIラベル付き3D表面107を利用する。その上、図1のおおまかな実施形態で記載されるように、この実施形態におけるシステムも、同様の品質モジュール111を有し、品質モジュール111は、生成されたROIのフィードバック112及び評価をディスプレイモジュール108によりユーザへ返す。
これより図3を参照すると、図2に関連して記載されたのと実質的に同じシステムの更なる実例が示されている。図3に示される実施形態は、定位放射線手術治療状況におけるシステム構成を表す。この状況において、治療は、脳の治療部位に集中している。かようなシステムで、患者は最初に、治療室内のカウチ上に位置付けられる。このとき、頭部マスク又は同様の頭部拘束具が、患者を固定するために利用される。かような治療において、動作追跡モジュールによって追跡されるべき関心領域は、望ましくは、患者の顔部分の周りに集中している。よって、示されている例では、3D表面生成のために使用されるデータは、カメラ(10で表される)画像及び/又はCTスキャンデータなどの、カウチに横たわっている患者の3D再構成画像(入力表面205としても表される)として構成され、それから、3D表面生成部204は、カウチに横たわっている患者の顔の3D表面205aを生成するよう構成される。この3D表面205aはROI生成プロセッサ206へ入力され、ROI生成プロセッサ206は、図2に関連して記載されたのと同様に、患者のROIラベル付き3D表面207を生成するために、メモリ202に記憶されているテンプレート表面203a及びテンプレートROI203bを利用する。テンプレートROI203b及びテンプレート表面203aは、図2の訓練モジュール120に関連して上述されたのと同じように生成される。よって、図3に示される実施形態では、図2における訓練モジュール120の同じ特徴が、その参照番号に100を加えた番号を与えられている。
図2及び図3の記載されているいずれの実施形態でも、テンプレートROI203bは、訓練モジュール220の複数の異なるリファレンス表面221a、221b、221c、221e、221fの表面上へのリファレンスランドマークの注釈から生成されてよいことが留意されるべきである。よって、訓練モジュール220のリファレンス表面221aは、リファレンス表面の夫々のROI222a、222f、222d、222cを定義する注釈付きランドマークを有してよい。このようにして、テンプレート表面203aのテンプレートROI203bは、同様に、訓練モジュールにおけるリファレンス表面及びリファレンスROIの平均化及びアライメント223に基づくリファレンスランドマークを有する。
実施形態において、リファレンスランドマークは、患者の3D表面205aのマーカを定義する入力ランドマーク224a、224b、224c、224dの組とともに利用されてよい。従って、システムは、1つ以上の入力ランドマーク224a、224b、224c、224dを3D表面205a上に表示する選択肢をユーザにプロンプトしてよい。3D表面205aは、次いで、ROI生成プロセッサ206によって、少なくともテンプレートROI203bを3D表面205aにアライメントしワーピングし、それによって、ROIラベル付き3D表面207を生成するために使用される。
まさに記載されているSRSセットアップの具体例では、リファレンスランドマーク及び入力ランドマークは、図3で黒点224a、224b、224c、224によって表されているように、患者の左目及び右目、顎並びに鼻を表す点として構成されてよい。
更に、ROIラベル付き3D表面207は、上述されたように、ディスプレイモジュール208へ及び動作追跡モジュール209へ入力される。その上、たとえ示されていないとしても、図3の実施形態も、図1に関連して説明された品質モジュールを有すると考えられるべきである。
システムの他の実施形態は図4に表されており、図1に関連して記載されたおおまかな特徴が適用されることが留意されるべきである。よって、システムの主な違いのみが更に詳細に説明される。図4の実施形態は、図1に従う患者追跡システムを表し、ROI生成モジュール306は、訓練されたROIモデル325を有して構成される。従って、この実施形態では、ROI記述データはROIモデル325として構成される。ROIモデル325は、ROI生成プロセッサ306のメモリ302又は代替的にシステムの他のユニット若しくはモジュールに記憶される前に、機械学習プロセッサ、すなわち、訓練モジュール326で訓練される。よって、システムは、訓練モジュール自体を有して構成されてよく、あるいは、予め訓練されたROIモデルを記憶するよう構成されてもよい。後者の場合に、予め訓練されたROIモデルは、他のシステムで生成され、それから、患者動作追跡システムで保持されてよい。
より詳細に、ROIモデル325は、注釈付きリファレンスROI322a、322b、322c、322dを夫々適用されている1つ以上のリファレンス表面321a、321b、321c、321dに基づき訓練される。よって、本明細書で記載される全ての実施形態で、リファレンス表面及びリファレンスROIは、ROI生成プロセッサのメモリへの入力として使用されるROIモデル並びに/又はROIテンプレート及び表面を生成するための訓練データとして利用されることが留意されるべきである。訓練モジュールは、ニューラルネットワークとして構成されてもよいことが留意されるべきである。
より詳細に、訓練モジュール326におけるリファレンス表面は、示される実施形態では、入力表面の深度マップ及び法線マップ表面表現として構成される。すなわち、図4に表されている実施形態では、リファレンス表面321a、321b、321c、321dは、例えば、ニューラルネットワークの訓練のために使用される表面の深度マップ327ア及び法線マップ327bとして構成されてよい。1つの深度マップ327a及び1つの法線マップ327bしか実例のために示されていないが、訓練プロシージャは、リファレンス表面ごとの深度マップ及び法線マップを含む複数のリファレンス表面を利用することを伴ってもよいことが留意されるべきである。従って、モデルは、一実施形態において、まさに記載されているデータに基づいて訓練モジュール326において訓練され得る。なお、訓練のための他の適切なデータも考えられてよい。訓練のために使用されるデータは、患者のターゲット表面及び患者の所与の身体的部位(例えば、頭部、腹部、腕、脚、など)の関心のあるROIを記述する代表的な方法をもたらす如何なる適切なデータでもあるべきである。
図4の実施形態では、ROI生成プロセッサは、上述されたのと同様に、この場合に3D表面305aをROIモデル325(訓練されたニューラルネットワークとして構成される)への入力として利用し、ROIラベル付き3D表面307をディスプレイ308及び/若しくは動作追跡モジュール309へ並びに/又は上述されたように品質モジュールへ(図示せず)出力するよう構成される。
より詳細に、訓練されたモデル325は、ROIラベル付き3D表面307を生成するためにROI生成プロセッサ306に記憶されそれによって利用される。これは、3D表面305aをROIモデル325へ入力することによって行われ、モデル325は、モデル深度マップ及び法線マップ表現により、3D表面305aの頂点を、訓練されたモデルによって定義される関心領域の中又は外にあるものとして分類するよう構成される。よって、訓練されたモデルは、関心領域の特徴表現及びそのような関心領域に関係がある表面の特徴表現を含むことが理解されるべきである。このようにして、モデルへ入力された3D表面は、それらの特徴表現に基づいて分類可能であり、そして、分類に基づいて、モデルは、モデルへ入力された3D表面への適切なROIラベルを出力するよう構成される。
図4の実施形態で、訓練されたモデル325は、従来のニューラルネットワークとして構成された機械学習モデルであってよく、3D表面上の各点について局所2D座標系を定義し、畳み込みカーネルとのアライメントにおいて表面を局所的にリサンプリングすることによって、畳み込みが3D表面に対して適用される。モデルの出力は、訓練されたモデルによって定義される関心領域の中又は外であるとの点の分類である。より詳細な実施形態では、畳み込みは、3D表面上の1つ以上の頂点について局所2D座標系を定義することによって、3D表面のメッシュに対して適用されてもよい。このようにして、モデルの出力は、訓練されたモデルによって定義される関心領域の中又は外であるとの頂点の分類である。更なる詳細において、メッシュは点群として構成されてよく、点群の点が顔、例えば、三角形又は四角形を定義するために使用される。この説明は、データを使用してモデルを作成する1つの適切な方法にすぎないことが留意されるべきである。他の適切なアプローチは、本開示の範囲内にあると考えられるべきである。
更に、図4に従う他の例となる実施形態において、特徴ベクトルが、リファレンス表面の各点について、ジオメトリ又はテクスチャに関してそれらの局所近傍の記述として計算されてもよく、それらの特徴は、各点を、モデルによって定義される関心領域の中又は外にあるものとして分類するために、機械学習モデルの入力として使用される。
更なる他の実施形態では、動作追跡システムは、ROIラベル付き3D表面を自動生成するために上記のシステムの特徴の組み合わせを利用するよう構成される。かような実施形態は図5に表され、図4に関連して記載された訓練されたモデル425が、例えば、3D表面405aへ適用される入力ランドマークの組を生成するために、どのように利用され得るかが表されている。よって、図2及び図3に関連して記載されたように臨床医が入力ランドマーク424a、424b、424c、424dを注釈として付けることに代えて、訓練されたランドマークモデル425が、3D表面405aにおいて関連する入力ランドマーク424a、424b、424c、424dを識別するために利用され得る。入力ランドマーク424a、424b、424c、424dは、図2及び図3に関連して記載されたように、ROI生成プロセッサ406によって使用される。
よって、より詳細に、図5の実施形態では、ROI生成プロセッサ406は、ランドマーク生成モデル425を有し、ランドマーク生成モデル425は、ROI生成プロセッサ406に記憶されるより前に、例えば、機械学習プロセッサで訓練される。ランドマーク生成モデル425は、例えば、注釈付きランドマークを夫々適用されている1つ以上のリファレンス表面に基づき訓練される。この実施形態において、図2及び図3の記載に従って使用される注釈付きリファレンスROIは、422a、422b、422c、422dにより表されている。よって、図4の実施形態と図2及び図3の実施形態との間の主な違いは、入力ランドマークが、訓練されたモデルの使用によって、自動的に見つけられる点のみである。訓練モジュール420は、図2及び図3の訓練モジュール120、220の記載と対応しており、その記載を参照されたい。
従って、この実施形態において、ランドマーク生成モデル425は、3D表面405a上に入力ランドマーク424a、424b、424c、424dの表現を出力し、それによって、ランドマークラベル付き3D表面を生成するよう構成される。ランドマークラベル付き3D表面405aは、次いで、アライメントされワーピングされたROI413を生成するようにテンプレートROI403b及びテンプレート表面403aをランドマークラベル付き3D表面405aとアライメントしワーピングするために、テンプレート表面403a及びテンプレートROI403bとともにROI生成プロセッサ406で利用される。それから、アライメントされワーピングされたROI413は、ROIラベル付き3D表面407を出力するために3D表面405aへ移される。テンプレートROI403b及びテンプレート表面403aは、図2及び図3に関連して記載されたように訓練モジュール420で生成されてよく、図5におけるそれらの詳細は、図2及び図3の記載において見いだされる。更に、3D表面405aは、やはり上記の実施形態で記載されたように、3D表面生成部404で入力表面405から生成される。
上述されたように、図5に関連して記載される組み合わされた方法は、完全に自動化されたROI生成システムをもたらす。このとき、記憶されているROIテンプレートから動作追跡モジュール409による動作追跡のための適切なROIを識別するためにROI生成プロセッサに必要とされるランドマークを、訓練されたランドマークを用いることによって3D表面において識別することで、如何なるユーザ入力も必要としないことが達成される。更には、本明細書で記載される全ての実施形態に従って、このROIラベル付き3D表面は、上述されたように、(ディスプレイ408を介して)ユーザによって、及び/又はROI品質モジュールを利用することによってシステムによって自動的に、評価可能である。
図6に表されている更なる実施形態では、ROI生成プロセッサ506は、入力された3D表面のROIラベル付き3D表面を自動生成するために、上記とは別の方法を利用するよう構成される。従って、図6に表されているように、システムは、上記の実施形態に対応して、注釈付きリファレンスROI522a、522b、522cが夫々適用されているリファレンス表面521a、521b、521cの組を有するメモリ502を有して構成される。それらのリファレンス表面及びリファレンスROIは、メモリ502に記憶されROI生成プロセッサ506への入力として利用されるROI記述アトラスの組を表す。
従って、患者の3D表面505aがROI生成プロセッサ506へ入力されるとき、3D表面画像505aは、レジストレーション及び類似性指標モジュール531に入力される。モジュール531はまた、メモリ502からリファレンスROI及びリファレンス表面の組も入力として取る。レジストレーション及び類似性指標モジュール531は、ROI生成プロセッサ506へ入力された3D表面505aに関してリファレンス表面521a_r、521b_r、521c_r及びそれらの対応するリファレンスROI522a_r、522b_r、522c_rの順位付け532を出力するために、3D表面505aとリファレンスROI及びリファレンス表面との間のレジストレーション及び類似性指標を実行するよう構成される。順位付け532から、ROI生成プロセッサ506は、3D表面505aに対して最も近いN個のリファレンス表面及びそれらの対応するリファレンスROIを選択するよう構成される。
表されている例では、入力表面505aを用いて類似性指標を計算するためにメモリのアトラスで使用される特徴は、リファレンスROI及びリファレンス表面であるものとして表されている。なお、患者のターゲット領域に関連した性別、身長、体重、年齢、体調記述子などの更なる特徴が、それらのアトラスを順位付けし選択するための記述的特徴として使用されてもよい。かような特徴のうちの1つ以上は、単独で又は図6に示される例と組み合わせて利用されてよい。
各々のROIを有しているN個の最も近いリファレンス表面が識別528されると、ROI生成プロセッサ506は、N個の最も近いリファレンス表面例528と3D表面505aとの間のレジストレーション529(すなわち、非剛体レジストレーション)を実行するよう構成される。レジストレーションされたアトラスのROIは、次いで、ROI生成プロセッサ506のROI融合モジュール530によって、表示モジュール508及び動作追跡モジュール509へ出力されるROIラベル付き3D表面507を生成するために利用される。より詳細に、テンプレートアプローチ(すなわち、図2及び図3)とアトラスアプローチ(図6)との間には、上位N個の選択されたアトラスがテンプレートとして考えられ得る点で、類似が存在する。それらのテンプレートの夫々は、入力表面のROIを定義し、ROI融合モジュールは、それら複数のROIを、例えば、多数決によって、単一のROIにまとめる。
図6に関連して記載される実施形態は、このようにして、患者の3D表面へのROIラベルを自動生成する他のアプローチである。図6の実例では、プロシージャ及びシステムは、SRSセットアップにおいて説明されているが、ターゲットエリアが患者の身体の他の部分の周りに指定されている如何なる適切な放射線治療でも利用されてよい。本明細書で記載されている全ての実施形態の重要な特徴は、直接にメモリに記憶されるか又はシステムから遠く離れて訓練される“訓練データ”が、そのようなものとして、放射線治療により治療される患者の部分の適切な表現に基づくことである。
本明細書で記載される実施形態では、プロセッサ及びモジュールが記載されることが留意されるべきである。それらのプロセッサ及び/又はモジュールは、1つ以上のコンピュータ可読媒体として構成されてよい。よって、機能は、1つ以上の命令又はコードとして有形なコンピュータ可読媒体に記憶又は符号化されてよい。コンピュータ可読媒体は、プログラムコードを有するコンピュータプログラムを記憶するよう適応されたコンピュータ記憶媒体を含み、プログラムコードは、プロセッシングシステムで実行される場合に、プロセッシングシステムに、本明細書及び特許請求の範囲で記載される方法のステップの少なくとも一部(例えば、大部分又は全て)を実行させる。
一例として、制限なしに、かようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、又は命令若しくはデータ構造の形で所望のプログラムコードを搬送若しくは記憶するために使用可能であってかつコンピュータによってアクセス可能であるあらゆる他の媒体を有することができる。本明細書で使用されるディスク(disk)及びディスク(disc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタルバーサタイルディスク(DVD)、フロッピー(登録商標)ディスク及びブルーレイディスクを含み、ディスク(disks)は、通常、時期的にデータを再生し、一方、ディスク(discs)は、レーザにより光学的にデータを再生する。上記のものの組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。有形な媒体に記憶されることに加えて、コンピュータプログラムはまた、有形な媒体の場所とは異なる場所で実行されるために、有線又は無線リンク又はネットワーク、例えば、インターネットなどの伝送媒体を介して伝送され、そして、データプロセッシングシステムにロードされ得る。
更に、データ処理システム及び/又は生成モジュールは、プロセッサに本明細書及び特許請求の範囲で記載されるシステム構成のステップの少なくとも一部(例えば、大部分又は全て)を実行させるコンピュータプログラムを実行するよう適応されたプロセッサを有してもよい。
詳細な説明において及び/又は特許請求の範囲において記載されるデバイスの構造的特徴は、対応するプロセスによって適切に置換される場合に、システムの構成のステップと組み合わされてもよいことが意図される。
使用されるように、単数形(「1つの」(a、an)及び「前記」(the))は、特段明示されない限りは、複数形も含むよう(すなわち、「少なくとも1つ」(at least one)の意味を有するよう)意図される。「含む」(includes)、「有する」(comprises)、「含んでいる」(including)、及び/又は「有している」(comprising)との語は、本明細書中で使用される場合に、言及されている特徴、整数、ステップ、動作、要素、及び/又はコンポーネントの存在を特定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、コンポーネント、及び/又はそれらのグループの存在又は追加を排除しないことが更に理解されるだろう。また、要素が他の要素へ「接続される」(connected)又は「結合される」(coupled)と言及される場合に、それは直接に他の要素へ接続又は結合され得るが、特段明示されない限りは、介在する要素も存在する可能性があることが理解されるだろう。更に、本明細書で使用される「接続される」又は「結合される」は、無線で接続又は結合されることを含んでもよい。本明細書で使用されるように、「及び/又は」(and/or)の語は、関連する挙げられたアイテムのうちの1つ以上のありとあらゆる組み合わせを含む。いずれかの開示されている方法のステップは、特段明示されない限り、本明細書で言及されている厳密な順序に制限されない。
当然ながら、本明細書の全体にわたる「一実施形態」若しくは「実施形態」若しくは「態様」又は「可能性がある」(may)として含まれている特徴への言及は、実施形態に関連して記載されている特定の特徴、構造、又は特性が本開示の少なくとも1つの実施形態に含まれることを意味する。更に、特定の特徴、構造、又は特性は、本開示の1つ以上の実施形態において適宜組み合わされてもよい。上記の説明は、当業者が本明細書で記載されている様々な態様を実施することを可能にするために与えられている。それらの態様に対する様々な変更は、当業者に容易に認識され、本明細書で定義される一般原理は、他の態様に適用されてもよい。
特許請求の範囲は、本明細書で示されている態様に制限されず、特許請求の範囲の文言と一致する全範囲に従う。特許請求の範囲において、単数形での要素への言及は、特にそのように述べられない限りは、「唯一」を意味する意図はなく、むしろ、「1つ以上」を意味する。特に別なふうに述べられない限りは、「いくつか」(some)との語は、1つ以上を指す。
然るに、適用範囲は、続く特許請求の範囲に関して判断されるべきである。
1 患者動作追跡システム
2,102,202,302,402,502 メモリ
3 関心領域(ROI)記述データ
4,104,204,404,504 3D表面生成プロセッサ
5,105,205,405 入力表面
6,106,206,306,406,506 ROI生成プロセッサ
7,107,207,307,407,507 ROIラベル付き3D表面
8,108,208,308,408,508 ディスプレイ
9,109,209,309,409,509 動作追跡モジュール
10,110 3D走査再構成システム
11,111 ROI品質モジュール
103a,203a,403a テンプレート表面
103b,203b,403b テンプレートROI
105a,205a,305a,405a,505a 3D表面
113,213,413 ワーピングされたROI
120,220,326,420 訓練モジュール
121,221,321,421,521 リファレンス表面
122,222,322,422,522 注釈付きリファレンスROI
224,424 入力ランドマーク
325 ROIモデル
327a 深度マップ
327b 法線マップ
425 ランドマーク生成モデル

Claims (16)

  1. 患者の3D表面上の関心領域の自動生成のための患者動作追跡システムであって、
    関心領域(ROI)記述データを記憶しているメモリと、
    少なくともターゲットエリアを含む3D表面を取得するよう構成される3D表面生成プロセッサと、
    前記記憶されているROI記述データ及び前記3D表面を利用して、ROIラベル付き3D表面を動作追跡モジュールへ出力するよう構成されるROI生成プロセッサと
    を有し、
    前記ROIラベル付き3D表面は、治療室での患者の位置合わせ及び/又は治療の間に前記患者の動作を追跡するために前記動作追跡モジュールによって利用される、
    患者動作追跡システム。
  2. 放射線治療室において配置されるよう構成されかつ入力表面を生成するよう構成される3D走査再構成システムを有し、
    前記入力表面から前記3D表面が生成される、
    請求項1に記載の患者動作追跡システム。
  3. 前記入力表面は、前記患者の少なくとも前記ターゲットエリアの2D画像フレームの連続として構成され、
    前記3D表面生成プロセッサは、前記2D画像フレームから前記3D表面を生成するよう構成される、
    請求項2に記載の患者動作追跡システム。
  4. 前記放射線治療室において配置されるようかつ前記患者の少なくとも前記ターゲットエリアの前記2D画像フレームの連続を取得するよう構成される1つ以上のカメラを更に有する、
    請求項3に記載の患者動作追跡システム。
  5. 前記記憶されているROI記述データは、1つ以上のリファレンス表面を有し、各リファレンス表面が、注釈付きリファレンスROIを適用されている、
    請求項1乃至4のうちいずれか一項に記載の患者動作追跡システム。
  6. 前記注釈付きリファレンスROIは、リファレンス表面の夫々に適用される1つ以上のランドマークの識別に基づき、該ランドマークは、当該リファレンス表面の一意に識別可能な部分を表す、
    請求項5に記載の患者動作追跡システム。
  7. 前記ROIラベル付き3D表面は、ディスプレイへ入力されるよう構成され、
    前記ディスプレイは、ユーザが前記ROI生成プロセッサへの制御入力を介して前記関心領域を調整することを可能にするよう構成され、
    前記制御入力は、前記ROIラベル付き3D表面のROIラベルの少なくとも境界の調整を利用する、
    請求項1乃至6のうちいずれか一項に記載の患者動作追跡システム。
  8. 前記ROIラベル付き3D表面は、当該システムの品質モジュールに読み込まれ、
    前記品質モジュールは、前記ROIラベル付き3D表面における3Dデータの1つ以上の幾何学的測定を推定し、該推定された幾何学的測定を1つ以上のセット閾値と比較するよう構成される、
    請求項1乃至7のうちいずれか一項に記載の患者動作追跡システム。
  9. 前記ROI記述データは、テンプレート表面と、テンプレートROIとを有し、
    前記テンプレート表面及び前記テンプレートROIは、前記ROI生成プロセッサへ入力され、
    前記ROI生成プロセッサは、ワーピングされたROIを少なくとも生成するように前記テンプレートROI及び前記テンプレート表面を前記3D表面とアライメントしワーピングし、続いて、前記ワーピングされたROIを前記3D表面に移すよう構成される、
    請求項1に記載の患者動作追跡システム。
  10. 前記テンプレート表面及び前記テンプレートROIを生成し前記メモリへ出力するよう構成される訓練モジュールを更に有する、
    請求項9に記載の患者動作追跡システム。
  11. 前記訓練モジュールは、2つ以上のリファレンスターゲット表面を有し、各リファレンスターゲット表面が、注釈付きリファレンスROIを適用されており、
    前記訓練モジュールは、
    前記2つ以上のリファレンスターゲット表面をアライメントし、続いて、該アライメントされたリファレンスターゲット表面の平均を計算して前記テンプレート表面を生成し、
    前記注釈付きリファレンスROIの平均を計算して前記テンプレートROIを生成する
    よう構成される、
    請求項10に記載の患者動作追跡システム。
  12. 前記ROI記述データは、前記メモリに記憶されるより前に機械学習プロセッサで訓練されるROIモデルとして構成され、該ROIモデルは、注釈付きリファレンスROIを夫々適用されている前記1つ以上のリファレンス表面に基づき訓練される、
    請求項5に記載の患者動作追跡システム。
  13. 前記ROI生成プロセッサは、前記ROIモデルへの入力として前記3D表面を利用するようかつ前記ROIラベル付き3D表面を前記動作追跡モジュールへ出力するよう構成される、
    請求項12に記載の患者動作追跡システム。
  14. 前記リファレンス表面は、該リファレンス表面の深度マップ及び法線マップ表現として構成され、
    前記ROIモデルは、前記3D表面を利用し、前記深度マップ及び法線マップ表現において、頂点を、前記訓練されたモデルによって定義される前記関心領域の中又は外にあるものとして分類するよう構成される、
    請求項12又は13に記載の患者動作追跡システム。
  15. 前記ROI生成プロセッサは、ランドマーク生成モデルを更に有し、該ランドマーク生成モデルは、前記ROI生成プロセッサに記憶されるより前に機械学習プロセッサで訓練され、前記ランドマーク生成モデルは、注釈付きランドマークを夫々適用されている前記1つ以上のリファレンス表面に基づき訓練される、
    請求項5に記載の患者動作追跡システム。
  16. 前記ランドマーク生成モデルは、前記入力表面上にランドマークの表現を出力し、それによって、ランドマークラベル付き3D表面を生成し、該ランドマークラベル付き3D表面は、
    アライメントされワーピングされたROIを生成するようにテンプレートROI及びテンプレート表面を前記ランドマークラベル付き3D表面とアライメントしワーピングし、続いて、前記アライメントされワーピングされたROIを前記3D表面へ移して前記ROIラベル付き3D表面を出力するために、
    前記テンプレート表面及び前記テンプレートROIとともに前記ROI生成プロセッサで利用される、
    請求項15に記載の患者動作追跡システム。
JP2024036275A 2019-06-24 2024-03-08 自動roi生成のために構成された患者動作追跡システム Pending JP2024053093A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19181918.4 2019-06-24
EP19181918.4A EP3756728A1 (en) 2019-06-24 2019-06-24 Patient motion tracking system configured for automatic roi generation
JP2020107514A JP7453861B2 (ja) 2019-06-24 2020-06-23 自動roi生成のために構成された患者動作追跡システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020107514A Division JP7453861B2 (ja) 2019-06-24 2020-06-23 自動roi生成のために構成された患者動作追跡システム

Publications (1)

Publication Number Publication Date
JP2024053093A true JP2024053093A (ja) 2024-04-12

Family

ID=67003248

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020107514A Active JP7453861B2 (ja) 2019-06-24 2020-06-23 自動roi生成のために構成された患者動作追跡システム
JP2024036275A Pending JP2024053093A (ja) 2019-06-24 2024-03-08 自動roi生成のために構成された患者動作追跡システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020107514A Active JP7453861B2 (ja) 2019-06-24 2020-06-23 自動roi生成のために構成された患者動作追跡システム

Country Status (4)

Country Link
US (3) US11250579B2 (ja)
EP (3) EP3756728A1 (ja)
JP (2) JP7453861B2 (ja)
CN (1) CN112132860A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3756728A1 (en) * 2019-06-24 2020-12-30 Vision RT Limited Patient motion tracking system configured for automatic roi generation
US20240005523A1 (en) * 2022-06-30 2024-01-04 Varian Medical Systems International Ag Methods, systems and computer readable mediums for evaluating and displaying a breathing motion
US20240001151A1 (en) * 2022-06-30 2024-01-04 Varian Medical Systems International Ag Methods, systems and computer readable mediums for determining a region-of-interest in surface-guided monitoring

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9138597B2 (en) * 2009-05-14 2015-09-22 University Health Network Quantitative endoscopy
CN102930555B (zh) * 2011-08-11 2016-09-14 深圳迈瑞生物医疗电子股份有限公司 一种对超声图像中感兴趣区域进行跟踪的方法及装置
BR112015004353A2 (pt) * 2012-08-27 2017-07-04 Univ Houston dispositivo robótico e software, hardware de sistema e métodos de uso para cirurgia guiada por imagem e assistida por robô
JP2016503685A (ja) 2012-12-28 2016-02-08 サイバーハート, インコーポレイテッド 血液−組織表面を基礎にした放射線手術による腎臓処置の計画
WO2014155232A1 (en) * 2013-03-25 2014-10-02 Koninklijke Philips N.V. Method for improved surface tracking-based motion management and dynamic planning in adaptive external beam radiation therapy
TWI529207B (zh) * 2014-12-04 2016-04-11 財團法人工業技術研究院 光壓印樹脂組成物溶液、光壓印樹脂薄膜與圖案化的方法
EP3109824B1 (en) * 2015-06-24 2019-03-20 RaySearch Laboratories AB System and method for handling image data
US10390886B2 (en) * 2015-10-26 2019-08-27 Siemens Healthcare Gmbh Image-based pedicle screw positioning
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
WO2017116512A1 (en) * 2015-12-28 2017-07-06 Metritrack, Inc. System and method for the coregistration of medical image data
EP3411118B1 (en) 2016-02-02 2020-09-16 Elekta Ltd. Three dimensional respiratory motion management in image-guided radiotherapy
US10475192B2 (en) * 2016-06-10 2019-11-12 Insightec, Ltd. Motion tracking during non-invasive therapy
US10507002B2 (en) * 2017-05-23 2019-12-17 Siemens Healthcare Gmbh X-ray system and method for standing subject
GB2565306A (en) * 2017-08-08 2019-02-13 Vision Rt Ltd Method and apparatus for measuring the accuracy of models generated by a patient monitoring system
EP3756728A1 (en) * 2019-06-24 2020-12-30 Vision RT Limited Patient motion tracking system configured for automatic roi generation

Also Published As

Publication number Publication date
JP7453861B2 (ja) 2024-03-21
US20230274449A1 (en) 2023-08-31
EP3756730A1 (en) 2020-12-30
US20220122278A1 (en) 2022-04-21
US20200402245A1 (en) 2020-12-24
EP3756730B1 (en) 2023-07-19
EP3756728A1 (en) 2020-12-30
EP4249050A2 (en) 2023-09-27
EP4249050A3 (en) 2023-12-27
JP2021000453A (ja) 2021-01-07
US11688083B2 (en) 2023-06-27
US11250579B2 (en) 2022-02-15
CN112132860A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
JP2024053093A (ja) 自動roi生成のために構成された患者動作追跡システム
US10507002B2 (en) X-ray system and method for standing subject
Gietzen et al. A method for automatic forensic facial reconstruction based on dense statistics of soft tissue thickness
US9993655B2 (en) Image data processing device and transcranial magnetic stimulation apparatus
Toth et al. 3D/2D model-to-image registration by imitation learning for cardiac procedures
CN107596578B (zh) 对准标记的识别和位置确定方法、成像设备及存储介质
JP2018153299A (ja) 被検体の位置決め装置、被検体の位置決め方法、被検体の位置決めプログラムおよび放射線治療システム
US8934693B2 (en) Method and system for intervention planning for transcatheter aortic valve implantation from 3D computed tomography data
EP3268931A1 (en) Method and apparatus for assessing image registration
JP6131161B2 (ja) 画像位置合わせ装置、方法、およびプログラム、並びに3次元変形モデル生成方法
JP2022509155A (ja) 脳画像内の領域を特定するための装置
CN111918697A (zh) 医用图像处理装置、治疗系统以及医用图像处理程序
JP6095112B2 (ja) 放射線治療システム
CN108430376B (zh) 提供投影数据集
US20210068695A1 (en) Method Providing ECG Analysis Interface and System
CN112454903B (zh) 基于3d打印的放疗定位头枕制造方法、3d打印装置及介质
US11406471B1 (en) Hand-held stereovision system for image updating in surgery
CN114067994A (zh) 一种目标部位的方位标记方法及系统
CN114080645A (zh) 具有自动的基础事实生成的自学习分布式系统
WO2023020609A1 (en) Systems and methods for medical imaging
EP3968215A1 (en) Determining target object type and position
WO2022120714A1 (zh) 图像分割方法及装置、图像引导系统、放射治疗系统
EP3913574A1 (en) Anatomical landmark detection and identification from digital radiography images containing severe skeletal deformations
US20210383547A1 (en) Medical image processing
CN117716394A (zh) 识别解剖特征

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240308