JP6529589B2 - 熱画像からの呼吸信号の決定 - Google Patents

熱画像からの呼吸信号の決定 Download PDF

Info

Publication number
JP6529589B2
JP6529589B2 JP2017529759A JP2017529759A JP6529589B2 JP 6529589 B2 JP6529589 B2 JP 6529589B2 JP 2017529759 A JP2017529759 A JP 2017529759A JP 2017529759 A JP2017529759 A JP 2017529759A JP 6529589 B2 JP6529589 B2 JP 6529589B2
Authority
JP
Japan
Prior art keywords
computer
tracking
trajectory
point
tracking point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017529759A
Other languages
English (en)
Other versions
JP2017537703A (ja
Inventor
カイザー,ハーゲン
ベルリンガー,カエタン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brainlab AG
Original Assignee
Brainlab AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brainlab AG filed Critical Brainlab AG
Publication of JP2017537703A publication Critical patent/JP2017537703A/ja
Application granted granted Critical
Publication of JP6529589B2 publication Critical patent/JP6529589B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015By temperature mapping of body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7285Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • A61B5/7292Prospective gating, i.e. predicting the occurrence of a physiological event for use as a synchronisation signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1064Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
    • A61N5/1068Gating the beam as a function of a physiological signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1064Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
    • A61N5/1069Target adjustment, e.g. moving the patient support
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/4808Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pulmonology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Radiation-Therapy Devices (AREA)

Description

本発明は、患者の呼吸サイクルを表す呼吸信号データを決定するためにコンピュータによって実行されるデータ処理方法、並びに、対応するコンピュータプログラム及びシステムに関する。
多くの医療応用において、患者の呼吸信号を知ることは有益であり、呼吸信号が必要な場合もある。典型的な応用例は、放射線療法または放射線手術である。この場合、治療用ビームは、呼吸信号に従って、ゲート調整または案内される。呼吸は、典型的には、周期的なサイクルで発生する。
したがって、本明細書は、患者の呼吸サイクルを表す呼吸信号データを決定することに関連する。
この方法、プログラム、及びシステムは、添付の独立請求項により定められる。本発明の利点、有利な特徴、有利な実施形態、及び有利な態様は、以下に開示されるとともに、従属請求項の主題に含まれる。様々な有利な特徴は、技術的に合理的かつ実行可能である場合には常に、本発明に従って組み合わせることができる。特に、1つの実施形態が備える特徴は、同一または類似の機能を有する他の実施形態が備える他の特徴と入れ換えることができる。また、1つの実施形態が備える他の実施形態にさらなる機能を補足する特徴は、他の実施形態に追加することができる。
本発明は、患者の呼吸サイクルを表す呼吸信号データを決定するためにコンピュータによって実行されるデータ処理方法に関する。この方法は、患者の身体の表面の少なくとも一部の経時的な一連の訓練用熱画像を表す画像データを取得するステップを含み、一連の訓練用熱画像は、呼吸サイクルの少なくとも半分にわたり、サーモグラフィーカメラによって取得される。この方法は、さらに、呼吸信号データとして追跡点の軌跡を定めるために、画像データ中の少なくとも1つの追跡点を一連の訓練用熱画像にわたって追跡するステップを含み、追跡点は、患者の身体の表面上の点である。追跡点は、熱標識とも呼ばれる。
熱画像中に表示される患者の身体の表面の一部は、好ましくは、患者の呼吸とともに動く部分である。これは、この表面の領域内の点が、患者の呼吸とともに動くことを意味する。これによって、一連の訓練用熱画像中にこの点が映される位置は、経時的に変化することになる。簡潔さのため、この位置を、追跡点の位置または熱画像中の追跡点の位置ともいう。
経時的な一連の訓練用熱画像は、呼吸サイクルの半部にわたるものであれば十分である。但し、一連の訓練用熱画像は、呼吸サイクルの全体またはそれ以上にわたるものであってもよい。
画像データ中で点を追跡することは、一連の訓練用熱画像中で追跡点の位置を特定することを意味する。追跡ステップの結果として、一連の追跡点の位置が得られる。この一連の追跡点の位置は、追跡点の軌跡の離散的な標本を表す。軌跡は、この位置の集合によって表される。または、複数の位置によって定められる閉曲線を軌跡とすることもでき、この閉曲線は、例えば、複数の追跡点の位置に曲線を適合させ、最も良く適合する曲線(以下、最適曲線ともいう)を得ることによって、得ることができる。軌跡は、特定の形状を有するだけではなく、全呼吸サイクルの間に1回その上をたどられるものであるため、時間的様相も有するものである。軌跡は、典型的には、熱画像の座標系内の二次元の曲線である。
サーモグラフィーカメラは、好ましくは、空間内に固定される。したがって、一連の訓練用画像中の追跡点の位置は、空間内での追跡点の移動によって定められる。患者が空間内で移動しない場合、空間内での追跡点の移動は、患者の呼吸動作のみによって生じる。
「訓練用熱画像」という語句における「訓練用」という用語は、訓練用熱画像が追跡点の軌跡を定めるために使用されるものであり、これが、一種の訓練過程であることを意味する。この方法の任意に選択される後のステップでは、現況の熱画像が使用される。現況の熱画像は、訓練用熱画像が取得された後に、サーモグラフィーカメラによって取得される画像である。
典型的には、軌跡は、楕円形を有する。このとき、軌跡は、2つの長軸頂点を有する。これらは、軌跡上の互いに最も離れた2点である。典型的には、これらの2つの長軸頂点は、呼吸サイクルの吸気部分が停止し、呼気部分に切り替わる点、または、呼気部分が停止し、吸気部分に切り替わる点、を示すものである。
本発明の態様は、二次元の熱画像の時間系列から呼吸信号を導くことである。熱画像において、画素は、点の可視スペクトル内の色を表すものではなく、その点から放射される温度または温度分布を表す。各点は、最大温度までの範囲で放射するため、熱画像の画素は、例えば、この点の最大温度を表し得る。本明細書において、熱画像は、好ましくは、不可視スペクト内で患者の身体の表面から放射された熱放射のみを表すものである。熱画像は、周波数変換が実行された場合にのみ、人間の目に有効に提示され得る。これは、しばしば偽色表現とも呼ばれる。
熱画像を使用する利点は、熱放射のスペクトルが、照明のような環境条件及び表面の光学特性に依存せず、したがって、表面の大きな領域が可視スペクトルにおいて同じ光学特性を有している場合でも、熱放射では特有のパターンを呈する可能性があることである。これによって、患者の表面上の点を、高い信頼性をもって特定し、一連の熱画像中で追跡することが可能となる。
一実施形態において、二次元の熱画像は、8μmと14μmの間の波長を表す。この範囲は、患者の身体の表面の典型的な温度に対応する。二次元の熱画像は、好ましくは、近赤外スペクトル内の波長を表さない。近赤外スペクトルは、典型的には、2.5μmまた3μmの波長まで広がるものと理解されている。
一実施形態において、この方法は、サーモグラフィーカメラによって取得された現況の熱画像中にゲート領域を定めるステップ、現況の熱画像中で追跡点の位置を特定するステップ、及び、追跡点がゲート領域内にあるか否かを示すゲート信号を生成するステップをさらに含んでいる。上述したように、現況の熱画像は、訓練用熱画像が取得された後に取得される熱画像であり、患者の現在の状態を表す。ゲート領域は、例えば、現況の熱画像中の領域であり、例えば、長方形の領域である。一例において、ゲート領域は、例えば軌跡の頂点を含むように、自動的に設定されるものであってもよい。または、ゲート領域は、ユーザによって入力されるものであってもよい。
追跡点の位置がゲート領域内にある場合、これは、患者が、呼吸サイクルの特定の部分にあることを意味する。同時に、これは、腫瘍のような組織が特定の位置にあることを意味し、これによって、治療用ビームを作動させることができる。ゲート領域は、例えば、その中に軌跡の長軸頂点のうちの1つが存在する領域である。この点は、典型的には、吸気から呼気への、または、呼気から吸気への遷移を表している。これは、追跡点の位置がゲート領域内にある時点において、対象は動かないか、または殆ど動かないことを意味する。ゲート信号は、治療用ビームのオン及びオフを当該技術分野において周知のように調整するために、使用することができる。
この実施形態は、現況の熱画像中にゲート領域を適切に定めることによって、治療用ビームを制御するためのゲート信号を決定するために複雑な計算を殆どともなわない単純な方法を提供するものである。
一実施形態において、この方法は、サーモグラフィーカメラによって取得された現況の熱画像中に軌跡の周りの通路を定めるステップ、現況の熱画像中で追跡点の位置を特定するステップ、及び、追跡点の位置が通路の外である場合、移動警告信号を出力するステップをさらに含んでいる。
上述したように、サーモグラフィーカメラは、好ましくは、空間内に固定されている。したがって、現況の熱画像中の追跡点の位置は、患者の呼吸の動きと追加の動きとの重ね合わせによって定められる。追加の動きは、咳または任意の他の随意もしくは不随意の運動によって生じる場合がある。追跡点が通路の外にある場合、追加の動きが生じたものと仮定される。これは、患者が、もはや所望の位置にはいない可能性が高く、したがって、放射線手術や放射線治療のような医学的処置を停止するのが有益であることを意味する。このように、この実施形態は、患者に望ましくない動きが生じ、したがって患者がもはや所望の位置にいない場合に、警告を出力することを可能にするものである。
この実施形態において、「通路」という語句は、軌跡の左右を囲む領域を意味する。通路は、例えば、軌跡の左側の画素数及び軌跡の右側の画素数によって定められる。「左」及び「右」という用語は、軌跡がたどられる方向に対して定義され、かつ、好ましくは、軌跡に対して直交する方向に関連する。
軌跡を広げるものである通路を定める代わりに、軌跡の全体を囲む領域が定められるものであってもよい。この領域は、例えば、楕円形または長方形の形状を有するものであってもよい。追跡点がこの領域内にない場合、移動警告信号が出力される。これによって、計算の複雑性がさらに低減される。
一実施形態において、移動警告信号が出力された場合、空間内の患者の位置が確認される。移動警告信号は、空間内の患者の位置が変化した可能性があり、したがって、空間内の患者の位置が既知であることを要する処置を正しく行うことができない可能性があることを示す。このように、移動警告信号は、空間内の患者の位置を再度確認するための契機となる。
一実施形態において、画像データを取得するステップ及び画像データ中で少なくとも1つの追跡点を追跡するステップは、移動警告信号が出力された後に繰り返される。患者の間内の位置が変化していた場合、患者とサーモグラフィーカメラとの間の相対位置が変化している。これは、軌跡が、もはや患者の表面上の追跡点の移動を表さないことを意味する。この場合、新たな一連の訓練用熱画像から新たな軌跡が定められる。
一実施形態において、この方法は、サーモグラフィーカメラによって取得された少なくとも2つの連続する現況の熱画像から追跡点の速度を特定するステップ、軌跡の対応する位置における追跡点の速度を所定の速度と比較するステップ、及び、速度の差が所定のしきい値を超えていた場合、速度警告を出力するステップをさらに含んでいる。速度は、例えば、2つの連続する現況の熱画像中の2つの追跡点の位置の間の距離から算出することができる。この距離は、特に2つの連続する現況の熱画像の取得の間の時間が既知の場合、追跡点の速度を表す。
呼吸サイクルの持続時間は、典型的には、3秒と6秒の間である。例えば数分といった特定の期間内において、呼吸サイクルの持続時間は、典型的には、一定である。したがって、現況の熱画像から特定された追跡点の速度が、訓練用熱画像から導かれる速度と大きく異なる場合、これは、患者の異常状態を示している可能性がある。
速度の代わりに、加速度を使用することもできる。これは、連続する現況の熱画像から追跡点の加速度を特定するステップ、軌跡の対応する位置における追跡点の加速度を所定の加速度と比較するステップ、及び、加速度の差が所定のしきい値を超えていた場合、加速度警告を出力するステップが実行されることを意味する。追跡点の加速度は、例えば、3つの連続する現況の熱画像から特定される。一実施形態において、第1及び第2の連続する現況の熱画像から追跡点の第1の速度が特定され、第2及び第3の連続する現況の熱画像から追跡点の第2の速度が特定される。次いで、第1及び第2の速度から加速度が特定される。
一実施形態において、追跡点の速度または加速度は、それぞれ軌跡の対応する点における速度または加速度と比較されるのではなく、統計的な許容誤差と比較される。統計的な許容誤差は、例えば、訓練用熱画像における、1回の呼吸サイクルまたは呼吸サイクルの一部にわたる速度または加速度の平均をとり、そして、標準偏差を算出することによって得られる。このように、統計的な許容誤差は、速度または加速度の平均に対する標準偏差として得られ、任意選択で、標準偏差に、好ましくは1よりも大きい、因子が乗算される。別の実施形態において、速度または加速度の最小値または最大値は特定され、統計的な許容誤差は、最小値から最大値までの範囲である。この許容誤差には、任意選択で、1よりも大きな因子によって広げられる。これは、最小値が因子によって除算され、最大値に因子が乗算されることを意味する。
一実施形態において、正常な呼吸が行われているか、または、異常呼吸または追加の動きといった異常が発生しているかの判別は、クラス分類器(classificator)を適用することによって実行される。クラス分類器は、クラス分類(classification)とも呼ばれ、患者の現在の状態が正常であるか否かを判別する。このため、クラス分類器は、少なくとも訓練用熱画像で訓練される。クラス分類器の訓練は、現況の熱画像でも継続されるものであってもよい。クラス分類器は、2つの可能な状態(クラスとも呼ばれる)のうちの1つを割り当てるものであるため、これらの2つの状態の間に決定境界がある。
一実施形態において、この方法は、軌跡の次元を一次元に縮減するステップをさらに含んでいる。上述したように、軌跡は、典型的には、熱画像の座標系における二次元の曲線である。幾つかの応用のために、呼吸サイクルの経時的なグラフを描けば十分である。これは、典型的には、正弦曲線のグラフになる。次元の縮減は、例えば、軌跡(その軌跡が経時的にどのようにたどられるのかを含む)を、経時的な一次元のグラフに変換するものである。
一実施形態において、次元を縮減するステップは、軌跡の主軸を定めるステップ、及び軌跡を主軸上に射影するステップを含んでいる。主軸は、例えば、軌跡T上の2点を結ぶ線のうち、最大限可能な距離を有する線である。したがって、この線の長さは、経時的な一次元のグラフの最大振幅を示す。グラフは、一連の訓練用熱画像中の追跡点の軌跡または位置をたどり、そして、それぞれの点を主軸上に射影することによって取得することができる。
上述したように、熱画像を使用することの1つの利点は、患者の表面上の点を、可視スペクトルにおける照明のような外部の状況に関わらず、高い信頼性をもって検出することが可能であることである。一連の訓練用熱画像及び任意の現況の熱画像のような複数の画像中で、患者の表面上の同一の点である追跡点を特定するには幾つかの方法がある。1つの方法は、追跡点の特定の温度を割り当て、熱画像中で同一の温度を有する点を特定する方法である。より複雑な方法は、追跡点自体の温度のみを考慮するのではなく、追跡の周りの領域の熱的特徴(サーマル・シグネチャ)を考慮することである。
一実施形態において、この方法は、追跡点のような患者の表面上の点にデスクリプタを割り当てるステップを含んでいる。デスクリプタは、例えば、その点の特性から、及び任意選択でその点の近傍の点の特性から、算出される値である。デスクリプタは、典型的には、1点を明確に特定するために使用される。本明細書において、デスクリプタは、複数のデスクリプタまたはデスクリプタ値の組であってもよい。デスクリプタは、例えば、熱画像から算出される。デスクリプタは、例えば、表面上のその点を表す画素の特性から、及び/または、この画素の近傍の画素の特性から、算出される。
デスクリプタの1つの利点は、基本的に、経時的に(例えば、1秒間、2秒間、5秒間、10秒間、15秒間、30秒間、60秒間、またはこれらよりも長時間)不変であることである。これは、デスクリプタは、様々に異なる時点で取得された熱画像中で患者の身体の表面上の同一の点を示す画素を特定するために、有利に使用可能であることを意味する。
デスクリプタを算出するための原理は、例えば、M. Calonder, V. Lepetit, M. Ozuysal, T. Trzcinski, C. Strecha, P, Fua 著,”BRIEF: Computing a Local Binary Descriptor Very Fast”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 第34巻,第7号,2012年7月,1281−1298頁、に開示されており、これは、参照によって本明細書に援用される。
別の方法は、点の周りの近傍を使用する方法である。この近傍は、1つの熱画像中のこの近傍は、別の熱画像中のいわゆる積分窓内の相似関数を定義及び解析するために使用される。他の熱画像中で、1つの熱画像中の近傍に最も類似する近傍を有するように、積分窓の中央に位置する点は、他の熱画像における同一の点と見なされる。この方法は、いわゆる Lukas-Kanade アルゴリズムにより有効に実行することができる。
一実施形態において、追跡点は、自動的に選択される。例えば、表面上の点が追跡点として選択されるのは、その点が一連の訓練用熱画像中で明確に特定可能な場合である。これは、一連の訓練用熱画像の全体にわたって追跡可能な点が、追跡点として自動的に選択されることを意味する。
一実施形態において、追跡点は、熱画像のユーザ定義領域内で自動的に選択される。ユーザ定義領域は、例えば、胸部または腹部といった特定の解剖学的領域を示す。これらの例示した領域では、患者の呼吸動作と強く相関した動作が行わることが知られている。したがって、追跡点がユーザ定義領域内に存在していれば、追跡点の動きは呼吸動作を表していると仮定することができる。
一実施形態において、一連の訓練用熱画像中で複数の追跡点が追跡され、それぞれの追跡点の軌跡が定められる。これによって、この方法の、例え、画像データ中で追跡手を追跡するときのノイズまたは他の不正確性に対する、ロバスト性が向上する。
上述したように、軌跡は、画像データ中の複数の追跡点の位置に適合された最適曲線であってもよい。熱画像中での追跡点の位置の特定における不正確性のため、患者の表面上の互いに近接する異なる追跡点の軌跡は、それらの追跡点に対する軌跡の形状が僅かに異なる場合がある。これは、例えば、患者の表面上の2つまたはそれより多くの(近接する)追跡点の軌跡の平均をとることによって、矯正することができる。そして、平均化された軌跡を、軌跡の平均がとられたそれぞれの追跡点に割り当てることができる。
一実施形態において、複数の追跡点には、追跡点の軌跡に同様の主軸を備える追跡点のみが含まれる。上述したように、軌跡は、典型的には、楕円形を有しており、それぞれの楕円形は、主軸を有している。主軸は、楕円の頂点を結ぶ線である。上述したように、頂点は、軌跡上の最大限可能な距離を有する2点である。したがって、軌跡に同様の主軸を備える追跡点は、呼吸サイクルのに同様の動きを行う。したがって、例えば、同様の主軸を備える軌跡のみの平均をとることが有利である。この場合、「同様の」という用語は、主軸同士の角度が、例えば、1°、2°、3°、5°、または10°のような限定された範囲内にあることを意味する。
この実施形態の1つの修正または追加は、複数の追跡に、同様の位相を備えた追跡点のみが含まれることである。軌跡の位相は、例えば、軌跡の頂点のうちの1つのような軌跡上の特定の点における時点と基準となる時点との間の時間差によって定義される。位相は、例えば、これらの時間差が、0.1秒、0.2秒、0.3秒、または0.5秒よりも小さい場合に、同様であるとみなされる。あるいは、位相は、これらの時間差が、呼吸サイクルの持続時間の所定の割合、例えば、呼吸サイクルの持続時間の2%、5%、または10%、を下回る場合、同様であると見なされる。
一実施形態において、この方法は、サーモグラフィーカメラによって取得された現況の熱画像中に複数の追跡点のそれぞれに対するゲート領域を定めるステップ、現況の熱画像中の複数の追跡点の位置を特定するステップ、及び、複数の追跡点のうちの全てまたは大部分が、それぞれ対応するゲート領域内にあるか否かを示すゲート信号を生成するステップをさらに含んでいる。この実施形態は、単一の追跡に対して単一のゲート領域が定められる実施形態と同様である。但し、この実施形態では、複数の追跡点に対して、独立にゲート領域を定めることができる。一実施例では、ゲート信号は、(同一の)現況の熱画像中で全ての追跡点がそれぞれのゲート領域内にあることを示しており、これは、複数の追跡点が、同じ時点において軌跡の所定の位置にあることを意味する。別の実施例では、追跡点のうちの大部分がそれぞれのゲート領域内にあれば十分である。複数の追跡点の軌道同士に位相差が存在する可能性は、ゲート領域を適切に定めることによって補償することができる。これは、複数のゲート領域は、必ずしもそれらの軌跡の同一の頂点の箇所にある必要はないことを意味する。
この実施形態において、「大部分」という用語は、全ての追跡点の特定の割合、例えば、全ての追跡点の80%、90%、95%、98%、または99%、を意味する。
この実施形態では、ゲート信号の生成のロバスト性が向上する。例えば熱画像中のノイズによって、少数の追跡点の位置が正確には特定できない場合、それにもかかわらず正しいゲート信号を生成することができる。
一実施形態において、この方法は、複数の追跡点のそれぞれの軌跡の主軸を定めるステップ、複数の軌跡をそれぞれの主軸に射影するステップ、及び、一次元の呼吸信号データを取得するために複数の射影された軌跡の平均をとるステップをさらに含んでいる。この実施形態は、単一の追跡点の軌跡の主軸が定められ、単一の追跡点の軌跡及び/または複数の位置が主軸上に射影される実施形態と同様である。但し、この実施形態では、複数の追跡点の複数の射影された軌跡の平均をとり、それによって、一次元の呼吸信号データの信頼性を向上されることができる。
一実施形態において、この方法は、軌跡を、腫瘍運動モデルによって記述される腫瘍の動きと関係付けるステップをさらに含んでいる。
腫瘍は、典型的には、患者の体内の固定された位置にあるのではなく、例えば患者の呼吸動作によって、動く場合がある。呼吸動作による腫瘍の動きを記述する腫瘍運動モデルが知られている。追跡点の軌跡が、腫瘍運動モデルによって記述される腫瘍の動きと関係付けられた場合、腫瘍の位置を、軌跡上の追跡点の位置から算出することができる。これによって、呼吸信号データは、患者の体内での腫瘍の動きを示す腫瘍運動信号を代替するものとなる。
一実施形態において、撮像された患者の身体の表面の(一部)は、2つまたそれよりも多数の領域に分割され、それぞれの領域中で少なくとも1点の軌跡が上述したように定められる。これは、それぞれの領域中に少なくとも1つの軌跡が存在することを意味する。一実施形態において、これらの複数の領域中の軌跡から、特に、同一の領域中の軌跡の平均をとることによって、それぞれの領域について1つまたはそれより多数の平均の軌跡を算出することができる。これは、それぞれの領域中の表面上の点が同一のまたは類似した軌跡を有しており、一方、異なる領域の表面上の点の軌跡が互いに異なっている場合、特に有用である。
一実施形態において、この方法は、さらに、サーモグラフィーカメラによって取得された少なくとも2つの連続する現況の熱画像から追跡点の方向を特定するステップ、定められた方向を、軌跡の対応する位置における追跡点の方向と比較するステップ、及び、方向の差が所定のしきい値を超えた場合、方向警告を出力するステップをさらに含んでいる。所定のしきい値は、例えば、5°、10°、20°、30°、45°、または60°である。この実施形態では、例えば追跡点の位置が通路または軌跡の周囲の領域の外側に出る前においても、追跡点のその軌跡からの逸脱を判別することができる。
本発明の1つの利点は、呼吸信号データが決定される前に、較正工程を何ら必要としないことである。加えて、本発明では、呼吸信号データを決定するために、単一のサーモグラフィーカメラ、特に、単一の二次元のサーモグラフィーカメラ、で十分である。さらに、本発明では、患者の表面の追跡点を、サーモグラフィーカメラのフレームレートに応じた高い周波数で追跡することが可能となる。この周波数は、典型的には、30Hzと60Hzの間、または、それよりも高い周波数である。
本発明は、非一時的なコンピュータ可読媒体上に保存されたコンピュータプログラムにも関連する。このプログラムは、コンピュータ上で実行されたとき、またはコンピュータ上にロードされたとき、コンピュータに上述したデータ処理方法のうちの1つまたは複数のステップを実行させるものである。
本発明は、さらに、患者の呼吸サイクルを表す呼吸信号データを決定するためのシステムにも関連する。このシステムには、上述したプログラム保存された、及び/または上述したプログラムが実行されているコンピュータが含まれる。
本発明は、例えば、出願人の製品であるExacTrac(登録商標)に関連する。これは、放射線治療における患者の定位及び監視のために使用される。本発明は、治療用ビームのゲートを調整するためのゲート信号を算出する、または、治療用ビームの方向を制御するために腫瘍のような組織の運動を表す運動信号を算出する、ために使用されるものであってもよい。
本発明に従う方法は、例えば、データ処理方法である。このデータ処理方法は、好ましくは、技術的手段、例えばコンピュータを使用して実行される。このデータ処理方法は、好ましくは、コンピュータにより、またはコンピュータ上で、実行されるように構成され、例えば、コンピュータにより、またはコンピュータ上で、実行される。例えば、本発明に従う方法の全てのステップまたは幾つかのステップ(すなわち、全てのステップよりも少数のステップ)は、コンピュータによって実行することができる。
例えば、コンピュータは、例えば電子的及び/または光学的に、データを処理するための演算処理装置及び記憶装置を含む。本明細書に記載された計算(算出)ステップは、例えば、コンピュータにより実行される。計算(算出)する、または決定する(特定する、定める)ステップは、例えば、データ処理方法の技術的フレームワーク、例えばプログラムのフレームワークにおいて、データを決定する(特定する、定める)ステップである。コンピュータは、例えば、任意の種類のデータ処理装置であり、例えば電子的データ処理装置である。コンピュータは、例えば、デスクトップ型パーソナルコンピュータ、ノートブック型パーソナルコンピュータ、ネットブック型パーソナルコンピュータ等の、一般的にコンピュータと見なされる装置であってもよい。但し、コンピュータは、例えば携帯電話機または埋め込み型プロセッサ等の、任意のプログラム可能な装置であってもよい。
コンピュータは、例えば、複数の「下位コンピュータ」のシステム(ネットワーク)を含むものであってもよい。ここで、各下位コンピュータは、それぞれ独立したコンピュータに相当する。「コンピュータ」という用語は、クラウドコンピュータ、例えばクラウドサーバを含む。「クラウドコンピュータ」という用語は、クラウドコンピュータシステムを含む。クラウドコンピュータシステムは、例えば、少なくとも1つのクラウドコンピュータからなるシステムを含み、例えばサーバファームのように、動作可能に相互接続された複数のクラウドコンピュータを含む。好ましくは、クラウドコンピュータは、ワールドワイドウェブ(WWW)のような広域ネットワークに接続される。このようなクラウドコンピュータは、全てワールドワイドウェブに接続された複数のコンピュータからなるいわゆるクラウド中に存在する。このような基盤構造は、「クラウドコンピューティング」に使用される。クラウドコンピューティングには、特定のサービスを提供するコンピュータの物理的位置及び/または構成についてエンドユーザが知る必要のない計算、ソフトウェア、データのアクセス及びストレージサービスが含まれる。例えば、「クラウド」という用語は、インターネット(ワールドワイドウェブ)の暗喩として使用される。例えば、クラウドは、サービスの1つとして計算の基盤構造を提供する(IaaS)。クラウドコンピュータは、本発明に係る方法を実行するために使用されるオペレーティングシステム及び/またはデータ処理アプリケーションの仮想ホストとして機能するものであってもよい。クラウドコンピュータは、例えば、Amazon Web Services(登録商標)によって提供される Elastic Compute Cloud(EC2)である。
コンピュータは、例えば、データの入出力及び/またはアナログ−デジタル変換を実行するためのインタフェースを含む。このデータは、例えば、物理的特性を表すデータ及び/または工学的信号から生成されたデータである。工学的信号は、特に、(工学的)検出装置(例えば、マーカーデバイスを検出するための装置)及び/または(工学的)分析装置(例えば、画像を用いた方法を実行する装置)であり、この場合、工学的信号は、例えば、電気信号または光信号である。工学的信号は、例えば、コンピュータにより受信または出力されたデータを表す。
コンピュータは、好ましくは、表示装置に動作可能に結合される。表示装置は、コンピュータによって出力された情報を、例えばユーザに対して、表示することを可能にする。表示装置の一例は、拡張現実デバイス(拡張現実メガネとも呼ばれる)であり、これをナビゲーションのための「ゴーグル」として使用することができる。このような拡張現実メガネの特定の例は、グーグル社製のグーグル・グラス(登録商標)である。拡張現実デバイスは、ユーザ相互作用による情報のコンピュータへの入力と、コンピュータによって出力された情報の表示の両方に使用することができる。表示装置の別の例は、標準的なコンピュータ用モニターである。このモニターには、例えば、表示装置上に画像情報のコンテンツを表示するために使用される信号生成するためのコンピュータからの表示制御データを受信するために、コンピュータと動作可能に結合される液晶ディスプレイが含まれる。このようなコンピュータ用モニターの特定の実施形態は、ディジタル・ライトボックスである。モニターは、例えば携帯型の、可搬性のデバイスであってもよく、例えば、スマートホン、またはパーソナル・ディジタル・アシスタント、または、ディジタル・メディア・プレーヤーであってもよい。
「データの取得」という語句には、例えば、(データ処理方法のフレームワークにおいて)データ処理方法またはプログラムによってデータが決定されることが含まれる。データの決定には、例えば、物理量を測定し、その測定値を、例えばデジタルデータのような、データに変換すること、及び/または、そのデータをコンピュータにより計算すること、特に、本発明に係る方法によりデータを計算することが含まれる。例えば、「データの取得」の意味には、例えば別のプログラム、方法の先行するステップ、またはデータストレージ媒体からのデータが、例えばデータ処理方法またはプログラムによる後の処理のために、データ処理方法またはプログラムによって受け取られることまたは引き取られることも含まれる。したがって、「データの取得」は、例えば、データを受け取るために待機すること及び/またはそのデータを受け取ることを意味する場合もある。受け取られたデータは、例えば、インタフェースを介して入力されるものであってもよい。「データの取得」は、データ処理方法またはプログラムが、例えばデータストレージ媒体(例えば、ROM、RAM、データベース、ハードドライブ等)のようなデータ源から、または(例えば、別のコンピュータまたはネットワークから)インタフェースを介して、データを(能動的に)受け取るまたは取り出すためのステップを実行することを意味する場合もある。
データは、取得ステップの前に別のステップを実行することによって、「利用可能」状態となるものであってもよい。この別のステップにおいて、データは、取得されるために生成される。データは、(例えば、分析デバイスによって)、例えば検出されるかまたは取得される。その代わりに、または、それに加えて、別のステップにおいて、データは、例えばインタフェースを介して、入力される。例えば、生成されたデータが、(例えば、コンピュータに)入力されるものであってもよい。(取得ステップに先行する)別のステップにおいて、本発明に係る方法またはプログラムのフレームワークでデータが利用可能となるようにそのデータをデータストレージ媒体(例えば、ROM、RAM、CD、及び/またはハードドライブ)に保存する別のステップを実行することにより、データを準備するものであってもよい。したがって、「データの取得」には、取得されるべきデータを取得するように及び/または準備するように、装置に指令することも含まれる。
特に、取得ステップには、侵襲的手順は含まれない。この侵襲的手順は、身体に対する実質的な物理的干渉を意味し、医療の専門家によって実施されることを要するともともに、必要とされる専門的配慮と技能をもって実施された場合でも、健康に対する実質的な危険性を伴うものである。特に、データを取得すること、例えばデータを決定することには、外科的処置は含まれておらず、かつ、特に、人間または動物の身体を手術または治療を用いて処置する手順は含まれていない。このことは、特に、データを決定することを目的とするいずれのステップについても同様である。本発明に係る方法によって使用される様々なデータを区別するために、データは、「XYデータ」等のように記載(または、参照)され、このデータが記述する情報の観点から定義される。この情報は、好ましくは「XY情報」等と呼ばれる。
本発明に従う方法は、好ましくは、コンピュータによって少なくとも部分的に実行される。すなわち、本発明に係る方法の全てのスッテプまたは幾つかのステップ(すなわち、全てのステップよりも少数のステップ)は、コンピュータによって実行することができる。
本発明は、コンピュータ上で実行されたときに、本明細書に記載された方法のうちの1つ、複数、または全てのステップをコンピュータに実行させるプログラム、及び/または、上記プログラムが(特に、非一時的な形式で)保存されたプログラムストレージ媒体、及び/または、上記プログラムストレージ媒体を含むコンピュータ、及び/または、プログラム(特に、上述したプログラム)、特に、本明細書に記載された方法の任意のまたは全てのステップを実行するために適したコード手段を含むプラグラム(例えば、上記プログラム)を表す情報を搬送する(物理的な、例えば電気的な、例えば工学的に生成された)信号波(例えば、デジタル信号波)にも関連する。
本発明のフレームワークにおいて、コンピュータプログラム要素は、ハードウェア及び/または(ファームウェア、常駐型ソフトウェア、マイクロコード等を含む)ソフトウェアによって実現される。本発明のフレームワークにおいて、コンピュータプログラム要素は、コンピュータプログラム製品の形をとるものであってもよい。コンピュータプログラム製品は、コンピュータが使用可能な、例えばコンピュータが読み取り可能なデータストレージ媒体として実現されているものであってもよい。このデータストレージ媒体には、指令実行システム上でまたは指令実行システムと関連して使用するために、このデータストレージ媒体内に具体的に表されている、コンピュータが使用可能な、特にコンピュータが読み取り可能なプログラム指令、「コード」、または「コンピュータプログラム」が含まれる。このような指令実行システムは、コンピュータであってもよい。コンピュータは、本発明に係るコンピュータプログラム要素及び/またはプログラムを実行するための手段を含むデータ処理装置、特に、コンピュータプログラム要素を実行するためのデジタルプロセッサ(中央処理装置:CPU)を含み、さらに、任意選択で、コンピュータプログラム要素を実行するために使用されるデータ、及び/または、コンピュータプログラム要素を実行することによって生成されたデータを保存するための揮発性メモリー(特に、ランダムアクセスメモリー:RAM)を含むデータ処理装置である。
本発明のフレームワークにおいて、コンピュータが使用可能な、特にコンピュータが読み取り可能なデータストレージ媒体は、指令実行システム、指令実行装置、または指令実行デバイス上で、または、これらのシステム、装置、デバイスと関連して使用するためのプログラムについて、それを含む、それを保存する、それと通信する、それを伝搬させる、またはそれを輸送することが可能な任意のデータストレージ媒体とすることができる。コンピュータが使用可能な、例えばコンピュータが読み取り可能なデータストレージ媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線、または半導体のシステム、装置、またはデバイスであってもよく、もしくは、例えばインターネットのような伝搬媒体であってもよいが、これらに限定されるものではない。コンピュータが使用可能なまたはコンピュータが読み取り可能なデータストレージ媒体は、プログラムが印刷された紙または他の適切な媒体ですらあってもよい。それは、例えば、紙または他の適切な媒体を光学的にスキャンすることによりプログラムを電子的に取り込み、次いで、適切な手段によりコンパイル、インタープリット、または、他の処理をすることが可能であるからである。好ましくは、データストレージ媒体は、不揮発性のデータストレージ媒体である。
本明細書に記載されたコンピュータプログラム製品、並びに、任意のソフトウェア及び/またはハードウェアは、例示的な実施形態において、本発明の機能を実施するための様々な形をとるものである。コンピュータ及び/またはデータ処理装置は、特に、ガイダンス情報を出力するための手段を含むガイダンス情報装置を含むものであってもよい。ガイダンス情報は、例えば、視覚的指示手段(例えば、モニター及び/またはランプ)による視覚的な方法、及び/または、聴覚的指示手段(例えば、スピーカー及び/またはデジタル音声出力装置)による聴覚的な方法、及び/または、触覚的指示手段(例えば、機器に組み込まれた振動要素)による触覚的な方法により、例えばユーザに対して、出力されるものであってもよい。本明細の目的に対して、コンピュータは工学的コンピュータであり、例えば工学的な(例えば触知可能な)構成要素)、例えば機械的な構成要素、及び/または、電子的な構成要素を含むものである。本明細書にこのように記載された任意の装置は、工学的かつ例えば触知可能な装置である。
治療用ビームは、身体の部位を治療する。この部位は、治療されるべき部位であり、「治療部位」とも呼ばれる。これらの身体の部位は、例えば患者の身体の一部(すなわち、解剖学的身体部位)である。
本発明は、医療分野、及び、例えば、放射線ビームのようなビームを使用して患者の身体部位を治療することに関する。このビームは、治療用ビームともよばれる。治療用ビームは、治療されるべき身体部位(「治療部位」)を治療するものである。これらの身体部位は、例えば患者の身体の一部、すなわち解剖学的部位である。治療の目的のために、例えば電離放射線が使用される。例えば、治療用ビームは、電離放射線を含むかまたは電離放射線からなるものである。電離放射線は、原子または分子から電子を解離させてそれらをイオン化するために十分なエネルギーを有する粒子(例えば、亜原子粒子またはイオン)または電磁波を含むか、またはこのような粒子または電磁波からなる。このような電離放射線の例には、X線、高エネルギー粒子(高エネルギー粒子ビーム)、及び/または、放射性元素から放出される電離放射線が含まれる。治療用放射線、例えば治療用ビームは、例えば、腫瘍学の分野における放射線治療のような放射線治療で使用される。特に癌を治療するために、腫瘍のような病理学的構造または組織を含む身体部位が、電離放射線を使用して治療される。したがって、腫瘍は治療部位の例である。
治療用ビームは、好ましくは、治療用ビームが治療部位を通過するように制御される。しかし、治療用ビームは、治療部位の外側の身体部位に悪影響を及ぼす可能性がある。本明細書において、これらの部位を「外側部位」ともいう。一般に、治療用ビームを治療部位に到達させて通過させるためには、外側部位を通過させる必要がある。
背景技術については、次の2つのウェブページも参照されたい。
http://www.elekta.com/healthcare_us_elekta_vmat.php
http://www.varian.com/us/oncology/treatments/treatment_techniques/rapidarc
特に、本発明には、侵襲的手順は含まれない。この侵襲的手順は、身体に対する実質的な物理的干渉を意味し、医療の専門家によって実施されることを要するともともに、必要とされる専門的配慮と技能をもって実施された場合でも、健康に対する実質的な危険性を伴うものである。例えば、本発明は、解剖学的組織に医療用インプラントを固定するために医療用インプラントを配置するステップ、または、解剖学的組織に医療用インプラントを固定するステップ、または、医療用インプラントが固定されるように解剖学組織を準備するステップを含まない。さらに、本発明は、いかなる手術のまたは治療上の活動を含まない。代わりに、本発明は、適用可能な場合は、患者の身体の外にある可能性のある医療用インプラントに対してツールを配置することに関するものである。この理由のみをとっても、本発明を実行することには、手術的または治療上の動作、及び、特に手術または治療のステップは不要である、または含まれていない。
以下に、本発明の実施形態を表す添付図面を参照して本発明を説明する。但し、本発明の範囲は、図示された特定の特徴によって限定されるものではない。
図1は、本発明に従うシステムを模式的に表す図である。 図2は、一連の訓練用熱画像を示す図である。 図3aは、一連の訓練用熱画像の追跡点の位置を重ね合わせた画像である。 図3bは、図3aの示す複数の位置から定められた軌跡である。 図4は、追跡点の軌跡を定める工程のフローチャートである。 図5は、ゲート領域を示す画像である。 図6は、治療用ビームのゲートを調整する工程のフローチャートである。 図7は、軌跡の周りの通路を含む画像示す図である。 図8は、移動警告信号を出力する工程のフローチャートである。 図9は、軌跡の主軸を示す画像である。 図10は、経時的な軌跡の主軸への射影を示すグラフである。 図11は、2つの領域と複数の軌跡を含む画像である。
図1には、患者Pの呼吸サイクルを表す呼吸信号データを決定するためのシステム1が示されている。システム1は、サーモグラフィーカメラ3に接続されたコンピュータ2、入力機器10、及び出力機器11を含む。
サーモグラフィーカメラ3は、サーモグラフィー撮像ユニット4を含む。この撮像ユニット4は、レンズ系5及びセンサ6を含む。レンズ系5は、入射熱放射をセンサ6へと案内する。センサ6は、二次元の熱画像を生成する。この熱画像は、好ましくは、8μmと14μmの間の波長を表す。レンズ系5は、可視スペクトルにおける画像を取得するカメラの光軸と同様の特性軸を有している。特性軸は、図1に破線として示されている。
患者の身体の一点から放射された熱放射は、その点の患者の身体の表面上の空間位置及びレンズ系5の特性に従って、センサ6の1つまた複数の画素上に案内される。
この例において、センサ6は、入射熱放射を電圧に変換するセンサセルの二次元配列であり、この電圧は、患者の身体の表面上の対応する点の温度に対応する。この温度は、典型的には、入射熱放射のスペクトル内の最大波長から導かれる。
サーモグラフィーカメラ3は、例えば手術室内の、固定された空間位置に配置される。患者Pは、例えば手術台上に、横たわっている。
コンピュータ2は、中央処理装置7、記憶装置8、及びインタフェース9を含む。記憶装置8は、プログラムデータ、及び/または、サーモグラフィーカメラ3から取得された画像データのような作業用データを保存する。コンピュータ2は、インタフェース9を介して、入力機器10、出力機器11、及び/またはサーモグラフィーカメラ9に接続される。
コンピュータ2は、サーモグラフィーカメラ3から画像データを取得する。この画像データは、センサ6を使用して取得された一連の二次元の訓練用熱画像を表す。コンピュータ2は、二次元の訓練用熱画像中で、患者の身体の表面上の追跡点である同一の点から出射された熱放射を示す画素を特定する。この画素は、例えば、追跡点の熱的特徴(サーマル・シグネチャ)及び追跡点を囲む領域の熱的特徴を記述し、それによって追跡点の指標となるデスクリプタによって特定される。
図2には、N枚の一連の訓練用熱画像のうち、幾つかの訓練用熱画像T1、T2、T3、及びTNが示されている。訓練用熱画像T1〜TNのそれぞれにおいて、追跡点TPの像の位置は黒丸によって示されている。訓練用熱画像において、追跡点TPは、既知のアルゴリズムによって特定され、その位置が定められる。一連の訓練用熱画像Tは、サーモグラフィーカメラ3によって、患者Pの呼吸サイクルの全体にわたって取得される。
図3aには、一連の訓練用熱画像中の追跡点TPの位置が重ね合わされた画像が示されている。これらの複数の位置は、位置集合を構成する。図3bには、図3aに示す位置集合が軌跡Tとともに示されている。軌跡Tは、位置集合に最も良く適合する曲線(以下、最適曲線ともいう)である。軌跡Tは、訓練用熱画像中の追跡点の位置を表す曲線というだけでなく、追跡点が特定の位置にあるときの時刻を表す時間成分も有している。患者Pの呼吸サイクルの間に軌跡Tがたどられる方向は、矢印によって示されている。
図4は、呼吸信号データを決定するための工程のフローチャートである。ステップS01には、コンピュータ2がサーモグラフィーカメラ3から画像データを取得することが含まれる。画像データには、例えば図2に示す一連の訓練用熱画像T1〜TNのように、患者の身体の表面の少なくとも一部の経時的な一連の訓練用熱画像が含まれる。画像データは、記憶装置8に保存される。
ステップS02には、患者の身体の表面の、一連の訓練用熱画像中で追跡される点を特定することが含まれる。これは、追跡点が特定されることを意味する。言い換えれば、適切な点、特に、一連の訓練用熱画像で、例えばその熱的特徴によって、高い信頼性をもって追跡し得る点が特定される。
ステップS03には、追跡点のメタデータを決定することが含まれる。メタデータは、一連の訓練用熱画像中に追跡点を特定するために使用可能な追跡点の特徴を記述するものである。メタデータは、例えば、追跡点の温度、追跡点の熱的特徴または追跡点を含む追跡点の周りの領域の熱的特徴、または、追跡点のデスクリプタであってもよい。
ステップS04には、一連の訓練用熱画像中で追跡点を追跡することが含まれる。これは、訓練用熱画像のそれぞれにおいて、例えば追跡点のメタデータを使用して、追跡点の位置が特定されることを意味する。図2には、一連の訓練用熱画像T1〜TN中の追跡点の位置が示されている。
ステップS05には、一連の訓練用熱画像中の追跡点の複数の位置から追跡点の軌跡を定めることが含まれる。このステップには、例えば、訓練用熱画像中の追跡点の位置集合に対して曲線を適合させることが含まれる。図3aに示す追跡点の位置集合に対して、図3bに示すような軌跡Tが定められる。この軌跡は、患者Pの呼吸サイクルにわたる訓練用熱画像中での追跡点の移動を記述する。したがって、この軌跡は、患者の呼吸サイクルを表す呼吸信号データである。一連の訓練用熱画像中の追跡点の複数の位置及び/または軌跡は、出力機器11に表示される。
ステップS02からステップS05は、特に、コンピュータ2の中央処理装置7によって実行される。
図5には、軌跡T及びゲート領域GRを備えた画像が示されている。ゲート領域は、この例では、軌跡Tの下側の頂点を含んだ軌跡Tの一部を含む長方形である。
図6には、ゲート信号を生成するための工程のフローチャートが示されている。ゲート信号は、治療用ビームのオン及びオフを調整するために使用することができる。この工程は、図4に示すフローチャートのステップS05に続いて実行される。
ステップS11において、例えば図5に示すゲート領域GRのようなゲート領域が定められる。一般に、ゲート領域は、軌跡の一部を含む。ゲート領域は、例えば、入力機器10を使用してユーザによって入力される。
ステップS12において、サーモグラフィーカメラ3によって現況の熱画像が取得される。現況の熱画像が取得される時点は、一連の訓練用熱画像のうちの最後の画像が取得された時点の後である。
ステップS13において、現況の熱画像中の追跡点の位置が特定される。ステップS13では、例えば、ステップS03において決定された追跡点のメタデータが使用される。
ステップS14において、現況の熱画像中の追跡点の位置が、図5に示すゲート領域GRのようなゲート領域内であるか否かが判別される。追跡点の位置がゲート領域の外である場合(ステップS14の「no」)、ステップS15において、治療用ビームがオフに調整されることを示すゲート信号が生成され、工程は、ステップS12に戻る。追跡点がゲート領域内にあると判別された場合(ステップS14の「yes」)、ステップS16において、治療用ビームがオンに切り替えられることを示すゲート信号が生成され、工程は、ステップS12に進行する。
図6に示す工程において、追跡点の位置がゲート領域内である(これは、患者の呼吸動作の現在の状態が呼吸サイクルの定められた部分内にあることを意味する)か否かは、連続して判別される。これに応じて、ゲート信号を生成することができる。これによって、呼吸サイクルの特定の段階の間にのみ治療用ビームがオンに切り替えられる。
図7には、軌跡T及び軌跡Tの周りの通路Cを備えた画像が示されている。通路Cは、破線で示されている。通路Cは、画像中の軌跡Tの周りの二次元の領域である。
図8には、移動警告を出力するための工程のフローチャートが示されている。この工程は、ステップS05に続いて実行される。
ステップS21において、例えば図7に示す軌跡Tの周りの通路Cのような、軌跡の周りの通路が定められる。
ステップS22において、ステップS12と同様に現況の熱画像が取得され、ステップS23において、ステップS13と同様に現況の熱画像中の追跡点の位置が特定される。したがって、これらのステップの詳細を繰り返すことは省略する。
ステップS24において、ステップS23で特定された追跡点の位置が、図7に示す通路Cのような通路内にあるか否かが判別される。追跡点の位置が通路内にない場合(ステップS24の「no」)、ステップS25において移動警告が出力される。追跡点の位置が通路内にある場合(ステップS24の「yes」)、工程は、ステップS22に戻る。
軌跡の周りに定められた通路は、追跡点が、(最適曲線であり得る)軌跡から異常と見なされることなく逸脱可能な余裕を定めるものである。追跡点の位置が、通路によって定められる余裕よりも大きく逸れた場合、その追跡点の位置は、異常と見なされる。これは、例えば、患者の呼吸動作によって生じる動き以外の動きによって生じる可能性がある。
図9には、軌跡Tの主軸MAが描かれた画像が示されている。主軸MAは、軌跡T上の2点を結ぶ線のうち、最大限可能な距離を有する線である。例示した軌跡Tは楕円形であるため、主軸は、楕円の長手対称軸(長軸)である。
上述したように、軌跡Tは、追跡点の経時的な複数の位置から定められる。図10には、追跡点の経時的な複数の位置を、主軸MA上に正射影した点が示されている。図10には、さらに、追跡点の経時的な複数の位置の主軸MA上への正射影点に対する最適曲線である連続曲線が示されている。この曲線は、正弦曲線であり、訓練用熱画像における追跡点の動きの主要な成分を表す。患者Pの呼吸動作を監視するために、現況の熱画像中の追跡点の位置が特定され、主軸MA上に射影される。これによって、実際の経時的な呼吸動作のグラフを実時間で描くことができる。
図11には、2つの領域、すなわち領域R1及び領域R2が定められた画像が示されている。領域R1には、追跡点TP1a、TP1b、及びTP1c(図示は省略する)の軌跡T1a、T1b、及びT1cが示されている。領域R2には、追跡点TP2a、TP2b、及びTP2cの軌跡T2a、T2b、及びT2cが示されている。図11から分かるように、軌跡T1a、T1b、及びT1cは、非常に類似しているか、または同一の形状を有しており、追跡点TP1a、TP1b、及びTP1cが患者Pの表面上で互いにずれているために、互いにずれているのみである。同様に、軌跡T2a、T2b、及びT2cは、類似しているか、または同一の形状を有しており、追跡点TP2a、TP2b、及びTP2cが患者Pの表面上で互いにずれているために、互いにずれているのみである。
図11から、さらに、領域R1中の軌跡は、領域R2中の軌跡とは異なることも分かる。この相違の理由は、患者の身体の表面の異なる領域は、呼吸動作によって異なる動きを実行することによることが考えられる。例えば、領域R1は胸部を表し、一方、領域R2は腹部を表すものであってもよい。
領域R1及び領域R2のそれぞれの中の追跡点の動きの類似性を、呼吸信号データの決定のロバスト性を向上させるために使用することができる。一実施形態において、それぞれの領域内の軌跡の平均がとられ、それぞれの領域内の全ての追跡点に対して割り当てられるものであってもよい。別の実施形態において、領域内のそれぞれの軌跡に対してゲート領域または通路が割り当てられ、移動警告信号、速度警告信号のような警告信号またはゲート信号は、領域内のそれぞれの軌跡を考慮して生成されるものであってもよい。したがって、一例において、移動警告信号は出力されないという判別がなされるために、領域内の各追跡点または追跡点の所定の一部は、対応する通路内に存在しなければならない。別の例において、一次元の経時的な呼吸信号を取得するために、領域内のそれぞれの軌跡の主軸が定められて平均がとられ、追跡点の位置は、この平均の主軸上に射影される。
図2、図3a、図3b,図5、図7、図9、及び図11において、追跡点の位置及び/または軌跡は、画像の座標系に準拠して与えられる。この座標系は、センサ6に対応する。熱画像中の追跡点の位置は、その空間位置からセンサ6の画像平面へ、サーモグラフィーカメラ3の特性、特にレンズ系5の特性に応じて、追跡点を射影することによって定められる。サーモグラフィーカメラ3は、空間内に固定されていると考えられているため、図2、図3a、図3b,図5、図7、図9、及び図11は、一致するものと考えられる。

Claims (15)

  1. 患者(P)の呼吸サイクルを表す呼吸信号データを決定するためにコンピュータ(2)が実行するデータ処理方法であって、
    コンピュータが、患者の身体の表面の少なくとも一部の経時的な一連の訓練用熱画像(T1〜TN)を表す画像データを取得するステップを含み、一連の訓練用熱画像は、呼吸サイクルの少なくとも半分にわたり、サーモグラフィーカメラ(3)によって取得され、
    さらに、コンピュータが、呼吸信号データとして追跡点(TP)の軌跡(T)を定めるために、画像データ中の少なくとも1つの追跡点(TP)を一連の訓練用熱画像(T1〜TN)にわたって追跡するステップを含み、追跡点(TP)は、患者の身体の表面上の点であり、
    さらに、コンピュータが、サーモグラフィーカメラ(3)によって取得された現況の熱画像中に前記軌跡(T)の周りの通路(C)を定めるステップ、コンピュータが、現況の熱画像中で前記追跡点(TP)の位置を特定するステップ、及び、前記追跡点(TP)の位置が通路(C)の外である場合、コンピュータが、移動警告信号を出力するステップを含む、ことを特徴とする方法。
  2. コンピュータが、サーモグラフィーカメラ(3)によって取得された現況の熱画像中にゲート領域(R)を定めるステップ、コンピュータが、現況の熱画像中で前記追跡点(TP)の位置を特定するステップ、及び、コンピュータが、前記追跡点(TP)がゲート領域(R)内にあるか否かを示すゲート信号を生成するステップをさらに含むことを特徴とする請求項1に記載の方法。
  3. コンピュータが、サーモグラフィーカメラ(3)によって取得された少なくとも2つの連続する現況の熱画像から前記追跡点(TP)の速度を特定するステップ、コンピュータが、前記軌跡(T)の対応する位置における前記追跡点(TP)の速度を所定の速度と比較するステップ、及び、速度の差が所定のしきい値を超えていた場合、コンピュータが、速度警告を出力するステップをさらに含むことを特徴とする請求項1または2に記載の方法。
  4. コンピュータが、前記軌跡(T)の次元を一次元に縮減するステップをさらに含むことを特徴とする請求項1から3のいずれか1項に記載の方法。
  5. 次元を縮減するステップは、コンピュータが、前記軌跡(T)の主軸(MA)を定めるステップ、及び、コンピュータが、前記軌跡を主軸(MA)上に射影するステップを含むことを特徴とする請求項4に記載の方法。
  6. 前記追跡点(TP)は、自動的に選択されることを特徴とする請求項1から5のいずれか1項に記載の方法。
  7. 前記追跡点(TP)は、熱画像のユーザ定義領域内で自動的に選択されることを特徴とする請求項6に記載の方法。
  8. 一連の訓練用熱画像(T1〜TN)中で複数の前記追跡点(TP1a、TP1b、TP1c、TP2a、TP2b、TP2c)が追跡され、それぞれの前記追跡点の前記軌跡(T1a、T1b、T1c、T2a、T2b、T2c)が定められることを特徴とする請求項1から7のいずれか1項に記載の方法。
  9. 複数の前記追跡点(TP1a、TP1b、TP1c、TP2a、TP2b、TP2c)には、前記追跡点の前記軌跡の主軸の互いの角度が所定の範囲内にある前記追跡点のみが含まれることを特徴とする請求項8に記載の方法。
  10. コンピュータが、サーモグラフィーカメラ(3)によって取得された現況の熱画像中に複数の前記追跡点(TP1a、TP1b、TP1c、TP2a、TP2b、TP2c)のそれぞれに対するゲート領域を定めるステップ、コンピュータが、現況の熱画像中の複数の前記追跡点(TP1a、TP1b、TP1c、TP2a、TP2b、TP2c)の位置を特定するステップ、及び、コンピュータが、複数の前記追跡点(TP1a、TP1b、TP1c、TP2a、TP2b、TP2c)のうちの全てまたは大部分が、それぞれ対応するゲート領域内にあるか否かを示すゲート信号を生成するステップをさらに含むことを特徴とする請求項8または9に記載の方法。
  11. コンピュータが、複数の前記追跡点(TP1a、TP1b、TP1c、TP2a、TP2b、TP2c)のそれぞれの前記軌跡の主軸を定めるステップ、コンピュータが、複数の前記軌跡をそれぞれの主軸に射影するステップ、及び、コンピュータが、一次元の呼吸信号データを取得するために複数の射影された前記軌跡の平均をとるステップをさらに含むことを特徴とする請求項8から10のいずれか1項に記載の方法。
  12. コンピュータが、前記軌跡(T)を、腫瘍運動モデルによって記述される腫瘍の動きと関係付けるステップをさらに含むことを特徴とする請求項1から11のいずれか1項に記載の方法。
  13. コンピュータ(2)上で実行されたときに、請求項1から12のいずれか1項に記載の方法のステップをコンピュータ(2)に実行させるプログラム。
  14. 請求項13に記載のプログラムが、特に非一時的な形式で、保存されたプログラムストレージ媒体。
  15. 請求項1に記載されたプログラムが保存された、及び/または、該プログラムが実行されているコンピュータ(2)を含む、患者の呼吸サイクルを表す呼吸信号データを決定するためのシステム(1)。
JP2017529759A 2014-12-02 2015-04-28 熱画像からの呼吸信号の決定 Active JP6529589B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/EP2014/076287 WO2016086976A1 (en) 2014-12-02 2014-12-02 Human body measurement using thermographic images
EPPCT/EP2014/076287 2014-12-02
PCT/EP2015/059171 WO2016087058A1 (en) 2014-12-02 2015-04-28 Determination of breathing signal from thermal images

Publications (2)

Publication Number Publication Date
JP2017537703A JP2017537703A (ja) 2017-12-21
JP6529589B2 true JP6529589B2 (ja) 2019-06-12

Family

ID=52011199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017529759A Active JP6529589B2 (ja) 2014-12-02 2015-04-28 熱画像からの呼吸信号の決定

Country Status (5)

Country Link
US (7) US10750980B2 (ja)
EP (4) EP3799782B1 (ja)
JP (1) JP6529589B2 (ja)
CN (2) CN106456001B (ja)
WO (3) WO2016086976A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3108456B1 (en) * 2014-02-19 2020-06-24 Koninklijke Philips N.V. Motion adaptive visualization in medical 4d imaging
WO2016086976A1 (en) 2014-12-02 2016-06-09 Brainlab Ag Human body measurement using thermographic images
CA2958003C (en) 2016-02-19 2022-04-05 Paul Stanley Addison System and methods for video-based monitoring of vital signs
DE102016211742A1 (de) * 2016-06-29 2018-01-04 Robert Bosch Gmbh Verfahren zum Betrieb eines Laserentfernungsmessgeräts
US11389119B2 (en) * 2016-09-06 2022-07-19 Photorithm, Inc. Generating a breathing alert
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
EP3496037A1 (en) 2017-12-06 2019-06-12 Koninklijke Philips N.V. Device, system and method for detecting body movement of a patient
AU2018400475B2 (en) 2018-01-08 2024-03-07 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
CN108273199B (zh) * 2018-01-19 2024-05-14 深圳市奥沃医学新技术发展有限公司 一种位置检测方法、装置及放射治疗系统
CN111343906B (zh) * 2018-01-22 2021-06-08 华为技术有限公司 测量装置、测量方法及计算机可读存储介质
EP3806727A1 (en) 2018-06-15 2021-04-21 Covidien LP Systems and methods for video-based patient monitoring during surgery
US11291507B2 (en) 2018-07-16 2022-04-05 Mako Surgical Corp. System and method for image based registration and calibration
CN112584753A (zh) 2018-08-09 2021-03-30 柯惠有限合伙公司 基于视频的患者监测系统以及用于检测和监测呼吸的相关方法
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
US20230035624A1 (en) * 2019-07-08 2023-02-02 Brainlab Ag Computation of a breathing curve for medical applications
US20210207838A1 (en) * 2020-01-03 2021-07-08 AlgoLook, Inc. Air particulate classification
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
TWI753742B (zh) * 2021-01-11 2022-01-21 搏盟科技股份有限公司 具有體溫感測之候位列印裝置及其操作方法

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3253328B2 (ja) 1991-10-25 2002-02-04 日本電信電話株式会社 距離動画像入力処理方法
CN2376865Y (zh) * 1998-06-04 2000-05-10 中国科学院上海生理研究所 呼气峰速值测定装置
US6980679B2 (en) * 1998-10-23 2005-12-27 Varian Medical System Technologies, Inc. Method and system for monitoring breathing activity of a subject
US6937696B1 (en) * 1998-10-23 2005-08-30 Varian Medical Systems Technologies, Inc. Method and system for predictive physiological gating
JP4713739B2 (ja) * 1998-10-23 2011-06-29 バリアン・メディカル・システムズ・インコーポレイテッド 放射線療法の治療間隔を判定するシステムと方法
US7408156B2 (en) * 1999-06-21 2008-08-05 Yannacone Jr Victor John System and method for identifying and classifying dynamic thermodynamic processes in mammals and discriminating between and among such processes
AU5908000A (en) * 1999-07-02 2001-01-22 Hypermed Imaging, Inc. Imaging apparatus with means for fusing thermal and hyperspectral images
JP3807721B2 (ja) * 2000-02-21 2006-08-09 シャープ株式会社 画像合成装置
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
TW519485B (en) * 2000-09-20 2003-02-01 Ind Tech Res Inst Infrared 3D scanning system
ATE233517T1 (de) * 2000-11-22 2003-03-15 Brainlab Ag Verfahren zur bestimmung der lungenfüllung
ES2215813T3 (es) * 2001-03-05 2004-10-16 Brainlab Ag Metodo para crear o actualizar un plan de tratamiento de radiaciones.
US6974373B2 (en) * 2002-08-02 2005-12-13 Geissler Technologies, Llc Apparatus and methods for the volumetric and dimensional measurement of livestock
JP4832289B2 (ja) * 2003-04-10 2011-12-07 アディダス アーゲー 呼吸事象検出システムおよび方法
US6950492B2 (en) * 2003-06-25 2005-09-27 Besson Guy M Dynamic multi-spectral X-ray projection imaging
CN2688223Y (zh) * 2003-09-29 2005-03-30 深圳迈瑞生物医疗电子股份有限公司 多生理参数一体化测量电路
WO2006036398A2 (en) * 2004-08-23 2006-04-06 Sarnoff Corporation Method and apparatus for producing a fused image
US7519210B2 (en) * 2004-09-09 2009-04-14 Raphael Hirsch Method of assessing localized shape and temperature of the human body
GB2464856B (en) 2004-09-24 2010-06-30 Vision Rt Ltd Image processing system for use with a patient positioning device
EP1657678B1 (de) 2004-11-15 2007-09-12 BrainLAB AG Videobildunterstützte Patientenregistrierung
US7187400B2 (en) * 2004-12-01 2007-03-06 Lexmark International, Inc. Method and apparatus for compensating for image misalignment due to variations in laser power in a bi-directional raster imaging system
CN101299967B (zh) * 2005-11-04 2010-06-02 株式会社东芝 呼吸监视装置、呼吸监视系统、医疗处理系统、呼吸监视方法、呼吸监视程序
GB2441550A (en) * 2006-09-05 2008-03-12 Vision Rt Ltd Surface-imaging breathing monitor
US20080243018A1 (en) * 2007-03-30 2008-10-02 General Electric Company System and method to track a respiratory cycle of a subject
US8463006B2 (en) 2007-04-17 2013-06-11 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
CN101854846B (zh) * 2007-06-25 2014-10-22 真实成像有限公司 用于分析图像的方法、装置和系统
US7575554B2 (en) * 2007-09-21 2009-08-18 University Of Yamanashi Breathing monitoring device having a multi-point detector
US9248312B2 (en) * 2007-10-26 2016-02-02 Accuray Incorporated Automatic correlation modeling of an internal target
CA2710939C (en) 2007-12-31 2016-11-08 Real Imaging Ltd. System and method for registration of imaging data
WO2009083974A1 (en) * 2007-12-31 2009-07-09 Real Imaging Ltd. Method apparatus and system for analyzing thermal images
EP2265163B1 (en) 2008-03-28 2014-06-04 Real Imaging Ltd. Method apparatus and system for analyzing images
US8585412B2 (en) * 2008-09-30 2013-11-19 Covidien Lp Configurable respiratory muscle pressure generator
EP2189943B1 (de) * 2008-11-19 2014-09-24 Brainlab AG Bestimmung vital-bewegter Regionen eines Analysebildes
CN106943153B (zh) * 2008-12-11 2021-01-22 皇家飞利浦电子股份有限公司 用于产生患者内部和外部图像的系统和方法
US9843743B2 (en) * 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US20110009761A1 (en) * 2009-07-09 2011-01-13 Dan Ruan Method and system for real-time profiling respiratory motion with variable-horizon prediction capability
DE102009040017A1 (de) * 2009-09-04 2011-03-24 Rene Beaujean System und Verfahren zur Detektion einer Temperatur auf einer Oberfläche eines Körpers
WO2011059061A1 (ja) * 2009-11-16 2011-05-19 三菱重工業株式会社 放射線治療装置制御装置および特定部位位置計測方法
ES2387153B1 (es) * 2010-06-16 2013-08-08 Fundación Para La Investigación Biomédica Del Hospital Universitario De La Paz Sistema y procedimiento para obtener datos acerca del ciclo respiratorio de un paciente
KR101012691B1 (ko) * 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
US20120078113A1 (en) * 2010-09-28 2012-03-29 Point of Contact, LLC Convergent parameter instrument
CN201905863U (zh) * 2010-12-10 2011-07-27 广州宝胆医疗器械科技有限公司 具有红外线热扫描功能的电子支气管镜系统
US20120226152A1 (en) * 2011-03-03 2012-09-06 Porikli Fatih M Tumor Tracking System and Method for Radiotherapy
US9392962B2 (en) * 2011-04-01 2016-07-19 Varian Medical Systems, Inc. Prediction of breathing signal and determining non-periodicity of breathing using signal-phase histogram
EP2699166B1 (en) * 2011-04-21 2019-09-04 Koninklijke Philips N.V. Mpr slice selection for visualization of catheter in three-dimensional ultrasound
US8790269B2 (en) * 2011-05-09 2014-07-29 Xerox Corporation Monitoring respiration with a thermal imaging system
EP2530442A1 (en) * 2011-05-30 2012-12-05 Axis AB Methods and apparatus for thermographic measurements.
DE102011079264B4 (de) * 2011-07-15 2015-11-19 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Atem-Gating für eine medizinische Bestrahlung
US8961185B2 (en) * 2011-08-19 2015-02-24 Pulson, Inc. System and method for reliably coordinating musculoskeletal and cardiovascular hemodynamics
US9911199B2 (en) * 2012-03-05 2018-03-06 Brainlab Ag Using different indicators for determining positional changes of a radiotherapy target
US9301710B2 (en) * 2012-06-01 2016-04-05 Xerox Corporation Processing a video for respiration rate estimation
CN102698375A (zh) * 2012-06-05 2012-10-03 广东中能加速器科技有限公司 一种减少放射治疗中呼吸导致的照射偏差的方法和装置
KR101724788B1 (ko) * 2012-06-26 2017-04-10 한온시스템 주식회사 입체 열화상을 이용한 차량 내 온도계측 장치
US20150243025A1 (en) * 2012-09-28 2015-08-27 Brainlab Ag Isocentric patient rotation for detection of the position of a moving object
CN102973273B (zh) 2012-11-29 2014-12-17 中国人民解放军第四军医大学 一种基于红外辐射检测的睡眠呼吸功能监测系统
EP2767233A1 (en) * 2013-02-15 2014-08-20 Koninklijke Philips N.V. Device for obtaining respiratory information of a subject
CN105144238B (zh) * 2013-02-25 2018-11-02 联邦科学和工业研究组织 3d成像方法和系统
CN104220132B (zh) * 2013-02-28 2017-05-24 深圳市奥沃医学新技术发展有限公司 一种呼吸跟踪装置及放射治疗系统
US20140267758A1 (en) 2013-03-15 2014-09-18 Pelco, Inc. Stereo infrared detector
US9654704B2 (en) * 2013-03-15 2017-05-16 Infrared Integrated Systems, Ltd. Apparatus and method for multispectral imaging with three dimensional overlaying
US9095285B2 (en) * 2013-04-11 2015-08-04 Yaroslav Ryabov Portable biometric identification device using a dorsal hand vein pattern
CA2918719A1 (en) * 2013-07-22 2015-01-29 Koninklijke Philips N.V. Automatic continuous patient movement monitoring
DE102013219232A1 (de) * 2013-09-25 2015-03-26 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Atmungsbewegung eines Untersuchungsobjektes
US9622698B2 (en) * 2014-11-19 2017-04-18 Xerox Corporation System and method for detecting cancerous tissue from a thermal image
WO2016086976A1 (en) * 2014-12-02 2016-06-09 Brainlab Ag Human body measurement using thermographic images

Also Published As

Publication number Publication date
EP3226755B1 (en) 2018-12-12
US10874331B2 (en) 2020-12-29
CN106456001A (zh) 2017-02-22
US20170071508A1 (en) 2017-03-16
US20230255513A1 (en) 2023-08-17
CN106456001B (zh) 2019-09-17
EP3226754A1 (en) 2017-10-11
US20240115166A1 (en) 2024-04-11
WO2016086976A1 (en) 2016-06-09
WO2016087058A1 (en) 2016-06-09
WO2016087059A1 (en) 2016-06-09
EP3226754B1 (en) 2021-02-03
US10750980B2 (en) 2020-08-25
EP3799782B1 (en) 2023-04-19
US10716496B2 (en) 2020-07-21
US20170354330A1 (en) 2017-12-14
US20200337599A1 (en) 2020-10-29
JP2017537703A (ja) 2017-12-21
EP3799782A1 (en) 2021-04-07
US11666250B2 (en) 2023-06-06
CN110613427B (zh) 2022-06-21
EP3226764A1 (en) 2017-10-11
US20170311813A1 (en) 2017-11-02
EP3226755A1 (en) 2017-10-11
EP3226764B1 (en) 2020-06-17
US11877843B2 (en) 2024-01-23
US20210076984A1 (en) 2021-03-18
CN110613427A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
JP6529589B2 (ja) 熱画像からの呼吸信号の決定
US10297042B2 (en) Medical image fusion with reduced search space
EP3256213B1 (en) X-ray patient position monitoring
EP3164070B1 (en) Radiation beam positioning
EP2543018B1 (en) Tracking representations of indicator body parts
US9259200B2 (en) Method and system for obtaining a sequence of x-ray images using a reduced dose of ionizing radiation
US20140316247A1 (en) Method, apparatus, and system for tracking deformation of organ during respiration cycle
EP3391336B1 (en) Long-exposure-time-imaging for determination of periodically moving structures
WO2023110088A1 (en) Computer-implemented method for use in aligning pieces of equipment of a medical system
CN117323581A (zh) 表面引导的监测中确定感兴趣区的方法、系统和可读介质
EP4072412A1 (en) Method and apparatus for determining internal organ shift

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180418

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180717

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190514

R150 Certificate of patent or registration of utility model

Ref document number: 6529589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250