KR20200129142A - 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램 - Google Patents

의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20200129142A
KR20200129142A KR1020207028777A KR20207028777A KR20200129142A KR 20200129142 A KR20200129142 A KR 20200129142A KR 1020207028777 A KR1020207028777 A KR 1020207028777A KR 20207028777 A KR20207028777 A KR 20207028777A KR 20200129142 A KR20200129142 A KR 20200129142A
Authority
KR
South Korea
Prior art keywords
image
likelihood
unit
images
perspective
Prior art date
Application number
KR1020207028777A
Other languages
English (en)
Other versions
KR102469141B1 (ko
Inventor
류스케 히라이
아키유키 다니자와
신이치로 모리
게이코 오카야
Original Assignee
도시바 에너지시스템즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도시바 에너지시스템즈 가부시키가이샤 filed Critical 도시바 에너지시스템즈 가부시키가이샤
Publication of KR20200129142A publication Critical patent/KR20200129142A/ko
Application granted granted Critical
Publication of KR102469141B1 publication Critical patent/KR102469141B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4266—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a plurality of detector units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1064—Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
    • A61N5/1065—Beam adjustment
    • A61N5/1067—Beam adjustment in real time, i.e. during treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1051—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an active marker
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1061—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1061—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source
    • A61N2005/1062—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source using virtual X-ray images, e.g. digitally reconstructed radiographs [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Radiation-Therapy Devices (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

실시형태의 의료용 화상 처리 장치는, 제1 위치 취득부와, 제1 변환부와, 제1 우도(尤度) 화상 생성부와, 학습부를 가진다. 제1 위치 취득부는, 복수의 제1 화상의 각각에 있어서의 타깃 위치를, 제1 위치로서 취득한다. 제1 변환부는, 제1 위치의 각각을, 제1 위치의 시간적인 움직임이 큰 제1 방향에 교차하는 제2 방향으로 움직임을 확대한 제2 위치로 변환한다. 제1 우도 화상 생성부는, 제2 위치를 기준으로 하여, 제2 위치의 우도의 분포를 나타내는 제1 우도 화상을 생성한다. 학습부는, 복수의 제1 화상과 제1 우도 화상을 교사 데이터로 하고, 투시 화상의 일부 또는 전부가 주어지면 제2 위치에 해당하는 것의 확실성을 나타내는 우도의 분포를 나타내는 제2 우도 화상을 도출하는 모델을 출력한다.

Description

의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램
본 발명의 실시형태는, 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램에 관한 것이다.
본원은, 2018년 4월 9일에, 일본에 출원된 특원2018-075024호에 의거하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
종래, 방사선을 환자의 종양에 대하여 조사해서 치료하는 방사선 치료 방법이 개시되어 있다. 방사선은, 종양의 위치에 정확하게 조사될 필요가 있다. 환자의 체내의 정상적인 조직에 방사선을 조사해 버리면, 그 정상적인 조직에까지 영향을 줄 경우가 있기 때문이다. 그 때문에, 미리 컴퓨터 단층 촬영(Computed Tomography: CT)을 행하여 환자의 체내의 종양의 위치를 3차원적으로 파악하여, 정상 조직에의 조사를 적게 하도록 조사하는 방향이나 조사 강도가 계획된다. 방사선 치료에 있어서는, 그 치료 계획에 따라서 방사선을 조사하기 위해, 치료 계획 시와 치료 시에 장치에 대한 상대적인 환자의 위치(이하, 단순히 환자의 위치)를 맞추는 것이 필요해진다.
환자 체내의 종양이나 뼈 등의 위치를 치료 계획 시와 맞추기 위해, 치료 직전에 침대에 눕힌 상태의 환자 체내의 투시 화상과, 치료 계획 시에 촬영한 3차원 CT 화상으로부터 가상적으로 투시 화상을 재구성한 디지털 재구성 X선 화상(Digitally Reconstructed Radiograph: DRR)과의 화상 대조를 하여 화상간의 환자의 위치의 어긋남을 구하고, 어긋남에 의거하여 침대를 이동시키는 위치 맞춤이 행해진다. 환자 위치의 어긋남은, 투시 화상과 가장 유사한 DRR이 재구성되는 CT 화상의 위치를 탐색함으로써 구해진다. 이 탐색을 컴퓨터로 자동화하는 방법은 복수 제안되어 있다. 그러나, 최종적으로는, 자동으로 탐색한 결과를 이용자(의사 등)가 투시 화상과 DRR 화상을 비교해 봄으로써, 환자의 위치의 어긋남이 충분히 작은 것이 확인된다. 그리고, 이용자에 의한 확인이 떨어지는대로, 방사선의 조사가 행해진다.
환자 체내의 종양이, 폐나 간장 등의 호흡이나 심박의 움직임에 의해 이동해 버리는 기관에 있을 경우, 조사 중인 종양의 위치를 특정해야만 한다. 특정하는 방법으로서, 조사 중인 환자의 투시 동영상을 연속 촬영하고, 축차 투시 화상 내의 종양을 추적하는 방법이나, 종양이 투시 화상에서 선명하게 찍히지 않을 경우는, 환자 체내에 유치(留置)된 마커를 추적함으로써, 간접적으로 종양의 위치를 특정하는 방법 등이 있다. 조사의 방법에는, 종양의 위치에 대하여 추미(追尾)해서 조사하는 추미 조사나, 종양이 치료 계획 시의 위치에 이르렀을 때에 조사하는 앰부쉬 조사(ambush irradiation)가 있다. 이들 조사 방법은, 환자의 호흡과 조사가 동기하므로, 호흡 동기 조사 방법이라고 불리고 있다.
투시 화상에 찍히는 종양을 추적하는 방법으로서, 미리 종양의 화상 패턴을 취득해 두고, 치료 시에 촬영되는 투시 화상 내에서 유사한 화상 패턴의 위치를 탐색하여, 종양의 위치를 특정하는 방법이 있다. 그 방법에서는, 종양을 포함하는 화상과 포함하지 않는 화상을 준비하고, 뉴럴 네트워크에 의해 그들을 식별하는 식별기가 생성되고, 이 식별기에 의해 종양의 위치가 추적된다. 그러나, 이러한 방법에서는, 투시 화상으로부터 예를 들면 래스터 스캔의 방법에 의해 다수의 국소 화상을 잘라내어, 각각을 식별기에 의해 종양인지 종양이 아닌지를 분류하기 때문에 처리 시간이 길어져, 리얼 타임성이 요구되는 종양의 위치의 추적에 적용하는 것이 곤란할 경우가 있었다.
미국 특허 제6819790호 명세서
본 발명이 해결하고자 하는 과제는, 방사선 치료에 있어서, 환자의 투시 화상으로부터 환자의 타깃 위치를, 고속·고정밀도로 추정할 수 있는 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램을 제공하는 것이다.
본 실시형태의 일 태양의 의료용 화상 처리 장치는, 제1 위치 취득부와, 제1 변환부와, 제1 우도(尤度) 화상 생성부와, 학습부를 가진다. 제1 위치 취득부는, 환자를 촬영한 복수 시점의 투시 화상인 복수의 제1 화상의 각각에 있어서의 상기 환자의 타깃 위치를, 제1 위치로서 취득한다. 제1 변환부는, 상기 복수의 제1 화상에 있어서의 상기 제1 위치의 각각을, 상기 제1 위치의 시간적인 움직임이 큰 제1 방향에 교차하는 제2 방향으로 움직임을 확대한 제2 위치로 변환한다. 제1 우도 화상 생성부는, 상기 제2 위치를 기준으로 하여, 상기 제2 위치에 해당하는 것의 확실성을 나타내는 우도의 분포를 나타내는 제1 우도 화상을 생성한다. 학습부는, 상기 복수의 제1 화상의 각각의 일부 또는 전부와 상기 제1 우도 화상을 교사 데이터로 하고, 투시 화상의 일부 또는 전부가 주어지면 상기 제2 위치에 해당하는 것의 확실성을 나타내는 우도의 분포를 나타내는 제2 우도 화상을 도출하는 모델을 출력한다.
상기 태양에 따르면, 방사선 치료에 있어서 치료 중인 환자의 투시 화상으로부터, 환자 체내의 종양을 자동 추적할 수 있는 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램을 제공할 수 있다.
도 1은 제1 실시형태의 의료용 화상 처리 장치(100)를 포함하는 치료 시스템(1)의 구성도.
도 2는 제1 실시형태의 학습 장치(110)의 블록도.
도 3은 제1 실시형태의 동체(動體) 추적 장치(120)의 블록도.
도 4는 제1 실시형태의 의료용 화상 처리 장치(100)의 블록도.
도 5는 제1 변환부(113)에 의해 투시 화상(TI)을 처리하는 형태의 일례를 나타내는 도면.
도 6은 타깃 위치(TP)의 궤적의 일례를 나타내는 도면.
도 7은 의료용 화상 처리 장치(100)가 생성하는 제1 우도 화상의 일례를 나타내는 도면.
도 8은 학습 장치(110)의 처리의 흐름의 일례를 나타내는 플로우 차트.
도 9는 동체 추적 장치(120)의 처리의 흐름의 일례를 나타내는 플로우 차트.
도 10은 제2 실시형태의 동체 추적 장치(120A)의 블록도.
도 11은 동체 추적 장치(120A)가 생성하는 제2 우도 화상의 일례를 나타내는 도면.
도 12는 동체 추적 장치(120A)가 생성하는 제2 우도 화상의 다른 일례를 나타내는 도면.
도 13은 의료용 화상 처리 장치(100A)가 생성하는 인공 화상 패치의 일례를 나타내는 도면.
도 14는 동체 추적 장치(120A)의 처리의 흐름의 일례를 나타내는 플로우 차트.
도 15는 제3 실시형태의 동체 추적 장치(120B)의 블록도.
도 16은 동체 추적 장치(120B)의 처리의 흐름의 일례를 나타내는 플로우 차트.
이하, 실시형태의 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램을, 도면을 참조해서 설명한다.
(제1 실시형태)
도 1은, 의료용 화상 처리 장치(100)를 포함하는 치료 시스템(1)의 구성도이다. 치료 시스템(1)은, 예를 들면, 치료 장치(10)와, 의료용 화상 처리 장치(100)를 구비한다.
치료 장치(10)는, 예를 들면, 침대(11)와, 방사선원(12-1, 12-2)과, 검출기(13-1, 13-2)와, 치료 장치측 제어부(20)를 구비한다. 이하, 부호에 있어서의 하이픈 및 이것에 이어지는 숫자는, 어느 방사선원 및 검출기의 세트에 의한 투시용 방사선, 혹은 투시 화상인지를 나타내는 것으로 한다. 적의(適宜), 부호에 있어서의 하이픈 및 이것에 이어지는 숫자를 생략하여 설명을 행한다.
침대(11)에는, 치료를 받는 환자(P)가 고정된다. 방사선원(12-1)은, 환자(P)에 대하여 방사선(r-1)을 조사한다. 방사선원(12-2)은, 방사선원(12-1)과는 다른 각도에서, 환자(P)에 대하여 방사선(r-2)을 조사한다. 방사선(r-1 및 r-2)은, 전자파의 일례이며, 예를 들면 X선이다.
방사선(r-1)은 검출기(13-1)에 의해 검출되고, 방사선(r-2)은 검출기(13-2)에 의해 검출된다. 검출기(13-1 및 13-2)는, 예를 들면 플랫·패널·디텍터(FPD; Flat Panel Detector), 이미지 인텐시파이어, 컬러 이미지 인텐시파이어 등이다. 검출기(13-1)는, 방사선(r-1)의 에너지를 검출하여 디지털 변환하고, 투시 화상(TI-1)으로서 의료용 화상 처리 장치(100)에 출력한다. 검출기(13-2)는, 방사선(r-2)의 에너지를 검출하여 디지털 변환하고, 투시 화상(TI-2)으로서 의료용 화상 처리 장치(100)에 출력한다. 도 1에서는, 2 세트의 방사선원 및 검출기를 나타냈지만, 치료 장치(10)는, 3 세트 이상의 방사선원 및 검출기를 구비해도 된다.
조사문(14)은, 치료 단계에 있어서, 환자(P)에 대하여 치료 빔(B)을 조사한다. 치료 빔(B)에는, 예를 들면, 중입자선, X선, γ선, 전자선, 양자선, 중성자선 등이 포함된다. 도 1에서는, 1개의 조사문(14)만 나타냈지만, 치료 장치(10)는 복수의 조사문을 구비해도 된다.
투시 화상(TI)은, 조사문(14)에 의한 치료 빔(B)의 조사를 행하기 수 일 정도 전에 취득되어도 되고, 치료 빔(B)의 조사를 행하기 직전에 취득되어도 된다. 치료 장치(10)의 이용자(의사 등)는, 예를 들면, 치료 빔(B)의 조사를 행하기 수 일 정도 전에 취득되는 투시 화상을 이용하여, 치료 계획을 세운다. 치료 계획이란, 환자(P)에게 조사하는 방사선의 에너지, 조사 방향, 조사 범위의 형상 등을 계획하는 것이다. 치료 계획에는, 치료 빔(B)의 조사를 복수 회 행할 경우, 각 회의 치료 빔(B)의 선량(線量)의 배분의 계획이 포함된다. 치료 계획에 있어서 의료용 화상 처리 장치(100)는, 의사에 의한 치료 빔(B)의 조사 대상 위치(타깃 위치)의 지정을 접수한다.
의료용 화상 처리 장치(100)는, 타깃에 관한 각종 정보의 도출과 동시에, 환자(P)의 체내의 타깃 부근에 유치된 마커의 위치를 도출해도 된다. 환자(P)의 체내에 유치하는 마커는, 예를 들면, 금속제이며, 투시 화상(TI)에 있어서는 시인성이 높다. 그 때문에, 타깃의 추적이 곤란할 경우에는, 마커를 추적한다.
의료용 화상 처리 장치(100)는, 예를 들면, 종양과 정상 영역과의 경계를 지정할 경우, 종양의 위치 및 체적을 지정한다. 이 종양의 체적은, 육안적 종양 체적(Gross Tumor Volume: GTV), 임상적 표적 체적(Clinical Target Volume: CTV), 내적 표적 체적(Internal Target Volume: ITV), 계획 표적 체적(Planning Target Volume: PTV) 등이라고 불리고 있다. GTV는, 화상으로부터 육안으로 확인할 수 있는 타깃의 체적이며, 방사선 치료에 있어서는, 충분한 선량의 치료 빔(B)을 조사 할 필요가 있는 체적이다. CTV는, GTV와 치료해야 할 잠재성의 타깃을 포함하는 체적이다. ITV는, 예측되는 생리적인 환자(P)의 움직임 등에 따라 CTV가 이동하는 것을 고려하여, CTV에 미리 구한 여유(마진)를 부가한 체적이다. PTV는, 치료를 행할 때에 행하는 환자(P)의 위치 맞춤에 있어서의 오차를 고려하여, ITV에 마진을 부가한 체적이다. 이들 체적에는, 하기 식 (1)의 관계가 성립되고 있다.
[수식 1]
Figure pct00001
의료용 화상 처리 장치(100)는, 치료 계획에 있어서 설정된 실제의 치료 시에 생길 가능성이 있는 오차를 고려한 여유(마진)를 더하여, 치료 빔의 조사야(照射野)를 결정한다. 실제의 치료 시에 생길 가능성이 있는 오차란, 예를 들면, 환자 위치 결정에 있어서의 환자 위치의 어긋남 등이다.
도 2는, 제1 실시형태의 학습 장치(110)의 구성을 나타내는 블록도이다. 도 2에 나타내는 학습 장치(110)는, 예를 들면, 제1 화상 취득부(111)와, 제1 위치 취득부(112)와, 제1 변환부(113)와, 제1 우도 화상 생성부(114)와, 학습부(115)와, 파라미터 기억부(116)를 구비한다. 이들 구성 요소(파라미터 기억부(116)를 제외함)는, 예를 들면, CPU 등의 하드웨어 프로세서가 프로그램(소프트웨어)을 실행함으로써 실현된다. 이들 구성 요소 중 일부 또는 전부는, LSI(Large Scale Integration)나 ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate Array), GPU(Graphics Processing Unit) 등의 하드웨어(회로부; circuitry를 포함함)에 의해 실현되어도 되고, 소프트웨어와 하드웨어의 협동에 의해 실현되어도 된다. 프로그램은, 미리 HDD(Hard Disk Drive)나 플래쉬 메모리 등의 기억 장치에 저장되어 있어도 되고, DVD나 CD-ROM 등의 착탈 가능한 기억 매체에 저장되어 있으며, 기억 매체가 드라이브 장치에 장착됨으로써 기억 장치에 인스톨되어도 된다.
제1 화상 취득부(111)는, 우선, 치료 시스템(1)을 구성하는 치료 장치(10)에 구비한 촬영 장치를 재현한다. 보다 구체적으로는, 도 1에 나타낸 바와 같이, 치료 시스템(1)을 구성하는 치료 장치(10)에서는, 방사선원(12)과 방사선 검출기(13)와의 위치가 고정되어 있다. 즉, 치료 장치(10)에서는, 방사선원(12)과 방사선 검출기(13)와의 세트에 의해 구성되는 촬영 장치가 촬영하는 방향이 고정되어 있다. 이 때문에, 방사선원(12)과 방사선 검출기(13)가 설치된 3차원 공간 내에 있어서 소정의 3차원 좌표를 정의했을 때, 방사선원(12)과 방사선 검출기(13)와의 위치를, 3축의 좌표값으로 나타낼 수 있다. 이하의 설명에 있어서는, 3축의 좌표값의 정보를, 방사선원(12)과 방사선 검출기(13)와의 세트에 의해 구성되는 촬영 장치의 지오메트리 정보라고 칭한다.
제1 화상 취득부(111)는, 환자(P)에 대하여 치료 빔(B)을 조사하기 전에, 제1 화상을 취득한다. 제1 화상이란, 예를 들면, 치료 계획 시에 촬영된 3차원 CT 화상 등의 투시 화상에 의거하여 작성(재현)한 DRR 화상이다. 구체적으로는, 제1 화상 취득부(111)는, 치료 계획 시에 취득한 투시 화상으로부터, 치료 시의 투시 화상(TI)을 촬영하는 촬영 장치의 지오메트리 정보에 따라서 DRR 화상을 작성한다. 제1 화상 취득부(111)는, 취득한 제1 화상을 학습부(115)에 출력한다. 제1 화상 취득부(111)가 취득하는 제1 화상은, 예를 들면, 환자(P)에 대한 과거의 치료 시 등, 학습 시나 그보다 전에 촬영된 X선 투시 화상 등이어도 된다.
제1 화상 취득부(111)는, 예를 들면, 마스크 화상 취득부(111a)와, 국소 영역 설정부(111b)를 구비한다. 마스크 화상 취득부(111a)는, 투시 화상(TI)에 주(主)피사체인 종양 이외(예를 들면, 치료 기구나 치료 장치)의 피사체가 찍혀 들어가 있을 경우에 그 영역을 덮어 가리는 마스크 화상을 생성한다. 마스크 화상 취득부(111a)는, 국소 영역 설정부(111b)에 종양 이외의 피사체를 덮어 가린 마스크 화상을 출력한다.
국소 영역 설정부(111b)는, 마스크 화상 취득부(111a)에 의해 출력된 마스크 화상 중에서, 종양 이외의 피사체가 찍혀 들어가 있는 부분이 작은 영역, 즉, 종양이 찍혀 들어가는 부분이 상대적으로 큰 영역(예를 들면 후술하는 창 영역(WA(TP)))을 설정하고, 제1 위치 취득부(112) 및 학습부(115)에 출력한다. 국소 영역 설정부(111b)는, 마스크 화상 중에서, 학습 효과가 높다고 예상되는 영역(예를 들면 후술하는 창 영역(WA(k)))을 설정하고, 학습부(115)에 출력한다. 국소 영역 설정부(111b)는, 의사에 의해 영역의 지정을 접수해도 되고, 하기와 같이 자동적으로 설정해도 된다. 후자의 경우, 국소 영역 설정부(111b)는, 창 영역(WA(k))에 관해서는, 후술하는 학습부(115)에 있어서의 학습 효과가 높다고 예상되는 제1 화상 및 마스크 화상을 설정하여 출력해도 된다. 학습 효과가 높다고 예상되는 화상이란, 예를 들면, 휘도값의 차분이 큰 화상이다.
제1 위치 취득부(112)는, 제1 화상 취득부(111)에 의해 출력된 제1 화상에 있어서의 타깃 위치의 정보를 취득한다. 타깃 위치의 정보란, 환자(P)의 환부, 즉 치료 빔(B)을 조사하는 대상의 종양 등이 존재하는 위치이다. 타깃 위치의 정보는, 의료용 화상 처리 장치(100)의 사용자(예를 들면 의사)에 의해 치료 계획 시 등에 특정된 위치(예를 들면, DRR상에서 확인할 수 있는 종양의 무게 중심에 지오메트리 정보를 반영한 위치)의 정보이다. 제1 위치 취득부(112)는, 제1 화상 및 타깃 위치의 정보를 제1 변환부(113)에 출력한다. 의료용 화상 처리 장치(100)의 사용자(예를 들면 의사)에 의해 치료 계획 시 등에 특정된 위치는 「타깃 위치」 혹은 「제1 위치」의 일례이다.
제1 변환부(113)는, 제1 위치 취득부(112)에 의해 출력된 타깃 위치의 정보에 의거하여, 제1 화상에 소정의 변환 처리를 행함으로써 변환 파라미터(CP) 및 역변환 파라미터(RCP)를 도출한다. 제1 변환부(113)는, 변환 파라미터(CP)에 의거하여 도출한 제1 화상의 화소 위치에 해당하는 타깃 위치를, 제1 우도 화상의 화소 위치에 대응짓기하여, 제1 우도 화상 생성부(114)에 출력한다. 제1 변환부(113)는, 역변환 파라미터(RCP)를 파라미터 기억부(116)에 출력한다. 제1 화상에 행하는 소정의 변환 처리와, 변환 파라미터(CP) 및 역변환 파라미터(RCP)에 대해서는, 후술한다.
제1 우도 화상 생성부(114)는, 제1 변환부(113)에 의해 출력된 타깃 위치를 기준으로 하여 제1 우도 화상을 생성하고, 학습부(115)에 출력한다. 제1 우도 화상이란, 예를 들면, 제1 화상 내의 타깃 위치의 우도(종양이 존재하는 위치라는 확실성)를 휘도 등으로 표현한 화상을 말한다.
학습부(115)는, 제1 화상 취득부(111)에 의해 출력된 제1 화상의 일부 또는 전부(보다 구체적으로는 창 영역의 화상)와, 제1 우도 화상 생성부(114)에 의해 출력된 제1 우도 화상에 의거하여, 제1 화상의 일부 또는 전부와 제1 우도 화상과의 관계를 회귀 학습한 모델을 나타내는 우도 계산 파라미터(LP)를 도출한다. 학습부(115)는, 우도 계산 파라미터(LP)를, 파라미터 기억부(116)에 출력한다. 호흡 위상이 대응하고 있는 제1 화상의 일부 또는 전부와 제1 우도 화상은, 「교사 데이터」의 일례이다.
학습부(115)는, 예를 들면, 부분 화상 생성부(115a)를 구비한다. 부분 화상 생성부(115a)는, 제1 우도 화상의 일부의 영역인 부분 화상을 생성한다.
도 3은, 제1 실시형태의 동체 추적 장치(120)의 구성을 나타내는 블록도이다. 도 3에 나타내는 동체 추적 장치(120)는, 예를 들면, 제2 화상 취득부(121)와, 제2 우도 화상 생성부(122)와, 제1 추정부(123)와, 제2 변환부(124)를 구비한다. 이들 구성 요소 중 일부 또는 전부는, 학습 장치(110)와 마찬가지로, LSI 등의 하드웨어에 의해 실현되어도 되고, 소프트웨어와 하드웨어의 협동에 의해 실현되어도 된다. 프로그램은, 미리 기억 장치에 저장되어 있어도 되고, 착탈 가능한 기억 매체에 저장되어 있으며, 기억 매체가 드라이브 장치에 장착됨으로써 기억 장치에 인스톨되어도 된다.
제2 화상 취득부(121)는, 환자(P)에 대하여 치료 빔(B)을 조사하기 직전이나 조사 중에 소정 시간의 간격으로 촬영된 투시 화상(TI)인, 제2 화상을 취득한다. 제2 화상 취득부(121)는, 제2 화상을 제2 우도 화상 생성부(122)에 출력한다.
제2 화상 취득부(121)는, 타깃 위치를, 사영(射影) 행렬로서 구한다. 이 때문에, 제2 화상 취득부(121)에서는, 각각의 촬영 장치에 대응하는 사영 행렬을 지오메트리 정보로부터 미리 구해 둔다. 즉, 제2 화상 취득부(121)는, 각각의 촬영 장치마다 사영 행렬을 구해 둔다. 그리고, 제2 화상 취득부(121)는, 2개의 제1 화상에 촬영된 타깃 위치로부터, 삼각 측량의 원리를 이용하여, 소정의 3차원 공간 내에 있는 타깃 위치를 나타내는 3차원 좌표의 좌표값을 계산한다. 이에 따라, 제2 화상 취득부(121)는, 소정의 3차원 공간 내에 있는 타깃 위치가, 환자(P)의 투시 화상(TI) 중 어느 위치에 촬영되어 있는 것인지를 계산한다.
제2 우도 화상 생성부(122)는, 제2 화상 취득부(121)에 의해 출력된 제2 화상에 의거하여, 제2 우도 화상을 생성한다. 제2 우도 화상 생성부(122)는, 예를 들면, 파라미터 기억부(116)에 의해 출력된 우도 계산 파라미터(LP)에 의거하여, 제2 화상에 대응하는 제2 우도 화상을 생성한다. 제2 우도 화상 생성부(122)는, 생성한 제2 우도 화상을, 제1 추정부(123)에 출력한다.
제1 추정부(123)는, 제2 우도 화상 생성부(122)에 의해 출력된 제2 우도 화상 및 제2 화상에 의거하여, 제2 화상 상의 타깃 위치를 추정한다. 제1 추정부(123)는, 추정한 타깃 위치를 제2 변환부(124)에 출력한다.
제2 변환부(124)는, 제1 추정부(123)에 의해 출력된, 추정한 타깃 위치에 의거하여, 타깃의 위치(즉, 치료 빔(B)을 조사하는 위치)를 도출한다. 제2 변환부(124)는, 예를 들면, 파라미터 기억부(116)에 의해 출력된 역변환 파라미터(RCP)를 이용하여, 제1 추정부(123)에 의해 출력된, 추정한 타깃 위치를 변환함으로써, 타깃의 위치를 도출한다. 제2 변환부(124)가 행하는 변환 처리는, 제1 변환부(113)에 의한 변환 처리와 역방향의 변환을 행하는 처리이다.
도 4는, 제1 실시형태의 의료용 화상 처리 장치(100)의 구성을 나타내는 블록도이다. 도 4에 나타내는 의료용 화상 처리 장치(100)는, 예를 들면, 학습 장치(110)와, 동체 추적 장치(120)를 구비한다.
이하, 도 5∼도 7을 이용하여, 제1 변환부(113)에 의한 제1 화상의 소정의 변환 처리와, 변환 파라미터(CP) 및 역변환 파라미터(RCP)의 도출 방법, 및 이들의 이용 방법에 대해서 설명한다.
도 5는, 제1 화상 취득부(111)가 투시 화상(TI)에 대하여 행하는 화상 해석의 형태의 일례를 나타내는 도면이다. 도 5의 투시 화상(TI)은, 치료 빔(B)을 조사하는 타깃 위치(TP)가 흉복부에 존재하는 것을 나타낸다.
제1 화상 취득부(111)는, 복수 시점의 투시 화상(TI)에 대하여 도 5에 나타내는 복수의 창 영역(WA)을 설정한다. 창 영역(WA)은, 예를 들면, 투시 화상(TI)의 특징적인 부분을 추출한 위치의 화상을 포함하도록 설정된다. 투시 화상(TI)의 특징적인 부분이란, 예를 들면, 종양, 마커, 횡격막 등 명료하게 찍히는 부분이다. 이하의 설명에서는, 화상 영역에 타깃 위치(TP)를 포함하는 창 영역으로서, 제1 우도 화상과 대응지어지는 실선으로 나타낸 창 영역을, 창 영역(WA(TP)), 제1 우도 화상과 대응지어지지 않는 파선으로 나타낸 창 영역을 창 영역(WA(k))(k는 정수)이라고 칭할 경우가 있다. 도 5의 예에 있어서는, k는 1부터 5까지의 정수이다. 창 영역(WA)이 제1 화상에 점하는 위치는, 고정적이다.
국소 영역 설정부(111b)는, 수정 타깃 위치(TP-1∼TP-6)의 궤적 모두를 포함하도록 창 영역(WA(TP))을 설정한다. 국소 영역 설정부(111b)는, 자동적으로 창 영역(WA)을 설정할 경우, TP-1∼TP-6에 대응하는 제1 화상의 각각의 휘도차가 큰 국소 영역을 창 영역(WA(k))으로 설정한다. 또는, 국소 영역 설정부(111b)는, 옵티컬 플로우의 궤적이 긴 국소 영역을 창 영역(WA(k))으로 하도록 설정해도 된다. 또는, 국소 영역 설정부(111b)는, 화상의 코너 검출 등에서 얻어지는 특징점을 많이 포함하는 국소 영역을 창 영역(WA(k))으로 해도 된다. 국소 영역 설정부(111b)는, 예를 들면, 환부가 폐에 위치할 경우, 투시 화상(TI)에 찍히는 타깃의 화상 패턴이 선명하기 때문에, 그 위치를 포함하는 창 영역(WA(k))을 우선적으로 설정해도 된다. 환부가 간장 등의 큰 장기의 내부에 있을 경우, 투시 화상(TI)에 찍히는 타깃 위치가 불선명할 가능성이 있다. 그 경우, 국소 영역 설정부(111b)는, 횡격막의 경계 등, 선명하게 찍히는 부분을 창 영역(WA(k))으로 한다.
도 6은, 복수 시점의 창 영역(WA(TP)) 내의 타깃 위치(TP)의 움직임의 특성의 일례를 나타내는 도면이다. 이하, 부호에 있어서의 하이픈 및 이것에 이어지는 숫자는, 어느 타깃 위치인지(어느 호흡 위상인지)를 나타내는 것으로 한다. 부호에 있어서의 하이픈 및 이것에 이어지는 숫자를 생략하여 설명을 행할 경우가 있다. 타깃 위치(TP)는, 예를 들면, 환자(P)의 호흡에 따라 이동한다. 타깃 위치(TP)는, 예를 들면, 도 6에 나타내는 바와 같이, 환자(P)의 호흡에 따라 타깃 위치(TP-1∼TP-6)의 순으로 이동한다. 따라서, 타깃 위치(TP)는, 횡격막이 현저하게 움직히는 환자(P)의 두미(頭尾) 방향으로는 크게 이동하는 경향이 있다. 한편, 타깃 위치(TP)는, 도 6에 나타내는 두미 방향과 직교하는 좌우 방향(전후 및 좌우를 축으로 하는 평면상의 임의의 방향)으로의 이동은 작다. 즉, 두미 방향을 투시 화상(TI)의 수직 방향에 맞춰 촬영하고 있을 경우, 타깃 위치(TP)를 투시 화상(TI)에 사영하면 투과 화상 수평 방향의 타깃 위치(TP)의 움직임이 작아진다. 즉, 타깃 위치(TP)에 의거하여 생성되는 제1 우도 화상의 수평 방향의 변화가 약간의 차에 불과하기 때문에, 학습부(115)에 의한 학습이 곤란해질 경우가 있다. 그래서, 제1 변환부(113)는, 학습부(115)에 의한 학습 효율을 높이는 변환 파라미터(CP)를 도출한다.
이하, 변환 파라미터(CP)에 대해서 설명한다. 변환 파라미터(CP)란, 제1 화상의 타깃 위치로부터 제1 우도 화상 상에서의 타깃 위치를 대응짓기 위해, 다음 선형변환 y＝Ax+b를 정하는 파라미터 A 및 b이다. 여기에서, x＝(ut, vt) 및 y＝(ut', vt')는, 각각 제1 화상 및 제1 우도 화상의 화상 좌표를 나타낸다. A는 2×2의 행렬이다. b는 오프셋이다. 예를 들면, A가 단위 행렬일 경우, 제1 화상의 각 화소 위치가, 제1 우도 화상 상의 화소 위치에 대응한다. 또는, 제1 화상의 화상 사이즈가 제1 우도 화상보다 클 경우에는, 제1 변환부(113)는, 제1 화상 내의 부분 영역의 화소에 제1 우도 화상의 각 화소를 대응짓는다.
다른 예로서, 제1 화상의 소수(小數) 화소가, 제1 우도 화상의 정수 정밀도의 화소 위치와 대응해도 된다. 즉, A의 대각(對角) 성분이 모두 1／2의 대각 행렬이며, 또한 b가 0 벡터일 경우는, 제1 화상의 화소 위치(x／2, y／2)의 화소를, 제1 우도 화상의 (x, y)에 대응짓는다.
상기 문제는, A가 단위 행렬일 경우의 동일 스케일에 의해 대응짓기를 행하고 있기 때문에, 제1 우도 화상 상에서 타깃 위치(TP)의 위치의 변화가 약간으로 되어 버리는 것이 원인이다. 그래서, 제1 화상의 소수 정밀도의 화소 위치를 제1 우도 화상의 정수 정밀도의 화소 위치와 대응짓도록 A를 조정한다. 이에 따라, 제1 우도 화상의 수평 방향의 변화를 줌으로써, 학습부(115)에 의한 학습의 효과를 높인다. 행렬 A는, 예를 들면, 제1 위치의 제1 화상 상에서의 움직임의 궤적이 타원 궤도일 경우, 제1 우도 화상 상에서는 그 궤적이 정원형이 되도록 조정한다. 이러한 행렬 A는, 「제1 위치의 시간적인 움직임에 의거하여 정해지는 변환 행렬」의 일례이다. 역변환 파라미터(RCP)는, 상기 선형 변환의 역변환 파라미터이다. 구체적으로는 행렬 A의 역행열 및 오프셋 b인 것이다.
이와 같이 선형 변환에 의해, 제1 화상 상의 타깃 위치를 수정한 것을, 수정 타깃 위치(TP#)라고 부른다. 수정 타깃 위치(TP#)는, 「제2 위치」의 일례이다. 도 6에 나타내는 환자(P)의 두미 방향은 「제1 방향」, 좌우 방향은 제1 방향과 교차하는 「제2 방향」의 일례이다.
이하, 제1 우도 화상 생성부(114)가 제1 우도 화상을 생성하는 처리에 대해서 설명한다. 도 7은, 제1 우도 화상 생성부(114)가 생성하는 제1 우도 화상의 일례이다. 도 7이 나타내는 휘도가 높은 부분(흰 부분)이, 타깃 위치가 존재하는 우도가 높은 것을 나타내는 부분이다. 도 7의 제1 우도 화상은, 화상의 오른쪽 윗 부분의 영역에 타깃 위치가 존재한다고 추측된다. 제1 우도 화상 생성부(114)는, 예를 들면, 제1 변환부(113)에 의해 출력된 제2 위치에 의거하여, 제1 우도 화상을 생성한다. 제1 우도 화상 생성부(114)는, 제2 위치를 나타내는 좌표가 (ut', vt')일 경우, 우도 화상 L(u, v)을 하기의 수식 (2)에 의해 도출한다.
[수식 2]
Figure pct00002
수식 (2)의 σ은, 이용자에 의해 설정되는 임의의 파라미터이다. σ은, 예를 들면, 1 화소당의 해상도가 높을수록, 보다 큰 값을 설정한다. 제1 우도 화상 생성부(114)가 생성하는 제1 우도 화상의 화상 사이즈는, 임의로 설정 가능하지만, 상술한 바와 같이 타깃 위치의 궤적이 제1 우도 화상 내에 들어가도록 설정하면 된다. 그 때문에, 제1 화상에 비해, 제1 우도 화상의 화상 사이즈는 작게 할 수 있다.
이하, 학습부(115)가 우도 계산 파라미터(LP)를 도출하는 처리에 대해서 설명한다. 학습부(115)는, 예를 들면, 제1 화상 상의 1개 내지는 복수의 창 영역(WA(k))으로부터 잘라내진 화상과 제1 우도 화상을 학습 데이터로 하고, 창 영역(WA(k))의 화상이 입력되면 제1 우도 화상을 도출하는 모델을 생성한다.
학습부(115)는, 예를 들면, 제1 화상 상의 1개 내지는 복수의 창 영역(WA(k))으로부터 잘라내진 화상을 연결한 벡터 x와 제1 우도 화상의 벡터 y와의 관계를 나타내는 수식이, 하기의 수식 (3)일 경우, 함수 f를 구한다. 학습부(115)는, 제1 화상의 화소값을 나열한 벡터를 x로 하고, 제1 우도 화상의 화소값을 나열한 벡터를 y로 하여 함수 f를 도출한다.
[수식 3]
Figure pct00003
학습부(115)는, 제1 우도 화상 생성부(114)에 의해 출력된 제1 우도 화상의 벡터 y를 이용하여, 오차 Δ＝y-f(x)가 작아지는 함수 f를 도출한다. 학습부(115)는, 딥 뉴럴 네트워크를 이용하여 함수 f를 도출해도 되고, 뉴럴 네트워크, 컨볼루션 뉴럴 네트워크, 결정목 등의 다른 기계 학습 방법을 이용하여 함수 f를 도출해도 된다. 학습부(115)는, 예를 들면, 복수 패턴의 소정의 수를 이용하여 복수 패턴의 함수 f를 도출했을 경우, 복수 패턴의 함수 f 모두를 학습해도 된다.
도 8은, 학습 장치(110)의 처리의 흐름의 일례를 나타내는 플로우 차트이다. 우선, 제1 화상 취득부(111)는, 복수 시각의 제1 화상을 취득한다(스텝 S100). 다음으로, 제1 위치 취득부(112)는, 취득한 복수 시각의 제1 화상에 대응하는 제1 위치를 취득한다(스텝 S102). 다음으로, 제1 변환부(113)는, 취득한 복수 시각의 제1 위치의 궤적에 의거하여, 변환 파라미터(CP) 및 역변환 파라미터(RCP)를 도출하여, 파라미터 기억부(116)에 기억시킨다(스텝 S104). 다음으로, 제1 변환부(113)는, 제1 위치를 변환 파라미터(CP)에 의거하여 변환한 제2 위치를 도출한다(스텝 S106). 다음으로, 제1 우도 화상 생성부(114)는, 제2 위치를 기준으로 하여 제1 우도 화상을 작성한다(스텝 S108). 다음으로, 학습부(115)는, 제2 화상 및 제1 우도 화상을 이용하여, 그들 사이의 관계를 학습한다(스텝 S110). 다음으로, 학습부(115)는, 파라미터 기억부(116)에 우도 계산 파라미터(LP)를 기억시킨다(스텝 S112). 이상, 본 플로우 차트의 처리를 종료한다.
다음으로, 동체 추적 장치(120)의 제2 우도 화상 생성부(122)가 제2 화상에 대응하는 제2 우도 화상을 생성하는 처리에 대해서 설명한다. 제2 우도 화상 생성부(122)는, 제2 화상 취득부(121)에 의해 출력된 제2 화상과, 파라미터 기억부(116)로부터 취득한 우도 계산 파라미터(LP)에 의거하여, 상술한 수식 (3)을 이용하여 제2 화상에 대응하는 제2 우도 화상을 생성한다. 제2 우도 화상 생성부(122)는, 국소 영역 설정부(111b)에서 설정된 창 영역(WA(k)) 내와 같은 위치에 있는 제2 화상의 부분 화상을 상술한 수식 (3)의 입력으로 한다. 여기에서 출력되는 제2 우도 화상과 제2 화상과의 화소 위치의 대응짓기는, 제1 우도 화상과 제1 화상의 대응짓기와 같다.
이하, 제1 추정부(123)에 의한 제2 화상 내의 제2 위치의 추정 방법에 대해서 설명한다. 제1 추정부(123)는, 예를 들면, 제2 우도 화상 생성부(122)에 의해 출력된 제2 우도 화상에서 우도가 최대가 되는 화소 위치를 제2 위치로 추정한다. 제1 추정부(123)는, 제2 우도 화상 생성부(122)에 의해 출력된 제2 우도 화상이 나타내는 우도를 가중치로서 이용하는, 각 화소 위치의 가중 평균으로부터 화소 위치를 도출하여 제2 위치로 해도 된다. 그 경우, 제1 추정부(123)는, 치료 계획 시나, 과거의 치료에 있어서 얻어진 종양 위치나 그 궤적과의 어긋남이 클수록, 가중치를 작게 하는 가중 평균을 행해도 된다. 제1 추정부(123)는, 제2 화상 취득부(121)가 최초에 취득한 제2 화상으로부터 타깃 위치를 취득할 수 있었을 경우에는, 그 타깃 위치에 의거하여, 다음번 이후 취득하는 제2 화상에 있어서의 제2 위치를 예측한다. 예측 위치의 후보를 복수 준비하고, 그들 위치에 대응하는 제2 우도 화상의 우도를 가중치로 한 가중 평균한 위치를 제2 위치로 해도 된다. 예측 위치의 후보는, 파티클 필터 등의 방법이 있다.
제1 추정부(123)는, 추정한 타깃 위치가 3차원 좌표일 경우, 예측한 위치를 각각의 화상(투시 화상(TI-1 및 TI-2))에 사영한 위치의 제2 우도 화상으로부터 우도를 취득하고, 그 곱을 당해 추정한 타깃 위치의 우도로 해도 된다. 예측한 위치가 2차원 좌표일 경우, 에피폴라 구속이 성립되는 2개의 화상 상에서의 타깃 위치에 대한 우도를 도출해도 된다.
이하, 제2 변환부(124)가, 역변환 파라미터(RCP)를 이용하여 타깃 위치를 변환하는 처리에 대해서 설명한다. 제2 변환부(124)는, 제1 추정부(123)에 의해 출력된 추정한 제2 우도 화상 상의 타깃 위치 y＝(u', v')와 파라미터 기억부(116)로부터 취득한 역변환 파라미터(RCP)(A-1, b)에 의해, 하기의 식 (4)로 나타내는 제2 화상 상의 타깃 위치 x로 변환한다.
[수식 4]
Figure pct00004
즉, 제2 변환부(124)는, x＝A-1y-b를 계산한다. 제2 변환부(124)는, 변환 후의 타깃 위치에 대하여, 치료 계획 단계에서 작성한 제2 위치의 궤적의 모델을 이용하여 보정한 위치를 출력해도 된다. 제2 변환부(124)는, 제1 위치 취득부(112)로부터 취득한 종양의 제1 화상 상에서의 위치인 (ut, vt)에 의거하여, ut 및 vt의 관계 ut＝r(vt)(r은, 예를 들면 함수)을 모델화한다. 모델은, 예를 들면, ut＝avt+b(a, b는 임의의 값)과 같은 수식으로 나타낼 수 있는 선형 회귀 모델이다. 제2 변환부(124)는, 도출한 모델을 이용하여, 하기에 나타내는 수식 (5)와 같이 출력값을 치환해도 된다.
[수식 5]
Figure pct00005
제2 화상 취득부(121)가 취득하는 제2 화상은, 예를 들면, 도 1에서 나타낸 치료 장치(10)에 있어서, 다른 방향으로부터 동시에 촬영된 2매의 화상(투시 화상(TI-1 및 TI-2))이다. 즉, 제2 화상 취득부(121)는, 각각의 화상에 대응하는 제2 위치를 취득할 수 있다. 그래서, 제2 화상 취득부(121)는, 투시 화상(TI-1 및 TI-2)의 각각으로부터, 에피폴라 구속이 성립되는 3차원 공간에서의 제2 위치를 구해도 된다. 에피폴라 구속이란, 두 개의 촬영 장치의 상대 위치 관계가 기지(旣知)인 것에 의거한 기하 제약인 것을 말하며, 하나의 화상 상에 촬상된 동일 피사체의 중심점이, 다른 화상 상에서는 에피폴라선상에 구속된다는 제약인 것을 가리킨다. 단, 각각의 화상에 대응하는 제2 위치가 에피폴라 구속에 따른다고는 한정할 수 없기 때문에, 제2 화상 취득부(121)는, 최소 제곱법으로 3차원 공간에서의 제2 위치를 도출한다.
도 9는, 동체 추적 장치(120)의 처리의 흐름의 일례를 나타내는 플로우 차트이다. 도 9에 나타내는 플로우 차트는, 예를 들면, 도 8에 나타내는 플로우 차트의 처리 후에 행해진다.
우선, 제2 화상 취득부(121)는, 제2 화상을 취득한다(스텝 S200). 다음으로, 제2 우도 화상 생성부(122)는, 제2 우도 화상을 생성한다(스텝 S202). 다음으로, 제1 추정부(123)는, 제2 우도 화상에 의거하여 제2 위치를 도출한다(스텝 S204). 다음으로, 제2 변환부(124)는, 제2 위치를 역변환 파라미터에 의해 변환하고, 타깃의 위치를 도출한다(스텝 S206). 이상, 본 플로우 차트의 처리를 종료한다.
상술한 바와 같이, 제1 실시형태의 의료용 화상 처리 장치(100)에서는, 치료 계획 시에 도출한 타깃 위치를 학습하고, 투시 화상(TI)에 있어서의 타깃 위치의 도출 시에 이용하는 변환 파라미터(CP)와 역변환 파라미터(RCP), 및 투시 화상에 있어서의 우도 도출에 이용하는 우도 계산 파라미터(LP)를 도출하는 학습 장치(110)와, 치료 빔(B) 조사 시에 취득하는 투시 화상(TI)과 학습 장치(110)가 도출한 각종 파라미터를 이용하여, 치료 빔(B) 조사 시에 취득하는 투시 화상(TI)에 있어서의 우도를 이용하여 타깃 위치의 도출을 행하는 동체 추적 장치(120)에 의해, 방사선 치료에 있어서, 조사 중인 환자(P)의 투시 화상(TI)으로부터 타깃의 위치를, 고속·고정밀도로 추적할 수 있다.
(제2 실시형태)
이하, 제2 실시형태에 대해서 설명한다. 제2 실시형태의 의료용 화상 처리 장치(100A)에 대해서 설명한다. 이하의 설명에 있어서, 제1 실시형태에서 설명한 내용과 마찬가지의 기능을 갖는 부분에 대해서는, 마찬가지의 명칭 및 부호를 부여하는 것으로 하고, 그 기능에 관한 구체적인 설명은 생략한다.
도 10은, 동체 추적 장치(120A)의 구성을 나타내는 블록도이다. 도 10의 동체 추적 장치(120A)는, 도 3에서 나타낸 제1 실시형태의 동체 추적 장치(120)와 비교하여, 신뢰도 도출부(125), 제2 추정부(126), 결정부(127) 및 기억부(128)를 구비하는 점이 다르다. 따라서, 이하에서는 신뢰도 도출부(125), 제2 추정부(126), 결정부(127) 및 기억부(128)를 중심으로 설명한다.
신뢰도 도출부(125)는, 제2 우도 화상 생성부(122)에 의해 출력된 제2 우도 화상에 의거하여, 신뢰도를 도출한다. 신뢰도란, 제2 우도 화상 생성부(122)로부터 생성되는 제2 우도 화상의 신뢰성을 평가하는 정도를 말한다. 신뢰도 도출부(125)는, 도출한 신뢰도를, 결정부(127)에 출력한다.
제2 추정부(126)는, 제2 화상 취득부(121)로부터 출력된 제2 화상으로부터, 타깃 위치를 추정하고, 추정 결과를 결정부(127)에 출력한다. 제2 추정부(126)는, 예를 들면, 치료 계획 시 등에 취득한 투시 화상(TI)이나, 치료 빔(B) 조사 전에 취득한 제2 화상의 타깃 위치를 포함하는 화상 영역을 템플릿 화상으로 하여, 제2 화상에 대하여 매칭 처리를 행하는, 템플릿 매칭이다. 제2 추정부(126)는, 예를 들면, 템플릿 화상과의 합치 정도(또는 상관 정도)의 높음을 우도로 간주하여, 제1 추정부(123)와 마찬가지로 타깃 위치의 2차원 좌표, 또는 3차원 좌표를 도출한다. 여기에서의 합치 정도는 예를 들면 정규화 상호 상관에 의해 구한다. 제2 추정부(126)는, 기억부(128)에 템플릿 매칭을 행할 때에 이용하는 템플릿 화상을 기억시킨다.
결정부(127)는, 제2 변환부(124)로부터 출력된 타깃 위치와, 제2 추정부(126)로부터 출력된 추정된 타깃 위치 중 어느 쪽을 치료 빔(B)의 타깃 위치로 할지를 결정한다. 결정부(127)는, 예를 들면, 신뢰도 도출부(125)로부터 출력된 신뢰도에 의거하여 결정한다. 결정부(127)는, 예를 들면, 신뢰도가 미리 설정된 임계값 이상일 경우에는, 제2 변환부(124)로부터 출력된 타깃 위치를 채용한다고 결정한다. 결정부(127)는, 신뢰도가 미리 설정된 임계값 미만일 경우에는, 제2 추정부(126)로부터 출력된 추정된 타깃 위치를 채용한다고 결정한다. 결정부(127)는, 「제3 추정부」의 일례이다. 결정부(127)가 채용한다고 결정한 타깃 위치는 「제3 위치」의 일례이다.
이하, 신뢰도 도출부(125)에 의한 신뢰도의 도출 처리에 대해서 설명한다. 신뢰도 도출부(125)는, 예를 들면, 학습부(115)가 도출한 함수 f를 이용하여 신뢰도를 산출한다. 신뢰도 도출부(125)는, 제2 화상이 함수 f를 도출했을 때의 제1 화상과 유사한 투시 화상(TI)일 경우에는, 신뢰도가 높다고 도출한다. 신뢰도 도출부(125)는, 제2 화상이 함수 f를 도출했을 때의 제1 화상과는 다른 패턴의 투시 화상(TI)일 경우에는, 신뢰성이 낮다고 도출한다. 이러한 케이스는, 제1 화상 촬영 시와 제2 화상 촬영 시의 환자(P)의 호흡의 깊이의 차이 등으로 생길 경우가 있다.
도 11 및 도 12를 이용하여, 신뢰도 도출부(125)에 의해 도출된 신뢰도가 높을 경우와 도출된 신뢰도가 낮을 경우의 우도 화상의 차이에 대해서 설명한다. 도 11은, 제2 실시형태의 동체 추적 장치(120A)가 생성한 제2 우도 화상의 일례이다. 신뢰도 도출부(125)는, 도 11에 나타내는 바와 같은 휘도가 가장 높은 영역과 휘도가 가장 낮은 영역의 휘도의 차(명암의 차)가 큰 우도 화상은, 신뢰도가 높다고 도출한다. 신뢰도 도출부(125)는, 도 11에 나타내는 바와 같이, 휘도가 가장 높은 영역의 윤곽이 비교적 뚜렷할 경우나, 휘도가 일정값 이상인 영역이 구성하는 형상이 둥근 형상일 경우에 신뢰도가 높다고 도출한다. 도 12는, 제2 실시형태의 동체 추적 장치(120A)가 생성한 제2 우도 화상의 다른 일례이다. 신뢰도 도출부(125)는, 도 12에 나타내는 바와 같은 휘도가 가장 높은 영역과 휘도가 가장 낮은 영역의 휘도의 차(명암의 차)가 비교적 작은 우도 화상은, 신뢰도가 낮다고 도출한다. 신뢰도 도출부(125)는, 도 12에 나타내는 바와 같이, 휘도가 가장 높은 영역의 윤곽이 애매할 경우나, 휘도가 일정값 이상인 영역이 구성하는 형상이 둥근 형상이 아닐 경우에 신뢰도가 낮다고 도출한다.
제1 우도 화상 생성부(114)는, 수식 (2)를 이용하여, 도 13에 나타낸 바와 같은 신뢰도가 높은 우도 화상 패치를 인공적으로 작성한다. 따라서, 우도 산출부(118)에서 얻어지는 학습 화상도 도 11에 가까운 화상이 될 가능성이 높지만, 도 12와 같은 신뢰도가 낮은 우도 화상이 출력될 가능성도 있다. 그래서, 신뢰도 도출부(125)는, 예를 들면, 제2 우도 화상 생성부(122)에서 출력된 제2 우도 화상과, 인공적으로 작성한 우도 화상 패치와의 상관값을, 신뢰도로서 도출한다.
신뢰도 도출부(125)는, 예를 들면, 제2 우도 화상 생성부(122)에서 출력된 제2 우도 화상 내에, 도 13에 나타낸 제1 우도 화상 생성부(114)와 마찬가지의 방법으로 생성한 인공 화상 패치를 주사하여, 각각의 위치의 상관값을 산출하고, 산출한 상관값의 최대값, 또는 평균값을 신뢰도로서 도출한다. 신뢰도 도출부(125)는, 인공 화상 패치를 주사하는 범위를, 제2 우도 화상 생성부(122)에서 출력된 제2 우도 화상 내의 우도가 최대가 되는 위치를 제2 변환부(124)로 변환한 위치에 한정해도 되고, 그 위치를 포함하는 주변으로 한정해도 된다.
결정부(127)는, 예를 들면, 신뢰도가 소정의 값과 비교하여 낮을 경우, 치료 시스템(1)의 디스플레이 등의 출력 장치에 유저에게 경고 메시지를 표시시킨다. 또는, 결정부(127)는, 치료 빔(B)을 조사 중이면, 치료 시스템(1) 또는 방사선원(12)에 대하여 조사를 정지하기 위한 명령을 출력해도 된다. 결정부(127)는, 제2 변환부(124)로부터 출력된 타깃 위치와, 신뢰도 도출부(125)로부터 출력된 신뢰도와, 제2 추정부(126)로부터 추정된 타깃 위치를 취득하고, 그들을 이용하여 결정한 타깃 위치를 출력한다. 결정부(127)는, 예를 들면, 하기의 수식 (6) 또는 수식 (7)에 따라서 타깃의 위치를 결정한다. 여기에서, α 및 α1는 신뢰도, Z1는 제2 변환부(124)가 도출한 위치 1, Z2는 제2 추정부(126)가 도출한 위치 2, α2는 주사한 인공 화상 패치와의 상관값을 나타낸다.
[수식 6]
Figure pct00006
도 14는, 의료용 화상 처리 장치(100A)의 동체 추적 장치(120A)의 처리의 흐름의 일례를 나타내는 플로우 차트이다. 도 9에서 나타낸 처리 플로우와 공통되는 스텝 S200 내지 스텝 S206에 대한 설명은 생략한다.
신뢰도 도출부(125)는, 스텝 S202의 처리 후, 제2 우도 화상에 의거하여 신뢰도를 도출한다(스텝 S208). 제2 추정부(126)는, 스텝 S200의 처리 후, 제2 화상에 의거하여 제2 위치를 추정한다(스텝 S210). 결정부(127)는, 스텝 S206, 스텝 S208 및 스텝 S210의 처리 결과로부터, 타깃 위치를 결정한다(스텝 S212). 이상, 본 플로우 차트의 처리를 종료한다.
상술한 바와 같이, 제2 실시형태의 의료용 화상 처리 장치(100A)는, 제1 실시형태의 의료용 화상 처리 장치(100)와 마찬가지의 효과를 발휘하는 것 외, 학습 장치(110)에 의한 제1 화상에는 나타나지 않는 투시 화상의 패턴이, 제2 화상의 촬영 시에 나타났을 경우, 동체 추적 장치(120A)의 제2 우도 화상 생성부(122)가 생성한 제2 우도 화상이 원하는 결과가 되지 않을 경우여도, 제2 우도 화상 생성부(122)에 의해 출력되는 제2 우도 화상의 신뢰도를 도출하고, 그 신뢰도에 의거하여 타깃 위치를 결정하거나, 또는 중지한다는, 로버스트니스(로버스트 안정성)를 실현할 수 있다.
(제3 실시형태)
이하, 제3 실시형태에 대해서 설명한다. 제3 실시형태의 동체 추적 장치(120B)에 대해서 설명한다.
도 15는, 제3 실시형태의 동체 추적 장치(120B)의 구성을 나타낸 블록도이다. 이하에서는 제2 실시형태의 동체 추적 장치(120A)와, 제3 실시형태의 동체 추적 장치(120B)의 차이를 중심으로 설명한다.
동체 추적 장치(120B)의 제2 추정부(126)는, 제2 화상 취득부(121)로부터 출력된 제2 화상과, 신뢰도 도출부(125)로부터 출력된 신뢰도에 의거하여, 제2 화상 내의 타깃 위치를 추정함과 함께, 제2 추정부(126)에 있어서 타깃 위치를 추정하기 위해 필요한 추정 파라미터를 갱신하고, 추정 결과를 결정부(127)에 출력한다. 일반적으로, 환자(P)의 체내는 경시적(經時的)인 변화가 있기 때문에, 제2 추정부(126)에 있어서 사용하는 템플릿 화상은, 최신 상태가 반영된 화상으로 갱신되는 것이 바람직하다. 그래서, 동체 추적 장치(120B)는, 신뢰도 도출부(125)가 도출한 신뢰도가 높을 경우에 대응지어진 부분 화상을, 템플릿 화상으로서 기억부(128)에 기억시킨다.
도 16은, 의료용 화상 처리 장치(100B)의 동체 추적 장치(120B)의 처리의 흐름의 일례를 나타내는 플로우 차트이다. 도 9, 및 도 14에서 나타낸 처리 플로우와 공통되는 스텝에 대한 설명은 생략한다.
스텝 S212의 처리 후, 제2 추정부(126)는, 추정 파라미터를 도출하여 기억한다(스텝 S214). 이상, 본 플로우 차트의 처리를 종료한다.
상술한 바와 같이, 제3 실시형태의 의료용 화상 처리 장치(100B)는, 제2 실시형태의 의료용 화상 처리 장치(100A)와 마찬가지의 효과를 발휘하는 것 외, 신뢰도가 높은 템플릿 화상으로 갱신함으로써, 환자(P)의 환부의 최신 상태를 반영하여 타깃 위치를 결정할 수 있다.
이상 설명한 적어도 하나의 실시형태에 따르면, 치료 계획 시에 도출한 타깃 위치를 학습하고, 투시 화상(TI)에 있어서의 타깃 위치의 도출 시에 이용하는 변환 파라미터(CP)와 역변환 파라미터(RCP), 및 투시 화상에 있어서의 우도 도출에 이용하는 우도 계산 파라미터(LP)를 도출하는 학습 장치(110)와, 치료 빔(B) 조사 시에 취득하는 투시 화상(TI)과 학습 장치(110)의 도출한 각종 파라미터를 이용하여, 치료 빔(B) 조사 시에 취득하는 투시 화상(TI)에 있어서의 우도를 이용하여 타깃 위치의 도출을 행하는 동체 추적 장치(120)를 가짐으로써, 방사선 치료에 있어서, 조사 중인 환자(P)의 투시 화상(TI)으로부터 타깃의 위치를, 고속이며 또한 고정밀도로 추적할 수 있다.
본 발명의 몇 가지 실시형태를 설명했지만, 이들 실시형태는, 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하고 있지 않다. 이들 실시형태는, 그 밖의 다양한 형태로 실시되는 것이 가능하며, 발명의 요지를 일탈하지 않는 범위에서, 각종 생략, 치환, 변경을 행할 수 있다. 이들 실시형태나 그 변형은, 발명의 범위나 요지에 포함되는 것과 마찬가지로, 첨부하는 청구범위에 기재된 발명과 그 균등한 범위에 포함되는 것이다.
상기 각 실시형태에 따르면, 방사선 치료를 개시하기 전에 행하는 환자의 위치 맞춤의 작업에 있어서 환자의 위치의 확인을 용이하게 할 수 있는 의료용 화상 처리 장치, 치료 시스템, 및 의료용 화상 처리 프로그램을 제공할 수 있다.
1: 치료 시스템
10: 치료 장치
100, 100A, 100B: 의료용 화상 처리 장치
110: 학습 장치
111: 제1 화상 취득부
111a: 마스크 화상 취득부
111b: 국소 영역 설정부
112: 제1 위치 취득부
113: 제1 변환부
114: 제1 우도 화상 생성부
115: 학습부
116: 파라미터 기억부
120, 120A, 120B: 동체 추적 장치
121: 제2 화상 취득부
122: 제2 우도 화상 생성부
123: 제1 추정부
124: 제2 변환부
125: 신뢰도 도출부
126: 제2 추정부
127: 결정부
128: 기억부

Claims (11)

  1. 환자를 촬영한 복수 시점(時點)의 투시 화상인 복수의 제1 화상의 각각에 있어서의 타깃 위치를, 제1 위치로서 취득하는 제1 위치 취득부와,
    상기 복수의 제1 화상에 있어서의 상기 제1 위치의 각각을, 상기 제1 위치의 시간적인 움직임이 큰 제1 방향에 교차하는 제2 방향으로 움직임을 확대한 제2 위치로 변환하는 제1 변환부와,
    상기 제2 위치를 기준으로 하여, 상기 제2 위치에 해당하는 것의 확실성을 나타내는 우도(尤度)의 분포를 나타내는 제1 우도 화상을 생성하는 제1 우도 화상 생성부와,
    상기 복수의 제1 화상의 각각의 일부 또는 전부와 상기 제1 우도 화상을 교사 데이터로 하고, 투시 화상의 일부 또는 전부가 주어지면 상기 제2 위치에 해당하는 것의 확실성을 나타내는 우도의 분포를 나타내는 제2 우도 화상을 도출하는 모델을 출력하는 학습부를 구비하는 의료용 화상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 화상과는 다른 시각에 촬영된 상기 투시 화상인 제2 화상을 취득하는 제2 화상 취득부와,
    상기 제2 화상의 일부 또는 전부를 상기 모델에 입력함으로써, 상기 제2 우도 화상을 생성하는 제2 우도 화상 생성부와,
    상기 제2 우도 화상에 의거하여 상기 제2 화상에 있어서의 제2 위치를 추정하는 제1 추정부와,
    상기 제1 추정부에 의해 추정된 상기 제2 위치를, 상기 제1 변환부가 행하는 변환의 역방향으로 변환하여 상기 제2 화상에 있어서의 상기 환자의 타깃 위치로서 출력하는 제2 변환부를 더 구비하는, 의료용 화상 처리 장치.
  3. 제2항에 있어서,
    상기 제2 우도 화상에 있어서의 우도의 분포에 의거하여, 상기 제2 위치의 신뢰도를 도출하는 신뢰도 도출부를 더 구비하는, 의료용 화상 처리 장치.
  4. 제3항에 있어서,
    상기 신뢰도에 의거하여, 상기 제2 화상에 있어서의 상기 제1 위치 또는 상기 제2 위치 또는 제2 위치를 역변환한 위치와 대응지어진 부분 화상을 추출해서 기억부에 기억시키고, 상기 제2 화상의 일부와 상기 부분 화상과의 합치 정도에 의거하여 상기 제2 화상에 있어서의 상기 환자의 타깃 위치를 추정하는 제2 추정부를 더 구비하는, 의료용 화상 처리 장치.
  5. 제4항에 있어서,
    상기 제2 변환부에 의해 출력된 상기 환자의 타깃 위치와, 상기 제2 추정부에 의해 추정된 상기 환자의 타깃 위치와, 상기 신뢰도 및 상기 합치 정도에 의거하여, 제3 위치를 추정하는 제3 추정부를 더 구비하는, 의료용 화상 처리 장치.
  6. 제1항에 있어서,
    상기 제1 변환부는, 상기 제1 위치의 시간적인 움직임에 의거하여 정해지는 변환 행렬을 이용하여, 상기 제1 위치를 상기 제2 위치로 변환하는, 의료용 화상 처리 장치.
  7. 제2항에 있어서,
    상기 제1 화상의 화소값에 의거하여, 1개 이상의 상기 제1 화상의 국소 영역을 설정하는 국소 영역 설정부를 더 구비하고,
    상기 국소 영역 중 적어도 하나에는, 상기 제1 우도 화상이 대응지어지고,
    상기 학습부는, 상기 제1 우도 화상이 대응지어지지 않은 상기 국소 영역의 화상과, 상기 제1 우도 화상이 대응지어진 상기 국소 영역의 화상을 교사 데이터로 하여, 상기 제2 우도 화상을 회귀 학습하는, 의료용 화상 처리 장치.
  8. 제7항에 있어서,
    상기 국소 영역 설정부는, 호흡 위상이 서로 다른 복수의 제1 화상에 있어서의 상기 제1 위치의 궤적을 포함하도록, 상기 제1 우도 화상이 대응지어지는 상기 국소 영역을 설정하고,
    상기 제1 화상의 휘도에 의거하여, 상기 국소 영역을 설정하는, 의료용 화상 처리 장치.
  9. 제7항에 있어서,
    상기 제1 화상 내의 상기 투시 화상의 주(主)피사체가 아닌 피사체가 찍혀 들어가는 영역을 나타내는 마스크 화상을 취득하는 마스크 화상 취득부를 더 구비하고,
    상기 국소 영역 설정부는,
    상기 마스크 화상이 나타내는, 상기 피사체가 찍혀 들어가는 영역이 작은 국소 영역을 선택하는, 의료용 화상 처리 장치.
  10. 컴퓨터가,
    환자를 촬영한 복수 시점의 투시 화상인 복수의 제1 화상의 각각으로부터 제1 위치를 취득하고,
    상기 복수의 제1 화상으로부터 취득된 복수의 상기 제1 위치의 분포를, 상기 제1 위치의 움직임이 큰 제1 방향에 교차하는 제2 방향으로 확대함으로써, 상기 복수의 제1 위치를 복수의 제2 위치로 변환하고,
    상기 복수의 제2 위치에 의거하여, 제1 우도 화상을 생성하고,
    상기 투시 화상으로부터 상기 제1 우도 화상을 회귀 학습한 모델로서, 상기 투시 화상이 주어지면 상기 제1 위치의 우도 화상을 도출하는 모델을 출력하는, 의료용 화상 처리 방법.
  11. 컴퓨터에,
    환자를 촬영한 복수 시점의 투시 화상인 복수의 제1 화상의 각각으로부터 제1 위치를 취득시키고,
    상기 복수의 제1 화상으로부터 취득된 복수의 상기 제1 위치의 분포를, 상기 제1 위치의 움직임이 큰 제1 방향에 교차하는 제2 방향으로 확대시킴으로써, 상기 복수의 제1 위치를 복수의 제2 위치로 변환시키고,
    상기 복수의 제2 위치에 의거하여, 제1 우도 화상을 생성시키고,
    상기 투시 화상으로부터 상기 제1 우도 화상을 회귀 학습한 모델로서, 상기 투시 화상이 주어지면 상기 제1 위치의 우도 화상을 도출하는 모델을 출력시키는, 프로그램.
KR1020207028777A 2018-04-09 2019-03-08 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램 KR102469141B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018075024A JP7093075B2 (ja) 2018-04-09 2018-04-09 医用画像処理装置、医用画像処理方法、およびプログラム
JPJP-P-2018-075024 2018-04-09
PCT/JP2019/009394 WO2019198394A1 (ja) 2018-04-09 2019-03-08 医用画像処理装置、医用画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
KR20200129142A true KR20200129142A (ko) 2020-11-17
KR102469141B1 KR102469141B1 (ko) 2022-11-22

Family

ID=68162919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207028777A KR102469141B1 (ko) 2018-04-09 2019-03-08 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램

Country Status (8)

Country Link
US (1) US11830184B2 (ko)
EP (1) EP3777686B1 (ko)
JP (1) JP7093075B2 (ko)
KR (1) KR102469141B1 (ko)
CN (1) CN111954494B (ko)
RU (1) RU2762146C1 (ko)
TW (1) TWI708214B (ko)
WO (1) WO2019198394A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7252847B2 (ja) * 2019-07-08 2023-04-05 株式会社日立製作所 動体追跡装置および放射線治療システム、ならびに動体追跡装置の作動方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819790B2 (en) 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
US20100172469A1 (en) * 2008-09-05 2010-07-08 Per Rugaard Poulsen Method to estimate position, motion and trajectory of a target with a single x-ray imager
US20180193672A1 (en) * 2016-08-25 2018-07-12 Kabushiki Kaisha Toshiba Medical image processing apparatus, treatment system, and medical image processing program

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4169688B2 (ja) * 2003-12-02 2008-10-22 オリンパス株式会社 ヒューマンインタフェース装置
US20070140551A1 (en) * 2005-12-16 2007-06-21 Chao He Banknote validation
US9248312B2 (en) * 2007-10-26 2016-02-02 Accuray Incorporated Automatic correlation modeling of an internal target
WO2012050149A1 (ja) * 2010-10-14 2012-04-19 株式会社 日立メディコ Ｘ線ｃｔ装置及び画像再構成方法
EP2444934A1 (en) * 2010-10-19 2012-04-25 Koninklijke Philips Electronics N.V. Medical imaging system, computer-implemented method, and computer program product for identifying a treated region in a medical image
WO2012077287A1 (ja) * 2010-12-09 2012-06-14 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法
US9710730B2 (en) * 2011-02-11 2017-07-18 Microsoft Technology Licensing, Llc Image registration
JP5763965B2 (ja) * 2011-05-11 2015-08-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6072819B2 (ja) 2011-12-08 2017-02-01 ファイヴ３ ゲノミクス，エルエルシー Ｍｄｍ２を含む二重微小染色体およびその方法
US20150142457A1 (en) * 2013-11-20 2015-05-21 Toshiba Medical Systems Corporation Apparatus for, and method of, data validation
US9943247B2 (en) * 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
JP6493877B2 (ja) * 2015-08-25 2019-04-03 富士フイルム株式会社 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
JP6735583B2 (ja) * 2016-03-17 2020-08-05 キヤノン株式会社 ズーム制御装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
EP3236418B1 (en) * 2016-04-13 2020-10-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6699482B2 (ja) * 2016-09-21 2020-05-27 株式会社島津製作所 逐次近似画像再構成方法、逐次近似画像再構成プログラムおよび断層撮影装置
JP6310118B2 (ja) * 2017-04-24 2018-04-11 株式会社東芝 画像処理装置、治療システム及び画像処理方法
JP6349448B1 (ja) * 2017-08-23 2018-06-27 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
JP7078955B2 (ja) * 2018-07-26 2022-06-01 東芝エネルギーシステムズ株式会社 治療システム、キャリブレーション方法、およびプログラム
US10937173B2 (en) * 2018-11-15 2021-03-02 Qualcomm Incorporated Predicting subject body poses and subject movement intent using probabilistic generative models
US10922584B2 (en) * 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
JP7311109B2 (ja) * 2019-05-14 2023-07-19 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
JP7252847B2 (ja) * 2019-07-08 2023-04-05 株式会社日立製作所 動体追跡装置および放射線治療システム、ならびに動体追跡装置の作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819790B2 (en) 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
US20100172469A1 (en) * 2008-09-05 2010-07-08 Per Rugaard Poulsen Method to estimate position, motion and trajectory of a target with a single x-ray imager
US20180193672A1 (en) * 2016-08-25 2018-07-12 Kabushiki Kaisha Toshiba Medical image processing apparatus, treatment system, and medical image processing program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chung H, Poulsen PR, Keall PJ, Cho S, Cho B. Reconstruction of implanted marker trajectories from cone-beam CT projection images using interdimensional correlation modeling. Med Phys. 2016 Aug;43(8): *
Li R, Fahimian BP, Xing L. A Bayesian approach to real-time 3D tumor localization via monoscopic x-ray imaging during treatment delivery. Med Phys. 2011 Jul;38(7):4205-14. doi: 10.1118/1.3598435. PMLi *

Also Published As

Publication number Publication date
CN111954494A (zh) 2020-11-17
JP2019180799A (ja) 2019-10-24
EP3777686A1 (en) 2021-02-17
CN111954494B (zh) 2023-12-01
EP3777686A4 (en) 2022-01-05
WO2019198394A1 (ja) 2019-10-17
TW201944352A (zh) 2019-11-16
EP3777686B1 (en) 2022-11-09
KR102469141B1 (ko) 2022-11-22
JP7093075B2 (ja) 2022-06-29
US20210035293A1 (en) 2021-02-04
US11830184B2 (en) 2023-11-28
TWI708214B (zh) 2020-10-21
RU2762146C1 (ru) 2021-12-16

Similar Documents

Publication Publication Date Title
US8597211B2 (en) Determination of indicator body parts and pre-indicator trajectories
JP7125700B2 (ja) Ｘ線透視装置およびｘ線透視方法
JP5797352B1 (ja) ３次元物体を追跡するための方法
US9684961B2 (en) Scan region determining apparatus
JP5134957B2 (ja) 運動中の標的の動的追跡
JP6964309B2 (ja) 放射線治療用追跡装置
US10143431B2 (en) Medical image processing apparatus and method, and radiotherapeutic apparatus
KR20190074977A (ko) 의용 장치, 및 의용 장치의 제어 방법
US20160155228A1 (en) Medical image generation apparatus, method, and program
KR102579039B1 (ko) 의료용 화상 처리 장치, 치료 시스템, 및 의료용 화상 처리 프로그램
CN101689298A (zh) 用于对对象成像的成像系统和成像方法
US20220054862A1 (en) Medical image processing device, storage medium, medical device, and treatment system
KR102469141B1 (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램
JP6249972B2 (ja) 粒子線治療システム
JP2017225487A (ja) 放射線治療支援システム、画像生成方法および画像生成プログラム
JP2021061895A (ja) 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
JP7513980B2 (ja) 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム
EP4395652A1 (en) Object visualisation in x-ray imaging
KR20230117404A (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능한 기억 매체, 및 방사선 치료 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant