KR102248191B1 - 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치 - Google Patents

콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치 Download PDF

Info

Publication number
KR102248191B1
KR102248191B1 KR1020190046355A KR20190046355A KR102248191B1 KR 102248191 B1 KR102248191 B1 KR 102248191B1 KR 1020190046355 A KR1020190046355 A KR 1020190046355A KR 20190046355 A KR20190046355 A KR 20190046355A KR 102248191 B1 KR102248191 B1 KR 102248191B1
Authority
KR
South Korea
Prior art keywords
image
cone beam
density material
unit
density
Prior art date
Application number
KR1020190046355A
Other languages
English (en)
Other versions
KR102248191B9 (ko
KR20200122930A (ko
Inventor
백종덕
한철희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190046355A priority Critical patent/KR102248191B1/ko
Priority to US16/852,837 priority patent/US11213260B2/en
Publication of KR20200122930A publication Critical patent/KR20200122930A/ko
Application granted granted Critical
Publication of KR102248191B1 publication Critical patent/KR102248191B1/ko
Publication of KR102248191B9 publication Critical patent/KR102248191B9/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4085Cone-beams
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G06T5/006
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4208Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58Testing, adjusting or calibrating thereof
    • A61B6/582Calibration
    • A61B6/583Calibration using calibration phantoms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 콘빔 CT 시스템에서 대형 볼륨에 대한 CT 촬영 시간을 단축하기 위해 대면적 X-선 검출기를 사용하는 경우, CT 영상에서 발생하는 콘빔아티팩트를 뼈 부위 및 연부조직 부위를 고려하여 신속히 제거 보정하는 방법에 관한 기술로서, 콘빔아티팩트가 포함된 시작 영상을 수신하는 입력부, 입력부에서 수신된 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리, 저밀도 물질 영상을 이용하여 콘빔아티팩트가 재현된 재현 영상을 생성, 및 시작 영상에서 재현 영상을 차감하여 보정 영상을 생성하는 보정 과정을 실행하고, 보정 영상을 시작 영상으로 이용하여 보정 과정을 반복하는 연산부, 연산부에서 생성된 최종 보정 영상을 출력하는 출력부를 포함한다.

Description

콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치 {METHOD AND APPARATUS FOR CORRECTING CONE-BEAM ARTIFACTS IN A CONE-BEAM COMPUTED TOMOGRAPHY IMAGE, CONE-BEAM COMPUTED TOMOGRAPHY APPARATUS INCLUDING THE SAME}
본 발명은 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치에 관한 것으로서, 보다 상세하게는 콘빔 CT 시스템에서 대형 볼륨에 대한 CT 촬영 시간을 단축하기 위해 대면적 X-선 검출기를 사용하는 경우, CT 영상에서 발생하는 콘빔아티팩트를 뼈 부위 및 연부조직 부위를 고려하여 신속히 제거 보정하는 방법에 관한 기술이다.
평면 패널 검출기(flat-panel detectors)의 기술적 진보는 콘빔 컴퓨터 단층 촬영(Cone-Beam Computed Tomography, CBCT) 시스템의 단일 갠트리 회전으로 큰 부피 범위를 촬영 가능하게 하였다. CBCT 시스템에 사용되는 대형 2D 검출기 어레이는 30×30×30
Figure 112019040751696-pat00001
이상의 시야각을 가진 고해상도 이미지를 제공한다. 따라서, CBCT 시스템은 영상 유도 방사선 요법, 흉부 내막 영상, 근관 촬영 및 두부 계측 분석과 같은 다양한 영상 진단 공정에 널리 사용되고 있다.
CBCT 시스템은 3차원 용적 데이터를 가지는 환자의 양호한 형태의 정보를 제공하지만, 원형 궤도 콘빔 형상으로 데이터를 획득하는 방식은 정확한 재구성을 위한 충분한 샘플링을 제공하지 못하고 있다. 현재 이용되는 Feldkamp, Davis 및 Kress (FDK) 알고리즘을 이용하여 재구성된 이미지는 콘 각이 증가함에 따라 더욱 심해지는 콘빔아티팩트가 포함된다. 콘빔아티팩트는 진단을 방해하기 때문에, 적절한 교정 방법이 필요하다.
콘빔아티팩트를 저감하기 위한 몇 가지 알고리즘이 제안되었다. Grass는 데이터 재배치 프로세스를 사용하여 콘빔을 병렬 (P-FDK) 및 텐트 (T-FDK) 형상으로 재배치하여 객체 샘플링 밀도를 높이는 수정된 FDK 알고리즘을 제안하였다. Chen은 FDK 알고리즘의 강도 저하를 보상하기 위해 역투영 전에 각 광선에 대해 코사인 함수의 역수를 곱한 가중 필터링된 역투영 알고리즘을 제안했다. MaaB은 콘빔아티팩트를 추정한 다음 FDK 이미지에서 추출된 콘빔아티팩트를 줄이기 위한 반복 접근 방식을 제안했다. 수정된 FDK 이미지는 수정 전 FDK 이미지에서 차감한 콘빔아티팩트 이미지를 추정하는 데 사용되었으며, 이 절차를 반복하여 콘빔아티팩트를 감소시켰다. 이 접근법은 콘빔아티팩트 감소에 효과적이지만, 400회 이상의 반복이 필요하기 때문에 영상처리에 과도한 시간이 필요하여 실제 임상 어플리케이션에서는 적용되지 않고 있다.
Hsieh가 제안한 투패스(two-pass) 알고리즘은 한 차례의 반복으로 콘빔아티팩트를 줄이기 때문에 연산시간이 축소되었다. FDK 이미지에서 콘빔아티팩트를 생성하기 위해 고밀도의 물질을 지배적인 요인으로 취급한다. 따라서 먼저 고밀도 물질을 분할하고, 분할된 고밀도 물질에서 콘빔아티팩트를 재생한 다음, 원본 FDK 이미지에서 재생 영상을 차감한다. 투패스 알고리즘은 5°미만의 콘 각에서 매우 효과적이지만, 각도가 더 크거나 뼈의 밀도가 높지 않은 영역에서는 보정 성능이 저하되는 문제가 있다.
일본 공개특허공보 제2015-117772호
이에 본 발명은 상기와 같은 종래의 제반 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 콘빔 CT 시스템에서 대형 볼륨에 대한 CT 촬영 시간을 단축하기 위해 대면적 X-선 검출기를 사용하는 경우, CT 영상에서 발생하는 콘빔아티팩트를 뼈 부위 및 연부조직 부위를 고려하여 신속히 제거 보정하는 방법에 관한 기술을 제공하는 것을 과제로 한다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치는, 콘빔아티팩트가 포함된 시작 영상을 수신하는 입력부; 상기 입력부에서 수신된 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리, 상기 저밀도 물질 영상을 이용하여 콘빔아티팩트가 재현된 재현 영상을 생성, 및 상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 보정 과정을 실행하고, 상기 보정 영상을 시작 영상으로 이용하여 상기 보정 과정을 반복하는 연산부; 및 상기 연산부에서 생성된 최종 보정 영상을 출력하는 출력부를 포함하는 것을 특징으로 한다.
또한, 상기 연산부의 보정 과정은 상기 재생 영상의 평균 제곱 오차(Mean-Squared Error, MSE) 값이 기 설정된 수렴 기준을 만족할 때까지 반복되는 것을 특징으로 할 수 있다.
또한, 상기 연산부의 보정 과정의 반복은 5회 이하인 것을 특징으로 할 수 있다.
또한, 상기 연산부는, 상기 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 분리부; 상기 분리부에서 생성된 저밀도 물질 영상을 이용하여 평균화된 스칼라값을 연산하는 스칼라산출부; 상기 분리부에서 생성된 고밀도 물질 영상에서 상기 스칼라연산부가 연산한 스칼라값을 차감하여 고밀도 변환 오브젝트를 생성하는 스칼라제거부; 상기 스칼라제거부에서 생성된 고밀도 변환 오브젝트를 이용하여 고밀도 변환 영상을 생성하고, 상기 고밀도 변환 오브젝트에서 상기 고밀도 변환 영상을 차감하여 재현 영상을 생성하는 재현부하는 재현부; 및 상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 보정부를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 분리부는 스레숄드(Threshold) 방법을 이용하여 시작 영상을 고밀도 물질 영상과 저밀도 물질 영상으로 분리하는 것을 특징으로 할 수 있다.
또한, 상기 분리부는 고밀도 물질 영역의 복셀(voxel) 최대값의 90% 이상에 해당되는 복셀의 평균값을 연산하고, 상기 복셀의 평균값의 55% 내지 75%에 해당되는 값을 스레숄드 방법의 최초 문턱값으로 설정하는 것을 특징으로 할 수 있다.
또한, 상기 분리부는 보정 과정이 반복될 때마다 스레숄드 방법의 문턱값을 증가시키는 것을 특징으로 할 수 있다.
또한, 상기 보정 과정이 반복될 때마다 증가하는 문턱값은 일정하게 증가되는 것을 특징으로 할 수 있다.
또한, 상기 문턱값은 2.5% 내지 5%씩 증가되는 것을 특징으로 할 수 있다.
또한, 상기 문턱값은 상기 보정 과정의 반복이 3회를 초과하면 과다분할(oversegmentation)을 방지하기 위해 더 이상 증가되지 않는 것을 특징으로 할 수 있다.
또한, 상기 분리부는 분리한 고밀도 물질 영상에 메디안필터(Median filter)를 적용하는 것을 특징으로 할 수 있다.
또한, 상기 스칼라산출부는 스칼라값
Figure 112019040751696-pat00002
을 수학식
Figure 112019040751696-pat00003
(이때,
Figure 112019040751696-pat00004
는 저밀도 물질 영상, N은 저밀도 물질 구성 요소의 수, i는 보정 과정 프로세스의 동작 회차)을 이용하여 산출하는 것을 특징으로 할 수 있다.
또한, 상기 재현부는 전방 투사법(Forward projection) 및 FDK 영상 복원 알고리즘을 이용하여 고밀도 변환 영상을 생성하는 것을 특징으로 할 수 있다.
한편, 상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법은, 입력부가 콘빔아티팩트가 포함된 시작 영상을 수신하는 단계; 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계; 스칼라산출부가 상기 분리부에서 생성된 저밀도 물질 영상을 이용하여 평균화된 스칼라값을 연산하는 단계; 스칼라제거부가 상기 분리부에서 생성된 고밀도 물질 영상에서 상기 스칼라연산부가 연산한 스칼라값을 차감하여 고밀도 변환 오브젝트를 생성하는 단계; 재현부가 상기 스칼라제거부에서 생성된 고밀도 변환 오브젝트를 이용하여 고밀도 변환 영상을 생성하는 단계; 상기 재현부가 상기 분리부에서 생성된 고밀도 물질 영상에서 상기 고밀도 변환 영상을 차감하여 재현 영상을 생성하는 단계; 보정부가 상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 단계; 출력부가 최종 보정 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 보정부가 상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 단계 후, 상기 보정부가 상기 재생 영상의 평균 제곱 오차(Mean-Squared Error, MSE) 값을 연산하고, 상기 평균 제곱 오차 값이 기 설정된 수렴 기준을 만족하는지 확인하는 단계; 상기 평균 제곱 오차 값이 기 설정된 기준을 만족하지 않으면, 상기 보정부가 상기 보정 영상을 시작 영상으로 적용하는 단계를 더 포함하고, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계 내지 상기 보정부가 상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 단계는 상기 보정 영상의 평균 제곱 오차 값이 기 설정된 기준을 만족할 때까지 반복되는 것을 특징으로 할 수 있다.
또한, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는, 스레숄드(Threshold) 방법을 이용하여 시작 영상을 고밀도 물질 영상과 저밀도 물질 영상으로 분리하는 것을 특징으로 할 수 있다.
또한, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는, 고밀도 물질 영역의 복셀(voxel) 최대값의 90% 이상에 해당되는 복셀의 평균값을 연산하고, 상기 복셀의 평균값의 55% 내지 75%에 해당되는 값을 스레숄드 방법의 최초 문턱값으로 설정하는 것을 특징으로 할 수 있다.
또한, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는, 보정 영상의 생성이 반복될 때마다 스레숄드 방법의 문턱값을 증가시키는 것을 특징으로 할 수 있다.
또한, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는, 상기 문턱값은 일정하게 증가되는 것을 특징으로 할 수 있다.
또한, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는, 상기 문턱값은 2.5% 내지 5%씩 증가되는 것을 특징으로 할 수 있다.
또한, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는, 상기 문턱값은 보정 영상의 생성 반복이 3회를 초과하면 과다분할(oversegmentation)을 방지하기 위해 더 이상 증가되지 않는 것을 특징으로 할 수 있다.
또한, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계 후, 상기 분리부가 분리된 고밀도 물질 영상에 메디안필터(Median filter)를 적용하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 스칼라산출부가 상기 분리부에서 생성된 저밀도 물질 영상을 이용하여 평균화된 스칼라값을 연산하는 단계는, 상기 스칼라값
Figure 112019040751696-pat00005
을 수학식
Figure 112019040751696-pat00006
(이때,
Figure 112019040751696-pat00007
는 저밀도 물질 영상, N은 저밀도 물질 구성 요소의 수, i는 보정 과정 프로세스의 동작 회차)을 이용하여 산출하는 것을 특징으로 할 수 있다.
또한, 상기 재현부가 상기 스칼라제거부에서 생성된 고밀도 변환 오브젝트를 이용하여 고밀도 변환 영상을 생성하는 단계는, 전방 투사법(Forward projection) 및 FDK 영상 복원 알고리즘을 이용하여 고밀도 변환 영상을 생성하는 것을 특징으로 할 수 있다.
본 발명에 의한 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치에 따르면,
첫째, 본 발명은 종래 제안 기술과 대비하여 현재 사용되고 있는 CT 시스템에 즉각 적용이 가능하여 보급이 용이하고, CT 시스템을 효과적으로 개선할 수 있다.
둘째, 본 발명은 종래 콘빔아티팩트 보정 기술과 대비하여 콘빔아티팩트의 보정 성능이 우수하며, 연산속도가 신속하다. 따라서, 대형의 콘 각도(Cone angle)를 발생시키는 대면적 X-선 검출기에서도 적용이 가능하다.
셋째, 본 발명은 콘빔아티팩트를 발생시키는 주 원인인 고밀도 물질을 메디안필터(Median filter)를 이용하여 정확히 추정하고, 저밀도 물질도 연산에 고려하기 때문에 노이즈가 심한 환경 및 여러 물질이 혼합된 환경에서도 종래 기술보다 더 우수한 보정 성능을 가진다.
도 1은 본 발명의 실시예에 따른 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치의 구성을 나타낸 블록도.
도 2는 임계밀도의 함수(function of threshold percentage)를 이용하여 서로 다른 골밀도를 가지는 5개의 팬텀을 정규화 평균제곱 오차(Normalized Mean-Squared Error, NMSE)를 연산한 그래프.
도 3은 분리부에서 스레숄드 방법으로 분리된 고밀도 물질 영상을 나타낸 도면.
도 4는 도 3에 메디안필터가 적용된 영상을 나타낸 도면.
도 5 및 도 6은 본 발명의 실시예에 따른 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법의 동작 순서를 나타낸 순서도.
도 7은 실험을 위해 구성된 콘빔 CT 시스템 기하 구조를 구성을 개략적으로 나타낸 도면.
도 8은 아동 팬텀(Pediatric phantom)을 촬영하기 위해 이용된 환경(좌측)과, 아동 팬텀(Pediatric phantom) 배면(중간)과 평면(우측)을 나타낸 도면.
도 9는 제1팬텀(Defrise phantom)에 대한 (a)기본영상, (b)FDK알고리즘으로 변환된 영상, (c)투패스알고리즘으로 보정된 영상, (d)본 발명의 실시예가 1회 반복되어 보정된 영상, (e)본 발명의 실시예가 5회 반복되어 보정된 영상, (f)TV-IR로 보정된 영상을 나타낸 도면.
도 10은 제2팬텀(XCAT phantom)에 대한 (a)기본영상, (b)FDK알고리즘으로 변환된 영상, (c)투패스알고리즘으로 보정된 영상, (d)본 발명의 실시예가 1회 반복되어 보정된 영상, (e)본 발명의 실시예가 4회 반복되어 보정된 영상, (f)TV-IR로 보정된 영상을 나타낸 도면.
도 11은 아동 팬텀(Pediatric phantom)에 대한 (a)FDK알고리즘으로 변환된 영상, (b)투패스알고리즘으로 보정된 영상, (c)본 발명의 실시예가 1회 반복되어 보정된 영상, (d)본 발명의 실시예가 5회 반복되어 보정된 영상, (e)TV-IR로 보정된 영상을 나타낸 도면.
도 12는 제1팬텀에서 본 발명의 실시예의 수렴 그래프.
도 13은 제1팬텀의 수직 프로필(Vertical profile)을 나타낸 그래프.
도 14는 제2팬텀에서 본 발명의 실시예의 수렴 그래프.
도 15는 제2팬텀의 수직 프로필(Vertical profile)이고, (a)는 두정(coronal), (b)는 시상 절편(sagittal slices)을 나타낸 그래프.
도 16은 아동 팬텀에서 본 발명의 실시예의 수렴 그래프.
도 17은 아동 팬텀의 수직 프로필(Vertical profile)이고, (a)는 두정(coronal), (b)는 시상 절편(sagittal slices)을 나타낸 그래프.
첨부한 도면을 참조하여 본 발명의 실시예들에 의한 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 실시예에 따른 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치는 하나의 컴퓨터 장치에 설치 운영되거나, 복수의 컴퓨터 장치에 분산 설치되고 유선 또는 무선으로 각 컴퓨터가 서로 네트워크를 구성하여 연동되는 것으로 실시될 수 있다.
도 1을 참조하면, 이 실시예는 콘빔아티팩트가 포함된 시작 영상을 수신하는 입력부(120)와, 입력부(120)에서 수신된 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리, 저밀도 물질 영상을 이용하여 콘빔아티팩트가 재현된 재현 영상을 생성, 및 시작 영상에서 재현 영상을 차감하여 보정 영상을 생성하는 보정 과정을 실행하고, 보정 영상을 시작 영상으로 이용하여 보정 과정을 반복하는 연산부(140)를 포함한다. 또한, 연산부(140)에서 생성된 최종 보정 영상을 출력하는 출력부(180)도 포함한다.
입력부(120)가 수신하는 시작 영상은 콘빔 컴퓨터 단층촬영 장치에서 촬영된 FDK 영상이다.
고밀도 물질은 뼈로 판단되는 영역이고, 저밀도 물질은 뼈 외의 연부조직으로 판단되는 영역이다.
콘빔아티팩트는 고밀도 물질(뼈)과 저밀도 물질(연부조직) 모두에서 발생되므로, 이 실시예는 종래기술과 차별되게 저밀도 물질에 의한 콘빔아티팩트도 제거한다.
이 실시예는 연부조직에서 발생되는 콘빔아티팩트도 보정에 고려함으로써 콘 앵글(cone angle) 10도 이상이 되는 환경에서도 콘빔아티팩트가 대부분 제거된 보정 영상을 획득할 수 있게 된다.
입력부(120)가 입력받는 최초의 시작 영상은 콘빔 컴퓨터 단층 촬영(Cone-Beam Computed Tomography, CBCT) 시스템에서 촬영된 영상이다.
연산부(140)는, 입력부(120)에서 수신된 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 분리부(142), 분리부(142)에서 생성된 저밀도 물질 영상을 이용하여 평균화된 스칼라값을 연산하는 스칼라산출부(144), 분리부(142)에서 생성된 고밀도 물질 영상에서 스칼라연산부(140)가 연산한 스칼라값을 차감하여 고밀도 변환 오브젝트를 생성하는 스칼라제거부(145), 스칼라제거부(145)에서 생성된 고밀도 변환 오브젝트를 이용하여 고밀도 변환 영상을 생성하고, 고밀도 변환 오브젝트에서 고밀도 변환 영상을 차감하여 재현 영상을 생성하는 재현부(146), 시작 영상에서 재현 영상을 차감하여 보정 영상을 생성하는 보정부(148)를 포함한다.
분리부(142)는 스레숄드(Threshold) 방법을 이용하여 시작 영상을 고밀도 물질 영상과 저밀도 물질 영상으로 분리한다. 스레숄드 방법은 설정된 문턱값을 기준으로, 문턱값 이상의 정보와 문턱값 미만의 정보를 분리한다.
이 실시예의 분리부(142)는 고밀도 물질 영역의 복셀(voxel) 최대값의 90% 이상에 해당되는 복셀의 평균값을 연산하고, 복셀의 평균값의 55% 내지 75%에 해당되는 값을 스레숄드 방법의 최초 문턱값으로 설정한다.
도 2는 임계밀도의 함수(function of threshold percentage)를 이용하여 서로 다른 골밀도를 가지는 5개의 팬텀을 정규화 평균제곱 오차(Normalized Mean-Squared Error, NMSE)를 연산한 것이다. 문턱값의 적합하지 않을 때 미치는 영향을 조사하기 위해, 콘빔아티팩트가 있는 영상을 이용하여 NMSE를 연산하였다. 실험결과, 중간 정도의 밀도를 가지는 뼈(0.4×120
Figure 112019040751696-pat00008
)는 55% 내지 75%의 정도의 문턱값 범위에서 가장 작은 NMSE를 가지는 것을 확인할 수 있었다. 따라서, 바람직하게는 중간 정도인 65%에 해당되는 값을 최초 문턱값으로 설정할 수 있다.
또한, 분리부(142)는 보정 과정이 반복될 때마다 스레숄드 방법의 문턱값을 증가시킨다.
보정 과정이 반복될 때마다 증가하는 문턱값은 일정(linear)하게 증가된다.
실험결과, 문턱값은 2.5% 내지 5%씩 증가될 때 양호한 성능을 나타내었다. 보정 과정이 반복될수록 골 밀도가 증가하여 작은 NMSE 영역이 증가하게 되므로, 보정 과정이 반복되어 문턱값이 설정될 때 더 큰 허용 오차를 제공한다.
특히, 문턱값은 보정 과정의 반복이 3회를 초과하면 과다분할(oversegmentation)을 방지하기 위해 더 이상 증가되지 않는다.
분리부(142)는 분리된 고밀도 물질 영상에 메디안필터(Median filter)를 적용한다. 메디안필터는 중간값을 이용하는 필터로서, 영상에서 발생된 노이즈 영역을 평활화(smoothing)하고, 아웃라이어(outlier)를 연산하여 제거하는 기능을 한다. 메디안필터는 스레숄드를 이용하여 고밀도 물질을 분리하는 과정에서 콘빔아티팩트 및 노이즈에 의한 분할오류(segmentation error)를 저감할 수 있다.
콘빔 컴퓨터 단층 촬영 장치의 촬영부재는 보통 촬영되는 영상의 중심부위에 위치하는데, 촬영 각도가 z방향으로 멀어질수록, 즉 촬영범위의 가장자리로 갈수록 촬영부재와 마주보는 영역보다 상대적으로 왜곡이 더 발생하게 된다. 도 3은 분리부(142)에서 스레숄드 방법으로 분리된 고밀도 물질 영상이다. 도면을 참조하면, 고밀도 물질 영상 하부에 왜곡에 의해 척추 뼈 사이에 복수의 흰색 점이 밀집된 분할오류(segmentation error)가 발생된 것을 알 수 있다(붉은색 화살표). 도 4는 도 3에 메디안필터를 적용한 영상이다. 도면을 참조하면, 고밀도 물질 영상에 메디안필터를 적용할 때 척추 뼈 사이에 존재하던 흰색 점이 상당히 제거된 것을 관찰할 수 있다.
고밀도 물질 영상에 분할오류가 발생된 영역이 계속 존재하면, 보정 과정이 여러 차례 반복되더라도 보정 영상에는 분할오류를 발생시키는 영역이 남아있어 보정에 방해가 된다. 하지만, 이 실시예와 같이 분리부(142)가 고밀도 물질 영상을 분리한 후 메디안필터를 적용하면 분할오류가 제거되어 보정 과정이 반복될수록 분할오류가 없는 깨끗한 영상을 획득할 수 있게 된다.
스칼라제거부(145)는 메디안필터가 적용된 고밀도 물질 영상에서 스칼라연산부(140)가 연산한 스칼라값을 차감하여 고밀도 변환 오브젝트를 생성한다.
스칼라산출부(144)는 스칼라값
Figure 112019040751696-pat00009
을 수학식1을 이용하여 산출한다.
[수학식1]
Figure 112019040751696-pat00010
이때,
Figure 112019040751696-pat00011
는 저밀도 물질 영상, N은 저밀도 물질 구성 요소의 수이다. 또한, i는 보정 과정 프로세스의 동작 회차이다. 보정 과정이 최초 동작될 때 i=1, 두 번째 동작(1회 반복)될 때 i=2, 세 번째 동작(2회 반복)될 때 i=3이 된다.
재현부(146)는 고밀도 변환 영상의 생성 시 전방 투사법(Forward projection) 및 FDK 영상 복원 알고리즘을 이용한다.
연산부(140)의 보정 과정의 반복은 재생 영상의 평균 제곱 오차(Mean-Squared Error, MSE)가 일정한 값으로 수렴될 때까지 반복 수행된다.
재생 영상의 MSE는 수학식2와 같이 연산된다.
[수학식2]
Figure 112019040751696-pat00012
이때, i는 반복 횟수,
Figure 112019040751696-pat00013
은 재현 영상,
Figure 112019040751696-pat00014
는 보정 영상,
Figure 112019040751696-pat00015
는 시작 영상, N은 영상의 픽셀 수이다.
재현부(146)가 생성한 재현 영상은 보정 과정이 반복될수록 MSE가 상승하게 되며, 최종 보정 영상의 생성에 이용된 재현 영상은 MSE가 최대값을 가지게 된다.
따라서, 비교 대상이 되는 정상 영상이 없는 실제 의료 환경에서도 보정 영상이 정상 영상과 인접하게 보정 된다.
연산부(140)의 보정 과정의 반복은 5회 이하로 이루어져도 충분히 양질의 보정 영상을 획득할 수 있다.
한편, 본 발명의 다른 실시예에 따른 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치는 콘빔 컴퓨터 단층 촬영(Cone-Beam Computed Tomography, CBCT) 장치 내에 포함되는 것으로도 실시될 수 있다.
이어서, 본 발명의 실시예에 따른 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법을 설명한다.
도 5 및 도 6을 참조하면, 이 실시예는 입력부(120)가 콘빔아티팩트가 포함된 시작 영상(
Figure 112019040751696-pat00016
)을 수신하는 단계(S120), 분리부(142)가 시작 영상(
Figure 112019040751696-pat00017
)에서 고밀도 물질 영상(
Figure 112019040751696-pat00018
)과 저밀도 물질 영상(
Figure 112019040751696-pat00019
)을 분리하는 단계(S142), 스칼라산출부(144)가 분리부(142)에서 생성된 저밀도 물질 영상(
Figure 112019040751696-pat00020
)을 이용하여 평균화된 스칼라값(
Figure 112019040751696-pat00021
)을 연산하는 단계(S144), 스칼라제거부(145)가 분리부(142)에서 생성된 고밀도 물질 영상(
Figure 112019040751696-pat00022
)에서 스칼라연산부(140)가 연산한 스칼라값(
Figure 112019040751696-pat00023
)을 차감하여 고밀도 변환 오브젝트(
Figure 112019040751696-pat00024
)를 생성하는 단계(S145), 재현부(146)가 스칼라제거부(145)에서 생성된 고밀도 변환 오브젝트(
Figure 112019040751696-pat00025
)를 이용하여 고밀도 변환 영상(
Figure 112019040751696-pat00026
)을 생성하는 단계(S146), 재현부(146)가 고밀도 변환 오브젝트(
Figure 112019040751696-pat00027
)에서 고밀도 변환 영상(
Figure 112019040751696-pat00028
)을 차감하여 재현 영상(
Figure 112019040751696-pat00029
)을 생성하는 단계(S147), 보정부(148)가 시작 영상(
Figure 112019040751696-pat00030
)에서 재현 영상(
Figure 112019040751696-pat00031
)을 차감하여 보정 영상(
Figure 112019040751696-pat00032
)을 생성하는 단계(S148), 출력부(180)가 최종적인 보정 영상(
Figure 112019040751696-pat00033
)을 출력하는 단계(S180)를 포함한다.
S148 단계 후, 보정부(148)가 재생 영상의 평균 제곱 오차(Mean-Squared Error, MSE) 값을 연산하고, 평균 제곱 오차 값이 기 설정된 수렴 기준을 만족하는지 확인하는 단계(S160), 평균 제곱 오차 값이 기 설정된 기준을 만족하지 않으면, 보정부(148)가 보정 영상을 시작 영상으로 적용하는 단계(S162)를 더 포함한다.
S142 단계 내지 S148 단계는 보정 영상의 평균 제곱 오차 값이 기 설정된 기준을 만족할 때까지 반복된다.
S142 단계는, 스레숄드(Threshold) 방법을 이용하여 시작 영상을 고밀도 물질 영상과 저밀도 물질 영상으로 분리한다.
S142 단계는, 고밀도 물질 영역의 복셀(voxel) 최대값의 90% 이상에 해당되는 복셀의 평균값을 연산하고, 복셀의 평균값의 55% 내지 75%에 해당되는 값을 스레숄드 방법의 최초 문턱값으로 설정한다.
보정 영상의 생성이 반복될 때마다 스레숄드 방법의 문턱값이 증가된다.
문턱값은 일정하게 증가될 수 있는데, 예를 들어, 문턱값은 2.5% 내지 5%씩 증가될 수 있다.
특히, 문턱값은 보정 영상의 생성 반복이 3회를 초과하면 과다분할(oversegmentation)을 방지하기 위해 더 이상 증가되지 않는다.
S142 단계 후, 분리부(142)가 분리된 고밀도 물질 영상에 메디안필터(Median filter)를 적용하는 단계(S143)를 더 포함한다.
S144 단계는, 스칼라값
Figure 112019040751696-pat00034
을 수학식1 을 이용하여 산출한다.
S146 단계는, 전방 투사법(Forward projection) 및 FDK 영상 복원 알고리즘을 이용하여 고밀도 변환 영상을 생성한다.
실험.
도 7을 참조하면, 실험을 위해 도면과 같은 콘빔 CT 시스템 기하 구조를 구성하였다. 시뮬레이터에는 MATLAB R2017b를 이용하였다.
본 발명의 실시예를 검증하기 위한 오브젝트로는 촬영부재의 중심에서 z축 방향으로의 오프셋(offset) 정도에 따라 발생하는 콘빔아티팩트를 잘 발생시키기 위해, X-선 감쇠계수 0.4
Figure 112019040751696-pat00035
를 가지는 5개의 타원 슬랩(slab, 뼈에 해당)을 X-선 감쇠계수 0.18
Figure 112019040751696-pat00036
의 실린더(연부조직에 해당)에 삽입한 제1팬텀(Defrise phantom)을 이용하였다.
또한, 더 사실적이고 복잡한 해부학적 구조를 위해, 사람의 흉부를 모델링한 제2팬텀(XCAT 팬텀)을 60keV의 에너지 대역에서 활용하였다.
제1팬텀 및 제2팬텀 모두 480×480×540 행렬로 구성하고, 복셀의 크기는 0.517×0.517×0.517
Figure 112019040751696-pat00037
이며, 이산 오차(discretization error)를 방지하기 위해 복셀당 2×2×2 서브 복셀이 할당되었다.
투영 영상은 Gao가 개발한 3D 포워드 프로젝터를 이용하여 획득하였다.
또한, 픽셀 당 10,000 광자의 균일한 노이즈를 영상에 추가하였다.
시뮬레이션에 사용된 시스템 파라미터는 표 1과 같으며, ±11.5도의 콘 앵글(Cone angle)을 가지는 시스템에서 본 발명의 실시예를 적용하였다.
Figure 112019040751696-pat00038
또한, 아동 팬텀(Pediatric phantom, 도 8 참조)을 이용하여 ±7.5도의 콘 앵글을 가지는 bench-top CT 시스템에 대해서도 본 발명의 실시예를 검증하였다. 세부 파라미터는 표 2와 같다.
Figure 112019040751696-pat00039
이 실험에서는 제1팬텀, 제2팬텀, 아동 팬텀을 이용하여 본 발명의 실시예와 종래의 투패스(Two-pass) 알고리즘, Total-variation minimization-based iterative reconstruction(TV-IR)의 결과를 비교하였다.
투패스 알고리즘은 고밀도 물질 추정을 위한 문턱값을 제1팬텀은 0.26
Figure 112019040751696-pat00040
, 제2팬텀은 0.27
Figure 112019040751696-pat00041
, 아동 팬텀은 0.26
Figure 112019040751696-pat00042
로 설정하는 것으로 최종 보정 영상을 획득하였다.
도 9는 제1팬텀(Defrise phantom)의 영상, 도 10은 제2팬텀(XCAT phantom)의 영상, 도 11은 아동 팬텀(Pediatric phantom)의 영상이다.
도 9(c), 도 10(c), 및 도 11(b)를 참조하면, 종래 투패스 알고리즘은 콘빔 각도가 큰 z축에서 오프셋이 많이 된 뼈 물체의 경우, 콘빔아티팩트의 영향을 많이 받는다. 특히, 투패스 알고리즘은 연부조직에서 발생되는 콘빔아티팩트를 고려하지 않기 때문에 기준영상(Reference)과 비교하여 심한 왜곡이 발생하게 된다. 또한, ROI 1, ROI 5 영역의 고밀도 부위를 보면, 분할오류를 처리하지 못해 경계선이 불안정한 것으로 나타났다.
한편, 본 발명의 실시예의 반복 횟수에 따른 보정 성능을 비교하기 위해 3가지 팬텀에 대해 1회 반복된 보정 영상 및 MSE가 수렴될 때까지 반복된 보정 영상을 준비하였다.
도 9(d), 도 10(d), 및 도 11(c)를 참조하면, 본 발명의 실시예를 1회 반복하는 과정에서 투패스 알고리즘과 동일한 문턱값을 적용하였다. 본 발명의 실시예가 1회만 반복되었음에도 불구하고, 3D 메디안필터에 의해 뼈의 분할 오류가 저감되고, 연부조직을 고려함에 따라 종래 투패스 알고리즘 대비 더 나은 영상을 획득할 수 있음을 확인하였다.
또한, 도 9(e), 도 10(e), 및 도 11(d)를 참조하면, MSE가 수렴될 때까지 반복한 경우, 제1팬텀은 보정 과정이 반복될 때마다 문턱값을 0.26
Figure 112019040751696-pat00043
, 0.27
Figure 112019040751696-pat00044
, 0.28
Figure 112019040751696-pat00045
순서로 발전시킨 후 4회차에서는 문턱값을 마지막 값으로 고정하였다. 제2팬텀은 보정 과정이 반복될 때마다 문턱값을 0.27
Figure 112019040751696-pat00046
, 0.28
Figure 112019040751696-pat00047
, 0.29
Figure 112019040751696-pat00048
순서로 발전시킨 후 4회차에서는 문턱값을 마지막 값으로 고정하였고, 아동 팬텀은 보정 과정이 반복될 때마다 문턱값을 0.26
Figure 112019040751696-pat00049
, 0.27
Figure 112019040751696-pat00050
, 0.28
Figure 112019040751696-pat00051
순서로 발전시킨 후 4회차에서는 문턱값을 마지막 값으로 고정하였다.
도 12는 제1팬텀에서 본 발명의 실시예의 수렴 그래프이다. 본 발명의 실시예에서 보정된 영상이 기준영상에 가까워질수록 MSE가 더 높게 나타났다.
표 3은 제1팬텀의 평균 제곱 오차(Mean-Squared Error, MSE) 결과이다.
Figure 112019040751696-pat00052
표 4는 제1팬텀의 구조적 유사도(Structural Similarity index, SSIM) 결과이다.
Figure 112019040751696-pat00053
도 13은 제1팬텀의 수직 프로필(Vertical profile)을 나타낸 그래프이다.
도 14는 제2팬텀에서 본 발명의 실시예의 수렴 그래프이다.
표 5는 제2팬텀의 MSE 결과이다.
Figure 112019040751696-pat00054
표 6은 제2팬텀의 SSIM 결과이다.
Figure 112019040751696-pat00055
도 15는 제2팬텀의 수직 프로필(Vertical profile)이며, (a)는 두정(coronal), (b)는 시상 절편(sagittal slices)을 나타낸 그래프이다.
도 16은 아동 팬텀에서 본 발명의 실시예의 수렴 그래프이다.
도 17은 아동 팬텀의 수직 프로필(Vertical profile)이며, (a)는 두정(coronal), (b)는 시상 절편(sagittal slices)을 나타낸 그래프이다.
본 발명의 실시예 및 종래 기술의 비교를 위해, MSE 및 SSIM 값을 이용한 정량적 비교와, 결과 영상과 수직 프로필(Vertical profile)을 이용한 정성적 비교를 실시하였다.
MSE는 수학식2와 같이 연산된다. 또한, SSIM은 수학식3과 같이 연산된다.
Figure 112019040751696-pat00056
Figure 112019040751696-pat00057
는 보정된 영상 A의 평균 강도 값,
Figure 112019040751696-pat00058
는 보정된 영상 A의 표준 편차이다.
Figure 112019040751696-pat00059
는 보정된 영상 B의 평균 강도 값,
Figure 112019040751696-pat00060
는 보정된 영상 B의 표준 편차이다.
Figure 112019040751696-pat00061
는 보정된 영상 A와 B 사이의 공분산이다.
Figure 112019040751696-pat00062
Figure 112019040751696-pat00063
은 SSIM 계산을 위한 계수로서, 0 내지 1 사이의 값을 적용하였다. 실험에서는
Figure 112019040751696-pat00064
,
Figure 112019040751696-pat00065
으로 적용하였다.
비교 결과, 본 발명의 실시예가 MSE가 수렴될 때까지 반복되는 경우에서 가장 좋은 콘빔아티팩트 보정 성능이 나타나는 것으로 확인되었다.
또한, 본 발명의 실시예가 MSE가 수렴될 때까지 반복되는 경우, 반복 횟수가 4회 내지 5회에 불과하여 실험 시스템 사양(NVIDIA Tesla S2050)에서 불과 3분 미만의 시간으로 보정 영상을 획득할 수 있었다.
또한, 영상에서 콘 앵글(cone angle)에 따라 ROI를 5구간으로 분할하였다. 기준영상(Reference), 초기 콘빔아티팩트 발생 영상, 종래 알고리즘, 및 본 발명의 실시예를 RMSE 결과와 수직 강도 프로필(Vertical Intensity Profile) 결과를 대비한 결과, 3개의 팬텀 모두 본 발명이 종래 투패스 알고리즘에 비해 콘빔아티팩트의 보정 성능이 뛰어남을 확인할 수 있었다.
도 9(f), 도 10(f), 및 도 11(e)를 참조하면, TV-IR 알고리즘으로도 영상을 보정하였다. 모든 팬텀에서 정규파라미터(λ)를 0.001로 설정하였으며, 보정 과정을 50회 반복하였다.
본 발명의 실시예와 TV-IR 알고리즘의 콘빔아티팩트 보정 결과와 비교하면, MSE가 수렴될 때까지 반복된 본 발명의 실시예는 TV-IR에 비하여 반복 횟수 대비 영상 결과가 우수한 것으로 나타났다. 이는 실제 실시간 시스템에 적용되는 경우, 본 발명의 실시예가 종래 TV-IR 알고리즘보다 우수함을 입증한다.
이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 다음 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.
120 : 입력부 140 : 연산부
142 : 분리부 144 : 스칼라산출부
145 : 스칼라제거부 146 : 재현부
148 : 보정부 180 : 출력부

Claims (25)

  1. 콘빔아티팩트가 포함된 시작 영상을 수신하는 입력부;
    상기 입력부에서 수신된 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리, 상기 저밀도 물질 영상을 이용하여 콘빔아티팩트가 재현된 재현 영상을 생성, 및 상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 보정 과정을 실행하고, 상기 보정 영상을 시작 영상으로 이용하여 상기 보정 과정을 반복하는 연산부; 및
    상기 연산부에서 생성된 최종 보정 영상을 출력하는 출력부를 포함하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  2. 제1항에 있어서,
    상기 연산부의 보정 과정은 상기 재현 영상의 평균 제곱 오차(Mean-Squared Error, MSE) 값이 기 설정된 수렴 기준을 만족할 때까지 반복되는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  3. 제2항에 있어서,
    상기 연산부의 보정 과정의 반복은 5회 이하인 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  4. 제1항에 있어서,
    상기 연산부는,
    상기 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 분리부;
    상기 분리부에서 생성된 저밀도 물질 영상을 이용하여 평균화된 스칼라값을 연산하는 스칼라산출부;
    상기 분리부에서 생성된 고밀도 물질 영상에서 상기 스칼라산출부가 연산한 스칼라값을 차감하여 고밀도 변환 오브젝트를 생성하는 스칼라제거부;
    상기 스칼라제거부에서 생성된 고밀도 변환 오브젝트를 이용하여 고밀도 변환 영상을 생성하고, 상기 고밀도 변환 오브젝트에서 상기 고밀도 변환 영상을 차감하여 재현 영상을 생성하는 재현부하는 재현부; 및
    상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 보정부를 포함하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  5. 제4항에 있어서,
    상기 분리부는,
    스레숄드(Threshold) 방법을 이용하여 상기 시작 영상을 고밀도 물질 영상과 저밀도 물질 영상으로 분리하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  6. 제5항에 있어서,
    상기 분리부는,
    상기 고밀도 물질 영역의 복셀(voxel) 최대값의 90% 이상에 해당되는 복셀의 평균값을 연산하고, 상기 복셀의 평균값의 55% 내지 75%에 해당되는 값을 상기 스레숄드(Threshold) 방법의 최초 문턱값으로 설정하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  7. 제6항에 있어서,
    상기 분리부는,
    보정 과정이 반복될 때마다 상기 스레숄드(Threshold) 방법의 문턱값을 증가시키는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  8. 제7항에 있어서,
    상기 보정 과정이 반복될 때마다 증가하는 문턱값은 일정하게 증가되는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  9. 제8항에 있어서,
    상기 문턱값은 2.5% 내지 5%씩 증가되는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  10. 제8항에 있어서,
    상기 문턱값은,
    상기 보정 과정의 반복이 3회를 초과하면 과다분할(oversegmentation)을 방지하기 위해 더 이상 증가되지 않는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  11. 제4항에 있어서,
    상기 분리부는,
    분리한 상기 고밀도 물질 영상에 메디안필터(Median filter)를 적용하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  12. 제4항에 있어서,
    상기 스칼라산출부는 스칼라값
    Figure 112019040751696-pat00066
    을 수학식
    Figure 112019040751696-pat00067

    (이때,
    Figure 112019040751696-pat00068
    는 저밀도 물질 영상, N은 저밀도 물질 구성 요소의 수, i는 보정 과정 프로세스의 동작 회차)
    을 이용하여 산출하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  13. 제4항에 있어서,
    상기 재현부는 전방 투사법(Forward projection) 및 FDK 영상 복원 알고리즘을 이용하여, 상기 고밀도 변환 영상을 생성하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 장치.
  14. 입력부가 콘빔아티팩트가 포함된 시작 영상을 수신하는 단계;
    분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계;
    스칼라산출부가 상기 분리부에서 생성된 저밀도 물질 영상을 이용하여 평균화된 스칼라값을 연산하는 단계;
    스칼라제거부가 상기 분리부에서 생성된 고밀도 물질 영상에서 상기 스칼라산출부가 연산한 스칼라값을 차감하여 고밀도 변환 오브젝트를 생성하는 단계;
    재현부가 상기 스칼라제거부에서 생성된 고밀도 변환 오브젝트를 이용하여 고밀도 변환 영상을 생성하는 단계;
    상기 재현부가 상기 분리부에서 생성된 고밀도 물질 영상에서 상기 고밀도 변환 영상을 차감하여 재현 영상을 생성하는 단계;
    보정부가 상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 단계;
    출력부가 최종적인 보정 영상을 출력하는 단계;를 포함하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  15. 제14항에 있어서,
    상기 보정부가 상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 단계 후,
    상기 보정부가 상기 재현 영상의 평균 제곱 오차(Mean-Squared Error, MSE) 값을 연산하고, 상기 평균 제곱 오차 값이 기 설정된 수렴 기준을 만족하는지 확인하는 단계;
    상기 평균 제곱 오차 값이 기 설정된 기준을 만족하지 않으면, 상기 보정부가 상기 보정 영상을 시작 영상으로 적용하는 단계;를 더 포함하고,
    상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계 내지 상기 보정부가 상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 단계는, 상기 보정 영상의 평균 제곱 오차 값이 기 설정된 기준을 만족할 때까지 반복되는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  16. 제15항에 있어서, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는,
    스레숄드(Threshold) 방법을 이용하여 시작 영상을 고밀도 물질 영상과 저밀도 물질 영상으로 분리하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  17. 제16항에 있어서, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는,
    고밀도 물질 영역의 복셀(voxel) 최대값의 90% 이상에 해당되는 복셀의 평균값을 연산하고, 상기 복셀의 평균값의 55% 내지 75%에 해당되는 값을 스레숄드 방법의 최초 문턱값으로 설정하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  18. 제16항에 있어서, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는,
    보정 영상의 생성이 반복될 때마다 상기 스레숄드 방법의 문턱값을 증가시키는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  19. 제18항에 있어서, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는,
    상기 문턱값은 일정하게 증가되는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  20. 제19항에 있어서, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는,
    상기 문턱값은 2.5% 내지 5%씩 증가되는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  21. 제19항에 있어서, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계는,
    상기 문턱값은 보정 영상의 생성 반복이 3회를 초과하면 과다분할(oversegmentation)을 방지하기 위해 더 이상 증가되지 않는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  22. 제14항에 있어서, 상기 분리부가 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리하는 단계 후,
    상기 분리부가 상기 분리된 고밀도 물질 영상에 메디안필터(Median filter)를 적용하는 단계;를 더 포함하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  23. 제14항에 있어서, 상기 스칼라산출부가 상기 분리부에서 생성된 저밀도 물질 영상을 이용하여 평균화된 스칼라값을 연산하는 단계는,
    상기 스칼라값
    Figure 112019040751696-pat00069
    을 수학식
    Figure 112019040751696-pat00070

    (이때,
    Figure 112019040751696-pat00071
    는 저밀도 물질 영상, N은 저밀도 물질 구성 요소의 수, i는 보정 과정 프로세스의 동작 회차)
    을 이용하여 산출하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  24. 제14항에 있어서, 상기 재현부가 상기 스칼라제거부에서 생성된 고밀도 변환 오브젝트를 이용하여 고밀도 변환 영상을 생성하는 단계는,
    전방 투사법(Forward projection) 및 FDK 영상 복원 알고리즘을 이용하여,
    상기 고밀도 변환 영상을 생성하는 것을 특징으로 하는 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법.
  25. 콘빔 컴퓨터 단층 촬영 장치에 있어서,
    콘빔아티팩트가 포함된 시작 영상을 수신하는 입력부;
    상기 입력부에서 수신된 시작 영상에서 고밀도 물질 영상과 저밀도 물질 영상을 분리, 상기 저밀도 물질 영상을 이용하여 콘빔아티팩트가 재현된 재현 영상을 생성, 및 상기 시작 영상에서 상기 재현 영상을 차감하여 보정 영상을 생성하는 보정 과정을 실행하고, 상기 보정 영상을 시작 영상으로 이용하여 상기 보정 과정을 반복하는 연산부; 및
    상기 연산부에서 생성된 최종 보정 영상을 출력하는 출력부를 포함하는 것을 특징으로 하는 콘빔 컴퓨터 단층 촬영 장치.
KR1020190046355A 2019-04-19 2019-04-19 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치 KR102248191B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190046355A KR102248191B1 (ko) 2019-04-19 2019-04-19 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치
US16/852,837 US11213260B2 (en) 2019-04-19 2020-04-20 Method and apparatus for correcting cone-beam artifact in cone-beam computed tomography image, and cone-beam computed tomography apparatus including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190046355A KR102248191B1 (ko) 2019-04-19 2019-04-19 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치

Publications (3)

Publication Number Publication Date
KR20200122930A KR20200122930A (ko) 2020-10-28
KR102248191B1 true KR102248191B1 (ko) 2021-05-04
KR102248191B9 KR102248191B9 (ko) 2022-01-17

Family

ID=72833289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190046355A KR102248191B1 (ko) 2019-04-19 2019-04-19 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치

Country Status (2)

Country Link
US (1) US11213260B2 (ko)
KR (1) KR102248191B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182569A1 (ko) * 2022-03-24 2023-09-28 주식회사 쓰리디오엔에스 인공지능 기반의 두경부 특정 조직에 대한 밀도값 판별 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431646B1 (ko) 2013-02-12 2014-08-20 주식회사 쎄크 데이터처리장치, 데이터처리방법 및 컴퓨터 판독가능 기록매체
KR101698033B1 (ko) 2016-02-26 2017-01-19 연세대학교 산학협력단 Ct 영상에서의 콘빔 아티팩트 보정 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086369A (ja) * 2005-09-21 2007-04-05 Fujitsu Ten Ltd 表示装置及び表示タイミング調整回路
US8503750B2 (en) * 2009-10-06 2013-08-06 General Electric Company Method and apparatus for reduction of metal artifacts in CT images
US9074986B2 (en) * 2013-05-02 2015-07-07 General Electric Company System and method for reducing high density artifacts in computed tomography imaging
US9406107B2 (en) * 2013-12-18 2016-08-02 General Electric Company System and method of computed tomography signal restoration via noise reduction
JP6285171B2 (ja) 2013-12-18 2018-02-28 東京瓦斯株式会社 ガス栓
KR101669424B1 (ko) * 2015-03-31 2016-10-28 주식회사 뷰웍스 엑스선 영상촬영장치의 아티팩트 보정 장치 및 방법
KR101870890B1 (ko) * 2016-11-23 2018-06-25 연세대학교 산학협력단 콘빔 ct 영상의 금속으로 인한 아티팩트 보정방법 및 장치
US11666422B2 (en) * 2017-05-04 2023-06-06 Trophy CBCT imaging of impression having implant locator

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431646B1 (ko) 2013-02-12 2014-08-20 주식회사 쎄크 데이터처리장치, 데이터처리방법 및 컴퓨터 판독가능 기록매체
KR101698033B1 (ko) 2016-02-26 2017-01-19 연세대학교 산학협력단 Ct 영상에서의 콘빔 아티팩트 보정 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPWO2007086369 A1

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182569A1 (ko) * 2022-03-24 2023-09-28 주식회사 쓰리디오엔에스 인공지능 기반의 두경부 특정 조직에 대한 밀도값 판별 방법 및 장치

Also Published As

Publication number Publication date
US11213260B2 (en) 2022-01-04
KR102248191B9 (ko) 2022-01-17
US20200330057A1 (en) 2020-10-22
KR20200122930A (ko) 2020-10-28

Similar Documents

Publication Publication Date Title
Mehranian et al. X-ray CT metal artifact reduction using wavelet domain $ L_ {0} $ sparse regularization
JP6442243B2 (ja) コンピュータ断層撮影画像再構成のアーチファクト低減の方法および装置
US9934597B2 (en) Metal artifacts reduction in cone beam reconstruction
US8855394B2 (en) Methods and apparatus for texture based filter fusion for CBCT system and cone-beam image reconstruction
US20060285737A1 (en) Image-based artifact reduction in PET/CT imaging
CN102024251B (zh) 用于双源ct的基于多图像虚拟非对比图像增强的系统和方法
US8565502B2 (en) Method and system for reconstruction of tomographic images
JP2007520300A (ja) ボクセル組織クラスを分散するctにおける高減衰オブジェクトにより生じる画像全体のアーティファクトの縮小
JPH10262960A (ja) 部分体積アーチファクト低減方法およびシステム
Chang et al. Prior-guided metal artifact reduction for iterative X-ray computed tomography
Peng et al. A cross-domain metal trace restoring network for reducing X-ray CT metal artifacts
Stille et al. Augmented likelihood image reconstruction
Sadowsky et al. Hybrid cone-beam tomographic reconstruction: Incorporation of prior anatomical models to compensate for missing data
CN110458913B (zh) 一种多阈值分割ct图像校正图像重建中骨硬化伪影的方法
KR102248191B1 (ko) 콘빔 컴퓨터 단층촬영 영상에서 콘빔아티팩트를 보정하는 방법 및 장치, 그것을 포함하는 콘빔 컴퓨터 단층촬영 장치
JP2004528100A (ja) Ct画像再構成
Chen et al. Novel method for reducing high-attenuation object artifacts in CT reconstructions
US20060251313A1 (en) Method of producing a cross-sectional image
KR20210137281A (ko) 3d 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템 및 방법
US7813469B2 (en) Method for producing a three-dimensional digital x-ray image
CN115564858A (zh) 一种金属伪影的校正方法、系统和x射线图像重建方法
US20050018889A1 (en) Systems and methods for filtering images
Xiu et al. An Innovative Beam Hardening Correction Method for Computed Tomography Systems.
JP2010075443A (ja) 断層像処理装置、x線ct装置およびプログラム
JP7346546B2 (ja) Ct仮想単色撮像のための自動的適応エネルギ設定を行う方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]