KR20190101694A - Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치 - Google Patents

Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치 Download PDF

Info

Publication number
KR20190101694A
KR20190101694A KR1020180022007A KR20180022007A KR20190101694A KR 20190101694 A KR20190101694 A KR 20190101694A KR 1020180022007 A KR1020180022007 A KR 1020180022007A KR 20180022007 A KR20180022007 A KR 20180022007A KR 20190101694 A KR20190101694 A KR 20190101694A
Authority
KR
South Korea
Prior art keywords
data
matching
optical data
measure
invalid
Prior art date
Application number
KR1020180022007A
Other languages
English (en)
Other versions
KR102099415B1 (ko
Inventor
신영길
김동준
송영찬
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020180022007A priority Critical patent/KR102099415B1/ko
Priority to PCT/KR2018/013581 priority patent/WO2019164093A1/ko
Publication of KR20190101694A publication Critical patent/KR20190101694A/ko
Application granted granted Critical
Publication of KR102099415B1 publication Critical patent/KR102099415B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pulmonology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 CT 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 물체의 내외부 구조를 3차원으로 재구성할 때 CT 데이터와 광학 데이터를 사용하여 양자 사이의 데이터 정합을 수행함으로써, 정합에 소요되는 시간을 줄이고, 처리 복잡도를 줄이며, 정합 결과의 정확도를 향상시킬 수 있는 방법과 그 장치에 관한 것이다.

Description

CT 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치{METHOD AND APPARATUS FOR IMPROVING MATCHING PERFORMANCE BETWEEN CT DATA AND OPTICAL DATA}
본 발명은 CT 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 물체의 내외부 구조를 3차원으로 재구성할 때 CT 데이터와 광학 데이터를 사용하여 양자 사이의 데이터 정합을 수행함으로써, 정합에 소요되는 시간을 줄이고, 처리 복잡도를 줄이며, 정합 결과의 정확도를 향상시킬 수 있는 방법과 그 장치에 관한 것이다.
일반적으로 CT(Computed Tomography)란 종래의 X선 장치로는 얻을 수 없던 제품의 구조나 조직 상태에 대한 정보를 화상으로 구현하는 것으로서, 대상 제품을 여러 각도에서 X-ray로 투사하여 얻은 영상을 조합하여 3차원의 영상으로 구현하는 기술이다.
이러한 CT 데이터는 물체 내외부 구조를 3차원으로 재구성하는 것이 가능한 장점을 가지고 있지만, X-ray의 물리적인 특성으로 인하여 재질 및 구조적 복잡도에 따라 표면이 고르게 재구성되지 않는 단점이 있다.
또한 광학 데이터는 CT 데이터에 비교하여 재구성되는 3차원 표면이 고르게 표현되고 정밀도가 높은 장점을 가지고 있지만, 스캐너에 노출되는 빛반사 영역의 표면만 재구성이 가능한 단점이 있다.
한편, CT 데이터와 광학 데이터의 장점을 활용하여 물체의 내외부 구조를 3차원으로 재구성하면, 물체의 내외부 정보를 활용한 병변 진단, 수술 전 시뮬레이션(Image-Guided Surgery), 증강현실을 이용한 수술 가이드 등과 같이 다양하게 활용하는 것이 가능해진다.
그러나 기존의 CT 데이터와 광학 데이터는 각각의 장점이 있음에도 불구하고 정합을 수행할 경우 다음과 같은 몇 가지 한계가 있었다.
예를 들어, 정합을 위하여 CT 데이터로부터 표면을 추출할 경우에는, X-ray 빔 경화(Beam-Hardening)로 인하여 X-ray가 통과하는 물질의 특성과 거리에 따른 비선형 감쇠(attenuation)가 발생하였으며, 광자 결핍(Photon Starvation)으로 인하여 CT 데이터의 화면 모델 재구성시 밴드나 줄무늬(streak) 형상의 흰색 선이나 그림자, 또는 아티팩트(artifact)가 발생하였다.
그리고 충분하지 못한 스캔 영상이나 저해상도 스캔 영상으로 인하여 CT 데이터의 화면 모델 재구성시 경계 부분이 흐리게(blurred) 재구성되는 부분용적효과(PVE, Partial Volume Effect)가 발생하였으며, 특히, 치과 데이터의 경우 다수의 보철로 인한 메탈 노이즈로 인하여 사용 가능한 표면 정보가 매우 제한적인 문제점이 있었다.
상기 설명과 같이 CT 데이터로부터 표면을 추출할 경우의 한계 이외에, 단순히 CT 데이터와 광학 데이터의 정합 과정에서 ICP(Iterative Closest Point) 알고리즘을 적용할 경우에도 다음과 같은 한계가 있었다. 이때 상기 ICP 알고리즘은 어떠한 모델에 대한 측정 데이터가 있을 때 이 측정 데이터를 모델에 매칭하기 위해 스케일 변환, 회전, 이동을 계산하는 방법이다.
즉 종래의 ICP 알고리즘은 CT 데이터와 광학 데이터의 정합 과정에서 CT 데이터와 광학 데이터의 에러가 포함된 정점(vertex) 데이터의 특성을 고려하지 않고 도출된 표면 정점 데이터를 균일하게 규정하여 사용하기 때문에, 에러가 반영된 결과가 도출되는 것은 물론, 알고리즘 수행시 고려할 필요가 없는 정점까지 연산하거나 아웃라이어(outlier)로 인한 수렴 방해가 발생하는 등 정합 처리 과정이 매우 비효율적이었다.
따라서 본 발명에서는 ICP 알고리즘을 이용하여 CT 데이터와 광학 데이터의 정합을 수행하는 과정에서 신뢰도 높은 정점을 추출하고, 추출된 정점의 샘플링을 통해 정합을 수행함으로써, CT 데이터 및 광학 데이터 각각의 표면 정점 정보를 모두 사용할 필요 없이 3차원 모델의 재구성 결과의 정확도를 높이면서 시간을 단축시킬 수 있는 방안을 제시하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국등록특허 제1785326호(2017.09.29.)는 치과 임플란트용 서지컬 가이드를 이용한 시술 안내정보 제공시스템에 관한 것으로, 피시술자의 구강 내부에 대한 CT 촬영 이미지 및 오랄스캔 이미지가 획득되되, 상기 획득된 CT 촬영 이미지 및 오랄스캔 이미지의 정합을 통해 3차원 통합 이미지가 획득되는 제1단계; 상기 획득된 3차원 통합 이미지를 기반으로 기설정된 임플란트 식립위치에 대응되는 픽스츄어가 선택되어 가 상 배치되는 제2단계; 상기 가상 배치된 픽스츄어에 디지털 드릴 라이브러리부터 추출된 가상 드릴 이미지가 중첩 배치되되, 상기 배치된 가상 드릴 이미지에 대응되는 부분이 제거된 치조골 및 상기 픽스츄어로부터 중첩부피가 산출되어 최적결합부피와 비교됨에 따라 시술 드릴 이미지가 선택되는 제3단계; 및 상기 3차원 통합 이미지에 따라 상기 피시술자의 구강 내부를 감싸는 고정홈부가 일면에 형성되되 시술공의 드릴링을 가이드하는 가이드홀이 형성된 서지컬 가이드가 준비되되, 상기 가이드홀별로 상기 시술 드릴 이미지가 매칭되어 표시된 드릴링 리포트가 출력되는 제4단계를 포함하는 것을 기술적 특징으로 한다.
하지만 상기 선행기술에는 단순히 CT 촬영 이미지 및 오랄스캔 이미지의 정합을 통해 3차원 통합 이미지를 획득하는 기재만이 있을 뿐, 본 발명에서 제시하고 있는 CT 데이터와 광학 데이터를 정합할 때, 추출하는 표면 정점 정보를 모두 사용하지 않고 신뢰도 높은 정점만을 사용하여 정확성과 시간을 단축할 수 있는 기술적 구성에 대하여 기재하고 있지 않기 때문에 기술적 차이점이 분명하다.
또한 한국공개특허 제2013-0098531호(2013.09.05.)는 씨티의 메탈 아티팩트 감소 방법에 관한 것으로, 씨티에 의한 투영 영상 획득 과정인 제 1 단계(S100)와, 상기 투영 영상을 입체 영상으로 재구성하는 과정인 제 2 단계(S200)와, 재구성 영상과 스캔 데이터 영상의 정합 과정인 제 3 단계(S300) 및 정합 결과를 이용해서 재구성 영상에서 메탈영역의 3차원 좌표를 확인하는 과정인 제 4 단계(S400)를 포함하는 것을 기술적 특징으로 한다.
하지만 비균질의 노이즈가 포함된 표면정보가 도출되고 고려할 필요가 없는 정점까지 연산하거나 아웃라이어로 인한 수렴을 방해하는 문제를 해결하기 위하여, 모든 표면 정점 정보를 사용할 필요없이 일부 신뢰도 높은 정점만을 사용하여 처리하는 본 발명의 기술적 구성은, CT에 의한 영상과 스캔 데이터 영상의 정합을 수행하는 내용의 기재만이 제시된 상기 선행기술과 비교해 볼 때 기술적 특징의 차이점이 분명하다.
즉 상기 선행기술들은 CT 촬영 이미지 및 오랄스캔 이미지의 정합을 통해 3차원 통합 이미지를 획득하는 구성, CT에 의한 영상과 스캔 데이터 영상의 정합을 수행하는 구성을 제시하고 있지만, 본 발명의 기술적 특징인 CT 데이터 및 광학 데이터로부터 신뢰도 높은 정점을 추출하고, 추출된 정점의 샘플링을 통해 정합을 수행하여, 표면 정점 정보를 모두 사용할 필요 없이 3차원 모델을 재구성하는 구성에 대해서는 구체적인 기재가 없음은 물론, 이를 시사 또는 암시하지도 않으므로 기술적 차이점이 분명한 것이다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, CT 데이터와 광학 데이터의 장점을 활용하여 물체의 내외부 구조를 3차원으로 재구성할 수 있도록 하는 CT 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한 본 발명은 CT 데이터와 광학 데이터를 정합할 때, 모든 표면 정점 정보를 사용할 필요 없이 일부 신뢰도 높은 정점만을 사용하여 정합이 이루어지도록 함으로써, 정합에 소요되는 시간을 단축하고, 처리과정의 복잡도를 줄이며, 정합 결과의 정확성을 높일 수 있도록 하는 CT 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치를 제공하는 것을 다른 목적으로 한다.
또한 본 발명은 물체의 내외부 구조에 대한 3차원 모델을 재구성할 때 CT 데이터와 광학 데이터의 정합성능을 향상시킴으로써, 비균질의 노이즈가 포함된 표면정보가 도출되고, 고려할 필요가 없는 정점까지 연산하며, 아웃라이어(outlier)로 인한 수렴을 방해하는 문제를 해결할 수 있도록 하는 CT 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 CT 데이터와 광학 데이터의 정합성능을 향상시켜 빠른 시간 내에 정확도 높은 3차원 모델을 구성함으로써, 물체의 내외부 정보를 활용한 병변진단, 수술 전 시뮬레이션, 증강현실을 이용한 수술 가이드 등을 효율적으로 수행할 수 있도록 하는 CT 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 CT 데이터와 광학 데이터의 정합성능 향상 방법은, 정합성능 향상 장치에서, CT 데이터와 광학 데이터에 복수 개의 대응점을 적용하여 초기 정합을 수행하는 초기 정합 단계, 상기 초기 정합을 수행한 CT 데이터와 광학 데이터의 표면 정점 후보를 추출하는 표면 정점 후보 추출 단계, 상기 추출한 표면 정점 후보의 에러 값(error measure)을 계산하고, 각각의 CT 데이터와 광학 데이터의 표면 정점 후보들에 대하여 상기 계산한 에러 값을 토대로 정점 샘플링을 수행하여 유효하지 않은 정점을 제거하는 정점 샘플링 단계, 상기 샘플링 결과를 토대로 정합 결과를 산출하는 정합 결과 산출 단계 및 상기 산출된 최종 정합 결과를 토대로 정합을 수행하여 3차원 모델을 재구성하는 정합 수행 단계를 포함하는 것을 특징으로 한다.
또한 상기 초기 정합 단계는, 상기 CT 데이터와 상기 광학 데이터에 세 쌍의 대응점을 적용하여 초기 정합을 수행하는 것을 특징으로 한다.
또한 상기 정점 샘플링 단계는, 상기 CT 데이터의 경우, CT값(intensity)을 기반으로 계산되는 Measure 1과 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률(Curvature)을 나타내는 Measure 2를 이용하여 노이즈를 제거하되, 상기 Measure 1을 이용하여 각 위치에서 주변의 인텐시티 변화가 큰 것과 상기 Measure 2를 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하며, 상기 광학 데이터의 경우, 상기 Measure 2를 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하는 것을 특징으로 한다. 이때 광학 데이터 표면 정점에서 Measure 2를 이용하여 곡률이 큰 정점을 노이즈로 판단하는 근거는, 곡률이 클수록 스캐너가 해당 부분을 정밀도 높게 스캔하기 어렵기 때문이다.
또한 상기 정합 결과 산출 단계는, 현재의 정합 결과를 사용하여 CT 데이터의 표면 정점 후보에 대하여 광학 데이터 표면 정점의 대응점을 계산하는 대응점 계산 단계, 상기 계산한 각각의 대응쌍을 비교하여 유효하지 않은 매칭 여부를 판단하는 매칭여부 판단 단계, 유효하지 않은 매칭이면 해당 대응쌍을 제거하는 대응쌍 제거 단계 및 유효한 대응쌍을 이용하여 현재 단계의 정합 결과를 계산하는 정합 결과 계산 단계를 포함하고, 상기 각 단계는 반복 종료 조건을 만족하지 않을 때까지 반복적으로 수행하며, 상기 반복 종료 조건은, 유효한 대응쌍이 3개 이하이거나, 미리 지정한 반복 횟수에 도달하거나, 변환 행렬이 수렴되는 경우인 것을 특징으로 한다.
또한 상기 유효하지 않은 매칭 여부의 판단은, 각 대응쌍의 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률을 나타내는 특성인 Measure 2를 비교하고, 추가로 각 대응쌍의 정점 간 거리를 비교하여 유효하지 않은 매칭 여부를 판단하는 것을 특징으로 한다.
아울러, 본 발명의 일 실시예에 따른 CT 데이터와 광학 데이터의 정합성능 향상 장치는, CT 데이터와 광학 데이터에 복수 개의 대응점을 적용하여 초기 정합을 수행하는 초기 정합부, 상기 초기 정합을 수행한 CT 데이터와 광학 데이터의 표면 정점 후보를 추출하는 표면 정점 추출부, 상기 추출한 표면 정점 후보의 에러 값(error measure)을 계산하고, 각각의 CT 데이터와 광학 데이터의 표면 정점 후보들에 대하여 상기 계산한 에러 값을 토대로 정점 샘플링을 수행하여 유효하지 않은 정점을 제거하는 정점 샘플링부, 상기 샘플링 결과를 토대로 정합 결과를 산출하는 정합 결과 산출부 및 상기 산출된 최종 정합 결과를 토대로 정합을 수행하여 3차원 모델을 재구성하는 정합 처리부를 포함하는 것을 특징으로 한다.
또한 상기 초기 정합부는, 상기 CT 데이터와 상기 광학 데이터에 세 쌍의 대응점을 적용하여 초기 정합을 수행하는 것을 특징으로 한다.
또한 상기 정점 샘플링부는, 상기 CT 데이터의 경우, 상기 CT 데이터의 경우, CT값(intensity)을 기반으로 계산되는 Measure 1과 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률(Curvature)을 나타내는 Measure 2를 이용하여 노이즈를 제거하되, 상기 Measure 1을 이용하여 각 위치에서 주변의 인텐시티 변화가 큰 것과 상기 Measure 2를 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하며, 상기 광학 데이터의 경우, 상기 Measure 2를 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하는 것을 특징으로 한다.
또한 상기 정합 결과 산출부는, 현재의 정합 결과를 사용하여 CT 데이터의 표면 정점 후보에 대하여 광학 데이터 표면 정점의 대응점을 계산하고, 상기 계산한 각각의 대응쌍을 비교하여 유효하지 않은 매칭 여부를 판단하여 유효하지 않은 매칭이면 해당 대응쌍을 제거하고, 유효한 대응쌍을 이용하여 현재 단계의 정합 결과를 계산하는 것을 더 포함하며, 반복 종료 조건을 만족하지 않을 때까지 반복적으로 수행하며, 상기 반복 종료 조건은, 유효한 대응쌍이 3개 이하이거나, 미리 지정한 반복 횟수에 도달하거나, 변환 행렬이 수렴되는 경우인 것을 특징으로 한다.
또한 상기 정합 결과 산출부는, 상기 유효하지 않은 매칭 여부를 판단할 때, 각 대응쌍의 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률을 나타내는 특성인 Measure 2를 비교하고, 추가로 각 대응쌍의 정점 간 거리를 비교하여 유효하지 않은 매칭 여부를 판단하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 CT 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치에 따르면, 물체의 내외부 구조를 3차원으로 재구성할 때 모든 표면 정점 정보를 사용할 필요 없이 일부 신뢰도 높은 정점만을 사용하여 CT 데이터와 광학 데이터의 정합이 이루어지도록 함으로써, 정합에 소요되는 시간을 크게 단축시키고, 정합처리 과정의 복잡도를 줄일 수 있으며, 정합 결과의 정확성을 높일 수 있는 효과가 있다.
또한 본 발명은 CT 데이터와 광학 데이터의 정합성능을 향상시킴으로써, 종래에 발생되었던 비균질의 노이즈가 포함된 표면정보가 도출되고, 고려할 필요가 없는 정점까지 연산하며, 아웃라이어(outlier)로 인한 수렴을 방해하는 것을 해결할 수 있는 효과가 있다.
또한 본 발명은 빠른 시간 내에 정확도 높게 구성된 3차원 모델을 통해 물체의 내외부 정보를 활용한 병변진단, 수술 전 시뮬레이션, 증강현실을 이용한 수술 가이드 등을 수행할 수 있는 효과가 있다.
도 1은 본 발명에서 제안된 CT 데이터와 광학 데이터에서의 신뢰도 높은 정점을 판별할 수 있는 방식을 설명하기 위한 도면이다.
도 2는 본 발명에서 제안된 Measure 1(Uncertainty)을 이용한 노이즈 제거 과정의 예를 설명하기 위한 도면이다.
도 3은 본 발명에서 제안된 Measure 2(Curvature)를 이용한 노이즈 제거 과정의 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 CT 데이터와 광학 데이터의 정합성능 향상 장치의 구성을 개략적으로 나타낸 도면이다.
도 5는 상기 도 4의 정합성능 향상 장치의 구성을 보다 상세하게 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 CT 데이터와 광학 데이터의 정합성능 향상 방법의 동작과정을 상세하게 나타낸 순서도이다.
도 7은 상기 도 6의 정합 결과 산출의 동작과정을 보다 상세하게 나타낸 순서도이다.
도 8은 초기 정합을 위하여 복수 개의 대응점 입력을 수행하는 것을 설명하기 위한 도면이다.
도 9는 초기 광학 데이터 표면 후보의 일 예를 나타낸 도면이다.
도 10은 본 발명에서 제안된 Measure 2(Curvature)를 이용하여 노이즈를 제거한 후의 광학 데이터 표면 후보의 일 예를 나타낸 도면이다.
도 11은 실제 정합 결과 계산에 사용하는 광학 데이터 표면 후보의 일 예를 나타낸 도면이다.
도 12는 최종 정합 결과의 일 예를 나타낸 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 CT 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
우선 본 발명의 상세한 구성 설명에 앞서, 종래의 정합 방식과 같이 추출하는 모든 정점 정보를 사용하는 것이 아닌 신뢰도 높은 정점을 판별하는 방식을 적용한 본 발명의 필요성에 대하여 설명한다.
도 1은 본 발명에서 제안된 CT 데이터와 광학 데이터에서의 신뢰도 높은 정점을 판별할 수 있는 방식을 설명하기 위한 도면이며, 도 2와 도 3은 본 발명에서 제안된 Measure 1(Uncertainty)과 Measure 2(Curvature)를 이용한 노이즈 제거 과정의 예를 각각 설명하기 위한 도면이다.
본 발명에서는 CT 데이터와 광학 데이터로부터 신뢰성 있는 정점을 추출하기 위하여, CT값(intensity)을 기반으로 계산되는 Measure 1과 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률(Curvature)을 나타내는 Measure 2의 두 가지 방식을 제안한다.
또한 본 발명에서는 CT 데이터에서의 신뢰도 높은 정점을 판별하기 위하여 Measure 1과 Measure 2를 사용하며, 광학 데이터에서의 신뢰도 높은 정점을 판별하기 위하여 Measure 2를 사용한다.
도 1은 본 발명에서 제안된 CT 데이터와 광학 데이터에서의 신뢰도 높은 정점을 판별할 수 있는 방식을 설명하기 위한 도면으로서, 도 1의 (a)는 CT 데이터에서 추출한 포인트 세트 중 CT값(intensity)을 기반으로 계산되는 Measure 1을 이용하여 노이즈일 가능성을 측정한 도면이며, 도 1의 (b)와 (c)는 CT 데이터에서 추출한 포인트 세트나 Mesh의 포인트 세트 중 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률(Curvature)을 나타내는 Measure 2를 이용하여 노이즈일 가능성을 측정한 도면이다. 노이즈일 가능성이 높다는 것은 신뢰도가 낮다는 것을 의미한다.
이때 상기 Measure 1은 CT 값(intensity)을 기반으로 계산되는 값이기 때문에 CT 데이터에서만 사용이 가능한 것으로서, 통상적인 CT 데이터는 그리드(grid)로 나누어진 공간에 값(intensity)이 채워진 형태를 가진 데이터이다. 이러한 CT 데이터에서는 종래의 문제점에서 언급한 물리적인 문제로 인한 노이즈가 발생하게 되는데, 이러한 노이즈는 주변 값들에 비하여 값(intensity)이 갑자기 크게 나타나는 경우가 빈번하다. 즉 상기 Measure 1은 각 위치에서 주변 값(intensity)의 변화가 큰 경우, 큰 값을 나타내며 이를 이용하여 노이즈일 가능성이 높은 포인트를 구분할 수 있다.
도 2는 본 발명에서 제안한 상기 Measure 1(Uncertainty)을 이용한 노이즈 제거 과정의 일 예를 설명하기 위한 도면으로서, CT 데이터로부터 iso-value로 추출한 포인트 세트(이때 녹색이 강할수록 불확실성(Uncertainty)이 높음)에서 Measure 1을 이용하여 높은 불확실성(Uncertainty)을 가지는 포인트를 제거한 후의 iso-points를 나타내고 있다.
또한 상기 Measure 2는 해당 위치 주변의 포인트 세트(CT 데이터로부터 추출한 iso-Point, Mesh를 이루는 Point)의 기하학적 모양에 따라 결정되는 곡률을 나타내는 특성이다. 즉 해당 위치 주변의 표면이 얼마나 구부러져 있는지의 정도를 나타내는 것이다. 따라서 상기 Measure 2는 입력 Mesh의 Point와 CT로부터 추출된 iso-point의 대응관계를 결정할 때, 두 점이 기하학적으로 유사한 모양에 있는 점인지 판단하는 기준 중 하나로 사용할 수 있다. 또한, 좁은 영역에서 상기 Measure2가 매우 크게 나타날 경우, 해당 위치는 노이즈일 가능성이 높다고 판단할 수 있다.
도 3은 본 발명에서 제안한 상기 Measure 2(Curvature)를 이용한 노이즈 제거 과정의 일 예를 설명하기 위한 도면으로서, 입력 Mesh의 포인트 세트(이때 녹색이 강할수록 상기 Measure 2(Curvature)가 높은 값임)에서 Measure 2를 이용하여 노이즈를 제거한 후의 입력 Mesh 포인트 세트를 나타내고 있다.
즉 본 발명에서는 CT 데이터의 경우 CT 값(intensity)을 기반으로 계산되는 Measure 1과 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률(Curvature)을 나타내는 Measure 2를 이용하여 노이즈를 제거하며, 광학 데이터의 경우 상기 Measure 2를 이용하여 노이즈를 제거함으로써, 결과의 정확성과 시간을 단축하도록 한다.
도 4는 본 발명의 일 실시예에 따른 CT 데이터와 광학 데이터의 정합성능 향상 장치의 구성을 개략적으로 나타낸 도면이다.
도 4에 도시된 바와 같이, 본 발명은 정합성능 향상 장치(100), 영상촬영장치(200), 데이터베이스(300), 디스플레이 장치(400)로 구성된다.
이와 같이 구성된 본 발명의 정합성능 향상 과정에 대하여 보다 상세하게 설명하면, 상기 영상촬영장치(200)에서 촬영대상 물체의 CT 데이터를 촬영하여 상기 정합성능 향상 장치(100)로 전송하고(①), 이와 함께 촬영대상 물체의 광학 데이터를 촬영하여 상기 정합성능 향상 장치(100)로 전송한다(②). 그리고 상기 정합성능 향상 장치(100)는 제안된 방식을 토대로 상기 영상촬영장치(200)로부터 입력받은 CT 데이터와 광학 데이터의 표면 정점을 추출한 후(③), 추출된 정점을 이용하여 CT 데이터와 광학 데이터의 정합을 수행하고(④), 정합 결과를 토대로 3차원 모델을 재구성함과 동시에 상기 데이터베이스(300)에 저장하며(⑤), 최종 정합한 결과인 3차원 모델을 상기 디스플레이 장치(400)를 통해 표시하여 사용자가 확인하도록 한다(⑥).
상기 정합성능 향상 장치(100)는 ICP 알고리즘을 이용하여 상기 영상촬영장치(200)에서 촬영한 CT 데이터와 광학 데이터를 정합할 때, 물체 내외부 구조를 3차원으로 재구성하는 것이 가능한 CT 데이터의 장점과 재구성되는 3차원 표면이 고르게 표현되고 정밀도가 높은 광학 데이터의 장점을 활용하여 CT 데이터와 광학 데이터의 정합성능을 향상시키기 위한 것으로서, 종래에서와 같이 모든 표면 정점 정보를 사용할 필요 없이 일부 신뢰도 높은 정점만을 사용하여 정합을 수행하기 때문에 3차원 모델의 재구성 결과의 정확도를 높이면서 시간을 단축시킬 수 있다.
즉 상기 정합성능 향상 장치(100)는 상기 영상촬영장치(200)로부터 입력받은 CT 데이터와 광학 데이터에 복수 개의 대응점을 적용하여 초기 정합을 수행하고, 초기 정합을 수행한 CT 데이터와 광학 데이터로부터 표면 정점 후보를 추출한다. 그리고 각각의 CT 데이터와 광학 데이터의 표면 정점 후보들에 대하여 샘플링을 수행하여 유효하지 않은 정점을 제거한 후, 유효한 정점 정보만을 토대로 CT 데이터와 광학 데이터의 정합을 수행하고, 정합 결과를 토대로 3차원 모델의 재구성을 수행하여 데이터베이스(300)에 저장하거나 자체적으로 구비된 저장장치에 저장하며, 필요시 상기 디스플레이 장치(400)를 통해 표시한다.
이에 따라 상기 정합성능 향상 장치(100)는 종래의 정합 과정에서 발생하였던 비균질의 노이즈가 포함된 표면정보가 도출되고, 고려할 필요가 없는 정점까지 연산하며, 아웃라이어(outlier)로 인한 수렴을 방해하는 문제를 해결할 수 있게 되었으며, 결과적으로 정합에 소요되는 시간이 크게 단축됨은 물론, 정합처리 과정의 복잡도가 줄어들었으며, 정합 결과의 정확성을 높일 수 있다.
또한 상기 정합성능 향상 장치(100)는 CT 데이터와 광학 데이터의 정합성능을 향상시켜 빠른 시간 내에 정확도 높은 3차원 모델을 구성할 수 있기 때문에 물체의 내외부 정보를 활용한 병변진단, 수술 전 시뮬레이션, 증강현실을 이용한 수술 가이드 등을 효율적으로 수행할 수 있다.
상기 영상촬영장치(200)는 공지의 CT 촬영기, 스캐너 등의 장비를 통칭하는 것으로서, 상기 정합성능 향상 장치(100)와 통신 접속되어 있고, 촬영대상 물체를 여러 각도에서 X-ray로 투사하여 얻은 CT 데이터를 상기 정합성능 향상 장치(100)로 제공하며, 스캐너 등으로 촬영한 촬영대상 물체의 광학 데이터를 상기 정합성능 향상 장치(100)로 제공한다.
상기 데이터베이스(300)는 상기 정합성능 향상 장치(100)에서 상기 영상촬영장치(200)로부터 제공받은 각 물체별로 촬영한 CT 데이터와 광학 데이터를 저장하여 관리함은 물론, 상기 정합성능 향상 장치(100)에서의 정합 결과에 따라 재구성한 3차원 모델을 저장하여 관리한다.
또한 상기 데이터베이스(300)는 상기 정합성능 향상 장치(100)에서 사용하는 정합성능 향상을 위한 각종 동작프로그램의 저장과 업데이트 관리를 수행한다.
상기 디스플레이 장치(400)는 통상적인 LCD, LED 등의 모니터로서, 상기 정합성능 향상 장치(100)에서의 CT 데이터와 광학 데이터의 정합 결과에 따라 재구성한 3차원 모델을 화면상에 표시하여 사용자가 확인할 수 있도록 한다.
도 5는 상기 도 4의 정합성능 향상 장치(100)의 구성을 보다 상세하게 나타낸 도면이다.
도 5에 도시된 바와 같이, 상기 정합성능 향상 장치(100)는 CT 데이터 입력부(110), 광학 데이터 입력부(120), 초기 정합부(130), 표면 정점 추출부(140), 정점 샘플링부(150), 정합 결과 산출부(160), 정합 처리부(170), 저장부(180), 제어부(190) 등으로 구성된다.
또한 상기 정합성능 향상 장치(100)는 도면에 도시하지는 않았지만, 각 구성 부분에 동작전원을 공급하는 전원부, 각종 기능 설정을 위하여 키신호 입력을 수행하는 입력부 등을 추가로 포함할 수 있다.
CT 데이터 입력부(110)는 상기 영상촬영장치(200)에서 CT 촬영기를 사용하여 촬영한 특정 물체의 CT 데이터를 입력받아 상기 제어부(190)로 전달한다.
광학 데이터 입력부(120)는 상기 영상촬영장치(200)에서 스캐너를 사용하여 촬영한 특정 물체의 광학 데이터를 입력받아 상기 제어부(190)로 전달한다.
또한 상기 CT 데이터 입력부(110)와 상기 광학 데이터 입력부(120) 각각은 상기 영상촬영장치(200)로부터 제공받은 CT 데이터와 광학 데이터를 상기 정합성능 향상 장치(100)에서 사용하기 위한 데이터로 변환하는 전처리 과정을 수행한다.
초기 정합부(130)는 상기 CT 데이터 입력부(110)로부터 제공받은 CT 데이터와 상기 광학 데이터 입력부(120)로부터 제공받은 광학 데이터에 복수 개의 대응점을 적용하여 초기 정합을 수행한다.
여기서 상기 초기 정합부(130)는 상기 CT 데이터와 상기 광학 데이터에 세 쌍의 대응점을 적용하여 초기 정합을 수행하는 것을 예로 하여 설명하고 있지만 이에 한정되는 것은 아니며, 사용 환경에 따라 대응점의 수량을 달리하여 적용할 수 있음을 밝혀둔다.
표면 정점 추출부(140)는 상기 초기 정합부(130)를 통해 초기 정합을 수행한 CT 데이터와 광학 데이터의 표면 정점 후보를 추출한다. 예를 들어 상기 CT 데이터의 경우 CT 값을 기반으로 하는 등위면(iso-surface)을 토대로 표면 정점 후보를 추출한다.
정점 샘플링부(150)는 상기 표면 정점 추출부(140)에서 추출한 표면 정점 후보의 에러 값(error measure)을 계산하고, 각각의 CT 데이터와 광학 데이터의 표면 정점 후보들에 대하여 상기 계산한 에러 값을 토대로 정점 샘플링을 수행하여 유효하지 않은 정점을 제거한다.
이때 상기 CT 데이터로부터 추출된 정점은 CT 데이터로부터 계산된 Measure 1과 Measure 2를 가지며, 상기 광학 데이터로부터 추출된 정점은 정점의 기하학적 분포를 기반으로 계산된 Measure 2를 갖는다.
보다 구체적으로 설명하면, 상기 정점 샘플링부(150)는 상기 CT 데이터의 경우 CT 값(intensity)을 기반으로 계산되는 Measure 1과 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률(Curvature)을 나타내는 Measure 2를 이용하여 노이즈를 제거한다. 즉 상기 Measure 1을 이용하여 각 위치에서 주변의 값(즉 intensity) 변화가 큰 것과 상기 Measure 2를 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하는 것이다.
또한 상기 정점 샘플링부(150)는 상기 광학 데이터의 경우 상기 CT 데이터와는 달리 상기 Measure 2만을 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거한다. 왜냐 하면 Measure 1은 인텐시티(intensity)를 기반으로 계산되는 값으로서 CT 데이터에서만 계산이 가능하기 때문이다.
정합 결과 산출부(160)는 상기 정점 샘플링부(150)에서 수행한 샘플링 결과를 토대로 정합 결과를 산출하여 제어부(190)로 제공한다.
보다 구체적으로 설명하면, 상기 정합 결과 산출부(160)는 현재의 정합 결과를 사용하여 CT 데이터의 표면 정점 후보에 대하여 광학 데이터 표면 정점의 대응점을 계산한 후, 상기 계산한 각각의 대응쌍을 비교하여 유효하지 않은 매칭 여부를 판단한다. 판단결과 유효하지 않은 매칭이면, 해당 대응쌍을 제거한 다음, 유효한 대응쌍을 이용하여 현재 단계의 정합 결과를 계산한다. 이러한 정합 결과의 계산은 반복 종료 조건을 만족하지 않을 때까지 반복적으로 수행한다. 이때 상기 반복 종료 조건은, 유효한 대응쌍이 3개 이하인 경우(변환 행렬(즉 정합 결과)을 계산하기 위한 최소 유효 대응쌍이 3개), 미리 지정한 반복 횟수에 도달하는 경우, 변환 행렬이 수렴(즉 이전 반복차수와 결과가 동일할 경우를 의미)되는 경우이다.
이때 상기 정합 결과 산출부(160)는 상기 유효하지 않은 매칭 여부를 판단할 때, CT 데이터와 광학 데이터의 각 대응쌍의 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률을 나타내는 특성인 Measure 2를 비교하고, 추가로 각 대응쌍의 정점 간 거리를 비교(즉 대응쌍의 점 간 거리가 매우 클 경우 유효하지 않다고 판단함)하여 유효하지 않은 매칭 여부를 판단한다.
정합 처리부(170)는 상기 정합 결과 산출부(160)에서 산출된 최종 정합 결과를 토대로 정합을 수행하여 3차원 모델을 재구성한다.
저장부(180)는 상기 정합성능 향상 장치(100)에서 사용하는 각종 동작프로그램을 저장하고 있으며, 데이터베이스(300)를 통해 각각의 동작프로그램에 대한 업데이트를 수행한다.
또한 상기 저장부(180)는 상기 영상촬영장치(200)에서 촬영한 CT 데이터와 광학 데이터를 저장하며, 상기 정합 처리부(170)를 통해 재구성된 3차원 모델을 저장한다.
제어부(190)는 상기 정합성능 향상 장치(100)의 동작을 총괄적으로 제어하는 부분으로서, 상기 CT 데이터 입력부(110)에서의 CT 데이터 입력 및 전처리, 상기 광학 데이터 입력부(120)에서의 광학 데이터 입력 및 전처리, 상기 CT 데이터와 광학 데이터의 상기 저장부(170) 저장을 제어한다.
또한 상기 제어부(190)는 상기 초기 정합부(130)에서의 복수의 대응점 적용을 통한 CT 데이터와 광학 데이터의 초기 정합, 상기 표면 정점 추출부(140)에서의 초기 정합한 CT 데이터와 광학 데이터의 표면 정점 후보 추출, 상기 정점 샘플링부(150)에서의 각각의 CT 데이터와 광학 데이터의 표면 정점 후보들에 대한 정점 샘플링의 수행 및 유효하지 않은 정점의 제거를 제어한다.
또한 상기 제어부(190)는 상기 정합 결과 산출부(160)에서의 정점 샘플링 결과를 이용한 최종 정합 결과 산출, 상기 정합 처리부(170)에서의 최종 정합 결과를 토대로 정합한 3차원 모델의 재구성, 재구성 결과에 대한 상기 저장부(180) 또는 상기 데이터베이스(300)의 저장, 재구성된 3차원 모델의 상기 디스플레이 장치(400)를 통한 화면 표시를 제어한다.
다음에는, 이와 같이 구성된 본 발명에 따른 CT 데이터와 광학 데이터의 정합성능 향상 방법의 일 실시예를 도 6 내지 도 12를 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.
도 6과 도 7은 본 발명의 일 실시예에 따른 CT 데이터와 광학 데이터의 정합성능 향상 방법의 동작과정을 상세하게 나타낸 순서도이고, 도 8 내지 도 12는 본 발명의 각 단계별 수행에 따른 처리결과의 일 예를 각각 나타낸 도면이다.
도 6에 도시된 바와 같이, 정합성능 향상 장치(100)는 영상촬영장치(200)로부터 동일 물체에 대하여 CT 촬영기를 통해 촬영한 CT 데이터와 스캐너로 촬영한 광학 데이터를 입력받는다.
그리고 상기 정합성능 향상 장치(100)는 상기 영상촬영장치(200)로부터 입력받은 CT 데이터와 광학 데이터에 복수 개의 대응점을 적용하여 초기 정합을 수행한다(S100). 이때 상기 정합성능 향상 장치(100)는 상기 CT 데이터와 광학 데이터에 세 쌍의 대응점을 적용하여 초기 정합을 수행하는 것이 바람직하다. 예를 들어 도 8의 (a)와 (b)에 각각 나타낸 바와 같이 초기 정합에 필요한 세 개의 대응점을 적용하는 것이다.
상기 S100 단계를 통해 초기 정합을 수행한 이후, 상기 정합성능 향상 장치(100)는 초기 정합을 수행한 CT 데이터와 광학 데이터의 표면 정점 후보를 추출한다(S200). 예를 들어 도 9는 초기 광학 데이터의 표면 정점 후보의 일 예이다.
상기 S200 단계를 통해 표면 정점 후보를 추출한 이후, 상기 정합성능 향상 장치(100)는 추출한 표면 정점 후보의 에러 값(error measure)을 계산한다(S300). 즉 상기 CT 데이터의 경우 CT 값(intensity)을 기반으로 계산되는 Measure 1과 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률(Curvature)을 나타내는 Measure 2를 확인하는 것이다.
이후 상기 정합성능 향상 장치(100)는 상기 S200 단계에서 추출한 각각의 CT 데이터와 광학 데이터의 표면 정점 후보들에 대하여 상기 S300 단계에서 계산한 에러 값을 토대로 정점 샘플링을 수행하여 유효하지 않은 정점을 제거한다(S400). 즉 CT 데이터의 경우 상기 Measure 1을 이용하여 각 위치에서 주변의 값(즉 intensity) 변화가 큰 것과 상기 Measure 2를 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하며, 광학 데이터의 경우 상기 Measure 2만을 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하는 것이다. 예를 들어 도 10은 이와 같이 Measure 2를 이용하여 노이즈를 제거한 후의 광학 데이터 표면 정점 후보이며, 도 11은 다음의 S500 단계에서 수행할 실제 정합 결과 계산에 사용하는 광학 데이터 표면 정점 후보이다.
이제, 상기 S400 단계를 통해 표면 정점 후보의 정점 샘플링을 통해 유효하지 않은 정점을 제거한 이후, 상기 정합성능 향상 장치(100)는 샘플링 결과를 토대로 정합 결과를 산출한다(S500).
상기 S500 단계를 도 7을 참조하여 보다 상세하게 설명하면, 상기 정합성능 향상 장치(100)는 현재의 정합 결과를 사용하여 CT 데이터의 표면 정점 후보에 대하여 광학 데이터 표면 정점의 대응점을 계산하고(S510), 상기 계산한 각각의 대응쌍을 비교하여 현재의 표면 정정 후보가 유효하지 않은 매칭 여부를 확인하며(S520), 확인결과를 토대로 유효하지 않은 매칭인지를 판단한다(S530).
이때 상기 S530 단계에서의 유효하지 않은 매칭 여부의 판단은, 각 대응쌍의 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률을 나타내는 특성인 Measure 2를 비교하고, 추가로 각 대응쌍의 정점 간 거리를 비교하는 것으로 유효하지 않은 매칭 여부를 판단한다.
상기 S530 단계의 판단결과 현재의 표면 정정 후보가 유효하지 않은 매칭이면, 상기 정합성능 향상 장치(100)는 해당 대응쌍을 제거하고(S540), 유효한 대응쌍을 이용하여 현재 단계의 정합 결과를 계산한다(S550).
그리고 상기 정합성능 향상 장치(100)는 정합 결과를 계산한 표면 정점 후보가 존재하는지의 여부를 판단하여(S560), 정합 결과를 계산할 표면의 정점 후보가 존재하지 않을 때까지 상기 S510 단계 이후를 반복적으로 수행한다.
그리고 상기 정합성능 향상 장치(100)는 반복 종료 조건(예를 들어, 유효한 대응쌍이 3개 이하이거나, 미리 지정한 반복 횟수에 도달하거나, 변환 행렬이 수렴되는 경우)을 만족하는지의 여부를 판단하여(S560), 반복 종료 조건을 만족하지 않을 때까지 상기 S510 단계 이후를 반복적으로 수행한다.
상기 S500 단계를 통해 최종 정합 결과가 산출되면, 상기 정합성능 향상 장치(100)는 최종 정합 결과를 토대로 정합을 수행하여 3차원 모델을 재구성한다(S600). 예를 들어 도 12는 이와 같이 최종 정합 결과를 토대로 정합을 수행한 결과를 나타낸 도면이다.
상기 S600 단계를 통해 재구성된 3차원 모델은 상기 데이터베이스(300)에 저장하거나 또는 자체적으로 구비된 저장장치에 저장할 수 있으며, 상기 디스플레이 장치(400)를 통해 화면상에 표시하여 사용자가 확인하도록 한다.
이처럼, 본 발명은 물체의 내외부 구조를 3차원으로 재구성할 때 모든 표면 정점 정보를 사용할 필요 없이 일부 신뢰도 높은 정점만을 사용하여 CT 데이터와 광학 데이터의 정합을 수행하기 때문에, 정합에 소요되는 시간이 줄어들고, 정합처리 과정의 복잡도를 줄일 수 있으며, 정합 결과의 정확성을 높일 수 있다.
또한 종래에 발생되었던 비균질의 노이즈가 포함된 표면정보가 도출되고, 고려할 필요가 없는 정점까지 연산하며, 아웃라이어로 인한 수렴을 방해하는 것을 해결할 수 있다.
또한 빠른 시간 내에 정확도 높게 구성된 3차원 모델을 사용하여 물체의 내외부 정보를 활용한 병변진단, 수술 전 시뮬레이션, 증강현실을 이용한 수술 가이드 등을 수행할 수 있다.
이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.
100 : 정합성능 향상 장치 110 : CT 데이터 입력부
120 : 광학 데이터 입력부 130 : 초기 정합부
140 : 표면 정점 추출부 150 : 정점 샘플링부
160 : 정합 결과 산출부 170 : 정합 처리부
180 : 저장부 190 : 제어부
200 : 영상촬영장치 300 : 데이터베이스
400 : 디스플레이 장치

Claims (10)

  1. 정합성능 향상 장치에서, CT 데이터와 광학 데이터에 복수 개의 대응점을 적용하여 초기 정합을 수행하는 초기 정합 단계;
    상기 초기 정합을 수행한 CT 데이터와 광학 데이터의 표면 정점 후보를 추출하는 표면 정점 후보 추출 단계;
    상기 추출한 표면 정점 후보의 에러 값(error measure)을 계산하고, 각각의 CT 데이터와 광학 데이터의 표면 정점 후보들에 대하여 상기 계산한 에러 값을 토대로 정점 샘플링을 수행하여 유효하지 않은 정점을 제거하는 정점 샘플링 단계;
    상기 샘플링 결과를 토대로 정합 결과를 산출하는 정합 결과 산출 단계; 및
    상기 산출된 최종 정합 결과를 토대로 정합을 수행하여 3차원 모델을 재구성하는 정합 수행 단계;를 포함하는 것을 특징으로 하는 CT 데이터와 광학 데이터의 정합성능 향상 방법.
  2. 청구항 1에 있어서,
    상기 초기 정합 단계는,
    상기 CT 데이터와 상기 광학 데이터에 세 쌍의 대응점을 적용하여 초기 정합을 수행하는 것을 특징으로 하는 CT 데이터와 광학 데이터의 정합성능 향상 방법.
  3. 청구항 1에 있어서,
    상기 정점 샘플링 단계는,
    상기 CT 데이터의 경우, CT값(intensity)을 기반으로 계산되는 Measure 1과 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률(Curvature)을 나타내는 Measure 2를 이용하여 노이즈를 제거하되, 상기 Measure 1을 이용하여 각 위치에서 주변의 인텐시티 변화가 큰 것과 상기 Measure 2를 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하며,
    상기 광학 데이터의 경우, 상기 Measure 2를 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하는 것을 특징으로 하는 CT 데이터와 광학 데이터의 정합성능 향상 방법.
  4. 청구항 1에 있어서,
    상기 정합 결과 산출 단계는,
    현재의 정합 결과를 사용하여 CT 데이터의 표면 정점 후보에 대하여 광학 데이터 표면 정점의 대응점을 계산하는 대응점 계산 단계;
    상기 계산한 각각의 대응쌍을 비교하여 유효하지 않은 매칭 여부를 판단하는 매칭여부 판단 단계;
    유효하지 않은 매칭이면 해당 대응쌍을 제거하는 대응쌍 제거 단계; 및
    유효한 대응쌍을 이용하여 현재 단계의 정합 결과를 계산하는 정합 결과 계산 단계;를 더 포함하고,
    상기 각 단계는 반복 종료 조건을 만족하지 않을 때까지 반복적으로 수행하며,
    상기 반복 종료 조건은, 유효한 대응쌍이 3개 이하이거나, 미리 지정한 반복 횟수에 도달하거나, 변환 행렬이 수렴되는 경우인 것을 특징으로 하는 CT 데이터와 광학 데이터의 정합성능 향상 방법.
  5. 청구항 4에 있어서,
    상기 유효하지 않은 매칭 여부의 판단은,
    각 대응쌍의 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률을 나타내는 특성인 Measure 2를 비교하고, 추가로 각 대응쌍의 정점 간 거리를 비교하여 유효하지 않은 매칭 여부를 판단하는 것을 특징으로 하는 CT 데이터와 광학 데이터의 정합성능 향상 방법.
  6. CT 데이터와 광학 데이터에 복수 개의 대응점을 적용하여 초기 정합을 수행하는 초기 정합부;
    상기 초기 정합을 수행한 CT 데이터와 광학 데이터의 표면 정점 후보를 추출하는 표면 정점 추출부;
    상기 추출한 표면 정점 후보의 에러 값(error measure)을 계산하고, 각각의 CT 데이터와 광학 데이터의 표면 정점 후보들에 대하여 상기 계산한 에러 값을 토대로 정점 샘플링을 수행하여 유효하지 않은 정점을 제거하는 정점 샘플링부;
    상기 샘플링 결과를 토대로 정합 결과를 산출하는 정합 결과 산출부; 및
    상기 산출된 최종 정합 결과를 토대로 정합을 수행하여 3차원 모델을 재구성하는 정합 처리부;를 포함하는 것을 특징으로 하는 CT 데이터와 광학 데이터의 정합성능 향상 장치.
  7. 청구항 6에 있어서,
    상기 초기 정합부는,
    상기 CT 데이터와 상기 광학 데이터에 세 쌍의 대응점을 적용하여 초기 정합을 수행하는 것을 특징으로 하는 CT 데이터와 광학 데이터의 정합성능 향상 장치.
  8. 청구항 6에 있어서,
    상기 정점 샘플링부는,
    상기 CT 데이터의 경우, CT값(intensity)을 기반으로 계산되는 Measure 1과 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률(Curvature)을 나타내는 Measure 2를 이용하여 노이즈를 제거하되, 상기 Measure 1을 이용하여 각 위치에서 주변의 인텐시티 변화가 큰 것과 상기 Measure 2를 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하며,
    상기 광학 데이터의 경우, 상기 Measure 2를 이용하여 각 위치에서 주변의 곡률 변화가 큰 것을 노이즈로 판단하여 제거하는 것을 특징으로 하는 CT 데이터와 광학 데이터의 정합성능 향상 장치.
  9. 청구항 6에 있어서,
    상기 정합 결과 산출부는,
    현재의 정합 결과를 사용하여 CT 데이터의 표면 정점 후보에 대하여 광학 데이터 표면 정점의 대응점을 계산하고, 상기 계산한 각각의 대응쌍을 비교하여 유효하지 않은 매칭 여부를 판단하여 유효하지 않은 매칭이면 해당 대응쌍을 제거하고, 유효한 대응쌍을 이용하여 현재 단계의 정합 결과를 계산하는 것을 더 포함하고,
    반복 종료 조건을 만족하지 않을 때까지 반복적으로 수행하며,
    상기 반복 종료 조건은, 유효한 대응쌍이 3개 이하이거나, 미리 지정한 반복 횟수에 도달하거나, 변환 행렬이 수렴되는 경우인 것을 특징으로 하는 CT 데이터와 광학 데이터의 정합성능 향상 장치.
  10. 청구항 9에 있어서,
    상기 정합 결과 산출부는,
    상기 유효하지 않은 매칭 여부를 판단할 때, 각 대응쌍의 해당 위치 주변의 포인트 세트의 기하학적 모양에 따라 결정되는 곡률을 나타내는 특성인 Measure 2를 비교하고, 추가로 각 대응쌍의 정점 간 거리를 비교하여 유효하지 않은 매칭 여부를 판단하는 것을 특징으로 하는 CT 데이터와 광학 데이터의 정합성능 향상 장치.
KR1020180022007A 2018-02-23 2018-02-23 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치 KR102099415B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180022007A KR102099415B1 (ko) 2018-02-23 2018-02-23 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
PCT/KR2018/013581 WO2019164093A1 (ko) 2018-02-23 2018-11-09 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180022007A KR102099415B1 (ko) 2018-02-23 2018-02-23 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190101694A true KR20190101694A (ko) 2019-09-02
KR102099415B1 KR102099415B1 (ko) 2020-04-09

Family

ID=67688199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180022007A KR102099415B1 (ko) 2018-02-23 2018-02-23 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR102099415B1 (ko)
WO (1) WO2019164093A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210036697A (ko) * 2019-09-26 2021-04-05 주식회사 메디트 3차원 데이터 정렬 장치 및 3차원 데이터 정렬 방법
KR102273437B1 (ko) * 2021-01-20 2021-07-07 주식회사 에이치디엑스윌 컴퓨터 단층촬영 영상을 활용한 3차원 구강 스캔 데이터 정합 장치 및 방법
KR102273438B1 (ko) * 2021-01-27 2021-07-07 주식회사 에이치디엑스윌 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
WO2021242053A1 (ko) * 2020-05-29 2021-12-02 주식회사 메디트 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
CN114437844A (zh) * 2020-11-03 2022-05-06 中国石油化工股份有限公司 一种天然气选择性脱氮工艺的参数计算机自动优化方法
WO2022203305A1 (ko) * 2021-03-24 2022-09-29 주식회사 메디트 데이터 처리 장치 및 데이터 처리 방법
WO2023163263A1 (ko) * 2022-02-28 2023-08-31 이마고웍스 주식회사 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2023204509A1 (ko) * 2022-04-20 2023-10-26 주식회사 메디트 3차원 스캐너의 3차원 이미지 모델의 생성과 정렬을 위한 전자 장치, 방법 및 기록 매체

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796693B (zh) * 2019-09-11 2023-03-21 重庆大学 一种工业ct切片图像直接生成二维有限元模型的方法
JP7319723B2 (ja) * 2020-12-30 2023-08-02 ニューロフェット インコーポレイテッド 医療映像分析方法、医療映像分析装置及び医療映像分析システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011031040A (ja) * 2009-07-31 2011-02-17 Medison Co Ltd ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法
JP2013236750A (ja) * 2012-05-15 2013-11-28 Denso Corp 画像処理装置、撮像システム、およびプログラム
KR20140100648A (ko) * 2013-02-06 2014-08-18 삼성전자주식회사 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.
WO2014167935A1 (ja) * 2013-04-08 2014-10-16 株式会社 日立メディコ Ｘ線ｃｔ装置、再構成演算装置、及び再構成演算方法
WO2016195401A1 (ko) * 2015-06-05 2016-12-08 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011031040A (ja) * 2009-07-31 2011-02-17 Medison Co Ltd ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法
JP2013236750A (ja) * 2012-05-15 2013-11-28 Denso Corp 画像処理装置、撮像システム、およびプログラム
KR20140100648A (ko) * 2013-02-06 2014-08-18 삼성전자주식회사 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.
WO2014167935A1 (ja) * 2013-04-08 2014-10-16 株式会社 日立メディコ Ｘ線ｃｔ装置、再構成演算装置、及び再構成演算方法
WO2016195401A1 (ko) * 2015-06-05 2016-12-08 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210036697A (ko) * 2019-09-26 2021-04-05 주식회사 메디트 3차원 데이터 정렬 장치 및 3차원 데이터 정렬 방법
US11704819B2 (en) 2019-09-26 2023-07-18 Medit Corp. Apparatus and method for aligning 3-dimensional data
WO2021242053A1 (ko) * 2020-05-29 2021-12-02 주식회사 메디트 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR20210147729A (ko) * 2020-05-29 2021-12-07 주식회사 메디트 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
CN114437844A (zh) * 2020-11-03 2022-05-06 中国石油化工股份有限公司 一种天然气选择性脱氮工艺的参数计算机自动优化方法
KR102273437B1 (ko) * 2021-01-20 2021-07-07 주식회사 에이치디엑스윌 컴퓨터 단층촬영 영상을 활용한 3차원 구강 스캔 데이터 정합 장치 및 방법
WO2022158804A1 (ko) * 2021-01-20 2022-07-28 주식회사 에이치디엑스윌 컴퓨터 단층촬영 영상을 활용한 3차원 구강 스캔 데이터 정합 장치 및 방법
KR102273438B1 (ko) * 2021-01-27 2021-07-07 주식회사 에이치디엑스윌 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
WO2022203305A1 (ko) * 2021-03-24 2022-09-29 주식회사 메디트 데이터 처리 장치 및 데이터 처리 방법
WO2023163263A1 (ko) * 2022-02-28 2023-08-31 이마고웍스 주식회사 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2023204509A1 (ko) * 2022-04-20 2023-10-26 주식회사 메디트 3차원 스캐너의 3차원 이미지 모델의 생성과 정렬을 위한 전자 장치, 방법 및 기록 매체

Also Published As

Publication number Publication date
KR102099415B1 (ko) 2020-04-09
WO2019164093A1 (ko) 2019-08-29

Similar Documents

Publication Publication Date Title
KR102099415B1 (ko) Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
US11568534B2 (en) System and method of mitral valve quantification
US10867436B2 (en) Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images
CN106981098B (zh) 虚拟场景组分的视角表示
JP6483273B2 (ja) 口腔内画像の自動選択及びロック
US20220296306A1 (en) Left Atrial Appendage Closure Guidance in Medical Imaging
JP5430203B2 (ja) 画像処理装置、画像処理方法
KR20190037241A (ko) 치열 메시 브레이스 제거를 위한 방법 및 시스템
US10052032B2 (en) Stenosis therapy planning
KR20160004862A (ko) 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법
JP5631453B2 (ja) 画像処理装置、画像処理方法
KR102311388B1 (ko) 3차원 데이터 정렬 장치 및 3차원 데이터 정렬 방법
US10074174B2 (en) Image processing apparatus that sets imaging region of object before imaging the object
JP2020010735A (ja) 検査支援装置、方法およびプログラム
US20160310036A1 (en) Image processing apparatus, image processing method, and storage medium
US9254106B2 (en) Method for completing a medical image data set
US11423554B2 (en) Registering a two-dimensional image with a three-dimensional image
CN112822983B (zh) 用于编辑全景射线照相图像的设备和方法
US20200345423A1 (en) System and Method for Image-Guided Treatment Planning
US7457658B2 (en) Algorithm for accurate three-dimensional reconstruction of non-linear implanted medical devices in VIVO
KR20210150633A (ko) 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법
JP2020010734A (ja) 検査支援装置、方法およびプログラム
KR102346951B1 (ko) 골-임플란트 접촉 비율을 측정할 대상 영역을 설정하는 장치
WO2024069739A1 (ja) ３次元画像処理装置、３次元画像処理方法及びプログラム
KR20180131211A (ko) 외장 의안의 3차원 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right