KR101812001B1 - 3차원 데이터 정합 장치 및 방법 - Google Patents

3차원 데이터 정합 장치 및 방법 Download PDF

Info

Publication number
KR101812001B1
KR101812001B1 KR1020160102070A KR20160102070A KR101812001B1 KR 101812001 B1 KR101812001 B1 KR 101812001B1 KR 1020160102070 A KR1020160102070 A KR 1020160102070A KR 20160102070 A KR20160102070 A KR 20160102070A KR 101812001 B1 KR101812001 B1 KR 101812001B1
Authority
KR
South Korea
Prior art keywords
data
dimensional
dimensional data
curvature
matching
Prior art date
Application number
KR1020160102070A
Other languages
English (en)
Inventor
권기훈
이승현
김민영
Original Assignee
주식회사 고영테크놀러지
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지, 경북대학교 산학협력단 filed Critical 주식회사 고영테크놀러지
Priority to KR1020160102070A priority Critical patent/KR101812001B1/ko
Priority to EP17839799.8A priority patent/EP3499464B1/en
Priority to PCT/KR2017/008609 priority patent/WO2018030781A1/ko
Priority to US16/324,886 priority patent/US11481867B2/en
Priority to CN201780049378.2A priority patent/CN109564693B/zh
Priority to JP2019507783A priority patent/JP6785362B2/ja
Application granted granted Critical
Publication of KR101812001B1 publication Critical patent/KR101812001B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

3차원 데이터를 정합하는 방법 및 장치가 개시된다. 3차원 데이터 정합 방법은, 타겟의 3차원 모델의 표면을 나타내는 제 1 3차원 데이터를 2차원 변환하여 제 1 2차원 데이터를 생성하는 단계, 타겟의 3차원 표면의 적어도 일부를 나타내는 제 2 3차원 데이터를 2차원 변환하여 제 2 2차원 데이터를 생성하는 단계, 제 1 2차원 데이터에 제 2 2차원 데이터를 매칭하여 제 1 2차원 데이터 상의 제 1 매칭 영역, 및 제 2 2차원 데이터 상의 제 2 매칭 영역을 각각 결정하는 단계, 제 1 매칭 영역에 대응하는 제 1 3차원 데이터의 복수의 포인트, 및 제 2 매칭 영역에 대응하는 제 2 3차원 데이터의 복수의 포인트를 초기 위치로서 설정하는 단계, 및 초기 위치를 이용하여 제 1 3차원 데이터 및 제 2 3차원 데이터를 정합하는 단계를 포함한다.

Description

3차원 데이터 정합 장치 및 방법{APPARATUS AND METHOD FOR 3D DATA REGISTRATION}
본 발명은 3차원 데이터 정합 장치 및 방법에 관한 것이다.
의료 분야에서 검진과 치료를 목적으로, 환자의 환부와 같은 대상에 대하여 서로 다른 장치들에 의해 복수의 3차원 데이터를 획득될 수 있다. 이들 3차원 데이터 각각은 해당 데이터를 생성한 장치에 따른 고유 좌표계를 가질 수 있다. 예를 들어, MRI 장치를 이용하여 환자의 환부를 모델링하여 생성된 MRI 데이터와, 3차원 측정 장치를 이용하여 해당 환부를 촬영하여 생성된 3차원 측정 데이터는 서로 상이한 좌표계를 갖는다.
서로 상이한 좌표계를 갖는 복수의 3차원 데이터가 검사 또는 치료 목적으로 함께 이용되는 경우에는, 이들 3차원 데이터를 적절한 방법으로 결합할 수 있다. 예를 들어, 의사가 환자를 수술할 때, 환자의 환부와 그 환부를 둘러싼 외부의 구조와 형상을 정확히 파악하기 위해, 그 환부를 미리 모델링하여 생성된 MRI 데이터와, 그 환부의 외부를 촬영하여 생성된 3차원 측정 데이터가 함께 이용될 수 있다. 서로 상이한 좌표계를 갖는 데이터를 결합하여 이용하기 위해서는, 이들 데이터와 관련된 좌표계들을 하나의 좌표계로 변환 내지 정렬할 필요가 있다. 예를 들어, MRI 데이터의 좌표계를 3차원 측정 데이터의 좌표계로 변환하거나, 3차원 측정 데이터의 좌표계를 MRI 데이터의 좌표계로 변환하거나, MRI 데이터 및 3차원 측정 데이터의 좌표계를 제 3의 좌표계로 변환할 수 있다.
한편, 서로 상이한 좌표계를 갖는 데이터 간의 정합을 위해 다양한 정합 알고리즘이 이용된다. 정합 알고리즘의 일 예에 따르면, 데이터 간의 유사도가 높아지는 방향으로 데이터 간의 상대적인 위치가 변화되고, 최대의 유사도를 갖는 데이터 간의 상대적인 위치가 결정될 수 있다. 이와 같은 정합 알고리즘은 정합을 위해 데이터에서 초기 위치를 지정할 수 있다. 이 경우, 정합할 데이터에서 초기 위치가 잘못 지정될 경우, 정합된 데이터 간의 유사도는 초기 위치의 주변에서 로컬하게 최대가 될 뿐, 데이터의 전 영역에서 최대가 되지 않을 수 있다. 다시 말해, 정합할 데이터에서 초기 위치가 잘못 지정될 경우, 데이터 간에 부정확한 정합이 이루어질 수 있다. 또한, 이와 같이 정합할 데이터에서 초기 위치가 잘못 지정될 경우, 최적의 정합을 이룰 때까지 많은 시간이 소요된다는 문제가 있다.
본 발명은, 3차원 데이터로부터 변환된 2차원 데이터를 기초로 해당 3차원 데이터 상에 정합을 위한 초기 위치를 설정함으로써, 데이터 정합의 정확성과 효율성을 향상할 수 있는, 3차원 데이터 정합 방법 및 장치를 제공한다.
본 발명의 일 측면은, 3차원 데이터를 정합하는 방법을 제공한다. 예시적 실시예에 따른 방법은, 타겟의 3차원 모델의 표면을 나타내는 제 1 3차원 데이터를 2차원 변환하여 제 1 2차원 데이터를 생성하는 단계, 타겟의 3차원 표면의 적어도 일부를 나타내는 제 2 3차원 데이터를 2차원 변환하여 제 2 2차원 데이터를 생성하는 단계, 제 1 2차원 데이터에 제 2 2차원 데이터를 매칭하여 제 1 2차원 데이터 상의 제 1 매칭 영역, 및 제 2 2차원 데이터 상의 제 2 매칭 영역을 각각 결정하는 단계, 제 1 매칭 영역에 대응하는 제 1 3차원 데이터의 복수의 포인트, 및 제 2 매칭 영역에 대응하는 제 2 3차원 데이터의 복수의 포인트를 초기 위치로서 설정하는 단계, 및 초기 위치를 이용하여 제 1 3차원 데이터 및 제 2 3차원 데이터를 정합하는 단계를 포함한다.
또한, 예시적 실시예에 따르면, 상기 제 1 매칭 영역 및 제 2 매칭 영역을 각각 결정하는 단계는, 제 1 2차원 데이터 및 제 2 2차원 데이터를 각각 편미분하여 제 1 2차원 곡률 데이터 및 제 2 2차원 곡률 데이터를 생성하는 단계, 및 제 1 2차원 곡률 데이터 및 제 2 2차원 곡률 데이터를 매칭하여 제 1 2차원 곡률 데이터 상의 제 1 매칭 영역, 및 제 2 2차원 곡률 데이터 상의 제 2 매칭 영역을 각각 결정하는 단계를 포함한다.
본 발명의 적어도 하나의 실시예에 따르면, 3차원 데이터의 정합을 위한 초기 위치를 지정하기 위하여, 정합 대상인 3차원 데이터 사이의 직접 매칭을 실행하는 대신에, 3차원 데이터로부터 변환된 2차원 데이터 사이의 매칭을 실행한다. 이와 같이 매칭된 영역의 데이터를 다시 3차원 변환하여 정합을 위한 초기 위치를 설정한다. 그 결과, 적절한 초기 위치의 설정이 가능하게 되어, 3차원 데이터 간의 정합의 정확성과 효율성이 향상되는 효과를 얻을 수 있다.
또한, 본 발명의 적어도 하나의 실시예에 의하면, 3차원 데이터로부터 변환된 2차원 데이터를 매칭함에 있어서, 해당 2차원 데이터를 각각 편미분하여 생성된 곡률 데이터 사이의 매칭을 실행한다. 그 결과, 초기 위치가 더욱 정확하게 설정됨으로써, 3차원 데이터 간의 정합의 정확성과 효율성이 더욱 향상되는 효과를 얻을 수 있다.
도 1은 본 발명의 일 실시예에 따른 표면 정합 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 데이터 정합 장치의 상세 구성을 도시하는 블럭도이다.
도 3은 본 발명의 일 실시예에 따라 모델 표면 데이터로부터 2차원 변환된 모델 표면 2차원 데이터를 나타낸 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따라 측정 표면 데이터로부터 2차원 변환된 측정 표면 2차원 데이터를 나타낸 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따라 모델 표면 2차원 데이터에 매칭된 측정 표면 2차원 데이터를 나타낸 도면이다.
도 8 내지 도 10은 본 발명의 일 실시예에 따라 모델 표면 2차원 곡률 데이터를 편미분하여 생성한 측정 표면 2차원 곡률 데이터를 나타낸 도면이다.
도 11 및 도 12는 본 발명의 일 실시예에 따라 초기 위치가 설정된 모델 표면 데이터 및 측정 표면 데이터를 나타낸 도면이다.
도 13은 본 발명의 실시예에 따라 3차원 데이터를 정합하는 방법을 나타낸 순서도이다.
본 발명의 실시예들은 본 발명을 설명하기 위한 목적으로 예시된 것이다. 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며, 본 발명이 아래 제시된 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것으로 해석해서는 아니 된다.
본 명세서에서 사용되는 용어 "부"는 FPGA(field-programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미할 수 있다. 그러나, "부"는 이러한 하드웨어 구성요소에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.
본 명세서에서 사용되는 모든 기술적 용어들 및 과학적 용어들은, 다르게 정의되어 있지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 명세서에서 사용되는 모든 용어들은 본 발명을 보다 명확히 설명하기 위한 목적으로 선택된 것이며 본 발명의 범위를 제한하기 위해 선택된 것이 아니다.
본원 명세서에서 기술된 단수형의 표현은 달리 언급하지 않는 이상 복수형의 표현도 함께 포함할 수 있으며, 이는 청구항에 기재된 단수형의 표현에도 마찬가지로 적용된다.
본 발명의 다양한 실시 예에서 사용된 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용하는 것일 뿐 해당 구성요소들의 순서 또는 중요도를 한정하는 것이 아니다.
본 명세서에서 사용되는 "포함하는" 및 "갖는"과 같은 표현은, 해당 표현이 포함되는 문구 또는 문장에서 특별히 다르게 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 명세서에서 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 문구에서 기술되는 결정 또는 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되고, 이 표현은 결정 또는 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지는 않는다.
본 명세서에서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 상세하게 설명한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 표면 정합 시스템(100)을 개략적으로 나타낸 도면이다. 도 1에 도시된 바와 같이, 표면 정합 시스템(100)은, 3차원 데이터 정합 장치(120), 3차원 스캐너(140) 및 옵티컬 트래커(160)를 포함한다.
본 실시예에서 3차원 데이터 정합 장치(120)는, 환자(20)의 환부와 같은 타겟을 모델링하여 생성한 모델 데이터를 저장 및 디스플레이할 수 있다. 여기서, "모델 데이터"는, 타겟의 3차원 형상 또는 구조를 모델링하는, CT 장치나 MRI 장치와 같은 모델링 장치(미도시)에 의해 생성된, 타겟의 3차원 데이터를 의미할 수 있다. 모델 데이터는 모델링 장치에 관한 고유 좌표계(예를 들어, x1y1z1 좌표계)를 가질 수 있다. 도 1에 도시된 예에서, 모델 데이터는, CT 장치나 MRI 장치와 같은 모델링 장치가, 환자(20)의 신체의 적어도 일부를 타겟으로서 모델링하여 생성한 CT/MRI 데이터(10)일 수 있다. 이 경우, CT/MRI 데이터(10)는 CT/MRI 장치에 관한 고유 좌표계를 가진다.
3차원 스캐너(140)는, 타겟의 표면을 사진측량법(photogrammetry), 구조화 패턴광 측정법(structured light 3D scanning), 변조광 측정법(Modulated light 3D scanning), 스테레오 촬영법(stereo photography), 라이더(LIDAR), 초음파 TOF(Ultrasonic Time-of-Flight) 또는 레이저 TOF 등과 같은 다양한 기법을 이용하여 3차원으로 측정하여 측정 표면 데이터를 생성할 수 있다. 도 1에 도시된 바와 같이, 3차원 스캐너(140)는 환자(20)의 신체 표면의 적어도 일부를 타겟으로서 측정하여 측정 표면 데이터를 생성할 수 있다. 3차원 스캐너(140)가 측정한 타겟은, 앞서 모델 데이터로 모델링된 타겟의 외부 표면 또는 그 일부일 수 있다. 예를 들어, 모델 데이터가 환자(20)의 머리의 3차원 형상을 모델링한 데이터인 경우, 측정 표면 데이터는 환자(20)의 머리의 표면에 있는 눈, 코, 입, 귀 등의 외부 형상을 측정한 데이터일 수 있다. 측정 표면 데이터는 3차원 스캐너(140)에 관한 고유 좌표계(예를 들어, x2y2z2 좌표계)를 가질 수 있다. 측정 표면 데이터의 좌표계는, 모델 데이터의 좌표계(예를 들어, x1y1z1 좌표계)와도 상이하고 옵티컬 트래커(160)의 좌표계(예를 들어, x0y0z0 좌표계)와도 상이할 수 있다.
본 발명의 일 실시예에 따른 표면 정합 시스템(100)은, 모델 데이터의 좌표계(예를 들어, x1y1z1 좌표계)와 측정 표면 데이터의 좌표계(예를 들어, x2y2z2 좌표계)를 옵티컬 트래커(160)의 좌표계(예를 들어, x0y0z0 좌표계)로 변환 내지 정렬할 수 있다. 3차원 데이터 정합 장치(120)는 좌표계가 서로 상이한 모델 데이터와 측정 표면 데이터의 정합을 실행할 수 있다. 모델 데이터와 측정 표면 데이터의 정합을 실행하기 위하여, 3차원 데이터 정합 장치(120)는 모델 데이터로부터 표면 데이터(이하, '모델 표면 데이터'라 지칭함)를 추출하고, 모델 표면 데이터와 측정 표면 데이터 사이의 정합을 실행할 수 있다. 여기서, 모델 표면 데이터의 좌표계는 모델 데이터의 좌표계(예를 들어, x1y1z1 좌표계)와 동일할 수 있다. 또한, 옵티컬 트래커(160)는, 3차원 스캐너(140)에 장착된 마커(142)를 매개로, 측정 표면 데이터의 좌표계(예를 들어, x2y2z2 좌표계)를 옵티컬 트래커(160)의 좌표계(예를 들어, x0y0z0 좌표계)로 변환할 수 있다. 그 결과, 3차원 데이터 정합 장치(120)에 의해 측정 표면 데이터와 정합된 모델 데이터 및 모델 표면 데이터의 좌표계(예를 들어, x1y1z1 좌표계)도 옵티컬 트래커(160)의 좌표계(예를 들어, x0y0z0 좌표계)로 변환된다.
3차원 데이터 정합 장치(120)는 다양한 정합 알고리즘을 이용하여 모델 표면 데이터와 측정 표면 데이터 사이의 정합을 실행할 수 있다. 예를 들어, 3차원 데이터 정합 장치(120)는, ICP(Iterative Closest Point) 알고리즘을 이용하여 정합을 실행할 수 있다. 3차원 데이터 정합 장치(120)는 정합을 위해 3차원 데이터에서 초기 위치를 설정하고, 설정된 초기 위치를 기초로 정합 알고리즘을 실행할 수 있다. 예를 들어, 3차원 데이터 정합 장치(120)는 초기 위치로서 모델 표면 데이터와 측정 표면 데이터 상의 소정 영역 또는 소정 포인트를 기초로 모델 표면 데이터와 측정 표면 데이터 사이의 유사도를 계산하고, 유사도가 높아지는 방향으로 모델 표면 데이터의 측정 표면 데이터에 대한 상대적인 위치를 변화시킬 수 있다. 예를 들어, 3차원 데이터 정합 장치(120)는 모델 표면 데이터와 측정 표면 데이터에서 최단 거리에 있는 포인트들을 대응점 세트로 정의하고, 대응점 세트 사이의 거리의 합으로써 유사도를 계산할 수 있다.
3차원 데이터 정합 장치(120)는 정합에 이용되는 초기 위치를 설정하기 위하여, 모델 표면 데이터를 2차원적으로 변환한 모델 표면 2차원 데이터와 측정 표면 데이터를 2차원적으로 변환한 측정 표면 2차원 데이터를 이용할 수 있다. 3차원 데이터 정합 장치(120)는 모델 표면 데이터(또는, 측정 표면 데이터)의 각 포인트의 3차원 좌표를, 모델 표면 2차원 데이터(또는, 측정 표면 2차원 데이터)의 각 포인트의 2차원 좌표 및 해당 포인트의 값(예를 들어, 밝기 값)으로 매핑할 수 있다. 일 실시예에 의하면, 3차원 데이터 정합 장치(120)는 구형 언랩핑(spherical unwrapping)을 통해 2차원 데이터 변환을 수행할 수 있다. 구형 언랩핑에 의하면, 2차원 데이터의 각 포인트의 2차원 좌표는, 3차원 구 좌표계에서 대응하는 포인트의 두 각도 성분으로부터 결정될 수 있다. 또한, 2차원 데이터의 각 포인트의 값은, 3차원 구 좌표계에서 대응하는 포인트로부터 원점까지의 거리에 의해 결정될 수 있다. 다른 실시예에 의하면, 3차원 데이터 정합 장치(120)는 원통형 언랩핑(cylindrical unwrapping) 변환, 등장방형 언랩핑(equirectangular unwrapping)과 같은 다양한 형태의 2차원 데이터 변환 알고리즘을 이용할 수 있다.
일 실시예에 의하면, 3차원 데이터 정합 장치(120)는 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터 각각의 곡률을 산출하여 모델 표면 2차원 곡률 데이터 및 측정 표면 2차원 곡률 데이터를 생성할 수 있다. 일 실시예에 의하면, 3차원 데이터 정합 장치(120)는, 모델 표면 2차원 데이터(또는, 측정 표면 2차원 데이터)에서 대응하는 포인트의 값과 이웃하는 복수의 포인트의 값들과의 차로부터 모델 표면 2차원 곡률 데이터(또는, 측정 표면 2차원 곡률 데이터)의 각 포인트의 값을 결정할 수 있다. 일 실시예에 의하면, 3차원 데이터 정합 장치(120)는 2차원 데이터의 값을 편미분하여 2차원 곡률 데이터를 생성할 수 있다.
3차원 데이터 정합 장치(120)는 모델 표면 2차원 데이터와 측정 표면 2차원 데이터를 매칭하고, 매칭 영역들을 결정할 수 있다. 또한, 3차원 데이터 정합 장치(120)는 3차원 데이터인 모델 표면 데이터와 측정 표면 데이터에 있어서, 모델 표면 2차원 데이터의 매칭 영역에 대응하는 모델 표면 데이터의 표면 영역을 정합(registration)을 위한 초기 위치로 설정할 수 있고, 측정 표면 2차원 데이터의 매칭 영역에 대응하는 측정 표면 데이터의 표면 영역을 정합을 위한 초기 위치로 설정할 수 있다. 일 실시예에 의하면, 3차원 데이터 정합 장치(120)는 매칭 영역들을 결정하기 위하여, 모델 표면 2차원 데이터와 측정 표면 2차원 데이터를 매칭하는 대신, 모델 표면 2차원 곡률 데이터와 측정 표면 2차원 곡률 데이터를 매칭할 수도 있다. 모델 표면 데이터 및 측정 표면 데이터의 초기 위치의 설정에 관해서는 도 2 내지 도 8을 참조하여 더욱 상세하게 설명한다.
한편, 옵티컬 트래커(160)는 3차원 스캐너(140)에 장착된 마커(142)를 촬상하여 마커 이미지를 생성할 수 있다. 옵티컬 트래커(160)는 마커 이미지에 나타난 마커(144)의 크기 및 위치를 분석하여 3차원 스캐너(140)의 위치와 자세를 판단할 수 있고, 그에 따라, 3차원 스캐너(140)에 관한 좌표계와 옵티컬 트래커(160)에 관한 좌표계 사이의 변환 관계를 정립할 수 있다.
앞서 3차원 스캐너(140)에 관한 좌표계 상의 측정 표면 데이터가 모델 데이터를 위한 좌표계 상의 모델 표면 데이터와 정합되었기 때문에, 옵티컬 트래커(160)는 모델 데이터의 좌표계와 3차원 스캐너(140)에 관한 좌표계 사이의 변환 관계를 정립할 수 있다. 옵티컬 트래커(160)는, 3차원 스캐너(140)에 관한 좌표계와 옵티컬 트래커(160)에 관한 좌표계 사이의 변환 관계 및 모델 데이터의 좌표계와 3차원 스캐너(140)에 관한 좌표계 사이의 변환 관계를 이용하여, 모델 데이터의 좌표계와 옵티컬 트래커(160)에 관한 좌표계 사이의 변환 관계를 획득할 수 있고, 모델 데이터를 옵티컬 트래커(160)에 관한 좌표계 내에서 취급할 수 있다.
도 1에는 모델 데이터 및 측정 표면 데이터의 타겟으로서 환자(20)가 도시되어 있으나, 본 발명은 이에 한정되는 것은 아니다. 본 발명에 따른 타겟은 예를 들어, 3차원 형상을 갖는 임의의 물건, 사람, 또는 동물일 수 있다.
도 2는 본 발명의 일 실시예에 따른 3차원 데이터 정합 장치(200)의 상세 구성을 도시하는 블럭도이다. 복수의 실시 형태에 따르면, 도 2의 3차원 데이터 정합 장치(200)는 도 1의 3차원 데이터 정합 장치(120)의 모든 기술적 특징들을 포함할 수 있다. 도 2에 도시된 바와 같이, 3차원 데이터 정합 장치(200)는 통신부(210), 처리부(220) 및 데이터베이스(240)를 포함한다.
통신부(210)는 외부 장치, 예를 들어, 모델 데이터를 생성하는 모델링 장치(미도시), 도 1의 3차원 스캐너(140) 및 옵티컬 트래커(160)와 통신할 수 있다. 통신부(210)에 있어서, 이들 외부 장치와 통신하기 위한 하위 구성요소들은 하나의 하드웨어 장치로 통합 구성될 수 있다.
처리부(220)는 3차원 데이터 정합과 관련된 정보를 처리할 수 있다. 처리부(220)는 표면 처리부(222), 제 1 변환부(224), 제 2 변환부(226), 초기 위치 설정부(228), 곡률 변환부(230) 및 데이터 정합부(232)를 포함한다. 또한, 데이터베이스(240)는 3차원 데이터 정합과 관련된 데이터를 저장할 수 있다. 데이터베이스(240)는, 모델 데이터 DB(242), 측정 표면 데이터 DB(244), 모델 표면 데이터 DB(246), 모델 표면 2차원 데이터 DB(248), 측정 표면 2차원 데이터 DB(250), 모델 표면 2차원 곡률 데이터 DB(252) 및 측정 표면 2차원 곡률 데이터 DB(254)를 포함할 수 있다. 도 2에는 데이터베이스(240)를 구성하는 하위 구성요소들이 각각 독립적인 구성으로서 도시되어 있으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 데이터베이스(240)의 하위 구성요소들의 적어도 일부는 통합 구성될 수 있다.
모델 데이터 DB(242)에는 타겟의 3차원 모델을 나타내는 모델 데이터가 저장된다. 일 실시예에 의하면, 모델 데이터는 CT/MRI 장치를 이용하여 환자(20)의 머리의 형상을 모델링하여 생성된 CT/MRI 데이터(10)일 수 있다. 이 경우, 모델 데이터는 CT/MRI 장치로부터 통신부(210)를 통해 수신되어 모델 데이터 DB(242)에 저장될 수 있다.
측정 표면 데이터 DB(244)에는 타겟의 3차원 표면의 적어도 일부를 나타내는 측정 표면 데이터가 저장될 수 있다. 일 실시예에 의하면, 측정 표면 데이터는 도 1의 3차원 스캐너(140)를 이용하여 환자(20)의 눈, 귀, 코 등의 외부 형상을 측정한 데이터일 수 있다. 이 경우, 측정 표면 데이터는 3차원 스캐너(140)로부터 통신부(210)를 통해 측정 표면 데이터 DB(244)에 저장될 수 있다.
표면 처리부(222)는 모델 데이터 DB(242)에 저장된 모델 데이터로부터 모델 표면 데이터를 추출할 수 있다. 모델 표면 데이터는 타겟의 3차원 모델의 표면을 나타내는 데이터로서, 모델 데이터와 동일한 좌표계(예를 들어, x1y1z1 좌표계)를 가질 수 있다. 예를 들어, 모델 데이터가 환자(20)의 머리의 3차원 형상을 나타내는 CT/MRI 데이터(10)인 경우, 모델 표면 데이터는 환자(20)의 머리의 3차원 표면을 나타내는 데이터이다. 표면 처리부(222)는 모델 표면 데이터를 모델 표면 데이터 DB(246)에 저장할 수 있다.
제 1 변환부(224)는 모델 표면 데이터 DB(246)에 저장된 모델 표면 데이터를 2차원 변환할 수 있다. 제 1 변환부(224)는 언랩핑을 통해 모델 표면 데이터를 2차원 변환할 수 있다. 여기서, 언랩핑이란, 예컨대, 논문 "Unwrapping highly-detailed 3D meshes of rotationally symmetric man-made objects (Rieck, Bastian, Hubert Mara, and Susanne Kromker; (2013): 259-264)"에서 정의된 2차원 데이터 변환 알고리즘일 수 있다. 언랩핑으로서 구형 언랩핑(spherical unwrapping), 원통형 언랩핑(cylindrical unwrapping), 등장방형 펼침(equirectangular unwrapping) 등이 이용될 수 있다. 제 1 변환부(224)는 모델 표면 데이터가 나타내는 3차원 형상을 기초로 언랩핑의 종류를 선택할 수 있다. 일 예로서, 모델 표면 데이터가 머리와 같이 구형인 경우, 제 1 변환부(224)는 구형 언랩핑을 선택할 수 있다. 다른 예로서, 모델 표면 데이터가 팔, 다리와 같이 원통형인 경우, 제 1 변환부(224)는 원통형 언랩핑을 선택할 수 있다.
구형 언랩핑이 선택된 경우, 제 1 변환부(224)는 모델 표면 데이터의 중심좌표를 결정할 수 있다. 일 실시예에 의하면, 제 1 변환부(224)는 모델 표면 데이터의 모든 포인트들의 평균값을 중심좌표로서 결정할 수 있다. 또한, 제 1 변환부(224)는, 모델 표면 데이터의 중심좌표가 좌표계(예를 들어, x1y1z1 좌표계)의 원점이 되도록, 모델 표면 데이터를 평행 이동할 수 있다. 또한, 제 1 변환부(224)는 중심좌표로부터 모델 표면 데이터의 각 포인트까지의 거리들의 평균값을 기준거리로서 산출할 수 있다. 그 후, 제 1 변환부(224)는 산출한 기준거리를 기초로, 아래 수학식 1을 이용하여 x축, y축 및 z축으로 이루어진 3차원 좌표계(예를 들어, x1y1z1 좌표계)를 φ축 및 θ축으로 이루어진 2차원 좌표계(예를 들어, φ1θ1 좌표계)로 변환할 수 있다. 그 결과, 제 1 변환부(224)는 모델 표면 데이터로부터 2차원 변환된 모델 표면 2차원 데이터를 얻을 수 있다.
[수학식 1]
Figure 112016077870516-pat00001
수학식 1은 y축을 기준으로 모델 표면 데이터를 구형 언랩핑하는 경우를 가정한 것이다. 여기서 ri는 중심좌표(예를 들어, 3차원 좌표계의 원점)로부터 모델 표면 데이터의 각 포인트까지의 거리를 의미한다. 일 실시예에 의하면, 모델 표면 2차원 데이터의 각 포인트의 값(예를 들어, 밝기 값)은 해당 포인트에 대응하는 모델 표면 데이터의 포인트로부터 중심좌표까지의 거리를 나타낼 수 있다. 예를 들어, 모델 표면 데이터의 소정 포인트로부터 중심좌표까지의 거리가 길수록(즉, 중심좌표로부터 멀수록), 대응하는 모델 표면 2차원 데이터의 포인트의 밝기 값이 커질 수 있다. 제 1 변환부(224)는 모델 표면 데이터로부터 변환된 모델 표면 2차원 데이터를 모델 표면 2차원 데이터 DB(248)에 저장할 수 있다. 모델 표면 2차원 데이터로의 변환에 대해서는 도 3을 참조하여 후술한다.
제 2 변환부(226)는 측정 표면 데이터 DB(244)에 저장된 측정 표면 데이터를 2차원 변환할 수 있다. 제 2 변환부(226)는 언랩핑을 통해 측정 표면 데이터를 2차원 변환할 수 있다. 언랩핑으로서 구형 언랩핑, 원통형 언랩핑, 등장방형 언랩핑 등이 이용될 수 있다. 제 2 변환부(226)는 제 1 변환부(224)에 의해 선택된 언랩핑과 동일한 종류의 변환을 선택할 수 있다. 예를 들어, 제 1 변환부(224)에 의해 모델 표면 데이터가 구형 언랩핑된 경우, 제 2 변환부(226)도 측정 표면 데이터를 구형 언랩핑할 수 있다.
타겟의 표면을 나타내는 모델 표면 데이터가 머리와 같이 구형의 형상을 갖더라도 타겟의 표면의 일부를 스캔하여 획득한 측정 표면 데이터는 눈 또는 귀와 같이, 구형의 형상을 갖지 않을 수도 있다. 제 2 변환부(226)는 이와 같이 구형이 아닌 측정 표면 데이터를 구형 언랩핑하기 위하여, 예컨대, 논문 "Unwrapping highly-detailed 3D meshes of rotationally symmetric man-made objects (Rieck, Bastian, Hubert Mara, and Susanne Kromker; (2013): 259-264)"에서 사용된 언랩핑 알고리즘이 사용될 수 있다. 예를 들어, 제 2 변환부(226)는 제 1 변환부(224)에 의해 모델 표면 데이터의 2차원 변환에 사용된 기준거리(예를 들어, 중심좌표로부터 모델 표면 데이터의 각 포인트까지의 거리들의 평균값)를 반지름으로 갖는 가상의 구를 생성할 수 있다. 제 2 변환부(226)는 측정 표면 데이터가 가상의 구의 표면 상에 위치하도록 측정 표면 데이터를 평행 이동 또는 회전 이동할 수 있다. 그 후, 제 2 변환부(226)는 기준거리를 기초로, 상기 수학식 1을 이용하여 x축, y축 및 z축으로 이루어진 3차원 좌표계(예를 들어, x2y2z2 좌표계)를 φ축 및 θ축으로 이루어진 2차원 좌표계(예를 들어, φ2θ2 좌표계)로 변환할 수 있다. 그 결과, 제 2 변환부(226)는 측정 표면 데이터로부터 2차원 변환된 측정 표면 2차원 데이터를 얻을 수 있다.
일 실시예에 의하면, 측정 표면 2차원 데이터의 각 포인트의 값(예를 들어, 밝기 값)은 해당 포인트에 대응하는 측정 표면 데이터의 포인트로부터 가상의 구의 중심좌표까지의 거리를 나타낼 수 있다. 예를 들어, 측정 표면 데이터의 소정 포인트로부터 가상의 구의 중심좌표까지의 거리가 길수록(즉, 중심좌표로부터 멀수록), 대응하는 측정 표면 2차원 데이터의 포인트의 밝기 값이 커질 수 있다. 제 2 변환부(226)는 측정 표면 데이터로부터 변환된 측정 표면 2차원 데이터를 측정 표면 2차원 데이터 DB(250)에 저장할 수 있다. 측정 표면 2차원 데이터로의 변환에 대해서는 도 4 및 도 5를 참조하여 후술한다.
초기 위치 설정부(228)는 모델 표면 2차원 데이터 DB(248)에 저장된 모델 표면 2차원 데이터와 측정 표면 2차원 데이터 DB(250)에 저장된 측정 표면 2차원 데이터를 매칭할 수 있다. 일 실시예에 의하면, 초기 위치 설정부(228)는 NCC(Normalized Cross Correlation) 알고리즘을 사용하여 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터를 매칭한다. 초기 위치 설정부(228)는 모델 표면 2차원 데이터에 있어서 측정 표면 2차원 데이터의 소정 영역과 최대의 유사도를 갖는 영역을 결정함으로써 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터를 매칭할 수 있고, 그렇게 매칭된 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터의 영역들로써 매칭 영역을 결정할 수 있다. 예를 들어, 초기 위치 설정부(228)는 모델 표면 2차원 데이터에서 측정 표면 2차원 데이터의 소정 영역의 위치를 소정 거리만큼 계속 변화시켜가면서 모델 표면 2차원 데이터와 측정 표면 2차원 데이터의 유사도를 계산한다. 또한, 초기 위치 설정부(228)는 최대 유사도를 갖는 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터의 영역들로써 매칭 영역들을 각각 결정한다.
실시예에 따라, 초기 위치 설정부(228)는 모델 표면 2차원 데이터에서 결정된 매칭 영역을 복수의 포인트들로써 표현할 수 있다. 예를 들어, 결정된 매칭 영역이 직사각형인 경우, 초기 위치 설정부(228)는 해당 매칭 영역의 마주하는 두 꼭지점들로써, 또는 해당 영역의 네 꼭지점들로써 그러한 직사각형 영역을 표현할 수 있다. 또한, 초기 위치 설정부(228)는 측정 표면 2차원 데이터의 매칭 영역을 복수의 포인트들로써 표현할 수 있다. 초기 위치 설정부(228)에 의해 특정된 복수의 포인트들 각각은 φθ 좌표계(예를 들어, φ1θ1 좌표계와 φ2θ2 좌표계)를 가질 수 있다. 또한, 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터 간의 매칭에 대해서는 도 6 및 도 7을 참조하여 후술한다.
초기 위치 설정부(228)는 모델 표면 2차원 데이터에서 결정된 매칭 영역에 대응하는 모델 표면 데이터의 영역, 및 측정 표면 2차원 데이터에서 결정된 매칭 영역에 대응하는 측정 표면 데이터의 영역을 각각 초기 위치로 설정할 수 있다. 예를 들어, 초기 위치 설정부(228)는 모델 표면 2차원 데이터의 매칭 영역의 좌표들에 대응하는 복수의 좌표들을 모델 표면 데이터 내에서 결정하고, 결정된 복수의 좌표들에 의해 정의되는 영역을 초기 위치로 설정할 수 있다. 또한, 초기 위치 설정부(228)는 측정 표면 2차원 데이터의 매칭 영역의 좌표들에 대응하는 복수의 좌표들을 측정 표면 데이터 내에서 결정하고, 결정된 복수의 좌표들에 의해 정의되는 영역을 초기 위치로 설정할 수 있다.
초기 위치 설정부(228)는 모델 표면 데이터의 초기 위치를 설정하기 위하여, 제 1 변환부(224)에 의해 2차원 변환 시 이용된 언랩핑의 역변환을 이용할 수 있다. 예를 들어, 제 1 변환부(224)가 구형 언랩핑을 통해 모델 표면 데이터를 2차원 변환한 경우, 초기 위치 설정부(228)는 구형 언랩핑의 역변환을 통해 모델 표면 데이터의 초기 위치를 설정할 수 있다. 이 경우, 초기 위치 설정부(228)는 제 1 변환부(224)가 구형 언랩핑 시 이용하였던 기준거리를 기초로 3차원 변환을 수행할 수 있다. 모델 표면 데이터에 대한 초기 위치는 xyz 좌표계(예를 들어, x1y1z1 좌표계)를 갖는다.
초기 위치 설정부(228)는 측정 표면 데이터의 초기 위치를 설정하기 위하여, 제 2 변환부(226)에 의해 2차원 변환 시 이용된 언랩핑의 역변환을 이용할 수 있다. 예를 들어, 제 2 변환부(226)가 구형 언랩핑을 통해 측정 표면 데이터를 2차원 변환한 경우, 초기 위치 설정부(228)는 구형 언랩핑의 역변환을 통해 측정 표면 데이터의 초기 위치를 설정할 수 있다. 이 경우, 초기 위치 설정부(228)는 제 2 변환부(226)가 구형 언랩핑 시 이용하였던 기준거리를 기초로 3차원 변환을 수행할 수 있다. 측정 표면 데이터에 대한 초기 위치는 xyz 좌표계(예를 들어, x2y2z2 좌표계)를 갖는다. 모델 표면 데이터 및 측정 표면 데이터에 대한 초기 위치의 설정에 대해서는 도 11 및 도 12를 참조하여 후술한다.
복수의 실시예에 의하면, 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터를 각각 편미분한 데이터를 기초로 모델 표면 데이터 및 측정 표면 데이터의 초기 위치를 설정할 수 있다. 이를 위하여, 곡률 변환부(230)는 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터를 각각 편미분하여 모델 표면 2차원 곡률 데이터 및 측정 표면 2차원 곡률 데이터를 생성할 수 있다. 이 경우, 초기 위치 설정부(228)는 모델 표면 2차원 곡률 데이터 및 측정 표면 2차원 곡률 데이터를 매칭하여, 매칭 영역들을 결정할 수 있다.
곡률 변환부(230)는 모델 표면 2차원 데이터의 해당 포인트의 값, 및 이웃하는 복수의 포인트의 값에 기초하여 모델 표면 2차원 곡률 데이터를 생성할 수 있다. 일 실시예에 의하면, 모델 표면 2차원 곡률 데이터의 각 포인트의 값(예를 들어, 밝기 값)은, 모델 표면 2차원 데이터의 해당 포인트의 값, 및 이웃하는 복수의 포인트(예를 들어, 4개, 8개, 14개 등)의 평균값의 차를 나타낼 수 있다. 모델 표면 2차원 곡률 데이터는 모델 표면 2차원 데이터의 평균 곡률을 나타내는 평균 곡률 데이터 또는 모델 표면 2차원 데이터의 가우시안 곡률을 나타내는 가우시안 곡률 데이터일 수 있다.
곡률 변환부(230)는 측정 표면 2차원 곡률 데이터의 해당 포인트의 값, 및 이웃하는 복수의 포인트의 값에 기초하여 측정 표면 2차원 곡률 데이터를 생성할 수 있다. 일 실시예에 의하면, 측정 표면 2차원 곡률 데이터의 각 포인트의 값(예를 들어, 밝기 값)은, 측정 표면 2차원 데이터의 해당 포인트의 값, 및 이웃하는 복수의 포인트(예를 들어, 4개, 8개, 14개 등)의 평균값의 차를 나타낼 수 있다. 측정 표면 2차원 곡률 데이터는 측정 표면 2차원 데이터의 평균 곡률을 나타내는 평균 곡률 데이터 또는 측정 표면 2차원 데이터의 가우시안 곡률을 나타내는 가우시안 곡률 데이터일 수 있다.
일 실시예에 의하면, 곡률 변환부(230)는 모델 표면 2차원 데이터에 대한 평균 곡률 데이터 및 가우시안 곡률 데이터를 각각 생성하고, 측정 표면 2차원 데이터에 대한 평균 곡률 데이터 및 가우시안 곡률 데이터를 각각 생성할 수 있다. 이 경우, 초기 위치 설정부(228)는 모델 표면 2차원 데이터에 대한 평균 곡률 데이터와 측정 표면 2차원 데이터에 대한 평균 곡률 데이터를 매칭하여 모델 표면 2차원 데이터에서 측정 표면 2차원 데이터가 매칭된 제 1 영역을 식별할 수 있다. 또한, 초기 위치 설정부(228)는 모델 표면 2차원 데이터에 대한 가우시안 곡률 데이터와 측정 표면 2차원 데이터에 대한 가우시안 곡률 데이터를 매칭하여 모델 표면 2차원 데이터에서 측정 표면 2차원 데이터가 매칭된 제 2 영역을 식별할 수 있다. 그 후, 초기 위치 설정부(228)는 제 1 영역 및 제 2 영역의 중간값을 매칭 영역으로 판단하여 초기 위치를 설정할 수 있다.
일 실시예에 의하면, 곡률 변환부(230)는 마스크 연산을 이용하여 편미분을 수행한다. 예를 들어, 3*3 크기의 마스크를 이용할 경우, 곡률 변환부(230)는 소정 포인트의 값, 및 이웃하는 8개의 포인트의 값의 차를 산출함으로써 해당 포인트의 곡률을 산출한다. 예를 들어, 곡률 변환부(230)는 곡률이 클수록 해당 포인트의 밝기 값을 작게 나타낼 수 있다. 곡률 변환부(230)에 의해 생성된 모델 표면 2차원 곡률 데이터 및 측정 표면 2차원 곡률 데이터는 각각 모델 표면 2차원 곡률 데이터 DB(252) 및 측정 표면 2차원 곡률 데이터 DB(254)에 저장될 수 있다. 모델 표면 2차원 곡률 데이터 및 측정 표면 2차원 곡률 데이터로의 변환에 대해서는 도 8 내지 도 10을 참조하여 후술한다.
적어도 하나의 실시예에 의하면, 곡률 변환부(230)에 의해 생성된 모델 표면 2차원 곡률 데이터 및 측정 표면 2차원 곡률 데이터는 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터보다 데이터의 값의 변화를 더욱 명확하게 나타낼 수 있다. 이에 따라, 모델 표면 2차원 곡률 데이터 및 측정 표면 2차원 곡률 데이터를 매칭하여 정합을 위한 초기 위치를 설정할 경우, 데이터 간의 정합의 정확성과 효율성이 향상된다는 효과를 얻을 수 있다.
데이터 정합부(232)는 초기 위치 설정부(228)에 의해 설정된 초기 위치를 기초로 모델 표면 데이터 및 측정 표면 데이터 사이를 정합할 수 있다. 일 실시예에 의하면, 데이터 정합부(232)는 ICP(Iterative Closest Point) 알고리즘을 이용하여 데이터 사이의 정합을 수행할 수 있다. 정합된 모델 표면 데이터 및 측정 표면 데이터는 서로 동일한 좌표계를 갖는다. 예를 들어, 측정 표면 데이터는 모델 표면 데이터의 좌표계(예를 들어, x1y1z1 좌표계)로 정렬된다.
도 3은 본 발명의 일 실시예에 따라 모델 표면 데이터(300)로부터 2차원 변환된 모델 표면 2차원 데이터(310)를 나타낸 도면이다. 모델 표면 데이터(300)으로부터 모델 표면 2차원 데이터(310)로의 변환 프로세스는 도 2의 제 1 변환부(224)에 의해 실행될 수 있다.
도 3에 도시된 바와 같이, 모델 표면 데이터(300)는 사람의 머리의 표면을 나타낸다. 일 실시예에 의하면, 모델 표면 데이터(300)는 사람의 머리를 모델링하여 생성된 모델 데이터(예를 들어, CT/MRI 데이터(10))로부터 표면데이터를 추출하여 생성된 데이터일 수 있다. 모델 표면 데이터(300)의 각 포인트(Pi)는 x축, y축 및 z축 좌표값(xi, yi, zi)을 갖는다.
제 1 변환부(224)는 모델 표면 데이터(300)의 모든 포인트의 평균값을 산출하여 중심 좌표(Co)를 결정한다. 제 1 변환부(224)는 중심 좌표(Co)가 좌표계의 원점(0, 0, 0)이 되도록 모델 표면 데이터(300)를 평행 이동한다. 제 1 변환부(224)는 도 2에서 설명한 수학식 1을 이용하여 xyz 좌표계(예를 들어, x1y1z1 좌표계)를 φθ 좌표계(예를 들어, φ1θ1 좌표계)로 변환하여, 3차원 데이터인 모델 표면 데이터(300)로부터 2차원 데이터인 모델 표면 2차원 데이터(310)를 생성한다. 모델 표면 2차원 데이터(310)의 너비 좌표는 φ이고, 높이 좌표는 θ이다. 도 3에 도시된 바와 같이, 모델 표면 데이터(300)의 소정 포인트 Pi(xi, yi, zi)는 모델 표면 2차원 데이터(310)의 소정 포인트 Pi(φi, θi)에 대응한다.
모델 표면 데이터(300)에 있어서 ri는 중심좌표로부터 소정 포인트 Pi까지의 거리를 나타낸다. 모델 표면 2차원 데이터(310)에서는모델 표면 데이터(300)의 소정 포인트 Pi에서의 ri가 해당 포인트 Pi의 밝기 값으로 나타난다. 예를 들어, 모델 표면 데이터(300)에 있어서 중심좌표로부터 거리가 비교적 먼 코, 턱, 귀 이마 및 후두부 부근의 포인트가 2차원 변환되면 밝기 값이 큰 데이터를 갖는다. 또한, 모델 표면 데이터(300)에 있어서 중심좌표로부터 거리가 비교적 가까운 눈, 볼 부근의 포인트가 2차원 변환되면 밝기 값이 작은 데이터를 갖는다.
도 4는 본 발명의 일 실시예에 따라 측정 표면 데이터(400)로부터 2차원 변환된 측정 표면 2차원 데이터(410)를 나타낸 도면이다. 또한, 도 5는 본 발명의 일 실시예에 따라 측정 표면 데이터(500)로부터 2차원 변환된 측정 표면 2차원 데이터(510)를 나타낸 도면이다. 측정 표면 데이터(400, 500)로부터 측정 표면 2차원 데이터(410, 510)로의 변환 프로세스는 도 2의 제 2 변환부(226)에 의해 실행될 수 있다.
도 4에 도시된 바와 같이, 측정 표면 데이터(400)는 사람의 눈과 코의 표면을 나타내고, 측정 표면 데이터(500)는 사람의 귀의 표면을 낸다. 일 실시예에 의하면, 측정 표면 데이터(400, 500)는 도 1의 3차원 스캐너(140)가 스캔하여 생성된 데이터일 수 있다. 측정 표면 데이터(400, 500)의 각 포인트는 x축, y축 및 z축 좌표값을 갖는다.
제 2 변환부(226)는 측정 표면 데이터(400, 500)를 각각 구형 언랩핑하여 측정 표면 2차원 데이터(400, 500)를 생성한다. 도 3의 모델 표면 데이터(300)와 도 4의 측정 표면 데이터(400, 500) 사이의 3차원 정합을 수행하는 경우, 제 2 변환부(226)는 제 1 변환부(224)에 의해 이용된 모델 표면 데이터(300)에 대한 2차원 변환과 동일한 종류의 변환(예를 들어, 구형 언랩핑)을 이용할 수 있다.
제 2 변환부(226)는 모델 표면 데이터(300)의 2차원 변환에 사용된 기준거리를 반지름으로 갖는 가상의 구를 생성한다. 제 2 변환부(226)는 측정 표면 데이터(400, 500)가 각각 가상의 구의 표면 상에 위치하도록, 측정 표면 데이터(400, 500)를 각각 평행 또는 회전 이동시킨다. 그 후, 제 2 변환부(226)는 기준거리(예를 들어, 가상의 구의 반지름)를 기초로, 도 2에서 설명한 수학식 1을 이용하여 xyz 좌표계(예를 들어, x2y2z2 좌표계)를 φθ 좌표계(예를 들어, φ1θ1 좌표계)로 변환한다. 그 결과, 3차원 데이터인 측정 표면 데이터(400, 500)로부터 2차원 데이터인 측정 표면 2차원 데이터(410, 430)가 생성된다. 측정 표면 2차원 데이터(410, 510)의 너비 좌표는 φ이고, 높이 좌표는 θ이다.
도 6은 본 발명의 일 실시예에 따라 모델 표면 2차원 데이터(600)에 매칭된 측정 표면 2차원 데이터(610)를 나타낸 도면이다. 또한, 도 7은 본 발명의 일 실시예에 따라 모델 표면 2차원 데이터(700)에 매칭된 측정 표면 2차원 데이터(710)를 나타낸 도면이다. 모델 표면 2차원 데이터(600, 700)은 도 3의 모델 표면 2차원 데이터(310)일 수 있다. 또한, 측정 표면 2차원 데이터(610)는 도 4의 측정 표면 2차원 데이터(410)의 적어도 일부일 수 있고, 측정 표면 2차원 데이터(710)는 도 4의 측정 표면 2차원 데이터(510)의 적어도 일부일 수 있다. 도 6 및 도 7에서의 매칭 프로세스는 도 2의 초기 위치 설정부(228)에 의해 실행될 수 있다.
도 6을 참조하면, 초기 위치 설정부(228)는 모델 표면 2차원 데이터(600)에서 측정 표면 2차원 데이터(610)의 위치를 소정 거리만큼 평행 이동하거나 소정 각도만큼 회전해 가면서 모델 표면 2차원 데이터(600)에 대하여 측정 표면 2차원 데이터(610)의 유사도를 계산한다. 초기 위치 설정부(228)는 최대 유사도를 갖는 모델 표면 2차원 데이터(600)의 위치를 결정함으로써, 모델 표면 2차원 데이터(600)와 측정 표면 2차원 데이터(610)를 매칭할 수 있다. 또한, 초기 위치 설정부(228)는 모델 표면 2차원 데이터(600)와 측정 표면 2차원 데이터(610) 간의 매칭 영역들을 정의하기 위한 네 꼭지점들에 대응하는 포인트(620, 630, 640, 650)를 결정할 수 있다. 이와 유사하게, 초기 위치 설정부(228)는 도 7에 도시된 바와 같이, 모델 표면 2차원 데이터(700)와 측정 표면 2차원 데이터(710)를 매칭하고, 매칭 영역들을 정의하기 위한 네 꼭지점들에 대응하는 포인트(720, 730, 740, 750)를 결정할 수 있다.
이와 같이, 본 발명의 적어도 하나의 실시예에 의하면, 3차원 데이터의 정합에 사용될 초기 위치를 지정하기 위하여, 정합 대상인 3차원 데이터 사이의 직접 매칭을 실행하는 대신에, 3차원 데이터로부터 변환된 2차원 데이터 사이의 매칭을 실행할 수 있다. 실시예에 따라서는 본 발명은 3차원 데이터들로부터 변환된 2차원 데이터들을 가공하여 각각 생성되는 새로운 2차원 데이터들 사이에서 매칭을 실행할 수 있다.
또한, 매칭 영역들을 다시 3차원 변환하여 3차원 데이터들 상에서 정합을 위한 초기 위치를 설정한다. 그 결과, 적절한 초기 위치의 설정이 가능하게 되어, 3차원 데이터 간의 정합의 정확성과 효율성이 향상되는 효과를 얻을 수 있다.
도 8은 본 발명의 일 실시예에 따라 도 3의 모델 표면 2차원 데이터(310)를 편미분하여 생성한 모델 표면 2차원 곡률 데이터(800)를 나타낸다. 또한, 도 9는 도 4의 측정 표면 2차원 데이터(410)를 편미분하여 생성한 측정 표면 2차원 곡률 데이터(900)를 나타낸다. 또한, 도 10은 도 5의 측정 표면 2차원 데이터(510)를 편미분하여 생성한 측정 표면 2차원 곡률 데이터(900)를 나타낸다. 도 8 내지 도 10에서의 곡률 변환 프로세스는 도 2의 곡률 변환부(230)에 의해 실행될 수 있다.
도 8을 참조하면, 모델 표면 2차원 곡률 데이터(800)에 있어서, 서로 이웃하는 데이터와의 차가 큰 포인트(예를 들어, 큰 귀, 눈, 코 및 입의 윤곽선 부근의 포인트)는 큰 곡률값을 가진다. 반면, 서로 이웃하는 데이터와의 차가 작은 포인트(예를 들어, 볼 또는 이마 부근의 포인트)는 작은 곡률값을 가진다. 도 9 및 도 10을 참조하면, 측정 표면 2차원 곡률 데이터(900, 1000)에서도 서로 이웃하는 포인트와의 차가 클수록 큰 곡률값을 가진다.
도 8에 도시된 모델 표면 2차원 곡률 데이터(800)는 도 3의 모델 표면 2차원 데이터(310)에 비해 데이터의 값의 변화가 더욱 명확하게 나타난다. 또한, 도 9 및 도 10에 도시된 측정 표면 2차원 곡률 데이터(900, 1000)는 및 도 4 및 도 5의 측정 표면 2차원 데이터(410, 510)에 비해 데이터의 값의 변화가 더욱 명확하게 나타난다. 이와 같이, 본 발명의 적어도 하나의 실시예에 의하면, 3차원 데이터로부터 변환된 2차원 데이터를 매칭함에 있어서, 해당 2차원 데이터를 각각 편미분한 곡률 데이터 사이의 매칭을 실행한다. 그 결과, 초기 위치가 더욱 정확하게 설정됨으로써, 3차원 데이터 간의 정합의 정확성과 효율성이 더욱 향상되는 효과를 얻을 수 있다.
도 11은 본 발명의 일 실시예에 따라 초기 위치가 설정된 모델 표면 데이터(1100) 및 측정 표면 데이터(1150)를 나타낸 도면이다. 또한, 도 12는 본 발명의 일 실시예에 따라 초기 위치가 설정된 모델 표면 데이터(1200) 및 측정 표면 데이터(1250)를 나타낸 도면이다. 도 11 및 도 12에서의 초기 위치 설정 프로세스는 도 2의 초기 위치 설정부(228)에 의해 실행될 수 있다.
도 11을 참조하면, 초기 위치 설정부(228)는 도 6에서 매칭 영역을 표현할 수 있도록 결정된 포인트(620, 630, 640, 650)에 대응하는 모델 표면 데이터(1100)의 포인트(1110, 1120, 1130, 1140), 및 포인트(620, 630, 640, 650)에 대응하는 측정 표면 데이터(1150)의 포인트(1160, 1170, 1180, 1190)를 각각 초기 위치들로서 결정한다. 포인트(1110, 1120, 1130, 1140) 및 포인트(1160, 1170, 1180, 1190)는 각각 2차원 좌표계(예를 들어, φ1θ1 좌표계 및 φ2θ2 좌표계)를 갖는 포인트(620, 630, 640, 650)가 구형 언랩핑의 역변환을 통해 3차원 좌표계(예를 들어, x1y1z1 좌표계 및 x2y2z2 좌표계)를 갖도록 변환된 것이다.
포인트(1110, 1120, 1130, 1140) 및 포인트(1160, 1170, 1180, 1190)는 각각 모델 표면 데이터(1100) 및 측정 표면 데이터(1150) 사이의 정합을 위한 초기 위치로서 이용된다. 다시 말해, 포인트(1110, 1120, 1130, 1140) 및 포인트(1160, 1170, 1180, 1190)를 기초로 모델 표면 데이터(1100) 및 측정 표면 데이터(1150)는 3차원 정합된다. 예를 들어, 포인트(1110, 1120, 1130, 1140) 및 포인트(1160, 1170, 1180, 1190)를 기초로 ICP 정합 알고리즘이 수행된 결과, 모델 표면 데이터(1100)의 좌표계(예를 들어, x1y1z1 좌표계)가 측정 표면 데이터(1150)의 좌표계(예를 들어, x2y2z2 좌표계)를 갖도록 정합된다.
도 12를 참조하면, 초기 위치 설정부(228)는 도 7에서 매칭 영역을 표현할 수 있도록 결정된 포인트(720, 730, 740, 750) 에 대응하는 모델 표면 데이터(1200)의 포인트(1210, 1220, 1230, 1240), 및 포인트(720, 730, 740, 750)에 대응하는 측정 표면 데이터(1250)의 포인트(1260, 1270, 1280, 1290)를 각각 결정한다. 포인트(1210, 1220, 1230, 1240) 및 포인트(1260, 1270, 1280, 1290)는 각각 2차원 좌표계(예를 들어, φ1θ1 좌표계 및 φ2θ2 좌표계)를 갖는 포인트(720, 730, 740, 750)가 구형 언랩핑의 역변환을 통해 3차원 좌표계(예를 들어, x1y1z1 좌표계 및 x2y2z2 좌표계)를 갖도록 변환된 것이다.
포인트(1210, 1220, 1230, 1240) 및 포인트(1260, 1270, 1280, 1290)는 각각 모델 표면 데이터(1200) 및 측정 표면 데이터(1250) 사이의 정합을 위한 초기 위치로서 이용된다. 다시 말해, 포인트(1210, 1220, 1230, 1240) 및 포인트(1260, 1270, 1280, 1290)를 기초로 모델 표면 데이터(1200) 및 측정 표면 데이터(1250)는 3차원 정합된다. 예를 들어, 포인트(1210, 1220, 1230, 1240) 및 포인트(1260, 1270, 1280, 1290)를 기초로 ICP 정합 알고리즘이 수행된 결과, 모델 표면 데이터(1200)의 좌표계(예를 들어, x1y1z1 좌표계)가 측정 표면 데이터(1250)의 좌표계(예를 들어, x2y2z2 좌표계)를 갖도록 정합된다.
본 발명에 의하면 초기 위치가 정확하게 설정되는 것에 의해 3차원 데이터 간의 정합의 정확성과 효율성이 향상되는 효과를 얻을 수 있다.
도 13은 본 발명의 실시예에 따라 3차원 데이터를 정합하는 방법을 나타낸 순서도이다. 도 13에 도시된 단계들의 적어도 일부는 도 1 및 도 2에 도시된 구성들에 의해 수행될 수 있다.
먼저, 단계(S1300)에서, 모델 표면 데이터를 2차원 변환하여 모델 표면 2차원 데이터를 생성한다. 예를 들어, 도 2의 제 1 변환부(224)는 3차원 좌표계를 갖는 모델 표면 데이터의 각 포인트를 평균하여 중심좌표를 결정한 후, 해당 중심좌표로 모델 표면 데이터를 평행 이동할 수 있다. 제 1 변환부(224)는 중심좌표로부터 모델 표면 데이터의 각 포인트까지의 거리의 평균값을 기준거리로 하여 모델 표면 데이터를 2차원 좌표계를 갖는 모델 표면 2차원 데이터로 구형 언랩핑할 수 있다. 모델 표면 2차원 데이터의 각 포인트의 값(예를 들어, 밝기 값)은 해당 포인트에 대응하는 모델 표면 데이터의 포인트로부터 중심좌표로까지의 거리를 나타낼 수 있다.
다음으로, 단계(S1310)에서, 측정 표면 데이터를 2차원 변환하여 측정 표면 2차원 데이터를 생성한다. 예를 들어, 제 2 변환부(226)는 단계(S1300)에서 산출한 기준거리를 반지름으로 갖는 가상의 구를 생성할 수 있다. 제 2 변환부(226)는 가상의 구의 표면에 측정 표면 데이터가 위치하도록 측정 표면 데이터를 이동시킬 수 있다. 그 후, 제 2 변환부(226)는 측정 표면 데이터를 측정 표면 2차원 데이터로 구형 언랩핑할 수 있다. 측정 표면 2차원 데이터의 각 포인트의 값(예를 들어, 밝기 값)은 해당 포인트에 대응하는 측정 표면 데이터의 포인트로부터 가상의 구의 중심좌표까지의 거리를 나타낼 수 있다.
다음으로, 단계(S1320)에서, 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터의 곡률을 각각 계산한다. 예를 들어, 곡률 변환부(230)는 단계(S1300)에서 생성된 모델 표면 2차원 데이터 및 단계(S1310)에서 생성된 측정 표면 2차원 데이터를 각각 편미분하여 모델 표면 2차원 곡률 데이터 및 측정 표면 2차원 곡률 데이터를 생성할 수 있다. 모델 표면 2차원 곡률 데이터의 각 포인트의 값(예를 들어, 밝기 값)은 모델 표면 2차원 데이터의 해당 포인트의 값, 및 이웃하는 복수의 포인트의 평균값의 차를 나타낼 수 있다. 또한, 측정 표면 2차원 곡률 데이터의 각 포인트의 값(예를 들어, 밝기 값)은 표면 측정 2차원 데이터의 해당 포인트의 값, 및 이웃하는 복수의 포인트의 평균값의 차를 나타낼 수 있다.
다음으로, 단계(S1330)에서, 모델 표면 2차원 곡률 데이터 및 측정 표면 2차원 곡률 데이터를 매칭하여 매칭 영역을 결정한다. 예를 들어, 초기 위치 설정부(228)는 단계(S1320)에서 생성된 모델 표면 2차원 곡률 데이터 및 측정 표면 2차원 곡률 데이터를 기초로, 모델 표면 2차원 곡률 데이터에서 측정 표면 2차원 곡률 데이터의 소정 영역과 최대의 유사도를 갖는 영역을 결정할 수 있다. 초기 위치 설정부(228)는 모델 표면 2차원 곡률 데이터에서 결정된 영역 내에서 매칭 영역을 결정할 수 있다. 또한, 초기 위치 설정부(228)는 매칭에 사용된 측정 표면 2차원 곡률 데이터의 소정 영역 내에서 매칭 영역을 결정할 수 있다.
다음으로, 단계(S1340)에서, 모델 표면 데이터 및 측정 표면 데이터에 대한 초기 위치를 각각 설정한다. 예를 들어, 초기 위치 설정부(228)는 구형 언랩핑의 역변환을 통해 단계(S1330)에서 결정된 모델 표면 2차원 곡률 데이터의 매칭 영역에 대응하는 모델 표면 데이터의 포인트, 및 단계(S1330)에서 결정된 측정 표면 2차원 곡률 데이터의 매칭 영역에 대응하는 측정 표면 데이터의 포인트로써 초기 위치를 설정할 수 있다.
다음으로, 단계(S1350)에서, 모델 표면 데이터 및 측정 표면 데이터를 정합한다. 예를 들어, 데이터 정합부(232)는 단계(S1340)에서 설정된 모델 표면 데이터의 초기 위치 및 측정 표면 데이터의 초기 위치를 이용하여 모델 표면 데이터 및 측정 표면 데이터를 정합할 수 있다.
또한, 도 13에 도시된 단계들에 있어서, 일부 단계가 생략되거나, 둘 이상의 단계가 동시에 실행되거나, 단계들 간의 실행 순서가 변경될 수 있다. 일 실시예에 의하면, 단계(S1320)가 생략되고 단계(S1330)에서 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터를 매칭하여 모델 표면 2차원 데이터 및 측정 표면 2차원 데이터 상의 매칭 영역들을 각각 결정할 수 있다. 다른 실시예에 의하면, 단계(S1330) 이전에, 타겟의 3차원 모델을 나타내는 CT 데이터 또는 MRI 데이터를 수신하는 단계, 및 해당 CT 데이터 또는 MRI 데이터로부터 CT 데이터의 표면 데이터 또는 MRI 데이터의 표면 데이터를 모델 표면 데이터로서 추출하는 단계가 더 포함될 수 있다.
3차원 데이터를 정합하는 방법은 특정 실시예들을 통하여 설명되었지만, 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부한 청구범위의 사항 및 범주를 벗어나지 않고 여러 가지 변형 및 변경이 이루어질 수 있음을 알 수 있을 것이다.
100: 표면 정합 시스템 120: 3차원 데이터 정합 장치
140: 3차원 스캐너 160: 옵티컬 트래커
200: 3차원 데이터 정합 장치 210: 통신부
220: 처리부 240: 데이터베이스

Claims (20)

  1. 타겟의 3차원 모델의 표면을 나타내는 제 1 3차원 데이터를 2차원 변환하여 제 1 2차원 데이터를 생성하는 단계;
    상기 타겟의 3차원 표면의 적어도 일부를 나타내는 제 2 3차원 데이터를 2차원 변환하여 제 2 2차원 데이터를 생성하는 단계;
    상기 제 1 2차원 데이터에 상기 제 2 2차원 데이터를 매칭하여 상기 제 1 2차원 데이터 상의 제 1 매칭 영역, 및 상기 제 2 2차원 데이터 상의 제 2 매칭 영역을 각각 결정하는 단계;
    상기 제 1 매칭 영역에 대응하는 상기 제 1 3차원 데이터의 복수의 포인트, 및 상기 제 2 매칭 영역에 대응하는 상기 제 2 3차원 데이터의 복수의 포인트를 초기 위치로서 설정하는 단계; 및
    상기 초기 위치를 이용하여 상기 제 1 3차원 데이터 및 상기 제 2 3차원 데이터를 정합하는 단계
    를 포함하는 3차원 데이터 정합 방법.
  2. 제 1 항에 있어서,
    상기 제 1 매칭 영역 및 제 2 매칭 영역을 각각 결정하는 단계는,
    상기 제 1 2차원 데이터 및 상기 제 2 2차원 데이터를 각각 편미분하여 제 1 2차원 곡률 데이터 및 제 2 2차원 곡률 데이터를 생성하는 단계; 및
    상기 제 1 2차원 곡률 데이터 및 상기 제 2 2차원 곡률 데이터를 매칭하여 상기 제 1 2차원 곡률 데이터 상의 제 1 매칭 영역, 및 상기 제 2 2차원 곡률 데이터 상의 제 2 매칭 영역을 각각 결정하는 단계를 포함하는, 3차원 데이터 정합 방법.
  3. 제 2 항에 있어서,
    상기 제 1 2차원 곡률 데이터 및 제 2 2차원 곡률 데이터를 생성하는 단계는,
    상기 제 1 2차원 데이터 상의 각 포인트의 값, 및 이웃하는 복수의 포인트의 값에 기초하여 상기 제 1 2차원 곡률 데이터를 생성하는 단계; 및
    상기 제 2 2차원 데이터 상의 각 포인트의 값, 및 이웃하는 복수의 포인트의 값에 기초하여 상기 제 2 2차원 곡률 데이터를 생성하는 단계를 포함하는, 3차원 데이터 정합 방법.
  4. 제 2 항에 있어서,
    상기 제 1 2차원 곡률 데이터 및 제 2 2차원 곡률 데이터를 생성하는 단계는,
    상기 제 1 2차원 곡률 데이터로써, 상기 제 1 2차원 데이터의 평균 곡률을 나타내는 평균 곡률 데이터 또는 상기 제 1 2차원 데이터의 가우시안 곡률을 나타내는 가우시안 곡률 데이터를 생성하는 단계; 및
    상기 제 2 2차원 곡률 데이터로써, 상기 제 2 2차원 데이터의 평균 곡률을 나타내는 평균 곡률 데이터 또는 상기 제 2 2차원 데이터의 가우시안 곡률을 나타내는 가우시안 곡률 데이터를 생성하는 단계를 포함하는, 3차원 데이터 정합 방법.
  5. 제 1 항에 있어서,
    상기 제 1 3차원 데이터를 2차원 변환하여 제 1 2차원 데이터를 생성하는 단계는,
    상기 제 1 3차원 데이터의 중심좌표를 결정하는 단계;
    상기 중심좌표로부터 상기 제 1 3차원 데이터의 각 포인트까지의 거리들의 평균값을 산출하는 단계; 및
    상기 산출된 평균값을 기준거리로 하여 상기 제 1 3차원 데이터를 상기 제 1 2차원 데이터로 구형 언랩핑(spherical unwrapping)하는 단계 - 상기 제 1 2차원 데이터의 각 포인트의 값은, 상기 제 1 2차원 데이터의 각 포인트에 대응하는 상기 제 1 3차원 데이터의 포인트로부터 상기 중심좌표까지의 거리를 나타냄 -
    를 포함하는 3차원 데이터 정합 방법.
  6. 제 5 항에 있어서,
    상기 제 2 3차원 데이터를 2차원 변환하여 제 2 2차원 데이터를 생성하는 단계는,
    상기 제 2 3차원 데이터가 상기 기준거리를 반지름으로 갖는 구의 표면 상에 위치하도록 상기 제 2 3차원 데이터를 이동시키는 단계; 및
    상기 기준거리를 기초로 상기 제 2 3차원 데이터를 상기 제 2 2차원 데이터로 구형 언랩핑하는 단계 - 상기 제 2 2차원 데이터의 각 포인트의 값은, 상기 제 2 2차원 데이터의 각 포인트에 대응하는 상기 제 2 3차원 데이터의 포인트로부터 상기 구의 중심좌표까지의 거리를 나타냄 -
    를 포함하는 3차원 데이터 정합 방법.
  7. 제 1 항에 있어서,
    상기 제 1 매칭 영역 및 제 2 매칭 영역을 각각 결정하는 단계는,
    상기 제 1 2차원 데이터에 있어서 상기 제 2 2차원 데이터의 소정 영역과 최대의 유사도를 갖는 영역을 결정하는 단계;
    상기 제 1 2차원 데이터에서 결정된 영역 내에서 상기 제 1 매칭 영역을 결정하는 단계; 및
    상기 제 2 2차원 데이터의 소정 영역 내에서 상기 제 2 매칭 영역을 결정하는 단계를 포함하는, 3차원 데이터 정합 방법.
  8. 제 1 항에 있어서,
    상기 초기 위치를 설정하는 단계는, 상기 제 1 3차원 데이터에서 상기 제 1 매칭 영역에 대응하는 복수의 포인트, 및 상기 제 2 3차원 데이터에서 상기 제 2 매칭 영역에 대응하는 복수의 포인트를 상기 초기 위치로서 설정하는 단계를 포함하는, 3차원 데이터 정합 방법.
  9. 제 1 항에 있어서,
    상기 타겟의 3차원 모델을 나타내는 CT 데이터 또는 MRI 데이터를 수신하는 단계; 및
    상기 CT 데이터 또는 상기 MRI 데이터로부터 상기 CT 데이터의 표면 데이터 또는 상기 MRI 데이터의 표면 데이터를 상기 제 1 3차원 데이터로서 추출하는 단계를 더 포함하는, 3차원 데이터 정합 방법.
  10. 타겟의 3차원 모델의 표면을 나타내는 제 1 3차원 데이터를 수신하는 3차원 데이터 처리 장치;
    마커를 장착하고, 상기 타겟의 3차원 표면의 적어도 일부를 나타내는 제 2 3차원 데이터를 생성하는 3차원 스캐너; 및
    상기 마커를 촬상한 마커 이미지에 기초하여, 상기 제 2 3차원 데이터를 소정 좌표계로 변환하는 옵티컬 트래커를 포함하고,
    상기 3차원 데이터 처리 장치는,
    상기 제 1 3차원 데이터를 2차원 변환하여 제 1 2차원 데이터를 생성하는 제 1 변환부;
    상기 제 2 3차원 데이터를 2차원 변환하여 제 2 2차원 데이터를 생성하는 제 2 변환부;
    상기 제 1 2차원 데이터에 상기 제 2 2차원 데이터를 매칭하여 상기 제 1 2차원 데이터 상의 제 1 매칭 영역, 및 상기 제 2 2차원 데이터 상의 제 2 매칭 영역을 각각 결정하고, 상기 제 1 매칭 영역에 대응하는 상기 제 1 3차원 데이터의 복수의 포인트, 및 상기 제 2 매칭 영역에 대응하는 상기 제 2 3차원 데이터의 복수의 포인트를 초기 위치로서 설정하는 초기 위치 설정부; 및
    상기 초기 위치를 이용하여 상기 제 1 3차원 데이터 및 상기 제 2 3차원 데이터를 정합하는 데이터 정합부
    를 포함하는, 좌표계 정렬 시스템.
  11. 제 10 항에 있어서,
    상기 3차원 데이터 처리 장치는, 상기 제 1 2차원 데이터 및 상기 제 2 2차원 데이터를 각각 편미분하여 제 1 2차원 곡률 데이터 및 제 2 2차원 곡률 데이터를 생성하는 곡률 변환부를 더 포함하되,
    상기 초기 위치 설정부는, 상기 제 1 2차원 곡률 데이터 및 상기 제 2 2차원 곡률 데이터를 매칭하여 상기 제 1 2차원 곡률 데이터 상의 제 1 매칭 영역, 및 상기 제 2 2차원 곡률 데이터 상의 제 2 매칭 영역을 각각 결정하는, 좌표계 정렬 시스템.
  12. 제 11 항에 있어서,
    상기 곡률 변환부는,
    상기 제 1 2차원 데이터 상의 각 포인트의 값, 및 이웃하는 복수의 포인트의 값에 기초하여 상기 제 1 2차원 곡률 데이터를 생성하고,
    상기 제 2 2차원 데이터 상의 각 포인트의 값, 및 이웃하는 복수의 포인트의 값에 기초하여 상기 제 2 2차원 곡률 데이터를 생성하는, 좌표계 정렬 시스템.
  13. 제 11 항에 있어서,
    상기 곡률 변환부는,
    상기 제 1 2차원 곡률 데이터로써, 상기 제 1 2차원 데이터의 평균 곡률을 나타내는 평균 곡률 데이터 또는 상기 제 1 2차원 데이터의 가우시안 곡률을 나타내는 가우시안 곡률 데이터를 생성하고,
    상기 제 2 2차원 곡률 데이터로써, 상기 제 2 2차원 데이터의 평균 곡률을 나타내는 평균 곡률 데이터 또는 상기 제 2 2차원 데이터의 가우시안 곡률을 나타내는 가우시안 곡률 데이터를 생성하는, 좌표계 정렬 시스템.
  14. 제 10 항에 있어서,
    상기 제 1 변환부는,
    상기 제 1 3차원 데이터의 중심좌표를 결정하고,
    상기 중심좌표로부터 상기 제 1 3차원 데이터의 각 포인트까지의 거리들의 평균값을 산출하고,
    상기 산출된 평균값을 기준거리로 하여 상기 제 1 3차원 데이터를 상기 제 1 2차원 데이터로 구형 언랩핑하며,
    상기 제 1 2차원 데이터의 각 포인트의 값은, 상기 제 1 2차원 데이터의 각 포인트에 대응하는 상기 제 1 3차원 데이터의 포인트로부터 상기 중심좌표까지의 거리를 나타내는, 좌표계 정렬 시스템.
  15. 제 14 항에 있어서,
    상기 제 2 변환부는,
    상기 제 2 3차원 데이터가 상기 기준거리를 반지름으로 갖는 구의 표면 상에 위치하도록 상기 제 2 3차원 데이터를 이동시키고,
    상기 기준거리를 기초로 상기 제 2 3차원 데이터를 상기 제 2 2차원 데이터로 구형 언랩핑하며,
    상기 제 2 2차원 데이터의 각 포인트의 값은, 상기 제 2 2차원 데이터의 각 포인트에 대응하는 상기 제 2 3차원 데이터의 포인트로부터 상기 구의 중심좌표까지의 거리를 나타내는, 좌표계 정렬 시스템.
  16. 제 10 항에 있어서,
    상기 초기 위치 설정부는,
    상기 제 1 2차원 데이터에 있어서 상기 제 2 2차원 데이터의 소정 영역과 최대의 유사도를 갖는 영역을 결정하고,
    상기 제 1 2차원 데이터에서 결정된 영역 내에서 상기 제 1 매칭 영역을 결정하고,
    상기 제 2 2차원 데이터의 소정 영역 내에서 상기 제 2 매칭 영역을 결정하는, 좌표계 정렬 시스템.
  17. 제 10 항에 있어서,
    상기 초기 위치 설정부는, 상기 제 1 3차원 데이터에서 상기 제 1 매칭 영역에 대응하는 복수의 포인트, 및 상기 제 2 3차원 데이터에서 상기 제 2 매칭 영역에 대응하는 복수의 포인트를 상기 초기 위치로서 설정하는, 좌표계 정렬 시스템.
  18. 제 10 항에 있어서,
    상기 3차원 데이터 처리 장치는,
    상기 타겟의 3차원 모델을 나타내는 CT 데이터 또는 MRI 데이터를 수신하는 통신부; 및
    상기 CT 데이터 또는 상기 MRI 데이터로부터 상기 CT 데이터의 표면 데이터 또는 상기 MRI 데이터의 표면 데이터를 상기 제 1 3차원 데이터로서 추출하는 표면 추출부를 더 포함하는, 좌표계 정렬 시스템.
  19. 제 1 항 내지 제 9 항 중 어느 한 항의 방법의 각 단계를 수행하는 명령어를 포함하는 프로그램을 저장한 컴퓨터 판독가능 저장매체.
  20. 타겟의 3차원 모델의 표면을 나타내는 제 1 3차원 데이터를 2차원 변환하여 제 1 2차원 데이터를 생성하는 제 1 변환부;
    상기 타겟의 3차원 표면의 적어도 일부를 나타내는 제 2 3차원 데이터를 2차원 변환하여 제 2 2차원 데이터를 생성하는 제 2 변환부;
    상기 제 1 2차원 데이터에 상기 제 2 2차원 데이터를 매칭하여 상기 제 1 2차원 데이터 상의 제 1 매칭 영역, 및 상기 제 2 2차원 데이터 상의 제 2 매칭 영역을 각각 결정하고, 상기 제 1 매칭 영역에 대응하는 상기 제 1 3차원 데이터의 복수의 포인트, 및 상기 제 2 매칭 영역에 대응하는 상기 제 2 3차원 데이터의 복수의 포인트를 초기 위치로서 설정하는 초기 위치 설정부; 및
    상기 초기 위치를 이용하여 상기 제 1 3차원 데이터 및 상기 제 2 3차원 데이터를 정합하는 데이터 정합부
    를 포함하는, 3차원 데이터 정합 장치.
KR1020160102070A 2016-08-10 2016-08-10 3차원 데이터 정합 장치 및 방법 KR101812001B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160102070A KR101812001B1 (ko) 2016-08-10 2016-08-10 3차원 데이터 정합 장치 및 방법
EP17839799.8A EP3499464B1 (en) 2016-08-10 2017-08-09 Three-dimensional data matching device and method
PCT/KR2017/008609 WO2018030781A1 (ko) 2016-08-10 2017-08-09 3차원 데이터 정합 장치 및 방법
US16/324,886 US11481867B2 (en) 2016-08-10 2017-08-09 Device and method for registering three-dimensional data
CN201780049378.2A CN109564693B (zh) 2016-08-10 2017-08-09 三维数据整合装置及方法
JP2019507783A JP6785362B2 (ja) 2016-08-10 2017-08-09 ３次元データ整合装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160102070A KR101812001B1 (ko) 2016-08-10 2016-08-10 3차원 데이터 정합 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101812001B1 true KR101812001B1 (ko) 2017-12-27

Family

ID=60938539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160102070A KR101812001B1 (ko) 2016-08-10 2016-08-10 3차원 데이터 정합 장치 및 방법

Country Status (6)

Country Link
US (1) US11481867B2 (ko)
EP (1) EP3499464B1 (ko)
JP (1) JP6785362B2 (ko)
KR (1) KR101812001B1 (ko)
CN (1) CN109564693B (ko)
WO (1) WO2018030781A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210052270A (ko) * 2019-10-30 2021-05-10 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534962B2 (en) * 2017-06-17 2020-01-14 Matterport, Inc. Automated classification based on photo-realistic image/model mappings
WO2020005204A1 (en) * 2018-06-25 2020-01-02 Hewlett-Packard Development Company, L.P. Three-dimensional registration procedures
US11536843B2 (en) * 2020-02-08 2022-12-27 The Boeing Company De-jitter of point cloud data for target recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2950340B2 (ja) * 1994-09-01 1999-09-20 マサチューセッツ インスティチュート オブ テクノロジー 三次元データ組の登録システムおよび登録方法
JP2001078996A (ja) 1999-03-19 2001-03-27 Nippon Telegr & Teleph Corp <Ntt> ３次元断層画像読影方法、自動照合方法、及びその装置並びにそのプログラムを記録した記録媒体
JP2011180786A (ja) * 2010-02-26 2011-09-15 Mitsubishi Heavy Ind Ltd Ｃａｄデータ送信方法、ｃａｄデータ受信方法、ｃａｄデータ送信装置、ｃａｄデータ受信装置、ｃａｄデータ送信プログラム、およびｃａｄデータ受信プログラム、ならびにデータ構造

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5531520A (en) 1994-09-01 1996-07-02 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets including anatomical body data
US6904163B1 (en) 1999-03-19 2005-06-07 Nippon Telegraph And Telephone Corporation Tomographic image reading method, automatic alignment method, apparatus and computer readable medium
AU2003286922A1 (en) * 2002-11-06 2004-06-03 Geometric Informatics Inc. Analysis of geometric surfaces by conformal structure
US20060293557A1 (en) 2005-03-11 2006-12-28 Bracco Imaging, S.P.A. Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray")
WO2007011306A2 (en) 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
KR100884066B1 (ko) 2007-03-30 2009-02-19 한국전자통신연구원 Ｓｖｄ 기반의 영상 비교시스템 및 방법
JP6161004B2 (ja) 2011-03-09 2017-07-12 国立大学法人大阪大学 画像データ処理装置および経頭蓋磁気刺激装置
CN105225219B (zh) * 2014-06-25 2018-06-01 联想(北京)有限公司 信息处理方法及电子设备
KR101638477B1 (ko) 2014-09-19 2016-07-11 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
CN104318552B (zh) * 2014-10-15 2017-07-14 北京理工大学 基于凸包投影图匹配的模型配准方法
DE102015210453B3 (de) * 2015-06-08 2016-10-13 Bitmanagement Software GmbH Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimensionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts
JP6503906B2 (ja) * 2015-06-10 2019-04-24 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2016206942A1 (en) * 2015-06-25 2016-12-29 Koninklijke Philips N.V. Image registration
CN105261052B (zh) * 2015-11-03 2018-09-18 沈阳东软医疗系统有限公司 管腔图像展开绘制方法及装置
CN105654029B (zh) * 2015-11-30 2019-04-05 辽宁师范大学 可提高识别精度及效率的三维点云耳廓识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2950340B2 (ja) * 1994-09-01 1999-09-20 マサチューセッツ インスティチュート オブ テクノロジー 三次元データ組の登録システムおよび登録方法
JP2001078996A (ja) 1999-03-19 2001-03-27 Nippon Telegr & Teleph Corp <Ntt> ３次元断層画像読影方法、自動照合方法、及びその装置並びにそのプログラムを記録した記録媒体
JP2011180786A (ja) * 2010-02-26 2011-09-15 Mitsubishi Heavy Ind Ltd Ｃａｄデータ送信方法、ｃａｄデータ受信方法、ｃａｄデータ送信装置、ｃａｄデータ受信装置、ｃａｄデータ送信プログラム、およびｃａｄデータ受信プログラム、ならびにデータ構造

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
수술 중 촬영된 2D XA 영상과 수술 전 촬영된 3D CTA 영상의 고속 강체 정합 기법, 한국멀티미디어학회 논문지 제16권 제12호(2013)*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210052270A (ko) * 2019-10-30 2021-05-10 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR102433473B1 (ko) 2019-10-30 2022-08-19 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20210287331A1 (en) 2021-09-16
JP6785362B2 (ja) 2020-11-18
CN109564693A (zh) 2019-04-02
US11481867B2 (en) 2022-10-25
EP3499464B1 (en) 2021-06-23
WO2018030781A1 (ko) 2018-02-15
EP3499464A4 (en) 2019-08-21
JP2019533218A (ja) 2019-11-14
CN109564693B (zh) 2024-04-09
EP3499464A1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
US20230255513A1 (en) Medical camera assembly comprising range camera and thermographic camera
JP5337243B2 (ja) 表面特徴の適応型３次元走査システム
KR101812001B1 (ko) 3차원 데이터 정합 장치 및 방법
JP5955406B2 (ja) データを位置合わせする方法
JP5132832B1 (ja) 計測装置および情報処理装置
JP6573419B1 (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
US20200268251A1 (en) System and method for patient positioning
WO2019015154A1 (zh) 基于单目三维扫描系统的三维重构方法和装置
JP2017010327A (ja) 情報処理装置、情報処理方法及びプログラム
US11107270B2 (en) Medical scene model
KR102233585B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
JP6469360B2 (ja) 眼の画像処理の改良
JP2016217941A (ja) ３次元データ評価装置、３次元データ測定システム、および３次元計測方法
CN110891488A (zh) 矢状旋转确定
CN115063607B (zh) 切割轮廓的确定方法、装置、设备及存储介质
KR102084256B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
JP6890422B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP5559749B2 (ja) 位置検出装置、位置検出方法及びコンピュータプログラム
KR102184001B1 (ko) 수술용 네비게이션을 위한 영상 정합 장치 및 영상 정합 방법
WO2020261403A1 (ja) 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
KR102561109B1 (ko) 3차원 영상 정합 장치 및 이를 이용한 3차원 영상 정합 방법
KR102097396B1 (ko) 안면 영상 정합 방법
Kwon et al. A patient-to-CT registration method based on spherical unwrapping and HK curvature descriptors for surgical navigation system
Fang et al. A face matching method based on biometric for surgical navigation system
WO2020192022A1 (en) Three-dimensional modeling using hemispherical or spherical visible light-depth images

Legal Events

Date Code Title Description
GRNT Written decision to grant