KR20150077039A - 표면 모델 정합 장치 및 방법 - Google Patents

표면 모델 정합 장치 및 방법 Download PDF

Info

Publication number
KR20150077039A
KR20150077039A KR1020130165865A KR20130165865A KR20150077039A KR 20150077039 A KR20150077039 A KR 20150077039A KR 1020130165865 A KR1020130165865 A KR 1020130165865A KR 20130165865 A KR20130165865 A KR 20130165865A KR 20150077039 A KR20150077039 A KR 20150077039A
Authority
KR
South Korea
Prior art keywords
surface model
floating
floating surface
depth map
map image
Prior art date
Application number
KR1020130165865A
Other languages
English (en)
Other versions
KR102035670B1 (ko
Inventor
박성진
구본기
최진성
김도형
박일규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130165865A priority Critical patent/KR102035670B1/ko
Priority to US14/317,238 priority patent/US9311689B2/en
Publication of KR20150077039A publication Critical patent/KR20150077039A/ko
Application granted granted Critical
Publication of KR102035670B1 publication Critical patent/KR102035670B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 표면 모델 정합 장치는 기준 표면 모델 및 부유 표면 모델을 입력 받는 입출력 인터페이스, 기준 표면 모델 및 부유 표면 모델을 정합하는 명령어를 저장하는 메모리 및 상기 명령어에 따라 기준 표면 모델 및 부유 표면 모델을 정합하는 프로세서를 포함하되, 상기 명령어는 기준 표면 모델 및 부유 표면 모델의 깊이 영상을 비교하여 부유 표면 모델에 상응하는 초기 변환 파라미터를 선정하는 단계; 초기 변환 파라미터에 따라 부유 표면 모델을 변환하는 단계, 상기 기준 표면 모델 및 상기 부유 표면 모델 간의 교차 공분산 행렬에 특이값 분해를 적용하여 산출한 행렬을 통해 보정 변환 파라미터를 산출하는 단계, 및 보정 변환 파라미터에 따라 부유 표면 모델을 변환하고, 기준 표면 모델 및 부유 표면 모델을 정합하는 단계를 수행하는 명령어를 포함하는 것을 특징으로 한다.

Description

표면 모델 정합 장치 및 방법{APPARATUS AND METHDO FOR REGISTRATING SURFACE MODELS}
본 발명은 표면 모델의 정합 기술에 관한 것으로 보다 상세하게는 경구내 스캐너를 통해 획득된 복수의 부분 표면 모델을 정합하는 기술에 관한 것이다.
치과학에서는 치과교정술이나 임플란트 시술등을 위하여 3차원 덴탈(dental)모델을 최대한 정확하게 만들어야 한다. 보통 덴탈물체의 3차원 표면 모델은 플라스틱 모델을 제조하거나 방사선을 투과한 사진을 획득하여 생성한다. 그러나 모델제작의 경우 오랜 소요 시간을 필요로 하고, 덴탈물체 제작시에 치과의사의 숙련된 스킬이 요하게 된다. 이에 따라, 3차원 표면 모델을 제작하는 대신에, 방사선을 투과하는 사진을 이용하는 방법이 이용되고 있으나, 장비가 비쌀 뿐만 아니라 고품질의 사진을 얻기 위해서는 많은 방사선이 투과되어야 한다.
최근 치아의 3차원 기하학적 구조를 파악하기 위하여 경구내 레이저 스캐너가 도입되었고, 방사선 사진의 대안으로 인정되고 있다. 하지만, 레이저 스캐너의 경우 관측시야(field of view:FOV)가 작기 때문에, 한 개의 스캐닝된 표면 모델로는 전체 치아 혹은 덴탈물체를 모두 포함하지 못한다. 따라서 다른 시점에서 획득된 표면 모델을 획득한 후, 이를 합쳐 하나의 덴탈 모델을 생성하는 과정이 필요하다. 이 과정에서 인접한 표면 모델 간 겹치는 영역을 찾아 겹치는 영역에 대해서 정합(registration)의 수행이 필요하다.
정합 과정은 두 표면 모델간의 겹치는 영역 내 대응점을 설정하고, 대응점 간 변환 방법을 찾는 방법과 두 표면 모델 간 거리의 차이를 최소화하는 변환 방법을 찾는 것이 일반적이다. 하지만, 두 가지 방법 모두 겹치는 영역을 찾기 어렵고, 한 표면 모델의 특정 점이 다른 표면 모델의 복수 점과 대응되어 변환 방법을 찾지 못하는 문제가 있다.
본 발명이 해결하고자 하는 과제는 깊이 맵 영상을 이용하여 초기 변환 파라미터를 획득하고, 초기 변환 파라미터에 기반하여 표면 모델의 정합을 수행하는 표면 모델 정합 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 기준 표면 모델 및 부유 표면 모델을 입력 받는 입출력 인터페이스; 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 명령어를 저장하는 메모리; 및 상기 명령어에 따라 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 프로세서를 포함하되, 상기 명령어는 상기 기준 표면 모델 및 상기 부유 표면 모델의 깊이 영상을 비교하여 상기 부유 표면 모델에 상응하는 초기 변환 파라미터를 선정하는 단계; 상기 초기 변환 파라미터에 따라 상기 부유 표면 모델을 변환하는 단계; 상기 기준 표면 모델 및 상기 부유 표면 모델 간의 교차 공분산 행렬에 특이값 분해를 적용하여 산출한 행렬을 통해 보정 변환 파라미터를 산출하는 단계; 및 상기 보정 변환 파라미터에 따라 상기 부유 표면 모델을 변환하고, 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 단계;를 수행하는 명령어를 포함하는 것을 특징으로 하는 표면 모델 정합 장치가 제공된다.
상기 기준 표면 모델 및 상기 부유 표면 모델의 깊이 영상을 비교하여 상기 부유 표면 모델에 상응하는 초기 변환 파라미터를 선정하는 단계는, 상기 기준 표면 모델의 깊이 맵 영상을 생성하는 단계; 상기 기준 표면 모델의 깊이 맵 영상과 상기 부유 표면 모델의 깊이 맵 영상의 유사도가 수렴할 때까지, 상기 부유 표면 모델에 면외 변환을 적용하고, 상기 부유 표면 모델의 깊이 맵 영상을 생성하는 과정을 반복 수행하는 단계; 상기 기준 표면 모델의 깊이 맵 영상과 상기 부유 표면 모델의 깊이 맵 영상의 유사도가 수렴할 때까지, 상기 부유 표면 모델의 깊이 맵 영상에 면내 변환을 적용하는 과정을 반복 수행하는 단계; 및 상기 면외 변환 및 상기 면내 변환에 상응하는 파라미터를 포함하는 초기 변환 파라미터를 선정하는 단계;를 포함할 수 있다.
상기 면외 변환은 상기 부유 표면 모델을 x축 및 y 축을 기준으로 회전시키고, z 축 방향으로 이동시키는 변환이고, 상기 면내 변환은 상기 부유 표면 모델을 상기 x축 및 상기 y 축 방향으로 이동시키고, 상기 z 축을 기준으로 회전시키는 변환일 수 있다.
상기 기준 표면 모델 및 상기 부유 표면 모델 간의 교차 공분산 행렬에 특이값 분해를 적용하여 산출한 행렬을 통해 보정 변환 파라미터를 산출하는 단계 및 상기 보정 변환 파라미터에 따라 상기 부유 표면 모델을 변환하고, 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 단계는 상기 기준 표면 모델 및 상기 부유 표면 모델 간의 표면 거리가 수렴할 때까지 반복 수행되는 단계일 수 있다.
상기 표면 거리는 상기 기준 표면 모델 및 상기 부유 표면 모델의 겹치는 영역 상의 각 점 간 거리가 최소가 되도록 대응시키고, 대응된 각 점간의 거리에 대한 평균일 수 있다.
본 발명의 다른 측면에 따르면, 표면 모델 정합 장치가 표면 모델을 정합하는 방법에 있어서, 기준 표면 모델 및 부유 표면 모델의 깊이 영상을 비교하여 상기 부유 표면 모델에 상응하는 초기 변환 파라미터를 선정하는 단계; 상기 초기 변환 파라미터에 따라 상기 부유 표면 모델을 변환하는 단계; 상기 기준 표면 모델 및 상기 부유 표면 모델 간의 교차 공분산 행렬에 특이값 분해를 적용하여 산출한 행렬을 통해 보정 변환 파라미터를 산출하는 단계; 및 상기 보정 변환 파라미터에 따라 상기 부유 표면 모델을 변환하고, 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 단계; 를 포함하는 표면 모델 정합 방법이 제공된다.
상기 기준 표면 모델 및 상기 부유 표면 모델의 깊이 영상을 비교하여 상기 부유 표면 모델에 상응하는 초기 변환 파라미터를 선정하는 단계는, 상기 기준 표면 모델의 깊이 맵 영상을 생성하는 단계; 상기 기준 표면 모델의 깊이 맵 영상과 상기 부유 표면 모델의 깊이 맵 영상의 유사도가 수렴할 때까지, 상기 부유 표면 모델에 면외 변환을 적용하고, 상기 부유 표면 모델의 깊이 맵 영상을 생성하는 과정을 반복 수행하는 단계; 상기 기준 표면 모델의 깊이 맵 영상과 상기 부유 표면 모델의 깊이 맵 영상의 유사도가 수렴할 때까지, 상기 부유 표면 모델의 깊이 맵 영상에 면내 변환을 적용하는 과정을 반복 수행하는 단계; 및 상기 면외 변환 및 상기 면내 변환에 상응하는 파라미터를 포함하는 초기 변환 파라미터를 선정하는 단계;를 포함할 수 있다.
상기 면외 변환은 상기 부유 표면 모델을 x축 및 y 축을 기준으로 회전시키고, z 축 방향으로 이동시키는 변환이고, 상기 면내 변환은 상기 부유 표면 모델을 상기 x축 및 상기 y 축 방향으로 이동시키고, 상기 z 축을 기준으로 회전시키는 변환일 수 있다.
상기 기준 표면 모델 및 상기 부유 표면 모델 간의 교차 공분산 행렬에 특이값 분해를 적용하여 산출한 행렬을 통해 보정 변환 파라미터를 산출하는 단계 및 상기 보정 변환 파라미터에 따라 상기 부유 표면 모델을 변환하고, 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 단계는 상기 기준 표면 모델 및 상기 부유 표면 모델 간의 표면 거리가 수렴할 때까지 반복 수행되는 단계일 수 있다.
상기 표면 거리는 상기 기준 표면 모델 및 상기 부유 표면 모델의 겹치는 영역 상의 각 점 간 거리가 최소가 되도록 대응시키고, 대응된 각 점간의 거리에 대한 평균일 수 있다.
상술한 바와 같이 본 발명의 일 실시예에 따르면, 두 표면 모델 간 겹치는 영역을 용이하게 찾을 수 있어, 전체 정합 과정에 소요되는 계산 복잡도가 낮출 수 있다.
또한, 본 발명의 일 실시예에 따르면, 두 표면 모델 간 대응점이 일 대 다로 매칭되는 문제를 해결할 수 있다.
도 1은 본 발명의 일 실시예에 따른 표면 정합 장치를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 표면 모델 정합 장치가 표면 모델을 정합하는 과정을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 표면 모델 정합 장치가 초기 변환 파라미터를 선정하는 과정을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 표면 모델 정합 장치가 초기 변환 파라미터를 이용하여 표면 모델을 정합하는 과정을 예시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.
또한, 이하에서 설명하는 공개키 및 비밀키는 공지된 준동형 암호화 기법에 따른 공개키 및 비밀키인 것으로 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 압축 암복호화 장치를 예시한 도면이다.
도 1을 참조하면, 압축 암복호화 장치는 입출력 인터페이스(110), 프로세서(120), 메모리(130) 및 스토리지(140)를 포함한다.
입출력 인터페이스(110)는 외부 장치(예를 들어, 경구 스캐너, 단말 등)으로부터 복수의 표면 모델을 입력받는다. 이 때, 입출력 인터페이스(110)는 공지된 통신 모듈을 구비하여 외부 장치로부터 복수의 표면 모델을 입력받을 수 있다.
프로세서(120)는 메모리(130)에 로딩된 명령어에 따라 복수의 표면 모델을 정합한다.
메모리(130)는 프로세서(120)의 제어에 따라 스토리지(140)에 저장된 명령어를 로딩(Loading)한다. 메모리(130)는 휘발성 저장매체일 수 있다.
스토리지(140)는 복수의 표면 모델을 정합하는 과정을 지시하는 명령어를 저장하며, 하드디스크, 플래시 메모리 등의 비휘발성 저장 매체일 수 있다.
이하, 상술한 명령어에 따라 프로세서가 표면 모델을 정합하는 과정을 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 표면 모델 정합 장치가 표면 모델을 정합하는 과정을 예시한 도면이다.
도 2를 참조하면, 단계 210에서 표면 모델 정합 장치는 복수의 표면 모델을 입력받는다. 이 때, 각 표면 모델은 경구 스캐너를 통해 사람의 경구 내 모습을 촬영하여 생성된 표면 모델일 수 있다.
단계 220에서 표면 모델 정합 장치는 깊이 맵 영상을 이용하여 초기 변환 파라미터를 선정한다. 이 때, 표면 모델 정합 장치는 각 표면 모델을 미리 설정된 Z축을 따라서 표면 모델을 투영시켜 산출되는 깊이값을 포함하는 깊이 맵 영상을 생성할 수 있다. 이 때, 표면 모델 정합 장치는 각 표면 모델을 나타내는 폴리곤의 정점(vertex)을 z축에 따라 투영하여 깊이값을 산출할 수 있다. 또한, 표면 모델 정합 장치는 각 폴리곤 별 미리 지정된 개수만큼 내부 점(inner point)를 추출하고, 내부 점을 투영하여 추가적인 깊이값을 산출할 수 있다.
예를 들어, 표면 모델 정합 장치는 하기의 수학식 1과 같이 무게중심 보간(barycentric interpolation)을 이용하여 정점에 따른 내부 점을 산출할 수 있다.
Figure pat00001
표면 모델 정합 장치가 투영시킬 정점 및 내부 점은 하기의 수학식 2와 같이 나타낼 수 있다. 이하, 정점 및 내부 점을 표본점이라 지칭하도록 한다.
Figure pat00002
여기서 SP 는 n 개의 삼각형을 갖는 표본점들의 집합을 나타내고, m(i)는 i번째 삼각형을,
Figure pat00003
는 (1)에서 구한 i번째 삼각형에 있는 j번째 점을 나타낸다. 표면 모델 정합 장치는 각 표본점을 투영시키기 이전에 표면 모델의 경계박스(bounding box)를 설정하고 경계박스의 가로 길이(w), 세로 길이(h), 중심 좌표(c)를 산출한다. 표면 모델 정합 장치는 SP에 포함된 각 표본점을 투영함으로써 m x n 의 2차원 깊이 맵 영상(DM(x,y))을 하기의 수학식 3과 같이 산출할 수 있다.
Figure pat00004
이 때, 여기서
Figure pat00005
와
Figure pat00006
는 c의x 와 y좌표이고,
Figure pat00007
,
Figure pat00008
,
Figure pat00009
는
Figure pat00010
의x, y, z좌표이다.즉, SP에 있는모든 점들을 투영시키면 깊이 맵 영상이 산출될 수 있다.
따라서, 본 발명의 일 실시예에 따른 표면 모델 정합 장치는 정점 간의 거리가 큼에 따라 홀(hole)이 발생하여 깊이 맵 영상의 정확성이 떨어지는 것을 방지할 수 있다.
표면 모델 정합 장치는 상술한 과정을 통해 생성한 깊이 맵 영상을 이용하여 초기 변환 파라미터를 선정한다. 초기 변환 파라미터는 표면 모델을 미리 지정된 x축, y축, z축을 기준으로 회전 정도를 나타내는 3개의 파라미터와 x축, y축, z축에 따른 이동을 나타내는 3개의 파라미터로 구성될 수 있다. 초기 변환 파라미터를 선정하는 과정은 추후 도 3을 참조하여 상세히 설명하도록 한다.
단계 230에서 표면 모델 정합 장치는 초기 변환 파라미터를 이용하여 표면 모델을 정합한다. 이 때, 표면 모델에서 깊이 맵 영상으로 변환하는 과정에서 데이터 손실이 발생하기 때문에 초기 변환 파라미터를 바로 정합 과정에 적용하면 정합의 정확성이 떨어진다. 이에 따라 본 발명의 일 실시예에 따른 표면 모델 정합 장치는 초기 변환 파라미터에 따라 변환된 표면모델 간의 표면 거리가 최소화될 수 있도록 보정 변환 파라미터를 산출하고, 보정 변환 파라미터에 따른 정합을 수행한다. 보정 변환 파라미터의 산출 및 정합 과정은 추후 도 4를 참조하여 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 표면 모델 정합 장치가 초기 변환 파라미터를 선정하는 과정을 예시한 도면이다. 즉, 도 3은 도 2의 단계 220에 해당하는 과정을 나타낸 순서도 일 수 있다.
도 3을 참조하면, 단계 310에서 표면 모델 정합 장치는 기준 표면 모델의 깊이 맵 영상을 생성한다. 이 때, 기준 표면 모델은 복수의 표면 모델 중 어느 하나로 변환 없이 정합될 표면 모델이고, 후술할 부유 표면 모델은 변환 과정을 거쳐 기준 표면 모델과 정합될 표면 모델이다. 표면 모델에 대한 깊이 맵 영상을 생성하는 과정은 도 2를 참조하여 상술하였다.
단계 320에서 표면 모델 정합 장치는 부유 표면 모델에 면외 변환(Out-of-Plane Transform)을 적용한다. 이 때, 면외 변환은 미리 지정된 x축 및 y축을 기준으로 표면 모델을 회전이 회전시키고, z축 방향으로 이동 시키는 변환일 수 있다. 이 때, 면외 변환에 적용되는 파라미터는 이전 면외 변환 과정에서 적용되지 않은 파라미터 중 랜덤하게 선정되거나 미리 지정된 패턴에 따라 선정된 파라미터일 수 있다.
단계 330에서 표면 모델 정합 장치는 단계 320에서 면외 변환이 적용된 부유 표면 모델의 깊이 맵 영상을 생성한다.
단계 340에서 표면 모델 정합 장치는 기준 표면 모델과 부유 표면 모델의 깊이 맵 영상 간 유사도가 수렴하는지 판단한다. 즉, 표면 모델 정합 장치는 기준 표면 모델의 깊이 맵 영상과 다양한 파라미터에 따라 면외 변환이 적용된 부유 표면 모델의 깊이 맵 영상 간 유사도가 미리 지정된 수렴 조건에 만족하는지 판단할 수 있다. 이 때, 수렴 조건은 이전 단계에서 산출된 유사도와 현재 산출된 유사도의 차이가 미리 지정된 수치 이하인 경우, 수렴으로 판단하는 조건일 수 있다. 이 때, 유사도는 하기의 수학식 4와 같이 정규상호상관지수일 수 있다.
Figure pat00011
여기서
Figure pat00012
는 DM R 의 평균이고,
Figure pat00013
은 DM TF 의 평균이다.
단계 340에서 기준 표면 모델과 부유 표면 모델의 깊이 맵 영상 간 유사도가 수렴하지 않는 경우, 표면 모델 정합 장치는 단계 320부터의 과정을 반복 수행한다.
단계 340에서 기준 표면 모델과 부유 표면 모델의 깊이 맵 영상 간 유사도가 수렴하는 경우, 단계 350에서 표면 모델 정합 장치는 유사도가 수렴된 경우의 면외 변환된 부유 표면 모델의 깊이 맵 영상에 대해 면내 변환(In-Plane Transform)을 적용한다. 이 때, 면내 변환은 2차원 영상인 깊이 맵 영상을 x축 및 y축에 대해서 이동시키고, z축을 기준으로 회전시키는 2차원 변환이다.
단계 360에서 표면 모델 정합 장치는 면내 변환 적용된 부유 표면 모델의 깊이 맵 영상과 기준 표면 모델의 깊이 맵 영상 간의 유사도가 수렴하는지 판단한다.
단계 360에서 면내 변환 적용된 부유 표면 모델의 깊이 맵 영상과 기준 표면 모델의 깊이 맵 영상 간의 유사도가 수렴하지 않는 경우, 표면 모델 정합 장치는 단계 350부터의 과정을 반복 수행한다.
단계 360에서 면내 변환 적용된 부유 표면 모델의 깊이 맵 영상과 기준 표면 모델의 깊이 맵 영상 간의 유사도가 수렴하는 경우, 단계 370에서 표면 모델 정합 장치는 각 유사도가 수렴된 면외 변환 및 면내 변환에 사용된 파라미터를 포함하는 초기 변환 파라미터를 선정한다.
도 4는 본 발명의 일 실시예에 따른 표면 모델 정합 장치가 초기 변환 파라미터를 이용하여 표면 모델을 정합하는 과정을 예시한 도면이다. 즉, 도 4는 도 2의 단계 230에 해당하는 과정을 예시한 순서도이다.
도 4를 참조하면, 단계 410에서 표면 모델 정합 장치는 초기 변환 파라미터에 따른 부유 표면 모델을 변환한다.
단계 420에서 표면 모델 정합 장치는 겹치는 영역 상 기준 표면 모델과 부유 표면 모델 간의 표면 거리를 산출한다. 예를 들어, 표면 모델 정합 장치는 하기의 수학식 5와 같이 기준 표면 모델과 부유 표면 모델 간의 표면 거리를 산출한다.
Figure pat00014
ORS는 기준 표면에서 겹치는 영역을 나타낸 것이고, OFS T 는 변환된 부유 표면에서 겹치는 영역을 나타낸 것이다.
Figure pat00015
는 OFS T 내의 점의 개수,
Figure pat00016
는 OFS T 에서 i번째점을 나타낸 것이다.
Figure pat00017
는 수학식 6과 같이
Figure pat00018
와 ORS간 최소거리를 나타낸 것이다.
Figure pat00019
Figure pat00020
는 ORS에서 점의 개수,
Figure pat00021
는 ORS 에서 j번째 점을 나타낸다.
Figure pat00022
은 ORS에 있는 점의 집합이고,
Figure pat00023
은 OFS T 에 있는 점의 집합이다. 이때, 같은 인덱스를 갖는 각 점
Figure pat00024
는
Figure pat00025
에 대응된다.
단계 430에서 표면 모델 정합 장치는 겹치는 영역 상 기준 표면 모델의 점과 부유 표면 모델의 점 간의 교차 공분산 행렬을 산출한다. 예를 들어, 하기의 수학식 7과 같이 변환 파라미터에 따른 목적 함수가 정의되는 경우, 표면 모델 정합 장치는 하기의 수학식 8과 같은 교차 공분산 행렬(H)을 산출할 수 있다.
Figure pat00026
이 때, R은 변환 파라미터(초기 변환 파라미터 또는 보정 변환 파라미터)의 회전 변환에 대한 파라미터를 나타내는 행렬이고, t는 변환 파라미터의 이동 변환에 대한 파라미터를 나타내는 벡터이다.
Figure pat00027
이 때,
Figure pat00028
는
Figure pat00029
의 무게중심이고,
Figure pat00030
은
Figure pat00031
의 무게중심이다.
단계 440에서 표면 모델 정합 장치는 교차 공분산 행렬에 대해 특이값 분해(SVD, Singular value decomposition)를 적용한다. 예를 들어, 표면 모델 정합 장치는 하기의 수학식 9와 같이 특이값 분해를 적용한다.
Figure pat00032
단계 450에서 표면 모델 정합 장치는 특이값 분해를 통해 산출된 행렬을 이용하여 보정 변환 파라미터 및 표면 거리를 산출한다. 예를 들어, 표면 모델 정합 장치는 단계 440에서 분해된 행렬 V, U를 이용하여 새로운 회전변환 행렬인 VU T를 산출하고, 새로운 이동변환 벡터를 산출할 수 있다. 표면 모델 정합 장치는 새로운 회전변환 행렬 및 이동변환 벡터에 따른 변환 파라미터인 보정 변환 파라미터를 산출하고, 보정 변환 파라미터에 따라 부유 표면 모델을 변환하고 표면 거리를 산출한다.
단계 460에서 표면 모델 정합 장치는 표면 거리가 미리 지정된 수렴 조건에 만족하는지 판단한다. 이 때, 수렴 조건은 이전 단계에서 산출된 표면 거리와 현재 산출된 표면 거리의 차이가 미리 지정된 수치 이하인 경우, 수렴으로 판단하는 조건일 수 있다.
단계 460에서 표면 거리가 수렴하지 않는 경우, 표면 모델 정합 장치는 단계 430부터의 과정을 반복 수행한다.
단계 460에서 표면 거리가 수련하는 경우, 표면 모델 정합 장치는 보정 변환 파라미터에 따라 부유 표면 모델을 변환하고, 부유 표면 모델과 기준 표면 모델과 정합하고, 정합된 모델을 입출력 인터페이스(110)를 통해 출력한다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 기준 표면 모델 및 부유 표면 모델을 입력 받는 입출력 인터페이스;
    상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 명령어를 저장하는 메모리; 및
    상기 명령어에 따라 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 프로세서
    를 포함하되,
    상기 명령어는
    상기 기준 표면 모델 및 상기 부유 표면 모델의 깊이 영상을 비교하여 상기 부유 표면 모델에 상응하는 초기 변환 파라미터를 선정하는 단계;
    상기 초기 변환 파라미터에 따라 상기 부유 표면 모델을 변환하는 단계;
    상기 기준 표면 모델 및 상기 부유 표면 모델 간의 교차 공분산 행렬에 특이값 분해를 적용하여 산출한 행렬을 통해 보정 변환 파라미터를 산출하는 단계; 및
    상기 보정 변환 파라미터에 따라 상기 부유 표면 모델을 변환하고, 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 단계;
    를 수행하는 명령어를 포함하는 것을 특징으로 하는 표면 모델 정합 장치.
  2. 제1 항에 있어서,
    상기 기준 표면 모델 및 상기 부유 표면 모델의 깊이 영상을 비교하여 상기 부유 표면 모델에 상응하는 초기 변환 파라미터를 선정하는 단계는,
    상기 기준 표면 모델의 깊이 맵 영상을 생성하는 단계;
    상기 기준 표면 모델의 깊이 맵 영상과 상기 부유 표면 모델의 깊이 맵 영상의 유사도가 수렴할 때까지, 상기 부유 표면 모델에 면외 변환을 적용하고, 상기 부유 표면 모델의 깊이 맵 영상을 생성하는 과정을 반복 수행하는 단계;
    상기 기준 표면 모델의 깊이 맵 영상과 상기 부유 표면 모델의 깊이 맵 영상의 유사도가 수렴할 때까지, 상기 부유 표면 모델의 깊이 맵 영상에 면내 변환을 적용하는 과정을 반복 수행하는 단계; 및
    상기 면외 변환 및 상기 면내 변환에 상응하는 파라미터를 포함하는 초기 변환 파라미터를 선정하는 단계;
    를 포함하는 것을 특징으로 하는 표면 모델 정합 장치.
  3. 제2 항에 있어서,
    상기 면외 변환은 상기 부유 표면 모델을 x축 및 y 축을 기준으로 회전시키고, z 축 방향으로 이동시키는 변환이고,
    상기 면내 변환은 상기 부유 표면 모델을 상기 x축 및 상기 y 축 방향으로 이동시키고, 상기 z 축을 기준으로 회전시키는 변환인 것을 특징으로 하는 표면 모델 정합 장치.
  4. 제1 항에 있어서,
    상기 기준 표면 모델 및 상기 부유 표면 모델 간의 교차 공분산 행렬에 특이값 분해를 적용하여 산출한 행렬을 통해 보정 변환 파라미터를 산출하는 단계 및 상기 보정 변환 파라미터에 따라 상기 부유 표면 모델을 변환하고, 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 단계는
    상기 기준 표면 모델 및 상기 부유 표면 모델 간의 표면 거리가 수렴할 때까지 반복 수행되는 단계인 것을 특징으로 하는 표면 모델 정합 장치.
  5. 제4 항에 있어서,
    상기 표면 거리는 상기 기준 표면 모델 및 상기 부유 표면 모델의 겹치는 영역 상의 각 점 간 거리가 최소가 되도록 대응시키고, 대응된 각 점간의 거리에 대한 평균인 것을 특징으로 하는 표면 모델 정합 장치.
  6. 표면 모델 정합 장치가 표면 모델을 정합하는 방법에 있어서,
    기준 표면 모델 및 부유 표면 모델의 깊이 영상을 비교하여 상기 부유 표면 모델에 상응하는 초기 변환 파라미터를 선정하는 단계;
    상기 초기 변환 파라미터에 따라 상기 부유 표면 모델을 변환하는 단계;
    상기 기준 표면 모델 및 상기 부유 표면 모델 간의 교차 공분산 행렬에 특이값 분해를 적용하여 산출한 행렬을 통해 보정 변환 파라미터를 산출하는 단계; 및
    상기 보정 변환 파라미터에 따라 상기 부유 표면 모델을 변환하고, 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 단계;
    를 포함하는 표면 모델 정합 방법.
  7. 제6 항에 있어서,
    상기 기준 표면 모델 및 상기 부유 표면 모델의 깊이 영상을 비교하여 상기 부유 표면 모델에 상응하는 초기 변환 파라미터를 선정하는 단계는,
    상기 기준 표면 모델의 깊이 맵 영상을 생성하는 단계;
    상기 기준 표면 모델의 깊이 맵 영상과 상기 부유 표면 모델의 깊이 맵 영상의 유사도가 수렴할 때까지, 상기 부유 표면 모델에 면외 변환을 적용하고, 상기 부유 표면 모델의 깊이 맵 영상을 생성하는 과정을 반복 수행하는 단계;
    상기 기준 표면 모델의 깊이 맵 영상과 상기 부유 표면 모델의 깊이 맵 영상의 유사도가 수렴할 때까지, 상기 부유 표면 모델의 깊이 맵 영상에 면내 변환을 적용하는 과정을 반복 수행하는 단계; 및
    상기 면외 변환 및 상기 면내 변환에 상응하는 파라미터를 포함하는 초기 변환 파라미터를 선정하는 단계;
    를 포함하는 것을 특징으로 하는 표면 모델 정합 방법.
  8. 제7 항에 있어서,
    상기 면외 변환은 상기 부유 표면 모델을 x축 및 y 축을 기준으로 회전시키고, z 축 방향으로 이동시키는 변환이고,
    상기 면내 변환은 상기 부유 표면 모델을 상기 x축 및 상기 y 축 방향으로 이동시키고, 상기 z 축을 기준으로 회전시키는 변환인 것을 특징으로 하는 표면 모델 정합 방법.
  9. 제6 항에 있어서,
    상기 기준 표면 모델 및 상기 부유 표면 모델 간의 교차 공분산 행렬에 특이값 분해를 적용하여 산출한 행렬을 통해 보정 변환 파라미터를 산출하는 단계 및 상기 보정 변환 파라미터에 따라 상기 부유 표면 모델을 변환하고, 상기 기준 표면 모델 및 상기 부유 표면 모델을 정합하는 단계는
    상기 기준 표면 모델 및 상기 부유 표면 모델 간의 표면 거리가 수렴할 때까지 반복 수행되는 단계인 것을 특징으로 하는 표면 모델 정합 방법.
  10. 제9 항에 있어서,
    상기 표면 거리는 상기 기준 표면 모델 및 상기 부유 표면 모델의 겹치는 영역 상의 각 점 간 거리가 최소가 되도록 대응시키고, 대응된 각 점간의 거리에 대한 평균인 것을 특징으로 하는 표면 모델 정합 방법.
KR1020130165865A 2013-12-27 2013-12-27 표면 모델 정합 장치 및 방법 KR102035670B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130165865A KR102035670B1 (ko) 2013-12-27 2013-12-27 표면 모델 정합 장치 및 방법
US14/317,238 US9311689B2 (en) 2013-12-27 2014-06-27 Apparatus and method for registration of surface models

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130165865A KR102035670B1 (ko) 2013-12-27 2013-12-27 표면 모델 정합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150077039A true KR20150077039A (ko) 2015-07-07
KR102035670B1 KR102035670B1 (ko) 2019-10-23

Family

ID=53482362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130165865A KR102035670B1 (ko) 2013-12-27 2013-12-27 표면 모델 정합 장치 및 방법

Country Status (2)

Country Link
US (1) US9311689B2 (ko)
KR (1) KR102035670B1 (ko)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010038705A1 (en) * 1999-03-08 2001-11-08 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
US20020006217A1 (en) * 2000-04-28 2002-01-17 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
US20030021453A1 (en) * 2000-04-28 2003-01-30 Thomas Weise Method and apparatus for registering a known digital object to scanned 3-D model
KR20040017604A (ko) * 2002-08-22 2004-02-27 한국과학기술원 자동 영상등록 및 보정을 위한 영상 처리방법
KR20040094230A (ko) * 2003-05-02 2004-11-09 홍현기 센서의 사영행렬을 이용하는 3차원 데이터의 자동 정합 방법
KR20050063991A (ko) * 2003-12-23 2005-06-29 한국전자통신연구원 영상 피라미드를 이용한 영상정합 처리방법 및 장치
KR20060110456A (ko) * 2005-04-20 2006-10-25 이화여자대학교 산학협력단 뇌질환의 진단보조를 위한 뇌 해마 분석 방법 및 그 방법이수록되어 컴퓨터로 읽을 수 있는 기록매체
US20070057941A1 (en) * 2005-09-13 2007-03-15 Siemens Corporate Research Inc Method and Apparatus for the Registration of 3D Ear Impression Models
US20080019580A1 (en) * 2006-07-18 2008-01-24 Kabushiki Kaisha Toshiba Medical image-processing apparatus and a method for processing medical images
KR20080097089A (ko) * 2007-04-30 2008-11-04 고려대학교 산학협력단 포인트 기반의 3차원 형상의 변형 방법, 이를 이용한 3차원형상의 보간 프레임 생성 방법 및 이를 기록한 기록매체
US20090052756A1 (en) * 2007-08-21 2009-02-26 Siemens Corporate Research, Inc. System and method for global-to-local shape matching for automatic liver segmentation in medical imaging
KR20090072263A (ko) * 2007-12-28 2009-07-02 주식회사 케이티 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체
KR20110018768A (ko) * 2009-08-18 2011-02-24 서울여자대학교 산학협력단 자기 공명 영상에서 밝기 값 분포 및 기울기 정보를 이용한 활성 형상 모델 기반 전립선 영상 자동 분할 장치 및 방법
KR101298435B1 (ko) * 2012-03-30 2013-08-20 주식회사 로보웨어 객체 정합 장치 및 그 방법
US20130335528A1 (en) * 2012-05-15 2013-12-19 Board Of Regents Of The University Of Texas System Imaging device capable of producing three dimensional representations and methods of use

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065243B2 (en) * 2001-06-28 2006-06-20 Eastman Kodak Company Method and system for creating dental models from imagery
US7657073B2 (en) * 2004-11-29 2010-02-02 The Board Of Trustees Of The Leland Stanford Junior University Registration system and method for tracking lung nodules in medical images
WO2007132381A2 (en) * 2006-05-11 2007-11-22 Koninklijke Philips Electronics N.V. System and method for generating intraoperative 3-dimensional images using non-contrast image data
US7844106B2 (en) * 2007-04-23 2010-11-30 Mitsubishi Electric Research Laboratories, Inc Method and system for determining poses of objects from range images using adaptive sampling of pose spaces
US8073243B2 (en) * 2008-05-30 2011-12-06 General Instrument Corporation Replacing image information in a captured image
EP2336979B1 (de) * 2009-11-05 2014-03-12 TomTec Imaging Systems GmbH Verfahren und Vorrichtung zur Segmentierung von medizinischen Bilddaten
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
WO2012125612A2 (en) 2011-03-14 2012-09-20 Optimet, Optical Metrology Ltd. Intraoral occlusion measurement and registration
US9544577B2 (en) * 2013-07-18 2017-01-10 A.Tron3D Gmbh Method of capturing three-dimensional (3D) information on a structure

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010038705A1 (en) * 1999-03-08 2001-11-08 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
US20020006217A1 (en) * 2000-04-28 2002-01-17 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
US20030021453A1 (en) * 2000-04-28 2003-01-30 Thomas Weise Method and apparatus for registering a known digital object to scanned 3-D model
KR20040017604A (ko) * 2002-08-22 2004-02-27 한국과학기술원 자동 영상등록 및 보정을 위한 영상 처리방법
KR20040094230A (ko) * 2003-05-02 2004-11-09 홍현기 센서의 사영행렬을 이용하는 3차원 데이터의 자동 정합 방법
KR100522373B1 (ko) * 2003-05-02 2005-10-20 중앙대학교 산학협력단 센서의 사영행렬을 이용하는 3차원 데이터의 자동 정합 방법
KR20050063991A (ko) * 2003-12-23 2005-06-29 한국전자통신연구원 영상 피라미드를 이용한 영상정합 처리방법 및 장치
KR20060110456A (ko) * 2005-04-20 2006-10-25 이화여자대학교 산학협력단 뇌질환의 진단보조를 위한 뇌 해마 분석 방법 및 그 방법이수록되어 컴퓨터로 읽을 수 있는 기록매체
US20070057941A1 (en) * 2005-09-13 2007-03-15 Siemens Corporate Research Inc Method and Apparatus for the Registration of 3D Ear Impression Models
US20080019580A1 (en) * 2006-07-18 2008-01-24 Kabushiki Kaisha Toshiba Medical image-processing apparatus and a method for processing medical images
KR20080097089A (ko) * 2007-04-30 2008-11-04 고려대학교 산학협력단 포인트 기반의 3차원 형상의 변형 방법, 이를 이용한 3차원형상의 보간 프레임 생성 방법 및 이를 기록한 기록매체
US20090052756A1 (en) * 2007-08-21 2009-02-26 Siemens Corporate Research, Inc. System and method for global-to-local shape matching for automatic liver segmentation in medical imaging
KR20090072263A (ko) * 2007-12-28 2009-07-02 주식회사 케이티 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체
KR20110018768A (ko) * 2009-08-18 2011-02-24 서울여자대학교 산학협력단 자기 공명 영상에서 밝기 값 분포 및 기울기 정보를 이용한 활성 형상 모델 기반 전립선 영상 자동 분할 장치 및 방법
KR101298435B1 (ko) * 2012-03-30 2013-08-20 주식회사 로보웨어 객체 정합 장치 및 그 방법
US20130335528A1 (en) * 2012-05-15 2013-12-19 Board Of Regents Of The University Of Texas System Imaging device capable of producing three dimensional representations and methods of use

Also Published As

Publication number Publication date
US20150187061A1 (en) 2015-07-02
US9311689B2 (en) 2016-04-12
KR102035670B1 (ko) 2019-10-23

Similar Documents

Publication Publication Date Title
EP3726467B1 (en) Systems and methods for reconstruction of 3d anatomical images from 2d anatomical images
ES2766948T3 (es) Malla adaptativa de resolución para realizar metrología en 3-d de un objeto
ES2836677T3 (es) Modelado virtual de adaptaciones de la encía para la corrección ortodóncica progresiva
US10448000B2 (en) Handheld portable optical scanner and method of using
WO2021108016A1 (en) Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches
EP2896017B1 (en) 3d modelling of bodies
JP2018124939A (ja) 画像合成装置、画像合成方法、及び画像合成プログラム
JP2014085933A (ja) ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
US10970655B2 (en) Surgery planning based on predicted results
CN116348061A (zh) 口腔图像处理装置和口腔图像处理方法
US11331164B2 (en) Method and apparatus for dental virtual model base
KR20150077039A (ko) 표면 모델 정합 장치 및 방법
JP6719168B1 (ja) 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法
KR20220056760A (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
KR102651515B1 (ko) 데이터 처리 장치 및 데이터 처리 방법
CN105096290B (zh) 在空间的平面图中标定至少一个立体相机的方法和装置
EP4216163A1 (en) Method and device for segmentation and registration of an anatomical structure
US20240242440A1 (en) Image processing device and image processing method
KR102145517B1 (ko) 3차원 측정 데이터를 정합하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP2003216933A (ja) データ処理装置、記録媒体およびプログラム
US20230390035A1 (en) Oral image processing device and oral image processing method
EP4322113A1 (en) Image processing device and image processing method
Kasper et al. Semi automatic object modeling for a service robot
Barone et al. Human face reconstruction in biomedical applications
KR20230157059A (ko) 3d모델 표면의 패턴분리방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant