KR20200114381A

KR20200114381A - 스캔 모델 자동 융합방법 및 이를 수행하는 영상 처리장치

Info

Publication number: KR20200114381A
Application number: KR1020190036063A
Authority: KR
Inventors: 김기상
Original assignee: 오스템임플란트 주식회사
Priority date: 2019-03-28
Filing date: 2019-03-28
Publication date: 2020-10-07
Also published as: KR102167771B1

Abstract

스캔 모델 자동 융합방법 및 이를 수행하는 영상 처리장치가 개시된다. 일 실시 예에 따른 스캔 모델 자동 융합방법은, 구강 스캐너를 이용하여 생성되는 점 군 데이터 형태의 제1 모델 데이터 및 제2 모델 데이터를 입력하는 단계와, 입력된 각 모델 데이터를 대상으로 블록 단위 샘플링을 수행하는 단계와, 샘플링된 모델 데이터의 각 점마다 디스크립터를 생성하는 단계와, 제1 모델의 제1 디스크립터와 제2 모델의 제2 디스크립터를 크로스 체크하여 디스크립터 간을 매칭하는 단계와, 크로스 체크를 성공한 디스크립터들에 대한 점 군 데이터로부터 랜덤하게 점들을 추출하고 추출된 각 점에 대한 이동 및 회전 성분을 계산하는 단계와, 계산된 이동 및 회전 성분을 이용하여 제1 모델 데이터와 제2 모델 데이터를 융합하는 단계를 포함한다.

Description

스캔 모델 자동 융합방법 및 이를 수행하는 영상 처리장치 {Method for automatically integrating scan models and imaging processing apparatus therefor}

본 발명은 영상 분석 및 처리기술에 관한 것이다.

구강 스캐너를 이용하여 치아의 전체를 스캔하기 위해서는 상악과 하악에 대해서도 스캔을 해야하지만, 이 둘의 교합면을 알기 위해 교합면에 대해서도 스캔을 진행한다. 그러나 일반적으로 교합면은 치아의 한쪽 측면만 스캔을 진행하기 때문에 내부의 물림을 알 수는 없다. 따라서, 교합면 모델 데이터와 상악 모델 데이터, 그리고 하악 모델 데이터의 융합을 통해 상악 및 하악의 물림(bite) 정도를 파악하게 된다. 이러한 융합을 하기 위해서 스캔 모델 데이터의 중복영역 검출 및 융합 방법이 필요하다.

도 1은 일반적인 스캔을 통해 입력되는 모델 데이터 간 융합을 도시한 도면이다.

도 1을 참조하면, 스캔을 통해 입력되는 두 모델 데이터(10, 12)를 하나로 융합하기 위해서 가장 간단하게 두 모델 데이터(10, 12)에 3개의 점(point)을 찍어 모델 데이터 간을 융합하는 방법이 있다. 예를 들어, 융합할 곳을 대략적으로 가이드 하기 위해 사용자가 제1 모델 데이터(10)에 3개의 점(100, 102, 104)을 지정하고, 제2 모델 데이터(12)에 3개의 점(120, 122, 124)을 지정하면, 각 3점에 대해 중심 위치, 각 3점으로 구성된 면의 법선 벡터 등을 이용하여 두 모델 데이터(10, 12)의 위치를 일치화 하도록 한다.

이와 같이 3점을 지정하여 모델 데이터 간을 융합하는 방법은 3점을 사용자가 일일이 정해줘야 하는 불편함이 있다. 또한, 사용자가 3점을 잘못 지정할 경우 모델 융합에 실패하는 경우도 있다.

도 2는 모델 데이터 간 자동 융합 시 노이즈(noise) 발생 문제를 보여주는 도면이다.

도 2를 참조하면, 도 1을 참조로 하여 전술한 3점을 지정하여 모델 데이터 간 융합 시 발생하는 문제점을 해결하기 위해 자동으로 융합하는 방법이 있다. 그러나 도 2에 도시된 바와 같이 두 모델 데이터(10, 12) 간 융합을 위한 디스크립터 생성 시 노이즈에 민감하여 치아 모델에서는 자동 융합에 실패하는 경우가 빈번히 일어난다.

치아 스캔은 밀도가 높은 점 군 데이터(Point Cloud Data: PCD, 이하 'PCD'라 칭함)를 이용한다. 치아의 섬세한 표현을 위해서는 고밀도 PCD를 사용할 수 밖에 없다. 그런데, PCD를 사용하면 모델 융합에 있어서 프로세스 시간이 너무 오래 걸리는 문제를 야기한다. 이러한 문제점을 해결하기 위해 랜덤 샘플링(Random Sampling) 및 단순화(Simplification) 등의 방법이 있다. 랜덤 샘플링 방식은 랜덤하게 점(point)을 추출하기 때문에 매번 샘플링할 때마다 디스크립터의 모형이 변형된다. 따라서, 자동 융합에 있어서 랜덤 샘플링을 사용하는 것은 난해하다. 단순화의 경우 모델 정합 후에 진행되게 된다. 즉, 단순화는 모델 정합 이전의 PCD 상태에서는 사용할 수 없다.

일 실시 예에 따라, 스캔을 통해 입력되는 모델 데이터들의 자동 융합 시에 문제가 되었던 노이즈를 제거하고 사용의 편의성을 증대시키는 스캔 모델 자동 융합방법 및 이를 수행하는 영상 처리장치를 제안한다.

또한, 프로세스를 단순화하고 PCD 상태에서도 진행할 수 있는 샘플링 기술을 가지는 스캔 모델 자동 융합방법 및 이를 수행하는 영상 처리장치를 제안한다.

일 실시 예에 따른 스캔 모델 자동 융합방법은, 구강 스캐너를 이용하여 생성되는 점 군 데이터 형태의 제1 모델 데이터 및 제2 모델 데이터를 입력하는 단계와, 입력된 각 모델 데이터를 대상으로 블록 단위 샘플링을 수행하는 단계와, 샘플링된 모델 데이터의 각 점마다 디스크립터를 생성하는 단계와, 제1 모델의 제1 디스크립터와 제2 모델의 제2 디스크립터를 크로스 체크하여 디스크립터 간을 매칭하는 단계와, 크로스 체크를 성공한 디스크립터들에 대한 점 군 데이터로부터 랜덤하게 점들을 추출하고 추출된 각 점에 대한 이동 및 회전 성분을 계산하는 단계와, 계산된 이동 및 회전 성분을 이용하여 제1 모델 데이터와 제2 모델 데이터를 융합하는 단계를 포함한다.

블록 단위 샘플링을 수행하는 단계에서, 각 모델 데이터의 공간을 블록 단위로 나눈 후, 각 블록에 점이 하나만 존재하도록 샘플링할 수 있다.

블록 단위 샘플링을 수행하는 단계는, 블록을 생성하고 모델 데이터를 입력하는 단계와, 모델 데이터의 점을 입력하는 단계와, 입력된 모델 데이터를 순서대로 읽으면서 입력된 점에 해당하는 블록을 검색하여 블록에 데이터가 존재하는지 여부를 확인하는 단계와, 블록에 데이터가 존재하지 않으면 블록에 읽은 데이터를 추가하고 블록에 데이터가 존재하면 읽은 데이터를 무시하는 단계를 포함할 수 있다.

디스크립터를 생성하는 단계에서, 각 점마다 중심 점의 법선 벡터와 중심 점과 일정 거리 내에 있는 주변 점의 법선 벡터 간의 각도 차를 이용하여 중심 점의 주변 점과의 연관성을 나타내는 관계 값을 산출함에 따라 디스크립터를 생성할 수 있다.

디스크립터를 생성하는 단계는, 샘플링된 모델 데이터의 점을 입력하는 단계와, 입력된 점을 대상으로 중심 점(p1)을 설정하고, 주변 점(p2)을 검색하는 단계와, 중심 점(p1)의 법선 벡터와 주변 점(p2)의 법선 벡터 간의 각도를 산출하는 단계와, 법선 벡터 간의 각도가 미리 설정된 각도보다 작은지를 판단하여, 미리 설정된 각도보다 작으면 각도를 일정 간격으로 샘플링한 후 히스토그램으로 표현하여 디스크립터를 생성하는 단계를 포함할 수 있다.

디스크립터 간을 매칭하는 단계에서, K-D 트리를 이용하여 디스크립터 간을 크로스 체크할 수 있다.

디스크립터 간을 매칭하는 단계에서, 제1 모델의 디스크립터를 제2 모델 데이터에서 검색했을 경우 해당 제2 모델의 디스크립터가 제1 모델 데이터에서 매칭되는 디스크립터를 검색한 후, 입력된 제1 모델의 디스크립터와 출력된 제1 모델의 디스크립터가 동일한지를 크로스 체크할 수 있다.

디스크립터 간을 매칭하는 단계는, 상악 모델의 디스크립터와 교합면 모델의 디스크립터를 크로스 체크하는 단계와, 하악 모델의 디스크립터와 교합면 모델의 디스크립터를 크로스 체크하는 단계를 포함할 수 있다.

스캔 모델 자동 융합방법은 ICP(Iterative Closest Point)를 이용하여 모델 데이터 융합을 추가로 수행하는 단계를 더 포함할 수 있다.

다른 실시 예에 따른 영상 처리장치는, 구강 스캐너를 이용하여 생성되는 점 군 데이터 형태의 제1 모델 데이터 및 제2 모델 데이터를 입력하는 데이터 입력부와, 입력된 각 모델 데이터를 대상으로 블록 단위 샘플링을 수행하는 샘플링부와, 샘플링된 모델 데이터의 각 점마다 디스크립터를 생성하는 디스크립터 생성부와, 제1 모델의 제1 디스크립터와 제2 모델의 제2 디스크립터를 크로스 체크하여 디스크립터 간을 매칭하는 디스크립터 매칭부와, 크로스 체크를 성공한 디스크립터들에 대한 점 군 데이터로부터 랜덤하게 점들을 추출하고 추출된 각 점에 대한 이동 및 회전 성분을 계산하며 계산된 이동 및 회전 성분을 이용하여 제1 모델 데이터와 제2 모델 데이터를 융합하는 융합부를 포함한다.

샘플링부는 각 모델 데이터의 공간을 블록 단위로 나눈 후, 각 블록에 점이 하나만 존재하도록 샘플링할 수 있다.

샘플링부는 블록을 생성하고 모델 데이터를 입력하고 모델 데이터의 점을 입력한 후 입력된 모델 데이터를 순서대로 읽으면서 입력된 점에 해당하는 블록을 검색하여 블록에 데이터가 존재하는지 여부를 확인하고, 블록에 데이터가 존재하지 않으면 블록에 읽은 데이터를 추가하고 블록에 데이터가 존재하면 읽은 데이터를 무시할 수 있다.

디스크립터 생성부는 각 점마다 중심 점의 법선 벡터와 중심 점과 일정 거리 내에 있는 주변 점의 법선 벡터 간의 각도 차를 이용하여 중심 점의 주변 점과의 연관성을 나타내는 관계 값을 산출함에 따라 디스크립터를 생성할 수 있다.

디스크립터 생성부는 샘플링된 모델 데이터의 점을 입력하고, 입력된 점을 대상으로 중심 점(p1)을 설정하고, 주변 점(p2)을 검색하며, 중심 점(p1)의 법선 벡터와 주변 점(p2)의 법선 벡터 간의 각도를 산출하고, 법선 벡터 간의 각도가 미리 설정된 각도보다 작은지를 판단하여, 미리 설정된 각도보다 작으면 각도를 일정 간격으로 샘플링한 후 히스토그램으로 표현하여 디스크립터를 생성할 수 있다.

디스크립터 매칭부는 K-D 트리를 이용하여 디스크립터 간을 크로스 체크할 수 있다.

디스크립터 매칭부는 제1 모델의 디스크립터를 제2 모델 데이터에서 검색했을 경우 해당 제2 모델의 디스크립터가 제1 모델 데이터에서 매칭되는 디스크립터를 검색한 후, 입력된 제1 모델의 디스크립터와 출력된 제1 모델의 디스크립터가 동일한지를 크로스 체크할 수 있다.

디스크립터 매칭부는 상악 모델의 디스크립터와 교합면 모델의 디스크립터를 크로스 체크하고, 하악 모델의 디스크립터와 교합면 모델의 디스크립터를 크로스 체크할 수 있다.

융합부는 ICP(Iterative Closest Point)를 이용하여 모델 데이터 융합을 추가로 수행할 수 있다.

일 실시 예에 따른 스캔 모델 자동 융합방법 및 이를 수행하는 영상 처리장치에 따르면, 스캔 모델 간의 자동 융합 시에, 블록단위 샘플링 방법에 의해 기존의 단순화(simplification)을 이용한 방법과 유사한 성능을 내며, 샘플링의 간소화로 인해 동시에 속도를 향상시킬 수 있다. 또한, 디스크립터 간 매칭 시에 크로스 체크를 통해 정교한 매칭이 가능하다. 나아가, 법선 벡터를 이용한 디스크립터 생성을 통해 주변 노이즈에 강건한(robust) 디스크립터 생성이 가능하다.

도 1은 일반적인 스캔을 통해 입력되는 모델 데이터 간 융합을 도시한 도면,
도 2는 모델 데이터 간 자동 융합 시 노이즈 발생 문제를 보여주는 도면,
도 3은 본 발명의 일 실시 예에 따른 스캔 시스템의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 스캔 모델 자동 융합을 위한 영상 처리장치의 구성을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 스캔 모델 자동 융합방법의 흐름을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 블록단위 샘플링을 2차원 평면으로 바라본 화면을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 블록단위 샘플링 방법의 흐름을 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 디스크립터 생성 프로세스를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 점 간의 법선 벡터 비교 예를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 3은 본 발명의 일 실시 예에 따른 스캔 시스템의 구성을 도시한 도면이다.

도 3을 참조하면, 스캔 시스템(1)은 구강 스캐너(2)와 영상 처리장치(3)를 포함한다.

구강 스캐너(2)는 사용자의 구강 내부 또는 구강 모형을 카메라를 통해 스캔하여 구강 내부 또는 구강 모형의 영상 데이터를 획득한다. 영상 처리장치(3)는 구강 스캐너(2)로부터 영상 데이터를 수신하고 이를 프로세서를 이용하여 처리한다. 영상 처리장치(3)는 영상 처리 프로그램을 실행 가능한 전자장치이다. 전자장치는 컴퓨터, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) PC, 스마트폰, 휴대폰, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등이 있다. 영상 처리 프로그램은 스캔 프로그램, CAD 프로그램, 가이드 디자인 프로그램 등이 있다. 또한, 치과 임플란트 수술을 포함하여 의료영상 처리를 위한 프로그램에 적용될 수 있다.

구강 스캐너(2)는 내부 조명의 광원을 구동하여 광을 출력한 후, 광 경로를 따라 외부로 조사된 광을 통해 사용자의 구강 내부 또는 구강 모형을 비출 수 있다. 그러면, 구강 내부 또는 구강 모형에서 반사된 광은 다시 광 경로를 따라 카메라의 이미지 센서에 도달함으로써 구강 내부의 영상 데이터를 획득할 수 있다. 구강 스캐너(2)를 통해 획득하는 스캔 모델 데이터는 손상된 치아를 포함한 실제 치아들의 정보를 가진 데이터이다. 스캔 모델 데이터는 환자의 구강을 본떠 생성한 석고 형태의 구강 모형을 3D 스캐너(3D Scanner)로 스캐닝하여 획득될 수 있다. 다른 예로서, 구강 내 3D 스캐너(3D Intra-oral scanner)를 이용하여 환자의 구강 내부를 스캐닝하여 획득될 수 있다.

도 3에서는 영상 처리장치(3)가 구강 스캐너(2)와 분리된 구조를 가지나, 영상 처리장치(3)가 구강 스캐너(2)의 프로세서 내에 위치하는 구조도 가능하다. 또한, 본 명세서에서 영상 처리장치(3)가 구강 스캐너(2)를 통해 획득된 스캔 모델 데이터를 검색 및 매칭하는 영상처리를 위주로 설명하나, 치과용에 제한되는 것은 아니고, 다른 의료영상 처리에도 동일하게 적용될 수 있음을 명시한다.

도 4는 본 발명의 일 실시 예에 따른 스캔 모델 자동 융합을 위한 영상 처리장치의 구성을 도시한 도면이다.

도 3 및 도 4를 참조하면, 영상 처리장치(3)는 데이터 입력부(30), 프로세서(32), 출력부(34) 및 저장부(36)를 포함한다.

데이터 입력부(30)는 구강 스캐너(2)를 이용하여 생성되는 PCD 형태의 제1 모델 데이터 및 제2 모델 데이터를 입력한다. 제1 모델 데이터 및 제2 모델 데이터는 각각 상악 모델 데이터, 하악 모델 데이터 및 교합면 모델 데이터 중 어느 하나일 수 있다.

프로세서(32)는 구강 스캐너(2)를 스캔 동작을 제어하기 위한 제어신호를 생성하고, 영상 처리장치(3)의 각 구성요소를 제어한다. 프로세서(32)는 데이터 입력부(30)로부터 입력된 제1 모델 데이터 및 제2 모델 데이터의 중복 영역을 검출하고 융합한다. 예를 들어, 프로세서(32)는 상악 모델 데이터와 교합면 모델 데이터를 융합하고, 하악 모델 데이터와 교합면 모델 데이터를 융합한다.

일 실시 예에 따른 프로세서(32)는 샘플링부(300), 디스크립터 생성부(310), 디스크립터 매칭부(320) 및 융합부(330)를 포함한다.

샘플링부(300)는 데이터 입력부(30)를 통해 입력된 각 모델 데이터를 대상으로 블록 단위 샘플링을 수행한다. 일 실시 예에 따른 샘플링부(300)는 각 모델 데이터의 공간을 블록 단위로 나눈 후, 각 블록에 점이 하나만 존재하도록 샘플링을 수행한다. 블록 단위 샘플링 예를 들면, 샘플링부(300)는 블록을 생성하고 모델 데이터를 입력하고 모델 데이터의 점을 입력한 후 입력된 모델 데이터를 순서대로 읽으면서 입력된 점에 해당하는 블록을 검색하여 블록에 데이터가 존재하는지 여부를 확인한다. 이때, 블록에 데이터가 존재하지 않으면 블록에 읽은 데이터를 추가한다. 이에 비해, 블록에 데이터가 존재하면 읽은 데이터를 무시함에 따라 각 블록에 점 군이 하나만 존재하도록 한다.

디스크립터 생성부(310)는 샘플링부(300)를 통해 샘플링된 모델 데이터의 각 점마다 디스크립터(descriptor)를 생성한다. 일 실시 예에 따른 디스크립터 생성부(310)는 샘플링된 모델 데이터에서 각 점 마다 법선 벡터가 유사한 주변 점과의 연관성을 나타내는 디스크립터를 생성한다. 예를 들어, 각 점마다 중심 점의 법선 벡터와 중심 점과 일정 거리 내에 있는 주변 점의 법선 벡터 간의 각도 차를 이용하여 중심 점의 주변 점과의 연관성을 나타내는 관계 값을 산출함에 따라 디스크립터를 생성한다.

디스크립터 생성 예를 들면, 디스크립터 생성부(310)는 샘플링된 모델 데이터의 점을 입력하고, 입력된 점을 대상으로 중심 점(p1)을 설정하고, 주변 점(p2)을 검색하며, 중심 점(p1)의 법선 벡터와 주변 점(p2)의 법선 벡터 간의 각도를 산출한다. 그리고, 법선 벡터 간의 각도가 미리 설정된 각도보다 작은지를 판단한다. 이때, 미리 설정된 각도보다 작으면 포함시켜 디스크립터를 생성하고 그렇지 않은 경우 제외하여 디스크립터를 생성하지 않는다. 디스크립터 생성 시에, 각도를 일정 간격으로 샘플링한 후 히스토그램으로 표현하여 디스크립터를 생성할 수 있다. 생성된 디스크립터는 각 디스크립터 마다 PCD의 사용 수가 다르기 때문에 정규화 하는 과정을 추가로 수행할 수 있다.

디스크립터 매칭부(320)는 제1 모델의 제1 디스크립터와 제2 모델의 제2 디스크립터를 크로스 체크하여 디스크립터 간을 매칭한다. 크로스 체크를 통해 정교한 매칭이 가능하다. 디스크립터 매칭부(320)는 K-D 트리를 이용하여 디스크립터 간을 크로스 체크할 수 있다. 디스크립터 매칭부(320)는 제1 모델의 디스크립터를 제2 모델 데이터에서 검색했을 경우 해당 제2 모델의 디스크립터가 제1 모델 데이터에서 매칭되는 디스크립터를 검색한 후, 입력된 제1 모델의 디스크립터와 출력된 제1 모델의 디스크립터가 동일한지를 크로스 체크할 수 있다. 디스크립터 매칭부(320)는 상악 모델의 디스크립터와 교합면 모델의 디스크립터를 크로스 체크하고, 하악 모델의 디스크립터와 교합면 모델의 디스크립터를 크로스 체크할 수 있다.

융합부(330)는 크로스 체크를 성공한 디스크립터들에 대한 점 군 데이터로부터 랜덤하게 점들을 추출하고 추출된 각 점에 대한 이동 및 회전 성분을 계산한다. 이어서, 계산된 이동 및 회전 성분을 이용하여 제1 모델 데이터와 제2 모델 데이터를 융합한다. 예를 들어, 이동 및 회전 성분 계산 값에 맞게 상악 모델 데이터를 이동 및 회전시킨 후 교합면 모델 데이터와 융합한다. 다른 예로, 이동 및 회전 성분 계산 값에 맞게 하악 모델 데이터를 이동 및 회전시킨 후 교합면 모델 데이터와 융합한다. 이동 및 회전 성분 계산 시에, 매칭된 디스크립터를 중심으로 법선 벡터 및 데이터의 분포를 이용하여 이동 및 회전 성분을 계산할 수 있다. 융합부(330)는 ICP(Iterative Closest Point)를 이용하여 모델 데이터 융합을 추가로 수행할 수 있다. ICP를 통해 정교한 융합이 가능하다.

저장부(36)는 획득된 스캔 모델 데이터를 포함한 각종 데이터가 저장된다. 저장부(36)에는 프로세서(32)를 통해 생성된 디스크립터가 누적되어 저장될 수 있다. 출력부(34)는 스캔 결과를 화면에 표시한다.

도 5는 본 발명의 일 실시 예에 따른 스캔 모델 자동 융합방법의 흐름을 도시한 도면이다.

도 4 및 도 5를 참조하면, 영상 처리장치(1)는 스캔을 통해 상악 모델 데이터, 교합면 모델 데이터 및 하악 모델 데이터를 입력한다(S500, S510, S520). 입력된 각 모델 데이터는 PCD 형태이다.

이어서, 영상 처리장치(1)는 각 모델 데이터에 대한 블록단위 샘플링을 수행한다(S502, S512, S522). 일반적으로 치아 모델의 PCD는 용량이 너무 많아 디스크립터 생성에 적합하지 않다. 따라서, 용량을 적절하게 줄이기 위해 블록단위 샘플링을 수행한다. 블록단위 샘플링은 블록마다 점을 하나씩 추출하는 방식이다. 블록단위 샘플링에 따르면, 입력된 데이터를 순서대로 읽으면서 해당 블록에 데이터가 포함되어 있다면 이를 무시하고, 블록에 데이터가 없다면 읽은 데이터를 입력한다. 이러한 형태로 하는 이유는 샘플링 특성을 유지하면서 동시에 데이터의 형태를 유지하기 위함이다. 만약, 데이터가 블록에 입력되었을 때 블록의 중심을 입력하는 형태로 하는 경우 데이터의 형태가 흐트러져 나중에 정합을 하면 정확하게 매칭되지 않게 된다. 따라서, 위치는 일정하지 않지만, 형태에 의미가 있는 데이터로 입력한다. 블록 단위 샘플링 프로세스에 대해서는 도 7을 참조로 하여 후술한다.

영상 처리장치(1)는 블록단위 샘플링(S502, S512, S522)을 수행한 후, 샘플링을 통해 생성된 샘플링 데이터를 이용하여 각 점마다 디스크립터를 생성한다(S504, S514, S524). 예를 들어, 샘플링된 데이터에서 각 점마다 법선 벡터가 유사한 주변 PCD와의 연관성을 나타내는 디스크립터를 생성한다. 디스크립터 생성 프로세스에 대해서는 도 8을 참조로 하여 후술한다.

이어서, 영상 처리장치(1)는 생성된 디스크립터 간을 크로스 체크(비교 대조) 하여 매칭한다. 예를 들어, 상악 모델의 디스크립터와 교합면 모델의 디스크립터 간을 크로스 체크(S505)하고, 하악 모델의 디스크립터와 교합면 모델의 디스크립터 간을 크로스 체크한다(S515). 디스크립터 매칭 방법으로 K-D 트리(K-D tree)를 사용할 수 있다. K-D 트리는 k차원 공간의 점들을 구조화하는 공간 분할 자료구조이다. 상악에서 생성된 디스크립터를 교합면에서 검색했을 경우, 해당 교합면의 디스크립터가 상악에서 매칭되는 디스크립터를 검색한 후, 입력된 상악 디스크립터와 출력된 상악 디스크립터가 동일한지 크로스 체크를 수행할 수 있다.

이어서, 영상 처리장치(1)는 크로스 체크를 성공한 디스크립터들에 대한 점 좌표들을 추출하는데, 예를 들어 3개의 점을 랜덤하게 추출(S507, S509)하고 추출된 각 점의 이동 및 회전 성분을 계산한다. 이동 및 회전 성분은 RT 행렬(회전행렬: Rotation Matrix, 이동행렬: Translation Matrix)일 수 있다(S507, S517).

이어서, 영상 처리장치(1)는 계산된 이동 및 회전 성분을 이용하여 모델 데이터들을 융합한다. 예를 들어, 3개의 점을 이용하여 이동 및 회전 성분 계산 값에 맞게 상악 모델 데이터를 이동 및 회전시키는 삼각 매칭을 통해 교합면 모델 데이터와 융합 시킨다(S509). 다른 예로, 이동 및 회전 성분 계산 값에 맞게 하악 모델 데이터를 이동 및 회전시키는 삼각 매칭을 통해 교합면 모델 데이터와 융합 시킨다(S519). 융합 시도는 여러 번하여, 각각의 회전행렬(Rotation Matrix)과 이동행렬(Translation Matrix) 간의 유사도를 측정하고, 가장 유사도 점수를 높게 받은 행렬을 최종적으로 선출하게 된다.

도 6은 본 발명의 일 실시 예에 따른 블록단위 샘플링을 2차원 평면으로 바라본 화면을 도시한 도면이다.

도 6을 참조하면, 블록단위 샘플링을 통해 블록마다 점(600)을 하나씩 추출한다.

도 7은 본 발명의 일 실시 예에 따른 블록단위 샘플링 방법의 흐름을 도시한 도면이다.

도 4 및 도 7을 참조하면, 영상 처리장치(1)는 블록을 생성(S710)하고, 모델 데이터를 입력한다(S720). 이때 모델 데이터는 PCD 형태이다. 이어서, 영상 처리장치(1)는 모델 데이터의 점을 입력한다(S730). 이때, 입력된 모델 데이터를 순서대로 읽으면서 입력된 점에 해당하는 블록을 검색(S740)하고 블록에 데이터가 존재하는지 여부를 확인한다(S750). 블록에 데이터가 존재하지 않으면 블록에 읽은 데이터를 추가한다(S760). 이에 비해, 블록에 데이터가 존재하면 읽은 데이터를 무시한다. 블록에 데이터가 존재하는 경우, 해당 점이 마지막 점인지를 확인(S770)하여 마지막 점이 아니면 점 인덱스를 1 증가(S780) 시키고 모델 데이터의 점을 입력하는 단계(S730), 입력되는 점에 해당하는 블록을 검색하는 단계(S740), 블록에 데이터 존재 여부를 판단하는 단계(S750) 및 블록에 데이터가 존재하지 않으면 블록에 읽은 데이터를 추가하는 단계(S760)를 반복 수행한다. 마지막 점이면 블록단위 샘플링 프로세스를 종료한다.

전술한 블록단위 샘플링 방법에 의해 기존의 단순화(simplification)을 이용한 방법과 유사한 성능을 내며, 샘플링의 간소화로 인해 동시에 속도를 향상시킬 수 있다.

도 8은 본 발명의 일 실시 예에 따른 디스크립터 생성 프로세스를 도시한 도면이다.

도 4 및 도 8을 참조하면, 영상 처리장치(1)는 블록단위 샘플링을 수행한 후, 샘플링 데이터를 이용하여 각 점 마다 디스크립터를 생성한다. 디스크립터는 중심 점와 일정거리 안에 있는 주변 점 간의 법선 벡터(normal vector)의 각도 차이를 이용하여 생성할 수 있다. 중심 점은 하나지만, 주변 점은 여러 개로 구성되어 있기 때문에, 해당 각도 차이는 여러 개의 결과값을 출력하게 된다. 이러한 출력 결과물을 하나로 묶기 위해 일정 단위로 샘플링한 후, 히스토그램화를 통해 표현하게 된다. 다만 도 2를 참조로 전술한 바와 같이 생성될 수 있는 노이즈를 제거하기 위해, 법선 벡터 간의 각도를 일정 범위 안으로 한정하게 된다.

이하, 도 8을 참조로 하여 디스크립터 생성 프로세스에 대해 설명하자면, 영상 처리장치(1)는 샘플링된 모델 데이터의 점을 입력(S810)하고 입력된 점을 대상으로 중심 점(p1)을 설정(S820)하고, 주변 점(p2)을 검색한다(S830). 주변 점(p2)은 중심 점(p1)과 미리 설정된 거리 이내에 위치하는 점이다. 이어서, 영상 처리장치(1)는 중심 점(p1)의 법선 벡터와 주변 점(p2)의 법선 벡터 간의 각도를 산출한다(S840). 이때, 법선 벡터 간의 각도가 미리 설정된 각도(n, n은 양의 정수)보다 작은지를 판단(S850)하여, 미리 설정된 각도(n)보다 작으면 각도를 일정 간격으로 샘플링(S860)한 후 히스토그램의 해당 빈(bin)에 값을 1 증가 시킨다(S870). 전술한 히스토그램 표현법은 특징 값들(각도)을 일정 크기로 샘플링하고, 해당 특징 값이 특정 샘플 구간 안에 들어오면, 해당 구간의 누적 수를 하나씩 증가하는 방법이다. 이렇게 하나씩 누적되면 여러 개의 특징 값들이 하나의 히스토그램으로 표현되게 되며, 이를 디스크립터로 사용하게 된다. 미리 설정된 각도(n)은 사용자에 의해 조작 가능하다.

법선 벡터 간의 각도가 미리 설정된 각도(n, n은 양의 정수)보다 크거나 히스토그램의 누적 수 증가 이후 마지막 주변 점(p2)인지를 판단(S880)하여, 마지막 주변 점(p2)이면 마지막 중심 점(p1)인지를 판단한다(S892). 마지막 중심 점(p1)이면 프로세스를 종료하고 마지막 중심 점(p1)이 아니면 중심 점(p1) 인덱스를 1 증가(S894) 하고 중심 점(p1) 설정 단계(S820)부터 반복 수행한다. 마지막 주변 점(p2)이 아니면, 주변 점(p2) 인덱스를 1 증가(S890) 하고 중심 점(p1)의 법선 벡터와 주변 점(p2)의 법선 벡터 간의 각도를 산출하는 단계(S840)부터 반복 수행한다. 법선 벡터를 이용한 디스크립터 생성을 통해 주변 노이즈에 강건한(robust) 디스크립터 생성이 가능하다.

도 9는 본 발명의 일 실시 예에 따른 점 간의 법선 벡터 비교 예를 도시한 도면이다.

도 4 및 도 9를 참조하면, 영상 처리장치(1)는 두 점의 법선 벡터 간 각도를 계산하여, 각도 차가 미리 설정된 각도 범위 내에 있는 것은 포함시키지만, 미리 설정된 각도 범위 이상 벌어지는 점에 대해서는 무시한다. 예를 들어, 중심 점(900)을 기준으로 중심 점(900)의 법선 벡터와 제1 주변 점(910)의 법선 벡터 간 각도 차가 30도이면 포함시켜 디스크립터를 생성하고, 중심 점(900)의 법선 벡터와 제2 주변 점(920)의 법선 벡터 간 각도 차가 150도이면 무시하여 디스크립터를 생성하지 않는다.

이렇게 하는 이유는 점들은 모델의 면을 구성하기 위해 존재 하는 것들이며, 각 점의 법선 벡터는 면과 직각이 되는 것들이기 때문이다. 또한, 교합면 모델은 도 2에 도시된 바와 같이 전체 치아에서 한쪽 면만을 사용하기 때문에 안쪽 면들을 무시할 필요가 있다. 이러한 안쪽 면이라고 표현되는 부분들이 노이즈이며, 이들을 제거하기 위해 법선 벡터의 각도를 비교하여 제거하는 방법이 가장 수월한 방법이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

구강 스캐너를 이용하여 생성되는 점 군 데이터 형태의 제1 모델 데이터 및 제2 모델 데이터를 입력하는 단계;
입력된 각 모델 데이터를 대상으로 블록 단위 샘플링을 수행하는 단계;
샘플링된 모델 데이터의 각 점마다 디스크립터를 생성하는 단계;
제1 모델의 제1 디스크립터와 제2 모델의 제2 디스크립터를 크로스 체크하여 디스크립터 간을 매칭하는 단계;
크로스 체크를 성공한 디스크립터들에 대한 점 군 데이터로부터 랜덤하게 점들을 추출하고 추출된 각 점에 대한 이동 및 회전 성분을 계산하는 단계; 및
계산된 이동 및 회전 성분을 이용하여 제1 모델 데이터와 제2 모델 데이터를 융합하는 단계;
를 포함하는 것을 특징으로 하는 스캔 모델 자동 융합방법.
제 1 항에 있어서, 블록 단위 샘플링을 수행하는 단계는
각 모델 데이터의 공간을 블록 단위로 나눈 후, 각 블록에 점이 하나만 존재하도록 샘플링하는 것을 특징으로 하는 스캔 모델 자동 융합방법.
제 1 항에 있어서, 블록 단위 샘플링을 수행하는 단계는
블록을 생성하고 모델 데이터를 입력하는 단계;
모델 데이터의 점을 입력하는 단계;
입력된 모델 데이터를 순서대로 읽으면서 입력된 점에 해당하는 블록을 검색하여 블록에 데이터가 존재하는지 여부를 확인하는 단계; 및
블록에 데이터가 존재하지 않으면 블록에 읽은 데이터를 추가하고 블록에 데이터가 존재하면 읽은 데이터를 무시하는 단계;
를 포함하는 것을 특징으로 하는 스캔 모델 자동 융합방법.
제 1 항에 있어서, 디스크립터를 생성하는 단계는
각 점마다 중심 점의 법선 벡터와 중심 점과 일정 거리 내에 있는 주변 점의 법선 벡터 간의 각도 차를 이용하여 중심 점의 주변 점과의 연관성을 나타내는 관계 값을 산출함에 따라 디스크립터를 생성하는 것을 특징으로 하는 스캔 모델 자동 융합방법.
제 1 항에 있어서, 디스크립터를 생성하는 단계는
샘플링된 모델 데이터의 점을 입력하는 단계;
입력된 점을 대상으로 중심 점(p1)을 설정하고, 주변 점(p2)을 검색하는 단계;
중심 점(p1)의 법선 벡터와 주변 점(p2)의 법선 벡터 간의 각도를 산출하는 단계;
법선 벡터 간의 각도가 미리 설정된 각도보다 작은지를 판단하여, 미리 설정된 각도보다 작으면 각도를 일정 간격으로 샘플링한 후 히스토그램으로 표현하여 디스크립터를 생성하는 단계;
를 포함하는 것을 특징으로 하는 스캔 모델 자동 융합방법.
제 1 항에 있어서, 디스크립터 간을 매칭하는 단계는
K-D 트리를 이용하여 디스크립터 간을 크로스 체크하는 것을 특징으로 하는 스캔 모델 자동 융합방법.
제 1 항에 있어서, 디스크립터 간을 매칭하는 단계는
제1 모델의 디스크립터를 제2 모델 데이터에서 검색했을 경우 해당 제2 모델의 디스크립터가 제1 모델 데이터에서 매칭되는 디스크립터를 검색한 후, 입력된 제1 모델의 디스크립터와 출력된 제1 모델의 디스크립터가 동일한지를 크로스 체크하는 것을 특징으로 하는 스캔 모델 자동 융합방법.
제 1 항에 있어서, 디스크립터 간을 매칭하는 단계는
상악 모델의 디스크립터와 교합면 모델의 디스크립터를 크로스 체크하는 단계; 및
하악 모델의 디스크립터와 교합면 모델의 디스크립터를 크로스 체크하는 단계;
를 포함하는 것을 특징으로 하는 스캔 모델 자동 융합방법.
제 1 항에 있어서, 스캔 모델 자동 융합방법은
ICP(Iterative Closest Point)를 이용하여 모델 데이터 융합을 추가로 수행하는 단계;
를 더 포함하는 것을 특징으로 하는 스캔 모델 자동 융합방법.
구강 스캐너를 이용하여 생성되는 점 군 데이터 형태의 제1 모델 데이터 및 제2 모델 데이터를 입력하는 데이터 입력부;
입력된 각 모델 데이터를 대상으로 블록 단위 샘플링을 수행하는 샘플링부;
샘플링된 모델 데이터의 각 점마다 디스크립터를 생성하는 디스크립터 생성부;
제1 모델의 제1 디스크립터와 제2 모델의 제2 디스크립터를 크로스 체크하여 디스크립터 간을 매칭하는 디스크립터 매칭부; 및
크로스 체크를 성공한 디스크립터들에 대한 점 군 데이터로부터 랜덤하게 점들을 추출하고 추출된 각 점에 대한 이동 및 회전 성분을 계산하며 계산된 이동 및 회전 성분을 이용하여 제1 모델 데이터와 제2 모델 데이터를 융합하는 융합부;
를 포함하는 것을 특징으로 하는 영상 처리장치.
제 10 항에 있어서, 샘플링부는
각 모델 데이터의 공간을 블록 단위로 나눈 후, 각 블록에 점이 하나만 존재하도록 샘플링하는 것을 특징으로 하는 영상 처리장치.
제 10 항에 있어서, 샘플링부는
블록을 생성하고 모델 데이터를 입력하고 모델 데이터의 점을 입력한 후 입력된 모델 데이터를 순서대로 읽으면서 입력된 점에 해당하는 블록을 검색하여 블록에 데이터가 존재하는지 여부를 확인하고, 블록에 데이터가 존재하지 않으면 블록에 읽은 데이터를 추가하고 블록에 데이터가 존재하면 읽은 데이터를 무시하는 것을 특징으로 하는 영상 처리장치.
제 10 항에 있어서, 디스크립터 생성부는
각 점마다 중심 점의 법선 벡터와 중심 점과 일정 거리 내에 있는 주변 점의 법선 벡터 간의 각도 차를 이용하여 중심 점의 주변 점과의 연관성을 나타내는 관계 값을 산출함에 따라 디스크립터를 생성하는 것을 특징으로 하는 영상 처리장치.
제 10 항에 있어서, 디스크립터 생성부는
샘플링된 모델 데이터의 점을 입력하고, 입력된 점을 대상으로 중심 점(p1)을 설정하고, 주변 점(p2)을 검색하며, 중심 점(p1)의 법선 벡터와 주변 점(p2)의 법선 벡터 간의 각도를 산출하고, 법선 벡터 간의 각도가 미리 설정된 각도보다 작은지를 판단하여, 미리 설정된 각도보다 작으면 각도를 일정 간격으로 샘플링한 후 히스토그램으로 표현하여 디스크립터를 생성하는 것을 특징으로 하는 영상 처리장치.
제 10 항에 있어서, 디스크립터 매칭부는
K-D 트리를 이용하여 디스크립터 간을 크로스 체크하는 것을 특징으로 하는 영상 처리장치.
제 10 항에 있어서, 디스크립터 매칭부는
제1 모델의 디스크립터를 제2 모델 데이터에서 검색했을 경우 해당 제2 모델의 디스크립터가 제1 모델 데이터에서 매칭되는 디스크립터를 검색한 후, 입력된 제1 모델의 디스크립터와 출력된 제1 모델의 디스크립터가 동일한지를 크로스 체크하는 것을 특징으로 하는 영상 처리장치.
제 10 항에 있어서, 디스크립터 매칭부는
상악 모델의 디스크립터와 교합면 모델의 디스크립터를 크로스 체크하고, 하악 모델의 디스크립터와 교합면 모델의 디스크립터를 크로스 체크하는 것을 특징으로 하는 영상 처리장치.
제 10 항에 있어서, 융합부는
ICP(Iterative Closest Point)를 이용하여 모델 데이터 융합을 추가로 수행하는 것을 특징으로 하는 영상 처리장치.