KR20200111850A - 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법과 이를 수행하는 영상 처리장치 - Google Patents

Abstract

스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법과 이를 수행하는 영상 처리장치가 개시된다. 일 실시 예에 따른 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법은, 구강 스캐너를 이용하여 대상을 부분적으로 스캔한 입력 영상 데이터들을 획득하고 각 입력 영상 데이터의 특징정보를 추출하는 단계와, 특징정보가 추출된 위치에서 다른 입력 영상의 특징정보와 구분할 수 있는 디스크립터를 생성하는 단계와, 생성된 디스크립터 간을 매칭하는 단계와, 매칭된 디스크립터를 중심으로 이동 및 회전 성분을 계산하는 단계와, 계산된 이동 및 회전 성분을 이용하여 입력 영상 데이터들을 융합하는 단계를 포함한다.

Description

스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법과 이를 수행하는 영상 처리장치 {Image search and matching method for scan region re-tracking and imaging processing apparatus therefor}

본 발명은 영상 분석 및 처리기술에 관한 것이다.

최근 치과에서 환자의 구강에 대한 데이터를 생성하기 위하여 치과용 구강 스캐너를 많이 사용하고 있는데, 구강 스캐너의 카메라의 경우 관심영역(Field of View: FOV)이 좁기 때문에 전체를 한 번에 스캔할 수 없다. 따라서, 전악을 여러 구역으로 나누어서 스캔하고, 스캔을 통해 획득한 여러 구역에 대한 영상들을 정합함으로써 전악에 대한 데이터를 획득할 수 있다. 그런데 여러 구역에 대한 영상들을 정합할 때, 사용자가 위치를 설계하고 스캔 실패 시에 해당 스캔 위치를 재탐지하여 스캔을 해야 하므로, 지정된 위치에서만 스캔이 가능하며 속도가 저하된다.

일 실시 예에 따라, 사용자가 자유롭게 스캔할 수 있고, 스캔이 중간에 실패하더라도 이미 스캔이 진행된 다른 영역을 기준으로 새로운 스캔을 진행함으로써 사용자에게 편의성을 증대시킬 수 있는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법과 이를 수행하는 영상 처리장치를 제안한다.

나아가, 전체 영역을 기준으로 재탐지하기 때문에, 기존에 발생하였던 다른 영역을 촬영하였을 때 잘못 추적하는 오 탐지에 대해서도 방지할 수 있는 영상 검색 및 매칭 방법과 이를 수행하는 영상 처리장치를 제안한다.

일 실시 예에 따른 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법은, 구강 스캐너를 이용하여 대상을 부분적으로 스캔한 입력 영상 데이터들을 획득하고 각 입력 영상 데이터의 특징정보를 추출하는 단계와, 특징정보가 추출된 위치에서 다른 입력 영상의 특징정보와 구분할 수 있는 디스크립터를 생성하는 단계와, 생성된 디스크립터 간을 매칭하는 단계와, 매칭된 디스크립터를 중심으로 이동 및 회전 성분을 계산하는 단계와, 계산된 이동 및 회전 성분을 이용하여 입력 영상 데이터들을 융합하는 단계를 포함한다.

특징정보를 추출하는 단계는, 입력 영상 데이터인 3차원 모델 데이터의 중심좌표 (0,0,cz)와 카메라 좌표 (0,0,0)를 특징점으로 추출할 수 있고, 여기서, x, y의 0은 x축과 y축의 중심을 나타내고, z의 0은 현재 카메라의 위치를 나타내며, cz는 카메라와 3차원 모델 데이터의 중심 간의 거리를 나타낸다.

디스크립터를 생성하는 단계에서, 점 군 데이터를 중심으로 중심점과 그 주변점들 간의 비교를 통해 중심점의 주변점과의 연관성을 나타내는 관계 값을 산출함에 따라 디스크립터를 생성할 수 있다. 이때, 점 군 데이터의 중심점의 법선 벡터와 그 주변점의 법선 벡터 간의 각도를 이용하여 관계 값을 산출할 수 있다.

디스크립터를 생성하는 단계에서, 카메라의 시점(view point)을 중심으로 카메라와 점 군 데이터의 중심점과의 관계를 산출함에 따라 디스크립터를 생성할 수 있다. 이때, 카메라의 중심점(Vp)과 점 군 데이터를 구성하는 하나의 점(Pi) 간의 벡터(Vp-Pi)와, 점 군 데이터의 점(Pi)의 법선 벡터(ni) 간의 각도(α)를 산출하여 해당 점(Pi)과 카메라 간의 관계를 산출할 수 있다.

디스크립터를 생성하는 단계에서, 다수의 관계 값이 산출되면 히스토그램 방법을 이용하여 산출된 관계 값들을 하나의 디스크립터로 묶을 수 있다.

디스크립터 간을 매칭하는 단계는, 스캔 실패 시 히스토그램에서 동일한 값을 가진 디스크립터들에 대한 평균 및 분산을 산출하는 단계와, 분산 값이 큰 순서에서 낮은 순서대로 디스크립터들을 비교하면서 디스크립터 간의 유사도를 계산하는 단계와, 유사도가 높은 디스크립터들을 부분적으로 우선 매칭하는 단계와, 매칭결과가 성공이면 다음 매칭 단계로 진입하는 캐스케이드(Cascade) 방식을 이용하여 매칭을 수행하는 단계를 포함할 수 있다.

이동 및 회전 성분을 계산하는 단계에서, 매칭된 디스크립터를 중심으로 법선 벡터 및 데이터의 분포를 이용하여 이동 및 회전 성분을 계산할 수 있다.

영상 검색 및 매칭 방법은, ICP(Iterative Closest Point)를 이용하여 2차 융합을 수행하는 단계와, ICP를 통해 산출된 평균거리 및 매칭된 정점의 비율을 이용하여 융합 결과를 검증하는 단계를 더 포함할 수 있다.

다른 실시 예에 따른 영상 처리장치는, 구강 스캐너를 이용하여 대상을 부분적으로 스캔한 입력 영상 데이터들을 획득하고 각 입력 영상 데이터의 특징정보를 추출하는 위치 선정부와, 특징정보가 추출된 위치에서 다른 입력 영상의 특징정보와 구분할 수 있는 디스크립터를 생성하는 디스크립터 생성부와, 생성된 디스크립터 간을 매칭하는 매칭부와, 매칭된 디스크립터를 중심으로 이동 및 회전 성분을 계산하고 계산된 이동 및 회전 성분을 이용하여 입력 영상 데이터들을 융합하는 융합부를 포함한다.

디스크립터 생성부는, 점 군 데이터를 중심으로 중심점과 그 주변점들 간의 비교를 통해 중심점의 주변점과의 연관성을 나타내는 관계 값을 산출하되, 점 군 데이터의 중심점의 법선 벡터와 그 주변점의 법선 벡터 간의 각도를 이용하여 관계 값을 산출할 수 있다.

디스크립터 생성부는, 카메라의 시점(view point)을 중심으로 카메라와 점 군 데이터의 중심점과의 관계를 산출함에 따라 디스크립터를 생성하되, 카메라의 중심점(Vp)과 점 군 데이터를 구성하는 하나의 점(Pi) 간의 벡터(Vp-Pi)와, 점 군 데이터의 점(Pi)의 법선 벡터(ni) 간의 각도(α)를 산출하여 해당 점(Pi)과 카메라 간의 관계를 산출할 수 있다.

매칭부는, 스캔 실패 시 히스토그램에서 동일한 값을 가진 디스크립터들에 대한 평균 및 분산을 산출하고, 분산 값이 큰 순서에서 낮은 순서대로 디스크립터들을 비교하면서 디스크립터 간의 유사도를 계산하고, 유사도가 높은 디스크립터들을 부분적으로 우선 매칭하며, 매칭결과가 성공이면 다음 매칭 단계로 진입하는 캐스케이드(Cascade) 방식을 이용하여 매칭을 수행할 수 있다.

영상 처리장치는, ICP를 통해 산출된 평균거리 및 매칭된 정점의 비율을 이용하여 융합 결과를 검증하는 검증부를 더 포함할 수 있다.

일 실시 예에 따른 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법과 이를 수행하는 영상 처리장치에 따르면, 사용자가 원하는 대로 스캔을 할 수 있는 환경을 제공하며, 스캔이 중간에 실패하더라도 이미 스캔이 진행된 다른 영역을 기준으로 새로운 스캔을 진행함으로써 사용자에게 편의성을 증대시킬 수 있다.

또한, 전체 영역을 기준으로 재탐지하기 때문에, 기존에 발생하였던 다른 영역을 촬영하였을 때 잘못 추적하는 오 탐지 발생을 방지할 수 있다.

나아가, 융합 검증을 통해 필요없는 부분을 제거하여 스캔의 정확도를 높일 수 있다.

또한, 디스크립터의 평균 분산과 캐스케이드 방식을 이용하여 디스크립터의 매칭을 고속화할 수 있다.

도 1은 스캔 추적 실패 후 데이터 부족으로 재추적이 어려운 상황을 설명하기 위한 도면,
도 2는 재탐지를 통해 자유도가 높아진 스캔을 제공하는 모습을 보여주는 도면,
도 3은 본 발명의 일 실시 예에 따른 스캔 영역 재탐지를 위한 영상 검색 및 영상 매칭이 가능한 스캔 시스템의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 도 3의 영상 처리장치의 세부 구성을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 입력 영상 데이터의 예를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 입력 영상 데이터의 특징정보를 추출하는 예를 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 모델 데이터를 중심으로 한 디스크립터의 생성 예를 보여주는 도면,
도 8은 본 발명의 다른 실시 예에 따른 시점(view point) 디스크립터 생성 예를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 캐스케이드 방법의 예를 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법의 흐름을 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 스캔 추적 실패 후 데이터 부족으로 재추적이 어려운 상황을 설명하기 위한 도면이다.

구강 스캐너를 이용한 스캔 프로세스에 따르면, 구강 스캐너를 통해 촬영된 다양한 부분 영상들로부터 3차원 점 군 데이터(Point Cloud Data: PCD, 이하 'PCD'라 칭함)를 생성한다. 현재 촬영된 영상으로부터 생성된 현재의 PCD와 이전 촬영된 영상으로부터 생성된 이전의 PCD의 특징 추출 및 분산 산출 이후, 이를 서로 비교하여 이동 및 회전 성분을 계산한다. 그리고 계산결과를 이용하여 현재의 PCD와 이전의 PCD를 융합하여 하나의 모델 데이터를 만드는 형식으로 스캔을 진행한다.

이와 같은 스캔 프로세스에서, 이전의 PCD와 현재의 PCD가 정확하게 매칭(matching) 되느냐에 따라 스캔 추적의 성공 여부를 확인한다. 스캔 추적이 올바르게 된 경우는 그대로 진행하면 된다. 이에 비에, 스캔 추적에 실패한 경우는 예외처리가 필요하다. 예외처리 방법으로써, 마지막으로 스캔 추적 성공이라고 판단된 PCD를 기준으로 새로 촬영된 영상으로부터 생성된 PCD와 스캔 추적을 성공할 때까지 계속 비교하여 재탐지하는 방법이 있다. 이러한 예외처리 방법의 경우, 도 1에 도시된 바와 같이 가지고 있는 데이터가 적으면 그만큼 유사한 영역도 적어지기 때문에 재탐지가 어렵다. 설사, 재탐지가 되더라도 문제가 있는 이동 및 회전성분을 추출하는 경우도 있으며, 올바르지 않은 부분을 맞는 부분이라고 잘못 추적하는 오 탐지가 발생할 수 있다. 이러한 문제가 발생하면 기존의 예외처리로는 해결할 수가 없으므로, 사용자는 처음부터 다시 스캔해야 하는 불편함을 야기한다.

도 2는 재탐지를 통해 자유도가 높아진 스캔을 제공하는 모습을 보여주는 도면이다.

도 1을 참조로 하여 전술한 예외처리 방법에 따르면 사용자가 한 번에 전체를 스캔해야 하는 불편함이 있다. 이러한 방법으로는 사용자는 항상 마지막에 스캔한 영역을 기준으로 다른 부분을 스캔해야 하기 때문이다. 도 2에 도시된 바와 같이 치아 외측을 좌에서 우로 한번 스캔 후, 치아 상측을 좌에서 우로 스캔을 시도할 수가 없다. 즉, 사용자는 주어진 대로만 스캔을 시도해야 하는 어려움이 있다.

본 발명의 기술적 과제는 도 1 및 도 2를 참조로 하여 기존의 문제점으로 제시한 재탐지에 대한 한계를 극복하고 사용자가 자유롭게 스캔할 수 있는 기능을 제공하는 것이다. 예를 들어, 도 2에서와 같이 사용자가 원하는 대로 스캔을 할 수 있는 환경을 제공하고자 한다. 또한, 스캔이 중간에 실패하더라도 이미 스캔이 진행된 다른 영역을 기준으로 새로운 스캔을 진행함으로써 사용자에게 편의성을 증대시킬 수 있다. 나아가, 전체 영역을 기준으로 재탐지하기 때문에, 기존에 발생하였던 다른 영역을 촬영하였을 때 잘못 추적하는 오 탐지 발생을 방지할 수 있다. 이하, 전술한 기술적 과제를 해결하기 위한 본 발명의 구성에 대해 상세히 후술한다.

도 3은 본 발명의 일 실시 예에 따른 스캔 영역 재탐지를 위한 영상 검색 및 영상 매칭이 가능한 스캔 시스템의 구성을 도시한 도면이다.

도 3을 참조하면, 스캔 시스템(1)은 구강 스캐너(2)와 영상 처리장치(3)를 포함한다.

구강 스캐너(2)는 사용자의 구강 내부를 카메라를 통해 스캔하여 구강 내부의 영상 데이터를 획득한다. 영상 처리장치(3)는 구강 스캐너(2)로부터 영상 데이터를 수신하고 이를 프로세서를 이용하여 처리한다. 영상 처리장치(3)는 영상 처리 프로그램을 실행 가능한 전자장치이다. 전자장치는 컴퓨터, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) PC, 스마트폰, 휴대폰, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등이 있다. 영상 처리 프로그램은 스캔 프로그램, CAD 프로그램, 가이드 디자인 프로그램 등이 있다. 또한, 치과 임플란트 수술을 포함하여 의료영상 처리를 위한 프로그램에 적용될 수 있다.

구강 스캐너(2)는 내부 조명의 광원을 구동하여 광을 출력한 후, 광 경로를 따라 외부로 조사된 광을 통해 사용자의 구강 내부를 비출 수 있다. 그러면, 구강 내부에서 반사된 광은 다시 광 경로를 따라 카메라(20)의 이미지 센서에 도달함으로써 구강 내부의 영상 데이터를 획득할 수 있다. 구강 스캐너(2)를 통해 획득하는 구강 모델 데이터는 손상된 치아를 포함한 실제 치아들의 정보를 가진 데이터이다. 구강 모델 데이터는 환자의 구강을 본떠 생성한 석고 모형을 3D 스캐너(3D Scanner)로 스캐닝하여 획득될 수 있다. 다른 예로서, 구강 내 3D 스캐너(3D Intra-oral scanner)를 이용하여 환자의 구강 내부를 스캐닝하여 획득될 수 있다.

도 3에서는 영상 처리장치(3)가 구강 스캐너(2)와 분리된 구조를 가지나, 영상 처리장치(3)가 구강 스캐너(2)의 프로세서 내에 위치하는 구조도 가능하다. 또한, 본 명세서에서 영상 처리장치(3)가 구강 스캐너(2)를 통해 획득된 구강 영상을 검색 및 매칭하는 영상처리를 위주로 설명하나, 치과용에 제한되는 것은 아니고, 다른 의료영상 처리에도 동일하게 적용될 수 있음을 명시한다.

도 4는 본 발명의 일 실시 예에 따른 도 3의 영상 처리장치의 세부 구성을 도시한 도면이다.

도 3 및 도 4를 참조하면, 영상 처리장치(3)는 입력부(30), 프로세서(32), 출력부(34) 및 저장부(36)를 포함한다.

입력부(30)는 구강 스캐너(2)로부터 촬영된 영상 데이터를 입력받는다. 이때, 촬영된 영상 데이터는 대상의 일부 영역을 부분적으로 스캔한 영상이다. 부분적으로 스캔한 영상 데이터는 프로세서(32)를 통해 하나로 융합된다. 구강 스캐너(2)의 촬영 영상 데이터는 카메라가 촬영한 아날로그 형태의 2차원 영상 데이터로부터 디지털 형태로 변환된 2차원 영상 데이터일 수 있다. 아날로그 2차원 영상 데이터는 카메라(110)의 이미지 센서를 통해 센싱한 신호이고, 디지털 영상 데이터란 영상 데이터 표준에 따라 PC 등의 기기에서 영상으로 인식되는 데이터를 의미한다.

프로세서(32)는 구강 스캐너(2)를 스캔 동작을 제어하기 위한 제어신호를 생성하고, 영상 처리장치(3)의 각 구성요소를 제어한다. 일 실시 예에 따른 프로세서(32)는 데이터 변환부(300), 위치 선정부(310), 디스크립터 생성부(320), 매칭부(340) 및 융합부(350)를 포함하며, 검증부(360)를 더 포함할 수 있다.

프로세서(32)는 구강 스캐너(2)를 통해 스캔한 입력 영상 데이터를 하나로 융합한다. 입력 영상 데이터는 데이터 변환부(300)를 통해 변환된 데이터일 수 있다. 예를 들어, 데이터 변환부(300)는 구강 스캐너(2)로부터 수신된 2차원 영상 데이터를 3차원 영상 데이터로 변환할 수 있다. 3차원 영상 데이터는 구강 모델 데이터일 수 있다. 데이터 변환부(300)는 구강 모델 데이터를 2차원 RGB 데이터로 변환할 수 있다.

위치 선정부(310)는 부분적으로 스캔된 입력 영상 데이터에서 융합할 부분을 검색하기 위해 각 입력 영상 데이터의 특징정보가 될 부분에 대한 위치를 선정한다. 예를 들어, 위치 선정부(310)는 입력 영상 데이터인 3차원 모델 데이터의 중심좌표 (0,0,cz)와 카메라 좌표 (0,0,0)를 특징점으로 추출할 수 있다. 여기서, x, y의 0은 x축과 y축의 중심을 나타내고, z의 0은 현재 카메라의 위치를 나타내며, cz는 카메라와 3차원 모델 데이터의 중심 간의 거리를 나타낸다.

디스크립터 생성부(320)는 위치 선정부(310)를 통해 특징정보가 추출된 위치에서 다른 입력 영상의 특징정보와 구분할 수 있는 디스크립터를 생성한다. 디스크립터 생성방법으로 모델 데이터를 중심으로 한 디스크립터 생성방법과, 카메라의 시점(view point)을 중심으로 한 디스크립터 생성방법이 있다. 모델 데이터를 중심으로 한 디스크립터 생성방법은 도 7을 참조로 하여 후술하고, 카메라의 시점(view point)을 중심으로 한 디스크립터 생성방법은 도 8을 참조로 하여 후술한다. 디스크립터 생성 시에, 다수의 관계 값이 산출되면 히스토그램 방법을 이용하여 산출된 관계 값들을 하나의 디스크립터로 묶을 수 있다.

매칭부(340)는 디스크립터 생성부(320)를 통해 생성된 디스크립터 간을 매칭한다. 일 실시 예에 따른 매칭부(340)는 스캔 성공 시에는 해당 영상 데이터의 디스크립터를 저장부(36)에 누적시킨다. 반대로, 스캔 실패 시 히스토그램에서 동일한 값을 가진 디스크립터들에 대한 평균 및 분산을 산출하고, 분산 값이 큰 순서에서 낮은 순서대로 디스크립터들을 비교하면서 디스크립터 간의 유사도를 계산한다. 이때, 유사도가 높은 디스크립터들을 부분적으로 우선 매칭함에 따라 디스크립터 매칭 속도를 향상시킨다. 매칭결과가 성공이면 다음 매칭 단계로 진입하는 캐스케이드(Cascade) 방식을 이용하여 매칭을 수행한다. 디스크립터의 평균 분산과 캐스케이드 방식을 이용함에 따라 디스크립터 매칭을 고속화할 수 있다.

융합부(350)는 매칭된 디스크립터를 중심으로 이동 및 회전 성분을 계산하고, 계산된 이동 및 회전 성분을 이용하여 입력 영상 데이터들을 융합한다. 예를 들어, 이동 및 회전 성분 계산 값에 맞게 현재 영상 데이터를 이동 및 회전시킨 후 이전 영상 데이터와 융합한다. 이동 및 회전 성분 계산 시에, 매칭된 디스크립터를 중심으로 법선 벡터 및 데이터의 분포를 이용하여 이동 및 회전 성분을 계산할 수 있다.

융합부(350)는 추가적으로 ICP(Iterative Closest Point)를 이용하여 2차 융합을 수행할 수 있다. 검증부(360)는 ICP를 통해 산출된 평균거리 및 매칭된 정점의 비율을 이용하여 융합 결과를 검증한다. 정확하게 융합되었는지를 검증함에 따라 필요없는 부분을 제거하여 보다 정확한 스캔 시스템을 제공할 수 있다.

저장부(36)는 획득된 구강 모델 데이터를 포함한 각종 데이터가 저장된다. 저장부(36)에는 프로세서(32)를 통해 생성된 디스크립터가 누적되어 저장될 수 있다. 출력부(34)는 스캔 결과를 화면에 표시한다.

도 5는 본 발명의 일 실시 예에 따른 입력 영상 데이터의 예를 도시한 도면이다.

도 3 및 도 5를 참조하면, 영상 처리장치(3)는 구강 스캐너(2)로부터 촬영된 영상 데이터로부터 3차원 구강 모델 데이터(110)와 2차원 RGB 영상 데이터(120)를 입력 영상 데이터로서 획득한다.

도 6은 본 발명의 일 실시 예에 따른 입력 영상 데이터의 특징정보를 추출하는 예를 도시한 도면이다.

도 6을 참조하면, 각 입력 영상 데이터의 특징정보는 입력 영상 데이터의 중심으로 지정할 수 있다. 예를 들어, 3차원 모델 데이터의 경우 (0,0,0)와 (0,0,cz)(600)를 특징점으로 한다. x, y의 0의 의미는 도 6에 도시된 바와 같이 3차원 모델 데이터의 x축과 y축의 중심을 나타낸다. Z의 0은 현재 카메라의 위치를 나타내며 cz는 카메라와 3차원 모델 데이터의 중심 간의 거리를 나타낸다. 후술되는 도 7에서 보면, 현재 카메라(20)의 위치가 (0,0,0)이 된다. 이 두 중심좌표를 이용하여 모델 데이터의 특징정보를 결정한 후, 결정된 특징정보를 다른 특징정보들과 구분할 수 있는 디스크립터(descriptor)를 생성한다. 디스크립터 생성방법으로 모델 데이터를 중심으로 한 디스크립터 생성방법과, 카메라의 시점(view point)을 중심으로 한 디스크립터 생성방법을 제안한다. 이에 대한 실시 예를 도 7 및 도 8을 참조로 하여 후술한다.

도 7은 본 발명의 일 실시 예에 따른 모델 데이터를 중심으로 한 디스크립터의 생성 예를 보여주는 도면이다.

도 3 및 도 7을 참조하면, 영상 처리장치(3)는 모델 데이터를 중심으로 디스크립터를 생성한다. 모델 데이터 중심은 도 6을 참조로 하여 전술한 바와 같이 모델 데이터의 중심좌표인 (0,0,cz)(600)를 기준으로 구성될 수 있다. 모델 데이터를 중심으로 한 디스크립터는 PCD 간의 주변관계를 표현할 수 있으며, 특히, 다르부 프레임(Darboux frame)을 이용하여 회전에 강건한 디스크립터를 생성하는 방법이다. 회전에 강건하기 때문에, 영상 매칭하는데 있어 회전에 대한 고려를 하지 않아도 되고 이동에 대해서만 고려하기 때문에 영상 매칭이 단순화되는 특징이 있다.

디스크립터 생성 방법 중 하나로, PCD를 구성하는 중심점과 주변점들 간의 비교를 통해 점들 간의 연관성을 나타내는 관계 값을 산출하는 방법을 제안한다. 이때, 비교에 앞서, PCD의 특징정보를 회전에 강건한 다브루 프레임 좌표축으로 변환하고, 중심점 및 매칭점인 주변점의 법선 벡터(normal vector) 간 차이를 이용하여 주변관계 값을 산출한다. 예를 들어, 소정 PCD의 중심점의 법선 벡터와 주변점의 법선 벡터 간의 각도를 계산하여 주변관계 값을 산출한다. 각 중심점 및 주변점의 법선 벡터 간의 각도에 따라 주변와의 유사도를 알 수 있다.

도 7에 도시된 바와 같이 중심점(600)은 하나이지만, 주변점은 여러 개 존재하기 때문에, 위의 특징값도 여러 개 출력되게 된다. 이러한 여러 개의 특징값을 하나의 디스크립터로 묶기 위해 히스토그램 표현법을 사용한다. 히스토그램 표현법은 특징 값들을 일정 크기로 샘플링하고, 해당 특징 값이 특정 샘플 구간 안에 들어오면, 해당 구간의 누적 수를 하나씩 증가하는 방법이다. 이렇게 하나씩 누적되면 여러 개의 특징 값들이 하나의 히스토그램으로 표현되게 되며, 이를 디스크립터로 사용하게 된다. 히스토그램 표현법은 도 9를 참조로 하여 후술한다.

도 8은 본 발명의 다른 실시 예에 따른 시점(view point) 디스크립터 생성 예를 도시한 도면이다.

도 3 및 도 8을 참조하면, 영상 처리장치(3)는 카메라의 위치를 기준으로 구성되는 디스크립터를 생성한다. 카메라의 위치는 (0,0,0)으로 글로벌 중심좌표로 표현된다. 이 디스크립터의 특징으로는 PCD와 카메라의 시점 간의 관계를 표현하여 어떤 위치에서 촬영되어 있는지 구분할 수 있는 특징이 있다. 도 7을 참조로 하여 전술한 모델 데이터를 중심으로 생성한 디스크립터는 모델 모양만 보기 때문에, 유사 모양이면 이를 구분할 수 없게 된다. 이러한 한계점을 카메라와 모델 데이터 간의 관계를 통해 유사 모양이어도 다른 각도에서 촬영되었을 경우 이를 구분할 수 있게 하는 특징이 있다.

일 실시 예에 따른 카메라 시점을 중심으로 한 디스크립터 생성 방법에 따르면, 카메라(20)의 중심점(Vp)(610)과 PCD의 하나의 점(Pi)(600) 간의 벡터(Vp-Pi)와, 해당 점(Pi)의 법선 벡터(ni) 간의 각도(α)를 산출하여 해당 점과 카메라(20) 간의 관계를 산출한다. 하나의 모델 데이터 안에는 여러 개의 점들로 구성되므로 카메라(20)와 점들 간의 관계 값들은 여러 개로 산출된다. 이러한 값들을 하나의 디스크립터로 묶기 위해 앞에서 설명하였던 히스토그램 방법을 이용하여 디스크립터를 생성하게 된다.

영상 처리장치(3)는 스캔이 성공할 경우에는 해당 영상의 디스크립터를 생성하여 저장부에 누적시킨다. 반대로 스캔이 실패하였을 경우에는 어느 위치에서 해당 모델 데이터를 촬영했는지 알기 위해 디스크립터 비교 프로세스가 시작된다. 디스크립터 개수가 일정 수 이상일 경우 효율적으로 매칭하기 위해, 각 히스토그램 값 중 유의미한 것들을 우선적으로 비교할 필요가 있다. 유의미한 것을 구분하기 위해 히스토그램 중 동일한 값을 가진 디스크립터들에 대한 평균 및 분산을 산출한다. 이 분산 값들 중 큰 것일수록 분류가 잘 될 확률이 높으며, 작을수록 분류가 잘 안될 확률이 높다. 따라서, 분산 값이 큰 것들을 우선적으로 비교하며, 분산 값이 낮은 것들을 나중에 비교하는 순서로 진행하여 디스크립터 매칭 속도 향상을 도모한다.

도 9는 본 발명의 일 실시 예에 따른 캐스케이드 방법의 예를 도시한 도면이다.

도 9를 참조하면, 매칭 방법은 디스크립터를 부분적으로 우선 매칭하며, 해당 매칭이 일정 임계값 이상일 경우 매칭 실패로 판단하며, 매칭 성공할 경우 다른 매칭 단계로 들어가는 캐스케이드(Cascade) 방식을 이용할 수 있다. 캐스케이드 방식을 이용하는 이유는, 대부분의 모델 데이터들은 일부분의 디스크립터로 인해 쉽게 구분될 수 있기 때문에, 프로세스의 단순화를 위함이다. 이러한 방법을 통해 디스크립터 검색의 고속화를 진행할 수 있다.

도 10은 본 발명의 일 실시 예에 따른 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법의 흐름을 도시한 도면이다.

도 3 및 도 10을 참조하면, 영상 처리장치(3)는 구강 스캐너(2)를 이용하여 대상을 부분적으로 스캔한 입력 영상 데이터들을 획득하고 각 입력 영상 데이터의 특징정보를 추출한다(S1010). 이때, 입력 영상 데이터인 3차원 모델 데이터의 중심좌표 (0,0,cz)와 카메라 좌표 (0,0,0)를 특징점으로 추출할 수 있다. 여기서, x, y의 0은 x축과 y축의 중심을 나타내고, z의 0은 현재 카메라의 위치를 나타내며, cz는 카메라와 3차원 모델 데이터의 중심 간의 거리를 나타낸다.

이어서, 영상 처리장치(3)는 특징정보가 추출된 위치에서 다른 입력 영상의 특징정보와 구분할 수 있는 디스크립터를 생성한다(S1020). 제1 실시 예에 따르면, 점 군 데이터를 중심으로 중심점과 그 주변점들 간의 비교를 통해 중심점의 주변점과의 연관성을 나타내는 관계 값을 산출함에 따라 디스크립터를 생성한다. 예를 들어, 점 군 데이터의 중심점의 법선 벡터와 그 주변점의 법선 벡터 간의 각도를 이용하여 관계 값을 산출한다. 제2 실시 예에 따르면, 카메라의 시점(view point)을 중심으로 카메라와 점 군 데이터의 중심점과의 관계를 산출함에 따라 디스크립터를 생성한다. 예를 들어, 카메라의 중심점(Vp)과 점 군 데이터를 구성하는 하나의 점(Pi) 간의 벡터(Vp-Pi)와, 점 군 데이터의 점(Pi)의 법선 벡터(ni) 간의 각도(α)를 산출하여 해당 점(Pi)과 카메라 간의 관계를 산출한다.

디스크립터 생성 단계(S1020)에서, 다수의 관계 값이 산출되면 히스토그램 방법을 이용하여 산출된 관계 값들을 하나의 디스크립터로 묶을 수 있다.

이어서, 영상 처리장치(3)는 생성된 디스크립터 간을 매칭한다(S1030). 예를 들어, 스캔 실패 시 히스토그램에서 동일한 값을 가진 디스크립터들에 대한 평균 및 분산을 산출하고, 분산 값이 큰 순서에서 낮은 순서대로 디스크립터들을 비교하면서 디스크립터 간의 유사도를 계산한다. 이어서, 유사도가 높은 디스크립터들을 부분적으로 우선 매칭하고, 매칭결과가 성공이면 다음 매칭 단계로 진입하는 캐스케이드(Cascade) 방식을 이용하여 매칭을 수행한다.

이어서, 영상 처리장치(3)는 매칭된 디스크립터를 중심으로 이동 및 회전 성분을 계산한다(S1040). 예를 들어, 매칭된 디스크립터를 중심으로 법선 벡터 및 데이터의 분포를 이용하여 이동 및 회전 성분을 계산한다.

이어서, 영상 처리장치(3)는 계산된 이동 및 회전 성분을 이용하여 입력 영상 데이터들을 융합한다(S1050). 나아가, ICP(Iterative Closest Point)를 이용하여 2차 융합을 수행할 수 있고, ICP를 통해 산출된 평균거리 및 매칭된 정점의 비율을 이용하여 융합 결과를 검증할 수도 있다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

1. 구강 스캐너를 이용하여 대상을 부분적으로 스캔한 입력 영상 데이터들을 획득하고 각 입력 영상 데이터의 특징정보를 추출하는 단계;
   특징정보가 추출된 위치에서 다른 입력 영상의 특징정보와 구분할 수 있는 디스크립터를 생성하는 단계;
   생성된 디스크립터 간을 매칭하는 단계;
   매칭된 디스크립터를 중심으로 이동 및 회전 성분을 계산하는 단계; 및
   계산된 이동 및 회전 성분을 이용하여 입력 영상 데이터들을 융합하는 단계;
   를 포함하는 것을 특징으로 하는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법.
2. 제 1 항에 있어서, 특징정보를 추출하는 단계는
   입력 영상 데이터인 3차원 모델 데이터의 중심좌표 (0,0,cz)와 카메라 좌표 (0,0,0)를 특징점으로 추출하고,
   여기서, x, y의 0은 x축과 y축의 중심을 나타내고, z의 0은 현재 카메라의 위치를 나타내며, cz는 카메라와 3차원 모델 데이터의 중심 간의 거리를 나타내는 것을 특징으로 하는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법.
3. 제 1 항에 있어서, 디스크립터를 생성하는 단계는
   점 군 데이터를 중심으로 중심점과 그 주변점들 간의 비교를 통해 중심점의 주변점과의 연관성을 나타내는 관계 값을 산출함에 따라 디스크립터를 생성하는 것을 특징으로 하는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법.
4. 제 3 항에 있어서, 디스크립터를 생성하는 단계는
   점 군 데이터의 중심점의 법선 벡터와 그 주변점의 법선 벡터 간의 각도를 이용하여 관계 값을 산출하는 것을 특징으로 하는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법.
5. 제 1 항에 있어서, 디스크립터를 생성하는 단계는
   카메라의 시점(view point)을 중심으로 카메라와 점 군 데이터의 중심점과의 관계를 산출함에 따라 디스크립터를 생성하는 것을 특징으로 하는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법.
6. 제 5 항에 있어서, 디스크립터를 생성하는 단계는
   카메라의 중심점(Vp)과 점 군 데이터를 구성하는 하나의 점(Pi) 간의 벡터(Vp-Pi)와, 점 군 데이터의 점(Pi)의 법선 벡터(ni) 간의 각도(α)를 산출하여 해당 점(Pi)과 카메라 간의 관계를 산출하는 것을 특징으로 하는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법.
7. 제 1 항에 있어서, 디스크립터를 생성하는 단계는
   다수의 관계 값이 산출되면 히스토그램 방법을 이용하여 산출된 관계 값들을 하나의 디스크립터로 묶는 것을 특징으로 하는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법.
8. 제 1 항에 있어서, 디스크립터 간을 매칭하는 단계는
   스캔 실패 시 히스토그램에서 동일한 값을 가진 디스크립터들에 대한 평균 및 분산을 산출하는 단계;
   분산 값이 큰 순서에서 낮은 순서대로 디스크립터들을 비교하면서 디스크립터 간의 유사도를 계산하는 단계;
   유사도가 높은 디스크립터들을 부분적으로 우선 매칭하는 단계; 및
   매칭결과가 성공이면 다음 매칭 단계로 진입하는 캐스케이드(Cascade) 방식을 이용하여 매칭을 수행하는 단계;
   를 포함하는 것을 특징으로 하는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법.
9. 제 1 항에 있어서, 이동 및 회전 성분을 계산하는 단계는
   매칭된 디스크립터를 중심으로 법선 벡터 및 데이터의 분포를 이용하여 이동 및 회전 성분을 계산하는 것을 특징으로 하는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법.
10. 제 1 항에 있어서, 영상 검색 및 매칭 방법은
    ICP(Iterative Closest Point)를 이용하여 2차 융합을 수행하는 단계; 및
    ICP를 통해 산출된 평균거리 및 매칭된 정점의 비율을 이용하여 융합 결과를 검증하는 단계;
    를 더 포함하는 것을 특징으로 하는 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법.
11. 구강 스캐너를 이용하여 대상을 부분적으로 스캔한 입력 영상 데이터들을 획득하고 각 입력 영상 데이터의 특징정보를 추출하는 위치 선정부;
    특징정보가 추출된 위치에서 다른 입력 영상의 특징정보와 구분할 수 있는 디스크립터를 생성하는 디스크립터 생성부;
    생성된 디스크립터 간을 매칭하는 매칭부; 및
    매칭된 디스크립터를 중심으로 이동 및 회전 성분을 계산하고 계산된 이동 및 회전 성분을 이용하여 입력 영상 데이터들을 융합하는 융합부;
    를 포함하는 것을 특징으로 하는 영상 처리장치.
12. 제 11 항에 있어서, 디스크립터 생성부는
    점 군 데이터를 중심으로 중심점과 그 주변점들 간의 비교를 통해 중심점의 주변점과의 연관성을 나타내는 관계 값을 산출하되,
    점 군 데이터의 중심점의 법선 벡터와 그 주변점의 법선 벡터 간의 각도를 이용하여 관계 값을 산출하는 것을 특징으로 하는 영상 처리장치.
13. 제 11 항에 있어서, 디스크립터 생성부는
    카메라의 시점(view point)을 중심으로 카메라와 점 군 데이터의 중심점과의 관계를 산출함에 따라 디스크립터를 생성하되,
    카메라의 중심점(Vp)과 점 군 데이터를 구성하는 하나의 점(Pi) 간의 벡터(Vp-Pi)와, 점 군 데이터의 점(Pi)의 법선 벡터(ni) 간의 각도(α)를 산출하여 해당 점(Pi)과 카메라 간의 관계를 산출하는 것을 특징으로 하는 영상 처리장치.
14. 제 11 항에 있어서, 매칭부는
    스캔 실패 시 히스토그램에서 동일한 값을 가진 디스크립터들에 대한 평균 및 분산을 산출하고,
    분산 값이 큰 순서에서 낮은 순서대로 디스크립터들을 비교하면서 디스크립터 간의 유사도를 계산하고,
    유사도가 높은 디스크립터들을 부분적으로 우선 매칭하며,
    매칭결과가 성공이면 다음 매칭 단계로 진입하는 캐스케이드(Cascade) 방식을 이용하여 매칭을 수행하는 것을 특징으로 하는 영상 처리장치.
15. 제 11 항에 있어서, 영상 처리장치는
    ICP를 통해 산출된 평균거리 및 매칭된 정점의 비율을 이용하여 융합 결과를 검증하는 검증부;
    를 더 포함하는 것을 특징으로 하는 영상 처리장치.

Images