WO2011078430A1

WO2011078430A1 - 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법

Info

Publication number: WO2011078430A1
Application number: PCT/KR2009/007843
Authority: WO
Inventors: 장영진
Original assignee: (주)포스트미디어
Priority date: 2009-12-22
Filing date: 2009-12-28
Publication date: 2011-06-30
Also published as: KR101039298B1

Abstract

다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법을 개시한다. 본 발명은 소정의 이미지에서 다수의 특징점을 추출하는 솔루션을 이용하여 추출된 다수의 특징점 기반 마커를 판단하는 방법 및 이와 같은 판단 방법을 이용한 증강현실 구현 방법에 관한 것으로 카메라를 통해 취득된 영상에서 특징점 기반 마커를 인식하기 위한 프레임당 전체 연산 소요 시간(T)을 줄임으로써 상대적으로 빠르게 특징점 기반 마커를 인식할 수 있는 방법과, 이를 통해 상대적으로 빠르게 증강현실을 구현하는 방법을 제공하는 것을 목적으로 한다. 이를 위해 특징점 기반 마커 데이터에 대한 순차적 인덱스 개념을 도입하여 특징점 기반 마커를 인식하는 것을 특징으로 한다. 즉, 전체 마커 데이터와의 비교를 통한 특징점 기반 마커를 인식하지 않고 인덱스에 따른 마커 데이터와 비교를 함에 따라 프레임당 전체 연산 소요 시간을 줄일 수 있고, 일정한 인식 속도를 유지할 수 있으며, 초기 인식에 대한 최대 딜레이 시간을 인지할 수 있으며, 하드웨어의 성능에 따라 순차적 인덱스 개수를 변경하여 하드웨어의 성능에 맞게 증강현실을 구현할 수 있는 효과가 있다.

Description

다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법

본 발명은 카메라로 캡쳐한 실사 영상에 컴퓨터로 생성한 가상 영상을 합성하여 보여주는 증강현실 시스템에서, 증강현실을 구현하기 위한 다수의 특징점 기반 마커를 인식하기 위해 다수의 특징점 기반 마커를 검색하는 방법 및 이와 같은 방법을 이용한 증강현실 구현 방법에 관한 것이다.

증강현실(Augmented Reality)은 가상현실(virtual reality)의 변화된 형태로, 증강현실을 구현하는 시스템은 영상 획득 수단(예; 카메라)과 영상 출력 수단(예; 모니터)를 포함하여 상기 영상 획득 수단을 통해 획득된 실사 영상에 가상 영상을 정합하기 위해 영상 획득 수단(카메라)의 위치와 회전값을 이용하여 미리 3차원으로 모델링된 데이터를 실제 카메라가 실사 영상을 투영하는 것과 같은 3차원 원근 투영법을 이용하여 가상 영상을 렌더링한 다음, 실사 영상과 가상 영상을 합성하여 상기 영상 출력 수단을 통해 출력한다.

이와 같은 증강현실 시스템은 실제 환경에 가상의 물체를 첨가하여 보여줌으로써 사용자의 지각 및 현실과의 상호작용에 도움을 주는데 목적이 있는 것으로 광학(optical) 또는 영상(video) 기반 시스템으로 설계되며 의학, 산업, 오락, 군사 분야 등에 다양하게 응용되고 있다.

광학기반 시스템은 사용자가 HMD(Head-Mounted Display)의 반투명 스크린을 통해 실제 환경을 직접 볼 수 있는 것으로 HMD의 스크린에 가상의 물체를 투영하여 사용자에게 정보를 제공 방식이며, 영상 기반 시스템은 도 1 증강현실의 개념을 설명하기 위한 도면에 도시한 바와 같이 현실의 보드(1)에 마커(2)를 부착하고, 상기 마커(2)의 아이디에 해당하는 이미지정보(2`, '집')를 컴퓨터(4) 또는 태블릿 컴퓨터(5) 또는 피디에이(6)와 같이 영상을 처리하여 출력할 수 있는 수단에 저장한다.

이때 영상을 처리하여 출력할 수 있는 수단에는 컴퓨터(4) 또는 태블릿 컴퓨터(5) 또는 피디에이(6) 이외에도 휴대폰을 포함한 영상 출력이 가능한 다양한 멀티미디어 수단이 될 수 있으며, 이와 같은 영상을 처리하여 출력할 수 있는 수단에는 증강현실을 구현하는데 필요한 연산프로그램이 설치되어 있다.

이와 같은 상태에서 카메라(3)를 통해 현실의 보드(1)와 현실의 보드(1)에 부착된 마커(2)가 촬영되어 상기 컴퓨터(4) 또는 태블릿 컴퓨터(5) 또는 피디에이(6)로 전송되면, 상기 컴퓨터(4) 또는 태블릿 컴퓨터(5) 또는 피디에이(6)는 상기 카메라(3)를 통해 촬영된 이미지에서 마커(2)의 아이디를 판단하고, 판단된 아이디에 해당하는 이미지정보(2`, '집')를 독출하여 증강현실에 필요한 정보처리(상대적 위치 계산 및 렌더링 등)를 거쳐 최종적으로 도 1(b)에 도시한 바와 같이 화면(7)에 현실의 보드(1) 위에 가상의 집(2`)이 있는 것과 같은 합성 영상을 출력한다.

이와 같은 증강현실 시스템의 마커(2)는 고유 아이디(ID)를 가지고 있으며, 상기 컴퓨터(4) 또는 태블릿 컴퓨터(5) 또는 피디에이(6)는 상기 카메라(3)를 통해 촬영된 이미지에서 마커(2)의 아이디를 판단하여 인식함에 따라 저장된 문자, 그래픽, 음향과 같은 증강 데이터를 합성하여 출력한다.

이와 같은 마커(2)는 태그(tag), 컨텍스트(context) 또는 비주얼 마커(visual marker)라고도 일컫는 것으로 도 2 마커의 종류를 설명하기 위한 도면에 도시한 바와 같이 마커의 형식에 따라 일정한 패턴을 갖는 정형적 마커와 패턴을 가지지 않는 비정형적 마커로 구분된다.

정형적 마커는 ArToolkit 마커, HOM 마커, IGD 마커, SCR 마커, Kobe 대학 마커 등이 대표적이며, 이와 같은 정형적 마커는 소정의 약속된 이미지를 마커로 사용하는 것으로 ID와 위치값을 찾아낸다.

이에 반해 비정형적 마커는 상기와 같은 소정의 형태를 갖는 이미지 마커없이 카메라 영상에서 추출된 영상에서의 특징점들을 마커로 이용하는 방식이다.

간단히 설명하면, 증강이 되도록 하는 전단지나 사진과 같은 이미지(비교이미지)를 미리 등록하여 놓고, 실시간 영상에 상기 등록된 전단지나 사진과 같은 이미지(입력이미지)가 포함되면 등록된 이미지(비교이미지)의 특징점과 입력이미지의 특징점을 추출하여 특징점의 비교를 통해 마커로 인식한 뒤, 연산을 통해 3차원 좌표를 획득하여 3차원 객체를 렌더링하여 실시간 영상 위에 증강시킨다.

이때, 비교이미지와 입력이미지의 비교(동일여부 판단)는 입력이미지에서 추출된 특징점과 비교이미지의 특징점 마커 데이터베이스에 있는 특징점 마커를 비교하여 정합되면, 입력이미지를 특징점 마커로 인식하고 3차원 좌표를 추출하여 랜더링 과정을 통해 상기 특징점 마커에 해당하는 3차원 객체를 상기 카메라로 촬영된 실시간 영상 위에 증강한다.

이와 같은 비정형적 마커는 정형적 마커에 비해 사용자에게 마커의 형태를 가시화하지 않고 서비스를 제공할 수 있는 장점이 있어 증강현실 시스템의 적용 및 응용 분야를 확대시킬 수 있는 큰 장점이 있다.

그러나, 이와 같은 특징점 기반 마커의 경우, 촬영된 영상에서 특징점을 추출(지정)해야하고, 추출된 특징점을 기반으로 한 마커로 인식하기 위해 상대적으로 많은 정보를 처리해야하는 문제점이 있고 이로 인해 마커를 인식하는데 있어서 프레임당 전체 연산 소요 시간이 상당히 요구되는 문제점이 있다.

종래 특징점 기반 마커의 인식 과정의 예를 도 3 원본이미지에서 특징점의 추출 과정을 보인 도면 및 도 4 원본이미지에서 추출된 특징점을 인식하는 과정을 보인 도면을 참조하여 간략히 설명하면, 비교되는 이미지에 대한 특징점 데이터와 트리 데이터를 자료구조에 로딩을 하고 이후 카메라를 통해 입력되는 소정의 해상도를 갖는 영상을 버퍼에 저장한 후, 도 3에 도시한 바와 같이 원본이미지에 대한 피라미드 이미지를 생성하고 피라미드 이미지들에 대한 가우시안 필터를 이용한 smooth 효과를 적용한 뒤 피라미드 이미지에서 주위의 픽셀과 명암의 차이가 큰 점들을 선택하고, 선택된 점 주위에 있는 점들 간의 Laplacian 측정값(score)을 구한 뒤, 상위 값들만 선택하여 특징점들을 추출한다.

이와 같이 추출된 특징점을 이용하여 마커로 인식하는 방법은 상기 도 4에 도시한 바와 같이 추출된 특징점을 중심으로 한 32×32 회전 이미지를 생성하고, 이렇게 생성된 32×32 회전 이미지를 트리구조에 대입하여 가중치를 획득하고, 가중치가 높은 특징점과 비교 특징점을 매칭시키고 추출된 특징점과 비교 특징점의 위상을 일치시켜 그 위치를 검사한 후 동일한 경우 이를 마커로 인식한다.

따라서, 특징점 기반 마커를 인식하기 위해서 실시간 영상의 매 프레임마다 특징점을 추출하고, 이를 등록된 모든 이미지의 특징점과 비교를 한다.

즉, 도 5 종래 특징점 기반 마커의 검색 방법을 보인 도면에 도시한 바와 같이, 증강을 위한 비교이미지의 전체 마커 데이터(개수는 N)와 카메라 영상의 매 프레임(입력이미지)마다 추출된 특징점(1)을 상기 전체 마커 데이터(2)와 비교를 통해 마커로 인식한다.

따라서, 등록된 전체 마커 데이터의 개수가 N개이고, 카메라 영상에서 추출된 특징점과 마커 데이터를 비교하는데 소요되는 시간이 t초라고 하면, 프레임당 전체 연산 소요 시간(T)은 N×t 가 된다.

만일, 등록된 전체 마커 데이터가 6개이고, 비교시간이 0.02초이면, 프레임당 전체 연산 소요 시간(T)은 0.12초가 된다.

결국, 종래 특징점 기반 마커의 검색 방법은 등록된 마커 데이터 전체와 추출된 특징점 기반 마커를 비교하는 방식으로 프레임당 전체 연산 소요 시간은 등록된 전체 마커 데이터의 개수(N)와 비례하게 된다.

따라서, 등록된 마커 데이터의 개수(N)가 적을 경우는 큰 문제가 되지 않으나, 등록된 마커 데이터의 개수(N)가 증가함에 따라 한 프레임의 연산 소요 시간이 증가되어 이로 인한 문제가 발생하게 된다.

즉, 등록된 마커 데이터의 개수(N)가 100개라고 가정하면, 한 프레임의 연산 소요 시간이 2초(100×0.02)나 걸리는 문제점이 발생한다.

정리하면, 종래의 다수의 특징점 기반 마커의 검색 방법은 매 프레임당 전체 연산 소요 시간은 등록된 마커 데이터의 개수가 증가함에 따라 증가하게 되고, 이로 인해 증강현실의 자연스런 구현이 어렵거나 높은 사양의 시스템이 요구되는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로 프레임당 전체 연산 소요 시간을 상대적으로 줄일 수 있고, 일정한 인식 속도를 유지할 수 있으며, 초기 인식에 대한 최대 딜레이 시간을 인지할 수 있으며, 더 나아가 하드웨어의 성능에 맞출 수 있는 다수의 특징점 기반 마커를 인식하기 위한 검색 방법 및 이를 이용한 증강현실 구현 방법을 제공하는 것을 목적으로 한다.

상기와 같은 본 발명이 이루고자 하는 목적을 달성하기 위한 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법은 특징점 기반 마커를 인식하기 위한 마커 데이터가 저장된 마커 데이터베이스와 특징점 기반 마커로 증강현실을 구현하는 증강현실 구현부를 포함하여 다수의 특징점 기반 마커를 마커로 이용하는 증강현실 시스템에서 마커를 인식하는 방법에 있어서,

(a) 특징점 기반 마커의 인식을 위해 사전에 제작되어 등록된 N개의 마커 데이터를 상기 마커 데이터베이스로부터 상기 증강현실 구현부로 로딩하는 단계; (b) 프레임당 상기 N개의 마커 데이터 중에서 순차적으로 인덱스 개수만큼 마커 데이터를 추출하여 특징점 기반 마커와 비교하고 마커로 인식된 특징점 기반 마커를 인덱스하기 위해, 현재 프레임에서 인식될 마커 데이터의 개수(n)를 1개 이상 N개 이하의 범위에서 선택하고, 이전 프레임이 없는 경우는 인식된 마커 데이터의 개수(m)를 0개로 하여, 프레임에서 인식될 마커 데이터의 개수(n)에서 이전 프레임에서 인식된 마커 데이터의 개수(m)를 제한 값(n-m)으로 순차적 인덱스 개수(i)를 결정하는 단계; (c) 카메라를 통해 취득된 영상의 프레임에서 특징점을 검출하는 단계; 및 (d) 상기 프레임에서 검출된 특징점과 상기 N개의 마커 데이터에서 상기 이전 프레임에서 인식되어 인덱스된 마커 데이터를 고정한 상태에서 상기 순차적 인덱스 개수(i) 만큼 순차적으로 추출된 i개의 마커 데이터와 비교하여 특징점 기반 마커를 인식하는 단계;를 포함하는 것을 특징으로 한다.

이때, 상기 마커 데이터는 마커 이미지, 마커 이미지에 대한 특징점 좌표, 특징점에 대한 트리형태의 자료 구조, 증강되는 3차원 오브젝트 데이터로 이루어지는 것을 특징으로 한다.

또한, 상기 (c)단계에서의 특징점 검출은 Gaussian Filter를 이용하여 노이즈를 제거하고, 그 결과에 Laplacian을 적용하는 특징점 추출 기법에 의해 검출되는 것을 특징으로 한다.

또한, 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법을 이용한 증강현실 구현 방법은 특징점 기반 마커를 인식하기 위한 마커 데이터가 저장된 마커 데이터베이스와 특징점 기반 마커로 증강현실을 구현하는 증강현실 구현부를 포함하여 다수의 특징점 기반 마커를 마커로 이용하는 증강현실 시스템에서 마커를 인식하여 증강현실을 구현하는 방법에 있어서,

(a) 특징점 기반 마커의 인식을 위해 사전에 제작되어 등록된 N개의 마커 데이터를 상기 마커 데이터베이스로부터 상기 증강현실 구현부로 로딩하는 단계; (b) 프레임당 상기 N개의 마커 데이터 중에서 순차적으로 인덱스 개수만큼 마커 데이터를 추출하여 특징점 기반 마커와 비교하고 마커로 인식된 특징점 기반 마커를 인덱스하기 위해, 현재 프레임에서 인식될 마커 데이터의 개수(n)를 1개 이상 N개 이하의 범위에서 선택하고, 이전 프레임이 없는 경우는 인식된 마커 데이터의 개수(m)를 0개로 하여, 프레임에서 인식될 마커 데이터의 개수(n)에서 이전 프레임에서 인식된 마커 데이터의 개수(m)를 제한 값(n-m)으로 순차적 인덱스 개수(i)를 결정하는 단계; (c) 카메라를 통해 취득된 영상의 프레임에서 특징점을 검출하는 단계; (d) 상기 프레임에서 검출된 특징점과 상기 N개의 마커 데이터에서 상기 이전 프레임에서 인식되어 인덱스된 마커 데이터를 고정한 상태에서 상기 순차적 인덱스 개수(i) 만큼 순차적으로 추출된 i개의 마커 데이터와 비교하여 특징점 기반 마커를 인식하는 단계; (e) 상기 프레임에서 검색되어 인식된 특징점 기반 마커에 해당하는 마커 데이터를 N개의 마커 데이터 중에서 검출하는 단계; (f) 검출된 마커 데이터의 3차원 좌표를 추출하고, 추출된 좌표값에 따른 3차원 렌더링을 통해 상기 검출된 마커 데이터에 따른 증강이미지를 생성하는 단계; 및 (g) 상기 카메라를 통해 취득되는 실시간 영상에 상기 증강이미지를 합성하여 출력하는 증강현실 적용 단계;를 포함하는 것을 특징으로 한다.

본 발명은 상기와 같은 과제 해결 수단을 통해 전체 마커 데이터와의 비교를 통한 특징점 기반 마커를 인식하지 않고 인덱스에 따른 마커 데이터와 비교를 함에 따라 프레임당 전체 연산 소요 시간을 줄일 수 있는 효과가 있다.

또한, 일정한 인식 속도를 유지할 수 있으며, 초기 인식에 대한 최대 딜레이 시간을 인지할 수 있는 효과가 있다.

또한, 인덱스의 개수 조절을 통해 하드웨어의 성능에 맞게 증강현실을 구현할 수 있는 효과가 있다.

도 1은 증강현실의 개념을 설명하기 위한 도면,

도 2는 마커의 종류를 설명하기 위한 도면,

도 3은 원본이미지에서 특징점의 추출 과정을 보인 도면,

도 4는 원본이미지에서 추출된 특징점을 인식하는 과정을 보인 도면,

도 5는 종래 특징점 기반 마커의 검색 방법,

도 6은 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법의 개념을 설명하기 위한 도면,

도 7은 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법의 순차적 인덱스를 설명하기 위한 도면,

도 8은 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법의 순서를 보인 순서도,

도 9는 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법을 이용한 증강현실 구현 방법을 설명하기 위한 순서도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시 예를 예시로서 도시하는 첨부 도면을 참조한다.　이들 실시 예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.　본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.　예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 기술적 사상 및 범위를 벗어 나지 않으면서 다른 실시 예로 구현될 수 있다.　또한, 각각의 개시된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.　따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는,적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.　도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시 예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 6은 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법의 개념을 설명하기 위한 도면, 도 7은 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법의 순차적 인덱스를 설명하기 위한 도면, 도 8은 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법의 순서를 보인 순서도, 도 9는 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법을 이용한 증강현실 구현 방법을 설명하기 위한 순서도이다.

상기 도 6에 도시한 바와 같이 상기 도 5에 도시한 바와 같이 종래 다수의 특징점 기반 마커를 인식하는 방법이 전체 마커 데이터(N)와 다수의 특징점 기반 마커를 비교하여, 카메라 영상과 마커 데이터와의 비교시간 t초라고 하면, 프레임당 전체 연산 소요 시간 T=N×t초가 소요되나, 본 발명에 따른 검색 방법은 프레임당 동시에 인식되는 다수의 특징점 기반 마커의 개수(n)를 순차적 인덱스 개수(n) 개념으로 도입하여 프레임별로 다수의 특징점 기반 마커와 비교되는 마커 데이터를 순차적 인덱스 개수만큼 순차적으로 비교를 하는 것을 특징으로 한다.

즉, 프레임당 동시에 인식되는 다수의 특징점 기반 마커의 개수가 2개라면, 순차적 인덱스 개수는 2개가 되고, 카메라 영상 1과 마커 데이터(1)를 비교할 때는 순차적으로 2개의 마커 데이터인 1번과 2번 마커 데이터를 추출하여 비교를 하고, 카메라 영상 2와 마커 데이터를 비교할 때는 3번과 4번 마커 데이터를 추출하여 비교를 한다.

따라서, 종래 검색 방법에 있어서 프레임당 전체 연산 소요 시간이 마커 데이터의 수에 비례하는 것과 달리, 본 발명에 따른 검색 방법은 프레임당 동시에 인식되는 다수의 특징점 기반 마커의 개수인 순차적 인덱스 개수의 수에 비례함으로 마커 데이터의 수에 따라 순차적 인덱스 개수를 선택함으로써 프레임당 전체 연산 소요 시간을 조절하거나 줄일 수 있고, 증강현실 시스템의 하드웨어 성능에 맞게 설정할 수 있다.

이와 같은 순차적 인덱스 개념은 전체 마커 데이터에서 프레임당 동시에 인식되는 다수의 특징점 기반 마커의 개수만큼 마커 데이터를 순차적으로 추출하여 비교하고, 이미 인식된 다수의 특징점 기반 마커에 대해서는 인덱스하여 향후 해당 마커 데이터를 고정시켜 순차적 인덱스 개수만큼 마커 데이터를 추출시에 항상 포함시키는 것을 특징으로 한다.

즉, 상기 도 7(a)와 (b)에 도시한 바와 같이 마커 데이터를 상기 순차적 인덱스의 개수만큼 순차적으로 추출하여 비교하는 것과 상기 도 7(c)에 도시한 바와 같이 이전 프레임(카메라 영상2)에서 다수의 특징점 기반 마커가 인식된 경우, 해당 마커 데이터를 인덱스하여 고정시킨 상태에서 마커 데이터를 추출하고 이를 비교하는 것을 특징으로 한다.

예를 들어 도 7에서 순차적 인덱스 개수(n)가 2라면, 카메라 영상 1에서는 도 7(a)와 같이 1번과 2번 마커 데이터를 추출하여 비교를 한다. 이후 입력된 카메라 영상 2에서는 도 7(b)와 같이 3번과 4번 마커 데이터를 추출하여 비교를 한다.

이때, 카메라 영상 2에서 3번 마커 데이터와 동일한 다수의 특징점 기반 마커가 검색되었다면, 이후 카메라 영상 3에서는 상기 도 7(c)에 도시한 바와 같이 상기 카메라 영상 2에서 검색된 3번 마커 데이터를 인덱스하여 고정한 상태에서 2개의 마커 데이터를 순차적으로 추출을 함에 따라 3번 마커 데이터와 5번 마커 데이터를 추출하여 비교를 한다.

따라서, 상기 도 8 본 발명 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법의 순서를 보인 순서도에 도시한 바와 같이 본 발명에 따른 검색 방법은 한번 인식된 다수의 특징점 기반 마커는 다음 프레임에서도 계속 인식이 되어야 하는 점에 착안하여 다수의 특징점 기반 마커를 검색함에 있어서 인덱스 개념을 적용하여 프레임당 전체 연산 소요 시간을 상대적으로 줄일 수 있는 것을 특징으로 하는 방법으로 이를 구현하기 위한 구체적인 방법으로 마커 데이터 로딩 단계(S10), 순차적 인덱스 개수 결정 단계(S20), 카메라 영상에서 특징점을 검출하는 단계(S30) 및 마커 데이터를 추출하고 이를 비교하여 다수의 특징점 기반 마커를 인식하는 단계(S40)를 포함하여 이루어진다.

본 발명에 따른 다수의 특징점 기반 마커의 검색 방법은 특징점 기반 마커를 인식하기 위한 마커 데이터가 저장된 마커 데이터베이스와 특징점 기반 마커로 증강현실을 구현하는 증강현실 구현부를 포함하여 다수의 특징점 기반 마커를 마커로 이용하는 증강현실 시스템에 적용되는 방법으로 상기 마커 데이터 로딩 단계(S10)는 특징점 기반 마커의 인식을 위해 사전에 제작되어 등록된 N개의 마커 데이터를 상기 마커 데이터베이스로부터 상기 증강현실 구현부로 로딩한다.

이때, 마커 데이터에는 마커 이미지, 마커 이미지에 대한 특징점 좌표, 특징점에 대한 트리형태의 자료 구조, 증강되는 3차원 오브젝트 데이터 등을 포함한다.

상기 마커 데이터 로딩 단계(S10)에서 마커 데이터의 로딩이 완료되면, 상기 순차적 인덱스 개수 결정 단계(S20)에서 프레임당 상기 N개의 마커 데이터 중에서 순차적으로 인덱스 개수만큼 마커 데이터를 추출하여 특징점 기반 마커와 비교하고 마커로 인식된 특징점 기반 마커를 인덱스하기 위해, 현재 프레임에서 인식될 마커 데이터의 개수(n)를 1개 이상 N개 이하의 범위에서 선택하고, 이전 프레임이 없는 경우는 인식된 마커 데이터의 개수(m)를 0개로 하여, 프레임에서 인식될 마커 데이터의 개수(n)에서 이전 프레임에서 인식된 마커 데이터의 개수(m)를 제한 값(n-m)으로 순차적 인덱스 개수(i)를 결정한다.

즉, 초기 인덱스의 개수(n)가 5이고 이전 프레임에서 인식된 마커 데이터의 개수(m)가 3이라면, 순차적 인덱스 개수(i)는 2가 된다. 따라서 상기 다수의 특징점 기반 마커를 인식하는 단계(S40)에서는 이미 인식되어 인덱스된 마커 데이터(3개)와 순차적으로 추출된 2개의 마커 데이터를 포함한 5개의 마커 데이터를 추출한다.

상기 카메라 영상에서 특징점을 검출하는 단계(S30)는 카메라를 통해 취득된 영상을 소정의 버퍼에 저장하고, 상기 버퍼에 저장된 영상에서 특징점을 검출한다. 이때, 특징점을 검출하는 방법은 다양한 방법을 이용할 수 있고, 어느 특정된 특징점 검출 방법에 국한되지 않는다.

우선, 특징점 추출은 인식을 위해 사전에 만들어진 마커와 동일한 특징점 추출 기법을 이용하며, 이와 같은 특징점 추출 기법에는 LoG(Laplacian of Gaussian), DoG(Difference of Gaussians), FAST Corner Detector 등이 있으며, LoG와 DoG는 모두 Gaussian Filter를 사용한다.

상기 LoG는 Gaussian Filter를 이용하여 노이즈를 제거하고 그 결과에 Laplacian을 적용하는 것으로 단순히 Laplacian 마스크를 이용하여 엣지를 추출하는 것보다 gaussian을 이용하기 때문에 노이즈에 강하고 좀더 굵은 엣지를 추출할 수 있는 장점이 있다.

또한, 상기 DoG는 Gaussian Filter의 분산값을 다르게 준 Gaussian 영상 간의 차이를 이용하는 것으로 LoG에 비해 연산 속도가 빠르다는 장점이 있다.

본 발명에서는 특징점 추출 기법으로 LoG를 이용하는 것이 바람직하다. 이는 노이즈에 강하고 좀더 굵은 엣지를 추출함으로써 다수의 특징점 마커와 추출된 마커 데이터의 비교가 용이하도록 하기 위함이다.

상기와 같은 특징점 추출 방법으로 카메라로 획득한 영상의 프레임에서 특징점이 검출되면, 상기 마커 데이터를 추출하고 이를 비교하여 다수의 특징점 기반 마커를 인식하는 단계(S40)에서는 순차적 인덱스 개수 결정 단계(S20)에서 결정된 순차적 인덱스 개수(i) 만큼의 마커 데이터를 로딩된 N개의 마커 데이터에서 순차적으로 추출하고, 이렇게 추출된 마커 데이터와 상기 카메라로 획득한 영상의 프레임에서 검출된 특징점을 비교하여 다수의 특징점 기반 마커를 인식한다.

상기 특징점의 비교는 다양한 방법으로 구현이 가능하고, 어느 특정된 방법에 국한되지 않으나, 특징점의 좌표에 대한 색상 비교가 가능한 트리형태의 자료구조를 이용하는 ransac 알고리즘을 이용하는 것이 바람직하다.

이때, 상기 카메라로 획득한 영상의 프레임의 이전 프레임에서 다수의 특징점 마커로 인식되어 인덱스된 마커 데이터가 있는 경우에는, 인덱스된 마커 데이터를 고정한 상태에서 이를 포함한 순차적 인덱스 개수(i) 만큼 순차적으로 마커 데이터를 추출하며, 이때 이전 프레임에서 다수의 특징점 마커로 인식된 마커 데이터와 순차적으로 추출된 마커 데이터가 중복되지 않도록 한다.

상기와 같은 다수의 특징점 기반 마커의 검색 방법을 통해 특징점 기반 마커가 인식된다.

이상 설명한 바와 같은 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법을 이용한 증강현실 구현 방법은 상기 도 9에 도시한 바와 같이, N개의 인식할 마커 데이터를 로딩하는 단계(S100), 이전 프레임에서 인식된 특징점 마커 데이터의 수를 0으로 셋팅하는 단계(S200), 순차적 인덱스 개수를 결정하는 단계(S300), 카메라로 영상을 획득하고, 획득한 영상에서 특징점을 검출하는 단계(S400), 순차적 인덱스 개수에 해당하는 마커 데이터를 추출하는 단계(S500), 추출된 마커 데이터와 특징점을 비교하여 특징점 기반 마커로 인식되는 특징점 기반 마커가 없으면 상기 순차적 인덱스 개수를 결정하는 단계(S300)로 돌아가고, 특징점 기반 마커가 존재하면 이를 검출하는 특징점 기반 마커 검출 단계(S600), 검출된 특징점 기반 마커(m개)의 3차원 매트릭스를 획득하는 단계(S700), 검출된 특징점 기반 마커에 대한 3차원 오브젝트를 3차원 매트릭스에 따라 렌더링하여 증강하는 증강 단계(S800) 및 m개의 특징점 기반 마커에 대한 인덱스를 고정하는 단계(S900)를 포함한다.

상기 N개의 인식할 마커 데이터를 로딩하는 단계(S100)는 특징점 기반 마커의 인식을 위해 사전에 제작되어 등록된 N개의 마커 데이터를 마커 데이터베이스로부터 증강현실 구현부로 로딩한다. 이때, 마커 데이터에는 마커 이미지, 마커 이미지에 대한 특징점 좌표, 특징점에 대한 트리형태의 자료 구조, 증강되는 3차원 오브젝트 데이터 등을 포함한다.

상기 이전 프레임에서 인식된 특징점 마커 데이터의 수(m)를 0으로 셋팅하는 단계(S200)는 첫 프레임의 경우 이전 프레임이 존재하지 않기 때문에 이전 프레임에서 인식된 특징점 마커 데이터의 수가 없으므로 이를 위해 m값을 0으로 셋팅한다.

상기 순차적 인덱스 개수(i)를 결정하는 단계(S300)는 프레임당 동시에 인식되는 다수의 특징점 기반 마커의 개수(n)에서 이전 프레임에서 인식된 특징점 기반 마커의 개수(m)를 차감한 값(n-m)으로 초기 순차적 인덱스 개수는 m=0임으로 순차적 인덱스 개수 i=n이 된다. 이후, 상기 특징점 기반 마커 검출 단계(S600)에서 검출된 특징점 기반 마커의 수에 따라 순차적 인덱스 개수는 결정된다.

상기 카메라로 영상을 획득하고, 획득한 영상에서 특징점을 검출하는 단계(S400)는 카메라를 통해 취득된 영상을 소정의 버퍼에 저장하고, 상기 버퍼에 저장된 영상에서 특징점을 검출하며, 특징점을 검출하는 방법은 앞서 설명한 바와 같이 특징점 추출은 인식을 위해 사전에 만들어진 마커와 동일한 특징점 추출 기법을 이용하며, LoG(Laplacian of Gaussian), DoG(Difference of Gaussians), FAST Corner Detector 등을 이용한다.

상기 순차적 인덱스 개수에 해당하는 마커 데이터를 추출하는 단계(S500)는 상기와 같은 특징점 추출 방법으로 카메라로 획득한 영상의 프레임에서 특징점이 검출되면, 순차적 인덱스 개수(i) 만큼의 마커 데이터를 로딩된 N개의 마커 데이터에서 순차적으로 추출한다. 이때, 상기 카메라로 획득한 영상의 프레임의 이전 프레임에서 다수의 특징점 마커로 인식되어 인덱스된 마커 데이터가 있는 경우에는, 인덱스된 마커 데이터를 고정한 상태에서 이를 포함한 순차적 인덱스 개수(i) 만큼 순차적으로 마커 데이터를 추출하며, 이때 이전 프레임에서 다수의 특징점 마커로 인식된 마커 데이터와 순차적으로 추출된 마커 데이터가 중복되지 않도록 한다.

상기 특징점 기반 마커 검출 단계(S600)는 특징점 마커를 인식하는 단계로 추출된 마커 데이터와 검출된 특징점을 비교하여 특징점 기반 마커로 인식되면 이후 단계를 진행하고, 특징점 기반 마커가 없어 인식되지 않으면 상기 순차적 인덱스 개수를 결정하는 단계(S300)로 돌아간다. 이때 상기 특징점의 비교는 다양한 방법으로 구현이 가능하고, 어느 특정된 방법에 국한되지 않으나, 특징점의 좌표에 대한 색상 비교가 가능한 트리형태의 자료구조를 이용하는 ransac 알고리즘을 이용하는 것이 바람직하다.

상기 검출된 특징점 기반 마커(m개)의 3차원 매트릭스를 획득하는 단계(S700)는 상기 특징점 기반 마커 검출 단계(S600)에서 인식된 m개의 특징점 기반 마커에 대한 상대적 위치를 계산하여 3차원 매트릭스를 획득한다.

상기 검출된 특징점 기반 마커에 대한 3차원 오브젝트를 3차원 매트릭스에 따라 렌더링하여 증강하는 증강 단계(S800)는 실시간 영상에 가상의 증강 영상을 합성하기 위한 것으로 3차원 오브젝트를 상기 3차원 매트릭스를 획득하는 단계(S700)에서 획득된 3차원 매트릭스를 3차원 엔진(OpenGL, DirectX 등)에 적용하여 해당되는 3D 오브젝트를 렌더링하여 원근이 적용된 가상의 증강 영상을 생성하고 이를 실시간 영상에 합성하여 출력한다.

상기 m개의 특징점 기반 마커에 대한 인덱스를 고정하는 단계(S900)는 상기 특징점 기반 마커 검출 단계(S600)에서 인식된 m개의 특징점 기반 마커에 대한 인덱스를 고정하는 것으로 이를 통해 상기 순차적 인덱스 개수를 결정한다.

이상에서는 본 발명을 바람직한 실시 예에 의거하여 설명하였으나, 본 발명의 기술적 사상은 이에 한정되지 아니하고 청구항에 기재된 범위 내에서 변형이나 변경 실시가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백한 것이며, 그러한 변형이나 변경은 첨부된 특허청구범위에 속한다 할 것이다.

본 발명은 사용자에게 마커의 형태를 가시화하지 않고 다수의 특징점 기반 증강 시스템에서 다수의 특징점 기반 마커의 효율적인 검색 방법을 제공함으로써, 전시, 홍보, 의료, 군사 분야 등에서 다양한 형태로 응용되어 적용될 수 있다.

Claims

특징점 기반 마커를 인식하기 위한 마커 데이터가 저장된 마커 데이터베이스와 특징점 기반 마커로 증강현실을 구현하는 증강현실 구현부를 포함하여 다수의 특징점 기반 마커를 마커로 이용하는 증강현실 시스템에서 마커를 인식하는 방법에 있어서,

(a) 특징점 기반 마커의 인식을 위해 사전에 제작되어 등록된 N개의 마커 데이터를 상기 마커 데이터베이스로부터 상기 증강현실 구현부로 로딩하는 단계;

(b) 프레임당 상기 N개의 마커 데이터 중에서 순차적으로 인덱스 개수만큼 마커 데이터를 추출하여 특징점 기반 마커와 비교하고 마커로 인식된 특징점 기반 마커를 인덱스하기 위해, 현재 프레임에서 인식될 마커 데이터의 개수(n)를 1개 이상 N개 이하의 범위에서 선택하고, 이전 프레임이 없는 경우는 인식된 마커 데이터의 개수(m)를 0개로 하여, 프레임에서 인식될 마커 데이터의 개수(n)에서 이전 프레임에서 인식된 마커 데이터의 개수(m)를 제한 값(n-m)으로 순차적 인덱스 개수(i)를 결정하는 단계;

(c) 카메라를 통해 취득된 영상의 프레임에서 특징점을 검출하는 단계; 및

(d) 상기 프레임에서 검출된 특징점과 상기 N개의 마커 데이터에서 상기 이전 프레임에서 인식되어 인덱스된 마커 데이터를 고정한 상태에서 상기 순차적 인덱스 개수(i) 만큼 순차적으로 추출된 i개의 마커 데이터와 비교하여 특징점 기반 마커를 인식하는 단계;를 포함하는 것을 특징으로 하는 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법.
제1항에 있어서, 상기 마커 데이터는

마커 이미지, 마커 이미지에 대한 특징점 좌표, 특징점에 대한 트리형태의 자료 구조, 증강되는 3차원 오브젝트 데이터로 이루어지는 것을 특징으로 하는 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법.
제1항에 있어서, 상기 (c)단계에서의 특징점 검출은

Gaussian Filter를 이용하여 노이즈를 제거하고, 그 결과에 Laplacian을 적용하는 특징점 추출 기법에 의해 검출되는 것을 특징으로 하는 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법.
특징점 기반 마커를 인식하기 위한 마커 데이터가 저장된 마커 데이터베이스와 특징점 기반 마커로 증강현실을 구현하는 증강현실 구현부를 포함하여 다수의 특징점 기반 마커를 마커로 이용하는 증강현실 시스템에서 마커를 인식하여 증강현실을 구현하는 방법에 있어서,

(a) 특징점 기반 마커의 인식을 위해 사전에 제작되어 등록된 N개의 마커 데이터를 상기 마커 데이터베이스로부터 상기 증강현실 구현부로 로딩하는 단계;

(b) 프레임당 상기 N개의 마커 데이터 중에서 순차적으로 인덱스 개수만큼 마커 데이터를 추출하여 특징점 기반 마커와 비교하고 마커로 인식된 특징점 기반 마커를 인덱스하기 위해, 현재 프레임에서 인식될 마커 데이터의 개수(n)를 1개 이상 N개 이하의 범위에서 선택하고, 이전 프레임이 없는 경우는 인식된 마커 데이터의 개수(m)를 0개로 하여, 프레임에서 인식될 마커 데이터의 개수(n)에서 이전 프레임에서 인식된 마커 데이터의 개수(m)를 제한 값(n-m)으로 순차적 인덱스 개수(i)를 결정하는 단계;

(c) 카메라를 통해 취득된 영상의 프레임에서 특징점을 검출하는 단계;

(d) 상기 프레임에서 검출된 특징점과 상기 N개의 마커 데이터에서 상기 이전 프레임에서 인식되어 인덱스된 마커 데이터를 고정한 상태에서 상기 순차적 인덱스 개수(i) 만큼 순차적으로 추출된 i개의 마커 데이터와 비교하여 특징점 기반 마커를 인식하는 단계;

(e) 상기 프레임에서 검색되어 인식된 특징점 기반 마커에 해당하는 마커 데이터를 N개의 마커 데이터 중에서 검출하는 단계;

(f) 검출된 마커 데이터의 3차원 좌표를 추출하고, 추출된 좌표값에 따른 3차원 렌더링을 통해 상기 검출된 마커 데이터에 따른 증강이미지를 생성하는 단계; 및

(g) 상기 카메라를 통해 취득되는 실시간 영상에 상기 증강이미지를 합성하여 출력하는 증강현실 적용 단계;를 포함하는 것을 특징으로 하는 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법을 이용한 증강현실 구현 방법.
제4항에 있어서, 상기 마커 데이터는

마커 이미지, 마커 이미지에 대한 특징점 좌표, 특징점에 대한 트리형태의 자료 구조, 증강되는 3차원 오브젝트 데이터로 이루어지는 것을 특징으로 하는 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법을 이용한 증강현실 구현 방법.
제4항에 있어서, 상기 (c)단계에서의 특징점 검출은

Gaussian Filter를 이용하여 노이즈를 제거하고, 그 결과에 Laplacian을 적용하는 특징점 추출 기법에 의해 검출되는 것을 특징으로 하는 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법을 이용한 증강현실 구현 방법.