KR20110109720A - 모바일 기기에서의 증강공간 제공 가속 장치 - Google Patents

Abstract

본 발명은 모바일 기기에서 증강현실 콘텐츠를 표현하는 증강현실 제공 가속 장치에 있어서, 입력되는 패턴 영상에서 패턴 특징점을 추출하여 패턴 데이터베이스(DB)를 생성하는 패턴 등록 장치, 임의의 실영상을 획득하는 실영상 획득 장치, 상기 실영상 획득 장치로부터 전달된 실영상에서 패턴 인식을 하여 패턴의 특징점을 취득하는 패턴 인식 장치, 상기 실영상 획득 장치로부터 전달된 실영상에서 상기 패턴 인식 장치를 통하여 취득된 매칭된 패턴의 특징점을 추적하는 패턴 추적 장치, 상기 패턴 추적 장치에서 추적된 특징점 정보를 이용하여 패턴의 영역 및 위치, 각도를 판단하고 이를 토대로 합성영상을 생성하는 합성영상 생성 장치, 상기 합성영상 생성 장치를 통하여 생성된 합성영상을 출력하는 합성영상 출력 장치를 포함하고, 상기 패턴 등록 장치에 등록된 패턴을 참조하여 상기 패턴 인식 장치에서 한번 인식된 패턴의 경우 상기 패턴 인식 장치를 거치지 않고 상기 패턴 추적 장치를 통하여 패턴을 추적하는 것을 특징으로 한다.

Description

모바일 기기에서의 증강공간 제공 가속 장치 {APPARATUS FOR PROVIDING ACCELERATED AND AUGMENTED SPACE ON MOBILE DEVICE}

본 발명은 모바일 기기에서 마커를 사용하지 않는 증강현실 제공 가속 장치에 관한 것으로, 더욱 구체적으로는 실제 영상 획득 장치에서 영상을 수신하고, 상기 수신한 영상 내에서 패턴 데이터베이스(DB)에 등록된 패턴을 검출하고, 검출된 패턴의 영상 영역 및 패턴 식별자를 인식하고, 검출된 패턴에 일치되도록 콘텐츠를 합성하여 재구성된 영상 프레임을 출력하는 것을 특징으로 한다.

특히, 본 발명은 수신한 영상에서 패턴이 한번 검출이 되면, 그 이후부터는 패턴 검출 과정을 중단하고 빠른 속도로 동작하는 특징점 추적 알고리즘을 사용하여 모바일 기기에서의 증강공간을 제공하는 가속 장치에 관한 것이다.

일반적으로 실제(REAL) 영상에 기반을 두면서 가상의 입체 콘텐츠를 표현하는 방법은, 정형화된 형태의 패턴을 사용하는 방법과 임의의 패턴을 사용하는 방법으로 나누어진다.

정형화된 형태의 패턴을 사용하면 실영상에서 패턴을 인식하는 절차가 빠르게 수행되는 장점을 가지는 반면, 이러한 패턴을 미리 실제 물체의 표면에 부착해야 하는 단점도 있다.

이와 같은 정형화된 형태의 패턴을 사용하는 문제점을 해결하기 위하여, 임의의 형태를 가진 패턴을 인식하는 방법이 많이 사용된다.

그러나, 임의의 형태를 가진 패턴을 실영상으로부터 인식하는 과정에서는 정형화된 형태의 패턴을 인식하는 과정보다 계산량이 많아 수행 속도가 느리게 되는 문제점이 있었다.

본 발명은 상기 문제점을 해결하기 위한 것으로서, 임의의 형태의 패턴을 인식하여 증강공간을 제공하는 과정에서 발생되는 특징점 추출과정과 특징점 매칭 과정의 많은 계산량을 감소시키는 것이 가능한 증강공간 제공 가속 장치를 제공하는 것을 목적으로 한다.

이를 위해, 본 발명은 연속되는 실영상에 대하여 최초로 패턴이 인식된 후에는 이후의 실영상에서는 인식된 패턴의 특징점들을 빠른 추적 기법을 사용하여 추적하도록 하는 증강공간 제공 가속 장치를 제공하는 것을 목적으로 한다.

이를 통하여 본 발명은 모바일 기기에서의 증강공간을 가속화하여 제공하는 것이 가능한 증강공간 제공 가속 장치를 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 모바일 기기에서 증강현실 콘텐츠를 표현하는 증강현실 제공 가속 장치에 있어서, 입력되는 패턴 영상에서 패턴 특징점을 추출하여 패턴 데이터베이스(DB)를 생성하는 패턴 등록 장치, 임의의 실영상을 획득하는 실영상 획득 장치, 상기 실영상 획득 장치로부터 전달된 실영상에서 패턴 인식을 하여 패턴의 특징점을 취득하는 패턴 인식 장치, 상기 실영상 획득 장치로부터 전달된 실영상에서 상기 패턴 인식 장치를 통하여 취득된 매칭된 패턴의 특징점을 추적하는 패턴 추적 장치, 상기 패턴 추적 장치에서 추적된 특징점 정보를 이용하여 패턴의 영역 및 위치, 각도를 판단하고 이를 토대로 합성영상을 생성하는 합성영상 생성 장치, 상기 합성영상 생성 장치를 통하여 생성된 합성영상을 출력하는 합성영상 출력 장치를 포함하고, 상기 패턴 등록 장치에 등록된 패턴을 참조하여 상기 패턴 인식 장치에서 한번 인식된 패턴의 경우 상기 패턴 인식 장치를 거치지 않고 상기 패턴 추적 장치를 통하여 패턴을 추적하는 것을 특징으로 한다.

또한, 상기 패턴 추적 장치는 상기 패턴 인식 장치를 통하여 패턴의 인식이 성공하게 되었을 경우에 작동하는 것을 특징으로 한다.

이때, 상기 패턴 추적 장치는 정확한 패턴 추적을 위하여 추적 중인 특징점의 전체 개수 및 사분면에 존재하는 개수에 따라 작동하는 것이 바람직하다.

본 발명에 따른 증강공간 제공 가속 장치에 의하면, 임의의 형태의 패턴을 인식하여 증강공간을 제공하는 과정에서 발생되는 특징점 추출과정과 특징점 매칭 과정의 많은 계산량을 감소시키는 것이 가능하게 된다.

또한, 모바일 기기에서 입체 콘텐츠들을 사용한 증강현실을 가속화하여 사용자에게 제공하는 것이 다능하게 된다.

또한, 마커를 사용하지 않는 방식을 사용하므로 증강현실 구현 환경에 제약이 없어 실내외를 구분하지 않고 서비스가 가능하게 된다.

도 1은 본 발명의 일 실시예에 따른 패턴의 특징점 추적 기법을 적용한 패턴 인식 및 패턴 추적 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 패턴 인식 및 추적 과정에 대한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 패턴 인식 및 추적 과정에서 패턴의 추적 과정의 성공 여부를 판단하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 패턴의 추적 과정의 성공 여부를 판단하는 과정에 대한 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 또한, 본 발명의 실시예는 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다.

이하, 첨부된 도면을 참조하여 상기와 같은 본 발명의 모바일 기기에서의 증강공간 제공 가속 장치에 대하여 구체적으로 설명하기로 한다.

본 발명의 모바일 기기에서의 증강공간 제공 가속 장치는 실영상 획득 장치(100), 패턴 등록 장치(200), 패턴 인식 장치(400), 패턴 추적 장치(500), 합성영상 생성 장치(600), 합성영상 출력 장치(700)를 포함한다.

도 1은 본 발명의 모바일 기기에서의 증강공간 제공 가속 장치에 대한 일 실시예의 구성도이다.

도 1에 도시된 바와 같이, 패턴 등록 장치(200)에서는 증강공간 제공을 하기에 앞서 패턴 영상들로부터 패턴 DB를 구축하게 된다.

구체적으로는, 패턴 등록 장치(200)에서는 사용자가 입력하는 다양한 형태의 패턴 영상들을 입력받을 수 있는 인터페이스 환경을 제공하며, 입력된 패턴 영상을 분석하여 특징점을 취득하게 된다. 이를 통해 취득된 특징점과 패턴을 구별하기 위한 패턴의 고유번호(ID)를 패턴 데이터베이스(DB, 210)에 저장하여 패턴 DB를 구축하게 된다.

패턴 등록 장치(200)에 입력되는 영상은 사용자가 임의로 구성할 수 있으며 영상의 크기 및 내용은 다양한 형태로 구형될 수 있다. 패턴 등록 장치(200)에 구축된 패턴 DB는 패턴 인식 장치(400)에서 패턴 인식을 위한 입력정보(220)로 사용된다.

이와 같은 패턴 등록 장치(200)의 패턴 등록 절차는 증강공간 실현에 앞서 완료되도록 함이 일반적이나 필요에 따라 증강공간 실현 중에도 패턴을 등록 또는 삭제하는 등의 수정을 가할 수도 있다.

실영상 획득 장치(100)에서는 증강공간의 실현을 위하여 실(REAL) 영상을 패턴 인식 장치(400)와 패턴 추적 장치(500)로 입력(110)하게 된다.

패턴 인식 장치(400)에서는 실영상을 분석하여 특징점을 취득하고 이를 패턴 DB(210)에 구축되어 있는 패턴의 특징점과 비교하게 된다. 이와 같은 비교 과정을 통하여 매칭된 특징점 집합을 얻게 되고, 이를 계산하여 패턴의 ID 및 패턴의 영역 및 위치, 각도 정보를 출력하게 된다.

이때 패턴 인식 장치(400)를 통해 매칭된 특징점 집합, 예를 들어 패턴의 ID 및 패턴의 영역 및 위치, 각도 정보는 패턴 추적 장치(500)로 전달된다.

패턴 추적 장치(500)는 먼저 패턴 인식 장치(400)를 통하여 패턴의 인식이 성공하게 되었을 경우에 작동하게 된다. 패턴 추적 장치(500)는 패턴 인식 장치(400)에서 패턴 인식이 성공하여 출력되는 매칭된 특징점 집합을 입력으로 받아 실영상에서 매칭된 특징점을 추적하고 추적을 통하여 특징점의 위치 정보가 갱신된 특징점 집합을 얻을 수 있다.

패턴 인식 장치(400)에서 패턴 인식이 성공하게 되면 다음 획득되는 실영상에 대해서는 패턴 인식 과정을 생략하고 패턴 추적 장치(500)는 입력으로 들어오는 매칭된 특징점 집합의 특징점을 추적하게 되며 추적을 통하여 특징점의 위치 정보가 갱신된 특징점 집합과 이를 사용하여 얻어진 패턴의 영역 및 위치, 각도 정보를 출력하게 된다.

이와 같은 과정을 아래의 수식을 통하여 구체적으로 설명하기로 한다.

연속적으로 입력되는 실영상의 t번째 영상에서 패턴 인식 장치(400)를 통하여 패턴 인식이 성공하게 되면 n개의 매칭된 특징점 집합을 얻을 수 있으며 이를 식(1)과 같이 나타낼 수 있다.

패턴 인식이 성공되면 다음으로 입력되는 t+1번째 실영상에 대하여 패턴 추적 장치(500)는 t번째 실영상에서 매칭된 특징점 집합을 입력으로 받아 t+1번째 실영상에서 매칭된 특징점 집합의 특징점을 추적하여 위치 정보가 갱신된 특징점 정보를 얻게 되는데 갱신된 특징점 집합을 식(2)와 같이 나타낼 수 있다.

만약 t번째 실영상에서 매칭된 특징점 집합의 일부 특징점이 t+1번째 실영상에서 추적이 실패하였다면 식(2)에서와 같이 null 값을 가지게 된다.

이와 같이 특징점의 추적과정 중 특징점의 집합에서 추적에 실패하여 null 값을 가진 특징점을 제거한 특징점 m개를 가지는 특징점 집합을 얻게 되며 식(3)과 같이 나타낼 수 있다.

위와 같이 위치 정보가 갱신된 특징점 집합을 사용하여 계산된 패턴의 영역과 위치, 각도 정보를 출력(310)하게 된다.

합성영상 생성 장치(600)은 패턴 인식 장치(400) 및 패턴 추적 장치(500)에서 출력되는 패턴의 영역 및 패턴의 위치, 각도에 대한 정보(310)를 종합하여 증강공간 표현을 위하여 패턴과 관련된 입체 콘텐츠를 실영상과 합성한 다음 이 합성영상(610)을 합성영상 출력 장치(700)로 전달하게 된다.

합성영상 출력 장치(700)는 합성영상 생성 장치(600)에서 생성된 합성영상(610)을 출력한다.

도 2는 본 발명에 따른 패턴 인식 및 추적 과정에 대한 흐름도이다.

도 2에 도시된 바와 같이, 본 발명에 따른 모바일 기기에서의 증강공간 제공 가속 장치는 먼저 패턴 등록(301) 과정을 거치게 되고 실영상 획득(302)을 통하여 연속적인 영상을 입력 받아 패턴 인식 및 패턴 추적 과정을 거치게 된다.

획득된 실영상은 패턴 인식(303) 과정을 거쳐 패턴 인식이 성공하였는지를 판단(304)하게 된다.

패턴 인식(303)이 성공되지 않았다면 다시 실영상 획득(302) 과정을 거쳐 패턴 인식(303) 과정을 반복하게 된다.

패턴 인식(304)이 성공하였다면 일단 합성영상 생성(308) 과정을 통하여 합성영상을 출력(309)하게 되고 다음 획득되는 실영상에 대해서는 패턴 인식(303) 과정을 생략하고 패턴 추적(306) 과정을 거치게 된다.

다음으로 패턴 추적(306)이 성공하였는지를 판단(307)하게 되고 성공하였다면 합성영상 생성(308) 단계로 진행하게 되며 패턴 추적(306) 과정을 반복하게 된다.

그러나, 패턴 추적이 실패한 경우에는 패턴 추적 과정을 중단하고 패턴 인식(303) 과정으로 돌아가게 된다.

도 3은 본 발명에 따른 패턴 추적의 성공 여부를 판단하기 위한 과정의 흐름도이다.

도 3에 도시된 바와 같이, 패턴 추적 과정에서 특징점 집합의 특징점 중에서 추적에 실패하는 특징점들이 점차 발생할 수 있다.

추적에 실패하는 특징점의 개수가 늘어나게 되면 정확한 패턴의 영역 및 위치, 각도를 추정할 수 없게 되고 이는 올바른 증강공간을 제공할 수 없게 한다.

이러한 문제점을 해결하고자 패턴의 추적 과정을 지속해야 하는지의 여부는 세 가지 판단 절차를 거쳐서 결정된다.

첫 번째, 추적중인 특징점의 개수는 총 8개 이상(510)이어야 한다. 만약 추적에 실패하여 추적중인 특징점의 개수가 8개 이하인 경우는 패턴 추적이 실패한 것으로 한다.

두 번째, 패턴의 영역의 사분면에 추적중인 특징점이 2개씩 분포하고 있는가를 판단(530)한다. 단순히 8개 이상의 특징점을 추적하고 있다고 하여 패턴의 추적이 성공하였다고 할 수 없다.

이는 추적중인 패턴의 분포가 패턴 영역의 특정한 지역에만 국부적으로 분포하여 있을 수 있고 이러한 경우에도 정확한 패턴의 영역 및 위치, 각도를 얻을 수 없기 때문이다.

이러한 문제를 해결하고자 특징점 집합의 사분면 분포를 계산(520)하여 사분면에 추적중인 특징점이 2개 이상씩 분포하고 있는지(530)의 여부를 판단하게 된다. 패턴 영역의 사분면에 특징점이 모두 2개 이상씩 분포되어 있는 경우 패턴 추적이 성공(560)하였다고 판단한다.

세 번째, 패턴의 사분면 중 2개 미만의 특징점을 가지고 있는 사분면의 영역이 실영상 영역의 내부에 위치하는지(540)를 판단하게 된다. 두 번째 판단기준을 통과하지 못하였다고 하여도 그것으로 추적이 실패하였다고 할 수 없다.

그 이유는 패턴 영역의 사분면이 실영상 영역의 외부에 위치할 수 있기 때문이다. 실영상 영역의 외부에 있다는 것은 패턴 영역 내에 실영상 영역이 포함되지 않을 수 있으며 포함되어 있어도 포함된 영상의 영역은 작다는 것을 의미한다.

이 경우를 판단하기 위하여 만약 사분면 중 2개 미만의 특징점을 가지고 있는 영역이 실영상 영역 외부에 존재한다면 패턴 추적이 성공(560)하였다고 판단한다. 반면에 2개 미만의 특징점을 가진 영역이 실영상 영역의 내부에 존재하고 있다면 패턴의 추적이 실패(550)하였다고 판단한다.

도 4는 도면 3의 패턴의 사분면 분포를 통한 패턴 추적의 성공 실패를 판단하는 기준에 대한 구체적인 설명을 도시한다.

도 4에 도시된 바와 같이, 패턴의 사분면에 특징점이 2개 이상씩 분포한다는 것은 특징점 분포 예시(a),(b),(c),(d)를 통하여 설명하기로 한다. 이때 특징점은 X로 표기하였다.

여기서 패턴 영역의 사분면에 적어도 2개 이상의 특징점이 분포하는 경우인 예시(a),(b)는 추적이 성공한 것으로 판단한다. 그러나 예시(c),(d)와 같이 패턴 영역의 사분면 중 하나 이상의 영역에 특징점이 2개 이상 위치하지 않는 경우는 앞에서 언급한 세 번째 기준(540)을 적용하여 다시 한 번 특징점이 2개 이하인 사분면의 패턴 영역이 실영상 영역의 내부에 있는지 또는 외부에 있는지를 판단하여야 한다.

세 번째 기준에 대해서는 특징점 분포에 대한 예시(e),(f)를 통하여 설명하며 특징점이 2개 이하인 사분면의 영역을 음영으로 표기하였다.

또한 외부에 있다고 판단하는 기준은 패턴 영역의 사분면을 구분하는 9개의 정점이 실영상 영역의 외부에 존재하지를 판단하여 결정한다. 사분면을 구성하는 정점 중 실영상 영역의 외부에 위치하는 경우는 삼각형으로 표기하였다.

예시(e)와 같이 실영상 영역의 외곽선을 기준으로 오른쪽 하단에 표기된 패턴 영역의 사분면중 4사분면이 실영상 영역의 외부에 위치한다면 추적이 성공한 것으로 한다.

예시(f)와 같이 특징점이 2개 이하인 사분면의 영역이 존재하고 실영상 영역의 내부에 위치할 경우에는 추적이 실패한 것으로 판단한다.

이와 같이 추적 과정의 성공 여부를 판단하여 증강공간 제공을 위한 패턴의 영역과 위치, 각도 등을 정확하게 유지할 수 있도록 한다.

이러한 본 발명에 의한 예로는 모바일 기기를 사용하여 실외환경에서 이동하면서 대학의 캠퍼스 규모의 일정 구역 내부의 건물에 대한 정보를 얻을 수 있는 증강현실을 제공하는 시스템을 구현할 수 있을 것이다.

먼저 건물 외관의 특정 부분을 패턴으로 하고 이를 사용하여 패턴 DB를 구축한다. 사용자는 모바일 기기를 사용하여 이동하면서 캠퍼스 내부의 건물을 모바일기기에 장착된 실영상 획득 장치인 카메라로 비추어 패턴 DB에 등록된 패턴과 동일한 건물 외관이 포함되어 있는 실영상 획득한다면 패턴 인식 및 추적이 성공하게 되고 인식된 패턴과 관련된 건물의 용도, 명칭, 높이, 넓이 등의 부가정보를 그래픽으로 실영상에서의 패턴의 위치 및 각도에 알맞게 표현하여 제공하게 된다.

본 발명은 실외환경에서 이동하면서 사용할 수 있는 모바일 기기에서의 증강현실 제공 장치에 이용될 수 있다.

이와 같이 첨부된 도면을 참조하여 본 발명에 따른 증강현실 제공 가속 장치을 설명하였으나, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이러한 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 실영상 획득 장치
200: 패턴 등록 장치
400: 패턴 인식 장치
500: 패턴 추적 장치
600: 합성영상 생성 장치
700: 합성영상 출력 장치

Claims (3)

1. 모바일 기기에서 증강현실 콘텐츠를 표현하는 증강현실 제공 가속 장치에 있어서,
   입력되는 패턴 영상에서 패턴 특징점을 추출하여 패턴 데이터베이스(DB)를 생성하는 패턴 등록 장치,
   임의의 실영상을 획득하는 실영상 획득 장치,
   상기 실영상 획득 장치로부터 전달된 실영상에서 패턴 인식을 하여 패턴의 특징점을 취득하는 패턴 인식 장치,
   상기 실영상 획득 장치로부터 전달된 실영상에서 상기 패턴 인식 장치를 통하여 취득된 매칭된 패턴의 특징점을 추적하는 패턴 추적 장치,
   상기 패턴 추적 장치에서 추적된 특징점 정보를 이용하여 패턴의 영역 및 위치, 각도를 판단하고 이를 토대로 합성영상을 생성하는 합성영상 생성 장치,
   상기 합성영상 생성 장치를 통하여 생성된 합성영상을 출력하는 합성영상 출력 장치를 포함하고,
   상기 패턴 등록 장치에 등록된 패턴을 참조하여 상기 패턴 인식 장치에서 한번 인식된 패턴의 경우 상기 패턴 인식 장치를 거치지 않고 상기 패턴 추적 장치를 통하여 패턴을 추적하는 것을 특징으로 하는 증강현실 제공 가속 장치.
   
2. 제1항에 있어서,
   상기 패턴 추적 장치는 상기 패턴 인식 장치를 통하여 패턴의 인식이 성공하게 되었을 경우에 작동하는 것을 특징으로 하는 증강현실 제공 가속 장치.
   
3. 제1항 또는 제2항에 있어서,
   상기 패턴 추적 장치는 정확한 패턴 추적을 위하여 추적 중인 특징점의 전체 개수 및 사분면에 존재하는 개수에 따라 작동하는 것을 특징으로 하는 증강현실 제공 가속 장치.

Images