KR101248736B1

KR101248736B1 - 도서형 증강현실에서 페이지 전환에 따른 증강현실 방법 및 시스템, 이를 구현하기 위한 증강현실 처리장치

Info

Publication number: KR101248736B1
Application number: KR1020100010803A
Authority: KR
Inventors: 정진; 소경숙
Original assignee: 에스케이플래닛 주식회사
Priority date: 2010-02-05
Filing date: 2010-02-05
Publication date: 2013-03-28
Also published as: KR20110091126A

Abstract

본 발명은 도서형 증강 현실에서 페이지의 특징점을 통해 각 페이지 전환을 단계별로 인식하고, 인식한 페이지 전환 상태에 따라 실감형 콘텐츠에 액션을 지정하여 렌더링(rendering)함으로써, 사용자가 인쇄 서적의 페이지를 전환해도 이전 페이지에서 생성된 실감형 콘텐츠가 삭제되지 않고 계속 유지되어, 각 페이지의 콘텐츠를 상호 비교할 필요가 있는 경우 효과적으로 이용이 가능할 뿐만 아니라, 기존에 비해 보다 풍부한 증강 현실을 구현하는 것이 가능하다.

Description

도서형 증강현실에서 페이지 전환에 따른 증강현실 방법 및 시스템, 이를 구현하기 위한 증강현실 처리장치{AUGMENTED REALITY BOOK STATION BASED AUGMENTED REALITY SYSTEM AND METHOD, AUGMENTED REALITY PROCESSING APPARATUS FOR REALIZING THE SAME}

본 발명은 증강 현실을 이용한 인쇄 서적의 실감형 콘텐츠 표시 방법 및 장치에 관한 것으로서, 더욱 상세하게는 증강 현실이 구현된 인쇄 서적에서 마커를 인식하거나 페이지에서 손의 위치를 인식하여 해당하는 실감형 콘텐츠를 중첩 표시하는 동안, 페이지가 전환되면 이전 페이지에 의해 생성된 실감형 콘텐츠에 액션을 지정하여 현실감을 증대시킨 증강현실 방법 및 이를 구현하기 위한 증강현실 처리장치 및 시스템에 관한 것이다.

일반적으로, 사람들은 종이에 글자나 그림이 인쇄된 기존의 아날로그 책(인쇄 서적) 형태를 유지하면서 멀티미디어나 상호작용 프로그램을 함께 즐기기를 원한다. 그러나, 기존의 책들은 멀티미디어 자료나 상호작용 프로그램과 같은 자료를 제공할 수 없으므로, 책에 부록으로 CD 또는 테이프를 첨부하여 제공하였다.

그런데, 기존의 CD 또는 테이프를 이용한 제공 방식은 컴퓨터나 별도의 플레이어를 이용하여 재생시켜야 하므로 사용상의 번거로움이 따르며, 원하는 부분을 바로 찾아가는 것이 신속하지 못하고 불편하다.

최근에는 기존의 아날로그 책(인쇄 서적)의 개념과는 성격을 달리하는 전자 책을 선보이고 있다.

전자 책은 인쇄 서적의 내용을 XML, 디지털 이미지, 멀티미디어 등으로 제작해 컴퓨터나 PDA, 휴대폰과 같은 단말기 화면을 통해 볼 수 있는 디지털 책으로, 기존 인쇄 서적에 비해 소장의 편리함, 이동의 편리함 등의 장점이 있지만, 인쇄 서적이 갖고 있는 다양한 장점을 대체하지는 못하기 때문에 그 이용도가 확대되지 못하고 있다.

한편, 컴퓨터 그래픽, 컴퓨터 비전 등의 기술을 기반으로 연구되고 있는 증강 현실(Augmented Reality: AR)이 발전함에 따라, 인쇄 서적에도 증강 현실을 구현하여 기존의 인쇄 서적과 디지털 콘텐츠를 결합한 책이 제작되고 있다.

증강 현실이라 함은 단순히 만들어 놓은 실감형 콘텐츠(예컨대, 가상 객체)를 사전에 정의해 놓은 인쇄 서적의 특정 위치에 합성하여 현실의 모습에 보다 풍부한 표현을 가능하게 하는 기술이다.

이러한 증강 현실이 구현되는 도서형 증강 현실의 경우, 실감형 콘텐츠는 인쇄 서적의 페이지에 따라 지정되어 있으며, 페이지를 넘길 때마다 해당 페이지의 실감형 콘텐츠를 실제 영상에 가상 이미지로 합성시킴으로써 실제 환경에 대한 실제 영상을 증강시킨 비전(vision)을 사용자에게 제공하고 있다.

그런데, 기존 도서형 증강 현실에서는 인쇄 서적의 페이지를 넘기거나 해당 페이지에서 다음 자료로 넘어갈 때, 이전 실제 영상에 대한 실감형 콘텐츠가 사라지게 된다.

사용자의 입장에서는 이전 콘텐츠가 사라지게 되므로 각 페이지의 콘텐츠를 상호 비교할 필요가 있는 경우 불편함을 느낄 수 있으며, 콘텐츠간 연속성이 없어 현실감이 떨어지는 문제점이 있다.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 페이지의 특징점을 통해 각 페이지를 전환하는 동작에 대한 일련의 상태 변화를 인식하고 인식한 상태 변화에 따라 실감형 콘텐츠에 액션을 지정하여 렌더링(rendering)함으로써, 인쇄 서적의 페이지를 전환해도 이전 페이지에서 생성된 실감형 콘텐츠가 삭제되지 않고 계속 유지되어 기존보다 풍부한 증강 현실을 증대시킬 수 있는 증강현실 방법 및 시스템, 이를 구현하기 위한 증강현실 처리장치를 제공함에 그 목적이 있다.

이를 위하여, 본 발명의 제1 측면에 따르면, 인쇄 서적 기반의 증강 현실 영상에 인쇄 서적의 페이지 전환을 인식하여 실감형 콘텐츠를 제공하는 증강현실 시스템에 있어서, 상기 인쇄 서적을 촬영하여 실제 영상을 획득하는 영상 획득 장치; 상기 영상 획득 장치를 통해 얻은 실제 영상에서 페이지 특징점을 추적하여 인쇄 서적의 페이지 전환을 인식하고, 페이지 전환 상태에 따라 미리 정의된 액션을 수행하는 실감형 컨텐츠를 렌더링하며, 그 렌더링된 실감형 컨텐츠와 상기 실제 영상을 합성하여 상기 증강 현실 영상을 생성하는 증강현실 처리장치; 및 상기 증강현실 처리장치에서 합성된 증강 현실 영상을 표시하는 표시 장치를 포함할 수 있다.

본 발명의 제2 측면에 따르면, 인쇄 서적 기반의 증강 현실 영상에 인쇄 서적의 페이지 전환을 인식하여 실감형 콘텐츠를 제공하는 증강현실 처리장치에 있어서, 상기 인쇄 서적을 촬영하여 얻은 실제 영상으로부터 해당 페이지의 특징점을 인식하여 추적하는 특징점 트랙킹부; 상기 특징점 트랙팅부를 통해 추적한 페이지 특징점에 따라 상기 인쇄 서적의 페이지 전환을 인식하고, 인식한 페이지의 전환 상태에 따라 미리 정의된 액션 명령을 검출하는 주 제어부; 및 상기 주 제어부에서 검출한 액션 명령을 기초로 상기 실감형 콘텐츠를 렌더링하여 상기 렌더링된 실감형 콘텐츠와 상기 실제 영상을 합성하는 렌더링부를 포함할 수 있다.

본 발명의 제3 측면에 따르면, 인쇄 서적 기반의 증강 현실 영상에 인쇄 서적의 페이지 전환을 인식하여 실감형 콘텐츠를 제공하는 증강현실 방법에 있어서, (a) 상기 인쇄 서적을 영상 획득 장치로 촬영하여 현실 환경에 대한 실제 영상을 획득하는 단계; (b) 상기 영상 획득 장치를 통해 얻은 인쇄 서적의 실제 영상에서 해당 페이지의 페이지 특징점을 인식하여 추적하는 단계; (c) 상기 페이지 특징점으로 상기 인쇄 서적의 페이지 전환을 인식하는 단계; (d) 상기 페이지의 전환 상태에 따라 실감형 콘텐츠에 수행할 미리 정의된 액션 명령을 콘텐츠 저장부로부터 검출하는 단계; 및 (e) 상기 검출한 액션 명령을 기초로 상기 실감형 콘텐츠를 렌더링하여 상기 실제 영상에 합성시킨 후 표시 장치를 통해 하나의 영상으로 표시하는 단계를 포함할 수 있다.

본 발명에 따르면, 증강 현실을 구현한 인쇄 서적에서 페이지를 넘기는 동작에 의해 페이지 전환을 인식할 수 있으며, 인식한 페이지의 상태에 따라 미리 정의해 둔 액션 동작을 실감형 콘텐츠에 반영함으로써 콘텐츠간 인터렉션이 가능하고 기존 증강 현실보다 현실감을 증대시킨 효과가 있다.

도 1은 본 발명의 실시예에 따른 도서형 증강현실에서 페이지 전환에 따른 실감형 콘텐츠 제공 시스템을 나타낸 구성도.
도 2는 본 발명의 실시예에 따른 도서형 증강 현실에 적용되는 마커의 종류를 나타낸 도면.
도 3 및 도 4는 본 발명의 다양한 실시예에 따라 인쇄 서적의 페이지 특징점으로 페이지 식별 마커를 이용한 예시 화면.
도 5는 본 발명의 도서형 증강 현실을 이용하여 실감형 콘텐츠를 제공하는 방법을 설명하기 위한 흐름도.
도 6은 본 발명의 도서형 증강 현실에서 페이지 전환에 따라 실감형 콘텐츠를 제공하는 방법을 설명하기 위한 흐름도.
도 7 내지 도 10은 도 6의 방법에서 페이지 전환을 인식/판단하는 과정을 단계별로 설명하기 위한 도면.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.

본 발명에 대한 구체적인 설명을 하기에 앞서, 증강 현실을 구현하기 위한 기본적인 기술에 대하여 설명한다.

증강 현실은 카메라를 통해 촬영된 실제 피사체나 특정 부위에 대하여 미리 정해 놓은 정보 또는 가상 객체(이하, '실감형 콘텐츠'라 통칭함)를 화면 상에 합성하여, 부가적인 정보를 제공하거나 또는 실제 동작하는 것처럼 화면 상에 표시하여 현실을 보다 풍부하게 묘화하는 비전(vision) 기술이다.

증강 현실을 구현하기 위한 기본적인 기술은, 대상 위치 인식(Recognition) 기술, 인식된 지점의 트랙킹(tracking) 기술, 합성 기술을 포함한다. 즉, 인식 기술과 트랙킹 기술로 파악된 위치에 미리 정해둔 실감형 콘텐츠를 합성하는 방식으로 구현될 수 있다.

더욱 상세하게, 합성 기술은 실제 환경에 대한 영상에서 대상 위치의 인식 및 트랙킹에 의해 합성 위치를 선정하고, 해당 위치에서의 기울기, 방향 등을 추정한 다음, 실감형 콘텐츠를 기울기, 방향 등에 따라 렌더링하여 정확한 위치에 위치시키는 과정으로 이루어질 수 있다.

본 발명은 이러한 합성 기술 분야에 해당하는 기술로, 현실 환경이 인쇄 서적으로 한정되고 인쇄 서적에서 대상 위치를 인식하고 트랙킹하여 인쇄 서적의 특정 페이지에 실감형 콘텐츠를 합성하는 기술로 볼 수 있다.

이하의 발명에서는 이해의 편의상 실감형 콘텐츠를 2차원 또는 3차원적인 가상 객체로 한정하여 설명하지만, 이에 한정되지 않고 특정 페이지에서 단어나 그림 또는 해당 문구에 대한 세부 설명을 제공하는 부가 정보일 수도 있다.

도 1은 본 발명의 실시예에 따른 도서형 증강현실에서 페이지 전환에 따른 증강현실 시스템을 나타낸 구성도이고, 도 2는 본 발명의 실시예에 따른 도서형 증강 현실에 적용되는 마커의 종류를 나타낸 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 증강현실 시스템(100)은 현실 환경에 존재하는 인쇄 서적(110)과, 인쇄 서적(110)의 실제 영상을 획득하는 영상 획득 장치(120), 인쇄 서적(110)의 페이지 전환을 인식하고 인식한 페이지의 상태에 따라 실감형 콘텐츠를 렌더링하여 증강현실 영상을 생성하는 증강현실 처리장치(130), 및 증강현실 처리장치(130)에서 합성된 증강현실 영상을 표시하는 표시 장치(140)를 포함할 수 있다.

인쇄 서적(110)은 각 페이지를 식별할 수 있는 페이지 특징점(112)을 갖는다. 이 페이지 특징점(112)은 증강현실 처리장치(130)에 미리 데이터베이스화된다.

페이지 특징점(112)은 도 2의 (a)에 도시된 바와 같이 해당 페이지를 식별할 수 있는 기하학 문양이나 패턴이 포함되어 해당 페이지에 인쇄된 페이지 식별 마커일 수 있으며, 또는 해당 페이지에 포함된 글자나 그림 등의 이미지를 이용한 자연 특징점(Nature Feature point)일 수 있다.

도 3 및 도 4는 페이지 특징점(112)이 마커인 경우를 도시한 예시 화면이다.

도 3의 일 예에 따르면, 인쇄 서적(110A)에서, 페이지 식별 마커는 각 페이지의 하단 좌우에 하나씩 각각 배치할 수 있다. 즉, 1페이지, 3페이지, 5페이지 등 홀수 페이지에 부여된 페이지 식별 마커(112-1)는 하단 좌측에 배치하고, 2페이지, 4페이지, 6페이지 등 짝수 페이지에 부여된 페이지 식별 마커(112-2)는 하단 우측에 배치할 수 있다.

도 4의 다른 예에 따르면, 인쇄 서적(110B)은 페이지 식별 마커를 각 페이지에 두 개 이상 배치함으로써 각 페이지를 인식하고 해당 페이지의 상태를 인식하는데 보다 정확하게 트랙킹할 수 있다. 즉, 홀수 페이지에 부여된 페이지 식별 마커(112-1, 112-3)는 좌측 상하단에 각각 두 개 배치하고, 짝수 페이지에 부여된 페이지 식별 마커(112-2, 112-4)는 우측 상하단에 각각 배치할 수 있다. 이때, 하나의 페이지에서 배치된 페이지 식별 마커간에도 상하 위치에 따라 식별이 가능하도록 구비하는 것이 좋다.

한편, 인쇄 서적(110)에는 특정 페이지에서 마커(marker) 인식을 이용하여 실감형 콘텐츠를 구현하는 방법과, 마커리스(marker-less) 인식을 이용하여 실감형 콘텐츠를 구현하는 방법 등에 따라, 선택적으로 데이터 마커가 부여될 수 있다.

데이터 마커는 도 2의 (b)에 도시한 바와 같이 검정색 테두리 안에 기하학 문양이나 패턴을 사용한 기하 마커일 수 있으며, 이에 한정되지 않고 색상이나 3차원 객체를 이용할 수 있다. 이렇게 데이터 마커를 이용하면 실감형 콘텐츠를 합성할 위치를 정확하게 지정할 수 있다.

다시 도 1을 참조하면, 영상 획득 장치(120)는 인쇄 서적(110)을 포함하는 현실 환경에 대한 영상(이하, 실제 영상)을 획득하여 이를 증강현실 처리장치(130)에 전달한다. 이 영상 획득 장치(120)는 인쇄 서적(110)으로부터 일정 거리 이격된 상태에서 고정될 수 있다.

증강현실 처리장치(130)에서 특징점 트랙킹부(132)는 영상 획득 장치(120)를 통해 얻은 실제 영상으로부터 각 페이지의 특징점(이하, 페이지 특징점)을 검출하고, 페이지 특징점의 크기 및 위치를 추적(tracking)하여 이로부터 페이지의 전환 상태를 판별하는 데 기준이 될 데이터로 제공한다.

특징점 트랙킹부(132)는 페이지 특징점이 미리 정의되어 해당 페이지에 인쇄된 페이지 식별 마커인 경우 마커 기반 기술에 기초하여 인식하고, 마커없이 해당 페이지에 포함된 이미지인 경우에는 자연 특징점(Nature Feature point: NF) 방식을 이용하여 인식한다.

콘텐츠 저장부(138)는 인쇄 서적(110)에 포함된 페이지 특징점 정보를 포함한 특징점 DB(138a)와, 각 페이지에 해당하는 실감형 콘텐츠로서 가상 객체에 관한 정보를 저장한 가상 객체 DB(138b)를 포함할 수 있다.

구체적으로, 특징점 DB(138a)는 각 페이지에 부여되는 페이지 식별 마커나 자연 특징점에 관한 정보, 및 데이터 마커 등이 포함될 수 있다.

가상 객체 DB(138b)는 가상 객체의 종류별, 동작별 등에 따라 세부적으로 구분될 수 있다. 가상 객체의 종류에는 인물, 동물, 식물, 물품 등이 있으며, 동작은 페이지의 넘기기, 페이지 접기 등 사용자 행위에 따른 가상 객체의 뛰기, 일어서기, 앉기, 뛰어넘기 등이 있을 수 있다. 각 동작에 따라 가상 객체의 제스쳐 모양이 다양하게 변경되므로, 동작별로 가상 객체의 제스쳐 모양과 제스쳐를 수행하도록 명령하는 액션 지령에 관한 정보가 저장될 수 있다.

주 제어부(134)는 각 구성요소의 동작을 제어하며, 특징점 트랙킹부(132)를 통해 인식한 페이지와 매칭되는 실감형 콘텐츠를 콘텐츠 저장부(138)로부터 검출하여 렌더링부(136)로 출력한다.

특히, 본 발명의 실시예에 따른 주 제어부(134)는 특징점 트랙킹부(132)에서 추적한 페이지 특징점의 크기 및 위치 정보로부터 페이지의 전환 상태를 인식하는 페이지 상태 인식부를 포함할 수 있다.

이 페이지 상태 인식부는 현실 환경에서 사용자가 인쇄 서적의 페이지를 전환하게 되면, 전환하지 않은 페이지는 인식이 가능하나 전환한 페이지는 넘기는 동작에 의해 인식이 불가능하게 되는 것을 이용하여 페이지의 전환을 인식할 수 있다.

일 예로, 각 페이지에 페이지 식별 마커가 배치되고 오른쪽의 페이지(2페이지)를 왼쪽으로 넘기는 경우를 예로 들면, 넘기는 순간, 2페이지의 페이지 식별 마커가 비틀어져 그 크기가 변경되거나 위치 또한 변하게 되고, 이후 2페이지가 완전히 넘겨지면 2페이지의 페이지 식별 마커는 시야에서 사라지고 다음 4페이지의 새로운 페이지 식별 마커가 생성된다.

이에 따라, 하나의 페이지를 넘기는 동작에 의해 변경되는 페이지의 상태는, 초기에 1페이지와 2페이지가 완전히 인식되는 제1 상태(도 7 참조), 1페이지가 인식되고 2페이지가 뒤틀리는 제2 상태(도 8 참조), 4페이지가 나타나는 제3 상태(도 9 참조), 3페이지와 4페이지가 완전하게 인식되는 제4 상태(도 10 참조)로 구분할 수 있다.

이러한 일련의 상태 변화를 페이지 상태 인식부에서 인식하여 페이지의 상태를 파악함으로써, 주 제어부(134)는 이전 페이지에 의해 생성된 가상 객체에 페이지의 상태에 매칭되는 액션을 지령하도록 콘텐츠 저장부(138)로부터 해당 액션 명령을 검출한다.

렌더링부(136)는 주 제어부(134)로부터 액션 명령이 인가되면 콘텐츠 저장부(138)로부터 가상 객체 및 해당 액션에 해당하는 제스쳐 동작을 불러 와, 가상 객체를 영상 획득 장치(120)에서 획득한 실제 영상에 대하여 렌더링한다. 이후 렌더링한 가상 객체를 실제 영상에 합성하여 증강 현실 영상을 생성하고, 이를 표시 장치(140)로 출력한다.

표시 장치(140)는 렌더링부(136)에서 가상 객체와 실제 영상이 합성된 증강현실 영상을 시각적으로 표시하여 사용자에게 제공한다.

이러한 구성으로 본 발명의 실시예에 따른 증강현실 시스템(100)은, 증강현실 처리장치(130)이 특징점 트랙킹부(132) 및 주 제어부(134)를 통해 각 페이지의 특징점을 추적함으로써 각 페이지를 넘기는 동작에 대한 일련의 페이지 전환 상태 즉, 제1 상태, 제2 상태, 제3 상태, 제4 상태를 단계별로 인식하고, 렌더링부(136)에서 페이지의 전환 상태에 따라 미리 정의해 둔 액션을 실감형 콘텐츠에 적용하도록 렌더링한다. 따라서, 본 발명은 현실 환경에서 실제 객체인 인쇄 서적의 상태가 변경되면 가상 객체에 반영하여 새로운 액션을 수행하도록 함으로써 상태 변경 전에 생성된 실감형 콘텐츠와의 인터렉션이 가능하게 되었다.

그럼, 이하에서는 상기의 시스템 구성을 이용하여 도서형 증강 현실을 구현하는 방법에 대하여 구체적으로 살펴본다.

도 5는 본 발명의 도서형 증강 현실을 이용하여 실감형 콘텐츠를 제공하는 방법을 설명하기 위한 흐름도이고, 도 6은 본 발명의 도서형 증강 현실에서 페이지 전환에 따라 실감형 콘텐츠를 제공하는 방법을 설명하기 위한 흐름도이며, 도 7 내지 도 10은 도 6의 방법에서 페이지 전환을 인식/판단하는 과정을 단계별로 설명하기 위한 도면이다.

참고로, 도 5 및 도 6의 방법을 설명할 때 도 1에 도시한 실감형 콘텐츠 제공 시스템의 구성요소와 연계하여 함께 설명하기로 한다.

먼저 도 5를 참조하면, 본 발명의 실시예에 따른 도서형 증강 현실의 구현 방법은, 처음 S100 단계에서, 영상 획득 장치(120)를 이용하여 인쇄 서적을 촬영한다.

인쇄 서적(110)에는 각 페이지를 식별할 수 있는 페이지 특징점이 부여된다. 페이지 특징점은 앞서 설명한 바와 같이 미리 정의된 패턴을 포함하며 해당 페이지에 인쇄된 페이지 식별 마커이거나, 또는 페이지에 포함된 이미지로 페이지를 인식하는 자연 특징점일 수 있다.

그리고, 인쇄 서적(110)에는 특정 페이지에서 마커(marker) 인식을 이용하여 실감형 콘텐츠를 구현하는 방법 또는 마커리스(marker-less) 인식을 이용하여 실감형 콘텐츠를 구현하는 방법 등에 따라 선택적으로 데이터 마커가 부여될 수 있다.

다음 S110 단계에서, 특징점 트랙킹부(132)는 영상 획득 장치(120)로부터 획득한 실제 영상으로부터 각 페이지의 특징점을 검출한다.

페이지 특징점이 자연 특징점인 경우, 자연 특징점 방식에 따라 특징점을 검출하여 콘텐츠 저장부(138)의 특징점 DB(138a)에 저장된 데이터를 기초로 해당 페이지를 인식하고 해당 페이지와 매칭되는 가상 객체를 합성하여 표시한다.

페이지 특징점이 페이지 식별 마커를 포함한 마커 기반인 경우, 다음 S120 및 S160 단계에서 마커의 종류를 판별한다.

먼저 S120 단계에서, 검출된 마커가 페이지 식별 마커이면 다음의 S130 단계를 수행하고, 페이지 식별 마커가 아니면 다른 종류의 마커인지를 판별한다. 이후 S130 내지 S150 단계에서, 검출된 페이지 식별 마커를 통해 해당 페이지 정보를 추출하고, 콘텐츠 저장부(138)로부터 해당 페이지 정보와 매칭되는 가상 객체를 검출하여, 영상 획득 장치(120)에서 획득한 실제 영상과 합성한다.

한편, S160 단계에서, 검출된 마커가 데이터 마커이면 다음 S170, S150 단계에서와 같이 콘텐츠 저장부(138)로부터 해당 데이터 마커와 매칭되는 가상 객체를 검출한 후, 영상 획득 장치(120)에서 획득한 실제 영상과 합성한다. 데이터 마커가 아니면 다른 종류의 마커인지를 확인한다.

이러한 과정을 통해 실제 영상과 가상 객체가 중첩된 도서형 증강 현실에서, 페이지의 전환 상태에 따라 실감형 콘텐츠를 제공하는 방법으로는 다음과 같다.

도 6을 참조하면, 처음 S200 단계에서, 특징점 트랙킹부(132)는 인쇄 서적의 각 페이지에 부여된 페이지 특징점을 추적한다.

이후 S210 단계에서, 주 제어부(134)는 추적한 페이지 특징점의 크기 및 위치가 변경되었는지 여부를 체크한다.

체크 결과, 페이지 특징점의 크기 및 위치가 변경되지 않았으면 주 제어부(134)는 페이지 특징점의 트랙킹 동작을 반복적으로 수행하도록 제어하고, 페이지 특징점의 크기 및 위치가 변경되었으면, 다음 S220 단계에서, 주 제어부(134)가 페이지 상태 인식부를 통해 페이지 전환을 인식하고 페이지의 상태가 변경됨을 판단한다.

판단 후, S230 및 S240 단계에서, 주 제어부(134)는 콘텐츠 저장부(138)로부터 페이지의 상태에 따른 해당 액션 지령 및 가상 객체를 검출하여, 상기 가상 객체에 미리 정의해 둔 액션을 수행하도록 렌더링 작업을 수행한다.

마지막 S250 단계에서, 주 제어부(134)는 렌더링한 가상 객체를 실제 영상에 합성하여 표시 장치(140)를 통해 표시함으로써, 페이지 상태 변화에 따라 가상 객체에 다양한 액션을 지정할 수 있다.

상기 S220 단계에서, 페이지의 상태를 인식하는 단계는 도 7 내지 도 10에 도시한 것처럼 페이지를 넘기는 동작에 따라 4가지 상태로 인식할 수 있다.

도 7은 페이지의 초기 상태를 나타낸 도면이다.

페이지의 초기 상태[상태 1]에서는 양쪽으로 펼쳐진 인쇄 서적(110A)의 페이지가 함께 인식된다. 즉, 왼쪽에는 제1 페이지의 제1 페이지 식별 마커(112-1)가 존재하고, 오른쪽에는 제2 페이지의 제2 페이지 식별 마커(112-2)가 각각 존재한 상태에서, 이 두 페이지 식별 마커(112-1, 112-2)에 대한 인식이 완전하게 이루어진다.

그리고, 인쇄 서적(110A)의 페이지 상에 가상 객체(114)가 합성되어 표시되어 있다.

이후, 페이지를 넘기는 동작이 수행되면, 도 8에 도시한 바와 같이 제1 페이지는 인식이 가능하나, 제2 페이지는 넘기는 동작에 의해 제2 페이지 식별 마커(112-2)의 크기 및 위치가 변경되는 제2 상태[상태 2]가 발생한다.

이 제2 상태에서는 제2 페이지 식별 마커(112-2)가 일정 각도 이상 뒤틀리는 것을 인식함으로써 알 수 있다.

제2 상태가 발생하면 주 제어부(134)는 가상 객체(114)에 해당 액션을 수행하도록 지령한다. 예를 들어, 페이지가 뒤틀리는 동작에 대하여 가상 객체(114)가 중심을 잃고 비틀거리는 액션을 취하도록 가상 객체(114)에 해당 액션을 지령할 수 있다.

이후, 도 9에 도시한 바와 같이 제2 페이지 식별 마커(112-2)는 사라지고 제2 페이지 식별 마커(112-2)의 위치에 새로운 제4 페이지 식별 마커(112-4)가 나타나는 제3 상태[상태 3]가 발생한다.

이 제3 상태는, 페이지가 넘겨지면서 공간이 없어지는 것을 피해서 가상 객체(114)가 인쇄 서적의 공간 밖으로, 또는 위로 뛰쳐나오는 등의 액션을 수행하도록 지령할 수 있다.

이후, 도 10에 도시한 바와 같이 제2 페이지가 완전히 넘겨지면 이전 제1 페이지 및 제2 페이지가 모두 사라지고 새로운 제3, 4 페이지의 제3 페이지 식별 마커(112-3) 및 제4 페이지 식별 마커(112-4)가 모두 인식되는 제4 상태가 발생한다.

이처럼 제4 상태가 발생하면, 이전 페이지에 의해 생성되고 상태 3에서 액션을 수행한 가상 객체(114)에 또 다른 액션을 취하도록 지령하고, 새로운 제3 페이지 및 제4 페이지에 해당하는 가상 객체(114)를 검출하여 생성할 수 있다.

예를 들어, 상태 3에서 인쇄 서적의 공간 밖으로 뛰어나간 가상 객체(114)를 제4 페이지 상에 들어오도록 가상 객체(114)를 렌더링할 수 있다.

이러한 과정을 통해, 본 발명의 실시예에서는 페이지를 넘기는 동작에 따른 일련의 페이지 전환을 단계별로 인식하여, 페이지를 넘기는 동안 전환 상태에 따라 가상 객체가 다양한 액션을 취하도록 함으로써 보다 풍부한 증강 현실을 구현하는 것이 가능하다.

이상, 페이지를 오른쪽에서 왼쪽으로 넘기는 동작에 대해서 설명하였지만, 반대로 왼쪽으로 오른쪽으로 넘기는 경우에도 각 페이지의 상태를 인식하여 가상 객체에 대한 액션을 정의할 수 있을 것이다.

또한, 상기의 도 7 내지 도 10에서는 마커를 페이지 특징점으로 이용한 경우에 대해서만 설명하였으나, 페이지에 포함된 이미지나 또는 페이지와 관계없이 부여된 이미지를 페이지 특징점으로 이용하는 경우에도 추적하는 대상만 다를 뿐 상기와 같이 방식에 따라 각 페이지의 상태를 인식하여 가상 객체에 대한 액션을 정의할 수 있을 것이다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

종래 도서형 증강 현실은 실감형 콘텐츠가 인쇄 서적의 페이지에 따라 지정되어 있어 페이지를 전환하는 순간 이전 페이지에 대한 실감형 콘텐츠가 사라지게 되었으나, 본 발명은 각 페이지의 특징점을 통해 페이지 전환을 단계별로 인식하고 인식한 페이지의 전환 상태에 따라 실감형 콘텐츠에 액션을 지정하여 렌더링(rendering)함으로써, 인쇄 서적의 페이지 전환시 이전 페이지에서 생성된 실감형 콘텐츠가 삭제되지 않고 계속 유지되어 각 페이지의 콘텐츠를 상호 비교할 필요가 있는 경우 효과적으로 이용이 가능할 뿐만 아니라, 기존에 비해 보다 풍부한 증강 현실을 구현할 수 있다.

100: 증강현실 시스템 110: 인쇄 서적
112: 페이지 식별 마커 120: 영상 획득 장치
130: 증강현실 처리장치 132: 특징점 트랙킹부
134: 주 제어부 136: 렌더링부
138: 콘텐츠 저장부 138a: 마커 DB
138b: 가상 객체 DB 140: 표시 장치

Claims

인쇄 서적 기반의 증강 현실 영상에 인쇄 서적의 페이지 전환을 인식하여 실감형 콘텐츠를 제공하는 증강현실 시스템에 있어서,
상기 인쇄 서적을 촬영하여 실제 영상을 획득하는 영상 획득 장치;
상기 영상 획득 장치를 통해 얻은 실제 영상에서 페이지 특징점을 추적하여 인쇄 서적의 페이지 전환을 인식하고, 페이지 전환 상태에 따라 미리 정의된 액션을 수행하는 실감형 컨텐츠를 렌더링하며, 그 렌더링된 실감형 컨텐츠와 상기 실제 영상을 합성하여 상기 증강 현실 영상을 생성하는 증강현실 처리 장치; 및
상기 증강현실 처리장치에서 합성된 증강 현실 영상을 표시하는 표시 장치
를 포함하는 것을 특징으로 하는 증강현실 시스템.
제1항에 있어서,
상기 페이지 특징점은 미리 정의되어 해당 페이지에 인쇄된 식별 마커이거나, 해당 페이지의 자연 특징점(Nature Feature Point)인 것을 특징으로 하는 증강현실 시스템.
제1항 또는 제2항에 있어서,
상기 증강현실 처리 장치는,
초기에 제1 페이지와 제2 페이지를 함께 인식하는 제1 상태,
상기 제2 페이지를 넘기는 동작에 의해 상기 제2 페이지의 특징점 크기 및 위치가 변경되는 제2 상태,
상기 제2 페이지의 페이지 특징점이 사라지고 제4 페이지의 페이지 특징점이 생성되는 제3 상태, 및
상기 제1 페이지 및 제2 페이지의 페이지 특징점이 모두 사라지고, 제3 페이지 및 제4 페이지를 함께 인식하는 제4 상태
를 추적하여 페이지 전환을 인식하는 것을 특징으로 하는 증강현실 시스템.
제3항에 있어서,
상기 증강현실 처리 장치는,
상기 페이지 상태를 제3 상태로 인식하면, 상기 실감형 콘텐츠를 상기 인쇄 서적의 공간 밖으로 빼거나 또는 위로 뛰쳐나오는 액션을 수행하도록 제어하고,
상기 페이지 상태를 제4 상태로 인식하면, 상기 제3 상태로부터 인쇄 서적의 공간 밖에 위치한 실감형 콘텐츠를 새로운 페이지 안으로 들어오게 액션을 수행하도록 제어하는 것을 특징으로 하는 증강현실 시스템.
인쇄 서적 기반의 증강 현실 영상에 인쇄 서적의 페이지 전환을 인식하여 실감형 콘텐츠를 제공하는 증강현실 처리장치에 있어서,
상기 인쇄 서적을 촬영하여 얻은 실제 영상으로부터 해당 페이지의 특징점을 인식하여 추적하는 특징점 트랙킹부;
상기 특징점 트랙팅부를 통해 추적한 페이지 특징점에 따라 상기 인쇄 서적의 페이지 전환을 인식하고, 인식한 페이지의 전환 상태에 따라 미리 정의된 액션 명령을 검출하는 주 제어부; 및
상기 주 제어부에서 검출한 액션 명령을 기초로 상기 실감형 콘텐츠를 렌더링하여 상기 렌더링된 실감형 콘텐츠와 상기 실제 영상을 합성하는 렌더링부
를 포함하는 것을 특징으로 하는 증강현실 처리장치.
제5항에 있어서,
상기 페이지 특징점은,
미리 정의되어 해당 페이지에 인쇄된 식별 마커이거나, 해당 페이지의 자연 특징점(Nature Feature Point)인 것을 특징으로 하는 증강현실 처리장치.
제5항 또는 제6항에 있어서,
상기 주 제어부는,
초기에 제1 페이지와 제2 페이지를 함께 인식하는 제1 상태,
상기 제2 페이지를 넘기는 동작에 의해 상기 제2 페이지의 특징점 크기 및 위치가 변경되는 제2 상태,
상기 제2 페이지의 페이지 특징점이 사라지고 제4 페이지의 페이지 특징점이 생성되는 제3 상태, 및
상기 제1 페이지 및 제2 페이지의 페이지 특징점이 모두 사라지고, 제3 페이지 및 제4 페이지를 함께 인식하는 제4 상태
를 추적하여 페이지의 전환 상태를 인식하는 것을 특징으로 하는 증강현실 처리장치.
제7항에 있어서,
상기 주 제어부는,
상기 페이지의 전환 상태를 제3 상태로 인식하면, 상기 실감형 콘텐츠를 상기 인쇄 서적의 공간 밖으로 빼거나 또는 위로 뛰쳐나오는 액션을 수행하도록 제어하고,
상기 페이지의 전환 상태를 제4 상태로 인식하면, 상기 제3 상태로부터 인쇄 서적의 공간 밖에 위치한 실감형 콘텐츠를 새로운 페이지 안으로 들어오게 액션을 수행하도록 제어하는 것을 특징으로 하는 증강현실 처리장치.
제7항에 있어서,
상기 페이지는 넘기는 동작은,
오른쪽 페이지를 왼쪽으로 넘기는 동작, 이와 반대로 왼쪽 페이지를 오른쪽으로 넘기는 동작을 모두 포함하는 것을 특징으로 하는 증강현실 처리장치.
제5항에 있어서,
상기 인쇄 서적별 부여된 페이지 특징점 정보, 실감형 콘텐츠 정보, 페이지 상태에 따라 실감형 콘텐츠에 수행할 액션 명령에 관한 정보를 저장한 콘텐츠 저장부
를 더 포함하는 것을 특징으로 하는 증강현실 처리장치.
인쇄 서적 기반의 증강 현실 영상에 인쇄 서적의 페이지 전환을 인식하여 실감형 콘텐츠를 제공하는 증강현실 방법에 있어서,
(a) 상기 인쇄 서적을 영상 획득 장치로 촬영하여 현실 환경에 대한 실제 영상을 획득하는 단계;
(b) 상기 영상 획득 장치를 통해 얻은 인쇄 서적의 실제 영상에서 해당 페이지의 페이지 특징점을 인식하여 추적하는 단계;
(c) 상기 페이지 특징점으로 상기 인쇄 서적의 페이지 전환을 인식하는 단계;
(d) 상기 페이지의 전환 상태에 따라 실감형 콘텐츠에 수행할 미리 정의된 액션 명령을 콘텐츠 저장부로부터 검출하는 단계; 및
(e) 상기 검출한 액션 명령을 기초로 상기 실감형 콘텐츠를 렌더링하여 상기 실제 영상에 합성시킨 후 표시 장치를 통해 하나의 영상으로 표시하는 단계
를 포함하는 것을 특징으로 하는 증강현실 방법.
제11항에 있어서,
상기 (b) 단계에서 해당 페이지의 페이지 특징점을 인식하는 단계는,
상기 페이지 특징점이 미리 정의되어 해당 페이지에 인쇄된 식별 마커인 경우 마커 기반에 기초하여 인식하고,
상기 해당 페이지에 포함된 이미지인 경우 자연 특징점 방식에 기초하여 인식하는 것을 특징으로 하는 증강현실 방법.
제11항 또는 제12항에 있어서,
상기 (c) 단계는,
초기에 제1 페이지와 제2 페이지를 함께 인식하는 제1 상태,
상기 제2 페이지를 넘기는 동작에 의해 상기 제2 페이지의 페이지 특징점에 대한 크기 및 위치가 변경되는 제2 상태,
상기 제2 페이지의 페이지 특징점이 사라지고 제4 페이지의 특징점이 생성되는 제3 상태, 및
상기 제1 페이지 및 제2 페이지의 페이지 특징점이 모두 사라지고, 제3 페이지 및 제4 페이지를 함께 인식하는 제4 상태
로 추적하여 페이지의 전환 상태를 인식하는 것을 특징으로 하는 증강현실 방법.
제13항에 있어서,
상기 (c) 단계에서,
상기 페이지의 전환 상태를 제3 상태로 인식하면, 상기 실감형 콘텐츠를 상기 인쇄 서적의 공간 밖으로 빼거나 또는 위로 뛰쳐나오는 액션을 수행하도록 제어하고,
상기 페이지의 전환 상태를 제4 상태로 인식하면, 상기 제3 상태로부터 인쇄 서적의 공간 밖에 위치한 실감형 콘텐츠를 새로운 페이지 안으로 들어오게 액션을 수행하도록 제어하는 것을 특징으로 하는 증강현실 방법.
제14항에 있어서,
상기 페이지 상태를 제4 상태로 인식하게 되면,
상기 (d) 단계에서는, 새롭게 인식한 제3 페이지 및 제4 페이지에 해당하는 실감형 콘텐츠를 상기 콘텐츠 저장부로부터 검출하는 것을 특징으로 하는 증강현실 방법.
제13항에 있어서,
상기 페이지는 넘기는 동작은,
오른쪽 페이지를 왼쪽으로 넘기는 동작, 이와 반대로 왼쪽 페이지를 오른쪽으로 넘기는 동작을 모두 포함하는 것을 특징으로 하는 증강현실 방법.