KR20160027407A - 동요집을 기반으로 하는 증강현실 구현장치 및 구현방법 - Google Patents

Abstract

본 발명은 동요집을 기반으로 하는 증강현실 구현장치 및 구현방법에 관한 것이다. 이중 증강현실 구현장치는. 특정한 멜로디 악보(11) 및 AR 코드(15)가 인쇄된 동요집(10)과; 동요집(10)을 촬영하여 그 동요집(10)의 실제 영상을 획득하는 영상획득부(20)와; 다수의 동요집에 대응되는 다양한 실감형 콘텐츠가 저장된 콘텐츠저장부(30)와; 다수의 동요집에 대응되는 다양한 멜로디의 정보가 저장된 멜로디저장부(40)와; 영상획득부(20)를 통해 획득한 동요집(10)의 AR 코드(15), 멜로디 악보(11) 및 실제영상의 움직임을 인식하는 트랙킹부(50)와; 트랙킹부(50)에서 인식한 AR 코드(15), 멜로디 악보(11) 및 실제영상의 움직임을 반영하여, 실감형 콘텐츠가 멜로디에 따라 율동하고 동요집(10)의 움직임에 따라 움직이도록 처리하는 증강영상처리부(60)와; 증강영상처리부(60)에서 처리된 실감형 콘텐츠를 렌더링하여 동요집(10)의 실제영상과 합성하여 증강현실영상(R)으로 구현하는 렌더링부(70);를 포함하는 것을 특징으로 한다.

Description

동요집을 기반으로 하는 증강현실 구현장치 및 구현방법{Apparatus and Method for providing augment reality based on children's song}

본 발명은 동요집을 기반으로 하는 증강현실 구현장치 및 구현방법에 관한 것으로서, 더욱 상세하게는 동요집을 기반으로 하여 실감형 콘텐츠가 작동함으로서 어린이에게 호기심을 유발할 수 있도록 하는 동요집을 기반으로 하는 증강현실 구현장치 및 구현방법을 제공하는 것을 목적으로 한다.

동요는 아름다운 가사와 멜로디로 이루어져 아이들에게 정서적인 안정감을 주기 때문에 성장 과정에서 많이 접하게 하는 것이 좋으며, 부모들은 기회가 있을 때마다 동요를 틀어주거나 함께 동요를 부르는등의 노력을 하고 있다.

그런데 최근 어린이들은 스마트폰이나 태블릿 PC, TV 등 다양한 영상제공환경에 많이 접하게 됨에 따라, 아름다운 가사 및 멜로디로 이루어진 동요보다는, 자극적인 가사 및 영상으로 이루어진 가요에 더 많은 관심을 가지게 되었다. 이러한 가요는 어린이의 감성 및 정서를 해치게 되는 원인이 되고 있기 때문에, 어린이들이 가요보다 동요에 더욱 많은 관심을 가질 수 있도록 하기 위한 노력이 진행되고 있다.

한편, 컴퓨터 그래픽, 컴퓨터 비전 등의 기술이 발달함에 따라 증강 현실(Augmented Reality: AR)을 일상생활에 접목시키고자 하는 노력이 진행되고 있다. 증강 현실이란, 미리 만들어놓은 실감형 콘텐츠를 영상획득부를 통해 촬영된 실제 영상에 합성하여, 실제 영상에 실감형 콘텐츠가 동작하는 것처럼 화면상에 표시하거나, 부가적인 정보를 제공하는 비젼(vision) 기술이다. 이러한 증강현실은 가상현실과는 달리, 영상획득부로 실제 촬영되는 실제 영상에서 콘텐츠가 작동되도록 함으로써 리얼감을 증진시켜 많은 관심을 유도한다. 이러한 증강현실에 관련된 선행기술이 특허등록번호 10-1316789호에 증강현실 콘텐츠 재생 시스템 및 방법이란 명칭으로 개시되어 있다.

이러한 증강현실은 많은 관심을 유도할 수 있기 때문에, 이러한 증강현실을 동요에 적용하여 어린이들이 동요에 더욱 많은 관심을 가질 수 있도록 할 필요성이 대두되고 있다.

본 발명은 상기와 같은 필요성을 충족하기 위하여 창출된 것으로서, 동요가 인쇄된 실제 동요집을 기반으로 하여 그 동요집에 관련된 증강현실영상이 작동하도록 함으로써, 어린이에게 동요에 대한 호기심을 유발할 수 있도록 할 수 있는 동요집을 기반으로 하는 증강현실 구현장치 및 구현방법을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 동요집을 기반으로 하는 증강현실 구현장치는, 특정한 멜로디 악보(11) 및 AR 코드(15)가 인쇄된 동요집(10); 상기 동요집(10)을 촬영하여 그 동요집(10)의 실제 영상을 획득하는 영상획득부(20); 다수의 동요집에 대응되는 다양한 실감형 콘텐츠가 저장된 콘텐츠저장부(30); 다수의 동요집에 대응되는 다양한 멜로디의 정보가 저장된 멜로디저장부(40); 상기 영상획득부(20)를 통해 획득한 상기 동요집(10)의 AR 코드(15), 멜로디 악보(11) 및 실제영상의 움직임을 인식하는 트랙킹부(50); 상기 트랙킹부(50)에서 인식한 AR 코드(15), 멜로디 악보(11) 및 실제영상의 움직임을 반영하여, 상기 실감형 콘텐츠가 멜로디에 따라 율동하고 상기 동요집(10)의 움직임에 따라 움직이도록 처리하는 증강영상처리부(60); 및 상기 증강영상처리부(60)에서 처리된 상기 실감형 콘텐츠를 렌더링하여 상기 동요집(10)의 실제영상과 합성하여 증강현실영상(R)으로 구현하는 렌더링부(70);를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 트랙킹부(50)는, 상기 영상획득부(20)를 통해 획득한 상기 동요집(10)의 실제영상으로부터 상기 AR 코드(15)를 인식하여 실감형 콘텐츠를 특정하기 위한 코드인식부(51)와; 상기 영상획득부(20)를 통해 획득한 상기 동요집(10)의 실제영상의 자연특징점을 인식하여 상기 동요집(10)과 영상획득부(20)의 상대적인 움직임을 특정하기 위한 움직임인식부(53);를 포함한다.

본 발명에 있어서, 상기 트랙킹부(50)는, 상기 영상획득부(20)를 통해 획득한 상기 동요집(10)의 실제영상으로부터 상기 멜로디 악보(11)를 인식함으로써, 상기 AR 코드(15)가 특정하는 상기 실감형 콘텐츠의 율동동작은 특정하기 위한 악보인식부(52)를 더 포함한다.

본 발명에 있어서, 상기 증강영상처리부(60)는, 상기 AR 코드(15)에 대응되는 실감형 콘텐츠가 상기 콘텐츠저장부(30)로부터 검출되도록 제1명령신호를 발생하는 콘텐츠검출부(61)와; 상기 AR 코드(15)에 의하여 특정된 상기 실감형 콘텐츠가 율동할 수 있도록 상기 멜로디 악보(11)에 대응되는 멜로디가 상기 멜로디저장부(40)로부터 검출되도록 제2명령신호를 발생하는 멜로디검출부(62)와; 상기 검출된 실감형 콘텐츠가 상기 멜로디에 연동되어 율동하도록 제3명령신호를 발생하는 율동제어부(63)와; 상기 율동하는 실감형 콘텐츠가 상기 동요집(10)의 실제영상의 움직임에 연동되어 위도 및 경도 방향으로 움직이도록 제4명령신호를 발생하는 움직임제어부(64);를 포함한다.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 동요집을 기반으로 하는 증강현실 구현방법은, 동요집(10)을 기반으로 증강현실영상을 구현하기 위한 증강현실 구현방법에 있어서, 상기 동요집(10)을 촬영하여 그 동요집(10)의 실제 영상을 획득하는 단계(S1); 상기 동요집(10)의 실제 영상으로부터, 그 동요집(10)에 인쇄된 AR 코드(15)를 인식하는 단계(S2); 상기 동요집(10)의 실제 영상으로부터, 그 동요집(10)의 자연특징점(Nature Feature point: NF)을 인식하는 단계(S4); 상기 AR 코드(15)에 대응되는 실감형 콘텐츠를 검출하기 위한 제1명령신호를 발생하는 단계(S5); 상기 AR 코드(15)에 대응되는 멜로디를 검출하기 위한 제2명령신호를 발생하는 단계(S6); 상기 검출된 실감형 콘텐츠가 상기 검출된 멜로디와 함께 율동하도록 제3명령신호를 발생하는 단계(S7); 상기 제1,2,3명령신호에 의하여 율동하는 상기 실감형 콘텐츠가 상기 동요집(10)의 실제영상의 움직임에 연동되어 위도 및 경도 방향으로 움직이도록 제4명령신호를 발생하는 단계(S8); 및 상기 제1,2,3,4명령신호에 의하여 처리된 실감형 콘텐츠를 렌더링하여 상기 동요집(10)의 실제영상에 합성시켜 증강현실영상을 구현하는 단계(S9);를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 단계(S7)는, 상기 실감형 콘텐츠의 율동이 상기 멜로디에 연동되게 하는 단계(S7-1)를 더 포함한다.

본 발명에 따르면, 동요가 인쇄된 실제 동요집을 기반으로 하여 그 동요집에 관련된 증강현실영상(R), 예를 들면 염소나 곰과 같은 캐릭터가 멜로디에 따라 율동하면서 노래를 부르는 증강현실영상(R)을 구현할 수 있고, 이에 따라 어린이에게 동요에 대한 호기심을 유발할 수 있다. 더 나아가 증강현실영상(R)은 동요집(10)을 움직임에 따라 연동되어 방향을 바꾸는등의 움직임이 제공됨으로서, 리얼감을 더욱 증진시킬 수 있어 더 큰 호기심을 유발할 수 있는 것이다.

도 1은 본 발명에 따른 동요집을 기반으로 하는 증강현실 구현장치의 구성을 설명하기 위한 도면,
도 2는 도 1의 동요집을 발췌하여 도시한 도면,
도 3은 도 1의 트랙킹부의 구성을 설명하기 위한 도면,
도 4는 도 1의 증강영상처리부의 구성을 설명하기 위한 도면,
도 5는 도 2의 동요집에 실감형 콘텐츠가 3D 작동하는 것을 설명하기 위한 도면.

이하, 본 발명에 따른 동요집을 기반으로 하는 증강현실 구현장치 및 구현방법을 첨부된 도면들을 창조하여 상세히 설명한다.

도 1은 본 발명에 따른 동요집을 기반으로 하는 증강현실 구현장치의 구성을 설명하기 위한 도면이고, 도 2는 도 1의 동요집을 발췌하여 도시한 도면이다. 또 도 3은 도 1의 트랙킹부의 구성을 설명하기 위한 도면이고, 도 4는 도 1의 증강영상처리부의 구성을 설명하기 위한 도면이다. 그리고 도 5는 도 2의 동요집에 실감형 콘텐츠가 3D 작동하는 것을 설명하기 위한 도면이다.

증강 현실을 구현하기 위한 기본적인 기술은, 대상 위치 인식(Recognition) 기술, 인식된 지점의 트랙킹(tracking) 기술, 합성 기술로 구성된다. 즉, 인식 기술 및 트랙킹 기술로 파악된 위치에 미리 만들어진 실감형 콘텐츠를 합성하는 방식으로 구현되는 것이다. 이때 합성 기술은 실제 환경에 대한 영상에서 대상 위치의 인식 및 트랙킹에 의해 합성 위치를 선정하고, 해당 위치에서의 기울기, 방향 등을 추정한 다음 실감형 콘텐츠를 기울기, 방향 등에 따라 렌더링하여 정확한 위치에 위치시키는 과정으로 이루어질 수 있다.

본 발명은 이러한 증강현실 기술을 동요집에 적용한 것이며, 이를 상세히 설명하면 다음과 같다.

도시된 바와 같이, 본 발명에 따른 동요집을 기반으로 하는 증강현실 구현장치는, 특정한 멜로디 악보(11), 반주 악보(12) 및 AR 코드(15)가 인쇄된 동요집(10)과; 동요집(10)을 촬영하여 그 동요집(10)의 실제 영상을 획득하는 영상획득부(20)와; 다수의 동요집에 대응되는 다양한 실감형 콘텐츠가 저장된 콘텐츠저장부(30)와; 다수의 동요집에 대응되는 다양한 멜로디 정보(이하, 멜로디라 함)가 저장된 멜로디저장부(40)와; 영상획득부(20)를 통해 획득한 상기 동요집(10)의 AR 코드(15), 멜로디 악보(11) 및 실제영상의 움직임을 인식하는 트랙킹부(50)와; 트랙킹부(50)에서 인식한 AR 코드(15), 멜로디 악보(11) 및 실제영상의 움직임을 반영하여, 상기 실감형 콘텐츠가 멜로디에 따라 율동하고 동요집의 움직임에 따라 움직이도록 처리하는 증강영상처리부(60)와; 증강영상처리부(60)에서 처리된 실감형 콘텐츠를 렌더링하여 동요집(10)의 실제영상과 합성하여 증강현실영상(R)으로 구현하는 렌더링부(70)와; 렌더링부(70)에서 만들어진 증강현실영상을 표시하는 영상표시장치(80);를 포함한다.

상기 영상획득부(20), 콘텐츠저장부(30), 멜로디저장부(40) 및 트랙킹부(50) 및 영상표시장치(80)는 스마트폰이나 태블릿PC, 스마트TV 등에 일체화된 카메라, 영상표시장치, CPU 및 메모리로 활용할 수 있고, 증강영상처리부(60)는 어플리케이션(APP) 형태로 다운받을 수 있다.

또한 다수의 실감형 콘텐츠나 멜로디 각각이 큰 저장공간을 차지할 경우, 실감형 콘텐츠를 콘텐츠저장부(30) 및 멜로디저장부(40)는 인터넷이나 무선네트워크로 연결되는 서버의 DB 로 활용할 수도 있다.

동요집(10)은 도 2에 도시된 바와 같이, 특정 동요에 관련된 멜로디 악보(11), 반주를 위한 반주 악보(12) 및 그 특정 동요에 대응되는 가사(13)로 구성된다. 이때 AR 코드(15)는 소정부, 예를 들면 빈 공간 모서리측에 AR 코드(15)가 인쇄되어 있다. 이러한 동요집(10)은 책자 형태로 제본될 수도 있고, 독립적인 형태일 수도 있다.

본 발명의 동요집(10)에는 멜로디 악보(11) 외에 반주 악보(12)가 인쇄되어 있으므로, 특정 동요를 보호자가 피아노를 치면서 반주할 수 있다.

AR 코드(15)는 해당 동요집을 여러개의 동요집에서 특정할 수 있도록 하는 식별코드로서, 기하학 문양이나 패턴, 검은 바탕에 쓰여진 평면 문양, 로고(logo), 사진(photograph), 그림(picture)등을 포함한다. 이러한 AR 코드(15)는 증강영상처리부(60)에 미리 데이터베이스화 되어 있으며, 특정 동요집에 대응되는 특정한 실감형 콘텐츠 및 멜로디를 콘텐츠저장부(30) 및 멜로디저장부(40)로부터 검출하도록 한다.

영상획득부(20)는 악보집(10)의 실제 영상을 획득하기 위한 것이다. 이러한 실제 영상은 후술할 증강영상처리부(60)에서 처리된 실감형 콘텐츠와 합성되어 도 4에 도시된 바와 같은 증강현실영상(R)을 구현되게 한다. 이러한 영상획득부(20)는 스마트폰이나 태블릿 PC에 일체화된 카메라, 또는 스마트 TV에 일체화된 카메라인 것이 바람직하다.

콘텐츠저장부(30)는, 다수의 동요집에 대응되는 다양한 실감형 콘텐츠가 종류별, 동작별등에 세부적으로 구분되어 저장된다. 예를 들면 실감형 콘텐츠는 특정 동요집의 대상인 동물, 식물, 인물, 물품등이며, 특정 멜로디에 대응되는 다양한 율동 동작을 포함한다.

멜로디저장부(40)는, 다수의 동요집에 대응되는 다양한 멜로디가 저장된다. 이러한 멜로디저장부(40)에는 멜로디가 특정 실감형 콘텐츠와 1 : 1 대응으로 저장되며, 실감형 콘텐츠가 율동할 수 있도록 율동정보를 제공한다. 또한 멜로디저장부(40)에 저장된 멜로디에는 노래 정보를 포함될 수 있으며, 이에 따라 멜로디가 재생되는 동안에 노래 정보가 출력된다.

상기한 실감형 콘텐츠 및 멜로디는 동요집(10)에 인쇄된 AR 코드(15)에 의하여 특정되어, 다수의 다양한 실감형 콘텐츠 및 멜로디가 저장된 콘텐츠저장부(30) 및 멜로디저장부(40)로부터 검출된다.

트랙킹부(50)는, 도 3에 도시된 바와 같이 AR 코드(15)를 인식하는 코드인식부(51)와, 멜로디 악보(11)를 인식하는 악보인식부(52)와, 동요집의 실제 영상의 움직임을 인식하는 움직임인식부(53)를 포함한다.

코드인식부(51)는 영상획득부(20)를 통해 획득한 동요집(10)의 실제영상으로부터 AR 코드(15)를 인식하여 실감형 콘텐츠를 특정한다.

악보인식부(52)는 영상획득부(20)를 통해 획득한 동요집(10)의 실제영상으로부터 멜로디 악보(11)를 인식함으로써, 상기한 AR 코드(15)가 특정하는 실감형 콘텐츠의 율동동작은 특정한다.

움직임인식부(53)는 영상획득부(20)를 통해 획득한 동요집(10)의 실제영상의 자연특징점(Nature Feature point), 예를 들면 악보(11)(12) 및 가사(13) 이외의 여백을 인식하여 동요집(10)과 영상획득부(20)의 상대적인 움직임(기울기 또는 방향)을 특정한다.

이러한 트랙킹부(50)에 의하여, 특정 동요집(10)에 대응되는 실감형 콘텐츠, 멜로디 및 움직임을 특정할 수 있는 것이다.

증강영상처리부(60)는, 도 4에 도시된 바와 같이 트랙킹부(50)의 코드인식부(51)에서 인식한 AR 코드(15)에 대응되는 실감형 콘텐츠가 콘텐츠저장부(30)로부터 검출되도록 제1명령신호를 발생하는 콘텐츠검출부(61)와, 상기 AR 코드(15)에 의하여 특정된 실감형 콘텐츠가 율동할 수 있도록 상기 악보인식부(52)에서 인식한 멜로디 악보(11)에 대응되는 멜로디가 멜로디저장부(40)로부터 검출되도록 제2명령신호를 발생하는 멜로디검출부(62)와, 검출된 실감형 콘텐츠가 멜로디에 연동되어 율동하도록 제3명령신호를 발생하는 율동제어부(63)와, 율동하는 실감형 콘텐츠가 동요집(10)의 실제영상의 움직임에 연동되어 위도 및 경도 방향으로 움직이도록 제4명령신호를 발생하는 움직임제어부(64)를 포함한다.

콘텐츠검출부(61)는 콘텐츠저장부(30)로부터 AR 코드(15)에 대응되는 특정 실감형 콘텐츠, 본 실시예에서는 아기염소 캐릭터인 실감형 콘텐츠를 검출한다.

멜로디검출부(62)는 멜로디저장부(40)로부터 AR 코드(15)에 의하여 특정된 실감형 콘텐츠(아기염소 캐릭터)에 관련된 멜로디를 검출한다.

율동제어부(63)는, 실감형 콘텐츠(아기염소 캐릭터)가 멜로디 악보(11)의 멜로디에 연동되어 율동을 하게 한다. 즉 아기염소 캐릭터는 멜로디 악보(11)의 멜로디에 따라 율동하는 것이다.

움직임제어부(64)는 동요집(10)이 움직일 때, 그 움직임에 연동되어 율동하는 실감형 콘텐츠(아기염소 캐릭터) 전체를 위도 및 경도 방향(3D 방향)으로 움직이게 한다. 이에 따라 동요집(10)이 상대적으로 움직이더라도 율동하는 실감형 콘텐츠가 3D 방향으로 방향을 바꾸기 때문에 더욱 리얼감을 증진시키는 것이다.

이러한 증강영상처리부(60)에 의하여, 특정 동요집에 대응되는 특정 실감형 콘텐츠가 특정 멜로디에 따라 율동하고, 더 나아가 동요집의 움직임에 연동되어 3D 방향으로 움직이는 실감형 콘텐츠로 처리할 수 있는 것이다.

렌더링부(70)는 증강영상처리부(60)에서 처리된 실감형 콘텐츠를 영상획득부(20)에 의하여 획득된 악보집(10)의 실제영상과 합성하여 증강현실영상(R)으로 구현한다. 이러한 증강현실영상(R)은 이후 영상표시장치(80), 예를 들면 스마트폰 또는 태블릿 PC 또는 스마트 TV 의 디스플레이를 투영된다.

다음. 본 발명에 따른 동요집을 기반으로 하는 증강현실 구현방법을 설명한다.

본 발명에 따른 증강현실 구현방법은, 멜로디 악보(11), 반주 악보(11), 가사(13) 및 AR 코드가 인쇄된 동요집을 기반으로 하여 구현된다.

이를 위하여, 먼저 동요집(10)을 영상획득부(20)로 촬영하여 그 동요집(10)의 실제 영상을 획득하는 단계(S1)를 수행한다. 단계(S1)에서 촬영된 실제영상은 증강영상처리부(60)로 출력된다.

다음, 영상획득부(20)를 통해 얻은 동요집(10)의 실제 영상으로부터, 그 동요집(10)에 인쇄된 AR 코드(15)를 인식하는 단계(S2)를 수행한다. 단계(S2)는 트랙킹부(50)의 코드인식부(51)에 의하여 수행되며, AR 코드(15)는 대응되는 동요집을 특정할 수 있도록 한다.

다음. 영상획득부(20)를 통해 얻은 동요집(10)의 실제 영상으로부터, 그 동요집(10)에 인쇄된 멜로디 악보(11)를 인식하는 단계(S3)를 수행한다. 단계(S3)는 트랙킹부(50)의 악보인식부(52)에 의하여 수행되며, 상기한 AR 코드(15)가 특정하는 실감형 콘텐츠의 율동동작을 특정할 수 있도록 한다.

다음, 영상획득부(20)를 통해 얻은 동요집(10)의 실제 영상으로부터, 그 동요집(10)의 자연특징점(Nature Feature point: NF)을 인식하는 단계(S4)를 수행한다. 단계(S3)는 트랙킹부(50)의 움직임인식부(53)에 의하여 수행되며, 인식된 자연특징점은 동요집(10)의 움직임(기울기 또는 방향)을 인식할 수 있도록 하는 것이다.

다음, AR 코드(15)에 대응되는 실감형 콘텐츠를 검출하기 위한 제1명령신호를 발생하는 단계(S5)를 수행한다. 단계(S5)에 의하여, 다수의 다양한 콘텐츠가 저장된 콘텐츠저장부(30)로부터 코드인식부(51)가 인식한 AR 코드(15)에 대응되는 실감형 콘텐츠를 검출할 수 있는 것이다. 이러한 단계(S5)는 콘텐츠검출부(61)에 의하여 수행된다.

다음, AR 코드(15)에 대응되는 멜로디를 검출하기 위한 제2명령신호를 발생하는 단계(S6)를 수행한다. 단계(S6)에 의하여, 다수의 다양한 멜로디가 저장된 멜로디저장부(40)로부터 상기 AR 코드(15)에 대응되는 멜로디가 검출되며, 이러한 멜로디는 특정된 실감형 콘텐츠의 율동동작을 특정하는데 사용된다. 이러한 단계(S5)는 멜로디검출부(62)에 의하여 수행된다.

다음, 검출된 실감형 콘텐츠가 검출된 멜로디와 함께 율동하도록 제3명령신호를 발생하는 단계(S7)를 수행한다. 단계(S7)에 의하여, 실감형 콘텐츠가 율동하는 동안에 멜로디가 함께 출력되는 것이다.

이때 단계(S7)는, 상기 실감형 콘텐츠의 율동이 상기 멜로디에 연동되게 하는 단계(S7-1)를 더 포함할 수 있다. 이러한 단계(S7-1)에 의하여, 실감형 콘텐츠는 대응되는 멜로디에 따라 연동되어 율동하는데, 상기한 제3명령신호가 멜로디를 정지시키면 실감형 콘텐츠의 율동동작이 정지되는 것이다. 이러한 단계(S7-1)는 율동제어부(63)에 의하여 수행된다.

다음, 제1,2,3명령신호에 의하여 율동하는 실감형 콘텐츠가 동요집(10)의 실제영상의 움직임에 연동되어 위도 및 경도 방향으로 움직이도록 제4명령신호를 발생하는 단계(S8)를 수행한다. 단계(S8)는 율동하는 실감형 콘텐츠가 동요집(10)의 실제영상의 움직임에 연동되어 위도 및 경도 방향으로 움직이도록 하는 것으로서, 움직임제어부(64)에 의하여 수행된다.

이러한 제1,2,3,4명령신호에 의하여, 특정 동요집에 대응되는 특정 실감형 콘텐츠를 특정 멜로디에 따라 율동하고, 더 나아가 동요집의 움직임에 연동되어 3D 방향으로 움직이는 실감형 콘텐츠로 처리할 수 있는 것이다.

다음, 처리된 실감형콘텐츠를 렌더링하여 동요집(10)의 실제영상에 합성시켜 증강현실영상을 구현하는 단계(S9) 및 구현된 증강현실영상(R)을 영상표시장치(80)로 표시하는 단계(S10)를 수행하면, 영상표시장치(80)를 통하여 3D 상으로 율동하는 증강현실영상(R)을 구현할 수 있는 것이다.

이러한 일련의 단계(S1)~(S10)에 의하여, 동요가 인쇄된 실제 동요집(10)을 기반으로 하여 그 동요집에 관련된 증강현실영상(R), 예를 들면 염소나 곰과 같은 캐릭터가 멜로디에 따라 율동하면서 노래를 부르는 증강현실영상(R)을 구현할 수 있고, 이에 따라 어린이에게 동요에 대한 호기심을 유발할 수 있다. 더 나아가 증강현실영상(R)은 동요집(10)을 움직임에 따라 연동되어 방향을 바꾸는등의 움직임이 제공됨으로서, 리얼감을 더욱 증진시킬 수 있어 더 큰 호기심을 유발할 수 있다.

본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

10 ... 동요집 11 ... 멜로디 악보
12 ... 반주 악보 13 ... 가사
15 ... AR 코드 20 ... 영상획득부
30 ... 콘텐츠저장부 40 ... 멜로디저장부
50 ... 트랙킹부 51 ... 코드인식부
52 ... 악보인식부 53 ... 움직임인식부
60 ... 증강영상처리부 61 ... 콘텐츠검출부
62 ... 멜로디검출부 63 ... 율동제어부
64 ... 움직임제어부 70 ... 렌더링부
80 ... 영상표시장치

Claims (6)

1. 특정한 멜로디 악보(11) 및 AR 코드(15)가 인쇄된 동요집(10);
   상기 동요집(10)을 촬영하여 그 동요집(10)의 실제 영상을 획득하는 영상획득부(20);
   다수의 동요집에 대응되는 다양한 실감형 콘텐츠가 저장된 콘텐츠저장부(30);
   다수의 동요집에 대응되는 다양한 멜로디가 저장된 멜로디저장부(40);
   상기 영상획득부(20)를 통해 획득한 상기 동요집(10)의 AR 코드(15), 멜로디 악보(11) 및 실제영상의 움직임을 인식하는 트랙킹부(50);
   상기 트랙킹부(50)에서 인식한 AR 코드(15), 멜로디 악보(11) 및 실제영상의 움직임을 반영하여, 상기 실감형 콘텐츠가 멜로디에 따라 율동하고 상기 동요집(10)의 움직임에 따라 움직이도록 처리하는 증강영상처리부(60); 및
   상기 증강영상처리부(60)에서 처리된 상기 실감형 콘텐츠를 렌더링하여 상기 동요집(10)의 실제영상과 합성하여 증강현실영상(R)으로 구현하는 렌더링부(70);를 포함하는 것을 특징으로 하는 동요집을 기반으로 하는 증강현실 구현장치.
2. 제1항에 있어서, 상기 트랙킹부(50)는,
   상기 영상획득부(20)를 통해 획득한 상기 동요집(10)의 실제영상으로부터 상기 AR 코드(15)를 인식하여 실감형 콘텐츠를 특정하기 위한 코드인식부(51)와;
   상기 영상획득부(20)를 통해 획득한 상기 동요집(10)의 실제영상의 자연특징점을 인식하여 상기 동요집(10)과 영상획득부(20)의 상대적인 움직임을 특정하기 위한 움직임인식부(53);를 포함하는 것을 특징으로 하는 동요집을 기반으로 하는 증강현실 구현장치.
3. 제2항에 있어서, 상기 트랙킹부(50)는,
   상기 영상획득부(20)를 통해 획득한 상기 동요집(10)의 실제영상으로부터 상기 멜로디 악보(11)를 인식함으로써, 상기 AR 코드(15)가 특정하는 상기 실감형 콘텐츠의 율동동작은 특정하기 위한 악보인식부(52)를 더 포함하는 것을 특징으로 하는 동요집을 기반으로 하는 증강현실 구현장치
4. 제2항 또는 제3항에 있어서, 상기 증강영상처리부(60)는,
   상기 AR 코드(15)에 대응되는 실감형 콘텐츠가 상기 콘텐츠저장부(30)로부터 검출되도록 제1명령신호를 발생하는 콘텐츠검출부(61)와;
   상기 AR 코드(15)에 의하여 특정된 상기 실감형 콘텐츠가 율동할 수 있도록 상기 멜로디 악보(11)에 대응되는 멜로디가 상기 멜로디저장부(40)로부터 검출되도록 제2명령신호를 발생하는 멜로디검출부(62)와;
   상기 검출된 실감형 콘텐츠가 상기 멜로디에 연동되어 율동하도록 제3명령신호를 발생하는 율동제어부(63)와;
   상기 율동하는 실감형 콘텐츠가 상기 동요집(10)의 실제영상의 움직임에 연동되어 위도 및 경도 방향으로 움직이도록 제4명령신호를 발생하는 움직임제어부(64);를 포함하는 것을 특징으로 하는 동요집을 기반으로 하는 증강현실 구현장치
5. 동요집(10)을 기반으로 증강현실영상을 구현하기 위한 증강현실 구현방법에 있어서,
   상기 동요집(10)을 촬영하여 그 동요집(10)의 실제 영상을 획득하는 단계(S1);
   상기 동요집(10)의 실제 영상으로부터, 그 동요집(10)에 인쇄된 AR 코드(15)를 인식하는 단계(S2)를 수행한다.
   상기 동요집(10)의 실제 영상으로부터, 그 동요집(10)의 자연특징점(Nature Feature point: NF)을 인식하는 단계(S4);
   상기 AR 코드(15)에 대응되는 실감형 콘텐츠를 검출하기 위한 제1명령신호를 발생하는 단계(S5);
   상기 AR 코드(15)에 대응되는 멜로디를 검출하기 위한 제2명령신호를 발생하는 단계(S6);
   상기 검출된 실감형 콘텐츠가 상기 검출된 멜로디와 함께 율동하도록 제3명령신호를 발생하는 단계(S7);
   상기 제1,2,3명령신호에 의하여 율동하는 상기 실감형 콘텐츠가 상기 동요집(10)의 실제영상의 움직임에 연동되어 위도 및 경도 방향으로 움직이도록 제4명령신호를 발생하는 단계(S8); 및
   상기 제1,2,3,4명령신호에 의하여 처리된 실감형 콘텐츠를 렌더링하여 상기 동요집(10)의 실제영상에 합성시켜 증강현실영상을 구현하는 단계(S9);를 포함하는 것을 특징으로 하는 동요집을 기반으로 하는 증강현실 구현방법.
6. 제5항에 있어서, 상기 단계(S7)는,
   상기 실감형 콘텐츠의 율동이 상기 멜로디에 연동되게 하는 단계(S7-1)를 더 포함하는 것을 특징으로 하는 동요집을 기반으로 하는 증강현실 구현방법.
   
   

Images