KR20220152017A - 멀티 뮤직카드에 의한 증강현실 협주 제공방법 - Google Patents

Abstract

복수개의 뮤직 카드를 이용하여 융합적인 정보를 제공할 수 있는 증강현실 협주 제공방법이 개시된다. 상기 증강현실 협주 제공방법은, 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드가 준비되는 단계, 이동형 통신기기의 카메라에 의해 상기 제1 뮤직카드 및 제 2 뮤직카드가 촬영되는 단계, 상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되는 단계, 상기 관리 서버로부터 상기 제1 마커 및 제2 마커에 대응되는 제1 콘텐츠 및 제2 콘텐츠가 수신되는 단계, 및 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지를 상기 제1 뮤직카드 및 제 2 뮤직카드 상에 각각 증강현실로 출력하는 동시에, 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지에 대응되는 제1 뮤직 및 제2 뮤직의 협주를 상기 이동형 통신기기를 통해 출력하는 단계를 포함하는 것을 특징으로 한다.

Description

멀티 뮤직카드에 의한 증강현실 협주 제공방법{Method for providing augmented reality-based concerto using multi-music card}

본 발명은 증강현실 기술에 대한 것으로서, 더 상세하게는 멀티 뮤직카드에 의한 증강현실 협주 제공방법에 관한 것이다.

이동형 통신기기의 기능은 다양화되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이에 이미지나 비디오를 출력하는 기능이 있다.

일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동형 통신기기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 콘텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.

이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.

이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다. 이러한 예로서는 증강현실(Augmented Reality : AR) 기술등을 들 수 있다.

증강현실은 사용자가 눈으로 보는 실제 환경에 가상 사물을 합성하여 보여주는 그래픽 기법으로, 기본적으로 현실세계를 바탕으로 그 위에 가상정보를 입히는 기술이다.

따라서, 상기 증강현실 기술에 대한 연구가 시작된 이래 다양한 분야에서 상기 증강현실을 응용하려는 연구가 이어져 오고 있다. 최근에는 스마트 폰의 개발로 인하여 증강현실을 이용한 다양한 어플리케이션이 개발되고 있으며, 이동형 통신기기, PDA(Personal digital Assiants), UMPS(Ultra Mobile Personal Computer)등 모바일 기기의 컴퓨팅 능력 향상과 무선 네트워크장치의 발달로 손안(Handheld)의 증강현실 시스템이 가능하게 되었다.

이러한 증강현실을 이용한 응용의 예로는 위치정보를 이용하여 사용자에게 주변 지역(위치)의 건물 정보등을 제공하는 서비스가 있다. 또한, 식별 코드(마커(marker), QR(Quick Reponse)) 등을 활용해 검색, 모바일, 쇼핑, 광고 및 사물도감 등을 제공하는 영상검색 및 위치정보 서비스등과 같은 서비스가 있다.

그런데, 종래의 증강현실은 기설정된 마커나 객체에 대한 증강현실만 가능할 뿐 복잡한 패턴, 제스처 및 음성을 복합적으로 사용하여 증강현실을 구현하지는 못하였다.

부연하면, 이미 이동형 통신기기에 저장된 영상만을 재생하는 정도에 머무르는 수준이여서, 융합적인 정보를 제공하는 데에는 부족하다는 단점이 있다.

또한, 일반적인 뮤직 카드의 경우, 각기 개별적인 악기를 연주하는 영상을 재생하게 됨으로써 협주가 되지 않는 단점이 있다. 즉, 단순하게 뮤직 카드에 식별코를 준비하고, 이를 이용하여 콘텐츠 제공 서버와 연결시켜, 음악을 재생하는 기능만을 구현하고 있다.

또한, 일반적인 뮤직 카드의 경우, 각기 개별적인 악기를 연주하는 영상을 재생하게 됨으로써 협주가 되지 않는 단점이 있다. 즉, 단순하게 뮤직 카드에 식별코드를 준비하고, 이를 이용하여 콘텐츠 제공 서버와 연결시켜, 음악을 재생하는 기능만을 구현하고 있다.

1. 한국공개특허번호 제10-2013-0082852호

본 발명은 위에서 제시된 과제를 달성하기 위해, 복수개의 뮤직 카드를 이용하여 융합적인 정보를 제공할 수 있는 증강현실 협주 제공방법을 구현하는데 그 목적이 있다.

또한, 본 발명은 복수개의 뮤직 카드를 이용하여 증강현실 협주를 가능하게 하는 증강현실 협주 제공방법을 제공하는데 다른 목적이 있다.

본 발명은 위에서 제시된 과제를 달성하기 위해, 복수개의 뮤직 카드를 이용하여 융합적인 정보를 제공할 수 있는 증강현실 협주 제공방법을 한다.

상기 증강현실 협주 제공방법은,

제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드가 준비되는 단계;

이동형 통신기기의 카메라에 의해 상기 제1 뮤직카드 및 제 2 뮤직카드가 촬영되는 단계;

상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되는 단계;

상기 관리 서버로부터 상기 제1 마커 및 제2 마커에 대응되는 제1 콘텐츠 및 제2 콘텐츠가 수신되는 단계; 및

상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지를 상기 제1 뮤직카드 및 제 2 뮤직카드 상에 각각 증강현실로 출력하는 동시에, 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지에 대응되는 제1 뮤직 및 제2 뮤직의 협주를 상기 이동형 통신기기를 통해 출력하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 제1 뮤직 및 제2 뮤직의 협주는 각각 제1 악기 및 제2 악기에 의해 수행되는 것을 특징으로 한다.

이때, 상기 제1 악기 및 제2 악기는, 상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되기 전에 상기 이동형 통신기기를 통해 선택되는 것을 특징으로 한다.

또한, 상기 제1 뮤직 및 제2 뮤직의 조성이 다를 경우 제1 뮤직 및 제2 뮤직의 상기 협주는 상기 이동형 통신기기를 통해 각각 음원의 조옮김(이조) 후에 출력되는 것을 특징으로 한다.

또한, 상기 음원의 조옮김은 상기 이동형 통신기기의 업(up)버튼 및 다운(down)버튼에 의해 각각 1음씩 업쉬프트(upshift) 및 다운쉬프트(downshift)되는 것을 특징으로 한다.

또한, 상기 업(up)버튼 및 다운(down)버튼이 상기 관리 서버로 전송된 후, 상기 관리 서버로부터 상기 업쉬프트(upshift) 및 다운쉬프트(downshift)으로 조옮김된 음원이 상기 이동형 통신기기로 전송되는 것을 특징으로 한다.

다른 한편으로, 본 발명의 다른 일실시예는, 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드가 준비되는 단계; 이동형 통신기기의 카메라에 의해 상기 제1 뮤직카드 및 제 2 뮤직카드가 촬영되는 단계; 상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되는 단계; 상기 관리 서버로부터 상기 제1 마커 및 제2 마커에 대응되는 제1 콘텐츠 및 제2 콘텐츠가 수신되는 단계; 및 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지를 상기 제1 뮤직카드 및 제 2 뮤직카드 상에 각각 증강현실로 출력하는 동시에, 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지에 대응되는 제1 뮤직 및 제2 뮤직의 협주를 상기 이동형 통신기기를 통해 출력하는 단계;를 포함하며, 상기 제1 악기 및 제2 악기는 상기 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드 각각의 위치와 상기 이동형 통신기기 카메라의 촬영각도에 따라 서로 다르게 선택될 수 있는 것을 특징으로 하는 멀티 뮤직카드에 의한 증강현실 협주 제공방법을 제공할 수 있다.

또 다른 한편으로, 본 발명의 또 다른 일실시예는, 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드가 준비되는 단계; 이동형 통신기기의 카메라에 의해 상기 제1 뮤직카드 및 제 2 뮤직카드가 촬영되는 단계; 상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되는 단계; 상기 관리 서버로부터 상기 제1 마커 및 제2 마커에 대응되는 제1 콘텐츠 및 제2 콘텐츠가 수신되는 단계; 및 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지를 상기 제1 뮤직카드 및 제 2 뮤직카드 상에 각각 증강현실로 출력하는 동시에, 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지에 대응되는 제1 뮤직 및 제2 뮤직의 협주를 상기 이동형 통신기기를 통해 출력하는 단계;를 포함하며, 상기 제1 악기 및 제2 악기는 상기 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드의 각각의 위치로부터 상기 이동형 통신기기 카메라까지의 거리에 따라 서로 다르게 선택될 수 있는 것을 특징으로 하는 멀티 뮤직카드에 의한 증강현실 협주 제공방법을 제공한다.

또 다른 한편으로, 본 발명의 또 다른 일실시예는, 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드가 준비되는 단계; 이동형 통신기기의 카메라에 의해 상기 제1 뮤직카드 및 제 2 뮤직카드가 촬영되는 단계; 상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되는 단계; 상기 관리 서버로부터 상기 제1 마커 및 제2 마커에 대응되는 제1 콘텐츠 및 제2 콘텐츠가 수신되는 단계; 및 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지를 상기 제1 뮤직카드 및 제 2 뮤직카드 상에 각각 증강현실로 출력하는 동시에, 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지에 대응되는 제1 뮤직 및 제2 뮤직의 협주를 상기 이동형 통신기기를 통해 출력하는 단계;를 포함하며, 사용자가 설정해둔 연령에 맞추어 상기 관리 서버에서 상기 제1 마커와 제2 마커가 동시에 있을 때 대응되는 제3 콘텐츠를 수신해서 출력하는 것을 특징으로 하는 멀티 뮤직카드에 의한 증강현실 협주 제공방법을 제공한다.

본 발명에 따르면, 각기 다른 정보를 갖는 복수개의 뮤직 카드를 나란히 배치하고 이를 이용하여 융합적인 정보를 제공할 수 있다.

또한, 본 발명의 다른 효과로서는 각기 다른 정보를 갖는 복수개의 뮤직 카드를 나란히 배치하고 각각의 뮤직 카드에 해당하는 음악을 협주하여 증강현실로 구현할 수 있다는 점을 들 수 있다.

도 1은 본 발명의 일실시예에 따른 멀티 뮤직카드에 의한 증강현실 협주 제공 시스템의 구성 블럭도이다.
도 2는 도 1에 도시된 증강현실을 구현할 수 있는 이동형 통신기기의 구성 블럭도이다.
도 3은 본 발명의 일실시예에 따른 멀티 뮤직카드에 의한 증강현실 협주 과정을 보여주는 흐름도이다.
도 4는 본 발명의 다른 일실시예에 따른 악기의 선택을 통해 이동형 통신기기에서 증강현실 협주를 실행하는 과정을 보여주는 흐름도이다.
도 5는 본 발명의 또 다른 일실시예에 따른 악기의 선택을 통해 악기의 증강현실 협주를 실행하는 과정을 보여주는 흐름도이다.
도 6은 본 발명의 또 다른 일실시예에 따른 한음 옮김을 구현하는 과정을 보여주는 흐름도이다.
도 7은 도 1에 도시된 관리 서버에서 검출된 마커와 콘텐츠 정보를 맵핑하는 데이터베이스의 구조를 보여주는 개념도이다.
도 8은 본 발명의 일실시예에 따른 뮤직 카드상에 영상 이미지를 증강 현실로 표시하는 예시이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

이하 첨부된 도면을 참조하여, 본 발명의 일실시예에 따른 멀티 뮤직카드에 의한 증강현실 협주 제공방법을 상세하게 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 멀티 뮤직카드에 의한 증강현실 협주 제공 시스템(1)의 구성 블럭도이다. 도 1을 참조하면, 증강현실 협주 제공 시스템(1)은 뮤직 카드(11,12)의 뮤직 카드를 촬영하여 마커(11-1,12-1)를 추출하는 이동형 통신기기(20), 마커(11-1,12-1)와 콘텐츠 정보를 매칭하여 이동형 통신기기(20)에 전송하는 관리 서버(40), 이동형 통신기기(20)와 관리 서버(40)를 연결하는 통신망(30) 등을 포함하여 구성될 수 있다.

뮤직 카드(11,12)는 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)로 구성될 수 있다. 제 1 및 제 2 뮤직 카드(11,12)는 표면에 각각 제 1 및 제 2 뮤직 카드가 구성된다. 부연하면, 플라스틱, 합지 형태에 그림 인쇄물 종이나 포토를 붙인 것으로 제 1 및 제 2 뮤직 카드는 인물 사진, 공연 장소 사진, 악기 사진 등이 될 수 있다. 따라서, 제 1 뮤직 카드와 제 2 뮤직 카드는 서로 다른 이미지를 갖는다.

물론, 제 1 뮤직 카드와 제 2 뮤직 카드에는 각각 제 1 마커(11-1) 및 제 2 마커(12-1)가 은닉되어 있다. 물론, 제 1 마커(11-1) 및 제 2 마커(12-1)를 뮤직 카드로 구성할 수도 있다.

제 1 마커(11-1) 및 제 2 마커(12-1)는 증강현실에서 구현될 가상 객체에 대응될 수 있는데, 사용자에 의해 미리 정의 및 생성된 합성 마커일 수 있고, 영상 인식 기술을 이용하여 인식될 수 있는 실제 객체의 특징점을 포함하는 마커일 수도 있다.

마커(MK)는 기하학적 문양이나 패턴 등이 인식 정보로 사용될 수도 있으나, 포토 카드로 이루어져 특정한 인물, 캐릭터 등이 인식 정보로도 사용될 수 있다.

이동형 통신기기(20)는 뮤직 카드(11,12)의 뮤직 카드(11-1,12-1)를 촬영하여 마커 정보를 추출하는 기능을 수행한다. 또한, 이동형 통신기기(20)는 관리 서버(40)로부터 마커에 매칭되며, 뮤직 카드와 관련되는 콘텐츠 정보를 수신받아 디스플레이하는 기능을 수행한다.

관리 서버(40)는 이동형 통신기기(20)로부터 수신한 마커를 이용하여 콘텐츠 정보를 검색하고 이를 이동형 통신기기(20)에 제공하는 기능을 수행한다. 물론, 콘텐츠 정보는 미리 제작되어 데이터베이스(41)에 저장되어 있다. 콘텐츠 정보는, 음악, 동영상, 정지 영상, 배경화면, 뮤직 카드 해설 정보 등을 포함하여 구성될 수 있다. 뮤직 카드 해설 정보는 곡명, 한글.영어 스토리텔링, 악보, 음반 리스트, 가사 등이 포함될 수 있다.

통신망(30)은 이동형 통신기기(20)와 관리 서버(40)를 통신으로 연결하는 기능을 수행한다. 이를 위해, 통신망(30)은 다수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 공중교환 전화망(PSTN), 공중교환 데이터망(PSDN), 종합정보통신망(ISDN: Integrated Services Digital Networks), 광대역 종합 정보 통신망(BISDN: Broadband ISDN), 근거리 통신망(LAN: Local Area Network), 대도시 지역망(MAN: Metropolitan Area Network), 광역 통신망(WLAN: Wide LAN) 등이 될 수 있다,

그러나, 본 발명은 이에 한정되지는 않으며, 무선 통신망인 CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), Wibro(Wireless Broadband), WiFi(Wireless Fidelity), HSDPA(High Speed Downlink Packet Access) 망, 블루투스(bluetooth), NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 될 수 있다. 또는, 이들 유선 통신망 및 무선 통신망의 조합일 수 있다.

도 1에서는 마커를 추출하는 것을 이동형 통신기기(20)에서 수행하는 것으로 기술하였으나, 이동형 통신기기(20)는 촬영된 이미지 정보만을 관리 서버(40)에 전달하고, 관리 서버(40)에서 마커정보를 추출하는 것도 가능하다. 이는 마커를 추출하는 프로그램을 어디에 설치하는 지에 따른 차이에 불과하다.

관리 서버(40)는 마이크로프로세서, 통신 모뎀, 메모리 등을 포함하여 구성될 수 있다. 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD(Secure Digital) 또는 XD(eXtreme Digital) 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage), 클라우드 서버와 관련되어 동작할 수도 있다.

데이터베이스(41)는 관리 서버(40)내에 구성될 수도 있고, 이와 달리 별도의 데이터베이스 서버에 구성될 수 있다.

도 2는 도 1에 도시된 증강현실을 구현할 수 있는 이동형 통신기기(20)의 구성 블럭도이다. 도 2를 참조하면, 이동형 통신기기(20)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 될 수 있다.

이동형 통신기기(20)는, 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 및 전원 공급부(190)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.

무선 통신부(110)는 방송수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 및 GPS 모듈(115) 등을 포함할 수 있다.

방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버(미도시)로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기생성된 방송 신호 및/또는 방송관련 정보중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.

방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈(112)에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.

방송수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈(111)은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(113)은 이동형 통신기기(20)에 내장되거나 외장될 수 있다. 근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다. GPS(Global Position System) 모듈(115)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.

A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 또한, 위치도 상하 및/또는 좌우에 일정간격으로 구비될 수도 있다. 카메라(121)는 이미지 센서를 포함하며, 이미지 센서는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)가 될 수 있다.

또한, 카메라(121)는 3D(dimension) 카메라 또는 뎁스(depth) 카메라를 포함할 수 있다. 3D 카메라(depth camera)에 구비된 이미지 센서를 통하여, 홀로그램 영상(또는 홀로그램객체)이 출력되는 임의의 공간(또는 기 설정된 공간) 상에 위치한 물체 또는 인체를 센싱하도록 이루어질 수 있다.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(151)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린(touch screen)이라 부를 수 있다.

센싱부(140)는 이동형 통신기기(20)의 개폐 상태, 위치, 사용자 접촉 유무 등과 같이 이동형 통신기기(20)의 현 상태를 감지하여 이동형 통신기기(20)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동형 통신기기(20)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.

또한, 센싱부(140)는 근접센서(Proximity Sensor)(141)를 포함할 수 있다. 근접센서(141)는 접근하는 객체나, 근방에 존재하는 객체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서(141)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접객체를 검출할 수 있다. 근접센서(141)는 구성 태양에 따라 2개 이상이 구비될 수 있다.

또한, 센싱부(140)는 자이로 센서(Gyro Sensor)(142)를 포함할 수 있다. 자이로 센서(142)는 자이로스코프를 이용하여 객체의 움직임을 감지하는 센서, 관성센서, 가속도 센서를 포함하는 개념이다. 자이로스코프에는 기계식 자이로스코프, 고리형 레이저 자이로스코프, 광섬유 자이로스코프 등이 있다. 자이로 센서(142)는 이동형 통신기기의 움직임을 감지하여 이동형 통신기기의 제어를 위한 신호를 제공한다.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 홀로그램 출력부(또는 홀로그래피 모듈, 154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(20)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(130)로써 기능함과 동시에, 이동 단말기(20)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.

디스플레이부(151)는 이동형 통신기기(20)에서 처리되는 정보를 표시 출력한다. 예를 들어 이동형 통신기기(20)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 이동형 통신기기(20)가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.

또한, 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 이동형 통신기기(20)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수도 있다. 예를 들어, 이동형 통신기기(20)에 외부 디스플레이부(미도시)와 내부 디스플레이부(미도시)가 동시에 구비될 수 있다.

음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(152)은 이동형 통신기기(20)에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(152)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

햅틱 모듈(153)은 스크린상의 가상 버튼에 대한 사용자의 터치 조작에 대응하여 햅틱 진동을 발생시켜 다양한 상황에 따른 가상 버튼 클릭감을 제공하는 기능을 수행한다. 이를 위해, 진동 부재, 압전소자 등이 구성될 수 있다.

홀로그램 출력부(154)는 단말기 본체의 전면, 예를 들어, 디스플레이부(151) 상 또는 뮤직 카드(11,12)상의 공간에 홀로그램 영상을 출력하도록 이루어질 수 있다. 보통 홀로그램 출력부(154)는 모바일용 다시점 홀로그램 디스플레이가 될 수 있다. 홀로그램 출력부(154)는 디스플레이부(151)의 일 영역에 구비된 것 뿐만 아니라, 단말기 본체의 임의의 영역에 배치될 수 있으며, 배치 위치는, 설계에 따라 다양하게 변경될 수 있다.

메모리(160)는 제어부(180)의 처리 및/또는 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 카메라(121)를 통하여 촬영된 뮤직 카드를 처리하여 특징점을 추출하는 알고리즘을 갖는 프로그램, 소프트웨어, 데이터 등을 저장할 수도 있다.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 이동형 통신기기(20)는 인터넷(internet) 상에서 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.

인터페이스부(170)는 이동형 통신기기(20)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 이동형 통신기기(20)에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM/UIM card 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(170)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동형 통신기기(20) 내부의 각 구성 요소에 전달할 수 있고, 이동형 통신기기(20) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.

제어부(180)는 통상적으로 상기 각부의 동작을 제어하여 이동형 통신기기(20)의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 재생 모듈(181)을 구비할 수도 있다. 멀티미디어 재생 모듈(181)은 제어부(180) 내에 하드웨어로 구성될 수도 있고, 제어부(180)와 별도로 소프트웨어로 구성될 수도 있다. 또한, 제어부(180)는 촬영된 뮤직 카드를 처리하여 특징점을 추출하는 알고리즘을 실행하는 기능을 수행할 수 있다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

도 3은 본 발명의 일실시예에 따른 멀티 뮤직카드에 의한 증강현실 협주 과정을 보여주는 흐름도이다. 도 3을 참조하면, 우선 제 1 마커(11-1)가 형성된 제 1 뮤직 카드(11)와 제 2 마커(12-1)가 형성된 제 2 뮤직 카드(12)를 나란히 배치한다(단계 S310). 부연하면, 제 1 뮤직 카드(11)를 좌측에 배치하고, 제 2 뮤직 카드(12)를 제 1 뮤직 카드(11)의 우측에 일정간격으로 배치한다고 가정한다. 물론, 제 1 뮤직 카드(11)를 위쪽에 배치하고, 제 2 뮤직 카드(12)를 제 1 뮤직 카드(11)의 아래쪽에 배치하는 것도 가능하다.

이러한 배치 상태에서, 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)의 표면위를 일정높이로 이동형 통신기기(20)를 좌측에서부터 우측으로 수평 이동시켜, 제 1 뮤직 카드 및 제 2 뮤직 카드(11,12)를 촬영한다(단계 S320). 물론, 이동형 통신기기(20)의 좌우에 일정 간격으로 카메라(도 2의 121)가 2대가 설치되면, 상에서 하방향 또는 하에서 상방향으로 이동형 통신기기(20)를 이동시켜 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)를 촬영할 수 있다.

부연하면, 이동형 통신기기(20)에 설치된 카메라(121)가 제 1 뮤직 카드(11)의 제 1 마커(11-1) 및 제 2 뮤직 카드(12)의 제 2 마커(12-1)를 인식하고, 이를 관리 서버(40)에 전송한다(단계 S330). 마커(11-1,12-1)는 뮤직 카드(11,12)에 대한 정보를 나타낸다.

관리 서버(40)는 제 1 마커(11-1) 및 제 2 마커(12-1)에 각각 매칭되는 제 1 콘텐츠 및 제 2 콘텐츠를 데이터베이스(41)로부터 검색하고, 이를 이동형 통신기기(20)에 전송한다(단계 S340). 부연하면, 데이터베이스(410)에는 미리 마커(11-1,12-1)에 해당하는 콘텐츠 정보들이 저장되어 있다. 콘텐츠 정보는 AR(Augmented Reality) 영상 이미지, VR(Virtual Reality) 영상 이미지, 음원 등을 포함할 수 있다. 예를 들면, 제 1 마커(11-1)는 피아노의 영상 이미지와 관련되고, 제 2 마커(11-2)는 바이올린의 영상 이미지와 관련된다. 물론, 영상 이미지와 함께, 음원 정보, 가사, 부가 정보 등을 포함할 수 있다. 부가 정보로는 작곡가 정보, 작곡시 배경 정보, 악기 정보 등을 포함할 수 있다.

이후, 이동형 통신기기(20)는 제 1 콘텐츠의 영상 이미지 및 제 2 콘텐츠의 영상 이미지를 제 1 뮤직 카드 및 제 2 뮤직 카드상에 각각 증강 현실로 출력한다(단계 S350). 물론, 증강 현실은 홀로그램 방식으로 구현될 수 있다.

이후, 이동형 통신기기(20)는 제 1 콘텐츠 및 제 2 콘텐츠에 대응되는 제 1 뮤직 및 제 2 뮤직의 협주 음원을 출력한다(단계 S360). 예를 들면, 제 1 뮤직은 여성 성악가에 관련된 음악이고, 제 2 뮤직은 남성 성악가에 관련된 음악이면, 여성 상악가와 남성 성악가의 협주를 출력한다.

부연하면, 여성 성악가 및 남성 성악가가 주로 열창한 콘텐츠를 추출하고, 이 콘텐츠의 영상 이미지를 증강현실로 출력한다. 영상 이미지의 출력과 동시에, 여성 성악가의 음성과 남성 성악가의 음성이 협주된다. 물론, 이러한 협주를 위한 음원에는 여성 성악가 재생 파트와 남성 성악가 재생 파트가 설정되고, 예를 들면, 베르디의 "라트라비아타" 중 "축배의 노래" 음원이 재생됨에 따라 해당 파트마다 여성 성악가 파트 및/또는 남성 성악가 파트가 재생된다.

물론, 도 3은 성악가의 예를 들어 설명하였으나, 악기와 음성의 협주도 가능하다.

음원은 "MP3", "WMA", "FLAC(Free Lossless Audio Codec)", "WAV" 등과 같은 음성 포맷의 음원 파일이 될 수 있다.

도 4는 본 발명의 다른 일실시예에 따른 악기의 선택을 통해 이동형 통신기기에서 증강현실 협주를 실행하는 과정을 보여주는 흐름도이다. 도 4를 참조하면, 우선 제 1 마커(11-1)가 형성된 제 1 뮤직 카드(11)와 제 2 마커(12-1)가 형성된 제 2 뮤직 카드(12)를 나란히 배치한다(단계 S410). 부연하면, 제 1 뮤직 카드(11)를 좌측에 배치하고, 제 2 뮤직 카드(12)를 제 1 뮤직 카드(11)의 우측에 일정간격으로 배치한다고 가정한다. 물론, 제 1 뮤직 카드(11)를 위쪽에 배치하고, 제 2 뮤직 카드(12)를 제 1 뮤직 카드(11)의 아래쪽에 배치하는 것도 가능하다.

이러한 배치 상태에서, 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)의 표면위를 일정높이로 이동형 통신기기(20)를 좌측에서부터 우측으로 수평 이동시켜, 제 1 뮤직 카드 및 제 2 뮤직 카드(11,12)를 촬영한다(단계 S420). 물론, 이동형 통신기기(20)의 좌우에 일정 간격으로 카메라(도 2의 121)가 2대가 설치되면, 상에서 하방향 또는 하에서 상방향으로 이동형 통신기기(20)를 이동시켜 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)를 촬영할 수 있다.

부연하면, 이동형 통신기기(20)에 설치된 카메라(121)가 제 1 뮤직 카드(11)의 제 1 마커(11-1) 및 제 2 뮤직 카드(12)의 제 2 마커(12-1)를 인식한다. 물론, 이때 사용자는 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)에서 각각 구현될 제 1 악기 및 제 2 악기를 선택할 수 있다.

이를 위해, 이동형 통신기기(20)는 디스플레이부(151)에 선택 메뉴를 제공할 수 있다. 악기 선택이 이루어지면, 이동형 통신기기(20)는 마커 정보와 함께 악기 선택 정보를 관리 서버(40)에 전송한다(단계 S430,S440). 악기 선택의 예로는 피아노, 바이올린 등이 될 수 있다. 즉, 제 1 악기로는 피아노, 제 2 악기로는 바이올린을 들 수 있다.

이후, 관리 서버(40)는 제 1 마커(11-1) 및 제 2 마커(12-1)에 각각 매칭되는 제 1 콘텐츠 및 제 2 콘텐츠를 데이터베이스(41)로부터 검색하고, 이를 이동형 통신기기(20)에 전송한다(단계 S450).

이후, 이동형 통신기기(20)는 관리 서버(40)로부터 제 1 콘텐츠 및 제 2 콘텐츠를 수신하고, 이 제 1 콘텐츠의 영상 이미지 및 제 2 콘텐츠의 영상 이미지를 제 1 뮤직 카드 및 제 2 뮤직 카드상에 각각 증강 현실로 출력한다(단계 S460).

물론, 증강 현실은 홀로그램 방식으로 구현될 수 있다. 즉, 증강 현실과 홀로그램이 융합된 방식이 될 수 있다.

이후, 이동형 통신기기(20)는 제 1 콘텐츠 및 제 2 콘텐츠에 대응되는 제 1 뮤직 및 제 2 뮤직의 협주 음원을 출력한다(단계 S470). 부연하면, 바이올린과 피아노가 선택된 경우, 바이올린에 관련된 음원과 피아노에 관련된 음원을 추출하여 출력한다. 협주는 제 1 뮤직을 일정시간 재생하고, 재생의 사이사이에 제 2 뮤직을 재생하는 것을 들 수 있다. 또는, 제 1 뮤직과 제 2 뮤직을 공통으로 하는 제 3 뮤직을 재생할 수도 있다.

도 5는 본 발명의 또 다른 일실시예에 따른 악기의 선택을 통해 악기의 증강현실 협주를 실행하는 과정을 보여주는 흐름도이다. 도 5를 참조하면, 우선 제 1 마커(11-1)가 형성된 제 1 뮤직 카드(11)와 제 2 마커(12-1)가 형성된 제 2 뮤직 카드(12)를 나란히 배치한다(단계 S510). 부연하면, 제 1 뮤직 카드(11)를 좌측에 배치하고, 제 2 뮤직 카드(12)를 제 1 뮤직 카드(11)의 우측에 일정간격으로 배치한다고 가정한다. 물론, 제 1 뮤직 카드(11)를 위쪽에 배치하고, 제 2 뮤직 카드(12)를 제 1 뮤직 카드(11)의 아래쪽에 배치하는 것도 가능하다.

이러한 배치 상태에서, 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)의 표면위를 일정높이로 이동형 통신기기(20)를 좌측에서부터 우측으로 수평 이동시켜, 제 1 뮤직 카드 및 제 2 뮤직 카드(11,12)를 촬영한다(단계 S520). 물론, 이동형 통신기기(20)의 좌우에 일정 간격으로 카메라(도 2의 121)가 2대가 설치되면, 상에서 하방향 또는 하에서 상방향으로 이동형 통신기기(20)를 이동시켜 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)를 촬영할 수 있다.

부연하면, 이동형 통신기기(20)에 설치된 카메라(121)가 제 1 뮤직 카드(11)의 제 1 마커(11-1) 및 제 2 뮤직 카드(12)의 제 2 마커(12-1)를 인식한다. 물론, 이때 사용자는 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)에서 각각 구현될 제 1 악기 및 제 2 악기를 선택할 수 있다.

이를 위해, 이동형 통신기기(20)는 디스플레이부(151)에 선택 메뉴를 제공할 수 있다. 악기 선택이 이루어지면, 이동형 통신기기(20)는 마커 정보와 함께 악기 선택 정보를 관리 서버(40)에 전송한다(단계 S530,S540). 악기 선택의 예로는 피아노, 바이올린 등이 될 수 있다. 즉, 제 1 악기로는 피아노, 제 2 악기로는 바이올린을 들 수 있다.

또한, 상기 제1 악기 및 제2 악기는 상기 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드 각각의 위치와 상기 이동형 통신기기 카메라의 촬영각도에 따라 서로 다르게 선택될 수 있다. 부연하면, 자이로 센서(도 2의 142)를 이용하여 측정된 뮤직 카드(11,12)와 카메라(121)간 각도가 10°이면 바이올린이 선택되고, 각도가 15°이면 피아노가 선택될 수 있다.

물론, 근접 센서(141)를 이용하여 측정된 뮤직 카드(11,12)와 카메라(121)간 거리가 10cm이면 바이올린이 선택되고, 거리가 15cm이면 피아노가 선택될 수 있다.

이후, 관리 서버(40)는 제 1 마커(11-1) 및 제 2 마커(12-1)에 각각 매칭되는 제 1 콘텐츠 및 제 2 콘텐츠를 데이터베이스(41)로부터 검색하고, 이를 이동형 통신기기(20)에 전송한다(단계 S550).

이후, 이동형 통신기기(20)는 관리 서버(40)로부터 제 1 콘텐츠 및 제 2 콘텐츠를 수신하고, 이 제 1 콘텐츠의 영상 이미지 및 제 2 콘텐츠의 영상 이미지를 제 1 뮤직 카드 및 제 2 뮤직 카드상에 각각 증강 현실로 출력한다(단계 S560).

물론, 증강 현실은 홀로그램 방식으로 구현될 수 있다. 즉, 증강 현실과 홀로그램이 융합된 방식이 될 수 있다.

이후, 이동형 통신기기(20)는 제 1 콘텐츠 및 제 2 콘텐츠에 대응되는 제 1 뮤직 및 제 2 뮤직의 협주 음원을 출력한다(단계 S570). 예를 들면, 제 1 뮤직은 이전 단계에서 사용자에 의해 선택된 피아노에 관련된 음악이고, 제 2 뮤직은 이전 단계에서 사용자에 의해 선택된 바이올린에 관련된 음악이면, 선택된 피아노와 선택된 바이올린의 협주를 출력한다.

예를 들면, 제 1 뮤직은 사용자가 선택한 피아노에 관련된 음악이고, 제 2 뮤직은 사용자가 선택한 바이올린에 관련된 음악이면, 선택된 악기인 피아노와 선택된 악기인 바이올린의 협주를 출력한다.

부연하면, 콘텐츠가 비발디의 사계에 해당하는 경우, 피아노 부분인 제 1 뮤직과 바이올린 부분인 제 2 뮤직이 비발디의 사계를 기반으로 협주된다. 부연하면 미리 비발디의 사계의 음원에는 피아노 재생 파트와 바이올린 재생 파트가 설정되고, 비발디의 사계 음원이 재생됨에 따라 해당 파트마다 피아노 및/또는 바이올린이 재생된다.

도 6은 본 발명의 또 다른 일실시예에 따른 한음 옮김을 구현하는 과정을 보여주는 흐름도이다. 도 6을 참조하면, 우선 제 1 마커(11-1)가 형성된 제 1 뮤직 카드(11)와 제 2 마커(12-1)가 형성된 제 2 뮤직 카드(12)를 나란히 배치한다(단계 S610). 부연하면, 제 1 뮤직 카드(11)를 좌측에 배치하고, 제 2 뮤직 카드(12)를 제 1 뮤직 카드(11)의 우측에 일정간격으로 배치한다고 가정한다. 물론, 제 1 뮤직 카드(11)를 위쪽에 배치하고, 제 2 뮤직 카드(12)를 제 1 뮤직 카드(11)의 아래쪽에 배치하는 것도 가능하다.

이러한 배치 상태에서, 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)의 표면위를 일정높이로 이동형 통신기기(20)를 좌측에서부터 우측으로 수평 이동시켜, 제 1 뮤직 카드 및 제 2 뮤직 카드(11,12)를 촬영한다(단계 S620). 물론, 이동형 통신기기(20)의 좌우에 일정 간격으로 카메라(도 2의 121)가 2대가 설치되면, 상에서 하방향 또는 하에서 상방향으로 이동형 통신기기(20)를 이동시켜 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)를 촬영할 수 있다.

부연하면, 이동형 통신기기(20)에 설치된 카메라(121)가 제 1 뮤직 카드(11)의 제 1 마커(11-1) 및 제 2 뮤직 카드(12)의 제 2 마커(12-1)를 인식한다. 물론, 이때 사용자는 제 1 뮤직 카드(11) 및 제 2 뮤직 카드(12)에서 각각 구현될 제 1 악기 및 제 2 악기를 선택할 수 있다. 이를 위해, 이동형 통신기기(20)는 디스플레이부(151)에 선택 메뉴를 제공할 수 있다.

또한, 사용자는 선택된 악기들의 각각의 옥타브를 선택할 수 있다. 이를 위해 이동형 통신기기(20)의 사용자 입력부(130)에 구성되는 업버튼(미도시), 다운버튼(미도시)을 이용할 수 있다. 물론, 업버튼, 다운버튼은 물리적인 버튼뿐만 아니라 디스플레이부(151)상에 아이콘으로 표시되는 소프트 버튼도 가능하다. 업버튼을 통해 1음씩 업쉬프트가 될 수 있고, 다운버튼을 통해 1음씩 다운쉬프트가 될 수 있다. 즉, 음원의 조옮김(이조)을 실행한다.

악기 선택 및 버튼 선택이 이루어지면, 이동형 통신기기(20)는 마커 정보, 악기 선택 정보와 함께 버튼 선택 정보를 관리 서버(40)에 전송한다(단계 S630,S640,S650). 악기 선택의 예로는 피아노, 바이올린 등이 될 수 있다. 즉, 제 1 악기로는 피아노, 제 2 악기로는 바이올린을 들 수 있다.

이후, 관리 서버(40)는 제 1 마커(11-1) 및 제 2 마커(12-1)에 각각 매칭되는 제 1 콘텐츠 및 제 2 콘텐츠를 데이터베이스(41)로부터 검색하고, 이를 이동형 통신기기(20)에 전송한다(단계 S660).

이후, 이동형 통신기기(20)는 관리 서버(40)로부터 제 1 콘텐츠 및 제 2 콘텐츠를 수신하고, 이 제 1 콘텐츠의 영상 이미지 및 제 2 콘텐츠의 영상 이미지를 제 1 뮤직 카드 및 제 2 뮤직 카드상에 각각 증강 현실로 출력한다(단계 S670).

물론, 증강 현실은 홀로그램 방식으로 구현될 수 있다. 즉, 증강 현실과 홀로그램이 융합된 방식이 될 수 있다.

이후, 이동형 통신기기(20)는 제 1 콘텐츠 및 제 2 콘텐츠에 대응되는 제 1 뮤직 및 제 2 뮤직의 협주 음원을 출력한다(단계 S680). 예를 들면, 제 1 뮤직은 이전 단계에서 사용자에 의해 선택된 피아노에 관련된 음악이고, 제 2 뮤직은 이전 단계에서 사용자에 의해 선택된 바이올린에 관련된 음악이면, 선택된 피아노와 선택된 바이올린의 협주를 출력한다.

예를 들면, 제 1 뮤직은 사용자가 선택한 피아노에 관련된 음악이고, 제 2 뮤직은 사용자가 선택한 바이올린에 관련된 음악이면, 선택된 악기인 피아노와 선택된 악기인 바이올린의 협주를 출력한다.

부연하면, 콘텐츠가 비발디의 사계에 해당하는 경우, 피아노 부분인 제 1 뮤직과 바이올린 부분인 제 2 뮤직이 비발디의 사계를 기반으로 협주된다. 부연하면 미리 비발디의 사계의 음원에는 피아노 재생 파트와 바이올린 재생 파트가 설정되고, 비발디의 사계 음원이 재생됨에 따라 해당 파트마다 피아노 및/또는 바이올린이 재생된다. 물론, 이때 필요시 조옮김된 음원이 출력된다.

한편, 사용자가 연령을 설정하면, 설정된 연령에 맞추어 제1 마커와 제2 마커가 동시에 있을 때 대응되는 제3 콘텐츠를 생성하는 것도 가능하다. 이 경우, 데이터베이스(도 1의 41)에 미리 연령 및 마커 정보에 따라 제 3 콘텐츠를 저장한다.

도 7은 도 1에 도시된 관리 서버에서 검출된 마커와 콘텐츠 정보를 맵핑하는 데이터베이스의 구조를 보여주는 개념도이다. 도 7을 참조하면, 미리 데이터베이스(41)에는 마커들과 컨텐츠 정보가 맵핑되어 저장된다.

부연하면, 관리 서버(40)는 미리 마커와 관련된 컨텐츠 정보을 매칭하여 데이터베이스(41)에 저장한다. 예를 들면, 영상 프레임들(예를 들면, 영상1을 예시한다)에 대해 특징점들을 추출하고, 특징점들에 따른 마커 마다 컨텐츠 정보를 매칭한다.

예를 들면, 도 6에 도시된 바와 같이, 마커 1_1, 마커 1_2, 마커 1_3 …에 증강 현실 컨텐츠1에 속하는 AR(Augmented Reality) 컨텐츠 1_1, AR 컨텐츠 1_2, AR 컨텐츠 1_3 …이 될 수 있다. 즉, 마커 1-1은 AR 컨텐츠 1-1에 맵핑되고, 마커 1-2은 AR 컨텐츠 1-2에 맵핑되고, 마커 1-3은 AR 컨텐츠 1-3에 맵핑되는 방식이다.

물론, 영상 프레임에서 특징점을 추출 기울은 널리 알려져 있음으로 더 이상의 설명은 생략하기로 한다.

또한, 뮤직 카드(11-1,12-1)로부터 추출된 마커가 1_3에 해당되면, AR 컨텐츠 1_3으로부터 아래 방향에 해당하는 AR 컨텐츠들이 모두 이동형 통신기기(20)에 전송되며, 이동형 통신기기(20)가 해당 컨텐츠들을 순차적으로 재생한다. 물론, 뮤직 카드(11,12)로부터 추출된 마커가 1_1에 해당되면, AR 컨텐츠 1_1로부터 아래 방향에 해당하는 AR 컨텐츠 1_1,1_2,1_3 들이 모두 이동형 통신기기(20)에 전송되며, 이동형 통신기기(20)가 해당 컨텐츠들을 순차적으로 재생한다.

도 8은 본 발명의 일실시예에 따른 뮤직 카드상에 영상 이미지를 증강 현실로 표시하는 예시이다. 도 8을 참조하면, 제 1 뮤직 카드(11)상에 영상 이미지(800)가 홀로그램 형식으로 표시된다. 물론, 이 영상 이미지는 증강 현실으로 표현될 수 있다.

또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다.

여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

1: 증강현실 협주 제공 시스템
11,12: 제 1 및 제 2 뮤직 카드
11-1,12-1: 제 1 및 제 2 마커
20: 이동형 통신기기
30: 통신망
40: 관리 서버
41: 데이터베이스
110: 무선 통신부 120: A/V(Audio/Video) 입력부
130: 사용자 입력부 140: 센싱부
150: 출력부
160: 메모리 170: 인터페이스부
180: 제어부 190: 전원 공급부
800: 영상 이미지

Claims (8)

1. 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드가 준비되는 단계;
   이동형 통신기기의 카메라에 의해 상기 제1 뮤직카드 및 제 2 뮤직카드가 촬영되는 단계;
   상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되는 단계;
   상기 관리 서버로부터 상기 제1 마커 및 제2 마커에 대응되는 제1 콘텐츠 및 제2 콘텐츠가 수신되는 단계;
   상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지를 상기 제1 뮤직카드 및 제 2 뮤직카드 상에 각각 증강현실로 출력하는 동시에, 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지에 대응되는 제1 뮤직 및 제2 뮤직의 협주를 상기 이동형 통신기기를 통해 출력하는 단계;
   를 포함하는 멀티 뮤직카드에 의한 증강현실 협주 제공방법.
   
2. 제1항에 있어서,
   상기 제1 뮤직 및 제2 뮤직의 협주는 각각 제1 악기 및 제2 악기에 의해 수행되며,
   상기 제1 악기 및 제2 악기는,
   상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되기 전에 상기 이동형 통신기기를 통해 선택되는 것을 특징으로 하는
   멀티 뮤직카드에 의한 증강현실 협주 제공방법.
   
3. 제1항에 있어서,
   상기 제1 뮤직 및 제2 뮤직의 조성이 다를 경우 제1 뮤직 및 제2 뮤직의 상기 협주는 상기 이동형 통신기기를 통해 각각 음원의 조옮김(이조) 후에 출력되는 것을 특징으로 하는
   멀티 뮤직카드에 의한 증강현실 협주 제공방법.
   
4. 제3항에 있어서,
   상기 음원의 조옮김은 상기 이동형 통신기기의 업(up)버튼 및 다운(down)버튼에 의해 각각 1음씩 업쉬프트(upshift) 및 다운쉬프트(downshift)되는 것을 특징으로 하는
   멀티 뮤직카드에 의한 증강현실 협주 제공방법.
   
5. 제4항에 있어서,
   상기 업(up)버튼 및 다운(down)버튼이 상기 관리 서버로 전송된 후, 상기 관리 서버로부터 상기 업쉬프트(upshift) 및 다운쉬프트(downshift)으로 조옮김된 음원이 상기 이동형 통신기기로 전송되는 것을 특징으로 하는
   멀티 뮤직카드에 의한 증강현실 협주 제공방법.
   
6. 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드가 준비되는 단계;
   이동형 통신기기의 카메라에 의해 상기 제1 뮤직카드 및 제 2 뮤직카드가 촬영되는 단계;
   상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되는 단계;
   상기 관리 서버로부터 상기 제1 마커 및 제2 마커에 대응되는 제1 콘텐츠 및 제2 콘텐츠가 수신되는 단계;
   상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지를 상기 제1 뮤직카드 및 제 2 뮤직카드 상에 각각 증강현실로 출력하는 동시에, 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지에 대응되는 제1 뮤직 및 제2 뮤직의 협주를 상기 이동형 통신기기를 통해 출력하는 단계;를 포함하며,
   상기 제1 악기 및 제2 악기는 상기 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드 각각의 위치와 상기 이동형 통신기기 카메라의 촬영각도에 따라 서로 다르게 선택될 수 있는 것을 것을 특징으로 하는
   멀티 뮤직카드에 의한 증강현실 협주 제공방법.
   
7. 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드가 준비되는 단계;
   이동형 통신기기의 카메라에 의해 상기 제1 뮤직카드 및 제 2 뮤직카드가 촬영되는 단계;
   상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되는 단계;
   상기 관리 서버로부터 상기 제1 마커 및 제2 마커에 대응되는 제1 콘텐츠 및 제2 콘텐츠가 수신되는 단계;
   상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지를 상기 제1 뮤직카드 및 제 2 뮤직카드 상에 각각 증강현실로 출력하는 동시에, 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지에 대응되는 제1 뮤직 및 제2 뮤직의 협주를 상기 이동형 통신기기를 통해 출력하는 단계;를 포함하며,
   상기 제1 악기 및 제2 악기는 상기 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드의 각각의 위치로부터 상기 이동형 통신기기 카메라까지의 거리에 따라 서로 다르게 선택될 수 있는 것을 것을 특징으로 하는
   멀티 뮤직카드에 의한 증강현실 협주 제공방법.
   
8. 제1 마커가 포함된 제1 뮤직카드 및 제2 마커가 포함된 제2 뮤직카드가 준비되는 단계;
   이동형 통신기기의 카메라에 의해 상기 제1 뮤직카드 및 제 2 뮤직카드가 촬영되는 단계;
   상기 제1 마커 및 제2 마커가 상기 이동형 통신기기에 의해 인식되어 관리 서버로 송신되는 단계;
   상기 관리 서버로부터 상기 제1 마커 및 제2 마커에 대응되는 제1 콘텐츠 및 제2 콘텐츠가 수신되는 단계;
   상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지를 상기 제1 뮤직카드 및 제 2 뮤직카드 상에 각각 증강현실로 출력하는 동시에, 상기 제1 콘텐츠의 영상이미지 및 상기 제2 콘텐츠의 영상이미지에 대응되는 제1 뮤직 및 제2 뮤직의 협주를 상기 이동형 통신기기를 통해 출력하는 단계;를 포함하며,
   사용자가 설정해둔 연령에 맞추어 상기 관리 서버에서 상기 제1 마커와 제2 마커가 동시에 있을 때 대응되는 제3 콘텐츠를 수신해서 출력하는 것을 특징으로 하는
   멀티 뮤직카드에 의한 증강현실 협주 제공방법.
   
   

Images