KR101263686B1

KR101263686B1 - 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법

Info

Publication number: KR101263686B1
Application number: KR1020110003245A
Authority: KR
Inventors: 이주형; 한덕민; 김미애; 안근현; 윤진석
Original assignee: 에스케이플래닛 주식회사
Priority date: 2011-01-12
Filing date: 2011-01-12
Publication date: 2013-05-22
Also published as: KR20120081874A

Abstract

본 발명은 노래방에 마커를 부착하고 카메라를 통해 마커를 포함한 사용자의 영상을 촬영하면 카메라를 통해 인식한 마커를 사용자가 선곡한 노래와 연관성있는 가상 객체로 변환하여 실제 영상에 중첩 표시하고 표시된 가상 객체에 사용자의 노래 형태에 따라 다양한 인터랙션(interaction) 동작을 정의하여 반영하도록 함으로써 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여할 수 있다.

Description

증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법{KARAOKE SYSTEM AND APPARATUS USING AUGMENTED REALITY, KARAOKE SERVICE METHOD THEREOF}

본 발명은 증강 현실을 이용한 노래방 서비스에 관한 것으로서, 더욱 상세하게는 노래방에 마커를 부착하고 카메라를 통해 마커를 포함한 사용자의 영상을 촬영하면 카메라를 통해 인식한 마커를 사용자가 선곡한 노래와 연관성있는 가상 객체로 변환하여 실제 영상에 중첩 표시하고 표시된 가상 객체에 사용자의 노래 형태에 따라 다양한 인터랙션(interaction) 동작을 정의하여 반영하도록 함으로써 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여하는 증강 현실을 이용한 노래방 장치 및 노래방 서비스 방법에 관한 것이다.

가상 현실(Virtual Reality: VR)은 컴퓨터 시스템에서 생성한 3D 가상 공간과 주로 상호 작용이 주가되는 분야로서, 가상 공간은 현실 세계를 바탕으로 구성된다. 사용자는 이러한 가상 공간을 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 느낌으로써 몰입감(沒入感)을 갖게 된다.

증강 현실(Augmented Reality: AR)은 가상 현실(VR)의 하나의 분야에서 파생된 기술로서, 현실 세계와 가상의 체험을 결합한 것을 의미한다. 즉, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.

가상 현실은 모든 환경을 컴퓨터를 통해 가상환경으로 제작하여 사용자와 상호 작용하지만, 증강 현실은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다. 따라서, 증강 현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.

한편, 종래 노래방 서비스는 노래방 기기에 다수의 노래를 수록해 두고, 사용자가 수록된 노래 중 하나를 선곡하면 음향 발생 장치를 통해 해당 노래의 반주용 음악 데이터를 재생시키고 표시 장치에는 가사와 함께 영상 데이터를 제공한다.

즉, 종래 노래방 서비스는 단순히 사용자가 원하는 노래를 따라 부를 수 있도록 하는 단조로운 서비스를 제공하기 때문에 사용자의 흥미를 지속적으로 유발시킬 수 없다는 문제점이 있다.

예를 들면, 사용자가 노래를 부르는 동안 자신이 부르는 노래를 녹음하거나 또는 노래 부르는 모습을 촬영하고 싶을 경우, 별도의 녹음 장치 및 촬영 장치를 구비해야 가능한 불편함이 있다.

따라서, 종래 노래방 서비스와 상기의 증강 현실 기술을 결합하면 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여하여 재미와 흥미를 유발할 수 있다.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 노래방에 마커를 부착하고 카메라를 통해 마커를 포함한 사용자의 영상을 촬영하면 카메라를 통해 인식한 마커를 사용자가 선곡한 노래와 연관성있는 가상 객체로 변환하고 사용자의 노래 형태에 따라 가상 객체에 다양한 인터랙션 동작을 적용하여 실제 영상에 중첩 표시함으로써 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여할 수 있는 증강 현실을 이용한 노래방 장치 및 노래방 서비스 방법을 제공하는 데 그 목적이 있다.

이를 위하여 본 발명의 제1 측면에 따르면, 본 발명의 증강 현실을 이용한 노래방 시스템은, 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치; 상기 영상 획득 장치에서 얻은 실제 영상으로부터 마커를 검출하고, 검출한 마커를 사용자가 선곡한 노래와 매핑되는 가상 객체로 변환하여 상기 실제 영상에 합성하며, 상기 사용자의 노래 형태를 인식하여 노래 형태에 따라 인터랙션할 가상 객체의 속성을 검출하여 상기 가상 객체에 반영하는 노래방 장치; 및 상기 노래방 장치에서 실제 영상과 가상 객체를 합성된 증강 현실 영상을 표시하는 표시 장치를 포함하는 것을 특징으로 한다.

본 발명의 제2 측면에 따르면, 본 발명의 노래방 장치는, 마커를 포함한 현실 환경을 촬영한 실제 영상으로부터 상기 마커를 검출하는 마커 검출부; 사용자가 선곡한 노래와 매핑되는 가상 객체를 검색하여 검색된 가상 객체를 상기 마커 검출부에서 검출한 마커와 매칭시키는 검색부; 상기 사용자의 노래 형태에 따른 컨텍스트(context) 정보를 인식하고, 인식한 컨텍스트 정보에 따라 인터랙션할 가상 객체의 속성을 검출하여 속성 변경하도록 지령하는 인터랙션부; 및 상기 실제 영상에 상기 검출한 마커와 매칭하는 가상 객체를 합성하고, 상기 인터랙션부로부터 상기 가상 객체에 대한 속성 변경이 지령되면 상기 합성된 가상 객체에 반영하는 합성부를 포함하는 것을 특징으로 하는 한다.

본 발명의 제3 측면에 따르면, 본 발명의 노래방 서비스 방법은, 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 단계; 상기 실제 영상으로부터 마커를 검출하는 마커 검출 단계; 사용자가 선곡한 노래와 매핑되는 가상 객체를 검색하여 검색된 가상 객체를 상기 마커 검출 단계를 통해 검출한 마커와 매칭시키는 매칭 단계; 상기 실제 영상에 상기 검색된 가상 객체를 합성하여 증강 현실 영상을 제공하는 증강 현실 영상 제공 단계; 상기 사용자의 노래 형태에 따른 컨텍스트(context) 정보를 인식하고, 인식한 컨텍스트 정보에 따라 인터랙션할 가상 객체의 속성을 검출하는 인터랙션 검출 단계; 및 상기 인터랙션 검출 단계에서 검출한 가상 객체의 속성을 상기 증강 현실 영상을 통해 제공하는 가상 객체에 반영하는 인터랙션 반영 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 노래방에 부착된 마커가 곡 선곡에 따라 다양한 가상 객체로 변환이 가능하므로 사용자가 노래를 부르는 동안 마치 사용자가 가수와 함께 노래 부르는 듯한 시각적 효과를 제공함으로써 재미와 흥미를 지속적으로 유발하는 효과가 있다.

또한, 본 발명은 사용자가 노래 부르는 동안 음향이나 사용자 동작에 따라 가상 영상에 다양한 효과를 부가함으로써 보다 실감있는 분위기를 연출할 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 시스템 및 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 저장부의 데이터 저장 구조를 나타낸 도면이다.
도 3은 본 발명의 실시 예에서 컨텍스트 정보에 따라 가상 객체의 속성을 매핑시킨 저장부의 도면이다.
도 4는 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 서비스 방법을 설명하기 위한 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.

본 발명에 대한 구체적인 설명을 하기에 앞서, 증강 현실을 구현하기 위한 기본적인 기술에 대하여 설명한다.

증강 현실은 카메라를 통해 촬영된 실제 피사체나 특정 부위에 대하여 미리 정해 놓은 정보 또는 가상 객체를 화면 상에 합성하여, 부가적인 정보를 제공하거나 또는 실제 동작하는 것처럼 화면 상에 표시하여 현실을 보다 풍부하게 묘화하는 비전(vision) 기술이다.

증강 현실을 구현하기 위한 기본적인 기술은, 대상 위치 인식(Recognition) 기술, 인식된 지점의 트래킹(tracking) 기술, 합성 기술을 포함한다. 먼저, 실제 환경에 대한 영상에서 대상 위치의 인식 및 트래킹에 의해 합성할 위치를 선정하고, 해당 위치에서의 기울기, 방향 등을 추정하며, 추정된 기울기, 방향 등에 따라 가상 객체를 렌더링(rendering)하여 정확한 위치에 합성시킴으로써 구현될 수 있다. 여기서, 인식 대상은 일정 문양이나 기하학적인 패턴을 갖는 마커일 수 있으며 또는 사람의 얼굴이나 손 등의 실물 객체가 될 수도 있다.

본 발명은 위의 기본적인 세 가지 기술을 적용하면서 추가로 마커에 사용자의 조작 또는 실제 환경 변화를 반영하여 증강 현실을 더 실감있게 표현하는 기술에 관한 것이다.

이하, 본 발명의 구체적인 구성을 설명한다.

도 1은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 시스템 및 장치의 구성을 나타낸 도면이다.

본 발명의 실시 예에 따른 노래방 시스템은, 현실 노래방 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치(200), 영상 획득 장치(200)를 통해 인식한 실제 영상으로부터 마커(100)를 검출하고 검출한 마커(100)를 선곡 노래에 맞는 가상 객체로 변환하여 실제 영상과 합성하는 증강 현실 기반의 노래방 장치(300), 노래방 장치(300)에서 생성된 증강 현실 영상을 표시하는 표시 장치(400)를 포함하여 구현될 수 있다.

본 실시예에서, 마커(100)는 노래방의 바닥이나 벽면 등에 부착될 수 있다. 이러한 마커(100)는 기하학 문양이나 일정한 패턴으로 정의되어 특정 가상 객체를 식별할 수 있는 고유 식별 마커를 포함함은 물론, 사람의 얼굴이나 손, 노래방 기구 등의 실제 객체를 모두 포함한다. 실제 객체의 경우, 마커 검출은 실제 객체의 모양, 외곽선, 질감, 색상 등의 특징점(Feature Point)을 추출함으로써 구현할 수 있다.

또한, 본 실시예에서의 마커(100)는 하나로 구현 가능하나, 필요에 따라 복수 개로 적용하여 다양한 종류의 가상 객체를 보여줄 수 있다.

영상 획득 장치(200)는 마커(100)를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상(이하, 실제 영상)을 인식한다. 그리고, 인식한 실제 영상을 노래방 장치(00)로 전달한다. 이 영상 획득 장치(200)는 컴퓨터 등의 외부 콘트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인휴대단말기에 내장된 카메라일 수 있다.

표시 장치(400)는 노래방 장치(300)의 합성부(330)를 통해 실제 영상에 가상 객체가 합성된 영상(이하, 증강 현실 영상)을 화면에 표시하여 보다 실감있는 영상을 제공한다.

노래방 장치(300)는 세부적으로 마커 검출부(310), 검색부(320), 합성부(330), 저장부(340), 위치 검출부(350), 음향 센서부(360), 인터력센부(370)를 포함할 수 있다.

마커 검출부(310)는 영상 획득 장치(200)를 통해 얻은 실제 영상으로부터 마커를 검출하여 해당 마커의 용도를 확인한다. 즉, 해당 마커가 선곡한 노래를 대표할 수 있는 가상 객체를 나타내는 식별 마커임을 확인한다. 실제 객체의 경우, 마커 검출부(310)는 실제 객체의 색상 정보, 선분 정보, 에지(edge) 정보, 질감 정보 등 특징점을 이용하여 검출할 수 있다.

검색부(320)는 마커 검출부(310)를 통해 검출된 마커를 선곡 노래에 맞는 가상 이미지로 변환하기 위해 저장부(340)에 기저장된 데이터로부터 선곡 노래와 매핑되는 가상 객체를 검색한다.

합성부(330)는 검색부(320)를 통해 검색한 가상 객체를 영상 획득 장치(200)로부터 얻은 실제 영상과 합성한다. 이때, 실제 영상에서 보여지는 마커의 위치 및 방향 등을 고려하여 마커에 대응되는 가상 객체를 실제 영상에 중첩함으로써 합성할 수 있다.

저장부(340)는 다수의 노래를 대표할 수 있는 가상 객체를 각 노래와 매핑시킨 가상객체DB(342)와, 사용자의 조작 또는 실제 상황 정보에 따른 인터랙션 정보를 매핑시켜 저장한 인터랙션 DB(344)를 포함할 수 있다.

즉, 가상객체 DB(342)는 도 2에 도시한 바와 같이 노래 장르별, 가수별, 노래 내용별 등에 따라 구분하여 노래에 맞는 가상 객체 정보가 정의되어 있다. 노래 장르별 DB는 발라드, 댄스, 힙합, 동요, 트로트, 재즈 등 각 장르를 대표할 수 있는 배경 이미지, 동영상 등을 포함한 가상 객체로 정의할 수 있다. 가수별 DB는 각 노래의 가수에 관한 캐릭터 이미지, 가수 동영상 등을 포함한 가상 객체를 정의할 수 있다. 노래 내용별 DB는 생일, 졸업, 결혼 등의 특별한 이벤트를 위한 노래이거나 가사에 특별한 내용이 담긴 노래의 경우 해당 내용을 대표할 수 있는 가상 객체를 매핑하여 정의할 수 있다.

인터랙션 DB(344)는 도 3에 도시한 바와 같이 사용자의 노래 형태에 따른 음향 정보, 노래 최종 점수 정보, 사용자 동작 정보 등의 컨텍스트(context) 정보에 따라 가상 객체의 인터랙션 동작 정보가 미리 정의되어 있다.

예를 들어, 음향 정보에 관한 컨텍스트 정보로서, 음을 이탈하거나 노래부르는 소리가 크면 해당 가상 객체와 매핑되어 있는 가상 캐릭터가 귀를 막는 액션을 수행하도록 정의할 수 있다.

또한, 박자를 이탈하면 해당 가상 객체와 매핑되어 있는 가상 캐릭터가 약올리는 액션을 수행하도록 정의할 수 있다.

또한, 음향이 작으면 해당 가상 객체와 매핑되어 있는 가상 캐릭터가 안들려서 취하는 인터랙션 동작으로 귀를 기울이는 액션을 수행하도록 정의할 수 있다.

또한, 사용자 동작 정보에 관한 컨텍스트 정보로서 노래 부르는 사용자가 회전하거나 팔 흔드는 간단한 동작을 하면 해당 가상 객체와 매핑되는 가상 캐릭터가 사용자의 동작과 동일하게 회전하거나 팔 흔드는 액션을 수행하도록 정의할 수 있다.

또한, 노래 점수에 관한 컨텍스트 정보로서 노래를 부른 후 최종 점수가 일정 점수 이상을 넘는 고득점이 발생하면 해당 가상 객체와 매핑되는 가상 캐릭터가 환호와 함께 박수를 치는 액션을 수행하도록 정의할 수 있다.

이러한 인터랙션 수행은 노래방 장치(300)에서 움직임 검출부(350), 음향 센서부(360), 인터랙션부(370)를 통해 수행할 수 있다.

즉, 움직임 검출부(350)는 영상 획득 장치(200)를 통해 촬영한 사용자의 영상으로부터 사용자의 위치 및 방향 변경에 따라 사용자의 움직임을 검출한다.

음향 센서부(360)는 마이크를 통해 입력되는 사용자의 노래 음향을 감지하여 음향의 크기, 음 이탈, 박자 이탈 등을 검출한다.

인터랙션부(370)는 움직임 검출부(350) 및 음향 센서부(360)로부터 검출한 사용자의 움직임 정보, 음향 정보(이하, 컨텍스트 정보라 총칭함)를 수신하면 해당 저장부(340)에 기 저장된 인터랙션 DB(344)를 검색하여 해당 컨텍스트 정보에 따라 인터랙션할 가상 객체의 속성을 검출하고 검출한 가상 객체의 속성을 변경하도록 합성부(330)로 지령한다.

따라서, 본 발명의 실시 예에 따른 노래방 시스템은 사용자가 노래를 선곡하고 노래방에 설치된 영상 획득 장치(200)를 통해 노래방에 부착된 마커(100)를 포함한 사용자의 실제 영상을 촬영하면 촬영한 실제 영상이 표시 장치(400)를 통해 보여지는데, 표시 장치(400)에는 해당 마커(100)가 사용자가 선곡한 노래와 매핑되는 가상 객체로 보여진다. 즉, 실제 영상에 마커(100) 대신 사용자가 선곡한 노래와 매핑되는 가상 객체를 합성하여 표시한다. 하나의 마커(100)는 사용자가 선택하는 노래에 따라 다양한 가상 객체로 변환이 가능하다. 또한, 본 발명의 실시 예에 따른 노래방 시스템은 사용자의 노래 형태에 따라 표시 장치(400)에 보여지는 가상 객체에 다양한 반응을 보여줌으로써 재미와 흥미를 더욱 배가시킬 수 있다.

그럼, 이하에서는 앞서 설명한 바와 같이 마커 기반 증강 현실을 이용하여 노래방 서비스를 제공하는 방법에 대하여 도 4를 참조하여 설명한다.

우선 마커를 인식하기 전에, 인식하고자 하는 마커(실제 객체 포함)에 대하여 특징점을 정의하고 정의된 특징점 정보에 마커의 용도를 부여하여 미리 저장해 둔다. 이를 테면, 본 발명에 사용하는 마커는 사용자가 선곡하는 노래에 따라 매핑되는 가상 객체를 표시하는 용도의 마커임을 부여할 수 있다. 그리고, 마커에 대응될 수 있는 가상 객체를 노래에 따라 매핑시키고, 사용자의 노래 상태(컨텍스트 정보)에 따라 가상 객체에 지정할 인터랙션 동작을 정의한다.

이후, 영상 획득 장치를 통해 현실 노래방 환경을 촬영하여 현실 노래방 환경에 대한 실제 영상을 획득한다(S100).

그리고, 영상 획득 장치를 통해 획득한 실제 영상으로부터 마커를 검출하고, 검출된 해당 마커가 사용자가 선곡하는 노래에 따라 매핑되는 가상 객체를 표시하는 용도의 마커임을 확인한다(S110).

이후, 사용자로부터 노래 선곡이 입력되었는지를 확인한다(S120).

사용자로부터 노래가 선곡되면 선곡된 노래에 대응하는 가상 객체를 저장부로부터 검색한다(S130).

그리고, 검색한 가상 객체를 마커에 매핑하고 실제 영상과 합성한 증강 현실 영상을 표시 장치에 표시한다(S140, S150).

예를 들어, 사용자가 뽀로로 노래를 선곡한 경우 노래방 표시 장치에는 노래를 부르는 사용자와 그 옆에 설치된 마커 부분이 뽀로로 가상 개릭터로 변환되어서 마치 사용자와 뽀로로가 같이 한 공간에서 노래 부르는 듯한 증강 현실 영상을 보여준다.

이후, 사용자의 움직임 또는 음향 정보를 인식하여 사용자가 노래부르는 형태에 관한 컨텍스트 정보가 수신되는지를 판단한다(S160).

즉, 사용자의 움직임을 검출하여 사용자가 회전하거나 팔을 흔드는 등 간단한 율동 동작을 수행하는지, 또는 사용자가 노래부르는 음향을 감지하여 기존 음향 레벨보다 음향의 크거나 또는 작은지 정도, 음 이탈, 박자 이탈 등을 인식할 수 있다. 또는, 노래 부른 후 최종 점수를 수신할 수 있다.

컨텍스트 정보가 수신되면 저장부에 사전 정의된 인터랙션 정보를 검색하여 해당 컨텍스트 정보와 매핑되는 가상 객체의 속성을 검출한다(S170).

검출 후 해당 컨텍스트 정보와 매핑되는 가상 객체의 속성을 실제 영상과 합성하여 표시 장치에 표시한다(S150).

예를 들어, 음 이탈을 한 경우 가상 캐릭터가 귀를 막는 포즈를 취하고, 고음부를 멋지게 소화한 경우에는 가상 캐릭터가 환호를 지르며, 노래 최종 점수가 고득점인 경우 가상 캐릭터가 박수를 치는 등의 다양한 인터랙션 반응을 보여줄 수 있다. 이로써, 사용자에게 보다 현실감이 증대된 증강현실 영상을 제공한다.

한편, 본 발명은 상기한 증강현실 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다.

다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다.

기록매체는 각 재생장치의 내장형 하드디스크이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.

이 경우, 컴퓨터로 읽을 수 있는 기록매체에 기록한 프로그램은, 앞서 설명한 바와 같이, 노래방에서 마커를 포함한 사용자를 촬영하여 실제 영상을 획득하는 과정과, 상기 실제 영상으로부터 마커를 검출하는 과정과, 상기 사용자에 의해 선곡된 노래와 매핑되는 가상 객체를 검색하여 검색된 가상 객체를 상기 마커 검출 단계를 통해 검출한 마커와 매칭시키는 과정과, 상기 실제 영상에 상기 검색된 가상 객체를 합성하여 증강 현실 영상을 제공하는 과정과, 상기 사용자가 선곡된 노래를 부르는 도중 주위 환경 변화에 따른 노래방 상황(context) 정보를 인식하고, 인식한 노래방 상황 정보에 따라 인터랙션할 가상 객체의 속성을 검출하는 과정과, 상기 인터랙션 검출 단계에서 검출한 가상 객체의 속성을 상기 증강 현실 영상을 통해 제공하는 가상 객체에 반영하는 과정들을 포함하여 실행될 수 있다.

여기서, 각 과정에서의 구체적인 기술은 상기의 증강현실 장치 및 방법의 구성과 동일하므로 중복되는 기술 설명은 생략한다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

종래 노래방 서비스는 단순히 사용자가 원하는 노래를 따라 부를 수 있도록 하는 단조로운 서비스를 제공하였으나, 본 발명은 기존 노래방 서비스에 증강 현실 기술을 결합한 것으로 사용자가 노래 부르는 동안 카메라를 통해 마커를 포함한 사용자의 영상을 촬영하면 카메라를 통해 인식한 마커를 사용자가 선곡한 노래와 연관성있는 가상 영상으로 변환하고 그 가상 영상을 카메라를 통해 촬영한 실제 영상에 합성하여 노래방 화면에 표시해 줌으로써 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여하여 재미와 흥미를 유발시킬 수 있다. 이러한 점에서 노래방뿐만 아니라 나아가 방송 공연 사업, 콘텐츠를 이용한 아동 및 스포츠 교육 사업에까지 확장하여 적용할 수 있다.

100: 마커 200: 영상 획득 장치
300: 노래방 장치 400: 표시 장치
310: 마커 검출부 320: 검색부
330: 합성부 340: 저장부
342: 가상객체 DB 344: 인터랙션 DB
350: 움직임 검출부 360: 음향 센서부
370: 인터랙션부

Claims

마커 기반 증강 현실을 이용한 노래방 시스템에 있어서,
마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치;
상기 영상 획득 장치에서 얻은 실제 영상으로부터 마커를 검출하고, 검출한 마커에 사용자가 선곡한 노래와 매핑되는 가상 객체를 마커의 위치 및 방향에 고려하여 삽입함으로써 상기 실제 영상에 합성하며, 상기 사용자의 노래 형태를 인식하여 노래 형태에 따른 인터랙션 반응을 상기 가상 객체에 반영하는 노래방 장치; 및
상기 노래방 장치에서 실제 영상과 가상 객체가 합성된 증강 현실 영상을 표시하는 표시 장치를 포함하며,
상기 마커는 가상 객체를 식별할 수 있는 고유 식별 마커로서 적어도 하나 이상 포함하는 증강 현실을 이용한 노래방 시스템.
마커 기반 증강 현실을 이용한 노래방 장치에 있어서,
마커를 포함한 현실 환경을 촬영한 실제 영상으로부터 상기 마커를 검출하는 마커 검출부;
사용자가 선곡한 노래와 매핑되는 가상 객체를 검색하여 검색된 가상 객체를 상기 마커 검출부에서 검출한 마커와 매칭시키는 검색부;
상기 사용자의 노래 형태에 따른 컨텍스트(context) 정보를 인식하고, 인식한 컨텍스트 정보에 따른 인터랙션 반응을 정의한 가상 객체의 속성을 검출하여 속성 변경하도록 지령하는 인터랙션부; 및
상기 실제 영상에 상기 검출한 마커의 위치 및 방향을 고려하여 상기 가상 객체를 합성하고, 상기 인터랙션부로부터 가상 객체에 대한 속성 변경이 지령되면 상기 합성된 가상 객체에 반영하는 합성부를 포함하며,
상기 마커는 가상 객체를 식별할 수 있는 고유 식별 마커로서 적어도 하나 이상 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
제 2 항에 있어서,
상기 노래와 매핑되는 가상 객체는 상기 노래의 가수 캐릭터 이미지, 가수의 동영상, 상기 노래의 장르 또는 내용을 대표할 수 있는 캐릭터 중 어느 하나를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
제 2 항에 있어서,
상기 컨텍스트 정보는 상기 노래를 부르는 음향 정보, 사용자 동작 정보, 노래 최종 점수 정보를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
제 4 항에 있어서,
상기 노래를 부르는 사용자의 음향 크기, 음 이탈, 박자 이탈을 포함한 음향 상황 정보를 인식하기 위해 음향을 센싱하는 음향 센서부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
제 4 항에 있어서,
상기 사용자 동작 정보를 추출하기 위해 상기 촬영된 실제 영상으로부터 사용자의 위치 및 방향을 검출하는 위치 검출부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
제 2 항에 있어서,
상기 선곡된 노래와 매핑되는 가상 객체 정보와, 상기 노래방 상황 정보에 따라 인터랙션할 가상 객체의 속성 정보를 미리 정의해 둔 저장부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
제 2 항에 있어서,
상기 마커는 해당 가상 객체를 식별할 수 있는 고유 식별 마커이거나, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)인 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
마커 기반 증강 현실을 이용한 노래방 서비스 방법으로서,
마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 단계;
상기 실제 영상으로부터 상기 마커를 검출하는 마커 검출 단계;
사용자가 선곡한 노래와 매핑되는 가상 객체를 검색하여 검색된 가상 객체를 상기 마커 검출 단계를 통해 검출한 마커와 매칭시키는 매칭 단계;
상기 실제 영상에 상기 검색된 가상 객체를 합성하여 증강 현실 영상을 제공하는 증강 현실 영상 제공 단계;
상기 사용자가 노래하는 상황에 따른 컨텍스트(context) 정보를 인식하고, 인식한 컨텍스트 정보에 따른 인터랙션 반응을 정의한 가상 객체의 속성을 검출하는 인터랙션 검출 단계; 및
상기 인터랙션 검출 단계에서 검출한 가상 객체의 속성을 상기 증강 현실 영상을 통해 제공하는 가상 객체에 반영하는 인터랙션 반영 단계
를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
제 9 항에 있어서,
상기 매칭 단계는
상기 노래와 매핑되는 가상 객체를 상기 노래의 가수 캐릭터 이미지, 가수의 동영상, 상기 노래의 장르 또는 내용을 대표할 수 있는 캐릭터 중 어느 하나로 매칭시키는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
제 9 항에 있어서,
상기 인터랙션 검출 단계에서 상기 컨텍스트 정보는 상기 노래를 부르는 사용자의 음향 크기, 음 이탈, 박자 이탈을 포함한 음향 상황 정보, 사용자 동작 정보, 노래 최종 점수 정보를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
제 9 항에 있어서,
상기 마커는 해당 가상 객체를 식별할 수 있는 고유 식별 마커이거나, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)인 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
제 9 항에 있어서,
상기 인터랙션 반영 단계는 상기 검출한 가상 객체의 속성을 상기 가상 객체 반영하는 횟수를 설정하여 제한하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
제 9 항 내지 제 13 항 중 어느 한 항에 의한 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.