KR20170075321A

KR20170075321A - 증강현실 노래방 시스템

Info

Publication number: KR20170075321A
Application number: KR1020150184832A
Authority: KR
Inventors: 김근동
Original assignee: 김근동
Priority date: 2015-12-23
Filing date: 2015-12-23
Publication date: 2017-07-03

Abstract

본 발명은 노래방 기기, AR(Augented Reality) 셋톱박스, 실사 카메라 및 깊이 카메라(Depth Camera)가 구비되면, 장소에 관계없이, 사용자의 노래 선곡에 대응하여 선곡된 노래에 해당하는 반주 정보 및 영상 데이터를 재생시키고 사전설정된 원곡 가수 영상이나 가상 캐릭터에 깊이 카메라에 의해 제공되는 사용자를 촬영한 가상 영상을 합성하여 사용자가 원곡 가수의 영상 또는 가상 캐릭터와 함께 노래 부르는 듯한 증강현실된 영상을 제공하며, 사용자가 원곡 가수의 영상 또는 가상 캐릭터와 함께 기념촬영을 하거나, 사용자의 노래 선곡에 대응하여 선곡된 노래에 부합하는 사전설정된 다양한 동영상 중에서 사용자에 의해 선택된 동영상을 배경으로 노래 부를 수 있는 증강현실 노래방 시스템에 관한 것으로, 사용자의 실제 영상을 촬영하기 위한 실사 카메라(100)와; 상기 사용자를 배경에서 분리하고 사용자의 관절 위치와 방향에 대한 정보를 제공하여 사용자의 깊이 이미지를 생성하기 위한 깊이 카메라(200)와; 상기 사용자에 의해 작동되는 입력수단과 연결되는 노래방 기기(300)와; 상기 노래방 기기(300)와 연결되며 가상 영상을 렌더링하고 상기 실사 카메라(100)에 의한 실제 영상과 상기 가상 영상을 합성하기 위한 AR 셋톱박스(400); 및 상기 AR 셋톱박스(400)에서 합성된 합성 영상을 디스플레이하기 위한 영상표시장치(700)로 이루어지는 것을 특징으로 한다.

Description

증강현실 노래방 시스템{KARAOKE SYSTEM FOR PROVIDING AUGMENTED REALITY}

본 발명은 증강현실 노래방 시스템에 관한 것으로, 보다 상세하게는 노래방 기기, AR(Augented Reality) 셋톱박스, 실사 카메라 및 깊이 카메라(Depth Camera)가 구비되면, 장소에 관계없이, 사용자의 노래 선곡에 대응하여 선곡된 노래에 해당하는 반주 정보 및 영상 데이터를 재생시키고 사전설정된 원곡 가수 영상이나 가상 캐릭터에 깊이 카메라에 의해 제공되는 사용자를 촬영한 가상 영상을 합성하여 사용자가 원곡 가수의 영상 또는 가상 캐릭터와 함께 노래 부르는 듯한 증강현실된 영상을 제공하며, 사용자가 원곡 가수의 영상 또는 가상 캐릭터와 함께 기념촬영을 하거나, 사용자의 노래 선곡에 대응하여 선곡된 노래에 부합하는 사전설정된 다양한 동영상 중에서 사용자에 의해 선택된 동영상을 배경으로 노래 부를 수 있는 증강현실 노래방 시스템에 관한 것이다.

일반적으로, 노래방에 사용되는 노래방 기기는 다수의 반주용 음악 데이터를 저장하고 사용자의 선택에 따라 선택된 노래의 음악 데이터를 재생시키고, 영상 장치에 가사와 영상 데이터를 제공한다.

사용자가 노래방 기기에 선곡한 노래의 반주를 재생시키기 위해서는, 노래방에 비치된 노래 안내 책자나 노래방 벽면에 부착된 노래 선곡 리스트를 이용하여 부르고자 하는 노래를 찾은 후, 노래방 기기에 선곡된 노래의 번호를 직접 입력하거나, 리모컨을 이용하여 선택된 노래의 번호를 입력하여야 한다. 그러나 노래방에서 제공되는 노래 책자의 글자는 작고, 노래방의 조명은 어두워서 원하는 노래의 여러 숫자의 번호를 찾아 노래방 기기에 번호를 직접 입력하기엔 불편함이 있었다.

또한, 사용자가 노래방에서 노래를 선곡하여, 선곡된 노래의 반주용 음악 데이터의 재생시, 노래방 기기의 영상은 비디오 테이프나 콤팩트 디스크에 수록되어 선곡되는 노래와는 관계없이 항상 디스플레이어에 출력되어 바탕화면으로만 사용되고, 이의 영상 위에 가사가 출력된다. 그러나, 상기와 같은 종래의 영상 출력 방법은 선곡된 노래와는 관계없는 영상이 디스플레이어에 출력됨으로써 노래의 흥을 돋우거나 노래에 맞는 분위기를 연출할 수 없는 문제점이 있다.

다른 방법의 노래방 기기의 영상 출력 방법으로는, 하나의 노래와 그에 맞는 하나의 영상이 동일한 매체 또는 파일로 수록되어 음향과 가사 및 영상이 하나의 프레임에 동시에 출력하는 방법이 있다. 이러한 방법은 상기와 같이 영상 위에 가사를 불러올 필요가 없고 곡에 적합한 동영상이 출력되는 장점이 있지만, 각각의 곡에 맞춘 영상을 각각의 파일이나 매체에 수록해야 하므로, 수많은 곡들을 수록하여야 하여 대용량의 메모리를 필요로 하므로, 모든 곡에 대해 적용하기에는 적합하지 않다.

따라서, 종래의 노래방 기기는 단순히 노래의 반주용 음악 제공 및 가사 전달 기능에만 머물고 있어 멀티미디어의 역할을 할 수 없으며, 따라서 노래방 기기의 기능은 차별화되지 않고 고정화되어, 노래방 사용 횟수를 거듭할수록 이용자들이 싫증을 느끼기 쉽다는 문제점이 있다.

이러한 문제점을 해결하기 위해 안출된 것이 한국 등록특허 제 10-1295862 호이다.

상기 선행 특허는 노래방의 바닥에 부착된 마커를 촬영하여 얻은 마커 이미지를 인식하기 위한 마커 인식부; 사용자에 의해 선곡된 노래에 대응하는 반주 정보 및 영상 데이터를 검색하는 검색부; 상기 영상 데이터를 랜더링하여 가상 영상을 생성하고 상기 인식된 마커의 위치에 상기 가상 영상을 로딩하기 위한 랜더링부; 상기 가상 영상과 실시간으로 카메라에 의해 촬영되는 사용자의 실제 영상을 합성하여 증강 현실 영상을 저작하는 합성부를 포함하며, 상기 마커 인식부에 의하여 상기 사용자에 의해 선택되며 탈부착이 가능한 추가 마커가 인식되면, 상기 합성부가 상기 증강 현실 영상에 상기 추가 마커에 대응되는 효과 영상을 합성함으로써, 카메라로 촬영되는 사용자의 실제 영상과, 선곡된 곡에 해당하는 가수 또는 캐릭터의 가상 영상을 합성하여 사용자와 가수가 함께 노래 부르는 듯한 증강된 영상을 보여주어, 사용자에게 편의성과 노래 부르는 흥을 돋을 수 있다.

그러나, 선행 특허는 사용자의 3차원 좌표를 얻기 위한 마커와, 상기 마커를 인식하기 마커 인식부를 구비해야 하기에, 마커가 설치된 특정 장소에서만 증강현실을 체험할 수 있어, 장소에 관계없이 증강현실을 제공하기에는 미흡하다는 문제가 있다.

1. 한국 등록특허 제 10-1224691 "퍼팅 교정용 퍼터" (등록일자 : 2013. 01. 15.)

따라서 본 발명의 목적은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 장소에 관계없이 증강현실을 제공받을 수 있어, 사용자에게 편의성을 제공하고 노래 부르는 흥을 돋을 수 있는 증강현실 노래방 시스템을 제공하고자 하는 것이다.

본 발명에 따른 증강현실 노래방 시스템은 사용자의 실제 영상을 촬영하기 위한 실사 카메라와; 상기 사용자를 배경에서 분리하고 사용자의 관절 위치와 방향에 대한 정보를 제공하여 사용자의 깊이 이미지를 생성하기 위한 깊이 카메라와; 상기 사용자에 의해 작동되는 입력수단과 연결되는 노래방 기기와; 상기 노래방 기기와 연결되며 가상 영상을 렌더링하고 상기 실사 카메라에 의한 실제 영상과 상기 가상 영상을 합성하기 위한 AR 셋톱박스; 및 상기 AR 셋톱박스에서 합성된 합성 영상을 디스플레이하기 위한 영상표시장치로 이루어진다.

상술한 바와 같이, 본 발명에 따른 증강현실 노래방 시스템은 노래방 기기, AR 셋톱박스, 실사 카메라 및 깊이 카메라가 구비되면, 장소에 관계없이 증강현실을 제공받을 수 있어, 사용자에게 편의성을 제공할 수 있다는 이점이 있다.

또한, 사용자가 장소에 관계없이 증강현실을 체험하고 즐길 수 있다는 이점이 있다.

또한, 사용자가 원곡 가수의 영상 또는 가상 캐릭터와 함께 노래하거나 기념촬영을 할 수 있다는 이점이 있다.

또한, 사용자의 노래 선곡에 대응하고 상기 사용자에 의해 선택된 동영상을 배경으로 상기 동영상에 제공된 가사를 참조하며 반주 음악과 함께 노래 부를 수 있다는 이점이 있다.

도 1은 본 발명에 따른 증강현실 노래방 시스템의 개략적 구성 블럭도.
도 2는 도 1의 요부의 구성 블럭도.
도 3은 도 1의 다른 요부의 구성 블럭도.
도 4는 도 1의 또 다른 요부의 구성 블럭도.

이하, 도면을 참조한 실시 예들의 상세한 설명을 통하여 본 발명에 따른 증강현실 노래방 시스템을 보다 상세히 기술하기로 한다. 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략될 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 클라이언트나 운용자, 사용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도면 전체에 걸쳐 같은 참조번호는 같은 구성 요소를 가리킨다.

도 1은 본 발명에 따른 증강현실 노래방 시스템의 개략적 구성 블럭도이며, 도 2는 도 1의 요부의 구성 블럭도이며, 도 3은 도 1의 다른 요부의 구성 블럭도이며, 도 4는 도 1의 또 다른 요부의 구성 블럭도이다.

본 발명에 따른 증강현실 노래방 시스템의 설명에 앞서, 깊이 카메라에 관해 간략히 설명하고자 한다.

상기 깊이 카메라(200)는 도 2에 도시된 바와 같이, 적외선 광원(210), 칼라 이미지 CMOS 센서(220), 깊이 이미지 CMOS 센서(230) 및 데이터 처리용 SoC(System on Chip)(240)으로 구성된다. 이러한 구성에 의해 칼라 이미지는 칼라 이미지 CMOS 센서(220)에 의해 획득되고, 깊이 이미지는 적외선 광원(210), 깊이 이미지 CMOS 센서(230), SoC(240)와 공지의 라이트 코딩(Light Coding) 기술을 기반으로 획득된다.

여기서, 라이트 코딩은 장면(場面) 공간을 근적외선으로 코드화함으로써 동작한다. 상기 코드화된 적외선은 카메라의 적외선 광원(210)으로부터 발사되는데, 장면 내의 코드화된 적외선은 깊이 이미지 CMOS 센서(230)를 이용하여 읽혀지고 상기 읽혀진 코드화된 적외선 정보가 SoC(240)로 전송되며, 상기 SoC(240)에서 상기 읽혀진 코드화된 적외선 정보를 병렬 알고리즘을 이용하여 해독함으로써 깊이 이미지를 생성한다. 이렇게 생성된 이미지를 이용하여 사용자의 3차원 좌표를 생성할 수 있다.

도 1 내지 도 4에 도시된 바와 같이, 본 발명에 따른 증강현실 노래방 시스템은 실사 카메라(100), 깊이 카메라(200), 노래방 기기(300), AR 셋톱박스(400), 앰프(AMP)(500), 스피커(600), 영상표시장치(700)로 이루어진다.

여기서, 상기 깊이 카메라(200)는 사용자를 배경에서 분리하고 관절 위치와 방향에 대한 정보를 제공하는데, 그 구성은 전술된 바와 같기에 더 이상의 설명은 생략되며, 상기 앰프(AMP)(500), 스피커(600) 및 영상표시장치(700)는 널리 공지된 것이기에 이에 대한 상세한 설명이 생략되며, 상기 실사 카메라(100)는 사용자의 실제 영상을 촬영하며 널리 공지된 것이기에 이에 대한 상세한 설명도 생략된다.

또한, 상기 노래방 기기(300)는 사용자가 입력수단에 의해 선곡된 노래의 반주 정보 및 영상 데이터를 검색하기 위한 검색부(310)와, 상기 선곡된 노래의 반주 정보 및 영상 데이터를 재생하기 위한 재생부(320)로 이루어진다. 여기서, 입력수단은 리모컨 또는 노래방 기기(300)에 장착된 키패드일 수 있으며, 상기 반주 정보는 노래방 반주 음악인 음향 데이터와 가사를 포함하며, 상기 영상 데이터는 원곡 가수 영상이나 가상 캐릭터 영상 또는 동영상을 포함한다.

또한, 상기 AR 셋톱박스(400)는 노래방 기기(300)의 검색부(310)와 연결되며 반주 정보, 영상 데이터, 노래방 기기(300)를 제어하기 위한 프로그램, 상기 깊이 카메라(200)에서 제공된 관절 위치와 방향의 변화를 추적하여 특정 동작을 인식하기 위한 응용 프로그램이 저장되어 있는 메모리부(410)와, 상기 깊이 카메라(200)와 유선 또는 무선으로 연결되며 상기 깊이 카메라(200)에서 생성된 깊이 이미지를 인식하기 위한 인식부(420)와, 상기 메모리부(410)와, 인식부(420) 및 노래방 기기(300)의 재생부(320)와 연결되며 깊이 이미지와 반주 정보를 결합시켜 가상 영상을 렌더링하기 위한 AR 엔진부(430), 및 상기 AR 엔진부(430) 및 실사 카메라(100)와 연결되며 상기 AR 엔진부(430)에서 렌더링된 가상 영상과 상기 실사 카메라(100)에서 촬영된 실제 영상을 합성하기 위한 합성부(440)로 이루어진다.

이하, 이와 같은 구성의 본 발명에 따른 증강현실 노래방 시스템의 작동 상태를 살펴보고자 한다.

사용자가 리모컨 또는 노래방 기기(300)에 장착된 키패드와 같은 입력수단을 통해 노래 선곡 리스트에서 노래가 선곡된다. 이와 동시에 깊이 카메라(200)가 상기 사용자에 대한 3차원 좌표를 설정하기 위해 사용자의 관절 위치와 방향의 변화를 추적하여 깊이 이미지를 생성하여 인식부(420)로 전달하기 시작한다.

상기 노래방 기기(300)의 검색부(310)는 선곡된 노래에 대응하는 반주 정보 및 영상 데이터를 AR 셋톱박스(400)의 메모리부(410)로부터 검색하고 매칭되는 노래가 검색되면, 검색된 노래의 반주 정보 및 영상 데이터를 상기 노래방 기기(300)의 재생부(310)로 전송한다.

상기 노래방 기기(300)의 재생부(320)는 상기 전송된 반주 정보 및 영상 데이터를 재생하는데, 상기 반주 정보에는 노래방 반주 음악인 음향 데이터와 가사가 포함되며 있으며, 상기 영상 데이터에는 원곡 가수 영상이나 가상 캐릭터 영상 또는 동영상이 포함되어 있다.

상기 AR 셋톱박스(400)의 인식부(420)는 상기 깊이 카메라(200)에서 전송된 깊이 이미지를 인식하며, 상기 인식된 깊이 이미지를 AR 셋톱박스(400)의 엔진부(430)로 전송한다.

상기 AR 셋톱박스(400)의 엔진부(430)는 상기 인식부(420)에서 전송되어진 인식된 깊이 이미지를 가상 영상으로 렌더링하여 합성부(440)로 전송한다.

상기 합성부(440)는 상기 엔진부(430)에서 렌더링된 가상 영상과 상기 노래방 기기(300)의 재생부(320)에서 제공된 영상 데이터에 포함된 원곡 가수 영상이나 가상 캐릭터 영상 또는 동영상을 합성하여 증강현실 영상을 제작하여 영상표시장치(700)로 전송한다.

상기 영상표시장치(700)에 의해 상기 증강현실 영상이 디스플레이되어, 사용자가 원곡 가수의 영상이나 가상 캐릭터 영상과 함께 노래하거나 기념촬영을 하거나, 상기 동영상을 배경으로 노래하는 증강현실을 체험하게 된다.

전술한 바와 같은 본 발명에 따른 증강현실 노래방 시스템은 노래방 기기, AR 셋톱박스, 카메라 및 깊이 카메라가 구비되면, 장소에 관계없이 증강현실을 제공받을 수 있어, 사용자에게 편의성을 제공할 수 있다. 또한, 사용자가 장소에 관계없이 증강현실을 체험하고 즐길 수 있다. 또한, 사용자가 원곡 가수의 영상이나 가상 캐릭터 영상와 함께 노래하거나 기념촬영을 할 수 있다. 또한, 사용자의 노래 선곡에 대응하고 상기 사용자에 의해 선택된 동영상을 배경으로 상기 동영상에 제공된 가사를 참조하며 반주 음악과 함께 노래 부를 수 있다.

비록 본 발명의 실시예에선, 실사 카메라와 영상표시장치가 서로 분리되어 있으나, 이에 제한되지 않고 상기 실사 카메라가 영상표시장치에 삽입될 수도 있음은 물론이다.

이상과 같이 본 발명은 양호한 실시 예에 근거하여 설명하였지만, 이러한 실시 예는 본 발명을 제한하려는 것이 아니라 예시하려는 것이므로, 본 발명이 속하는 기술분야의 숙련자라면 본 발명의 기술사상을 벗어남이 없이 위 실시 예에 대한 다양한 변화나 변경 또는 조절이 가능할 것이다. 그러므로, 본 발명의 보호 범위는 본 발명의 기술적 사상의 요지에 속하는 변화 예나 변경 예 또는 조절 예를 모두 포함하는 것으로 해석되어야 할 것이다.

100: 실사 카메라 200: 깊이 카메라
210: 적외선 광원 220: 깊이 이미지 CMOS 센서
230: 칼라 이미지 CMOS 센서 240: SoC
300: 노래방 기기 310: 검색부
320: 재생부 400: AR 셋톱박스
410: 메모리부 420: 인식부
430: AR 엔진부 440: 합성부

Claims

증강현실을 제공하기 위한 증강현실 노래방 시스템으로서,
사용자의 실제 영상을 촬영하기 위한 실사 카메라(100)와;
상기 사용자를 배경에서 분리하고 사용자의 관절 위치와 방향에 대한 정보를 제공하여 사용자의 깊이 이미지를 생성하기 위한 깊이 카메라(200)와;
상기 사용자에 의해 작동되는 입력수단과 연결되는 노래방 기기(300)와;
상기 노래방 기기(300)와 연결되며 가상 영상을 렌더링하고 상기 실사 카메라(100)에 의한 실제 영상과 상기 가상 영상을 합성하기 위한 AR 셋톱박스(400); 및
상기 AR 셋톱박스(400)에서 합성된 합성 영상을 디스플레이하기 위한 영상표시장치(700)로 이루어지는 것을 특징으로 하는 증강현실 노래방 시스템.
청구항 1에 있어서,
상기 노래방 기기(300)는,
상기 사용자에 의해 선곡된 노래의 반주 정보 및 영상 데이터를 검색하기 위한 검색부(310); 및
상기 선곡된 노래의 반주 정보 및 영상 데이터를 재생하기 위한 재생부(320);로 이루어지는 것을 특징으로 하는 증강현실 노래방 시스템.
청구항 2에 있어서,
상기 AR 셋톱박스(400)는,
상기 노래방 기기(300)의 검색부(310)와 연결되며 반주 정보, 영상 데이터, 노래방 기기(300)를 제어하기 위한 프로그램, 상기 깊이 카메라(200)에서 제공된 관절 위치와 방향의 변화를 추적하여 특정 동작을 인식하기 위한 응용 프로그램이 저장되어 있는 메모리부(410)와;
상기 깊이 카메라(200)와 연결되며 상기 깊이 카메라(200)에서 생성된 깊이 이미지를 인식하기 위한 인식부(420)와;
상기 메모리부(410)와, 인식부(420) 및 노래방 기기(300)의 재생부(320)와 연결되며 깊이 이미지와 반주 정보를 결합시켜 가상 영상을 렌더링하기 위한 AR 엔진부(430); 및
상기 AR 엔진부(430) 및 실사 카메라(100)와 연결되며 상기 AR 엔진부(430)에서 렌더링된 가상 영상과 상기 실사 카메라(100)에서 촬영된 실제 영상을 합성하기 위한 합성부(440)로 이루어지는 것을 특징으로 하는 증강현실 노래방 시스템.
청구항 1에 있어서,
상기 입력수단은 리모컨 또는 노래방 기기(300)에 장착된 키패드인 것을 특징으로 하는 증강현실 노래방 시스템.
청구항 2에 있어서,
상기 반주 정보는 노래방 반주 음악인 음향 데이터와 가사를 포함하며;
상기 영상 데이터는 원곡 가수 영상이나 가상 캐릭터 영상 또는 동영상을 포함하는 것을 특징으로 하는 증강현실 노래방 시스템.