KR20120056489A - 증강 현실 영상을 제공하는 노래방 장치 및 그 방법 - Google Patents

증강 현실 영상을 제공하는 노래방 장치 및 그 방법 Download PDF

Info

Publication number
KR20120056489A
KR20120056489A KR1020100118062A KR20100118062A KR20120056489A KR 20120056489 A KR20120056489 A KR 20120056489A KR 1020100118062 A KR1020100118062 A KR 1020100118062A KR 20100118062 A KR20100118062 A KR 20100118062A KR 20120056489 A KR20120056489 A KR 20120056489A
Authority
KR
South Korea
Prior art keywords
image
marker
song
unit
augmented reality
Prior art date
Application number
KR1020100118062A
Other languages
English (en)
Other versions
KR101295862B1 (ko
Inventor
이주형
한덕민
김미애
윤진석
안근현
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100118062A priority Critical patent/KR101295862B1/ko
Publication of KR20120056489A publication Critical patent/KR20120056489A/ko
Application granted granted Critical
Publication of KR101295862B1 publication Critical patent/KR101295862B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

본 발명은 사용자가 카메라를 통해 선곡한 노래에 대응하는 소정의 이미지를 촬영하여, 촬영된 이미지를 이용하여 노래방 기기에 선곡된 노래의 반주 음악을 재생시키고, 이에 동기하여, 카메라로 촬영되는 노래 부르는 사용자의 실제 영상과, 선곡된 곡에 해당하는 가수 또는 캐릭터의 가상 영상을 합성하여 사용자와 가수가 함께 노래 부르는 듯한 증강된 영상을 보여주어, 사용자에게 편의성과 노래 부르는 흥을 돋을 수 있는 노래방 장치 및 그 방법에 관한 것이다.

Description

증강 현실 영상을 제공하는 노래방 장치 및 그 방법{KARAOKE APPARATUS AND METHOD THEREOF FOR PROVIDING AUGMENTED REALITY IMAGES}
본 발명은 증강 현실 영상을 제공하는 노래방 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 사용자가 노래를 선곡한 후, 카메라로 촬영하는 노래 부르는 사용자의 실제 영상과, 선곡된 노래에 해당하는 가수 또는 캐릭터의 가상 영상을 합성하여 사용자와 가수가 함께 노래 부르는 듯한 증강된 영상을 보여주는 증강 현실 영상을 제공하는 노래방 장치 및 그 방법에 관한 것이다.
종래 노래방에 사용되는 노래방 기기는 다수의 반주용 음악 데이터를 저장하고 사용자의 선택에 따라 선택된 노래의 음악 데이터를 재생시키고, 영상 장치에 가사와 영상 데이터를 제공한다.
사용자가 노래방 기기에 선곡한 노래의 반주를 재생시키기 위해서는, 노래방에 비치된 노래 안내 책자나 노래방 벽면에 부착된 노래 선곡 리스트를 이용하여 부르고자 하는 노래를 찾은 후, 노래방 기기에 선곡된 노래의 번호를 직접 입력하거나, 리모컨을 이용하여 선택된 노래의 번호를 입력하여야 한다. 그러나 노래방에서 제공되는 노래 책자의 글자는 작고, 노래방의 조명은 어두워서 원하는 노래의 여러 숫자의 번호를 찾아 노래방 기기에 번호를 직접 입력하기엔 불편함이 있었다.
또한, 사용자가 노래방에서 노래를 선곡하여, 선곡된 노래의 반주용 음악 데이터의 재생시, 노래방 기기의 영상은 비디오 테이프나 콤팩트 디스크에 수록되어 선곡되는 노래와는 관계없이 항상 디스플레이어에 출력되어 바탕 화면으로만 사용되고, 이의 영상 위에 가사가 출력된다. 그러나, 상기와 같은 종래의 영상 출력 방법은 선곡된 노래와는 관계없는 영상이 디스플레이어에 출력됨으로써 노래의 흥을 돋우거나 노래에 맞는 분위기를 연출할 수 없는 문제점이 있다.
다른 방법의 노래방 기기의 영상 출력 방법으로는, 하나의 노래와 그에 맞는 하나의 영상이 동일한 매체 또는 파일로 수록되어 음향과 가사 및 영상이 하나의 프레임에 동시에 출력하는 방법이 있다. 이러한 방법은 상기와 같이 영상 위에 가사를 불러올 필요가 없고 곡에 적합한 동영상이 출력되는 장점이 있지만, 각각의 곡에 맞춘 영상을 각각의 파일이나 매체에 수록해야 하므로, 수많은 곡들을 수록하여야 하여 대용량의 메모리를 필요로 하므로, 모든 곡에 대해 적용하기에는 적합하지 않다.
따라서, 종래의 노래방 기기는 단순히 노래의 반주용 음악 제공 및 가사 전달 기능에만 머물고 있어 멀티미디어의 역할을 할 수 없으며, 따라서 노래방 기기의 기능은 차별화되지 않고 고정화되어, 노래방 사용 횟수를 거듭할수록 이용자들이 싫증을 느끼기 쉽다는 문제점이 있다.
한편 종래 기술에는 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 방식 즉, 증강 현실(Augmented Reality) 기술이 있다.
증강 현실 기술은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리, 현실 세계를 기반에 두고 가상의 사물을 합성하여 현실세계 만으로는 얻기 어려운 부가적인 정보들을 제공한다. 그런데, 증강 현실 기술을 통해 현실 세계에 부가적인 정보를 보강하기 위해서는 증강 현실 데이터를 저작하여야 한다. 일반적인 증강 현실 데이터의 저작은 사전 정의된 마커를 인식하여 해당 마커에 정의된 인물 사물 등을 매칭시켜 디스플레이하는 방식으로 이루어지고 있다.
이와 같이 일반적인 방법으로 저작된 증강 현실 데이터는 사전 정의된 하나의 영상만을 디스플레이하도록 제작된다. 따라서 사용자의 다양한 욕구를 반영하지 못하는 문제점이 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 증강 현실 기술을 이용하여, 사용자가 선곡한 노래에 대응하는 가수나 캐릭터의 영상과 노래 부르는 사용자의 실제 모습을 촬영한 영상이 합성된 영상을 영상 장치에 출력하게 함으로써, 사용자는 노래 부르는 것에 그치지 않고 해당 가수와 함께 노래를 부르고 있는 듯한 시각적 효과를 얻을 수 있는, 이미지를 통한 노래 선곡 및 증강 현실 영상을 제공하는 노래방 장치 및 그 방법을 제공함에 그 목적이 있다.
이를 위하여, 본 발명에 따른 노래방 장치는, 노래방 벽면이나 바닥에 부착된 마커를 촬영하여 얻은 마커 이미지를 인식하기 위한 마커 인식부; 사용자에 의해 선곡된 노래에 대응하는 반주 정보 및 영상 데이터를 검색하는 검색부; 상기 검색부에서 검색된 영상 데이터를 랜더링하여 상기 마커 인식부에서 인식된 마커의 위치에 가상 영상을 로딩하기 위한 랜더링부; 상기 랜더링부에서 랜더링한 가상 영상과 실시간으로 카메라에 의해 촬영되는 사용자의 실제 영상을 합성하여 증강 현실 영상을 저작하는 합성부를 포함한다.
상기 노래방 장치는 소정의 이미지, 마커 이미지, 반주 정보, 영상 데이터가 저장되어 있는 메모리부; 사용자에 의해 선곡된 노래를 노래방 장치에 입력하게 하는 조작부; 상기 검색된 반주 정보의 음향 데이터를 재생시키는 음향 재생부; 상기 합성부에서 저작된 증강 현실 영상을 표시하는 영상 표시 장치를 더 포함한다.
상기 마커 인식부는 선곡된 노래에 대응하는 소정의 이미지를 더 인식하고, 상기 소정의 이미지는 제공자 측에서 반주 정보에 대응되도록 정하여 메모리부에 미리 저장해 둔 이미지인 것을 특징으로 한다.
상기 마커 이미지는 가상의 영상이 로딩되는 위치 정보를 갖고 있는 것을 특징으로 한다.
상기 반주 정보는 노래방 반주 음악인 음향 데이터와 가사를 포함하고, 상기 영상 데이터는 해당 가수 이미지나 캐릭터 이미지 또는 동영상을 포함하는 것을 특징으로 한다.
본 발명에 따른, 노래 선곡 및 증강 현실 영상을 제공하는 방법은, 카메라로 노래방 바닥 또는 벽면에 부착된 마커를 촬영하여 촬영된 영상에서 마커 이미지를 노래방 장치가 인식하게 하는 마커 인식 단계; 사용자에 의해 선곡된 노래에 대응하는 반주 정보 및 영상 데이터를 검색하는 검색 단계; 선곡된 노래에 대응하는 영상 데이터가 있는지 여부를 확인하여, 대응하는 영상 데이터가 존재하는 경우, 대응하는 영상 데이터를 랜더링하여 가상 영상을 인식된 마커 위치상에 로딩하는 랜더링 단계; 카메라에 의해 노래 부르는 사용자를 실시간 촬영하여, 촬영되는 실제 영상과 상기 랜더링된 가상 영상을 합성하여 증강 현실 영상을 저작하는 합성 단계를 포함한다.
상기 방법은, 상기 검색된 반주 정보의 음향 데이터를 음향 재생부로 보내 재생하는 음향 재생 단계; 상기 합성 단계에서 저작된 증강 영상을 영상 표시 장치로 보내, 상기 음향 재생 단계와 동기하여 표시하는 영상 재생 단계를 더 포함한다.
상기 방법은, 상기 검색 단계 이전에, 사용자가 선곡한 노래를 리모콘 또는 노래방 장치의 조작부를 통해 노래방 장치에 입력하는 입력 단계를 더 포함한다.
상기 방법은, 상기 검색 단계 이전에, 사용자가 선곡한 노래에 대응되는 소정의 이미지를 촬영하여 얻은 이미지를 획득하는 획득 단계; 획득된 이미지를 마커 인식부로 보내 메모리부에 기 저장된 이미지와 매칭하는 과정을 통해 노래방 장치가 인식하게 하는 인식 단계를 더 단계를 더 포함한다.
상기 선곡된 노래에 대응하는 영상 데이터가 존재하지 않는 경우, 카메라에 의해 노래 부르는 사용자를 실시간 촬영하여, 촬영되는 실제 영상에 반주 정보의 가사를 삽입하여 영상 표시 장치에 표시하는 단계를 더 포함하는 것을 특징으로 한다.
상기 인식 단계에서는 사용자의 선택에 의해 마커를 추가하는 것이 가능한 것을 특징으로 한다.
상기 추가된 마커는 상기 선곡된 노래의 장르 또는 가수에 대응하는 것을 특징으로 한다.
본 발명에 따른 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체는 노래 선곡 및 증강 현실 영상을 제공하는 상기 방법들의 과정을 실행시키기 위한 프로그램을 저장한다.
본 발명에 따르면, 사용자가 노래방 기기에 선곡한 노래를 입력할 때, 노래방에서 카메라를 통해 선곡된 노래에 대응하는 소정의 이미지를 인식하여 별도의 수동 입력 과정 없이 선곡한 노래를 노래방 기기에 입력할 수 있도록 함으로써 사용자에게 편의를 제공하는 효과가 있다.
또한, 카메라를 통해 노래방 바닥이나 벽면 등의 마커를 인식하고, 인식된 하나의 마커에 대해 선택된 곡에 맞춰 가수 또는 캐릭터를 변경하여, 선곡된 곡에 대응하는 가수 또는 캐릭터(가상 영상)와, 촬영되는 노래 부르는 사람(실제 영상)의 합성 화면(증강 현실 영상)이 보여지도록 함으로써 사용자에게 해당 가수와 실제로 노래 부르는 듯한 시각적 효과를 가져다 줄 수 있다.
또한, 카메라를 통해 사용자 선택에 의해 노래방 바닥이나 벽 등에 부착된 마커를 인식하고, 인식된 마커에 대해 다양한 효과를 부가함으로써, 노래의 흥을 돋우거나 노래에 맞는 분위기를 연출할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 노래 선곡 및 증강 현실 영상을 제공하는 노래방 장치의 블록도.
도 2는 본 발명의 바람직한 실시예에 따른 노래 선곡 및 증강 현실 영상을 제공하는 방법의 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1을 참조하여, 본 발명의 바람직한 실시예에 따른 노래 선곡 및 증강 현실 영상을 제공하는 노래방 장치에 관해 설명한다.
본 설명에 앞서, 증강 현실 시스템에서 사용되는 마커에 관해 간략히 설명한다.
마커(marker)는 컴퓨터 비전 기술로 인식하기 쉬운 어떤 물체를 의미하는 것으로, 예를 들어 검은 바탕에 쓰여진 평면 문양이나 특이한 색상을 갖는 기하학적인 물체라고 할 수 있고, 마커는 로고(logo), 사진(photograph)이나 그림(picture) 또는 영상의 일부분을 포함하는 개념의 이미지(image), 문자(character), 기호 등을 포함한다.
한편, 증강 현실 시스템은 실사 영상에 가상 영상을 정합하기 위해서 미리 3차원으로 모델링 된 데이터를 실제 카메라가 실사 영상을 투영하는 것과 같은 3차원 원근 투영법을 이용하여 가상 영상을 렌더링한 다음 실사 영상과 가상의 그래픽을 합성하여 보여준다. 이때 증강 현실 시스템은 실사 영상의 정확한 위치에 가상 그래픽 객체를 합성하기 위해서 2차원 화면에서 가상 객체들의 정확한 위치와 방향을 알아내야 하는 레지스트레이션(registration) 문제를 갖는다. 이를 해결하기 위해서는 현실 세계의 어떤 지점(예를 들어 가상 객체가 그려 넣어지게 되는 위치)의 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 하는 좌표값이 되어야 한다.
따라서, 증강 현실 시스템은 카메라의 영상에서 현실 세계의 어떤 지점이나 물체에 대한 카메라의 상대 3차원 좌표를 얻어내야 하는데 3차원 좌표를 얻어내기 위해서 마커(marker)를 이용한다.
본 발명의 바람직한 실시예에 따른 마커 인식을 통한 노래 선곡 및 증강 현실 영상을 제공하는 노래방 장치는 소정의 이미지(10), 마커(20), 제1 카메라(100)가 부착된 마이크(미도시), 제2 카메라(200), 노래방 기기(300), 영상 표시 장치(400), 스피커(미도시)를 필요로 한다.
제1 카메라(100)가 부착된 마이크는 노래 부르는 사람 및 이용자의 음성을 수집하고, 수집된 음성을 스피커를 통해 출력하는 역할을 한다.
제1 카메라(100)는 마이크에 부착되어 이동이 자유롭고, 노래방에서 제공하는 노래 선곡 리스트에 표시된 소정의 이미지를 촬영하는 역할을 한다. 소정의 이미지들 각각은, 제공자 측에서 특정 노래에 대응되도록 정하여 놓은 이미지로서, 예를 들면, 노래의 곡 번호, 노래의 제목, 바코드 또는 마커 등의 형태일 수 있다.
제2 카메라(200)는 영상 표시 장치(400) 위에 위치한 벽면에 부착되어 실시간으로 노래방 바닥에 부착된 마커와 노래 부르는 사용자를 촬영하는 역할을 한다.
본 실시예에서는 2대의 카메라를 사용하였지만, 노래방에서 제공하는 노래 선곡 리스트에 표시된 소정의 이미지, 노래방 바닥이나 벽에 부착된 마커, 및 노래 부르는 사용자를 촬영하여 촬영 정보를 노래방 기기(300) 내에 전송할 수 있으면, 카메라의 형태, 종류 또는 개수에 제한이 없다.
노래방 기기(300)는 마커 인식부(310), 메모리부(320)와, 검색부(330), 음향 재생부(340), 렌더링부(350), 합성부(360), 조작부(미도시) 등으로 이루어진다.
마커 인식부(310)는 제1 카메라 및 제2 카메라와 유선 또는 무선으로 연결되어 있고, 제1 카메라에 의해 촬영된 소정 이미지(10)를 인식하고, 제2 카메라로 촬영된 영상에서 마커를 찾아 인식하는 역할을 한다.
메모리부(320)의 데이터베이스에는 마커 이미지, 반주 정보, 영상 데이터, CPU에 의해 노래방 기기의 동작을 제어하기 위한 프로그램 등이 저장되어 있다. 반주 정보는 노래방 반주 음악인 음향 데이터와 노래의 가사로서 상기 소정의 이미지와 대응되어 있고, 영상 데이터는 해당 가수 이미지나 캐릭터 이미지 또는 동영상을 포함한다.
검색부(330)는 마커 인식부에서 인식된 소정의 이미지와 대응되는 반주 정보를 메모리부(320)에 저장된 데이터베이스로부터 검색하여 매칭되는 반주 정보를 추출하는 역할을 한다.
음향 재생부(340)는 추출된 반주 정보 중 음향 데이터를 재생하는 역할을 한다.
랜더링부(350)는 추출된 반주 정보에 대응하는 영상 데이터를 랜더링하여 마커 인식부가 인식한 마커의 위치에 가상 영상을 로딩하는 역할을 한다. 여기서 랜더링이란, 3차원 컴퓨터 그래픽스 툴을 이용하여 3차원 모델을 만들고 이것을 영화영상 등에 이용하기 위해서 2차원적 그림으로 변화시키는 과정을 말한다.
합성부(360)는 상기 가상 영상과, 제2 카메라에 의해 촬영되는 상기 실제 영상을 합성하여 사용자와 해당 가수가 함께 노래 부르는 듯한 증강 현실 영상을 저작하는 역할을 한다.
영상 표시 장치(400)는 액정 표시 판넬 이나 CRT 등으로 구성될 수 있다. 영상 표시 장치(400)는 음향 재생부(340)의 반주 정보의 재생에 동기하여 사용자에게 증강 현실 영상 또는 실제 영상을 제공하는 역할을 한다.
조작부(미도시)는 키패드, 조그, 다이얼 등을 포함하여 구성되며, 사용자에 의해 조작될 수 있다.
도 2를 참조하여, 본 발명의 바람직한 실시예에 따라 사용자 조작을 통해 노래를 선곡하고 노래방 기기를 통해 증강 현실 영상을 제공하는 방법에 관해 설명한다.
사용자가 노래방에서 제공하는 노래 선곡 리스트 중에서 선곡한다(단계 S10).
선곡한 노래를 노래방 기기에 인식시키는 방법은 사용자가 리모콘이나 노래방 기기의 조작부를 이용하는 방법과, 선곡한 노래의 소정 이미지를 이용하는 방법이 있다.
리모콘이나 노래방 기기의 조작부를 이용하는 방법은, 사용자가 선곡한 노래 번호 또는 노래 제목을 리모콘 또는 노래방 기기의 조작부를 직접 조작하여 직접 입력하는 방법이다.
소정 이미지를 이용하는 방법은, 사용자가 선곡한 곡의 노래 선곡 리스트에 표시된 소정 이미지를 마이크에 장착된 카메라로 촬영하여, 촬영된 소정의 이미지를 마커 인식부로 보내 이미지를 인식시키는 방법이다. 상기 이미지의 인식은 촬영된 소정의 이미지가 메모리부(320)에 기 저장된 이미지와 매칭되는 것이 있는지 여부를 판단하는 과정을 통해 수행된다.
검색부는 인식된 노래에 대응하는 반주 정보를 메모리로부터 검색하고(단계 S20). 매칭되는 노래가 검색되면, 검색된 노래의 반주 정보 중 음향 데이터가 음향 재생부로 전송된다.
또한, 검색부는 검색된 노래의 반주 정보에 대응하는 영상 데이터가 있는지 확인한다(단계 S30).
상기 검색된 곡에 대응하는 영상 데이터가 메모리에 저장되어 있는 경우에는 노래방 기기에서 상기 영상 데이터를 이용한 증강 현실 영상이 저작된다(단계 S40).
노래방 기기에서 증강 현실 영상을 저작하기 위해서는, 먼저, 모니터 벽면 위에 부착된 카메라로 노래 부르는 사용자와 바닥에 부착된 마커를 촬영한다. 이 촬영으로 노래 부르는 사용자의 실제 영상과 마커 이미지가 획득된다.
획득된 마커 이미지는 마커 인식부로 보내져서, 촬영된 영상에 포함된 객체들 중에서 메모리부(320)에 기 저장된 마커 이미지와 매칭되는 것이 있는지 여부를 판단하는 과정을 통해 마커가 인식된다. 마커 인식부는 메모리에 기 저장된 마커 위치 정보에 따라 인식된 마커의 위치 정보를 파악한다.
상기 검색된 곡에 대응하는 영상 데이터가 메모리에 저장되어 있는 경우에는, 대응하는 영상 데이터, 즉 가수나 캐릭터의 이미지나 동영상이 선택되어 랜더링부에서 랜더링되어 마커의 위치에 가상 영상이 로딩된다. 합성부에서 상기 획득된 가상 영상과 촬영되는 실제 영상이 합성되고(단계 S40), 합성된 영상에 반주 정보의 가사를 삽입하여 증강 현실 영상을 저작하고, 상기 음향 재생부로 보내진 음향 데이터의 재생에 동기하여 영상 표시 장치에 표시된다(단계 S50).
상기 검색된 곡에 대응하는 영상 데이터가 메모리에 저장되어 있지 않는 경우에는, 합성부에서 촬영되는 실제 영상 영상에 반주 정보의 노래 가사를 삽입하여, 상기 음향 재생부로 보내진 음향 데이터의 재생에 동기하여 영상 표시 장치에 표시된다(단계 S60).
사용자는 노래 부르는 동안 가수나 캐릭터와 함께 노래 부르는 듯한 영상을 볼 수 있게 된다. 곡이 변경되면 대응하는 캐릭터나 가수도 바뀌게 되므로 하나의 마커를 통해 다양한 캐릭터로의 변환 효과가 있다.
상기의 마커에 추가하여, 제2 마커, 제3의 마커 등을 부착하여 증강 현실 영상에 다양한 배경, 폭죽 영상, 비누 방울 영상 등의 다양한 효과를 내도록 할 수도 있다. 상기의 제2 마커, 제3 마커는 노래 각각에 매칭되도록 할 수도 있고, 노래 장르에 매칭되도록 할 수도 있고, 가수별로 매칭되도록 할 수도 있다. 또는, 추가의 마커들을 노래방 벽이나 바닥에 탈부착 가능하도록 만들어, 사용자가 선택하도록 할 수 있다. 이때, 마커 제공자는 각 마커 이미지와 이 마커 이미지에 대응하는 효과 영상을 메모리에 미리 저장해 두어야 한다.
이하에, 사용자에 의해 탈부착 가능한 마커를 추가로 사용한 경우를 예로 들어 설명한다.
먼저, 사용자는 증강 현실 영상에 추가하고 싶은 영상, 예컨대 오르간 및 폭죽이 터지는 영상에 대응하는 마커들을 선택하여, 제2 카메라의 촬영 범위 안에 추가로 선택한 마커들을 위치시킨다.
다음, 사용자는 노래를 선곡하여 노래방 장치에 직접 입력하거나, 소정의 이미지를 이용하여 노래방 기기에 인식시켜 노래의 반주를 재생시킨다. 선곡된 노래의 반주가 재생되고, 이에 동기하여, 선택한 곡의 가수와 오르간을 연주하며 노래 부르는 사용자의 모습과 함께 폭죽이 터지는 듯한 영상이 영상 표시 화면에 표시된다.
본 발명은 이상에서 설명한 마커를 이용한 노래 선곡 및 증강 현실 영상을 제공하는 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록 매체에 기록해 둠으로써 다양한 장치에 적용할 수 있다.
예컨대, 기록 매체는 각 재생 장치의 내장형으로 하드 디스크, 플래시 메모리, RAM, ROM 등이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드 등일 수 있다.
이 경우, 컴퓨터로 읽을 수 있는 기록 매체에 기록한 프로그램은, 앞서 설명한 바와 같이, 카메라로 노래방 바닥 또는 벽면에 부착된 마커를 촬영하여 촬영된 영상에서 마커 이미지를 노래방 장치가 인식하게 하는 마커 인식 단계; 사용자에 의해 선곡된 노래에 대응하는 반주 정보 및 영상 데이터를 메모리로부터 검색하는 검색 단계; 선곡된 노래에 대응하는 영상 데이터가 있는지 여부를 확인하여, 대응하는 영상 데이터가 존재하는 경우, 대응하는 영상 데이터를 랜더링하여 가상 영상을 인식된 마커 위치상에 로딩하는 랜더링 단계; 카메라에 의해 노래 부르는 사용자를 실시간 촬영하여, 촬영되는 실제 영상과 상기 랜더링된 가상 영상을 합성하고, 합성된 영상에 반주 정보의 가사를 삽입하여 증강 현실 영상을 저작하는 합성 단계를 실행하도록 프로그래밍될 수 있다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
본 발명을 이용하여 노래방 사용자가 선곡하여 반주를 재생할 때 노래의 곡 번호나 제목을 수동 입력하지 않고 이미지를 촬영하여 반주를 재생시킴으로써 사용자에게 편의를 제공하고, 노래 부르는 동안 가상의 가수나 캐릭터 또는 다양한 효과를 주는 증강 현실 영상을 사용자에게 제공하여 사용자의 흥미를 유발시킬 수 있다.
300 : 노래방 기기
310 : 마커 인식부
320 : 메모리부
330 : 검색부
340 : 음향 재생부
350 : 렌더링부
360 : 합성부
400 : 영상 표시 장치

Claims (13)

  1. 노래 선곡 및 증강 현실 영상을 제공하는 노래방 장치에 있어서,
    노래방 벽면이나 바닥에 부착된 마커를 촬영하여 얻은 마커 이미지를 인식하기 위한 마커 인식부;
    사용자에 의해 선곡된 노래에 대응하는 반주 정보 및 영상 데이터를 검색하는 검색부;
    상기 검색부에서 검색된 영상 데이터를 랜더링하여 상기 마커 인식부에서 인식된 마커의 위치에 가상 영상을 로딩하기 위한 랜더링부;
    상기 랜더링부에서 랜더링한 가상 영상과 실시간으로 카메라에 의해 촬영되는 사용자의 실제 영상을 합성하여 증강 현실 영상을 저작하는 합성부
    를 포함하는 노래방 장치.
  2. 제1항에 있어서,
    소정의 이미지, 마커 이미지, 반주 정보, 영상 데이터가 저장되어 있는 메모리부;
    사용자에 의해 선곡된 노래를 노래방 장치에 입력하게 하는 조작부;
    상기 검색된 반주 정보의 음향 데이터를 재생시키는 음향 재생부;
    상기 합성부에서 저작된 증강 현실 영상을 표시하는 영상 표시 장치
    를 더 포함하는 노래방 장치.
  3. 제2항에 있어서, 상기 마커 인식부는 노래에 대응하는 소정의 이미지를 더 인식하고,
    상기 소정의 이미지는 제공자 측에서 반주 정보에 대응되도록 정하여 상기 메모리부에 미리 저장해 둔 이미지인 것을 특징으로 하는 노래방 장치.
  4. 제1항에 있어서, 상기 마커 이미지는 가상의 영상이 로딩되는 위치 정보를 갖고 있는 것을 특징으로 하는 노래방 장치.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 반주 정보는 노래방 반주 음악인 음향 데이터와 가사를 포함하고, 상기 영상 데이터는 해당 가수 이미지나 캐릭터 이미지 또는 동영상을 포함하는 것을 특징으로 하는 노래방 장치.
  6. 노래 선곡 및 증강 현실 영상을 제공하는 방법에 있어서,
    카메라로 노래방 바닥 또는 벽면에 부착된 마커를 촬영하여 촬영된 영상에서 마커 이미지를 노래방 장치가 인식하게 하는 마커 인식 단계;
    사용자에 의해 선곡된 노래에 대응하는 반주 정보 및 영상 데이터를 검색하는 검색 단계;
    선곡된 노래에 대응하는 영상 데이터가 있는지 여부를 확인하여, 대응하는 영상 데이터가 존재하는 경우, 대응하는 영상 데이터를 랜더링하여 가상 영상을 인식된 마커 위치상에 로딩하는 랜더링 단계;
    카메라에 의해 노래 부르는 사용자를 실시간 촬영하여, 촬영되는 실제 영상과 상기 랜더링된 가상 영상을 합성하여 증강 현실 영상을 저작하는 합성 단계
    를 포함하는 노래 선곡 및 증강 현실 영상을 제공 방법.
  7. 제6항에 있어서,
    상기 검색된 반주 정보의 음향 데이터를 음향 재생부로 보내 재생하는 음향 재생 단계;
    상기 합성 단계에서 저작된 증강 영상을 영상 표시 장치로 보내, 상기 음향 재생 단계와 동기하여 표시하는 영상 재생 단계
    를 포함하는 노래 선곡 및 증강 현실 영상을 제공 방법.
  8. 제6항에 있어서,
    상기 검색 단계 이전에, 사용자가 선곡한 노래를 리모컨 또는 노래방 장치의 조작부를 통해 노래방 장치에 입력하는 입력 단계
    를 더 포함하는 노래 선곡 및 증강 현실 영상을 제공 방법.
  9. 제6항에 있어서,
    상기 검색 단계 이전에, 사용자가 선곡한 노래에 대응하는 소정의 이미지를 촬영하여 얻은 이미지를 획득하는 획득 단계;
    획득된 이미지를 마커 인식부로 보내 메모리부에 기 저장된 이미지와 매칭하는 과정을 통해 노래방 장치가 인식하게 하는 인식 단계
    를 더 포함하는 것인 노래 선곡 및 증강 현실 영상을 제공 방법.
  10. 제6항에 있어서,
    상기 선곡된 노래에 대응하는 영상 데이터가 존재하지 않는 경우, 카메라에 의해 노래 부르는 사용자를 실시간 촬영하여, 촬영되는 실제 영상에 반주 정보의 가사를 삽입하여 영상 표시 장치에 표시하는 단계
    를 더 포함하는 것을 특징으로 하는 노래 선곡 및 증강 현실 영상을 제공 방법.
  11. 제6항에 있어서, 상기 인식 단계에서는 사용자의 선택에 의해 마커를 추가하는 것이 가능한 것을 특징으로 하는 노래 선곡 및 증강 현실 영상을 제공 방법.
  12. 제11항에 있어서, 상기 추가된 마커는 상기 선곡된 노래의 장르 또는 가수에 대응하는 것을 특징으로 하는 노래 선곡 및 증강 현실 영상을 제공 방법.
  13. 제6항 내지 제12 중 어느 한 항에 의한 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100118062A 2010-11-25 2010-11-25 증강 현실 영상을 제공하는 노래방 장치 및 그 방법 KR101295862B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100118062A KR101295862B1 (ko) 2010-11-25 2010-11-25 증강 현실 영상을 제공하는 노래방 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100118062A KR101295862B1 (ko) 2010-11-25 2010-11-25 증강 현실 영상을 제공하는 노래방 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120056489A true KR20120056489A (ko) 2012-06-04
KR101295862B1 KR101295862B1 (ko) 2013-08-12

Family

ID=46608623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100118062A KR101295862B1 (ko) 2010-11-25 2010-11-25 증강 현실 영상을 제공하는 노래방 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101295862B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101486959B1 (ko) * 2014-07-16 2015-01-29 김진갑 몰입감을 향상시키는 노래방 시스템
WO2018004232A1 (ko) * 2016-06-28 2018-01-04 주식회사 카이비전 외부 콘텐츠 플레이어와 연동하는 증강현실시스템
KR102028139B1 (ko) * 2019-03-29 2019-10-04 주식회사 스탠스 증강현실 기반의 영상 표시방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100619494B1 (ko) * 2004-04-28 2006-09-08 주식회사 다림비젼 삼차원 가상 스투디오를 이용한 가라오케
KR100677502B1 (ko) * 2006-01-13 2007-02-02 엘지전자 주식회사 이동통신 단말기에서의 증강현실기반의 메시지 작성 방법및 그 이동통신 단말기
KR20080106676A (ko) * 2007-06-04 2008-12-09 주식회사 케이티 Ｖｒ 노래방 서비스 시스템 및 방법
KR100957189B1 (ko) * 2008-02-13 2010-05-11 광주과학기술원 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101486959B1 (ko) * 2014-07-16 2015-01-29 김진갑 몰입감을 향상시키는 노래방 시스템
WO2016010360A1 (ko) * 2014-07-16 2016-01-21 김진갑 몰입감을 향상시키는 노래방 시스템
WO2018004232A1 (ko) * 2016-06-28 2018-01-04 주식회사 카이비전 외부 콘텐츠 플레이어와 연동하는 증강현실시스템
KR102028139B1 (ko) * 2019-03-29 2019-10-04 주식회사 스탠스 증강현실 기반의 영상 표시방법

Also Published As

Publication number Publication date
KR101295862B1 (ko) 2013-08-12

Similar Documents

Publication Publication Date Title
KR101263686B1 (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
KR102028139B1 (ko) 증강현실 기반의 영상 표시방법
JP2015520403A (ja) カラオケダンシングゲーム
JP4981370B2 (ja) 動画生成システム、及び動画生成方法
US5956459A (en) Karaoke apparatus having video mixer of main and insert pictures
KR101295862B1 (ko) 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
KR101414217B1 (ko) 실시간 영상합성 장치 및 그 방법
KR101267247B1 (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
US20240203058A1 (en) System and method for performance in a virtual reality environment
JP2017005371A (ja) 共演映像演出装置および共演映像演出システム
JP2012198380A (ja) 表示制御装置
JP6058991B2 (ja) 歌唱音声に対応する歌唱動画選択システム
KR20170075321A (ko) 증강현실 노래방 시스템
JP5550593B2 (ja) カラオケ装置
JP5310682B2 (ja) カラオケ装置
JP2011053276A (ja) 背景映像可変表示機能を備えるカラオケシステム
JP2017010326A (ja) 画像データ生成装置およびコンテンツ再生装置
JP6110731B2 (ja) ジェスチャーによるコマンド入力識別システム
JP5780258B2 (ja) 携帯端末装置、携帯端末用プログラム、サーバ、及び画像閲覧システム
KR20130095389A (ko) 실시간 영상합성 시스템
JP5772124B2 (ja) カラオケ装置
JP5803956B2 (ja) カラオケシステム及びカラオケ装置
JP6121139B2 (ja) カラオケ歌唱映像の歌唱音声選択システム
JP3476790B2 (ja) ゲーム装置、作詞方法、作詞ゲームプログラム及びゲームシステム
KR102244535B1 (ko) 리플레이 영상 생성 장치 및 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160802

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170802

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 7