KR101263686B1 - 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 - Google Patents

증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 Download PDF

Info

Publication number
KR101263686B1
KR101263686B1 KR1020110003245A KR20110003245A KR101263686B1 KR 101263686 B1 KR101263686 B1 KR 101263686B1 KR 1020110003245 A KR1020110003245 A KR 1020110003245A KR 20110003245 A KR20110003245 A KR 20110003245A KR 101263686 B1 KR101263686 B1 KR 101263686B1
Authority
KR
South Korea
Prior art keywords
marker
virtual object
augmented reality
song
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110003245A
Other languages
English (en)
Other versions
KR20120081874A (ko
Inventor
이주형
한덕민
김미애
안근현
윤진석
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020110003245A priority Critical patent/KR101263686B1/ko
Publication of KR20120081874A publication Critical patent/KR20120081874A/ko
Application granted granted Critical
Publication of KR101263686B1 publication Critical patent/KR101263686B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 노래방에 마커를 부착하고 카메라를 통해 마커를 포함한 사용자의 영상을 촬영하면 카메라를 통해 인식한 마커를 사용자가 선곡한 노래와 연관성있는 가상 객체로 변환하여 실제 영상에 중첩 표시하고 표시된 가상 객체에 사용자의 노래 형태에 따라 다양한 인터랙션(interaction) 동작을 정의하여 반영하도록 함으로써 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여할 수 있다.

Description

증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법{KARAOKE SYSTEM AND APPARATUS USING AUGMENTED REALITY, KARAOKE SERVICE METHOD THEREOF}
본 발명은 증강 현실을 이용한 노래방 서비스에 관한 것으로서, 더욱 상세하게는 노래방에 마커를 부착하고 카메라를 통해 마커를 포함한 사용자의 영상을 촬영하면 카메라를 통해 인식한 마커를 사용자가 선곡한 노래와 연관성있는 가상 객체로 변환하여 실제 영상에 중첩 표시하고 표시된 가상 객체에 사용자의 노래 형태에 따라 다양한 인터랙션(interaction) 동작을 정의하여 반영하도록 함으로써 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여하는 증강 현실을 이용한 노래방 장치 및 노래방 서비스 방법에 관한 것이다.
가상 현실(Virtual Reality: VR)은 컴퓨터 시스템에서 생성한 3D 가상 공간과 주로 상호 작용이 주가되는 분야로서, 가상 공간은 현실 세계를 바탕으로 구성된다. 사용자는 이러한 가상 공간을 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 느낌으로써 몰입감(沒入感)을 갖게 된다.
증강 현실(Augmented Reality: AR)은 가상 현실(VR)의 하나의 분야에서 파생된 기술로서, 현실 세계와 가상의 체험을 결합한 것을 의미한다. 즉, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
가상 현실은 모든 환경을 컴퓨터를 통해 가상환경으로 제작하여 사용자와 상호 작용하지만, 증강 현실은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다. 따라서, 증강 현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
한편, 종래 노래방 서비스는 노래방 기기에 다수의 노래를 수록해 두고, 사용자가 수록된 노래 중 하나를 선곡하면 음향 발생 장치를 통해 해당 노래의 반주용 음악 데이터를 재생시키고 표시 장치에는 가사와 함께 영상 데이터를 제공한다.
즉, 종래 노래방 서비스는 단순히 사용자가 원하는 노래를 따라 부를 수 있도록 하는 단조로운 서비스를 제공하기 때문에 사용자의 흥미를 지속적으로 유발시킬 수 없다는 문제점이 있다.
예를 들면, 사용자가 노래를 부르는 동안 자신이 부르는 노래를 녹음하거나 또는 노래 부르는 모습을 촬영하고 싶을 경우, 별도의 녹음 장치 및 촬영 장치를 구비해야 가능한 불편함이 있다.
따라서, 종래 노래방 서비스와 상기의 증강 현실 기술을 결합하면 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여하여 재미와 흥미를 유발할 수 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 노래방에 마커를 부착하고 카메라를 통해 마커를 포함한 사용자의 영상을 촬영하면 카메라를 통해 인식한 마커를 사용자가 선곡한 노래와 연관성있는 가상 객체로 변환하고 사용자의 노래 형태에 따라 가상 객체에 다양한 인터랙션 동작을 적용하여 실제 영상에 중첩 표시함으로써 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여할 수 있는 증강 현실을 이용한 노래방 장치 및 노래방 서비스 방법을 제공하는 데 그 목적이 있다.
이를 위하여 본 발명의 제1 측면에 따르면, 본 발명의 증강 현실을 이용한 노래방 시스템은, 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치; 상기 영상 획득 장치에서 얻은 실제 영상으로부터 마커를 검출하고, 검출한 마커를 사용자가 선곡한 노래와 매핑되는 가상 객체로 변환하여 상기 실제 영상에 합성하며, 상기 사용자의 노래 형태를 인식하여 노래 형태에 따라 인터랙션할 가상 객체의 속성을 검출하여 상기 가상 객체에 반영하는 노래방 장치; 및 상기 노래방 장치에서 실제 영상과 가상 객체를 합성된 증강 현실 영상을 표시하는 표시 장치를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따르면, 본 발명의 노래방 장치는, 마커를 포함한 현실 환경을 촬영한 실제 영상으로부터 상기 마커를 검출하는 마커 검출부; 사용자가 선곡한 노래와 매핑되는 가상 객체를 검색하여 검색된 가상 객체를 상기 마커 검출부에서 검출한 마커와 매칭시키는 검색부; 상기 사용자의 노래 형태에 따른 컨텍스트(context) 정보를 인식하고, 인식한 컨텍스트 정보에 따라 인터랙션할 가상 객체의 속성을 검출하여 속성 변경하도록 지령하는 인터랙션부; 및 상기 실제 영상에 상기 검출한 마커와 매칭하는 가상 객체를 합성하고, 상기 인터랙션부로부터 상기 가상 객체에 대한 속성 변경이 지령되면 상기 합성된 가상 객체에 반영하는 합성부를 포함하는 것을 특징으로 하는 한다.
본 발명의 제3 측면에 따르면, 본 발명의 노래방 서비스 방법은, 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 단계; 상기 실제 영상으로부터 마커를 검출하는 마커 검출 단계; 사용자가 선곡한 노래와 매핑되는 가상 객체를 검색하여 검색된 가상 객체를 상기 마커 검출 단계를 통해 검출한 마커와 매칭시키는 매칭 단계; 상기 실제 영상에 상기 검색된 가상 객체를 합성하여 증강 현실 영상을 제공하는 증강 현실 영상 제공 단계; 상기 사용자의 노래 형태에 따른 컨텍스트(context) 정보를 인식하고, 인식한 컨텍스트 정보에 따라 인터랙션할 가상 객체의 속성을 검출하는 인터랙션 검출 단계; 및 상기 인터랙션 검출 단계에서 검출한 가상 객체의 속성을 상기 증강 현실 영상을 통해 제공하는 가상 객체에 반영하는 인터랙션 반영 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 노래방에 부착된 마커가 곡 선곡에 따라 다양한 가상 객체로 변환이 가능하므로 사용자가 노래를 부르는 동안 마치 사용자가 가수와 함께 노래 부르는 듯한 시각적 효과를 제공함으로써 재미와 흥미를 지속적으로 유발하는 효과가 있다.
또한, 본 발명은 사용자가 노래 부르는 동안 음향이나 사용자 동작에 따라 가상 영상에 다양한 효과를 부가함으로써 보다 실감있는 분위기를 연출할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 시스템 및 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 저장부의 데이터 저장 구조를 나타낸 도면이다.
도 3은 본 발명의 실시 예에서 컨텍스트 정보에 따라 가상 객체의 속성을 매핑시킨 저장부의 도면이다.
도 4는 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 서비스 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
본 발명에 대한 구체적인 설명을 하기에 앞서, 증강 현실을 구현하기 위한 기본적인 기술에 대하여 설명한다.
증강 현실은 카메라를 통해 촬영된 실제 피사체나 특정 부위에 대하여 미리 정해 놓은 정보 또는 가상 객체를 화면 상에 합성하여, 부가적인 정보를 제공하거나 또는 실제 동작하는 것처럼 화면 상에 표시하여 현실을 보다 풍부하게 묘화하는 비전(vision) 기술이다.
증강 현실을 구현하기 위한 기본적인 기술은, 대상 위치 인식(Recognition) 기술, 인식된 지점의 트래킹(tracking) 기술, 합성 기술을 포함한다. 먼저, 실제 환경에 대한 영상에서 대상 위치의 인식 및 트래킹에 의해 합성할 위치를 선정하고, 해당 위치에서의 기울기, 방향 등을 추정하며, 추정된 기울기, 방향 등에 따라 가상 객체를 렌더링(rendering)하여 정확한 위치에 합성시킴으로써 구현될 수 있다. 여기서, 인식 대상은 일정 문양이나 기하학적인 패턴을 갖는 마커일 수 있으며 또는 사람의 얼굴이나 손 등의 실물 객체가 될 수도 있다.
본 발명은 위의 기본적인 세 가지 기술을 적용하면서 추가로 마커에 사용자의 조작 또는 실제 환경 변화를 반영하여 증강 현실을 더 실감있게 표현하는 기술에 관한 것이다.
이하, 본 발명의 구체적인 구성을 설명한다.
도 1은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 시스템 및 장치의 구성을 나타낸 도면이다.
본 발명의 실시 예에 따른 노래방 시스템은, 현실 노래방 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치(200), 영상 획득 장치(200)를 통해 인식한 실제 영상으로부터 마커(100)를 검출하고 검출한 마커(100)를 선곡 노래에 맞는 가상 객체로 변환하여 실제 영상과 합성하는 증강 현실 기반의 노래방 장치(300), 노래방 장치(300)에서 생성된 증강 현실 영상을 표시하는 표시 장치(400)를 포함하여 구현될 수 있다.
본 실시예에서, 마커(100)는 노래방의 바닥이나 벽면 등에 부착될 수 있다. 이러한 마커(100)는 기하학 문양이나 일정한 패턴으로 정의되어 특정 가상 객체를 식별할 수 있는 고유 식별 마커를 포함함은 물론, 사람의 얼굴이나 손, 노래방 기구 등의 실제 객체를 모두 포함한다. 실제 객체의 경우, 마커 검출은 실제 객체의 모양, 외곽선, 질감, 색상 등의 특징점(Feature Point)을 추출함으로써 구현할 수 있다.
또한, 본 실시예에서의 마커(100)는 하나로 구현 가능하나, 필요에 따라 복수 개로 적용하여 다양한 종류의 가상 객체를 보여줄 수 있다.
영상 획득 장치(200)는 마커(100)를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상(이하, 실제 영상)을 인식한다. 그리고, 인식한 실제 영상을 노래방 장치(00)로 전달한다. 이 영상 획득 장치(200)는 컴퓨터 등의 외부 콘트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인휴대단말기에 내장된 카메라일 수 있다.
표시 장치(400)는 노래방 장치(300)의 합성부(330)를 통해 실제 영상에 가상 객체가 합성된 영상(이하, 증강 현실 영상)을 화면에 표시하여 보다 실감있는 영상을 제공한다.
노래방 장치(300)는 세부적으로 마커 검출부(310), 검색부(320), 합성부(330), 저장부(340), 위치 검출부(350), 음향 센서부(360), 인터력센부(370)를 포함할 수 있다.
마커 검출부(310)는 영상 획득 장치(200)를 통해 얻은 실제 영상으로부터 마커를 검출하여 해당 마커의 용도를 확인한다. 즉, 해당 마커가 선곡한 노래를 대표할 수 있는 가상 객체를 나타내는 식별 마커임을 확인한다. 실제 객체의 경우, 마커 검출부(310)는 실제 객체의 색상 정보, 선분 정보, 에지(edge) 정보, 질감 정보 등 특징점을 이용하여 검출할 수 있다.
검색부(320)는 마커 검출부(310)를 통해 검출된 마커를 선곡 노래에 맞는 가상 이미지로 변환하기 위해 저장부(340)에 기저장된 데이터로부터 선곡 노래와 매핑되는 가상 객체를 검색한다.
합성부(330)는 검색부(320)를 통해 검색한 가상 객체를 영상 획득 장치(200)로부터 얻은 실제 영상과 합성한다. 이때, 실제 영상에서 보여지는 마커의 위치 및 방향 등을 고려하여 마커에 대응되는 가상 객체를 실제 영상에 중첩함으로써 합성할 수 있다.
저장부(340)는 다수의 노래를 대표할 수 있는 가상 객체를 각 노래와 매핑시킨 가상객체DB(342)와, 사용자의 조작 또는 실제 상황 정보에 따른 인터랙션 정보를 매핑시켜 저장한 인터랙션 DB(344)를 포함할 수 있다.
즉, 가상객체 DB(342)는 도 2에 도시한 바와 같이 노래 장르별, 가수별, 노래 내용별 등에 따라 구분하여 노래에 맞는 가상 객체 정보가 정의되어 있다. 노래 장르별 DB는 발라드, 댄스, 힙합, 동요, 트로트, 재즈 등 각 장르를 대표할 수 있는 배경 이미지, 동영상 등을 포함한 가상 객체로 정의할 수 있다. 가수별 DB는 각 노래의 가수에 관한 캐릭터 이미지, 가수 동영상 등을 포함한 가상 객체를 정의할 수 있다. 노래 내용별 DB는 생일, 졸업, 결혼 등의 특별한 이벤트를 위한 노래이거나 가사에 특별한 내용이 담긴 노래의 경우 해당 내용을 대표할 수 있는 가상 객체를 매핑하여 정의할 수 있다.
인터랙션 DB(344)는 도 3에 도시한 바와 같이 사용자의 노래 형태에 따른 음향 정보, 노래 최종 점수 정보, 사용자 동작 정보 등의 컨텍스트(context) 정보에 따라 가상 객체의 인터랙션 동작 정보가 미리 정의되어 있다.
예를 들어, 음향 정보에 관한 컨텍스트 정보로서, 음을 이탈하거나 노래부르는 소리가 크면 해당 가상 객체와 매핑되어 있는 가상 캐릭터가 귀를 막는 액션을 수행하도록 정의할 수 있다.
또한, 박자를 이탈하면 해당 가상 객체와 매핑되어 있는 가상 캐릭터가 약올리는 액션을 수행하도록 정의할 수 있다.
또한, 음향이 작으면 해당 가상 객체와 매핑되어 있는 가상 캐릭터가 안들려서 취하는 인터랙션 동작으로 귀를 기울이는 액션을 수행하도록 정의할 수 있다.
또한, 사용자 동작 정보에 관한 컨텍스트 정보로서 노래 부르는 사용자가 회전하거나 팔 흔드는 간단한 동작을 하면 해당 가상 객체와 매핑되는 가상 캐릭터가 사용자의 동작과 동일하게 회전하거나 팔 흔드는 액션을 수행하도록 정의할 수 있다.
또한, 노래 점수에 관한 컨텍스트 정보로서 노래를 부른 후 최종 점수가 일정 점수 이상을 넘는 고득점이 발생하면 해당 가상 객체와 매핑되는 가상 캐릭터가 환호와 함께 박수를 치는 액션을 수행하도록 정의할 수 있다.
이러한 인터랙션 수행은 노래방 장치(300)에서 움직임 검출부(350), 음향 센서부(360), 인터랙션부(370)를 통해 수행할 수 있다.
즉, 움직임 검출부(350)는 영상 획득 장치(200)를 통해 촬영한 사용자의 영상으로부터 사용자의 위치 및 방향 변경에 따라 사용자의 움직임을 검출한다.
음향 센서부(360)는 마이크를 통해 입력되는 사용자의 노래 음향을 감지하여 음향의 크기, 음 이탈, 박자 이탈 등을 검출한다.
인터랙션부(370)는 움직임 검출부(350) 및 음향 센서부(360)로부터 검출한 사용자의 움직임 정보, 음향 정보(이하, 컨텍스트 정보라 총칭함)를 수신하면 해당 저장부(340)에 기 저장된 인터랙션 DB(344)를 검색하여 해당 컨텍스트 정보에 따라 인터랙션할 가상 객체의 속성을 검출하고 검출한 가상 객체의 속성을 변경하도록 합성부(330)로 지령한다.
따라서, 본 발명의 실시 예에 따른 노래방 시스템은 사용자가 노래를 선곡하고 노래방에 설치된 영상 획득 장치(200)를 통해 노래방에 부착된 마커(100)를 포함한 사용자의 실제 영상을 촬영하면 촬영한 실제 영상이 표시 장치(400)를 통해 보여지는데, 표시 장치(400)에는 해당 마커(100)가 사용자가 선곡한 노래와 매핑되는 가상 객체로 보여진다. 즉, 실제 영상에 마커(100) 대신 사용자가 선곡한 노래와 매핑되는 가상 객체를 합성하여 표시한다. 하나의 마커(100)는 사용자가 선택하는 노래에 따라 다양한 가상 객체로 변환이 가능하다. 또한, 본 발명의 실시 예에 따른 노래방 시스템은 사용자의 노래 형태에 따라 표시 장치(400)에 보여지는 가상 객체에 다양한 반응을 보여줌으로써 재미와 흥미를 더욱 배가시킬 수 있다.
그럼, 이하에서는 앞서 설명한 바와 같이 마커 기반 증강 현실을 이용하여 노래방 서비스를 제공하는 방법에 대하여 도 4를 참조하여 설명한다.
우선 마커를 인식하기 전에, 인식하고자 하는 마커(실제 객체 포함)에 대하여 특징점을 정의하고 정의된 특징점 정보에 마커의 용도를 부여하여 미리 저장해 둔다. 이를 테면, 본 발명에 사용하는 마커는 사용자가 선곡하는 노래에 따라 매핑되는 가상 객체를 표시하는 용도의 마커임을 부여할 수 있다. 그리고, 마커에 대응될 수 있는 가상 객체를 노래에 따라 매핑시키고, 사용자의 노래 상태(컨텍스트 정보)에 따라 가상 객체에 지정할 인터랙션 동작을 정의한다.
이후, 영상 획득 장치를 통해 현실 노래방 환경을 촬영하여 현실 노래방 환경에 대한 실제 영상을 획득한다(S100).
그리고, 영상 획득 장치를 통해 획득한 실제 영상으로부터 마커를 검출하고, 검출된 해당 마커가 사용자가 선곡하는 노래에 따라 매핑되는 가상 객체를 표시하는 용도의 마커임을 확인한다(S110).
이후, 사용자로부터 노래 선곡이 입력되었는지를 확인한다(S120).
사용자로부터 노래가 선곡되면 선곡된 노래에 대응하는 가상 객체를 저장부로부터 검색한다(S130).
그리고, 검색한 가상 객체를 마커에 매핑하고 실제 영상과 합성한 증강 현실 영상을 표시 장치에 표시한다(S140, S150).
예를 들어, 사용자가 뽀로로 노래를 선곡한 경우 노래방 표시 장치에는 노래를 부르는 사용자와 그 옆에 설치된 마커 부분이 뽀로로 가상 개릭터로 변환되어서 마치 사용자와 뽀로로가 같이 한 공간에서 노래 부르는 듯한 증강 현실 영상을 보여준다.
이후, 사용자의 움직임 또는 음향 정보를 인식하여 사용자가 노래부르는 형태에 관한 컨텍스트 정보가 수신되는지를 판단한다(S160).
즉, 사용자의 움직임을 검출하여 사용자가 회전하거나 팔을 흔드는 등 간단한 율동 동작을 수행하는지, 또는 사용자가 노래부르는 음향을 감지하여 기존 음향 레벨보다 음향의 크거나 또는 작은지 정도, 음 이탈, 박자 이탈 등을 인식할 수 있다. 또는, 노래 부른 후 최종 점수를 수신할 수 있다.
컨텍스트 정보가 수신되면 저장부에 사전 정의된 인터랙션 정보를 검색하여 해당 컨텍스트 정보와 매핑되는 가상 객체의 속성을 검출한다(S170).
검출 후 해당 컨텍스트 정보와 매핑되는 가상 객체의 속성을 실제 영상과 합성하여 표시 장치에 표시한다(S150).
예를 들어, 음 이탈을 한 경우 가상 캐릭터가 귀를 막는 포즈를 취하고, 고음부를 멋지게 소화한 경우에는 가상 캐릭터가 환호를 지르며, 노래 최종 점수가 고득점인 경우 가상 캐릭터가 박수를 치는 등의 다양한 인터랙션 반응을 보여줄 수 있다. 이로써, 사용자에게 보다 현실감이 증대된 증강현실 영상을 제공한다.
한편, 본 발명은 상기한 증강현실 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다.
다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다.
기록매체는 각 재생장치의 내장형 하드디스크이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.
이 경우, 컴퓨터로 읽을 수 있는 기록매체에 기록한 프로그램은, 앞서 설명한 바와 같이, 노래방에서 마커를 포함한 사용자를 촬영하여 실제 영상을 획득하는 과정과, 상기 실제 영상으로부터 마커를 검출하는 과정과, 상기 사용자에 의해 선곡된 노래와 매핑되는 가상 객체를 검색하여 검색된 가상 객체를 상기 마커 검출 단계를 통해 검출한 마커와 매칭시키는 과정과, 상기 실제 영상에 상기 검색된 가상 객체를 합성하여 증강 현실 영상을 제공하는 과정과, 상기 사용자가 선곡된 노래를 부르는 도중 주위 환경 변화에 따른 노래방 상황(context) 정보를 인식하고, 인식한 노래방 상황 정보에 따라 인터랙션할 가상 객체의 속성을 검출하는 과정과, 상기 인터랙션 검출 단계에서 검출한 가상 객체의 속성을 상기 증강 현실 영상을 통해 제공하는 가상 객체에 반영하는 과정들을 포함하여 실행될 수 있다.
여기서, 각 과정에서의 구체적인 기술은 상기의 증강현실 장치 및 방법의 구성과 동일하므로 중복되는 기술 설명은 생략한다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
종래 노래방 서비스는 단순히 사용자가 원하는 노래를 따라 부를 수 있도록 하는 단조로운 서비스를 제공하였으나, 본 발명은 기존 노래방 서비스에 증강 현실 기술을 결합한 것으로 사용자가 노래 부르는 동안 카메라를 통해 마커를 포함한 사용자의 영상을 촬영하면 카메라를 통해 인식한 마커를 사용자가 선곡한 노래와 연관성있는 가상 영상으로 변환하고 그 가상 영상을 카메라를 통해 촬영한 실제 영상에 합성하여 노래방 화면에 표시해 줌으로써 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여하여 재미와 흥미를 유발시킬 수 있다. 이러한 점에서 노래방뿐만 아니라 나아가 방송 공연 사업, 콘텐츠를 이용한 아동 및 스포츠 교육 사업에까지 확장하여 적용할 수 있다.
100: 마커 200: 영상 획득 장치
300: 노래방 장치 400: 표시 장치
310: 마커 검출부 320: 검색부
330: 합성부 340: 저장부
342: 가상객체 DB 344: 인터랙션 DB
350: 움직임 검출부 360: 음향 센서부
370: 인터랙션부

Claims (14)

  1. 마커 기반 증강 현실을 이용한 노래방 시스템에 있어서,
    마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치;
    상기 영상 획득 장치에서 얻은 실제 영상으로부터 마커를 검출하고, 검출한 마커에 사용자가 선곡한 노래와 매핑되는 가상 객체를 마커의 위치 및 방향에 고려하여 삽입함으로써 상기 실제 영상에 합성하며, 상기 사용자의 노래 형태를 인식하여 노래 형태에 따른 인터랙션 반응을 상기 가상 객체에 반영하는 노래방 장치; 및
    상기 노래방 장치에서 실제 영상과 가상 객체가 합성된 증강 현실 영상을 표시하는 표시 장치를 포함하며,
    상기 마커는 가상 객체를 식별할 수 있는 고유 식별 마커로서 적어도 하나 이상 포함하는 증강 현실을 이용한 노래방 시스템.
  2. 마커 기반 증강 현실을 이용한 노래방 장치에 있어서,
    마커를 포함한 현실 환경을 촬영한 실제 영상으로부터 상기 마커를 검출하는 마커 검출부;
    사용자가 선곡한 노래와 매핑되는 가상 객체를 검색하여 검색된 가상 객체를 상기 마커 검출부에서 검출한 마커와 매칭시키는 검색부;
    상기 사용자의 노래 형태에 따른 컨텍스트(context) 정보를 인식하고, 인식한 컨텍스트 정보에 따른 인터랙션 반응을 정의한 가상 객체의 속성을 검출하여 속성 변경하도록 지령하는 인터랙션부; 및
    상기 실제 영상에 상기 검출한 마커의 위치 및 방향을 고려하여 상기 가상 객체를 합성하고, 상기 인터랙션부로부터 가상 객체에 대한 속성 변경이 지령되면 상기 합성된 가상 객체에 반영하는 합성부를 포함하며,
    상기 마커는 가상 객체를 식별할 수 있는 고유 식별 마커로서 적어도 하나 이상 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  3. 제 2 항에 있어서,
    상기 노래와 매핑되는 가상 객체는 상기 노래의 가수 캐릭터 이미지, 가수의 동영상, 상기 노래의 장르 또는 내용을 대표할 수 있는 캐릭터 중 어느 하나를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  4. 제 2 항에 있어서,
    상기 컨텍스트 정보는 상기 노래를 부르는 음향 정보, 사용자 동작 정보, 노래 최종 점수 정보를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  5. 제 4 항에 있어서,
    상기 노래를 부르는 사용자의 음향 크기, 음 이탈, 박자 이탈을 포함한 음향 상황 정보를 인식하기 위해 음향을 센싱하는 음향 센서부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  6. 제 4 항에 있어서,
    상기 사용자 동작 정보를 추출하기 위해 상기 촬영된 실제 영상으로부터 사용자의 위치 및 방향을 검출하는 위치 검출부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  7. 제 2 항에 있어서,
    상기 선곡된 노래와 매핑되는 가상 객체 정보와, 상기 노래방 상황 정보에 따라 인터랙션할 가상 객체의 속성 정보를 미리 정의해 둔 저장부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  8. 제 2 항에 있어서,
    상기 마커는 해당 가상 객체를 식별할 수 있는 고유 식별 마커이거나, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)인 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  9. 마커 기반 증강 현실을 이용한 노래방 서비스 방법으로서,
    마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 단계;
    상기 실제 영상으로부터 상기 마커를 검출하는 마커 검출 단계;
    사용자가 선곡한 노래와 매핑되는 가상 객체를 검색하여 검색된 가상 객체를 상기 마커 검출 단계를 통해 검출한 마커와 매칭시키는 매칭 단계;
    상기 실제 영상에 상기 검색된 가상 객체를 합성하여 증강 현실 영상을 제공하는 증강 현실 영상 제공 단계;
    상기 사용자가 노래하는 상황에 따른 컨텍스트(context) 정보를 인식하고, 인식한 컨텍스트 정보에 따른 인터랙션 반응을 정의한 가상 객체의 속성을 검출하는 인터랙션 검출 단계; 및
    상기 인터랙션 검출 단계에서 검출한 가상 객체의 속성을 상기 증강 현실 영상을 통해 제공하는 가상 객체에 반영하는 인터랙션 반영 단계
    를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
  10. 제 9 항에 있어서,
    상기 매칭 단계는
    상기 노래와 매핑되는 가상 객체를 상기 노래의 가수 캐릭터 이미지, 가수의 동영상, 상기 노래의 장르 또는 내용을 대표할 수 있는 캐릭터 중 어느 하나로 매칭시키는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
  11. 제 9 항에 있어서,
    상기 인터랙션 검출 단계에서 상기 컨텍스트 정보는 상기 노래를 부르는 사용자의 음향 크기, 음 이탈, 박자 이탈을 포함한 음향 상황 정보, 사용자 동작 정보, 노래 최종 점수 정보를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
  12. 제 9 항에 있어서,
    상기 마커는 해당 가상 객체를 식별할 수 있는 고유 식별 마커이거나, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)인 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
  13. 제 9 항에 있어서,
    상기 인터랙션 반영 단계는 상기 검출한 가상 객체의 속성을 상기 가상 객체 반영하는 횟수를 설정하여 제한하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
  14. 제 9 항 내지 제 13 항 중 어느 한 항에 의한 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020110003245A 2011-01-12 2011-01-12 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 Expired - Fee Related KR101263686B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110003245A KR101263686B1 (ko) 2011-01-12 2011-01-12 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110003245A KR101263686B1 (ko) 2011-01-12 2011-01-12 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법

Publications (2)

Publication Number Publication Date
KR20120081874A KR20120081874A (ko) 2012-07-20
KR101263686B1 true KR101263686B1 (ko) 2013-05-22

Family

ID=46713872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110003245A Expired - Fee Related KR101263686B1 (ko) 2011-01-12 2011-01-12 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법

Country Status (1)

Country Link
KR (1) KR101263686B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220022630A (ko) * 2020-08-19 2022-02-28 동서대학교 산학협력단 실세계/가상세계 객체 대체-연동형 디지털액터 운용시스템
KR20220022631A (ko) * 2020-08-19 2022-02-28 동서대학교 산학협력단 Vr-ar-mr 기반 디지털액터 운용시스템

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101485904B1 (ko) * 2013-01-15 2015-01-28 주식회사 엔씨소프트 라이브 공연과 연동되는 게임 제공 시스템 및 방법
WO2015025305A1 (en) * 2013-08-23 2015-02-26 Pt Wirya Inovasi Method and device for providing karaoke applications with augmented reality
WO2016006946A1 (ko) * 2014-07-09 2016-01-14 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법
KR101518696B1 (ko) * 2014-07-09 2015-05-08 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
KR101478954B1 (ko) * 2014-08-21 2015-02-04 (주) 제이제이엠엔터테인먼트 동요집을 기반으로 하는 증강현실 구현장치 및 구현방법
KR102016350B1 (ko) * 2017-12-04 2019-08-30 (주)펀앤핏스튜디오 스크린 노래방 서비스 제공 장치 및 방법
KR102296434B1 (ko) * 2017-12-27 2021-09-02 주식회사 포더비전 가상현실 기술을 이용하여 맞춤형 뮤직 스테이션을 제공하기 위한 방법 및 이를 사용한 서버
KR102011868B1 (ko) * 2019-04-22 2019-08-26 주식회사 더미리 노래 대결의 서비스를 제공하기 위한 서버장치
CN110781337A (zh) * 2019-09-25 2020-02-11 厦门巨嗨科技有限公司 演唱竞技方法、介质、设备及装置
CN115988154A (zh) * 2022-12-29 2023-04-18 维沃移动通信有限公司 录像方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031056A (ja) * 2005-10-11 2006-02-02 Yamaha Corp 自動演奏装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031056A (ja) * 2005-10-11 2006-02-02 Yamaha Corp 自動演奏装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220022630A (ko) * 2020-08-19 2022-02-28 동서대학교 산학협력단 실세계/가상세계 객체 대체-연동형 디지털액터 운용시스템
KR20220022631A (ko) * 2020-08-19 2022-02-28 동서대학교 산학협력단 Vr-ar-mr 기반 디지털액터 운용시스템
KR102394981B1 (ko) 2020-08-19 2022-05-04 동서대학교 산학협력단 Vr-ar-mr 기반 디지털액터 운용시스템
KR102394973B1 (ko) * 2020-08-19 2022-05-04 동서대학교 산학협력단 실세계/가상세계 객체 대체-연동형 디지털액터 운용시스템

Also Published As

Publication number Publication date
KR20120081874A (ko) 2012-07-20

Similar Documents

Publication Publication Date Title
KR101263686B1 (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
KR102210541B1 (ko) 실제 장면의 재현에 가상 이미지 및 오디오 데이터를 오버레이하는 방법 및 장치, 그리고 모바일 디바이스
US9529566B2 (en) Interactive content creation
JP6013363B2 (ja) ビューの画像の少なくとも１つの特徴に注釈付けするためのコンピュータ化された方法及びデバイス
US10970932B2 (en) Provision of virtual reality content
KR20140116740A (ko) 안무 영상을 표시하는 디스플레이 장치 및 표시 방법
JP7127659B2 (ja) 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム
US9700788B2 (en) Video object detecting apparatus, video object deforming apparatus, and methods thereof
KR101227237B1 (ko) 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법
CN106464773B (zh) 增强现实的装置及方法
JP6431259B2 (ja) カラオケ装置、ダンス採点方法、およびプログラム
KR20190109410A (ko) 정보 처리 장치, 정보 처리 방법 및 그 프로그램
KR101267247B1 (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
CN111652986B (zh) 舞台效果呈现方法、装置、电子设备及存储介质
KR101295862B1 (ko) 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
KR101773891B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
JP6313003B2 (ja) カラオケ装置、画像出力方法、およびプログラム
JP7160707B2 (ja) 仮想キャラクタを含む画像を提供するための方法
CN111651054A (zh) 音效控制方法、装置、电子设备及存储介质
KR20170075321A (ko) 증강현실 노래방 시스템
JP2016131342A (ja) 鉄道模型観賞用装置、方法、プログラム、専用表示モニタ、合成用情景画像データ
KR20100124571A (ko) 증강 현실을 이용한 정보 안내 장치 및 그 방법
KR102635477B1 (ko) 증강현실 기반의 공연 콘텐츠 제공장치 및 방법
KR101478954B1 (ko) 동요집을 기반으로 하는 증강현실 구현장치 및 구현방법
JP7697581B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110112

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20111103

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120104

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110112

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20121113

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130501

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130507

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130508

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160503

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160503

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170508

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170508

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180427

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20200218