KR101868855B1 - 증강현실을 이용한 음악컨텐츠 서비스 제공방법 - Google Patents

증강현실을 이용한 음악컨텐츠 서비스 제공방법 Download PDF

Info

Publication number
KR101868855B1
KR101868855B1 KR1020160113474A KR20160113474A KR101868855B1 KR 101868855 B1 KR101868855 B1 KR 101868855B1 KR 1020160113474 A KR1020160113474 A KR 1020160113474A KR 20160113474 A KR20160113474 A KR 20160113474A KR 101868855 B1 KR101868855 B1 KR 101868855B1
Authority
KR
South Korea
Prior art keywords
image
virtual image
unit
superimposed
sound source
Prior art date
Application number
KR1020160113474A
Other languages
English (en)
Other versions
KR20180026291A (ko
Inventor
변규민
Original Assignee
주식회사 씨앤더블유커뮤니케이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨앤더블유커뮤니케이션 filed Critical 주식회사 씨앤더블유커뮤니케이션
Priority to KR1020160113474A priority Critical patent/KR101868855B1/ko
Publication of KR20180026291A publication Critical patent/KR20180026291A/ko
Application granted granted Critical
Publication of KR101868855B1 publication Critical patent/KR101868855B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 음악컨텐츠기기(200)와 사용자의 디바이스(100)로 이루어지되, 상기 음악컨텐츠기기(200)의 제어부(240)는 버튼패널(230)의 선택에 따라 음악이 선택되면 음원전송부(210)를 통해 제공되는 실시간 음원과 가사를 디스플레이(260)에 표시함으로써, 사용자가 디스플레이(260)에 표시되는 음원과 가사를 보면서 마이크(220)를 통해 노래하면 스피커(250)에서 소리가 출력되어 노래연습이 가능해지고, 상기 음악컨텐츠기기(200)와 디바이스(100)에는 각각 무선통신모듈(120, 270)이 설치되어 서로 통신하여 음악의 정보를 전달하되, 상기 디바이스(100)는 음악컨텐츠기기(200)의 제어부(240)에서 선택된 음악의 정보에 따라 가상의 영상을 선택한 후, 내장된 위치센서(130)로 감지한 위치와 내장된 자세센서(140)로 감지한 회전된 방향에 따라 가상의 영상에 적용하여 카메라(110)를 통해 촬영된 현실의 영상에 중첩시킨 후, 영상출력부(180)를 통해 중첩된 영상을 보여주어 실시간 증강현실로 제공하는 것이며,
음악컨텐츠기기(200)의 제어부(240)에서 버튼패널(230)의 선택에 따라 음원전송부(210)로부터 음원을 제공받는 스트리밍 서비스단계; 마이크(220)와 음원전송부(210)로부터 전달되는 정보를 스피커(250)와 디스플레이(260)로 출력하는 음원출력단계; 로 이루어지되, 상기 음악컨텐츠기기(200)는 음원출력단계 이후 음원 스트리밍 서비스와 음원 출력단계를 반복하여 스피커(250)와 디스플레이(260)에서 연속적으로 출력하고, 동시에 상기 음악컨텐츠기기(200)에서 선택된 음악의 정보에 따라 디바이스(100)의 가상영상 선택부(150)에서 가상의 영상을 선택하는 가상영상 선택단계; 상기 선택된 가상의 영상에 가상영상적용부(160)가 위치 및 회전을 적용하는 가상영상 적용단계; 상기 위치 및 회전이 적용된 가상의 영상에 중첩영상생성부(170)가 카메라(110)에서 촬영된 현실의 영상에 중첩시켜 중첩영상을 생성하는 중첩영상생성단계; 상기 생성된 중첩영상을 영상출력부(180)를 통해 출력하여 실시간 증강현실로 제공하는 영상출력단계; 로 이루어지되, 상기 영상출력단계 이후 가상영상 선택단계, 가상영상 적용단계, 중첩영상생성단계, 영상출력단계를 순서대로 반복하여 영상출력부(180)에서 연속된 중첩영상을 출력하는 것으로,
본 발명 증강현실을 이용한 음악컨텐츠 서비스 제공방법은 음악컨텐츠를 제공하는 공간에서 음원과 가사를 실시간으로 스트리밍 서비스받으면서, 디바이스의 카메라로 촬영한 현실의 영상에 가상의 영상을 합성한 영상을 실시간 증강현실로 제공하며, 디바이스의 위치센서와 자세센서를 통해 디바이스의 위치 및 회전방향을 파악하여 현실의 영상에서 파악되는 정해진 위치에 가상의 영상을 적용하여 정확도가 높고, 디바이스의 위치를 변경하여도 디바이스로 촬영하는 위치에 따라 정해진 가상의 영상의 위치를 촬영하면 해당 가상의 영상이 현실의 영상에 중첩된 영상을 획득할 수 있어 노래연습을 하는 사람과 참여자의 몰입도를 증가시킬 수 있는 현저한 효과가 있다.

Description

증강현실을 이용한 음악컨텐츠 서비스 제공방법 { music content service providing method using augmented reality }
본 발명은 증강현실을 이용한 음악컨텐츠 서비스 제공방법에 관한 것으로, 보다 상세하게는 음악컨텐츠를 제공하는 공간에서 음원과 가사를 실시간으로 스트리밍 서비스받으면서, 디바이스의 카메라로 촬영한 현실의 영상에 가상의 영상을 합성한 영상을 실시간 증강현실로 제공하며, 디바이스의 위치센서와 자세센서를 통해 디바이스의 위치 및 회전방향을 파악하여 현실의 영상에서 파악되는 정해진 위치에 가상의 영상을 적용하여 정확도가 높고, 디바이스의 위치를 변경하여도 디바이스로 촬영하는 위치에 따라 정해진 가상의 영상의 위치를 촬영하면 해당 가상의 영상이 현실의 영상에 중첩된 영상을 확인할 수 있는 증강현실을 이용한 음악컨텐츠 서비스 제공방법에 관한 것이다.
일반적으로 가상 현실(VR, Virtual Reality)은 컴퓨터 시스템에서 현실의 공간에서 느낄 수 있는 인체의 시각, 청각, 후각, 미각, 촉각을 가지게 함으로써 사용자가 현실과 같은 몰입감을 느낄 수 있도록 형성되되 현실로 착각할 수 있는 가상인 것이다.
또한, 상기 가상 현실에서 파생된 증강 현실(AR, Augmented Reality)은 실제 환경에 가상 사물을 합성하여 보여줌으로써 시각적으로 실제 환경에 가상의 사물이 존재하는 것처럼 착각할 수 있게 가상에 나타내는 것이다.
종래기술로서 등록특허공보 등록번호 제10-1263686호의 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법에 있어서, 마커 기반 증강 현실을 이용한 노래방 시스템에 있어서, 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치; 상기 영상 획득 장치에서 얻은 실제 영상으로부터 마커를 검출하고, 검출한 마커에 사용자가 선곡한 노래와 매핑되는 가상 객체를 마커의 위치 및 방향에 고려하여 삽입함으로써 상기 실제 영상에 합성하며, 상기 사용자의 노래 형태를 인식하여 노래 형태에 따른 인터랙션 반응을 상기 가상 객체에 반영하는 노래방 장치; 및 상기 노래방 장치에서 실제 영상과 가상 객체가 합성된 증강 현실 영상을 표시하는 표시 장치를 포함하며, 상기 마커는 가상 객체를 식별할 수 있는 고유 식별 마커로서 적어도 하나 이상 포함하는 증강 현실을 이용한 노래방 시스템이라고 기재되어 있다.
다른 종래기술로서 등록특허공보 등록번호 제10-1343055호의 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기에 있어서, 구동 중인 어플리케이션의 실행 화면을 표시하는 표시부; 증강 현실 제공 서버와 연동하는 단말기 통신부; 정지영상 또는 동영상에 해당하는 영상 정보를 획득하는 카메라 모듈; 상기 획득된 영상 정보로부터 영상 특징점을 추출하고, 추출된 영상 특징점을 상기 증강 현실 제공 서버로 전송하며, 상기 증강 현실 제공 서버로부터 상기 영상 특징점에 대응하는 지역 정보 데이터를 수신하며, 상기 영상정보와 상기 지역 정보 데이터를 합성하여 상기 표시부를 통해 출력하는 단말기 제어부를 포함하는 것을 특징으로 하는 휴대용 단말기라고 기재되어 있다.
그러나 상기와 같은 종래의 구성은 영상 획득 장치에서 획득한 영상을 음악컨텐츠기기에서 전달받아 인터렉션을 하는 것으로, 음악컨텐츠기기가 할 수 있는 인터렉션에는 한계가 있으며, 증강현실을 현실의 영상을 통해 부분영상인 마커를 통해 구현함으로써 어두우며 빛의 세기가 지속적으로 달라지는 노래방에서는 마커를 인식하지 못하며, 마커가 촬영되도록 해야 함으로 촬영하는 위치가 고정되는 문제점이 있었다.
따라서 본 발명 증강현실을 이용한 음악컨텐츠 서비스 제공방법을 통하여, 음악컨텐츠를 제공하는 공간에서 음원과 가사를 실시간으로 스트리밍 서비스받으면서, 디바이스의 카메라로 촬영한 현실의 영상에 가상의 영상을 합성한 영상을 실시간 증강현실로 제공하며, 디바이스의 위치센서와 자세센서를 통해 디바이스의 위치 및 회전방향을 파악하여 현실의 영상에서 파악되는 정해진 위치에 가상의 영상을 적용하여 정확도가 높고, 디바이스의 위치를 변경하여도 디바이스로 촬영하는 위치에 따라 정해진 가상의 영상의 위치를 촬영하면 해당 가상의 영상이 현실의 영상에 중첩된 영상을 확인할 수 있는 증강현실을 이용한 음악컨텐츠 서비스 제공방법을 제공하고자 하는 것이다.
본 발명 증강현실을 이용한 음악컨텐츠 서비스 시스템은 음악컨텐츠기기(200)와 사용자의 디바이스(100)로 이루어지되,
상기 음악컨텐츠기기(200)의 제어부(240)는 버튼패널(230)의 선택에 따라 음악이 선택되면 음원전송부(210)를 통해 제공되는 실시간 음원과 가사를 디스플레이(260)에 표시함으로써, 사용자가 디스플레이(260)에 표시되는 음원과 가사를 보면서 마이크(220)를 통해 노래하면 스피커(250)에서 소리가 출력되어 노래연습이 가능해지고,
상기 음악컨텐츠기기(200)와 디바이스(100)에는 각각 무선통신모듈(120, 210)이 설치되어 서로 통신하여 음악의 정보를 전달하되, 상기 디바이스(100)는 음악컨텐츠기기(200)의 제어부(240)에서 선택된 음악의 정보에 따라 가상의 영상을 선택한 후, 내장된 위치센서(130)로 감지한 위치와 내장된 자세센서(140)로 감지한 회전된 방향에 따라 가상의 영상에 적용하여 카메라(110)를 통해 촬영된 현실의 영상에 중첩시킨 후, 영상출력부(180)를 통해 중첩된 영상을 보여주어 실시간 증강현실로 제공하는 것을 특징으로 한다.
본 발명의 증강현실을 이용한 음악컨텐츠 서비스 제공방법은 음악컨텐츠기기(200)의 제어부(240)에서 버튼패널(230)의 선택에 따라 음원전송부(210)로부터 음원을 제공받는 스트리밍 서비스단계; 마이크(220)와 음원전송부(210)로부터 전달되는 정보를 스피커(250)와 디스플레이(260)로 출력하는 음원출력단계; 로 이루어지되, 상기 음악컨텐츠기기(200)는 음원출력단계 이후 음원 스트리밍 서비스와 음원 출력단계를 반복하여 스피커(250)와 디스플레이(260)에서 연속적으로 출력하고,
동시에 상기 음악컨텐츠기기(200)에서 선택된 음악의 정보에 따라 디바이스(100)의 가상영상 선택부(150)에서 가상의 영상을 선택하는 가상영상 선택단계; 상기 선택된 가상의 영상에 가상영상적용부(160)가 위치 및 회전을 적용하는 가상영상 적용단계; 상기 위치 및 회전이 적용된 가상의 영상에 중첩영상생성부(170)가 카메라(110)에서 촬영된 현실의 영상에 중첩시켜 중첩영상을 생성하는 중첩영상생성단계; 상기 생성된 중첩영상을 영상출력부(180)를 통해 출력하여 실시간 증강현실로 제공하는 영상출력단계; 로 이루어지되, 상기 영상출력단계 이후 가상영상 선택단계, 가상영상 적용단계, 중첩영상생성단계, 영상출력단계를 순서대로 반복하여 영상출력부(180)에서 연속된 중첩영상을 출력하는 것을 특징으로 한다.
본 발명 증강현실을 이용한 음악컨텐츠 서비스 제공방법은 음악컨텐츠를 제공하는 공간에서 음원과 가사를 실시간으로 스트리밍 서비스받으면서, 디바이스의 카메라로 촬영한 현실의 영상에 가상의 영상을 합성한 영상을 실시간 증강현실로 제공하며, 디바이스의 위치센서와 자세센서를 통해 디바이스의 위치 및 회전방향을 파악하여 현실의 영상에서 파악되는 정해진 위치에 가상의 영상을 적용하여 정확도가 높고, 디바이스의 위치를 변경하여도 디바이스로 촬영하는 위치에 따라 정해진 가상의 영상의 위치를 촬영하면 해당 가상의 영상이 현실의 영상에 중첩된 영상을 획득할 수 있어 노래연습을 하는 사람과 참여자의 몰입도를 증가시킬 수 있는 현저한 효과가 있다.
도 1은 본 발명 증강현실을 이용한 음악컨텐츠 서비스 제공방법의 개념도
본 발명 증강현실을 이용한 음악컨텐츠 서비스 시스템은 음악컨텐츠기기(200)와 사용자의 디바이스(100)로 이루어지되,
상기 음악컨텐츠기기(200)의 제어부(240)는 버튼패널(230)의 선택에 따라 음악이 선택되면 음원전송부(210)를 통해 제공되는 실시간 음원과 가사를 디스플레이(260)에 표시함으로써, 사용자가 디스플레이(260)에 표시되는 음원과 가사를 보면서 마이크(220)를 통해 노래하면 스피커(250)에서 소리가 출력되어 노래연습이 가능해지고,
상기 음악컨텐츠기기(200)와 디바이스(100)에는 각각 무선통신모듈(120, 210)이 설치되어 서로 통신하여 음악의 정보를 전달하되, 상기 디바이스(100)는 음악컨텐츠기기(200)의 제어부(240)에서 선택된 음악의 정보에 따라 가상의 영상을 선택한 후, 내장된 위치센서(130)로 감지한 위치와 내장된 자세센서(140)로 감지한 회전된 방향에 따라 가상의 영상에 적용하여 카메라(110)를 통해 촬영된 현실의 영상에 중첩시킨 후, 영상출력부(180)를 통해 중첩된 영상을 보여주어 실시간 증강현실로 제공하는 것을 특징으로 한다.
또한, 상기 디바이스(100)는 음악컨텐츠기기(200)의 무선통신모듈과 무선통신하여 음악의 정보를 수신하는 무선통신모듈(120)과; 현실의 영상을 촬영하는 카메라(110)와; 위치를 파악하는 위치센서(130)와; 회전된 방향을 파악하는 자세센서(140)와; 상기 카메라(110)에서 촬영된 현실의 영상에 합성될 가상의 영상을 선택하되, 상기 무선통신모듈(210)을 통해 수신한 음악컨텐츠기기(200)의 음악 정보에 따라 합성될 가상의 영상을 선택하는 가상영상선택부(150)와; 상기 카메라(110)에서 촬영된 현실의 영상에 상기 위치센서(130)와 자세센서(140)를 통해 확인된 위치 및 회전을 통해 가상영상선택부(150)에서 선택한 가상의 영상의 위치 및 회전을 결정하여 적용하는 가상영상적용부(160)와; 상기 카메라(110)에서 촬영된 현실의 영상에 가상영상적용부(160)에서 위치 및 회전이 적용된 가상의 영상을 중첩시켜 중첩영상을 생성하는 중첩영상생성부(170)와; 상기 중첩영상생성부(170)에서 생성된 중첩영상을 출력하는 영상출력부(180); 로 이루어지는 것을 특징으로 한다.
또한, 상기 디바이스(100)는 중첩영상을 영상출력부(180)을 통해 제공할 수 있도록 어플리케이션이 설치된 것을 특징으로 한다.
본 발명의 증강현실을 이용한 음악컨텐츠 서비스 제공방법은 음악컨텐츠기기(200)의 제어부(240)에서 버튼패널(230)의 선택에 따라 음원전송부(210)로부터 음원을 제공받는 스트리밍 서비스단계; 마이크(220)와 음원전송부(210)로부터 전달되는 정보를 스피커(250)와 디스플레이(260)로 출력하는 음원출력단계; 로 이루어지되, 상기 음악컨텐츠기기(200)는 음원출력단계 이후 음원 스트리밍 서비스와 음원 출력단계를 반복하여 스피커(250)와 디스플레이(260)에서 연속적으로 출력하고,
동시에 상기 음악컨텐츠기기(200)에서 선택된 음악의 정보에 따라 디바이스(100)의 가상영상 선택부(150)에서 가상의 영상을 선택하는 가상영상 선택단계; 상기 선택된 가상의 영상에 가상영상적용부(160)가 위치 및 회전을 적용하는 가상영상 적용단계; 상기 위치 및 회전이 적용된 가상의 영상에 중첩영상생성부(170)가 카메라(110)에서 촬영된 현실의 영상에 중첩시켜 중첩영상을 생성하는 중첩영상생성단계; 상기 생성된 중첩영상을 영상출력부(180)를 통해 출력하여 실시간 증강현실로 제공하는 영상출력단계; 로 이루어지되, 상기 영상출력단계 이후 가상영상 선택단계, 가상영상 적용단계, 중첩영상생성단계, 영상출력단계를 순서대로 반복하여 영상출력부(180)에서 연속된 중첩영상을 출력하는 것을 특징으로 한다.
본 발명을 첨부 도면에 의해 상세히 설명하면 다음과 같다.
도 1은 본 발명 증강현실을 이용한 음악컨텐츠 서비스 제공방법의 개념도이다.
본 발명에 대해 구체적으로 기술하면, 본 발명 증강현실을 이용한 음악컨텐츠 서비스 시스템은 음악컨텐츠기기(200)와 사용자의 디바이스(100)로 이루어진다.
상기 음악컨텐츠기기(200)의 제어부(240)는 버튼패널(230)의 선택에 따라 음악이 선택되면 음원전송부(210)를 통해 제공되는 실시간 음원과 가사를 디스플레이(260)에 표시함으로써, 사용자가 디스플레이(260)에 표시되는 음원과 가사를 보면서 마이크(220)를 통해 노래하면 스피커(250)에서 소리가 출력되어 노래연습이 가능한 것이다.
상기 음악컨텐츠기기(200)와 디바이스(100)에는 각각 무선통신모듈(120, 210)이 설치되어 서로 통신하여 음악의 정보를 전달하는 것이다.
상기 디바이스(100)는 음악컨텐츠기기(200)의 제어부(240)에서 선택된 음악의 정보에 따라 가상의 영상을 선택한 후, 내장된 위치센서(130)로 감지한 위치와 내장된 자세센서(140)로 감지한 회전된 방향에 따라 가상의 영상에 적용하여 카메라(110)를 통해 촬영된 현실의 영상에 중첩시킨 후, 영상출력부(180)를 통해 중첩된 영상을 보여주어 실시간 증강현실로 제공하는 것이다.
상기 무선통신모듈(120, 270)은 블루투스, 와이파이, NFC, RFID, 비콘 등의 무선으로 통신이 가능한 통상의 모듈을 사용하는 것이다.
상기 디바이스(100)는 음악컨텐츠기기(200)의 무선통신모듈과 무선통신하여 음악의 정보를 수신하는 무선통신모듈(120)과; 현실의 영상을 촬영하는 카메라(110)와; 위치를 파악하는 위치센서(130)와; 회전된 방향을 파악하는 자세센서(140)와; 상기 카메라(110)에서 촬영된 현실의 영상에 합성될 가상의 영상을 선택하되, 상기 무선통신모듈(210)을 통해 수신한 음악컨텐츠기기(200)의 음악 정보에 따라 합성될 가상의 영상을 선택하는 가상영상선택부(150)와; 상기 카메라(110)에서 촬영된 현실의 영상에 상기 위치센서(130)와 자세센서(140)를 통해 확인된 위치 및 회전을 통해 가상영상선택부(150)에서 선택한 가상의 영상의 위치 및 회전을 결정하여 적용하는 가상영상적용부(160)와; 상기 카메라(110)에서 촬영된 현실의 영상에 가상영상적용부(160)에서 위치 및 회전이 적용된 가상의 영상을 중첩시켜 중첩영상을 생성하는 중첩영상생성부(170)와; 상기 중첩영상생성부(170)에서 생성된 중첩영상을 출력하는 영상출력부(180); 로 이루어지는 것이다.
상기 증강현실을 제공하는 디바이스(100)는 스마트기기, VR 기기, 벽면에 설치된 대형모니터 등을 다양한 기기를 사용할 수 있으며, 중첩영상을 영상출력부(180)을 통해 제공할 수 있도록 어플리케이션이 설치된 것이다.
상기 위치센서(130)는 위치를 확인할 수 있는 센서인 것으로, 특히 GPS센서를 사용하여 위도 및 경도를 파악할 수 있는 것이다.
상기 자세센서(140)는 3축에 대한 변동을 검출하는 센서인 것으로, 특히 지자기센서를 사용하여 3축에 대한 변동을 검출 할 수 있는 것이다.
상기 가상영상선택부(150)는 현실의 영상에 합성될 가상의 영상을 조건에 따라 선택하는 것으로, 상기 가상영상선택부(150)가 선택하는 가상의 영상은 음악컨텐츠기기(200)의 제어부(240)에서 전달받은 음악에 대한 정보를 통해 결정된다.
이때, 상기 가상의 영상은 3차원으로 나타나되, 사람의 영상, 캐릭터 영상, 자막 영상 등 현실의 영상 전체를 가리지 않도록 부분영상으로 형성된다.
그리고 상기 가상의 영상은 음악의 명칭과, 음악의 명칭에 따른 진행시간에 따라 변하게 되는 것이다.
상기 가상영상적용부(160)는 위치기반서비스가 제공되는 위치센서(130)로 확인된 현재위치와, 자세센서(140)를 통해 확인된 회전방향을 통해, 가상의 영상의 위치 및 회전을 결정한다.
상기 음악컨텐츠기기(200)는 음악콘텐츠 제공 공간에 설치되어 있는 것으로, 상기 음악컨텐츠기기(200)는 버튼패널(230), 마이크(220) 등의 입력부와; 디스플레이(260), 스피커(250) 등의 출력부와; 디바이스와 통신할 수 있는 무선통신부(210)와; 음원전송부(210)와; 제어부(240);로 이루어지는 것이다.
상기 음원전송부(210)는 음원이 저장되어 있어, 제어부(240)가 요청할 경우 음원을 제공하는 것이다.
본 발명의 증강현실을 이용한 음악컨텐츠 서비스 제공방법은 음악컨텐츠기기(200)의 제어부(240)에서 버튼패널(230)의 선택에 따라 음원전송부(210)로부터 음원을 제공받는 스트리밍 서비스단계; 마이크(220)와 음원전송부(210)로부터 전달되는 정보를 스피커(250)와 디스플레이(260)로 출력하는 음원출력단계; 로 이루어지되, 상기 음악컨텐츠기기(200)는 음원출력단계 이후 음원 스트리밍 서비스와 음원 출력단계를 반복하여 스피커(250)와 디스플레이(260)에서 연속적으로 출력한다.
동시에 상기 음악컨텐츠기기(200)에서 선택된 음악의 정보에 따라 디바이스(100)의 가상영상 선택부(150)에서 가상의 영상을 선택하는 가상영상 선택단계; 상기 선택된 가상의 영상에 가상영상적용부(160)가 위치 및 회전을 적용하는 가상영상 적용단계; 상기 위치 및 회전이 적용된 가상의 영상에 중첩영상생성부(170)가 카메라(110)에서 촬영된 현실의 영상에 중첩시켜 중첩영상을 생성하는 중첩영상생성단계; 상기 생성된 중첩영상을 영상출력부(180)를 통해 출력하여 실시간 증강현실로 제공하는 영상출력단계; 로 이루어지되, 상기 영상출력단계 이후 가상영상 선택단계, 가상영상 적용단계, 중첩영상생성단계, 영상출력단계를 순서대로 반복하여 영상출력부(180)에서 연속된 중첩영상을 출력하는 것이다.
상기 스트리밍 서비스단계는 음악컨텐츠기기(200)의 제어부(240)에서 버튼패널(230)의 선택에 따른 음악에 대한 해당하는 음원을 음원전송부(210)로부터 제공받는다.
상기 음원출력단계는 제어부(240)에서 마이크(220)와 음원전송부(210)로부터 전달되는 정보를 스피커(250)와 디스플레이(260)로 출력한다.
상기 영상 선택단계는 음악컨텐츠기기(200)의 제어부(240)에서 선택된 음악의 정보를 무선통신모듈(120)을 통해 획득하고, 획득된 정보에 따라 가상영상선택부(150)에서 가상의 영상을 선택하는 것이다.
상기 가상의 영상은 획득된 정보에 따라 달라지는 것이다.
특히, 상기 가상영상선택부(150)는 음악콘텐츠 제공 공간에 설치된 음악컨텐츠기기(200)의 제어부(240)에서 무선통신으로 정보를 전달받아 진행되는 음악의 플레이시간, 음악에 해당하는 뮤직비디오 영상, 실시간 가사 및 가사에 따른 시각효과 등의 가상의 영상을 선택하는 것이다.
실시예로서, 상기 가상의 영상인 음악에 해당하는 뮤직비디오 영상은 디바이스(100)의 영상출력부(130)에 출력될 시 뮤직비디오의 가수의 움직임을 3차원 영상으로 모든 방면에서 촬영되되 배경이 제거된 영상을 사용하는 것으로, 중첩영상생성부(170)에서 현실의 영상과 합성된 후 영상출력부(130)에서 출력되어 사용자가 합성된 영상을 볼 때, 현실에서 가상의 가수가 노래에 따라 춤을 추는 것처럼 착각을 일으키도록 하는 것이다.
상기 가상영상 적용단계는 당해 기술분야에서 널리 알려진 관용기술을 적용하면 되는 것으로, 영상 선택단계에서 선택된 가상의 영상에 가상영상적용부(160)를 통해 위치 및 회전을 적용하는 것이다.
상기 관용기술에 대해 일례로서 설명하면, 상기 가상의 영상에 위치 및 회전을 적용하기 위해서는 초기위치 및 초기회전이 있어야 한다.
상기 가상의 영상은 초기위치 및 초기회전에 대해 설정을 미리 결정할 수 있는 것으로, 상기 초기위치 및 초기회전은 디바이스(100)에 설치된 어플리케이션이 실행될 시 결정되거나, 또는 어플리케이션을 통해 화면에 출력되는 초기위치 결정버튼을 통해 결정할 수 있는 것이다.
상기 가상영상적용부(160)는 위치센서로부터 현재위치(예를들어 디바이스의 x,y,z 공간좌표)를 확인하며, 자세센서(140)를 통해 디바이스(100)의 회전방향(공간좌표 회전각)을 확인하고, 현재위치와 디바이스(100)의 회전방향을 통해 카메라(110)가 촬영하는 해당각도 내의 모든 방향에 가상의 영상의 위치데이터가 포함되면, 해당하는 가상의 영상을 선택하는 것이다.
상기 가상영상적용부(160)는 디바이스(100)의 최초위치와 동일한 위치 또는 설정에 의한 방향 및 거리에 따라 디바이스(100)의 최초위치에서 떨어진 위치에 가상의 영상이 적용되도록 초기위치 결정한다.
그리고 상기 초기위치에 적용되는 가상의 영상의 최초회전과 현재회전을 확인하여 가상의 영상이 바로 나올 수 있도록 회전시킨다.
그리고 상기 초기위치와 현재위치의 거리를 영상의 초기크기에 적용하여 가상의 영상의 크기를 결정함으로써 원근감을 줄 수 있는 것이며, 이는 널리 알려진 관용기술로서 자세한 설명은 생략한다.
그리고 보다 구체적인 실시예로서, 상기 디바이스(100)를 가상의 영상을 적용할 위치에 올려둔 후, 디바이스(100)의 화면에 출력되는 결정버튼을 누르면, 가상의 영상이 적용될 초기위치 및 초기회전이 결정되는 것이다.
이후, 상기 디바이스(100)의 위치 및 방향을 변경하여도 가상의 영상의 초기위치 및 초기회전은 변하지 않으며, 일정거리 떨어져서 카메라(110)를 통해 초기위치 방향을 촬영하게 되면, 해당 가상의 영상을 영상출력부(180)를 통해 볼 수 있도록 미리 결정된 가상의 영상의 초기위치와 디바이스(100)의 현재위치를 비교하여 출력될 위치를 결정하며, 가상의 영상의 초기회전과 디바이스(100)의 현재회전을 비교하여 출력될 회전을 결정하며, 가상의 영상의 초기위치 및 디바이스(100)의 현재위치의 사이거리와 가상의 영상의 초기크기를 통해 크기를 결정하여 원근감을 주는 것이다.
그러므로 상기 가상영상 적용단계는 가상의 영상이 현실의 화면에 나타날 위치 및 회전을 결정하는 것이다.
한편, 상기 디바이스(100)의 설정에 따라 상기 가상의 캐릭터가 모두 보이지 않도록 거리에 제약을 할 수 있는 것으로, 일정 거리 이상의 캐릭터는 포함되지 않도록 하여 속도를 빠르게 할 수 있다. 이러한 가상영상 적용단계는 당해 기술분야에서 널리 알려진 관용기술을 적용하면 되는 것이다.
상기 중첩영상생성단계는 가상영상적용단계에서 위치 및 회전이 적용된 가상의 영상에 중첩영상생성부(170)가 카메라(110)에서 촬영된 현실의 영상에 중첩시켜 중첩영상을 생성하는 것이다.
상기 가상의 영상은 3차원으로 나타나되, 현실의 영상 전체를 가리지 않도록 부분영상으로 형성되는 것으로, 현실의 영상에 가상의 영상인 부분영상이 겹쳐지게 된다.
특히, 상기 현실의 영상이 가상의 영상의 뒤로 가게 함으로써, 가상의 영상이 현실의 영상에 가려서 보이지 않는 것을 막는다.
상기 영상출력단계는 생성된 중첩영상을 영상출력부(180)를 통해 출력하여 실시간 증강현실로 제공하는 것이다.
그러므로 상기 영상출력부(180)를 보는 사용자에게 마치 현실에 가상의 영상이 있는 듯한 착각을 일으켜 현실감을 주는 것이다.
따라서 본 발명 증강현실을 이용한 음악컨텐츠 서비스 제공방법은 음악컨텐츠를 제공하는 공간에서 음원과 가사를 실시간으로 스트리밍 서비스받으면서, 디바이스의 카메라로 촬영한 현실의 영상에 가상의 영상을 합성한 영상을 실시간 증강현실로 제공하며, 디바이스의 위치센서와 자세센서를 통해 디바이스의 위치 및 회전방향을 파악하여 현실의 영상에서 파악되는 정해진 위치에 가상의 영상을 적용하여 정확도가 높고, 디바이스의 위치를 변경하여도 디바이스로 촬영하는 위치에 따라 정해진 가상의 영상의 위치를 촬영하면 해당 가상의 영상이 현실의 영상에 중첩된 영상을 획득할 수 있어 노래연습을 하는 사람과 참여자의 몰입도를 증가시킬 수 있는 현저한 효과가 있다.
100 : 디바이스
110 : 카메라 120 : 무선통신모듈
130 : 위치센서 140 : 자세센서
150 : 가상영상선택부 160 : 가상영상적용부
170 : 중첩영상생성부 180 : 영상출력부
200 : 음악컨텐츠기기
210 : 음원전송부 220 : 마이크
230 : 버튼패널 240 : 제어부
250 : 스피커 260 : 디스플레이
270 : 무선통신모듈

Claims (4)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 음악컨텐츠기기(200)와 사용자의 디바이스(100)로 이루어지되, 상기 음악컨텐츠기기(200)의 제어부(240)는 버튼패널(230)의 선택에 따라 음악이 선택되면 음원전송부(210)를 통해 제공되는 실시간 음원과 가사를 디스플레이(260)에 표시하고, 디스플레이(260)에 표시되는 음원과 가사에 맞도록 마이크(220)에 사용자의 음성이 입력되면 스피커(250)를 통해 소리가 출력되어 노래연습이 되고,
    상기 음악컨텐츠기기(200)와 디바이스(100)에는 각각 무선통신모듈(120, 270)이 설치되어 서로 통신하여 음악의 정보를 전달하되, 상기 디바이스(100)는 음악컨텐츠기기(200)의 제어부(240)에서 선택된 음악의 정보에 따라 가상의 영상을 선택한 후, 내장된 위치센서(130)로 감지한 위치와 내장된 자세센서(140)로 감지한 회전된 방향에 따라 가상의 영상에 적용하여 카메라(110)를 통해 촬영된 현실의 영상에 중첩시킨 후, 영상출력부(180)를 통해 중첩된 영상을 보여주어 실시간 증강현실로 제공하고,
    상기 디바이스(100)는 음악컨텐츠기기(200)의 무선통신모듈과 무선통신하여 음악의 정보를 수신하는 무선통신모듈(120)과; 현실의 영상을 촬영하는 카메라(110)와; 위치를 파악하는 위치센서(130)와; 회전된 방향을 파악하는 자세센서(140)와; 상기 카메라(110)에서 촬영된 현실의 영상에 합성될 가상의 영상을 선택하되, 상기 무선통신모듈(270)을 통해 수신한 음악컨텐츠기기(200)의 음악 정보에 따라 합성될 가상의 영상을 선택하는 가상영상선택부(150)와; 상기 카메라(110)에서 촬영된 현실의 영상에 상기 위치센서(130)와 자세센서(140)를 통해 확인된 위치 및 회전을 통해 가상영상선택부(150)에서 선택한 가상의 영상의 위치 및 회전을 결정하여 적용하는 가상영상적용부(160)와; 상기 카메라(110)에서 촬영된 현실의 영상에 가상영상적용부(160)에서 위치 및 회전이 적용된 가상의 영상을 중첩시켜 중첩영상을 생성하는 중첩영상생성부(170)와; 상기 중첩영상생성부(170)에서 생성된 중첩영상을 출력하는 영상출력부(180); 로 이루어지는 것이며,
    상기 음악컨텐츠기기(200)의 제어부(240)에서 버튼패널(230)의 선택에 따라 음원전송부(210)로부터 음원을 제공받는 스트리밍 서비스단계; 마이크(220)와 음원전송부(210)로부터 전달되는 정보를 스피커(250)와 디스플레이(260)로 출력하는 음원출력단계; 로 이루어지되, 상기 음악컨텐츠기기(200)는 음원출력단계 이후 음원 스트리밍 서비스와 음원 출력단계를 반복하여 스피커(250)와 디스플레이(260)에서 연속적으로 출력하고, 동시에 상기 음악컨텐츠기기(200)에서 선택된 음악의 정보에 따라 디바이스(100)의 가상영상 선택부(150)에서 가상의 영상을 선택하는 가상영상 선택단계; 상기 선택된 가상의 영상에 가상영상적용부(160)가 위치 및 회전을 적용하는 가상영상 적용단계; 상기 위치 및 회전이 적용된 가상의 영상에 중첩영상생성부(170)가 카메라(110)에서 촬영된 현실의 영상에 중첩시켜 중첩영상을 생성하는 중첩영상생성단계; 상기 생성된 중첩영상을 영상출력부(180)를 통해 출력하여 실시간 증강현실로 제공하는 영상출력단계; 로 이루어지되, 상기 영상출력단계 이후 가상영상 선택단계, 가상영상 적용단계, 중첩영상생성단계, 영상출력단계를 순서대로 반복하여 영상출력부(180)에서 연속된 중첩영상을 출력하는 증강현실을 이용한 음악컨텐츠 서비스 제공방법에 있어서,
    상기 디바이스(100)는 중첩영상을 영상출력부(180)을 통해 제공할 수 있도록 어플리케이션이 설치된 것이며,
    상기 위치센서(130)는 위도 및 경도를 포함하는 위치를 확인할 수 있는 GPS센서인 것이며,
    상기 자세센서(140)는 3축에 대한 변동을 검출하는 지자기센서인 것이며,
    상기 가상영상선택부(150)는 현실의 영상에 합성될 가상의 영상을 조건에 따라 선택하는 것으로, 상기 가상영상선택부(150)가 선택하는 가상의 영상은 음악컨텐츠기기(200)의 제어부(240)에서 전달받은 음악에 대한 정보를 통해 결정되는 것이며,
    상기 가상의 영상은 3차원으로 나타나되, 현실의 영상 전체를 가리지 않도록 부분영상으로 형성되며, 음악의 명칭과, 상기 음악의 명칭에 따른 진행시간에 따라 변하게 되는 것이며,
    상기 가상영상적용부(160)는 위치기반서비스가 제공되는 위치센서(130)로 확인된 현재위치와, 자세센서(140)를 통해 확인된 회전방향을 통해, 가상의 영상의 위치 및 회전을 결정하는 것이며,
    상기 음악컨텐츠기기(200)는 음악콘텐츠 제공 공간에 설치되어 있는 것으로, 상기 음악컨텐츠기기(200)는 버튼패널(230) 및 마이크(220)를 사용하는 입력부와; 디스플레이(260) 및 스피커(250)를 사용하는 출력부와; 디바이스(100)와 통신할 수 있는 무선통신부(210)와; 음원전송부(210)와; 제어부(240);로 이루어지는 것이며,
    상기 음원전송부(210)는 음원이 저장되어 있어, 제어부(240)가 요청할 경우 음원을 제공하는 것이며,
    상기 스트리밍 서비스단계는 음악컨텐츠기기(200)의 제어부(240)에서 버튼패널(230)의 선택에 따른 음악에 대한 해당하는 음원을 음원전송부(210)로부터 제공받는 것이며,
    상기 음원출력단계는 제어부(240)에서 마이크(220)와 음원전송부(210)로부터 전달되는 정보를 스피커(250)와 디스플레이(260)로 출력하는 것이며,
    상기 영상 선택단계는 음악컨텐츠기기(200)의 제어부(240)에서 선택된 음악의 정보를 무선통신모듈(120)을 통해 획득하고, 획득된 정보에 따라 가상영상선택부(150)에서 가상의 영상을 선택하는 것으로, 상기 가상의 영상은 획득된 정보에 따라 달라지는 것이며,
    상기 가상영상선택부(150)는 음악콘텐츠 제공 공간에 설치된 음악컨텐츠기기(200)의 제어부(240)에서 무선통신으로 정보를 전달받아 진행되는 음악의 플레이시간, 음악에 해당하는 뮤직비디오 영상, 실시간 가사, 가사에 따른 시각효과 중에서 가상의 영상을 선택하는 것이며,
    상기 중첩영상생성단계는 가상영상적용단계에서 위치 및 회전이 적용된 가상의 영상에 중첩영상생성부(170)가 카메라(110)에서 촬영된 현실의 영상에 중첩시켜 중첩영상을 생성하는 것이며,
    상기 가상의 영상은 3차원으로 나타나되, 현실의 영상 전체를 가리지 않도록 부분영상으로 형성되는 것으로, 현실의 영상에 가상의 영상인 부분영상이 겹쳐지게 되되, 상기 현실의 영상이 가상의 영상의 뒤로 가게 함으로써, 가상의 영상이 현실의 영상에 가려서 보이지 않는 것을 방지하는 것이며,
    상기 영상출력단계는 생성된 중첩영상을 영상출력부(180)를 통해 출력하여 실시간 증강현실로 제공하되, 증강현실로 제공되는 중첩영상은 현실에 가상의 영상을 출력하여 현실감을 주는 것을 특징으로 하는 증강현실을 이용한 음악컨텐츠 서비스 제공방법
KR1020160113474A 2016-09-02 2016-09-02 증강현실을 이용한 음악컨텐츠 서비스 제공방법 KR101868855B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160113474A KR101868855B1 (ko) 2016-09-02 2016-09-02 증강현실을 이용한 음악컨텐츠 서비스 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160113474A KR101868855B1 (ko) 2016-09-02 2016-09-02 증강현실을 이용한 음악컨텐츠 서비스 제공방법

Publications (2)

Publication Number Publication Date
KR20180026291A KR20180026291A (ko) 2018-03-12
KR101868855B1 true KR101868855B1 (ko) 2018-06-19

Family

ID=61729166

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160113474A KR101868855B1 (ko) 2016-09-02 2016-09-02 증강현실을 이용한 음악컨텐츠 서비스 제공방법

Country Status (1)

Country Link
KR (1) KR101868855B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200056496A (ko) * 2018-11-09 2020-05-25 주식회사 더미리 포즈 전이 인공지능을 이용한 가상현실 노래방 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101205342B1 (ko) * 2011-03-04 2012-11-30 이상혁 노래방 음원 영상과 가수 녹음 음원 매칭 시스템 및 그 방법
KR20130101380A (ko) * 2012-03-05 2013-09-13 유큐브(주) 착용형 디스플레이 장치를 이용한 정보제공 시스템 및 방법
KR101356192B1 (ko) * 2012-04-26 2014-01-24 서울시립대학교 산학협력단 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템
KR20140147238A (ko) * 2013-06-19 2014-12-30 주식회사 코리아제너럴파트너스 노래방 음원의 처리장치
KR20150094338A (ko) * 2014-02-11 2015-08-19 (주)제이앤씨마케팅커뮤니케이션 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200056496A (ko) * 2018-11-09 2020-05-25 주식회사 더미리 포즈 전이 인공지능을 이용한 가상현실 노래방 장치 및 방법
KR102234024B1 (ko) 2018-11-09 2021-04-01 주식회사 더미리 포즈 전이 인공지능을 이용한 가상현실 노래방 장치 및 방법

Also Published As

Publication number Publication date
KR20180026291A (ko) 2018-03-12

Similar Documents

Publication Publication Date Title
CN107066082B (zh) 显示方法和装置
CN107103801B (zh) 远程三维场景互动教学系统及控制方法
US10071306B2 (en) System and method for determining orientation using tracking cameras and inertial measurements
KR101989447B1 (ko) 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템
AU2016100297A4 (en) Wearable blasting system apparatus
US20150379777A1 (en) Augmented reality providing system, recording medium, and augmented reality providing method
KR101868855B1 (ko) 증강현실을 이용한 음악컨텐츠 서비스 제공방법
CN108028906B (zh) 信息处理系统和信息处理方法
US20180373414A1 (en) Method for communicating via virtual space, program for executing the method on computer, and information processing apparatus for executing the program
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
JP2011203984A (ja) ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
US20150138301A1 (en) Apparatus and method for generating telepresence
JP2018163461A (ja) 情報処理装置、および情報処理方法、並びにプログラム
US6149435A (en) Simulation method of a radio-controlled model airplane and its system
EP3287868B1 (en) Content discovery
US20170206798A1 (en) Virtual Reality Training Method and System
KR101770188B1 (ko) 혼합 현실 체험 공간 제공 방법 및 시스템
KR20180097088A (ko) 증강 현실을 이용한 관광 안내 장치 및 그 방법
JP5664215B2 (ja) 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム
KR102143616B1 (ko) 증강현실을 이용한 공연콘텐츠 제공 시스템 및 그의 제공방법
EP3689427B1 (en) Peripheral tracking system and method
JP6566209B2 (ja) プログラム及びアイウエア
KR20200143293A (ko) 실시간 다원 ar 방송을 위한 증강 현실 영상 생성 방법 및 장치
EP2629498A1 (en) Portable electronic equipment and method of visualizing sound
KR20180010891A (ko) Vr기기를 통한 360도 오페라 영상 제공방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant