KR20080106676A - Ｖｒ 노래방 서비스 시스템 및 방법 - Google Patents

Ｖｒ 노래방 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR20080106676A
KR20080106676A KR1020070054403A KR20070054403A KR20080106676A KR 20080106676 A KR20080106676 A KR 20080106676A KR 1020070054403 A KR1020070054403 A KR 1020070054403A KR 20070054403 A KR20070054403 A KR 20070054403A KR 20080106676 A KR20080106676 A KR 20080106676A
Authority
KR
South Korea
Prior art keywords
karaoke
user
server
motion
face
Prior art date
Application number
KR1020070054403A
Other languages
English (en)
Inventor
김효정
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020070054403A priority Critical patent/KR20080106676A/ko
Publication of KR20080106676A publication Critical patent/KR20080106676A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 VR 노래방 서비스 시스템 및 방법에 관한 것이다. 본 발명은 카메라로부터 입력된 영상으로부터 사용자의 얼굴 영역을 검출하여 촬영하기 위한 얼굴 인식 서버; 및 사용자 단말기로부터 입력된 제어 정보에 따라 노래 검색 및 노래 예약을 수행하는 노래방 기본 기능과, 가상 무대 및 가상 캐릭터 선택/변경, 상기 얼굴 인식 서버로부터 제공된 사용자 얼굴 사진과 가상 캐릭터와 합성 기능, 사용자 동작 인식 기능, 사용자의 움직임을 선택된 가상 캐릭터의 모션으로 인터렉션 시키는 모션 재활용 기능, 뮤직 비디오 선택 및 취소, 볼륨/박자/음정 조절 기능, 점수 주기 기능, 노래방 동영상 저장 및 다운로드 기능을 제공하는 VR 노래방 서버를 제공한다. 이에 따라, 단말기의 노래방 클라이언트를 사용하여 VR 노래방 서버로 접속하여 노래 선택 및 예약, 선택된 가상무대를 배경으로 가상 캐릭터에 얼굴 인식 카메라로 촬영된 사용자 얼굴 사진과 합성하여 무대에서 노래하는 사람의 배경 화면을 프로젝터를 통해 프로젝트 스크린으로 출력하고, 노래하는 사람의 모습을 동영상 카메라가 장착된 벽걸이 TV로 듀얼 디스플레이를 통해 향상된 VR 노래방 서비스를 제공한다.
VR 노래방, 가상무대, 가상캐릭터, 듀얼 디스플레이, 얼굴 인식

Description

ＶＲ 노래방 서비스 시스템 및 방법{System and method for virtual reality singing room service}
도 1은 종래의 통신망을 이용한 클라이언트/서버 구조의 멀티미디어 통신 노래방 시스템 구성도.
도 2a는 본 발명의 일실시예에 따른 VR 노래방 시스템 구성도.
도 2b는 본 발명의 일실시예에 따른 VR 노래방 서버의 내부 구성도.
도 2c는 포토존의 얼굴인식 카메라에 의한 사용자의 얼굴 인식 및 캡춰, 가상 무대, 가상 캐릭터, 프로젝트에 의해 디스플레이되는 대형 스크린 및 동영상 카메라에 의한 벽걸이 TV로 듀얼 디스플레이되는 VR 노래방의 개념도.
도 2d는 본 발명의 일실시예에 따른 노래방 콘텐츠 배포 및 유통 시스템 구성도.
도 3a 내지 3g는 VR 노래방에서의 가상 무대(Virtual Stage), 가상 캐릭터와 상호작용(Interaction with Virtual Character), 듀얼 디스플레이(Dual Display), 프로젝트 디스플레이 기반의 인터페이스(Interface based projected display), 및 사용자 얼굴 인식 및 캡춰 기술, 사용자 동작 인식 기술, 모션 재활용 기술을 설명한 도면.
도 4a 내지 4f는 VR 노래방의 사용 시나리오를 설명한 도면.
도 5는 얼굴인식 서버에서 얼굴 인식 카메라로부터 촬영된 사용자의 얼굴을 인식하는 실사 캐릭터 시스템의 구성도.
도 6a는 동작 인식 카메라(IR 카메라)로 촬영된 현재 프레임 이미지(s1.jpg), 도 6b는 직전 프레임 이미지(s2.jpg), 도 6c는 영상 차이에 의한 프레임 이미지(s1-s2.jpg)를 나타낸 도면.
도 7은 본 발명의 일실시예에 따른 VR 노래방 서비스 방법을 설명한 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
100: 노래방 클라이언트 200: VR 노래방 서버
230: 스피커/앰프 231: 무선 마이크
232: 빔 프로젝터 233: 동작 인식 카메라(IR 카메라)
270: 프로젝트 스크린 300: 얼굴 인식 서버
310: 얼굴인식 카메라 320: 터치스크린
본 발명은 VR 노래방 서비스 시스템 및 방법에 관한 것으로, 특히 노래방 클라이언트를 사용하여 VR 노래방 서버로 접속하여 포토존의 얼굴인식 카메라로부터 촬영된 사용자 얼굴 인식 및 캡춰 기능, 사용자 동작 인식 기능, 모션 재활용 기능을 적용하여 노래 선택 및 예약, 선택된 가상무대 및 가상 캐릭터를 무대에서 노래하는 사람의 배경 화면으로 프로젝터를 통해 대형스크린으로 표시하고, 동영상 카메라로 촬영된 노래하는 사용자의 모습을 벽걸이 TV로 듀얼 디스플레이를 제공하여 VR 노래방 서비스를 제공하는, VR 노래방 서비스 시스템 및 방법에 관한 것이다.
도 1을 참조하면, 종래의 통신망을 이용한 클라이언트/서버 구조의 멀티미디어 통신 노래방 시스템은 노래방 데이타 베이스를 포함하는 통신 노래방 서버(11) 및 인터넷(12)을 통해 상기 통신 노래방 서버와 연결되는 통신 노래방 클라이언트(13)로 구성된다.
상기 통신 노래방용 서버(11)는 인터넷에 연결된 근거리 통신망(LAN)을 통해 노래방 데이타를 저장 관리하고 상기 노래방용 클라이언트(13)로부터 요구하는 노래에 대한 데이타를 검색하여 전송한다.
상기 통신 노래방용 클라이언트(13)는 사용자로부터 선택된 노래에 대한 데이타를 상기 노래방용 서버(11)로 요구하여 데이타를 전송받은 후, 음악을 연주하고, 배경 화면을 보여주며, 가사의 진행 상황을 보여주는 역할을 담당하며, 노래의 연주 중에 다음에 연주될 노래에 대한 데이타를 전송받을 수 있는 예약 기능을 제공한다.
상기 노래방용 클라이언트(13)는, 상기 노래방용 서버(11)와의 연결을 설정하고, 모든 작업이 끝난 후에 연결을 해제하는 제2 연결 관리 수단; 상기 노래방용 클라이언트(13)가 상기 노래방용 서버(11)와 연결되면 노래 정보 데이타를 전송받 아 관리하며 사용자가 선택한 노래의 페이지 번호를 출력하는 노래 제목 관리 수단; 상기 노래 제목 관리 수단으로부터 선택한 노래의 페이지 번호를 입력받아 인코딩하여 인코딩된 노래 선택 정보를 출력하는 노래 선택 정보 인코딩 수단; 상기 노래 선택 정보 인코딩 수단으로부터 인코딩된 노래 선택 정보를 입력받아 상기 인터넷(12)을 통하여 상기 노래방용 서버(11)로 송신하는 노래 선택 정보 송신수단; 상기 노래방용 서버(11)로부터 상기 인터넷(12)을 통하여 인코딩된 노래방용 데이타를 수신하는 노래방용 데이타 수신수단; 상기 노래방용 데이타 수신 수단으로부터 인코딩된 노래방용 데이타를 입력받아 디코딩하여 노래 정보 데이타를 상기 노래 제목 관리 수단으로 출력하고, JPEG 데이타, 가사 데이타, 미디 데이타를 출력하는 노래방용 데이타 디코딩 수단; 상기 노래방용 데이타 디코딩 수단으로부터 JPEG 데이타를 입력받아 디코딩하여 이미지 데이타를 외부의 모니터로 출력하는 JPEG 디코딩 수단; 상기 노래방용 데이타 디코딩 수단으로부터 가사 데이타를 입력받아 해석하여 텍스트 데이타를 상기 모니터로 출력하는 가사 처리 수단; 및 상기 노래방용 데이타 디코딩수단으로부터 미디 데이타을 입력받아 사운드로 변환하여 외부의 스피커(SP)로 출력하는 미디 연주 수단을 포함한다.
상기 노래방용 서버(11)는 상기 통신망과 서버의 연결을 설정하고 노래방의 모든 작업이 끝난 후에 연결을 해제하는 제1연결 관리 수단; 상기 노래방용 클라이언트로부터 상기 인터넷(12)을 통하여 인코딩된 노래 선택 정보를 수신하는 노래 선택 정보 수신 수단; 노래방용 미디 데이타, JPEG 데이타 및 노래 제목 정보를 저장하는 노래방 데이타베이스; 상기 노래방 데이타베이스를 관리하는 데이타베이스 관리 수단; 상기 노래 선택 정보 수신 수단으로부터 인코딩된 노래 선택 정보를 입력받아 디코딩하여 노래 페이지 번호를 상기 데이타베이스 관리 수단으로 출력하는 노래 선택 정보 디코딩 수단; 노래방용 데이타를 상기 데이타베이스 관리 수단을 통하여 노래방 데이타베이스에 입력하는 데이타 입력 수단; 상기 데이타베이스 관리 수단을 통하여 상기 노래방 데이타베이스의 노래방용 데이타를 입력받아 인코딩하여 인코딩된 노래방용 데이타를 출력하는 노래방용 데이타 인코딩 수단; 및 상기노래방용 데이타 인코딩 수단으로부터 인코딩된 노래방용 데이타를 입력받아 상기 인터넷(12)을 통하여 상기 노래방용 클라이언트(13)로 송신하는 노래방용 데이타 송신 수단을 포함한다.
기존 노래방 시장은 2005년말 기준으로 전국 35,000 개의 노래방이 영업중으로 2조원대의 시장을 형성하고 있으며, 저가형/대중형/고급형 노래방으로 시장이 세분화되어 있으며, 노래 반주기, 화상 채팅 및 오디션 서비스 등을 제공하여 사용자에게 다양한 놀이 및 휴식 문화를 제공하고 있다.
그러나, 종래의 클라이언트/서버 구조의 멀티미디어 통신 노래방은 노래방 클라이언트가 노래방 서버에 접속하여 인터넷 노래방 서비스를 제공하였지만, 포토존의 얼굴인식 카메라로부터 촬영된 사용자 얼굴 인식 및 캡춰 사진을 가상 무대상의 댄서 역할을 하는 가상 캐릭터의 body로 합성하여, 사용자 동작 인식 기술, 모션 재활용 기술을 사용한 노래방 서비스를 제공하지 못했으며, 정작 노래 부르는 사람은 무대에서 자기가 노래 부르는 모습을 볼 수 없었던 문제점이 있었다.
본 발명은 종래 기술의 문제점을 해결하기 위해 제안된 것으로, 단말기의 노래방 클라이언트를 사용하여 VR 노래방 서버로 접속하여 포토존의 얼굴인식 카메라로부터 촬영된 사용자 얼굴 인식 및 캡춰 기술, 사용자 동작 인식 기술, 모션 재활용 기술을 적용하여 노래방 클라이언트에 의한 노래 선택 및 예약, 선택된 가상무대(Virtual Stage) 및 가상 캐릭터(Interaction with Virtual Character)를 촬영된 친구 또는 자신의 얼굴 사진과 합성하여 무대에서 노래하는 사람의 배경 화면을 프로젝터를 통해 대형스크린으로 표시하고, 동영상 카메라로 촬영된 노래하는 사람의 모습을 벽걸이 TV로 듀얼 디스플레이(Dual Display)를 제공하며, 볼륨/박자/음정 조절부에 따라 스피커로 음향을 출력하여 향상된 VR 노래방 서비스를 제공하기 위한, VR 노래방 서비스 시스템 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 목적을 달성하기 위하여, 본 발명은 VR 노래방 서비스 시스템으로서, 카메라로부터 입력된 영상으로부터 사용자의 얼굴 영역을 검출하여 촬영하기 위한 얼굴 인식 서버; 및 사용자 단말기로부터 입력된 제어 정보에 따라 노래 검색 및 노래 예약을 수행하는 노래방 기본 기능과, 가상 무대 및 가상 캐릭터 선택/변경, 상기 얼굴 인식 서버로부터 제공된 사용자 얼굴 사진과 가상 캐릭터와 합성 기능, 사용자 동작 인식 기능, 사용자의 움직임을 선택된 가상 캐릭터의 모션으로 인터렉션 시키는 모션 재활용 기능을 제공하는 VR 노래방 서버를 포함한다.
본 발명에 따른 VR 노래방 서비스 시스템은, 상기 VR 노래방 서버와 연결되고, 상기 사용자 단말기에 설치되어 VR 노래방 서비스를 위한 사용자 인터페이스를 제공하며, 상기 VR 노래방 서버로 사용자의 선택에 따라 제어 정보를 전송하는 노래방 클라이언트를 더 포함한다.
상기 사용자 단말기는, 태블릿 PC(Tablet PC), 노트북, 개인 휴대용 단말기(PDA), 핸드헬드 PC, 휴대인터넷(WiBro) 단말기 중 어느 하나의 단말기를 사용하며, 무선랜 카드 또는 유선 LAN 카드로 상기 VR 노래방 서버가 설치된 컴퓨터와 네트워크로 연결되는 것을 특징으로 한다.
상기 VR 노래방 서버가 설치된 컴퓨터는, 동작인식 카메라와 연결되고, 음성 및 노래방 음원을 출력하기 위한 하나 이상의 스피커/앰프 및 노래를 부르는 사람의 음성을 입력받기 위한 유선 또는 무선 마이크, 천장에 설치된 빔 프로젝터와 연결되는 것을 특징으로 한다.
상기 얼굴 인식 서버는, 사용자의 얼굴 사진을 촬영하기 위한 적어도 하나 이상의 카메라 및 터치 스크린과 연결된 컴퓨터에 설치되는 것을 특징으로 한다.
본 발명에 따른 VR 노래방 서비스 시스템은 노래하는 동안 사용자가 선택한 가상 캐릭터를 가상 무대를 배경으로 출력하기 위한 대형 프로젝트 스크린; 및 동영상 카메라로 촬영된 노래하는 사용자의 모습을 출력하기 위한 동영상 카메라가 부착된 벽걸이 TV를 더 포함함으로써, 듀얼 디스플레이(Dual Display)를 제공하는 것을 특징으로 한다.
상기 VR 노래방 서버는, VR 노래방 서비스를 위해 각 모듈을 제어하기 위한 제어부; 음악 장르별로 노래방 음원 데이타베이스에 저장된 곡들의 노래 리스트를 조회하여 사용자에 의해 선택된 노래 선택 및 예약 정보를 입력받기 위한 노래 선택 및 예약부; 가상무대 DB로부터 사용자가 선택할 수 있는 다수의 가상 무대(Virtual Stage)를 제공하기 위한 가상무대 제공부; 가상 캐릭터 DB로부터 다수의 가상 캐릭터(Virtual Character)의 리스트를 제공하고, 사용자에 의해 기 설정된 가상 무대상에 노래별 시나리오에 따라 선택된 가상캐릭터의 기본 움직임을 출력하기 위한 가상캐릭터 제공부; 재생되는 음원의 볼륨, 박자, 음정을 조절하기 위한 볼륨/박자/음정 조절부; 및 음원 DB로부터 선택된 음원을 예약된 순서대로 비디오/오디오 코덱을 통해 음원 또는 뮤직비디오를 출력하기 위한 음원 재생부를 포함한다.
상기 제어부는 웹서버와 연결되어 사용되는 것을 특징으로 한다.
본 발명에 따른 VR 노래방 서비스 시스템은 선택된 음원 재생에 맞추어 노래를 부르는 사용자의 음정, 박자, 사용자의 움직임의 세기에 따라 레벨별로 기 설정된 평가 기준에 따라 노래에 대한 점수를 제공하기 위한 점수 제공부를 더 포함한다.
상기 VR 노래방 서버는, 기준점을 중심으로 서로 직교하는 x축과 y축에 설치된 2대의 동작인식 카메라로부터 입력받은 정보에 기초하여 사용자의 위치 좌표(X, Y 좌표) 및 사용자의 움직임의 세기를 수치화하여 측정하기 위한 사용자 동작인식부를 더 포함한다.
상기 동작인식 카메라는 IR 카메라인 것을 특징으로 한다.
상기 사용자 동작인식부는, 상기 동작인식 카메라로부터 입력되는 사용자의 가상 무대상의 X, Y 좌표를 측정하고, 측정된 X좌표를 이용하여 사용자의 X좌표와 중첩되지 않게 스크린 상의 가상 캐릭터의 X좌표를 변경시키고, 측정된 Y 좌표를 이용하여 가상 캐릭터의 가상 무대상에서의 원근감을 표현하는 것을 특징으로 한다.
상기 사용자 동작인식부는, 노래하는 사용자가 2명 이상인 경우, 사용자의 움직임의 세기로서 전체 사용자의 움직임의 세기를 사용자의 수로 나눈 값을 이용하고, 사용자의 위치 좌표로서 움직임의 세기가 가장 큰 사용자의 위치 좌표를 이용하는 것을 특징으로 한다.
상기 VR 노래방 서버는, 각 가상 캐릭터의 소정의 박자 단위 모션을 저장하고 있는 모션 DB; 및 상기 사용자 동작인식부로부터 제공된 사용자의 움직임의 세기 정보에 따라 인터렉션 알고리즘(interaction algorithm)을 사용하여 상기 모션 DB에 저장된 가상 캐릭터의 모션을 적용하여 사용자의 동작을 선택된 가상 캐릭터의 모션과 인터렉션시키는 모션 재활용부를 더 포함한다.
상기 VR 노래방 서버는, 사용자가 노래하는 모습을 촬영한 동영상을 저장하기 위한 노래방 동영상 저장부를 더 포함한다.
상기 VR 노래방 서버는, 상기 VR 노래방 서비스를 위한 이용약관을 공지하고, 회원정보를 저장하기 위한 회원정보 관리부; 및 VR 노래방 서비스의 사용자 인증을 처리하기 위한 사용자 인증부를 더 포함한다.
상기 VR 노래방 서버는, 가상 무대 및 가상 캐릭터를 사용하지 않고, 선택된 노래방 음원에 적합한 기 설정된 뮤직 비디오를 제공하는 뮤직비디오 제공부를 더 포함한다.
상기 VR 노래방 서버는, 사용시간에 따라 과금을 하기 위해 VR 노래방 서비스의 사용시간을 계수하는 타이머를 더 포함한다.
상기 VR 노래방 서버는, 상기 타이머에 의해 카운트된 VR 노래방 서비스의 사용 시간에 따라 과금을 처리하기 위한 과금 처리부를 더 포함한다.
상기 얼굴 인식 서버는, 얼굴 인식 카메라로부터 촬영된 정지영상 혹은 프레임 단위의 영상을 입력받기 위한 영상 입력부; 상기 영상 입력부를 통해 입력된 프레임 단위 영상에서 얼굴영역의 위치와 크기를 검출하기 위한 얼굴영역 검출부; 상기 얼굴영역 검출부로부터 검출된 얼굴영역 내에서 AAM(Active Appearance Model)에 IPCA(Incremental Principal Component Analysis)를 적용하여, 학습된 AAM 기저(Basis)를 업데이트함으로써 피팅 정확도가 높은 얼굴 특징점(눈, 코, 입, 턱선 등의 얼굴의 특징 위치 정보)을 추출하고, 추출된 특징점의 위치를 기준으로 얼굴을 정규화하기 위한 얼굴 특징점 추출부; 상기 영상 입력부를 통해 입력된 입력영상에서 머리카락을 포함한 얼굴 주변만을 정규화한 영상)에서 배경영역 및 머리영역으로 확실시되는 작은 이미지 패치를 얻어, 이 패치의 히스토그램 정보와 확률적 해석 방법을 통해 배경영역을 제거하고 실사 머리카락을 추출하기 위한 머리카락 추출부; 및 상기 얼굴 특징점 추출부로부터 얻어진 얼굴 정규화 영상과 상기 머리카락 추출부로부터 얻어진 머리카락 추출 영상을 정합하여 실사 캐릭터를 얻기 위한 실사 캐릭터 생성부를 포함한다.
본 발명의 다른 목적을 달성하기 위하여, 본 발명은 VR 노래방 서비스 콘텐츠 배포 및 유통 시스템으로서, 사용자 단말로부터 입력된 제어 정보에 따라 노래 검색 및 노래 예약을 수행하는 노래방 기본 기능, 가상 무대 및 가상 캐릭터 선택/변경 기능, 상기 얼굴 인식 서버로부터 제공된 사용자 얼굴 사진과 가상 캐릭터와 합성 기능, 사용자 동작 인식 기능, 및 사용자의 움직임을 선택된 가상 캐릭터의 모션으로 인터렉션 시키는 모션 재활용 기능을 제공하는 VR 노래방 서버; VR 노래방 서비스를 위한 음원, 가상무대, 가상캐릭터 및 가상캐릭터의 모션을 포함하는 VR 노래방 콘텐츠를 인터넷을 통해 상기 복수개의 VR 노래방 서버로 배포 및 유통하기 위한 노래방 콘텐츠 배포 시스템; 및 상기 노래방 콘텐츠 배포 시스템과 연결되어, VR 노래방 콘텐츠에 DRM 또는 워터마크를 적용하여 저작권을 보호하기 위한 DRM 서버 시스템을 포함한다.
상기 VR 노래방 서비스 콘텐츠 배포 및 유통 시스템은, 상기 노래방 콘텐츠 배포 시스템으로부터 상기 VR 노래방 콘텐츠를 배포받아 저장하여 관리하고, 여러 지역에 분산된 상기 복수개의 VR 노래방 서버로 상기 VR 노래방 콘텐츠를 배포 및 유통하기 위한 지역 노래방 관리 서버를 더 포함한다.
본 발명의 또 다른 목적을 달성하기 위하여, 본 발명은 VR 노래방 서비스 방법으로서, (a) 얼굴 인식 서버가 카메라로부터 입력된 영상으로부터 사용자의 얼굴 영역을 검출하여 촬영된 사용자의 얼굴 사진을 저장하는 단계; (b) VR 노래방 서버가 사용자 단말기의 노래방 클라이언트의 제어에 따라 노래, 가상 무대, 가상 캐릭터를 선택하는 단계; (c) 상기 VR 노래방 서버가 선택된 가상 캐릭터에 얼굴 인식 서버로부터 제공받은 사용자의 얼굴 사진을 합성하는 단계; (d) 상기 VR 노래방 서버의 사용자 동작 인식부가 동작인식 카메라를 이용하여 노래하고 있는 사용자의 움직임의 세기 및 기준점에 대한 사용자의 위치 좌표(X,Y 좌표)를 측정하는 단계; (e) 노래를 부르는 사용자의 X좌표와 중첩되지 않도록 가상 무대상의 가상 캐릭터의 X좌표를 변경시키고, 측정된 Y 좌표를 이용하여 가상 무대상의 가상캐릭터의 원근감을 표현하여 스크린으로 출력하는 단계; 및 (f) 상기 VR 노래방 서버의 사용자 동작인식부로부터 상기 사용자의 움직임의 세기 정보를 입력받아 모션 DB로부터 선택된 가상캐릭터의 모션을 추출하여 사용자의 움직임과 가상 캐릭터의 모션을 인터렉션 시키는 단계를 포함한다.
상기 단계 (a) 이전에, 상기 VR 노래방 서비스를 위한 이용약관을 공지하고, 회원정보를 저장하는 단계; 및 VR 노래방 서비스의 사용자를 인증하는 단계를 더 포함한다.
본 발명에 따른 VR 노래방 서비스 방법은, 상기 VR 노래방 서버가 VR 노래방 서비스의 사용시간을 설정하여 이용 요금을 지불 정보를 저장하고, 타이머를 작동하여 타이머의 시간을 계수하기 시작하는 단계를 더 포함한다.
상기 단계 (a)는, (a1) 상기 얼굴 인식 서버에 연결된 얼굴 인식 카메라로부터 촬영된 정지영상 혹은 프레임 단위의 영상을 영상입력부로 입력받는 단계; (a2) 상기 영상 입력부를 통해 입력된 프레임 단위 영상으로부터 얼굴 영역 검출부에 의해 얼굴영역의 위치와 크기를 검출하는 단계; (a3) 상기 얼굴영역 검출부로부터 검출된 얼굴영역 내에서 얼굴 특징점 추출부에 의해 AAM(Active Appearance Model)에 IPCA(Incremental Principal Component Analysis)를 적용하여, 학습된 AAM 기저(Basis)를 업데이트함으로써 피팅 정확도가 높은 얼굴 특징점(눈, 코, 입, 턱선 등의 얼굴의 특징 위치 정보)을 추출하고, 추출된 특징점의 위치를 기준으로 얼굴을 정규화하는 단계; (a4) 상기 영상 입력부를 통해 입력된 입력 영상으로부터 머리카락 추출부에 의해 머리카락을 포함한 얼굴 주변만을 정규화한 영상)에서 배경영역 및 머리영역으로 확실시되는 작은 이미지 패치를 얻어, 이 패치의 히스토그램 정보와 확률적 해석 방법을 통해 배경영역을 제거하고 실사 머리카락을 추출하는 단계; 및 (a5) 실사 캐릭터 생성부에 의해 상기 얼굴 특징점 추출부로부터 얻어진 얼굴 정규화 영상과 상기 머리카락 추출부로부터 얻어진 머리카락 추출 영상을 정합하여 실사 캐릭터를 얻는 단계를 더 포함한다.
상기 단계 (d)에서, 노래하는 사용자가 2명 이상인 경우, 사용자의 움직임의 세기로서 전체 사용자의 움직임의 세기를 사용자의 수로 나눈 값을 이용하고, 사용자의 위치 좌표로서 움직임의 세기가 가장 큰 사용자의 위치 좌표를 이용하는 것을 특징으로 한다.
본 발명에 따른 VR 노래방 서비스 방법은 상기 가상 무대 및 가상 캐릭터를 사용하지 않는 경우, 선택된 노래방 음원에 적합한 기 설정된 뮤직 비디오를 제공하는 단계를 더 포함한다.
본 발명에 따른 VR 노래방 서비스 방법은 상기 VR 노래방 서 비스 사용시간에 따라 과금을 하기 위해 VR 노래방 서비스의 사용시간을 타이머에 의해 계수하여, 상기 타이머에 의해 카운트된 VR 노래방 서비스의 사용 시간에 따라 과금하는 단계를 더 포함한다.
본 발명에 따른 VR 노래방 서비스 방법은 상기 VR 노래방 서버에 의해 선택된 음원 재생에 맞춰 노래를 부르는 사람의 음정, 박자, 사용자의 움직임의 세기에 따라 측정된 레벨별로 기 설정된 평가 기준에 따라 노래에 대한 점수를 스크린으로 출력하는 단계를 더 포함한다.
본 발명에 따른 VR 노래방 서비스 방법은 상기 가상 무대를 배경으로 한 촬영된 노래 동영상을 저장하는 단계; 및 상기 촬영된 노래 동영상을 인터넷을 통해 다운로드 서비스를 제공하는 단계를 더 포함한다.
본 발명의 또 다른 목적을 달성하기 위하여, 본 발명은 컴퓨터에, (a) 얼굴인식 서버가 카메라로부터 입력된 영상으로부터 사용자의 얼굴 영역을 검출하여 촬영된 사용자의 얼굴 사진을 저장하는 기능; (b) VR 노래방 서버가 사용자 단말기의 노래방 클라이언트의 제어에 따라 노래, 가상 무대, 가상 캐릭터를 선택하는 기능; (c) 상기 VR 노래방 서버가 선택된 가상 캐릭터에 얼굴 인식 서버로부터 제공받은 사용자의 얼굴 사진을 합성하는 기능; (d) 상기 VR 노래방 서버의 사용자 동작 인식부가 동작인식 카메라를 이용하여 노래하고 있는 사용자의 움직임의 세기 및 기준점에 대한 사용자의 위치 좌표(X,Y 좌표)를 측정하는 기능; (e) 노래를 부르는 사용자의 X좌표와 중첩되지 않도록 가상 캐릭터의 X좌표를 변경시키고, 측정된 Y 좌표를 이용하여 가상 무대상의 가상캐릭터의 원근감을 표현하여 스크린으로 출력하는 기능; 및 (f) 상기 VR 노래방 서버의 사용자 동작인식부로부터 상기 사용자의 움직임의 세기 정보를 입력받아 모션 DB로부터 선택된 가상캐릭터의 모션을 추출하 여 사용자의 움직임과 가상 캐릭터의 모션을 인터렉션 시키는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 2a는 본 발명의 일실시예에 따른 VR 노래방 시스템 구성도이다.
본 발명에 따른 VR 노래방 서비스 시스템(Star 노래방)은 고객이 선호하는 배경을 화려한 쇼무대를 제공하는 가상 무대(Virtual Stage)와, 자신이 좋아하는 연예인 모습이 합성된 댄서 또는 본인이나 친구의 사진과 합성된 댄서 역할을 하는 가상 캐릭터(Virtual Character)를 제공하고, 프로젝트 스크린 및 동영상 카메라가 장착된 벽결이 TV로 듀얼 디스플레이(Dual Display) 및 프로젝트 디스플레이 기반 인터페이스(Interface based projected display)를 제공한다,
본 발명에 따른 VR 노래방 서비스 시스템은 노래방 클라이언트(100), VR 노래방 서버(200), 스피커/앰프(230), 무선 마이크(231), 빔 프로젝터(232), 2대의 동작 인식 카메라(IR 카메라)(233), 프로젝트 스크린(270), 얼굴 인식 서버(300), 얼굴인식 카메라(310), 및 터치스크린(320)을 포함한다.
상기 VR 노래방 서버(200)는 사용자 단말기로부터 입력된 제어 정보에 따라 노래 검색 및 선택, 노래 예약 및 취소, 예약곡 조회 등을 수행하는 노래방 기본 기능과, 가상 무대(Virtual Stage) 선택/변경, 가상 캐릭터(Virtual Character) 선택/변경, 사용자 얼굴 인식 및 캡춰 기술에 따라 얼굴 인식 서버로부터 제공된 2D/3D 사용자의 얼굴 사진과 선택된 가상 캐릭터와 합성, 사용자 동작 인식 기능, 단위 모션(16박자)들을 인터렉션 알고리즘에 따라 선택된 가상 캐릭터로 인터렉션 시키는 모션 재활용 기능, 뮤직 비디오 선택 및 취소, 볼륨/박자/음정 조절 기능, 점수 주기 기능, 노래방 동영상 저장 및 다운로드 기능을 제공한다.
도 2a 및 도 4a를 참조하면, 상기 노래방 클라이언트(100)는 사용자 단말기에 설치되고, TCP/IP 네트워크를 통해 VR 노래방 서버(200)로 연결되어 VR 노래방 서비스를 위한 인터페이스를 제공하며, 상기 VR 노래방 서버(200)로 사용자의 선택에 따라 제어 정보를 전송하여 음악 장르별로 노래 검색 및 선택, 노래 예약 및 취소, 예약곡 조회, 가상 무대(Virtual Stage) 선택/변경, 가상 캐릭터(Virtual Character) 선택/변경, 사용자 얼굴 인식 및 캡춰 기술에 따른 선택한 가상 캐릭터와 합성할 2D/3D 사진 선택/변경, 뮤직 비디오 선택 및 취소, 볼륨/박자/음정 조절 기능, 우선 시작, 선택한 음악 종료 기능을 제공한다.
상기 사용자 단말기는 태블릿 PC(Tablet PC), 노트북, 개인 휴대용 단말기(PDA), 핸드헬드 PC(HPC), 휴대인터넷(WiBro) 단말기 중 어느 하나를 사용할 수 있으며, 무선랜 카드 또는 유선 LAN 카드로 상기 VR 노래방 서버(200)가 설치된 컴퓨터와 근거리 네트워크로 연결된다.
상기 VR 노래방 서버(200)가 설치된 컴퓨터는 동작인식 카메라(IR 카메라 2대)와 연결되고, 음성 및 노래방 음원을 출력하기 위한 하나 이상의 스피커/앰프(230) 및 노래 부르는 사람의 음성을 입력받기 위한 유선 또는 무선 마이크(231), 천장에 설치된 빔 프로젝터(232)와 연결된다.
또한, 상기 VR 노래방 서버(200)는 포토존(photo-zone)에서 노래 부르는 사람의 자신 또는 친구의 사진을 촬영하기 위한 적어도 하나 이상의 얼굴인식 카메라(310) 및 터치 스크린(320)이 연결된 컴퓨터에 설치된 얼굴 인식 서버(300)와 연결된다.
상기 얼굴 인식 서버(300)는 포토존(photo zone)에서 사용자의 얼굴 사진을 촬영하기 위한 적어도 하나 이상의 얼굴인식 카메라(310) 및 터치스크린(320)과 연결된 컴퓨터에 설치된다.
상기 얼굴 인식 서버(300)는 포토존의 얼굴인식 카메라(310)로부터 사용자 얼굴 인식 및 캡춰 기술에 의해 촬영된 본인 또는 친구의 사용자 사진을 촬영하여 저장하고, 상기 VR 노래방 서버(200)와 연결되어 노래를 부르는 동안 가상 무대 상에서 코러스나 댄서 역할을 하는 가상 캐릭터의 보디(body)에 합성하는 기능을 제공한다.
도 2b를 참조하면, 본 발명의 일실시예에 따른 VR 노래방 서버(200)는 제어부(201), 회원정보 관리부(202), 사용자 인증부(203), 노래 선택 및 예약부(204), 가상무대 제공부(205), 가상캐릭터 제공부(206), 볼륨/박자/음정 조절부(207), 음원 재생부(208), 사용자 동작인식부(209), 모션 재활용부(210), 점수 제공부(211), 노래방 동영상 저장부(212), 과금 처리부(213), 회원정보 DB(214), 음원 DB(215), 모션 DB(216), 가상무대 DB(217), 및 가상캐릭터 DB(218)를 포함한다.
상기 VR 노래방 서버(200)는 가상 무대(Virtual Stage) 및 가상 캐릭터(Virtual Character)를 사용하지 않고, 선택된 음원에 적합한 기 설정된 뮤직 비디오를 제공하는 뮤직비디오 제공부를 더 포함하여 VR 노래방 서비스를 제공할 수 있다.
또한, 상기 VR 노래방 서버(200)는 사용시간에 따라 과금을 하도록 VR 노래방 서비스의 사용시간을 계수하는 타이머를 더 포함한다.
상기 제어부(201)는 웹서버(미도시)와 연결되어 사용될 수 있으며, VR 노래방 서비스를 위해 각 모듈을 제어하는 기능을 제공한다.
상기 회원정보 관리부(202)는 VR 노래방 서비스의 이용약관을 공지하고, 회원정보를 입력받아 회원정보 DB(214)로 저장한다.
상기 사용자 인증부(203)는 아이디(ID) 및 패스워드(Passwd)를 입력받아 VR 노래방 서비스의 사용자 인증을 처리한다.
상기 노래 선택 및 예약부(204)는 가요, 가곡, 팝송, 깐소네 등의 음악 장르별로 노래방 음원 데이타베이스에 저장된 곡들의 노래 리스트를 조회함으로써 사용자 단말기의 노래방 클라이언트(100)로부터 선택된 노래 정보 및 다음 선택곡의 예약 정보를 입력받는 기능을 제공한다. 이후, 상기 제어부(201)는 상기 노래 선택 및 예약부(204)로부터 선택된 음원과 예약된 곡 순으로 음원 재생부(208)를 구동시켜 비디오/오디오 코덱을 통해 실시간으로 음원을 재생되도록 한다.
상기 가상무대 제공부(205)는 가상무대 DB(217)로부터 사용자가 선택할 수 있는 다수의 가상 무대(Virtual Stage) 리스트를 제공한다. 사용자 단말기의 노래방 클라이언트(100)로부터 선택된 가상 무대는 천장에 설치된 빔 프로젝트(232)를 통해 벽면 전체 사이즈에 대형 프로젝트 스크린(270)으로 빔을 출력하도록 한다.
상기 가상캐릭터 제공부(206)는 가상 캐릭터 DB(218)로부터 다수의 가상 캐릭터(Virtual Character)의 리스트를 제공하고, 사용자 단말기의 노래방 클라이언트(100)로 부터 사용자가 원하는 가상 캐릭터를 선택(Interface based projected display 방식 사용)하면, 기 설정된 가상 무대상에 노래별 시나리오에 따라 사용자가 설정한 시작 위치로 선택된 가상캐릭터의 기본 움직임을 출력하도록 한다.
일실시예로, VR 노래방 서비스는 가상 캐릭터를 30개, 가상 무대를 10개로 사용하여 VR 노래방의 가상 무대 상의 사용자의 동작 인식에 따라 사용자의 X좌표의 위치가 중첩되지 않게 가상 캐릭터들을 노래방 서비스를 제공할 수 있다.
상기 볼륨/박자/음정 조절부(207)는 상기 노래방 클라이언트(100)의 제어 정보에 따라 현재 재생되는 음원의 볼륨, 박자, 음정을 조절한다.
상기 음원 재생부(208)는 사용자 단말기의 노래방 클라이언트(100)로부터 선택된 음원을 음원 DB(215)로부터 예약 순서대로 비디오/오디오 코덱을 통해 뮤직비디오 또는 음원을 출력한다.
상기 사용자 동작인식부(209)는 무대의 기준점(0,0)을 중심으로 서로 직교하 는 x축과 y축에 설치된 2대의 동작인식 카메라(IR 카메라)(233)로부터 입력받은 정보에 기초하여 사용자의 가상 무대상의 위치(X, Y 좌표) 및 사용자의 움직임의 세기(동작의 세기:0-10000)를 측정한다.
또한, 상기 사용자 동작인식부(209)는 2대의 동작인식 카메라(IR 카메라)(233)로부터 입력되는 사용자(노래부르는 사람)의 가상 무대상의 X, Y 좌표를 측정하여, 측정된 X좌표를 이용하여 사용자와 X좌표가 중복되지 않게 스크린 상의 가상 캐릭터의 X좌표를 변경시키고, 측정된 Y 좌표를 이용하여 가상 캐릭터의 가상 무대상에서의 원근감을 표현한다.
상기 VR 노래방 서버(200)는 각 가상 캐릭터의 16박자 단위의 모션을 저장하고 있는 모션 DB(216)를 및 모션 재활용부(210)를 포함한다.
상기 모션 재활용부(210)는 상기 사용자 동작인식부(209)로부터 제공된 사용자의 움직임의 세기(동작의 세기, 0-10000) 정보에 따라 10단계로 구분되어 인터렉션 알고리즘(interaction algorithm)을 사용하여 모션 DB(216)에 저장된 16박자 단위로 모션(머리 동작, 몸통 동작, 팔 동작, 다리 동작 등의 모션)을 적용하여 사용자의 동작을 선택된 가상 캐릭터의 모션 동작과 인터렉션(interaction) 시키는 기능을 제공한다.
상기 점수 제공부(211)는 선택된 음원 재생에 맞추어 노래를 부르는 사용자의 음정, 박자, 사용자의 움직임의 세기(무대에 한 명이 노래하는 경우 한 사람의 움직임의 세기, 무대에서 여러 명이 노래하는 경우 사람수로 나누어 평균을 낸 움직임의 세기)에 따라 레벨별로 기 설정된 기준치로 노래에 대한 점수(0-100점)를 제공한다.
상기 노래방 동영상 저장부(212)는 동작인식 카메라(IR 카메라)로부터 무대에서 노래하는 모습을 촬영한 동영상을 저장한다.
상기 과금 처리부(213)는 타이머에 의해 카운트된 VR 노래방 서비스의 사용 시간에 따라 과금을 처리하는 기능을 제공한다.
도 2c는 포토존의 얼굴인식 카메라에 의한 사용자의 얼굴 인식 및 캡춰, 가상 무대, 가상 캐릭터, 프로젝트에 의해 디스플레이되는 대형 스크린 및 동영상 카메라에 의한 벽걸이 TV로 듀얼 디스플레이되는 VR 노래방의 개념도이다.
도 2d는 본 발명의 일실시예에 따른 노래방 콘텐츠 배포 및 유통 시스템 구성도이다.
노래방 콘텐츠 배포 및 유통 시스템은 노래방 콘텐츠 배포 시스템(110), DRM 서버 시스템(120), 지역별로 분산된 다수의 지역 노래방 관리 서버(130a, 130b, 130c 등), 상기 지역 노래방 관리 서버(130a, 130b, 130c 등)에 의해 관리되는 다수의 VR 노래방 서버(200a, 200b, 200c)를 포함한다.
상기 노래방 콘텐츠 배포 시스템(110)은 다수의 지역 노래방 콘텐츠 관리 서버(130a, 130b, 130c 등)로 제공하는 VR 노래방 서비스를 위한 음원/가상무대/가상캐릭터/가상캐릭터의 모션 등의 3D 콘텐츠, 뮤직 비디오, 소정의 사용료를 지불하고 구매한 연예인 얼굴 사진 이미지 콘텐츠를 포함하는 VR 노래방 콘텐츠를 상기 DRM 서버 시스템(120)을 통해 3D 콘텐츠 또는 뮤직비디오 또는 연예인 얼굴 사진 이미지에 DRM(Digital Rights Management) 또는 워터마크(Watermark)를 적용하여 VR 노래방 콘텐츠의 저작권을 명시하여 인터넷을 통해 배포 및 유통한다.
노래방 콘텐츠 CP는 새로운 음원/가상무대/가상캐릭터/모션 등의 3D 콘텐츠, 뮤직비디오, 소정의 사용료를 구매한 사진 이미지 등의 디지털 컨텐츠의 저작권을 보호하기 위해 인증기관 서버(CA 서버)로 인증서 발급을 요청하여 인증서를 발급받은 후, 라이센스를 생성/발급/폐기하는 클리어링 하우스(clearing house)의 라이센스 발급 서버로 암호화 키(key) 및 암호화 정보를 등록하며, 상기 DRM 서버 시스템(120)의 패키저(packger)에 의해 암호화(encryption)하여 생성된 콘텐츠 식별번호(CID:Contents ID)와 메타데이타(저작권자, 판매자 정보, 가격 등)를 포함하는 DRM이 적용된 VR 노래방 콘텐츠를 노래방 콘텐츠 배포 시스템(110)으로부터 지역 노래방 관리 서버(130a, 130b, 130c 등)와 여러 지역에 분산된 VR 노래방 서버로 VR 노래방 콘텐츠를 등록하여 배포한다.
상기 인증기관 서버(CA 서버)는 DRM 서버 시스템(120)으로부터 인증서 발급을 요청받아, VR 노래방 콘텐츠에 대한 인증서를 발급한다.
상기 패키저(Packager)는 저작권 보호 대상인 VR 노래방 콘텐츠를 DRM 서버 시스템(120)으로부터 발급된 암호화 키(key)에 의해 암호화(encryption)하여 디지털 콘텐츠 식별 체계에 따라 콘텐츠 식별번호(CID:Contents ID) 및 metadata 정보(저작권자, 판매자 정보, 가격 등)를 포함하는 변환된 DRM이 적용된 VR 노래방 컨텐츠를 시큐어 컨테이너(Secure Container)로 패키징하는 과정을 수행한다.
상기 라이센스 발급 서버는 VR 노래방 콘텐츠 제작자의 패키저(packger)로부터 암호화 키(key) 및 암호화 정보를 수신받고, 가입자 관리 모듈에 의해 가입자 권한을 확인하고, 디지털 콘텐츠 배포 정책 및 라이센스 정책에 기초하여 사용자 단말의 DRM 클라이언트로부터 라이센스를 요청받아 이에 대응하는 발급된 라이센스(license)의 메타데이타를 전송한다.
결제 서버(PG server)는 사용자 단말의 DRM 클라이언트로부터 결제 요청을 수신받은 DRM 서버 시스템(120)으로부터 결제 요청을 받아 DRM 서비스 이용에 대한 과금을 실시하여 결제를 승인한다.
사용자 단말(컴퓨터)의 DRM 클라이언트는 노래방 콘텐츠 배포 시스템(110) 또는 지역 노래방 관리 서버(130a, 130b, 130c 등)로 접속하여 인증서를 발급 및 결제 후, 패키지 다운로드를 요청하여 다운받고, DRM 서버 시스템(120)으로 DRM 복호화키를 요청하여 이에 대한 응답으로 전송된 DRM 복호화 키를 수신받아, 콘텐츠 식별번호(CID:Contents ID)와 메타데이타(저작권자, 판매자 정보, 가격 등)를 포함하는 DRM이 적용된 VR 노래방 콘텐츠를 복호화(description)하여 재생하거나 디지털 콘텐츠를 다운로드 받아 사용한다.
상기 노래방 콘텐츠 배포 시스템(110)은 일실시예로 노래 700곡의 음원, 가상 무대 10개. 가상 캐릭터 30종류(1종별 3개), 16박자 단위로 된 단위 모션 200개 등의 3D 콘텐츠를 제작하여 유통 및 배포하게 된다.
상기 지역 노래방 관리 서버(130a, 130b, 130c 등)는 상기 노래방 콘텐츠 배포 시스템(110)으로부터 음원/모션/가상무대/가상캐릭터의 3D 콘텐츠 또는 뮤직비디오 또는 연예인 얼굴 사진 등의 VR 노래방 콘텐츠를 배포받아 저장하여 관리하고, 여러 지역에 분산된 복수개의 VR 노래방 서버(200a, 200b, 200c)로 상기 VR 노 래방 콘텐츠를 배포 및 유통하는 기능을 제공한다.
다른 실시예로, 노래방 콘텐츠 배포 및 유통 시스템(110)은 유통 및 배포 과정에서 상기 지역 노래방 관리 서버(130a, 130b, 130c 등)을 사용하지 않고, 노래방 콘텐츠 배포 시스템(110)이 DRM 서버 시스템(120)로부터 DRM이 적용된 VR 노래방 콘텐츠를 직접 다수의 VR 노래방 서버(200a, 200b, 200c)로 배급 유통할 수 있다.
상기 VR 노래방 시스템(200)은 노래 반주기 제조사로부터 음원 확보를 통해 음원에 대한 수익을 배분하고, 연예 매니지먼트사와 소정의 사용료를 지급하여 연예인 초상권을 확보하여 가상 캐릭터에 서비스 될 수 있으며, 룸 이용료를 지불하여 스타 노래방의 룸 임대가 가능하고, 노래방 고객으로부터 VR 노래방 서비스의 사용에 대한 서비스 이용료를 지불받아 매출을 증대시킬 수 있다.
도 3a 내지 3g는 VR 노래방에서 가상 무대(Virtual Stage), 가상 캐릭터와 상호작용(Interaction with Virtual Character), 듀얼 디스플레이(Dual Display), 프로젝트 디스플레이 기반의 인터페이스(Interface based projected display), 사용자 얼굴 인식 및 캡춰 기술, 사용자 동작 인식 기술, 및 모션 재활용 기술을 설명한 도면이다.
사용자 얼굴 인식 및 캡춰 기술은 상기 얼굴 인식 서버(300)에 의해 포토존(photo-zone)의 얼굴인식 카메라(310)에 의해 사용자 본인 또는 친구의 사진을 촬영하여, VR 노래방 서버(200)에 의해 가상 무대 상에서 코러스나 댄서로 역할을 하는 가상 캐릭터의 보디(body)에 합성하는 기능을 제공한다.
사용자 동작인식 기술은 x축과 y축에 설치된 2대의 동작인식 카메라(IR 카메라)(233)로부터 입력받은 사용자의 가상 무대의 위치(X, Y 좌표) 및 사용자의 움직임의 세기(동작의 세기,0-10000)를 측정한다. 또한, 상기 사용자 동작인식부(209)는 2대의 동작인식 카메라(IR 카메라)(233)로부터 입력되는 사용자(노래부르는 사람)의 가상 무대상의 X, Y 좌표를 측정하여, 측정된 X좌표를 이용하여 사용자와 X좌표가 중복되지 않도록 가상 캐릭터의 X좌표의 위치를 이동하고, 측정된 Y 좌표를 이용하여 가상캐릭터의 원근감을 표현한다.
상기 모션 재활용 기술은 인터렉션 알고리즘(interaction algorithm)을 사용하여 모션 DB(216)에 저장된 16박자 단위로 모션을 캡춰하여 머리 동작, 몸통 동작, 팔 동작, 다리 동작 등의 모션을 적용하여 다수의 가상 캐릭터의 모션 동작에 인터렉션 시키는 역할을 제공한다.
도 3a 내지 도 3b는 본 발명에 따른 VR 노래방 서비스 시스템에서 가상 무대(Virtual Stage), 가상 캐릭터와 상호작용(Interaction action with Virtual Character), 듀얼 디스플레이(Dual Display), 및 프로젝트 디스플레이 기반의 인터페이스(Interface based projected display)의 기본 개념을 설명하기 위한 도면이다.
도 3c는 가상 무대(Virtual Stage)를 설명한 도면이다.
가상 무대(Virtual Stage)는 상기 VR 노래방 서버(200)에서 제공하는 가상 무대 리스트를 보고, 노래방 클라이언트(100)를 사용하여 원하는 가상 무대를 선택하고, 사용자에 의해 선택된 가상 캐릭터와 함께 프로젝터(232)에 의해 프로젝트 디스플레이 방식으로 대형 프로젝트 스크린(270)으로 출력하는 인터페이스(Interface based projected display)를 제공한다.
VR 노래방 서비스 시스템은 몰입감을 높이기 위하여 벽면 전체 사이즈의 대형 프로젝트 스크린(270)을 설치하고, 천장에 설치된 프로젝터(232)와 거울을 이용하여 가상 무대, 가상 캐릭터, 및 노래 영상을 전송한다.
도 3d는 가상 캐릭터와 상호작용(Interaction action with Virtual Character)을 설명한 도면이다.
사용자는 노래방 클라이언트(100)를 사용하여 VR 노래방 서버(200)에서 제공되는 가상 캐릭터 리스트를 보고, 원하는 가상 캐릭터를 선택하면, VR 노래방 서버와 연결된 천장에 설치된 프로젝터(232)로부터 프로젝트 스크린(270)으로 출력하여 가상 무대 상에서 프로젝트 디스플레이 방식으로 인터페이스(Interface based projected display) 된다.
노래방 사용자는 디스플레이(Display) 기반의 입력 장치를 이용하여 가상캐릭터의 시작 위치를 설정하고, 노래별 시나리오에 따라 가상 캐릭터의 기본 움직임을 설정한다.
상기 VR 노래방 서버(200)는 측정된 사용자의 위치 데이터를 이용하여 가상 캐릭터의 위치 이동을 결정하고, 측정된 사용자의 움직임 세기 데이타를 이용하여 가상 캐릭터의 움직임을 결정한다.
도 3e는 듀얼 디스플레이(Dual Display)를 설명한 도면이다.
VR 노래방 서비스 시스템은 듀얼 디스플레이를 제공하여, VR 노래방에서 노 래하는 동안, 친구들은 프로젝터 디스플레이에 의한 대형 프로젝트 스크린(270)으로 무대의 주인공인 나를 보고, 나는 동영상 카메라(331)가 부착된 벽걸이 TV(330)를 통해 자신의 노래하는 모습과 친구들의 모습을 보게 된다.
즉, 듀얼 디스플레이(Dual Display)는 빔 프로젝트(232)를 통해 대형 프로젝트 스크린(270)으로 가상 무대를 배경으로 노래하는 동안 내가 선택한 백댄서, 밴드 코러스에 대한 가상 캐릭터를 출력하고, 무대에서 노래하는 사용자 자신의 모습을 동영상 카메라로 촬영된 벽걸이 TV(330)로 제공한다.
도 3f는 노래방 클라이언트를 사용하여 VR 노래방 서버로 접속하여 기본적인 노래방 기능을 사용하기 위해 노래 선택, 가상 무대 선택, 가상 캐릭터 선택, 노래, 볼륨/박자/음정 조절, 듀얼 디스플레이 감상, 점수 주기를 포함하는 VR 노래방 서비스 이용하는 기능을 제공한다.
도 3g는 본 발명에 따른 VR 노래방 서비스 시스템에 적용된 사용자의 얼굴을 실시간으로 인식하고 배경을 제외한 사용자의 얼굴을 캡춰하기 위한 사용자 얼굴 인식 및 캡춰 기술, 특정 범위 내에 있는 사용자의 동작을 인식하고 명령을 해석하여 외부 요소들이 반응(interaction)하게 하는 사용자 동작 인식 기술, 16박자 단위의 단위 모션들을 인터액션 알고리즘에 따라 재활용하기 위한 모션 재활용 기술을 설명한 도면이다.
도 4a 내지 4f는 VR 노래방의 사용 시나리오를 설명한 도면이다.
사용자는 자신의 친구들과 VR 노래방에 입장하고(도 4b), 사용자의 얼굴 사진을 촬영하러 포토존에 들어간다(도 4c). 포토존은 가발 등의 다양함 소품을 사용 하여 내사진 찍기를 통해 얼굴 인식 카메라(310)를 통해 재미있는 사진을 촬영하여 얼굴 인식 서버(300)로 저장한다. 노래방 클라이언트(100)는 사용자의 얼굴 부분을 오려내어 나의 사진방으로 사진을 등록 또는 삭제가 가능하며, 내사진 구경 기능을 제공한다(도 4d). 나는 탁자위의 사용자 단말기(예:태블릿 PC)에 설치된 노래방 클라이언트(100)를 사용하여 음악 장르별로 선곡한 노래 검색 및 선택, 노래 예약 및 취소, 예약곡 조회, 가상 무대 선택/변경, 가상 캐릭터 선택/변경, 선택한 가상 캐릭터와 합성할 2D/3D 사진 선택/변경, 뮤직 비디오 선택, 볼륨/박자/음정 조절한다(도 4e).
VR 노래방 서비스는 프로젝터(232)에 의해 프로젝트 스크린(270)으로 선택된 가상 무대와 사용자 얼굴 인식 사진이 합성된 가상 캐릭터들이 디스플레이되고, 동영상 카메라(331)가 부착된 벽걸이 TV(330)로 듀얼 디스플레이(Dual Display)되어, 노래하는 동안 친구들은 무대의 주인공인 나를 보고, 나는 동영상 카메라(331)로 촬영된 자신이 노래하는 모습과 가상 무대와 가상 캐릭터의 배경을 벽걸이 TV(330)를 통해 출력하며 친구들의 모습을 보며 노래하게 된다(도 4f).
노래방 이용 고객은 원하는 노래를 사용자 단말기(예:태블릿 PC)를 이용하여 선택하고, 노래별로 미리 연결된 가상 무대 배경과 가상 캐릭터가 마음에 들지 않으면 다양한 종류 중에서 다시 선택할 수 있다.
고객이 노래를 부르기 위해 무대에 올랐을 때, 포토존의 벽면에 설치된 얼굴 인식 카메라(310)로부터 얼굴 인식 서버(300)에 의해 사용자의 얼굴을 인식하여, VR 노래방 서버(200)는 포토존에서 찍었던 얼굴 사진을 코러스 또는 댄서 역할을 하는 가상캐릭터의 body와 합성하여 대형 프로젝트 스크린에 보여진다.
무대 위의 VR 노래방 고객이 노래를 하면서 이동하거나 춤을 추면, VR 노래방 서버(200)는 연결된 2대의 동작인식 카메라(IR 카메라)(233)로부터 사용자 동작 인식부(209)에 의해 고객의 움직임 세기와 위치(X, Y 좌표)를 측정하여 노래부르는 사람의 위치와 X좌표가 중복되지 않도록 프로젝트 스크린(270) 상의 3D 콘텐츠의 움직임을 제어하여 가상 캐릭터의 위치를 이동시키고, 다양하게 반응하여 재미를 증강시킨다.
사용자가 노래를 부르는 동안, 친구들은 사용자 단말기의 노래방 클라이언트(100)를 이용하여 프로젝트 스크린(270)으로 출력되는 가상 무대 배경과 가상 캐릭터를 변경할 수 있다. 또한, 노래방의 친구들은 단말기의 노래방 클라이언트(100)를 사용하여 코러스나 댄서 역할을 하는 가상 캐릭터와 합성된 실물 사진도 교체할 수 있다.
도 5는 얼굴인식 서버에서 얼굴 인식 카메라로부터 촬영된 사용자의 얼굴을 인식하는 실사 캐릭터 시스템의 구성도이다.
본 발명에 따른 얼굴 인식 서버의 사용자의 얼굴을 인식하는 실사 캐릭터 생성 시스템은, 크게 영상 입력부(10), 얼굴영역 검출부(20), 얼굴 특징점 추출부(30), 머리카락 추출부(40), 및 실사 캐릭터 생성부(50)로 이루어진다.
영상 입력부(10)는 포토존의 얼굴 인식 카메라(310)로부터 촬영된 정지영상 혹은 프레임 단위의 영상을 입력받는다.
상기 얼굴영역 검출부(20)는 상기 영상 입력부(10)를 통해 입력된 입력영상 으로부터 얼굴영역의 위치와 크기를 검출하고, 본 발명에서는 얼굴영역 검출 방법으로 공지의 방식을 이용한다.
상기 얼굴 특징점 추출부(30)는 상기 얼굴영역 검출부(20)로부터 검출된 얼굴영역 내에서 AAM(Active Appearance Model)에 IPCA(Incremental Principal Component Analysis)를 적용하여, 학습된 AAM 기저(Basis)를 업데이트함으로써 피팅 정확도가 높은 얼굴 특징점을 추출하고, 추출된 특징점의 위치를 기준으로 얼굴을 정규화한다. 이때, 얼굴 특징점을 추출함에 있어서, AAM 기저(Basis) 업데이트를 통해, 다양한 환경변화(얼굴의 크기 변화, 포즈 변화, 안경 및 장신구의 착용 여부, 조명 변화 등)에도 강인한 얼굴의 특징점(눈, 코, 입, 턱선 등의 얼굴의 특징 위치 정보)을 추출할 수 있다.
상기 얼굴 특징점 추출부(30)는, AAM으로 구성한 얼굴 영상과 입력 얼굴 영상의 차이를 최소화하는 AAM 파라미터를 획득하기 위한 모델 피팅부(31)와, 입력영상과 AAM 파라미터로 재생한 영상의 차이를 통해 피팅의 정확도를 판단하여, 피팅 정확도가 높은 얼굴 특징점을 출력하고 기저 업데이트를 유도하는 피팅 정확도 판단부(32)와, 얼굴 윤곽상에 존재하는 얼굴 특징점의 좌표를 구해서, 그 내부에 있는 텍스처 정보를 추출하는 정규화부(35)와, 피팅이 정확한 경우, 현재 입력영상의 AAM 에러를 측정하여 AAM 기저(Basis) 업데이트 여부를 판정하기 위한 기저 업데이트 판단부(33)와, IPCA(Incremental Principal Component Analysis)를 사용하여 현재 입력 영상을 기존 학습된 기저(Basis)에 추가하는 기저 업데이트부(34)를 포함한다.
본 발명에 따른 얼굴 인식 알고리즘은 AAM(Active Appearance Model)과 IPCA(Incremental Principal Component Analysis)를 사용한다. AAM에서는 사용자의 얼굴을 형태(Shape)와 텍스처(Texture)로 나누어 모델링하며, 기본적으로 얼굴 학습 데이터를 이용하여 평균 얼굴을 구성하고 외부에서 들어오는 영상 내의 얼굴 영역을 정해주면 그 얼굴에 비슷하게 수렴할 때까지 평균 얼굴의 형태와 텍스처의 파라미터가 변해가도록 설계한다. 이때, 형태와 텍스처 각각은 PCA(Principal Component Analysis)로 모델링된다.
AAM(Active Appearance Model)은 대상물(사용자의 얼굴)의 다양한 변형을 유연하게 표현할 수 있다는 장점이 있으므로, 얼굴 추적, 얼굴 특징점 추출, 표정 인식 등 다양한 분야에 적용되어 사용되고 있다.
하지만, AAM(Active Appearance Model)에서 형태와 텍스처 각각의 PCA(Principal Component Analysis) 모델은 학습에 이용한 얼굴 데이터에 의존하기 때문에, 학습에 이용한 데이터와 크게 다른 얼굴 입력 영상이 들어올 경우, 기존의 학습된 모델로는 새로운 얼굴 입력 영상을 잘 표현하지 못하는 경우가 발생하게 된다.
본 발명은 기존의 AAM(Active Appearance Model)에 IPCA(Incremental Principal Component Analysis)를 적용시켜, 학습된 AAM 기저(Basis)를 업데이트함으로써, 다양한 환경변화(얼굴의 크기 변화, 포즈 변화, 안경 및 장신구의 착용 여부, 조명 변화 등)에도 강인한 얼굴의 특징점(눈, 코, 입, 턱선 등의 얼굴의 특징 위치 정보) 추출 결과를 얻을 수 있다.
상기 머리카락 추출부(40)는 영상 입력부(10를 통해 입력된 입력영상에서 머리카락을 포함한 얼굴 주변만을 정규화한 영상)에서 배경영역 및 머리영역으로 확실시되는 작은 이미지 패치를 얻어, 이 패치의 히스토그램 정보와 확률적 해석 방법을 통해 배경영역을 제거하고 실사 머리카락을 추출한다.
상기 실사 캐릭터 생성부(50)는 상기 얼굴 특징점 추출부(30)로부터 얻어진 얼굴 정규화 영상과 머리카락 추출부(40)로부터 얻어진 머리카락 추출 영상을 정합하여 실사 캐릭터를 얻는다.
도 6a 내지 6c는 동작 인식 카메라(IR 카메라)로 촬영된 사진을 이용하여 사용자 동작 인식 기술을 사용하여 움직임의 세기를 측정한 도면이다.
도 6a는 동작 인식 카메라(IR 카메라)로 촬영된 현재 프레임 이미지(s1.jpg), 도 6b는 직전 프레임 이미지(s2.jpg), 도 6c는 영상 차이에 의한 프레임 이미지(s1-s2.jpg)를 나타낸 도면이다.
사용자 동작 인식 기술은 사용자(노래 부르는 사람)의 움직임 세기를 수치화한 값(0-10000)과 사용자의 무대상의 Y좌표 값을 이용한다.
(1) 동작인식 카메라(IR카메라)를 이용한 사용자의 움직임 세기 수치화 방법
동작인식 카메라(IR카메라)(233)는 1초에 약 20장의 영상정보를 생성한다.
상기 VR 노래방 서버(200)의 상기 사용자 동작 인식부(209)는 상기 영상정보(가로x세로:160x120)를 현재frame(s1.jpg)과 직전frame(s2.jpg) 정보로 항상 비교할 준비를 하고, 영상 데이터간에 substract(각각의 pixel마다 값을 서로 빼서 절대값을 취한다) 데이터(s1-s2.jpg)를 얻는다. 상기 사용자 동작 인식부(209)는 특정 임계치를 넘는(노이즈제거) 데이터를 추출하면, 이는 영상의 변화 정보(동작인식정보)를 담게 된다. 상기 사용자 동작 인식부(209)는 이 값들을 전체 영상정보 면적으로 나누어 평균을 구한다.
사용자의 움직임의 세기는 동작의 변화가 클 수록 평균값이 커지며, 동작의 변화가 작을 수록 0의 값이 된다.
도 6c는 현재 프레임 이미지(s1.jpg)에 이전 프레임 이미지(s2.jpg)의 영상의 차이에 의한 frame 이미지(s1-s2.jpg)를 나타내고, 검은 색은 동일한 부분이고, 밝은 색의 점들이 현재 프레임 이미지와 다른 부분을 뜻하며, 상대적으로 큰 값으로 출력된다.
(2) IR카메라를 이용한 사용자의 Y-좌표값 측정 방법
IR카메라를 이용한 사용자의 Y-좌표값 측정 방법은 위의 (1)방법에 의해 구한 차이 이미지에서 밝은 점의 평균위치를 구하는 단계; 사용자의 움직임의 좌표를 구하는 단계; IR 카메라가 노래방의 벽면에 설치되므로 좌우 움직임이 y-좌표값에 대응되므로 위아래의 움직임 데이터를 무시하는 단계로 이루어진다.
도 7은 본 발명의 일실시예에 따른 VR 노래방 서비스 방법을 설명한 흐름도이다.
VR 노래방 서비스의 사용시간을 설정하여 이용 요금을 지불하면 지불 정보가 VR 노래방 서버(200)로 저장되고(단계 S10), VR 노래방 서버(200)는 타이머를 작동하여 타이머의 시간을 계수하기 시작한다(단계 S11).
상기 얼굴 인식 서버(300)가 포토존의 터치스크린(320)을 사용하여 얼굴인식 카메라(310)로부터 입력된 영상으로부터 얼굴 영역을 검출하여 촬영된 사용자의 얼굴 사진을 저장한다(단계 S12).
상기 VR 노래방 서버(200)가 사용자가 단말기의 노래방 클라이언트(100)로부터 제어 정보를 입력받아 노래 선택 및 예약/취소, 가상 무대 선택, 가상 캐릭터 선택하고, 가상 캐릭터와 촬영된 사용자의 얼굴 사진을 합성하며, 뮤직비디오 선택, 볼륨/박자/음정을 조절한다(단계 S13).
VR 노래방 서버(200)는 상기 얼굴 인식 서버(300)와 연결되어 선택된 가상캐릭터에 상기 얼굴 인식 서버(300)로부터 제공받은 사용자의 얼굴 사진을 합성하여 선택된 가상 무대와 함께 천장에 설치된 빔 프로젝터(232)를 통해 프로젝트 스크린(270)으로 출력한다.
VR 노래방 서버(200)의 사용자 동작인식부(209)가 동작인식 카메라(IR 카메라)(233)로부터 한 사람의 노래하는 경우 사용자의 움직임의 세기 및 무대의 기준점(0,0)을 기준으로 위치 좌표(X, Y 좌표)를 측정한다(단계 S16).
여러 명이 노래하는 경우, 사용자 동작인식부(209)에 의해 측정된 사용자의 움직임의 세기는 무대에서 노래하는 전체 사용자의 움직임의 세기를 사용자의 수로 나누어진 평균치의 움직임의 세기를 사용하거나 또는 사용자의 위ㅊ 좌표는 상대적으로 움직임의 세기가 가장 큰 사람의 위치 좌표(X, Y 좌표)를 사용한다(단계 S16).
상기 VR 노래방 서버(200)가 2대의 동작 인식 카메라(IR 카메라)(233)로부터 X, Y 좌표를 측정하여 무대에서 노래를 부르는 사용자와 X좌표가 중첩되지 않도록 가상 캐릭터의 X좌표의 위치를 이동시키고, 측정된 Y 좌표를 이용하여 가상 무대상의 가상캐릭터의 원근감을 표현되도록 빔 프로젝트(232)를 통해 프로젝트 스크린(270)으로 출력한다(단계 S17).
상기 VR 노래방 서버(200)는 동작 인식 카메라(IR 카메라)(233)로부터 사용자의 움직임의 세기 정보를 입력받아 10단계로 구분된 16박자 단위의 모션 데이타를 모션 DB(216)로부터 추출하여 사용자가 선택한 가상 캐릭터와 동작을 인터렉션 시킨다(단계 S18).
상기 VR 노래방 서버(200)는 노래 한 곡을 다 부를 때마다, 선택된 음원 재생에 맞추어 노래를 부르는 사람의 음정, 박자, 사용자의 움직임의 세기(무대에 한 명이 노래하는 경우 한 사람의 움직임의 세기, 무대에서 여러 명이 노래하는 경우 사람수로 나누어 평균을 낸 움직임의 세기)에 따라 레벨별로 기 설정된 평가 기준에 따라 노래에 대한 점수 주기(0-100점) 기능을 제공한다. 또한, 상기 VR 노래방 서버(200)는 노래할 때 가상 무대를 배경으로 한 촬영된 노래 동영상을 메모리에 저장하여, 인터넷 상에서 다운로드 서비스를 제공할 수 있다(단계 S19).
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
전술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 VR 노래방 서비스 시스템 및 방법은 단말기의 노래방 클라이언트를 사용하여 VR 노래방 서버에 접속하여 노래 선택 및 예약, 가상무대(Virtual Stage) 및 가상 캐릭터(Interaction with Virtual Character)를 선택하고 포토존에서 인식된 사용자 얼굴을 가상캐릭터에 합성하여, 가상 무대를 배경으로 노래하는 동안 내가 선택한 백댄서, 밴드 코러스에 대한 가상 캐릭터 및 음악과 함께 노래하는 사람의 배경 화면을 프로젝터를 통해 프로젝트 스크린으로 출력하고, 무대에서 노래하는 사람의 자신의 모습을 동영상 카메라가 부착된 벽걸이 TV로 듀얼 디스플레이(Dual Display)를 제공하여 노래하는 동안 친구들은 무대의 주인공인 나를 보고 나는 벽걸이 TV를 통해 친구들의 모습을 볼 수 있고, 볼륨/박자/음정 조절부에 따라 스피커로 음향을 출력하고, 촬영한 노래방 동영상을 저장하여 다운로드 서비스를 제공하는 효과가 있다.

Claims (32)

  1. VR 노래방 서비스 시스템으로서,
    카메라로부터 입력된 영상으로부터 사용자의 얼굴 영역을 검출하여 촬영하기 위한 얼굴 인식 서버; 및
    사용자 단말기로부터 입력된 제어 정보에 따라 노래 검색 및 노래 예약을 수행하는 노래방 기본 기능과, 가상 무대 및 가상 캐릭터 선택/변경, 상기 얼굴 인식 서버로부터 제공된 사용자 얼굴 사진과 가상 캐릭터와 합성 기능, 사용자 동작 인식 기능, 사용자의 움직임을 선택된 가상 캐릭터의 모션으로 인터렉션 시키는 모션 재활용 기능을 제공하는 VR 노래방 서버;
    를 포함하는 VR 노래방 서비스 시스템.
  2. 제 1 항에 있어서,
    상기 VR 노래방 서버와 연결되고, 상기 사용자 단말기에 설치되어 VR 노래방 서비스를 위한 사용자 인터페이스를 제공하며, 상기 VR 노래방 서버로 사용자의 선택에 따라 제어 정보를 전송하는 노래방 클라이언트를 더 포함하는 VR 노래방 서비스 시스템.
  3. 제 1 항에 있어서,
    상기 사용자 단말기는,
    태블릿 PC(Tablet PC), 노트북, 개인 휴대용 단말기(PDA), 핸드헬드 PC, 휴대인터넷(WiBro) 단말기 중 어느 하나의 단말기를 사용하며, 무선랜 카드 또는 유선 LAN 카드로 상기 VR 노래방 서버가 설치된 컴퓨터와 네트워크로 연결되는 것을 특징으로 하는 VR 노래방 서비스 시스템.
  4. 제 3 항에 있어서,
    상기 VR 노래방 서버가 설치된 컴퓨터는,
    동작인식 카메라와 연결되고, 음성 및 노래방 음원을 출력하기 위한 하나 이상의 스피커/앰프 및 노래를 부르는 사람의 음성을 입력받기 위한 유선 또는 무선 마이크, 천장에 설치된 빔 프로젝터와 연결되는 것을 특징으로 하는 VR 노래방 서비스 시스템.
  5. 제 1 항에 있어서,
    상기 얼굴 인식 서버는,
    사용자의 얼굴 사진을 촬영하기 위한 적어도 하나 이상의 카메라 및 터치 스크린과 연결된 컴퓨터에 설치되는 것을 특징으로 하는 VR 노래방 서비스 시스템.
  6. 제 1 항에 있어서,
    노래하는 동안 사용자가 선택한 가상 캐릭터를 가상 무대를 배경으로 출력하기 위한 대형 프로젝트 스크린; 및
    동영상 카메라로 촬영된 노래하는 사용자의 모습을 출력하기 위한 동영상 카메라가 부착된 벽걸이 TV를 더 포함함으로써, 듀얼 디스플레이(Dual Display)를 제공하는 것을 특징으로 하는 VR 노래방 서비스 시스템.
  7. 제 1 항에 있어서,
    상기 VR 노래방 서버는,
    VR 노래방 서비스를 위해 각 모듈을 제어하기 위한 제어부;
    음악 장르별로 노래방 음원 데이타베이스에 저장된 곡들의 노래 리스트를 조회하여 사용자에 의해 선택된 노래 선택 및 예약 정보를 입력받기 위한 노래 선택 및 예약부;
    가상무대 DB로부터 사용자가 선택할 수 있는 다수의 가상 무대(Virtual Stage)를 제공하기 위한 가상무대 제공부;
    가상 캐릭터 DB로부터 다수의 가상 캐릭터(Virtual Character)의 리스트를 제공하고, 사용자에 의해 기 설정된 가상 무대상에 노래별 시나리오에 따라 선택된 가상캐릭터의 기본 움직임을 출력하기 위한 가상캐릭터 제공부;
    재생되는 음원의 볼륨, 박자, 음정을 조절하기 위한 볼륨/박자/음정 조절부; 및
    음원 DB로부터 선택된 음원을 예약된 순서대로 비디오/오디오 코덱을 통해 음원 또는 뮤직비디오를 출력하기 위한 음원 재생부;
    를 포함하는 VR 노래방 서비스 시스템.
  8. 제 7 항에 있어서,
    상기 제어부는 웹서버와 연결되어 사용되는 것을 특징으로 하는 VR 노래방 서비스 시스템.
  9. 제 7 항에 있어서,
    선택된 음원 재생에 맞추어 노래를 부르는 사용자의 음정, 박자, 사용자의 움직임의 세기에 따라 레벨별로 기 설정된 평가 기준에 따라 노래에 대한 점수를 제공하기 위한 점수 제공부를 더 포함하는 VR 노래방 서비스 시스템.
  10. 제 7 항에 있어서,
    상기 VR 노래방 서버는,
    기준점을 중심으로 서로 직교하는 x축과 y축에 설치된 2대의 동작인식 카메라로부터 입력받은 정보에 기초하여 사용자의 위치 좌표(X, Y 좌표) 및 사용자의 움직임의 세기를 수치화하여 측정하기 위한 사용자 동작인식부를 더 포함하는 VR 노래방 서비스 시스템.
  11. 제 10 항에 있어서,
    상기 동작인식 카메라는 IR 카메라인 것을 특징으로 하는 VR 노래방 서비스 시스템.
  12. 제 10 항에 있어서,
    상기 사용자 동작인식부는,
    상기 동작인식 카메라로부터 입력되는 사용자의 가상 무대상의 X, Y 좌표를 측정하고, 측정된 X좌표를 이용하여 사용자의 X좌표와 중첩되지 않게 스크린 상의 가상 캐릭터의 X좌표를 변경시키고, 측정된 Y 좌표를 이용하여 가상 캐릭터의 가상 무대상에서의 원근감을 표현하는 것을 특징으로 하는 VR 노래방 서비스 시스템.
  13. 제 10 항에 있어서,
    상기 사용자 동작인식부는,
    노래하는 사용자가 2명 이상인 경우, 사용자의 움직임의 세기로서 전체 사용자의 움직임의 세기를 사용자의 수로 나눈 값을 이용하고, 사용자의 위치 좌표로서 움직임의 세기가 가장 큰 사용자의 위치 좌표를 이용하는 것을 특징으로 하는 VR 노래방 서비스 시스템.
  14. 제 7 항에 있어서,
    상기 VR 노래방 서버는,
    각 가상 캐릭터의 소정의 박자 단위 모션을 저장하고 있는 모션 DB; 및
    상기 사용자 동작인식부로부터 제공된 사용자의 움직임의 세기 정보에 따라 인터렉션 알고리즘(interaction algorithm)을 사용하여 상기 모션 DB에 저장된 가 상 캐릭터의 모션을 적용하여 사용자의 동작을 선택된 가상 캐릭터의 모션과 인터렉션시키는 모션 재활용부를 더 포함하는 VR 노래방 서비스 시스템.
  15. 제 7 항에 있어서,
    상기 VR 노래방 서버는,
    사용자가 노래하는 모습을 촬영한 동영상을 저장하기 위한 노래방 동영상 저장부를 더 포함하는 VR 노래방 서비스 시스템.
  16. 제 7 항에 있어서,
    상기 VR 노래방 서버는,
    상기 VR 노래방 서비스를 위한 이용약관을 공지하고, 회원정보를 저장하기 위한 회원정보 관리부; 및
    VR 노래방 서비스의 사용자 인증을 처리하기 위한 사용자 인증부;
    를 더 포함하는 VR 노래방 서비스 시스템.
  17. 제 7 항에 있어서,
    상기 VR 노래방 서버는,
    가상 무대 및 가상 캐릭터를 사용하지 않고, 선택된 노래방 음원에 적합한 기 설정된 뮤직 비디오를 제공하는 뮤직비디오 제공부를 더 포함하는 VR 노래방 서비스 시스템.
  18. 제 7 항에 있어서,
    상기 VR 노래방 서버는,
    사용시간에 따라 과금을 하기 위해 VR 노래방 서비스의 사용시간을 계수하는 타이머를 더 포함하는 VR 노래방 서비스 시스템.
  19. 제 7 항 또는 제 18 항에 있어서,
    상기 타이머에 의해 카운트된 VR 노래방 서비스의 사용 시간에 따라 과금을 처리하기 위한 과금 처리부를 더 포함하는 VR 노래방 서비스 시스템.
  20. 제 1 항에 있어서,
    상기 얼굴 인식 서버는,
    얼굴 인식 카메라로부터 촬영된 정지영상 혹은 프레임 단위의 영상을 입력받기 위한 영상 입력부;
    상기 영상 입력부를 통해 입력된 프레임 단위 영상에서 얼굴영역의 위치와 크기를 검출하기 위한 얼굴영역 검출부;
    상기 얼굴영역 검출부로부터 검출된 얼굴영역 내에서 AAM(Active Appearance Model)에 IPCA(Incremental Principal Component Analysis)를 적용하여, 학습된 AAM 기저(Basis)를 업데이트함으로써 피팅 정확도가 높은 얼굴 특징점(눈, 코, 입, 턱선 등의 얼굴의 특징 위치 정보)을 추출하고, 추출된 특징점의 위치를 기준으로 얼굴을 정규화하기 위한 얼굴 특징점 추출부;
    상기 영상 입력부를 통해 입력된 입력영상에서 머리카락을 포함한 얼굴 주변만을 정규화한 영상)에서 배경영역 및 머리영역으로 확실시되는 작은 이미지 패치를 얻어, 이 패치의 히스토그램 정보와 확률적 해석 방법을 통해 배경영역을 제거하고 실사 머리카락을 추출하기 위한 머리카락 추출부; 및
    상기 얼굴 특징점 추출부로부터 얻어진 얼굴 정규화 영상과 상기 머리카락 추출부로부터 얻어진 머리카락 추출 영상을 정합하여 실사 캐릭터를 얻기 위한 실사 캐릭터 생성부;
    를 포함하는 VR 노래방 서비스 시스템.
  21. VR 노래방 서비스 콘텐츠 배포 및 유통 시스템으로서,
    사용자 단말로부터 입력된 제어 정보에 따라 노래 검색 및 노래 예약을 수행하는 노래방 기본 기능, 가상 무대 및 가상 캐릭터 선택/변경 기능, 상기 얼굴 인식 서버로부터 제공된 사용자 얼굴 사진과 가상 캐릭터와 합성 기능, 사용자 동작 인식 기능, 및 사용자의 움직임을 선택된 가상 캐릭터의 모션으로 인터렉션 시키는 모션 재활용 기능을 제공하는 VR 노래방 서버;
    VR 노래방 서비스를 위한 음원, 가상무대, 가상캐릭터 및 가상캐릭터의 모션을 포함하는 VR 노래방 콘텐츠를 인터넷을 통해 상기 복수개의 VR 노래방 서버로 배포 및 유통하기 위한 노래방 콘텐츠 배포 시스템; 및
    상기 노래방 콘텐츠 배포 시스템과 연결되어, VR 노래방 콘텐츠에 DRM 또는 워터마크를 적용하여 저작권을 보호하기 위한 DRM 서버 시스템;
    를 포함하는 VR 노래방 서비스 콘텐츠 배포 및 유통 시스템.
  22. 제 21 항에 있어서,
    상기 노래방 콘텐츠 배포 시스템으로부터 상기 VR 노래방 콘텐츠를 배포받아 저장하여 관리하고, 여러 지역에 분산된 상기 복수개의 VR 노래방 서버로 상기 VR 노래방 콘텐츠를 배포 및 유통하기 위한 지역 노래방 관리 서버;
    를 더 포함하는 VR 노래방 서비스 콘텐츠 배포 및 유통 시스템.
  23. VR 노래방 서비스 방법으로서,
    (a) 얼굴 인식 서버가 카메라로부터 입력된 영상으로부터 사용자의 얼굴 영역을 검출하여 촬영된 사용자의 얼굴 사진을 저장하는 단계;
    (b) VR 노래방 서버가 사용자 단말기의 노래방 클라이언트의 제어에 따라 노래, 가상 무대, 가상 캐릭터를 선택하는 단계;
    (c) 상기 VR 노래방 서버가 선택된 가상 캐릭터에 얼굴 인식 서버로부터 제공받은 사용자의 얼굴 사진을 합성하는 단계;
    (d) 상기 VR 노래방 서버의 사용자 동작 인식부가 동작인식 카메라를 이용하여 노래하고 있는 사용자의 움직임의 세기 및 기준점에 대한 사용자의 위치 좌표(X,Y 좌표)를 측정하는 단계;
    (e) 노래를 부르는 사용자의 X좌표와 중첩되지 않도록 가상 무대상의 가상 캐릭터의 X좌표를 변경시키고, 측정된 Y 좌표를 이용하여 가상 무대상의 가상캐릭터의 원근감을 표현하여 스크린으로 출력하는 단계; 및
    (f) 상기 VR 노래방 서버의 사용자 동작인식부로부터 상기 사용자의 움직임의 세기 정보를 입력받아 모션 DB로부터 선택된 가상캐릭터의 모션을 추출하여 사용자의 움직임과 가상 캐릭터의 모션을 인터렉션 시키는 단계;
    를 포함하는 VR 노래방 서비스 방법.
  24. 제 23 항에 있어서,
    상기 단계 (a) 이전에,
    상기 VR 노래방 서비스를 위한 이용약관을 공지하고, 회원정보를 저장하는 단계; 및
    VR 노래방 서비스의 사용자를 인증하는 단계;
    를 더 포함하는 VR 노래방 서비스 방법.
  25. 제 23 항에 있어서,
    상기 VR 노래방 서버가 VR 노래방 서비스의 사용시간을 설정하여 이용 요금을 지불 정보를 저장하고, 타이머를 작동하여 타이머의 시간을 계수하기 시작하는 단계를 더 포함하는 VR 노래방 서비스 방법.
  26. 제 23 항에 있어서,
    상기 단계 (a)는,
    (a1) 상기 얼굴 인식 서버에 연결된 얼굴 인식 카메라로부터 촬영된 정지영상 혹은 프레임 단위의 영상을 영상입력부로 입력받는 단계;
    (a2) 상기 영상 입력부를 통해 입력된 프레임 단위 영상으로부터 얼굴 영역 검출부에 의해 얼굴영역의 위치와 크기를 검출하는 단계;
    (a3) 상기 얼굴영역 검출부로부터 검출된 얼굴영역 내에서 얼굴 특징점 추출부에 의해 AAM(Active Appearance Model)에 IPCA(Incremental Principal Component Analysis)를 적용하여, 학습된 AAM 기저(Basis)를 업데이트함으로써 피팅 정확도가 높은 얼굴 특징점(눈, 코, 입, 턱선 등의 얼굴의 특징 위치 정보)을 추출하고, 추출된 특징점의 위치를 기준으로 얼굴을 정규화하는 단계;
    (a4) 상기 영상 입력부를 통해 입력된 입력 영상으로부터 머리카락 추출부에 의해 머리카락을 포함한 얼굴 주변만을 정규화한 영상)에서 배경영역 및 머리영역으로 확실시되는 작은 이미지 패치를 얻어, 이 패치의 히스토그램 정보와 확률적 해석 방법을 통해 배경영역을 제거하고 실사 머리카락을 추출하는 단계; 및
    (a5) 실사 캐릭터 생성부에 의해 상기 얼굴 특징점 추출부로부터 얻어진 얼굴 정규화 영상과 상기 머리카락 추출부로부터 얻어진 머리카락 추출 영상을 정합하여 실사 캐릭터를 얻는 단계;
    를 더 포함하는 VR 노래방 서비스 방법.
  27. 제 23 항에 있어서,
    상기 단계 (d)에서,
    노래하는 사용자가 2명 이상인 경우, 사용자의 움직임의 세기로서 전체 사용자의 움직임의 세기를 사용자의 수로 나눈 값을 이용하고, 사용자의 위치 좌표로서 움직임의 세기가 가장 큰 사용자의 위치 좌표를 이용하는 것을 특징으로 하는 VR 노래방 서비스 방법.
  28. 제 23 항에 있어서,
    상기 가상 무대 및 가상 캐릭터를 사용하지 않는 경우, 선택된 노래방 음원에 적합한 기 설정된 뮤직 비디오를 제공하는 단계를 더 포함하는 VR 노래방 서비스 방법.
  29. 제 23 항에 있어서,
    상기 VR 노래방 서 비스 사용시간에 따라 과금을 하기 위해 VR 노래방 서비스의 사용시간을 타이머에 의해 계수하여, 상기 타이머에 의해 카운트된 VR 노래방 서비스의 사용 시간에 따라 과금하는 단계를 더 포함하는 VR 노래방 서비스 방법.
  30. 제 23 항에 있어서,
    상기 VR 노래방 서버에 의해 선택된 음원 재생에 맞춰 노래를 부르는 사람의 음정, 박자, 사용자의 움직임의 세기에 따라 측정된 레벨별로 기 설정된 평가 기준에 따라 노래에 대한 점수를 스크린으로 출력하는 단계를 더 포함하는 VR 노래방 서비스 방법.
  31. 제 23 항에 있어서,
    상기 가상 무대를 배경으로 한 촬영된 노래 동영상을 저장하는 단계; 및
    상기 촬영된 노래 동영상을 인터넷을 통해 다운로드 서비스를 제공하는 단계를 더 포함하는 VR 노래방 서비스 방법.
  32. 컴퓨터에, (a) 얼굴인식 서버가 카메라로부터 입력된 영상으로부터 사용자의 얼굴 영역을 검출하여 촬영된 사용자의 얼굴 사진을 저장하는 기능;
    (b) VR 노래방 서버가 사용자 단말기의 노래방 클라이언트의 제어에 따라 노래, 가상 무대, 가상 캐릭터를 선택하는 기능;
    (c) 상기 VR 노래방 서버가 선택된 가상 캐릭터에 얼굴 인식 서버로부터 제공받은 사용자의 얼굴 사진을 합성하는 기능;
    (d) 상기 VR 노래방 서버의 사용자 동작 인식부가 동작인식 카메라를 이용하여 노래하고 있는 사용자의 움직임의 세기 및 기준점에 대한 사용자의 위치 좌표(X,Y 좌표)를 측정하는 기능;
    (e) 노래를 부르는 사용자의 X좌표와 중첩되지 않도록 가상 캐릭터의 X좌표를 변경시키고, 측정된 Y 좌표를 이용하여 가상 무대상의 가상캐릭터의 원근감을 표현하여 스크린으로 출력하는 기능; 및
    (f) 상기 VR 노래방 서버의 사용자 동작인식부로부터 상기 사용자의 움직임 의 세기 정보를 입력받아 모션 DB로부터 선택된 가상캐릭터의 모션을 추출하여 사용자의 움직임과 가상 캐릭터의 모션을 인터렉션 시키는 기능;
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020070054403A 2007-06-04 2007-06-04 Ｖｒ 노래방 서비스 시스템 및 방법 KR20080106676A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070054403A KR20080106676A (ko) 2007-06-04 2007-06-04 Ｖｒ 노래방 서비스 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070054403A KR20080106676A (ko) 2007-06-04 2007-06-04 Ｖｒ 노래방 서비스 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20080106676A true KR20080106676A (ko) 2008-12-09

Family

ID=40367285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070054403A KR20080106676A (ko) 2007-06-04 2007-06-04 Ｖｒ 노래방 서비스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20080106676A (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101050107B1 (ko) * 2009-11-04 2011-07-19 박면진 영상 제어 장치
WO2012138195A2 (ko) * 2011-04-07 2012-10-11 주식회사 썬스타 노래방 시스템 및 이에 적합한 재생 방법 및 반주 예약 방법
KR101268640B1 (ko) * 2011-06-17 2013-06-04 (주)디스트릭트홀딩스 대형 스크린을 위한 디스플레이 시스템 및 그 시스템의 동작 방법
KR101289385B1 (ko) * 2012-04-17 2013-07-29 전자부품연구원 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템
KR101295862B1 (ko) * 2010-11-25 2013-08-12 에스케이플래닛 주식회사 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
WO2015133667A1 (ko) * 2014-03-07 2015-09-11 이모션웨이브 주식회사 혼합현실형 공연 서비스를 위한 온라인 가상무대 시스템
CN105163191A (zh) * 2015-10-13 2015-12-16 腾叙然 一种将虚拟现实设备运用在ktv卡拉ok的系统和方法
WO2018038485A1 (ko) * 2016-08-22 2018-03-01 강두환 가상현실 어트랙션 제어 방법 및 시스템
CN108614636A (zh) * 2016-12-21 2018-10-02 北京灵境世界科技有限公司 一种3d实景vr制作方法
CN111679771A (zh) * 2020-06-09 2020-09-18 安徽励展文化科技有限公司 一种虚拟现实展厅互动系统
CN111861266A (zh) * 2020-07-31 2020-10-30 贵州东冠科技有限公司 基于监狱管理的教育改造学习系统
CN113824993A (zh) * 2021-09-24 2021-12-21 北京市商汤科技开发有限公司 一种视频处理的方法、装置、电子设备及存储介质
KR20230088142A (ko) 2021-12-10 2023-06-19 경운대학교 산학협력단 Vr 콘서트 노래방 시스템
CN117237576A (zh) * 2023-11-15 2023-12-15 太一云境技术有限公司 一种元宇宙ktv服务方法及系统
CN117560527A (zh) * 2023-11-22 2024-02-13 北京风平智能科技有限公司 一种数字人aigc视频安全防伪方法及装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101050107B1 (ko) * 2009-11-04 2011-07-19 박면진 영상 제어 장치
KR101295862B1 (ko) * 2010-11-25 2013-08-12 에스케이플래닛 주식회사 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
WO2012138195A2 (ko) * 2011-04-07 2012-10-11 주식회사 썬스타 노래방 시스템 및 이에 적합한 재생 방법 및 반주 예약 방법
WO2012138195A3 (ko) * 2011-04-07 2013-01-10 주식회사 썬스타 노래방 시스템 및 이에 적합한 재생 방법 및 반주 예약 방법
KR101268640B1 (ko) * 2011-06-17 2013-06-04 (주)디스트릭트홀딩스 대형 스크린을 위한 디스플레이 시스템 및 그 시스템의 동작 방법
KR101289385B1 (ko) * 2012-04-17 2013-07-29 전자부품연구원 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템
WO2015133667A1 (ko) * 2014-03-07 2015-09-11 이모션웨이브 주식회사 혼합현실형 공연 서비스를 위한 온라인 가상무대 시스템
CN105163191A (zh) * 2015-10-13 2015-12-16 腾叙然 一种将虚拟现实设备运用在ktv卡拉ok的系统和方法
WO2018038485A1 (ko) * 2016-08-22 2018-03-01 강두환 가상현실 어트랙션 제어 방법 및 시스템
US10617963B2 (en) 2016-08-22 2020-04-14 Too Hwan Kang Method and system for controlling virtual reality attraction
CN108614636A (zh) * 2016-12-21 2018-10-02 北京灵境世界科技有限公司 一种3d实景vr制作方法
CN111679771A (zh) * 2020-06-09 2020-09-18 安徽励展文化科技有限公司 一种虚拟现实展厅互动系统
CN111861266A (zh) * 2020-07-31 2020-10-30 贵州东冠科技有限公司 基于监狱管理的教育改造学习系统
CN113824993A (zh) * 2021-09-24 2021-12-21 北京市商汤科技开发有限公司 一种视频处理的方法、装置、电子设备及存储介质
KR20230088142A (ko) 2021-12-10 2023-06-19 경운대학교 산학협력단 Vr 콘서트 노래방 시스템
CN117237576A (zh) * 2023-11-15 2023-12-15 太一云境技术有限公司 一种元宇宙ktv服务方法及系统
CN117560527A (zh) * 2023-11-22 2024-02-13 北京风平智能科技有限公司 一种数字人aigc视频安全防伪方法及装置

Similar Documents

Publication Publication Date Title
KR20080106676A (ko) Ｖｒ 노래방 서비스 시스템 및 방법
CN107172497B (zh) 直播方法、装置及系统
JP6550156B2 (ja) ライブストリーミング映像生成方法及び装置、ライブサービス提供方法及び装置、並びにライブストリーミングシステム
TW544615B (en) Secure uniform resource locator system
CN107818243B (zh) 通过基于交互的认证的内容激活、系统和方法
TWI255141B (en) Method and system for real-time interactive video
CN108337532A (zh) 演出片段的标注方法、视频播放方法、装置及系统
CN111246232A (zh) 直播互动方法、装置、电子设备及存储介质
CN111050222B (zh) 一种虚拟物品发放方法、装置和存储介质
US20190102929A1 (en) Methods and systems for mediating multimodule animation events
US20180234708A1 (en) Live streaming image generating method and apparatus, live streaming service providing method and apparatus, and live streaming system
CN111031386B (zh) 基于语音合成的视频配音方法、装置、计算机设备及介质
CN110163066B (zh) 多媒体数据推荐方法、装置及存储介质
JP2003016475A (ja) 画像コミュニケーション機能付き情報端末装置および画像配信システム
CN112235635B (zh) 动画显示方法、装置、电子设备及存储介质
WO2009036415A1 (en) System, apparatus, software and process for integrating video images
CN112511850A (zh) 连麦方法、直播显示方法、装置、设备及存储介质
TW201535358A (zh) 互動節拍特效系統及互動節拍特效處理方法
CN110533585A (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
US11871089B2 (en) Video modification and transmission using tokens
JP6563580B1 (ja) コミュニケーションシステム及びプログラム
CN111031391A (zh) 视频配乐方法、装置、服务器、终端及存储介质
CN110324650A (zh) 数据匹配的方法、装置、电子设备及存储介质
US6778998B2 (en) Signal acquiring apparatus, database, database system, signal presenting system, and signal acquiring, storing, and presenting system
TW202109364A (zh) 電子裝置及基於情緒的內容推送方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid