KR102514373B1 - 노래방 서비스 제공 시스템 및 그 방법 - Google Patents

노래방 서비스 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR102514373B1
KR102514373B1 KR1020210087854A KR20210087854A KR102514373B1 KR 102514373 B1 KR102514373 B1 KR 102514373B1 KR 1020210087854 A KR1020210087854 A KR 1020210087854A KR 20210087854 A KR20210087854 A KR 20210087854A KR 102514373 B1 KR102514373 B1 KR 102514373B1
Authority
KR
South Korea
Prior art keywords
user
karaoke
mask
avatar
service providing
Prior art date
Application number
KR1020210087854A
Other languages
English (en)
Other versions
KR20230007066A (ko
Inventor
이석훈
Original Assignee
주식회사 포리얼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포리얼 filed Critical 주식회사 포리얼
Priority to KR1020210087854A priority Critical patent/KR102514373B1/ko
Publication of KR20230007066A publication Critical patent/KR20230007066A/ko
Application granted granted Critical
Publication of KR102514373B1 publication Critical patent/KR102514373B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Acoustics & Sound (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

마스크 콘텐츠를 이용한 노래방 서비스 제공 시스템 및 그 방법을 제공한다. 마스크 콘텐츠를 이용한 노래방 시스템은, 노래 반주를 제공하되, 사용자가 선택할 수 있는 복수의 마스크 콘텐츠를 출력하고, 노래를 부르고 있는 사용자를 촬영하고, 사용자가 선택한 마스크 콘텐츠를 상기 촬영된 영상 내 사용자의 안면영역에 합성하여 실시간으로 출력하며, 상기 출력되는 영상을 노래방 서비스 제공 서버로 전송하는 노래방 장치, 및 노래방 장치로부터 마스크 콘텐츠가 합성된 사용자 노래 영상을 수신하여 사용자 계정 별로 매칭하여 저장하고, 접속되는 사용자 단말 및 노래방 장치에 복수의 사용자의 사용자 노래 영상을 노출시켜 사용자들의 선택에 따라 순위를 설정하는 오디션을 진행하고, 사용자의 선택에 따라 해당 사용자의 사용자 노래 영상을 개인 소장용 전달하거나 기연동된 외부 서버로 전송하여 업로드하는 노래방 서비스 제공 서버를 포함한다.

Description

노래방 서비스 제공 시스템 및 그 방법{SYSTEM AND METHOD FOR PROVIDING KARAOKE SERVICE}
본 발명은 노래방 서비스 제공 시스템 및 그 서비스 제공 방법에 관한 것으로, 특히 마스크 콘텐츠를 사용자의 영상에 적용하여 복면 가수 콘셉트의 노래방 서비스를 제공하는데 있어, 사용자의 안면 인식을 보다 정확하게 수행하여 가상 화면에서 합성되는 복면 또는 아바타 콘텐츠를 자연스럽게 적용함으로써 사실감 있는 서비스를 제공할 수 있는 노래방 서비스 제공 시스템 및 그 서비스 제공 방법에 관한 것이다.
국내 텔레비전 프로그램 중 하나인 "복면 가왕"은 시청자가 가수를 모르는 상태에서 목소리 만으로 가수를 유추하는 재미 및 선입견 없이 음악에 집중할 수 있다는 장점들을 어필하며 대중에게 선풍적인 인기를 끌고 있다.
이러한 복면 가수 프로그램 콘셉트는 국내뿐 만 아니라 다수의 해외 국가들에도 아이디어가 수출되어 해외 시장 또한 규모가 커지고 있는 상황이다.
이에 따라, 복면 가수 콘셉트를 방송 미디어 상의 콘텐츠로만 한정하지 않고 일반 다수의 사람들도 즐길 수 있도록 하는 서비스에 대한 요구가 형성되고 있다.
한편, 현대 사회에서 대중들이 가장 손쉽게 접할 수 있는 가수 콘셉트 콘텐츠는 노래방이다. 일반적으로 노래방 장비를 통해 제공되는 콘텐츠는, 사용자가 노래를 부르기 위해 필요한 반주 음원, 뮤직비디오 등의 배경 화면, 사용자가 노래의 박자와 가사를 참고할 수 있도록 배경 화면과 함께 제공되는 가사 텍스트 정도에 불과하다.
또한, 기존의 노래방 서비스의 경우 사용자가 부른 노래를 노래방 장비 자체에서 녹음한 데이터를 노래방 사업자가 저장매체 등에 저장하여 사용자에게 직접 제공하는 정도의 서비스만 가능하였다.
이러한 기본적인 노래방 서비스 외에 노래방 장비를 사용하여 사용자가 복면 가수 콘셉트의 노래방 서비스를 이용할 수 있도록 하는 새로운 개념의 노래방 시스템에 대한 요구가 커지고 있다. 더 나아가, 복면 가수 콘셉트의 노래방 서비스 제공 시스템을 통해 제공하는데 사용자의 정확한 안면 인식을 기술을 적용하여 보다 사실감 있는 다양한 콘텐츠가 요구되고 있다.
일본등록특허 제6562302호(발명의 명칭: 노래방 시스템, 가라오케 장치, 동영상 표시 방법 및 동영상 표시 제어 프로그램)
본 발명의 일 실시예는 마스크 콘텐츠를 사용자의 영상에 적용하여 복면 가수 콘셉트의 노래방 서비스를 제공하는데 있어, 사용자의 안면 인식을 보다 정확하게 수행하여 가상 화면에서 합성되는 복면 또는 아바타 콘텐츠를 자연스럽게 적용하여 사실감 있는 서비스를 제공하기 위한 노래방 서비스 제공 시스템 및 그 제공 방법을 그 목적으로 한다.
또한, 본 발명의 일 실시예는 마스크 콘텐츠가 합성된 사용자의 노래 영상을 오디션 참가, 개인 간 경합, 개인 소장, SNS 공유 등 다양한 콘텐츠로써 활용할 수 있도록 하는 노래방 시스템 및 그 서비스 제공 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 노래방 서비스 제공 시스템은, 제1 사용자 정보를 입력받는 사용자 단말기; 상기 제1 사용자 정보를 저장하는 관리 서버; 노래방 서비스를 제공하는 노래방 장치; 및 상기 노래방 장치를 제어하는 제어 단말기를 포함하고, 상기 제1 사용자 정보는 마스크 또는 아바타를 포함하고, 상기 제어 단말기는 제1 사용자가 선택할 수 있도록 상기 관리 서버로부터 수신한 상기 마스크 또는 상기 아바타를 표시하고, 상기 노래방 장치는 노래 반주를 제공하고, 노래를 부르고 있는 제1 사용자를 촬영하고, 상기 노래방 장치는 제1 사용자가 선택한 마스크를 상기 촬영된 영상 내 사용자의 안면영역에 합성하여 실시간으로 출력하는 복면 영상 또는 사용자가 선택한 아바타를 상기 촬영된 영상 내 사용자의 움직임에 따라 동작하도록 가상 공간에 합성하여 출력하는 점에 그 특징이 있다.
특히, 상기 노래방 장치는 다른 노래방 장치를 사용하는 제2 사용자에 대한 복면 또는 아바타 영상을 상기 제1 사용자의 복면 또는 아바타 영상과 동시에 표시하는 대결 모드를 제공하고, 상기 대결 모드 시, 상기 노래방 장치는 상기 관리 서버를 통해 상기 다른 노래방 장치와 동기화하여 노래 반주를 제공하고, 상기 제1 및 제2 사용자가 각자 또는 함께 부를 노래 부분을 표시하는 점에 그 특징이 있다.
특히, 상기 노래방 장치는 상기 제1 사용자의 복면 또는 아바타 영상과 상기 제1 사용자의 음원을 상기 관리 서버로 전송하고, 상기 관리 서버는 상기 제1 사용자의 복면 또는 아바타 영상과 상기 제1 사용자의 음원을 상기 사용자 단말기로 전송하는 점에 그 특징이 있다.
특히, 상기 관리 서버는 상기 제1 사용자 및 상기 제2 사용자의 복면 또는 아바타 영상과 음원을 다른 사용자 단말기로 전송하고, 상기 다른 사용자 단말기로부터 상기 제1 사용자 및 상기 제2 사용자 중 하나를 선택받는 점에 그 특징이 있다.
특히, 상기 노래방 장치는 복수의 안면 이미지를 딥 러닝 네트워크(Deep Neural Network) 모델로 학습된 모바일넷(mobilenet)을 이용하여 사용자의 안면을 인식하고, 인식된 안면의 위치와 각도를 계산하여 상기 마스크를 합성하는 점에 그 특징이 있다.
특히, 상기 관리 서버는 상기 사용자 단말기에 선택 또는 구매 가능한 복수의 마스크 또는 아바타 이미지를 전송하고, 상기 사용자 단말기로부터 선택된 마스크 또는 아바타를 저장하는 점에 그 특징이 있다.
특히, 상기 노래방 장치는 복수의 가수가 노래한 뮤직 비디오를 표시하고, 상기 제어 단말기로부터 상기 복수의 가수 중 하나가 선택되면, 선택된 가수의 영상에 상기 복면 또는 아바타를 합성하여 출력하고, 상기 제1 사용자가 노래할 부분의 가사를 표시하는 점에 그 특징이 있다.
특히, 상기 제1 사용자 정보는 상기 제1 사용자가 이전에 선택한 또는 선호하는 노래 목록을 포함하고, 상기 제어 단말기는 상기 관리 서버로부터 상기 노래 목록을 수신하여 표시하는 점에 그 특징이 있다.
또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 노래방 서비스 제공 방법은, 노래방 장치를 통해 노래 반주를 제공하는 노래방 서비스 제공 시스템에 있어서, 노래방 서비스 제공 시스템의 제어 단말기과 연동되는 사용자 단말기를 통해 제1 사용자의 정보를 입력받는 단계; 상기 제1 사용자에 의해 선택된 마스크 또는 아바타를 표시하는 단계; 상기 제1 사용자를 촬영하고, 촬영된 영상을 딥러닝 모델을 적용하여 제1 사용자의 안면 영역을 추출하는 단계; 상기 추출된 제1 사용자의 안면 영역의 위치 및 각도를 분석하는 단계; 상기 분석된 제1 사용자의 안면 영역에 제1 사용자가 선택한 마스크 또는 아바타를 합성하는 단계; 및 상기 합성된 제1 사용자의 복면 영상 또는 아바타 영상을 제1 사용자의 움직임에 따라 가상 공간에 실시간으로 출력하는 단계; 를 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 제1 사용자의 복면 영상 또는 아바타 영상을 출력하는 단계에서, 상기 노래방 서비스 제공 시스템과 다른 노래방 서비스 제공 시스템을 사용하는 제2 사용자에 대한 복면 또는 아바타 영상을 상기 제1 사용자의 복면 또는 아바타 영상과 동시에 표시하는 대결 모드를 제공하고, 상기 대결 모드 시, 상기 노래방 서비스 제공 시스템은 상기 다른 노래방 서비스 제공 시스템과 동기화하여 노래 반주를 제공하고, 상기 제1 및 제2 사용자가 각자 또는 함께 부를 노래 부분을 표시하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 출력하는 단계 이후, 상기 각 노래방 서비스 제공 시스템에서 상기 제1 사용자 및 제2 사용자의 복면 또는 아바타 영상과 제1 사용자 및 제2 사용자의 음원을 저장하고, 상기 제1 사용자 및 제2 사용자의 각 사용자 단말기로 전송하는 단계를 더 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 안면 영역을 추출하는 단계는, 복수의 안면 이미지를 딥 러닝 네트워크(Deep Neural Network) 모델로 학습된 모바일넷(mobilenet)을 이용하여 사용자의 안면을 인식하여 추출하는 점에 그 특징이 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 마스크 콘텐츠를 사용자가 노래하는 영상에 합성하여 제공함으로써 개인도 복면 가수 콘셉트의 노래방 서비스를 이용할 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 마스크 콘텐츠가 합성된 사용자의 노래 영상을 오디션 참가 및 경합을 진행하는 메인 서버, 개인 소장용 또는 SNS 등을 통한 공유용으로 외부 서버로 제공하여, 해당 노래 영상을 다양한 콘텐츠로서 재생산하여 활용할 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 노래방 시스템 자체에서 기본적으로 제공하는 마스크 콘텐츠 외에도 개인 또는 기업 등이 자체 제작한 마스크 콘텐츠의 다양한 모델을 노래방 시스템을 이용하는 사용자가 선택할 수 있도록 제공할 수 있다. 이를 통해 사용자는 다양하고 새로운 마스크 콘텐츠를 선택하여 즐길 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 노래방 시스템을 통해 노래를 한 곡 단위로 서비스하는 데에 한정되지 않고, 세계적으로 최신 유행하고 있는 한류아이돌의 음원을 부분 별로 제공하여 클립 단위의 노래 영상을 서비스하거나, 한류 아이돌의 음원에 매칭된 안무 영상에 대응하는 클립 단위의 노래 영상을 서비스할 수 있다.
도 1은 본 발명의 일 실시예에 따른 노래방 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 노래방 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 제2디스플레이 상에 표시되는 그래픽 사용자 인터페이스(GUI)를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 마스크 콘텐츠 선택을 위한 사용자 인터페이스의 일례이다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말을 통해 출력되는 노래방 서비스 사용자 인터페이스의 일례이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해 도면에서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면을 참고하여 설명하면서, 같은 명칭으로 나타낸 구성일지라도 도면에 따라 도면 번호가 달라질 수 있고, 도면 번호는 설명의 편의를 위해 기재된 것에 불과하고 해당 도면 번호에 의해 각 구성의 개념, 특징, 기능 또는 효과가 제한 해석되는 것은 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)' 또는 '모듈'이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.
도 1은 본 발명의 일 실시예에 따른 노래방 시스템의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 노래방 시스템(10)은 노래방 장치(100) 및 노래방 서비스 제공 서버(200)로 구성될 수 있다. 추가적으로, 노래방 시스템(10)은 사용자 단말(300) 및 외부 서버(예: SNS 서버, 동영상 공유 서비스 서버 등)(400)를 더 포함할 수 있다.
노래방 장치(100)는 노래방 서비스 제공 서버(200), 사용자 단말(300) 및 외부 서버(400)와 각각 네트워크 연결되어 데이터를 송수신할 수 있다.
구체적으로, 노래방 장치(100)는 사용자에게 노래 반주와 노래 가사를 제공하고, 사용자가 노래를 부르는 동안 사용자를 촬영한 화면과 사용자가 미리 선택한 마스크(mask) 콘텐츠를 합성하여 생성된 화면을 실시간으로 화면에 출력할 수 있다. 이때, 노래방 장치(100)는 노래방 서비스 제공 서버(200)로부터 다양한 마스크 콘텐츠 정보, 새로 추가된 노래 반주 및 노래 가사 정보를 수신하여 저장하여 두었거나, 또는 자체적으로 저장되어 있던 데이터들을 제공할 수 있다.
한편, 본 발명의 일 실시예에서 마스크 콘텐츠란 사용자를 촬영한 영상 내 사용자의 안면으로 인식된 영역에 합성되는 이미지로서, 복수의 마스크 이미지, 캐릭터 이미지, 아바타 이미지 등 다양한 형태로 구현될 수 있다.
또한, 노래방 장치(100)는 사용자가 노래를 부르는 동안 사용자를 촬영한 화면에 사용자가 미리 선택한 마스크 콘텐츠를 합성하여 생성한 화면(즉, 영상 콘텐츠)을 노래방 서비스 제공 서버(200)에 전송하여 저장할 수 있다.
사용자 단말(300)은 노래방 서비스 제공 서버(200)에 접속하여, 서버(200)에 저장된 콘텐츠를 재생할 수 있다. 이때, 재생하는 콘텐츠는 노래방 장치(100)를 통해 생성된 후 서버(200)에 업로드되어 저장된 콘텐츠일 수 있다. 또한, 사용자 단말(300)은 노래방 장치(100)로부터 직접 콘텐츠를 수신하여 재생할 수도 있다.
사용자 단말(300)은 노래방 장치(100) 또는 노래방 서비스 제공 서버(200)로부터 획득한 콘텐츠(즉, 노래를 부르고 있는 사용자를 촬영한 영상에 마스크 콘텐츠가 합성된 영상)를 개인적으로 소장하거나, 또는 SNS(Social Network Service), 스트리밍 서버, 기타 플랫폼 서버 등의 외부 서버(400)에 선택적으로 업로드할 수 있다. 이때, 사용자 단말(300)은 노래방 서비스 제공 서버(200)에 접속하여 자신의 콘텐츠를 외부 서버(400)에 업로드할 수 있도록 하는 사용자 인터페이스를 제공받을 수 있다.
참고로, 본 발명의 일 실시예에서 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어 웹 브라우저(WEB Browser) 또는 모바일 웹 브라우저가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, 예를 들어 IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution), IMT(International Mobile Telecommunication)-2020 통신 기반의 이동 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
또한, 본 발명의 일 실시예에서는 "사용자 단말"이 스마트폰인 것을 예로서 설명하되, 이러한 사용자 단말(300)에는 노래방 장치(100) 또는 서버(200)가 제공하는 노래방 서비스 콘텐츠 이용을 위한 사용자 서비스 페이지를 포함하는 사용자 인터페이스를 화면에 출력하기 위한 프로그램이 탑재된 것일 수 있다.
참고로, 사용자 서비스 페이지는 웹 페이지, 모바일 웹 페이지, 웹 앱, 프로그레시브 웹 앱(Progressive Web Application), 하이브리드웹, 및 네이티브 앱 중 어느 하나의 형태로 제공될 수 있다.
또한, 사용자 단말(300)에는 서버(200)가 제공하는 그래픽 사용자 인터페이스(GUI)를 출력하는 전용 모바일 앱(APP)이 설치될 수 있으며, 이러한 전용 모바일 앱을 통해 상기 사용자 서비스 페이지가 제공될 수 있다.
또한, 본 발명의 일 실시예에서 사용자 단말(300)과 서버(200), 노래방 장치(100)와 서버(200), 서버(200)와 외부 서버(400) 사이에 데이터가 송수신되는 “네트워크”는, 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크 또는 유선 네트워크로 구현될 수 있다.
이하, 노래방 장치(100)에 대한 구성 및 동작을 도 2 및 도 3을 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 노래방 장치의 구성도이다.
도 2를 참조하면, 노래방 장치(100)는 제 1디스플레이(110), 제 2디스플레이(120), 제어 장치(130), 음향 장비(140) 및 촬영부(150)를 포함한다.
이하에서 설명할 각 구성 별 동작 및 처리는 제어 장치(130)의 제어에 따라 수행될 수 있다.
제 1 디스플레이(110)는 노래방 서비스와 관련된 기본 화면, 즉 반주가 제공되는 동안 출력되도록 설정된 배경 화면에 노래 제목, 가수 및 가사 등의 정보가 순차적으로 갱신되는 노래 서비스 화면과, 반주가 제공되기 않는 시점에 디폴트로 설정된 배경 화면 및 노래를 선곡할 수 있는 각종 정보가 출력되는 노래 서비스 준비 화면 등을 출력할 수 있다.
제 1 디스플레이(110)는 제어 장치(130)의 제어에 따라 제공되는 마스크 콘텐츠 서비스 화면을 출력할 수도 있다. 이때, 서비스 화면은 아래에서 설명할 다양한 서비스 종류 별로 매칭된 화면일 수 있다.
예를 들어, 제 1 디스플레이(110)에는 화면 전체 또는 적어도 일부 영역에, 사용자가 노래를 부르는 모습을 촬영한 영상(이하, "사용자 노래 영상"이라고 지칭함)에, 사용자가 사전에 선택한 마스크 콘텐츠를 합성한 복면 가수 콘셉트 영상이 실시간으로 출력될 수 있다.
이때, 제 1 디스플레이(110)의 일부 영역에 복면 가수 콘셉트 영상이 출력될 경우, 나머지 영역에는 앞서 설명한 기본 화면이 출력될 수도 있다.
또한, 제 1 디스플레이(110) 상에는 기본 화면이 출력되고, 아래에서 설명할 제 2 디스플레이(120) 상에 복면 가수 콘셉트 영상이 별개로 출력되는 것도 가능하다.
촬영부(150)는 사전에 설정된 영역을 촬영하도록 설치되되, 예시적으로 카메라일 수 있다. 촬영부(150)는 사용자의 얼굴을 중심으로 최대한 전신을 촬영할 수 있도록, 도 2에서와 같이 제 1디스플레이(110) 상단에 배치될 수 있다.
앞서 설명한 바와 같이, 제1 디스플레이(110)는 촬영부(150)를 통해 촬영된 사용자 영상에 사용자가 미리 선택한 마스크 콘텐츠를 합성한 화면을 표시할 수 있다. 구체적으로, 제 1 디스플레이(110)는 사용자가 마스크 콘텐츠를 선택한 후 노래를 시작하면, 노래 시작과 동시에 사용자를 촬영한 영상에 마스크 콘텐츠를 합성하여 생성한 화면을 실시간으로 표시할 수 있다.
제 2 디스플레이(120)는 사용자 조작에 의한 입력이 가능하도록 터치 스크린 등으로 구성될 수 있다.
이러한 제 2 디스플레이(120)는 그래픽 유저 인터페이스(GUI) 형태의 아이콘을 표시하여 사용자의 터치를 통한 입력 정보를 수신할 수 있다.
구체적으로, 사용자의 터치를 통한 입력은 노래방 시스템(10)에서 제공하는 마스크 선택 및 노래 선택 등을 포함할 수 있다. 구체적인 제 2디스플레이(120)의 GUI와 사용자 선택에 의한 노래방 서비스 진행 과정은 후술하도록 한다.
도 3은 본 발명의 일 실시예에 따른 제 2디스플레이 상에 표시되는 그래픽 사용자 인터페이스(GUI)를 나타낸 도면이다.
도 3의 (a)를 참조하면, 제 2디스플레이(120)를 통해 제공되는 GUI 화면은, 광고(P10), 노래방 서비스 모드(P20), 기타 기능(P30) 및 설정(P40) 등을 아이콘 형태로 표시할 수 있다. 이때, 노래방 서비스 모드(P20)는 일반 노래 모드, 오디션 모드, 게임 모드, 한류 아이돌 모드를 포함할 수 있다.
사용자가 GUI 상 하나의 아이콘을 선택하는 경우 해당 선택과 관련된 추가적인 정보를 표시하거나 다음 단계로 진행을 수행할 수 있다.
광고(P10)의 경우, 사전에 협약되거나 계약된 협력 업체 등의 광고를 표시하거나, 본 시스템과 관련된 공지 사항 등과 같은 정보를 노출할 수 있는 화면을 제공할 수 있다.
노래방 서비스 모드(P20)의 일반 노래 모드를 선택하는 경우 노래를 선택할 수 있는 단계로 진행되고, 선택한 노래의 반주가 제공되어 노래를 부를 수 있다. 이 때, 제 1디스플레이(110) 상에는 노래의 가사와 노래에 해당하는 화면(예시적으로 뮤직비디오 화면)을 표시할 수 있다. 노래가 끝난 후에는, 사용자의 선택에 따라 노래방 장치(100)가 사용자 노래 영상을 노래방 서비스 제공 서버(200) 또는 SNS(Social Network Service), 스트리밍 서버, 기타 플랫폼 서버 등의 외부 서버(400) 업로드할 수 있다. 이처럼, 업로드된 영상은 사용자 단말(300)을 통해 확인할 수 있다.
오디션 모드를 선택하는 경우, 먼저 마스크 콘텐츠를 선택할 수 있는 단계로 진행될 수 있다.
이때, 마스크는, 모든 사용자가 무상으로 기본으로 선택할 수 있는 공통 마스크와, 개인 별로 결제를 통해 구매 가능한 개인용 마스크 중 선택할 수 있다. 결제를 통해 마스크를 구매하는 경우, 사용자 단말(300)을 통해 결제가 진행되거나, 제 2디스플레이(120) 상에 신용카드, 휴대폰 소액결제, 머니/페이 결제, 현금 결제, 포인트 결제, QR 코드, 암호화폐 결제 등의 관련 아이콘을 출력하여 사용자 선택에 의해 결제를 진행할 수 있다. 이를 위해 노래방 장치(100) 또는 사용자 단말(300)은 노래방 서비스 제공 서버(200)에 접속하고, 노래방 서비스 제공 서버(200)는 별도의 결제 서버(미도시)와 연동하여 해당 사용자에 대한 결제 처리를 수행할 수 있다.
마스크 선택 이후에는 전술한 일반 노래 모드에서의 노래 선택 단계, 노래 가사와 화면 출력 단계, 촬영 영상 업로드 단계로 진행될 수 있다.
또한, 오디션 모드를 선택한 경우, TV 프로그램과 같이 오디션 형태로 진행되어 참여하는 사용자의 실력을 겨루거나 상품/상금 등을 획득할 수 있는 이벤트를 진행할 수 있다. 이때, 노래방 서비스 제공 서버(200)는 업로드된 복수의 사용자 별 사용자 노래 영상을 해당 사용자를 포함하는 불특정 다수의 사용자에게 노출시켜 하나 이상의 영상을 선택하도록 하여 순위를 선정하는 오디션 경합을 처리할 수 있다.
게임 모드를 선택하는 경우, 노래방 장치(100)가 설치된 오프라인 상의 하나 이상의 다른 사용자 또는 다른 노래방 장치(100)를 통해 접속된 온라인 상의 하나 이상의 다른 사용자와 기설정된 노래 대결을 펼치는 단계로 진행될 수 있다.
예를 들어, 대결 종류는 높은 점수를 획득하거나, 높은 음을 포함하고 있는 노래를 부르거나, 상대 보다 큰 소리를 내는 등의 대결을 수행할 수 있다. 이러한 게임 모드의 경우에도 온라인 또는 오프라인의 다른 사용자 선택 및 대결 방식을 선택한 이후에는 전술한 일반 노래 모드에서의 노래 선택 단계, 노래 가사와 화면 출력 단계, 촬영 영상 업로드 단계로 진행될 수 있다. 추가적으로, 촬영 영상 외에도 대결 결과를 업로드할 수 있다. 이러한 게임 모드를 통해 생성된 영상은 메인 서버인 노래방 서비스 제어 서버(200) 또는 외부 서버(400) 상에 업로드되어 사용자가 노래방 서비스 전용 모바일 앱 또는 외부 서버(400) 상에 개설된 전용 채널을 통해 접속하여 확인할 수 있다.
한류 아이돌 모드를 선택하는 경우, 기설정된 복수의 아이돌 그룹 중 사용자가 원하는 아이돌 그룹을 먼저 선택하고, 아이돌 그룹 중 하나의 멤버 또는 복수의 멤버를 선택한 후, 선택된 멤버가 부른 부분의 노래 또는 랩을 사용자가 부를 수 있도록 할 수 있다. 참고로, 사용자가 선택하지 않은 멤버의 부분은 원음 그대로의 아이돌 그룹 노래가 재생되도록 할 수 있다.
이때, 제 1디스플레이(110) 상에는 사용자가 선택한 멤버가 부른 부분의 노래 가사가 강조되어 표시되거나, 해당 부분만 표시할 수 있다. 또한, 제 1디스플레이(110) 상에 사용자가 선택한 아이돌 그룹의 공연 또는 방송 영상에 사용자가 선택한 그룹 멤버 부분에 사용자를 촬영한 화면을 합성하여 표시할 수 있다. 이때, 사용자를 촬영한 화면은 사용자의 실제 촬영한 화면인 경우와 사용자를 실제 촬영한 화면에 사용자가 미리 선택한 마스크를 합성한 화면일 수 있다. 이후에는 제 1디스플레이(110) 상에서 출력된 화면을 저장하여 업로드하는 단계를 추가적으로 수행할 수 있다.
제 2디스플레이(120)를 통해 제공되는 GUI 중 기타 기능(P30)은 인기 노래 차트, 인기/추천 영상 등의 정보를 포함하는 화면을 출력할 수 있다. 또한, 사용자가 회원가입을 진행하거나 로그인을 수행할 수 있는 화면을 표시할 수 있다.
제 2디스플레이(120)를 통해 제공되는 GUI 중 설정(P40)은 노래방 장치(100)와 관련된 별도의 부속 장치(예시적으로, 마이크, 엠프, 스피커, 디스플레이 등)를 설정하거나, 노래와 관련된 음정, 소리크기, 박자 등을 조절할 수 있는 화면을 표시할 수 있다. 또한, 설정(P40)을 통해 사용자 단말(300)로 영상을 업로드하는 설정을 수행할 수 있도록 하는 사용자 인터페이스를 제공할 수 있다.
또한, 도 3의 (b)를 참조하면, 제 2디스플레이(120)를 통해 제공되는 GUI에는 다른 사용자가 생성하여 업로드한 복면 가수 콘셉트 영상 중 인기 영상 등을 추천하는 추천 기능(P50)이 더 포함될 수 있다.
이상에서 설명한 제 1 및 제 2 디스플레이(110, 120) 및 촬영부(150)의 각 동작과 후술할 음향 장비(140)의 동작 등은 모두 노래방 서비스 제어 장치(130)를 통해 실행될 수 있다.
다시 도 2를 참조하면, 노래방 장치(100)의 노래방 서비스 제어 장치(130)는 노래방 장치(100)의 하우징 내부에 수납될 수 있다.
노래방 서비스 제어 장치(130)는 통신모듈(131), 메모리(132) 및 프로세서(133)를 포함할 수 있다.
통신모듈(131)은 네트워크를 통해 노래방 서비스 제공 서버(200), 사용자 단말(300) 등과 데이터를 송수신할 수 있다.
메모리(132)에는 노래방 장치(100)를 통해 마스크 콘텐츠를 이용한 노래방 서비스를 제공하기 위한 노래방 서비스 프로그램이 저장되어 있다. 그리고 메모리(132)에는 노래방 서비스와 관련된 데이터인, 노래 리스트, 반주 정보, 가사 정보 등이 저장되어 있다.
또한, 메모리(132)는 노래방 장치(100)를 이용하는 사용자가 제2 디스플레이(120) 또는 사용자 단말(300)을 통해 입력한 사용자 정보를 저장할 수 있고, 사용자가 선택한 마스크 정보도 추가적으로 저장할 수 있다.
프로세서(133)는 메모리(132)에 저장된 프로그램을 실행하며, 노래방 서비스 프로그램을 실행을 통해 다음과 같은 동작 및 처리를 수행한다.
프로세서(133)는 노래방 장치(100)의 동작과 관련된 제어를 수행함과 동시에 촬영부(150)에서 촬영된 사용자 노래 영상과 사용자가 미리 선택한 마스크를 실시간으로 합성하는 처리를 수행한다.
이때, 프로세서(133)는 촬영부(150)로부터 수신되는 영상을 실시간으로 이미지 처리하여 영상 내 포함된 사용자의 안면 영역을 인식하고, 인식된 안면 영역에 기설정된(즉, 사용자가 선택한) 마스크 컨텐츠를 실시간으로 합성한다. 이때, 프로세서(133)는 사용자의 움직임에 따라 사용자의 안면을 추적하여 마스크 컨텐츠를 합성하는 처리를 수행한다.
이처럼, 프로세서(133)에서 수행하는 노래방 장치(100)의 동작과 관련된 제어는 구체적으로, 노래 반주 재생, 가사 출력, 노래 관련 영상 선택 및 출력 등과 관련된 제어 동작과, 마스크 콘텐츠를 사용자 노래 영상에 합성하여 제공하고 마스크 콘텐츠가 포함된 사용자 영상을 저장 및 메인 서버(즉, 노래방 서비스 제어 서버(200)) 및 사용자 단말(300)로 제공하기 위한 각종 제어 동작을 포함한다.
노래방 장치(100)의 음향 장비(140)는 예시적으로 반주기, 마이크, 엠프, 스피커 등을 포함할 수 있으며, 도 2에 도시한 바와 같이 노래방 장치(100) 하우징의 내부 및 외부 일 영역에 장착될 수 있다. 단, 마이크 및 스피커 등은 노래방 장치(100)와 유/무선으로 연결되되 장치 하우징 자체와는 별도로 구비될 수 있다.
전술한 노래방 장치(100)는 일반적으로 방 또는 부스 등을 대실하여 영업하는 노래방 사업장 및 코인 노래방 등 현재 상용화된 노래방 기기를 대신하여 배치될 수 있다. 더불어, 벤딩머신과 같은 별도의 목적을 갖는 장치 또는 시스템과 결합하여 무인 커피 판매점 등의 특정 공간에 배치되는 것도 가능하다. 이를 통해 사용자는 노래방 서비스만을 위해 방문하는 것이 아니라 다른 문화 시설 또는 편의 시설을 이용하면서도 간편하게 마스크 콘텐츠를 이용한 노래방 서비스를 이용하도록 노출시켜 이벤트를 즐길 수 있도록 할 수 있다.
또한, 본 발명의 일 실시예에 따른 노래방 시스템(10)은 기타 IoT 기기들과 결합하여 다기능을 수행하도록 확장할 수 있다. 이처럼, 노래방 시스템(10)을 IoT 기기들과 결합하는 경우, 노래방 장치(100)의 소유주(즉, 사업자 또는 관리자 등)가 스마트폰이나 IoT 기기를 통해 원격으로 장치를 관리하고 제어 가능하다.
다시 도 1로 돌아가서, 노래방 서비스 제공 서버(200)와 사용자 단말(300)의 각 구성과 동작에 대해 구체적으로 설명하도록 한다.
노래방 서비스 제공 서버(200)는 통신모듈, 메모리 및 프로세서를 포함할 수 있다. 통신모듈은 네트워크를 통해 노래방 장치(100), 사용자 단말(300) 및 외부 서버(400)와 각각 통신하여 데이터를 송수신할 수 있다.
메모리에는 마스크 콘텐츠를 이용한 노래방 서비스를 위한 노래방 서비스 관리 프로그램이 저장되어 있다. 또한, 메모리에는 하나 이상의 노래방 장치(100)들 별로 제공되는 노래 리스트, 반주 정보, 가사 정보 등이 각 노래방 장치(100) 별로 매칭되어 저장되어 있을 수 있다.
또한, 메모리에는 노래방 장치(100)를 이용하는 사용자 정보를 저장할 수 있고, 사용자가 선택한 마스크 정보도 추가적으로 저장할 수 있다. 더불어, 사용자 정보와 마스크 정보를 매칭하여 저장할 수 있다. 또한, 사용자의 업로드 영상, 스코어, 결제 정보 등을 매칭하여 저장할 수 있다.
프로세서는 메모리에 저장된 프로그램을 실행하되, 노래방 서비스 관리 프로그램의 실행을 통해 다음과 같은 동작 및 처리를 수행할 수 있다.
프로세서는 사전에 설정된 오디션 일정(예: 월별, 시즌별 오디션 대회 등)에 따라 일정 기간내 업로드되는 마스크 콘텐츠가 포함된 사용자 노래 영상들을 수신하여 저장하되, 불특정 다수에게 노출시킨다.
이때, 프로세서는 기설정된 기준에 따라 1차 이상의 영상 필터링을 처리할 수 있으며, 필터링을 통과한 영상들에 대해 시간 및 날짜 별로 영상을 정렬하여 데이터베이스화한다.
프로세서는 데이터베이스에 저장된 각 영상들을 노출시키되, 사용자들의 선택 결과에 기초하여 순위를 산정한다. 이때, 프로세서는 순위 산정 결과를 실시간으로 반영하여 기설정된 등수까지의 상위 등수의 사용자 노래 영상을 우선적으로 상위에 노출시킬 수 있다. 좀 더 적극적인 오디션 결과 확보를 위해, 오디션 기간 내 특정 구간 별로 상위 등수로서 선정하는 등수를 변경 설정할 수 있으며, 해당 등수 내 포함되지 못한 영상들은 일정 기간 후 오디션 목록에서 삭제하여 경합에 필요한 등수 내 영상들만을 남기는 방식으로 오디션을 진행할 수 있다.
프로세서는 이러한 오디션 경합 결과를 실시간으로 노래방 장치(100) 및 서버(200) 자체에서 운영하는 웹 페이지(모바일 웹 페이지를 포함함)에 노출시킬 수 있으며, 이러한 오디션 경합 결과 내 포함된 영상들을 사용자가 노래방 장치(100) 상에서 직접 확인 및 선택하거나 사용자 단말(300)을 통해 온라인으로 확인 및 선택할 수 있도록 각각 사용자 인터페이스를 제공할 수 있다.
또한, 프로세서는 접속된 사용자 단말(300)로 개인 또는 기업이 제작한 개인 제작 마스크 콘텐츠를 업로드할 수 있는 사용자 인터페이스를 제공한다. 이에 대응하여 프로세서는 업로드된 개인 제작 마스크 콘텐츠를 노래방 장치(100) 및 사용자 단말(300)에서 확인하여 사용자가 원하는 마스크 콘텐츠를 선택 및 구매할 수 있도록 하는 결제 시스템을 제공할 수 있다. 이를 위해 노래방 서비스 제어 서버(100)는 외부의 결제 서버와 연동할 수 있다.
도 4는 본 발명의 일 실시예에 따른 마스크 콘텐츠 선택을 위한 사용자 인터페이스의 일례이다.
프로세서는 노래방 장치(100)의 제 2 디스플레이(120) 또는 사용자 단말(300)에 설치된 모바일 앱 등을 통해 마스크 콘텐츠 선택 페이지를 제공할 수 있다.
도 4에 도시한 바와 같이, 이러한 마스크 콘텐츠 선택 페이지에는 다수의 마스크 콘텐츠들이 포함된 목록(P40)과, 사용자가 선택한 마스크 콘텐츠를 보여주는 선택 마스크 항목(P50) 및 선택된 마스크 콘텐츠를 확정하기 위한 선택 확정 항목(P60)이 포함될 수 있다. 도 4에서는 선택 확정 항목(P60)이 결제를 처리할 수 있도록 하는 "구매" 항목인 것을 예로서 나타냈다.
한편, 사용자 단말(300)은 설치된 마스크 콘텐츠를 이용한 노래방 서비스용 애플리케이션을 통해, 사용자 자신의 영상을 직접 확인하고, 마스크를 구매하거나 이벤트에 참여할 수 있는 기본 기능을 처리할 수 있다. 참고로, 사용자는 사용자 단말(300)에서 지원하는 마켓을 통해 어플리케이션을 다운받을 수 있으며, 이러한 어플리케이션은 노래방 서비스 제어 서버(200)로부터 제공될 수 있다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말을 통해 출력되는 노래방 서비스 사용자 인터페이스의 일례이다.
도 5를 참조하면, 사용자 단말(300)에 실행된 노래방 서비스 애플리케이션을 통해 개인 회원 가입 및 로그인 단계를 처리할 수 있는 GUI가 출력된다.
이러한 GUI를 통해 회원 가입 및 로그인 단계가 처리된 후, HOME, 내정보, 영상보기, 사용내역, 마켓접속, 공유, 공지사항, 이벤트 등의 GUI 아이콘이 표시되며, 아이콘 선택 시 해당 아이콘과 관련된 정보를 출력할 수 있다.
HOME 아이콘은 첫 화면으로 이동하는 기능을 수행하고, 내정보는 사용자와 관련된 정보를 출력하고, 영상보기는 노래방 서비스 제공 서버(200), 노래방 장치(100), SNS 등에 업로드되거나 저장된 영상을 화면 상에 출력하고, 사용내역은 사용자의 접속 이력, 노래방 장치 사용 이력 등을 확인할 수 있도록 하며, 마켓은 개인 구매 아바타 마켓에 저장, 개인 제작 아바타를 마켓에 업로드 등의 기능을 수행할 수 있고, 공유는 어플리케이션 및 사용자 영상을 다른 사용자, 스트리밍 서비스 서버, SNS 등에 공유할 수 있도록 하고, 공지사항 및 이벤트는 관련 정보를 출력할 수 있다.
이러한 사용자 단말(300)에 설치된 애플리케이션을 통해, 마스크 콘텐츠를 이용한 노래방 서비스를 이용하기 위한 각종 안내 정보가 제공될 수 있으며, 앞서 설명한 바와 같이 해당 노래방 서비스를 이용하기 위한 회원 가입 및 디지털 마스크 콘텐츠 선택 및 구매, 비용 결제, 곡 선택, 포인트 적립 등의 다양한 서비스를 모두 이용할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 마스크 콘텐츠를 이용한 노래방 시스템
100: 노래방 장치
200: 노래방 서비스 제어 서버
300: 사용자 단말
400: 외부 서버

Claims (12)

  1. 제1 사용자 정보를 입력받는 사용자 단말기;
    상기 제1 사용자 정보를 저장하는 관리 서버;
    노래방 서비스를 제공하는 노래방 장치; 및
    상기 노래방 장치를 제어하는 제어 단말기를 포함하고,
    상기 제1 사용자 정보는 마스크 또는 아바타를 포함하고,
    상기 제어 단말기는 제1 사용자가 선택할 수 있도록 상기 관리 서버로부터 수신한 상기 마스크 또는 상기 아바타를 표시하고,
    상기 노래방 장치는 노래 반주를 제공하고, 노래를 부르고 있는 제1 사용자를 촬영하고,
    상기 노래방 장치는 제1 사용자가 선택한 마스크를 상기 촬영된 영상 내 사용자의 안면영역에 합성하여 실시간으로 출력하는 복면 영상 또는 사용자가 선택한 아바타를 상기 촬영된 영상 내 사용자의 움직임에 따라 동작하도록 가상 공간에 합성하여 출력하는 아바타 영상을 제공하고,
    상기 노래방 장치는 다른 노래방 장치를 사용하는 제2 사용자에 대한 복면 또는 아바타 영상을 상기 제1 사용자의 복면 또는 아바타 영상과 동시에 표시하는 대결 모드를 제공하고,
    상기 대결 모드 시, 상기 노래방 장치는 상기 관리 서버를 통해 상기 다른 노래방 장치와 동기화하여 노래 반주를 제공하고, 상기 제1 및 제2 사용자가 각자 또는 함께 부를 노래 부분을 표시하는, 노래방 서비스 제공 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 노래방 장치는 상기 제1 사용자의 복면 또는 아바타 영상과 상기 제1 사용자의 음원을 상기 관리 서버로 전송하고,
    상기 관리 서버는 상기 제1 사용자의 복면 또는 아바타 영상과 상기 제1 사용자의 음원을 상기 사용자 단말기로 전송하는 것을 특징으로 하는 노래방 서비스 제공 시스템.
  4. 제1항에 있어서,
    상기 관리 서버는 상기 제1 사용자 및 상기 제2 사용자의 복면 또는 아바타 영상과 음원을 다른 사용자 단말기로 전송하고,
    상기 다른 사용자 단말기로부터 상기 제1 사용자 및 상기 제2 사용자 중 하나를 선택받는 것을 특징으로 하는 노래방 서비스 제공 시스템.
  5. 제1항에 있어서,
    상기 노래방 장치는 복수의 안면 이미지를 딥 러닝 네트워크(Deep Neural Network) 모델로 학습된 모바일넷(mobilenet)을 이용하여 사용자의 안면을 인식하고, 인식된 안면의 위치와 각도를 계산하여 상기 마스크를 합성하는 것을 특징으로 하는 노래방 서비스 제공 시스템.
  6. 제1항에 있어서,
    상기 관리 서버는 상기 사용자 단말기에 선택 또는 구매 가능한 복수의 마스크 또는 아바타 이미지를 전송하고, 상기 사용자 단말기로부터 선택된 마스크 또는 아바타를 저장하는 것을 특징으로 하는 노래방 서비스 제공 시스템.
  7. 제1항에 있어서,
    상기 노래방 장치는 복수의 가수가 노래한 뮤직 비디오를 표시하고,
    상기 제어 단말기로부터 상기 복수의 가수 중 하나가 선택되면, 선택된 가수의 영상에 상기 복면 또는 아바타를 합성하여 출력하고, 상기 제1 사용자가 노래할 부분의 가사를 표시하는 것을 특징으로 하는 노래방 서비스 제공 시스템.
  8. 제1항에 있어서,
    상기 제1 사용자 정보는 상기 제1 사용자가 이전에 선택한 또는 선호하는 노래 목록을 포함하고,
    상기 제어 단말기는 상기 관리 서버로부터 상기 노래 목록을 수신하여 표시하는 것을 특징으로 하는 노래방 서비스 제공 시스템.
  9. 노래방 장치를 통해 노래 반주를 제공하는 노래방 서비스 제공 시스템에 있어서,
    노래방 서비스 제공 시스템의 제어 단말기과 연동되는 사용자 단말기를 통해 제1 사용자의 정보를 입력받는 단계;
    상기 제1 사용자에 의해 선택된 마스크 또는 아바타를 표시하는 단계;
    상기 제1 사용자를 촬영하고, 촬영된 영상을 딥러닝 모델을 적용하여 제1 사용자의 안면 영역을 추출하는 단계;
    상기 추출된 제1 사용자의 안면 영역의 위치 및 각도를 분석하는 단계;
    상기 분석된 제1 사용자의 안면 영역에 제1 사용자가 선택한 마스크 또는 아바타를 합성하는 단계; 및
    상기 합성된 제1 사용자의 복면 영상 또는 아바타 영상을 제1 사용자의 움직임에 따라 가상 공간에 실시간으로 출력하는 단계; 를 포함하고,
    상기 제 1 사용자의 복면 영상 또는 아바타 영상을 출력하는 단계에서,
    상기 노래방 서비스 제공 시스템과 다른 노래방 서비스 제공 시스템을 사용하는 제2 사용자에 대한 복면 또는 아바타 영상을 상기 제1 사용자의 복면 또는 아바타 영상과 동시에 표시하는 대결 모드를 제공하고,
    상기 대결 모드 시, 상기 노래방 서비스 제공 시스템은 상기 다른 노래방 서비스 제공 시스템과 동기화하여 노래 반주를 제공하고, 상기 제1 및 제2 사용자가 각자 또는 함께 부를 노래 부분을 표시하는 단계를 포함하는 노래방 서비스 제공 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 출력하는 단계 이후, 상기 각 노래방 서비스 제공 시스템에서 상기 제1 사용자 및 제2 사용자의 복면 또는 아바타 영상과 제1 사용자 및 제2 사용자의 음원을 저장하고, 상기 제1 사용자 및 제2 사용자의 각 사용자 단말기로 전송하는 단계를 더 포함하는 것을 특징으로 하는 노래방 서비스 제공 방법.
  12. 제9항에 있어서,
    상기 안면 영역을 추출하는 단계는, 복수의 안면 이미지를 딥 러닝 네트워크(Deep Neural Network) 모델로 학습된 모바일넷(mobilenet)을 이용하여 사용자의 안면을 인식하여 추출하는 것을 특징으로 하는 노래방 서비스 제공 방법.
KR1020210087854A 2021-07-05 2021-07-05 노래방 서비스 제공 시스템 및 그 방법 KR102514373B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210087854A KR102514373B1 (ko) 2021-07-05 2021-07-05 노래방 서비스 제공 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210087854A KR102514373B1 (ko) 2021-07-05 2021-07-05 노래방 서비스 제공 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230007066A KR20230007066A (ko) 2023-01-12
KR102514373B1 true KR102514373B1 (ko) 2023-03-29

Family

ID=84923681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210087854A KR102514373B1 (ko) 2021-07-05 2021-07-05 노래방 서비스 제공 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102514373B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102236904B1 (ko) * 2019-12-13 2021-04-06 조선대학교산학협력단 이미지 합성 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6562302B2 (ja) 2015-08-31 2019-08-21 ブラザー工業株式会社 カラオケシステム、カラオケ装置、動画表示方法、及び、動画表示制御プログラム
KR20210037891A (ko) * 2019-09-30 2021-04-07 주식회사 포리얼 마스크 콘텐츠를 이용한 노래방 시스템 및 노래방 서비스 제공 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102236904B1 (ko) * 2019-12-13 2021-04-06 조선대학교산학협력단 이미지 합성 방법 및 장치

Also Published As

Publication number Publication date
KR20230007066A (ko) 2023-01-12

Similar Documents

Publication Publication Date Title
KR102139241B1 (ko) 스펙테이팅 시스템과 게임 시스템들 통합
KR20210037891A (ko) 마스크 콘텐츠를 이용한 노래방 시스템 및 노래방 서비스 제공 방법
CN106531201B (zh) 歌曲录制的方法和装置
CN104205209B (zh) 回放控制设备、回放控制方法
CN100425072C (zh) 信息处理设备、信息处理方法
CN113382274B (zh) 数据处理方法、装置、电子设备及存储介质
JP5422593B2 (ja) 動画情報配信システム
JP5964722B2 (ja) カラオケシステム
US10841462B2 (en) Wireless networked record session device
JP6209118B2 (ja) カラオケ装置、カラオケシステム、及びプログラム
JP6751919B2 (ja) ソーシャルメディアシステム及びプログラム
JP6905826B2 (ja) プログラム、ゲーム装置、及びサーバ装置
CN112691385B (zh) 出装信息获取方法、装置、电子设备、服务器及存储介质
CN110324653A (zh) 游戏互动交互方法及系统、电子设备及具有存储功能的装置
KR102514373B1 (ko) 노래방 서비스 제공 시스템 및 그 방법
KR102566312B1 (ko) 플랫폼 앨범 서비스 제공 방법 및 장치
CN115665435A (zh) 直播处理方法、装置和电子设备
KR20180119410A (ko) Vr 노래방 게임 서비스 제공 방법
KR102630214B1 (ko) 비대면 리액티브 공연을 위한 공연서버 운영 방법
KR102675302B1 (ko) 비가치 성과의 공유 및 거래를 위한 서비스 제공 시스템 및 그 방법
CN110019847A (zh) 多媒体内容的推荐方法及装置
US20240357187A1 (en) Server and method
JP5981867B2 (ja) カラオケシステム
KR20230121700A (ko) 플랫폼 앨범 서비스 제공 방법 및 장치
TW201630416A (zh) 網路協同演奏系統

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant