KR20200042143A - 댄싱 룸 서비스 시스템 및 그 방법 - Google Patents
댄싱 룸 서비스 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20200042143A KR20200042143A KR1020180122333A KR20180122333A KR20200042143A KR 20200042143 A KR20200042143 A KR 20200042143A KR 1020180122333 A KR1020180122333 A KR 1020180122333A KR 20180122333 A KR20180122333 A KR 20180122333A KR 20200042143 A KR20200042143 A KR 20200042143A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unit
- data
- motion recognition
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000033001 locomotion Effects 0.000 claims abstract description 175
- 230000033764 rhythmic process Effects 0.000 claims abstract description 27
- 238000013500 data storage Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 241000251468 Actinopterygii Species 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Acoustics & Sound (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 뮤직 비디오 영상 또는 카메라를 통해 촬영된 영상으로부터 AI 및 딥러닝으로 영상 속 사용자의 동작을 인식하고 사용자의 동작인식에 따른 춤 또는 게임에 관한 데이터를 대량으로 축적하여 그 축적된 데이터를 기준으로 실시간 사용자의 춤 또는 게임 관련 동작들을 인식 및 비교하고 점수를 산출하고 표시하기 위한 것이다.
이를 위하여 본 발명은 룸 내부의 사용자 영상을 실시간 촬영하는 카메라; 사용자의 오디오를 입력받아 영상제어 및 동작인식부로 전달하는 마이크; 댄싱룸 서비스 시스템의 운영과 관련된 프로그램 또는 앱을 제어하고 관리하는 중앙 제어부; 기준영상의 음악 리듬 측정, 리듬의 시간데이터 저장, 리듬의 시간데이터에 따른 객체의 동작인식 기준데이터 로드, 댄싱룸의 카메라 촬영 영상으로부터 춤 또는 게임 관련된 사용자의 실시간 동작인식 데이터 획득, 사용자의 실시간 동작인식 데이터와 동작인식 기준데이터와의 비교를 통한 점수 산출, 기준영상 및 카메라 촬영 영상과 점수를 함께 영상 화면으로 출력하거나 온라인서버로 연동시키는 영상제어 및 동작인식부; 영상을 표시하는 영상 출력부; 오디오를 출력하는 스피커; 및 사용자에 의한 뮤직비디오 선택을 위한 사용자 인터페이스부;를 포함한다.
이를 위하여 본 발명은 룸 내부의 사용자 영상을 실시간 촬영하는 카메라; 사용자의 오디오를 입력받아 영상제어 및 동작인식부로 전달하는 마이크; 댄싱룸 서비스 시스템의 운영과 관련된 프로그램 또는 앱을 제어하고 관리하는 중앙 제어부; 기준영상의 음악 리듬 측정, 리듬의 시간데이터 저장, 리듬의 시간데이터에 따른 객체의 동작인식 기준데이터 로드, 댄싱룸의 카메라 촬영 영상으로부터 춤 또는 게임 관련된 사용자의 실시간 동작인식 데이터 획득, 사용자의 실시간 동작인식 데이터와 동작인식 기준데이터와의 비교를 통한 점수 산출, 기준영상 및 카메라 촬영 영상과 점수를 함께 영상 화면으로 출력하거나 온라인서버로 연동시키는 영상제어 및 동작인식부; 영상을 표시하는 영상 출력부; 오디오를 출력하는 스피커; 및 사용자에 의한 뮤직비디오 선택을 위한 사용자 인터페이스부;를 포함한다.
Description
본 발명은 동작 인식을 통해 춤 연습 또는 노래방 점수처럼 춤 점수 체크가 가능한 댄싱 룸 서비스 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 뮤직 비디오 영상 또는 카메라를 통해 촬영된 영상(이하 '기준영상'이라 칭함)으로부터 AI 및 딥러닝을 활용하여 영상 속 사용자의 동작을 인식하고 춤 또는 게임에 관한 동작인식을 위한 기준데이터를 대량으로 신속하게 축적하여 그 축적된 데이터를 기준으로 실시간 사용자의 춤 또는 게임 관련 동작들을 인식 및 비교하고 그 매칭 여부를 판단하여 점수를 산출하고 화면으로 표시할 수 있는 댄싱 룸 서비스 시스템 및 그 방법에 관한 것이다.
최근 인간의 다양한 취미 활동 중에서 춤에 관련된 동작과 제스처를 이용하는 이용하는 응용 프로그램 또는 서비스를 제공하기 위해 동작을 감지하고 분석 및 평가하는 다양한 기술이 개발되고 있는데, 이러한 동작 정보 분석 및 평가 기술은 춤 동작을 집중적으로 학습할 수 있게 하거나, 음악의 시작부터 끝까지 춤을 추면서 동작을 배울 수 있게 하므로, 인간-기계 상호작용, 게임, 스포츠, 재활, 예술 등 다양한 분야에 활용되고 있다.
그러나 대부분의 춤 동작의 경우에는 신체의 위치를 필수적으로 포함하게 되는데, 이러한 기존의 동작정보 분석 및 평가 기술은 전신에 센서를 붙여 골격 정보 등을 많은 비용과 시간을 들여 축적하여 활용하거나 가상의 데이터를 이용하여 연습 또는 게임할 수 있도록 지원하고 있는 실정이다.
한편, 노래방과 같은 경우나 춤 관련 앱 또는 게임의 경우 현실세계를 가상세계로 보완해주는 개념인 증강현실(augmented reality, AR)이 컴퓨터 그래픽으로 만들어진 가상환경이 활용되고 있는데, 이러한 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 하여 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다.
아울러 기존의 춤 관련 앱 또는 게임에서는 사용자가 의도적으로 화면 속 아바타(예를 들면 설정된 캐릭터)를 키보드 또는 모바일 기기의 터치에 따라 춤을 추게 하거나 사용자의 의도와 관계없이 아바타의 동작을 따라 움직일 수 있게 하기도 하며, 또는 사용자의 동작과 무관하게 아바타는 미리 입력된 댄스동작을 수행하게 하기도 한다. 이때 퍼포먼스(또는 게임) 점수는 아바타의 동작과 사용자의 동작이 일치되면 점수를 획득할 수 있도록 한다.
그러나, 기존의 댄싱 룸과 관련된 게임에서는 사용자를 대체하는 캐릭터가 선택되는 경우 그 선택된 캐릭터가 사용자의 춤 동작을 실시간으로 따라 움직이거나 캐릭터의 움직임에 대한 화상 표출이 불가능하게 되므로, 캐릭터의 활용성이 낮은 단점이 있었다.
따라서 춤 관련 앱 또는 게임에서 사용자를 대체하여 선택되는 캐릭터가 사용자의 춤 동작을 실시간으로 따라 움직일 수 있게 하거나 캐릭터의 움직임을 화상으로 표출하여 2차적인 활용도를 높일 수 있는 기술을 필요로 하고 있으며, 특히 복수의 사용자가 하나의 댄싱 룸에서 춤을 추는 경우 각 사용자가 선택한 캐릭터가 각 사용자의 춤 동작과 매칭될 수 있도록 하는 기술을 필요로 하고 있다.
따라서 본 발명은 상기의 문제점을 해결하기 위해 안출한 것으로서, 본 발명의 목적은, 기준영상으로부터 AI 및 딥러닝을 활용하여 영상 속 사용자의 동작을 인식하고 사용자의 동작인식에 따른 춤 또는 게임에 관한 동작인식 기준데이터를 대량으로 축적하여 그 축적된 데이터를 기준으로 실시간 사용자의 춤 또는 게임 관련 동작들을 인식 및 비교하고 그 매칭 여부를 판단하여 점수를 산출하고 화면으로 표시하거나 온라인 연동하여 동작 인식을 통해 춤 또는 게임동작을 효율적으로 용이하게 연습할 수 있는 댄싱 룸 서비스 시스템 및 그 방법을 제공하고자 하는 것이다.
상기 본 발명의 목적은, 댄싱룸 내 기준영상의 업로드/다운로드와 재생 및 동작을 인식하여 사용자의 댄스 또는 게임 관련 서비스를 수행하는 댄싱 룸 서비스 시스템에 있어서, 댄싱 룸에 설치되며 룸 내부의 사용자 영상을 실시간 촬영하여 실시간 영상 데이터를 획득하고 영상제어 및 동작인식부로 전달하는 카메라; 사용자의 오디오를 입력받아 영상제어 및 동작인식부로 전달하는 마이크; 사용자에 의한 접속 및 SNS 또는 유튜브를 포함하는 온라인 서버로의 컨텐츠 업로드/다운로드가 가능하도록 유/무선 통신 네트워크와 연결되며 댄싱룸 서비스 시스템의 운영과 관련된 프로그램 또는 앱을 전체적으로 제어하고 관리하여 댄싱룸 서비스 정보를 상호 연결, 처리, 기억하고 이를 사용자, 필요한 댄싱 관련 앱, SNS 또는 유튜브를 포함하는 온라인 서버에 제공하는 중앙 제어부; 카메라와 마이크 및 중앙 제어부와 연결되고 영상 출력부와 스피커 및 사용자 인터페이스부와 연결되어 기준영상의 음악 리듬 측정, 리듬의 시간데이터 저장, 리듬의 시간데이터에 따른 객체의 동작인식 기준데이터 로드, 댄싱룸의 카메라 촬영 영상으로부터 춤 또는 게임 관련된 사용자의 실시간 동작인식 데이터 획득, 사용자의 실시간 동작인식 데이터와 동작인식 기준데이터와의 비교를 통한 점수 산출, 콘서트 배경, 뮤직비디오 영상, 기준영상, 카메라에서 촬영된 실시간 영상과 점수를 함께 영상 화면으로 출력하거나 온라인서버로 연동시키는 영상제어 및 동작인식부; 댄싱 룸 내부에 설치되며 영상제어 및 동작인식부와 연결되어 콘서트 배경, 뮤직비디오 영상, 기준영상 또는 카메라(100)에서 촬영된 실시간 영상 및 영상제어 및 동작인식부에서 출력 처리된 영상을 화면으로 표시하는 영상 출력부; 영상제어 및 동작인식부와 연결되어 노래의 오디오 또는 마이크를 통해 입력되는 사용자의 오디오를 출력하는 스피커; 및 영상 제어 및 동작 인식부와 연결되어 사용자에 의한 기준영상의 선택동작을 제어하는 사용자 인터페이스부;를 포함하는, 댄싱 룸 서비스 시스템에 의해 달성된다.
또한 상기 본 발명의 목적은, 카메라 및 마이크, 중앙 제어부, 영상 제어 및 동작 인식부, 영상 출력부, 스피커, 및 사용자 인터페이스부를 포함하여 댄싱룸 내 기준영상의 업로드/다운로드와 재생 및 동작을 인식하고 사용자의 댄스 또는 게임 관련 서비스를 수행하는 시스템에서의 댄싱 룸 서비스 방법에 있어서, (a) 기준영상을 로드하여 음악의 리듬을 분석하고 음악의 리듬에 따른 시간 데이터를 저장하며 기준영상 내 객체의 동작으로부터 시간 데이터를 기준으로 하는 해당 객체의 동작인식 기준데이터를 인식하고 추출하여 암호화하고 가사 데이터와 함께 저장하는 제1과정; (b) 사용자의 의해 선택되는 기준영상을 로드하여 기저장된 시간 데이터와 동작인식 기준데이터를 로드하고 재생하면서 카메라를 통해 촬영되는 영상으로부터 사용자의 실시간 동작을 인식하고 마이크의 가사데이터를 체크하여 기저장된 객체의 동작에 따른 동작인식 기준데이터 및 음악의 가사데이터와 비교하여 점수를 산출하는 제2과정;으로 이루허지는 댄싱 룸 서비스 방법에 의해 달성된다.
본 발명에 따르면, 기준영상으로부터 AI 및 딥러닝을 활용하여 영상 속 사용자의 동작을 인식하고 사용자의 동작인식에 따른 춤 또는 게임에 관한 데이터를 대량으로 빠르게 축적하여 그 축적된 데이터를 기준으로 실시간 사용자의 춤 또는 게임 관련 동작들을 인식 및 비교하고 그 매칭 여부를 판단하여 점수를 산출하고 화면으로 표시하거나 온라인 연동시킬 수 있게 되므로, 댄싱 룸을 이용하여 댄스 연습이나 게임 훈련 등을 효율적으로 수행 가능하게 하는 이점을 제공할 수 있다.
도 1은 본 발명의 일 실시 형태에 따른 댄싱 룸 서비스 시스템의 개념을 설명하기 위하여 예시한 개략적인 블록도이다.
도 2는 도 1의 영상 제어 및 동작 인식부의 상세도이다.
도 3a 내지 도 3c는 본 발명에 의한 댄싱 룸 서비스 시스템에서 댄싱룸의 각 형태에 따른 영상 출력부의 설치 예를 나타낸 참고사진과 개략도이다.
도 4a 내지 도 4c는 본 발명에서 영상 제어 및 동작 인식부가 수행하는 FFT, BPM 측정, 및 위치좌표 측정을 설명하기 위하여 예시한 참고도들이다.
도 5a와 도 5b는 본 발명에 의한 댄싱 룸 서비스 방법의 동작 처리 과정을 각각 예시한 동작 흐름도이다.
도 2는 도 1의 영상 제어 및 동작 인식부의 상세도이다.
도 3a 내지 도 3c는 본 발명에 의한 댄싱 룸 서비스 시스템에서 댄싱룸의 각 형태에 따른 영상 출력부의 설치 예를 나타낸 참고사진과 개략도이다.
도 4a 내지 도 4c는 본 발명에서 영상 제어 및 동작 인식부가 수행하는 FFT, BPM 측정, 및 위치좌표 측정을 설명하기 위하여 예시한 참고도들이다.
도 5a와 도 5b는 본 발명에 의한 댄싱 룸 서비스 방법의 동작 처리 과정을 각각 예시한 동작 흐름도이다.
이하, 본 발명의 일 실시 형태에 따른 댄싱 룸 서비스 시스템 및 그 방법의 구성과 동작 및 그에 의한 작용 효과를 첨부 도면을 참조하여 상세히 설명한다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일 실시 형태에 따른 댄싱 룸 서비스 시스템의 개념을 설명하기 위하여 예시한 개략적인 블록도이고, 도 2는 도 1의 영상 제어 및 동작 인식부의 상세도이며, 도 3a 내지 도 3c는 본 발명에 의한 댄싱 룸 서비스 시스템에서 댄싱룸의 각 형태에 따른 영상 출력부의 설치 예를 나타낸 참고사진(ㄱ)과 개략도(ㄴ)이고, 도 4a 내지 도 4c는 본 발명에서 영상 제어 및 동작 인식부가 수행하는 FFT, BPM 측정, 및 위치좌표 측정을 설명하기 위하여 예시한 참고도들로서, 도면에 예시된 바와 같이 본 발명의 바람직한 실시 형태는, 카메라(100) 및 마이크(101), 중앙 제어부(200), 영상 제어 및 동작 인식부(300), 영상 출력부(400), 스피커(500), 및 사용자 인터페이스부(600)를 포함하여 구성될 수 있으며, 이러한 본 발명은 댄싱 룸(10) 내부에서 기준영상을 업로드/다운로드하여 재생하고 사용자의 댄스 또는 게임 관련 동작 인식을 통해 댄싱 룸 서비스를 수행하는 댄싱 룸 서비스 시스템에 적용되어 구현될 수 있다.
먼저, 본 발명이 적용될 수 있는 댄싱 룸(10)은 적어도 하나 또는 복수의 사용자가 댄싱 동작 훈련 또는 게임 등의 동작을 수행할 수 있는 공간으로서 원형룸, 부채꼴룸, 사각룸 등(도 3a 내지 도 3c 참조)의 형태로 다양하게 형성될 수 있으며, 이러한 댄싱 룸(10)의 내부에는 도 1에 예시된 바와 같이 영상 촬영을 위한 카메라(100), 음성 입력을 위한 마이크(101), 댄싱룸 내부의 시스템 동작을 제어하기 위한 중앙 제어부(200), 영상 출력을 제어하고 사용자의 동작을 인식하기 위한 영상 제어 및 동작 인식부(300), 영상 출력을 위한 영상 출력부(400), 음성 출력을 위한 스피커(500), 및 사용자 인터페이스를 위한 사용자 인터페이스부(600) 등이 구비될 수 있다.
본 발명의 댄싱 룸(10)은 춤 동작만을 위한 것이라기보다 노래 연습, 게임 훈련 기능을 포함하는 것이 바람직하며 사용자가 관련 춤 또는 노래 곡목을 선택할 수 있도록 하는 것이 바람직하다.
또한 이러한 댄싱 룸(10)은 1인 내지 6인 이하의 인원이 수용될 수 있는 공간으로 형성되는 것이 바람직하지만 그 이상의 인원도 수용될 수 있음은 물론이다. 예를 들면 세 명의 사용자 A, 사용자 B, 사용자 C가 댄싱 룸(10) 내에서 춤을 추는 경우, 각 사용자를 인식하여 선택하고, 선택된 사용자의 동작을 인식하여 각 사용자의 춤 동작을 디스플레이하도록 구성될 수 있다.
카메라(100)는 댄싱 룸 내부의 사용자 영상을 실시간 촬영하여 실시간 영상 데이터를 획득하고 영상제어 및 동작인식부(300)의 영상 캡쳐부(310)로 전달한다.
마이크(101)는 사용자의 오디오를 입력받아 영상제어 및 동작인식부(300)로 전달한다.
중앙 제어부(200)는 사용자에 의한 접속 및 SNS 또는 유튜브를 포함하는 온라인 서버로의 컨텐츠 업로드/다운로드가 가능하도록 유/무선 통신 네트워크와 연결되어 본 발명의 구성과 관련된 정보를 상호 연결, 처리, 기억하고, 이를 사용자, 필요한 댄싱 관련 앱, SNS, 유튜브 등에 제공하며, 댄싱룸 서비스 시스템의 운영과 관련된 프로그램 또는 앱을 전체적으로 제어하고 관리한다.
영상제어 및 동작인식부(300)는 기준영상의 음악 리듬 측정, 리듬의 시간데이터 저장, 리듬의 시간데이터(time stamp)에 따른 객체의 동작인식 기준데이터 로드, 댄싱룸의 카메라 촬영 영상으로부터 춤 또는 게임 관련된 사용자의 실시간 동작인식 데이터 획득, 사용자의 실시간 동작인식 데이터와 동작인식 기준데이터와의 비교를 통한 점수 산출, 콘서트 배경, 기준영상 및 카메라 촬영 영상과 점수를 함께 화면으로 표시하거나 온라인서버로의 연동시키는 동작을 전체적으로 관제한다. 즉, 영상제어 및 동작인식부(300)는 사용자 인터페이스부(600)를 통한 사용자 선택에 대응하는 기준영상을 영상 저장/공유부(340)에서 로드하여 리듬을 분석하고 기준영상 내 객체의 동작을 인식하여 리듬 단위의 동작인식 기준데이터를 획득하고 동작인식 기준데이터 저장부(DB;360)에 해당 노래와 연결시켜 저장하며, 카메라(100)에서 촬영되는 실시간 영상 데이터로부터 영상을 캡쳐하여 사용자의 실시간 동작을 인식하고 동작인식 기준데이터 저장부(360)에 저장된 해당 기준영상의 동작인식 기준데이터와의 비교를 통해 점수를 산출하며 출력영상 생성부(350)에서 출력 영상을 생성하여 적어도 하나의 개별 영상 출력부(410-450)를 통한 영상 출력을 제어한다.
도 2에 예시된 바와 같이 영상제어 및 동작인식부(300)는 영상 캡쳐부(310), 동작 인식부(320), 주제어부(330), 영상 저장/공유부(340), 출력영상 생성부(350), 동작인식 기준데이터 저장부(360), 동작점수 산출부(370), 및 네트워크 인터페이스부(380)를 포함하여 구성될 수 있다.
영상 캡쳐부(310)는 영상 저장/공유부(340)에서 로드된 기준영상으로부터 영상을 캡쳐한다.
동작 인식부(320)는 기준영상 음악의 비트를 측정하여 리듬을 분석하고 동작 인식(매칭)을 위한 리듬 단위의 시간 데이터를 획득하여 저장하며, 이러한 시간 데이터를 기준으로 기준영상 내 객체의 동작을 인식하여 시간 데이터에 따른 객체의 동작인식 기준 데이터를 획득하거나 또는 카메라 촬영 영상으로부터 사용자의 실시간 동작인식 데이터를 획득하여 주제어부(330)에 전달한다.
이러한 동작 인식부(320)에서의 비트 획득 과정은 다음과 같다.
댄스의 경우 음악의 비트(박자)에 따라 동작을 진행하게 된다. 따라서 최종 목적인 동작을 통한 댄스의 정확도를 계산하기 위해서 음악의 비트를 먼저 측정하여 저장 후 이 시간에 맞추어 동작인식 비교 데이터를 획득하여 비교를 진행한다.
이때 비트를 측정하기 위해서는 각각의 파일들을 고속 푸리에변환(FFT; fast Fourier transform)을 이용하여 주파수 변환 후 각 채널별(예 스테레오=2채널) 주파수의 차이를 이용하여 비트를 계산하고 분 단위의 비트값(BPM; Beat Per Minute)을 계산하여 저장시킨다. 이러한 FFT 변환 예는 도 4a에 예시되어 있고, BPM 측정 예는 도 4b에 예시되어 있다.
다음으로 분 단위의 비트값(BPM)을 저장 완료 후 각각에 맞는 기준영상을 불러들어 이 시간에 맞추어 동작데이터를 생성하여 저장한다.
동작인식은 예를 들면 도 4c에 예시된 바와 같이 객체의 각 신체 특징부에 대한 다수 개의 좌표 데이터, 즉, 눈, 귀, 목, 가슴, 허리, 골반, 어깨, 팔꿈치, 손, 허벅지, 무릎, 종아리, 발 등 17개의 좌표 데이터를 기본으로 측정할 수 있다. 특히 댄스의 경우에는 얼굴의 동작도 중요하므로 예를 들면 14~16번 처럼 얼굴의 각도를 알 수 있도록 눈 및 귀에 대한 좌표 데이터를 추적하여 얻어내고, 이러한 기본 데이터를 중심으로 2차원 또는 3차원의 좌표를 계산하여 저장한다.
예를 들면, 4[113,10,45] = 오른손[x,y,z] 좌표
또한 전문가를 위하여 손, 발 및 얼굴의 특징점을 추가적으로 저장할 수 있다.
이와 같이 저장된 좌표를 기준으로 사용자의 동작을 비교하여 유사도를 계산하고 점수를 산출한다.
인식과정은 미리 모델링된 데이터를 이용하여 사람을 먼저 인식한 후 각 신체 부위의 위치를 인식하여 저장한다. 이때 모델링 데이터는 기 구축된 딥러닝 기반의 모델러를 사용하여 처리한다.
이에 따라 본 발명은 기존의 센서 부착형에 비해서 매우 빠른 속도로 춤추는 사람의 동작데이터를 생성/저장할 수 있게 되므로 빠른 속도로 동작 인식이 가능하게 되며, 기존 키넥트 등의 동작 인식 센서들과는 다르게 사용자수 제한 없이 인식이 가능하게 된다.
주제어부(330)는 사용자 선택에 의한 기준영상을 영상 저장/공유부(340)에서 로드하여 출력영상 생성부(350)를 통해 재생하고, 동작 인식부(330)에서 전달된 기준영상 내 객체의 동작인식 기준데이터와 사용자의 실시간 동작인식 데이터를 동작인식 기준데이터 저장부(360) 및 동작점수 산출부(370)에 전달하여 동작인식 기준데이터 저장부(360)에서 기준영상과 연결시켜 저장되게 하거나 동작점수 산출부(370)에서 점수 산출에 사용되도록 하며, 동작인식 기준데이터 저장부(360)에 기저장된 기준영상의 시간 데이터에 따른 객체의 동작인식 기준 데이터를 사용자의 선택에 따라 로드하고, 네트워크 인터페이스부(380)를 통해 외부 기기와 통신을 수행한다.
영상 저장/공유부(340)는 사용자 선택이 가능한 다수 개의 기준영상을 저장하고 카메라(100)에서 촬영되는 실시간 영상 데이터를 해당 기준영상과 연결시켜 저장하며 사용자의 요청에 따른 뮤직비디오 영상을 출력영상 생성부(350)로 전송한다. 이러한 영상 저장/공유부(340)는 영상 저장을 위한 영상 저장부(341)와 저장된 영상 공유를 제어하는 영상 공유부(342)를 포함하여 구성될 수 있다.
출력영상 생성부(350)는 영상 캡쳐부(310)에서 캡쳐된 사용자의 실시간 영상 데이터를 입력받아 영상 저장/공유부(340)의 기준영상과 합성하고 댄싱룸 내의 다수 개의 영상 출력채널을 통해 출력하며, 동작인식 기준데이터 저장부(360)의 기준영상의 시간 데이터에 따른 객체의 동작인식 기준 데이터 및 동작점수 산출부(370)의 산출 점수를 영상 데이터와 합성하여 출력한다. 이를 위하여 출력영상 생성부(350)는 댄싱룸 내에 구비된 다수 개의 영상 출력 채널 중 영상 출력을 위한 적어도 하나의 영상 출력 채널을 결정하는 출력장치 결정부(351), 댄싱룸 내에 구비된 다수 개의 영상 출력 채널 중 영상 출력시 중심이 될 하나의 영상 출력 채널을 결정하는 영상중심 결정부(352), 댄싱룸 내에 구비된 다수 개의 출력 채널에 전송할 다수 개의 출력 영상을 생성하는 다채널 영상 생성부(353), 및 댄싱룸 내에 구비된 다수 개의 출력 채널에 전송할 적어도 어느 하나의 출력 영상에 동작인식 기준데이터 저장부(360)의 기준영상의 시간 데이터에 따른 객체의 동작인식 기준 데이터 및 동작점수 산출부(370)의 산출 점수를 합성하는 영상 합성부(354)를 포함하여 구성될 수 있다.
동작인식 기준데이터 저장부(360)는 사용자 선택이 가능한 기준영상의 시간 데이터에 따른 객체의 동작인식 기준 데이터를 암호화하고 해당 기준영상과 연결시켜 가사 데이터와 함께 데이터베이스 또는 파일로 축적한다.
동작점수 산출부(370)는 주제어부(330)에서 전달되는 사용자의 실시간 동작인식 데이터를 사용자 선택에 의한 기준영상의 시간 데이터에 따른 객체의 동작인식 기준 데이터와 비교하여 그 매칭 여부에 따라 점수를 산출하고 산출된 점수를 출력영상 생성부(350)의 영상 합성부(354)에 전달한다.
네트워크 인터페이스부(380)는 태블릿 피시 또는 스마트폰을 이용한 사용자 접속, SNS 또는 유튜브를 포함하는 온라인 서버로의 컨텐츠 업로드/다운로드가 가능하도록 유/무선 통신 네트워크와 연결된다.
영상 출력부(400)는 다수 개의 개별 영상 출력부(410-450)로 구성될 수 있으며, 각각의 개별 영상 출력부(410-450)는 각각 프로젝터(412,422,432,442,452)와 스크린(414,424,434,444,454)으로 각각 구성될 수 있다. 또한 이러한 각각의 개별 영상 출력부(410-450)는 댄싱 룸(10)의 형태, 즉 도 3a 내지 도 3c에 예시된 바와 같이 원형룸, 부채꼴룸, 사각룸 등의 형태에 따라 그 개수가 설정될 수 있다.
또한 이러한 영상 출력부(400)에서는 사용자 인터페이스부(600)에서 선택된 뮤직비디오 영상 또는 카메라(100)에서 촬영된 실시간 영상을 각 개별 영상 출력부(410-450)를 통해 동시에 표출한다. 또한 이러한 영상 출력부(400)에서는 콘서트 배경, 뮤직비디오 및 춤을 따라하기 위한 동작화면, 사용자 화면, 산출 점수를 함께 표시할 수 있게 되며, 또한 실제 콘서트장소 또는 뮤직비디오 촬영장소 등과 같은 다양한 효과의 영상 표시도 가능하게 된다.
스피커(500)는 사용자 인터페이스부(600)에서 선택된 뮤직비디오에 포함된 노래의 오디오 또는 마이크(101)를 통해 입력되는 사용자의 오디오를 출력한다.
사용자 인터페이스부(600)는 태블릿 피시(610) 또는 스마트폰(620)으로 구성될 수 있으며, 노래 곡목 또는 댄스 번호 중의 어느 하나로 분류되는 노래 또는 기준영상을 선택 가능하도록 키입력수단을 구비하고, 영상 제어 및 동작 인식부(300)와 연결되어 사용자에 의한 노래 또는 기준영상 선택동작을 제어한다.
한편, 도 5a와 도 5b는 본 발명에 의한 댄싱 룸 서비스 방법의 동작 처리 과정을 각각 예시한 동작 흐름도로서, 본 발명에 의한 댄싱 룸 서비스 방법은 전체적으로 제1과정(S100) 및 제2과정(S200)으로 이루어질 수 있으며, 이러한 본 발명의 댄싱 룸 서비스 방법은 적어도 하나의 사용자가 댄싱 룸을 이용하는 경우 또는 사용자가 복수인 경우를 포함할 수 있다. 또한 본 발명의 댄싱 룸 서비스 방법은 카메라(100)와 마이크(101), 중앙 제어부(200), 영상 제어 및 동작 인식부(300), 영상 출력부(400), 스피커(500), 및 사용자 인터페이스부(600)를 포함하는 댄싱 룸 서비스 시스템에서 구현될 수 있으며, 영상 제어 및 동작 인식부(300)에 의해 수행될 수 있다.
도 5a에 예시된 바와 같이 제1과정(S100)은 기준영상을 로드(S101)하여 음악의 비트(리듬)을 분석(S102)하고 음악의 리듬에 따른 시간 데이터(time stamp)를 저장(S103)하며 기준영상 내에서 객체를 인식(S104)하여 객체의 동작으로부터 시간 데이터를 기준으로 하는 해당 객체의 동작인식 기준데이터를 추출S106)하고 암호화(S107)하여 음악의 가사데이터와 함께 저장(S108)하는 과정이다.
도 5b에 예시된 바와 같이 제2과정(S200)은 사용자의 의해 선택(S201)되는 기준영상을 로드(S202)하여 기저장된 시간 데이터와 동작인식 기준데이터를 로드(S203)하고 재생(S204)하면서 카메라를 통해 촬영되는 영상으로부터 사용자의 실시간 동작을 인식(S205)하고 마이크의 가사데이터를 체크(S205-1)하여 기저장된 객체의 동작에 따른 동작인식 기준데이터 및 음악의 가사데이터와 비교하여 점수를 산출(S206)하는 과정이다.
이상과 같이 구성되는 본 발명의 댄싱 룸 서비스 시스템 및 그 방법에서 이루어지는 전체적인 처리 과정 및 그에 의한 작용 효과를 설명하면 다음과 같다.
먼저, 댄싱 룸(10) 내 사용자 인터페이스부(600)를 통해 노래가 선택되면 영상제어 및 동작인식부(300)는 사용자 선택에 대응하는 기준영상을 영상 저장/공유부(340)에서 로드(S101)하여 기준영상 내 음악의 리듬을 분석(S102)하고 음악의 리듬에 따른 시간 데이터를 저장(S103)한다.
이어서 영상제어 및 동작인식부(300)는 기준영상의 객체(또는 객체들)을 인식(S104)하여 객체에 대한 동작인식 기준데이터, 즉, 해당 객체에 대하여 상기 저장된 음악 리듬의 시간 데이터에 따른 동작인식 기준데이터를 추출(S106)하고 동시에 암호화(S107)한 후 음악 내 가사 데이터를 동작인식 기준데이터 저장부(360)에 해당 기준영상과 연결시켜 저장(S108)하는 제1과정(S100)을 각각의 노래에 대해 반복적으로 수행함으로써, 다수 개의 노래에 대한 객체의 동작인식 기준데이터를 데이터베이스 또는 파일로 대량으로 축적한다.
다음으로 댄싱 룸(10) 내 사용자 인터페이스부(600)를 통해 노래 곡목 또는 번호가 사용자에 의해 선택(S201)되면, 영상제어 및 동작인식부(300)는 선택된 노래 곡목 또는 번호에 대응하는 기준영상을 영상 저장/공유부(340)에서 로드(S202)하고, 해당 기준영상과 연결 저장된 시간 데이터에 따른 동작인식 기준데이터를 동작인식 기준데이터 저장부(360)에서 로드(S203)하여 영상 출력부(400)를 통해 재생(S204)한다.
이와 동시에 댄싱 룸(10) 내에서 사용자가 댄싱동작을 수행하게 되면, 댄싱 룸(10) 내에 설치된 카메라(100)에서 사용자의 실시간 댄싱 동작을 촬영하여 영상제어 및 동작인식부(300)로 전달한다. 이에 따라 영상제어 및 동작인식부(300)의 영상 캡쳐부(310)에서는 사용자의 실시간 영상 데이터로부터 영상을 캡쳐하여 사용자의 실시간 댄싱 동작을 인식(S205)하고, 또한 마이크(101)를 통해 입력되는 노래의 가사 데이터를 동시에 체크(S205-1)하여 동작인식 기준데이터 저장부(360)에 기저장된 해당 기준영상의 객체의 동작에 따른 동작인식 기준데이터 및 음악의 가사데이터와 비교를 통해 점수를 산출(S206)하고, 출력영상 생성부(350)에서 출력 영상을 생성하여 적어도 하나의 개별 영상 출력부(410-450)를 통한 영상 출력을 제어한다.
이상과 같은 본 발명에 따른 댄싱 룸 서비스 시스템 및 그 방법은 사용자의 스마트폰과 같은 휴대용 기기에 다운받아 사용할 수 있는 어플리케이션(앱)으로도 사용자에게 제공될 수 있고, 컴퓨터로 읽을 수 있는 기록매체로도 제공될 수 있으며, 이러한 본 발명의 댄싱 룸 서비스 시스템은 자동으로 업데이트되거나 업데이트 프로그램에 의해 기능이 향상될 수도 있다.
한편, 본 설명에서는 구체적으로 설명하지 않았지만, 본 발명에 따른 댄싱 룸 서비스 시스템과 관련된 앱을 사용하는 경우 사용자는 캐릭터를 설정할 수 있는 메뉴, 댄싱과 관련된 음악을 선택할 수 있는 메뉴, 자신의 춤 점수를 확인할 수 있는 메뉴 등 공지의 춤 관련 앱에서 활용되는 다양한 선택 메뉴가 제공될 수 있다.
또한, 본 발명의 댄싱 룸 서비스 시스템은 사용자의 춤 동작을 녹화할 수 있고 이러한 사용자의 춤 동작을 SNS, 유튜브 등의 온라인 서버로 전송할 수도 있으며, 사용자는 본 발명에 따른 댄싱 룸 서비스 시스템을 활용하여 설정 캐릭터가 유도하는 대로 춤 동작을 연습하거나 게임 훈련을 수행할 수도 있고 따라하는 춤 동작에 대한 점수가 얼마인지도 확인할 수 있을 것이다.
이상과 같은 본 발명에 따르면, 댄싱 룸을 이용하는 사용자 특히 복수의 사용자의 댄싱 동작을 간단하고 편리하게 사용자가 선택한 설정 캐릭터의 화상으로 표출할 수 있게 되므로, 댄싱 룸의 활용도를 향상시킬 수 있는 이점을 제공할 수 있게 된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허 청구 범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
10 : 댄싱 룸 100 : 카메라
101 : 마이크 200 : 중앙제어부
300 : 영상제어 및 동작인식부 310 : 영상 캡쳐부
320 : 동작 인식부 330 : 주제어부
340 : 영상 저장/공유부 341 : 영상 저장부
342 : 영상 전송부 350 : 출력영상 생성부
351 : 출력장치 결정부 352 : 영상중심 결정부
353 : 디지털 영상 생성부 354 : 영상 합성부
360 : 동작인식 기준데이터 저장부 370 : 동작점수 산출부
400 : 영상 출력부 410-450 : 개별 영상 출력부
412,422,432,442,452 : 프로젝터 414,424,434,444,454 : 스크린
500 : 스피커 600 : 사용자 인터페이스부
610 : 태블릿 피시 620 : 스마트폰
101 : 마이크 200 : 중앙제어부
300 : 영상제어 및 동작인식부 310 : 영상 캡쳐부
320 : 동작 인식부 330 : 주제어부
340 : 영상 저장/공유부 341 : 영상 저장부
342 : 영상 전송부 350 : 출력영상 생성부
351 : 출력장치 결정부 352 : 영상중심 결정부
353 : 디지털 영상 생성부 354 : 영상 합성부
360 : 동작인식 기준데이터 저장부 370 : 동작점수 산출부
400 : 영상 출력부 410-450 : 개별 영상 출력부
412,422,432,442,452 : 프로젝터 414,424,434,444,454 : 스크린
500 : 스피커 600 : 사용자 인터페이스부
610 : 태블릿 피시 620 : 스마트폰
Claims (11)
- 댄싱룸 내 기준영상의 업로드/다운로드와 재생 및 동작을 인식하여 사용자의 댄스 또는 게임 관련 서비스를 수행하는 댄싱 룸 서비스 시스템에 있어서,
댄싱 룸에 설치되며 룸 내부의 사용자 영상을 실시간 촬영하여 실시간 영상 데이터를 획득하고 영상제어 및 동작인식부(300)로 전달하는 카메라(100);
사용자의 오디오를 입력받아 영상제어 및 동작인식부(300)로 전달하는 마이크(101);
사용자에 의한 접속, 및 SNS 또는 유튜브를 포함하는 온라인 서버로의 컨텐츠 업로드/다운로드가 가능하도록 유/무선 통신 네트워크와 연결되며 댄싱룸 서비스 시스템의 운영과 관련된 프로그램 또는 앱을 전체적으로 제어하고 관리하여 댄싱룸 서비스 정보를 상호 연결, 처리, 기억하고 이를 사용자, 필요한 댄싱 관련 앱, SNS 또는 유튜브를 포함하는 온라인 서버에 제공하는 중앙 제어부(200);
상기 카메라(100)와 마이크(101) 및 중앙 제어부(200)와 연결되고 영상 출력부(400)와 스피커(500) 및 사용자 인터페이스부(600)와 연결되어 기준영상의 음악 리듬 측정, 리듬의 시간데이터 저장, 리듬의 시간데이터에 따른 객체의 동작인식 기준데이터 로드, 댄싱룸의 카메라 촬영 영상으로부터 춤 또는 게임 관련된 사용자의 실시간 동작인식 데이터 획득, 사용자의 실시간 동작인식 데이터와 동작인식 기준데이터와의 비교를 통한 점수 산출, 콘서트 배경, 뮤직비디오 영상, 기준영상 및 카메라 촬영 영상과 점수를 함께 영상 화면으로 출력하거나 온라인서버로 연동시키는 영상제어 및 동작인식부(300);
댄싱 룸 내부에 설치되며 상기 영상제어 및 동작인식부(300)와 연결되어 콘서트 배경, 뮤직비디오 영상, 기준영상 또는 카메라(100)에서 촬영된 실시간 영상, 및 상기 영상제어 및 동작인식부(300)에서 출력 처리된 영상을 화면으로 표시하는 영상 출력부(400);
상기 영상제어 및 동작인식부(300)와 연결되어 노래의 오디오 또는 마이크(101)를 통해 입력되는 사용자의 오디오를 출력하는 스피커(500); 및
상기 영상 제어 및 동작 인식부(300)와 연결되어 사용자에 의한 기준영상 선택동작을 제어하는 사용자 인터페이스부(600);를 포함하여 구성되는 것을 특징으로 하는 댄싱 룸 서비스 시스템. - 제1항에 있어서, 상기 댄싱룸(10)은,
원형룸, 부채꼴룸, 사각룸 중의 어느 하나로 형성되는 것을 특징으로 하는 댄싱 룸 서비스 시스템. - 제1항에 있어서, 상기 영상제어 및 동작인식부(300)는,
기준영상 또는 카메라의 촬영 영상으로부터 영상을 캡쳐하는 영상 캡쳐부(310);
기준영상 음악의 비트를 측정하여 리듬을 분석하고 동작 인식을 위한 리듬 단위의 시간 데이터를 획득하여 저장하며, 획득된 시간 데이터를 기준으로 기준영상 내 객체의 동작을 인식하여 시간 데이터에 따른 객체의 동작인식 기준 데이터를 획득하거나 또는 카메라 촬영 영상으로부터 사용자의 실시간 동작인식 데이터를 획득하는 동작 인식부(320);
사용자 선택에 의한 기준영상를 로드하여 재생하고, 상기 동작 인식부(330)에서 전달된 기준영상 내 객체의 동작인식 기준데이터와 사용자의 실시간 동작인식 데이터를 동작인식 기준데이터 저장부(360) 및 동작점수 산출부(370)에 전달하며 동작인식 기준데이터 저장부(360)에 기저장된 기준영상의 시간 데이터에 따른 객체의 동작인식 기준 데이터를 사용자의 선택에 따라 로드하고, 네트워크 인터페이스부(380)를 통해 외부 기기와 통신을 수행하는 주제어부(330);
사용자 선택이 가능한 다수 개의 기준영상을 저장하고 카메라(100)에서 촬영되는 실시간 영상 데이터를 해당 기준영상과 연결시켜 저장하며 사용자의 요청에 따른 기준영상을 출력영상 생성부(350)로 전송하는 영상 저장/공유부(340);
상기 영상 캡쳐부(310)에서 캡쳐된 사용자의 실시간 영상 데이터를 입력받아 영상 저장/공유부(340)의 콘서트 배경, 뮤직비디오 영상과 합성하고 댄싱룸 내의 다수 개의 영상 출력채널을 통해 출력하며, 동작인식 기준데이터 저장부(360)의 기준영상의 시간 데이터에 따른 객체의 동작인식 기준 데이터 및 동작점수 산출부(370)의 산출 점수를 영상 데이터와 합성하여 출력하는 출력영상 생성부(350);
사용자 선택이 가능한 기준영상의 시간 데이터에 따른 객체의 동작인식 기준 데이터를 암호화하여 가사 데이터와 함께 해당 기준영상과 연결시켜 데이터베이스에 축적하는 동작인식 기준데이터 저장부(360);
상기 주제어부(330)에서 전달되는 사용자의 실시간 동작인식 데이터를 사용자 선택에 의한 기준영상의 시간 데이터에 따른 객체의 동작인식 기준 데이터와 비교하여 그 매칭 여부에 따라 점수를 산출하고 산출된 점수를 출력영상 생성부(350)의 영상 합성부(354)에 전달하는 동작점수 산출부(370); 및
태블릿 피시 또는 스마트폰을 이용한 사용자 접속, SNS 또는 유튜브를 포함하는 온라인 서버로의 컨텐츠 업로드/다운로드가 가능하도록 유/무선 통신 네트워크와 연결되는 네트워크 인터페이스부(380);를 포함하여 구성되는 것을 특징으로 하는 댄싱 룸 서비스 시스템. - 제3항에 있어서, 상기 영상 저장/공유부(340)는,
영상 저장을 위한 영상 저장부(341)와 저장된 영상 공유를 제어하는 영상 공유부(342)를 포함하여 구성되는 것을 특징으로 하는 댄싱 룸 서비스 시스템. - 제3항에 있어서, 상기 출력영상 생성부(350)는,
댄싱룸 내에 구비된 다수 개의 영상 출력 채널 중 영상 출력을 위한 적어도 하나의 영상 출력 채널을 결정하는 출력장치 결정부(351);
댄싱룸 내에 구비된 다수 개의 영상 출력 채널 중 영상 출력시 중심이 될 하나의 영상 출력 채널을 결정하는 영상중심 결정부(352);
댄싱룸 내에 구비된 다수 개의 출력 채널에 전송할 다수 개의 출력 영상을 생성하는 다채널 영상 생성부(353); 및
댄싱룸 내에 구비된 다수 개의 출력 채널에 전송할 적어도 어느 하나의 출력 영상에 동작인식 기준데이터 저장부(360)의 기준영상의 시간 데이터에 따른 객체의 동작인식 기준 데이터 및 동작점수 산출부(370)의 산출 점수를 합성하는 영상 합성부(354);를 포함하여 구성되는 것을 특징으로 하는 댄싱 룸 서비스 시스템. - 제3항에 있어서, 상기 동작 인식부(320)는,
객체의 각 신체 특징부에 대한 다수 개의 좌표 데이터를 추적하여 좌표 데이터를 중심으로 2차원 또는 3차원의 동작인식 기준데이터의 좌표를 획득하여 저장하는 것을 특징으로 하는 댄싱 룸 서비스 시스템. - 제3항에 있어서, 상기 동작 인식부(320)는,
미리 모델링된 데이터를 이용하여 기준영상 내 객체를 먼저 인식하고,
해당 객체의 각 신체 부위의 위치를 인식하여 저장하는 것을 특징으로 하는 댄싱 룸 서비스 시스템. - 제1항에 있어서, 상기 영상 출력부(400)는,
상기 댄싱 룸(10)의 형태에 따라 다수 개의 개별 영상 출력부(410-450)로 구성되며, 사용자 인터페이스부(600)에서 선택된 기준영상 또는 카메라(100)에서 촬영된 실시간 영상을 각 개별 영상 출력부(410-450)를 통해 동시에 표출하되 콘서트 배경, 뮤직비디오 및 춤을 따라하기 위한 동작화면, 사용자 화면, 산출 점수를 함께 표시하는 것을 특징으로 하는 댄싱 룸 서비스 시스템. - 제1항에 있어서, 상기 사용자 인터페이스부(600)는,
노래 곡목 또는 댄스 번호 중의 어느 하나로 분류되는 기준영상을 선택 가능하도록 키입력수단을 구비한 태블릿 피시(610) 또는 스마트폰(620) 중의 어느 하나로 구성되는 것을 특징으로 하는 댄싱 룸 서비스 시스템. - 카메라(100) 및 마이크(101), 중앙 제어부(200), 영상 제어 및 동작 인식부(300), 영상 출력부(400), 스피커(500), 및 사용자 인터페이스부(600)를 포함하여 댄싱룸 내 기준영상의 업로드/다운로드와 재생 및 동작을 인식하고 사용자의 댄스 또는 게임 관련 서비스를 수행하는 시스템에서의 댄싱 룸 서비스 방법에 있어서,
(a) 기준영상을 로드(S101)하여 음악의 리듬을 분석(S102)하고 음악의 리듬에 따른 시간 데이터를 저장(S103)하며 기준영상 내 영상에서 객체를 인식(S104)하여 객체의 동작으로부터 시간 데이터를 기준으로 하는 해당 객체의 동작인식 기준데이터를 추출(S106)하여 암호화(S107)하고 음악의 가사데이터를 함께 저장(S108)하는 제1과정(S100);
(b) 사용자의 의해 선택(S201)되는 기준영상을 로드(S202)하여 기저장된 시간 데이터와 동작인식 기준데이터를 로드(S203)하고 재생(S204)하면서 카메라를 통해 촬영되는 영상으로부터 사용자의 실시간 동작을 인식(S205)하고 마이크의 가사데이터를 체크(S205-1)하여 기저장된 객체의 동작에 따른 동작인식 기준데이터 및 음악의 가사데이터와 비교하여 점수를 산출(S206)하는 제2과정(S200);으로 이루어지는 것을 특징으로 하는 댄싱 룸 서비스 방법. - 제10항에 있어서, 상기 제1과정(S100) 및 제2과정(S200)에서의 동작 인식과정은,
미리 모델링된 데이터를 이용하여 기준영상 내 객체를 먼저 인식하고,
해당 객체의 각 신체 부위의 위치를 인식하는 것을 특징으로 하는 댄싱 룸 서비스 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180122333A KR20200042143A (ko) | 2018-10-15 | 2018-10-15 | 댄싱 룸 서비스 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180122333A KR20200042143A (ko) | 2018-10-15 | 2018-10-15 | 댄싱 룸 서비스 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200042143A true KR20200042143A (ko) | 2020-04-23 |
Family
ID=70472695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180122333A KR20200042143A (ko) | 2018-10-15 | 2018-10-15 | 댄싱 룸 서비스 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200042143A (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931762A (zh) * | 2020-09-25 | 2020-11-13 | 广州佰锐网络科技有限公司 | 基于ai的图像识别解决方法、装置及可读存储介质 |
| CN112700521A (zh) * | 2021-01-26 | 2021-04-23 | 上海交通大学 | 音乐驱动的人体骨骼舞蹈动作生成系统 |
| CN113283384A (zh) * | 2021-06-17 | 2021-08-20 | 贝塔智能科技(北京)有限公司 | 一种基于肢体识别技术的太极互动系统 |
| CN113727353A (zh) * | 2021-08-27 | 2021-11-30 | 广州艾美网络科技有限公司 | 娱乐设备的配置方法、装置及娱乐设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101572348B1 (ko) | 2014-01-15 | 2015-11-26 | (주)디스트릭트홀딩스 | 인터렉티브 컴퓨팅 장치를 이용한 촬상 데이터 처리방법 및 그에 따른 시스템 |
| KR101613777B1 (ko) | 2014-01-15 | 2016-04-19 | (주)디스트릭트홀딩스 | 라이브 댄스 클래스 및 라이브 뮤직 룸을 위한 서비스 시스템 및 서비스 방법 |
| KR20160093131A (ko) | 2015-01-28 | 2016-08-08 | 한국전자통신연구원 | 동작 기반 인터랙티브 서비스 방법 및 시스템 |
-
2018
- 2018-10-15 KR KR1020180122333A patent/KR20200042143A/ko unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101572348B1 (ko) | 2014-01-15 | 2015-11-26 | (주)디스트릭트홀딩스 | 인터렉티브 컴퓨팅 장치를 이용한 촬상 데이터 처리방법 및 그에 따른 시스템 |
| KR101613777B1 (ko) | 2014-01-15 | 2016-04-19 | (주)디스트릭트홀딩스 | 라이브 댄스 클래스 및 라이브 뮤직 룸을 위한 서비스 시스템 및 서비스 방법 |
| KR20160093131A (ko) | 2015-01-28 | 2016-08-08 | 한국전자통신연구원 | 동작 기반 인터랙티브 서비스 방법 및 시스템 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931762A (zh) * | 2020-09-25 | 2020-11-13 | 广州佰锐网络科技有限公司 | 基于ai的图像识别解决方法、装置及可读存储介质 |
| CN112700521A (zh) * | 2021-01-26 | 2021-04-23 | 上海交通大学 | 音乐驱动的人体骨骼舞蹈动作生成系统 |
| CN113283384A (zh) * | 2021-06-17 | 2021-08-20 | 贝塔智能科技(北京)有限公司 | 一种基于肢体识别技术的太极互动系统 |
| CN113727353A (zh) * | 2021-08-27 | 2021-11-30 | 广州艾美网络科技有限公司 | 娱乐设备的配置方法、装置及娱乐设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200042143A (ko) | 댄싱 룸 서비스 시스템 및 그 방법 | |
| US20210029305A1 (en) | Method and apparatus for adding a video special effect, terminal device and storage medium | |
| KR101328759B1 (ko) | 비디오 스트림 내에서 마커 없는 텍스쳐 기하학적 평면 객체를 실시간으로 자동 추적하는 증강 현실 방법 및 장치 | |
| US9071808B2 (en) | Storage medium having stored information processing program therein, information processing apparatus, information processing method, and information processing system | |
| US10628478B2 (en) | Method and device thereof for user interaction based on virtual objects and non-volatile storage medium | |
| CN102918518B (zh) | 基于云的个人特征简档数据 | |
| CN107213619A (zh) | 体育运动训练评估系统 | |
| CN102622774B (zh) | 起居室电影创建 | |
| CN110059661A (zh) | 动作识别方法、人机交互方法、装置及存储介质 | |
| CN109091869A (zh) | 虚拟对象的动作控制方法、装置、计算机设备及存储介质 | |
| CN109815776B (zh) | 动作提示方法和装置、存储介质及电子装置 | |
| SG173496A1 (en) | Method and system for rendering an entertainment animation | |
| KR20010081193A (ko) | 모션 캡쳐 기능을 활용한 3차원 가상 현실 기법의 댄스게임 장치 | |
| CN110178158A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN109348277A (zh) | 运动像素视频特效添加方法、装置、终端设备及存储介质 | |
| CN113822970A (zh) | 直播控制方法、装置、存储介质与电子设备 | |
| KR20050082559A (ko) | 댄스 학습 시스템, 이를 이용한 인터넷 커뮤니티 서비스시스템과 인터넷 커뮤니티 서비스 방법, 댄스 학습 방법및 상기 방법들을 실행하는 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체 | |
| JP6431259B2 (ja) | カラオケ装置、ダンス採点方法、およびプログラム | |
| CN110781820B (zh) | 游戏角色的动作生成方法、装置、计算机设备及存储介质 | |
| CN112973110A (zh) | 云游戏控制方法、装置、网络电视及计算机可读存储介质 | |
| KR102363435B1 (ko) | 골프 스윙 동작 피드백 제공 장치 및 방법 | |
| KR102215146B1 (ko) | 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램 | |
| JP5318016B2 (ja) | ゲームシステム、ゲームシステムの制御方法、及びプログラム | |
| KR102095647B1 (ko) | 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법 | |
| US20240077938A1 (en) | Information processing method, information processing device, and program |