KR20220027502A - 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체 - Google Patents

미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체 Download PDF

Info

Publication number
KR20220027502A
KR20220027502A KR1020200108440A KR20200108440A KR20220027502A KR 20220027502 A KR20220027502 A KR 20220027502A KR 1020200108440 A KR1020200108440 A KR 1020200108440A KR 20200108440 A KR20200108440 A KR 20200108440A KR 20220027502 A KR20220027502 A KR 20220027502A
Authority
KR
South Korea
Prior art keywords
choreography
midi
music
image
time
Prior art date
Application number
KR1020200108440A
Other languages
English (en)
Other versions
KR102524870B1 (ko
Inventor
정주호
김영복
Original Assignee
주식회사 싱랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 싱랩 filed Critical 주식회사 싱랩
Priority to KR1020200108440A priority Critical patent/KR102524870B1/ko
Publication of KR20220027502A publication Critical patent/KR20220027502A/ko
Application granted granted Critical
Publication of KR102524870B1 publication Critical patent/KR102524870B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 미디 음악과 해당 음악에 대한 안무 동작에 관한 영상을 접목하여 높음 음악 품질의 미디 음악을 안무에 관한 영상 상의 안무 동작과 동기화하도록 함으로써 미디 음질을 기반으로 안무 동작을 연습할 수 있도록 하는 안무 영상 콘텐츠를 서비스할 수 있는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법을 제공하기 위한 것이다. 이를 위한 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법은, 특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하는 단계; 상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계; 상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화하는 단계; 및 상기 미디 데이터에 따른 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계를 포함한다.

Description

미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체{DEVICE FOR SERVING DANCE IMAGE BASED ON MIDI SOUND AND METHOD FOR THE SAME, AND RECORDING MEDIUM READABLE BY COMPUTING DEVICE}
본 발명은 사용자가 선택한 음악에 대한 안무를 학습하고 노래 연습과 안무 연습을 동시에 할 수 있도록 디지털 음원에 관한 표준인 미디(MIDI) 규격의 음악을 기반으로 해당 곡의 안무에 대한 영상 콘텐츠를 제공하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법에 관한 것이다.
최근 전세계적인 K-POP 열풍으로 음악과 춤에 대한 관심은 더욱 더 높아졌고 사람들은 단순히 음악과 춤을 보는 것에만 그치지 않고 음악을 듣고 노래를 따라 부르면서 그 곡에 대한 안무를 배우고 따라하고자 하는 경향이 상당히 높아지고 있다.
종래에는 음악 콘텐츠를 제공하는 회사에서 해당 음악에 각종 영상을 접목시킨 뮤직비디오 등을 제작하여 TV나 각종 동영상 제공 서비스 사이트 등을 통해 제공하였고, 음악의 수요자들은 상기한 동영상 제공 서비스 사이트 등을 통해 제공되는 뮤직비디오 등을 시청하면서 음악과 춤을 접하고 배울 수 있다.
그러나, 뮤직비디오 등과 같은 종래의 방식으로는 체계적이고 정확한 안무를 학습하기가 어려울 뿐더러 뮤직비디오는 음악과 다양한 영상(안무와 관계 없는 영상)을 주로 보여주기 때문에 전문적인 안무 연습을 할 수 있는 콘텐츠로서 큰 한계가 있었다.
이와 같이 종래에는 사람들이 손쉽게 접근하여 음악과 춤을 감상할 수 있는 것은 물론 음악과 그에 따른 안무를 정확하게 상세하게 전문적으로 학습할 수 있도록 하는 전문적인 콘텐츠가 부족하기 때문에 K-POP의 열풍 등이 커짐에 따라 그와 같은 콘텐츠의 필요성 또한 더욱더 절실한 실정이다.
이와 관련하여 노래와 댄스에 대한 학습 콘텐츠를 제공하는 것에 관한 선행기술로서 공개특허공보 제10-2014-0041266호, 공개특허공보 제10-2019-0093770호, 공개특허공보 제10-2020-0083104호 등의 선행기술들이 개시되어 있다.
이와 같은 종래의 선행기술들은 노래와 댄스를 학습할 수 있는 콘텐츠를 제공하는 것을 특징으로 하고 있으나, MP3 등과 같이 인터넷을 통해 쉽게 서비스를 이용할 수 있는 음원 콘텐츠는 소위 노래방 등에 구비되어 음원 제공을 하는 노래반주기에서 서비스하는 미디(MIDI) 음원과 비교할 때 음악 품질의 차이가 너무나도 확연하기 때문에 콘텐츠의 품질이 상당히 떨어지는 문제점이 있었다.
따라서, 미디 음질을 기반으로 안무 동작을 연습할 수 있도록 하는 안무 영상 콘텐츠의 제공에 관한 기술이 필요한 실정이다.
[선행기술문헌]
공개특허공보 제10-2014-0041266호
공개특허공보 제10-2019-0093770호
공개특허공보 제10-2020-0083104호
본 발명은 미디 음악과 해당 음악에 대한 안무 동작에 관한 영상을 접목하여 높음 음악 품질의 미디 음악을 안무에 관한 영상 상의 안무 동작과 동기화하도록 함으로써 미디 음질을 기반으로 안무 동작을 연습할 수 있도록 하는 안무 영상 콘텐츠를 서비스할 수 있는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법은, 특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하는 단계; 상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계; 상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화하는 단계; 및 상기 미디 데이터에 따른 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계를 포함한다.
또한 바람직하게는, 상기 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계는, 상기 미디 데이터에 대한 미디 음악을 기초로 안무 동작을 영상 촬영함으로써 상기 촬영된 안무 동작에 대한 영상과 상기 안무의 기초가 된 삽입음악을 포함하는 소스영상을 이용하여 상기 소스영상 상에서 삽입음악이 시작하는 프레임을 기준으로 그 이전의 영상 데이터를 제거하는 단계와, 상기 소스영상 상의 소리를 제거하는 단계와, 상기 영상 데이터의 제거 및 소리의 제거에 의해 획득된 안무 영상을 시간 기반 정보로 변환하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 시간에 대해 동기화하는 단계는, 상기 안무 영상의 시작시점과 상기 미디 데이터의 시작시점을 기준으로 하여 동일 시간에 대해 상기 안무 영상의 데이터와 상기 미디 데이터를 매칭시킴으로써 동기화를 하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계는, 상기 미디 데이터에 대한 미디 음악을 기초로 안무 동작을 영상 촬영함으로써 상기 촬영된 안무 동작에 대한 영상과 상기 안무의 기초가 된 음악을 포함하는 소스영상을 생성하고 상기 생성된 소스영상을 시간 기반 정보로 변환하는 단계와, 상기 변환된 소스영상에서 음악이 시작하는 시작시점을 특정하는 단계와, 상기 소스영상 상의 소리를 제거하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 시간에 대해 동기화하는 단계는, 상기 안무 영상에서 특정된 시작시점과 상기 미디 데이터의 시작시점을 각각 기준으로 하여 동일 시간에 대한 상기 안무 영상의 데이터와 상기 미디 데이터를 매칭시킴으로써 동기화를 하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계는, 상기 동기화하는 단계에서 상기 안무 영상과 상기 미디 데이터의 매칭된 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생이 동시에 이루어지는 단계를 포함하며,
사용자의 조작에 따른 구간 반복, 템포 조절, 구간 점프, 임의 재생 시점의 지정 중 어느 하나에 대해 상기 동기화에 따른 매칭된 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생을 제어함으로써 상기 사용자의 조작에 따른 콘텐츠를 제공하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명은 상기한 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체를 포함한다.
한편, 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치는, 영상을 재생하는 영상 재생 모듈; 소프트웨적인 신디사이저을 구현하는 소프트 미디 엔진과 사운드 폰트를 기반으로 미디 데이터에 대해 미디 음악을 제공하는 소프트 미디 모듈; 및 특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하고 상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하여 상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화한 영상-미디 동기화 정보를 이용하여, 상기 영상 재생 모듈을 통해 재생되는 상기 안무 영상 상의 안무 동작과 상기 소프트 미디 모듈을 통해 제공되는 미디 음악을 동기화시켜 제공하도록 하는 제어부를 포함한다.
또한 바람직하게는, 상기 안무 영상 상의 안무 동작과 상기 미디 데이터의 동기화 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생이 이루어지는 과정에서 구간 반복, 템포 조절, 구간 점프, 임의 재생 시점의 지정 중 어느 하나를 사용자가 조작할 수 있도록 하는 조작 인터페이스를 더 포함하며, 상기 조작 인터페이스를 통한 사용자의 조작에 대해 상기 영상-미디 동기화정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생을 제어함으로써 상기 사용자의 조작에 따른 콘텐츠를 제공하도록 한 것을 특징으로 한다.
본 발명에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법은 미디 음악과 해당 음악에 대한 안무 동작에 관한 영상을 접목하여 높음 음악 품질의 미디 음악을 안무에 관한 영상 상의 안무 동작과 동기화하도록 함으로써 미디 음질을 기반으로 안무 동작을 연습할 수 있도록 하는 안무 영상 콘텐츠의 제공이 가능하다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치를 포함하는 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명이 일 실시예에 따른 콘텐츠 서비스 장치가 미디 음악 기반의 안무 영상 콘텐츠를 제공하는 일 예를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법의 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 설명하기 위한 플로우차트이다.
도 5는 도 4에서 설명된 시간 기반의 안무 영상과 미디 데이터를 매칭하여 동기화하는 것을 설명하기 위한 모식도이다.
도 6은 본 발명의 다른 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 설명하기 위한 플로우차트이다.
도 7는 도 6에서 설명된 시간 기반의 안무 영상과 미디 데이터를 매칭하여 동기화하는 것을 설명하기 위한 모식도이다.
본 발명에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법을 도면을 참조하여 구체적으로 설명한다.
먼저, 도 1을 참조하여 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치를 포함하는 시스템의 구성을 설명한다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 콘텐츠 서비스 장치(200)는 서버(100)와 네트워크 연결되어 구성된다.
서버(100)는 클라이언트로부터 전송되는 수많은 미디 콘텐츠를 선별 관리하여 데이터베이스에 저장하며, 다양한 기기의 콘텐츠 서비스 장치(200)를 통해 서비스 이용자가 다양한 장소에서 언제든지 미디 콘텐츠 서비스를 제공받도록 할 수 있다.
상기 서버(100)는 미디(MIDI) 규격의 음악 콘텐츠인 미디 콘텐츠에 대한 미디 데이터 영상 콘텐츠에 대한 영상 데이터의 처리, 저장 및 관리를 하며, 각종 곡들의 미디 데이터를 저장하는 미디데이터DB(110)와, 각종 곡들의 안무에 관한 영상 데이터를 저장하는 영상데이터DB(120)와, 각종 미디 데이터와 영상 데이터를 수집, 저장, 처리 및 관리 등을 하는 콘텐츠 관리처리부(130)를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 콘텐츠 서비스 장치(200)는, 도 1에 도시된 바와 같이 영상재생 모듈(210)과, 소프트 미디 모듈(220)을 포함하며, 상기 영상재생 모듈(210)에 의해 재생되는 영상을 표시하는 디스플레이(201)와, 상기 소프트 미디 모듈(220)을 통해 재생되는 미디 사운드를 출력하는 스피커(202)를 포함하며, 상기 디스플레이(201), 스피커(202), 영상재생 모듈(210) 및 소프트 미디 모듈(200)을 제어하며 미디 데이터와 안무 영상의 동기화 정보를 저장하여 미디 음악 기반의 안무 영상 콘텐츠를 사용자에게 제공하고 사용자가 학습할 수 있도록 콘텐츠를 제어하는 제어부(230)를 포함한다.
상기 영상재생 모듈(210)은 통상적인 비디오 카드와 같이 영상 데이터를 디코딩하여 디스플레이(201)에 출력하도록 하는 역할을 한다.
상기 소프트-미디 모듈은 소프트웨적인 신디사이저을 구현하는 소프트 미디 엔진(Soft-Midi Engine)과 사운드 폰트(Sound Font)를 이용하여 각종 곡의 미디 데이터에 따라 사운드 폰트를 이용하여 소프트 미디 엔진에 의해 미디 음악을 구현하는 기능을 수행한다.
상기 영상재생 모듈(210)과 소프트 미디 모듈(220)은 프로그램을 기록한 하드웨어의 형태로서 구현될 수도 있고 소프트웨어의 형태로서 구현될 수도 있다.
상기 콘텐츠 서비스 장치(200)는 서버(100)에서 저장되어 관리되는 영상 데이터와 미디 데이터를 전송받아 실행하여 사용자에게 콘텐츠를 제공하며, 디스플레이와 스피커, 그리고 소프트 미디 모듈과 같은 프로그램을 실행할 수 있는 기기, 예컨대 노래반주기는 물론, 스마트폰, 태블릿 PC, 스마트 TV, AI 기기, 셋톱박스 등의 기기로서 구현될 수 있다.
도 2는 상기한 바와 같은 본 발명이 일 실시예에 따른 콘텐츠 서비스 장치가 미디 음악 기반의 안무 영상 콘텐츠를 제공하는 일 예를 나타내고 있다.
도 2에 도시된 바와 같이, 본 발명이 일 실시예에 따른 콘텐츠 서비스 장치가 제공하는 콘텐츠는 안무 영상(211)을 포함하며, 그와 함께 미디 음악이 동기화되어 제공되는데, 미디 음악의 진행바(213)가 표시되고 미디 음악이 재생될 때 진행바(213)에 음악 진행 상태를 상태표시부(214)를 통해 나타낼 수 있다.
본 발명의 일 실시예에 따른 콘텐츠 서비스 장치는 사용자가 안무 영상에 대한 학습을 할 수 있도록 영상과 음악의 템포 조절, 임의 재생 시점의 지정, 구간 점프, 구간 반복 등의 기능을 제공할 수 있으며, 이를 위해 사용자가 조작할 수 있도록 조작 인터페이스(212)를 제공할 수 있다.
상기 조작 인터페이스(212)는 기기 상에 물리적으로 구현된 조작 버튼 등의 형태일 수도 있고 터치패널 기반의 디스플레이 상에 표시되는 인터페이스의 형태일 수도 있다.
구간 반복의 경우 진행바(213) 상에 구간의 시작점(A)과 구간의 끝점(B)을 각각 지정함으로써 A->B의 구간 반복을 실행할 수 있다.
도 2에 도시된 바와 같은 본 발명의 일 실시예에 따른 콘텐츠 서비스 장치가 제공하는 콘텐츠는 단순히 안무 영상을 제공하고 이를 제어하도록 하는 것에만 특징이 있는 것이 아니라, 이와 같은 안무 영상이 미디 데이터와 동기화되어 미디 사운드와 함께 제공되며 영상에 대한 조작 인터페이스(212)를 통한 조작에 따라 영상의 제어뿐만 아니라 미디 사운드에 대한 제어도 함께 이루어질 수 있도록 한 점에 특징이 있다.
구체적으로, 본 발명은 단순히 영상과 미디 음악을 동기화한 것이 아니라, 안무 영상 상의 안무 동작과 그 안무 동작에 따른 음악의 미디 사운드를 서로 매칭함으로써 '안무 동작 - 미디 음악'의 동기화를 통해 미디 음악 기반으로 안무 동작을 학습할 수 있도록 콘텐츠를 제공하는 것을 특징으로 한다.
도 3은 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법의 개념을 설명하기 위한 것으로서, 안무 영상상의 안무 동작과 미디 데이터, 곡 가사과 곡 악보를 모두 동기화하여 제공하는 것의 일 예를 나타낸 도면이다.
도 3에 도시된 바와 같이, 특정 곡에 대한 공연자의 안무 동작(①)을 해당 곡에 대한 미디 데이터의 상기 안무 동작에 대응되는 부분(④)과 매칭시켜 동기화함으로써 안무영상 상의 안무 동작에 맞게 미디 데이터의 미디 사운드가 제공되도록 할 수 있다.
또한, 도 3에 도시된 바와 같이, 안무영상의 안무 동작(①) 및 미디 데이터(④)와 함께 곡 가사의 텍스트(②)와 곡 악보(③)도 동기화하여, 곡이 진행되는 것에 맞추어서 곡 가사의 텍스트(②) 및 곡 악보(③)에 대해 곡의 진행을 표시하도록 할 수 있다.
즉, 일단 안무영상 상의 안무 동작과 미디 데이터를 동기화하고, 그 동기화 정보에 기초하여 곡 가사와 곡 악보를 그 동기화 시간에 따라 표시를 제어할 수 있다.
통상적으로 어떤 곡의 사운드가 제공되고 있는 상태에서 공연자가 해당 곡을 들으면서 안무를 행하는데, 이때 공연자의 안무에 대한 영상을 촬영하면 영상 부분과 함께 해당 곡에 대한 사운드가 함께 녹음이 되므로, 곡에 대한 안무를 표현하는 영상은 안무를 표현하는 영상과 해당 곡의 음악을 함께 포함하고 있다 (예컨대, mp4 파일 형식으로 영상과 음악을 함께 포함하고 있다).
이하에서는 공연자의 안무에 대해 촬영된 영상으로서 안무의 기초가 되는 음악을 포함하는 영상 데이터를 '소스영상'이라고 칭하기로 한다.
이와 같은 소스영상은 영상과 음악을 별도로 동기화할 필요 없이 그 자체로 안무 동작과 음악이 일치할 수밖에 없다.
그러나, 그와 같은 소스영상에 포함된 음악 부분은 미디 사운드의 음질이 아니라 MP3 등과 같은 품질이 상당히 낮은 사운드이기 때문에 소스영상 자체로는 콘텐츠로서의 품질이 상당히 떨어진다.
만약 소스영상을 촬영할 때 공연자가 미디 음악이 제공되는 환경에서 안무 동작을 한다고 하더라도, 그것을 촬영한 소스영상의 음악은 미디 음질의 사운드가 아니라 MP3 등과 같은 품질 낮은 사운드가 되어 버리기 때문에, 본 발명의 목적에 맞는 높은 품질의 콘텐츠를 제공하기 위해서는 소스영상에서 음악 부분을 제거하고 영상 부분에 대해서 별도로 미디 음악과 동기화를 하되, 이때 단순히 영상과 미디 음악을 동기화하는 것이 아니라 영상 상의 안무 동작과 미디 음악이 서로 매칭되도록 함으로써 미디 음악 기반의 안무 영상 콘텐츠를 제공하도록 한 것이다.
여기서, 미디(MIDI: Musical Instrument Digital Interface)는 전자 악기끼리 디지털 신호를 주고 받기 위해 각 신호를 규칙화한 표준이며, 미디 음악은 악보로 음악을 표현하는 것이 아니라 컴퓨터가 인식할 수 있는 디지털 정보의 형태로 음악을 표현한 데이터, 즉 미디 데이터에 따라 신디사이저(Synthesizer)가 다양한 전자 악기의 음을 합성하여 만들어낸 음악이다.
본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치는 신디사이저라는 기계장치 대신 소프트웨어적인 신디사이저를 구현하는 소프트 미디 엔진이 다양한 악기의 음을 각각 나타내는 사운드 폰트를 이용하여 미디 데이터에 의해 표현된 음악을 구현하는 소프트 미디 모듈을 구비하는 것을 특징으로 한다.
상기한 바와 같은 미디 데이터는 다수의 채널을 포함하고 있으며 각각의 채널은 특정 악기의 음에 대한 사항을 기재하고 있는데, 예컨대 피아노의 음을 나타내는 채널에서 피아노 음의 위치와 길이 등이 디지털 정보로 입력되어 있다.
이와 같은 미디 데이터는 시간 단위로 기록되어 있는 것이 아니라 틱(tick)이라는 개념을 기본 단위로 사용한다.
즉, 틱(tick)은 PPQ(Pulses per Quarter note)의 개념으로서 4분 음표 하나, 즉 하나의 비트(beat)를 몇 개로 분할하여 표현하는지를 나타낸다. 미디 데이터에 있어서 timebase는 ticks per beat, 즉 비트(beat) 당 틱(tick)의 수에 의해 정해지는데, 비트 당 틱의 수가 클수록 음과 음 사이의 위치를 더욱 세세하게 표시할 수 있게 되고 음의 표현이 더욱 정밀해질 수 있다.
악보 상의 4분음표를 표현할 때에 상황에 따라 길이가 다르게 연주될 때도 있고 연주의 시작 위치가 정박에서 약간 벗어나게 될 때도 있는 등 하나의 4분음표를 표현하더라도 정밀하게 표현하는 것이 필요한데, 이를 위해 틱(tick)이라는 개념으로 4분음표 하나를 매우 작은 단위로 분할해서 세세하게 표현할 수 있도록 한 것이다.
같은 곡이라도 틱의 수, 즉 ticks per beat를 어떻게 설정하는가에 따라 그 느낌이 상당히 달라지게 될 수 있고 표현의 정밀도에 있어서 차이가 나게 된다. 예컨대, 60틱으로 설정한 미디 음악과 120틱으로 설정한 미디 음악은 같은 곡이라도 표현에 있어 다른 느낌을 주게 된다.
이와 같은 미디 데이터의 틱(tick)은 시간 단위와 다른 것이기 때문에, 미디 데이터에 의해 표현되는 음악의 시간은 틱의 설정 정보와 템포(Tempo)의 설정 정보, 예컨대 bpm(beat per minute)의 설정 정보를 이용하여 1tick에 해당하는 시간 정보로 환산하여 구할 수 있다.
한편, 도 4에 도시된 플로우차트를 참조하여 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 설명한다.
앞서 설명한 바와 같이, 본 발명의 일 실시예에 따른 콘텐츠 서비스 장치는 서버와 통신 가능하도록 연결되어 구성되며, 다양한 형태의 기기로서 구현될 수 있고 기기 내에 구비된 제어부에 의해 서비스의 제공에 대한 제어가 이루어진다.
어떤 형태의 콘텐츠 서비스 장치에서 사용자가 자신이 학습하고자 하는 특정 음악에 대한 안무 영상 콘텐츠를 선택하면(S100), 제어부는 서버(100)의 미디데이터DB(110)로부터 사용자에 의해 선택된 음악에 대한 미디 데이터를 전송받으며 영상데이터DB(120)로부터 선택된 음악에 대한 안무 영상의 데이터를 전송받는다(S110).
이때, 서버의 영상데이터DB(120)에 저장되는 안무 영상에 대한 데이터는, 소스영상의 획득(S10)과, 그 획득된 소스영상에서 삽입되어 있는 음악의 시작시점을 특정하고 그 시작시점부터의 영상을 추출하며 소스영상에 삽입된 소리를 제거하여 얻어진 안무영상 데이터일 수 있다(S20).
상기 소스영상은 공연자가 해당 곡에 대한 음악이 제공된 상태에서 안무 동작을 하는 것을 촬영한 영상으로서, 안무 동작에 대한 영상과 그에 따른 음악이 모두 포함된 상태의 데이터이다.
여기서, 소스영상의 촬영시에 안무 동작과 함께 제공되는 음악은 미디 데이터에 의한 미디 음악을 그대로 이용하는 것이 바람직하다.
그렇게 하면, 소스영상에서 안무 동작의 기초가 된 음악, 즉 소스영상에 삽입된 음악은 미디 데이터에 의한 미디 음악과 동일한 시간 길이를 갖게 되기 때문에 안무 영상과 미디 데이터의 시간 동기화를 상당히 수월하게 할 수 있다.
상기한 소스영상은 공연자의 안무 동작이 시작되기 전의 대기시간 동안의 영상이 포함될 수밖에 없다.
즉, 단순히 소스영상에서 소리를 제거한 후 미디 데이터를 이에 동기화시킬 때 소스영상의 시작 위치와 미디 데이터의 시작 위치를 매칭시킬 경우 안무 동작과 미디 음악이 서로 일치하지 않게 된다 (소스영상 상에서 대기시간일 때의 영상에서 미디 음악이 시작해 버리면 안무 동작과 미디 음악이 서로 어긋나게 된다).
따라서, 안무 영상 상의 안무 동작과 미디 음악을 서로 일치시키기 위해, 소스영상에 삽입된 음악의 시작이 언제인지 그 시작위치, 예컨대 소스영상 상의 삽입음악이 시작하는 프레임을 특정하고 그 프레임을 기준으로 그 이전의 영상 데이터를 제거한 후 소스영상 상의 삽입된 음악을 포함한 모든 소리를 제거함으로써 안무 영상 데이터를 생성하고, 이후에 미디 데이터의 시작 위치와 상기 생성된 안무 영상의 시작 위치를 각각 기준으로 매칭시키면서 시간 동기화를 할 수 있다.
상기한 바와 같이 소스영상 상의 삽입음악이 시작하는 프레임을 기준으로 그 이전의 영상 데이터를 제거하고 소리를 제거한 상태의 영상을 안무 영상으로서 서버(100)의 영상데이터DB(120)에 저장할 수 있다.
상기한 S110 단계에서 선택된 콘텐츠에 대한 안무 영상은 상기 서버의 영상데이터DB로부터 추출되는데, 그 추출된 안무 영상은 상기한 S10 및 S20의 단계를 통해 생성된 것이다.
상기한 바와 같이 선택된 콘텐츠에 대한 안무 영상의 데이터와 미디 데이터의 추출이 이루어진 후, 제어부는 미디 데이터의 틱(tick) 기반의 정보를 시간 기반의 정보로 변환하고(S120), 또한 안무 영상의 프레임 기반 정보를 시간 기반의 정보로 변환한다(S130).
상기 미디 데이터는 사용자가 선택한 콘텐츠의 곡에 대한 미디 데이터로서, 앞서 설명한 바와 같이 틱(tick) 기반으로 다수의 채널에서 각각 필요한 악기의 음에 대해 정의해 놓은 데이터이며, 콘텐츠 서비스 장치의 소프트 미디 모듈의 소프트 미디 엔진이 각종 사운드 폰트를 이용하여 미디 음악을 만드는 기초가 되는 것이다.
상기 미디 데이터의 설정된 비트 당 틱 수(ticks per beat)와 bpm(beat per minute)과 같은 템포 정보를 이용하여 단위 틱(tick) 당 시간값(예컨대, 1 tick 당 시간값이나, 20 tick 당 시간값 등)으로 환산하여 시간 단위의 미디 데이터로 변환하여 상기 S120 단계를 실행할 수 있다.
한편, 상기 안무 영상의 데이터는, 앞서 설명한 바와 같이 소스영상 상의 삽입음악이 시작하는 프레임을 특정하고 그 프레임을 기준으로 그 이전의 영상 데이터를 제거한 후 소스영상 상의 삽입된 음악을 포함한 모든 소리를 제거함으로써 생성된 것이다.
상기 안무 영상은 다수의 프레임으로 이루어지는데, 제어부는 프레임 단위의 안무 영상을 시간 단위로 변환할 수 있다.
상기한 바와 같이 안무 영상을 시간 기반으로 변환하고, 미디 데이터를 시간 기반으로 변환한 후, 제어부는 안무 영상의 시작시점과 미디 데이터의 시작시점을 기준으로 동일 시간에 대한 안무 영상 데이터와 미디 데이터를 매칭시킴으로써 시간에 대해 동기화할 수 있다(S140).
상기 안무 영상은 소스영상을 이용하여 삽입음악이 시작할 때를 기준으로 그 이전의 데이터를 제거하여 만들어진 것이기 때문에 상기 안무 영상의 시작시점은 안무 동작이 시작되는 시점이기도 하다.
따라서, 안무 영상의 시작시점과 미디 데이터의 시작시점을 기준으로 동기화함으로써 안무 영상 상의 안무 동작과 미디 데이터에 따른 미디 음악을 일치시킬 수 있다.
한편, 제어부는 상기한 바와 같이 얻어진 동기화 정보에 기초하여 영상재생 모듈에 의한 안무 영상의 재생과 소프트 미디 모듈에 의한 미디 데이터의 미디 음악의 재생을 동시에 실행함으로써 미디 음악 기반의 안무 영상 콘텐츠를 제공할 수 있다(S150).
또한, 도 2에서 예시한 바와 같은 조작 인터페이스(212) 등을 통한 사용자의 조작에 따라 제어부는 상기한 동기화 정보에 기초하여 미디 음악과 안무 영상에 대해 동시에 구간 반복, 템포 조절, 구간 점프 등을 하여 콘텐츠를 제어하도록 함으로써 사용자가 음악과 안무 동작을 학습하기 용이하도록 할 수 있다(S160).
여기서, 도 5를 참조하여 상기한 S110 내지 S140 단계에 관하여 좀 더 구체적으로 설명한다.
도 5는 상기한 바와 같은 시간 기반의 안무 영상과 미디 데이터를 매칭하여 동기화하는 것을 설명하기 위한 모식도이다.
도 5의 (a)는 공연자의 안무에 대해 촬영된 영상으로서 안무의 기초가 되는 음악을 포함하는 영상 데이터인 소스영상을 나타낸 것인데, 여기서 소스영상에 이용된 삽입음악은 동기화시킬 미디 데이터에 따른 미디 음악을 이용하는 것이 바람직하다.
이와 같이 소스영상의 삽입음악을 이후에 동기화시킬 미디 데이터의 미디 음악을 이용함으로써, 차후 미디 데이터를 안무 영상에 동기화시킬 때 소스영상 상의 삽입음악의 길이가 미디 데이터의 길이와 일치하기 때문에 안무 영상 시작점과 미디 데이터의 시작점을 서로 매칭함에 따라 자연스럽게 전체적으로 매칭이 이루어질 수 있다.
도 5의 (a)에서 소스영상은 s1, s2, ... sn, sn+1, ... 등의 순서로 프레임이 진행된다고 할 때, s1 프레임에서 소스영상이 시작된 후, sn 프레임에서 삽입음악이 시작되면서 동시에 안무 동작이 시작된다(공연자는 음악이 시작됨과 동시에 안무 동작을 취한다).
삽입음악이 sm 프레임에서 종료되고 소스영상이 sf 프레임에서 종료되었다고 할 때, 상기 sm 프레임과 sf 프레임은 도면에 나타낸 바와 같이 약간의 차이가 있을 수도 있고 비슷하게 종료될 수도 있다.
이와 같은 소스영상에서 삽입음악이 시작하는 위치, 즉 안무 동작이 시작하는 위치인 sn 프레임 이전의 데이터를 제거 하고, 또한 음악을 포함한 소스영상에 삽입된 소리를 모두 제거함으로써 도 5의 (b)와 같은 안무 영상을 얻을 수 있다.
안무 영상은 삽입음악에 맞춰서 안무 동작을 한 것에 대한 영상만을 포함하는 데이터로서, f1, f2 ... ff 와 같은 순서로 프레임이 진행된다.
본 발명의 제어부는 위와 같은 안무 영상의 프레임 기반의 정보를 도 5의 (c)와 같이 시간 기반의 정보로 변환하며, ti1, ti2...tif 의 시간 순서로 진행하는 안무 영상 데이터를 얻을 수 있다.
한편, 제어부는 도 5의 (d)에 도시된 바와 같이 틱(tick) 기반의 미디 데이터를 시간 기반의 미디 데이터로 변환하여 도 5의 (e)와 같이 tm1, tm2...tmf 의 시간 순서로 진행하는 미디 데이터를 얻을 수 있다.
이때 제어부는 (c)에 도시된 바와 같은 안무 영상 데이터의 시간(ti1, ti2 등)과 동일한 시간 단위로 미디 데이터를 얻을 수 있도록 안무 영상 데이터의 단위 시간에 해당하는 틱(tick)의 수를 조정하여 시간 정보로 변환할 수 있다.
제어부는 도 5의 (c)와 같이 시간 변환된 안무 영상 데이터의 시작시점(ti1)과, (e)와 같이 시간 변환된 미디 데이터의 시작시점(tm1)을 기준으로 매칭시키면서 단위 시간마다 동일한 시간에 대한 데이터를 서로 매칭시킴으로써 안무 영상상의 안무 동작과 미디 데이터를 시간 동기화 할 수 있다.
한편, 도 6에 도시된 플로우차트를 참조하여 본 발명의 다른 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 설명한다.
도 6에 도시된 실시예는 기본적으로 도 1에 도시된 바와 같은 구성을 갖는 서버와 콘텐츠 서비스 장치에 의한 것이며 일부 프로세스에 있어 도 5와 차이가 있으므로 동일한 부분으로서 중복되는 내용에 대해서는 가급적 생략을 하고 차이 나는 부분을 위주로 설명하도록 한다.
콘텐츠 서비스 장치에서 사용자가 자신이 학습하고자 하는 특정 음악에 대한 안무 영상 콘텐츠를 선택하면(S200), 제어부는 서버(100)의 미디데이터DB(110)로부터 사용자에 의해 선택된 음악에 대한 미디 데이터를 전송받으며 영상데이터DB(120)로부터 선택된 음악에 대한 소스영상의 데이터를 전송받는다(S210).
이때, 서버의 영상데이터DB(120)에 저장되는 안무 영상에 대한 데이터는, 공연자가 해당 곡에 대한 음악이 제공된 상태에서 안무 동작을 하는 것을 촬영한 영상으로서, 안무 동작에 대한 영상과 그에 따른 음악이 모두 포함된 상태의 데이터인 소스영상의 데이터이다(S30).
여기서, 소스영상의 촬영시에 안무 동작과 함께 제공되는 음악은 미디 데이터에 의한 미디 음악을 그대로 이용하는 것이 시간 동기화의 수월함을 위해 바람직하다.
상기한 바와 같이 선택된 콘텐츠에 대한 소스영상과 미디 데이터의 추출이 이루어진 후, 제어부는 미디 데이터의 틱(tick) 기반의 정보를 시간 기반의 정보로 변환하고(S220), 또한 소스영상의 프레임 기반 정보를 시간 기반의 정보로 변환한다(S230).
상기 미디 데이터는 사용자가 선택한 콘텐츠의 곡에 대한 미디 데이터로서, 앞서 설명한 바와 같이 틱(tick) 기반으로 다수의 채널에서 각각 필요한 악기의 음에 대해 정의해 놓은 데이터이며, 콘텐츠 서비스 장치의 소프트 미디 모듈의 소프트 미디 엔진이 각종 사운드 폰트를 이용하여 미디 음악을 만드는 기초가 되는 것이다.
상기 미디 데이터의 설정된 비트 당 틱 수(ticks per beat)와 bpm(beat per minute)과 같은 템포 정보를 이용하여 단위 틱(tick) 당 시간값(예컨대, 1 tick 당 시간값이나, 20 tick 당 시간값 등)으로 환산하여 시간 단위의 미디 데이터로 변환하여 상기 S220 단계를 실행할 수 있다.
한편, 상기 S230 단계에서 소스영상을 시간 기반의 정보로 변환한 후, 소스영상의 삽입음악의 시작시점을 특정할 수 있고(S232), 소스영상의 소리를 모두 제거한 안무 영상을 생성할 수 있다(S234). 여기서 상기 '삽입음악의 시작시점'은 안무 영상 상의 안무 동작의 시작시점이 된다.
제어부는 상기 S232 단계에서 특정한 시작시점(즉, 안무 동작의 시작시점)과 미디 데이터의 시작시점을 기준으로 동일 시간에 대한 안무 영상 데이터와 미디 데이터를 매칭시킴으로써 시간에 대해 동기화할 수 있다(S240).
상기 안무 동작의 시작시점과 미디 데이터의 시작시점을 기준으로 동기화함으로써 안무 영상 상의 안무 동작과 미디 데이터에 따른 미디 음악을 일치시킬 수 있다.
한편, 제어부는 상기한 바와 같이 얻어진 동기화 정보에 기초하여 영상재생 모듈에 의한 안무 영상의 재생과 소프트 미디 모듈에 의한 미디 데이터의 미디 음악의 재생을 동시에 실행함으로써 미디 음악 기반의 안무 영상 콘텐츠를 제공할 수 있다(S250).
또한, 도 2에서 예시한 바와 같은 조작 인터페이스(212) 등을 통한 사용자의 조작에 따라 제어부는 상기한 동기화 정보에 기초하여 미디 음악과 안무 영상에 대해 동시에 구간 반복, 템포 조절, 구간 점프 등을 하여 콘텐츠를 제어하도록 함으로써 사용자가 음악과 안무 동작을 학습하기 용이하도록 할 수 있다(S260).
여기서, 도 7을 참조하여 상기한 S210 내지 S240 단계에 관하여 좀 더 구체적으로 설명한다.
도 7은 도 6에 도시된 플로우차트 상에서의 시간 기반의 안무 영상과 미디 데이터를 매칭하여 동기화하는 것을 설명하기 위한 모식도이다.
도 7의 (a)는 공연자의 안무에 대해 촬영된 영상으로서 안무의 기초가 되는 음악을 포함하는 영상 데이터인 소스영상을 나타낸 것인데, 여기서 소스영상에 이용된 삽입음악은 동기화시킬 미디 데이터에 따른 미디 음악을 이용하는 것이 바람직하다.
이와 같이 소스영상의 삽입음악을 이후에 동기화시킬 미디 데이터의 미디 음악을 이용함으로써, 차후 미디 데이터를 안무 영상에 동기화시킬 때 소스영상 상의 삽입음악의 길이가 미디 데이터의 길이와 일치하기 때문에 안무 영상 시작점과 미디 데이터의 시작점을 서로 매칭함에 따라 자연스럽게 전체적으로 매칭이 이루어질 수 있다.
도 7의 (a)에서 소스영상은 s1, s2, ... sn, sn+1, ... 등의 순서로 프레임이 진행된다고 할 때, s1 프레임에서 소스영상이 시작된 후, sn 프레임에서 삽입음악이 시작되면서 동시에 안무 동작이 시작된다(공연자는 음악이 시작됨과 동시에 안무 동작을 취한다).
삽입음악이 sm 프레임에서 종료되고 소스영상이 sf 프레임에서 종료되었다고 할 때, 상기 sm 프레임과 sf 프레임은 도면에 나타낸 바와 같이 약간의 차이가 있을 수도 있고 비슷하게 종료될 수도 있다.
제어부는 위와 같은 소스영상의 프레임 기반의 정보를 도 7의 (b)와 같이 시간 기반의 정보로 변환하며, t1, t2 ...ta ... 등의 시간 순서로 진행하는 소스영상를 얻을 수 있다.
도 7의 (b)와 같은 시간 기반의 소스영상에서 삽입음악이 시작하는 시점(즉, 안무 동작이 시작하는 시점)인 ta 시점을 시작시점으로서 특정할 수 있고, 상기 소스영상에서 삽입된 소리를 모두 제거함으로써 도 7의 (c)와 같은 시간 기반의 안무 영상을 얻을 수 있다.
위 안무 영상의 데이터는 시작시점이 ta 시점이라는 정보도 함께 포함하도록 하는 것이 바람직하다.
한편, 제어부는 도 7의 (d)에 도시된 바와 같이 틱(tick) 기반의 미디 데이터를 시간 기반의 미디 데이터로 변환하여 도 7의 (e)와 같이 tm1, tm2...tmf 의 시간 순서로 진행하는 미디 데이터를 얻을 수 있다.
이때 제어부는 (c)에 도시된 바와 같은 안무 영상 데이터의 시간과 동일한 시간 단위로 미디 데이터를 얻을 수 있도록 안무 영상 데이터의 단위 시간에 해당하는 틱(tick)의 수를 조정하여 시간 정보로 변환할 수 있다.
제어부는 도 7의 (c)와 같이 시간 기반의 안무 영상 데이터의 시작시점(ta)과, (e)와 같이 시간 변환된 미디 데이터의 시작시점(tm1)을 기준으로 매칭시키면서 단위 시간마다 동일한 시간에 대한 데이터를 서로 매칭시킴으로써 안무 영상상의 안무 동작과 미디 데이터를 시간 동기화 할 수 있다.
도 7에서 설명한 안무 영상과 미디 데이터의 시간 동기화는 각각의 데이터의 시작점을 서로 매칭하는 것이 아니라, 안무 영상 상에 특정된 시작시점과 미디 데이터의 처음 시작시의 시점을 매칭시키는 방식으로 동기화를 하는 것이므로, 영상이 시작되자마자 미디 음악이 시작하는 것이 아니라, 영상이 시작된 후 안무 동작이 시작하면 비로소 그 안무 동작의 시작과 맞추어서 미디 음악이 시작하게 된다.
이상 설명한 바와 같이, 본 발명에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법은 미디 음악과 해당 음악에 대한 안무 동작에 관한 영상을 접목하여 높음 음악 품질의 미디 음악을 안무에 관한 영상 상의 안무 동작과 동기화하도록 함으로써 미디 음질을 기반으로 안무 동작을 연습할 수 있도록 하는 안무 영상 콘텐츠를 제공할 수 있는 특장점이 있다.
100: 서버, 110: 미디데이터DB
120: 영상데이터DB, 130: 콘텐츠 관리처리부
200: 콘텐츠 서비스 장치, 201: 디스플레이
202: 스피커, 210: 영상재생 모듈
220: 소프트 미디 모듈, 230: 제어부

Claims (9)

  1. 특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하는 단계;
    상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계;
    상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화하는 단계; 및
    상기 미디 데이터에 따른 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계;
    를 포함하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법.
  2. 제1항에 있어서, 상기 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계는,
    상기 미디 데이터에 대한 미디 음악을 기초로 안무 동작을 영상 촬영함으로써 상기 촬영된 안무 동작에 대한 영상과 상기 안무의 기초가 된 삽입음악을 포함하는 소스영상을 이용하여 상기 소스영상 상에서 삽입음악이 시작하는 프레임을 기준으로 그 이전의 영상 데이터를 제거하는 단계와, 상기 소스영상 상의 소리를 제거하는 단계와, 상기 영상 데이터의 제거 및 소리의 제거에 의해 획득된 안무 영상을 시간 기반 정보로 변환하는 단계를 포함하는 것을 특징으로 하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법.
  3. 제2항에 있어서, 상기 시간에 대해 동기화하는 단계는,
    상기 안무 영상의 시작시점과 상기 미디 데이터의 시작시점을 기준으로 하여 동일 시간에 대해 상기 안무 영상의 데이터와 상기 미디 데이터를 매칭시킴으로써 동기화를 하는 단계를 포함하는 것을 특징으로 하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법.
  4. 제1항에 있어서, 상기 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계는,
    상기 미디 데이터에 대한 미디 음악을 기초로 안무 동작을 영상 촬영함으로써 상기 촬영된 안무 동작에 대한 영상과 상기 안무의 기초가 된 음악을 포함하는 소스영상을 생성하고 상기 생성된 소스영상을 시간 기반 정보로 변환하는 단계와, 상기 변환된 소스영상에서 음악이 시작하는 시작시점을 특정하는 단계와, 상기 소스영상 상의 소리를 제거하는 단계를 포함하는 것을 특징으로 하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법.
  5. 제4항에 있어서, 상기 시간에 대해 동기화하는 단계는,
    상기 안무 영상에서 특정된 시작시점과 상기 미디 데이터의 시작시점을 각각 기준으로 하여 동일 시간에 대한 상기 안무 영상의 데이터와 상기 미디 데이터를 매칭시킴으로써 동기화를 하는 단계를 포함하는 것을 특징으로 하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법.
  6. 제3항 또는 제5항에 있어서, 상기 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계는,
    상기 동기화하는 단계에서 상기 안무 영상과 상기 미디 데이터의 매칭된 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생이 동시에 이루어지는 단계를 포함하며,
    사용자의 조작에 따른 구간 반복, 템포 조절, 구간 점프, 임의 재생 시점의 지정 중 어느 하나에 대해 상기 동기화에 따른 매칭된 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생을 제어함으로써 상기 사용자의 조작에 따른 콘텐츠를 제공하는 단계를 더 포함하는 것을 특징으로 하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법.
  7. 제1항에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체.
  8. 영상을 재생하는 영상 재생 모듈;
    소프트웨적인 신디사이저을 구현하는 소프트 미디 엔진과 사운드 폰트를 기반으로 미디 데이터에 대해 미디 음악을 제공하는 소프트 미디 모듈; 및
    특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하고 상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하여 상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화한 영상-미디 동기화 정보를 이용하여, 상기 영상 재생 모듈을 통해 재생되는 상기 안무 영상 상의 안무 동작과 상기 소프트 미디 모듈을 통해 제공되는 미디 음악을 동기화시켜 제공하도록 하는 제어부;
    를 포함하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치.
  9. 제8항에 있어서,
    상기 안무 영상 상의 안무 동작과 상기 미디 데이터의 동기화 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생이 이루어지는 과정에서 구간 반복, 템포 조절, 구간 점프, 임의 재생 시점의 지정 중 어느 하나를 사용자가 조작할 수 있도록 하는 조작 인터페이스를 더 포함하며,
    상기 조작 인터페이스를 통한 사용자의 조작에 대해 상기 영상-미디 동기화정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생을 제어함으로써 상기 사용자의 조작에 따른 콘텐츠를 제공하도록 한 것을 특징으로 하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치.
KR1020200108440A 2020-08-27 2020-08-27 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체 KR102524870B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200108440A KR102524870B1 (ko) 2020-08-27 2020-08-27 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200108440A KR102524870B1 (ko) 2020-08-27 2020-08-27 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20220027502A true KR20220027502A (ko) 2022-03-08
KR102524870B1 KR102524870B1 (ko) 2023-04-26

Family

ID=80813436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200108440A KR102524870B1 (ko) 2020-08-27 2020-08-27 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체

Country Status (1)

Country Link
KR (1) KR102524870B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010004400A (ko) * 1999-06-28 2001-01-15 정선종 오디오/영상물의 음향적 장면분할방법
KR20010073645A (ko) * 2000-01-19 2001-08-01 김승영 컴퓨터 가요반주장치
KR20070040988A (ko) * 2005-10-13 2007-04-18 삼성전자주식회사 음악데이터와 동시 출력을 위한 동기화된 영상데이터 생성방법과 그 동기화 출력을 위한 재생 방법
KR20100054508A (ko) * 2008-11-14 2010-05-25 주식회사 코아로직 임베디드 멀티미디어 시스템에서의 시간 동기화 장치와 방법, 및 그 동기화 장치를 포함한 멀티미디어 재생기
KR20110027087A (ko) * 2009-09-09 2011-03-16 주식회사 금영 노래반주기의 영상 데이터와 음성 데이터의 동기화 장치 및 그 방법
KR20130015177A (ko) * 2011-08-02 2013-02-13 주식회사 금영 Ｍｐ3 곡 데이터와 미디용 가사 데이터의 동기방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010004400A (ko) * 1999-06-28 2001-01-15 정선종 오디오/영상물의 음향적 장면분할방법
KR20010073645A (ko) * 2000-01-19 2001-08-01 김승영 컴퓨터 가요반주장치
KR20070040988A (ko) * 2005-10-13 2007-04-18 삼성전자주식회사 음악데이터와 동시 출력을 위한 동기화된 영상데이터 생성방법과 그 동기화 출력을 위한 재생 방법
KR20100054508A (ko) * 2008-11-14 2010-05-25 주식회사 코아로직 임베디드 멀티미디어 시스템에서의 시간 동기화 장치와 방법, 및 그 동기화 장치를 포함한 멀티미디어 재생기
KR20110027087A (ko) * 2009-09-09 2011-03-16 주식회사 금영 노래반주기의 영상 데이터와 음성 데이터의 동기화 장치 및 그 방법
KR20130015177A (ko) * 2011-08-02 2013-02-13 주식회사 금영 Ｍｐ3 곡 데이터와 미디용 가사 데이터의 동기방법

Also Published As

Publication number Publication date
KR102524870B1 (ko) 2023-04-26

Similar Documents

Publication Publication Date Title
US11178457B2 (en) Interactive music creation and playback method and system
US9601029B2 (en) Method of presenting a piece of music to a user of an electronic device
US7622664B2 (en) Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program
EP3224834B1 (en) Apparatus and method for generating visual content from an audio signal
JP2004233698A (ja) 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム
KR101414217B1 (ko) 실시간 영상합성 장치 및 그 방법
KR102524870B1 (ko) 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체
JP2020109918A (ja) 映像制御システム、及び映像制御方法
KR20150018194A (ko) 모창 평가 방법 및 시스템
JP5109425B2 (ja) 電子楽器及びプログラム
JP5109426B2 (ja) 電子楽器及びプログラム
JP6110731B2 (ja) ジェスチャーによるコマンド入力識別システム
JP2018155936A (ja) 音データ編集方法
JP5338312B2 (ja) 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム
JP5803956B2 (ja) カラオケシステム及びカラオケ装置
KR102524871B1 (ko) 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법 및 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기
JP2008145976A (ja) コンテンツ再生装置
JP5800247B2 (ja) カラオケシステム及びカラオケ装置
JP4033146B2 (ja) カラオケ装置
JP3867579B2 (ja) マルチメディアシステム及び再生装置
JP6048136B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6502728B2 (ja) カラオケシステム及びプログラム
JP4259423B2 (ja) 同期演奏制御システム、方法及びプログラム
JP2000148107A (ja) 画像処理装置および記録媒体
JP2023174364A (ja) カラオケ装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right