KR102524870B1 - Device for serving dance image based on midi sound and method for the same, and recording medium readable by computing device - Google Patents

Device for serving dance image based on midi sound and method for the same, and recording medium readable by computing device Download PDF

Info

Publication number
KR102524870B1
KR102524870B1 KR1020200108440A KR20200108440A KR102524870B1 KR 102524870 B1 KR102524870 B1 KR 102524870B1 KR 1020200108440 A KR1020200108440 A KR 1020200108440A KR 20200108440 A KR20200108440 A KR 20200108440A KR 102524870 B1 KR102524870 B1 KR 102524870B1
Authority
KR
South Korea
Prior art keywords
choreography
midi
video
music
data
Prior art date
Application number
KR1020200108440A
Other languages
Korean (ko)
Other versions
KR20220027502A (en
Inventor
정주호
최인욱
Original Assignee
최인욱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최인욱 filed Critical 최인욱
Priority to KR1020200108440A priority Critical patent/KR102524870B1/en
Publication of KR20220027502A publication Critical patent/KR20220027502A/en
Application granted granted Critical
Publication of KR102524870B1 publication Critical patent/KR102524870B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission

Abstract

본 발명은 미디 음악과 해당 음악에 대한 안무 동작에 관한 영상을 접목하여 높음 음악 품질의 미디 음악을 안무에 관한 영상 상의 안무 동작과 동기화하도록 함으로써 미디 음질을 기반으로 안무 동작을 연습할 수 있도록 하는 안무 영상 콘텐츠를 서비스할 수 있는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법을 제공하기 위한 것이다. 이를 위한 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법은, 특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하는 단계; 상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계; 상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화하는 단계; 및 상기 미디 데이터에 따른 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계를 포함한다.The present invention is a choreography that enables choreography to be practiced based on MIDI sound quality by synchronizing MIDI music of high music quality with choreography movements on an image of choreography by grafting MIDI music and a video related to choreography for the corresponding music. It is to provide a choreography video contents service apparatus and method based on MIDI music capable of providing video contents. To this end, a choreography video content service method based on MIDI music according to an embodiment of the present invention includes converting tick-based information of MIDI data for a specific song into time-based information; converting frame-based information of the choreography video for the song into time-based information; synchronizing the MIDI data of the song with the choreography motion on the choreography video with respect to time; and providing MIDI music according to the MIDI data and choreography images time-synchronized with the MIDI music.

Description

미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체{DEVICE FOR SERVING DANCE IMAGE BASED ON MIDI SOUND AND METHOD FOR THE SAME, AND RECORDING MEDIUM READABLE BY COMPUTING DEVICE}Device and method for servicing choreography video content based on MIDI music, and recording medium readable by the recording computing device

본 발명은 사용자가 선택한 음악에 대한 안무를 학습하고 노래 연습과 안무 연습을 동시에 할 수 있도록 디지털 음원에 관한 표준인 미디(MIDI) 규격의 음악을 기반으로 해당 곡의 안무에 대한 영상 콘텐츠를 제공하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법에 관한 것이다.The present invention provides video content for the choreography of the song based on the music of the MIDI standard, which is a standard for digital sound sources, so that the user can learn the choreography for the music selected by the user and practice singing and choreography at the same time. It relates to a choreography video content service device and method based on MIDI music.

최근 전세계적인 K-POP 열풍으로 음악과 춤에 대한 관심은 더욱 더 높아졌고 사람들은 단순히 음악과 춤을 보는 것에만 그치지 않고 음악을 듣고 노래를 따라 부르면서 그 곡에 대한 안무를 배우고 따라하고자 하는 경향이 상당히 높아지고 있다.With the recent global K-POP craze, interest in music and dance has increased, and people tend to learn and follow the choreography of the song while listening to the music and singing along, rather than simply watching the music and dance. It is rising considerably.

종래에는 음악 콘텐츠를 제공하는 회사에서 해당 음악에 각종 영상을 접목시킨 뮤직비디오 등을 제작하여 TV나 각종 동영상 제공 서비스 사이트 등을 통해 제공하였고, 음악의 수요자들은 상기한 동영상 제공 서비스 사이트 등을 통해 제공되는 뮤직비디오 등을 시청하면서 음악과 춤을 접하고 배울 수 있다.Conventionally, companies providing music contents produced music videos that grafted various images to the music and provided them through TV or various video service sites, etc., and music consumers provided them through the above video service service sites. You can experience and learn about music and dance while watching music videos.

그러나, 뮤직비디오 등과 같은 종래의 방식으로는 체계적이고 정확한 안무를 학습하기가 어려울 뿐더러 뮤직비디오는 음악과 다양한 영상(안무와 관계 없는 영상)을 주로 보여주기 때문에 전문적인 안무 연습을 할 수 있는 콘텐츠로서 큰 한계가 있었다.However, it is difficult to learn systematic and accurate choreography in conventional methods such as music videos, and since music videos mainly show music and various images (images unrelated to choreography), it is a content that can practice professional choreography. There were great limitations.

이와 같이 종래에는 사람들이 손쉽게 접근하여 음악과 춤을 감상할 수 있는 것은 물론 음악과 그에 따른 안무를 정확하게 상세하게 전문적으로 학습할 수 있도록 하는 전문적인 콘텐츠가 부족하기 때문에 K-POP의 열풍 등이 커짐에 따라 그와 같은 콘텐츠의 필요성 또한 더욱더 절실한 실정이다.In this way, in the past, there is a lack of professional contents that allow people to easily access and enjoy music and dance, as well as learn music and choreography in detail and professionally, so the craze for K-POP is growing. Accordingly, the need for such content is also more urgent.

이와 관련하여 노래와 댄스에 대한 학습 콘텐츠를 제공하는 것에 관한 선행기술로서 공개특허공보 제10-2014-0041266호, 공개특허공보 제10-2019-0093770호, 공개특허공보 제10-2020-0083104호 등의 선행기술들이 개시되어 있다.In this regard, as prior art related to providing learning contents for song and dance, Patent Publication No. 10-2014-0041266, Patent Publication No. 10-2019-0093770, and Patent Publication No. 10-2020-0083104 Prior arts such as are disclosed.

이와 같은 종래의 선행기술들은 노래와 댄스를 학습할 수 있는 콘텐츠를 제공하는 것을 특징으로 하고 있으나, MP3 등과 같이 인터넷을 통해 쉽게 서비스를 이용할 수 있는 음원 콘텐츠는 소위 노래방 등에 구비되어 음원 제공을 하는 노래반주기에서 서비스하는 미디(MIDI) 음원과 비교할 때 음악 품질의 차이가 너무나도 확연하기 때문에 콘텐츠의 품질이 상당히 떨어지는 문제점이 있었다.Although these conventional prior arts are characterized by providing contents for learning songs and dances, sound source contents that can be easily serviced through the Internet, such as MP3, are provided in so-called karaoke rooms to provide sound sources. Compared to the MIDI sound source serviced by the accompaniment, the difference in music quality is so obvious that the quality of the content is significantly lowered.

따라서, 미디 음질을 기반으로 안무 동작을 연습할 수 있도록 하는 안무 영상 콘텐츠의 제공에 관한 기술이 필요한 실정이다.Therefore, there is a need for a technique for providing choreography video content that enables choreography movements to be practiced based on MIDI sound quality.

[선행기술문헌][Prior art literature]

공개특허공보 제10-2014-0041266호Publication No. 10-2014-0041266

공개특허공보 제10-2019-0093770호Publication No. 10-2019-0093770

공개특허공보 제10-2020-0083104호Publication No. 10-2020-0083104

본 발명은 미디 음악과 해당 음악에 대한 안무 동작에 관한 영상을 접목하여 높음 음악 품질의 미디 음악을 안무에 관한 영상 상의 안무 동작과 동기화하도록 함으로써 미디 음질을 기반으로 안무 동작을 연습할 수 있도록 하는 안무 영상 콘텐츠를 서비스할 수 있는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법을 제공하기 위한 것이다.The present invention is a choreography that enables choreography to be practiced based on MIDI sound quality by synchronizing MIDI music of high music quality with choreography movements on an image of choreography by grafting MIDI music and a video related to choreography for the corresponding music. It is to provide a choreography video contents service apparatus and method based on MIDI music capable of providing video contents.

본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법은, 특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하는 단계; 상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계; 상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화하는 단계; 및 상기 미디 데이터에 따른 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계를 포함한다.A choreography video content service method based on MIDI music according to an embodiment of the present invention includes converting tick-based information of MIDI data for a specific song into time-based information; converting frame-based information of the choreography video for the song into time-based information; synchronizing the MIDI data of the song with the choreography motion on the choreography video with respect to time; and providing MIDI music according to the MIDI data and choreography images time-synchronized with the MIDI music.

또한 바람직하게는, 상기 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계는, 상기 미디 데이터에 대한 미디 음악을 기초로 안무 동작을 영상 촬영함으로써 상기 촬영된 안무 동작에 대한 영상과 상기 안무의 기초가 된 삽입음악을 포함하는 소스영상을 이용하여 상기 소스영상 상에서 삽입음악이 시작하는 프레임을 기준으로 그 이전의 영상 데이터를 제거하는 단계와, 상기 소스영상 상의 소리를 제거하는 단계와, 상기 영상 데이터의 제거 및 소리의 제거에 의해 획득된 안무 영상을 시간 기반 정보로 변환하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the step of converting the frame-based information of the choreography video into time-based information may include photographing the choreography motion based on MIDI music for the MIDI data, thereby capturing the image of the choreography motion and the choreography of the choreography motion. The steps of removing previous image data based on the frame in which the insert music starts on the source image by using the source image including the inserted music as a basis, and removing the sound on the source image; and converting the choreography image obtained by removing data and removing sound into time-based information.

또한 바람직하게는, 상기 시간에 대해 동기화하는 단계는, 상기 안무 영상의 시작시점과 상기 미디 데이터의 시작시점을 기준으로 하여 동일 시간에 대해 상기 안무 영상의 데이터와 상기 미디 데이터를 매칭시킴으로써 동기화를 하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the synchronizing with respect to time may include matching the choreography video data and the MIDI data for the same time based on the start time of the choreography video and the start time of the MIDI data to perform synchronization. It is characterized by including steps.

또한 바람직하게는, 상기 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계는, 상기 미디 데이터에 대한 미디 음악을 기초로 안무 동작을 영상 촬영함으로써 상기 촬영된 안무 동작에 대한 영상과 상기 안무의 기초가 된 음악을 포함하는 소스영상을 생성하고 상기 생성된 소스영상을 시간 기반 정보로 변환하는 단계와, 상기 변환된 소스영상에서 음악이 시작하는 시작시점을 특정하는 단계와, 상기 소스영상 상의 소리를 제거하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the step of converting the frame-based information of the choreography video into time-based information may include photographing the choreography motion based on MIDI music for the MIDI data, thereby capturing the image of the choreography motion and the choreography of the choreography motion. Generating a source image including music as a basis and converting the generated source image into time-based information, specifying a starting point at which music starts in the converted source image, and sound on the source image It is characterized in that it comprises the step of removing.

또한 바람직하게는, 상기 시간에 대해 동기화하는 단계는, 상기 안무 영상에서 특정된 시작시점과 상기 미디 데이터의 시작시점을 각각 기준으로 하여 동일 시간에 대한 상기 안무 영상의 데이터와 상기 미디 데이터를 매칭시킴으로써 동기화를 하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the step of synchronizing with respect to time comprises matching the choreography video data and the MIDI data for the same time based on the start time specified in the choreography video and the start time of the MIDI data, respectively. Characterized in that it includes the step of synchronizing.

또한 바람직하게는, 상기 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계는, 상기 동기화하는 단계에서 상기 안무 영상과 상기 미디 데이터의 매칭된 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생이 동시에 이루어지는 단계를 포함하며,Also preferably, the step of providing the choreography video time-synchronized with the MIDI music includes reproducing the choreography video and the MIDI data based on matched information between the choreography video and the MIDI data in the synchronizing step. Including the step of simultaneously playing MIDI music by

사용자의 조작에 따른 구간 반복, 템포 조절, 구간 점프, 임의 재생 시점의 지정 중 어느 하나에 대해 상기 동기화에 따른 매칭된 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생을 제어함으로써 상기 사용자의 조작에 따른 콘텐츠를 제공하는 단계를 더 포함하는 것을 특징으로 한다.Reproduction of the choreography video and MIDI music based on the MIDI data based on matched information according to the synchronization for any one of section repetition, tempo control, section jump, and designation of a random playback time according to the user's operation It is characterized in that it further comprises the step of providing content according to the user's manipulation by controlling.

또한, 본 발명은 상기한 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체를 포함한다.In addition, the present invention includes a recording medium readable by a computing device on which the choreography video contents service method based on MIDI music is recorded.

한편, 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치는, 영상을 재생하는 영상 재생 모듈; 소프트웨적인 신디사이저을 구현하는 소프트 미디 엔진과 사운드 폰트를 기반으로 미디 데이터에 대해 미디 음악을 제공하는 소프트 미디 모듈; 및 특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하고 상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하여 상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화한 영상-미디 동기화 정보를 이용하여, 상기 영상 재생 모듈을 통해 재생되는 상기 안무 영상 상의 안무 동작과 상기 소프트 미디 모듈을 통해 제공되는 미디 음악을 동기화시켜 제공하도록 하는 제어부를 포함한다.Meanwhile, a choreography video content service device based on MIDI music according to an embodiment of the present invention includes a video playback module for playing a video; a soft MIDI engine that implements a software synthesizer and a soft MIDI module that provides MIDI music for MIDI data based on a sound font; and converting tick-based information of MIDI data for a specific song into time-based information and converting frame-based information of a choreography video for the song into time-based information to convert the MIDI data of the song and the choreography motion on the choreography video. and a control unit that synchronizes choreography motions on the choreography video reproduced through the video playback module with MIDI music provided through the soft MIDI module, using video-MIDI synchronization information synchronized with respect to time. .

또한 바람직하게는, 상기 안무 영상 상의 안무 동작과 상기 미디 데이터의 동기화 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생이 이루어지는 과정에서 구간 반복, 템포 조절, 구간 점프, 임의 재생 시점의 지정 중 어느 하나를 사용자가 조작할 수 있도록 하는 조작 인터페이스를 더 포함하며, 상기 조작 인터페이스를 통한 사용자의 조작에 대해 상기 영상-미디 동기화정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생을 제어함으로써 상기 사용자의 조작에 따른 콘텐츠를 제공하도록 한 것을 특징으로 한다.Also preferably, in the process of reproducing the choreography video based on the choreography motion on the choreography video and synchronization information of the MIDI data and playing MIDI music based on the MIDI data, interval repetition, tempo adjustment, interval jump, and arbitrary It further includes a manipulation interface allowing a user to manipulate any one of designation of playback time, wherein the choreography video is reproduced and the MIDI data is reproduced based on the video-MIDI synchronization information in response to a user's manipulation through the manipulation interface. It is characterized in that the reproduction of MIDI music is controlled by the controller to provide contents according to the user's operation.

본 발명에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법은 미디 음악과 해당 음악에 대한 안무 동작에 관한 영상을 접목하여 높음 음악 품질의 미디 음악을 안무에 관한 영상 상의 안무 동작과 동기화하도록 함으로써 미디 음질을 기반으로 안무 동작을 연습할 수 있도록 하는 안무 영상 콘텐츠의 제공이 가능하다는 효과가 있다.An apparatus and method for servicing choreography video contents based on MIDI music according to the present invention combine MIDI music with images related to choreography motions for the corresponding music to synchronize MIDI music of high music quality with choreography motions on an image related to choreography. There is an effect that it is possible to provide choreography video content for practicing choreography based on sound quality.

도 1은 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치를 포함하는 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명이 일 실시예에 따른 콘텐츠 서비스 장치가 미디 음악 기반의 안무 영상 콘텐츠를 제공하는 일 예를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법의 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 설명하기 위한 플로우차트이다.
도 5는 도 4에서 설명된 시간 기반의 안무 영상과 미디 데이터를 매칭하여 동기화하는 것을 설명하기 위한 모식도이다.
도 6은 본 발명의 다른 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 설명하기 위한 플로우차트이다.
도 7는 도 6에서 설명된 시간 기반의 안무 영상과 미디 데이터를 매칭하여 동기화하는 것을 설명하기 위한 모식도이다.1 is a diagram showing the configuration of a system including a choreography video content service device based on MIDI music according to an embodiment of the present invention.
2 is a diagram illustrating an example in which a content service device according to an embodiment of the present invention provides choreography video content based on MIDI music.
3 is a diagram for explaining the concept of a choreography video content service method based on MIDI music according to an embodiment of the present invention.
4 is a flowchart for explaining a choreography video content service method based on MIDI music according to an embodiment of the present invention.
FIG. 5 is a schematic diagram for explaining synchronization by matching the time-based choreography video described in FIG. 4 with MIDI data.
6 is a flowchart for explaining a choreography video content service method based on MIDI music according to another embodiment of the present invention.
FIG. 7 is a schematic diagram for explaining synchronization by matching the time-based choreography video described in FIG. 6 with MIDI data.

본 발명에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법을 도면을 참조하여 구체적으로 설명한다.A choreography video content service apparatus and method based on MIDI music according to the present invention will be described in detail with reference to the drawings.

먼저, 도 1을 참조하여 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치를 포함하는 시스템의 구성을 설명한다.First, with reference to FIG. 1, the configuration of a system including a choreography video content service device based on MIDI music according to an embodiment of the present invention will be described.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 콘텐츠 서비스 장치(200)는 서버(100)와 네트워크 연결되어 구성된다.As shown in FIG. 1 , a content service device 200 according to an embodiment of the present invention is configured to be network-connected to a server 100 .

서버(100)는 클라이언트로부터 전송되는 수많은 미디 콘텐츠를 선별 관리하여 데이터베이스에 저장하며, 다양한 기기의 콘텐츠 서비스 장치(200)를 통해 서비스 이용자가 다양한 장소에서 언제든지 미디 콘텐츠 서비스를 제공받도록 할 수 있다.The server 100 selectively manages numerous MIDI contents transmitted from clients and stores them in a database, and allows service users to receive MIDI contents services at any time in various places through the contents service device 200 of various devices.

상기 서버(100)는 미디(MIDI) 규격의 음악 콘텐츠인 미디 콘텐츠에 대한 미디 데이터 영상 콘텐츠에 대한 영상 데이터의 처리, 저장 및 관리를 하며, 각종 곡들의 미디 데이터를 저장하는 미디데이터DB(110)와, 각종 곡들의 안무에 관한 영상 데이터를 저장하는 영상데이터DB(120)와, 각종 미디 데이터와 영상 데이터를 수집, 저장, 처리 및 관리 등을 하는 콘텐츠 관리처리부(130)를 포함할 수 있다.The server 100 processes, stores, and manages video data for video contents and MIDI data for MIDI data, which is music contents of the MIDI standard, and a MIDI data DB 110 for storing MIDI data of various songs. and a video data DB 120 for storing video data related to choreography of various songs, and a content management processing unit 130 for collecting, storing, processing, and managing various MIDI data and video data.

한편, 본 발명의 일 실시예에 따른 콘텐츠 서비스 장치(200)는, 도 1에 도시된 바와 같이 영상재생 모듈(210)과, 소프트 미디 모듈(220)을 포함하며, 상기 영상재생 모듈(210)에 의해 재생되는 영상을 표시하는 디스플레이(201)와, 상기 소프트 미디 모듈(220)을 통해 재생되는 미디 사운드를 출력하는 스피커(202)를 포함하며, 상기 디스플레이(201), 스피커(202), 영상재생 모듈(210) 및 소프트 미디 모듈(200)을 제어하며 미디 데이터와 안무 영상의 동기화 정보를 저장하여 미디 음악 기반의 안무 영상 콘텐츠를 사용자에게 제공하고 사용자가 학습할 수 있도록 콘텐츠를 제어하는 제어부(230)를 포함한다.Meanwhile, as shown in FIG. 1, the content service device 200 according to an embodiment of the present invention includes a video playback module 210 and a soft MIDI module 220, and the video playback module 210 It includes a display 201 displaying an image reproduced by the soft MIDI module 220 and a speaker 202 outputting a MIDI sound reproduced through the soft MIDI module 220. A controller that controls the playback module 210 and the soft MIDI module 200 and stores MIDI data and synchronization information of the choreography video to provide MIDI music-based choreography video content to the user and controls the content so that the user can learn ( 230).

상기 영상재생 모듈(210)은 통상적인 비디오 카드와 같이 영상 데이터를 디코딩하여 디스플레이(201)에 출력하도록 하는 역할을 한다.The video playback module 210 serves to decode video data and output it to the display 201 like a typical video card.

상기 소프트-미디 모듈은 소프트웨적인 신디사이저을 구현하는 소프트 미디 엔진(Soft-Midi Engine)과 사운드 폰트(Sound Font)를 이용하여 각종 곡의 미디 데이터에 따라 사운드 폰트를 이용하여 소프트 미디 엔진에 의해 미디 음악을 구현하는 기능을 수행한다.The soft-midi module uses a soft-midi engine that implements a software-like synthesizer and a sound font to produce midi music by the soft midi engine using sound fonts according to midi data of various songs. implement the function.

상기 영상재생 모듈(210)과 소프트 미디 모듈(220)은 프로그램을 기록한 하드웨어의 형태로서 구현될 수도 있고 소프트웨어의 형태로서 구현될 수도 있다.The video playback module 210 and the soft MIDI module 220 may be implemented in the form of hardware in which programs are recorded or in the form of software.

상기 콘텐츠 서비스 장치(200)는 서버(100)에서 저장되어 관리되는 영상 데이터와 미디 데이터를 전송받아 실행하여 사용자에게 콘텐츠를 제공하며, 디스플레이와 스피커, 그리고 소프트 미디 모듈과 같은 프로그램을 실행할 수 있는 기기, 예컨대 노래반주기는 물론, 스마트폰, 태블릿 PC, 스마트 TV, AI 기기, 셋톱박스 등의 기기로서 구현될 수 있다.The content service device 200 receives and executes video data and MIDI data stored and managed by the server 100 to provide content to the user, and is a device capable of executing programs such as a display, a speaker, and a soft MIDI module. , For example, it can be implemented as a device such as a karaoke machine, a smart phone, a tablet PC, a smart TV, an AI device, and a set-top box.

도 2는 상기한 바와 같은 본 발명이 일 실시예에 따른 콘텐츠 서비스 장치가 미디 음악 기반의 안무 영상 콘텐츠를 제공하는 일 예를 나타내고 있다.2 shows an example in which the content service device according to an embodiment of the present invention provides choreography video content based on MIDI music as described above.

도 2에 도시된 바와 같이, 본 발명이 일 실시예에 따른 콘텐츠 서비스 장치가 제공하는 콘텐츠는 안무 영상(211)을 포함하며, 그와 함께 미디 음악이 동기화되어 제공되는데, 미디 음악의 진행바(213)가 표시되고 미디 음악이 재생될 때 진행바(213)에 음악 진행 상태를 상태표시부(214)를 통해 나타낼 수 있다.As shown in FIG. 2, the content provided by the content service device according to an embodiment of the present invention includes a choreography video 211, and MIDI music is provided in synchronization with it, and the progress bar of the MIDI music ( 213) is displayed and when MIDI music is played, the progress bar 213 may indicate the progress of the music through the status display unit 214.

본 발명의 일 실시예에 따른 콘텐츠 서비스 장치는 사용자가 안무 영상에 대한 학습을 할 수 있도록 영상과 음악의 템포 조절, 임의 재생 시점의 지정, 구간 점프, 구간 반복 등의 기능을 제공할 수 있으며, 이를 위해 사용자가 조작할 수 있도록 조작 인터페이스(212)를 제공할 수 있다.The content service device according to an embodiment of the present invention may provide functions such as tempo control of video and music, designation of a random playback time point, section jump, section repeat, etc. so that the user can learn about the choreography video, To this end, a manipulation interface 212 may be provided so that the user can manipulate it.

상기 조작 인터페이스(212)는 기기 상에 물리적으로 구현된 조작 버튼 등의 형태일 수도 있고 터치패널 기반의 디스플레이 상에 표시되는 인터페이스의 형태일 수도 있다.The manipulation interface 212 may be in the form of a manipulation button physically implemented on the device or may be in the form of an interface displayed on a touch panel-based display.

구간 반복의 경우 진행바(213) 상에 구간의 시작점(A)과 구간의 끝점(B)을 각각 지정함으로써 A->B의 구간 반복을 실행할 수 있다.In the case of section repetition, section repetition from A to B may be performed by designating the starting point (A) of the section and the end point (B) of the section on the progress bar 213, respectively.

도 2에 도시된 바와 같은 본 발명의 일 실시예에 따른 콘텐츠 서비스 장치가 제공하는 콘텐츠는 단순히 안무 영상을 제공하고 이를 제어하도록 하는 것에만 특징이 있는 것이 아니라, 이와 같은 안무 영상이 미디 데이터와 동기화되어 미디 사운드와 함께 제공되며 영상에 대한 조작 인터페이스(212)를 통한 조작에 따라 영상의 제어뿐만 아니라 미디 사운드에 대한 제어도 함께 이루어질 수 있도록 한 점에 특징이 있다.As shown in FIG. 2, the content provided by the content service device according to an embodiment of the present invention is characterized not only in providing and controlling a choreography video, but in that such a choreography video is synchronized with MIDI data. It is provided along with MIDI sound, and is characterized in that it can control not only video but also MIDI sound according to manipulation through the video manipulation interface 212.

구체적으로, 본 발명은 단순히 영상과 미디 음악을 동기화한 것이 아니라, 안무 영상 상의 안무 동작과 그 안무 동작에 따른 음악의 미디 사운드를 서로 매칭함으로써 '안무 동작 - 미디 음악'의 동기화를 통해 미디 음악 기반으로 안무 동작을 학습할 수 있도록 콘텐츠를 제공하는 것을 특징으로 한다.Specifically, the present invention is based on MIDI music through synchronization of 'choreography motion - MIDI music' by matching the choreography motion on the choreography video and the MIDI sound of the music according to the choreography motion, rather than simply synchronizing the video and MIDI music. It is characterized in that content is provided so that choreography movements can be learned.

도 3은 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법의 개념을 설명하기 위한 것으로서, 안무 영상상의 안무 동작과 미디 데이터, 곡 가사과 곡 악보를 모두 동기화하여 제공하는 것의 일 예를 나타낸 도면이다. 3 is to explain the concept of a choreography video content service method based on MIDI music according to an embodiment of the present invention, and is an example of synchronizing and providing choreography motions on a choreography video, MIDI data, song lyrics, and song scores. is a drawing showing

도 3에 도시된 바와 같이, 특정 곡에 대한 공연자의 안무 동작(①)을 해당 곡에 대한 미디 데이터의 상기 안무 동작에 대응되는 부분(④)과 매칭시켜 동기화함으로써 안무영상 상의 안무 동작에 맞게 미디 데이터의 미디 사운드가 제공되도록 할 수 있다.As shown in FIG. 3, by matching and synchronizing the choreography movement (①) of a performer for a specific song with the part (④) corresponding to the choreography movement of the MIDI data for the corresponding song, the MIDI You can have the MIDI sound of the data provided.

또한, 도 3에 도시된 바와 같이, 안무영상의 안무 동작(①) 및 미디 데이터(④)와 함께 곡 가사의 텍스트(②)와 곡 악보(③)도 동기화하여, 곡이 진행되는 것에 맞추어서 곡 가사의 텍스트(②) 및 곡 악보(③)에 대해 곡의 진행을 표시하도록 할 수 있다.In addition, as shown in FIG. 3, the choreography motion of the choreography video (①) and MIDI data (④) are synchronized with the text of the song lyrics (②) and the music score (③), so that the song is synchronized with the progress of the song. The progress of the song can be displayed for the lyrics text (②) and the music score (③).

즉, 일단 안무영상 상의 안무 동작과 미디 데이터를 동기화하고, 그 동기화 정보에 기초하여 곡 가사와 곡 악보를 그 동기화 시간에 따라 표시를 제어할 수 있다.That is, once the choreography motion on the choreography video and the MIDI data are synchronized, based on the synchronization information, the display of song lyrics and music score can be controlled according to the synchronization time.

통상적으로 어떤 곡의 사운드가 제공되고 있는 상태에서 공연자가 해당 곡을 들으면서 안무를 행하는데, 이때 공연자의 안무에 대한 영상을 촬영하면 영상 부분과 함께 해당 곡에 대한 사운드가 함께 녹음이 되므로, 곡에 대한 안무를 표현하는 영상은 안무를 표현하는 영상과 해당 곡의 음악을 함께 포함하고 있다 (예컨대, mp4 파일 형식으로 영상과 음악을 함께 포함하고 있다).Normally, a performer performs choreography while listening to the song while the sound of a song is being provided. At this time, if a video of the performer's choreography is recorded, the sound for the song is recorded together with the video part. The video expressing the choreography for the choreography includes both the video expressing the choreography and the music of the corresponding song (eg, the video and the music are included in an mp4 file format).

이하에서는 공연자의 안무에 대해 촬영된 영상으로서 안무의 기초가 되는 음악을 포함하는 영상 데이터를 '소스영상'이라고 칭하기로 한다.Hereinafter, image data including music that is a basis of choreography as a captured image of a performer's choreography will be referred to as a 'source video'.

이와 같은 소스영상은 영상과 음악을 별도로 동기화할 필요 없이 그 자체로 안무 동작과 음악이 일치할 수밖에 없다.In such a source video, there is no need to separately synchronize the video and the music, and the choreography movement and the music are inevitably matched.

그러나, 그와 같은 소스영상에 포함된 음악 부분은 미디 사운드의 음질이 아니라 MP3 등과 같은 품질이 상당히 낮은 사운드이기 때문에 소스영상 자체로는 콘텐츠로서의 품질이 상당히 떨어진다.However, since the music part included in such a source video is not of midi sound quality but of a considerably low quality such as MP3, the quality of the source video itself is considerably lowered as content.

만약 소스영상을 촬영할 때 공연자가 미디 음악이 제공되는 환경에서 안무 동작을 한다고 하더라도, 그것을 촬영한 소스영상의 음악은 미디 음질의 사운드가 아니라 MP3 등과 같은 품질 낮은 사운드가 되어 버리기 때문에, 본 발명의 목적에 맞는 높은 품질의 콘텐츠를 제공하기 위해서는 소스영상에서 음악 부분을 제거하고 영상 부분에 대해서 별도로 미디 음악과 동기화를 하되, 이때 단순히 영상과 미디 음악을 동기화하는 것이 아니라 영상 상의 안무 동작과 미디 음악이 서로 매칭되도록 함으로써 미디 음악 기반의 안무 영상 콘텐츠를 제공하도록 한 것이다.Even if a performer performs choreography in an environment where MIDI music is provided when filming a source video, the music of the filmed source video is not a MIDI quality sound, but a low quality sound such as MP3, etc. In order to provide high-quality contents suitable for the video, the music part is removed from the source video and the video part is synchronized with MIDI music separately. By matching them, it is possible to provide choreography video contents based on MIDI music.

여기서, 미디(MIDI: Musical Instrument Digital Interface)는 전자 악기끼리 디지털 신호를 주고 받기 위해 각 신호를 규칙화한 표준이며, 미디 음악은 악보로 음악을 표현하는 것이 아니라 컴퓨터가 인식할 수 있는 디지털 정보의 형태로 음악을 표현한 데이터, 즉 미디 데이터에 따라 신디사이저(Synthesizer)가 다양한 전자 악기의 음을 합성하여 만들어낸 음악이다.Here, MIDI (Musical Instrument Digital Interface) is a standard that standardizes each signal to exchange digital signals between electronic musical instruments. It is music created by synthesizing the sounds of various electronic instruments by a synthesizer according to data expressing music in the form, that is, MIDI data.

본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치는 신디사이저라는 기계장치 대신 소프트웨어적인 신디사이저를 구현하는 소프트 미디 엔진이 다양한 악기의 음을 각각 나타내는 사운드 폰트를 이용하여 미디 데이터에 의해 표현된 음악을 구현하는 소프트 미디 모듈을 구비하는 것을 특징으로 한다.In the choreography video contents service device based on MIDI music according to an embodiment of the present invention, a soft MIDI engine that implements a software synthesizer instead of a mechanical synthesizer is expressed by MIDI data using sound fonts representing the sounds of various musical instruments. It is characterized in that it is provided with a soft MIDI module that implements the music.

상기한 바와 같은 미디 데이터는 다수의 채널을 포함하고 있으며 각각의 채널은 특정 악기의 음에 대한 사항을 기재하고 있는데, 예컨대 피아노의 음을 나타내는 채널에서 피아노 음의 위치와 길이 등이 디지털 정보로 입력되어 있다.MIDI data as described above includes a plurality of channels, and each channel describes information about the sound of a specific musical instrument. has been

이와 같은 미디 데이터는 시간 단위로 기록되어 있는 것이 아니라 틱(tick)이라는 개념을 기본 단위로 사용한다.Such MIDI data is not recorded in units of time, but uses the concept of ticks as a basic unit.

즉, 틱(tick)은 PPQ(Pulses per Quarter note)의 개념으로서 4분 음표 하나, 즉 하나의 비트(beat)를 몇 개로 분할하여 표현하는지를 나타낸다. 미디 데이터에 있어서 timebase는 ticks per beat, 즉 비트(beat) 당 틱(tick)의 수에 의해 정해지는데, 비트 당 틱의 수가 클수록 음과 음 사이의 위치를 더욱 세세하게 표시할 수 있게 되고 음의 표현이 더욱 정밀해질 수 있다.That is, a tick is a concept of PPQ (Pulses per Quarter note) and represents how many quarter notes, that is, one beat, are divided and expressed. In MIDI data, the timebase is determined by ticks per beat, that is, the number of ticks per beat. The larger the number of ticks per beat, the more detailed the position between notes can be displayed, and the expression of the sound This can be more precise.

악보 상의 4분음표를 표현할 때에 상황에 따라 길이가 다르게 연주될 때도 있고 연주의 시작 위치가 정박에서 약간 벗어나게 될 때도 있는 등 하나의 4분음표를 표현하더라도 정밀하게 표현하는 것이 필요한데, 이를 위해 틱(tick)이라는 개념으로 4분음표 하나를 매우 작은 단위로 분할해서 세세하게 표현할 수 있도록 한 것이다.When expressing a quarter note on a musical score, it is necessary to express it precisely even if it expresses a single quarter note, such as sometimes playing a different length depending on the situation and sometimes the starting position of the performance slightly deviated from the anchor. To this end, ticks ( tick), which divides one quarter note into very small units so that it can be expressed in detail.

같은 곡이라도 틱의 수, 즉 ticks per beat를 어떻게 설정하는가에 따라 그 느낌이 상당히 달라지게 될 수 있고 표현의 정밀도에 있어서 차이가 나게 된다. 예컨대, 60틱으로 설정한 미디 음악과 120틱으로 설정한 미디 음악은 같은 곡이라도 표현에 있어 다른 느낌을 주게 된다.Even for the same song, depending on how you set the number of ticks, that is, ticks per beat, the feeling can be quite different, and there is a difference in the precision of expression. For example, MIDI music set to 60 ticks and MIDI music set to 120 ticks give different feelings in expression even though they are the same song.

이와 같은 미디 데이터의 틱(tick)은 시간 단위와 다른 것이기 때문에, 미디 데이터에 의해 표현되는 음악의 시간은 틱의 설정 정보와 템포(Tempo)의 설정 정보, 예컨대 bpm(beat per minute)의 설정 정보를 이용하여 1tick에 해당하는 시간 정보로 환산하여 구할 수 있다.Since the tick of MIDI data is different from the unit of time, the time of music represented by MIDI data includes tick setting information and tempo setting information, for example, bpm (beat per minute) setting information. It can be obtained by converting to time information corresponding to 1 tick using .

한편, 도 4에 도시된 플로우차트를 참조하여 본 발명의 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 설명한다.Meanwhile, referring to the flow chart shown in FIG. 4 , a method for servicing choreography video content based on MIDI music according to an embodiment of the present invention will be described.

앞서 설명한 바와 같이, 본 발명의 일 실시예에 따른 콘텐츠 서비스 장치는 서버와 통신 가능하도록 연결되어 구성되며, 다양한 형태의 기기로서 구현될 수 있고 기기 내에 구비된 제어부에 의해 서비스의 제공에 대한 제어가 이루어진다.As described above, the content service device according to an embodiment of the present invention is connected to and configured to communicate with a server, can be implemented as various types of devices, and provides control over the provision of services by a control unit provided in the device. It is done.

어떤 형태의 콘텐츠 서비스 장치에서 사용자가 자신이 학습하고자 하는 특정 음악에 대한 안무 영상 콘텐츠를 선택하면(S100), 제어부는 서버(100)의 미디데이터DB(110)로부터 사용자에 의해 선택된 음악에 대한 미디 데이터를 전송받으며 영상데이터DB(120)로부터 선택된 음악에 대한 안무 영상의 데이터를 전송받는다(S110).When a user selects choreography video content for a specific music that the user wants to learn in a content service device of some type (S100), the controller controls the MIDI data for the music selected by the user from the MIDI data DB 110 of the server 100. Data is received and choreography video data for the selected music is received from the video data DB 120 (S110).

이때, 서버의 영상데이터DB(120)에 저장되는 안무 영상에 대한 데이터는, 소스영상의 획득(S10)과, 그 획득된 소스영상에서 삽입되어 있는 음악의 시작시점을 특정하고 그 시작시점부터의 영상을 추출하며 소스영상에 삽입된 소리를 제거하여 얻어진 안무영상 데이터일 수 있다(S20).At this time, the choreography video data stored in the video data DB 120 of the server specifies the acquisition of the source video (S10) and the starting point of the music inserted in the acquired source video, and It may be choreography image data obtained by extracting an image and removing sound inserted into a source image (S20).

상기 소스영상은 공연자가 해당 곡에 대한 음악이 제공된 상태에서 안무 동작을 하는 것을 촬영한 영상으로서, 안무 동작에 대한 영상과 그에 따른 음악이 모두 포함된 상태의 데이터이다.The source video is an image of a performer performing a choreography while music for a corresponding song is provided, and is data in a state in which both the video for the choreography and the corresponding music are included.

여기서, 소스영상의 촬영시에 안무 동작과 함께 제공되는 음악은 미디 데이터에 의한 미디 음악을 그대로 이용하는 것이 바람직하다.Here, it is preferable to use MIDI music based on MIDI data as the music provided along with the choreography motion when capturing the source video.

그렇게 하면, 소스영상에서 안무 동작의 기초가 된 음악, 즉 소스영상에 삽입된 음악은 미디 데이터에 의한 미디 음악과 동일한 시간 길이를 갖게 되기 때문에 안무 영상과 미디 데이터의 시간 동기화를 상당히 수월하게 할 수 있다.If so, since the music that is the basis of the choreography motion in the source video, that is, the music inserted in the source video, has the same time length as the MIDI music by the MIDI data, time synchronization between the choreography video and the MIDI data can be significantly facilitated. there is.

상기한 소스영상은 공연자의 안무 동작이 시작되기 전의 대기시간 동안의 영상이 포함될 수밖에 없다. The above-described source image inevitably includes an image during a waiting time before a performer's choreography starts.

즉, 단순히 소스영상에서 소리를 제거한 후 미디 데이터를 이에 동기화시킬 때 소스영상의 시작 위치와 미디 데이터의 시작 위치를 매칭시킬 경우 안무 동작과 미디 음악이 서로 일치하지 않게 된다 (소스영상 상에서 대기시간일 때의 영상에서 미디 음악이 시작해 버리면 안무 동작과 미디 음악이 서로 어긋나게 된다).That is, if the starting position of the source video and the starting position of the MIDI data are matched when synchronizing the MIDI data after simply removing the sound from the source video, the choreography motion and the MIDI music do not match each other (waiting time on the source video) If the MIDI music starts in the video at the time, the choreography movement and the MIDI music will be out of sync).

따라서, 안무 영상 상의 안무 동작과 미디 음악을 서로 일치시키기 위해, 소스영상에 삽입된 음악의 시작이 언제인지 그 시작위치, 예컨대 소스영상 상의 삽입음악이 시작하는 프레임을 특정하고 그 프레임을 기준으로 그 이전의 영상 데이터를 제거한 후 소스영상 상의 삽입된 음악을 포함한 모든 소리를 제거함으로써 안무 영상 데이터를 생성하고, 이후에 미디 데이터의 시작 위치와 상기 생성된 안무 영상의 시작 위치를 각각 기준으로 매칭시키면서 시간 동기화를 할 수 있다.Therefore, in order to match the choreography motion and MIDI music on the choreography video, the start position of the music inserted in the source video is specified, for example, the frame where the inserted music on the source video starts, and based on that frame After removing the previous video data, choreography video data is created by removing all sounds including the music inserted on the source video, and then matching the start position of the MIDI data and the start position of the generated choreography video based on each standard, and time sync can be done.

상기한 바와 같이 소스영상 상의 삽입음악이 시작하는 프레임을 기준으로 그 이전의 영상 데이터를 제거하고 소리를 제거한 상태의 영상을 안무 영상으로서 서버(100)의 영상데이터DB(120)에 저장할 수 있다.As described above, based on the frame where the inserted music on the source video starts, the previous video data is removed and the video in a state in which the sound is removed can be stored in the video data DB 120 of the server 100 as a choreography video.

상기한 S110 단계에서 선택된 콘텐츠에 대한 안무 영상은 상기 서버의 영상데이터DB로부터 추출되는데, 그 추출된 안무 영상은 상기한 S10 및 S20의 단계를 통해 생성된 것이다.The choreography video for the content selected in the above step S110 is extracted from the video data DB of the server, and the extracted choreography video is generated through the above steps S10 and S20.

상기한 바와 같이 선택된 콘텐츠에 대한 안무 영상의 데이터와 미디 데이터의 추출이 이루어진 후, 제어부는 미디 데이터의 틱(tick) 기반의 정보를 시간 기반의 정보로 변환하고(S120), 또한 안무 영상의 프레임 기반 정보를 시간 기반의 정보로 변환한다(S130).After the choreography video data and MIDI data for the selected content are extracted as described above, the control unit converts the tick-based information of the MIDI data into time-based information (S120), and also frames the choreography video The base information is converted into time-based information (S130).

상기 미디 데이터는 사용자가 선택한 콘텐츠의 곡에 대한 미디 데이터로서, 앞서 설명한 바와 같이 틱(tick) 기반으로 다수의 채널에서 각각 필요한 악기의 음에 대해 정의해 놓은 데이터이며, 콘텐츠 서비스 장치의 소프트 미디 모듈의 소프트 미디 엔진이 각종 사운드 폰트를 이용하여 미디 음악을 만드는 기초가 되는 것이다.The MIDI data is MIDI data for the song of the content selected by the user, and as described above, it is data defined for the sound of each instrument required in a plurality of channels on a tick basis, and the soft MIDI module of the content service device The soft MIDI engine of is the basis for creating MIDI music using various sound fonts.

상기 미디 데이터의 설정된 비트 당 틱 수(ticks per beat)와 bpm(beat per minute)과 같은 템포 정보를 이용하여 단위 틱(tick) 당 시간값(예컨대, 1 tick 당 시간값이나, 20 tick 당 시간값 등)으로 환산하여 시간 단위의 미디 데이터로 변환하여 상기 S120 단계를 실행할 수 있다.Time value per unit tick (e.g., time value per 1 tick or time per 20 ticks) using tempo information such as the set number of ticks per beat and beat per minute (bpm) of the MIDI data value, etc.) to be converted into time-unit MIDI data, and the above step S120 can be executed.

한편, 상기 안무 영상의 데이터는, 앞서 설명한 바와 같이 소스영상 상의 삽입음악이 시작하는 프레임을 특정하고 그 프레임을 기준으로 그 이전의 영상 데이터를 제거한 후 소스영상 상의 삽입된 음악을 포함한 모든 소리를 제거함으로써 생성된 것이다. On the other hand, for the data of the choreography video, as described above, specify the frame where the inserted music on the source video starts, remove the previous video data based on that frame, and then remove all sounds including the music inserted on the source video. created by doing

상기 안무 영상은 다수의 프레임으로 이루어지는데, 제어부는 프레임 단위의 안무 영상을 시간 단위로 변환할 수 있다.The choreography video is composed of a plurality of frames, and the controller may convert the choreography video in units of frames into units of time.

상기한 바와 같이 안무 영상을 시간 기반으로 변환하고, 미디 데이터를 시간 기반으로 변환한 후, 제어부는 안무 영상의 시작시점과 미디 데이터의 시작시점을 기준으로 동일 시간에 대한 안무 영상 데이터와 미디 데이터를 매칭시킴으로써 시간에 대해 동기화할 수 있다(S140).As described above, after converting the choreography video on a time basis and the MIDI data on a time basis, the control unit converts the choreography video data and MIDI data for the same time based on the start point of the choreography video and the start point of the MIDI data. By matching, it is possible to synchronize with respect to time (S140).

상기 안무 영상은 소스영상을 이용하여 삽입음악이 시작할 때를 기준으로 그 이전의 데이터를 제거하여 만들어진 것이기 때문에 상기 안무 영상의 시작시점은 안무 동작이 시작되는 시점이기도 하다.Since the choreography video is created by removing previous data based on the starting time of insert music using the source video, the starting point of the choreography video is also the starting point of the choreography motion.

따라서, 안무 영상의 시작시점과 미디 데이터의 시작시점을 기준으로 동기화함으로써 안무 영상 상의 안무 동작과 미디 데이터에 따른 미디 음악을 일치시킬 수 있다.Accordingly, by synchronizing the start time of the choreography video with the start time of the MIDI data, it is possible to match the choreography motion on the choreography video with the MIDI music according to the MIDI data.

한편, 제어부는 상기한 바와 같이 얻어진 동기화 정보에 기초하여 영상재생 모듈에 의한 안무 영상의 재생과 소프트 미디 모듈에 의한 미디 데이터의 미디 음악의 재생을 동시에 실행함으로써 미디 음악 기반의 안무 영상 콘텐츠를 제공할 수 있다(S150).On the other hand, the control unit provides MIDI music-based choreography video content by simultaneously executing playback of choreography video by the video playback module and playback of MIDI music of MIDI data by the soft MIDI module based on the synchronization information obtained as described above. It can (S150).

또한, 도 2에서 예시한 바와 같은 조작 인터페이스(212) 등을 통한 사용자의 조작에 따라 제어부는 상기한 동기화 정보에 기초하여 미디 음악과 안무 영상에 대해 동시에 구간 반복, 템포 조절, 구간 점프 등을 하여 콘텐츠를 제어하도록 함으로써 사용자가 음악과 안무 동작을 학습하기 용이하도록 할 수 있다(S160).In addition, according to the user's manipulation through the manipulation interface 212 as illustrated in FIG. 2, the control unit simultaneously performs section repetition, tempo adjustment, section jump, etc. for the MIDI music and the choreography video based on the synchronization information. By controlling the content, it is possible for the user to easily learn music and choreography (S160).

여기서, 도 5를 참조하여 상기한 S110 내지 S140 단계에 관하여 좀 더 구체적으로 설명한다.Here, with reference to FIG. 5, the above steps S110 to S140 will be described in more detail.

도 5는 상기한 바와 같은 시간 기반의 안무 영상과 미디 데이터를 매칭하여 동기화하는 것을 설명하기 위한 모식도이다.FIG. 5 is a schematic diagram for explaining synchronization by matching a time-based choreography video and MIDI data as described above.

도 5의 (a)는 공연자의 안무에 대해 촬영된 영상으로서 안무의 기초가 되는 음악을 포함하는 영상 데이터인 소스영상을 나타낸 것인데, 여기서 소스영상에 이용된 삽입음악은 동기화시킬 미디 데이터에 따른 미디 음악을 이용하는 것이 바람직하다.5 (a) shows a source image, which is image data including music that is the basis of the choreography, as a video recorded for the choreography of a performer. It is preferable to use music.

이와 같이 소스영상의 삽입음악을 이후에 동기화시킬 미디 데이터의 미디 음악을 이용함으로써, 차후 미디 데이터를 안무 영상에 동기화시킬 때 소스영상 상의 삽입음악의 길이가 미디 데이터의 길이와 일치하기 때문에 안무 영상 시작점과 미디 데이터의 시작점을 서로 매칭함에 따라 자연스럽게 전체적으로 매칭이 이루어질 수 있다.In this way, by using the MIDI music of the MIDI data to synchronize the insert music of the source video later, when the MIDI data is synchronized with the choreography video later, the length of the insert music on the source video coincides with the length of the MIDI data, which is the starting point of the choreography video. By matching the start points of the and MIDI data with each other, matching can be made as a whole naturally.

도 5의 (a)에서 소스영상은 s1, s2, ... sn, sn+1, ... 등의 순서로 프레임이 진행된다고 할 때, s1 프레임에서 소스영상이 시작된 후, sn 프레임에서 삽입음악이 시작되면서 동시에 안무 동작이 시작된다(공연자는 음악이 시작됨과 동시에 안무 동작을 취한다).In (a) of FIG. 5, when the source image proceeds in the order of s1, s2, ... sn, sn + 1, ..., etc., after the source image starts in the s1 frame, it is inserted in the sn frame The choreography starts at the same time as the music starts (performers perform the choreography as soon as the music starts).

삽입음악이 sm 프레임에서 종료되고 소스영상이 sf 프레임에서 종료되었다고 할 때, 상기 sm 프레임과 sf 프레임은 도면에 나타낸 바와 같이 약간의 차이가 있을 수도 있고 비슷하게 종료될 수도 있다.When it is assumed that the inserted music ends at the sm frame and the source video ends at the sf frame, the sm frame and the sf frame may have a slight difference or may end similarly as shown in the figure.

이와 같은 소스영상에서 삽입음악이 시작하는 위치, 즉 안무 동작이 시작하는 위치인 sn 프레임 이전의 데이터를 제거 하고, 또한 음악을 포함한 소스영상에 삽입된 소리를 모두 제거함으로써 도 5의 (b)와 같은 안무 영상을 얻을 수 있다.In such a source video, the position where inserted music starts, that is, data before the sn frame, which is the position where choreography starts, is removed, and all sounds inserted in the source video including music are removed, as shown in FIG. You can get the same choreography video.

안무 영상은 삽입음악에 맞춰서 안무 동작을 한 것에 대한 영상만을 포함하는 데이터로서, f1, f2 ... ff 와 같은 순서로 프레임이 진행된다.The choreography video is data including only images of choreography performed in accordance with insert music, and frames are progressed in the order of f1, f2 ... ff.

본 발명의 제어부는 위와 같은 안무 영상의 프레임 기반의 정보를 도 5의 (c)와 같이 시간 기반의 정보로 변환하며, ti1, ti2...tif 의 시간 순서로 진행하는 안무 영상 데이터를 얻을 수 있다.The control unit of the present invention converts the above frame-based information of the choreography video into time-based information as shown in FIG. there is.

한편, 제어부는 도 5의 (d)에 도시된 바와 같이 틱(tick) 기반의 미디 데이터를 시간 기반의 미디 데이터로 변환하여 도 5의 (e)와 같이 tm1, tm2...tmf 의 시간 순서로 진행하는 미디 데이터를 얻을 수 있다.On the other hand, as shown in (d) of FIG. 5, the control unit converts tick-based MIDI data into time-based MIDI data, and as shown in (e) of FIG. You can get MIDI data going with .

이때 제어부는 (c)에 도시된 바와 같은 안무 영상 데이터의 시간(ti1, ti2 등)과 동일한 시간 단위로 미디 데이터를 얻을 수 있도록 안무 영상 데이터의 단위 시간에 해당하는 틱(tick)의 수를 조정하여 시간 정보로 변환할 수 있다.At this time, the control unit adjusts the number of ticks corresponding to the unit time of the choreography video data so that MIDI data can be obtained in the same time unit as the time (ti1, ti2, etc.) of the choreography video data as shown in (c). can be converted into time information.

제어부는 도 5의 (c)와 같이 시간 변환된 안무 영상 데이터의 시작시점(ti1)과, (e)와 같이 시간 변환된 미디 데이터의 시작시점(tm1)을 기준으로 매칭시키면서 단위 시간마다 동일한 시간에 대한 데이터를 서로 매칭시킴으로써 안무 영상상의 안무 동작과 미디 데이터를 시간 동기화 할 수 있다.The control unit matches the start point (ti1) of the time-converted choreography video data as shown in (c) of FIG. 5 and the start point (tm1) of the time-converted MIDI data as shown in (e) as a standard, and the same time per unit time. The choreography motion on the choreography video and the MIDI data can be time-synchronized by matching the data for .

한편, 도 6에 도시된 플로우차트를 참조하여 본 발명의 다른 일 실시예에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 설명한다.Meanwhile, referring to the flow chart shown in FIG. 6, a method for servicing choreography video content based on MIDI music according to another embodiment of the present invention will be described.

도 6에 도시된 실시예는 기본적으로 도 1에 도시된 바와 같은 구성을 갖는 서버와 콘텐츠 서비스 장치에 의한 것이며 일부 프로세스에 있어 도 5와 차이가 있으므로 동일한 부분으로서 중복되는 내용에 대해서는 가급적 생략을 하고 차이 나는 부분을 위주로 설명하도록 한다.The embodiment shown in FIG. 6 is basically based on a server and a content service device having the configuration shown in FIG. 1, and since there are differences from FIG. 5 in some processes, overlapping contents as the same part are omitted as much as possible, Let's focus on the parts that differ.

콘텐츠 서비스 장치에서 사용자가 자신이 학습하고자 하는 특정 음악에 대한 안무 영상 콘텐츠를 선택하면(S200), 제어부는 서버(100)의 미디데이터DB(110)로부터 사용자에 의해 선택된 음악에 대한 미디 데이터를 전송받으며 영상데이터DB(120)로부터 선택된 음악에 대한 소스영상의 데이터를 전송받는다(S210).In the content service device, when the user selects choreography video content for a specific music that the user wants to learn (S200), the controller transmits MIDI data for the music selected by the user from the MIDI data DB 110 of the server 100. and receives the data of the source video for the selected music from the video data DB 120 (S210).

이때, 서버의 영상데이터DB(120)에 저장되는 안무 영상에 대한 데이터는, 공연자가 해당 곡에 대한 음악이 제공된 상태에서 안무 동작을 하는 것을 촬영한 영상으로서, 안무 동작에 대한 영상과 그에 따른 음악이 모두 포함된 상태의 데이터인 소스영상의 데이터이다(S30).At this time, the choreography video data stored in the video data DB 120 of the server is an image of a performer performing a choreography motion while music for the song is provided, and the video of the choreography motion and the accompanying music This is the data of the source image, which is data in a state where all of them are included (S30).

여기서, 소스영상의 촬영시에 안무 동작과 함께 제공되는 음악은 미디 데이터에 의한 미디 음악을 그대로 이용하는 것이 시간 동기화의 수월함을 위해 바람직하다.Here, it is preferable to use MIDI music based on MIDI data as it is for the music provided along with the choreography when capturing the source video for easy time synchronization.

상기한 바와 같이 선택된 콘텐츠에 대한 소스영상과 미디 데이터의 추출이 이루어진 후, 제어부는 미디 데이터의 틱(tick) 기반의 정보를 시간 기반의 정보로 변환하고(S220), 또한 소스영상의 프레임 기반 정보를 시간 기반의 정보로 변환한다(S230).After the source video and MIDI data for the selected content are extracted as described above, the control unit converts tick-based information of the MIDI data into time-based information (S220), and frame-based information of the source video is converted into time-based information (S230).

상기 미디 데이터는 사용자가 선택한 콘텐츠의 곡에 대한 미디 데이터로서, 앞서 설명한 바와 같이 틱(tick) 기반으로 다수의 채널에서 각각 필요한 악기의 음에 대해 정의해 놓은 데이터이며, 콘텐츠 서비스 장치의 소프트 미디 모듈의 소프트 미디 엔진이 각종 사운드 폰트를 이용하여 미디 음악을 만드는 기초가 되는 것이다.The MIDI data is MIDI data for the song of the content selected by the user, and as described above, it is data defined for the sound of each instrument required in a plurality of channels on a tick basis, and the soft MIDI module of the content service device The soft MIDI engine of is the basis for creating MIDI music using various sound fonts.

상기 미디 데이터의 설정된 비트 당 틱 수(ticks per beat)와 bpm(beat per minute)과 같은 템포 정보를 이용하여 단위 틱(tick) 당 시간값(예컨대, 1 tick 당 시간값이나, 20 tick 당 시간값 등)으로 환산하여 시간 단위의 미디 데이터로 변환하여 상기 S220 단계를 실행할 수 있다.Time value per unit tick (e.g., time value per 1 tick or time per 20 ticks) using tempo information such as the set number of ticks per beat and beat per minute (bpm) of the MIDI data value, etc.) and converted into time-unit MIDI data to execute the step S220.

한편, 상기 S230 단계에서 소스영상을 시간 기반의 정보로 변환한 후, 소스영상의 삽입음악의 시작시점을 특정할 수 있고(S232), 소스영상의 소리를 모두 제거한 안무 영상을 생성할 수 있다(S234). 여기서 상기 '삽입음악의 시작시점'은 안무 영상 상의 안무 동작의 시작시점이 된다.On the other hand, after converting the source video into time-based information in step S230, the starting point of the insertion music of the source video can be specified (S232), and a choreography video with all sound removed from the source video can be generated (S232). S234). Here, the 'starting point of the inserted music' becomes the starting point of the choreography motion on the choreography video.

제어부는 상기 S232 단계에서 특정한 시작시점(즉, 안무 동작의 시작시점)과 미디 데이터의 시작시점을 기준으로 동일 시간에 대한 안무 영상 데이터와 미디 데이터를 매칭시킴으로써 시간에 대해 동기화할 수 있다(S240).In step S232, the control unit can synchronize the choreography video data and MIDI data at the same time based on the specific start point (ie, the start point of the choreography motion) and the start point of the MIDI data, thereby synchronizing the time (S240). .

상기 안무 동작의 시작시점과 미디 데이터의 시작시점을 기준으로 동기화함으로써 안무 영상 상의 안무 동작과 미디 데이터에 따른 미디 음악을 일치시킬 수 있다.By synchronizing the start time of the choreography motion and the start time of the MIDI data as a standard, the choreography motion on the choreography image and the MIDI music according to the MIDI data can be matched.

한편, 제어부는 상기한 바와 같이 얻어진 동기화 정보에 기초하여 영상재생 모듈에 의한 안무 영상의 재생과 소프트 미디 모듈에 의한 미디 데이터의 미디 음악의 재생을 동시에 실행함으로써 미디 음악 기반의 안무 영상 콘텐츠를 제공할 수 있다(S250).On the other hand, the control unit provides MIDI music-based choreography video content by simultaneously executing playback of choreography video by the video playback module and playback of MIDI music of MIDI data by the soft MIDI module based on the synchronization information obtained as described above. It can (S250).

또한, 도 2에서 예시한 바와 같은 조작 인터페이스(212) 등을 통한 사용자의 조작에 따라 제어부는 상기한 동기화 정보에 기초하여 미디 음악과 안무 영상에 대해 동시에 구간 반복, 템포 조절, 구간 점프 등을 하여 콘텐츠를 제어하도록 함으로써 사용자가 음악과 안무 동작을 학습하기 용이하도록 할 수 있다(S260).In addition, according to the user's manipulation through the manipulation interface 212 as illustrated in FIG. 2, the control unit simultaneously performs section repetition, tempo adjustment, section jump, etc. for the MIDI music and the choreography video based on the synchronization information. By controlling the content, it is possible for the user to easily learn music and choreography (S260).

여기서, 도 7을 참조하여 상기한 S210 내지 S240 단계에 관하여 좀 더 구체적으로 설명한다.Here, with reference to FIG. 7, the above steps S210 to S240 will be described in more detail.

도 7은 도 6에 도시된 플로우차트 상에서의 시간 기반의 안무 영상과 미디 데이터를 매칭하여 동기화하는 것을 설명하기 위한 모식도이다.FIG. 7 is a schematic diagram for explaining synchronization by matching time-based choreography video and MIDI data in the flowchart shown in FIG. 6 .

도 7의 (a)는 공연자의 안무에 대해 촬영된 영상으로서 안무의 기초가 되는 음악을 포함하는 영상 데이터인 소스영상을 나타낸 것인데, 여기서 소스영상에 이용된 삽입음악은 동기화시킬 미디 데이터에 따른 미디 음악을 이용하는 것이 바람직하다.7 (a) shows a source image, which is image data including music that is the basis of the choreography, as a video recorded for the choreography of a performer. It is preferable to use music.

이와 같이 소스영상의 삽입음악을 이후에 동기화시킬 미디 데이터의 미디 음악을 이용함으로써, 차후 미디 데이터를 안무 영상에 동기화시킬 때 소스영상 상의 삽입음악의 길이가 미디 데이터의 길이와 일치하기 때문에 안무 영상 시작점과 미디 데이터의 시작점을 서로 매칭함에 따라 자연스럽게 전체적으로 매칭이 이루어질 수 있다.In this way, by using the MIDI music of the MIDI data to synchronize the insert music of the source video later, when the MIDI data is synchronized with the choreography video later, the length of the insert music on the source video coincides with the length of the MIDI data, which is the starting point of the choreography video. By matching the starting points of the and MIDI data with each other, matching as a whole can be naturally achieved.

도 7의 (a)에서 소스영상은 s1, s2, ... sn, sn+1, ... 등의 순서로 프레임이 진행된다고 할 때, s1 프레임에서 소스영상이 시작된 후, sn 프레임에서 삽입음악이 시작되면서 동시에 안무 동작이 시작된다(공연자는 음악이 시작됨과 동시에 안무 동작을 취한다).In (a) of FIG. 7, when the source image proceeds in the order of s1, s2, ... sn, sn + 1, ..., etc., after the source image starts in the s1 frame, it is inserted in the sn frame The choreography starts at the same time as the music starts (performers perform the choreography as soon as the music starts).

삽입음악이 sm 프레임에서 종료되고 소스영상이 sf 프레임에서 종료되었다고 할 때, 상기 sm 프레임과 sf 프레임은 도면에 나타낸 바와 같이 약간의 차이가 있을 수도 있고 비슷하게 종료될 수도 있다.When it is assumed that the inserted music ends at the sm frame and the source video ends at the sf frame, the sm frame and the sf frame may have a slight difference or may end similarly as shown in the figure.

제어부는 위와 같은 소스영상의 프레임 기반의 정보를 도 7의 (b)와 같이 시간 기반의 정보로 변환하며, t1, t2 ...ta ... 등의 시간 순서로 진행하는 소스영상를 얻을 수 있다.The control unit converts the frame-based information of the source image as above into time-based information as shown in (b) of FIG. .

도 7의 (b)와 같은 시간 기반의 소스영상에서 삽입음악이 시작하는 시점(즉, 안무 동작이 시작하는 시점)인 ta 시점을 시작시점으로서 특정할 수 있고, 상기 소스영상에서 삽입된 소리를 모두 제거함으로써 도 7의 (c)와 같은 시간 기반의 안무 영상을 얻을 수 있다.In the time-based source image as shown in (b) of FIG. 7, the point in time ta, which is the point in time at which inserted music starts (ie, the point in time when choreography starts), can be specified as the starting point, and the sound inserted in the source image can be specified. By removing all of them, a time-based choreography image as shown in (c) of FIG. 7 can be obtained.

위 안무 영상의 데이터는 시작시점이 ta 시점이라는 정보도 함께 포함하도록 하는 것이 바람직하다.It is preferable that the data of the above choreography video include information that the start point is the point ta.

한편, 제어부는 도 7의 (d)에 도시된 바와 같이 틱(tick) 기반의 미디 데이터를 시간 기반의 미디 데이터로 변환하여 도 7의 (e)와 같이 tm1, tm2...tmf 의 시간 순서로 진행하는 미디 데이터를 얻을 수 있다.Meanwhile, the controller converts tick-based MIDI data into time-based MIDI data as shown in (d) of FIG. You can get MIDI data going with .

이때 제어부는 (c)에 도시된 바와 같은 안무 영상 데이터의 시간과 동일한 시간 단위로 미디 데이터를 얻을 수 있도록 안무 영상 데이터의 단위 시간에 해당하는 틱(tick)의 수를 조정하여 시간 정보로 변환할 수 있다.At this time, the control unit adjusts the number of ticks corresponding to the unit time of the choreography video data to obtain MIDI data in the same time unit as the time of the choreography video data as shown in (c) and converts it into time information. can

제어부는 도 7의 (c)와 같이 시간 기반의 안무 영상 데이터의 시작시점(ta)과, (e)와 같이 시간 변환된 미디 데이터의 시작시점(tm1)을 기준으로 매칭시키면서 단위 시간마다 동일한 시간에 대한 데이터를 서로 매칭시킴으로써 안무 영상상의 안무 동작과 미디 데이터를 시간 동기화 할 수 있다.The control unit matches the start point (ta) of the time-based choreography video data as shown in (c) of FIG. 7 and the start point (tm1) of the time-converted MIDI data as shown in (e), and the same time per unit time. The choreography motion on the choreography video and the MIDI data can be time-synchronized by matching the data for .

도 7에서 설명한 안무 영상과 미디 데이터의 시간 동기화는 각각의 데이터의 시작점을 서로 매칭하는 것이 아니라, 안무 영상 상에 특정된 시작시점과 미디 데이터의 처음 시작시의 시점을 매칭시키는 방식으로 동기화를 하는 것이므로, 영상이 시작되자마자 미디 음악이 시작하는 것이 아니라, 영상이 시작된 후 안무 동작이 시작하면 비로소 그 안무 동작의 시작과 맞추어서 미디 음악이 시작하게 된다.The time synchronization between the choreography video and MIDI data described in FIG. 7 does not match the starting points of each data, but synchronizes the starting point specified on the choreography video with the first starting point of the MIDI data. Therefore, MIDI music does not start as soon as the video starts, but when the choreography starts after the video starts, the MIDI music starts in time with the start of the choreography.

이상 설명한 바와 같이, 본 발명에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법은 미디 음악과 해당 음악에 대한 안무 동작에 관한 영상을 접목하여 높음 음악 품질의 미디 음악을 안무에 관한 영상 상의 안무 동작과 동기화하도록 함으로써 미디 음질을 기반으로 안무 동작을 연습할 수 있도록 하는 안무 영상 콘텐츠를 제공할 수 있는 특장점이 있다.As described above, the choreography video contents service apparatus and method based on MIDI music according to the present invention combine MIDI music with video of choreography motions for the corresponding music to provide MIDI music of high music quality with choreography motions on the choreography video. There is a feature of being able to provide choreography video content that allows choreography movements to be practiced based on MIDI sound quality by synchronizing with .

100: 서버, 110: 미디데이터DB
120: 영상데이터DB, 130: 콘텐츠 관리처리부
200: 콘텐츠 서비스 장치, 201: 디스플레이
202: 스피커, 210: 영상재생 모듈
220: 소프트 미디 모듈, 230: 제어부100: server, 110: MIDI data DB
120: image data DB, 130: content management processing unit
200: content service device; 201: display
202: speaker, 210: video playback module
220: soft MIDI module, 230: control unit

Claims (9)

영상을 재생하는 영상 재생 모듈과, 미디 데이터를 이용한 미디 음악을 제공하는 소프트 미디 모듈과, 미디 음악 기반의 안무 영상 콘텐츠가 제공되도록 데이터의 연산 및 제어를 하는 제어부를 포함하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치의 상기 제어부에 의한 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법으로서,
특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하는 단계;
상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계;
상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화하는 단계; 및
상기 미디 데이터에 따른 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계를 포함하고,
상기 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계는,
상기 미디 데이터에 대한 미디 음악을 기초로 안무 동작을 영상 촬영함으로써 상기 촬영된 안무 동작에 대한 영상과 상기 안무의 기초가 된 삽입음악을 포함하는 소스영상을 이용하여 상기 소스영상 상에서 삽입음악이 시작하는 프레임을 기준으로 그 이전의 영상 데이터를 제거하는 단계와, 상기 소스영상 상의 소리를 제거하는 단계와, 상기 영상 데이터의 제거 및 소리의 제거에 의해 획득된 안무 영상을 시간 기반 정보로 변환하는 단계를 포함하며,
상기 시간에 대해 동기화하는 단계는,
상기 안무 영상의 시작시점과 상기 미디 데이터의 시작시점을 기준으로 하여 동일 시간에 대해 상기 안무 영상의 데이터와 상기 미디 데이터를 매칭시킴으로써 동기화를 하는 단계를 포함하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법.MIDI music-based choreography video including a video playback module that reproduces video, a soft MIDI module that provides MIDI music using MIDI data, and a control unit that calculates and controls data to provide MIDI music-based choreography video content. A choreography video content service method based on MIDI music by the control unit of a content service device,
converting tick-based information of MIDI data for a specific song into time-based information;
converting frame-based information of the choreography video for the song into time-based information;
synchronizing the MIDI data of the song with the choreography motion on the choreography video with respect to time; and
Providing MIDI music according to the MIDI data and a choreography video time-synchronized with the MIDI music;
The step of converting the frame-based information of the choreography video into time-based information,
Insertion music starts on the source image by using a source image including an image of the choreography motion captured by recording a choreography motion based on the MIDI music for the MIDI data and an insert music that is the basis of the choreography. The step of removing previous image data on a frame-by-frame basis, removing the sound on the source image, and converting the choreography image obtained by removing the image data and the sound to time-based information. contains,
The step of synchronizing with respect to the time,
and performing synchronization by matching the choreography video data and the MIDI data at the same time based on the start time of the choreography video and the start time of the MIDI data. 삭제delete 삭제delete 삭제delete 영상을 재생하는 영상 재생 모듈과, 미디 데이터를 이용한 미디 음악을 제공하는 소프트 미디 모듈과, 미디 음악 기반의 안무 영상 콘텐츠가 제공되도록 데이터의 연산 및 제어를 하는 제어부를 포함하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치의 상기 제어부에 의한 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법으로서,
특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하는 단계;
상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계;
상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화하는 단계; 및
상기 미디 데이터에 따른 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계를 포함하고,
상기 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하는 단계는,
상기 미디 데이터에 대한 미디 음악을 기초로 안무 동작을 영상 촬영함으로써 상기 촬영된 안무 동작에 대한 영상과 상기 안무의 기초가 된 음악을 포함하는 소스영상을 생성하고 상기 생성된 소스영상을 시간 기반 정보로 변환하는 단계와, 상기 변환된 소스영상에서 음악이 시작하는 시작시점을 특정하는 단계와, 상기 소스영상 상의 소리를 제거하는 단계를 포함하며,
상기 시간에 대해 동기화하는 단계는,
상기 안무 영상에서 특정된 시작시점과 상기 미디 데이터의 시작시점을 각각 기준으로 하여 동일 시간에 대한 상기 안무 영상의 데이터와 상기 미디 데이터를 매칭시킴으로써 동기화를 하는 단계를 포함하는 것을 특징으로 하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법.MIDI music-based choreography video including a video playback module that reproduces video, a soft MIDI module that provides MIDI music using MIDI data, and a control unit that calculates and controls data to provide MIDI music-based choreography video content. A choreography video content service method based on MIDI music by the control unit of a content service device,
converting tick-based information of MIDI data for a specific song into time-based information;
converting frame-based information of the choreography video for the song into time-based information;
synchronizing the MIDI data of the song with the choreography motion on the choreography video with respect to time; and
Providing MIDI music according to the MIDI data and choreography images time-synchronized with the MIDI music;
The step of converting the frame-based information of the choreography video into time-based information,
By capturing a video of a choreography motion based on the MIDI music of the MIDI data, a source video including a video of the choreography motion and the music that is the basis of the choreography is generated, and the generated source video is converted into time-based information. The step of converting, specifying the starting point at which music starts in the converted source image, and removing sound from the source image,
The step of synchronizing with respect to the time,
and performing synchronization by matching the choreography video data and the MIDI data for the same time based on the start time specified in the choreography video and the start time of the MIDI data, respectively. Choreography video content service method. 제5항에 있어서, 상기 미디 음악과 이에 시간 동기화된 안무 영상을 제공하는 단계는,
상기 동기화하는 단계에서 상기 안무 영상과 상기 미디 데이터의 매칭된 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생이 동시에 이루어지는 단계를 포함하며,
사용자의 조작에 따른 구간 반복, 템포 조절, 구간 점프, 임의 재생 시점의 지정 중 어느 하나에 대해 상기 동기화에 따른 매칭된 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생을 제어함으로써 상기 사용자의 조작에 따른 콘텐츠를 제공하는 단계를 더 포함하는 것을 특징으로 하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법.The method of claim 5, wherein the providing of the choreography video time-synchronized with the MIDI music comprises:
In the synchronizing step, the choreography video and MIDI music are simultaneously reproduced based on matching information between the choreography video and the MIDI data,
Reproduction of the choreography video and MIDI music based on the MIDI data based on matched information according to the synchronization for any one of section repetition, tempo control, section jump, and designation of a random playback time according to the user's operation The choreography video content service method based on MIDI music, further comprising providing content according to the user's manipulation by controlling. 제1항 또는 제5항에 따른 미디 음악 기반의 안무 영상 콘텐츠 서비스 방법을 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체.A recording medium readable by a computing device recording the choreography video contents service method based on MIDI music according to claim 1 or 5. 영상을 재생하는 영상 재생 모듈;
소프트웨적인 신디사이저을 구현하는 소프트 미디 엔진과 사운드 폰트를 기반으로 미디 데이터에 대해 미디 음악을 제공하는 소프트 미디 모듈; 및
특정 곡에 대한 미디 데이터의 틱(tick) 기반 정보를 시간 기반 정보로 변환하고 상기 곡에 대한 안무 영상의 프레임 기반 정보를 시간 기반 정보로 변환하여 상기 곡의 미디 데이터와 상기 안무 영상 상의 안무 동작을 시간에 대해 동기화한 영상-미디 동기화 정보를 이용하여, 상기 영상 재생 모듈을 통해 재생되는 상기 안무 영상 상의 안무 동작과 상기 소프트 미디 모듈을 통해 제공되는 미디 음악을 동기화시켜 제공하도록 하는 제어부를 포함하며,
상기 제어부는,
상기 미디 데이터에 대한 미디 음악을 기초로 안무 동작을 영상 촬영함으로써 상기 촬영된 안무 동작에 대한 영상과 상기 안무의 기초가 된 삽입음악을 포함하는 소스영상을 이용하여 상기 소스영상 상에서 삽입음악이 시작하는 프레임을 기준으로 그 이전의 영상 데이터를 제거하고, 상기 소스영상 상의 소리를 제거하며, 상기 영상 데이터의 제거 및 소리의 제거에 의해 획득된 안무 영상을 시간 기반 정보로 변환하며,
상기 안무 영상의 시작시점과 상기 미디 데이터의 시작시점을 기준으로 하여 동일 시간에 대해 상기 안무 영상의 데이터와 상기 미디 데이터를 매칭시킴으로써 동기화를 하는 것을 특징으로 하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치.An image playback module for playing an image;
a soft MIDI engine that implements a software synthesizer and a soft MIDI module that provides MIDI music for MIDI data based on a sound font; and
Converting tick-based information of MIDI data for a specific song into time-based information and converting frame-based information of a choreography video for the song into time-based information to obtain MIDI data of the song and choreography motions on the choreography video a control unit that synchronizes choreography motions on the choreography video reproduced through the video playback module with MIDI music provided through the soft MIDI module using video-MIDI synchronization information synchronized with respect to time;
The control unit,
Insertion music starts on the source image by using a source image including an image of the choreography motion captured by recording a choreography motion based on the MIDI music for the MIDI data and an insert music that is the basis of the choreography. Removes previous image data based on a frame, removes sound on the source image, and converts the choreography image obtained by removing the image data and the sound to time-based information,
The choreography video content service device based on MIDI music, characterized in that synchronization is performed by matching the choreography video data and the MIDI data at the same time based on the starting point of the choreography video and the starting point of the MIDI data. 제8항에 있어서,
상기 안무 영상 상의 안무 동작과 상기 미디 데이터의 동기화 정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생이 이루어지는 과정에서 구간 반복, 템포 조절, 구간 점프, 임의 재생 시점의 지정 중 어느 하나를 사용자가 조작할 수 있도록 하는 조작 인터페이스를 더 포함하며,
상기 조작 인터페이스를 통한 사용자의 조작에 대해 상기 영상-미디 동기화정보에 기초하여 상기 안무 영상의 재생 및 상기 미디 데이터에 의한 미디 음악의 재생을 제어함으로써 상기 사용자의 조작에 따른 콘텐츠를 제공하도록 한 것을 특징으로 하는 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치.According to claim 8,
During the process of reproducing the choreography video based on the choreography motion on the choreography video and the synchronization information of the MIDI data and playing the MIDI music according to the MIDI data, section repetition, tempo control, section jump, and designation of a random playback time point are performed. Further comprising a manipulation interface that allows a user to manipulate any one,
In response to the user's manipulation through the manipulation interface, the reproduction of the choreography video and the MIDI music based on the MIDI data are controlled based on the video-MIDI synchronization information to provide content according to the user's manipulation. A choreography video content service device based on MIDI music.
KR1020200108440A 2020-08-27 2020-08-27 Device for serving dance image based on midi sound and method for the same, and recording medium readable by computing device KR102524870B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200108440A KR102524870B1 (en) 2020-08-27 2020-08-27 Device for serving dance image based on midi sound and method for the same, and recording medium readable by computing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200108440A KR102524870B1 (en) 2020-08-27 2020-08-27 Device for serving dance image based on midi sound and method for the same, and recording medium readable by computing device

Publications (2)

Publication Number Publication Date
KR20220027502A KR20220027502A (en) 2022-03-08
KR102524870B1 true KR102524870B1 (en) 2023-04-26

Family

ID=80813436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200108440A KR102524870B1 (en) 2020-08-27 2020-08-27 Device for serving dance image based on midi sound and method for the same, and recording medium readable by computing device

Country Status (1)

Country Link
KR (1) KR102524870B1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100348901B1 (en) * 1999-06-28 2002-08-14 한국전자통신연구원 Segmentation of acoustic scences in audio/video materials
KR20010073645A (en) * 2000-01-19 2001-08-01 김승영 Computer karaoke apparatus
KR101230746B1 (en) * 2005-10-13 2013-02-07 삼성전자주식회사 Method for generating synchronized image data for synchronous outputting music data and for play synchronous output
KR101048302B1 (en) * 2008-11-14 2011-07-13 주식회사 코아로직 Time synchronizing apparatus and method in embedded multi-media system, and multimedia player comprising the same apparatus
KR101078367B1 (en) * 2009-09-09 2011-10-31 주식회사 금영 Synchronous apparatus of image data and sound data for karaoke player and method for the same
KR101244289B1 (en) * 2011-08-02 2013-03-18 주식회사 금영 Method of synchronizing mp3 music data with lyrics data for midi

Also Published As

Publication number Publication date
KR20220027502A (en) 2022-03-08

Similar Documents

Publication Publication Date Title
WO2016121921A1 (en) Data structure for computer graphics, information processing device, information processing method, and information processing system
US7622664B2 (en) Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program
US9601029B2 (en) Method of presenting a piece of music to a user of an electronic device
US5956459A (en) Karaoke apparatus having video mixer of main and insert pictures
JP2004233698A (en) Device, server and method to support music, and program
KR101414217B1 (en) Real time image synthesis apparatus and image synthesis method
JP3895014B2 (en) Video playback device and karaoke device
KR20070098362A (en) Apparatus and method for synthesizing a background music to a moving image
KR102524870B1 (en) Device for serving dance image based on midi sound and method for the same, and recording medium readable by computing device
WO2020145209A1 (en) Video control system and video control method
JPH10187168A (en) Karaoke device
JP2002008052A (en) Presentation system and recording medium
JP6110731B2 (en) Command input recognition system by gesture
KR20150018194A (en) Evaluation Methods and System for mimicking song
Collins et al. klipp av: Live algorithmic splicing and audiovisual event capture
JP2018155936A (en) Sound data edition method
JP5338312B2 (en) Automatic performance synchronization device, automatic performance keyboard instrument and program
JP2008233557A (en) Electronic musical instrument and program
JP2003271158A (en) Karaoke device having image changing function and program
JP2008145976A (en) Content reproducing device
KR102524871B1 (en) Method for real-time serving music broadcasting based on midi using personal mobile terminal and mobile terminal for real-time transmitting music broadcasting based on midi
JP2000148107A (en) Image processing device and recording medium
JP6048136B2 (en) Information processing apparatus, information processing method, and program
JP3867579B2 (en) Multimedia system and playback apparatus
JP2002077824A (en) Educational display and educational displaying method and recording medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right