KR20050018929A - The method and apparatus for creation and playback of sound source - Google Patents

The method and apparatus for creation and playback of sound source

Info

Publication number
KR20050018929A
KR20050018929A KR1020050009211A KR20050009211A KR20050018929A KR 20050018929 A KR20050018929 A KR 20050018929A KR 1020050009211 A KR1020050009211 A KR 1020050009211A KR 20050009211 A KR20050009211 A KR 20050009211A KR 20050018929 A KR20050018929 A KR 20050018929A
Authority
KR
South Korea
Prior art keywords
music
sound source
lyrics
channel
video
Prior art date
Application number
KR1020050009211A
Other languages
Korean (ko)
Other versions
KR100639154B1 (en
Inventor
우종식
Original Assignee
우종식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 우종식 filed Critical 우종식
Priority to KR1020050009211A priority Critical patent/KR100639154B1/en
Publication of KR20050018929A publication Critical patent/KR20050018929A/en
Application granted granted Critical
Publication of KR100639154B1 publication Critical patent/KR100639154B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

PURPOSE: A method and a device for generating/reproducing a sound source to make music, MR(Melody Recite), caption, chorus, and music video with one digital audio file are provided to generate the MR, the music including a voice of a signer, lyric synchronization information, lyric information, image information, image synchronization information, and voice information into one digital audio format. CONSTITUTION: A sound source generator comprises a sound source analyzer/channel divider analyzing/dividing the input sound source into each channel, a sound channel mixer mixing the channels of the input sound source, a synchronization information assigner assigning start synchronization information of caption or an image, and a lyric voice inserting recites the lyrics in advance. A sound source player comprises a channel generator generating the channels in stereo, a channel controller controlling the generated sound source, a synchronization information separator separating the synchronization of the caption/image, and a multimedia player synchronizing/playing the image and audio.

Description

하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법과 그 장치{The method and apparatus for creation and playback of sound source} The method and apparatus for creation and playback of sound source capable of general music, accompaniment music, lyrics pre-loading, chorus function, music video production in one file

본 발명은 음원 제작 과정에서 반주 음악과 가수의 목소리가 더빙된 음원, 가사, 영상, 코러스 기능, 가사 미리 불러주기 기능을 구현할 수 있는 음원 생성방법과 장치 및 제작된 음원을 자막캡션, 영상 동기, 가사 미리 불러 주기, 반주음악, 목소리가 더빙된 음악을 하나의 음원 파일로 재생하기 위한 재생 방법과 장치에 관한 것으로, 더욱 상세하게는 본 발명에 의해 생성된 음원은 단순한 WAV, MP3, WMA와 같은 디지털 오디오 비트스트림을 가진 하나의 파일이며, 자막이나 영상에 대한 동기 정보가 삽입되며, 재생 제어 방법에 따라 가수의 음성이 포함된 일반적인 음악, 반주 음악, 가사 불러주기 기능, 일반음악과 반주음악의 자연스런 교환이 이루어질 뿐만 아니라, 파일 내부에 포함된 동기 정보를 이용하여 노래반주기와 같은 자막과 영상의 처리가 가능하다.The present invention provides a method and apparatus for generating a sound source capable of implementing accompaniment music and a singer's voice dubbed in a sound source production process, lyrics, video, chorus function, and pre-loading of lyrics, and caption caption, image synchronization, The present invention relates to a reproducing method and apparatus for reproducing lyrics, accompaniment music, and voice-dubbed music as a single sound source file. More specifically, a sound source generated by the present invention is a simple WAV, MP3, WMA, It is a file with a digital audio bitstream. It inserts synchronization information about subtitles and video, and includes general music, accompaniment music, lyrics loading function, general music and accompaniment music including the singer's voice depending on the playback control method. In addition to natural exchanges, subtitles and images such as song cycles can be processed using the synchronization information contained in the file. It is.

일반적으로 음반을 제작하기 위해서는 스튜디오에서 별도로 제작된 반주 음악(MR)에 가수 음성을 혼합하여 가수 음성이 포함된 음반을 만들고 있다. 음반에 기록된 음원은 대개 가수 목소리가 포함된 음악이며, 요즘은 MR이라는 음악에 음반에 넣어 판매하고 있다. 그러나 동일한 곡명의 MR 트랙과 가수 음성이 포함된 음원은 두개의 별도의 트랙으로 존재하므로 저장 매체에 차지하는 용량이 크다. In general, in order to produce a record, a singer voice is mixed with an accompaniment music (MR) produced separately in a studio to produce a record containing a singer voice. Records recorded on records are usually music containing singer voices, and nowadays they are sold in records called MR. However, since the sound source containing the MR track and the singer voice of the same song name exist as two separate tracks, the capacity of the storage medium is large.

뿐만 아니라, 종래의 기술에서는 단순히 MR 음악을 시디에 포함시켜서 악기 음만을 청취할 수 있도록 제공하지만, 다른 부가 기능을 제공하지 못하고 있다. 악기 음만으로 구성되는 MR 음악의 경우 노래반주기의 MIDI 음악이나 MP3로 합성된 음악보다는 월등한 품질을 유지하고 있지만, 노래반주기처럼 음악의 진행에 따라 가사를 컬러링할 수 있는 기능은 포함되어 있지 않다. 그리고 뮤직 비디오와 같이 영상과 음악이 포함된 파일을 만들 때, 뮤직 비디오의 영상과 가수가 부른 음악을 삽입하여 일방적인 시청을 하도록 뮤직 비디오를 제작하고 있어서 일반적인 노래 반주기처럼 영상이 포함된 음악으로 바로 사용할 수가 없다. 일반적으로 뮤직비디오를 노래반주기에서 이용하기 위해서는 뮤직 비디오 재생시, 음악 부분을 MUTE하고 별도로 노래반주기 회사에서 만든 MIDI 음악에 동기 재생시키고 있다.In addition, the related art simply includes MR music on the CD to listen to only musical instrument sounds, but does not provide other additional functions. MR music, which consists only of musical notes, maintains better quality than MIDI music in the song cycle or music synthesized in MP3, but does not include the ability to color lyrics as the music progresses. And when creating a file containing images and music, such as a music video, the music video is made to unilaterally watch by inserting the music video's video and the singer's song. Can't use it. In general, in order to use a music video in a karaoke cycle, when the music video is played, the music part is muted and the music video is played in synchronization with MIDI music produced by a karaoke cycle company.

종래의 기술에서 노래반주기 형태의 반주음악에서는 자막이 없을 경우에는 반주음악 만으로 가사를 쉽게 알 수 없으므로 노래가 시작되기 전에 가사 불러주기 기능이 첨가하여 가사의 숙지도를 높인다. 예를 들어 노래 교습소 같은 곳에서는 강사가 직접 악기를 연주하면서 노래를 부르고, 소절을 시작하기 전에 노래 가사를 미리 불러주는 작업이 주로 이루어지고 있지만, 시디에 포함된 음원을 이용해서 노래 교습소 같은 효과를 내지는 못하고 있다. MR 음원에 노래 가사를 불러 주기 기능을 첨가하여 음원을 만들 수는 있지만, 반주 음악의 노래 가사를 불러주는 구간이 가수 음성 부분에 오버랩 되지 않도록 작업을 수행하는 것은 쉽지 않으며 많은 비용과 시간이 소모된다. 또한 반주음악만이 필요할 경우 가사 불러 주기 기능이 없는 음원을 별도로 저장해야 하는 불편함이 있다. In the conventional art, in the accompaniment music of the song accompaniment type, when there is no subtitle, the accompaniment music alone cannot easily know the lyrics, so that the lyrics call function is added before the song starts to enhance the familiarity of the lyrics. For example, in song workshops, the instructor sings songs while playing the instrument, and pre-songs are pre-sung before the measure begins. I can't. It is possible to create a sound source by adding the song lyrics function to the MR sound source, but it is not easy to perform the task so that the section for accommodating the song lyrics of the accompaniment music does not overlap the singer voice part, and it is expensive and time-consuming. . In addition, if only accompaniment music is required, there is an inconvenience in that a separate music source without the lyrics recall function must be stored.

그리고 코러스 기능이 있는 노래반주기에서는 반주음악과 코러스 음악을 별도로 저장하고 코러스 음악과 반주음악을 동시에 재생시키면서 동기시킨다. 코러스 기능을 삽입하기 위해서는 반주 음악과는 별도로 합창단을 이용하여 코러스 부분을 만들지만, 많은 비용, 시간, 장비, 인원 등이 소모되며, 하나의 음악 파일에서 코러스 부분을 생성하기는 쉽지 않다.And in the chorus function with chorus function, accompaniment music and chorus music are stored separately and synchronized while playing chorus music and accompaniment music at the same time. In order to insert the chorus function, chorus is used to create a chorus part separately from the accompaniment music, but it costs a lot of cost, time, equipment, and personnel, and it is not easy to create a chorus part from a single music file.

그리고 가수 음성이 포함된 음악을 들으면서 따라 부를 때, 간단한 제어 버튼을 입력하여 음성 음악이 없고 반주 음악만 재생되는 장치는 개발되어 있지 않고, 가수 음성이 포함된 음악에서 음성 부분을 삭제하는 기술도 원음과는 음질에서 상당한 차이를 가진다. 또한 반주음악과 가수 음성이 포함된 음악을 동시에 재생하면서 스피커와 같은 출력 장치에서 음악을 선택하더라도 두개의 음악을 완전히 동기 시켜 재생하기는 어렵고, 음악의 선택 전환시에 음질의 손상이 발생한다. In addition, no device has been developed in which the accompaniment music is played without the voice music by simply inputting a simple control button when singing along with the music containing the singer's voice. Have a significant difference in sound quality. In addition, even when music is selected from an output device such as a speaker while simultaneously accompaniment music and music containing a singer's voice, it is difficult to completely synchronize the two music, and the sound quality is damaged when the music is switched.

그리고 사용자가 구매한 음원에 대한 가사는 별도의 종이 형태로 인쇄되어 있으며, 디지털 파일로 저장되더라도 노래반주기처럼 원하는 구간에서 필요한 자막 컬러링 되거나 캡션 되지 않으며, 종이로 인쇄되거나 가사 파일로 저장된 경우 많은 곡이 있을 경우 관리 및 보관에 어려움이 있다. 또한 자막 캡션을 위해서는 사용자가 별도의 작업을 거쳐 음원에 동기된 자막 캡션을 만들어야 하는 불편함이 있다.And the lyrics of the sound source purchased by the user are printed in a separate paper form, and even if it is stored as a digital file, the subtitles are not colored or captioned in the desired section like the song cycle, and if the music is printed or saved as a lyrics file If present, there are difficulties in management and storage. In addition, the caption caption is inconvenient for the user to create a caption caption synchronized to the sound source through a separate operation.

상기의 부분을 해결하기 위해서는 하나의 파일이 아니라 같은 곡에 대해서 다중의 파일을 관리해야 하고, 다중 파일을 동시에 재생하기 위해서는 많은 하드웨어 자원이 필요하고, 다중 파일에 대한 동기 재생에 어려움이 있다. 또한 관련된 다른 파일을 만들기 위해 많은 시간, 비용, 인원, 장비 등이 소모된다. 예를 들어 코러스 음악, 반주음악, 가수 음성이 포함된 음악, 가사, 영상 등이 한개의 음악에 대해 동기되어 사용해야 하므로, 동기재생 및 파일 관리에 어려움이 있으며, 저장 용량이 크다는 단점이 있다.In order to solve the above part, multiple files must be managed for the same song instead of one file, many hardware resources are required to reproduce multiple files at the same time, and synchronous reproduction for multiple files is difficult. It also takes a lot of time, money, people and equipment to make other files involved. For example, since chorus music, accompaniment music, music containing singer voice, lyrics, video, etc. must be used in synchronization with one piece of music, synchronous playback and file management are difficult, and storage capacity is large.

본 발명의 목적은 종래의 이와같은 문제점을 해소하고자 한 데 있는 것으로, 가수 음성이 포함된 음악과 반주 음악, 가사 동기 정보와 가사 정보, 영상 동기 정보와 영상정보, 가사 음성 정보를 하나의 디지털 오디오 포맷(PCM, MP3, WMA, OGG 등)로 생성하는 방법 및 장치와, 생성된 음원을 이용하여 가수 음성이 포함된 음원의 청취, 코러스 기능을 가지는 노래반주기, 노래가사 불러주기, 노래 가사 컬러링, 뮤직 비디오를 노래반주기 컨텐츠로 재생할 수 있는 방법과 장치를 제공하는데 있다.An object of the present invention is to solve such a problem in the prior art, the music and accompaniment music containing the singer voice, lyrics sync information and lyrics information, video sync information and video information, lyrics voice information as one digital audio Method and apparatus for generating in a format (PCM, MP3, WMA, OGG, etc.), using the generated sound source to listen to the sound source containing the singer's voice, a chorus cycle with chorus function, song lyrics, song lyrics coloring, The present invention provides a method and apparatus for reproducing a music video in karaoke cycle content.

상기 목적을 달성하기 위하여 음원을 생성한 후 재생하는 제 1 단계~제 8 단계의 생성 및 재생방법과; 음원 분석 및 채널 분리기, 음원 채널 믹서기, 동기 정보 할당기, 가사 음성 삽입기로 형성된 음원 생성장치와, 채널 생성기, 채널 제어기, 동기 정보 분리기, 멀티미디어 재생기로 형성된 재생장치를 제공코자 한다. Generating and reproducing a first to eighth step of generating and reproducing a sound source in order to achieve the above object; A sound source generator formed of a sound source analysis and channel separator, a sound source channel mixer, a sync information allocator, and a lyrics voice inserter, and a playback device formed of a channel generator, a channel controller, a sync information separator, and a multimedia player.

통상의 음원 생성 및 재생 방법에 있어서, 하나의 디지털 오디오 비트스트림 파일 내부에 자막이나 영상에 대한 동기 정보를 삽입한 후, 상기 동기 정보를 이용하여 음원을 생성 및 재생하여 일반 음악, 반주 음악, 코러스 기능, 가사 미리 불러주기 기능을 가능케 함을 특징으로 하는 것이다.In a conventional sound source generation and reproduction method, after inserting synchronization information for a subtitle or video into one digital audio bitstream file, a sound source is generated and played using the synchronization information to generate general music, accompaniment music, and chorus. Function, enabling the preloading of lyrics.

상기에서, 오디오 비트스트림 파일은 음원 분석 및 채널 분리기를 통해 입력된 음원을 분석한 후, 각 음원을 채널 별로 분리하는 제 1 단계; 음원 채널 믹서기를 통해 채널 데이터를 믹서하여 새로운 오디오 비트스트림(RO,LO)을 생성하는 제 2 단계; 동기 정보 할당기를 통해 자막 및 영상의 시작 동기 정보를 할당하는 제 3 단계; 가사 음성 삽입기를 통해 노래가사를 미리 불러 주기 기능을 삽입하는 제 4 단계; 채널 생성기를 통해 모노 채널을 스테레오 채널로 생성하는 제 5 단계; 채널 제어기를 통해 음원을 제어하고, 음악의 청취, 노래 가사 미리 불러 주기 기능을 수행하는 제 6 단계; 동기 정보 분리기를 통해 자막 및 영상의 동기 정보를 분리하는 제 7 단계; 멀티미디어 재생기로 영상과 오디오를 분리한 후, 동기 재생하는 제 8 단계;를 통해 생성 및 재생된다.The audio bitstream file may include a first step of analyzing a sound source input through a sound source analysis and a channel separator, and then separating each sound source for each channel; A second step of mixing channel data through a sound source channel mixer to generate a new audio bitstream (RO, LO); A third step of allocating start synchronization information of the caption and video through the synchronization information allocator; Inserting a pre-singing song lyrics function through the lyrics voice inserter; Generating a mono channel to a stereo channel through a channel generator; A sixth step of controlling a sound source through a channel controller and performing a function of listening to music and pre-song lyrics; A seventh step of separating the synchronization information of the caption and the image through the synchronization information separator; After the video and audio are separated by the multimedia player, the eighth step of synchronous playback is generated and reproduced.

상기에서, 채널을 생성하는 제 5 단계에서는 스테레오 출력에 해당하는 공간감을 높이기 위하여 위상 필터나 3D 입체 음향에서 사용되는 공간 필터를 채용한다.In the above-described fifth step of generating a channel, a phase filter or a spatial filter used in 3D stereo sound is employed to increase the sense of space corresponding to the stereo output.

상기에서, 제 1 단계는 항상 제 2 단계에 선행되는 구조를 가지고, 제 3 단계는 항상 제 4 단계에 선행되는 구조를 가지는 전제 하에, 제 1 단계 내지 제 4 단계의 수행 단계가 가변될 수도 있다.In the above, the performing steps of the first to fourth steps may be varied, provided that the first step always has a structure that precedes the second step, and the third step always has a structure that precedes the fourth step. .

상기에서, 생성방법인 제 1 단계 내지 제 4 단계는 제 1 단계, 제 3 단계, 제 2 단계, 제 4 단계 순으로 진행되거나, 제 1 단계, 제 3 단계, 제 4 단계, 제 2 단계 순으로 진행되거나, 제 3 단계, 제 1 단계, 제 2 단계, 제 4 단계 순으로 진행되거나, 제 3 단계, 제 4 단계, 제 1 단계, 제 2 단계 순으로 진행될 수도 있다.In the above, the first to fourth steps, which are the generating methods, are performed in the order of the first, third, second, and fourth steps, or the first, third, fourth, and second steps. The process may be performed in the order of the third step, the first step, the second step, the fourth step, or the third step, the fourth step, the first step, or the second step.

상기에서, 자막 및 영상의 동기 정보를 할당할 필요가 없을 경우에는 제 3 단계가 생략되고, 노래 가사 미리 불러 주기 기능이 존재하지 않을 경우에는 제 4 단계가 생략될 수도 있다.In the above, the third step may be omitted when it is not necessary to allocate the synchronization information of the subtitle and the video, and the fourth step may be omitted when the song lyrics preload function does not exist.

통상의 음원 생성 및 재생장치에 있어서, 음원을 생성하는 생성장치와 생성된 음원을 재생하는 재생장치로 구성하되, 생성장치는 입력 음원을 분석한 후, 채널별로 분리하는 음원 분석 및 채널 분리기; 입력 음원의 채널을 믹서하는 음원 채널 믹서기; 자막이나 영상의 시작 동기 정보를 할당하는 동기 정보 할당기; 노래가사를 미리 불러 주는 가사 음성 삽입기;로 형성하고, 재생장치는 채널을 스테레오로 생성하는 채널 생성기; 생성된 음원을 제어하는 채널 제어기; 자막 및 영상의 동기 정보를 분리하는 동기 정보 분리기; 영상과 오디오를 동기 재생하는 멀티미디어 재생기;로 형성한다.A conventional sound source generating and reproducing apparatus, comprising: a generating device for generating a sound source and a reproducing device for reproducing the generated sound source, wherein the generating device comprises: a sound source analysis and channel separator for separating input channels after analyzing an input sound source; A sound source channel mixer for mixing the channel of the input source; A synchronization information allocator for allocating start synchronization information of the caption or video; And a lyrics voice inserter for pre-singing the song lyrics. The playback apparatus includes: a channel generator for generating a stereo channel; A channel controller for controlling the generated sound source; A sync information separator for separating the sync information of the caption and video; And a multimedia player for synchronously playing back video and audio.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세하게 설명하면 다음과 같다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention.

먼저 본 발명에서 음원을 생성하는 생성방법 및 그 장치에 대해 살펴보면,First, a generation method and apparatus for generating a sound source in the present invention will be described.

도 1은 본 발명의 대표도로 생성장치 및 재생장치를 도시한 것이고, 그 중 도1의 (a)는 본 발명의 생성장치의 구조도를 표현한 것으로, 생성장치는 음원 분석 및 채널 분리기, 음원 채널 믹서기, 동기 정보 할당기, 가사 음성 삽입기의 다양한 조합으로 구성될 수 있으며, 이때 생성장치의 입력은 가사, 영상, 반주음악(MR), 가수 음성이 포함된 음원, 가사 음성 음원이고, 출력은 동기된 가사 및 영상의 동기 시작 정보가 포함된 디지털 오디오 비트스트림이다. 1 is a representative view showing a generator and a playback device of the present invention, Figure 1 (a) is a representation of the structure of the generator of the present invention, the generator is a sound source analysis and channel separator, sound source channel mixer , Sync information allocator, lyrics voice inserter can be composed of various combinations, wherein the input of the generator is lyrics, video, accompaniment music (MR), the sound source containing the singer voice, lyrics voice sound source, the output is synchronized Digital audio bitstream containing sync start information of the lyrics and video.

그리고 생성장치를 구성하는 요소 장치 중에서, 동기정보할당기(1)와 가사 음성 삽입기(2)는 앞뒤의 선행 구조를 유지하며, 음원 분석 및 채널 분리기(3)와 음원 채널 믹서기(4)도 앞뒤의 선행 구조를 가진다. 생성장치는 상기의 조건을 만족하는 다양한 조합(1-2-3-4, 1-3-4-2, 3-1-2-4, 3-4-1-2 등)으로 구성될 수 있다. And, among the component devices constituting the generating device, the sync information allocator 1 and the lyrics voice inserter 2 maintain the preceding structure, and the sound source analysis and channel separator 3 and the sound source channel mixer 4 are also maintained. It has a preceding structure before and after. The generating device may be composed of various combinations (1-2-3-4, 1-3-4-2, 3-1-2-4, 3-4-1-2, etc.) satisfying the above conditions. .

도2의 (a)는 음원 분석 및 채널 분리기에 입력된 입력된 가수 음성이 포함된 음원과 MR 음원을 표현한다. Figure 2 (a) represents the sound source and the MR sound source containing the input mantissa voice input to the sound source analysis and channel separator.

도2의 (b)는 음원 분석 및 채널 분리기의 출력 비트스트림을 표현한 것으로, 음원 분석 및 채널 분리기는 입력된 MR음악과 가수 음성이 포함된 음원에 대하여, 각 음원을 분석하여 재생 시간과 시작 및 끝 부분이 동일하도록 만든다. 입력된 각 음원의 시작과 끝이 일치하지 않으면, 음원의 시작 또는 끝이 같아지도록 ZERO를 삽입하던지 삭제하여 두 음원의 시작 부분과 끝 부분이 완전히 일치 되도록 하고, 두 음원이 시작과 끝이 일치되면, 두 음원을 R/L 채널로 분리하여 음원 채널 믹서기에 입력한다.FIG. 2 (b) shows the output bitstream of the sound source analysis and channel separator. The sound source analysis and channel separator analyzes each sound source with respect to the input MR music and the singer voice. Make the ends the same. If the input and the end of each input source do not match, insert or delete ZERO so that the start or end of the sound source is the same so that the beginning and end of the two sources are completely matched. Separate the two sound sources into R / L channels and input them to the sound source channel mixer.

도2의 (c)는 음원 채널 믹서기의 출력으로 채널에 할당된 음원의 가중치 및 음원 소스에 대해 표현한다. 음원 채널 믹서기는 입력된 음원의 채널을 MR음악(R1, L1), 가수 음성이 포함된 음악(R2,L2)로 나누어 하나의 비트스트림에 포함될 수 있도록 채널 데이터를 믹서하여 새로운 오디오 비트스트림(RO,LO)을 생성한다. 새로운 비트스트림의 R채널(RO)에 반주 음악을 넣고 싶다면, 새로운 비트스트림의 L채널(LO)에는 가수 음성이 포함된 음악을 삽입된다. RO은 L1 성분이 포함되지 않은 R1을 할당하거나, (R1+L1)/2로 평균을 할당하는 것보다는 다른 가중치를 두어 할당하는 것이 바람직하다. 예를 들어 음원의 채널정보가 완전히 역 위상인 경우 단순히 합산하면, 오디오 신호 자체가 0이 될 가능성이 있기 때문이다. 채널 믹서기에 대한 할당 방식은 수학식1에 표현된 것처럼 x > y > 0이 바람직하다.2 (c) represents the weight and the sound source of the sound source assigned to the channel as the output of the sound source channel mixer. The sound source channel mixer divides the channel of the input sound source into MR music (R1, L1) and singer voice (R2, L2) and mixes the channel data so that it can be included in a single bitstream. , LO). If the accompaniment music is to be put into the R channel RO of the new bitstream, the music including the singer voice is inserted into the L channel LO of the new bitstream. It is preferable to allocate RO with different weights rather than assigning R1 that does not include the L1 component or assigning an average of (R1 + L1) / 2. For example, if the channel information of the sound source is completely out of phase, simply adding the audio signal may cause the audio signal itself to become zero. The allocation scheme for the channel mixer is preferably x > y >

RO = xR1 + yL1RO = xR1 + yL1

L0 = xL2 + yR2L0 = xL2 + yR2

(x + y = 1, (x > y > 0))(x + y = 1, (x> y> 0))

도 2의 (d)는 자막 및 영상 동기정보 할당기의 출력으로 오디오 비트스트림에서 "A,B,C,D"라는 소리가 날 때, 동기된 자막 A,B,C,D가 할당된 것을 표현 것이다. FIG. 2 (d) shows that synchronized subtitles A, B, C, and D are allocated when an audio bitstream sounds "A, B, C, D" as an output of the subtitle and video synchronization information allocator. Would express.

상기 자막 및 영상 동기 정보 할당기는 노래반주기 처럼 자막컬러링과 배경영상을 처리 하기 위한 것으로, 동기된 자막과 배경 영상의 동기 재생 시작을 나타내는 시작 동기 정보를 할당하는데, 자막 캡션과 영상의 시작을 오디오 비트스트림 상에서 표현하기 위하여 바이트 계수기를 이용하여 동기 정보를 할당한다. 음원 분석 및 채널 분리기에서 두음원의 시작과 끝이 일치된 가수 음성이 포함된 음악이나 음원 채널 믹서기에서 합성된 음원을 재생하면서 동기 작업을 수행한다.The caption and video synchronization information allocator is for processing subtitle coloring and background images like song cycles, and assigns start synchronization information indicating the start of synchronous playback of the synchronized subtitles and the background image. Sync information is allocated using a byte counter to represent on the stream. The source analysis and channel separator performs synchronization while playing the music containing the singer's voice whose start and end match the two sound sources or the synthesized sound source in the sound source channel mixer.

바이트 계수기를 이용한 동기 정보의 할당 방법은 다음과 같다.The allocation method of synchronization information using the byte counter is as follows.

도 3은 동기 정보 할당기에서 정지영상, 동영상, 자막 등을 오디오 비트스트림에 할당하는 실시예이다. 먼저 합성된 오디오 비트스트림이 b0,b1,b2,b3,b4,b5,b6..b97의 바이트 열로 구성되어 있다. "TEXT1A"라는 발음이 0번째 바이트인 b0로 부터 시작하여 6번째 바이트인 b6의 시작에서 끝난다. 자막에 대한 동기 정보를 바이트 계수값을 이용하여 각 글자에 대해 (시작 바이트, 끝 바이트)으로 할당하면, 각 글자의 동기 정보는 T:(0,1), E:(1,2), X:(2,3), T:(3,4), 1:(4,5), A:(5,6) 처럼 된다. 즉, 도 3에 영상에 대한 동기 정보를 할당한 것을 나타내었다. 글자에 동기 정보를 할당하는 것과 동일한 방법으로 영상에 대하여 IMAGE1:(0,90), IMAGE2:(90,98)로 동기 정보를 할당한다. 3 is a diagram for allocating still images, moving pictures, subtitles, and the like to an audio bitstream in a synchronization information allocator. The synthesized audio bitstream is composed of a byte sequence of b0, b1, b2, b3, b4, b5, b6..b97. The pronunciation of "TEXT1A" starts at the 0th byte b0 and ends at the 6th byte b6. If the synchronization information for the subtitle is allocated to (start byte, end byte) for each character by using the byte count value, the synchronization information of each character is T: (0,1), E: (1,2), X : (2,3), T: (3,4), 1: (4,5), A: (5,6) That is, FIG. 3 shows that the synchronization information for the image is allocated. In the same manner as the synchronization information is assigned to the letters, the synchronization information is allocated to the image as IMAGE1: (0,90) and IMAGE2: (90,98).

도 2의 (e)는 가사 음성 삽입기의 출력 결과로 가사 미리 불러 주기 삽입 구간에서 삽입되어 가사 음성 신호와 가수 음성이 있는 구간에서 zero를 삽입하여 만든 합성 음성 신호를 표현하고 있다. 도 2의 (d)에서 가사 자막이 동기화된 것을 참조하여 오디오 비트스트림 상에서 자막의 동기 정보가 있다면, 가수 음성이 있는 부분으로 가사 미리 불러 주기를 실행할 수 없는 영역이다. 나머지 빈 공간은 반주만 있고 가수의 음성이 없는 영역으로 미리 불러주기 음성 데이타를 삽입할 수 있는 여유 공간이다. 미리 불러주는 음성 신호는 가사 미리 불러 주기 음성 삽입 구간에서 한소절씩 음성 비트스트림을 만들어 혼합하던지, 자막의 동기 정보와 TTS등의 자동 음성 합성기를 이용하여 합성된 음성신호가 가사 미리 불러 주기 음성 삽입 구간에 들어갈 수 있도록 음성신호의 발화 속도를 조절하거나 속도 가변기를 이용하여 음성신호의 재생 폭을 줄여서 가사 미리 불러 주기 음성 삽입 구간에 음성을 삽입하고, 삽입 구간이 아닌 곳에서는 음성의 비트스트림을 zero로 할당하여 가사 음성신호를 만든다. FIG. 2 (e) shows a synthesized speech signal which is inserted in a lyrics pre-loading insertion section as an output result of the lyrics speech inserter and inserted by zero in a section having a lyrics speech signal and a mantissa voice. If there is synchronization information of the subtitles on the audio bitstream with reference to the synchronization of the subtitles of the lyrics in FIG. 2 (d), the lyrics pre-loading cannot be performed to the part having the singer voice. The remaining empty space is a free space for inserting pre-speech voice data into an area having only accompaniment and no voice of the singer. The pre-loaded voice signal is pre-loaded with lyrics. The voice bitstream is mixed by one measure in the voice insertion section, or the voice signal synthesized using the automatic voice synthesizer such as subtitle synchronization information and TTS. Adjust the utterance rate of the voice signal to enter the section or reduce the playback width of the voice signal using the speed variable to pre-load the lyrics. Insert the voice in the voice insertion section, and zero the bitstream of the voice in the non-insertion section. To make a lyric voice signal.

도 4는 가사 미리 불러주기 음성삽입 구간을 설명하기 위한 상태도로, 가수 음성이 포함된 WAVEFORM 형태의 음원을 재생할 때, 가수의 음성에 동기되는 자막 부분에 자막 컬리링을 하기 위한 동기 정보를 할당하고, 동기 정보가 할당되지 않는 부분은 가사 미리 불러주기 음성 삽입 구간으로 다음 소절에 대한 가사 음성 신호를 삽입할 수 있다.FIG. 4 is a state diagram for explaining a pre-loading voice insertion section. When reproducing a WAVEFORM-type sound source containing a singer's voice, the synchronization information for caption culling is assigned to a subtitle portion synchronized with the singer's voice. For example, the part to which the synchronization information is not allocated may be a lyrics pre-speech voice insertion section and a lyrics voice signal for the next measure may be inserted.

상기 가사 음성 삽입기는 노래가사 미리 불러 주기를 위해 도입된 것으로, 가사 미리 불러 주기 기능이 없다면 생략될 수 도 있다.The lyrics voice inserter is introduced to pre-song lyrics, and may be omitted if there is no lyrics pre-loading function.

도 2의 (f)는 최종 출력되는 합성 음원으로 가사 음성신호에 가중치를 두어서 MR이 할당된 R0 채널에 합산하여 최종 음원의 R-CH에 할당하고, 최종 음원의 L-CH은 음원 채널 믹서기에서 출력되는 L0의 데이터로 할당한다.FIG. 2 (f) shows a final synthesized sound source, weighted lyrics voice signals, is added to the R0 channel to which MR is assigned, and assigned to the R-CH of the final sound source, and the L-CH of the final sound source is a sound source channel mixer. Allocate to the data of L0 output from.

즉, 도 2의 (f)는 음원 생성장치에서 구현되는 최종 출력 비트스트림의 형태를 도시한다. 최종적으로 출력되는 오디오 비트스트림은 가사 음성 신호와 음원 채널 믹서기의 출력이 혼합된 것이다.That is, FIG. 2 (f) shows the form of the final output bitstream implemented in the sound source generator. The final audio bitstream is a mixture of the lyrics voice signal and the output of the sound source channel mixer.

본 발명에서 생성된 음원을 이용한 재생방법 및 그 장치에 대하여 살펴보면,Looking at the playback method and apparatus using the sound source generated in the present invention,

도 1의 (b)는 본 발명의 재생장치의 구조도를 도시한 것으로, 재생장치는 채널 생성기, 채널 제어기, 동기 정보 분리기, 멀티미디어 재생기의 조합으로 구성된다.FIG. 1 (b) shows a structural diagram of a playback device of the present invention, wherein the playback device is composed of a combination of a channel generator, a channel controller, a sync information separator, and a multimedia player.

먼저 채널 생성기는 MONO 채널에서 스테레오로 음원으로 만들기 위한 스테레오 생성 기능을 한다, 생성된 음원의 R-CH은 반주 음악과 가사 미리 불러주기 음성 데이터가 합쳐진 MONO 음원이고, 생성된 음원의 L-CH은 가수의 음성이 포함된 MONO 음원으로 구성되어 있다. MONO을 음악을 스테레오로 재생시에 동일한 데이터를 R/L 채널로 동시에 출력한다면 음감이 좋지 않으며, 생성기에 입력되었던 원래 두개의 음원과는 상당한 음질의 차이가 발생한다. 이러한 약점을 보완하기 위하여 음원 채널 믹서기에서 두개의 채널에 대한 부분을 조금이나마 보강할 수 있도록 가중치를 두어 MONO 채널을 생성했으며, 채널 생성시에서 스테레오 출력에 해당하는 공간감을 높이기 위하여 위상 필터나 3D 입체 음향에서 사용되는 공간 필터를 채용한다. 그러나 실시간 재생을 하기 위하여 필터에 많은 계산량이 소모된다면 간략화하여 위상을 180도 반전시키거나 MONO 오디오를 R/L 두개의 채널에 동시에 출력하여 스테레오 출력을 만들 수도 있다.First, the channel generator performs a stereo generation function to make a sound source in stereo on the MONO channel. The R-CH of the generated sound source is a MONO sound source combining accompaniment music and lyrics pre-speech voice data, and the L-CH of the generated sound source is It consists of a MONO sound source containing the voice of a singer. If the MONO is playing the music in stereo and outputs the same data to the R / L channel at the same time, the sound is not good and there is a significant difference in sound quality from the original two sources that were input to the generator. To compensate for this weakness, the MONO channel was created with weights so that the sound source channel mixer could slightly reinforce the parts of the two channels, and in order to increase the spatial feeling corresponding to the stereo output in the channel generation, the phase filter or the 3D stereoscopic Adopt a spatial filter used in sound. However, if the filter consumes a lot of computation for real-time playback, it can be simplified to invert the phase by 180 degrees or to output stereo audio to both R / L channels simultaneously.

도 5는 MONO음악을 스테레오로 만드는 위상 필터의 일례를 나타낸 것으로, 입력되는 MONO 음악의 주파수에 따라 위상을 천이(PHASOR SHIFT) 시키면서 다른 채널을 생성한다. MONO 음악을 스테레오의 한채널로 할당하고 위상 필터에서 출력되는 음악을 스테레오의 또다른 채널로 할당하여 스테레오로 출력한다. FIG. 5 illustrates an example of a phase filter for making MONO music into stereo, and generates another channel while shifting a phase according to the frequency of the input MONO music. MONO Assigns music to one channel of stereo and music output from the phase filter to another channel of stereo and outputs it in stereo.

3D 입체 음향을 생성할 수 있는 HRTF(HEAD RELATED TRANSFER FUNCTION) 필터는 도에 표시된 것처럼 청취자가 음원에 대하여 입체감을 느끼도록 음원을 스테레오로 음원을 만들어 준다. The HRTF (HEAD RELATED TRANSFER FUNCTION) filter, which can generate 3D stereo sound, creates a sound source in stereo so that the listener feels a stereoscopic sense of the sound source as shown in the figure.

도 6은 3차원 입체 음향에서 사용되는 HRTF를 구하기 위한 시스템도이다. 컴퓨터로 음악을 재생하면서 스피커를 통하여 출력되는 음원은 공간을 전파하여 실제 청취자의 귀에 어떻게 입력되는가를 컴퓨터에서 측정하고, 입력과 출력 관계를 계산하여 입체감과 공간감이 포함된 HRTFR(오른쪽 전달함수), HRTFL(왼쪽 전달함수)를 구현한다. 이렇게 측정된 두개의 전달 함수를 가진 필터에 음원을 입력하면, 공간상에 스피커가 있는 것처럼 느끼게 된다. 그러므로 3차원 입체 음향 필터를 이용하면 스테레오 음악을 생성할 수 있다.6 is a system diagram for obtaining an HRTF used in three-dimensional stereo sound. While playing music with a computer, the sound source output through the speaker propagates the space and measures how it is input to the actual listener's ear, and calculates the input and output relations to calculate the relationship between HRTFR (right transfer function) including stereoscopic and spatial sense, Implement HRTFL (left transfer function). If you input the sound source to the filter with these two transfer functions, you will feel as if there is a speaker in space. Therefore, using the three-dimensional stereo filter can create stereo music.

상기와 같이 생성된 음원은 채널 제어기를 통해 제어되어 노래반주기 및 가수 음성이 포함된 음악의 청취, 노래 가사 미리 불러 주기 기능 수행할 수 있게 되는데, 채널 제어기의 제어 방법에 대하여 설명하면 다음과 같다.The sound source generated as described above may be controlled through a channel controller to perform a function of listening to music including a vocal cycle and a singer's voice and pre-loading song lyrics. The control method of the channel controller will be described below.

먼저 가수 음성이 포함된 음원만을 청취하기 위해서는 채널 생성기에 입력된 음원에서 가수 음성이 포함된 채널인 L채널을 채널 생성기에서 R/L로 만들어서 출력하게 한다. 도 2의 (f)에서 재생 순서를 표현하면, 1-2-3-4-5-6-7-8으로 순으로 데이터를 읽고 스테레오로 만들어 출력한다. 그리고 MR 음악만을 청취하고 싶다면, L채널에서 가사가 삽입되지 않는 부분과 R채널에서 가사 미리 불러주기에 해당하는 음성이 없는 부분을 교대로 읽어서 재생한다. 도 2의 (f)에서 재생 순서를 표현하면, 1-2'-3-4'-5-6'-7-8' 순으로 데이터를 읽고 스테레오로 만들어서 출력한다. 가사 미리 불러 주기 기능을 동작시키면서 반주음악을 청취하고 싶을때는 R채널만 채널 생성기에서 스테레오로 만들어 출력한다. 도2의 (f)에서 재생 순서를 표현하면, 1'-2'-3'-4'-5'-6'-7'-8'의 순서로 데이터를 읽고 스테레오로 만들어서 재생된다. 가사 미리 불러 주기 기능을 on 한 상태로 가수 음성이 포함된 음악을 재생하려면, 가사 음성신호와 MR이 혼합된 R채널을 먼저 재생하고, 다음으로 가사가 포함된 구간에서는 L 채널을 재생한다. 가수 음성이 나타나지 않는 곳에서는 MR음악과 가수 음성이 들어 있는 음악이 동일하므로 도2의 (f)에서 1'-2-3'-4-5'-6-7'-8의 순서로 재생한다.First, in order to listen to only the sound source containing the singer's voice, the L generator, which is a channel containing the singer's voice in the sound source inputted to the channel generator, is made R / L in the channel generator and outputted. Representing the reproduction order in FIG. 2 (f), data is read in the order of 1-2-3-4-5-6-7-8 and output in stereo. If you want to listen to only MR music, the part where no lyrics are inserted in the L channel and the part where there is no voice corresponding to pre-loading the lyrics in the R channel are read and played alternately. In FIG. 2 (f), the reproduction order is expressed, and data is read in stereo sequence in the order of 1-2'-3-4'-5-6'-7-8 'and output as stereo. If you want to listen to the accompaniment music while the lyrics are pre-loaded, only the R channel is output in stereo from the channel generator. In Fig. 2 (f), the reproduction order is expressed, and data is read in the order of 1'-2'-3'-4'-5'-6'-7'-8 'and reproduced in stereo. To play music containing a singer voice while the lyrics preload function is turned on, the R channel mixed with the lyrics voice signal and the MR is played first, and then the L channel is played in the section including the lyrics. Where the singer's voice does not appear, the MR music and the music containing the singer's voice are the same, so that the music is reproduced in the order of 1'-2-3'-4-5'-6-7'-8 in FIG. .

코러스기능을 가지는 노래 반주기처럼 동작하기 위한 재생기의 제어 방법은 다음과 같다. 가사 미리 불러 주기 기능의 ON 여부에 관계없이 MR인 R-CH을 재생하고, 코러스가 필요한 부분에는 가수 음성이 있는 L-CH을 재생하고, 코러스가 필요하지 않으면 다시 R-CH을 재생하여 가수의 음성을 노래 반주기의 코러스로 이용할 수 있다. 그리고 가수의 백 코러스(back-chorus) 음성은 대개 MR에 미리 삽입되어 있기 때문에 MR음악만 을 재생하더라도 코러스가 기능이 가능하다.The control method of the player for operating like a song half cycle with a chorus function is as follows. Regardless of whether the lyrics preload function is on or not, the R-CH that is MR is played, the L-CH that has a singer voice is played for the part requiring chorus, and the R-CH is played again if the chorus is not needed. You can use your voice as a chorus of half-songs. Since the singer's back-chorus voice is usually pre-inserted in the MR, the chorus can function even if only the MR music is played.

본 발명에서 사용된 MR 음악이 없다면, VOICE CUT 또는 devocalizer 알고리즘을 이용하여 가수 음성이 감소 및 삭제된 음악을 MR로 취급하여 사용할 수 있으며, 가사 미리 불러 주기 기능이 생략되면, 가수의 음성이 포함된 음악을 재생하면서 VOICE CUT 또는 devocalizer 알고리즘으로 임시 MONO 채널을 R 채널을 구성하면, 실시간으로 상기에 설명한 동작을 수행할 수도 있다.If there is no MR music used in the present invention, using the VOICE CUT or devocalizer algorithm can be used to treat the music with reduced or deleted singer voice as MR, if the lyrics preload function is omitted, the voice of the singer is included If the R channel is configured as a temporary MONO channel with a VOICE CUT or devocalizer algorithm while playing music, the above-described operation may be performed in real time.

자막 및 영상 동기 정보 분리기는 오디오 비트스트림 상에 포함되거나 별도로 저장된 자막 및 영상 동기 정보를 분리하고, 멀티미디어 재생기에 자막 및 영상 신호의 동기 제어신호를 입력하기 위한 장치이다. 동기정보는 시간 정보나 프레임에 관련된 정보 또는 비트스트림 상의 바이트 계수 값으로 할당 되어 있을 수 있다. 자막 동기 정보는 오디오 비트스트림을 멀티미디어 재생기에 입력하여 음악을 재생할 때, LCD를 포함하는 OSD장치에서 해당 자막을 표현하기 위한 동기 제어신호를 제공한다. 일례로, 오디오 비트스트림의 바이트 계수값으로 자막의 동기정보가 할당되어 있다면, 바이트 계수기 값을 증가시키면서 오디오 비트스트림을 재생할 때, 설정된 자막 동기 정보인 바이트 계수값과 바이트 계수기의 값이 일치하면 멀티미디어 영상 재생기에 자막을 표현하기 위한 제어 신호를 입력하여, 화면에 해당 자막을 표현한다. The caption and video sync information separator is an apparatus for separating caption and video sync information included in or separately stored on an audio bitstream and inputting a synchronous control signal of the caption and video signals to a multimedia player. The synchronization information may be allocated as time information, information related to a frame, or a byte count value on the bitstream. The caption synchronization information provides a synchronization control signal for representing a corresponding caption in an OSD device including an LCD when the audio bitstream is input to the multimedia player to play music. For example, if the caption synchronization information is allocated as the byte count value of the audio bitstream, when playing the audio bitstream while increasing the byte counter value, if the byte count value, which is the set caption synchronization information, and the value of the byte counter match, the multimedia is multimedia. A control signal for expressing a caption is input to the video player to express the caption on the screen.

영상 동기 정보는 멀티미디어 재생기가 음악을 재생할 때, LCD를 포함하는 OSD 장치에서 배경영상을 표현하기 위한 동기 제어 신호를 제공한다. 일례로, 오디오 비트 스트림의 바이트 계수값으로 영상의 시작 동기정보가 할당되어 있다면, 바이트 계수기 값을 증가 시키면서 오디오 비트스트림을 재생할 때, 설정된 영상 시작 동기 정보인 바이트 계수값과 바이트 계수기의 값이 일치하면 멀티미디어 영상 재생기에 해당 영상을 재생하기 위한 제어 정보를 입력한다.The image synchronization information provides a synchronization control signal for representing a background image in an OSD device including an LCD when the multimedia player plays music. For example, if the start sync information of the video is allocated as the byte count value of the audio bit stream, when the audio bit stream is played while increasing the byte counter value, the byte count value, which is the set video start sync information, matches the value of the byte counter. If the control information is input to the multimedia image player.

멀티미디어 재생기는 음악과 영상을 포함하는 A/V 재생기로 오디오 비트스트림을 오디오 재생기(PCM 디코더, WAV 디코더, MP3 디코더, WMA 디코더, OGG 디코더, AAC 디코더 등)로, 영상 정보를 영상 재생기(MPEG1 디코더, MPEG2 디코더, DIVX 디코더 등)로 처리하며, 자막을 영상에 오버레이시켜 화면에 출력한다.The multimedia player is an A / V player that includes music and video, and the audio bitstream is converted into an audio player (PCM decoder, WAV decoder, MP3 decoder, WMA decoder, OGG decoder, AAC decoder, etc.), and the video information is converted into a video player (MPEG1 decoder). , MPEG2 decoder, DIVX decoder, etc.) and the subtitles are overlaid on the video and output to the screen.

도 7은 일반적인 뮤직 비디오를 구성하는 압축 A/V 비트스트림을 나타낸 것으로, 뮤직 비디오 A/V를 구성하는 비트스트림은 내부에 영상 및 오디오 데이타로 구분되어 있으며, 영상과 오디오는 압축되어 있다. 따라서 여기에 본 발명의 최종 생성음원을 이용하면, 뮤직비디오를 하나의 노래반주기로 이용할 수 있게 된다.7 shows a compressed A / V bitstream constituting a general music video. The bitstream constituting the music video A / V is divided into video and audio data therein, and the video and audio are compressed. Therefore, if the final generated sound source of the present invention is used here, the music video can be used as one song cycle.

도 8은 뮤직 영상의 무압축 비트스트림, 오디오 무압축 비트스트림, 오디오 비트스트림에 동기된 자막 동기 정보를 멀티미디어 엔코더로 입력하여 압축된 비디오 비트스트림을 생성하기 위한 엔코더 블럭도를 나타내는 것으로, 도 8의 입력 오디오 비트스트림은 본 발명에서 생성된 최종 음원이고, 입력 동기 정보 또는 동기 정보 파일은 자막 캡션에 대한 동기 정보로 오디오 비트스트림에 대하여 바이트 계수값으로 할당되어 있다. 그리고 입력 영상 비트스트림은 음성이 포함되어 있지 않은 영상 무압축 비트스트림을 나타낸다. MPEG이나 DIVX 등을 포함하는 멀티미디어 엔코더는 도의 A/V 비트스트림 형태로 데이터를 생성한다. 멀티 미디어 엔코더는 입력 영상 또는 오디오 비트스트림 버퍼로 부터 데이터를 입력받고, 멀티미디어 출력버퍼에 데이터를 넣을 때, 멀티미디어 비트력 바이트 계수기 값을 증가시킨다. 멀티 미디어 엔코더는 영상 비트스트림을 읽어 들여 비디오 프레임을 생성하고, 입력 오디오 비트스트림 버퍼로 부터 데이터를 읽어 들여 오디오 프레임을 생성한다. 멀티미디어 엔코더가 오디오 비트스트림 버퍼로 부터 데이터를 읽어 들일때, 오디오 비트스트림 바이트 계수기 값을 증가시키고, 오디오 비트스트림에 동기된 자막 동기 정보가 있다면, 현재 출력되고 있는 출력되는 멀티미디어 비트스트림의 바이트 계수기 값을 새로운 자막 동기 정보로 할당하여 A/V 비트스트림에 동기된 자막 동기 정보를 가진다.FIG. 8 is a block diagram of an encoder for generating a compressed video bitstream by inputting subtitle synchronization information synchronized with an uncompressed bitstream, an audio uncompressed bitstream, and an audio bitstream of a music image to a multimedia encoder. The input audio bitstream of is the final sound source generated in the present invention, and the input sync information or sync information file is assigned as byte count value for the audio bitstream as sync information for the caption caption. The input video bitstream represents a video uncompressed bitstream in which audio is not included. Multimedia encoders including MPEG, DIVX, and the like generate data in the form of A / V bitstreams in FIG. The multimedia encoder receives data from an input video or audio bitstream buffer and increases the multimedia bit force byte counter value when data is input into the multimedia output buffer. The multimedia encoder reads an image bitstream to generate a video frame, and reads data from an input audio bitstream buffer to generate an audio frame. When the multimedia encoder reads data from the audio bitstream buffer, it increases the audio bitstream byte counter value and, if there is subtitle synchronization information synchronized with the audio bitstream, the byte counter value of the currently output multimedia bitstream. Is assigned as new subtitle synchronization information to have subtitle synchronization information synchronized to the A / V bitstream.

도 9는 A/V를 포함하는 뮤직 비디오를 본발명의 예로 재생하기 위한 블럭도를 나타낸다. 생성된 A/V 비트스트림을 재생하기 위해 파일 시스템으로 A/V 비트스트림을 읽어 멀티미디어 비트스트림 버퍼로 입력하고, 이때 멀티미디어 비트스트림은 영상과 오디오로 분리되어, 멀티미디어 비트스트림 버퍼에서 영상 재생기나 오디오 재생장치로 데이터가 입력될 때 바이트 계수기 값을 증가시키는데, 이때 바이트 계수기 값과 자막 동기정보로 할당된 바이트 계수값이 동일하다면 자막을 컬러링한다. 9 shows a block diagram for playing a music video including A / V as an example of the present invention. In order to play the created A / V bitstream, the A / V bitstream is read into the file system and input into the multimedia bitstream buffer. The multimedia bitstream is divided into video and audio. When data is input to the playback device, the byte counter value is increased. If the byte counter value and the byte count value allocated as the subtitle synchronization information are the same, the subtitle is colored.

그리고 가수 음성만을 청취, 반주 음악 청취, 가사 미리 불러 주기 재생을 위해서는 본 발명의 상기에 설명한 재생 제어방법을 이용하면, 영상과 자막이 포함된 노래반주기를 쉽게 구현할 수 있다.In order to listen to only the singer's voice, listen to the accompaniment music, and play the lyrics in advance, using the above-described reproduction control method of the present invention, it is possible to easily implement a song cycle including images and subtitles.

자막 동기 정보와 자막이 하나의 파일로 구성된 오디오 비트스트림과 영상이 MPEG, DIVX같은 A/V 비트스트림으로 구성되더라도, 멀티 미디어 재생기에서 영상과 오디오는 분리되고, 영상과 오디오가 동기되어 재생되므로 오디오 비트스트림의 바이트 계수기를 이용하면 오디오 비트스트림에 동기된 자막 데이터를 컬러링 하거나 화면상에 동기되어 표현할 수 있으며, 본 발명의 재생 제어 방법을 사용하면 뮤직 비디오의 영상에 일치하는 노래 반주기 능 및 가사 불러 주기 기능을 수행할 수 있다. Even though the audio bitstream and the video composed of a single file with subtitle sync information and subtitles consist of A / V bitstreams such as MPEG and DIVX, the video and audio are separated in the multimedia player, and the video and audio are played in synchronization. By using the bitstream byte counter, the subtitle data synchronized with the audio bitstream can be colored or expressed on the screen. The playback control method of the present invention allows the song half-period and lyrics to be matched to the image of the music video. The periodic function can be performed.

본 발명의 설명에서, R/L 채널을 음원에 대하여 고정하고, 동기 정보 할당도 바이트 계수기를 이용하는 방법으로 설명했다. 그러나 R/L에 대한 부분을 L/R로 교체하여 사용할 수 있으며, 동기 정보의 할당 방법은 시간정보나 압축 데이터의 프레임 정보 또는 프레임 내부에 포함하는 방법, ID3 TAG 정보 등의 방법이 사용될 수 있다.In the description of the present invention, the R / L channel is fixed to the sound source, and the synchronization information allocation has also been described by a method using a byte counter. However, the part about R / L can be replaced with L / R, and the method of allocating synchronization information can include a method of including time information, frame information of compressed data, a method included in a frame, ID3 TAG information, and the like. .

이상에서 살펴 본 바와 같이 본 발명은 가수 음성이 포함된 음악과 반주 음악, 가사 동기 정보와 가사 정보, 영상 동기 정보와 영상정보, 가사 음성 정보를 하나의 디지털 오디오 형태의 파일로 생성하고, 생성된 음원을 이용하여 가수 음성이 포함된 음원의 청취, 코러스 기능을 가지는 노래반주기, 노래가사 불러주기, 노래 가사 컬러링 등의 기능과 음반사에서 제작되고 있는 뮤직 비디오를 노래반주기 컨텐츠로 바로 사용할 수 있다. 즉 가수 음성이 포함된 음악과 반주 음악, 가사 정보, 영상정보, 노래 가사 음성 데이터를 하나의 디지털 오디오 포맷(PCM, MP3, WMA, OGG 등)으로 통합하고, 이를 재생할 때 반주음악, 가수 음성이 포함된 음악, 노래 가사를 불러 주는 음성을 별도로 청취할 수 있고, 3가지 음원 사이의 청취 전환시에 음질 손상이 없고, 음원 전환을 이용하여 코러스 기능을 구현할 수 있고, 가사 자막이 컬러링 될 수 있고, 음원의 통합 관리에 편리하고, 생성된 음원이 뮤직비디오에 삽입되면 뮤직비디오를 노래반주기처럼 사용할 수 있는 방법 및 장치를 제공한다.As described above, the present invention generates the music and accompaniment music, lyrics sync information and lyrics information, video sync information and video information, lyrics voice information including singer voice as a single digital audio file, By using the sound source, you can listen to the sound source containing the singer's voice, sing a song cycle with chorus function, sing a song lyrics, color the lyrics of a song, and use the music video produced by the music label as the song record content. In other words, the music containing the singer's voice, accompaniment music, lyrics information, video information, and song lyrics voice data are integrated into one digital audio format (PCM, MP3, WMA, OGG, etc.). You can listen to the music that contains the music and song lyrics included separately, there is no damage to the sound quality when switching between the three sources, implement the chorus function using the sound source switching, lyrics subtitles can be colored In addition, the present invention provides a method and device that is convenient for integrated management of sound sources, and that when a generated sound source is inserted into a music video, the music video can be used as a song cycle.

도 1은 본 발명의 생성장치 및 재생장치를 도시한 블럭도1 is a block diagram showing a production device and a playback device of the present invention;

도 2는 생성장치를 통해 음원을 생성하는 과정을 도시한 상태도2 is a state diagram showing a process of generating a sound source through the generating device

도 3은 동기 정보 할당기를 통해 정지영상, 동영상, 자막 등을 오디오 비트스트림에 할당하는 것을 도시한 실시예도3 is a diagram illustrating allocating still images, moving images, subtitles, and the like to an audio bitstream through a synchronization information allocator;

도 4는 가사 미리 불러주기 음성삽입 구간을 설명하기 위한 상태도4 is a state diagram for explaining the lyrics pre-speech voice insertion interval

도 5는 MONO음악을 스테레오로 만드는 위상 필터를 도시한 그래프5 is a graph showing a phase filter for making MONO music in stereo

도 6은 3차원 입체 음향에서 사용되는 HRTF를 구하기 위한 시스템도6 is a system diagram for obtaining an HRTF used in three-dimensional stereo sound

도 7은 일반적인 뮤직 비디오를 구성하는 압축 A/V 비트스트림을 도시한 상태도7 is a diagram illustrating a compressed A / V bitstream constituting a general music video.

도 8은 자막 동기 정보를 통해 압축된 비디오 비트스트림을 생성하기 위한 엔코더 블럭도8 is an encoder block diagram for generating a compressed video bitstream using subtitle synchronization information.

도 9는 A/V를 포함하는 뮤직 비디오에 본 발명을 적용한 예로 도시된 블럭도9 is a block diagram illustrating an example in which the present invention is applied to a music video including A / V.

Claims (10)

통상의 음원 생성 및 재생 방법에 있어서, 하나의 디지털 오디오 비트스트림 파일 내부에 자막이나 영상에 대한 동기 정보를 삽입한 후, 상기 동기 정보를 이용하여 음원을 생성 및 재생하여 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능을 가능케 함을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.In a typical sound source generation and playback method, after inserting synchronization information for a subtitle or video into one digital audio bitstream file, a sound source is generated and played using the synchronization information to generate general music, accompaniment music, and lyrics. How to create and play back music, which can play general music, accompaniment music, pre-loading lyrics, chorus function, and music video as one file. 제 1항에 있어서, 오디오 비트스트림 파일은 음원 분석 및 채널 분리기를 통해 입력된 음원을 분석한 후, 각 음원을 채널 별로 분리하는 제 1 단계; 음원 채널 믹서기를 통해 채널 데이터를 믹서하여 새로운 오디오 비트스트림(RO,LO)을 생성하는 제 2 단계; 동기 정보 할당기를 통해 자막 및 영상의 시작 동기 정보를 할당하는 제 3 단계; 가사 음성 삽입기를 통해 노래가사를 미리 불러 주기 기능을 삽입하는 제 4 단계; 채널 생성기를 통해 모노 채널을 스테레오 채널로 생성하는 제 5 단계; 채널 제어기를 통해 음원을 제어하고, 음악의 청취, 노래 가사 미리 불러 주기 기능을 수행하는 제 6 단계; 동기 정보 분리기를 통해 자막 및 영상의 동기 정보를 분리하는 제 7 단계; 멀티미디어 재생기로 영상과 오디오를 분리한 후, 동기 재생하는 제 8 단계;를 통해 생성 및 재생됨을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.The audio bitstream file of claim 1, further comprising: a first step of analyzing a sound source input through sound source analysis and a channel separator, and then separating each sound source for each channel; A second step of mixing channel data through a sound source channel mixer to generate a new audio bitstream (RO, LO); A third step of allocating start synchronization information of the caption and video through the synchronization information allocator; Inserting a pre-singing song lyrics function through the lyrics voice inserter; Generating a mono channel to a stereo channel through a channel generator; A sixth step of controlling a sound source through a channel controller and performing a function of listening to music and pre-song lyrics; A seventh step of separating the synchronization information of the caption and the image through the synchronization information separator; After separating the video and audio with a multimedia player, the eighth step of the synchronous playback; it is created and played through a single file characterized in that the general music, accompaniment music, pre-loading lyrics, chorus function, music video production How to create and play sound. 제 2 항에 있어서, 채널을 생성하는 제 5 단계에서는 스테레오 출력에 해당하는 공간감을 높이기 위하여 위상 필터나 3D 입체 음향에서 사용되는 공간 필터를 채용함을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.The general music and accompaniment music as one file according to claim 2, wherein in the fifth step of generating a channel, a spatial filter used in a phase filter or a 3D stereo sound is adopted to increase the spatial feeling corresponding to the stereo output. How to create and play back music, pre-load lyrics, chorus function, and music video production. 제 2항에 있어서, 제 1 단계는 항상 제 2 단계에 선행되는 구조를 가지고, 제 3 단계는 항상 제 4 단계에 선행되는 구조를 가지는 전제 하에, 제 1 단계 내지 제 4 단계의 수행 단계가 가변됨을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.3. The method according to claim 2, wherein the first step always has a structure that precedes the second step, and the third step always has a structure that precedes the fourth step, wherein the performing steps of the first to fourth steps are variable. How to create and play back music with general music, accompaniment music, lyrics pre-loading, chorus function, and music video as one file. 제 2항에 있어서, 생성방법인 제 1 단계 내지 제 4 단계는 제 1 단계, 제 3 단계, 제 2 단계, 제 4 단계 순으로 진행되어짐을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.The method of claim 2, wherein the first to fourth steps of the generating method are performed in the order of the first step, the third step, the second step, and the fourth step. How to create and play back music with pre-loading lyrics, chorus function, and music video production. 제 2항에 있어서, 생성방법인 제 1 단계 내지 제 4 단계는 제 1 단계, 제 3 단계, 제 4 단계, 제 2 단계 순으로 진행되어짐을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.The method of claim 2, wherein the first to fourth steps are generated in the order of the first step, the third step, the fourth step, and the second step. How to create and play back music with pre-loading lyrics, chorus function, and music video production. 제 2항에 있어서, 생성방법인 제 1 단계 내지 제 4 단계는 제 3 단계, 제 1 단계, 제 2 단계, 제 4 단계 순으로 진행되어짐을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.The method of claim 2, wherein the first to fourth steps are generated in the order of the third step, the first step, the second step, and the fourth step. How to create and play back music with pre-loading lyrics, chorus function, and music video production. 제 2항에 있어서, 생성방법인 제 1 단계 내지 제 4 단계는 제 3 단계, 제 4 단계, 제 1 단계, 제 2 단계 순으로 진행되어짐을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.The method as claimed in claim 2, wherein the first to fourth steps are generated in the order of the third, fourth, first, and second steps. How to create and play back music with pre-loading lyrics, chorus function, and music video production. 제 2항에 있어서, 자막 및 영상의 동기 정보를 할당할 필요가 없을 경우에는 제 3 단계가 생략되고, 노래 가사 미리 불러 주기 기능이 존재하지 않을 경우에는 제 4 단계가 생략됨을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.The method as claimed in claim 2, wherein the third step is omitted when it is not necessary to allocate the synchronization information of the subtitles and the video, and the fourth step is omitted when the song lyrics preload function does not exist. How to create and play back music that can play general music, accompaniment, lyrics pre-loading, chorus function, and music video as a file. 통상의 음원 생성 및 재생장치에 있어서, 음원을 생성하는 생성장치와 생성된 음원을 재생하는 재생장치로 구성하되, 생성장치는 입력 음원을 분석한 후, 채널별로 분리하는 음원 분석 및 채널 분리기; 입력 음원의 채널을 믹서하는 음원 채널 믹서기; 자막이나 영상의 시작 동기 정보를 할당하는 동기 정보 할당기; 노래가사를 미리 불러 주는 가사 음성 삽입기;로 형성하고, 재생장치는 채널을 스테레오로 생성하는 채널 생성기; 생성된 음원을 제어하는 채널 제어기; 자막 및 영상의 동기 정보를 분리하는 동기 정보 분리기; 영상과 오디오를 동기 재생하는 멀티미디어 재생기;로 형성됨을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 장치.A conventional sound source generating and reproducing apparatus, comprising: a generating device for generating a sound source and a reproducing device for reproducing the generated sound source, wherein the generating device comprises: a sound source analysis and channel separator for separating input channels after analyzing an input sound source; A sound source channel mixer for mixing the channel of the input source; A synchronization information allocator for allocating start synchronization information of the caption or video; And a lyrics voice inserter for pre-singing the song lyrics. The playback apparatus includes: a channel generator for generating a stereo channel; A channel controller for controlling the generated sound source; A sync information separator for separating the sync information of the caption and video; Multimedia player for synchronous playback of video and audio; Forms a single file, characterized in that the general music, accompaniment music, lyrics pre-loading, chorus function, the sound source generation and playback device capable of producing a music video.
KR1020050009211A 2005-02-01 2005-02-01 The method and apparatus for creation and playback of sound source KR100639154B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050009211A KR100639154B1 (en) 2005-02-01 2005-02-01 The method and apparatus for creation and playback of sound source

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050009211A KR100639154B1 (en) 2005-02-01 2005-02-01 The method and apparatus for creation and playback of sound source

Publications (2)

Publication Number Publication Date
KR20050018929A true KR20050018929A (en) 2005-02-28
KR100639154B1 KR100639154B1 (en) 2006-10-30

Family

ID=37228298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050009211A KR100639154B1 (en) 2005-02-01 2005-02-01 The method and apparatus for creation and playback of sound source

Country Status (1)

Country Link
KR (1) KR100639154B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756896B1 (en) * 2006-06-13 2007-09-07 주식회사 엔터기술 A karaoke system and a singing practice function providing a separated type multimedia terminal
WO2013040355A1 (en) * 2011-09-14 2013-03-21 Greg Green Mass customization of media and statistical projection from mass customized media
KR101426763B1 (en) * 2012-08-20 2014-08-13 에스케이플래닛 주식회사 System and method for music, and apparatus and server applied to the same
WO2019000721A1 (en) * 2017-06-30 2019-01-03 联想(北京)有限公司 Video file recording method, audio file recording method, and mobile terminal
KR102290901B1 (en) * 2021-01-04 2021-08-19 주식회사 디어유 Song playing system
CN113747217A (en) * 2020-05-29 2021-12-03 聚好看科技股份有限公司 Display device and method for improving chorus speed

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102200792B1 (en) 2020-05-15 2021-01-11 주식회사 금영엔터테인먼트 Sound source file structure, recording medium recording the same, and a method for producing a sound source file

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756896B1 (en) * 2006-06-13 2007-09-07 주식회사 엔터기술 A karaoke system and a singing practice function providing a separated type multimedia terminal
WO2013040355A1 (en) * 2011-09-14 2013-03-21 Greg Green Mass customization of media and statistical projection from mass customized media
KR101426763B1 (en) * 2012-08-20 2014-08-13 에스케이플래닛 주식회사 System and method for music, and apparatus and server applied to the same
WO2019000721A1 (en) * 2017-06-30 2019-01-03 联想(北京)有限公司 Video file recording method, audio file recording method, and mobile terminal
CN113747217A (en) * 2020-05-29 2021-12-03 聚好看科技股份有限公司 Display device and method for improving chorus speed
KR102290901B1 (en) * 2021-01-04 2021-08-19 주식회사 디어유 Song playing system

Also Published As

Publication number Publication date
KR100639154B1 (en) 2006-10-30

Similar Documents

Publication Publication Date Title
JP5243042B2 (en) Music editing apparatus and music editing method
KR100639154B1 (en) The method and apparatus for creation and playback of sound source
KR20080074975A (en) Music edit device, music edit information creating method, and recording medium where music edit information is recorded
KR20080074977A (en) Music edit device and music edit method
JPH04199096A (en) Karaoke playing device
JP2004212473A (en) Karaoke machine and karaoke reproducing method
JPH04191882A (en) Picture reproducing device, picture information storage medium and 'karaoke' player
JP2001215979A (en) Karaoke device
JP2008505430A (en) How to record, play and manipulate acoustic data on data support
KR101029483B1 (en) Equipment and method manufacture ucc music use a file audio multi-channel
KR101464797B1 (en) Apparatus and method for making and playing audio for object based audio service
JP4994890B2 (en) A karaoke device that allows you to strictly compare your recorded singing voice with a model song
Pennycook Live electroacoustic music: old problems, new solutions
JP2000137490A (en) Karaoke sing-along machine
Dofat Introduction to Digital Audio
JP3900576B2 (en) Music information playback device
JPH1195770A (en) Karaoke machine and karaoke reproducing method
Rona Synchronization, from Reel to Reel: A Complete Guide for the Synchronization of Audio, Film & Video
JPH01204271A (en) Video acoustic reproducing device
Burlin The creation (and re-creation) of virtual spatiality: Surround sound mixing in King Crimson’s back catalog box sets
JPH0451686A (en) 'karaoke' (orchestration without lyrics) device
Woszczyk et al. Creating mixtures: The application of auditory scene analysis (ASA) to audio recording
Lord et al. Dynamic meta-spatialization: Narrative and recontextualization implications of spatial stage stacking
JP3924909B2 (en) Electronic performance device
JP5273402B2 (en) Karaoke equipment

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120417

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee