KR100639154B1

KR100639154B1 - 하나의 파일로 일반 음악, 반주 음악, 가사 미리불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원생성 및 재생 방법과 그 장치

Info

Publication number: KR100639154B1
Application number: KR1020050009211A
Authority: KR
Inventors: 우종식
Original assignee: 우종식
Priority date: 2005-02-01
Filing date: 2005-02-01
Publication date: 2006-10-30
Also published as: KR20050018929A

Abstract

본 발명은 가수 음성이 혼합된 음악, 반주음악, 가수 음성에 동기 된 영상 및 자막 정보, 가사를 미리 불러주기 기능을 제공하는 음원 생성 및 재생 방법과 그 장치에 관한 것으로, 더욱 상세하게는 가수 음성이 포함된 음악, 반주음악, 가수 음성에 동기 된 영상의 시작정보 및 자막 정보, 가사 미리 불러주기, 코러스 기능이 가능하도록 하나의 디지털 오디오 파일(WAV, MP3, WMA, OGG 등)로 생성하는 생성방법 및 그 장치와, 생성된 하나의 디지털 오디오 음원으로 일반음악, 반주음악, 노래반주기처럼 동기된 자막 컬러링, 노래 가사 미리 불러주기, 코러스 기능을 구현할 수 있는 재생방법 및 그 장치에 관한 것이다.

이를 위하여 본 발명에서는 하나의 디지털 오디오 비트스트림 파일 내부에 자막이나 영상에 대한 동기 정보를 삽입한 후, 상기 동기 정보를 이용하여 음원을 생성 및 재생하여 일반 음악, 반주 음악, 가사 미리 불러주기 기능을 가능케함을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능이 가능한 음원 생성 및 재생 방법과,

음원을 생성하는 생성장치와 생성된 음원을 재생하는 재생장치로 구성하되, 생성장치는 입력 음원을 분석한 후, 채널별로 분리하는 음원 분석 및 채널 분리기; 입력 음원의 채널을 믹서하는 음원 채널 믹서기; 자막이나 영상의 시작 동기 정보를 할당하는 동기 정보 할당기; 노래가사를 미리 불러 주는 가사 음성 삽입기;로 형성하고, 재생장치는 채널을 스테레오로 생성하는 채널 생성기; 생성된 음원을 제 어하는 채널 제어기; 자막 및 영상의 동기 정보를 분리하는 동기 정보 분리기; 영상과 오디오를 동기 재생하는 멀티미디어 재생기;로 형성됨을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능이 가능한 음원 생성 및 재생 장치가 제공된다.

가수 음성이 포함된 디지털 오디오, MR 오디오(반주음악), 뮤직비디오, 가사 불러주기, 위상 천이 필터, 3D 입체 음향, HRTF, 채널 믹서, 음성신호

Description

하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법과 그 장치{The method and apparatus for creation and playback of sound source}

도 1은 본 발명의 생성장치 및 재생장치를 도시한 블럭도

도 2는 생성장치를 통해 음원을 생성하는 과정을 도시한 상태도

도 3은 동기 정보 할당기를 통해 정지영상, 동영상, 자막 등을 오디오 비트스트림에 할당하는 것을 도시한 실시예도

도 4는 가사 미리 불러주기 음성삽입 구간을 설명하기 위한 상태도

도 5는 MONO음악을 스테레오로 만드는 위상 필터를 도시한 그래프

도 6은 3차원 입체 음향에서 사용되는 HRTF를 구하기 위한 시스템도

도 7은 일반적인 뮤직 비디오를 구성하는 압축 A/V 비트스트림을 도시한 상태도

도 8은 자막 동기 정보를 통해 압축된 비디오 비트스트림을 생성하기 위한 엔코더 블럭도

도 9는 A/V를 포함하는 뮤직 비디오에 본 발명을 적용한 예로 도시된 블럭도

본 발명은 음원 제작 과정에서 반주 음악과 가수의 목소리가 더빙된 음원, 가사, 영상, 코러스 기능, 가사 미리 불러주기 기능을 구현할 수 있는 음원 생성방법과 장치 및 제작된 음원을 자막캡션, 영상 동기, 가사 미리 불러 주기, 반주음악, 목소리가 더빙된 음악을 하나의 음원 파일로 재생하기 위한 재생 방법과 장치에 관한 것으로, 더욱 상세하게는 본 발명에 의해 생성된 음원은 단순한 WAV, MP3, WMA와 같은 디지털 오디오 비트스트림을 가진 하나의 파일이며, 자막이나 영상에 대한 동기 정보가 삽입되며, 재생 제어 방법에 따라 가수의 음성이 포함된 일반적인 음악, 반주 음악, 가사 불러주기 기능, 일반음악과 반주음악의 자연스런 교환이 이루어질 뿐만 아니라, 파일 내부에 포함된 동기 정보를 이용하여 노래반주기와 같은 자막과 영상의 처리가 가능하다.

일반적으로 음반을 제작하기 위해서는 스튜디오에서 별도로 제작된 반주 음악(MR)에 가수 음성을 혼합하여 가수 음성이 포함된 음반을 만들고 있다. 음반에 기록된 음원은 대개 가수 목소리가 포함된 음악이며, 요즘은 MR이라는 음악에 음반에 넣어 판매하고 있다. 그러나 동일한 곡명의 MR 트랙과 가수 음성이 포함된 음원은 두개의 별도의 트랙으로 존재하므로 저장 매체에 차지하는 용량이 크다.

뿐만 아니라, 종래의 기술에서는 단순히 MR 음악을 시디에 포함시켜서 악기 음만을 청취할 수 있도록 제공하지만, 다른 부가 기능을 제공하지 못하고 있다. 악기 음만으로 구성되는 MR 음악의 경우 노래반주기의 MIDI 음악이나 MP3로 합성된 음악보다는 월등한 품질을 유지하고 있지만, 노래반주기처럼 음악의 진행에 따라 가사를 컬러링할 수 있는 기능은 포함되어 있지 않다. 그리고 뮤직 비디오와 같이 영상과 음악이 포함된 파일을 만들 때, 뮤직 비디오의 영상과 가수가 부른 음악을 삽입하여 일방적인 시청을 하도록 뮤직 비디오를 제작하고 있어서 일반적인 노래 반주기처럼 영상이 포함된 음악으로 바로 사용할 수가 없다. 일반적으로 뮤직비디오를 노래반주기에서 이용하기 위해서는 뮤직 비디오 재생시, 음악 부분을 MUTE하고 별도로 노래반주기 회사에서 만든 MIDI 음악에 동기 재생시키고 있다.

종래의 기술에서 노래반주기 형태의 반주음악에서는 자막이 없을 경우에는 반주음악 만으로 가사를 쉽게 알 수 없으므로 노래가 시작되기 전에 가사 불러주기 기능이 첨가하여 가사의 숙지도를 높인다. 예를 들어 노래 교습소 같은 곳에서는 강사가 직접 악기를 연주하면서 노래를 부르고, 소절을 시작하기 전에 노래 가사를 미리 불러주는 작업이 주로 이루어지고 있지만, 시디에 포함된 음원을 이용해서 노래 교습소 같은 효과를 내지는 못하고 있다. MR 음원에 노래 가사를 불러 주기 기능을 첨가하여 음원을 만들 수는 있지만, 반주 음악의 노래 가사를 불러주는 구간이 가수 음성 부분에 오버랩 되지 않도록 작업을 수행하는 것은 쉽지 않으며 많은 비용과 시간이 소모된다. 또한 반주음악만이 필요할 경우 가사 불러 주기 기능이 없는 음원을 별도로 저장해야 하는 불편함이 있다.

그리고 코러스 기능이 있는 노래반주기에서는 반주음악과 코러스 음악을 별도로 저장하고 코러스 음악과 반주음악을 동시에 재생시키면서 동기시킨다. 코러스 기능을 삽입하기 위해서는 반주 음악과는 별도로 합창단을 이용하여 코러스 부분을 만들지만, 많은 비용, 시간, 장비, 인원 등이 소모되며, 하나의 음악 파일에서 코러스 부분을 생성하기는 쉽지 않다.

그리고 가수 음성이 포함된 음악을 들으면서 따라 부를 때, 간단한 제어 버튼을 입력하여 음성 음악이 없고 반주 음악만 재생되는 장치는 개발되어 있지 않고, 가수 음성이 포함된 음악에서 음성 부분을 삭제하는 기술도 원음과는 음질에서 상당한 차이를 가진다. 또한 반주음악과 가수 음성이 포함된 음악을 동시에 재생하면서 스피커와 같은 출력 장치에서 음악을 선택하더라도 두개의 음악을 완전히 동기 시켜 재생하기는 어렵고, 음악의 선택 전환시에 음질의 손상이 발생한다.

그리고 사용자가 구매한 음원에 대한 가사는 별도의 종이 형태로 인쇄되어 있으며, 디지털 파일로 저장되더라도 노래반주기처럼 원하는 구간에서 필요한 자막 컬러링 되거나 캡션 되지 않으며, 종이로 인쇄되거나 가사 파일로 저장된 경우 많은 곡이 있을 경우 관리 및 보관에 어려움이 있다. 또한 자막 캡션을 위해서는 사용자가 별도의 작업을 거쳐 음원에 동기된 자막 캡션을 만들어야 하는 불편함이 있다.

상기의 부분을 해결하기 위해서는 하나의 파일이 아니라 같은 곡에 대해서 다중의 파일을 관리해야 하고, 다중 파일을 동시에 재생하기 위해서는 많은 하드웨어 자원이 필요하고, 다중 파일에 대한 동기 재생에 어려움이 있다. 또한 관련된 다른 파일을 만들기 위해 많은 시간, 비용, 인원, 장비 등이 소모된다. 예를 들어 코러스 음악, 반주음악, 가수 음성이 포함된 음악, 가사, 영상 등이 한개의 음악에 대해 동기되어 사용해야 하므로, 동기재생 및 파일 관리에 어려움이 있으며, 저장 용량이 크다는 단점이 있다.

본 발명의 목적은 종래의 이와같은 문제점을 해소하고자 한 데 있는 것으로, 가수 음성이 포함된 음악과 반주 음악, 가사 동기 정보와 가사 정보, 영상 동기 정보와 영상정보, 가사 음성 정보를 하나의 디지털 오디오 포맷(PCM, MP3, WMA, OGG 등)로 생성하는 방법 및 장치와, 생성된 음원을 이용하여 가수 음성이 포함된 음원의 청취, 코러스 기능을 가지는 노래반주기, 노래가사 불러주기, 노래 가사 컬러링, 뮤직 비디오를 노래반주기 컨텐츠로 재생할 수 있는 방법과 장치를 제공하는데 있다.

상기 목적을 달성하기 위하여 음원을 생성한 후 재생하는 제 1 단계~제 8 단계의 생성 및 재생방법과; 음원 분석 및 채널 분리기, 음원 채널 믹서기, 동기 정보 할당기, 가사 음성 삽입기로 형성된 음원 생성장치와, 채널 생성기, 채널 제어 기, 동기 정보 분리기, 멀티미디어 재생기로 형성된 재생장치를 제공코자 한다.

통상의 음원 생성 및 재생 방법에 있어서, 하나의 디지털 오디오 비트스트림 파일 내부에 자막이나 영상에 대한 동기 정보를 삽입한 후, 상기 동기 정보를 이용하여 음원을 생성 및 재생하여 일반 음악, 반주 음악, 코러스 기능, 가사 미리 불러주기 기능을 가능케 함을 특징으로 하는 것이다.

상기에서, 오디오 비트스트림 파일은 음원 분석 및 채널 분리기를 통해 입력된 음원을 분석한 후, 각 음원을 채널 별로 분리하는 제 1 단계; 음원 채널 믹서기를 통해 채널 데이터를 믹서하여 새로운 오디오 비트스트림(RO,LO)을 생성하는 제 2 단계; 동기 정보 할당기를 통해 자막 및 영상의 시작 동기 정보를 할당하는 제 3 단계; 가사 음성 삽입기를 통해 노래가사를 미리 불러 주기 기능을 삽입하는 제 4 단계; 채널 생성기를 통해 모노 채널을 스테레오 채널로 생성하는 제 5 단계; 채널 제어기를 통해 음원을 제어하고, 음악의 청취, 노래 가사 미리 불러 주기 기능을 수행하는 제 6 단계; 동기 정보 분리기를 통해 자막 및 영상의 동기 정보를 분리하는 제 7 단계; 멀티미디어 재생기로 영상과 오디오를 분리한 후, 동기 재생하는 제 8 단계;를 통해 생성 및 재생된다.

상기에서, 채널을 생성하는 제 5 단계에서는 스테레오 출력에 해당하는 공간감을 높이기 위하여 위상 필터나 3D 입체 음향에서 사용되는 공간 필터를 채용한다.

상기에서, 제 1 단계는 항상 제 2 단계에 선행되는 구조를 가지고, 제 3 단계는 항상 제 4 단계에 선행되는 구조를 가지는 전제 하에, 제 1 단계 내지 제 4 단계의 수행 단계가 가변될 수도 있다.

상기에서, 생성방법인 제 1 단계 내지 제 4 단계는 제 1 단계, 제 3 단계, 제 2 단계, 제 4 단계 순으로 진행되거나, 제 1 단계, 제 3 단계, 제 4 단계, 제 2 단계 순으로 진행되거나, 제 3 단계, 제 1 단계, 제 2 단계, 제 4 단계 순으로 진행되거나, 제 3 단계, 제 4 단계, 제 1 단계, 제 2 단계 순으로 진행될 수도 있다.

상기에서, 자막 및 영상의 동기 정보를 할당할 필요가 없을 경우에는 제 3 단계가 생략되고, 노래 가사 미리 불러 주기 기능이 존재하지 않을 경우에는 제 4 단계가 생략될 수도 있다.

통상의 음원 생성 및 재생장치에 있어서, 음원을 생성하는 생성장치와 생성된 음원을 재생하는 재생장치로 구성하되, 생성장치는 입력 음원을 분석한 후, 채널별로 분리하는 음원 분석 및 채널 분리기; 입력 음원의 채널을 믹서하는 음원 채널 믹서기; 자막이나 영상의 시작 동기 정보를 할당하는 동기 정보 할당기; 노래가사를 미리 불러 주는 가사 음성 삽입기;로 형성하고, 재생장치는 채널을 스테레오로 생성하는 채널 생성기; 생성된 음원을 제어하는 채널 제어기; 자막 및 영상의 동기 정보를 분리하는 동기 정보 분리기; 영상과 오디오를 동기 재생하는 멀티미디어 재생기;로 형성한다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세하게 설명하면 다음과 같다.

먼저 본 발명에서 음원을 생성하는 생성방법 및 그 장치에 대해 살펴보면,

도 1은 본 발명의 대표도로 생성장치 및 재생장치를 도시한 것이고, 그 중 도1의 (a)는 본 발명의 생성장치의 구조도를 표현한 것으로, 생성장치는 음원 분석 및 채널 분리기, 음원 채널 믹서기, 동기 정보 할당기, 가사 음성 삽입기의 다양한 조합으로 구성될 수 있으며, 이때 생성장치의 입력은 가사, 영상, 반주음악(MR), 가수 음성이 포함된 음원, 가사 음성 음원이고, 출력은 동기된 가사 및 영상의 동기 시작 정보가 포함된 디지털 오디오 비트스트림이다.

그리고 생성장치를 구성하는 요소 장치 중에서, 동기정보할당기(1)와 가사 음성 삽입기(2)는 앞뒤의 선행 구조를 유지하며, 음원 분석 및 채널 분리기(3)와 음원 채널 믹서기(4)도 앞뒤의 선행 구조를 가진다. 생성장치는 상기의 조건을 만족하는 다양한 조합(1-2-3-4, 1-3-4-2, 3-1-2-4, 3-4-1-2 등)으로 구성될 수 있다.

도2의 (a)는 음원 분석 및 채널 분리기에 입력된 입력된 가수 음성이 포함된 음원과 MR 음원을 표현한다.

도2의 (b)는 음원 분석 및 채널 분리기의 출력 비트스트림을 표현한 것으로, 음원 분석 및 채널 분리기는 입력된 MR음악과 가수 음성이 포함된 음원에 대하여, 각 음원을 분석하여 재생 시간과 시작 및 끝 부분이 동일하도록 만든다. 입력된 각 음원의 시작과 끝이 일치하지 않으면, 음원의 시작 또는 끝이 같아지도록 ZERO를 삽입하던지 삭제하여 두 음원의 시작 부분과 끝 부분이 완전히 일치 되도록 하고, 두 음원이 시작과 끝이 일치되면, 두 음원을 R/L 채널로 분리하여 음원 채널 믹서기에 입력한다.

도2의 (c)는 음원 채널 믹서기의 출력으로 채널에 할당된 음원의 가중치 및 음원 소스에 대해 표현한다. 음원 채널 믹서기는 입력된 음원의 채널을 MR음악(R1, L1), 가수 음성이 포함된 음악(R2,L2)로 나누어 하나의 비트스트림에 포함될 수 있도록 채널 데이터를 믹서하여 새로운 오디오 비트스트림(RO,LO)을 생성한다. 새로운 비트스트림의 R채널(RO)에 반주 음악을 넣고 싶다면, 새로운 비트스트림의 L채널(LO)에는 가수 음성이 포함된 음악을 삽입된다. RO은 L1 성분이 포함되지 않은 R1을 할당하거나, (R1+L1)/2로 평균을 할당하는 것보다는 다른 가중치를 두어 할당하는 것이 바람직하다. 예를 들어 음원의 채널정보가 완전히 역 위상인 경우 단순히 합산하면, 오디오 신호 자체가 0이 될 가능성이 있기 때문이다. 채널 믹서기에 대한 할당 방식은 수학식1에 표현된 것처럼 x > y > 0이 바람직하다.

RO = xR1 + yL1

L0 = xL2 + yR2

(x + y = 1, (x > y > 0))

도 2의 (d)는 자막 및 영상 동기정보 할당기의 출력으로 오디오 비트스트림에서 "A,B,C,D"라는 소리가 날 때, 동기된 자막 A,B,C,D가 할당된 것을 표현 것이다.

상기 자막 및 영상 동기 정보 할당기는 노래반주기 처럼 자막컬러링과 배경영상을 처리 하기 위한 것으로, 동기된 자막과 배경 영상의 동기 재생 시작을 나타내는 시작 동기 정보를 할당하는데, 자막 캡션과 영상의 시작을 오디오 비트스트림 상에서 표현하기 위하여 바이트 계수기를 이용하여 동기 정보를 할당한다. 음원 분석 및 채널 분리기에서 두음원의 시작과 끝이 일치된 가수 음성이 포함된 음악이나 음원 채널 믹서기에서 합성된 음원을 재생하면서 동기 작업을 수행한다.

바이트 계수기를 이용한 동기 정보의 할당 방법은 다음과 같다.

도 3은 동기 정보 할당기에서 정지영상, 동영상, 자막 등을 오디오 비트스트림에 할당하는 실시예이다. 먼저 합성된 오디오 비트스트림이 b0,b1,b2,b3,b4,b5,b6..b97의 바이트 열로 구성되어 있다. "TEXT1A"라는 발음이 0번째 바이트인 b0로 부터 시작하여 6번째 바이트인 b6의 시작에서 끝난다. 자막에 대한 동기 정보를 바이트 계수값을 이용하여 각 글자에 대해 (시작 바이트, 끝 바이트)으로 할당하면, 각 글자의 동기 정보는 T:(0,1), E:(1,2), X:(2,3), T:(3,4), 1:(4,5), A:(5,6) 처럼 된다. 즉, 도 3에 영상에 대한 동기 정보를 할당한 것을 나타내었다. 글자에 동기 정보를 할당하는 것과 동일한 방법으로 영상에 대하여 IMAGE1:(0,90), IMAGE2:(90,98)로 동기 정보를 할당한다.

도 2의 (e)는 가사 음성 삽입기의 출력 결과로 가사 미리 불러 주기 삽입 구간에서 삽입되어 가사 음성 신호와 가수 음성이 있는 구간에서 zero를 삽입하여 만든 합성 음성 신호를 표현하고 있다. 도 2의 (d)에서 가사 자막이 동기화된 것을 참조하여 오디오 비트스트림 상에서 자막의 동기 정보가 있다면, 가수 음성이 있는 부분으로 가사 미리 불러 주기를 실행할 수 없는 영역이다. 나머지 빈 공간은 반주만 있고 가수의 음성이 없는 영역으로 미리 불러주기 음성 데이타를 삽입할 수 있는 여유 공간이다. 미리 불러주는 음성 신호는 가사 미리 불러 주기 음성 삽입 구간에서 한소절씩 음성 비트스트림을 만들어 혼합하던지, 자막의 동기 정보와 TTS등의 자동 음성 합성기를 이용하여 합성된 음성신호가 가사 미리 불러 주기 음성 삽입 구간에 들어갈 수 있도록 음성신호의 발화 속도를 조절하거나 속도 가변기를 이용하여 음성신호의 재생 폭을 줄여서 가사 미리 불러 주기 음성 삽입 구간에 음성을 삽입하고, 삽입 구간이 아닌 곳에서는 음성의 비트스트림을 zero로 할당하여 가사 음성신호를 만든다.

도 4는 가사 미리 불러주기 음성삽입 구간을 설명하기 위한 상태도로, 가수 음성이 포함된 WAVEFORM 형태의 음원을 재생할 때, 가수의 음성에 동기되는 자막 부분에 자막 컬리링을 하기 위한 동기 정보를 할당하고, 동기 정보가 할당되지 않는 부분은 가사 미리 불러주기 음성 삽입 구간으로 다음 소절에 대한 가사 음성 신호를 삽입할 수 있다.

상기 가사 음성 삽입기는 노래가사 미리 불러 주기를 위해 도입된 것으로, 가사 미리 불러 주기 기능이 없다면 생략될 수 도 있다.

도 2의 (f)는 최종 출력되는 합성 음원으로 가사 음성신호에 가중치를 두어서 MR이 할당된 R0 채널에 합산하여 최종 음원의 R-CH에 할당하고, 최종 음원의 L-CH은 음원 채널 믹서기에서 출력되는 L0의 데이터로 할당한다.

즉, 도 2의 (f)는 음원 생성장치에서 구현되는 최종 출력 비트스트림의 형태를 도시한다. 최종적으로 출력되는 오디오 비트스트림은 가사 음성 신호와 음원 채널 믹서기의 출력이 혼합된 것이다.

본 발명에서 생성된 음원을 이용한 재생방법 및 그 장치에 대하여 살펴보면,

도 1의 (b)는 본 발명의 재생장치의 구조도를 도시한 것으로, 재생장치는 채널 생성기, 채널 제어기, 동기 정보 분리기, 멀티미디어 재생기의 조합으로 구성된다.

먼저 채널 생성기는 MONO 채널에서 스테레오로 음원으로 만들기 위한 스테레오 생성 기능을 한다, 생성된 음원의 R-CH은 반주 음악과 가사 미리 불러주기 음성 데이터가 합쳐진 MONO 음원이고, 생성된 음원의 L-CH은 가수의 음성이 포함된 MONO 음원으로 구성되어 있다. MONO을 음악을 스테레오로 재생시에 동일한 데이터를 R/L 채널로 동시에 출력한다면 음감이 좋지 않으며, 생성기에 입력되었던 원래 두개의 음원과는 상당한 음질의 차이가 발생한다. 이러한 약점을 보완하기 위하여 음원 채널 믹서기에서 두개의 채널에 대한 부분을 조금이나마 보강할 수 있도록 가중치를 두어 MONO 채널을 생성했으며, 채널 생성시에서 스테레오 출력에 해당하는 공간감을 높이기 위하여 위상 필터나 3D 입체 음향에서 사용되는 공간 필터를 채용한다. 그러나 실시간 재생을 하기 위하여 필터에 많은 계산량이 소모된다면 간략화하여 위상을 180도 반전시키거나 MONO 오디오를 R/L 두개의 채널에 동시에 출력하여 스테레오 출력을 만들 수도 있다.

도 5는 MONO음악을 스테레오로 만드는 위상 필터의 일례를 나타낸 것으로, 입력되는 MONO 음악의 주파수에 따라 위상을 천이(PHASOR SHIFT) 시키면서 다른 채널을 생성한다. MONO 음악을 스테레오의 한채널로 할당하고 위상 필터에서 출력되는 음악을 스테레오의 또다른 채널로 할당하여 스테레오로 출력한다.

3D 입체 음향을 생성할 수 있는 HRTF(HEAD RELATED TRANSFER FUNCTION) 필터는 도에 표시된 것처럼 청취자가 음원에 대하여 입체감을 느끼도록 음원을 스테레오로 음원을 만들어 준다.

도 6은 3차원 입체 음향에서 사용되는 HRTF를 구하기 위한 시스템도이다. 컴퓨터로 음악을 재생하면서 스피커를 통하여 출력되는 음원은 공간을 전파하여 실제 청취자의 귀에 어떻게 입력되는가를 컴퓨터에서 측정하고, 입력과 출력 관계를 계산하여 입체감과 공간감이 포함된 HRTFR(오른쪽 전달함수), HRTFL(왼쪽 전달함수)를 구현한다. 이렇게 측정된 두개의 전달 함수를 가진 필터에 음원을 입력하면, 공간상에 스피커가 있는 것처럼 느끼게 된다. 그러므로 3차원 입체 음향 필터를 이용하면 스테레오 음악을 생성할 수 있다.

상기와 같이 생성된 음원은 채널 제어기를 통해 제어되어 노래반주기 및 가 수 음성이 포함된 음악의 청취, 노래 가사 미리 불러 주기 기능 수행할 수 있게 되는데, 채널 제어기의 제어 방법에 대하여 설명하면 다음과 같다.

먼저 가수 음성이 포함된 음원만을 청취하기 위해서는 채널 생성기에 입력된 음원에서 가수 음성이 포함된 채널인 L채널을 채널 생성기에서 R/L로 만들어서 출력하게 한다. 도 2의 (f)에서 재생 순서를 표현하면, 1-2-3-4-5-6-7-8으로 순으로 데이터를 읽고 스테레오로 만들어 출력한다. 그리고 MR 음악만을 청취하고 싶다면, L채널에서 가사가 삽입되지 않는 부분과 R채널에서 가사 미리 불러주기에 해당하는 음성이 없는 부분을 교대로 읽어서 재생한다. 도 2의 (f)에서 재생 순서를 표현하면, 1-2'-3-4'-5-6'-7-8' 순으로 데이터를 읽고 스테레오로 만들어서 출력한다. 가사 미리 불러 주기 기능을 동작시키면서 반주음악을 청취하고 싶을때는 R채널만 채널 생성기에서 스테레오로 만들어 출력한다. 도2의 (f)에서 재생 순서를 표현하면, 1'-2'-3'-4'-5'-6'-7'-8'의 순서로 데이터를 읽고 스테레오로 만들어서 재생된다. 가사 미리 불러 주기 기능을 on 한 상태로 가수 음성이 포함된 음악을 재생하려면, 가사 음성신호와 MR이 혼합된 R채널을 먼저 재생하고, 다음으로 가사가 포함된 구간에서는 L 채널을 재생한다. 가수 음성이 나타나지 않는 곳에서는 MR음악과 가수 음성이 들어 있는 음악이 동일하므로 도2의 (f)에서 1'-2-3'-4-5'-6-7'-8의 순서로 재생한다.

코러스기능을 가지는 노래 반주기처럼 동작하기 위한 재생기의 제어 방법은 다음과 같다. 가사 미리 불러 주기 기능의 ON 여부에 관계없이 MR인 R-CH을 재생하고, 코러스가 필요한 부분에는 가수 음성이 있는 L-CH을 재생하고, 코러스가 필요 하지 않으면 다시 R-CH을 재생하여 가수의 음성을 노래 반주기의 코러스로 이용할 수 있다. 그리고 가수의 백 코러스(back-chorus) 음성은 대개 MR에 미리 삽입되어 있기 때문에 MR음악만 을 재생하더라도 코러스가 기능이 가능하다.

본 발명에서 사용된 MR 음악이 없다면, VOICE CUT 또는 devocalizer 알고리즘을 이용하여 가수 음성이 감소 및 삭제된 음악을 MR로 취급하여 사용할 수 있으며, 가사 미리 불러 주기 기능이 생략되면, 가수의 음성이 포함된 음악을 재생하면서 VOICE CUT 또는 devocalizer 알고리즘으로 임시 MONO 채널을 R 채널을 구성하면, 실시간으로 상기에 설명한 동작을 수행할 수도 있다.

자막 및 영상 동기 정보 분리기는 오디오 비트스트림 상에 포함되거나 별도로 저장된 자막 및 영상 동기 정보를 분리하고, 멀티미디어 재생기에 자막 및 영상 신호의 동기 제어신호를 입력하기 위한 장치이다. 동기정보는 시간 정보나 프레임에 관련된 정보 또는 비트스트림 상의 바이트 계수 값으로 할당 되어 있을 수 있다. 자막 동기 정보는 오디오 비트스트림을 멀티미디어 재생기에 입력하여 음악을 재생할 때, LCD를 포함하는 OSD장치에서 해당 자막을 표현하기 위한 동기 제어신호를 제공한다. 일례로, 오디오 비트스트림의 바이트 계수값으로 자막의 동기정보가 할당되어 있다면, 바이트 계수기 값을 증가시키면서 오디오 비트스트림을 재생할 때, 설정된 자막 동기 정보인 바이트 계수값과 바이트 계수기의 값이 일치하면 멀티미디어 영상 재생기에 자막을 표현하기 위한 제어 신호를 입력하여, 화면에 해당 자막을 표현한다.

영상 동기 정보는 멀티미디어 재생기가 음악을 재생할 때, LCD를 포함하는 OSD 장치에서 배경영상을 표현하기 위한 동기 제어 신호를 제공한다. 일례로, 오디오 비트 스트림의 바이트 계수값으로 영상의 시작 동기정보가 할당되어 있다면, 바이트 계수기 값을 증가 시키면서 오디오 비트스트림을 재생할 때, 설정된 영상 시작 동기 정보인 바이트 계수값과 바이트 계수기의 값이 일치하면 멀티미디어 영상 재생기에 해당 영상을 재생하기 위한 제어 정보를 입력한다.

멀티미디어 재생기는 음악과 영상을 포함하는 A/V 재생기로 오디오 비트스트림을 오디오 재생기(PCM 디코더, WAV 디코더, MP3 디코더, WMA 디코더, OGG 디코더, AAC 디코더 등)로, 영상 정보를 영상 재생기(MPEG1 디코더, MPEG2 디코더, DIVX 디코더 등)로 처리하며, 자막을 영상에 오버레이시켜 화면에 출력한다.

도 7은 일반적인 뮤직 비디오를 구성하는 압축 A/V 비트스트림을 나타낸 것으로, 뮤직 비디오 A/V를 구성하는 비트스트림은 내부에 영상 및 오디오 데이타로 구분되어 있으며, 영상과 오디오는 압축되어 있다. 따라서 여기에 본 발명의 최종 생성음원을 이용하면, 뮤직비디오를 하나의 노래반주기로 이용할 수 있게 된다.

도 8은 뮤직 영상의 무압축 비트스트림, 오디오 무압축 비트스트림, 오디오 비트스트림에 동기된 자막 동기 정보를 멀티미디어 엔코더로 입력하여 압축된 비디오 비트스트림을 생성하기 위한 엔코더 블럭도를 나타내는 것으로, 도 8의 입력 오디오 비트스트림은 본 발명에서 생성된 최종 음원이고, 입력 동기 정보 또는 동기 정보 파일은 자막 캡션에 대한 동기 정보로 오디오 비트스트림에 대하여 바이트 계수값으로 할당되어 있다. 그리고 입력 영상 비트스트림은 음성이 포함되어 있지 않은 영상 무압축 비트스트림을 나타낸다. MPEG이나 DIVX 등을 포함하는 멀티미디어 엔코더는 도의 A/V 비트스트림 형태로 데이터를 생성한다. 멀티 미디어 엔코더는 입력 영상 또는 오디오 비트스트림 버퍼로 부터 데이터를 입력받고, 멀티미디어 출력버퍼에 데이터를 넣을 때, 멀티미디어 비트력 바이트 계수기 값을 증가시킨다. 멀티 미디어 엔코더는 영상 비트스트림을 읽어 들여 비디오 프레임을 생성하고, 입력 오디오 비트스트림 버퍼로 부터 데이터를 읽어 들여 오디오 프레임을 생성한다. 멀티미디어 엔코더가 오디오 비트스트림 버퍼로 부터 데이터를 읽어 들일때, 오디오 비트스트림 바이트 계수기 값을 증가시키고, 오디오 비트스트림에 동기된 자막 동기 정보가 있다면, 현재 출력되고 있는 출력되는 멀티미디어 비트스트림의 바이트 계수기 값을 새로운 자막 동기 정보로 할당하여 A/V 비트스트림에 동기된 자막 동기 정보를 가진다.

도 9는 A/V를 포함하는 뮤직 비디오를 본발명의 예로 재생하기 위한 블럭도를 나타낸다. 생성된 A/V 비트스트림을 재생하기 위해 파일 시스템으로 A/V 비트스트림을 읽어 멀티미디어 비트스트림 버퍼로 입력하고, 이때 멀티미디어 비트스트림은 영상과 오디오로 분리되어, 멀티미디어 비트스트림 버퍼에서 영상 재생기나 오디오 재생장치로 데이터가 입력될 때 바이트 계수기 값을 증가시키는데, 이때 바이트 계수기 값과 자막 동기정보로 할당된 바이트 계수값이 동일하다면 자막을 컬러 링한다.

그리고 가수 음성만을 청취, 반주 음악 청취, 가사 미리 불러 주기 재생을 위해서는 본 발명의 상기에 설명한 재생 제어방법을 이용하면, 영상과 자막이 포함된 노래반주기를 쉽게 구현할 수 있다.

자막 동기 정보와 자막이 하나의 파일로 구성된 오디오 비트스트림과 영상이 MPEG, DIVX같은 A/V 비트스트림으로 구성되더라도, 멀티 미디어 재생기에서 영상과 오디오는 분리되고, 영상과 오디오가 동기되어 재생되므로 오디오 비트스트림의 바이트 계수기를 이용하면 오디오 비트스트림에 동기된 자막 데이터를 컬러링 하거나 화면상에 동기되어 표현할 수 있으며, 본 발명의 재생 제어 방법을 사용하면 뮤직 비디오의 영상에 일치하는 노래 반주기 능 및 가사 불러 주기 기능을 수행할 수 있다.

본 발명의 설명에서, R/L 채널을 음원에 대하여 고정하고, 동기 정보 할당도 바이트 계수기를 이용하는 방법으로 설명했다. 그러나 R/L에 대한 부분을 L/R로 교체하여 사용할 수 있으며, 동기 정보의 할당 방법은 시간정보나 압축 데이터의 프레임 정보 또는 프레임 내부에 포함하는 방법, ID3 TAG 정보 등의 방법이 사용될 수 있다.

이상에서 살펴 본 바와 같이 본 발명은 가수 음성이 포함된 음악과 반주 음 악, 가사 동기 정보와 가사 정보, 영상 동기 정보와 영상정보, 가사 음성 정보를 하나의 디지털 오디오 형태의 파일로 생성하고, 생성된 음원을 이용하여 가수 음성이 포함된 음원의 청취, 코러스 기능을 가지는 노래반주기, 노래가사 불러주기, 노래 가사 컬러링 등의 기능과 음반사에서 제작되고 있는 뮤직 비디오를 노래반주기 컨텐츠로 바로 사용할 수 있다. 즉 가수 음성이 포함된 음악과 반주 음악, 가사 정보, 영상정보, 노래 가사 음성 데이터를 하나의 디지털 오디오 포맷(PCM, MP3, WMA, OGG 등)으로 통합하고, 이를 재생할 때 반주음악, 가수 음성이 포함된 음악, 노래 가사를 불러 주는 음성을 별도로 청취할 수 있고, 3가지 음원 사이의 청취 전환시에 음질 손상이 없고, 음원 전환을 이용하여 코러스 기능을 구현할 수 있고, 가사 자막이 컬러링 될 수 있고, 음원의 통합 관리에 편리하고, 생성된 음원이 뮤직비디오에 삽입되면 뮤직비디오를 노래반주기처럼 사용할 수 있는 방법 및 장치를 제공한다.

Claims

통상의 음원 생성 및 재생 방법에 있어서, 하나의 디지털 오디오 비트스트림 파일 내부에 자막이나 영상에 대한 동기 정보를 삽입한 후, 상기 동기 정보를 이용하여 음원을 생성 및 재생하여 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능을 가능케 함을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.
제 1항에 있어서, 오디오 비트스트림 파일은 음원 분석 및 채널 분리기를 통해 입력된 음원을 분석한 후, 각 음원을 채널 별로 분리하는 제 1 단계; 음원 채널 믹서기를 통해 채널 데이터를 믹서하여 새로운 오디오 비트스트림(RO,LO)을 생성하는 제 2 단계; 동기 정보 할당기를 통해 자막 및 영상의 시작 동기 정보를 할당하는 제 3 단계; 가사 음성 삽입기를 통해 노래가사를 미리 불러 주기 기능을 삽입하는 제 4 단계; 채널 생성기를 통해 모노 채널을 스테레오 채널로 생성하는 제 5 단계; 채널 제어기를 통해 음원을 제어하고, 음악의 청취, 노래 가사 미리 불러 주기 기능을 수행하는 제 6 단계; 동기 정보 분리기를 통해 자막 및 영상의 동기 정보를 분리하는 제 7 단계; 멀티미디어 재생기로 영상과 오디오를 분리한 후, 동기 재생하는 제 8 단계;를 통해 생성 및 재생됨을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.
제 2 항에 있어서, 채널을 생성하는 제 5 단계에서는 스테레오 출력에 해당하는 공간감을 높이기 위하여 위상 필터나 3D 입체 음향에서 사용되는 공간 필터를 채용함을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.
제 2항에 있어서, 제 1 단계는 항상 제 2 단계에 선행되는 구조를 가지고, 제 3 단계는 항상 제 4 단계에 선행되는 구조를 가지는 전제 하에, 제 1 단계 내지 제 4 단계의 수행 단계가 가변됨을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.
제 2항에 있어서, 생성방법인 제 1 단계 내지 제 4 단계는 제 1 단계, 제 3 단계, 제 2 단계, 제 4 단계 순으로 진행되어짐을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.
제 2항에 있어서, 생성방법인 제 1 단계 내지 제 4 단계는 제 1 단계, 제 3 단계, 제 4 단계, 제 2 단계 순으로 진행되어짐을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.
제 2항에 있어서, 생성방법인 제 1 단계 내지 제 4 단계는 제 3 단계, 제 1 단계, 제 2 단계, 제 4 단계 순으로 진행되어짐을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.
제 2항에 있어서, 생성방법인 제 1 단계 내지 제 4 단계는 제 3 단계, 제 4 단계, 제 1 단계, 제 2 단계 순으로 진행되어짐을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.
제 2항에 있어서, 자막 및 영상의 동기 정보를 할당할 필요가 없을 경우에는 제 3 단계가 생략되고, 노래 가사 미리 불러 주기 기능이 존재하지 않을 경우에는 제 4 단계가 생략됨을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 방법.
통상의 음원 생성 및 재생장치에 있어서, 음원을 생성하는 생성장치와 생성된 음원을 재생하는 재생장치로 구성하되, 생성장치는 입력 음원을 분석한 후, 채널별로 분리하는 음원 분석 및 채널 분리기; 입력 음원의 채널을 믹서하는 음원 채널 믹서기; 자막이나 영상의 시작 동기 정보를 할당하는 동기 정보 할당기; 노래가사를 미리 불러 주는 가사 음성 삽입기;로 형성하고, 재생장치는 채널을 스테레오로 생성하는 채널 생성기; 생성된 음원을 제어하는 채널 제어기; 자막 및 영상의 동기 정보를 분리하는 동기 정보 분리기; 영상과 오디오를 동기 재생하는 멀티미디어 재생기;로 형성됨을 특징으로 하는 하나의 파일로 일반 음악, 반주 음악, 가사 미리 불러주기, 코러스 기능, 뮤직비디오 제작이 가능한 음원 생성 및 재생 장치.