KR100573219B1 - 위치정보를 이용한 자막, 정지영상, 동영상의 동기화생성/재생방법 및 그 장치 - Google Patents

Abstract

본 발명은 압축여부에 관계없이 비트 스트림(bitstream) 형태로 재생되는 오디오 파일 포맷(wav, MP3, wma, ogg, asf 등), 오디오 재생을 위한 연주정보 인터페이스 파일 포맷(MIDI), 그리고 비트 스트림 형태로 재생되는 영상과 오디오 데이타가 복합된 파일 포맷(wmv, mpeg4, mpeg2, mpeg1 등)에 대하여 자막 캡션 동기화를 위한 동기화 생성방법과 그 장치에 관한 것으로, 비트별로 해당 위치정보를 입력하고 비트 스트림 파일 포맷이나 인터페이스 파일 포맷 또는 멀티미디어 파일 포맷 등과 같은 다양한 형태의 파일 포맷에 자막 캡션을 동기화하여 속도가변이나 급속이송, 새로운 멀티미디어 파일 포맷에 쉽게 수정될 수 있게 함으로써, 휴대용 기기 및 컴퓨터 시스템을 포함하는 기계 장치에서 생성된 동기화 정보를 이용하여 컴퓨터 노래반주기처럼 속도 가변 여부에 관계없이 오디오가 재생될 때 자막이 동기되어 정확하게 오디오에 따라 트래킹 또는 컬러링될 수 있는 편리한 동기화 생성방법과 그 장치에 관한 것이다.

본 발명에서는 위치정보를 할당하는 제 1 단계, 정보의 크기를 조정하는 제 2 단계, 새로운 비트 스트림을 구성하는 제 3 단계를 거쳐 각각 인터페이스 파일 포맷(MIDI)과 비트 스트림 파일 포맷을 동기화 생성 및 재생하는 방법과; 동기화 생성 입력부, 파일시스템의 버퍼 및 버퍼정보, 데이타 재생기, 계수기, 위치정보 할당기의 조합으로 형성된 동기화 생성기와; 동기화 재생기 입력부, 파일시스템 버퍼정보, 계수기, 재생기 버퍼, 동기화 위치정보 비교기의 조합으로 형성된 동기화 재생기가 제공된다.

미디파일, 오디오 파일, 멀티미디어 파일 포맷, 자막 캡션, 동기화, 위치정보, 비트스트림, 컴퓨터 노래반주기, 트래킹, 컬러링.

Description

위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성/재생방법 및 그 장치{The device and the method of synchronization generation and regeneration of a caption, a stop display and a dynamic display use of a location information}

도 1은 미디 정보를 나타내는 예시도

도 2는 MP3 포맷의 오디오 데이타에 대한 bitstream의 구조도

도 3은 MP3 비트스트림에서 프레임의 내부 구조도

도 4는 자막 캡션에 이용되는 데이타를 삽입하는 예시도

도 5는 비디오 CD에 포함된 데이타 구조도

도 6은 비디오 CD에서 비디오 섹터와 오디오 섹터의 배열 예시도

도 7a는 비디오 CD 형태에서 비디오 섹터 V10에 대한 자막 컬러링의 예시도

도 7b는 비디오 CD 형태에서 비디오 섹터 V11에 대한 자막 컬러링의 예시도

도 7c는 비디오 CD 형태에서 비디오 섹터 V12에 대한 자막 컬러링의 예시도

도 7d는 비디오 CD 형태에서 비디오 섹터 V13에 대한 자막 컬러링의 예시도

도 7e는 비디오 CD 형태에서 비디오 섹터 V14에 대한 자막 컬러링의 예시도

도 8은 MIDI FILE HEADER와 다중 트랙의 구조도

도 9는 MIDI 동기화 생성기를 도시한 블록도

도 10은 비트스트림 형태로 재생가능한 오디오 파일에 대한 동기화 생성기 블록도

도 11은 오디오 파일에 대한 바이트의 연속인 비트 스트림을 도시한 예시도

도 12는 멀티미디어 파일 포맷의 동기화 생성기 블록도

도 13은 오디오와 영상이 복합된 파일 포맷에 대한 동기화 생성방법 예시도

도 14는 정지영상 및 동영상을 오디오 데이타에 동기화 생성을 위한 예시도

도 15는 자막 및 정지영상 동기화 데이타의 포맷에 대한 예시도

도 16은 연주정보 인터페이스 파일 포맷에 대한 동기 재생기 블럭도

도 17은 오디오 파일 포맷에 대한 동기화 재생기 블럭도

도 18은 압축된 오디오 비트스트림 재생시 전후 급속 이동에 대한 예시도

도 19는 멀티미디어 파일 포맷에 대한 동기화 재생기 블럭도

본 발명은 압축여부에 관계없이 비트 스트림(bitstream) 형태로 재생되는 오디오 파일 포맷(wav, MP3, wma, ogg, asf 등), 오디오 재생을 위한 연주정보 인터페이스 파일 포맷(MIDI), 그리고 비트 스트림 형태로 재생되는 영상과 오디오 데이타가 복합된 파일 포맷(wmv, mpeg4, mpeg2, mpeg1 등)에 대하여 자막 캡션 동기화 를 위한 동기화 생성방법과 그 장치에 관한 것으로, 비트별로 해당 위치정보를 입력하고 비트 스트림 파일 포맷이나 인터페이스 파일 포맷 또는 멀티미디어 파일 포맷 등과 같은 다양한 형태의 파일 포맷에 자막 캡션을 동기화하여 속도가변이나 급속이송, 새로운 멀티미디어 파일 포맷에 쉽게 수정될 수 있게 함으로써, 휴대용 기기 및 컴퓨터 시스템을 포함하는 기계 장치에서 생성된 동기화 정보를 이용하여 컴퓨터 노래반주기 처럼 속도가변 여부에 관계없이 오디오가 재생 될 때 자막이 동기되어 정확하게 오디오에 따라 트래킹 또는 컬러링 될 수 있는 편리한 동기화 생성방법과 그 장치에 관한 것이다.

종래의 기술에서 자막 캡션을 동기화를 수행하기 위한 방법은 크게 다섯가지로 나누어지며, 파일 포맷에 따라 자막 캡션을 수행하는 방법은 상이하다.

첫째로, 연주정보인 MIDI에서 가사 track을 별도로 할당하는 방법으로 track 내부에 자막 캡션을 직접 삽입하는 방법; 둘째로, 연주정보인 MIDI에서 가사 트랙에 자막 한개의 문자에 하나의 LINK정보를 삽입하고, 가사는 별도의 텍스트 파일로 저장하는 방법; 세째로, MP3와 같은 오디오 비트스트림 형태에서 재생시의 시간 정보를 별도로 저장하거나, 재생 시간 정보를 텍스트 파일에 통합시키는 방법; 네째로, MP3와 같은 비트스트림 형태의 파일 포맷에서 알고리즘을 분석하여, 비트스트림 중에서 재생시 사용되지 않는 여분의 비트를 자막 문자 데이타로 교체하는 방법; 다섯째로, 오디오와 영상정보가 혼합된 CD가라오케 같은 멀티미디어 파일 포맷에서 영상 화면 프레임 데이타에 자막 캡션을 영상으로 삽입하는 방법이다.

상기와 같은 종래 기술에 대해 좀 더 상세히 살펴보면,

먼저 첫번째와 두번째는 자막 캡션기술로 대변되는 컴퓨터 노래반주기인(는) MIDI라는 연주 정보 파일로 구성된다. MIDI 자체는 음악이 아니라 연주정보를 포함하는 것으로, 어떤 악기를, 어떤 길이로, 어떻게 연주할 것인가를 지칭하는 제어 파일이며, 음악 파일과는 별도로 구분된다. 한 개의 악기에 할당된 연주정보를 트랙이라 한다. 상기의 방법은 악보상에 표현되는 가사를 하나의 악기로 간주하고, 연주 길이를 음표의 박자로 할당한다. 첫번째는 MIDI 포맷을 구성하는 트랙의 악보에 맞추어 가사나 자막 캡션 트랙을 별도로 할당하고, 자막 캡션 트랙에 직접 가사를 삽입하고 있다. 두번째는 별도로 구성되는 자막 트랙에 가사를 직접 삽입하지 않고, 해당 자막 문자를 표현하는 특수 문자(일반적으로 "-")와 연주 길이 정보를 트랙에 할당하고, 특수문자와 외부 텍스트 파일에 포함된 문자와 일대일 맵핑하여 미세한 문자 트래킹이 가능하도록 하는 방법이다. 상기의 방법은 자막 캡션을 위한 악보 정보를 알고 있어야만 가능하다. 또한 MIDI의 경우, 악보에 표현된 각각의 음표에 대하여 전문가에 의해 많은 수 작업을 필요로 할 뿐만 아니라, 원곡과는 달리 편곡이 되는 경우가 많으며, 자막 캡션에 대한 정보는 MIDI의 고유 포맷을 유지하고 있어서, 동기화가 맞지 않을 경우에는 MIDI 전문가가 아니면 작업하기에 많은 애로점이 있다.

도1은 MIDI 정보를 나타낸 예시도로, MIDI 정보는 내부에 악기에 따라 트랙의 형태로 구성된다. MIDI의 비트스트림 구조는 미디 헤더로 시작되며, 예시도에 도시된 바와 같이 13개의 트랙으로 구성된다. 즉 아래로 구분되는 갯수를 트랙이라 하고, 2번째 트랙에는 자막 캡션에 필요한 연주정보가 들어 있다. 각각의 트랙은 channel/patch/bank/name 등의 정보와 해당 악기의 연주정보가 들어 있다. 예시도의 2번째 트랙("word")의 오른쪽에는 자막에 대한 연주 정보를 나타내었다. 연주정보를 보면 한개의 막대당 하나의 글자가 지정되고, 막대정보는 한 글자의 시작정보를 나타내며, MIDI 데이타 내부에 자막 컬러링 지속정보를 마디, 음표, 박자수로 표현한다. MIDI와 같은 형태의 연주정보 파일에서 자막 캡션을 이용하기 위해서는 MIDI 파일 포맷 및 제작 형태에 대해 알고 있어야 동기화 작업이 가능하다.

종래 기술의 세번째와 네번째 방법은 오디오 비트 스트림의 형태에서 나타나는 자막 캡션 동기화 방법으로, 압축 오디오인 MP3의 자막 캡션 동기화 방법 및 종래 기술에 대하여 설명하면,

먼저 MP3 포맷에 대하여 간략하게 설명하면 다음과 같다.

파일시스템을 이용하여 컴퓨터나 기기장치에 저장된 MP3 파일을 비트스트림으로 표현하면 도 2에 도시된 바와 같은 포맷으로 구성되어 진다.

도2에서 압축된 MP3는 Header Frame이라는 프레임을 구분하는 지시자와 데이타로 구성되고, Header Frame에는 프레임의 시작이라는 sync 정보와 복원에 필요한 각종 알고리즘 정보를 포함하는 Info가 있다.

대개의 비트 스트림 형태로 재생되는 멀티미디어용 파일은 프레임 단위로 세분화 된다. 프레임은 비트스트림을 구성하는 기본 단위로서 개개의 프레임은 독립 된 형태의 정보를 가지고 있으며, 정보의 복원에 필요한 주요 정보는 프레임 헤더에 저장되어 있다.

이와 같은 MP3의 프레임 헤더 정보를 살펴보면,

1. syncword

syncword는 0xfff로 구성, frame의 시작을 표현. layer-1,2,3과 동일한 형태

2. frame information

Frame information은 다음과 같은 정보로 구성된다. 각종 알고리즘에 따라 다양한 frame information을 가지고 main text를 해석하면 정상적인 오디오가 재생된다.

ID[1 bit] : 1 - MPEG Audio, 0 - reserved

Layer[2 bit] : 00 - Layer Ⅰ, 10 - Layer Ⅱ

01 - Layer Ⅲ, 11 - reserved

protection bit[1 bit] : 에러 정정 부호의 사용 여부를 나타내는 비트

0 - CRC check, 1 - reserved

bitrate index[4 bit] : 비트 율을 나타낸다.

sampling frequency[2 bit] : 00 - 44.1 Khz, 01 - 48 Khz

10 - 32 Khz, 11 - reserved

padding bit[1 bit] : 샘플링 주파수가 44.1 Khz일 때만 평균 비트 율을 맞추기 위해 padding bit이 1이 되며 그 외는 0이다.

private bit[1 bit]

mode[2 bit] : 00(stereo), 01(joint stereo), 10(dual ch), 11(single ch)

mode extension[2 bit] : joint stereo의 경우에만 사용되고 다음 밴드를 제외한 모든 밴드가 스테레오로 부호화 된다.

00 - 4에서 31 서브밴드

01 - 8에서 31 서브밴드

10 - 12에서 31 서브밴드

11 - 16에서 31 서브밴드

copyright[1 bit] : 0(no copyright), 1(copyright protect)

original[1 bit] : 0(copy), 1(original)

emphasis[2 bit] : 00(no emphasis), 01(50/15 usec. emphasis), 10(reserved), 11(CCITT J.17)

4. side information

main_data_begin [9 bit] : frame의 main data가 시작하는 위치를 지정

private_bits [5, 3 bit]: 개인용도 bit

scfsi[scfsi_band] [1 bit] : scale factor의 유무

part2_3_length [12 bit]: scale factor와 huffman code의 데이타

global_gain [8 bit] : requantization을 할 때의 qauntizer step을 지정

scalefac_compress [4 bit] : scale factor를 전송하는데 사용되는 bit 수

subblock_gain [3 bit] : global gain에서 각 subblock들의 gain offset

preflag [1 bit]: 고주파 성분을 증폭시킬지 여부를 결정

scalefac_scale [1 bit] : 양자화시에 step size를 결정

scalefac_scale = 0 : stepsize sqrt(2), scalefac_scale = 1 : stepsize 2

종래의 기술의 세번째 방법에서는 실제 재생 시간정보가 자막 캡션 동기화의 기준이 된다. 실제 재생 시간을 계산하기 위해서는 프레임수와 프레임에 포함된 프레임 헤더 정보들을 해석해야 재생 시간을 알 수 있다. 즉, 처음부터 혹은, 특정한 위치부터의 프레임수와 헤더 정보를 계산하고, 이를 실제 복원 재생 시간으로 환산하고, 재생시간 정보 테이블을 만들어서 외부 텍스트 파일과 일대일 맵핑하거나, 재생시간 정보를 자막 캡션 데이타와 혼합하면, 재생시간 정보를 포함하는 자막 캡션 동기화를 수행할 수 있다. 상기의 재생시간 정보는 해당 오디오 파일의 실제 재생 시간이나 복원된 비트 스트림의 샘플수 등으로 표현된다. 아래 표 1은 현재 WINAMP라는 응용 오디오 재생기에서 지원하고 있는 LRC라는 동기화 정보의 예시도이다.

시간 테이블	가사 및 자막
[ti:먼훗날]	(제목)
[ar:박정운]	(가수)
[al:추억만들기 4집]	(앨범)
[la:ko]	(언어)
[00:14]	잊으려 잊으려 해도 잊을 수 없는 그 얼굴
[00:28]	지우려 지우려 해도 지울 수 없는 그 이름
[00:42]	이별을 아쉬워하며
. . . .	. . . .
[04:03.91]	먼훗날에 너를 다시 만나며
[04:10.60]	사랑했다 말을 할꺼야

재생시간 정보를 자막 캡션 데이타와 혼합하는 방법은 일반적인 기계 장치에서 Fast Forward/Fast Rewind 기능을 실행하거나, 현재 재생 위치에서 앞/뒤로 급속 이송하여 재생하거나, 컴퓨터 프로그램 상에서 임의의 위치로 이동하여 재생하거나, 파일이 다양한 비트률로 압축되어 있거나, MP3 재생 속도를 가변할 경우에 해당 MP3 부분의 재생시간 정보를 즉시 알 수 없으므로, 동기화가 어려울뿐만 아니라 재생시간 정보를 계산하기 위하여 많은 시간이 소모되므로 오차가 발생한다. 또한 대개의 오디오 압축 파일 포맷의 경우에 오디오 정보량에 따라 압축 비율이 다르므로, 압축된 파일의 급속 이송이 발생할 경우에는 MP3의 경우처럼 압축된 오디오 파일의 처음부터 해당하는 지점까지의 모든 프레임 헤더 정보를 해석해야만 해당 위치의 재생 시간 정보를 정확하게 알 수 있다. 상기의 프레임 헤더 정보는 다양한 주파수, 비트율, 압축율, 채널 수 등의 변수를 가지므로 많은 계산량과 하드웨어 자원을 필요로 한다. 이러한 방법은 처음 혹은 특정한 위치로부터의 프레임수를 계산하지 못할 경우 정확한 동기화 위치를 찾지 못하는 단점이 있다. 또한 상기 의 설명과 같이 개개의 프레임 헤더 정보는 복잡하고, 이를 계산하기 위해서는 알고리즘의 정확한 이해와 연산에 많은 컴퓨터 자원과 시간이 소모된다. 그러므로, 종래의 기술로는 컴퓨터 노래반주기와 같이 실시간으로 동기화하는 방법에 어려움이 있다.

종래의 기술의 네번째 방법은 MP3 파일 비트스트림을 분석하여 복원에 사용되지 않는 여분의 정보 비트를 이용하는 방법으로 다음과 같다. MP3 비트스트림에서 프레임의 내부 구조는 도3에 도시된 바와 같이 내부에 ancilliary data라는 여분의 정보 공간을 가지고 있으므로, ancilliary 공간 내부에 도4와 같이 자막 캡션에 이용되는 데이타를 삽입할 수 있다. 이렇게 삽입된 자막 캡션정보는 프레임이 재생되는 동안 자막 캡션 동기화를 수행하므로, 정확한 동기화를 수행할 수 있다. 그러나 이렇게 저장된 디지털 컨텐츠를 다른 파일포맷으로 변경하는 것이 불가능하지는 않지만 많은 시간과 비용이 소모된다. 또한 향후 새로운 파일 포맷이 생길 때 마다 자막 캡션 동기화를 수행하기 위해서는 파일의 비트스트림 상에서 재생에서 사용하지 않는 여분 비트를 찾기 위해 알고리즘을 분석해야만 하는 어려움이 있다.

종래 기술의 다섯번째 방법은 오디오와 영상 데이타가 혼합된 멀티미디어 파일에서 사용하는 방법으로, 주로 비디오 CD 또는 가라오케 CD에 사용되었다.

비디오 CD나 가라오케 CD에 대하여 간략히 설명하면,

CD-ROM에 압축한 영상과 오디오 신호를 기록하고 1시간 이상의 디지털 동영 상을 실현한 시스템이 비디오 CD, 가라오케 CD 또는 CD-I/DV(COMPACT DISC-INTERACTIVE/DIGITAL VIDEO)라고 부르며, 비디오 CD에 포함된 데이타 구조의 도 5에 도시되어져 있다. 이들은 이름은 서로 다르나 CD에 압축한 영상과 오디오 신호를 기록하고 재생하는 원리는 동일하다. 영상이나 오디오 신호의 정보압축(부호화)에 관한 연구는 오래 전부터 왕성하게 행해져 왔지만, 디지털 동영상과 오디오의 압축 부호화에 관한 국제 표준을 일반적으로 MPEG이라 한다. 비디오 CD나 디지털 비디오 가라오케에서도 동영상이나 오디오 신호에는 MPEG 정보 압축 기술을 사용하고 있다.

재생시간이 중요한 요소가 되는 비디오 CD에서는 음악 CD와 같은 74분간의 재생시간을 얻기 위해서 데이타 전송률이 표준치만으로 되어 있다. 따라서 비디오 CD에서는 데이타 전송률이 최고 1.4MPBS라고 하는 엄격한 조건하에서 영상과 오디오 신호를 기록 재생하지 않으면 안된다. 한정된 전송률에서는 비디오와 오디오에 어떤 비율로 부호량을 배분할 것인지가 시스템 품질을 좌우하는 중요한 요소가 된다.

비디오 CD에서는 먼저 오디오의 부호량을 결정한다. 부호량 32KBPS~448KBPS 가운데서 음질을 최우선하면서 복호측의 하드웨어 규모를 고려하여 224KBPS를 선택한다. 이 부호량은 음악 소프트웨어 제작 현장의 전문가에 의한 여러번의 음질 평가 실험의 결과에 근거한 것인데, 대부분의 음악에 대하여 CD 상당의 음질을 얻을 수 있다. 오디오의 부호량이 정해지면 뒤에 기술한 MPEG 비트열의 기록포맷에 의해 오디오 섹터의 점유율(약 16.4%)이 정해지고, 그 나머지가 비디오 섹터가 되므로 비디오의 압축 부호량은 약 1.15MBPS라 하는 값이 산출되며, 해당구조는 도6에 나타내었다. 도6의 구조에서 비디오 섹터와 오디오 섹터의 순서는 변형이 가능하다. 비디오 CD에서 자막 캡션은 오디오 데이타 영역에 해당하는 자막을 배경영상과 자막 컬러링된 데이타를 하나의 화면에 삽입되어 있다. 예를 들어 설명하면, 도6에 나타낸 것 처럼, Vsy(비디오 동기 섹터)와 Asy(오디오 동기섹터)가 나타난 후에, V10, V11, V12, V13,V14의 영상 데이타에 A1에 해당하는 자막 컬러링 데이타를 삽입하는 방법이다. 만약 A1의 오디오 데이타가 "ABCDE"라 가정하면, V10,V11,V12,V13,V14 영상 데이타는 도7의 (a) V10의 예시도, (b)V11의 예시도, (c) V12의 예시도, (d) V13의 예시도, (e) V14의 예시도 처럼, 배경이미지, "ABCDE"라는 이미지와 "ABCDE"의 컬러링 이미지를 복합한 영상 데이타를 가진다. 그래서 급속이송이나 임의 위치 이동, 속도가변등에서 자막 캡션 트래킹이 가능하다. 그러나 한번 고정된 디지털 컨텐츠를 새로운 멀티미디어 파일 포맷에 적용하기는 장비,시간, 소모 비용이 높다. 또한 콘텐츠 공급자가 아니면 동기화 작업을 하는 것은 원천적으로 불가능하다.

이상에서 살펴 본 바와 같이 종래의 자막 동기화 방법은 전/후 급속 이송 재송, 임의의 위치로 이동 재생, 속도가변에 따른 자막 캡션 트래킹이 지원되지 않을 뿐만 아니라, 동기화 방법이 어려워 전문가를 통한 작업을 필요로 하고, 동기화에 따른 시간과 비용이 많이 소모되는 등 여러가지 문제점이 발생되었다.

본 발명의 목적은 종래의 이와같은 문제점을 해소하고자 한 데 있는 것으로, 비트스트림 형태로 재생 가능한 오디오 및 멀티미디어 파일 포맷과 연주 정보를 가지는 인터페이스 파일 포맷에 대하여, 비트 스트림 형태로 재생되는 파일 포맷의 비트 스트림 "위치정보", 재생 연주 정보를 가지는 인터페이스 파일 포맷의 틱 "위치정보"를 추출하여 해당하는 자막의 위치정보로 할당함으로써, 파일 비트 스트림의 어떤 위치에서 재생이 되더라도 재생되는 비트스트림의 위치 정보를 알고 있어 자막 캡션이 트래킹될 수 있는 동기화 생성/재생방법 및 그 장치를 제공코자 하는데 그 목적이 있다. 즉, 휴대용 기기 및 컴퓨터 시스템을 포함하는 기계 장치에서 생성된 동기화 정보를 이용하여 컴퓨터 노래반주기처럼 속도가변 여부에 관계없이 파일이 재생될 때 자막이 정확하게 동기되어 자막 캡션이 트래킹 또는 컬러링 될 수 있으므로, 전/후 급속 이송 재송, 임의의 위치로 이동 재생, 속도가변에 따른 자막 캡션 트래킹을 지원할 수 있고, 구축된 디지털 콘텐츠를 쉽게 수정할 수 있게 된다. 또한 다양한 파일 및 압축 포맷으로 구성되는 멀티미디어 정보에서 새로운 포맷(WMA, OGG VOBIS 등)이 추가 될때 마다, 새로운 알고리즘과 파일 포맷을 분석하지 않고, 많은 시간과 높은 소모비용을 지불하지 않으면서 기존의 디지털 컨텐츠를 손쉽게 바꿀 수 있게 된다.

본 발명에서 연주정보인 인터페이스 파일 포맷(MIDI)을 동기화 생성/재생하는 방법은, 인터페이스 파일 포맷의 틱 계수기 값을 이용하여 틱 위치정보를 할당하는 제 1 단계; 상기 할당된 틱 위치정보를 이용하여 정보 크기를 조정하는 제 2 단계; 위치정보에 관련된 동기 정보와 자막 캡션을 별도로 저장하여 동기화된 새로운 비트 스트림을 구성하는 제 3 단계;를 거쳐 이루어짐을 특징으로 한다.

삭제

본 발명에서 비트 스트림 형태로 재생되는 파일 포맷을 동기화 생성/재생하는 방법은, 비트 스트림의 바이트 계수기 값을 이용하여 비트 스트림 위치정보를 할당하는 제 1 단계; 상기 할당된 비트스트림 위치정보를 이용하여 정보 크기를 조정하는 제 2 단계; 위치정보에 관련된 동기 정보와 자막 캡션을 별도로 저장하여 동기화된 새로운 비트 스트림을 구성하는 제 3 단계;를 거쳐 이루어짐을 특징으로 한다.

삭제

상기에서, 제 1 단계에서 위치정보는 시작 위치정보 내지 시작 위치정보와 끝 위치정보이다.

상기에서, 제 2 단계에서는 위치정보의 배수 내지 시작 위치정보와 끝 위치정보간의 차이 정보를 이용하여 정보 크기를 조정할 수도 있다.

상기에서, 제 3 단계에서는 동기 정보와 자막 캡션을 혼합 내지 MIDI 파일에 통합할 수도 있다.

상기에서, 제 3 단계에서는 파일의 시작부분부터 파일 재생부분의 파일 비트스트림의 위치정보를 저장하고, 급속 이송에 있어서 파일 재생부분의 파일 비트 스트림 상의 위치정보와 급속 이송된 비트 스트림의 변화량에 대하여 전진 급속 이송일 경우 파일 비트 스트림 상의 위치정보와 비트 스트림 변화량을 가산하고, 후진 급속 이송일 경우 파일 비트 스트림 상의 위치정보에서 비트 스트림 변화량을 감산하는 것과 같이 덧셈 및 뺄셈의 연산을 수행하여 동기화를 수행하며, 오디오 속도 가변시에 속도 가변에 해당하는 절대위치를 가변 속도에 따라 자막으로 표현한다.

동기화 생성기는 오디오 파일 포맷, 오디오 연주정보 포맷, 오디오 및 영상 정보가 혼합된 멀티미디어 파일 포맷을 읽어서 비트 스트림을 형성하는 동기화 생성 입력부; 각 파일 포맷에서 읽은 비트 스트림을 저장하는 파일시스템의 버퍼 및 버퍼정보; 버퍼에 저장된 데이타를 재생시키는 데이타 재생기; 틱이나 바이트의 수효를 측정하는 계수기; 계수기에서 측정된 값으로 위치정보를 할당하는 위치정보 할당기;의 조합으로 형성됨을 특징으로 한다.

동기화 재생기는 인터페이스 파일 포맷이나 비트 스트림을 입력하는 동기화 재생기 입력부; 동기화 재생기 입력부를 통해 입력된 인터페이스 파일 포맷이나 비트 스트림을 저장하는 파일시스템 버퍼정보; 틱이나 바이트의 수효를 측정하는 계수기; 파일시스템의 버퍼정보를 이용하여 이송된 데이타를 정렬하는 재생기 버퍼; 계수기의 값과 자막, 정지/동영상 데이타의 동기화 위치정보를 서로 비교하는 동기화 위치정보 비교기;의 조합으로 형성됨을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세하게 설명하면 다음과 같다.

일반적으로 컴퓨터 기기장치는 응용 프로그램, 오퍼레이팅 시스템, 저장장치 를 포함하는 하드웨어 시스템으로 구성되며, 데이타와 제어정보의 흐름은 응용프로그램과 오퍼레이팅 시스템, 오퍼레이팅 시스템과 하드웨어 시스템간의 양방향으로 구성된다. 응용 프로그램은 컴퓨터 장치에서 볼 수 있는 미디어 재생기로 프로그램 사용자 인터페이스를 통하여 파일 읽기, 파일 저장, 재생, 정지, 일시정시, 급속 이송, 속도 가변 등의 많은 기능을 수행한다. 만약 응용프로그램을 통하여 재생할 파일 읽기를 수행하면, 프로그램 사용자 인터페이스로 입력된 값은 오퍼레이팅 시스템내의 파일 시스템을 통하여 하드웨어 시스템인 저장장치 곳곳에 분포한 데이타를 읽어서, 일렬의 비트 스트림 형태로 버퍼에 저장하고, 저장된 버퍼의 값을 응용프로그램이 재생하고, 재생된 데이타를 다시 오퍼레이팅 시스템으로 보내고, 오퍼레이팅 시스템은 데이타를 하드웨어 시스템인 오디오 장치나 영상장치로 데이타를 보내어 출력하는 구조로 되어 있다. 본 발명에서 사용되는 동기화 생성기 및 동기화 재생기는 입출력이 가능한 응용프로그램과 오퍼레이팅 시스템의 내부에 포함된 파일시스템 및 하드웨어 시스템으로 구성되며, 컴퓨터상의 프로그램이나 컴퓨터를 포함하는 기기 장치 및 휴대용 기기로 구현된다.

휴대용 재생기를 포함하는 컴퓨터 기기 장치에서 디지털로 구성된 데이타의 동기화 생성 및 재생은 데이타를 구성하는 비트의 모임인 파일이라는 자료구조를 통해서 이루어진다. 개념적으로 파일은 바이트의 연속에 End-Of-File 마크가 딸려 있는 형태지만, 실제로는 디스크나 테이프 또는 주 기억 장치에 있는 데이타 블럭들의 조합으로서 한 파일이 구성된다. 모든 파일들은 프로그램에서 그 파일을 다루 기 위해서 각각의 이름을 가지고 있는데, 이들은 오퍼레이팅 시스템 내부에 파일 시스템이라고 부르는 보다 큰 자료 구조의 한 부분들로 되어 있다.

파일을 액세스하는 시스템은 복잡도의 차이는 있지만 내부에 파일시스템을 탑재하고 있다. 파일 시스템은 유닉스, 리눅스, MS사의 FAT, NTFS, 사용자 정의 파일 시스템 등의 다양한 형태로 표현될 수 있지만, 파일 시스템의 구조는 대동 소이하다. 파일은 파일 시스템 내에서의 몇개의 자료 블럭들로 이루어지며, 각각의 자료 블럭에는 사용자가 원하는 형태의 수행 가능한 이진 코드나 텍스트의 내용이 들어 갈 수 있다. 파일의 내부 구조는 단지 그것을 조작 하고자하는 프로그램에 의해서만 바꿜 수 있으며, 파일에 담겨져 있는 내용과 파일의 이름에는 아무런 연관이 없고, 각 파일 뒤에 첨가된 확장자(.TXT 또는 .MP3)는 파일의 성질을 구분하기 위해 사용된다. 파일 시스템을 이용한 파일의 입출력 관리는 다양한 메모리 공간에 분포된 데이타를 디스크에 수록된 구조나 위치에 관계없이 시스템 작업환경 내에서 한 줄로 늘어선 비트 스트림 형태로 작업할 수 있도록 버퍼링 작업을 해주는 것이다. 이것으로 인해서 사용자는 파일을 단순히 바이트들의 연결된 형태로 간주 할 수 있다. 즉 시스템에서 한 파일은 자료블럭으로 나누어져 디스크상의 여기 저기에 저장되지만, 사용자에게 파일은 논리적으로 저장된 모든 바이트들이 한 줄로 연결된 비트 스트림의 형태로 보여진다. 다시 말해서 사용자는 한 파일의 내부적 저장구조에 직접 신경쓰지 않아도 파일을 조작할 수 있다. 파일 시스템에 의해서 읽혀진 파일은 비트스트림 형태로 프로그램에 의해 재생된다.

파일 시스템에서 읽혀진 파일은 버퍼링을 통하여 하나의 비트스트림 형태로 구성된다. 비트 스트림은 파일외의 다른 시스템 변수나 다른 파일과는 무관하게 구성된다. 또한 비트 스트림은 컴퓨터나 기기장치에서 비트 또는 바이트 단위로 액세스 가능하고, 파일 단위의 액세스를 위하여 시스템 내부적으로 파일포인터를 가지고 있다. 상기에서 명기한대로 파일 시스템은 저장 장치의 여기저기에 분포하고 있는 실제 데이타를 논리적으로 하나의 비트 스트림으로 연결하기 위한 것으로, 파일 시스템으로 구성되는 파일들은 파일 포인터라는 함수를 통하여 입/출력/파일내부의 데이타 처리가 제어되고 있다.

본 발명에서 위치 정보를 이용한 자막 동기화 생성기의 동기화 생성 방법은 비트 스트림 파일 포맷으로 재생 가능한가 아니면 인터페이스 파일 포맷으로 재생 가능한가에 따라 두가지로 구분될 수 있다.

연주 정보 인터페이스 파일 포맷인 MIDI는 대개 다중 트랙으로 구성되고, 상기 각각의 트랙은 상기에서 기술한 것처럼 악기, 연주길이, 연주의 세기 등을 나타내고 있으며, 파일 시스템으로 파일을 읽을 때 도8처럼 MIDI FILE HEADER와 다중 트랙이 한줄로 놓여진다. 각각의 트랙 내부는 시간의 추이에 따라 비트스트림 형태를 가지고, MIDI 재생기는 다중 트랙을 병렬로 처리한다. 즉, 상기의 도8처럼 SLOT의 한 시점에 나타나는 다양한 악기가 동시에 연주되어 몇개 트랙의 악기음이 동시에 연주되어 음을 합성하는 구조로 되어 있다. 따라서 연주정보 인터페이스 파일 포맷인 경우에는 시간의 진행에 따라 비트스트림 형태로는 재생이 불가능하다.

본 발명의 일실시예로서 연주정보인 인터페이스 파일 포맷(MIDI)을 동기화 생성 및 재생하는 방법에 대해 단계별로 살펴보면,

먼저 제 1 단계에서는 해당 자막의 삽입 위치에 해당하는 인터페이스 파일 포맷의 틱 계수기 값을 이용하여 시작 위치정보 또는 시작 위치정보와 끝 위치정보을 할당한다. 제 2 단계에서는 할당된 파일 비트 스트림 위치정보나 위치정보의 배수, 혹은 시작 위치정보와 끝 위치정보간의 차이 정보를 이용하여 정보 크기를 조정한다. 마직막으로 제 3 단계에서는 위치정보에 관련된 동기 정보와 자막 캡션을 별도로 저장하거나, 혼합하거나, 멀티미디어 파일에 통합하여 동기화된 새로운 비트 스트림을 구성한다.

도 9는 MIDI 동기화 생성기를 나타낸 것으로, 응용 프로그램인 동기화 생성기의 입력부에 의해 재생할 MIDI 파일이 선택되면, 오퍼레이팅 시스템 내부의 파일 시스템은 저장장치 곳곳에 분포된 데이타를 읽어서 일렬의 비트 스트림 형태로 MIDI 데이타 버퍼에 입력하고, 틱 계수기 값은 "0"으로 초기화된다. 이때 응용 프로그램인 동기화 생성기 입력부에서 재생신호가 입력되면 MIDI 데이타 버퍼에서 MIDI 데이타 재생기로 데이타가 입력되어 입력된 바이트의 갯수 만큼 틱 계수기의 값이 자동으로 증가된다. 즉, 데이타 재생기는 틱 계수기의 값을 표 2 종래기술의 마디, 음표, 박자 길이 등의 연주정보로 환산하고, 외부의 음원을 이용하여 합성한 후, 연주를 실행하게 되는 것이다.

이때 데이타 재생기가 사운드를 합성하여 오디오를 출력할 때 해당하는 자막이 있다면, 틱 계수기를 이용한 위치정보 할당기에서 틱 계수기 값을 자막의 위치정보로 할당하여 사용하게 되는데, 해당하는 자막의 동기화 위치 정보는 MIDI 에 해당하는 자막 정보가 MIDI 데이타 버퍼에서 파일 포인터와 파일의 시작에서 부터 몇번째 바이트에 해당하는지를 나타내는 정수값이 된다.

아래 표 2에서 본 발명에 의한 위치정보 일례를 표현하였다.

본 발명의 다른 일실시예로서 비트 스트림 형태로 재생이 가능한 파일포맷을 동기화 생성 및 재생하는 방법에 대해 단계별로 살펴보면,

먼저 제 1 단계에서는 해당 자막의 삽입 위치에 해당하는 파일 비트 스트림상에서 비트 스트림의 바이트 계수기 값을 이용하여 시작 위치정보 또는 시작 위치정보와 끝 위치정보를 할당한다. 제 2 단계에서는 할당된 파일 비트 스트림 위치정보나 위치정보의 배수, 혹은 시작 위치정보와 끝 위치정보간의 차이 정보를 이용하여 정보 크기를 조정한다. 마직막으로 제 3 단계에서는 위치정보에 관련된 동기 정보와 자막 캡션을 별도로 저장하거나, 혼합하거나, 멀티미디어 파일에 통합하여 동기화 된 새로운 비트 스트림을 구성한다.

이와 같이 본 발명에서는 실제 재생 시간 정보를 저장하지 않고, 다양한 파일 포맷의 헤더 또는 프레임 정보를 해석하는 않는 종래의 동기화 방법과는 달리 파일 비트 스트림의 처음에서부터 자막 캡션이 동기될 순간까지의 위치 정보, 즉 비트 스트림상에서 몇 번째 바이트인가를 나타내는가를 이용하여 동기화 정보를 생성하게 되는 것이다.

도10에서는 비트 스트림 형태로 재생가능한 오디오 파일 포맷에 대한 동기화 생성기를 나타내었다. 응용 프로그램인 동기화 생성기 입력부에 의해 재생될 파일이 선택되면, 오퍼레이팅 시스템 내부의 파일시스템은 저장 장치의 여러곳에 블럭형태로 저장된 데이타를 읽어 논리적인 하나의 비트 스트림 형태의 파일로 보여주며, 상기 비트 스트림을 오디오 비트 스트림 버퍼에 저장하며, 바이트 계수기의 초기값은 "0"으로 된다. 이때 동기화 생성기 입력부에서 재생신호가 입력되면 오디오 비트 스트림 버퍼에서 오디오 재생기로 입력되는 바이트 갯수를 바이트 계수기에 저장한다.

재생시 오디오에 해당되는 자막이 있다면, 바이트 계수기를 이용한 위치정보 할당기에서 자막의 위치정보를 바이트 계수기의 값으로 할당한다. 즉, 해당하는 자막의 동기화 위치 정보는 오디오에 해당하는 자막 정보가 오디오 비트스트림 버퍼에서 파일 포인터와 파일의 시작에서 부터 몇번째 바이트에 해당하는지를 나타내는 정수값이 된다.

바이트 계수기에서 측정된 값을 이용하여 위치정보 할당기로 위치정보를 할당하는 과정에 대해 좀 더 상세히 설명하면,

먼저 비트 스트림 버퍼의 첫번째 바이트가 오디오 재생기 안으로 들어가면 위치정보 값을 "1"로 증가시킨다. 다음으로 비트 스트림 버퍼의 2번째 바이트가 오디오 재생기 안으로 입력되면 위치정보 값을 "2"로 증가시킨다. 비트 스트림 버퍼의 3번째 바이트가 오디오 재생기 안으로 들어가면 위치정보 값을 "3"으로 증가시키고, 이때 자막 캡션에 해당하는 소리가 시작된다면 해당 자막 캡션 정보에 위치정보 "3"을 시작 위치정보로 할당한다. 다음으로 파일 비트 스트림의 "4"번째 바이트가 재생기 안으로 들어가면 위치정보 값을 "4"로 증가시키고, 이때 자막 캡션에 해당하는 소리가 끝나면, 해당 자막 캡션 정보에 위치정보 "4"를 끝 위치정보로 할당한다. 그러면 해당 자막 위치정보는 "3"에서 시작하여 위치정보 "4"에서 끝나므로 3번째 바이트를 재생할때 자막을 컬러링하기 시작하여 4번째 바이트를 재생할때 하나의 자막 컬러링이 끝나도록 하여 미세한 자막 캡션 동기화를 수행할 수 있다.

즉, 현재 복원 재생되는 해당 지점의 비트 스트림의 바이트가 파일 비트 스트림의 시작부터 몇번째 바이트에 해당하는가를 자막 캡션정보와 혼합한 위치정보를 사용하여 동기화 정보를 생성시킨다. 위치 정보는 상기의 할당된 위치정보, 또 는 할당된 위치정보의 배수, 또는 할당된 위치 정보간의 차이값 등의 연산을 통하여 상대적인 위치 정보값을 포함한다.

상기와 같은 동기화 생성기를 이용한 동기화 생성 방법을 살펴보면,

비트스트림 형태로 재생 가능한 MP3 파일 포맷으로 동기화 생성을 수행하고자 할때, 응용 프로그램인 동기화 생성기 입력부에서 파일 읽기를 선택하면, 오퍼레이팅 시스템 내부의 파일 시스템은 MP3 파일을 읽어서 도11과 같이 바이트의 연속인 비트 스트림을 형성한다. 상기 비트 스트림은 시간적인 흐름에 나열되어 있고, 바이트 정보는 오디오 데이타를 압축한 것으로, 비트 스트림 중 B2가 오디오 재생기로 입력되어 재생될 때, 해당하는 오디오 및 자막 캡션이 "A"라는 음이 난다면, 자막 "A"는 2번째 바이트의 시작부터 3번째 바이트의 시작이므로, 시작 위치 정보를 "2"로, 끝 위치 정보를 "3"으로 할당한다.

비트 스트림 중 B3가 오디오 재생기로 입력되어 재생될 때, 해당하는 오디오 및 자막 캡션이 "B"라는 음이 난다면, 자막 "B"는 3번째 바이트의 시작부터 4번째 바이트의 시작까지 이므로 시작 위치정보를 "3", 끝 위치 정보를 "4"로 할당한다. 자막 "C", "D", "E"의 경우도 동일하다. 자막 캡션"ABCDE" 각각에 관하여 위치정보는 (시작위치정보, 끝위치정보)의 쌍으로 나타내거나 (시작위치정보)로만 표현하거나 위치정보의 차이값(시작위치정보, 끝위치정보-시작위치정보)인 "(2,3)(3,4)(4,5)...", "(2)(3)(4)...", "(2,1)(3,1)(4,1)..." 등으로 다양하게 표현할 수 있으며, 위치정보와 자막을 혼합하여 다양한 형태로 동기화 정보를 생성할 수 있다. 또한 자막과 동기화 정보는 별도의 파일로 관리하거나, 오디오 파일의 전면이나 후면에 통합할 수 있으며, 오디오 파일 포맷에 추가되는 ID3 형태의 태크에도 포함 될 수도 있다.

도12는 비트 스트림 형태로 재생 가능한 멀티미디어 파일 포맷의 동기화 생성기의 블럭도로서, 응용 프로그램인 동기화 생성기 입력부에서 파일읽기를 선택하면, 오퍼레이팅 시스템 내부의파일 시스템은 멀티미디어 파일을 읽어서 멀티미디어 비트 스트림 버퍼에 데이타를 입력하고, 바이트 계수기의 값은 "0"으로 초기화된다. 동기화 생성기 입력부에서 재생신호를 입력하며 멀티미디어 비트 스트림 버퍼에서 멀티미디어 재생기로 데이타가 입력되고, 입력된 바이트의 갯수 만큼 바이트 계수기의 값이 증가한다. 그리고, 멀티미디어의 오디오에 해당하는 자막이 있다면, 바이트 계수기의 값을 해당 자막에 대한 위치정보로 할당한다.

도13은 본 발명에 대한 오디오 및 영상이 복합된 파일 포맷에 대한 동기화 생성 방법의 예시도로서, 도13에 영상과 오디오 데이타가 복합된 비트 스트림과 오디오 정보에 동기화된 자막 캡션 데이타와 해당하는 비트 스트림상의 바이트 정보를 표현하였다. 동기화 생성 방법은 자막 캡션 "A"에 대하여 시작 위치정보는 "12", 끝 위치정보는 "13"로 할당하고, 자막캡션 "C"에 대해 시작 위치정보는"18", 끝 위치정보는 "19"로 할당하고, 자막캡션 "D"에 대해 시작 위치정보는 "24", 끝의 위치정보는 "25"로 할당한다. 연속된 자막 캡션에 대해 (12, 18, 24)의 시작 위치 정보로 동기화 정보를 만들거나, (12,13)(18,19)(24,25)의 시작과 끝 위치 정보를 이용하여 동기화 정보를 생성시키거나, 시작과 끝 위치정보의 차를 이용하거나, 위치정보의 연산으로 다양하게 동기화 정보를 만들 수 있다. 예를 들어, 자막 캡션의 음소 단위로 할당된 시작 위치정보가 순차적으로 (a,b,c,d, .....)일 때, 동기화 정보 크기를 줄이기 위하여 (a-0,b-a,c-b,d-c,.....)로 표현하거나, (a/512,b/512.c/512,d/512,.....),((a-0)/64, (b-a)/64, (c-b)/64, (d-c)/64, .....) 등으로 다양하게 동기화 정보를 만들 수 있다.

또한, 상기의 도13에서는 자막 캡션을 음소 단위로 미세하게 컬러링하기 위해서는 음소 단위로 위치 정보를 할당하지만, 동일한 방법으로 단어나 문장 단위로 위치정보를 할당 할 수도 있다.

도 14는 비트 스트림으로 재생 가능한 오디오 파일 포맷에 대하여, 구연 동화나 애니메이션과 같이 오디오 비트스트림에 자막 동기화 뿐만 아니라, 별도의 정지영상 및 동영상을 오디오 데이타에 동기화시키는 예시도로, 자막의 동기화 생성 방법은 상기의 방법과 동일하고, 정지영상이나 동영상의 동기화 생성 방법은 정지영상이나 동영상의 파일이름이나 링크 정보를 자막과 동일하게 취급하여 위치정보를 할당할 수 있으며, 링크 정보는 설정된 정지영상 및 동영상 데이타를 참조할 수 있는 모든 정보를 지칭한다. 간략하게 예시도로 예를 들어 설명하면, "A"가 정지영상이고, "B"가 동영상 경우에 위치 정보를 할당하면 다음과 같다. "A"는 정지영상 데이타 또는 파일이름 또는 링크정보로 정지영상의 시작 위치 정보는 "2", 끝 위치 정보는 "3"이고, "B"는 동영상 데이타 또는 파일이름 또는 링크정보로 동영상의 시작 위치정보는 "3", 끝 위치 정보는 "4"로 할당한다.

도15는 자막 및 정지영상 동기화 데이타의 포맷에 대한 예시도를 나타낸 것으로, 도3에서 콘텐츠 제작자 또는 공급자에 대한 ID(30), 동기화 데이타는 텍스트 가사/정지영상 선택을 위한 콘텐츠 ID(40), 텍스트 가사/정지영상의 데이타 포맷 종류(50), 텍스트 가사 및 정지영상의 전체 크기(60), 바이트 오프셋 종류를 설정하기 위한 인덱스(70), 텍스트 가사/정지영상의 시작 순간의 바이트 오프셋 정보(80), 텍스트 가사/정지영상 끝 순간의 바이트 오프셋 정보(90), 텍스트 가사/정지영상 데이타(100)로 구성 되어 있다. 텍스트 가사/정지영상의 데이타 포맷(50) 종류로는 국가 종류, 자막 데이타 코드 종류, 옵션 등이 있으며, 인덱스(70)는 바이트 오프셋 정보의 종류로 상기에서 표현한 a/512, a/64와 같은 연산 포맷을 선택하며, 바이트 오프셋 정보(80)(90)는 인덱스에 따라 바이트 오프셋을 직접, 혹은 배수, 차이의 정보 등의 바이트 오프셋 연산으로 구성되는 실제 바이트 수를 나타내며, 텍스트 가사는 한 글자 또는 여러 글자가 동시에 포함될 수 있으며, 동영상 데이타는 동영상을 직접 혹은, 파일 링크정보(100)를 포함할 수 있다.

다음으로 MIDI, 오디오, 멀티미디어 파일에 대한 자막, 정지영상, 동영상의 동기화 재생기에 대하여 설명한다.

본 발명에서 사용되는 동기화 생성기 및 동기화 재생기는 입출력이 가능한 응용프로그램과 오퍼레이팅 시스템의 내부에 포함된 파일시스템과 하드웨어 시스템으로 구성되며, 컴퓨터 상의 프로그램이나 컴퓨터를 포함하는 기기 장치 및 휴대용 기기로 구현된다. 동기화 재생기는 사용자 인터페이스를 통하여 파일 읽기, 파일 저장, 재생, 정지, 일시정시, 급속 이송, 속도 가변 등의 많은 기능을 수행한다.

동기화 재생기 입력부에서 파일 읽기를 선택하면, 파일 시스템은 하드웨어 시스템인 저장장치 곳곳에 분포한 데이타를 읽어서, 일렬의 비트 스트림 형태로 버퍼에 입력하고, 입력된 버퍼 데이타는 재생기를 통하여 재생된다.

먼저, 연주정보인 인터페이스 파일 포맷에 대한 동기 재생기 블럭도를 도 16에 나타내었다. 도 16에서 동기화 재생기 입력부에서 파일 읽기를 선택하면, 파일 시스템은 MIDI 파일을 읽어서, MIDI 데이타 버퍼에 입력하고, 틱 계수기의 초기값은 "0"으로 된다. 도 16의 동기 재생기 입력부에 재생신호를 입력하면, 틱 계수기는 자동으로 증가하고, MIDI 데이타 버퍼에서 저장된 데이타는 MIDI 재생기로 입력되어 재생된다. MIDI 데이타 버퍼에서 MIDI 재생기로 입력될 때, 동기화 위치정보 비교기는 틱 계수기의 값과 자막 동기화 위치정보를 서로 비교하며, 틱 계수기와 자막, 정지영상, 동영상의 동기화 시작 위치정보가 일치하면 해당하는 자막의 컬러링 및 정지/동영상을 재생을 시작하고, 끝 위치 정보가 일치하면 해당하는 자막의 컬러링 및 정지/동영상을 재생 정지한다.

상기의 미디 분석 자료에 따르면, 틱 계수기는 미디 연주의 시작과 함께 자동적으로 증가하고, 틱 계수기의 값이 동기정보인 시작 위치 정보와 일치하면, 끝 위치 정보와의 차이 값을 추출하고, 차이값 동안에 하나의 자막 폰트 사이즈 크기 에 따라, 컬러링 해야 할 구간을 나눈다. 만약 차이값이 "a"이고 자막의 가로 폰트 사이즈가 "b"이면 틱 계수기가 1만큼 증가 할때 "b/a"을 자막 컬러링 한다.

MIDI 동기화 재생기 입력부에서 속도가변 재생이나, 급속이송에 대한 입력이 주어졌을 때, MIDI 동기화 재생기의 자막 컬러링, 정지/동영상의 동기화 동작을 설명하면 다음과 같다.

MIDI 동기화 재생기 입력부에서 급속 이송 재생 신호와 이송 위치가 입력되면, 파일 시스템은 내부의 버퍼 정보를 이용하여, MIDI 데이타 버퍼에는 이송된 위치의 데이타를 정렬하고, 틱 계수기의 값은 파일 시스템 내부의 버퍼정보에 의하여 새로운 값으로 할당되어 자동으로 증가하고, 새로운 틱 계수기의 값과 자막, 정지/동영상 동기화 위치 정보를 동기화 위치정보 비교기에서 비교하여 자막 컬러링, 정지/동영상의 동기화 재생을 수행한다.

MIDI 동기화 재생기 입력부에서 속도가변 재생 신호와 속도가변 값이 입력되면, 속도가변에 따라 미디 데이타 버퍼에서 미디 재생기로 입력되는 속도가 가변하고, 틱 계수기의 증가 속도를 속도가변에 따라 조절하여, 동기화 재생을 실행한다.

다음으로 비트 스트림 형태로 재생 가능한 오디오 파일 포맷에 대한 재생기를 도17에 표현하였다. 도17에서 동기화 재생기 입력부에서 파일 읽기를 선택하면, 파일 시스템에 의해 오디오 파일이 읽혀지고, 오디오 비트스트림 버퍼에 저장되며, 바이트 계수기의 초기값은 "0"으로 된다. 도17의 동기 재생기 입력부에 재생신호를 입력하면, 바이트 계수기는 자동으로 증가하고, 오디오 비트스트림 버퍼에서 저장 된 데이타는 오디오 재생기로 입력되어 재생된다. 오디오 비트 스트림 버퍼에서 오디오 재생기로 바이트 단위의 데이타가 입력될 때, 동기화 위치정보 비교기는 바이트 계수기의 값과 자막,정지/동영상 데이타의 동기화 위치정보를 서로 비교하며, 바이트 계수기와 자막, 정지영상, 동영상의 동기화 시작 위치정보가 일치하면 해당하는 자막의 컬러링 및 정지/동영상을 재생을 시작하고, 끝 위치 정보가 일치하면 해당하는 자막의 컬러링 및 정지/동영상을 재생 정지한다.

오디오 동기화 재생기 입력부에서 속도가변 재생이나, 급속이송에 대한 입력이 주어졌을 때, 오디오 동기화 재생기의 자막 컬러링, 정지/동영상의 동기화 동작을 설명하면 다음과 같다.

오디오 동기화 재생기 입력부에서 급속 이송 재생 신호와 이송 위치가 입력되면, 파일 시스템의 버퍼 정보를 이용하여, 오디오 비트 스트림 버퍼에는 이송된 위치의 비트 스트림 데이타를 정렬하고, 바이트 계수기의 값은 버퍼정보를 통하여 새로운 값으로 할당하고, 새로운 바이트 계수기의 값과 자막, 정지/동영상 동기화 위치 정보를 동기화 위치정보 비교기에서 비교하여 자막 컬러링, 정지/동영상의 동기화 재생을 수행한다.

오디오 동기화 재생기 입력부에서 속도가변 재생 신호와 속도가변 값이 입력되면, 속도가변에 따라 비트 스트림 버퍼에서 오디오 재생기로 입력되는 바이트 단위의 데이타 속도가 가변되며, 바이트 계수기의 증가 속도는 비트스트림 버퍼에서 오디오 재생기로 입력되는 바이트의 속도에 따라 자동적으로 가변되므로, 바이트 계수기와 자막, 정지/동영상 위치정보를 동기화 위치정보 비교기에서 비교하여 동 기화 재생을 실행한다. 상기에 도시한 시작과 끝 위치 정보의 차를 컬러링하기 위한 바이트 수로 나누면 미세한 자막 컬러링을 실행할 수 있다.

예를 들어, 도 18에서 압축된 오디오 비트스트림 재생시 전후 급속 이동으로 T의 위치로 이동하였을 경우, 기존의 프레임 정보를 이용하여 동기를 맞추려고 한다면 T에서의 프레임수를 바로 알기가 힘들며, 특히, VBR 방법인 경우 처음부터 프레임 헤더를 디코딩 하지 않고는 실제 재생 시간 정보를 얻기가 불가능한다. 하지만, 본 발명의 경우 도 1에서 T의 위치가 시작부터 e 바이트 뒤라는 것을 알고, "동" 음소의 바이트 오프셋과 가장 가까운 위치라는 것을 쉽게 알 수 있으므로, 실시간으로 정확하게 동기화할 수 있다. 정지영상의 경우도 상기와 동일한 방법으로 동기화한다.

다음으로, 비트 스트림 형태로 재생 가능한 멀티미디어 파일 포맷에 대한 재생기를 도19에 표현하였다. 도19에서 동기화 재생기 입력부에서 파일 읽기를 선택하면, 파일 시스템에 의해 멀티미디어 파일이 읽혀지고, 멀티미디어 비트스트림 버퍼에 저장되며, 바이트 계수기의 초기값은 "0"으로 된다. 도19의 동기 재생기 입력부에 재생신호를 입력하면, 바이트 계수기는 자동으로 증가하고, 멀티미디어 비트스트림 버퍼에서 저장된 데이타는 멀티미디어 재생기로 입력되어 재생된다. 멀티미디어 비트 스트림 버퍼에서 멀티미디어 재생기로 바이트 단위의 데이타가 입력될 때, 동기화 위치정보 비교기는 바이트 계수기의 값과 자막 데이타의 동기화 위치정보를 서로 비교하며, 바이트 계수기와 자막 동기화 시작 위치정보가 일치하면 해당 하는 자막의 컬러링을 시작하고, 끝 위치 정보가 일치하면 해당하는 자막의 컬러링을 정지한다. 상기에 도시한 시작과 끝 위치 정보의 차를 컬러링하기 위한 바이트 수로 나누면 미세한 자막 컬러링을 실행할 수 있다.

멀티미디어 동기화 재생기 입력부에서 속도가변 재생이나, 급속이송에 대한 입력이 주어졌을 때, 멀티미디어 동기화 재생기의 자막 동기화 동작을 설명하면 다음과 같다.

멀티미디어 동기화 재생기 입력부에서 급속 이송 재생 신호와 이송 위치가 입력되면, 파일 시스템의 버퍼 정보를 이용하여, 멀티미디어 비트 스트림 버퍼에는 이송된 위치의 비트 스트림 데이타를 정렬하고, 바이트 계수기의 값은 버퍼정보를 통하여 새로운 값으로 할당하고, 새로운 바이트 계수기의 값과 자막 동기화 위치 정보를 동기화 위치정보 비교기에서 비교하여 자막 동기화 재생을 수행한다.

멀티미디어 동기화 재생기 입력부에서 속도가변 재생 신호와 속도가변 값이 입력되면, 속도가변에 따라 비트 스트림 버퍼에서 멀티미디어 재생기로 입력되는 바이트 단위의 데이타 속도가 가변되며, 바이트 계수기의 증가 속도는 비트스트림 버퍼에서 멀티미디어 재생기로 입력되는 바이트의 속도에 따라 자동적으로 가변되므로, 바이트 계수기와 자막 위치정보를 동기화 위치정보 비교기에서 비교하여 동기화 재생을 실행한다. 상기에 도시한 시작과 끝 위치 정보의 차를 컬러링하기 위한 바이트 수로 나누면 미세한 자막 컬러링을 실행할 수 있다.

이와같이 본 발명에서는 어떠한 파일 포맷에 대해서도 지금 재생되는 부분의 틱 계수기나 바이트 계수기 값만 가지고 있다면, 재생되는 비트 스트림의 속도가변, 알고리즘의 이해분석, 급속이송, VBR에 관계없이 자막 캡션 동기화를 이룰 수 있다. 또한 본 발명은 자막 동기화 정보를 위치정보로 할당하고, 위치정보를 시간으로 환산하여, 다른 오디오 파일에 동기화 작업을 손 쉽게 할 수 있는 방법을 제공한다. 예를 들어, 본 발명에서 MIDI의 위치 정보를 사용한 자막 캡션 동기화 정보를 동일한 음악의 MP3로 저장된 파일의 자막 캡션 동기화 정보로 수정하기 위해서는 틱의 위치정보 값과 비트스트림 상에서의 위치정보 값을 비교 환산하면, MIDI에서 생성된 동기화 데이타를 MP3 파일의 동기화 정보로 쉽게 편집할 수 있다.

이상에서 상술한 바와 같이 본 발명은 종래 기술의 문제점을 해결한 것으로 비트 스트림 형태의 오디오 파일, 연주 정보를 가지는 인터페이스 파일, 비트스트림 형태의 오디오와 영상이 복합된 멀티미디어 파일 포맷 및 그 압축여부에 관계없이 단순한 위치정보만을 이용하여 자막 캡션 동기화를 생성하고 손쉽게 휴대용 기기나 컴퓨터 기기 장치에서 재생할 수 있다. 또한 기존에 생성된 자막 캡션 동기화 정보를 손쉽게 다른 포맷으로 변환이 가능하고, VBR 방법으로 압축된 오디오 및 재생시 FF/FW로 급속 이송과 임의의 위치에서 재생시 자막 캡션 동기화가 정확하고 빠르게 수행되며, 파일 재생시에 속도가변 기능이 수행되는 경우 정상적인 재생 속도외에 빠른 재생, 느린 재생시에도 현재 재생되는 데이타의 위치 정보만을 가지고 정확한 동기화를 수행할 수 있다. 그리고 속도가변 기능 중 빠른 재생일 경우에 빠르게 재생하기 위해서는 파일 데이타를 읽는 속도가 빨라지고, 느린 재생일 경우 파일 데이타를 읽는 속도도 느려지므로, 속도가 변화된 출력과 상관 없이 현재까지 읽은 데이타양과 위치정보의 비교만으로 정확한 동기화를 수행할 수 있다.

삭제

Claims (11)

1. 연주정보인 인터페이스 파일 포맷(MIDI)을 동기화 생성/재생하는 방법은, 인터페이스 파일 포맷의 틱 계수기 값을 이용하여 틱 위치정보를 할당하는 제 1 단계; 상기 할당된 틱 위치정보를 이용하여 정보 크기를 조정하는 제 2 단계; 위치정보에 관련된 동기 정보와 자막 캡션을 별도로 저장하여 동기화된 새로운 비트 스트림을 구성하는 제 3 단계;를 거쳐 이루어짐을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성/재생방법.
2. 비트 스트림 형태로 재생되는 파일 포맷을 동기화 생성/재생하는 방법은, 비트 스트림의 바이트 계수기 값을 이용하여 비트 스트림 위치정보를 할당하는 제 1 단계; 상기 할당된 비트스트림 위치정보를 이용하여 정보 크기를 조정하는 제 2 단계; 위치정보에 관련된 동기 정보와 자막 캡션을 별도로 저장하여 동기화된 새로운 비트 스트림을 구성하는 제 3 단계;를 거쳐 이루어짐을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성/재생방법.
3. 제 1항 또는 제 2항에 있어서, 제 1 단계에서 위치정보는 시작 위치정보임을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성/재생방 법.
4. 제 1항 또는 제 2항에 있어서, 제 1 단계에서 위치정보는 시작 위치정보와 끝 위치정보임을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성/재생방법.
5. 제 1항 또는 제 2항에 있어서, 제 2 단계에서는 위치정보의 배수를 이용하여 정보 크기를 조정함을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성/재생방법.
6. 제 1항 또는 제 2항에 있어서, 제 2 단계에서는 시작 위치정보와 끝 위치정보간의 차이 정보를 이용하여 정보 크기를 조정함을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성/재생방법.
7. 제 1항 또는 제 2항에 있어서, 제 3 단계에서는 동기 정보와 자막 캡션을 혼합함을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성/ 재생방법.
8. 제 1항 또는 제 2항에 있어서, 제 3 단계에서는 동기 정보와 자막 캡션을 MIDI 파일에 통합함을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성/재생방법.
9. 제 1항 또는 제 2항에 있어서, 제 3 단계에서는 파일의 시작부분부터 파일 재생부분의 파일 비트스트림의 위치정보를 저장하고, 급속 이송에 있어서 파일 재생부분의 파일 비트 스트림 상의 위치정보와 급속 이송된 비트 스트림의 변화량에 대하여 전진 급속 이송일 경우 파일 비트 스트림 상의 위치정보와 비트 스트림 변화량을 가산하고, 후진 급속 이송일 경우 파일 비트 스트림 상의 위치정보에서 비트 스트림 변화량을 감산하는 것과 같이 덧셈 및 뺄셈의 연산을 수행하여 동기화를 수행하며, 오디오 속도 가변시에 속도 가변에 해당하는 절대위치를 가변 속도에 따라 자막으로 표현함을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성/재생방법.
10. 오디오 파일 포맷, 오디오 연주정보 포맷, 오디오 및 영상 정보가 혼합된 멀티미디어 파일 포맷을 읽어서 비트 스트림을 형성하는 동기화 생성 입력부; 각 파일 포맷에서 읽은 비트 스트림을 저장하는 파일시스템의 버퍼 및 버퍼정보; 버퍼에 저장된 데이타를 재생시키는 데이타 재생기; 틱이나 바이트의 수효를 측정하는 계 수기; 계수기에서 측정된 값으로 위치정보를 할당하는 위치정보 할당기;의 조합으로 형성됨을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 생성기.
11. 인터페이스 파일 포맷이나 비트 스트림을 입력하는 동기화 재생기 입력부; 동기화 재생기 입력부를 통해 입력된 인터페이스 파일 포맷이나 비트 스트림을 저장하는 파일시스템 버퍼정보; 틱이나 바이트의 수효를 측정하는 계수기; 파일시스템의 버퍼정보를 이용하여 이송된 데이타를 정렬하는 재생기 버퍼; 계수기의 값과 자막, 정지/동영상 데이타의 동기화 위치정보를 서로 비교하는 동기화 위치정보 비교기;의 조합으로 형성됨을 특징으로 하는 위치정보를 이용한 자막, 정지영상, 동영상의 동기화 재생기.

Images