KR100322729B1 - 캡션을사용하는디지탈오디오/비디오코덱방법및장치 - Google Patents

캡션을사용하는디지탈오디오/비디오코덱방법및장치 Download PDF

Info

Publication number
KR100322729B1
KR100322729B1 KR1019950040569A KR19950040569A KR100322729B1 KR 100322729 B1 KR100322729 B1 KR 100322729B1 KR 1019950040569 A KR1019950040569 A KR 1019950040569A KR 19950040569 A KR19950040569 A KR 19950040569A KR 100322729 B1 KR100322729 B1 KR 100322729B1
Authority
KR
South Korea
Prior art keywords
residue
bitstream
data
caption
bits
Prior art date
Application number
KR1019950040569A
Other languages
English (en)
Other versions
KR970032166A (ko
Inventor
김상욱
김연배
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019950040569A priority Critical patent/KR100322729B1/ko
Publication of KR970032166A publication Critical patent/KR970032166A/ko
Application granted granted Critical
Publication of KR100322729B1 publication Critical patent/KR100322729B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams

Abstract

본 발명은 캡션을 사용하는 디지탈 오디오/비디오 코덱방법 및 장치에 관한 것으로서, 오디오/비디오 데이타를 압축하여 비트스트림을 형성하는 부호화과정: 부호화과정에서 비트스트림 형성시, 짜투리 비트들이 있는지를 검출하는 부호화 레지듀 검출과정; 레지듀가 존재할 경우, 입력 캡션 정보의 비트수를 고려하여 캡션정보를 쓰는 레지듀 데이타 쓰기과정; 쓰여진 레지듀 데이타를 부호화되어 출력되는 비트스트림 중 짜투리 비트 부분에 대체하는 비트스트림 형성과정; 캡션정보를 포함하는 비트스트림을 이용하여 오디오 또는 오디오/비디오 데이타를 복원하여 디지탈값을 계산하는 복호화과정; 복호화과정에서 복호화된 데이타에 짜투리 비트 부분이 사용되었는지를 검출하고, 특정데이타를 검색하는 복호화 레지듀 검출과정; 검출된 레지듀 신호의 값이 주위 값들과 차이가 나게 하여 보다 대비를 높이는 레지듀 신호 조절과정: 출력에 사용될 레지듀신호를 외부의 조절에 의해 또는 자신의 적응에 의해 특정부분에 위치시키는 레지듀신호 출력과정; 및 레지듀신호 출력과정으로 부터 레지듀신호들이 위치해야 할 부분들에 대한 위치좌표와 값들을 받아 데이타를 변형시키는 다중화과정으로 구성된다.

Description

캡션을 사용하는 디지탈 오디오/비디오 코덱방법 및 장치
본 발명은 캡션을 사용하는 디지탈 오디오/비디오 코덱방법 및 장치에 관한 것이다.
자연계에 존재하는 신호들은 일반적으로 연속된 신호형태인 아날로그로 존재한다. 이러한 아날로그 신호들은 재현장치 또는 전송장치에 사용할 때에 열화가 쉽게 발생하는 문제와, 발생 가능한 오차신호에 대한 보상이 어렵다는 문제, 시스템을 구성했을 때, 시스템의 크기가 커지는 문제를 가지고 있다. 이와 같은 문제들은 아날로그 신호를 샘플링(sampling)과 양자화 처리를 통해 디지탈 신호로 변형해줌으로써 개선해 줄수가 있다.
신호를 디지탈 방식으로 처리하면, 아날로그 방식에 비해 음질이 향상되는 효과가 있다. 반면에, 디지탈 방식은 아날로그 방식에 비해 데이터량이 증가하는 역효과가 있다. 이러한 데이터의 증가에 대한 영항을 감소시키기 위해, 압축을 해 준다. 압출을 안하면, 영상정보의 전달이나, 오디오 정보의 전달에 있어서, 많은 경우 채널이 요구하는 대역폭을 제공하지 못하기 때문에 전송이 불가능하다. 이에, 데이터 압축에 대한 많은 연구들이 수행되어 오고 있다(미국특허 5,334,977호, 미국특허 5,285,498호, 미국특허 5,222,189호, 미국특허 5,040,217호, Jayant and Noll, "Digital Coding of Waveforms" 참조).
일 예로, 영상의 경우 1,000 × 1,000라인의 해상도(resolution)를 갖는 그레이-스케일(gray-scale) 영상에 있어서, 각 화소가 8비트(bit)로 구성되어 각 화소에 대해 256계조의 다른 인텐시티(intensity)로 표현되는 경우가 있다고 하자. 이 경우 압축을 하지 않으면, 이 사진의 전송에 사용되는 비트 수는 8백만 비트에 달할 것이다. 일반적인 전화선의 경우, 1초에 9600 비트들을 전송할 수가 있기 때문에, 이 사진을 전송하기 위해서는 10분 이상이 걸리는 문제가 있다. 일 예로, 오디오의 경우를 보면, 44.1㎑로 샘플링되는 경우, 각 샘플링된 정보는 16비트로 샘플링되어 65,536계조를 갖는다고 할 때, 한 개의 채널에 대한 비트수가 약 700k 정도로, 일반 전화선을 사용할 때 약 73초가 걸려 실시간 처리가 불가능함을 볼수가 있다.
이와 같이, 데이터 전송에서는 전송 채널의 특징에 따라 전송에 사용되는 비트율이 결정되고, 실시간 처리를 위한 비트율이 결정된다.이러한 전송채널의 결정은 각 전송되는 데이터를 최적으로 복원해 내기 위한 장치와 그 전송률을 최대한 효과적으로 사용하도록 부호화해주는 압축 방식들을 개발하도록 하였다.
이러한 이유로 인해 데이터 압축에 대한 많은 연구들이 진행되어 왔고, 파형부호화(Waveform coding), 변환 부호화(transform coding), 서브밴드 부호화(subband coding), 프랙탈 부호화(fractal coding), 예측부호화(predictive coding), 움직임 추정 부호화(motion estimation coding) 등 여러 방식들이 개발되고 있고, 동영상과 오디오의 기록 및 전송에 대한 표준화안을 만들기 위한 노력이 ISO산하에서 ISO/IEC JTC1/SC29/WG11 (MPEG)에 의해 1989년부터 시작되었다. 최근 이러한 데이터 압축방식들은 필립스에 의한 MPEG 오디오1(ISO/IEC 11172)을 사용한 DCC(Digital Compact Cassette)와 소니의 MD(Mini-Disc) 등의 상품화에 사용되었고, HDTV 등의 방송 등을 위한 ISO/IEC 13818, 동영상전화기 또는 멀티미디어 기기에 사용하기 위한 MPEG Phase-4 등에 대한 연구가 진행되고 있다.
데이터의 압축은 전송선로의 데이터 전송능력, 인간의 지각능력과 시스템 구성의 효율성 등을 고려해, 입력신호들을 샘플링해, 윈도우를 씌워 하나의 단위 프레임(frame)의 입력으로 놓고서 연산을 한다. 이 결과 나오는 비트스트림들은 동기신호들에 의해 각 프레인의 시작이 표현된다. 이러한 비트스트림의 구성에 있어서, 시스템에서 사용하는 비트들의 구성 한계 때문에, 몇 비트씩 "0"값을 채워넣어 프레임의 크기를 맞추어 주어야 하는 경우가 발생하기도 한다.
종래에는 문자에 대한 전송을 하기 위해서는 문자에 대한 비트스트림을 만들기 위해 비디오 신호와 그에 해당하는 시간에 대한 코드를 포함하는 비트스트림을 만들어주어야 했다(미국특허 5,424,785호, 5,299,006호 참조).
이러한 데이터 표현에 따라 부가적으로 사용되는 정보량을 줄이기위하여, 오디오 신호와 비디오 신호가 동시에 있을 때, 오디오 신호가 뮤트(mute) 신호시에 캡션에 대한 정보를 보내주는 처리도 있었다(미국특허 5,347,404호, 5,327,176호 참조).
상기한 방식들은 아날로그 로(raw) 신호에 대한 처리로, 데이터의 효율적인 사용을 위한 압축을 하지 않는다. 또한, 상기한 방식들은 그림정보와 동기시키기 위하여, 시간에 대한 코드전송이 필요했다. 또한, 상기한 방식들은 데이터 표현에 따른 부가정보의 양을 줄이기 위하여, 오디오 데이터의 신호가 없는 부분을 문자정보의 표현에 사용하는 것을 특징으로 한다. 이 경우, 데이터의 신호가 계속해서 들어을 경우, 한동안캡션이 나오지 않는 문제를 갖고. 이 때 영상정보와 캡션정보 사이에 지연이 나타날 수도 있다. 또한, 상기한 방식들은 아날로그 방식들이기 때문에 캡션들을 임의의 위치로 옳기기가 용이하지 않은 점이 있다. 또한, 캡션의 색과 배경색이 유사한 색인 경우, 캡션을 읽을 수 없는 단점이 있다.
따라서, 본 발명의 목적은 상술한 문제들을 해결하기 위하여 데이터의 효율적인 표현을 위해 압축된 경우에 사용하며, 동기를 위한 별도의 시간에 대한 코드전송이 필요가 없는 캡션을 사용하는 디지탈 오디오/비디오 코덱방법 및 장치를 제공하는데 있다.
본 발명의 다른 목적은 주어진 프레임 크기와 비트율에서 최적의 비트들을 사용하였을 때, 남는 레지듀 비트들을 활용하기 때문에, 영상정보와 캡션정보 사이의 시간지연이 발생하지 않고, 경우에 따라서 중요한 캡션일 때에는 오디오 신호나 비디오 신호에 사용되는 비트수를 줄여서 음질 또는 화질을 낮추고서 캡션정보를 표현할 수 있는 캡션을 사용하는 디지탈 오디오/비디오 코덱방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 캡션의 위치를 사용자의 위치 지정에 따라 옮길 수 있고, 또 배경색과의 차이에 따라 캡션의 표현에 사용되는 색상을 바꿀 수 있기 때문에, 보다 캡션의 효과적인 표현이 가능한 캡션을 사용하는 디지탈 오디오/비디오 코덱방법 및 장치를 제공하는데 있다.
상기 목적들을 달성하기 위하여 본 발명에 의한 캡션을 사용하는 디지탈 오디오/비디오 코덱방법은
오디오/비디오 데이타를 압축하여 비트스트림을 형성하는 부호화과정 :
상기 부호화과정에서 비트스트림 형성시, 짜투리 비트들이 있는지를 검출하는 부호화 레지듀 검출과정:
상기 레지듀가 존재할 경우, 입력 캡션 정보의 비트수를 고려하여 캡션정보를 쓰는 레지듀 데이타 쓰기과정;
상기 쓰여진 레지듀 데이타를 상기 부호화되어 출력되는 비트스트림중 짜투리 비트 부분에 대체하는 비트스트림 형성과정:
상기 캡션정보를 포함하는 비트스트림을 이용하여 오디오 또는 오디오/비디오 데이타를 복원하여 디지탈값을 계산하는 복호화과정:
상기 복호화과정에서 복호화된 데이타에 짜투리 비트 부분이 사용되었는지를 검출하고, 특정데이타를 검색하는 복호화 레지듀 검출과정;
상기 검출된 레지듀 신호의 값이 주위 값들과 차이가 나게 하여 보다 대비를 높이는 레지듀 신호 조절과정:
출력에 사용될 레지듀신호를 외부의 조절에 의해 또는 자신의 적응에 의해 특정부분에 위치시키는 레지듀신호 출력과정: 및
상기 레지듀신호 출력과정으로 부터 레지듀신호들이 위치해야 할 부분들에 대한 위치좌표와 값들을 받아 데이타를 변형시키는 다중화과정을 포함하는 것을 특징으로 한다.
상기 목적들을 달성하기 위하여 본 발명에 의한 캡션을 사용하는 디지탈 오디오/비디오 코덱장치는
부호화기가
오디오/비디오 데이타를 압축하여 비트스트림을 형성하는 부호화기:
상기 부호화기에서 비트스트림 형성시, 짜투리 비트들이 있는지를 검출하는 부호화 레지듀 검출기:
상기 레지듀가 존재할 경우, 입력 캡션 정보의 비트수를 고려하여 캡션정보를 쓰는 레지듀 데이타 쓰기부; 및
상기 쓰여진 레지듀 데이타를 상기 부호화되어 출력되는 비트스트림중 짜투리 비트 부분에 대체하는 비트스트림 형성기를 포함하고,
복호화기가
상기 캡션정보를 포함하는 비트스트림을 이용하여 오디오 또는 오디오/비디오 데이타를 복원하여 디지탈값을 계산하는 복호화기;
상기 복호화기에서 복호화된 데이타에 짜투리 비트 부분이 사용되었는지를 검출하고, 특정데이타를 검색하는 복호화 레지듀 검출기;
상기 검출된 레지듀 신호의 값이 주위 값들과 차이가 나게 하여 보다 대비를 높이는 레지듀 신호 조절기;
출력에 사용될 레지듀신호를 외부의 조절에 의해 또는 자신의 적응에 의해 특정부분에 위치시키는 레지듀신호 출력기, 및
상기 레지듀신호 출력기로 부터 레지듀신호들이 위치해야 할 부분들에 대한 위치좌표와 값들을 받아 데이타를 변형시키는 다중기를 포함하는 것을 특징으로 한다.
이러한 레지듀 비트들의 사용에 의해, 비디오나 오디오 기기에 있어서, 캡션정보의 표현이 가능하고, 프레임 번호나, 특정 데이터를 저장해 오디오나 비디오신호 가운데 특정 프레임을 찾는데 사용이 가능하다.
본 발명의 응용분야로는 화상 전화기나, 전화기, 텔레비전, 라디오, 멀티미디어 PC, 게임기 등의 오디오/ 비디오 기기들이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예에 대하여 상세히 설명하기로 한다.
제1A,1B도는 본 발명에 따른 부호화기/복호화기의 구성예로서, 크게 비트스트림을 발생하는 부호화기(11,17), 부호화된 비트스트림에 "0"레지듀가 발생했는가를 검출하는 레지듀 검출기(13), 발생한 레지듀에 데이터를 기록하는 레지듀 쓰기부(15)와 레지듀 신호를 사용한 비트스트림과 레지듀를 사용하지 않은 보통 비트스트림이 전송되었을 대 비트스트림을 풀어주는 복호화기(21,25), 레지듀 신호를 사용한 비트스트림으로 부터 레지듀 신호를 검출하는 레지듀 검출기(22), 검출된 레지듀 신호를 제어하는 레지듀 신호 조절기(23), 조절된 레지듀 신호들을 출력하는 레지듀 신호 출력기(24)로 구성된다.
또한, 상기한 비트스트림을 발생하는 부호화기(11,17)는 데이터를 압축해, 압축된 비트스트림을 만드는 부분으로 구성되고, 부호화기에서 사용되는 비트수와 부호화기에서 할당해준 프레임의 비트수를 비교하고, 비교결과에 따라 레지듀의 사용여부를 결정하는 레지듀 검출기(13)와, 레지듀의 사용여부에 따라, 입력 레지듀 데이터를 쓰는 레지듀 쓰기부(15)로 구성 된다.
또한, 상기한 비트스트림을 풀어주는 복호화기(21,25)는 부호화된 비트스트림을 풀어 로 데이터를 형성하는 부분으로 구성되어 있고, 비트스트림의 비트할당 정보에 따라 레지듀 부분을 검출해, 그 값을 참고값과 비교하여 데이터가 쓰였는지 안 쓰였는지를 검출하는 레지듀신호 검출기(22), 검출된 레지듀 신호와 입력신호를 이용해, 레지듀 값에 따른 출력값을 조절하는 레지듀 신호 조절기(23), 조절된 레지듀를 영상에서 임의의 장소 또는 적합한 장소에 출력으로 나가게 하는 레지듀 신호 출력기(24)로 구성된다.
그러면 본 발명의 동작에 대하여 첨부된 도면을 제1도 내지 제9도를 참조하여 설명하면 다음과 같다
영상신호가 1초에 약 30 프레임이 존재하고, 오디오 신호는 100여개의 프레임이 사용된다. 영상신호에 해당하는 캡션 또는 오디오 신호에 해당하는 캡션은 유지시간이 보통 1초 이상이 되고, 1초 동안에 나타나는 캡션의 문자수는 얼마되지 않기 때문에, 오디오 신호나 비디오 신호의 레지듀 부분이 발생할 때, 그 레지듀 부분을 캡션정보의 표현에 사용하더라도, 시간지연 등이 발생하지를 않는다.
제1도를 참조하여 각 부분에 대한 보다 자세한 설명을 하기로 한다.
제1A도와 제1B도에 도시된 부호화기와 복호화기는 데이터를 압축했다가 복원하는 부분으로, 채널의 전송능력 또는 저장능력을 최대한 활용하기 위한 부분이다. 이 부분은 기존의 여러 방식들을 사용하는 것이 가능하나, 본 발명에서는 동작의 일 예를 ISO/IEC 11172를 이용해 들고자한다.
ISO/IEC 11172 오디오 부호화기에 의해 부호화된 비트스트림은 제2도에 도시된 바와 같다. 제3도는 이러한 비트스트림을 복호화하는 일 예를 나타낸 것이다. 여기서 비트스트림 가운데 많은 부분이 언제나 미리 정해진 형태에 의해 같은 크기의 비트가 정보의 표현에 사용된다는 것을 알수 있다. 여기서 중요한 값들은 신호에 따라 변화하는 중요도에 따하 비트들을 할당해준 값들을 저장하고 있는 allocation(ch)(sb)의 값으로, 이 값에 의해 샘플들에 비트들을 할당해주는 처리를한다.
이 값들에 의해 비트들을 할당했을 때, 프레임 가운데 짜투리로 남는 비트들이 발생하는 경우가 있다. 이 경우, 짜투리로 남는 부분은 레지듀부분이라고 하고, 이것은 제2도의 ISO/IEC 11172 오디오에 언급된 ANC 부분과 같다
다음, 부호화기에서 레지듀 부분이 발생하는 일 예로 제2도의 ISO/IEC 오디오 비트스트림을 이용해 제4도와 제5도를 참조하여 설명하기로 한다.
제4도의 레지듀 검출기에서는, 입력 값들을 미리 정해진 처리용 프레임의 개수만큼 읽어준다. 입력 샘플들에 비트들을 할당해준다.정해진 비트율에 따라 미리 결정된 프레임의 비트 개수와 부호화에 의해 사용된 비트수를 비교해준다. 레지듀 비트는 미리 결정된 프레임에서의 비트수예서 부호화에서 사용된 비트수를 빼준 것이다. 레지듀 값이 다음 비트 할당하는 일을 해줄 수 있을 만큼 충분히 크면, 비트를 더 할당해서 보다 음질 또는 화질을 높이는 일을 수행하고, 다른 비트들을 할당해주는 일을 할 수가 없을 때에는 레지듀 비트수가 "0"보다 큰가, "0"인가를 검사한다. 이 때, 레지듀 비트수가 "0"보다 큰 경우, 레지듀부분의 발생이 검출되었다고 한다. 이를 좀 더 상세히 설명하면 다음과 같다.
부호화 레지듀 검출기에서는, 오디오 비트스트림 또는 비디오 비트스트림의 짜투리 비트들이 존재하는 부분들을 캡션 정보의 검색에 이용하는데, 짜투리 비트들이 존재하는 부분을 찾기 위하여 입력신호들을 부호화하면서 그 부호화에 사용되는 비트수와 미리 결정된 해당 프레임에 할당된 비트수를 비교하고, 짜투리 부분이 0이 아니면 짜투리 부분이 존재하는 것으로 플래그를 발생하여 레지듀 부분을 검출하는데 이용한다. 그리고, 플래그와 짜투리 비트들의 수를 이용하여 캡션 데이타를 써 줄수 있는지 여부를 결정한다.
제5도의 레지듀 쓰기부에서는, 검출된 레지듀값이 특정 캐릭터(charactor)를 쓰는데 적합한 크기인지를 검출해, 입력 레지듀데이터를 읽어서 씨준다. 결과로 얻은 데이터 형식은 그림 8과 같다. 이해를 돕기 위해서, 레지듀 데이터부분에 E, N, D값을 ㅆ주었는데, 실제로는 E, N, D 각각에 해당하는 아스키 코드(ASCII code)를 저장한다. 이를 좀 더 상세히 설명하면 다음과 같다.
레지듀 쓰기부에서는 캡션데이타를 써 줄수 있는 만큼의 레지듀 비트가 존재하는지 여부에 대한 정보에 따라서 비트스트림의 레지듀비트를 사용하는데, 레지듀 비트가 캡션데이타를 써줄수 있는 만큼의 수가 될 경우 레지듀 데이타를 캡션데이타에 써 준 후, 짜투리 비트수를 사용한 비트수만큼 감소시키고, 남은 짜투리 비트수가 다른 캡션데이타의 쓰기에 이용할 수 있는지 비교한다. 남은 짜투리 비트수가 다른 캡션데이타의 쓰기에 이용할 수 없는 정도의 경우, 임의의 값 여기서는 동기신호와의 충돌을 피하기 위해 0으로 남은 짜투리 비트들을 채워준다. 한편, 캡션데이타를 써 줄 수 없다는 결정에 따라서 남은 짜투리비트들을 임의의 값, 여기서는 동기신호와의 충돌을 피하기 위해 0으로 채워준다.
한편, 비트스트림 형성부(17)에서는 오디오/비디오 부호화기(11)에 의한 비트스트림 중에 짜투리 부분을 처리된 레지듀 비트들로 대체해준다.
다음, 복호화기에서 레지듀 검출기는 제7도에 도시된 바와 같이 오디오 비트스트림 또는 비디오 비트스트림의 짜투리 비트들이 존재하는 부분들을 캡션정보의검색에 사용하기 위하여 검출하기 위한 것이다. 먼저, 동기신호(sync)를 검출해 프레임에 따른 처리가 가능하도록 한다. 부가 정보들에 따라서 비트스트림을 복호화하는 일을 수행하고, 읽어준 비트수들을 원래 정해진 프레임의 크기에 따른 비트수화 비교한다. 이때, 레지듀 신호는 원래 프레임에 할당된 비트수와 처리에 사용된 비트 수와의 차이값이다. 이 레지듀 값이 8비트 이상이면, 8비트를 읽어서 이 값이 "0"인가 아닌가를 검사한다. 이 때, 이 값이 "0"이면 레지듀 부분이 사용이 안된 것이고, 이 값이 "0"이 아니면, 레지듀 부분이 사용된 것이다. 레지듀 부분이 사용되었다는 정보를 얻게 되면, 레지듀 신호가 영상신호에 쓰이게 되는 캡션신호라고 할 때, 캡션정보가 위치하는 영역의 값들을 읽는다. 캡션정보가 쓰이는 부분의 인근 값들과 캡션의 표현에 사용되는 값과의 차이를 계산한다. 이 때, 이 값들의 차이는 CIELab 영역으로 바꿔서 처리를 하는 방법과, RGB 영역에서 차이를 계산하는 방법이 있다. 만약에 이 차이가 사람의 눈이 보기에 많은 차이를 갖는다는 결과를 얻게 되면, 캡션의 표현에 사용되는 색상을 변화하지 않고 그냥 사용하고, 만약 캡션에 사용되는 색과 캡션의 주위색이 유사하면, 캡션에 사용되는 값을 캡션 주위색의 보색에 가까운 값으로 변화시켜 인간이 보다 쉽게 볼수 있도록 해준다. 이러한 처리는 다중기(25)에서 수행한다. 복호화 레지듀 검출기(22)의 동작을 좀 더 상세히 설명하면 다음과 같다.
짜투리 비트들이 존재하는 부분을 찾기 위하여 입력신호들을 복호화하면서 그 복호화에 사용되는 비트수와 미리 결정된 해당 프레임에 할당된 비트수를 비교하고, 짜투리 부분이 0이 아니면 짜투리 부분이 존재하는 것으로 플래그를 발생하여 레지듀 부분을 검출하는데 이용한다. 짜투리 비트가 미리 정해진 캡션데이타가 존재할 수 있는 만큼의 수 N보다 큰 경우, 레지듀 데이타 가운데 N비트를 읽어 캡션데이타를 읽어준다. 이때, 캡션데이타를 읽은 후 짜투리 비트수를 사용한 비트수만큼 감소시키고, 남은 짜투리 비트수가 다른 캡션데이타가 존재할 수 있는 만큼 남았는지 비교한다. 남은 짜투리 비트수가 다른 캡션데이타의 쓰기에 이용할 수 없는 정도의 경우, 해당 프레임의 짜투리 데이타의 읽기를 중지한다. 반면, 남은 짜투리 비트수가 다른 캡션데이타의 쓰기에 이용할 수 있을 정도의 경우, 레지듀 데이타 가운데 N 비트를 읽어 캡션데이타를 쓰고, 레지듀 데이타 비트수를 감소시키는 것을 반복수행한다.
한편, 제8도에 도시된 레지듀신호 조절기에서는, 검출된 레지듀 신호와 레지듀 주위값들을 비교하는데, 이때 미리 결정되어 있는 문턱치를 사용한다. 이 비교동작은 CIE Lsb 영역에서 수행된다. 비교결과에 따라 캡견정보값을 변형시키는데, 이때 차이가 큰 값을 사용해 주며, 보색을 이용할 수도 있다.
또한 레지듀신호 조절기에서는 입력서치 큐와 레지듀 값들을 비교하여 특정부분의 검색에 사용하는데, 특정부분의 검색을 마친 후 플래그를 이용하여 검출되었음을 알린다.
한편, 제9A,9B도의 레지듀 신호 출력기에서는 처리된 레지듀 신호를 출력에 사용해 주는 것이다. 이 때, 화면의 특정 위치, 예로 상단, 하단, 우측, 좌측 등에 캡션을 위치하는 처리가 가능하게 해준다. 이 적용 예에 대해서는 제9A도에 보인다. 이러한 캡션이 쓰이는 위치에 대해서 값들의 분포를 보아, 비숫한 값들이 모여있는 부분에 캡션이 위치하게 해, 보다 캡션 정보의 시각적 효과를 높여준다. 이때, 임의의 위치로 캡션을 위치하는데 있어서 배경이 되는 영상의 색상 또는 비지니스(busyness)를 고려한다. 그리고, 캡션 정보의 위치조절에 있어서, 미리 결정된 몇군데의 장소 중 하나를 이용하며, 배경신호들의 특성을 고려하여 적응적으로 위치를 선정한다. 이때, 적응적으로 위치를 선정함에 있어서 캡션 주위 영역의 색상 또는 비지니스(busyness)를 고려한다.
또한, 비디오 기기에 표현되는 캡션정보의 표현에 사용되는 색상을 변형할 수도 있는데 이때 CIE Lab영역에서 수행되며, CIE Lab 영역에서 처리시 배경신호와 캡션의 표현에 사용되는 신호의 색상차이를 계산하여 처리에 이용한다.
상술한 바와 같이 본 발명에 의한 캡션을 사용하는 디지탈 오디오/비디오 코덱방법 및 장치에서는 기존의 방식들은 아날로그 로 신호에 대한 처리로, 데이터의 효율적인 사용을 위한 압축을 하지 않는데 반하여, 데이터의 효율적인 표현을 위해 압축된 경우에 사용될 수 있으며, 동기를 위한 별도의 시간에 대한 코드전송이 필요가 없는 장점을 가지고 있다.
또한, 주어진 프레임 크기와 비트율에서 최적의 비트들을 사용하였을 때, 남는 레지듀 비트들을 활용하기 때문에, 영상정보와 캡션정보 사이의 시간지연이 발생하지 않고, 경우에 따라서 중요한 캡션일 때에는 오디오 신호나 비디오 신호에 사용되는 비트수를 줄여서 음질 또는 화질을 낮추고서 캡션정보를 표현할 수 있다.
또한, 캡션의 위치를 사용자의 위치 지정에 따라 옮길 수 있고, 또 배경색과의 차이에 따라 캡션의 표현에 사용되는 색상을 바꿀 수 있기 때문에, 보다 캡션의효과적인 표현이 가능하다.
또한, 캡션 부분에 대한 정보를 이용하여 특정 부분의 검색이 가능하다.
제1A,1B도는 본 발명에 따른 부호화기/복호화기의 구성예.
제2도는 ISO＼IEC 11172의 오디오 비트스트림.
제3도는 제2도에 도시된 비트스트림의 각 부분 복호화예.
제4도는 제1A도에 도시된 레지듀 검출부의 동작흐름도.
제5도는 제1A도에 도시된 레지듀 쓰기부의 동작흐름도.
제6도는 비트스트림 예.
제7도는 제1B도에 도시된 레지듀 검출부의 동작흐름도.
제8도는 제1B도에 도시된 레지듀 신호 조절기의 동작흐름도.
제9A,9B도는 제1B에 도시된 레지듀 신호 출력기의 동작을 설명하기 위한 도면,

Claims (16)

  1. 오디오/비디오 데이타를 압축하여 비트스트림을 형성하는 부호화과정 :
    상기 부호화과정에서 비트스트림 형성시, 짜투리 비트들이 있는지를 검출하는 부호화 레지듀 검출과정;
    상기 레지듀가 존재할 경우, 입력 캡션 정보의 비트수를 고려하여 캡션정보를 쓰는 레지듀 데이타 쓰기과정;
    상기 쓰여진 레지듀 데이타를 상기 부호화되어 출력되는 비트스트림중 짜투리 비트 부분에 대체하는 캡션정보를 포함하는 비트스트림 형성과정;
    상기 캡션정보를 포함하는 비트스트림을 이용하여 오디오 또는 오디오/비디오 데이타를 복원하여 디지탈값을 계산하는 복호화과정;
    상기 복호화과정에서 복호화된 데이타에 짜투리 비트 부분이 사용되었는지를 검출하고, 특정데이타를 검색하는 복호화 레지듀 검출과정;
    상기 검출된 레지듀 신호의 값이 주위 값들과 차이가 나게 하여 보다 대비를 높이는 레지듀 신호 조절과정;
    출력에 사용될 레지듀신호를 외부의 조절에 의해 또는 자신의 적응에 의해 특정부분에 위치시키는 레지듀신호 출력과정: 및
    상기 레지듀신호 출력과정으로 부터 레지듀신호들이 위치해야 할 부분들에 대한 위치좌표와 값들을 받아 데이타를 변형시키는 다중화과정을 포함하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱방법.
  2. 제1항에 있어서, 상기 부호화 레지듀 검출과정에서는 오디오 비트스트림 또는 비디오 비트스트림의 짜투리 비트들이 존재하는 부분들을 캡션 정보의 검색에 이용하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱방법.
  3. 제1항에 있어서, 상기 레지듀 데이타 쓰기과정에서는 캡션데이타를 써 줄수 있는 만큼의 레지듀 비트가 존재하는지 여부에 대한 정보에 따라서 비트스트림의 레지듀 비트를 사용하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱방법.
  4. 제1항에 있어서, 상기 비트스트림 형성과정에서는 상기 부호화과정에 의해 생성된 비트스트림 중 짜투리 부분을 처리된 레지듀 비트들로 대체하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱방법.
  5. 제1항에 있어서, 상기 복호화 레지듀 검출과정에서는 오디오 비트스트림 또는 비디오 비트스트림의 짜투리 비트들이 존재하는 부분들을 캡션 정보의 검색에 이용하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱방법.
  6. 제1항에 있어서, 상기 레지듀신호 조절과정에서는 상기 검출된 레지듀신호와 레지듀 주위값들을 비교하여 캡션정보값을 변형시키는 것을 특징으로 하는 캡션을사용하는 디지탈 오디오/비디오 코덱방법.
  7. 제1항에 있어서, 상기 레지듀신호 조절과정에서는 입력 서치큐와 레지듀 값들을 비교하여 특정부분의 검색에 사응하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱방법.
  8. 제1항에 있어서, 상기 레지듀신호 출력과정에서는 배경이 되는 영상의 색상 또는 비지니스를 이용하여 화면의 임의의 위치로 캡션을 이동시키는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱방법.
  9. 부호화기가
    오디오/비디오 데이타를 압축하여 비트스트림을 형성하는 부호화기;
    상기 부호화기에서 비트스트림 형성시, 짜투리 비트들이 있는지를 검출하는 부호화 레지듀 검출기.
    상기 레지듀가 존재할 경우, 입력 캡션 정보의 비트수를 고려하여 캡션정보를 쓰는 레지듀 데이타 쓰기부; 및
    상기 쓰여진 레지듀 데이타를 상기 부호화되어 출력되는 비트스트림중 짜투리 비트 부분에 대체하는 비트스트림 형성기를 포함하고,
    복호화기가
    상기 캡션정보를 포함하는 비트스트림을 이용하여 오디오 또는 오디오/비디오 데이타를 복원하여 디지탈값을 계산하는 복호화기;
    상기 복호화기에서 복호화된 데이타에 짜투리 비트 부분이 사용되었는지를 검출하고, 특정데이타를 검색하는 복호화 레지듀 검출기;
    상기 검출된 레지듀 신호의 값이 주위 값들과 차이가 나게 하여 보다 대비를 높이는 레지듀 신호 조절기;
    출력에 사용될 레지듀신호를 외부의 조절에 의해 또는 자신의 적응에 의해 특정부분에 위치시키는 레지듀신호 출력기; 및
    상기 레지듀신호 출력기로 부터 레지듀신호들이 위치해야 할 부분들에 대한 위치좌표와 값들을 받아 데이타를 변형시키는 다중기를 포함하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱장치.
  10. 제9항에 있어서, 상기 부호화 레지듀 검출기에서는 오디오 비트스트림 또는 비디오 비트스트림의 짜투리 비트들이 존재하는 부분들을 캡션 정보의 검색에 이용하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱장치.
  11. 제9항에 있어서, 상기 레지듀 데이타 쓰기부에서는 캡션데이타를 써 줄수 있는 만큼의 레지듀 비트가 존재하는지 여부에 대한 정보에 따라서 비트스트림의 레지듀 비트를 사용하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱장치.
  12. 제9항에 있어서, 상기 비트스트림 형성기에서는 상기 부호화기에 의해 생성된 비트스트림 중 짜투리 부분을 처리된 레지듀비트들로 대체하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱장치.
  13. 제9항에 있어서, 상기 복호화 레지듀 검출기에서는 오디오 비트스트림 또는 비디오 비트스트림의 짜투리 비트들이 존재하는 부분들을 캡션 정보의 검색에 이용하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱장치.
  14. 제9항에 있어서, 상기 레지듀신호 조절기에서는 상기 검출된 레지듀신호와 레지듀 주위값들을 비교하여 캡션정보값을 변형시키는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱장치.
  15. 제9항에 있어서, 상기 레지듀신호 조절기에서는 입력 서치큐와 레지듀 값들을 비교하여 특정부분의 검색에 사용하는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱장치.
  16. 제9항에 있어서, 상기 레지듀신호 출력기에서는 배경이 되는 영상의 색상 또는 비지니스를 이용하여 화면의 임의의 위치로 캡션을 이동시키는 것을 특징으로 하는 캡션을 사용하는 디지탈 오디오/비디오 코덱장치.
KR1019950040569A 1995-11-08 1995-11-08 캡션을사용하는디지탈오디오/비디오코덱방법및장치 KR100322729B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950040569A KR100322729B1 (ko) 1995-11-08 1995-11-08 캡션을사용하는디지탈오디오/비디오코덱방법및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950040569A KR100322729B1 (ko) 1995-11-08 1995-11-08 캡션을사용하는디지탈오디오/비디오코덱방법및장치

Publications (2)

Publication Number Publication Date
KR970032166A KR970032166A (ko) 1997-06-26
KR100322729B1 true KR100322729B1 (ko) 2002-06-20

Family

ID=37460747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950040569A KR100322729B1 (ko) 1995-11-08 1995-11-08 캡션을사용하는디지탈오디오/비디오코덱방법및장치

Country Status (1)

Country Link
KR (1) KR100322729B1 (ko)

Also Published As

Publication number Publication date
KR970032166A (ko) 1997-06-26

Similar Documents

Publication Publication Date Title
US6466697B1 (en) Data structure for image transmission, image coding method, and image decoding method
Watkinson The MPEG handbook
KR100461207B1 (ko) 디지탈영상신호송수신장치
US6377309B1 (en) Image processing apparatus and method for reproducing at least an image from a digital data sequence
US5295203A (en) Method and apparatus for vector coding of video transform coefficients
JP4286912B2 (ja) 静止画像の送信と表示の方法と装置
KR100574184B1 (ko) 비디오 인코더, 비디오 디코더, 비디오 처리기 및 그 방법
KR20010020147A (ko) 범용 직렬버스 접속을 위한 2중 압축 비디오 비트 스트림
US20050114887A1 (en) Quality of video
EP0634876B1 (en) Device for transmitting a digital picture signal
JP3803349B2 (ja) 画像復号化装置および画像復号化方法
US5828413A (en) Method and apparatus for image processing using model-based localized quantization
US5363141A (en) Method and apparatus for transmitting encoded blocks of video signals at different channel rates
KR100322729B1 (ko) 캡션을사용하는디지탈오디오/비디오코덱방법및장치
KR20060007765A (ko) 영상 압축/복원 방법 및 장치
KR0144935B1 (ko) 비트율 조정이 가능한 부호화 및 복호화장치
KR0144780B1 (ko) Mpeg과 ac-3겸용 디지탈 오디오신호의 복호화장치
van der Schaar-Mitrea Compression of mixed video and graphics images for TV systems
JPH1132337A (ja) 画像伝送用データ構造，符号化方法及び復号化方法
JPH0698175A (ja) 画像・データ多重化回路
KR970060973A (ko) 디지탈 입체영상의 부호화/복호화장치
JPH0998418A (ja) 画像符号化・復号化方法及びシステム
JPH06303609A (ja) スクランブル信号再生装置
JP2003061089A (ja) ビットストリーム変換器、これを用いたデータ送信システム及び通信端末装置
JP2003078916A (ja) 画像符号化方法および画像復号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20081224

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee