KR0186135B1 - 고화질 동영상 부호화기 - Google Patents

Abstract

본 발명은 동영상 압축을 위한 부호화기에서 고화질과 고속의 부호화를 구현하는 기술에 관한 것으로, 영상압축 부호화기에 있어서는 개발시간과 비용이 많이 소요되는 결함이 있으며, 개발된 시스템의 확장이나 변경이 어렵다는 결함이 있고, 시스템의 속도가 극히 제한적이어서 부호화에 많은 시간이 소요된다는 결함이 있어 그만큼 사용하는데 제한을 받게 되는 문제점으로 대두되었는 바, 본 발명은 이를 해결하기 위하여, 많은 계산량을 필요로하는 움직임 예측 및 움직임 보상은 하드웨어로 처리하고, 상대적으로 계산량이 적은 부분은 프로그램적으로 처리함으로써 기존의 동영상 부호화기에 비하여 고화질로 부호화 할 수 있을 뿐만 아니라 고속으로 부호화 할 수 있어 CD-I나 DVD와 같은 저장매체를 대상으로 부호화 하는데 유용하게 적용할 수 있다.

Description

고화질 동영상 부호화기

제1도는 본 발명의 고화질 동영상 부호화기에 대한 일실시 예시 블록도.

제2도는 본 발명에 의해 하드웨어적으로 처리되는 동영상 부호화의 계통도.

제3도는 제1도에서 화상입력장치의 일실시 예시 상세 블록도.

제4도는 제1도매서 이동량 검출장치의 일실시 예시 상세 블록도.

제5도는 제4도에서 입력버퍼의 일실시 예시 상세 블록도.

제6도는 본 발명의 고화질 동영상 부호화 처리에 대한 동작신호 흐름도.

* 도면와 주요부분에 대한 부호의 설명

11 : 영상소오스 출력부 12 : 화상입력장치

12A : 프레임 제어기 12B : A/D변환 및 동기분리기

12C : 멀티플렉서 12D : 동기분리기

12E : 클럭발생기 12F : 비디오메모리

12G : 버퍼메모리 13 : 디지탈신호 처리부

14 : 이동량 검출부 14A : 움직임예측용 메모리

14B : 입력버퍼 14C : 움직임예측 연산부

14D : 출력버퍼 14E : 프로그램어불 콘트롤러

15 : 디스크 15 : 범용 컴퓨터

본 발명은 동영상 압축을 위한 부호화기에서 고화질과 고속의 부호화를 구현하는 기술에 관한 것으로, 특히 많은 계산량을 필요로하는 움직임 예측 및 움직임 보상은 하드웨어로 구현하고, 상대적으로 계산량이 적은 부분은 프로그램적으로 구현하는데 적당하도록한 고화질 동영상 부호화기에 관한 것이다.

일반적으로, 동영상 부호화 시스템은 주문형 하드웨어로 구현된 것과 컴퓨터의 프로그램에 의해 구현된 것으로 대별된다.

먼저, 하드웨어로 구현된 것은 브이에치디엘 툴(VHDH Tool)로 ASIC를 설계하여 시스템을 구현하거나, DCT(DCT: Discrete Cosine Trasform)와 이동량(영상의 움직임)검출 등의 계산량이 많이 요구되는 연산을 효과적으로 처리하는 특수 장치(Function Specific Device)와 EPLD(또는 FPGA)를 서로 혼합하여 시스템을 구현하는 방법이 있다.

그러나, 이와 같이 구현된 시스템의 경우 성능은 우수하나 개발시간과 비용이 많이 소요되는 결함이 있으며, 개발된 시스템의 확장이나 변경이 어렵다는 결함이 있다.

한편, 컴퓨터의 프로그램에 의해 구현된 것은, 고성능의 컴퓨터에서 소프트웨어를 이용하여 부호화를 수행하는 것으로, 이는 첫 번째 기법에 비하여 알고리즘의 변경이 용이하고, 개발기간이 짧다는 장점이 있는 반면에 구현된 시스템의 속도가 극히 제한적이어서 부호화에 많은 시간이 소요된다는 결함이 있다.

상기 두가지의 방법 중에서 방송과 같은 실제 상황에서는 전자의 부호화기가 보다 효과적이거나, 고화질을 필요로 하는 대화형 씨디(CD-I)나 디지탈 QLLEDH 디스크(DVD)에 적용하는 경우와 같이 실시간 보다는 다양한 기법을 동원하여 비드 스트림(bit-stream)의 품질을 향상시키고자 하는 경우에는 후자의 부호화기가 보다 효과적이다.

결국, 종래의 영상압축 부호화기에 있어서, 전자와 같은 부호화기에 있어서는 개발시간과 비용이 많이 소요되는 결함이 있으며, 개발된 시스템의 확장이나 변경이 어렵다는 결함이 있고, 후자와 같은 부호화기에 있어서는 시스템의 속도가 극히 제한적이어서 부호화에 많은 시간이 소요된다는 결함이 있어 그만큼 사용하는데 제한을 받게 되는 문제점으로 대두되었다.

따라서, 본 발명의 목적은 많은 계산량을 필요로하는 움직임 예측 및 움직임 보상은 하드웨어로 구현하고, 상대적으로 계산량이 적은 부분은 프로그램적으로 구현하는 고화질 동영상 부호화기를 제공함에 있다.

제1도는 상기의 목적을 달성하기 위한 본 발명 고화질 동영상 부호화기의 전체 블록도로서 이에 도시한 바와 같이, 디지탈 신호 처리부(13)의 제어를 받아 영상소오스 출력부(11)로부터 원하는 양만큼씩 영상데이타를 공급받아 내부 메모리에 저장하는 화상입력장치(12)와, 상기 화상입력장치(12)에 저장되는 영상데이타를 영상부호화 처리에 적당한 형태로 처리하여 저장한 후 이동량을 검출하고자 하는 화면의 영상데이타, 이동량 검출범위, 입력영상의 크기정보등을 순차적으로 읽어내어 이동량 검출장치(14)측으로 전달하고 이동량 검출외에 모든 부호화 작업을 수행하는 디지탈신호 처리부(13)와, 상기 디지탈 신호 처리부(13)의 출력 영상데이타 및 정보를 공급받아 영상의 움직임을 하드웨어적으로 검출하는 이동량 검출장치(14)와, 디스크(15)와 같은 기록매체에 기록된 영상정보를 읽어내어 상기 디지탈 신호 처리부(13)에 전달하고, 그 디지탈 신호 처리부(13)의 구동을 제어하는 범용컴퓨터(16)로 구성한 것으로, 이와 같이 구성한 본 발명의 작용 및 효과를 첨부한 제2도 내지 제6도를 참조하여 상세히 설명하면 다음과 같다.

본 설명에 앞서 제2도를 참조하여 동영상 부호화의 계산량 계통을 살펴보면, 16×16 크기의 매크로블록 단위로 이동량을 검출함과 아울러 보상하는 움직임 예측 및 보상부(MEMC), 매크로블록내의 8×8 블록을 주파수영역으로 변환/복원하는 디씨티(DCT) 및 역디씨티(IDCT)에서 비교적 많은 계산량을 필요로하고, 나머지 매크로블록의 부호화를 결정하는 결정부(DEC), DCT연산 후 계수값을 양자화/역양자화 하는 양자화부(Q), 역양자화부(IQ), 양자화된 계수를 가변장 길이로 압축하는 알엘씨(RLC) 및 브이엘씨(VLC) 부분은 상대적으로 적은 계산량을 필요로 한다.

상기의 연상 중에서 계산량을 가장 많이 필요로 하는 것은 움직임 예측 및 보상부(MEMC)이다. 실제로 MPEG2 MP@ML의 경우 움직임예측 연산은 전체 연산중에서 80%이상을 차지한다. 따라서, 제1도에서와 같이 이동량 검출만을 전용으로 처리하는 장치를 도압하고, 나머지 계산은 디지탈 신호 처리부(DSP)(103)를 도입하여 처리하도록 하였다.

화상입력장치(12)는 영상소오스 출력부(11)에서 출력되는 영상을 받아들이기 위한 부분으로서 고화질을 실시간으로 부호화를 수행하지 않으므로 대용량의 영상버퍼를 포함하게 되는데, 이의 작용을 제3도를 참조하여 상세히 설명하면 다음과 같다.

범용 컴퓨터(15)에서 입력하고자 하는 영상의 위치가 화면의 갯수 정보를 입력받아 프레임 제어기(12A)에 입력하면 그 프레임 제어기(12A)가 영상소오스 출력부(11)내의 아날로그 브이씨알(11A)이나 디지탈 브이씨알(11B)의 구동을 제어하여 버퍼메모리(12G)에서 혀용되는 M장 만큼의 영상이 재생된다.

상기에서 아날로그 브이씨알(11B)이 선택되는 경우, 이로부터 재생출력되는 영상신호는 A/D변환 및 동기분리기(12B)에 공급되어 디지탈 신호로 변환됨과 아울러 동기신호가 분리되고, 이렇게 변환된 디지탈 영상신호는 멀티플렉서(12C) 및 비디오메모리(12F)를 통해 상기 버퍼메모리(12G)에 저장되고, 이때, 그 분리된 동기신호는 클럭발생기(12E)에 공급되어 여기서 발생되는 해당 클럭신호가 상기 직렬메모리(SAM)의 데이타입력 제어신호로 공급된다.

또한, 상기 디지탈 브이씨알(11B)이 선택되는 경우, 이로부터 재생출력되는 영상신호는 상기 버퍼 메모리(12G)에 직접 입력할 수 있는 형태로 되어 있으므로 상기와 달리 동기분리기(12D)를 통해 동기신호만을 분리하여 비디오메모리(12F)를 통해 상기 버퍼메모리(12G)에 저장하고, 이때, 그 분리된 동기신호는 상기 클럭발생기(12E)에 공급되어 여기서 발생되는 해당 클럭신호가 상기 직렬메모리(SAM)의 데이타입력 제어신호로 공급된다.

다시말해서, 상기 아날로그 브이씨알(11A)이나 디지탈 브이씨알(11B)에서 출력되는 영상신호 중에서 어느 하나가 상기 멀티플렉서(12C)에 입력되는 선택신호(SEL)에 의해 선택된 후 상기 비디오메모리(12F)를 통해 버퍼메모리(12G)에 저장된다.

이때, 디지탈신호 처리부(13)는 상기 비디오메모리(12F)를 통해 입력되는 영상데이타의 형태는 4:2:2(Y:4, U:2, V:2)이므로 영상부호화에 적합한 4:2:0(Y:4, U, V:2, 0)의 컬러형태로 변환하여 버퍼 메모리(12G)에 저장하게 된다.

이후, 디지탈신호 처리부(13)와 영상의 이동량 검출장치(14)로 구성된 하드웨어를 이용하여 움직임 예측 및 보상과 같이 단순하면서도 많은 계산량을 필요로 하는 작업을 수행하게 되는데, 이의 처리과정을 제4도를 참조하여 설명하면 다음과 같다.

디지탈신호 처리부(13)는 상기 버퍼메모리(12G)로부터 이동량을 검출하고자 하는 화면의 영상데이타를 읽어와 움직임예측용 메모리(14A)에 저장하고, 또한, 이동량 검출 범위, 입력영상 크기 등의 정보를 읽어와 그 움직임예측용 메모리(14A)의 지정된 영역에 저장한 후 프로그램어블 콘트롤러(14E)에 스타트명령(START)을 하달하여 움직임 예측연산이 이루어진다.

즉, 상기 프로그램어블 콘트롤러(14E)의 제어에 의해 상기 움직임예측용 메모리(14A)에 저장된 영상정보가 소정 단위로 입력버퍼(14B)를 통해 움직임예측 연산부(14C)에 공급되어 움직임이 예측되고, 그 예측 결과가 출력버퍼(14D)를 통해 상기 움직임예측용 메모리914A)에 저장된다.

이때, 이동량 검출장치(14)의 입력 데이타비율을 높이기 위해 입력버퍼(14A)와 출력버퍼(14D)를 두었으며, 그 입력버퍼(14A)는 제5도에서와 같이 다시 두 개의 버퍼(51),(52)로 구성하여 제1버퍼(51)가 상기 움직임예측용 메모리(14A)로부터 데이타를 입력받는 동안 제2버퍼(52)는 상기 움직임예측 연산부(14C)에 데이타를 출력하고, 다음 순간에는 반대로 제1버퍼(51)가 움직임예측 연산부(14C)에 데이타를 공급하고 제2버퍼(52)는 움직임예측용 메모리(14A)로부터 데이타를 공급받는다.

이와 같이 상기 제1버퍼(51)와 제2버퍼(52)가 데이타의 입력, 출력을 교번되게 수행하기 위하여 프로그램어블 콘트롤러(14E)는 상기 제1버퍼(51)의 인에이블신호(EN_A)를 넌액티브시키고 클럭신호(CLK_A)를 액티브시킬 때 반대로 제2버퍼(52)에 공급되는 인에이블신호(EN_B)를 액티브시키고 클럭신호(CLK_B)를 넌액티브시키고, 이와 같은 동작을 교번되게 반복적으로 수행하게 된다.

한편, 제6도를 참조하여 본 발명에 의한 동영상 부호화의 전체적인 처리과정을 설명하면 다음과 같다.

먼저, 영상소오스 출력부(11)로부터 부호화 하고자 하는 영상의 시작위치와 화면수(N0 파라미터를 입력받은 후 해당 브이씨알을 구동시켜 M장 만큼의 데이타를 공급받아 이를 화상입력장치(12)내의 버퍼메모리(12G)에 저장한다.(S1,S2)

이때, M은 입력되는 영상데이타의 분량과 화상입력장치(12)내의 버퍼메모리(12G)의 용량에 의해서 결정된다. 또한, 상기 버퍼메모리(12G)에 보다 많은 화면을 저장하기 위하여 입력되는 영상의 형태(4:2:2)를 4:2:0의 형태로 변환하는 작업을 디지탈 신호 처리부(13)에서 동시에 소프트웨어적으로 수행하게 된다.(S3)

이와 같이 M장의 영상데이타가 모두 입력되면 이동량 검출장치(14)를 구동시켜 하드웨어적으로 이동량을 검출하게 되는데, 이와 같이 전용 하드웨어를 이용하여 이동량을 검출하면 ㅛ소프트웨어로 이동량을 검출하는 것에 비하여 수백배 이상 처리 속도를 향상시킬 수 있고, 이동량 검축동작 이외의 작업(화면내 부호화 작업)과 동시에 수행이 가능하여 전체적인 성능향상을 이룰수 있다.(S4,S5)

상기의 두가지 작업 즉, 이동량검출 작업과 화면내 부호화 작업을 버퍼메모리(12G)에 저장된 M장의 영상데이타에 대하여 처리한 후 다시 브이씨알을 구동시켜 M장의 영상데이타를 입력받아 상기의 동작을 반복 수행하게 된다.

이때, M장의 크기는 상기한 바와 같이 버퍼메모리(12G)의 허용 용량에 따라 결정되나, 부호화의 효율을 위해 동영상 부호화의 단위인 GOP의 배수로 결정하는 것이 바람직하다.

여기서, 간과할 수 없는 사항은 입력되는 영상의 형태(4:2:2)가 부호화에 적합한 형태(4:2:0)로 변환되는 시간은 화면이 입력되는 시간에 비하여 빨라야 한다는 것이다.

이상에서 상세히 설명한 바와 같이 본 발명은 많은 계산량을 필요로 하는 움직임 예측 및 움직임 보상은 하드웨어로 처리하고, 상대적으로 계산량이 적은 부분은 프로그램적으로 처리함으로써 기존의 동영상 부호화기에 비하여 고화질로 부호화할 수 있을 뿐만 아니라 고속으로 부호화할 수 있어 CD-I나 DVD와 같은 저장매체를 대상으로 부호화 하는데 유용하게 적용할 수 있는 효과가 있다.

Claims (4)

1. 디지탈신호 처리부(13)의 제어를 받아 영상소오스 출럭부(11)로 부터 원하는 양만큼씩 영상데이타를 공급받아 내부 메모리에 저장하는 화상입력장치(12)와, 상기 화상입력장치(12)에 저장되는 영상데이타를 영상부호화 처리에 적당한 형태로 처리하여 저장한 후 이동량을 검출하고자 하는 화면의 영상데이타, 이동량 검출범위, 입력영상의 크기정보등을 순차적으로 읽어내어 이동량 검출장치(14)측으로 전달하고 이동량 검출외에 모든 부호화 작업을 수행하는 디지탈신호 처리부(13)와, 상기 디지탈신호 처리부(13)의 출력 영상데이타 및 정보를 공급받아 영상의 움직임을 하드웨어적으로 검출하는 이동량 검출장치(14)와, 디스크(15)와 같은 기록매체에 기록된 영상정보를 읽어내어 상기 디지탈신호 처리부(13)에 전달하고, 그 디지탈신호 처리부(13)의 구동을 제어하는 범용컴퓨터(15)로 구성한 것을 특징으로 하는 고화질 동영상 부호화기.
2. 제1항에 있어서, 화상입력장치(12)는 상기 디지탈신호 처리부(13)의 제어하에 상기 영상소오스 출력부(11)의 구동을 제어하여 버퍼메모리(12G)매서 허용되는 M장 만큼의 영상을 순차적으로 읽어내는 프레임 제어기(12A)와, 상기 영상소오스 출력부(11)에서 출력되는 아날로그 복합영상신호를 디지탈신호로 변환함과 아울러 동기신호를 분리해내는 A/D변환 및 동기분리기(12B)와, 상기 영상소오스 출력부(11)에서 출력되는 디지탈 복합영상신호로 부터 동기신호를 분리해 내는 동기분리기(12D)와, 상기 디지탈신호 처리부(13) 제어를 받아 상기 아날로그 영상신호나 디지탈 영상신호 중 하나를 선택하여 비디오메모리(12F)에 저장하는 멀리플렉서(12C)와, 상기 A/D변환 핀 등기분리기(12B)나 등기분리기(12D)로 부터 입력되는 동기신호에 상응되는 클럭신호를 생성하여 상기 비디오메모리(12C)의 직렬메모리(SAM)의 데이타입력 제어신호로 공급하는 클럭신호 발생기(12E)와, 상기 비디오메모리(12F)에서 출력되어 디지탈신호 처리부(13)에 의해 영상부호화 처리에 적당한 형태로 처리된 영상신호를 저장하는 버퍼메모리(12G)로 구성한 것을 특징으로 하는 고화질 동영상 부호화기.
3. 제1항에 있어서, 이동량 검출장치(14)는 디지탈신호 처리부(12)에서 출력되는 화면의 영상데이타, 이동량 검출범위, 입력영상의 크기정보등을 저장하는 움직임예측용 메모리(14A)와, 상기 움직임예측용 메모리(14A)의 출력데이타율을 향상시키기 위한 입력버퍼(14B)와, 상기 입력버퍼(14B)를 통해 소정 단위로 순차입력되는 영상정보를 공급받아 하드웨어적으로 움직임을 걷출하는 움직임예측 연산부(14C)와, 상기 디지탈신호 처리부(13)로 부터 스타트명령(START)을 공급받아 이동량 검출장치(14)내의 각부를 총괄 제어하는 프르그램어블 콘트롤러(14E)로 구성한 것을 특징으로 하는 고화질 동영상 부호화기.
4. 제3항에 있어서, 입력버퍼(14B)는 제1버퍼(51)와 제2버퍼(52)로 이루어져 서로 교번되게 동작하면서 상기 움직임예측용 메모리(14A)에서 영상테이타를 읽어오는 동작과 움직임예측 연산부(114V)에 영상데이타를 출력하는 동작을 서로 교변되게 수행하도록 구성한 것을 특징으로 하는 고화질 동영상 부호화기.