KR0161927B1 - 디지탈 영상 데이타의 부호화 방법 - Google Patents

Abstract

본 발명은 디지탈 영상 데이터의 부호화 방법에 관한 것으로, 전체부호화 하고자 하는 부화면 크기를 결정하여 부호화할 영상의 처음 화면부터 재생하여 입력하는 제1스텝과, 상기 입력영상 데이터를 프레임율(Frame Rate)내의 단위로 움직임 벡터값을 검출하여 저장하는 제2스텝과, 상기 제1,2스텝을 반복하여 부호화할 전체부화면에 대하여 움직임 벡터값의 검출 및 저장이 종료되면 부호화할 영상의 첫 화면부터 표준화 과정(Pre-Analysing)을 통해 실제 부호화에 필요한 파라메터값을 구하고 비트를 할당하는 제3 스텝과, 상기 저장되어 있는 움직임 벡터값과 파라메터 정보를 이용하여 입력되는 영상 데이터를 특정단위로 순차적으로 부호화하여 부호화된 음성 데이터와 조합하는 스텝을 포함하여 이루어진다.

상기와 같이 실시한 부호화기(Real Time Encoder)의 방식을 비실시간 부호화기(Non-real Time Encoder)에 적용하여 H/W의 복잡도를 감소시키고, 고화질로 부호화를 수행할 수 있도록 한 디지탈 영상 부호화 방법에 관한 것이다.

Description

디지탈 영상 데이터의 부호화 방법

제1도는 일반적인 디지탈 영상 데이터의 부호화 과정을 나타낸 블록도.

제2도는 종래의 실시간 부호화기의 구성도.

제3도 (a)(b)는 종래의 비실시간 부호화기의 구성도.

제4도는 본 발명의 부호화 알고리듬을 나타낸 개략도.

제5도는 본 발명의 부호화기의 구성을 나타낸 블록도.

제6도는 본 발명의 인트라 부호화부의 구성을 나타낸 블록도.

제7도는 본 발명의 디지탈 영상 데이터의 부호화 방법을 나타낸 플로우 챠트.

* 도면의 주요부분에 대한 부호의 설명

501 : 디지탈 VCR 502 : 비디오 입력 모듈

503 : 움직임 추정부 504 : 인트라 부호화부

505 : 트랜스포트 506 : 오디오 엔코더

507 : 화상편집 제어부 508 : 호스트 컴퓨터

509 : HDD

본 발명은 디지탈 영상 부호화 시스템에 관한 것으로, 특히 실시간 부호화기의 방식과 비실시간 부호화기의 장점을 취하여 H/W 복잡도를 감소시키고, 고화질로 부호화를 수행할 수 있도록 한 디지탈 영상 부호화 방법에 과한 것이다.

일반적으로 디지탈 영상 데이터 처리 시스템에 있어서는 처리해야할 정보량이 방대하므로 효율적인 정보처리를 위하여 인간이 시각적으로 느끼지 않는 범위내에서 영상 데이터를 압축해야 한다.

동영상 부호화는 연속적으로 입력되는 영상 데이터를 효과적으로 저장과 전송하기 위한 데이터 압축기법으로, 최근 DBS(Direct Broadcasting by Satellite), DVD(Digital Video Disk) 및 ATV(Advanced TV) 등의 여러 분야에 MPEG-2 기법이 광범위 하게 적용되고 있다.

MPEG-2는 여러장의 영상으로 구성된 GOP(Group Of Picture) 단위로 부호화 과정을 수행하게 된다.

GOP내에는 I화면(Intra-coded Picture)과, P화면(Predictive-coded Picture), B화면(Bidirectionally Predictive-coded Picture)의 세가지 다른 형태로 부호화 하게 된다.

부호화 과정은 기본적으로 입력되는 영상에 대하여 16×16 화소크기의 매크로블럭으로 나눈 후, 화면의 부호화 형태에 따라 P와 B화면의 경우 단위 매크로블럭 마다 일반적인 디지탈 영상 부호화 과정을 나타낸 블록도인 제1도에서와 같이, 입력되는 이미지 데이터(Image Data)와 이전화면의 지정된 탐색영역에서 이동벡터를 결정하고 현재 부호화할 매크로블럭과 이전에 부호화된 기준화면과 이동벡터를 이용하여 블록간의 차이를 구하는 움직임 추정 및 보상부(101)와, 상기 움직임 추정 및 보상부(101)에서 출력되는 차분영상 데이터를 8×8 크기의 블록으로 나누어서 주파수 성분으로 변환하는 DCT 변환부(Discrete Cosine Transform)(103)와, 상기 DCT 변환부(103)에서 출력된 주파수 계수를 스케일 팩터(Scale Factor)와 양자화(Quantizer) 테이블의 곱으로 이루어진 값으로 양자화(Quantizing)하여 출력하는 양자화부(104)와, 상기 양자화부(104)의 출력신호를 RLC(Run Length Coding)과 VLC(Variable Length Coding) 과정을 통하여 최종 압축된 비트스트림을 발생하는 RLC 및 VLC부(108)로 구성된다.

그리고 양자화부(104)의 양자화된 영상 테이타를 역양자화(Inverse Quantization)하는 역양자화부(105)와 역DCT 변환하는 IDCT 변환부(106)는 이후 부호화할 화면에 대한 기준화면을 구성하기 위한 것이다...

기준화면 구성부(107)의 출력영상 데이터는 움직임 추정 및 보상부(101)에서 움직임 벡터값으로 영상을 보상할 때 프레임 버퍼에서 일시 저장되어 출력된다.

I화면은 GOP내의 첫 화면으로서, 이동량 검출을 수행하지 않고 현재 부호화 하고자 하는 화면만으로 부호화를 수행한다.

즉, DCT 이후의 과정만을 수행하게 된다. 따라서 이후에 부호화 하고자 하는 화면에 대하여 첫 기준화면으로서 전체화질에 큰 영향을 주며, 랜덤액세스나 에러 발생시에 기준으로 이용하게 된다. I화면의 부호화시에는 이동량 검출에 관계한 모든 연산이 생략되므로 많은 계산량의 감축을 가져올 수 있다. 상기와 같은 MPEG 알고리듬에 의한 영상 데이터의 부호화는 많은 계산량을 수반하므로 전용 부호화기를 필요로 한다. 이하, 첨부된 도면을 참조하여 종래의 디지탈 영상 데이터의 부호화기에 대하여 설명하면 다음과 같다. 일반적으로 전용 부호화기의 형태에는 실시간 부호화기와 비실시간 부호화기가 있다.

제2도는 종래의 실시간 부호화기의 구성도이다. 입력되는 영상을 보다 작은 크기의 부화면으로 분할(201)하여 제1,2,3,4,...의 병렬처리 부호화기(202)를 통하여 부호화 한 후, 각 부호화기의 부분결과 데이터를 가산기(203)에 의해 조합하여 최종출력 비트스트림을 발생시키게 된다.

상기와 같은 실시간 부호화기(Real Time Encoder)는 영상의 입력되는 속도내에 모든 부호화 작업을 수행하는 형태로서, 화면 데이터의 입력과 동시에 부호화된 데이터가 출력되므로 음성 부호화와 시스템 부호화가 온 라인(On Line)으로 처리될 수 있어 사용자가 이용하기가 쉽고, 빠르게 수행할 수 있는 장점이 있으나, 복잡한 알고리듬에 의한 부호화를 제한된 시간내에 처리하여야 하므로, 부호화된 영상의 화질이 저하될 수 있으며, 고 속의 복잡한 H/W 부호화 장치가 필요하다.

따라서, 실시간 부호화기는 영구적으로 이용될 수 있는 디스크나 테이프에 저장을 위한 고화질 압축 데이터의 생성보다는 방송과 같은 상황에서 유용하다.

그리고 제3도는 (a)(b)는 종래의 비실시간 부호화기의 구성도로써, 먼저 제3도 (a)의 비실시간 부호화기는 프레임(Frame) 단위로 조작을 가하여 영상을 인출할 수 있는 디지탈 VCR(301)과, 상기 디지탈 VCR을 제어하는 화상편집 제어부(Frame Accurate Edit Controller)(302)를 이용하여 부호화 하는 시스템으로 디지탈 VCR(301)을 프레임 단위로 조작할 때는 약 5초 이상의 프리롤(Pre-roll) 시간이 소요되어 고속 부호화가 불가능하고, 디지탈 VCR(301)내의 서보 메카니즘(Servo Mechanism)에 무리가 가서 장시간 운용이 불가능하다.

그리고 제3도 (b)가 비실시간 부호화기는 제3도 (a)의 부호화기의 문제점을 개선하기 위하여 부호화기 전단에 대용량의 버퍼 메모리(303)를 부가하여 시스템을 구성한 것이다.

상기와 같은 비실시간 부호화기는 일정 분량의 영상 데이터를 입력버퍼에 입력을 시킨후, 부호화 알고리듬을 수행하여 결과를 발생하고, 다시 상기 동작을 반복하게 된다.

상기와 같은 제3도 (a)(b)의 고속 부호화기를 이용하기 위해서는 프레임 단위로 조작을 가하여 데이터를 인출할 수 있는 디지탈 VCR에 부호화될 영상이 저장되어 있어야 한다.

즉, 비실시간 부호화기는 기록장치에 이미 저장되어 있는 영상을 프레임 단위로 시간에 제약없이 처리하는 부호화기의 형태로서, 고화질로 부호화가 가능하나 수행시간이 많이 소요된다.

따라서, 비실시간 부호화기는 방송과 같은 상황에서는 이용할 수 없고, 디스크나 테이프에 저장을 위한 고화질을 요구하는 타이틀 제작에 유리하다.

그러나 상기와 같은 종래의 부호화기에 있어서는 다음과 같은 문제점이 있었다. 먼저, 실시간 부호화기에 있어서는 H/W의 복잡도에 추가로 화면이 분할되어 처리되므로 화질제어 및 전송률 제어(Rate Control) 알고리듬이 복잡해지는 문제점이 있었다.

그리고 비실시간 부호화기에 있어서는 고화질로 영상을 처리할 수 있으나, 최종 비트스트림을 생성하기 위해서는 음성 부호화와 시스템 부호화를 영상 비트스트림을 생성시킨 후에 다라 오프라인(Off-Line)으로 처리하여야 한다.

따라서 부호화 효율이 크게 저하되고, 중간에 영상 비트스트림을 저장하는 대용량의 메모리가 필요한 문제점이 있었다.

본 발명은 상기와 같은 종래의 디지탈 영상 데이터의 부호화기의 문제점을 해결하기 위하여 안출한 것으로써, 실시간 부호화기의 방식과 비실시간 부호화기의 장점을 취하여 H/W 복잡도를 감소시키고, 고화질로 부호화를 수행할 수 있도록 한 디지탈 영상 데이터의 부호화 방법을 제공하는데 그 목적이 있다.

상기의 목적을 달성하기 위한 본 발명의 디지탈 영상 데이터의 부호화 방법은 이동량 검출부의 처리능력을 고려하여 부화면 크기를 결정하여 부호화할 영상의 처음 화면부터 재생하여 입력하는 제1 스텝과, 상기 입력영상 데이터를 프레임율(Frame Rate)내의 단위로 움직임 벡터값을 검출하여 저장하는 제2 스텝과, 상기 제1,2 스텝을 반복하여 부호화할 전체부화면에 대하여 움직임 벡터값의 검출 및 저장이 종료되면 부호화할 영상의 첫 화면부터 표준화 과정(Pre-Analysing)을 통해 실제 부호화에 필요한 파라메터값을 구하고 비트를 할당하는 제3 스텝과, 상기 저장되어 있는 움직임 벡터값과 파라메터 정보를 이용하여 입력되는 영상 데이터를 특정단위로 순차적으로 부호화하여 부호화된 음성 데이터와 조합하는 스텝을 포함하여 이루어짐을 특징으로 한다.

이하, 첨부된 도면을 참고하여 본 발명의 디지탈 영상 데이터의 부호화 방법에 대하여 상세히 설명하면 다음과 같다.

제4도는 본 발명의 부호화 알고리듬을 나타낸 개략도이고, 제5도는 본 발명의 부호화기의 구성을 나타낸 블록도이고, 제6도는 본 발명의 인트라 부호화부의 구성을 나타낸 블록도이고, 제7도는 본 발명의 디지탈 영상 데이터의 부호화 방법을 나타낸 플로우 챠트이다.

MPEG와 같은 동영상 부호화에 있어서는 가장 많은 계산량을 포함하는 연산은 움직임 벡터값 검출에 관계한 계산이다.

다라서 화면내 부호화 과정(DCT 이후의 과정)은 실시간 처리가 가능하다. 그러므로 부호화기를 구성함에 있어서는 움직임 벡터값 검출에 관계한 연산을 얼마나 효율적으로 처리하느냐가 중요한 요소가 된다.

움직임 벡터값의 검출은 이전화면의 지정된 탐색영역에서 움직임 벡터값을 결정하는 풀 써치(Full Search)가 가장 우수한 성능을 나타낸다.

그리고 상기 풀 써치의 많은 계산량을 고려하여 쓰리 스텝 써치(Three Step Search), 계층적 검색(Hierachical Search) 등과 같은 여러 계산량을 크게 감소시키는 탐색방법이 제안되고 있으나, 고화질의 부호화를 위해서는 풀 써치를 통한 부호화가 바람직하다.

실제 MPEG 2의 부호화에서 움직임 벡터값 검출은 부호화 되는 픽쳐(Picture)의 형태에 따라 차이가 있다.

픽쳐 형태는 프레임 픽처(Frame Picture)와 필드 픽쳐(Field Picture)로 구분할 수 있고, 어느 한 시점에서의 부호화는 위의 두가지 픽쳐중에서 한 가지로 부호화 하게 된다.

현재 부호화 하고자 하는 화면의 프레임 픽쳐일 경우 움직임 벡터값 검출을 위한 탐색방법에는 Frame Based와 Field Based 2가지 형태가 있다.

먼저, Frame Based는 기존의 탐색방법과 종일하게 16×16 크기의 매크로블럭에 대하여 이전화면에 정의된 탐색영역에서 움직임 벡터값을 검출하는 것이다.

그리고 Field Based는 프레임 픽쳐의 탑 필드(Top Field) 16×8 블록에 대하여 이전의 프레임의 탑 필드와 하부 필드(Bottom Field)에 대하여 움직임 벡터값을 검출하고, 하부 필드 16×8블럭에 대하여 이전의 프레임의 탑 필드와 하부 필드에 대하여 움직임 벡터값의 검출을 수행하는 것이다.

실제 부호화시에는 프레임 픽쳐 부호화 효율을 고려하여 Frame Based 또는 Field Based 중의 하나를 선택하여 움직임 벡터값을 검출하여 부호와 형태를 결정한다.

그리고 필드 픽쳐(Field Picture)로 부호화 될 때의 움직임 벡터값 검출은 현재 화면과 움직임 벡터값 검출을 위한 이전화면이 모두 필드 형태이고, Field Based와 16×8 Based 2가지 형태로 탐색을 한다.

이때 Field Based는 16×16 크기의 매크로블럭에 대하여 이전에 부호화된 탑 필드와 하부 필드에서 정의된 탐색영역에서 각각 움직임 벡터값을 검출한다.

16×8 Based는 한 필드 픽쳐의 상부(Upper) 16×8 블록에 대하여 이전에 부호화된 탑 필드(Top Field)와 하부 필드(Bottom Field)에 대하여 움직임 벡터값을 검출하고, 하부 필드 16×8 블럭에 대하여서도 이전에 부호화된 탑 필드와 하부 필드에 대하여 움직임 벡터값의 검출을 수행한다.

상기와 같은 움직임 벡터값 검출은 고화질을 위하여 넓은 탐색영역에서 움직임 벡터값을 검출하기 때문에 많은 계산량 처리를 위하여 복잡하고 많은 양의 회로를 필요로 한다.

그러므로 본 발명에서는 입력되는 원래 영상에 대해서 움직임 벡터값의 검출은 이전 부호화된 결과에 영향을 받지 않으므로, 여러개의 부화면으로 나누어 검출을 하고, 이전화면의 부호화된 결과에 영향을 받고, 계산량이 많지 않은 화면내 부호화 과정은 앞서 구한 이동벡터를 이용하여 실시간으로 처리하는 것이다.

본 발명에서는 프레임(Frame) 단위로 조작이 가능한 디지탈 VCR내에 저장되어 있는 화면을 부호화시에 효율적으로 부호화하는 방법에 관한 것으로 제4도에서와 같이, 부호화를 위하여 5번의 재생을 통하여 부호화를 수행하는 과정의 예를 나타낸 것으로, 만약 30분 분량의 프로그램을 부호화 하기 위해서는 150분 정도의 처리시간을 필요로 하게 된다.

먼저, 계산량이 크고 실제 부호화와 독립적으로 처리될 수 있는 움직임 벡터값 검출과정만을 전체부호와 하고자 하는 원 영상들에 대하여 먼저 수행을하여 움직임 백터값을 지정된 장소에 저장한다.

이때 움직임 벡터값 검출과정은 연산량이 많이 소요되므로 영상입력 프레임율(Frame Rate)내의 전체영역의 영상에 대하여 수행하지 않고 제4도에서와 같이 처리할 수 있는 크기의 영상의 부화면영역(401)(402)(403)을 정의하여 처리하여 중간결과를 저장한다.

그리고 상기의 과정을 전체영상에 대한 움직임 벡터값을 모두 구할때까지 반복하는 것이다.

제4도에서는 3번에 걸쳐 움직임 벡터값을 검출하는 것을 나타낸 것이다.

상기와 같이, 전체영상에 대하여 움직임 벡터값의 검출이 끝나면 표준화 처리(Pre-analysing)(404)과정을 수행하여 부호화율 제어를 위한 모든 파라메터를 구하고, 마지막 단계에서 DCT 변환이후의 과정을 수행하여 비트스트림을 발생한다(405).

제5도는 상기와 같은 방법으로 부호화를 하기 위한 H/W 구조를 나타낸 것으로, 시스템 전체를 제어하는 호스트 컴퓨터(Host Computer)(508)와, 상기 호스트 컴퓨터(508)의 제어에 의해 DVCR(501)내의 영상중에서 부호화 또는 움직임 벡터량 검출을 위한 위치를 선택하는 화상편집 제어부(Frame Accurate Edit Controller)(507)와, 상기 화상편집 제어부(507)의 선택제어에 의해 디지탈 VCR(501)에서 재생 출력되는 영상 데이터를 특정단위로 움직임 추정부(503) 및 인트라 부호화부(504) 등으로 이루어진 비디오 엔코더로 입력하는 비디오 입력 모듈(Video Input Module)(502)과, 프레임율(Frame Rate)내에서 처리할 수 있는 만큼의 부영상에 대하여 움직임 벡터값을 추정하는 움직임 추정부(503)와, 상기 움직임 추정부(503)에서 전체화면에 대하여 움직임 벡터값의 검출 및 저장이 끝나면 DCT 변환이후의 부호화 과정을 수행하는 인트라 부호화부(504)와, 상기 비디오 엔코더와 오디오 엔코더(506)의 출력신호를 조합하여 시스템 부호화 하는 트랜스포트(Transport)(505)와, 상기 움직임 추정부(503) 움직임 벡터값을 저장하는 보조기억 장치인 HDD(509)를 포함하여 구성된다.

그리고 인트라 부호화부(504)는 제6도에서와 같이, 비디오 입력 모듈(502)과 호스트컴퓨터(508)를 토하여 부호화할 영상과 이전단에서 구한 움직임 벡터값과 부호화에 필요한 파라메터를 이용하여 화면내 부호화를 수행하다.

이때 실제로 부호화 도중에 발생하는 비트의 영향을 고려하여 가변길이 코딩부(VLC)이후의 상태를 양자화부로 입력하여 양자화에 반영한다.

상기와 같은 실시간 부호화기(Real Time Encoder)의 방식을 비실시간 부호화기(Non-real Time Encoder)에 적용한 본 발명의 부호화기는 제7도에서와 같이, 먼저 한 화면 입력시간(Frame Rate)내에서 움직임 벡터값을 검출할 수 있는 부화면의 크기를 결정하고(701) 화면편집 제어부(507)의 제어에 의해 먼저 부호화할 첫 화면의 위치로 이동을 시켜 화면을 입력시키게 된다(702)(703).

상기의 부화면 크기결정은 여러번의 부화면 처리를 통하여 전체크기의 부호화를 수행하기 위한 것으로, 움직임 벡터값 검출범위, 움직임 벡터값 검출모드(Frame Picture/Frame Prediction Field Prediction, Field Picture/Field Prediction 16×8 Prediction)와 움직임 벡터값 검출기의 능력 등에 의하여 결정된다.

상기와 같은 부화면 크기의 결정에 의해 움직임 벡터값 검출을 위한 디지탈 VCR의 재생횟수가 결정되게 된다.

그리고 상기와 같이, 비디오 입력 모듈(Video Input Module)에 의해 화면이 입력되면 전 과정에서 정의된 부화면의 크기에 대하여 움직임 벡터값을 검출한다(704). 그리고 부호화할 모든 화면에 대하여 첫 번째 부화면의 움직임 벡터값의 검출이 끝나면 다시 첫 번째 부호화할 화면의 위치로 이동하여 두 번째 부화면에 대하여 상기의 수행과정(702)(703)(704)을 반복하게 된다(705)(706).

그리고 부호화할 모든 화면에 대하여 전체크기 영상의 움직임 벡터값의 검출이 끝나면 다시 부호화할 화면의 첫 위치로 이동시킨후(707) 실제 부호화를 위한 파라메터(Parameter)를 구하고 각 화면에 비트를 할당하게 된다(708).

상기와 같이 실제 부호화할 전 과정이 끝나면 다시 부호화할 화면의 첫 위치로 이동시킨후(709) 실제화면내 부호화(710)와 음성 부호화(711)를 수행한다.

그리고 상기의 부호화 되어진 영상 및 음성의 신호를 조합하는 시스템 부호화를 수행하게 된다(712).

상기와 같은 본 발명의 디지탈 영상 데이터의 부호화 방법에 있어서, 부화면의 움직임 벡터값 검출결과와 파라메터 추출과정의 중간결과는 하드디스크내에 저장되어, 실제 부호화시에 출력되어 부호화에 이용된다.

상기와 같은 본 발명의 디지탈 영상 데이터의 부호화 방법은 디지탈 VCR내에 저장되어 있는 화면을 부호화 하기 위하여 정상속도로 여러번 재생을하여 부호화를 수행하는 것으로, 종래의 실시간 또는 비실시간 부호화기에 비하여 여러단계로 움직임 벡터값 검출과 표준화 과정(Pre-analysing)을 수행하여 고화질의 부호화가 가능하고 H/W 복잡도가 크게 감소한다.

그리고 디지탈 VCR에 저장되어 있는 전체영역에 일정한 속도로 재생을하여 부호화를 수행하기 때문에 DVCR내의 서보 메카니즘에 가해지는 영향을 없애는 효과가 있다.

Claims (1)

1. 디지탈 영상 데이터의 부호화에 있어서, 이동량 검출부의 처리능력을 고려하여 부화면 크기를 결정하여 부호화할 영상의 처음 화면부터 재생하여 입력하는 제1 스텝과, 상기 입력영상 데이터를 프레임율(Frame Rate)내의 단위로 움직임 벡터값을 검출하여 저장하는 제2 스텝과, 상기 제1,2 스텝을 반복하여 부호화할 전체부호면에 대하여 움직임 벡터값의 검출 및 저장이 종료되면 부호화할 영상의 첫 화면부터 표준화과정(Pre-Analysing)을 통해 실제 부호화에 필요한 파라메터값을 구하고 비트를 할당하는 제3 스텝과, 상기 저장되어 있는 움직임 벡터값과 파라메터 정보를 이용하여 입력되는 영상 데이터를 특정단위로 순차적으로 부호화하여 부호화된 음성 데이터와 조합하는 스텝을 포함하여 이루어짐을 특징으로 하는 디지탈 영상 데이터의 부호화 방법.