KR100627493B1 - 동영상 부호화기 및 이를 이용한 부호화 방법 - Google Patents

Abstract

본 발명은 영상 신호를 부호화하는 과정에서 영상의 특성, 화질 정도에 따라서 VLC에서의 불필요한 계산상 중복성을 제거함으로써 VLC 계산량을 줄임으로써 전체적인 코덱의 속도 향상을 기할 수 있는 동영상 부호화기 및 이를 이용한 부호화 방법을 개시한다. 개시된 본 발명은 외부로부터 인가되는 영상 신호를 이산여현변환을 하는 DCT(Discrete Cosine Transform); 상기 DCT에서 이산여현변환된 영상 신호를 양자화(Q)하여 샘플링하는 양자화부; 상기 양자화부에서 양자화된 영상 부호화 신호를 복원하기 위한 역양자화부 및 역DCT; 상기 역DCT에서 복원된 영상을 이후 입력되는 영상의 움직임 보상을 위한 참조 영상으로 사용하기 위하여 저장하는 영상 메모리; 상기 영상 메모리에 저장되어 있는 참조 영상과 부호화 영상을 비교하여 움직임 보상을 하는 움직임 예측기; 상기 양자화부에서 양자화된 영상 블록들의 화소 계수 값들을 가변장부호화의 스캔 방향에 따라 런, 레벨, 사인 값을 구한 다음 미리 저장하는 예비 VLC; 및 상기 양자화된 영상 부호화 신호를 가변장부호화하는 VLC;를 포함하는 것을 특징으로 한다.

동영상, 부호화, 가변장, 런, 레벨, DCT

Description

동영상 부호화기 및 이를 이용한 부호화 방법{MOVING PICTURE ENCODER AND METHOD FOR CODING USING THE SAME}

도 1은 종래 기술에 따른 비디오 신호 부호화하는 동영상 부호화기의 구조를 도시한 도면.

도 2는 본 발명에 따른 영상 신호를 부호화하는 동영상 부호화기의 구조를 도시한 도면.

도 3은 본 발명에 따른 동영상 부호화기를 사용하여 부호화하는 방법을 설명하기 위한 플로챠트.

*도면의 주요 부분에 대한 부호의 설명*

11: DCT 13: 양자화부

14: 예비(Pre) VLC 15: 역양자화부

17: 역DCT 18: 영상 메모리

19: 움직임 예측기 20: VLC

본 발명은 동영상 부호화기 및 이를 이용한 부호화 방법에 관한 것으로, 보 다 구체적으로는 영상 부호화 과정에서 VLC에서 불필요하게 행해졌던 계산상의 중복을 제거함으로써 부호화 효율을 떨어뜨리지 않으면서 계산량을 줄일 수 있는 동영상 부호화기 및 이를 이용한 부호화 방법에 관한 것이다.

현재, 그리고 미래의 통신 환경은 유선과 무선의 영역 구분이나, 지역 국가의 구분을 초월할 만큼 급변하고 있으며, 특히 IMT-2000 등으로 대별되는 미래 통신 환경은 영상과 음성은 물론 사용자가 필요로 하는 다양한 정보를 실시간으로, 또는 종합적으로 제공하는 환경으로 구축되어 가는 추세이다.

또한, 개인 휴대 통신 시스템의 발달은 현재 셀룰러폰이나 PCS등에서도 단순히 음성 통신만을 수행하던 차원에서 벗어나서 문자 정보의 전송은 물론, 개인 휴대 통신 단말기를 이용해서 무선으로 인터넷에 접속하거나, TV에서나 보던 동영상들을 송신할 수 있도록 개발되어지고 있다.

특히, 동영상을 디지털 데이터로 가공하여 실시간으로 전송하고 또 이 것을 수신하여 디스플레이 하는 디지털 텔레비전 시스템과, 실시간으로 전송되는 동영상을 IMT2000을 이용한 개인 휴대 단말기 등에서는 필수적인 요소로 자리 잡아 가고 있는 실정이다.

이것은 종래에는 휴대 단말기가 사람의 음성만을 송수신하도록 되어 있었으나, 멀티 미디어의 개발과 디지털 정보처리 기술의 발달로 인하여 음성, 영상등 다양한 정보들을 송신할 수 있게 되었다.

이와 같은 기술이 상용화될 수 있었던 것은 무엇보다도 아날로그 영상 신호를 양자화, 가변장부호화등 특수한 디지털 처리를 한 다음, 이를 디지털 정보에 포 함시켜 송신하고, 수신되는 단말기에서는 이를 반대로 디코딩함으로써 빠른 전송 속도와 보다 풍부한 정보량을 송수신하도록 한 동영상 압축기술의 발달이 크게 기여하였다.

최근 디지털 신호처리 기술의 발전에 힘입어 제한된 대역폭의 전송 채널을 통해 많은 양의 동영상 정보를 압축, 전송하는 방식들이 개발되어 왔으나, 전송 채널 상의 오류가 발생하면 복원 영상의 화질이 크게 저하되는 문제가 생긴다.

이때 제한된 대역폭을 최대한으로 이용하기 위해 오류 정정 부호를 사용하지 않고, 정상적으로 복원된 주변의 정보들로부터 잃어버린 정보를 보완하여 원 영상에 가깝게 복구하는 오류 은폐 기법들이 연구되고 있다.

특히 MPEG(Moving Picture Experts Group)와 같은 경우 에러(error)가 발생하면 다음 동기 신호인 슬라이스 헤더를 찾을 때까지의 모든 정보를 손실하게 된다. 또한, 움직임 보상 부호화기법을 이용하기 때문에 손상된 부분의 영향이 이후 계속된 여러 장의 프레임에 걸쳐 계속된다.

본 발명은 비디오 데이터의 빠른 인 코딩과 화질개선을 가능하게 할 수 있는 하드웨어 액셀러레이터 구조에 최적 화된 모션 판단 값과 인트라 모드(Intra mode) 압축 알고리듬을 적용한 IMT-2000 화상단말기이다. 무선화상 통신을 위하여 일반적으로 사용되어지는 엠펙(MPEG) 압축 방식의 모션 판단 값은 가장 많은 계산 량을 가지며 화질과 비트(bit)량에 직접적인 영향을 미치므로 매우 중요하다고 할 수 있다.

따라서 모션 판단 값에 관한 많은 연구가 끊임없이 이루어 졌으며, 최근에는 모션 판단 값을 다이아몬드 서치 패턴(diamond search pattern)을 이용하여 풀 서치(full search)와 거의 비슷한 화질과 비트 량을 가지며 가장 범용 적으로 쓰이는 트리 스텝 서치(three step search) 방식이 사용되고 있다.

도 1은 종래 기술에 따른 비디오 신호 부호화하는 동영상 부호화기의 구조를 도시한 도면이다.

도 1에 도시된 바와 같이, 실제 물체를 촬영한 비디오 신호가 들어오면 이를 디지털 변환한 후, 압축하기 위하여 부호화 작업이 이루어진다. 디지털로 변환된 비디오 신호는 DCT(Discrete Cosine Transform: 1)에서 이산여현변환이 이루어지고, 주파수 형태로 변환된 영상 신호는 양자화부(3)에서 양자화된 다음 VLC(Variable Length Coding: 10)에서 가변장 부호화(엔트로피화) 과정을 거쳐 외부로 송신된다.

이때, 부호화되는 영상이 인터 모드(Inter mode)인 경우에는 모션 예측기(Motion Predict: 9)로부터 이전 영상을 예측할 수 있는 모션 벡터를 생성한다. 이와 같이 움직임 예측을 위하여 이전 영상과 현재 부호화되고 있는 영상을 비교하여 그 차이를 부호화하는데, 이전 영상은 DCT와 양자화된 후 다시 역양자화부(5)와, 역DCT(7)에서 차례 대로 복원화한 다음, 영상 메모리(8)에 저장한다. 상기 영상 메모리에 저장되어 있는 영상은 이후 부호화하는 영상의 움직임 예측을 위한 참조 영상으로 사용한다.

따라서, 다음에 부호화기에 입력되는 영상이 인터 모드로서 P 픽쳐로 정의될 때, 각 영상 프레임의 블록에 대하여 움직임 예측 및 보상을 한 후, 그 차이 신호 를 VLC하여 부호화를 한다.

이때 부호화 단위는 매크로 블록 단위로서, 각각의 8*8 블록들의 화소들에 대하여 양자화된 값을 이용하여 VLC 스캔 방향에 따라 런, 레벨, 사인 값을 구하여 저장한 다음, VLC를 진행한다.

이와 같이 인코더에서 부호화된 영상 비트스트림은 디코더에 전송되어 인코더에서 부호화된 절차와 같은 절차를 통하여 디코딩을 실시한다.

특히, 인터 모드 부호화되는 매크로 블록 타입 정보 등은 부호화된 영상 프레임의 매크로 블록들과 함께 상기 매크로 블록 헤더 정보에 삽입되어 전송된다.

상기 디코더에서는 이와 같이 영상 비트스트림에 포함되어 삽입되는 매크로 블록 타입 정보를 디코딩하여, 각각의 매크로 블록 타입 정보에 따라 디코딩(decoding)을 실시한다.

도면에서는 도시하였지만, 설명하지 않은 2a와 2b는 가산기를 나타낸다.

그러나, 상기와 같이 영상 신호를 부호화할 때, VLC하는 방법은 각각의 매크로 블록들을 구성하는 8*8블록들에 대하여 양자화한 화소들의 값에 대한 런(run), 레벨(level), 사인(sign) 값을 구한 다음, 이를 일정한 스캔(scan) 방향으로 VLC를 모두 진행하므로 계산 량이 많고, 복잡한 단점이 있다.

따라서, 영상의 특성과 화질을 고려함이 없이 영상 전체에 대하여 블록을 구성하는 64개의 화소들에 대하여 일괄적으로 처리하기 때문에 부호화 성능이 항상 동일 할 뿐 만 아니라, 블록을 구성하는 화소들의 계수 값이 "0"인 화소들에 대하여도 중복적으로 부호화를 진행하므로 동영상 코덱의 효율성이 떨어지는 문제가 있 다.

본 발명은, 영상 신호를 부호화하는 과정에서 영상의 특성, 화질 정도에 따라서 불필요하게 행해졌던 계산상 중복성을 제거함으로써 양자화부 진행하는 VLC 계산 량을 줄임으로써 전체적인 코덱의 속도 향상을 기할 수 있는 동영상 부호화기 및 이를 이용한 동영상 부호화 방법을 제공함에 그 목적이 있다.

상기한 목적을 달성하기 위한, 본 발명에 따른 동영상 부호화기는,

외부로부터 인가되는 영상 신호를 이산여현변환을 하는 DCT(Discrete Cosine Transform);

상기 DCT에서 이산여현변환된 영상 신호를 양자화(Q)하여 샘플링하는 양자화부;

상기 양자화부에서 양자화된 영상 부호화 신호를 복원하기 위한 역양자화부 및 역DCT;

상기 역DCT에서 복원된 영상을 이후 입력되는 영상의 움직임 보상을 위한 참조 영상으로 사용하기 위하여 저장하는 영상 메모리;

상기 영상 메모리에 저장되어 있는 참조 영상과 부호화 영상을 비교하여 움직임 보상을 하는 움직임 예측기;

상기 양자화부에서 양자화된 영상 블록들의 화소 계수 값들을 가변장부호화의 스캔 방향에 따라 런, 레벨, 사인 값을 구한 다음 미리 저장하는 예비 VLC; 및

상기 양자화된 영상 부호화 신호를 가변장부호화하는 VLC;를 포함하는 것을 특징으로 한다.

여기서, 상기 VLC는 상기 예비 VLC에 저장되어 있는 레벨 값에 대한 화소 계수만을 가변장부호화하는 것을 특징으로 한다.

또한, 본 발명의 다른 실시 예에 의한 동영상 부호화 방법은,

동영상 부호화기에 입력되는 영상 신호를 차례 대로 이산여현변환을 하고 양자화를 하여 부호화하는 단계;

상기 양자화된 영상 부호화 신호로부터 미리 블록들의 화소 계수에 대하여 런, 레벨, 사인 값을 저장하는 단계; 및

상기 저장되어 있는 런, 레벨, 사인 값들 중에서 레벨 값이 존재하는 경우의 블록 화소 계수 값만 가변장부호화를 진행하는 단계; 를 포함하는 것을 특징으로 한다.

그리고 상기 가변장부호화를 위하여 미리 저장되어 있는 런, 레벨, 사인 값들은 가변장부호화 스캔 방향에 따라 저장하고, 상기 가변장부호화를 진행하는 레벨 값은 하나의 블록을 구성하는 64개의 화소들 중에서 0이 아닌 계수 값을 갖는 화소인 것을 특징으로 한다.

본 발명에 의하면, 영상 신호를 부호화하는 과정에서 양자화후 VLC 과정에서 구해지는 블록의 화소 계수들에 대한 런, 레벨, 사인 값을 판단하여 계수 값이 존재하는 화소에 대하여만 VLC를 하도록 하여 VLC 계산량 줄일 수 있는 이점이 있다.

이하, 첨부한 도면에 의거하여 본 발명의 바람직한 실시 예를 자세히 설명하 도록 한다.

도 2는 본 발명에 따른 영상 신호를 부호화하는 동영상 부호화기의 구조를 도시한 도면이다.

도 2에 도시된 바와 같이, 동영상 부호화기는 외부로부터 인가되는 영상 신호는 이산여현변환과 양자화를 진행하여 부호화를 진행하고, 양자화된 영상 부호화 신호를 다시 복원하여 인가되는 영상 신호가 이전에 부호화한 영상 신호와 동일한 경우에는 부호화된 영상을 사용하도록 함으로써 전송되는 영상 신호의 부호화 데이터를 줄이고 있다.

이와 같은 상기 동영상 부호화기는 외부로부터 전송해오는 영상 신호를 이산여현변환을 하는 DCT(Discrete Cosine Transform: 11)와, 상기 DCT에서 이산여현변환된 영상 신호를 주파수 형태로 양자화하는 양자화부(13)와, 상기 양자화부에서 양자화된 영상 부호화 신호를 가변장부호화하기 위하여 블록들이 화소 계수 값들을 가변장부호화 스캔 방향으로 런(RUN), 레벨(LEVEL), 사인(SIGN)하여 저장하는 예비(Pre) VLC(14)와, 상기 예비(Pre) VLC(14)에 저장되어 있는 런, 레벨, 사인 값들 중에서 레벨 값만을 가변장부호화하는 VLC(Variable Length Coding: 20)와, 상기 양자화부(13)에서 양자화된 영상 부호화 신호를 움직임 보상시의 참조 영상으로 사용하기 위하여 역양자화와 역DCT 변환을 시키는 역양자화부(15) 및 역DCT(17)와, 상기 역양자화부(15)와 역DCT(17)에서 복원된 참조 영상을 저장하는 영상 메모리(18)와, 외부로부터 인가되는 영상 신호가 인터 모드인 경우 움직임이 발생한 영상 블록에 대하여는 움직임 예측 및 보상을 위한 움직임 예측기(19)로 구성되 어 있다.

도 2에 도시된 참조 부호 12a와 12b는 신호들을 합산하는 가산기를 나타낸다.

상기와 같은 구조를 갖는 동영상 부호화기는 입력되는 영상 신호가 최초 영상 프레임(Intra-Frame)인 경우에는 이산여현변환, 양자화를 한 다음, 영상 예측을 위한 이전 참조 영상이 존재하지 않으므로 자신의 영상 프레임 내에서 영상 블록을 예측할 수 있는 인트라(Intra) 모드 부호화 과정을 진행한다.

하지만, 이후에 입력되는 영상 신호는 상기 인트라 모드 부호화를 한 영상 프레임을 기준으로 움직임이 발생한 P 픽쳐라고 할 때, 각각의 움직임이 발생한 블록에 대하여 인트라 부호화를 할 것인지, 움직임 예측 값을 구하여 최초 부호화된 영상 프레임 내의 블록들을 사용하여 영상을 재현할 것인지를 적절히 선택하여 부호화 성능을 높인다.

특히, 본 발명에서는 인트라 모드이든 인터 모드이든 양자화된 후에 가변장 부호화를 거쳐서 비트스트림 형태로 채널을 통하여 전송한다. 이때 가변장 부호화를 할 때, 종래에서와 같이 매크로 블록을 구성하는 각각의 8*8 블록들이 화소에 대하여 계수 값이 0이건 0이 아니건 모든 화소들에 대하여 가변장 부호화를 하지 않고, 양자화된 블록 계수를 런, 레벨, 사인 값으로 미리 저장한 다음, 저장된 값들 중에서 레벨에 해당하는 화소 계수값 만을 가변장 부호화함으로써 부호화 과정에서 가장 많은 시간을 필요로하는 VLC 계산량을 줄였다.

따라서, 동영상 부호화기는 상기 양자화부(13)에서 영상 신호가 양자화되면, 영상 프레임의 매크로 블록 단위로 각각의 블록들의 화소 계수값을 알 수 가 있다. 상기 매크로 블록을 구성하는 각각이 블록들에 대하여 참조 영상을 복원하기 위하여 역양자화부(15)와 역DCT(17)에서 복원과정을 거치기도 하고, 양자화된 영상 부호화 신호는 이후 VLC(20)에서 가변장 부호화 과정을 거쳐 외부 채널로 전송된다.

상기 VLC(20) 과정은 인트라(intra) 모드 영상 또는 인터(inter) 모드 영상에 공통적으로 진행하는 과정으로서 매크로 블록을 구성하는 8*8 블록의 64개의 화소에 대하여 가변장 부호화를 위한 스캔 방향으로 런, 레벨, 사인 값을 구한 다음, 스캔 방향에 따라 각각의 블록들의 화소들을 가변장부호화한다.

본 발명에서는 상기 가변장부호화를 진행하기 전에 양자화를 진행한 영상 부호화 신호에 대하여 동영상 부호화기의 상기 예비 VLC(14)에서 미리 가변장부호화에서 사용되는 스캔 방향과 런, 레벨, 사인 값을 구하고 저장해둔다.

상기 VLC(20)에서는 종래에서와 같이 모든 양자화된 영상 부호화 신호에 대하여 런, 레벨, 사인 값을 구하여, 각각의 블록들이 화소 계수 값이 0이거나 0이 아니거나에 상관없이 가변장부호화를 하는 것이 아니라, 상기 예비 VLC(14)에서 저장되어 있는 런, 레벨, 사인 값 중에서 레벨 값에 해당하는 화소 계수 값에 대하여만 가변장을 부호화를 진행하여 VLC의 계산량을 줄였다.

상기 VLC(20)를 위하여 미리 저장된 런, 레벨, 사인 값 중에서 레벨 값이 존재하는 경우는 양자화된 영상 블록들이 화소 중에서 계수 값이 존재하는 것에 해당하고, 양자화되어 화소 계수 값이 존재하는 경우에는 영상의 변화가 발생하였다는 의미이고, 화소 계수 값이 존재하지 않은 경우에는 움직임 존재하지 않아 이전 영 상과 동일한 영상을 갖는다고 판단되기 때문이다.

도 3은 본 발명에 따른 동영상 부호화기를 사용하여 부호화하는 방법을 설명하기 위한 플로챠트이다.

도 3에 도시된 바와 같이, 입력되는 영상 신호에 대하여 이산여현변환과 양자화를 하는데, 이때 입력되는 영상 신호가 인터 모드 이거나 인트라 모드 이거나에 관계없이 이산여현변환과 양자화는 진행된다(S301).

입력되는 영상 신호가 양자화되면, 이후 입력되는 영상 신호가 인터 모드인 경우에 참조 영상을 복원하기 위하여 역양자화와 역DCT 작업이 이루어지고, 복원된 영상을 영상 메모리에 저장하여 움직임 보상을 위한 참조 영상으로 사용한다.

양자화가 진행된 영상 부호화신호는 인터 모드와 인트라 모드에 관계없이 모드 가변장부호화 과정을 진행한 다음, 채널을 통하여 영상 비트스트림 형태로 외부로 전송하게된다.

상기 가변장부호화 과정에 진행하기 전에 양자화부에서 양자화된 영상 부호화 신호에 대하여 미리 가변장부호화 스캔 방향과, 블록의 화소 계수 값들에 대한 런, 레벨, 사인 값을 저장해둔다(S302).

그런 다음, VLC에서 가변장부호화가 이루어질 때, 상기 저장되어 있는 런, 레벨, 사인 값 중에서 레벨 값이 존재하는 경우의 블록 화소 계수 값에 대하여 가변장부호화를 진행한다(S303).

그러므로 종래에는 모든 블록들의 화소에 대하여 런, 레벨, 사인 값들을 가변장부호화를 진행하였지만, 본 발명에서는 영상의 특성과, 화질의 변화가 발생한 것으로 판단되는 레벨 값에 해당하는 화소 계수만을 VLC함으로써 VLC 계산량을 줄였다(S304).

영상이 변화하는 경우에는 부호화 시에 화소 계수 값이 존재하는 경우가 일반적이므로 이에 해당하는 레벨 값이 존재하는 경우에만 가변장부호화를 진행하므로써, 종래의 중복적 가변장부호화를 진행할 때와 동일한 화질을 얻을 수 있으면서도 부호화 속도를 향상시켰다.

이상에서 자세히 설명된 바와 같이, 본 발명은 영상 신호를 양자화한 다음 미리 양자화된 블록 화소 계수 값들에 대하여 런, 레벨, 사인 값을 저장해둔 다음, VLC 과정에서는 저장된 값들 중에서 레벨 값에 대하여만 가변장부호화를 진행하여 계산량을 줄인 효과가 있다.

아울러, 영상이 변하는 경우에는 블록들의 화소 값이 존재하는 경우가 대부분이고, 이러한 값들은 레벨 값으로 저장되기 때문에 레벨 값에 대한 화소 계수 값만을 가변장부호화 하더라도 화질과 부호화 효율을 떨어지지 않는 효과가 있다.

본 발명은 상기한 실시 예에 한정되지 않고, 이하 청구 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.

Claims (5)

1. 외부로부터 인가되는 영상 신호를 이산여현변환을 하는 DCT(Discrete Cosine Transform);

   상기 DCT에서 이산여현변환된 영상 신호를 양자화(Q)하여 샘플링하는 양자화부;

   상기 양자화부에서 양자화된 영상 부호화 신호를 복원하기 위한 역양자화부 및 역DCT;

   상기 역DCT에서 복원된 영상을 이후 입력되는 영상의 움직임 보상을 위한 참조 영상으로 사용하기 위하여 저장하는 영상 메모리;

   상기 영상 메모리에 저장되어 있는 참조 영상과 부호화 영상을 비교하여 움직임 보상을 하는 움직임 예측기;

   상기 양자화부에서 양자화된 영상 블록들의 화소 계수 값들을 가변장부호화의 스캔 방향에 따라 런, 레벨, 사인 값을 구한 다음 미리 저장하는 예비 VLC; 및

   상기 양자화된 영상 부호화 신호를 가변장부호화하는 VLC;를 포함하는 것을 특징으로 하는 동영상 부호화기.
2. 제 1 항에 있어서,

   상기 VLC는 상기 예비 VLC에 저장되어 있는 레벨 값에 대한 화소 계수만을 가변장부호화하는 것을 특징으로 하는 동영상 부호화기.
3. 동영상 부호화기에 입력되는 영상 신호를 차례 대로 이산여현변환을 하고 양자화를 하여 부호화하는 단계;

   상기 양자화된 영상 부호화 신호로부터 미리 블록들의 화소 계수에 대하여 런, 레벨, 사인 값을 저장하는 단계; 및

   상기 저장되어 있는 런, 레벨, 사인 값들 중에서 레벨 값이 존재하는 경우의 블록 화소 계수 값만 가변장부호화를 진행하는 단계; 를 포함하는 것을 특징으로 하는 동영상 부호화 방법.
4. 제 3 항에 있어서,

   상기 가변장부호화를 위하여 미리 저장되어 있는 런, 레벨, 사인 값들은 가변장부호화 스캔 방향에 따라 저장하는 것을 특징으로 하는 동영상 부호화방법.
5. 제 3 항에 있어서,

   상기 가변장부호화를 진행하는 레벨 값은 하나의 블록을 구성하는 64개의 화소들 중에서 0이 아닌 계수 값을 갖는 화소인 것을 특징으로 하는 동영상 부호화 방법.

Images