KR20040013325A - 동영상 압축방법 - Google Patents

Abstract

본 발명은 동영상 압축시 계산량을 줄여 빠르게 압축할 수 있고, 모션 판단값의 에러 누적을 최소화하여 화질 열화를 방지할 수 있는 동영상 압축방법을 개시한다. 개시된 본 발명은 움직이는 영상을 압축하기 위하여 현재 영상 플레임의 영상 블록을 중심으로 순차적으로 9개의 영상블록을 스캔하는 제 1 단계; 상기 영상블록을 스캔하여 구한 9개의 값 중에서 SAD 값이 PTT 값보다 큰 경우에는 구한 9개의 SAD 값중 가장 작은 값을 중심으로 9개의 영상블록을 스캔하는 제 2 단계; 상기 제 1 단계에서 가장 작은 SAD값을 중심으로 9개의 영상블록을 스캔하여 구한 9개의 값 중에서 SAD 값이 PTT 값보다 큰 경우에는 구한 9개의 SAD 값중 가장 작은 값을 중심으로 9개의 영상블록을 스캔하는 제 3 단계; 및 상기 제 3단계에서 구한 SAD 값이 PTT 값보다 큰 경우에는 현재 자신의 영상을 코딩하여 모션 판단 값을 구하는 것을 특징으로 한다.

Description

동영상 압축방법{METHOD FOR COMPRESSION MOVING PICTURE}

본 발명은 동영상 압축방법에 관한 것으로, 보다 구체적으로는 PTT(Pre-Threshold Table)과 트리 스텝 서치 모드에 의한 압축량을 줄이면서, 모션 판단 값(estimation)의 에러로 인하여 발생하는 열화를 방지할 수 있는 동영상 압축방법에 관한 것이다.

최근 디지털 신호처리 기술의 발전에 힘입어 제한된 대역폭의 전송 채널을 통해 많은 양의 동영상 정보를 압축, 전송하는 방식들이 개발되어 왔으나, 전송 채널상의 오류가 발생하면 복원 영상의 화질이 크게 저하되는 문제가 생긴다.

이때 제한된 대역폭을 최대한으로 이용하기 위해 오류 정정 부호를 사용하지 않고, 정상적으로 복원된 주변의 정보들로부터 잃어버린 정보를 보완하여 원 영상에 가깝게 복구하는 오류 은폐 기법들이 연구되고 있다.

현재 디지털 TV에 사용되고 있는 오류 은폐 기법들로는 영상 정보에 따라 연속된 프레임간의 중복된 정보를 이용하는 시간 예측 오류 은폐 기법과 손실된 정보가 포함된 동일 프레임(frame)에서 공간적 중복성을 이용하는 공간 예측 은폐기법이 있다.

특히 MPEG(Moving Picture Experts Group)과 같은 경우 에러(error)가 발생하면 다음 동기 신호인 슬라이스 헤더를 찾을 때까지의 모든 정보를 손실하게 된다. 또한, 움직임 보상 부호화기법을 이용하기 때문에 손상된 부분의 영향이 이후 계속된 여러 장의 프레임에 걸쳐 계속된다.

본 발명은 비디오 데이터의 빠른 엔코딩과 화질개선을 가능하게 할 수 있는 하드웨어 엑셀레이터 구조에 최적화된 모션 판단값과 인드라 모드 압축 알고리듬을 적용한 IMT-2000 화상단말기이다. 무선화상 통신을 위하여 일반적으로 사용되어지는 엠펙(MPEG) 압축 방식의 모션 판단 값은 가장 많은 계산량을 가지며 화질과 비트(bit)량에 직접적인 영향을 미치므로 매우 중요하다고 할 수 있다.

따라서 모션 판단 값에 관한 많은 연구가 끊임없이 이루어 졌으며, 최근에는모션 판단 값을 다이아몬드 서치 패턴(diamond search pattern)을 이용하여 풀 서치(full search)와 거의 비슷한 화질과 비트 량을 가지며 가장 범용적으로 쓰이는 트리 스텝 서치(three step search) 방식이 사용되고 있다.

도 1 은 종래 기술에 따라 모션 판단 값을 구하는 방법을 설명하기 위한 도면이다.

도 1 에 도시된 바와 같이, 동영상을 압축하기 위해서는 시계열 단위로 디스플레이되는 영상 프레임들 중에서 현재 영상 프레임에서 특정 영상 블록을 압축하기 위해서는 현재 자신의 영상 프레임으로부터 동일한 영상을 찾아내어 코딩하거나, 이전 영상 프레임으로부터 모션 판단값(motion estimation)을 추정하여 코딩(coding)하는 방법이 사용되고 있다.

하지만, 이론적으로 현재의 영상 프레임을 100% 복원하기는 어렵기 때문에 일반적으로 이전 영상 프레임(pre picture frame)으로부터 모션 판단값을 추정하여 모션 벡터(motion vector)를 구하여 가장 근접한 영상을 코딩한다.

도면에서와 같이, 현재 영상 프레임 중에서 압축하고자 하는 영상 블록에 대한 이전 영상 프레임으로부터 일정 탐색 영역을 지정하여 스캔하여 SAD(Sum of Absolute Difference) 값을 구한다.

상기 압축하고자 하는 현재 영상 블록으로부터 이전 영상 프레임을 스캔(scan)하는 방식은 각각의 영상 블록 모두를 풀 스캔하는 방식과 탐색 영역을 기준으로 세단계에 따라 스캔 영역을 줄여나가는 트리 스텝 서치(three step search) 방식이 있다.

상기 트리 스텝 서치 방식은 하드웨어적 구성이 용이하고, 스캔 범위를 부분적으로 줄여나가는 방식이므로 빠른 영상 압축이 가능하여 널리 사용되어지고 있다.

도 2는 종래 기술에서 사용되는 트리 스텝 서치 모드에 의하여 모션 판단 값??르 구하는 단계를 나타낸 플로차트이다.

도 2에 도시된 바와 같이, 현재 영상 프레임에서 압축하고자하는 영상 블록의 모션 판단값을 구하기 위하여 상기 트리 스텝 서치 방식을 사용한 플로챠트(flow chart)이다.

먼저, 압축하고자 하는 현재 영상 블록을 이전 영상 프레임으로부터 탐색 영역을 설정한다. 설정된 탐색 영역으로부터 상기 현재 영상 블록에 대응되는 이전 영상 프레임의 영상 블록을 중심으로 상하좌우 8 픽셀(pixel) 간격으로 먼저 9개의 영상 블록을 스캔한 다음, 가장 작은 SAD 값을 구한다(S101).

그런 다음, 가장 작은 SAD 값에 해당하는 영상 블록을 중심으로 상하좌우 4 픽셀 간격으로 9개의 영상 블록을 스캔하여 SAD 값들을 구하고, 가장 작은 SAD 값을 선택한다(S102). 그리고 가장 작은 SAD 값에 해당하는 영상 블록을 중심으로 1픽셀을 중심으로 9개의 영상 블록을 스캔하여 SAD 값을 구하여 가장 작은 SAD 값을 현재 영상 블록으로 판단하여 압축한다(S103).

이와 같은 트리 스텝 서치 방식(Three step search method)은 현재 영상 블록에 대응되는 이전 영상 플레임의 탐색 영역 내 영상 블록들을 차례로 좁혀 나가 가장 근접한 영상 블록을 선택하기 때문에 구현이 단순하고 빠른 영상 압축을 가능하게 한다.

그러나, 상기와 같이 종래 기술에 의하면 탐색 영역을 중심으로 차례대로 스캔 영역을 좁혀나간 다음 3단계까지 도달하여야만, 이전 프레임으로부터 현재 영상 블록을 선택하기 때문에 제 1 단계에서 현재 영상 블록에 가장 근접한 영상 블록을 찾아낸 경우에도 나머지 제 2 단계와 3단계까지 스캔 과정을 거쳐 비효율적이다.

아울러, 이렇게 모든 영상 압축 단계에서 각각의 영상 블록에 대한 트리 스템 서치를 적용하게 되면, 여기에서 구해지는 모션 판단값의 오차 누적이 커서 화질의 열화를 유발하는 문제가 있다.

그리고, 상기와 같은 트리 스텝 서치 방식은 높은 복잡도로 인하여 화상 전화기와 같이 하드웨어 시스템 구조의 제약을 받는 제품에는 적용이 어렵다.

본 발명은, 동영상 압축시에 트리 스텝 서치 모드(three step search mode)를 이용하여 구한 SAD 값을 PTT(Pre-Threshold Table) 값과 비교하여 빠른 시간 압축을 할 수 있고, 아울러 에러 누적에 의한 모션 판단 값의 오차를 줄일 수 있어 화질의 열화를 방지할 수 있는 동영상 압축방법을 제공함에 그 목적이 있다.

도 1 은 종래 기술에 따라 모션 판단 값을 구하는 방법을 설명하기 위한 도면.

도 2는 종래 기술에서 사용되는 트리 스텝 서치 모드에 의하여 모션 판단 값을 구하는 단계를 나타낸 플로차트.

도 3은 본 발명에 따른 동영상 압축방법을 설명하기 위한 플로차트.

*도면의 주요 부분에 대한 부호의 설명*

SAD: Sum of Absolute DifferencePTT: Pre-Threshold Table

BMM: Block Mode MapDCT: Discrete Cosine Transform)

상기한 목적을 달성하기 위한, 본 발명에 따른 동영상 압축방법은,

움직이는 영상을 압축하기 위하여 현재 영상 플레임의 영상 블록을 중심으로 순차적으로 9개의 영상블록을 스캔하는 제 1 단계;

상기 영상블록을 스캔하여 구한 9개의 값 중에서 SAD 값이 PTT 값보다 큰경우에는 구한 9개의 SAD 값중 가장 작은 값을 중심으로 9개의 영상블록을 스캔하는 제 2 단계;

상기 제 2 단계에서 가장 작은 SAD값을 중심으로 9개의 영상블록을 스캔하여 구한 9개의 값 중에서 SAD 값이 PTT 값보다 큰 경우에는 구한 9개의 SAD 값중 가장 작은 값을 중심으로 9개의 영상블록을 스캔하는 제 3 단계; 및

상기 제 3단계에서 구한 SAD 값이 PTT 값보다 큰 경우에는 현재 자신의 영상을 코딩하여 모션 판단 값을 구하는 것을 특징으로 한다.

여기서, 상기 스캔하는 9개의 영상 블록은 압축을 하기 위한 영상 블록을 중심으로 하여 둘레에 있는 영상 블록이고, 상기 제 1 단계에서 스캔하는 영상블록의 범위는 압축을 하기 위한 영상 블록을 중심으로 상하좌우 8픽셀의 간격이며, 상기 제 2 단계에서 스캔하는 영상블록의 범위는 압축을 하기 위한 영상 블록을 중심으로 상하좌우 4픽셀의 간격이고, 상기 제 3 단계에서 스캔하는 영상 블록의 범위는 압축을 하기 위한 영상 블록을 중심으로 상하좌우 1픽셀의 간격인 것을 특징으로 한다.

그리고, 상기 제 3 단계에서 1픽셀 간격으로 9개의 영상 블록을 스캔하여 구한 작은 SAD 값을 중심으로 1/2 픽셀 간격으로 스캔하여 SAD 값을 구하고, 상기 제 1 단계에서 구한 SAD 값이 PTT 값보다 작은 경우에는 그 구한 SAD 값을 모션 판단 값으로 하여 압축을 위한 스캔을 멈추며, 상기 제 2 단계에서 구한 SAD 값이 PTT 값보다 작은 경우에는 그 구한 SAD 값을 모션 판단 값으로 하여 압축을 위한 스캔을 멈추고, 상기 제 3 단계에서 구한 SAD 값이 PTT 값보다 작은 경우에는 그 구한SAD 값을 모션 판단 값으로 하여 압축을 위한 스캔을 멈추는 것을 특징으로 한다.

본 발명에 의하면, 트리 스텝 서치에서 구해지는 SAD 값과 비교하여 이전 영상 프레임으로부터 영상 블록을 찾도록하는 선택 단계를 각각의 스텝마다 배치하여 첫 단계에서 적정한 SAD 값이 구해지면 그 SAD 값을 갖는 영상 블록을 압축될 현재 영상 블록으로 판단하여 영상 압축 시간을 최소화 한 이점이 있다.

이하, 첨부한 도면에 의거하여 본 발명의 바람직한 실시 예를 자세히 설명하도록 한다.

도 3은 본 발명에 따른 동영상 압축방법을 설명하기 위한 플로차트이다.

도 3에 도시된 바와 같이, 현재 영상 프레임의 영상 블록을 압축하기 위하여 이전 영상 프레임의 탐색 영역을 지정하여 스캔하는 트리 스텝 서치 방식을 기본으로 하고, 각각의 스텝에 대하여 PTT(Pre Threshold Table) 값과 스캔에 의하여 구해진 SAD 값을 비교하여 가장 작은 SAD 값에 해당하는 영상 블록을 선택하여 코딩하는 방식을 적용한다.

상기 PTT는 양자화 값에 따라 다양한 값을 갖는데, 현재 압축하고자하는 영상에 맞도록 다양한 기준의 SAD 값으로 된 테이블을 만들어 압축을 위하여 스캔 과정에서 얻어내는 SAD 값들과 비교할 수 있다.

따라서, 먼저 상기 현재 영상 프레임에서 코딩하고자하는 영상 블록에 대응되는 이전 영상 프레임의 영상 블록을 선택하고, 선택된 상기 이전 영상 프레임의 영상 블록을 중심으로 상하좌우 8픽셀 범위에서 9개의 영상 블록을 스캔하여 최소 SAD 값을 구한다(제 1단계: S201)).

즉, 스캔하는 9개의 영상 블록 중에서 첫 번째 영상 블록의 SAD 값을 대조하여 PTT 값보다 작은지를 비교하고(S202), PTT보다 작은 경우에는 해당 SAD의 영상 블록을 현재 압축할 영상 블록으로 판단하여 압축을 실시하고 스캔을 멈춘다(S203).

이와 같이 스캔되는 9개의 영상 블록의 SAD 값을 차례대로 PTT와 비교한 다음, PTT 에 해당하는 값보다 작은게 없는 경우에는 상기 9개의 영상 블록을 스캔하여 구한 SAD 값들 중에서 가장 작은 SAD 값에 해당하는 영상 블록을 중심으로 상하좌우 4픽셀 범위에서 9개의 영상 블록을 스캔하여 최소 SAD 값을 구한다(제 2단계: S204).

여기에서도 스캔에 의하여 구한 SAD 값들을 차례대로 PTT와 비교하여 상기 PTT 값보다 작은 SAD 값을 구하게 되면(S205), 이에 해당하는 SAD 값의 영상 블록을 압축하기 위한 현재 영상 블록에 해당하는 영상 블록으로 판단하고 스캔 단계를 멈춘다(S206).

그리고, 상기 4 픽셀 범위에서 구한 9개의 영상 블록의 SAD 값이 PTT 값보다 큰 경우에는 이중 가장 작은 SAD 값에 해당하는 영상 블록을 중심으로 상하좌우 1픽셀 범위에서 9개의 영상 블록을 스캔하여 SAD 값을 구하고(S207), PTT와 비교한다(제 3단계).

여기에서 SAD 값이 PTT 값보다 큰 경우에는 모션 판단값에 의하여 찾아진 이전 영상의 블록이 현재 영상과의 에러가 큰 경우로 가정하여 블록 모드 맵(BMM: Block Mode Map)에 최소 SAD와 모드를 비교한다(S208). 그래서 현재 블록이 이전영상에도 인터(INTER) 블록으로 코딩되었고, 이전 영상에서 구해진 최소 SAD 값보다 큰 경우에는 에러가 계속적으로 증가되어 누적되는 경우로 판단되기 때문에 코딩 에러를 최소화 할 수 있는 인트라 모드로 압축한다(S210).

상기 제 3 단계에서 구해진 SAD 값이 PTT 값보다 작은 경우에는 그 값에 해당하는 영상 블록을 현재 영상 블록으로 판단하여 압축한다(S209).

따라서, 본 발명에서는 트리 스텝 서치 방식에서 각각의 스텝 마다 PTT와 구해진 SAD 값을 비교하여 PTT 값보다 작은 SAD 값을 스캔한 경우에는 전체 압축과정을 종료할 수 있기 때문에 영상 압축 시간이 절감된다.

PTT 값은 각각의 양자와 값에 따라 각기 다른 값을 가지므로 레이트 컨트롤(rate control) 적용시 블록 양자화의 변화에 의한 영상의 변화에도 대응되어 일정한 모션 판단값의 스킵(skip) 횟수를 줄일 수 있다.

PTT의 각 SAD 값은 여러 영상에 대하여 모션 판단값 스킵 횟수와 압축된 비트량, 영상의 평균 화질(Picture Signal of Noise Ratio: PSNR)과의 관계를 통하여 최적의 최소 SAD 평균값으로 구하여진다.

일반적으로 PTT의 SAD 값은 양자화 값과 선형적으로 비례하는 성질이 있으며, PTT를 적용하였을 경우에는 압축된 영상의 비트량은 적용하지 않았을 경우와 비교하여 약 1~3%의 증가가 있었으며 PSNR은 거의 변화가 없었다. 따라서 PTT를 적용하게되면 영상의 질은 거의 변화가 없으며 약 40% 계산량을 절감할 수 있다.

또한, 모션 판단값으로 인한 에러의 누적을 최소화하여 마지막 단계에서 자신의 현재 영상 프레임을 스캔하여 압축하고자하는 현재 영상 블록을 찾는 인트라모드(Intra Mode)를 적용하였다.

이상에서 자세히 설명된 바와 같이, 본 발명은 영상 압축에 사용되는 트리 스텝 서치 방식에서 각각의 단계에 PTT와 구해지는 SAD값을 비교하여 선택할 수 있는 단계를 적용하여 영상 압축 시간을 단축한 효과가 있다.

또한, 트리 스텝 서치 방식의 마지막 단계에서 인터 모드에 의한 압축 방식을 채택하여 코딩 에러를 최소화한 이점이 있다.

아울러, 모션 판단 값이 오차 누적이 최소화되어 화질 열화를 방지할 수 있다.

본 발명은 상기한 실시 예에 한정되지 않고, 이하 청구 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.

Claims (9)

1. 움직이는 영상을 압축하기 위하여 현재 영상 플레임의 영상 블록을 중심으로 순차적으로 9개의 영상블록을 스캔하는 제 1 단계;

   상기 영상블록을 스캔하여 구한 9개의 값 중에서 SAD 값이 PTT 값보다 큰 경우에는 구한 9개의 SAD 값들 중 가장 작은 값을 중심으로 9개의 영상블록을 스캔하는 제 2 단계;

   상기 제 1 단계에서 가장 작은 SAD값을 중심으로 9개의 영상블록을 스캔하여 구한 9개의 값 중에서 SAD 값이 PTT 값보다 큰 경우에는 구한 9개의 SAD 값중 가장 작은 값을 중심으로 9개의 영상블록을 스캔하는 제 3 단계; 및

   상기 제 3단계에서 구한 SAD 값이 PTT 값보다 큰 경우에는 현재 자신의 영상을 코딩하여 모션 판단 값을 구하는 것을 특징으로 하는 동영상 압축방법.
2. 제 1 항에 있어서,

   상기 스캔하는 9개의 영상 블록은 압축을 하기 위한 영상 블록을 중심으로 하여 둘레에 있는 영상 블록인 것을 특징으로 하는 동영상 압축방법.
3. 제 1 항에 있어서,

   상기 제 1 단계에서 스캔하는 영상블록의 범위는 압축을 하기 위한 영상 블록을 중심으로 상하좌우 8픽셀의 간격인 것을 특징으로 하는 동영상 압축방법.
4. 제 1 항에 있어서,

   상기 제 2 단계에서 스캔하는 영상블록의 범위는 압축을 하기 위한 영상 블록을 중심으로 상하좌우 4픽셀의 간격인 것을 특징으로 하는 동영상 압축방법.
5. 제 1 항에 있어서,

   상기 제 3 단계에서 스캔하는 영상 블록의 범위는 압축을 하기 위한 영상 블록을 중심으로 상하좌우 1픽셀의 간격인 것을 특징으로 하는 동영상 압축방법.
6. 제 5 항에 있어서,

   상기 제 3 단계에서 1픽셀 간격으로 9개의 영상 블록을 스캔하여 구한 작은 SAD 값을 중심으로 1/2 픽셀 간격으로 스캔하여 SAD 값을 구하는 것을 특징으로 하는 동영상 압축방법.
7. 제 1 항에 있어서,

   상기 제 1 단계에서 구한 SAD 값이 PTT 값보다 작은 경우에는 그 구한 SAD 값을 모션 판단 값으로 하여 압축을 위한 스캔을 멈추는 것을 특징으로 하는 동영상 압축방법.
8. 제 1 항에 있어서,

   상기 제 2 단계에서 구한 SAD 값이 PTT 값보다 작은 경우에는 그 구한 SAD 값을 모션 판단 값으로 하여 압축을 위한 스캔을 멈추는 것을 특징으로 하는 동영상 압축방법.
9. 제 1 항에 있어서,

   상기 제 3 단계에서 구한 SAD 값이 PTT 값보다 작은 경우에는 그 구한 SAD 값을 모션 판단 값으로 하여 압축을 위한 스캔을 멈추는 것을 특징으로 하는 동영상 압축방법.