KR20030073267A - 임베디드 시스템에서 메모리 대역 및 계산 복잡도를줄이기 위한 다중참조영상 압축방법 - Google Patents

Abstract

본 발명은 임베디드 시스템에서 메모리 대역 및 계산 복잡도를 줄이기 위한 다중참조영상 압축방법에 관한 것으로, 종래 다중참조영상 압축방법은 복수개의 참조영상을 이용하여 움직임을 검출하고, 그 움직임에 대한 예측과 보상을 통해 그 압축율을 향상시키는 효과가 있으나, 계산량이 증가하고 메모리의 사용량이 증가하여 메모리와 계산량이 제한된 임베디디 시스템에 적용할 수 없는 문제점이 있었다. 이와 같은 문제점을 감안한 본 발명은 참조영상인 이전 프레임과 현재 프레임을 비교하여 물체의 움직임을 추정하여 모션벡터를 획득하는 단계와; 상기 모션벡터를 이용하여 다음 프레임에서의 물체의 위치와 그 물체의 위치 변화에 따라 새롭게 드러나는 배경영역과 물체에 의해 가려지는 배경영역을 예측하고, 그 드러나는 배경영역에 대한 정보를 저장하는 단계와; 다음 프레임의 표시에 그 드러나는 배경영역에 대한 정보와 이전 프레임을 이용하는 단계로 구성되어 참조영상으로 현재 프레임과 가장 상관도가 높은 이전의 프레임만을 사용하고, 그 이전의 프레임에는 나타나지 않는 물체의 움직임에 따라 드러나는 배경영역에 대한 정보를 저장 및 갱신하고, 그 저장된 드러나는 배경영역에 대한 정보를 사용하여 다음 프레임을 표시함으로써, 압축효율의 저하를 방지하면서 메모리의 사용량과 계산량을 줄여 임베디드 시스템에서도 국제 규격의 영상압축 방법을 사용할 수 있도록 하는 효과가 있다.

Description

임베디드 시스템에서 메모리 대역 및 계산 복잡도를 줄이기 위한 다중참조영상 압축방법{THE IMPLEMENTATION OF REFERENCE FRAME PREDICTION FOR REDUCING MEMORY BANDWIDTH AND COMPUTATIONAL COMPLEXITY IN EMBEDDED SYSTEM}

본 발명은 임베디드 시스템에서 메모리 대역 및 계산 복잡도를 줄이기 위한 다중참조영상 압축방법에 관한 것으로, 특히 차세대 영상 통신규약으로 표준화가 진행중인 H.26L에서 채택이 유력한 다중참조 영상예측 알고리듬을 임베디드 시스템에 적용하기 위하여 메모리 대역을 줄이고 계산량을 줄이는데 적당하도록 한 임베디드 시스템에서 메모리 대역 및 계산 복잡도를 줄이기 위한 다중참조영상 압축방법에 관한 것이다.

현제 차세대 비디오 압축표준으로 제정 중인 H.26L은 기존의 H.261, H.263, H.263+, H.263++와 같은 ITU(International Telecommunications Union) 계열 표준 및 ISO/IEC(International Standards Organization / International Electrotechnical Commission)의 MPEG1, MPEG2, MPEG4압축 표준들보다 압축률이 뛰어난 영상 통신 표준 규약으로 자리매김하고 있다. 그 중 유력한 표준 알고리즘은 다중 참조 영상 압축방법이 있다.

다중 참조 영상 압축방법은 영상의 움직임 추정 시 참조영상을 복수로 사용하여 각각에 대한 움직임 추정을 행한 후 가장 최적의 블록을 기준 프레임 정보화 함께 이용하는 것으로, 다른 움직임 추정 방법들보다 우수한 움직임 추정 및 보상이 가능하여 높은 압축률을 나타낸다. 그러나 하드디스크를 사용하지 않으며, 메모리의 대역과 계산량이 제한적인 임베디드 시스템에서 상기의 방법을 사용하면, 계산량의 증대와 메모리의 제한을 넘어서게 되며, 이와 같은 종래 다중 참조 영상 압축방법을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도1은 종래 다중 참조 영상 압축 알고리듬을 하드웨어적로 구성한 장치의 블록도로서, 이에 도시한 바와 같이 비디오신호(VIDEO IN)와 참조영상의 차를 구하는 감산부(1)와; 코딩제어부(2)의 제어에 의해 비디오신호(VIDEO IN) 또는 감산부(1)의 출력을 인가받아 변환하여 출력하는 변환부(3)와; 상기 코딩제어부(2)의 제어에 따라 상기 변환부(3)의 출력신호를 양자화하여 출력하는 양자화부(4)와; 상기 양자화부(4)의 출력(Q)을 역양자화하는 역양자화부(5)와; 상기 역양자화부(5)의 출력을 상기 변환부(3)와는 반대의 동작을 통해 이전 영상을 복원하는 복원부(6)와; 비디오신호(VIDEO IN)을 입력받아 저장하는 픽처 메모리(9)와; 상기 픽처 메모리(9)에 저장된 비디오신호(VIDEO IN)와 상기 복원부(6)에서 복원된 영상신호를 가산하는 가산부(7)와; 상기 가산부(7)의 출력신호인 참조영상을 저장하는 복수의 부가 픽처 메모리(APM1~APMn)로 구성된다.

이와 같은 장치의 동작을 통해 종래 다중 참조 영상 압축 알고리듬을 좀 더 상세히 설명한다.

먼저, 최초 프레임의 비디오신호(VIDEO IN)가 입력되면, 이는 픽처 메모리(9)에 저장됨과 아울러, 코딩제어부(2)의 제어에 의해 동작하는 스위치(SW1)를 통해 변환부(3)로 직접 인가된다.

그 다음, 상기 최초 프레임의 비디오신호(VIDEO IN)는 변환부(3)에서 특정한 형식으로 코딩되며, 이는 양자화부(4)를 통해 양자화되어 변환 계수를 위한 양자화인덱스(Q)로 비디오 다중 코더(도면 미도시) 측으로 인가된다.

그 다음, 상기 양자화부(4)의 출력을 귀환 받은 역양자화부(5)는 상기 변환부(3)의 출력상태와 동일하게 역양자화하여 출력하며, 이를 인가받은 복원부(6)는 이전 영상을 복원하여 최초 프레임의 비디오신호(VIDEO IN)를 복원하게 된다.

그 다음, 가산부(7)를 통해 부가 픽처 메모리(APM1~APMn)에 저장된다.

이때, 상기 가산부(7)에 이전 상태의 영상을 인가하는 스위치(SW2)는 열려있어 비디오신호(VIDEO IN)의 최초 프레임이 그대로 부가 픽처 메모리(APM1)에 저장된다.

그 다음, 비디오신호(VIDEO IN)의 두번째 프레임이 인가되면 이는 픽처메모리(9)에 저장됨과 아울러 그 이전 영상의 프레임과의 차가 감산부(1)에서 구해지며, 이로인해 첫번째 프레임과 두번째 프레임의 영상 변화, 즉 움직임을 검출할 수 있게 된다.

그 다음, 상기 감산부(1)의 출력을 스위치(SW1)를 통해 인가받은 변환부(3)는 영상을 변환하며, 다시 양자화부(4)를 통해 양자화 하여 그 결과를 비디오 다중코더 측으로 출력함과 아울러 역양자화부(5)에 그 출력이 인가되어 역양자화되고, 다시 복원부(6)를 통해 복원된다.

그 다음, 상기 복원부(6)에서 복원된 영상과 상기 픽처 메모리(9)에 저장된 비디오신호(VIDEO IN)의 두번째 프레임이 가산되어, 참조영상신호로 상기 부가 픽처 메모리(APM1)에 저장된다.

이전에 그 부가 픽처 메모리(APM1)에 저장된 참조영상은 다음의 부가 픽처메모리(APM2)에 저장되어 지며, 이는 프레임이 진행되는 동안 각 부가 픽처 메모리(APM1~APMn)에 순차적으로 저장되어진다.

이와 같이 이전 프레임과 현재 프레임의 영상을 비교하여 그 두 프레임에서 변화되지 않는 배경과 움직이는 물체 부분을 구분하고, 그 움직이는 물체의 방향성 및 움직임 속도를 나타내는 모션벡터(V)를 검출할 수 있으며, 이와 같은 모션벡터(V)를 이용하여 움직이는 물체의 위치를 예측할 수 있고, 그 예측과 실제 움직임을 보상하여 표시함으로써 높은 압축율을 나타낼 수 있게 된다.

이때 물체의 움직임에 의하여 변화되는 배경은 물체가 이전 프레임에서 위치하던 부분인 드러나는 배경영역과 현재 프레임에서 물체가 위치하는 가려지는 배경영역과, 변화되지 않는 배경영역으로 나누어 생각할 수 있다.

상기 변화되지 않는 배경영역은 참조영상에 포함된 정보를 그대로 이용할 수 있으며, 가려지는 배경영역 또한 이전 참조영상에 포함되어 있고, 현재 프레임에서는 표시되지 않는 영역이므로 참조영상을 사용하여 압축이 가능하다.

그러나, 드러나는 배경영역은 이전 참조영상에서 물체가 위치하고 있던 부분이므로, 이전 참조영상에는 그 정보 자체가 없어 움직임 추정시 예측에러가 많이 발생하며 예측 효율이 저하되고, 이에 따라 압축효율인 부호화 효율이 저하된다.

이를 보상하기 위해서 상기 복수개의 부가 픽처 메모리(APM1~APMn)를 두어 그 복수개의 부가 픽처 메모리(APM1~APMn)에 저장된 복수개의 참조영상을 참조함으로써, 보다 우수한 움직임 추정이 가능하도록 하고, 부호화 효율을 향상시키게 된다.

이와 같이 다중의 참조영상을 가지고 움직임을 추정하는 방법은 부가적인 픽처 메모리를 사용해야 하고, 그에 따른 계산량이 증가하게 된다. 상기 부가 픽처 메모리가 5개인 시스템에서는 4배 크기의 1/2 해상도 영상 및 16배 크기의 1/4해상도 영상이 각각 5개 씩 필요로 하며, 필요한 메모리의 양은 복호화기 까지 고려한다면 최소 100배 이상 늘어나게 된다.

또한, 각 프레임에 대한 움직임 추정을 모두 실행하는 방법이므로 계산량이 증대되고 비트율에 있어서도 최적 프레임에 대한 정보를 실어 보내는 방식을 사용하므로 부가정보(OVER HEAD)가 증가하게 된다.

만약 이와 같은 다중 참조 영상 압축 알고리듬을 제한된 메모리, 제한된 계산 능력을 가지는 임베디드 시스템에 적용할 경우에는 그 임베디드 시스템의 제한 사항에 의해 상기 다중 참조 영상 압축방법을 사용할 수 없는 문제점이 발생하게 된다.

상기한 바와 같이 종래 다중 참조 영상압축방법은 복수개의 참조영상을 이용하여 움직임을 검출하고, 그 움직임에 대한 예측과 보상을 통해 그 압축율을 향상시키는 효과가 있으나, 계산량이 증가하고 메모리의 사용량이 증가하여 메모리와 계산량이 제한된 임베디디 시스템에 적용할 수 없는 문제점이 있었다.

이와 같은 문제점을 감안한 본 발명은 다중 참조 영상압축방법을 임베디드 시스템에 적용할 수 있는 임베디드 시스템에서 메모리 대역 및 계산 복잡도를 줄이기 위한 다중참조영상 압축방법을 제공함에 그 목적이 있다.

도1은 종래 다중 참조 영상 압축방법을 구현한 장치의 블록도.

도2는 본 발명 다중 참조 영상 압축방법을 구현한 장치의 블록도.

도3은 표시되는 영상 프레임을 특징별로 분할한 모식도.

*도면의 주요 부분에 대한 부호의 설명*

1:감산부2:코딩제어부

3:변환부4:양자화부

5:역양자화부6:복원부

7:가산부9:픽처 메모리

10:드러나는 배경영역 메모리

상기와 같은 목적은 참조영상인 이전 프레임과 현재 프레임을 비교하여 물체의 움직임을 추정하여 모션벡터를 획득하는 단계와; 상기 모션벡터를 이용하여 다음 프레임에서의 물체의 위치와 그 물체의 위치 변화에 따라 새롭게 드러나는 배경영역과 물체에 의해 가려지는 배경영역을 예측하고, 그 드러나는 배경영역에 대한 정보를 저장하는 단계와; 다음 프레임의 표시에 그 드러나는 배경영역에 대한 정보와 이전 프레임을 이용하는 단계로 구성함으로써 달성되는 것으로, 이와 같은 본 발명을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도2는 본 발명 임베디드 시스템에서 메모리 대역 및 계산 복잡도를 줄이기 위한 다중참조영상 압축방법을 하드웨어로 구성한 장치의 블록도로서, 이에 도시한 바와 같이 비디오신호(VIDEO IN)와 참조영상의 차를 구하는 감산부(1)와; 코딩제어부(2)의 제어에 의해 비디오신호(VIDEO IN) 또는 감산부(1)의 출력을 인가받아 변환하여 출력하는 변환부(3)와; 상기 코딩제어부(2)의 제어에 따라 상기 변환부(3)의 출력신호를 양자화하여 출력하는 양자화부(4)와; 상기 양자화부(4)의 출력(Q)을 역양자화하는 역양자화부(5)와; 상기 역양자화부(5)의 출력을 상기 변환부(3)와는 반대의 동작을 통해 이전 영상을 복원하는 복원부(6)와; 비디오신호(VIDEO IN)을 입력받아 저장하는 픽처 메모리(9)와; 상기 픽처 메모리(9)에 저장된 비디오신호(VIDEO IN)와 상기 복원부(6)에서 복원된 영상신호를 가산하는 가산부(7)와; 상기 가산부(7)의 출력신호인 참조영상을 저장하는 부가 픽처 메모리(APM)와; 이전 움직임 검출을 통해 다음 프레임에서 드러나는 배경영역을 저장하는 드러나는 배경영역 메모리(10)로 구성된다.

이하, 상기와 같은 본 발명 임베디드 시스템에서 메모리 대역 및 계산 복잡도를 줄이기 위한 다중참조영상 압축방법을 상기 도2에 도시한 장치의 동작과 함께 설명한다.

먼저, 코딩제어부(2)의 제어를 받아 스위칭 변환되는 스위치(SW1)를 통해 비디오신호(VIDEO IN)의 최초프레임을 인가받은 변환부(3)는 그 첫번째 프레임을 적당한 데이터로 변환하여 출력하고, 이를 인가받은 양자화부(4)는 그 데이터를 양자화하여 비디오 다중 코더(도면 미도시)로 출력한다.

그 다음, 상기 양자화부(4)의 출력을 인가받은 역양자화부(5)는 상기 변환부(3)의 출력으로 인가받은 변환계수를 위한 양자화 인덱스(Q)를 역양자화한다.

그 다음, 상기 역양자화부(5)의 출력을 인가받은 복원부(6)는 그 데이터를 복원하여 상기 비디오신호(VIDEO IN)의 첫번째 프레임을 복원한다.

그 다음, 상기 복원부(3)의 출력을 인가받은 가산부(7)는 첫번째 프레임의 처리일때 그대로 그 첫번째 프레임을 출력하며, 이후의 동작에서는 현재의 프레임과 이전의 프레임을 가산하는 동작을 하게 된다.

그 다음, 부가 픽처 메모리(APM)은 상기 가산부(7)의 출력을 저장한다.

그 다음, 비디오신호(VIDEO IN)의 다음 프레임을 인가받은 감산부(1)는 이전에 저장된 픽처 메모리(9)의 프레임과 현재의 프레임을 감산하여 움직임 정보를 추출하여 상기 스위치(SW1)를 통해 변환부(3)에 인가한다.

그 다음, 상기 변환부(3)는 그 움직임 정보를 변환하여 출력하며, 이는 양자화부(4)에서 양자화되고, 다시 역양자화부(5)와 복원부(6)를 통해 복원된다.

또한 가산부(7)에서는 그 움직임 정보를 프레임에 더하여 부가 픽처 메모리(APM)에 저장하여 참조영상으로 사용한다.

즉, 본 발명에서는 참조영상으로 복수의 참조영상을 사용하지 않으며 시간적으로 가장 가까운 이전 프레임 만을 참조영상으로 사용함으로써, 메모리의 사용량을 줄일 수 있게 된다.

그러나, 상기와 같이 이전 프레임 만을 참조영상으로 사용할 경우, 배경과 분리되는 움직이는 영상에 대하여 이전 프레임에는 그 움직이는 물체의 영상이 위치하던 부분이 이후의 프레임에서는 드러나는 배경영역이 되므로, 그 드러나는 배경영역에 대한 정보가 없기 때문에 압축효율이 저하된다.

이와 같은 문제를 보상하기 위하여 드러나는 배경영역 메모리(10)에서는 움직임을 검출하고, 그 예측된 움직임에 따라 드러나는 배경영역을 미리 저장해 둔다.

상기와 같이 움직임을 예측하고, 그 움직임에 의해 드러나는 배경영역을 미리 저장해 두면, 다음의 프레임에서 고정된 배경영역에 움직이는 물체의 예측위치를 설정하고, 그 물체의 움직임에 따라 드러나는 배경영역에 대한 데이터를 생성 및 갱신 이용하여 보다 적은 메모리를 사용하면서 보다 적은 계산을 통해 다음 프레임을 표시할 수 있게 된다.

상기 미설명 부호 p는 내부 플래그이며, t는 전송여부를 나타내는 프래그,qz는 양자화부 지시신호, v는 모션벡터를 타나낸다.

상기 드러나는 배경영역을 저장, 갱신 및 이용하는 방법을 좀더 상세히 설명하면 다음과 같다.

도3은 표시되는 영상의 특성에 따른 배경정보의 모식도로서, 이에 도시한 바와 같이 두 프레임을 비교할때 가장 크게는 이전 프레임과 현재 프레임을 비교하여 변화되는 영역과 변화되지 않는 영역으로 구분하여 변화되지 않는 영역의 정보는 현재 프레임을 표시할때 그대로 사용할 수 있다.

또한 상기 변화되는 영역은 움직이는 물체와 물체의 움직임에 따라 이전 프레임에서는 표시되는 배경부분이 현재의 프레임에서는 물체에 의해 가려지게 되는 가려지는 배경영역과 이전 프레임에서는 물체에 의해 가려져 있다가 현재의 프레임에서는 물체의 이동에 의해 드러나는 배경영역이 있다.

이전 프레임과 현재 프레임을 비교하여 물체의 모션벡터를 구하면 그 물체의 움직임 방향과 속도에 대한 정보를 획득하여 다음의 프레임에서의 물체의 위치를 추정할 수 있으며, 그 물체의 위치 추정에 따른 가려지는 배경영역과 드러나는 배경영역의 위치 및 데이터 또한 예측할 수 있게 된다.

하나의 프레임을 복수의 블록으로 구분하여 다음 프레임에서의 물체의 움직임에 의해 드러나는 배경영역에 해당하는 블록의 데이터를 상기 드러나는 배경영역 메모리(10)에 저장해 두고 다음의 플레임을 표시할때 이를 이용하여 표시함으로써, 그 표시될 프레임의 압축효율을 증대하게 된다.

이처럼 추정된 드러나는 배경영역이 이미 드러나는 배경영역 메모리(10)에저장되어 있는 것이면, 상기 드러나는 배경영역 메모리(10)를 갱신하지 않고, 저장되어 있지 않으면 프레임이 표시될때 마다 새로운 다음 프레임에서 드러나는 배경영역에 대한 데이터를 갱신한다.

최초 드러나는 배경영역 메모리(10)에는 첫번째 복호화된 영상이 모두 저장되며, 이를 참조하여 다음 프레임에서 부터는 물체의 움직임에 따라 드러나는 배경부분만을 저장하고, 이를 계속 갱신하여 다중의 참조영상을 사용하지 않고도 드러나는 배경영역에 대한 정보를 계속 유지할 수 있게 된다.

즉, 본 발명은 참조영상으로 현재의 움직임과 상관성이 가장 높은 이전 프레임만을 사용하며, 물체의 움직임에 따라 드러나는 배경영역에 대한 정보를 계속 저장하여 부호화 효율의 저하를 방지하면서 메모리의 사용량을 줄이며, 움직임 추정 및 드러나는 배경의 추정에 따른 과도한 계산량을 최소화 할 수 있게 된다. 이처럼 메모리의 사용량과 계산량을 최소화 함으로써, 메모리와 계산량이 한정되어 있는 임베디드 시스템에서도 국제 규격에 맞는 영상 압축 방법을 사용할 수 있게 된다.

상기한 바와 같이 본 발명 임베디드 시스템에서 메모리 대역 및 계산 복잡도를 줄이기 위한 다중참조영상 압축방법은 참조영상으로 현재 프레임과 가장 상관도가 높은 이전의 프레임만을 사용하고, 그 이전의 프레임에는 나타나지 않는 물체의 움직임에 따라 드러나는 배경영역에 대한 정보를 따로 저장 및 갱신하고, 그 저장된 드러나는 배경영역에 대한 정보를 사용하여 다음 프레임을 표시함으로써, 압축효율의 저하를 방지하면서, 메모리의 사용량과 계산량을 줄여 메모리와 계산량이제한적인 임베디드 시스템에서도 국제 규격의 영상압축 방법을 사용할 수 있도록 하는 효과가 있다.

Claims (2)

1. 참조영상인 이전 프레임과 현재 프레임을 비교하여 물체의 움직임을 추정하여 모션벡터를 획득하는 단계와; 상기 모션벡터를 이용하여 다음 프레임에서의 물체의 위치와 그 물체의 위치 변화에 따라 새롭게 드러나는 배경영역과 물체에 의해 가려지는 배경영역을 예측하고, 그 드러나는 배경영역에 대한 정보를 저장하는 단계와; 다음 프레임의 표시에 그 드러나는 배경영역에 대한 정보와 이전 프레임을 이용하는 단계로 이루어진 것을 특징으로 하는 임베디드 시스템에서 메모리 대역 및 계산 복잡도를 줄이기 위한 다중참조영상 압축방법.
2. 제 1항에 있어서, 드러나는 배경영역의 예측, 저장, 갱신 및 사용은 최초의 영상 프레임을 다수의 블록으로 할당하고, 그 모든 복호화된 영상 프레임을 저장하는 초기화단계와; 그 저장된 영상 프레임을 사용하여 현재 영상 프레임과 비교하여 모션벡터를 획득한 후, 물체의 움직임에 따라 새롭게 드러나는 배경영역을 구하는 예측단계와; 상기 예측된 드러나는 배경영역에 대한 정보만을 선택적으로 저장하는 저장단계와; 계속해서 다음 프레임이 인가되면 새로운 드러나는 배경영역에 대한 정보를 계속 갱신하며, 기 저장되어 있는 정보를 사용할 수 있는 것이면 이전 상태를 유지하는 갱신단계와; 다음 프레임에서 드러나는 배경영역에 데이터를 제외하고 압축한 후, 상기 저장된 드러나는 배경영역에 대한 데이터를 사용하여 다음 프레임을 표시하는 이용단계로 이루어진 것을 특징으로 임베디드 시스템에서 메모리 대역및 계산 복잡도를 줄이기 위한 다중참조영상 압축방법.