KR100703283B1

KR100703283B1 - 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법

Info

Publication number: KR100703283B1
Application number: KR1020040017453A
Authority: KR
Inventors: 이화순; 이승철
Original assignee: 삼성전자주식회사
Priority date: 2004-03-15
Filing date: 2004-03-15
Publication date: 2007-04-03
Also published as: RU2332809C2; RU2006118699A; JP2007523525A; EP1578135A3; US20050201464A1; WO2005088978A1; KR20050092306A; EP1578135A2; CN1906948A

Abstract

본 발명은 회전 매칭을 통해 움직임을 예측함으로써 비디오 영상 신호의 압축율을 향상시키는 영상 부호화 장치 및 방법에 관한 것이다. 본 발명에 따른 영상 부호화 장치는, 입력되는 현재 프레임에 대해 이전의 참조 프레임으로부터의 움직임을 추정하여 움직임 벡터들을 산출하는 움직임 예측부와, 상기 현재 프레임에 대해 이전 프레임으로부터의 회전을 추정하여 상기 현재 프레임의 회전각을 산출하는 회전생성 및 매칭부와, 상기 참조 프레임을 상기 회전각에 따라 복원하여 회전 복원된 프레임을 출력하는 회전 복원부와, 상기 움직임 벡터들을 이용하여 상기 회전 복원된 프레임을 재구성하여 움직임 예측된 프레임을 출력하는 움직임 보상부와, 상기 현재 프레임과 상기 움직임 예측된 프레임간의 차분신호를 구하여 상기 움직임 벡터들 및 상기 회전각과 함께 부호화하는 부호화기를 포함하는 것을 특징으로 한다. 이러한 본 발명은, 입력 영상의 회전으로 인한 압축률 저하를 방지하여 전송 효율을 향상시킬 수 있는 효과가 있다.

영상 부호화, 움직임 예측, 움직임 벡터, 회전 매핑, 회전각, 손떨림, 화상통화

Description

회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및 방법{IMAGE ENCODING APPARATUS AND METHOD FOR ESTIMATING MOTION USING ROTATION MATCHING}

도 1은 손떨림으로 인해 영상 전체가 회전되는 경우의 일 예.

도 2는 영상의 회전에 대한 다른 예.

도 3은 전형적인 영상 부호화 장치의 개략적인 구성도.

도 4와 도 5는 상기 움직임 예측부(110)에 의한 움직임 예측의 원리를 설명하는 도면.

도 6은 본 발명의 바람직한 실시예에 따른 영상 부호화 장치의 개략적인 구성도.

도 7은 회전 블록과 확장 블록의 관계를 나타낸 도면.

도 8은 본 발명의 바람직한 실시예에 따른 움직임 보상 동작을 나타낸 흐름도.

도 9는 본 발명의 바람직한 실시예에 따른 회전생성 및 매칭 동작을 나타낸 흐름도.

도 10은 본 발명의 바람직한 실시예에 따른 영상 부호화 동작을 나타낸 흐름도.

본 발명은 영상 부호화에 관한 것으로서, 특히 회전 매칭을 통해 움직임을 예측함으로써 비디오 영상 신호의 압축율을 향상시키는 영상 부호화 장치 및 방법에 관한 것이다.

잘 알려진 바와 같이 이산된 영상신호는 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 영상 프레임들로 구성된 비디오 신호가 디지털 형태로 표현될 때 고품질의 영상 재생을 위해서는 상당한 양의 데이터가 전송되어야 한다. 그러나 전송 채널의 사용 가능한 대역은 제한되어 있으므로, 많은 양의 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 크기를 줄일 필요가 있다.

이와 같이 영상 데이터를 압축하기 위한 다양한 기법들로는 확률적 부호화 기법과, 시간적/공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있으며, 이러한 기법들은, 예를 들어 세계 표준화 기구에 의해 그 표준안이 이미 제정된 MPEG-1/2/4, H.261/263/264, JPEG 등의 권고안들에 광범위하게 개시되어 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 차등펄스 부호변조(Differential Pulse Code Modulation: 이하 DPCM이라 칭함)와, 2차원 이산 코사인 변환(Discrete Cosine Transform: 이하 DCT라 칭함)과, DCT 계수의 양자 화, 가변길이 부호화(Variable Length Coding: 이하 VLC라 칭함) 등을 이용한다. 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임(즉 차이)을 검출하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 2차원 DCT는 영상 데이터 간의 공간적 중복성을 이용하거나 제거하는 것으로, 디지털 영상 데이터 블록들을 DCT 변환계수들로 변환한다. 이러한 DCT 변환계수들을 양자화, 스캔, VLC 등을 거치도록 함으로써, 전송할 데이터의 양을 효과적으로 감축할 수 있다.

보다 상세하게, 움직임 보상 DPCM에서는 시간영역에서 영상의 중복성을 제거하기 위해, 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 이와 같이 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터(Motion Vector: MV)로 나타낼 수 있다

통상적으로 물체의 변위를 추정하는 데에는 여러 가지 접근 기법들이 있다. 이들은 두 개의 타입으로 분류되는데, 그 중 하나는 블록 매칭 알고리즘을 이용하는 블록단위 움직임 추정방법이고, 다른 하나는 화소순환 알고리즘을 이용하는 화소단위 움직임 추정방법이다.

상기 화소단위 움직임 추정을 이용하면, 변위를 나타내는 움직임 벡터들은 각각의 화소 전부에 대해 구해진다. 이러한 방법은 화소 값들을 더 정확히 추정할 수 있고, 스케일 변화(예를 들어 주밍(zooming))도 쉽게 다룰 수 있는 반면에, 다량의 움직임 벡터들이 발생하는 경우 이들 벡터들을 모두 전송할 수 없다는 문제를 가지게 된다.

이에 비해 상기 블록단위 움직임 추정은, 현재 프레임의 소정 크기 블록을, 이전 프레임의 소정 범위의 탐색블록 내에서 한 화소씩 이동하는 대응 블록들과 비교하여 그 오차값이 최소인 최적정합 블록을 결정하며, 결과적으로 현재 프레임에 대해 블록 전체에 대한 프레임간 변위벡터(프레임간에 블록이 이동한 정도)를 추정한다. 여기서 현재 프레임과 이전 프레임간의 대응되는 두 블록간의 유사성 판단에는, 잘 알려진 평균절대차(Sum of Absolute Differences: 이하 SAD라 칭함)와 평균제곱차(Sum of Square Differences) 등이 주로 사용된다.

이상과 같이, 비디오 압축기술에서 움직임 예측을 위하여 시간적으로 선행하는 프레임과 현재 프레임간의 차이를 구하기 위한 여러 가지 기법들이 연구되고 있으나, 이들은 모두 탐색블록이 상/하/좌/우의 수직 및 수평 방향으로 움직인다고 간주한다는 점에서는 동일하다.

최근 정지영상 및 동영상의 촬영이 가능한 디지털 카메라가 널리 보편화되고 소형 카메라가 내장된 휴대폰이 보급됨에 따라, 전문가가 아닌 일반 사용자가 고정장치 없이 카메라를 사용하는 경우가 자주 발생하고 있다. 이러한 경우 카메라가 상하좌우로 흔들리거나(PAN) 기울어짐(TILT)에 따라 영상이 흔들리게 되는 경우가 자주 발생할 수 있다. 실제로 카메라는 3차원 공간상에서 임의의 방향으로 회전될 수 있지만 카메라에 의해 찍힌 영상은 2차원 영상 프레임에 매핑된다. 따라서 이러한 영상의 흔들림은 2차원 영상 프레임의 회전으로 나타난다.

도 1은 손떨림으로 인해 영상 전체가 회전되는 경우의 일 예를 도시한 것이 다. 도시한 바와 같이 실제로는 이전 프레임에 비해 현재 프레임의 단지 한 블록만이 변경되었으나, 손떨림에 의해 현재 프레임의 영상 전체가 회전하게 되어, 현재 프레임과 이전 프레임의 차이값이 매우 커지게 되었다.

도 2는 영상의 회전에 대한 다른 예를 나타낸 것이다. 여기에서는 전체 영상이 회전하지는 않았으나 이전 프레임에 비해 현재 프레임의 한 개체만이 회전하였다. 이러한 경우 실제로 개체의 변화도는 크지 않으나 개체의 회전으로 인하여 현재 프레임과 이전 프레임의 차이값이 커지게 된다. 이와 같이 특정 블록이 회전하게 되면 회전되기 전의 블록과 어느 정도의 차이 값을 항상 가지게 되며, 이 차이는 크면 클수록 영상 압축률을 감소시키는 요인이 된다.

이상과 같이, 종래의 영상 부호화 기술인 MPEG 및 H.26x 시리즈에서는 움직이는 블록의 이차원 공간상 회전에 대해서 전혀 고려하고 있지 않다. 따라서 물체의 움직임이 없는 경우에도 움직임이 있는 것으로 잘못 판단하여 큰 값의 움직임 벡터가 발생한다. 이러한 큰 값의 움직임 벡터는 영상 압축율을 상승시켜 전송효율을 떨어뜨리는 요인이 된다. 특히 영상 데이터를 무선 인터페이스를 통해 전송하는 이동통신 시스템의 경우, 영상 압축률의 상승은 무선 자원의 효율을 크게 떨어뜨리게 된다.

따라서 상기한 바와 같이 동작되는 종래 기술의 문제점을 해결하기 위하여 창안된 본 발명의 목적은, 영상의 회전 매칭을 통해 움직임을 예측하는 영상 부호 화 장치 및 방법을 제안하는 것이다.

본 발명의 다른 목적은, 영상의 회전에 대한 정보를 제공함으로써 영상 데이터의 압축률을 향상시키는 영상 부호화 장치 및 방법을 제안하는 것이다.

상기한 바와 같은 목적을 달성하기 위하여 창안된 본 발명의 일 견지에 따른 바람직한 실시예는, 영상 신호를 부호화하는 영상 부호화 장치에 있어서,

입력되는 현재 프레임에 대해 이전의 참조 프레임으로부터의 움직임을 추정하여 움직임 벡터들을 산출하는 움직임 예측부와,

상기 현재 프레임에 대해 상기 이전의 참조 프레임으로부터의 회전을 추정하여 상기 현재 프레임의 회전각들을 검출하는 회전생성 및 매칭부와,

상기 참조 프레임을 상기 회전각들에 따라 복원하여 회전 복원된 프레임을 출력하는 회전 복원부와,

상기 움직임 벡터들을 이용하여 상기 회전 복원된 프레임을 재구성하여 움직임 예측된 프레임을 출력하는 움직임 보상부와,

상기 현재 프레임과 상기 움직임 예측된 프레임간의 차이를 나타내는 차분신호를 구하여 상기 움직임 벡터들 및 상기 회전각과 함께 부호화하는 부호화기를 포함하는 것을 특징으로 한다.

본 발명의 다른 견지에 따른 바람직한 실시예는, 영상 신호를 부호화하는 영상 부호화 방법에 있어서,

입력되는 현재 프레임에 대해 이전의 참조 프레임으로부터의 움직임을 추정하여 움직임 벡터들을 산출하는 과정과,

상기 현재 프레임에 대해 상기 이전의 참조 프레임으로부터의 회전을 추정하여 상기 현재 프레임의 회전각들을 검출하는 과정과,

상기 참조 프레임을 상기 회전각들에 따라 복원하여 회전 복원된 프레임을 출력하는 과정과,

상기 움직임 벡터들을 이용하여 상기 회전 복원된 프레임을 재구성하여 움직임 예측된 프레임을 출력하는 과정과,

상기 현재 프레임과 상기 움직임 예측된 프레임간의 차이를 나타내는 차분신호를 구하여 상기 움직임 벡터들 및 상기 회전각과 함께 부호화하는 과정을 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

후술되는 본 발명은, 영상의 차이값 생성을 위한 움직임 예측 시 현재 프레 임의 특정 블록에 대해 탐색을 수행하면서 참조 프레임과 매칭할 때에, 회전을 통해 얻은 참조 블록과도 비교하여 회전에 의한 차이를 최소화 하고자 한다.

도 3은 전형적인 영상 부호화 장치의 개략적인 구성도를 보인 것이다.

상기 도 3을 참조하면, 입력되는 현재 프레임 데이터는 입력 버퍼(105)에 저장된다. 상기 현재 프레임 데이터라 함은 프레임 단위의 영상 정보를 의미하는 것으로서, 한 프레임을 구성하는 화소들(pixels)의 개수만큼의 화소 값들로 이루어진다. 상기 현재 프레임은 감산기(115)로 제공되는 하편, 움직임 예측부(110)로 제공된다.

상기 움직임 예측부(110)는, 참조 버퍼(160)에 저장된 재구성된 이전 프레임, 즉 참조 프레임에 대해, 현재 프레임의 각 블록들이 이전 프레임의 대응되는 블록으로 이동한 정도를 나타내는 움직임 벡터들을 결정한다. 상기 움직임 예측의 원리는 도 4 및 도 5를 참조하여 후술될 것이다. 그러면 움직임 보상부(165)는 참조 버퍼(160)에 저장된 참조 프레임의 블록들을 상기 움직임 벡터들에 따라 보상하여 상기 움직임 보상된 현재 프레임을 재구성하고 상기 감산기(115)로 제공하는 것이다.

상기 움직임 예측부(110)의 동작에 대해 상술하면 다음과 같다.

상기한 움직임 예측부(110)는 현재 프레임을 소정 크기 N(예를 들어 N은 16화소)을 가지는 정사각 블록들로 분할하고, 상기 블록들 각각에 대해 참조 프래임을 탐색(search)하여, 현재 프레임의 블록들과 가장 비슷한 참조 프레임의 대응되는 블록들을 결정한다. 이때 참조 프레임 전체를 탐색하게 되면 너무 많은 연산량 이 요구되므로, 참조 프레임의 동일 위치로부터 한 화소 또는 반 화소씩 상하좌우로 이동하는 동일 크기의 탐색 창을 이용하여 참조 프레임을 탐색한다. 상기 참조 프레임의 탐색에는 전영역 탐색(Full search), 다이아몬드 탐색(Diamond search), 3단계 탐색(three step search) 등의 다양한 기술들이 존재하나, 이는 잘 알려진 것들이고 본 발명의 요지와는 관련이 없으므로 상세한 설명을 생략한다.

현재 프레임의 한 블록에 대해 참조 프레임의 대응되는 블록이 탐색되면, 움직임 예측부(110)는 상기 두 블록들을 매칭시켜 동일성을 판단한다. 상기 동일성의 판단은 알려진 여러 가지 계산식에 따라 이루어질 수 있으나, 본 명세서에서는 대표적인 계산식 중의 하나인 절대합차(Sum of Absolute Differences: 이하 SAD라 칭함)를 이용하는 것으로 한다. 상기 절대합차는 하기된 <수학식 1>에 의해 계산된다. 하기에서 A_i는 현재 프레임의 블록의 i번째 화소 값이고, B_i는 참조 프레임의 블록의 i번째 화소 값이다.

그러면, 움직임 예측부(110)는 현재 프레임의 블록에 대해 최소의 SAD를 가지는 참조 프레임의 블록을 결정하고, 상기 현재 프레임의 블록으로부터 참조 프레임의 대응되는 블록으로의 움직임 벡터(MV)를 결정한다.

도 4와 도 5는 상기 움직임 예측부(110)에 의한 움직임 예측의 원리를 설명하는 도면이다. 도 4에는 참조 프레임으로부터 한 프레임 간격만큼의 시간의 경과 된 이후 입력되는 현재 프레임을 나타내었다. 도시한 바와 같이 현재 프레임은 참조 프레임에 비해 단지 한 개체의 이동만이 변화되었다. 그러면 도 5에 나타낸 바와 같이, 현재 프레임의 (3,3) 위치의 블록에 대응하는 참조 프레임의 (1,1) 위치의 블록이 결정된다. 그러면 현재 프레임의 블록 (3,3)으로부터 참조 프레임의 대응되는 블록 (1,1)으로의 움직임 벡터는 (-2,2)이 된다.

감산기(115)는 상기 현재 프레임의 각 블록들에서, 상기 움직임 보상부(165)로부터 제공되는 움직임 보상된 각 블록들을 감산하여, 그 결과 차분 화소값들을 포함하는 차분신호를 생성하게 된다. 그러면, 이산 코사인 변환기(DCT)(120)는 공간영역의 상기 차분신호를 주파수영역을 나타내는 일련의 DCT 계수들로 변환한다. 상기 DCT 계수들은 양자화기(125)에 의해 소정 양자화 스텝 사이즈를 가지고 양자화된다. 이와 같이 양자화를 수행하는 이유는 0(zero)이 되지 않고 남아 있는 작은 값의 DCT 계수들을 0으로 만들고, 양자화된 계수들의 분산이 원래 DCT 계수들의 분산보다 줄어드는 효과를 통해 보다 효율적인 부호화가 이루어지도록 하기 위함이다. 상기 양자화된 DCT 계수들은, 스캔부(130)에 의해 2차원에서 1차원으로, 저주파에서 고주파의 순서로 재배열된다.

가변길이 부호화기(135)는 상기 스캔부(130)로부터 출력되는 데이터를 소정의 제어정보와 함께 가변길이 부호화하여 현재 프레임에 비해 압축된 크기를 가지는 출력 프레임을 출력 버퍼(140)로 출력한다. 여기서 가변길이 부호화란 발생확률이 높은 값에 길이가 짧은 코드를 할당하고 발생확률이 낮은 값에 긴 부호를 할당하여 평균 코드길이를 줄이는 엔트로피 부호화를 말한다. 상기 제어정보로는, 현재 프레임의 각 블록들이 이전 참조 프레임의 대응하는 블록들로부터 이동한 정도를 나타내는 움직임 벡터들(MV)이 포함된다.

한편, 상기 양자화된 데이터는 역양자화기(145)에 의해 다시 DCT 계수들로 역양자화되고, 상기 역양자화된 DCT 계수들은 역이산 코사인 변환기(Inverse DCT: IDCT)(150)에 의해 공간영역의 차분신호로 변환된다. 결합기(155)는 앞서 언급한 움직임 보상부(165)로부터의 움직임 보상된 현재 프레임에 상기 IDCT 변환기(150)로부터의 차분신호를 결합하여, 참조 버퍼(160)에 다음 프레임을 위한 참조 프레임으로써 저장한다.

그런데, 앞서 설명한 바와 같이 상기 도 3의 움직임 예측부(110)는, 참조 프레임에서 탐색 창을 상하좌우의 수직 방향으로만 이동시켜 가면서 대응되는 블록을 결정하게 된다. 이로 인해, 입력 영상이 흔들리거나, 또는 영상 내 개체의 회전 움직임에 대해 압축률 손실이 발생하는 문제가 발생한다. 상기한 문제를 해소하기 위하여, 본 발명은, 움직임 예측부(110)에서 결정된 대응 참조 블록을 소정 회전각만큼씩 회전시켜가면서, 현재 프레임의 블록과 최소의 차이를 가지게 하는 회전각을 결정한다. 그리고 회전된 대응 참조 블록과 현재 프레임의 블록간의 차이만을 압축하도록 함으로써, 영상 회전에 따른 압축률 손실을 방지한다.

도 6은 본 발명의 바람직한 실시예에 따른 영상 부호화 장치의 개략적인 구성도를 보인 것이다. 상기 도 6을 도 3과 비교하면, 회전생성 및 매칭부(270)와 회전 복원부(275)가 추가되었음을 알 수 있다. 여기서 본 발명의 요지와 큰 관련이 없는 감산기(215)로부터 가변길이 부호화기(235)까지의 구성요소들은, 본 명세서에 서 도 6 전체를 포함하는 영상 부호화 장치와 구분하여 부호화기라 칭해질 것이다.

상기 도 6을 참조하면, 입력되는 현재 프레임 데이터는 입력 버퍼(205)에 저장된다. 상기 현재 프레임 데이터라 함은 프레임 단위의 영상 정보를 의미하는 것으로서, 한 프레임을 구성하는 화소들(pixels)의 개수만큼의 화소 값들로 이루어진다. 상기 현재 프레임은 감산기(215)로 제공되는 하편, 움직임 예측부(2110)로 제공된다.

상기 움직임 예측부(210)는, 참조 버퍼(260)에 저장된 재구성된 이전 프레임, 즉 참조 프레임에 대해, 현재 프레임의 각 블록들이 이전 프레임의 대응되는 블록으로 이동한 정도를 나타내는 움직임 벡터들을 결정한다. 그러면 움직임 보상부(265)는 참조 버퍼(260)에 저장된 참조 프레임을 상기 움직임 벡터들에 따라 보상하여 상기 움직임 보상된 현재 프레임을 재구성하고 상기 감산기(215)로 제공하는 것이다.

즉, 상기한 움직임 예측부(210)는 현재 프레임을 소정 크기 N(예를 들어 N은 16화소)을 가지는 정사각 블록들로 분할하고, 상기 블록들 각각에 대해 참조 프래임을 탐색(search)하여, 현재 프레임의 블록들과 가장 비슷한 참조 프레임의 대응되는 참조 블록들을 결정하고, 상기 현재 프레임의 블록으로부터 참조 프레임의 대응되는 참조 블록으로의 움직임 벡터(MV)를 결정한다.

회전생성 및 매칭부(270)는 상기 참조 블록들을 소정 회전각만큼 회전시켜가면서, 상기 참조 블록들이 현재 프레임의 대응되는 블록들과 가장 유사하게 되는 회전각들을 결정한다. 상기 회전 블록은, 상기 참조 블록의 회전에 의해 발생하는 확장 블록의 일부로 결정된다. 도 7에 회전 블록과 확장 블록의 관계를 나타내었다. 즉 참조 블록의 크기가 N×N일 경우, 확장 블록은 회전된 참조 블록 전체를 포함하도록 N'×N'의 크기를 가진다. 상기 N'은 하기 <수학식 2>와 같이 결정된다. 하기에서 N은 상기 참조 블록의 가로 및 세로 길이이고, π는 상기 회전 블록의 회전각이다.

상기 확장 블록의 화소들은 하기 <수학식 3>과 같이 구해진다. 하기에서 (x,y)는 상기 참조 블록의 화소들의 좌표이고, (x',y')는 상기 참조 블록에 대응하는 확장 블록의 화소들의 좌표이다.

회전에 의해 새롭게 얻어진 화소값은 실수가 되므로, 이산 영상 데이터로 변환하기 위하여 인터폴레이션(interpolation)된다. 만일 참조 블록이 참조 프레임의 경계에 위치한다면, 참조 프레임을 벗어나는 화소값들은 0이 된다. 그러면 상기 참조 블록에 대응하는 회전 블록은, 상기 확장 블록의 중앙에서 N×N의 크기로 클리핑된 블록이 된다. 즉 회전생성 및 매칭부(270)는 회전각을 -π/4와 π/4의 범위 내에서 π/180의 단위로 증가 및 감소시키면서, 상기 회전각만큼 회전된 블록과 현 재 블록간의 SAD를 구하고, 회전된 블록에 의한 SAD가 회전 이전의 참조 블록에 대한 SAD보다 작게 되는 회전각을 결정한다.

회전 복원부(275)는 참조 버퍼(260)에 저장된 참조 프레임의 블록들을 상기 회전생성 및 매칭부(270)로부터의 회전각들에 따라 복원하며, 움직임 보상부(265)는 상기 회전 복원된 참조 프레임의 블록들을 상기 움직임 예측부(210)로부터의 움직임 벡터들에 따라 보상하여 상기 움직임 보상된 현재 프레임을 재구성하고 상기 감산기(215)로 제공한다.

감산기(215)는 상기 현재 프레임의 각 블록들에서, 상기 움직임 보상부(265)로부터 제공되는 움직임 보상된 각 블록들을 감산하여, 그 결과 차분 화소값들을 포함하는 차분신호를 생성하게 된다. 그러면, 이산 코사인 변환기(DCT)(220)는 공간영역의 상기 차분신호를 주파수영역을 나타내는 일련의 DCT 계수들로 변환한다. 상기 DCT 계수들은 양자화기(225)에 의해 소정 양자화 스텝 사이즈를 가지고 양자화된다. 상기 양자화된 DCT 계수들은, 스캔부(230)에 의해 2차원에서 1차원으로, 저주파에서 고주파의 순서로 재배열된다.

가변길이 부호화기(235)는 상기 스캔부(230)로부터 출력되는 데이터를 소정의 제어정보와 함께 가변길이 부호화하여 현재 프레임에 비해 압축된 크기를 가지는 출력 프레임을 출력 버퍼(240)로 출력한다. 상기 제어정보로는, 현재 프레임의 각 블록들이 이전 참조 프레임의 대응하는 블록들로부터 이동한 정도를 나타내는 움직임 벡터들(MV)과, 현재 프레임의 각 블록들이 이전 참조 프레임의 대응하는 블록들로부터 회전한 정도를 나타내는 회전각(θ)이 포함된다.

한편, 상기 양자화된 데이터는 역양자화기(245)에 의해 다시 DCT 계수들로 역양자화되고, 상기 역양자화된 DCT 계수들은 역이산 코사인 변환기(Inverse DCT: IDCT)(250)에 의해 공간영역의 차분신호로 변환된다. 결합기(255)는 앞서 언급한 움직임 보상부(265)로부터의 움직임 보상된 현재 프레임의 각 블록들에 상기 IDCT 변환기(250)로부터의 차분신호를 결합하여, 참조 버퍼(260)에 다음 프레임의 움직임 예측 및 움직임 보상을 위한 참조 프레임으로써 저장한다.

이하 도 8 내지 도 10을 참조하여 본 발명의 바람직한 실시예에 따른 영상 부호화 동작을 보다 상세히 설명한다. 하기에서는, 현재 프레임의 어느 한 블록에 대한 동작만을 도시하였음에 유의하여야 한다. 즉 후술되는 동작들은 현재 프레임의 모든 블록들 각각에 대하여 수행된다.

도 8은 본 발명의 바람직한 실시예에 따른 움직임 보상부(210)의 동작을 나타낸 흐름도이다.

상기 도 8을 참조하면, 과정 300에서 움직임 보상부(210)로 N×N 크기를 가지는 현재 프레임의 한 블록이 입력된다. 상기 입력된 블록은 현재 블록이라 칭한다. 과정 302에서 움직임 보상부(210)는 상기 현재 블록을 참조 프레임과 비교하여, 상기 참조 프레임에서 상기 현재 블록과 가장 유사한, 즉 최소의 SAD를 가지는 블록, 즉 참조 블록을 결정한다. 과정 304에서 상기 현재 블록으로부터 상기 참조 블록으로의 움직임 벡터(MV) 및 SAD가 출력된다. 상기 현재 블록과 상기 참조 블록간의 SAD는 기준 SAD로 간주된다.

도 9는 본 발명의 바람직한 실시예에 따른 회전생성 및 매칭부(270)의 동작 을 나타낸 흐름도이다. 여기에서는 도시의 편의를 위하여 회전각 π를 0으로부터 증가시키는 경우와 감소시키는 경우를 함께 나타내었으나, 실제로 증가시키는 경우와 감소시키는 경우가 각각 실행되어야 함은 물론이다.

상기 도 9를 참조하면, 과정 310에서 움직임 예측부(210)로부터 회전생성 및 매칭부(270)으로 현재 블록 및 상기 현재 블록에 대응하는 참조 블록이 입력되고, 회전각 θ는 0으로 설정되고 저장된다. 과정 312에서 상기 회전각은 π/180만큼 증가된다.(감소시키는 동작의 경우에는 π/180만큼 감소된다.) 과정 314에서 상기 참조 블록을 상기 회전각만큼 회전시켜, 상기 회전각에 따라 결정된 크기 N'×N'을 가지며 상기 회전된 참조 블록을 포함하는 확장블록이 결정된다. 과정 316에서 회전생성 및 매칭부(270)는 상기 확장 블록을 N×N 크기로 중앙으로부터 클리핑하여 상기 확장 블록의 중앙에 위치하는 회전 블록을 결정한다.

과정 318에서, 회전생성 및 매칭부(270)는 상기 회전블록의 회소값들을 상기 현재 블록의 화소값들과 비교하여, 새로운 SAD, 즉 회전 SAD를 계산한다. 과정 320에서 상기 회전 SAD는 움직임 예측부(210)로부터 제공된 기준 SAD와 비교된다. 만일 상기 회전 SAD가 상기 기준 SAD보다 미리 설정되는 임계값 TH만큼 더 작으면 과정 322로 진행하고, 그렇지 않으면 과정 326으로 진행한다. 바람직한 실시예로서, 상기 임계값 TH는 0보다 크거나 같고, 상기 기준 SAD의 10%보다 작거나 같은 범위에서 결정된다.

과정 322에서 회전생성 및 매칭부(270)는 상기 회전 SAD를 이전 회전각에 의한 회전 SAD들과 비교하여 최소값인지를 판별한다. 만일 최소값이면, 과정 324에서 현재 회전각이 저장된 후 과정 326으로 진행한다. 과정 326에서는 현재의 회전각 θ가 π/4에 도달하였는지 판별한다.(감소시키는 동작의 경우에는 -π/4에 도달하였는지를 판별한다.) 만일 π/4에 도달하지 않았으면 과정 312로 복귀하고, π/4에 도달하였으면 (감소시키는 동작이 수행되지 않았을 경우 감소시키는 동작을 수행한 후) 과정 328로 진행한다. 과정 328에서 회전생성 및 매칭부(270)는 저장된 회전각을 출력한다. 만일 어떠한 회전각에 의한 회전 SAD도 기준 SAD보다 임계값만큼 더 작지 않았다면, 출력되는 회전각은 0이 된다.

도 10은 본 발명의 바람직한 실시예에 따른 영상 부호화 동작을 나타낸 흐름도이다. 여기에 나타낸 동작은 도 6에 나타낸 감산기(215)로부터 가변길이 부호화기(235)까지의 부호화기를 포함하는 것이다.

상기 도 10을 참조하면, 과정 330에서 감산기(215)는 현재 프레임의 각 블록들과 움직임 예측되고 회전 복원된 프레임의 대응되는 블록들간의 차분신호를 발생한다. 과정 332에서 DCT 변환기(220)는 상기 차분신호를 DCT 변환하여 DCT 계수들을 출력하고, 과정 334에서 양자화기(225)는 상기 DCT 계수들을 양자화한다. 과정 336에서 스캔부(230)는 상기 양자화된 DCT 계수들을 재배열하고, 과정 338에서 가변길이 부호화기(235)는 상기 스캔부(230)로부터 출력되는 데이터를 상기 도 7에 의해 결정된 움직임 벡터 및 상기 도 9에 의해 결정된 회전각과 함께 부호화하여 출력 프레임을 생성하며, 과정 340에서 상기 출력 프레임은 소정 전송전 처리를 거쳐 전송된다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

이상에서 상세히 설명한 바와 같이 동작하는 본 발명에 있어서, 개시되는 발명중 대표적인 것에 의하여 얻어지는 효과를 간단히 설명하면 다음과 같다.

본 발명은, 입력 영상의 회전으로 인한 압축률 저하를 방지하여 전송 효율을 향상시킬 수 있는 효과가 있다. 특히 이동 단말을 통한 화상 통신시에 단말 사용자의 손떨림으로 인한 영상의 불안정성에 의해 발생되는 비트량 증가를 효과적으로 방지한다.

Claims

영상 신호를 부호화하는 영상 부호화 장치에 있어서,

입력되는 현재 프레임을 구성하는 현재 블록들에 대해 이전의 참조 프레임으로부터의 움직임을 추정하여 상기 현재 블록들에 대한 움직임 벡터들을 산출하는 움직임 예측부와,

상기 현재 프레임에 대해 상기 이전의 참조 프레임으로부터의 블록별 회전을 추정하여 상기 참조 프레임을 구성하는 참조 블록들의 회전각들을 검출하는 회전생성 및 매칭부와,

상기 참조 프레임을 구성하는 참조 블록들을 상기 회전각들에 따라 회전하여 회전 복원된 프레임을 출력하는 회전 복원부와,

상기 움직임 벡터들을 이용하여 상기 회전 복원된 프레임의 블록들을 재구성하여 움직임 예측된 프레임을 출력하는 움직임 보상부와,

상기 현재 프레임과 상기 움직임 예측된 프레임간의 차이를 나타내는 차분신호를 구하고, 상기 차분신호와 상기 움직임 벡터들 및 상기 회전각들을 함께 부호화하는 부호화기를 포함하는 것을 특징으로 하는 상기 영상 부호화 장치.
제 1 항에 있어서, 상기 회전생성 및 매칭부는,

상기 현재 프레임을 구성하는 각 현재 블록에 대해, 상기 현재 블록에 대응하는 상기 참조 프레임의 참조 블록을 소정 단위 각도만큼 회전시키면서, 상기 현재 블록과 최소의 차이를 가지게 하는 회전각을 결정하는 것을 특징으로 하는 상기 영상 부호화 장치.
제 1 항에 있어서, 상기 움직임 예측부는,

상기 현재 프레임을 구성하는 각 현재 블록들에 대해, 상기 현재 블록에 대응하는 상기 참조 프레임의 참조 블록으로의 변위를 나타내는 상기 움직임 벡터를 산출하고, 상기 현재 블록과 상기 참조 블록 간의 차이값을 기준 차이값으로서 발생하는 것을 특징으로 하는 상기 영상 부호화 장치.
제 3 항에 있어서, 상기 차이값은,

상기 현재 블록의 각 화소 값들과 상기 참조 블록의 각 화소값들 간의 차이값들의 합인 것을 특징으로 하는 상기 영상 부호화 장치.
제 3 항에 있어서, 상기 회전생성 및 매칭부는,

상기 참조 블록을 소정 단위 각도만큼 변화하는 회전각들만큼씩 회전시켜가면서, 각 회전각들만큼 회전된 참조 블록과 상기 현재 블록간의 차이값들을 상기 기준 차이값과 비교하여, 상기 기준 차이값보다 소정 임계값만큼 더 작게 되는 회전된 참조 블록의 회전각을 출력하는 것을 특징으로 하는 상기 영상 부호화 장치.
제 5 항에 있어서, 상기 임계값은, 0보다 크거나 같고 상기 기준 차이값의 10%보다 작거나 같은 것을 특징으로 하는 상기 영상 부호화 장치.
제 1 항에 있어서, 상기 부호화기는,

상기 현재 프레임과 상기 회전 복원된 프레임간의 차분신호를 구하는 감산기와,

상기 차분신호를 이산 코사인 변환하여 이산 코사인 변환 계수들을 출력하는 이산 코사인 변환기와,

상기 이산 코사인 변환 계수들을 양자화하는 양자화기와,

상기 양자화된 이산 코사인 변환 계수들을 재배열하는 스캔부와,

상기 재배열된 이산 코사인 변환 계수들을 상기 움직임 벡터들 및 상기 회전각과 함께 가변길이 부호화하는 가변길이 부호화기와,

상기 양자화된 이산 코사인 변환 계수들을 역양자화하는 역영자화기와,

상기 역양자화된 이산 코사인 변환 계수들을 역이산 코사인 변환하는 역이산 코사인 변환기와,

상기 역이산 코사인 변환기의 출력을 상기 움직임 보상된 프레임과 결합하여 새로운 참조 프레임으로써 저장하는 결합기로 구성되는 것을 특징으로 하는 상기 장치.
영상 신호를 부호화하는 영상 부호화 방법에 있어서,

입력되는 현재 프레임을 구성하는 현재 블록들에 대해 이전의 참조 프레임으로부터의 움직임을 추정하여 상기 현재 블록들에 대한 움직임 벡터들을 산출하는 과정과,

상기 현재 프레임에 대해 상기 이전의 참조 프레임으로부터의 블록별 회전을 추정하여 상기 참조 프레임을 구성하는 참조 블록들의 회전각을 검출하는 과정과,

상기 참조 프레임을 구성하는 참조 블록들을 상기 회전각들에 따라 회전하여 회전 복원된 프레임을 출력하는 과정과,

상기 움직임 벡터들을 이용하여 상기 회전 복원된 프레임의 블록들을 재구성하여 움직임 예측된 프레임을 출력하는 과정과,

상기 현재 프레임과 상기 움직임 예측된 프레임간의 차이를 나타내는 차분신호를 구하고, 상기 차분신호와 상기 움직임 벡터들 및 상기 회전각들을 함께 부호화하는 과정을 포함하는 것을 특징으로 하는 상기 영상 부호화 방법.
제 8 항에 있어서, 상기 회전각을 산출하는 과정은,

상기 현재 프레임을 구성하는 각 현재 블록에 대해, 상기 현재 블록에 대응하는 상기 참조 프레임의 참조 블록을 소정 단위 각도만큼 회전시키면서, 상기 현 재 블록과 최소의 차이를 가지게 하는 회전각을 결정하는 것을 특징으로 하는 상기 영상 부호화 방법.
제 8 항에 있어서, 상기 움직임 벡터들을 산출하는 과정은,

상기 현재 프레임을 구성하는 각 현재 블록들에 대해, 상기 현재 블록에 대응하는 상기 참조 프레임의 참조 블록으로의 변위를 나타내는 상기 움직임 벡터를 산출하고, 상기 현재 블록과 상기 참조 블록 간의 차이값을 기준 차이값으로서 발생하는 것을 특징으로 하는 상기 영상 부호화 방법.
제 10 항에 있어서, 상기 차이값은,

상기 현재 블록의 각 화소 값들과 상기 참조 블록의 각 화소값들 간의 차이값들의 합인 것을 특징으로 하는 상기 영상 부호화 방법.
제 10 항에 있어서, 상기 회전각을 산출하는 과정은,

상기 참조 블록을 소정 단위 각도만큼 변화하는 회전각들만큼씩 회전시켜가면서, 각 회전각들만큼 회전된 참조 블록들을 포함하는 확장 블록들을 결정하는 단계와,

상기 확장 블록들을 상기 현재 블록과 동일한 크기로 클리핑한 회전 블록들을 결정하는 단계와,

상기 회전 블록들과 상기 현재 블록간의 차이값들을 산출하는 단계와,

상기 기준 차이값보다 소정 임계값만큼 더 작은 차이값들을 가지는 회전 블록들 중 최소의 차이값을 가지는 회전 블록의 회전각을 출력하는 것을 특징으로 하는 상기 영상 부호화 방법.
제 12 항에 있어서, 상기 임계값은, 0보다 크거나 같고 상기 기준 차이값의 10%보다 작거나 같은 것을 특징으로 하는 상기 영상 부호화 방법.
제 12 항에 있어서, 상기 단위 각도는, π/180인 것을 특징으로 하는 상기 영상 부호화 방법.
제 12 항에 있어서, 상기 회전각들은, -π/4 내지 π/4의 범위 내에서 증가 및 감소되는 것을 특징으로 하는 상기 방법.
제 12 항에 있어서, 상기 확장 블록들 각각은,
의 가로 및 세로 길이를 가지며, 상기 N은 상기 현재 블록 및 상기 참조 블록의 가로 및 세로 길이이고, 상기 π는 해당 확장 블록의 회전각인 것을 특징으로 하는 상기 방법.
제 12 항에 있어서, 상기 확장 블록들 각각의 화소들의 좌표 (x',y')는, 상기 참조 블록의 화소들의 좌표 (x,y)에 따라
,
으로 결정되며, 여기서 상기 θ는 해당 확장 블록의 회전각인 것을 특징으로 하는 상기 방법.
제 8 항에 있어서, 상기 부호화하는 과정은,

상기 현재 프레임과 상기 회전 복원된 프레임간의 차분신호를 구하는 단계와,

상기 차분신호를 이산 코사인 변환하여 이산 코사인 변환 계수들을 출력하는 단계와,

상기 이산 코사인 변환 계수들을 양자화하는 단계와,

상기 양자화된 이산 코사인 변환 계수들을 재배열하는 단계와,

상기 재배열된 이산 코사인 변환 계수들을 상기 움직임 벡터들 및 상기 회전 각과 함께 가변길이 부호화하는 단계와,

상기 양자화된 이산 코사인 변환 계수들을 역양자화하는 단계와,

상기 역양자화된 이산 코사인 변환 계수들을 역이산 코사인 변환하는 단계와,

상기 역이산 코사인 변환된 출력을 상기 움직임 보상된 프레임과 결합하여 새로운 참조 프레임으로써 저장하는 단계로 구성되는 것을 특징으로 하는 상기 영상 부호화 방법.