KR0147330B1

KR0147330B1 - 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법

Info

Publication number: KR0147330B1
Application number: KR1019940035743A
Authority: KR
Inventors: 김양훈; 임종석; 민병기; 안치득; 김진웅
Original assignee: 양승택; 재단법인한국전자통신연구원
Priority date: 1994-12-21
Filing date: 1994-12-21
Publication date: 1998-09-15
Also published as: KR960025199A

Abstract

본 발명은 정수 화소 단위의 블록 움직임을 예측할 때 요구되는 방대한 계산량을 효과적으로 절감하는 동시에 만족할 만한 성능을 제공할 수 있는 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법에 관한 것으로, 기준영상(RP)의 후보검색지역(CSR) 및 현재영상(CP)을 서브영역으로 분할하여 구성된 서브블록내의 각 화소들에 대해 소정의 라벨을 부여하는 제1단계; 상기 서브블록에 일대일 대응하는 패턴블록을 선택하여 상기 패턴블록과의 유사성을 계산하고, 이미 계산된 후보위치의 유사성과 비교하여 각 패턴블록에 가장 유사한 상기 서브블록내의 모든 후보위치들을 선정하는 제2단계; 및 상기 패턴블록에 가장 유사한 후보위치에 해당하는 후보 움직임벡터를 상기 후보검색지역에서 선택하여 현재영상 블록과의 유사성을 계산하고, 이미 계산된 후보 움직임벡터 위치와의 유사성과 비교하여 가장 유사한 후보 움직임벡터 결과를 출력하는 제3단계를 포함하는 것을 특징으로 하여 움직임 예측 성능은 종래의 전역 검색 방법과 유사하지만 1/16의 화소를 이용해 후보 움직임벡터를 계산하므로써 계산량을 약 1/16로 현저히 줄일 수 있는 탁월한 효과가 있다.

Description

부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법

제1도는 일반적인 움직임 보상을 위한 기본 개념도.

제2도는 현재영상(CP) 블록의 화소 라벨 부여 예시도.

제3도는 기준영상(RP)에서 후보검색영역(CSR)의 화소 라벨 부여 예시도.

제4도는 본 발명에 따른 전역 검색 방법에 대한 일실시예 흐름도.

본 발명은 정수 화소 단위의 블록 움직임을 예측할 때 요구되는 방대한 계산량을 효과적으로 절감하는 동시에 만족할 만한 성능을 제공할 수 있는 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법에 관한 것이다.

일반적으로, 블록 움직임 보상이 m번째 영상에서 n번째 영상으로 일어나는 경우에 m번째 영상을 기준영상(RP:Reference Picture)이라 하고 n번째 영상을 현재영상(CP:Current Picture)이라 할 때, 동영상 자료의 압축 효율을 증가시키기 위해 사용되는 움직임 예측을 이용한 동영상 압축 방법은 제1도에 도시된 바와 같이 CP를 M×N 크기의 블록으로 규칙적으로 나누어 CP의 블록과 가장 유사한 블록을 RP에서 찾아 이를 CP블록의 압축에 이용한다.

제1도를 참조하면, CP의 한 블록과 가장 유사한 RP블록의 상대적 좌표를 움직임벡터로 정의하고, 블록들의 좌상부 화소 좌표를 후보위치로 정의한다. 또한, 연속적인 두 영상에서 움직임은 작다고 가정할 수 있으므로 움직임벡터의 각 좌표축 성분의 크기를 제한하므로써 한 CP블록의 움직임벡터 계산에 사용되는 RP에서의 화소 영역을 후보검색지역(CSR:Candidate Search Region)으로 정의한다.

따라서, 움직임벡터의 각 성분을 +p에서 -p로 제한한다면 한 블록의 움직임벡터의 계산에 필요한 후보위치의 수는 (2p+1)²가 된다.

전역 검색 알고리즘(Full Search Algorithm)은 이러한 (2p+1)²개의 후보위치에서 블록을 구성하는 모든 화소를 이용하여 움직임벡터를 계산하므로 한 블록의 움직임벡터를 찾기 위해서는 총 (2p+1)²MN에 비례하는 계산량을 필요로 한다. 그러나, 이처럼 매우 많은 계산량의 실시간 처리를 위한 하드웨어를 구현하기가 어려웠다.

따라서, 계산량을 줄이는 방법들로 삼단계 검색 알고리즘(Three Step Search), 로가리즘 검색 알고리즘(Logarithm Search) 등과 같은 근사적 방법이 개발되었지만, 성능과 계산령이 반비례하는 경향이 있었다. 즉, 이들은 모두 후보위치의 수를 제한하여 계산량을 줄이므로 예측 성능이 전역 검색 알고리즘에 비해 상당히 떨어지는 문제점이 있었다.

본 발명은 상기와 같은 종래기술의 제반 문제점을 해결하기 위하여 안출된 것으로, 정수 화소 단위의 블록 움직임 예측시 후보위치의 수를 제한하지 않고 한 후보위치에서 사용되는 화소의 수를 효율적으로 제한함으로써 만족할 만한 성능을 제공하는 동시에 요구되는 연산량을 절감시키기 위한 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명은, 동영상을 압축하기 위한 전역 검색 방법에 있어서, 기준영상(RP)의 후보검색지역(CSR) 및 현재영상(CP)을 서브영역으로 분할하여 구성된 서브블록내의 각 화소들에 대해 소정의 라벨을 부여하는 제1단계; 상기 서브블록에 일대일 대응하는 패턴블록을 선택하여 상기 패턴블록과의 유사성을 계산하고, 이미 계산된 후보위치의 유사성과 비교하여 각 패턴블록에 가장 유사한 상기 서브블록내의 모든 후보위치들을 선정하는 제2단계; 및 상기 패턴블록에 가장 유사한 후보위치에 해당하는 후보 움직임벡터를 상기 후보검색지역에서 선택하여 현재영상 블록과의 유사성을 계산하고, 이미 계산된 후보 움직임벡터 위치와의 유사성과 비교하여 가장 유사한 후보 움직임벡터 결과를 출력하는 제3단계를 포함한다.

이하, 첨부도면을 참조하여 본 발명의 바람직한 일실시예를 상세히 설명한다.

본 발명은 정수 단위의 블록 움직임 예측 방법에서 후보위치의 수를 제한하지 않고, 한 후보위치에서 사용되는 화소의 수를 효율적으로 제한하므로써 계산량을 줄일 뿐만아니라 전역 검색 알고리즘과 유사한 성능을 얻을 수 있다.

제2도는 현재 영상(CP) 블록의 화소 라벨 부여 예시도이다.

제2도를 참조하면, CP의 한 M×N 블록을 4×4 크기의 서브(sub) 블록으로 분할하여 서브블록의 각 화소에 대해 0 내지 15의 라벨을 대각선 방향으로 부여하고, 라벨이 i(i=0,1,2,…15)인 화소들의 모임(B_i)을 패턴블록으로 정의한다.

따라서, 좌상단 화소 좌표인 후보위치를 (0,0)이라 가정하면 화소들로 구성된 각 패턴블록(B_i)은 (표 1)과 같은 좌표값을 갖는 화소들로 구성된다.

그런데, 기존의 부분 표본화 방법에 따라 각 후보위치에서 16개의 패턴블록중 단 하나의 패턴블록을 사용하여 움직임벡터를 계산하면, 전체 계산시간은 1/16로 감소되나, 블록의 화소중 15/16은 블록 비교에 전혀 사용되지 않기 때문에 정확한 움직임벡터를 구하기가 어렵다.

따라서, 본 발명은 각 후보위치에서 단 하나의 패턴블록을 움직임벡터 계산에 사용하되, 전체 후보위치에 대한 계산에서는 모든 패턴블록을 사용한다.

이제 패턴블록을 만들기 위하여 제3도와 같이 RP에서 CSR을 4×4 크기의 서브블록으로 분할하여 각 화소에 0,1,2,…15의 라벨을 좌에서 우로 순차적으로 부여한다. 이때, 각 화소의 라벨은 후보위치에서 사용되어야 하는 패턴블록을 지정한다. 즉, 어떤 후보위치의 라벨이 i(i=0,1,2,…15)라면 패턴블록 B의 화소들과 이에 대응하는 CSR의 화소들만이 움직임벡터 계산에 사용된다.

따라서, 라벨이 0인 어떤 후보위치(X,Y)에서 상기 패턴블록 B가 움직임벡터 계산에 사용되면 (표 2)와 같이 각 후보위치에서 하나의 패턴블록이 규칙적으로 움직임벡터 계산에 사용되기 때문에 CP의 16개 패턴블록과 CSR의 화소들은 움직임벡터 계산에 골고루 사용된다.

그리고, 다음 같은 패턴블록을 사용하여 계산되는 후보위치 중에서 패턴블록과 가장 유사하게 대응되는 후보위치를 구하여 총 16개의 후보 움직임벡터를 얻을 수 있다.

마지막으로, 각 후보 움직임벡터가 가리키는 후보위치에서 블록의 전체 화소를 사용해 움직임벡터를 계산을 하는데, 이중 가장 유사한 후보위치를 가리키는 후보 움직임벡터를 블록에 대한 최종 움직임벡터로 선정한다.

그런데, 패턴블록을 구성하는 화소의 갯수가 CP블록을 구성하는 화소의 갯수보다 상대적으로 매우 적은 화소를 갖기 때문에 각 패턴블록 유형에 따라서는 실제 움직임과 상당히 다른 움직임벡터를 구할 가능성이 있다.

따라서, 각 패턴블록에 대하여 구하는 후보 움직임벡터의 수를 2배로 증가시켜 전체 32개의 후보위치에 대해 비교하므로써 좀더 정확한 움직임벡터를 얻을 수 있다. 이는 같은 패턴블록이 사용되는 두 후보위치에서 각각 이 패턴블록에 대한 유사성을 계산했을 때 한 후보위치에서의 패턴블록에 대한 유사성이 다른 후보위치에서의 유사성보다 나쁘지만, CP블록 전체에 대해서는 한 후보위치가 유사성이 더 좋은 경우가 존재하기 때문이다.

기존의 화상 압축 방식에서 일반적으로 사용되고 있는 움직임 예측 방식인 전역 검색 방법과 본 발명의 바람직한 실시예에 따른 전역 검색 방법과의 차이점은 움직임 예측의 정확도가 기존의 전역 검색 방식에 근접하면서도 계산량을 약 1/16로 줄이는데 있다.

전역 검색 방식은 CP 각 블록과 RP의 해당 CSR내에 존재하는 모든 벡터 후보위치에 대해 유사성 계산을 하는데, 계산량을 줄일 수 있는 방법을 구체적으로 살펴보면 다음과 같다.

먼저, CP블록을 1/16 크기의 16개의 서브블록(즉, 패턴블록)으로 분할하고, CSR도 16개의 패턴블록 각각에 일대일 대응하는 16개의 서브검색지역으로 분할하여 각 패턴블록과 해당 서브검색지역내의 후보위치에 대한 유사성 검색을 전역 검색 방식과 동일하게 수행한다.

그러나, 1/16씩 크기가 준 패턴블록과 서브검색지역에 대한 전역 검색이므로 계산량은 1/256로 줄게 되며, 총 16개의 패턴블록에 대한 전역 검색이 이루어지므로 기존 전역 검색 방식에 비해 계산량은 16*(1/256)이므로 1/16로 줄어들게 된다.

따라서, CP블록과 CSR내의 화소들이 유사성 계산시 균등하게 사용될 수 있도록 패턴블록과 서브검색지역으로 분할하는 방법에 있어서, 부분 표본화 방식과 교대적 패턴블록의 형성을 통해 이를 보장하여 패턴블록과 서브검색지역과의 전역 검색을 수행한다.

이후, 각 패턴블록에 대한 전역 검색에 의해 서브검색지역내의 가장 유사한 후보위치가 하나이상 선정되었으면, 이 후보위치들(즉, 16패턴블록*2개=32개 후보위치)에 해당하는 검색지역내의 후보위치에 해당하는 블록과 CP블록과의 유사성을 계산하여 이중 가장 유사한 후보벡터 위치를 움직임 예측의 최종 결과로 선택할 수 있다.

제4도는 본 발명에 따른 전역 검색 방법에 대한 일실시예 흐름도이다.

먼저, RP의 CSR 및 CP에서 같은 라벨을 갖는 화소들의 집합으로 하는 16개의 서브 영역으로 분할하므로써 각 서브 영역을 CSR내의 화소들을 규칙적으로 부분 표본화(즉, 서브 샘플링)하여 그 크기가 CSR 영역의 1/16이 되도록 한다(401).

이후, 서브영역을 블록으로 구성하여 서브블록의 모든 화소들에 소정의 라벨을 규칙적으로 부여한다(402). 이는 RP의 CSR 및 CP에서 M×N 크기의 서브블록으로 분할하여 서브블록내의 모든 화소가 다음에 수행되는 유사성 계산시 사용되는 횟수가 동일하도록 하기 위함이다.

예컨대, RP내 CSR의 서브블록인 경우에는 각 화소에 대해 좌측에서 우측으로 순차적으로 소정의 라벨을 부여하고, CP의 서브블록인 경우에는 각 화소에 대해 좌측에서 우측으로 0, 4, 8, 12, 5, 1, 13, 9, 10, 14, 2, 6, 15, 11, 7, 및 3의 라벨을 부여한다.

다음으로, 후보위치(즉, 분할된 서브영역)중 하나를 선택하여(403) 선택된 후보위치에 부여된 같은 라벨의 패턴블록을 선택한다(404).

이어서, 선택된 서브영역내에 존재하는 각 후보위치에 대해 그 후보위치에 상응하는 서브블록과 패턴블록과의 유사성을 계산하여(405) 이미 계산된 후보위치보다 좋은 유사성을 갖는지를 판단한다(406).

판단결과, 좋은 유사성을 갖지 않으면 모든 후보위치를 조사했는지를 검사하고(408), 좋은 유사성을 가지면 패턴블록과 가장 좋은 유사성을 갖는 현 후보위치를 저장한 후에(407) 모든 후보위치(즉, 16개의 서브영역)를 조사했는지를 검사한다(408).

따라서, 패턴블록과 가장 좋은 유사성을 갖는 후보위치를 판별하는 과정을 그 서브영역내의 모든 후보위치에 대해 반복 수행하므로써 한 서브영역내의 후보위치들중 해당 패턴블록과 가장 유사한 후보위치를 하나 이상을 판별 선정한다.

검사결과, 모든 후보위치를 조사하지 않았으면 다시 후보위치를 선택하고(403), 각 패턴블록에 따른 가장 유사한 서브블록내의 모든 후보위치들을 선정하였으면 이러한 후보위치에 해당하는 후보 움직임벡터를 CSR내에서 선택하여 이에 상응하는 블록을 구성한다(409).

이후, 현 후보위치에 상응하는 블록과 CP블록과의 유사성을 계산하여(410) 이미 계산되어 저장된 후보 움직임벡터 위치보다 좋은 유사성을 갖는지를 판단한다(411).

판단결과, 좋은 유사성을 갖지 않으면 선정된 서브블록 후보위치 모두에 대해 해당 후보 움직임벡터를 조사했는지를 검사하고(413), 좋은 유사성을 가지면 유사성이 좋은 후보 움직임벡터를 저장한 후에(412) 서브블록 후보위치 모두에 대해 해당 후보 움직임벡터를 조사했는지를 검사한다(413).

검사결과, 모든 후보 움직임벡터를 조사하지 않았으면 다시 후보위치에 해당하는 후보 움직임벡터를 CSR내에서 선택하여 이에 상응하는 블록을 구성하고(409), 모든 후보 움직임벡터를 조사했으면 가장 유사한 후보 움직임벡터 결과를 출력한다(414).

상기한 바와 같이 본 발명에 의하면 움직임 예측 성능은 종래의 전역 검색 방법과 유사하지만 1/16의 화소를 이용해 후보 움직임벡터를 계산하므로써 계산량을 약 1/16로 현저히 줄일 수 있는 탁월한 효과가 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.

Claims

동영상을 압축하기 위한 전역 검색 방법에 있어서, 기준영상(RP)의 후보검색지역(CSR) 및 현재영상(CP)을 서브영역으로 분할하여 구성된 서브블록내의 각 화소들에 대해 소정의 라벨을 부여하는 제1단계; 상기 서브블록에 일대일 대응하는 패턴블록을 선택하여 상기 패턴블록과의 유사성을 계산하고, 이미 계산된 후보위치의 유사성과 비교하여 각 패턴블록에 가장 유사한 상기 서브블록내의 모든 후보위치들을 선정하는 제2단계; 및 상기 패턴블록에 가장 유사한 후보위치에 해당하는 후보 움직임벡터를 상기 후보검색지역에서 선택하여 현재영상 블록과의 유사성을 계산하고, 이미 계산된 후보 움직임벡터 위치와의 유사성과 비교하여 가장 유사한 후보 움직임벡터 결과를 출력하는 제3단계를 포함하여 이루어진 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법.
제1항에 있어서, 상기 제1단계는, 기준영상의 상기 후보검색지역 및 현재영상을 소정 크기의 서브블록으로 분할하는 제4단계; 및 상기 서브블록의 모든 화소가 다음에 수행되는 유사성 계산시 사용되는 횟수가 동일하도록 소정의 라벨을 규칙적으로 부여하는 제5단계를 포함하여 이루어진 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법.
제2항에 있어서, 상기 제5단계는, 상기 후보검색지역의 상기 서브블록을 각 화소에 대해 좌측에서 우측으로 순차적으로 소정의 라벨을 부여하는 제6단계; 및 현재영상의 상기 서브블록을 각 화소에 대해 좌측부터 우측으로 0, 4, 8, 12, 5, 1, 13, 9, 10, 14, 2, 6, 15, 11, 7, 및 3의 라벨을 순차적으로 부여하는 제7단계를 포함하여 이루어진 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법.
제1항 내지 제3항중 어느 한 항에 있어서, 상기 제2단계는, 후보위치중 하나를 선택하여 선택된 후보위치에 부여된 같은 라벨의 상기 패턴블록을 선택하는 제8단계; 서브영역내에 존재하는 각 후보위치에 대해 그 후보위치에 상응하는 상기 서브블록과 상기 패턴블록과의 유사성을 계산하여 이미 계산된 후보위치보다 좋은 유사성을 갖는지를 판단하는 제9단계; 상기 제9단계의 판단결과, 좋은 유사성을 갖지 않으면 모든 후보위치를 조사했는지를 검사하고, 좋은 유사성을 가지면 상기 패턴블록과 가장 좋은 유사성을 갖는 현 후보위치를 저장한 후에 모든 후보위치를 조사했는지를 검사하는 제10단계; 및 상기 제10단계의 검사결과, 모든 후보위치를 조사하지 않았으면 상기 제8단계로 천이하고, 모든 후보위치를 조사하였으면 상기 제3단계로 천이하는 제11단계를 포함하여 이루어진 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법.
제4항에 있어서, 상기 제3단계는, 후보위치에 해당하는 후보 움직임벡터를 상기 후보검색지역내에서 선택하여 이에 상응하는 블록을 구성하는 제12단계; 현 후보위치에 상응하는 블록과 상기 현재영상 블록과의 유사성을 계산하여 이미 계산되어 저장된 후보 움직임벡터 위치보다 좋은 유사성을 갖는지를 판단하는 제13단계; 상기 제13단계의 판단결과, 좋은 유사성을 갖지 않으면 선정된 상기 서브블록의 후보위치 모두에 대해 해당 후보 움직임벡터를 조사했는지를 검사하고, 좋은 유사성을 가지면 유사성이 좋은 후부 움직임벡터를 저장한 후에 상기 서브블록의 후보위치 모두에 대해 해당 후보 움직임벡터를 조사했는지를 검사하는 제14단계; 및 상기 제14단계의 검사결과, 모든 후보 움직임벡터를 조사하지 않았으면 상기 제12단계로 천이하고, 모든 후보 움직임벡터를 조사했으면 가장 유사한 후보 움직임벡터 결과를 출력하는 제15단계를 포함하여 이루어진 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법.