KR101471599B1 - 문턱치값을 이용한 모션 벡터 예측 방법 - Google Patents

Abstract

본 발명은 문턱치값을 이용한 모션 벡터 예측 방법에 관한 것으로, 더욱 상세하게는 영상데이터를 압축하는 엔코더에 적용 가능한 모션 예측 방법으로 문턱치값을 이용하여 모션 벡터를 정확하게 예측할 수 있고 모션 벡터의 예측을 위한 계산량을 감소시킬 수 있도록 하는 문턱치값을 이용한 모션 벡터 예측 방법에 관한 것이다.
이러한 본 발명은, 복수 개의 연속적인 프레임을 포함하는 영상 데이터의 모션 백터를 탐색하기 위한 탐색영역 내에서 모션 벡터 후보로 적합 또는 부적합, 계산 또는 미계산으로 구분하기 위해 각각의 픽셀과 대응되어 상기 구분에 따른 분류값을 가지는 확인 테이블을 생성하고, 탐색영역 내에서 각각의 픽셀과 대응되어 부분 절대 에러합 계산에 따른 값을 저장하는 데이터 테이블를 생성하는 제1단계; 단위 매칭 블록의 처음 행부터 마지막 행까지의 부분 절대 에러합을 각각 계산하는 제2단계; 상기 단위 매칭 블록의 각 행에서의 상기 부분 절대 에러합들 중에서 최소값과 최대값을 찾는 제3단계; 상기 단위 매칭 블록의 각 행에서의 상기 최소값과 상기 최대값 및 기설정된 α값을 이용하여 비교 판단을 위한 제1문턱치값을 계산하고, 기설정된 β값을 이용하여 비교 판단을 위한 제2문턱치값을 설정하는 제4단계;상기 제2문턱치값보다 행 번호가 낮은 상기 단위 매칭 블록의 각 행에 대한 부분 절대 에러합이 제1문턱치값보다 작으면, 상기 확인 테이블에 상기 단위 매칭 블록의 행 번호를 등록하고 데이터 테이블에 상기 부분 절대 에러합을 등록하는 제5단계; 및 상기 데이터 테이블에 등록된 부분 절대 에러합들에 따른 절대 에러합들 중에서 최소값을 가지는 픽셀의 위치를 모션 백터로 예측하는 제6단계;를 포함하여 구성됨을 특징으로 하는 문턱치값을 이용한 모션 벡터 예측 방법을 기술적 요지로 한다.

Description

문턱치값을 이용한 모션 벡터 예측 방법{METHOD FOR ESTIMATING MOTION VECTOR USING THRESHOLD}

본 발명은 문턱치값을 이용한 모션 벡터 예측 방법에 관한 것으로, 더욱 상세하게는 영상데이터를 압축하는 엔코더에 적용 가능한 모션 예측 방법으로 문턱치값을 이용하여 모션 벡터를 정확하게 예측할 수 있고 모션 벡터의 예측을 위한 계산량을 감소시킬 수 있도록 하는 문턱치값을 이용한 모션 벡터 예측 방법에 관한 것이다.

영상 데이터는 문자나 음성 데이터에 비해서 데이터량이 방대하여 실시간 이용 및 전송 등을 위해서는 영상 데이터를 압축하는 기술이 요구되는데, 이러한 영상 데이터 압축 기술과 관련한 국제 표준으로 정지영상에 관한 표준으로 JPEG, 동영상에 관한 표준으로 MPEG1, MPEG2 및 MPEG4 등이 있다.

한편, 영상 데이터의 압축 기술을 영상을 이루는 복수 개의 프레임에서 중복되는 영상 데이터를 제거하는 것으로 가능하게 되는데, 이는 하나의 프레임과 인접한 다른 하나의 프레임 간의 유사성을 파악하여 중복 데이터를 제거하는 모션 벡터를 탐색하는 기술이 제안되고 있다.

모션 벡터의 탐색은 현재 프레임과 이전 프레임 간의 모션 벡터를 검출하고 이를 이용하여 새로운 프레임을 생성한 다음 현재 프레임과 생성된 프레임 간의 차를 통해 동일한 데이터를 제거하는 방식으로 이루어진다.

종래의 비디오 엔코더에서 모션 벡터를 탐색하는 움직임 예측기의 고속알고리즘에 이용되는 블록매칭 알고리즘에는 여러 가지 방법들이 있는데, 이들 방법 중에서 전영역 검색(full search) 방법이 영상 품질이 가장 우수하다.

전영역 검색 방법은 삼단계 검색 방법 등 다른 검색 방법에 비해 예측된 영상의 화질은 우수하지만, 하나의 컬러 화소를 표현하기 위해서는 3원색(R,G,B)이 각각 8비트씩 총 24비트가 필요하다.

이에 따라 전영역 검색 과정에서 모든 화소값에 대해서 처리하는 것은 연산량이 너무 많고, 영상 부호화를 위한 전체 소요시간 중 대부분의 시간이 모션 벡터를 예측하기 위한 움직임 예측기에서 소요되며, 검색 범위가 넓은 경우에는 실시간 처리 알고리즘의 구현이 불가능한 문제점들이 있다.

국내 특허등록공보 제10-0305582호, 2001.07.31.자 등록. 국내 특허등록공보 제10-0910209호, 2009.07.24.자 등록. 국내 특허등록공보 제10-0330797호, 2002.03.19.자 등록. 국내 특허등록공보 제10-0457065호, 2004..11.03.자 등록.

본 발명은 상기한 문제점을 해소하기 위해 발명된 것으로서, 부분 절대 에러합의 최소값과 최대값을 신속하게 찾고 이를 이용하여 비교 판단을 위한 문턱치값을 산출한 후 이를 통해 절대 에러합이 최소가 되는 픽셀의 위치를 모션 벡터로 예측하도록 하는 문턱치값을 이용한 모션 벡터 예측 방법을 제공하는데 그 목적이 있다.

본 발명의 목적은 상기에서 언급한 목적에 제한되지 않으며 언급하지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명에 따른 문턱치값을 이용한 모션 벡터 예측 방법은, 복수 개의 연속적인 프레임을 포함하는 영상 데이터의 모션 백터를 탐색하기 위한 탐색영역 내에서 모션 벡터 후보로 적합 또는 부적합, 계산 또는 미계산으로 구분하기 위해 각각의 픽셀과 대응되어 상기 구분에 따른 분류값을 가지는 확인 테이블을 생성하고, 탐색영역 내에서 각각의 픽셀과 대응되어 부분 절대 에러합 계산에 따른 값을 저장하는 데이터 테이블를 생성하는 제1단계; 단위 매칭 블록의 처음 행부터 마지막 행까지의 부분 절대 에러합을 각각 계산하는 제2단계; 상기 단위 매칭 블록의 각 행에서의 상기 부분 절대 에러합들 중에서 최소값과 최대값을 찾는 제3단계; 상기 단위 매칭 블록의 각 행에서의 상기 최소값과 상기 최대값 및 기설정된 α값을 이용하여 비교 판단을 위한 제1문턱치값을 계산하고, 기설정된 β값을 이용하여 비교 판단을 위한 제2문턱치값을 설정하는 제4단계;상기 제2문턱치값보다 행 번호가 낮은 상기 단위 매칭 블록의 각 행에 대한 부분 절대 에러합이 제1문턱치값보다 작으면, 상기 확인 테이블에 상기 단위 매칭 블록의 행 번호를 등록하고 데이터 테이블에 상기 부분 절대 에러합을 등록하는 제5단계; 및 상기 데이터 테이블에 등록된 부분 절대 에러합들에 따른 절대 에러합들 중에서 최소값을 가지는 픽셀의 위치를 모션 백터로 예측하는 제6단계;를 포함하여 구성됨을 특징으로 한다.

상기 제3단계는, 아래의 (수학식 2)와 (수학식 3)에 따라 제1문턱치값(Th1)과 제2문턱치값(Th2)을 결정하도록 구성됨을 특징으로 한다.

(수학식 2)

α는 기설정되는 값이다.

(수학식 3)

β는 기설정되는 값이다.

상기 (수학식 3)에 이용되는 상기 β는, 상기 단위 매칭 블록의 처음 행 번호 이상 상기 단위 매칭 블록의 마지막 행 번호 이하의 범위로 설정되는 것으로, 상기 모션 백터를 예측하기 위한 계산량 조절을 위해서 상기 범위 내에서 조정하도록 구성됨을 특징으로 한다.

상기 제2단계는, 아래의 (수학식 1)에 따라 단위 매칭 블록의 처음 행부터 마지막 행까지의 부분 절대 에러합을 각각 계산하도록 구성됨을 특징으로 한다.

(수학식 I)

D_i는 단위 매칭 블록을 구성하는 첫 행부터 i행까지의 부분 절대 에러합이고, n은 매칭 블록의 크기를 나타내며, f_t는 현재 프레임이고, f_{t - 1}는 이전 프레임이다.

상기한 구성에 의한 본 발명은, 단위 매칭 블록의 각 행에 대한 최소값과 최대값과 설정값에 의해 설정되는 제1문턱치값과 제2문턱치값을 통해 절대 에러합이 최소가 되는 픽셀의 위치를 모션 벡터로 예측하는 것으로, 이를 적용시켜 사용하는 영상 데이터를 압축하는 시스템 사양이나 환경 등에 따라 상기 설정값을 자유롭게 조정함으로써, 모션 벡터 예측을 위한 계산량을 조절할 수 있을 뿐만 아니라 모션 벡터를 예측하는 정확도를 조절할 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 문턱치값을 이용한 모션 벡터 예측 방법을 도시한 순서도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

하나의 프레임의 해상도(가로 픽셀수*세로 픽셀수)는 720×480, 1192×1080 등으로 다양하게 설정될 수 있으며, 이와 같은 프레임에서 현재의 프레임과 이전의 프레임간의 모션 벡터를 예측하는 움직임 예측기에서는 MPEG 규약 등의 코덱에서 정하는 바에 따라 하나의 프레임을 16*16(Pixel*Pixel) 단위 등의 블록크기로 분할하여 모션 벡터를 탐색한다.

상기 모션 벡터 탐색은 현재 프레임(f_t)와 이전 프레임(f_{t -1})을 비교하여 각각의 프레임에서 탐색영역을 설정하여 움직임변화를 탐색하는 것으로, 복수 개의 프레임을 매칭 블록 단위로 비교하여 픽셀값의 차이가 가장 적은 값을 찾음으로써 이루어지게 된다.

본 발명의 바람직한 실시예에 따른 문턱치값을 이용한 모션 벡터 예측 방법은, 모션 벡터 후보에 대한 계산 결과의 상태를 저장하는 확인 테이블(CT)을 생성하여, 후보 픽셀에 대한 단위 매칭 블록의 i행까지의 부분 절대 에러합(

)과 모션 벡터 후보의 절대 에러합(

)을 비교하여 확인 테이블(CT)을 후보 픽셀(x,y)에 대응되는 분류값으로 변경하여 이를 통해 모션 백터 후보를

비교결과에 따라 특정 분류값에 대한 절대 에러합을 구하는 계산을 수행하지 않도록 한다. 따라서, 모션 벡터 예측에 있어서 필요한 연산량을 크게 감소시킬 수 있도록 한다.

이하, 본 발명의 바람직한 실시예에 따른 문턱치값을 이용한 모션 벡터 예측 방법을 첨부한 도면을 참조하여 보다 상하게 설명하면 다음과 같다.

도 1은 본 발명의 바람직한 실시예에 따른 문턱치값을 이용한 모션 벡터 예측 방법을 도시한 순서도이다.

본 발명의 바람직한 실시예예 따른 문턱치값을 이용한 모션 벡터 예측 방법(S100)은, 도 1에 도시된 바와 같이, 확인 테이블(CT)과 데이터 테이블(DT)을 생성하는 제1단계(S110), 부분 절대 에러합을 계산하는 제2단계(S120), 최소값과 최대값을 찾는 제3단계(S130), 제1문턱치값(Th1)과 제2문턱치값(Th2)을 계산하는 제4단계(S140), 모션 벡터 후보 영역을 탐색하는 단계(S150), 및 모션 벡터를 예측하는 제6단계(S160)를 포함하여 구성된다.

먼저, 제1단계(S110)는, 확인 테이블(CT)과 데이터 테이블(DT)을 생성하는 단계로서, 이는 복수 개의 연속적인 프레임을 포함하는 영상 데이터의 모션 백터를 탐색하기 위한 탐색영역 내에서 모션 벡터 후보로 적합 또는 부적합, 계산 또는 미계산으로 구분하기 위해 각각의 픽셀과 대응되어 상기 구분에 따른 분류값을 가지는 확인 테이블(CT)을 생성하고, 탐색영역 내에서 각각의 픽셀과 대응되어 부분 절대 에러합 계산에 따른 값을 저장하는 데이터 테이블(DT)를 생성하는 단계이다.

이때 상기 확인 테이블(CT)과 상기 데이터 테이블(DT)에는 모든 픽셀에 대응되는 분류값에 대하여 기설정된 값을 초기 분류값으로 각각 부여하는 것이 바람직하다.

다음으로, 제2단계(S120)는, 부분 절대 에러합을 계산하는 단계로서, 이는 단위 매칭 블록을 구성하는 처음 행(m=1)부터 마지막 행(m=i)까지에 대한 부분 절대 에러합(partial sum of absolute difference)을 각각 계산하는 단계이다.

상기 부분 절대 에러합은 아래의 수학식 1에 따라 각각 계산하고, 계산에 따른 결과값은 데이터 테이블(DT)에 저장한다.

(수학식 1)

D_i는 단위 매칭 블록을 구성하는 첫 행부터 i행까지의 부분 절대 에러합이고, N은 매칭 블록의 크기를 나타내며, f_t는 현재 프레임이고, f_{t - 1}는 이전 프레임이다.

다음으로, 제3단계(S130)는, 최소값과 최대값을 찾는 단계로서, 이는 단위 매칭 블록의 처음 행부터 마지막 행까지의 부분 절대 에러합들 중에서 최소값과 최대값을 찾는 단계이다.

즉, 상기 (수학식 1)에 의해 계산된 단위 매칭 블록의 각 행에서의 부분 절대 에러합들 중에서 가장 작은 최소값과 가장 큰 최대값을 검색하여 찾는 것이다.

다음으로, 제4단계(S140)는, 제1문턱치값(Th1)과 제2문턱치값(Th2)을 계산하는 단계로서, 이는 단위 매칭 블록의 각 행에서 계산된 최소값과 최대값 및 기설정된 α값을 비교 판단을 위한 이용하여 제1문턱치값(Th1)을 계산하고, 기설정된 β값으로 비교 판단을 위한 제2문턱치값(Th2)을 설정하는 단계이다.

즉, 제1문턱치값(Th1)은 아래의 (수학식 2)에 의해 계산되고, 제2문턱치값(Th2)은 아래의 (수학식 3)에 의해 설정된다.

(수학식 2)

(수학식 3)

이때 상기 (수학식 3)에 이용되는 β는, 단위 매칭 블록의 처음 행 번호 이상 상기 단위 매칭 블록의 마지막 행 번호 이하의 범위에서 설정되는 것이 바람직하다.

그리고 상기 β는 모션 백터를 예측하기 위한 계산량 조절을 위해서 상기한 범위 내에서 조정 가능하다. 즉, 본 발명이 적용되는 영상 데이터 압축 시스템의 사양이나 환경 등을 고려하여 적절하게 조정할 수 있다.

다음으로, 상기 제5단계(S150)는, 모션 벡터 후보를 검색하는 단계로서, 이는 단위 매칭 블록의 각 행에 대한 부분 절대 에러합이 제1문턱치값(Th1)보다 작으면, 확인 테이블(CT)에 단위 매칭 블록의 행 번호를 등록하고 데이터 테이블(DT)에 상기 부분 절대 에러합을 등록하여 모션 벡터 후보를 검색하는 단계이다.

이때 단위 매칭 블록의 행 번호가 제2문턱치값(Th2)보다 낮은 조건에 만족할 때까지 반복 수행한다. 즉, 단위 매칭 블록의 i번째 행부터 β번째 행까지 반복 수행한다.

그런 다음 단위 매칭 블록의 각 행에 대한 절대 에러합을 계산한다. 그리고 단위 매칭 블록의 각 행에 대한 부분 절대 에러합이 제1문턱치값(Th1)보다 크거나 같으면 모션 벡터 후보로 불가능하다는 것을 의미하는 제1분류값을 확인 테이블(CT)에 등록한다.

마지막으로, 상기 제6단계(S160)는, 모션 벡터를 예측하고 종료하는 단계로서, 이는 모션 백터 후보 중에서 절대 에러합이 가장 최소가 되는 모션 백터 후보를 모션 벡터로 예측하는 단계이다.

즉, 데이터 테이블(DT)에 등록된 부분 절대 에러합들에 따른 절대 에러합들 중에서 최소값을 가지는 픽셀의 위치를 모션 백터로 예측하고 모션 벡터 탐색을 종료하는 단계이다.

이상과 같이 본 발명에 따른 문턱치값을 이용한 모션 벡터 예측 방법은, 문턱치값에 따라 모션 벡터를 예측하기 위한 계산량과 계산속도를 가변 조절할 수 있으므로 영상 데이터 압축 시스템의 사양과 환경 등을 고려하여 적응적으로 적용하여 사용할 수 있게 된다.

상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술분야에 대한 통상의 지식을 가진 자라면 이로부터 다양하게 변형된 다른 실시예가 가능하다.

따라서 본 발명의 진정한 기술적 보호범위에는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 상기의 실시예뿐만 아니라 다양하게 변형된 다른 실시예가 포함되어야 한다.

S100: 문턱치값을 이용한 모션 벡터 예측 방법
S110: 제1단계 S120: 제2단계
S130: 제3단계 S140: 제4단계
S150: 제5단계 S160: 제6단계

Claims (4)

1. 복수 개의 연속적인 프레임을 포함하는 영상 데이터의 모션 백터를 탐색하기 위하여 모션 벡터 후보에 대한 계산 결과의 상태를 저장하는 확인 테이블(CT)을 생성하고, 탐색영역 내에서 각각의 픽셀과 대응되어 부분 절대 에러합 계산에 따른 값을 저장하는 데이터 테이블(DT)를 생성하는 제1단계(S110);
   단위 매칭 블록의 처음 행부터 마지막 행까지의 부분 절대 에러합을 각각 계산하는 제2단계(S120);
   상기 단위 매칭 블록의 각 행에서의 상기 부분 절대 에러합들 중에서 최소값과 최대값을 찾는 제3단계(S130);
   상기 단위 매칭 블록의 각 행에서의 상기 최소값과 상기 최대값 및 기설정된 α값을 이용하여 비교 판단을 위한 제1문턱치값(Th1)을 계산하고, 기설정된 β값을 이용하여 비교 판단을 위한 제2문턱치값(Th2)을 설정하는 제4단계(S140);
   상기 제2문턱치값(Th2)보다 행 번호가 낮은 상기 단위 매칭 블록의 각 행에 대한 부분 절대 에러합이 제1문턱치값(Th1)보다 작으면, 상기 확인 테이블(CT)에 상기 단위 매칭 블록의 행 번호를 등록하고 데이터 테이블(DT)에 상기 부분 절대 에러합을 등록하는 제5단계(S150); 및
   상기 데이터 테이블(DT)에 등록된 부분 절대 에러합들에 따른 절대 에러합들 중에서 최소값을 가지는 픽셀의 위치를 모션 백터로 예측하는 제6단계(S160);를 포함하여 구성됨을 특징으로 하는 문턱치값을 이용한 모션 벡터 예측 방법.
2. 제1항에 있어서,
   상기 제3단계(S130)는,
   아래의 (수학식 2)와 (수학식 3)에 따라 제1문턱치값(Th1)과 제2문턱치값(Th2)을 결정하도록 구성됨을 특징으로 하는 문턱치값을 이용한 모션 벡터 예측 방법.
   (수학식 2)
   

   

   
   α는 기설정되는 값이다.
   
   (수학식 3)
   

   

   
   β는 기설정되는 값이다.
3. 제2항에 있어서,
   상기 (수학식 3)에 이용되는 상기 β는,
   상기 단위 매칭 블록의 처음 행 번호 이상 상기 단위 매칭 블록의 마지막 행 번호 이하의 범위에서 설정되는 것으로, 상기 모션 백터를 예측하기 위한 계산량 조절을 위해서 상기 범위 내에서 조정하도록 구성됨을 특징으로 하는 문턱치값을 이용한 모션 벡터 예측 방법.
4. 제1항에 있어서,
   상기 제2단계(S120)는,
   아래의 (수학식 1)에 따라 단위 매칭 블록의 처음 행부터 마지막 행까지의 부분 절대 에러합을 각각 계산하도록 구성됨을 특징으로 하는 문턱치값을 이용한 모션 벡터 예측 방법.
   (수학식 I)
   

   

   
   D_i는 단위 매칭 블록을 구성하는 첫 행부터 i행까지의 부분 절대 에러합이고, n은 매칭 블록의 크기를 나타내며, f_t는 현재 프레임이고, f_{t - 1}는 이전 프레임이다.

Images