KR20140050775A - 적응적 탐색 범위를 이용한 움직임 예측 방법 - Google Patents

적응적 탐색 범위를 이용한 움직임 예측 방법 Download PDF

Info

Publication number
KR20140050775A
KR20140050775A KR1020120116630A KR20120116630A KR20140050775A KR 20140050775 A KR20140050775 A KR 20140050775A KR 1020120116630 A KR1020120116630 A KR 1020120116630A KR 20120116630 A KR20120116630 A KR 20120116630A KR 20140050775 A KR20140050775 A KR 20140050775A
Authority
KR
South Korea
Prior art keywords
motion
reference block
region
motion vector
search range
Prior art date
Application number
KR1020120116630A
Other languages
English (en)
Other versions
KR101409826B1 (ko
Inventor
김일승
정제창
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020120116630A priority Critical patent/KR101409826B1/ko
Publication of KR20140050775A publication Critical patent/KR20140050775A/ko
Application granted granted Critical
Publication of KR101409826B1 publication Critical patent/KR101409826B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 부호화/복호화에 있어 움직임 예측에 관한 것으로, 적응적으로 탐색 범위를 결정하여 움직임을 예측하는 방법이 개시된다. 적응적 탐색 범위를 이용한 움직임 예측 방법은 참조 프레임 내의 블록들의 움직임 벡터에 대한 히스토그램에 기반하여 참조 프레임의 전역 움직임 벡터를 산출하는 단계와, 전역 움직임 벡터에 기반하여 참조 블록의 영역 종류를 결정하는 단계와, 참조 블록의 영역 종류에 기반하여 참조 블록을 참조하는 현재 블록의 움직임 예측의 탐색 범위를 결정하는 단계를 포함한다. 따라서, 움직임 예측의 탐색 범위를 적응적으로 결정하여 움직임 예측을 수행함으로써, 화질의 열화 및 복잡도를 감소시킬 수 있다.

Description

적응적 탐색 범위를 이용한 움직임 예측 방법{METHOD FOR MOTION PREDICTION USING ADAPTIVE SEARCH RANGE}
본 발명은 움직임 예측 방법에 관한 것으로, 더욱 상세하게는 적응적으로 탐색 범위를 결정하여 움직임을 예측하는 방법에 관한 것이다.
멀티미디어 통신에 있어서, 동영상 데이터는 일반 텍스트 데이터에 비하여 정보 전달 능력이 뛰어난 반면에 용량이 매우 크기 때문에 제한된 대역폭을 가진 네트워크 채널을 통하여 동영상 데이터를 전송하는데 어려움이 있다. 이에 동영상 데이터를 효과적으로 줄이기 위하여 MPEG-x, H.26x과 같은 동영상을 압축하는 표준들이 제정되어 왔다.
동영상 데이터를 작은 정보로 압축시키는 기술인 동영상 부호화 알고리즘이 활발히 연구되어 오고 있다. 동영상 데이터는 시간적 (temporal), 공간적(spatial), 통계적(statistical) 중복성을 가지는 것을 특징으로 한다. 시간적 중복성은 연속되는 프레임간의 중복성을 의미하며, 연속되는 프레임의 화소들은 매우 높은 상관도를 가진다. 공간적 중복성은 프레임 내에 존재하는 중복성을 의미하며, 하나의 화소의 밝기 값은 이웃하는 화소들의 밝기 값과 높은 상관도를 가진다. 마지막으로, 통계적 중복성은 부호화된 데이터들 간의 중복성을 의미하는데, 화소들의 밝기 값의 확률 분포에 의한 중복성을 말한다. 동영상 부호화를 위하여, 상기 3가지 중복성을 제거함으로써 방대한 양의 동영상 데이터를 보다 작은 양의 데이터로 압축할 수 있다.
움직임 예측은 동영상 압축 표준에서의 핵심적인 기술들 중 하나로, 동영상이 가지는 시간적 중복성을 이용하여 압축을 실현하는 기술이다. 다만, 움직임 예측 기술은 비디오 부호화에 있어서 핵심적인 기술로 강력한 역할을 수행하지만 부호화에 있어 50%에 해당하는 복잡도를 가진다. 이는 움직임 예측에 가장 널리 쓰이는 전역 탐색(full search) 알고리즘이 가지는 방대한 탐색 범위 때문이다.
또한, 1 비트 변환(One-bit transform: 1BT), 2 비트 변환(Two-bit transform: 2BT), 절삭된 그레이코드 변환(Truncated Gray Code Bit-wise Matching: TGCBM) 등과 같은 이진 블록 정합 움직임 예측은 적은 비트로 영상을 표현 및 처리하여 복잡도를 줄일 수 있다. 그러나, 이진 블록 정합 움직임 예측은 여전히 전역 탐색을 적용하고 있어 복잡도를 줄이는데 한계가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 움직임 예측의 탐색 범위를 적응적으로 결정하여 화질의 열화 및 복잡도를 감소시키는 적응적 탐색 범위를 이용한 움직임 예측 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법은, 비디오 부호화/복호화에 있어서, 참조 프레임 내의 블록들의 움직임 벡터에 대한 히스토그램에 기반하여 참조 프레임의 전역 움직임 벡터를 산출하는 단계와, 전역 움직임 벡터에 기반하여 참조 블록의 영역 종류를 결정하는 단계 및 참조 블록의 영역 종류에 기반하여 참조 블록을 참조하는 현재 블록의 움직임 예측의 탐색 범위를 결정하는 단계를 포함한다.
여기에서, 상기 참조 프레임의 전역 움직임 벡터를 산출하는 단계는, 히스토그램에서 가장 높은 빈도를 나타내는 참조 프레임 내의 블록들의 움직임 벡터를 전역 움직임 벡터로 결정할 수 있다.
여기에서, 상기 참조 블록의 영역 종류를 결정하는 단계는, 참조 블록의 움직임 벡터와 전역 움직임 벡터가 동일한 경우 참조 블록의 영역 종류를 배경 영역으로 결정하고, 참조 블록의 움직임 벡터와 전역 움직임 벡터가 동일하지 않은 경우 참조 블록의 영역 종류를 객체 영역으로 결정할 수 있다.
여기에서, 상기 현재 블록의 움직임 예측의 탐색 범위를 결정하는 단계는, 참조 블록이 배경 영역에 해당하는 경우, 현재 블록의 움직임 예측의 탐색 범위를 참조 블록이 객체 영역에 해당하는 경우보다 좁게 결정할 수 있다.
여기에서, 상기 참조 블록의 영역 종류를 결정하는 단계는, 참조 블록의 영역 종류를 배경 영역으로 결정한 경우에 있어서, 참조 블록의 이웃에 위치한 이웃 블록들의 움직임 벡터의 방향성이 동일하지 않은 경우 참조 블록의 영역 종류를 복잡 영역으로 재결정할 수 있다.
여기에서, 상기 참조 블록의 영역 종류를 결정하는 단계는, 참조 블록의 영역 종류를 객체 영역으로 결정한 경우에서, 참조 프레임 내의 블록들의 움직임 벡터에 대한 평균과 참조 블록의 움직임 벡터 간의 차이값이 미리 설정된 값보다 크거나, 참조 프레임 내의 블록들의 움직임 벡터에 대한 평균과 참조 블록의 이웃에 위치한 이웃 블록들의 움직임 벡터의 평균 간의 차이값이 미리 설정된 값보다 큰 경우, 참조 블록의 영역 종류를 복잡 영역으로 재결정할 수 있다.
여기에서, 상기 재결정된 복잡 영역에 대해서는 현재 블록의 움직임 예측의 탐색 범위를 전역 탐색(full search)으로 결정할 수 있다.
여기에서, 상기 참조 블록의 영역 종류를 결정하는 단계에 앞서서, 참조 프레임 내의 블록들의 움직임 벡터와 현재 프레임 내의 블록들의 움직임 벡터 간의 차이값들의 합이 미리 설정된 값보다 큰 경우에는 현재 블록의 움직임 예측의 탐색 범위를 전역 탐색(full search)으로 결정하여 움직임 예측을 수행할 수 있다.
상기와 같은 본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법을 이용할 경우에는, 영상의 특성에 따라 영상의 영역 종류를 구분하고 영역 종류에 기반하여 움직임 예측의 탐색 범위를 적응적으로 결정하기 때문에 화질의 열화를 줄일 수 있다.
또한, 영상의 영역의 특성에 따라 적응적인 움직임 예측의 탐색 범위에서 움직임 예측을 수행할 수 있으므로 전역 탐색에 따른 움직임 예측과 비교하였을 때 복잡도를 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 영상의 영역 종류를 설명하기 위한 프레임들이다.
도 2는 본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법을 설명하는 흐름도이다.
도 3은 본 발명의 실시예에 따른 움직임 벡터에 대한 히스토그램을 나타내는 그래프이다.
도 4는 본 발명의 실시예에 따라 이웃 블록의 방향성에 기반한 영역 종류의 결정을 설명하기 위한 프레임들이다.
도 5는 본 발명의 실시예에 따른 움직임 예측 방법의 성능을 나타내는 신호 대 잡음비의 비교표이다.
도 6은 본 발명의 실시예에 따른 움직임 예측 방법의 성능을 나타내는 처리 시간비의 비교표이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또 등과 같은 사용자 단말기이거나 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면간 또는 화면내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 화면내 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 화면내 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 화면간 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 화면간 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다. 또한, 이하에 기재된 "픽처(picture)"이라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 영상의 영역 종류를 설명하기 위한 프레임들이다.
도 1을 참조하면, 현재 프레임은 참조 프레임을 참조한 움직임 예측을 통하여 압축될 수 있다. 프레임은 적어도 하나의 영역 또는 블록으로 구획될 수 있으며, 각각의 영역 또는 블록은 영상의 특성에 따라 구분될 수 있다.
영상은 배경(background) 영상과 배경에 위치하거나 움직이는 객체(object)에 대한 영상으로 구성될 수 있다. 일반적으로 배경에 대한 움직임 벡터는 카메라의 이동과 밀접하게 관련되어 있다. 즉, 배경은 카메라의 움직임에 따라 캡쳐되기 때문에 배경에 대한 움직임 벡터는 카메라의 움직임에 의존한다. 따라서, 카메라의 움직임이 적거나 없는 경우, 배경에 대한 움직임 벡터는 고정되어 있는 것으로 간주될 수 있다.
또한, 객체는 정지하고 있는 객체와 움직이는 객체로 구분될 수 있으며, 여러 객체가 오버랩(overlap)될 수 있다. 따라서, 객체에 대한 움직임 벡터는 배경에 대한 움직임 벡터와 다른 특성을 가질 수 있다. 특히, 빠르게 움직이는 객체의 경우와 여러 객체가 오버랩된 경우의 움직임 벡터는 배경에 대한 움직임 벡터와 구별될 수 있다.
따라서, 본 발명의 실시예에 따르면 영상을 구성하는 영역 또는 블록은 배경 영역(background region), 객체 영역(object region) 및 복잡 영역(complex region)으로 구별될 수 있다. 여기서, 배경 영역은 배경에 해당하는 영상의 영역을 의미하고, 객체 영역은 정지 또는 움직이는 객체에 대한 영상의 영역을 의미하며, 복잡 영역은 객체가 배경 또는 다른 객체와 오버랩됨에 따라 움직임이 복잡하게 나타나는 영상의 영역을 의미할 수 있다. 즉, 영역 종류는 배경 영역, 객체 영역 및 복잡 영역으로 구분될 수 있다.
도 1에 있어서, 1 번 영역은 배경 영역에 해당하고, 2 번 영역은 객체 영역에 해당하며, 3 번 영역은 복잡 영역에 해당할 수 있다.
본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법은 배경 영역, 객체 영역 및 복잡 영역 등과 같이 구별되는 영역 종류에 기반하여 움직임 예측의 탐색 범위를 적응적으로 결정하여 움직임 예측을 수행할 수 있다.
예컨대, 카메라의 움직임과 연관된 배경 영역은 움직임이 단순한 것이 일반적이므로 움직임 예측의 탐색 범위를 축소시키고, 객체 영역 또는 복잡 영역은 움직임이 상대적으로 복잡하기 때문에 움직임 예측의 탐색 범위를 확대하거나 전역 탐색(full search)을 실시할 수 있다.
따라서, 본 발명은 영상을 구성하는 영역의 움직임 특성을 반영하여 움직임 예측의 탐색 범위를 결정할 수 있다.
본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법을 보다 상세하게 설명하기에 앞서 영역의 특성을 나타내는 움직임 벡터의 평균값과 움직임 벡터의 표준 편차를 정의한다.
Figure pat00001
수학식 1에 있어서,
Figure pat00002
는 참조 프레임 내의 블록들의 움직임 벡터의 평균을 나타내고,
Figure pat00003
는 참조 프레임 내의 블록들의 움직임 벡터의 표준 편차를 나타내는 것으로 정의할 수 있다.
도 2는 본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법을 설명하는 흐름도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법은, 참조 프레임의 전역 움직임 벡터를 산출하는 단계, 참조 블록의 영역 종류를 결정하는 단계 및 현재 블록의 움직임 예측의 탐색 범위를 결정하는 단계를 포함한다.
참조 프레임은 적어도 하나의 블록으로 구성될 수 있으며, 각각의 블록은 움직임 벡터를 가질 수 있다. 따라서, 참조 프레임 내의 블록들의 움직임 벡터에 대한 히스토그램에 기반하여 참조 프레임의 전역 움직임 벡터(global motion vector)를 산출할 수 있다(S100).
전역 움직임 벡터는 해당 프레임의 지배적인 움직임 벡터를 의미할 수 있다.
도 3은 본 발명의 실시예에 따른 움직임 벡터에 대한 히스토그램을 나타내는 그래프이다.
도 3을 참조하면, X축은 움직임 벡터의 범위를 나타내고, Y축은 움직임 벡터가 나타나는 빈도를 나타낸다.
예컨대, 도 3에서 움직임 벡터의 범위는 -16에서 16까지이며, 가장 높은 빈도를 나타내는 움직임 벡터는 -1이다. 따라서, 도 3의 히스토그램에 따르면, 해당 참조 프레임의 전역 움직임 벡터는 -1이다.
참조 프레임의 전역 움직임 벡터에 기반하여 참조 블록의 영역 종류를 결정할 수 있다. 전역 움직임 벡터는 해당 프레임의 지배적인 움직임 벡터를 의미하는 것으로 일반적으로 카메라의 움직임과 관련성을 가질 수 있다. 즉, 전역 움직임 벡터는 프레임을 구성하는 배경 영역의 움직임 벡터와 동일한 것이 일반적이다.
따라서, 참조 블록의 움직임 벡터와 참조 프레임의 전역 움직임 벡터가 동일한지 여부(
Figure pat00004
)에 따라 해당 참조 블록의 영역 종류를 결정할 수 있다(S300).
예컨대, 참조 블록의 움직임 벡터와 참조 프레임의 전역 움직임 벡터가 동일한 경우 참조 블록의 영역 종류를 배경 영역으로 결정할 수 있다.
또한, 참조 블록의 움직임 벡터와 참조 프레임의 전역 움직임 벡터가 동일하지 않은 경우 참조 블록의 영역 종류를 객체 영역으로 결정할 수 있다.
즉, 참조 블록의 움직임 벡터가 전역 움직임 벡터와 동일한 경우, 참조 블록의 움직임은 카메라의 움직임과 동일하다고 판단할 수 있으므로, 해당 참조 블록은 배경 영역으로 판단될 수 있다.
따라서, 참조 블록이 객체 영역에 해당하는 경우보다 참조 블록이 배경 영역에 해당하는 경우에 현재 블록의 움직임 예측의 탐색 범위를 좁게 결정할 수 있다.
도 4는 본 발명의 실시예에 따라 이웃 블록의 방향성에 기반한 영역 종류의 결정을 설명하기 위한 프레임들이다.
도 4를 참조하면, 각각의 프레임은 9개의 블록으로 구획될 수 있다.
참조 블록의 움직임 벡터와 전역 움직임 벡터가 동일하여 참조 블록의 영역 종류를 배경 영역으로 결정한 경우에 있어서, 참조 블록의 이웃에 위치한 이웃 블록들의 방향성에 기반하여 참조 블록의 영역 종류를 재결정할 수 있다.
현재 프레임의 블록들(x’ 및 v0’내지 v7’)은 참조 프레임의 블록들(x 및 v0 내지 v7)을 각각 참조하여 움직임 예측이 수행될 수 있다. 여기서, x’가 현재 블록이고, x가 참조 블록이다. 또한, v0’ 내지 v7’는 현재 블록의 이웃 블록이고, v0 내지 v7는 참조 블록의 이웃 블록을 의미할 수 있다.
예컨대, 참조 블록과 참조 블록의 이웃에 위치한 이웃 블록들은 동일한 영역 종류일 가능성이 높다. 특히, 배경 영역인 참조 블록의 이웃 블록들도 배경 영역일 가능성이 높다. 또한, 배경 영역인 이웃 블록들의 움직임 벡터는 동일한 방향성을 갖게 되는 것이 일반적이다.
따라서, 참조 블록의 움직임 벡터와 전역 움직임 벡터가 동일하여 참조 블록의 영역 종류를 배경 영역으로 결정하였더라도, 참조 블록에 이웃한 블록들의 움직임 벡터의 방향성이 동일하지 않은 경우에는 참조 블록의 영역 종류를 복잡 영역으로 재결정할 수 있다.
다시 말해, 참조 블록에 이웃한 블록들의 움직임 벡터의 방향성이 동일하지 않은 경우에는 참조 블록의 영역 종류를 복잡 영역으로 결정하여 움직임 예측의 탐색 범위를 전역 탐색으로 결정할 수 있다.
이웃 블록들의 움직임 벡터에 대한 방향성의 동일 여부는 수학식 1의 동향값(T)에 의해 결정할 수 있다(S400).
Figure pat00005
이다.
여기서,
Figure pat00006
이다.
또한, GMV는 전역 움직임 벡터를 의미하고,
Figure pat00007
는 참조 프레임 내의 블록들의 움직임 벡터를 의미할 수 있으며,
Figure pat00008
는 배타적 논리합(exclisive-pr)을 의미한다.
따라서, 동향값(T)이 0이면 이웃 블록들은 배경으로서 간주될 수 있으므로 참조 블록은 배경 영역으로 결정될 수 있다. 다만, 이웃 블록들 중에서
Figure pat00009
을 만족하는 블록은 객체가 있는 것으로 간주될 수 있다.
또한, 동향값(T)이 0이 아니더라도 다음의 수학식 3을 만족하는 경우 참조 블록이 배경 영역인 것으로 결정할 수 있다.
Figure pat00010
즉, 참조 블록 내의 블록에 움직임 벡터와 참조 프레임의 전역 움직임 벡터간의 차이가 미리 설정된 값(
Figure pat00011
)이하인 경우 해당 블록을 배경 영역으로 결정할 수 있다. 여기서, 미리 설정된 값(
Figure pat00012
)은 움직임 벡터에 대한 정규화된 확률 밀도 함수상에서
Figure pat00013
를 기준으로 50% 내의 범위를 설정할 수 있다.
또한,
Figure pat00014
을 만족하지 않아 참조 블록을 객체 영역으로 결정한 경우에 있어서, 참조 프레임 내의 블록들의 움직임 벡터에 대한 평균(
Figure pat00015
)과 참조 블록의 움직임 벡터(
Figure pat00016
) 간의 차이값이 미리 설정된 값(
Figure pat00017
)보다 크거나, 참조 프레임 내의 블록들의 움직임 벡터에 대한 평균(
Figure pat00018
)과 참조 블록의 이웃에 위치한 이웃 블록들의 움직임 벡터의 평균(
Figure pat00019
) 간의 차이값이 미리 설정된 값(
Figure pat00020
)보다 큰 경우, 참조 블록의 영역 종류를 복잡 영역으로 재결정할 수 있다.
즉, 다음의 수학식 4를 모두 만족시키는 참조 블록의 영역 종류를 배경 영역으로 결정하고, 수학식 4중 어느 하나라도 만족시키지 않는 참조 블록의 영역 종류를 복잡 영역으로 결정할 수 있다(S500).
Figure pat00021
여기서,
Figure pat00022
로 참조 블록의 이웃 블록들의 움직임 벡터의 평균으로 정의할 수 있다.
즉, 참조 블록의 움직임 벡터(
Figure pat00023
) 및 참조 블록의 이웃에 위치한 이웃 블록들의 움직임 벡터의 평균(
Figure pat00024
)를 참조 프레임 내의 블록들의 움직임 벡터에 대한 평균(
Figure pat00025
)과 비교하여 일정 범위를 벗어나는 경우, 참조 블록의 영역 종류를 복잡 영역으로 재결정하여 전역 탐색을 수행할 수 있다.
본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법은 상술한 바에 의해 결정된 참조 블록의 영역 종류에 기반하여 참조 블록을 참조하는 현재 프레임 내의 현재 블록의 움직임 예측의 탐색 범위를 결정할 수 있다(S600).
또한, 적응적으로 결정된 움직임 예측의 탐색 범위에 기반하여 움직임 예측을 수행할 수 있다(S700).
예컨대, 본 발명에서 정의된 배경 영역, 객체 영역 및 복잡 영역은 움직임의 복잡도에 따른 영역의 구분으로, 복잡 영역의 움직임이 가장 복잡하고 다음으로 객체 영역의 움직임이 복잡하며, 배경 영역의 움직임은 복잡하지 않은 것을 의미할 수 있다.
따라서, 움직임의 예측에 있어서, 복잡 영역은 정확한 움직임 예측을 수행할 수 있도록 전역 탐색을 수행하고, 객체 영역은 전역 탐색보다 축소된 움직임 예측의 탐색 범위에서 예측을 수행하며, 배경 영역은 객체 영역의 탐색 범위보다 축소된 움직임 예측의 탐색 범위에서 예측이 수행될 수 있다.
이에, 본 발명은 영상의 영역의 특성에 따라 적응적인 움직임 예측의 탐색 범위에서 움직임 예측을 수행할 수 있으므로, 복잡도를 줄일 수 있다. 또한, 영상의 특성을 반영하여 움직임 예측의 탐색 범위를 적응적으로 결정하기 때문에 화질의 열화를 최소한으로 줄일 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법은 참조 프레임과 현재 프레임간의 상관관계에 기반한 신뢰도에 의해 전역 탐색 여부를 결정할 수 있다(S200).
즉, 신뢰도가 있다고 판단되는 경우 참조 블록의 영역 종류에 따른 적응적인 움직임 예측의 탐색을 수행할 수 있고, 신뢰도가 없다고 판단되는 경우 전역 탐색을 수행할 수 있다.
신뢰도는 수학식 5와 같은 참조 블록들과 현재 블록들간의 상관관계로 판단될 수 있다.
Figure pat00026
여기서, R은 신뢰도를 의미하고,
Figure pat00027
는 참조 블록의 움직임 벡터를,
Figure pat00028
는 현재 블록의 움직임 벡터를 의미할 수 있다.
즉, 본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법은 참조 블록의 영역 종류를 결정하기에 앞서서, 참조 프레임 내의 블록들의 움직임 벡터와 현재 프레임 내의 블록들의 움직임 벡터 간의 차이값들의 합(R)이 미리 설정된 값(threshold: th1)보다 큰 경우에는 현재 블록의 움직임 예측의 탐색 범위를 전역 탐색(full search)으로 결정하여 움직임 예측을 수행할 수 있다.
즉, R이 미리 설정된 값(th1)보다 작은 경우는 신뢰성이 있다고 판단하여 참조 블록의 영역 종류에 따른 적응적 탐색 범위에 기반한 움직임 예측을 수행하고, R이 미리 설정된 값(th1)보다 큰 경우는 신뢰성이 없다고 판단하여 전역 탐색에 따른 움직임 예측을 수행할 수 있다.
도 5는 본 발명의 실시예에 따른 움직임 예측 방법의 성능을 나타내는 신호 대 잡음비의 비교표이고, 도 6은 본 발명의 실시예에 따른 움직임 예측 방법의 성능을 나타내는 처리 시간비의 비교표이다.
도 5를 참조하면, 각각의 샘플 영상에 대하여 기존의 이진 블록 정합 움직임 예측 방법(1BT, 2BT, TGCBM)과 본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법 간의 최대 신호 대 잡음비(PSNR)의 비교값을 나타낸다. 즉, 본 발명의 실시예에 따른 방법은 기존의 2BT 또는 TGCBM과 비교하였을 때 약 0.05dB의 PSNR이득을 얻을 수 있음을 알 수 있다.
또한, 도 6을 참조하면, 각각의 샘플 영상에 대하여 기존의 이진 블록 정합 움직임 예측 방법(1BT, 2BT, TGCBM)과 본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법 간의 처리 시간의 비교값을 나타낸다. 즉, 본 발명의 실시예에 따른 방법은 기존의 2BT 또는 TGCBM과 비교하였을 때 약 3배 정도의 속도향상을 이룰 수 있음을 알 수 있다.
상술한 본 발명의 실시예에 따른 적응적 탐색 범위를 이용한 움직임 예측 방법은, 영상의 특성에 따라 영역 종류를 구분하고 영역 종류에 기반하여 움직임 예측의 탐색 범위를 적응적으로 결정하기 때문에 화질의 열화를 줄일 수 있다.
또한, 영상의 영역의 특성에 따라 적응적인 움직임 예측의 탐색 범위에서 움직임 예측을 수행할 수 있으므로 전역 탐색에 따른 움직임 예측과 비교하였을 때 복잡도를 줄일 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 비디오 부호화/복호화에 있어서,
    참조 프레임 내의 블록들의 움직임 벡터에 대한 히스토그램에 기반하여 상기 참조 프레임의 전역 움직임 벡터를 산출하는 단계;
    상기 전역 움직임 벡터에 기반하여 참조 블록의 영역 종류를 결정하는 단계; 및
    상기 참조 블록의 영역 종류에 기반하여 상기 참조 블록을 참조하는 현재 블록의 움직임 예측의 탐색 범위를 결정하는 단계를 포함하는 적응적 탐색 범위를 이용한 움직임 예측 방법.
  2. 청구항 1에 있어서, 상기 참조 프레임의 전역 움직임 벡터를 산출하는 단계는,
    상기 히스토그램에서 가장 높은 빈도를 나타내는 상기 참조 프레임 내의 블록들의 움직임 벡터를 상기 전역 움직임 벡터로 결정하는 것을 특징으로 하는 적응적 탐색 범위를 이용한 움직임 예측 방법.
  3. 청구항 1에 있어서, 상기 참조 블록의 영역 종류를 결정하는 단계는,
    상기 참조 블록의 움직임 벡터와 상기 전역 움직임 벡터가 동일한 경우 상기 참조 블록의 영역 종류를 배경 영역으로 결정하고,
    상기 참조 블록의 움직임 벡터와 상기 전역 움직임 벡터가 동일하지 않은 경우 상기 참조 블록의 영역 종류를 객체 영역으로 결정하는 것을 특징으로 하는 적응적 탐색 범위를 이용한 움직임 예측 방법.
  4. 청구항 3에 있어서, 상기 현재 블록의 움직임 예측의 탐색 범위를 결정하는 단계는,
    상기 참조 블록이 상기 배경 영역에 해당하는 경우, 상기 현재 블록의 움직임 예측의 탐색 범위를 상기 참조 블록이 상기 객체 영역에 해당하는 경우보다 좁게 결정하는 것을 특징으로 하는 적응적 탐색 범위를 이용한 움직임 예측 방법.
  5. 청구항 3에 있어서, 상기 참조 블록의 영역 종류를 결정하는 단계는,
    상기 참조 블록의 영역 종류를 상기 배경 영역으로 결정한 경우에 있어서,
    상기 참조 블록의 이웃에 위치한 이웃 블록들의 움직임 벡터의 방향성이 동일하지 않은 경우 상기 참조 블록의 영역 종류를 복잡 영역으로 재결정하는 것을 특징으로 하는 적응적 탐색 범위를 이용한 움직임 예측 방법.
  6. 청구항 3에 있어서, 상기 참조 블록의 영역 종류를 결정하는 단계는,
    상기 참조 블록의 영역 종류를 상기 객체 영역으로 결정한 경우에서,
    상기 참조 프레임 내의 블록들의 움직임 벡터에 대한 평균과 상기 참조 블록의 움직임 벡터 간의 차이값이 미리 설정된 값보다 크거나,
    상기 참조 프레임 내의 블록들의 움직임 벡터에 대한 평균과 상기 참조 블록의 이웃에 위치한 이웃 블록들의 움직임 벡터의 평균 간의 차이값이 상기 미리 설정된 값보다 큰 경우,
    상기 참조 블록의 영역 종류를 복잡 영역으로 재결정하는 것을 특징으로 하는 적응적 탐색 범위를 이용한 움직임 예측 방법.
  7. 청구항 5 또는 청구항 6에 있어서,
    재결정된 상기 복잡 영역에 대해서는 상기 현재 블록의 움직임 예측의 탐색 범위를 전역 탐색(full search)으로 결정하는 것을 특징으로 하는 적응적 탐색 범위를 이용한 움직임 예측 방법.
  8. 청구항 1에 있어서,
    상기 참조 블록의 영역 종류를 결정하는 단계에 앞서서,
    상기 참조 프레임 내의 블록들의 움직임 벡터와 현재 프레임 내의 블록들의 움직임 벡터 간의 차이값들의 합이 미리 설정된 값보다 큰 경우에는 상기 현재 블록의 움직임 예측의 탐색 범위를 전역 탐색(full search)으로 결정하여 움직임 예측을 수행하는 것을 특징으로 하는 적응적 탐색 범위를 이용한 움직임 예측 방법.
KR1020120116630A 2012-10-19 2012-10-19 적응적 탐색 범위를 이용한 움직임 예측 방법 KR101409826B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120116630A KR101409826B1 (ko) 2012-10-19 2012-10-19 적응적 탐색 범위를 이용한 움직임 예측 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120116630A KR101409826B1 (ko) 2012-10-19 2012-10-19 적응적 탐색 범위를 이용한 움직임 예측 방법

Publications (2)

Publication Number Publication Date
KR20140050775A true KR20140050775A (ko) 2014-04-30
KR101409826B1 KR101409826B1 (ko) 2014-06-24

Family

ID=50655716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120116630A KR101409826B1 (ko) 2012-10-19 2012-10-19 적응적 탐색 범위를 이용한 움직임 예측 방법

Country Status (1)

Country Link
KR (1) KR101409826B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557642A (zh) * 2018-06-04 2019-12-10 华为技术有限公司 一种视频帧编码运动搜索方法及图像编码器

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102132335B1 (ko) 2018-09-20 2020-07-09 주식회사 핀텔 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
KR102261669B1 (ko) 2019-03-22 2021-06-07 주식회사 핀텔 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
KR102345258B1 (ko) 2020-03-13 2021-12-31 주식회사 핀텔 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
KR102592089B1 (ko) 2021-05-21 2023-10-20 주식회사 핀텔 움직임이 존재하는 프레임의 검출방법
KR102319593B1 (ko) 2021-08-04 2021-11-01 주식회사 핀텔 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램
KR102530635B1 (ko) 2021-09-15 2023-05-10 주식회사 핀텔 교통정보 및 보행정보 분석방법, 장치 및 이에 대한 컴퓨터 프로그램
KR102557904B1 (ko) 2021-11-12 2023-07-21 주식회사 핀텔 동적프레임이 존재하는 구간의 검출방법
KR102592088B1 (ko) 2021-11-19 2023-10-20 주식회사 핀텔 스트리밍모듈을 이용한 고해상도 영상분석방법, 장치 및 이에 대한 컴퓨터 프로그램

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100929608B1 (ko) * 2008-01-17 2009-12-03 한양대학교 산학협력단 고속 전역탐색 블록정합 알고리즘을 이용한 동영상 움직임추정 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557642A (zh) * 2018-06-04 2019-12-10 华为技术有限公司 一种视频帧编码运动搜索方法及图像编码器
CN110557642B (zh) * 2018-06-04 2023-05-12 华为技术有限公司 一种视频帧编码运动搜索方法及图像编码器

Also Published As

Publication number Publication date
KR101409826B1 (ko) 2014-06-24

Similar Documents

Publication Publication Date Title
KR101409826B1 (ko) 적응적 탐색 범위를 이용한 움직임 예측 방법
US10123023B1 (en) Moving picture coding device and moving picture coding method
KR100498951B1 (ko) 동영상 압축 부호화를 위한 움직임 예측 방법과 그기록매체
US9894364B2 (en) Moving picture coding device, moving picture coding method, and moving picture coding program, and moving picture decoding device, moving picture decoding method, and moving picture decoding program
CN105409216B (zh) 丢失视频数据的条件隐藏
US6954502B2 (en) Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
RU2498523C2 (ru) Быстрое принятие решения о дельте параметра квантования макроблока
US8526748B2 (en) Picture coding method and picture decoding method
US10820012B2 (en) Method, apparatus, and computer program product for providing motion estimator for video encoding
US9414086B2 (en) Partial frame utilization in video codecs
US9948944B2 (en) Image coding apparatus and image coding method
US8798153B2 (en) Video decoding method
JP2008035134A (ja) 画像符号化装置
US10715818B2 (en) Techniques for hardware video encoding
CN111629206A (zh) 视频编码方法、视频播放方法、相关设备及介质
US8792549B2 (en) Decoder-derived geometric transformations for motion compensated inter prediction
US20130343449A1 (en) Image encoding apparatus and its control method
KR101641716B1 (ko) 통합 영상 부호화 방법 및 장치
CN112839224A (zh) 一种预测模式选择方法、装置、视频编码设备及存储介质
US11218705B2 (en) Information processing device and video encoding method
KR101378434B1 (ko) 고속 화면내 예측 모드 결정 방법
US11528485B2 (en) Encoding apparatus and program
KR101413364B1 (ko) 이진 블록 정합을 이용한 움직임 추정 방법
KR100987581B1 (ko) 고속 움직임 추정을 위한 부분 블록정합 방법
US9615091B2 (en) Motion picture encoding/decoding apparatus, and method and apparatus for hybrid block motion compensation/overlapped block motion compensation for same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
LAPS Lapse due to unpaid annual fee