KR101247024B1 - 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법 - Google Patents

루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법 Download PDF

Info

Publication number
KR101247024B1
KR101247024B1 KR1020110047996A KR20110047996A KR101247024B1 KR 101247024 B1 KR101247024 B1 KR 101247024B1 KR 1020110047996 A KR1020110047996 A KR 1020110047996A KR 20110047996 A KR20110047996 A KR 20110047996A KR 101247024 B1 KR101247024 B1 KR 101247024B1
Authority
KR
South Korea
Prior art keywords
preprocessing
filter set
filter
reference frame
motion estimation
Prior art date
Application number
KR1020110047996A
Other languages
English (en)
Other versions
KR20120129629A (ko
Inventor
정제창
이혁
장진익
김영준
홍성민
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020110047996A priority Critical patent/KR101247024B1/ko
Publication of KR20120129629A publication Critical patent/KR20120129629A/ko
Application granted granted Critical
Publication of KR101247024B1 publication Critical patent/KR101247024B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Abstract

루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법이 개시된다. 본 발명에 따른 동영상 부호화를 위한 움직임 추정 및 보상 방법은 현재 프레임과 참조 프레임간의 영상 정보의 변화 정도를 추정하는 단계, 추정된 영상 정보의 변화 정도에 기반하여 저역 통과 필터 집합 및 적응적 필터 집합 중 적어도 하나를 포함하여 전처리 필터 집합을 구성하는 단계, 전처리 필터 집합을 참조 프레임에 적용하여 전처리 과정을 수행하는 단계 및 전처리 과정이 수행된 참조 프레임을 이용하여 움직임 추정 및 보상을 수행하는 단계를 포함하여 구성될 수 있다. 따라서, 동영상의 블러 및 디블러 현상을 보상하고, 동영상 압축 효율을 높일 수 있으며, 특히, 객체의 움직임이 많고, 카메라가 자주 움직이는 영상을 압축하는데 있어 뛰어난 성능을 보일 수 있다.

Description

루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법{Method of motion estimation and compensation using in-loop preprocessing filtering}
본 발명은 동영상 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 동영상 부호화 및 복호화 과정에 있어서 루프 내 전처리 필터링을 이용하여 움직임 추정 및 보상의 정밀도를 높이고 이를 통하여 동영상 압축의 효율을 향상시킬 수 있는 움직임 추정 및 보상 방법에 관한 것이다.
전화와 팩시밀리에서부터 시작하여 근래의 DMB, 휴대전화, 인터넷 통신망에서 다루는 정보 미디어는 점차 대용량화로 진전되고 있다. 이에 따라, 고속의 멀티미디어 데이터 통신에 대한 관심과 요구가 증대되고 있으며, 유·무선 데이터 송수신의 전송속도가 비약적으로 향상됨에 따라 데이터 크기가 큰 동영상 데이터까지도 유·무선 통신 네트워크를 통해 실시간으로 송수신할 수 있게 되었다.
최근에는 스마트폰과 스마트TV의 등장으로 인하여 유·무선 통신 네트워크를 통한 동영상 데이트의 이용이 폭발적으로 증가하고 있는 추세이다. 동영상 데이터는 일반 텍스트 데이터에 비하여 정보 전달 능력이 뛰어난 반면에 용량이 매우 크기 때문에 제한된 대역폭을 가진 네트워크 채널에서 데이터를 전송하거나 재생 및 저장하는데 어려움이 존재한다. 또한, 어플리케이션의 요구에 따라서 방대한 동영상 정보가 적절히 처리되어야 하므로, 동영상을 처리하기 위한 시스템 또한 높은 사양이 요구된다.
이러한 문제점들을 해결하기 위하여, 동영상 데이터를 작은 정보로 압축시키는 기술인 동영상 부호화 알고리즘이 활발히 연구되어 오고 있다. 현재까지 연구된 동영상 압축과 관련된 대표적인 국제 표준에는 ISO/IEC의 엠펙(MPEG) 시리즈와 ITU-T의 H.26x 시리즈가 있다.
동영상 데이터는 시간적 (temporal), 공간적(spatial), 통계적(statistical) 중복성을 가지는 것을 특징으로 한다. 시간적 중복성은 연속되는 프레임간의 중복성을 의미하며, 연속되는 프레임의 화소값 들은 매우 높은 상관도를 가진다. 공간적 중복성은 프레임 내에 존재하는 중복성을 의미하며, 하나의 화소의 밝기값은 이웃하는 화소들의 밝기값과 높은 상관도를 가진다. 마지막으로, 통계적 중복성은 부호화된 데이터들 간의 중복성을 의미하는데, 화소들의 밝기값의 확률 분포에 의한 중복성을 말한다.
동영상 부호화를 위하여, 상기 3가지 중복성을 제거함으로써 방대한 양의 동영상 데이터를 보다 작은 양의 데이터로 압축할 수 있다. 예를 들어, 움직임 추정 및 보상 기술은 시간적 중복성을 제거하며, 변환 부호화 기술과 양자화 기술은 공간적 중복성을 제거한다. 가변장 부호화 등과 같은 엔트로피 부호화 기술은 통계적 중복성을 제거하기 위한 목적으로 동영상 코덱의 국제 표준에 채택되어 사용된다.
국제 표준화 기구 중 MPEG 표준에서는 화면내 부호화(intra coded frame : I 프레임), 예측부호화(predictive coded frame : P 프레임), 양방향 예측부호화(bi-directionally-predicitve coded frame : B 프레임)의 세가지 형태의 예측 부호화 방식을 사용하며, P 프레임 및 B 프레임은 움직임 추정 및 보상 기술을 이용하여 높은 압축 효율을 달성한다.
I 프레임은 다른 프레임의 참조없이 화면 내부의 이웃하는 픽셀값을 이용하여 부호화된다. P 프레임은 과거의 I 프레임이나 P 프레임을 참조하여 부호화된다. 과거의 I 프레임이나 P 프레임에서 블록 단위로 움직음 정보를 추정하여 예측된 움직임 벡터와 예측 블록을 이용하여 움직임 보상을 수행하고, 움직임 보상 후 블록의 차분 신호와 차분 움직임 벡터를 부호화하여 시간적 중복도를 줄이고 높은 압축률을 달성할 수 있다.
B 프레임은 과거의 I 프레임과 P 프레임 뿐만 아 니라, 미래의 I 프레임과 P 프레임도 참조하여 예측을 수행한다. B 프레임은 P 프레임과 마찬가지로 움직임 추정 및 보상기술을 이용한다. 그러나 참조 프레임을 두 개 사용하고, 이 중에서 보다 우수한 예측 성능을 선택하므로 압축률이 가장 높다. 그러나 B 프레임은 다른 프레임을 위한 참조 프레임이 되지는 않는다. 이러한 I 및 P 픽처들은 참조 프레임들로 불린다.
시간적 중복성을 제거하기 위한 움직임 추정 및 보상방법은 크게 화소 순환 알고리즘(Pixel Recursive Algorithm, PRA)과 블록 정합 알고리즘(Block Matching Algorithm, BMA)으로 나눌 수 있다. 이 중에서 데이터 흐름의 규칙성, 계산의 복잡도, 하드웨어 구현을 고려하여 대부분의 동영상 코덱 기술에서는 블록 정합 알고리즘을 널리 사용하고 있다. 블록 정합 알고리즘은 하나의 프레임을 임의의 M×N 크기의 블록이나 또는 이 보다 작은 임의의 크기의 탐색 블록(Searching Block)으로 나누고, 블록단위로 참조 프레임의 정해진 탐색 영역 안에서 최소의 오차값을 가지는 정합블록을 찾아내는 절차를 가리킨다. 이러한 블록 정합 알고리즘에 따라서 선택한 정합블록의 위치를 가리키는 값을 움직임 벡터(MV)라고 하며, 동영상 부호화에서는 상기 정합블록과 현재 블록과의 차이값과 움직임 벡터만을 부호화하여 데이터의 중복성을 제거한다.
블록 정합 알고리즘에서는 일반적으로 정합블록을 탐색하기 위하여 정합 오차(Matching Error)를 최소로 하는 블록을 탐색하며, 정합 오차로는 예컨대 현재 블록과 참조 프레임의 탐색 블록을 구성하는 모든 화소에 대한 절대차의 합(Sum of Absolute Difference, SAD)을 이용한다. MxN 크기의 블록에 대하여 BMA에 사용되는 SAD값은 다음 수학식 1과 같이 나타내진다.
[수학식 1]
Figure 112011037843674-pat00001

여기서 Fn은 n번째 프레임을 의미 하며, Fn은 현재 프레임을 의미하고 Fn -1은 현재 프레임에 인접한 이전 프레임을 의미한다. (x,y)는 블록의 좌상단 모서리에 있는 화소의 좌표를 나타내며, i와j 는 각각 블록에 포함된 화소의 수평방향 인덱스와 수직방향 인덱스를 나타낸다. mvx와 mvy는 각각 수평방향 움직임 벡터와 수직방향 움직임 벡터를 나타낸다. SAD는 두 블록 내의 같은 위치에 있는 화소들의 차 절대값을 모두 더한 값이며, SAD값이 작을수록 두 블록은 유사한 것으로 판단하며, 탐색 영역 내에서 가장 작은 SAD값을 가지는 블록을 정합 블록으로 정한다.
영상은 3차원 정보를 2차원 평면에 기록하기 때문에 실제와 동일한 움직임을 추정하기 어려우며, 회전이나 확대 및 축소된 움직임을 추정하기 위해서는 높은 계산량을 필요로 하기 때문에 동영상 부호화 표준에서는 평행이동 움직임을 가정하여 움직임 추정 및 보상 기술을 사용한다. 움직임 추정 및 보상 효율을 향상시키기 위한 방법으로 공간적 샘플링 보상 방법과 시간적 샘플링 보상 방법이 있다. 영상은 공간적으로 정수 단위의 화소를 샘플링 하게 되며, 공간적 샘플링으로 인한 정보손실을 보상하기 위하여 부화소 단위 움직임 추정 기술이 제안되었다. MPEG-2에서는 참조 프레임을 2배로 보간하여 움직임 추정을 수행하며, H.264/AVC에서는 참조 프레임을 4배로 보간하여 움직임 추정을 수행한다. 또한, 기존의 움직임 추정 기술은 정적인 배경화면이나 천천히 움직이는 물체의 움직임을 추정하는 경우에는 높은 예측 효율을 보이지만, 영상의 변화가 급격하게 진행되는 경우에는 예측 효율이 크게 떨어지게 된다. 예를 들어, 물체가 빠르게 움직이거나 카메라의 초점이 변하는 경우 블러(blur) 및 디블러(de-blur) 현상이 일어나게 되며, 이는 SAD값을 크게 증가시키게 된다. 따라서, 시간적 샘플링으로 인한 영상 데이터의 변화 및 손실을 보상하기 위하여 참조 프레임에 전처리필터를 적용하는 움직임 추정 기술이 제안되었다. 시간적 샘플링 과정을 보상하기 위한 알고리즘으로는 다수의 저역 통과 필터를 이용한 블러 보상 알고리즘, 적응적 필터를 이용한 초점 변화 보상 알고리즘 등이 있다. 상기 알고리즘들은 현재 프레임과 참조 프레임 사이의 열화 현상을 보상하기 위하여 참조 프레임에 전처리 필터를 적용한 후 전처리 필터가 적용된 참조 프레임에서 움직임 추정을 수행한다.
시간적 샘플링 방법을 보상하기 위한 알고리즘 중 다수의 저역통과필터를 이용하여 블러를 보상하여 움직임 추정 방법은 한 장의 프레임에 하나의 전처리 필터만 명시하기 때문에 전역적인 블러 현상에만 유효하다. 실제 영상에서 블러현상이 지역적으로 발생하거나, 영상이 선명해 지는 경우에는 저역통과 필터로 화질열화를 보상하여 움직임 예측 효율을 높이는 방법을 사용 할 수 없게 된다.
적응적 필터를 사용하는 알고리즘은 지역적인 블러 현상과 디블러 현상을 각각 보상할 수 있지만, 블러와 디블러 영역을 구분하는데 많은 계산양을 필요로 하며, 각각의 적응적 필터계수를 양자화 하여 추가로 복호화기에 전송해 주어야 한다. 따라서 적응적 필터의 개수가 증가할수록 추가로 전송해야 할 데이터양이 증가하게 되며, 이로 인하여 압축 효율이 떨어지게 된다.
또한 두 필터 집합의 개별 성능을 비교하면, 저역 통과필터 집합은 고해상도 영상에서 그 효율이 적응적 필터집합에 비하여 떨어진다. 반면에 적응적 필터 집합은 양자화 파라메타 값이 큰 압축 환경에서 저역통과 필터 집합에 비하여 압축 효율이 떨어진다는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 현재 프레임과 이전 프레임의 영상데이터의 통계적 특성을 이용하여 인접 영상간의 변화를 보상할 수 있는 필터를 추정하고 참조 프레임에 전처리 필터링을 수행하여 영상 정보가 급격히 변화하는 경우에도 높은 성능을 유지할 수 있는 동영상 부호화시의 움직임 추정 및 보상 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 참조 프레임에 전처리 필터링을 수행하여 영상 정보가 급격히 변화하는 경우에도 높은 성능을 유지할 수 있는 움직임 추정 및 보상방법을 이용한 동영상 복호화시의 움직임 추정 및 보상 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명은, 동영상 부호화를 위한 움직임 추정 및 보상 방법으로서, 현재 프레임과 참조 프레임을 이용하여 현재 프레임과 참조 프레임간의 영상 정보의 변화 정도를 추정하는 단계, 상기 추정된 영상 정보의 변화 정도에 기반하여 저역 통과 필터 집합 및 적응적 필터 집합 중 적어도 하나를 포함하여 전처리 필터 집합을 구성하는 단계, 상기 전처리 필터 집합을 상기 참조 프레임에 적용하여 전처리 과정을 수행하는 단계 및 상기 전처리 과정이 수행된 참조 프레임을 이용하여 움직임 추정 및 보상을 수행하는 단계를 포함한 움직임 추정 및 보상 방법을 제공한다.
여기에서, 상기 영상 정보의 변화를 추정하는 단계는 영상의 블러(blur) 정도를 추정하여 상기 영상 정보의 변화 정도를 추정하도록 구성될 수 있다.
여기에서, 상기 영상 정보의 변화를 추정하는 단계는 상기 참조 프레임 내부의 모든 블록의 움직임 벡터 크기의 평균을 산출하고, 이에 기반하여 상기 영상 정보의 변화 정도를 추정하도록 구성될 수 있다.
여기에서, 상기 전처리 필터 집합을 구성하는 단계는 상기 추정된 영상 정보의 변화 정도가 큰 경우에 저역 필터 집합과 적응적 필터 집합을 함께 이용하여 상기 전처리 필터 집합을 구성하도록 구성될 수 있다.
여기에서, 상기 전처리 필터 집합을 구성하는 단계는 상기 추정된 영상 정보의 변화가 작고 적응적 필터 집합의 비용 함수가 소정의 비용 함수 임계값을 초과하지 않는 경우에 적응적 필터 집합을 이용하여 상기 전처리 필터 집합을 구성하도록 구성될 수 있다.
여기에서, 상기 전처리 필터 집합을 구성하는 단계는 상기 추정된 영상 정보의 변화가 작고 적응적 필터 집합의 비용 함수가 소정의 비용 함수 임계값을 초과하는 경우에는, 적응적 필터와 저역 필터의 상관 계수를 계산하여 상관 계수의 평균값이 소정의 비용함수 임계값보다 크다면 저역 통과 필터만을 이용하여 상기 전처리 필터 집합을 구성하도록 구성될 수 있다.
여기에서, 상기 전처리 필터 집합을 구성하는 단계에서 상기 저역 통과 필터 집합은 가우시안 저역 통과 필터(GLPF; Gaussian Low Pass Filter)들로 구성될 수 있으며, 이때, 상기 저역 통과 필터 집합은 N(N은 자연수)*N의 정사각 형태 필터, N*1의 수직 방향 필터, 1*N의 수평 방향 필터 및 대각 방향 필터 중 적어도 둘 이상을 포함하여 구성될 수 있다.
여기에서, 상기 전처리 필터 집합을 구성하는 단계에서 상기 적응적 필터 집합은 현재 프레임과 참조 프레임에 대하여 정합 오차를 최소로 하는 최소 제곱 오차 필터를 포함하여 구성될 수 있으며, 이때, 상기 적응적 필터 집합은 상기 동영상 부호화가 단일 패스 부호화로 진행될 경우에는 현재 프레임보다 이전에 부호화된 프레임에서 계산된 적응적 필터들로 구성되며, 상기 동영상 부호화가 다중 패스 부호화로 진행될 경우에는 현재 프레임보다 이전에 부호화된 프레임에서 계산된 적응적 필터들과 현재 프레임에서 계산된 적응적 필터들로 구성될 수 있다.
여기에서, 상기 전처리 과정을 수행하는 단계는 상기 참조 프레임의 영역별로 상기 전처리 필터 집합에 속한 전저리 필터를 선택적으로 적용하여 전처리 과정을 수행하도록 구성될 수 있다.
상기 다른 목적을 달성하기 위한 본 발명은, 부호화된 동영상의 복호화를 위한 움직임 추정 및 보상 방법으로서, 저역 통과 필터 집합 및 적응적 필터 집합 중 적어도 하나를 포함한 전처리 필터 집합의 구성 정보를 입수하는 단계, 상기 전처리 필터 집합의 구성 정보를 참조하여 구성된 전처리 필터 집합을 참조 프레임에 적용하여 전처리 과정을 수행하는 단계 및 상기 전처리 과정이 수행된 참조 프레임을 이용하여 움직임 보상을 수행하는 단계를 포함한 움직임 추정 및 보상 방법을 제공한다.
여기에서, 상기 전처리 필터 집합의 구성 정보를 입수하는 단계에서 상기 전처리 필터 집합의 구성 정보는 슬라이스 헤더(slice header)에 포함되어 입수될 수 있다.
여기에서, 상기 전처리 과정을 수행하는 단계는 상기 구성된 전처리 필터 집합으로부터 상기 참조 프레임의 부호화시에 적용된 전처리 필터의 종류를 파악하고 파악된 전처리 필터를 상기 구성된 전처리 필터 집합으로부터 선택하여 상기 참조 프레임에 대하여 적용하도록 구성될 수 있다. 이때, 상기 전처리 과정을 수행하는 단계는 상기 참조 프레임의 영역별로 상기 전처리 필터 집합에 속한 전저리 필터를 선택적으로 적용하여 전처리 과정을 수행하도록 구성될 수 있다.
상기와 같은 본 발명에 따른 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법은 동영상 압축 부호화기와 복호화기 내부에 움직임 추정 이전에 전처리 과정을 추가로 수행함에 따라 블러 및 디블러 현상을 보상하여 움직임 추정 및 보상의 정밀도를 높일 수 있다.
따라서 부호화 과정에서 비트율을 크게 감소시켜 동영상 압축 효율을 높일 수 있다. 특히 객체의 움직임이 많고, 카메라가 자주 움직이는 스포츠 영상을 압축하는데 있어 뛰어난 성능을 보일 수 있다.
도 1은 본 발명에 따른 동영상 부호화시의 움직임 추정 및 보상 방법의 실시예를 설명하기 위한 순서도이다.
도 2는 본 발명의 실시예에 따른 영상의 변화 정도 등급화의 개념을 설명하기 위한 개념도이다.
도 3은 본 발명에 따른 실시예에서 단일 패스 부호화 경우의 적응적 필터 집합 구성 방법을 설명하기 위한 개념도이다.
도 4는 본 발명에 따른 실시예에서 전처리 필터 집합을 구성하는 방법을 설명하기 위한 순서도이다.
도 5는 본 발명에 따른 동영상 복호화시의 움직임 추정 및 보상 방법의 실시예를 설명하기 위한 순서도이다.
도 6은 본 발명에 따른 루프 내 전처리 필터가 적용된 동영상 부호화기의 실시예를 설명하기 위한 블록도이다.
도 7은 본 발명에 따른 루프 내 전처리 필터가 적용된 동영상 복호화기의 실시예를 설명하기 위한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면간 또는 화면내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 화면내 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 화면내 블록은 화면내 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 화면내 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
한편 이하의 실시예는 본 발명의 성능을 확인하기 위하여 H.264/AVC 코덱을 기준으로 설명된 것이나, 본 발명의 기술적 사상은 H.264/AVC 이외의 움직임 추정 및 보상 방법이 적용되는 동영상 압축 기술에 폭넓게 적용이 가능하다. 예컨대, H.264/AVC의 차기 동영상 압축 표준으로 표준화가 진행중인 HEVC(High-Efficiency Video Coding) 등에도 적용이 가능하다.
본 발명에 따른 움직임 추정 및 보상 방법
도 1은 본 발명에 따른 동영상 부호화시의 움직임 추정 및 보상 방법의 실시예를 설명하기 위한 순서도이다.
도 1을 참조하면, 본 발명에 따른 움직임 추정 및 보상 방법의 실시예는 현재 프레임과 참조 프레임을 이용하여 현재 프레임과 참조 프레임간의 영상 정보의 변화 정도를 추정하는 단계(S110), 상기 추정된 영상 정보의 변화 정도에 기반하여 저역 통과 필터 집합 및 적응적 필터 집합 중 적어도 하나를 포함하여 전처리 필터 집합을 구성하는 단계(S120), 상기 전처리 필터 집합을 상기 참조 프레임에 적용하여 전처리 과정을 수행하는 단계(S130) 및 상기 전처리 과정이 수행된 참조 프레임을 이용하여 움직임 추정 및 보상을 수행하는 단계(S140)를 포함하여 구성될 수 있다.
먼저, 단계(S110)는 현재 프레임과 참조 프레임을 이용하여 현재 프레임과 참조 프레임간의 영상 정보의 변화 정도를 추정하는 단계이며, 현재 프레임과 참조 프레임의 영상 정보의 변화 정도를 추정하는 데는 여러 가지의 영상 특징 정보들이 활용될 수 있다.
예컨대, 본 실시예에서는 현재 프레임의 블러(blur) 강도와 참조 프레임의 움직임 벡터의 평균 크기의 두 가지 영상정보를 이용하여 영상 정보 변화 정도를 추정하는 방식을 예로 들어 설명한다.
첫째, 영상의 블러를 추정하기 위하여 H. Tong, M. Li, H. Zhang, and C. Zhang, “Blur detection for digital images using wavelet transform,” in Proc. IEEE ICME, vol. 1, pp. 17-20, Jun. 2004. 논문의 방법이 활용될 수 있다. 상기 블러 탐지 알고리즘에서는 블러를 추정하기 위하여 Per와 BlurExtent 라는 척도가 사용되며, 본 발명의 실시예에서는 두 변수를 결합하여 영상의 블러를 측정하기 위하여 아래와 같이 가중치 블러 척도(Weighted blur extent, 이하 WBE)로 변형하여 사용될 수 있다. 이와 같은 가중치 블러 척도의 계산 방법은 하기 수학식 2에 의해서 표현될 수 있다.
[수학식 2]
Figure 112011037843674-pat00002

여기서 w는 가중치 값을 의미하며, T는 임계값을 나타낸다.
둘째, 프레임 내부의 모든 블록의 움직임 벡터의 크기의 평균(Mean of Motion Vectors, 이하 MMV)을 이용한다. 각 블록의 움직임 벡터의 크기는 하기와 같은 수학식 3에 의해서 표현되어진다.
[수학식 3]
Figure 112011037843674-pat00003

여기서 MV는 블록의 움직임벡터의 크기를 나타낸다. mvx는 블록의 수평 움직임 벡터 성분을 나타내며, mvy는 블록의 수직 움직임 벡터 성분을 나타낸다. 모든 블록의 움직임 벡터 크기의 평균값을 MMV로 하여 해당 프레임의 움직임 활동의 척도로 사용한다.
따라서, 현재 프레임과 참조 프레임 사이의 변화 정도를 추정하기 위해서 상술된 두 가지 척도를 이용될 수 있다. 또한, 본 발명의 실시예에서는 영상의 변화 정도를 등급화하여 후술될 전처리 필터 집합의 구성을 등급에 따라서 다르게 가져가게 된다.
도 2는 본 발명의 실시예에 따른 영상의 변화 정도 등급화의 개념을 설명하기 위한 개념도이다.
도 2를 참조하면, 본 발명에 따른 실시예에서는 상술된 두가지 척도를 이용하여 두 영상 변화의 정도(Degree of Scene Change, 이하 DoSC)의 등급을 매기도록 구성될 수 있다.
여기에서 MMVn - 1(210)는 참조 프레임의 움직임 벡터 크기의 평균을 나타내며, WBEn(220)는 현재 프레임의 블러의 정도를 나타낸다. 여기서 L1, L2, L3는 DoSC의 강도의 등급을 의미하며 L1, L2, L3 순으로 높다. γ1,γ2,μ1,μ2 는 DoSC 평면을 나누기 위한 임계값들이다.
MMV는 참조 프레임의 탐색 영역의 크기에 따라서 그 범위가 변화할 수 있다. 따라서, 탐색 범위(Search Range, 이하 SR)를 이용하여 μ1=0.5×SR and μ2=0.125×SR 로 정한다.
WBE는 프레임의 크기에 따라서 그 값이 변화 할 수 있다. 따라서, γ1와 γ2는 아래의 수학식 4에서와 같이 결정될 수 있다.
[수학식 4]
Figure 112011037843674-pat00004

여기서 W와 H는 각각 현재 프레임의 폭과 높이를 나타내며, M과 N은 정규화를 위해 정의된 프레임의 폭과 높이이다. α1과 α2는 비례 상수이다. 실험에 사용된 M, N, α1, α2값은 각각 832, 480, 1.5, 3.0으로 정하였다.
다음으로, 단계(S120)는 상기 단계(S110)에서 추정된 영상 정보의 변화 정도에 기반하여 저역 통과 필터 집합 및 적응적 필터 집합 중 적어도 하나를 포함하여 전처리 필터 집합을 구성하는 단계이다.
전처리 필터 집합은 추정된 영상 정보 변화의 등급을 이용하여 영상 정보 변화를 가장 잘 반영할 수 있는 후보 필터들을 선정하여 구성될 수 있다. 전처리 필터 집합을 구성하는 저역 통과 필터 집합과 적응적 필터 집합은 아래와 같이 설명된다.
첫 번째 필터 집합은 저역 통과 필터 집합이다. 저역 필터의 강도는 현재 프레임의 블러의 강도와 참조 프레임의 움직임 벡터의 크기 두 가지 영상정보를 이용한 영상 정보 변화 정도에 따라 결정된다.
저역 통과 필터 집합은 NxN 크기의 정사각 형태의 필터와, Nx1 크기의 수직 방향 필터, 1xN 크기의 수평방향 필터, 그리고 대각 방향 저역통과 필터등으로 구성 될 수 있다.
저역 필터 집합을 생성하기 위하여 하기 수학식 5와 같은 가우시안 함수가 이용될 수 있다.
[수학식 5]
Figure 112011037843674-pat00005

가우시안 저역 통과 필터(Gaussian Low Pass Filter, 이하 GLPF)의 종류는, NxN 필터를 GLPFNxN, Nx1 필터를 GLPFNx1, 1xN 필터를 GLPF1xN로 표현하도록 한다.
저역통과 필터 집합은 적어도 두 종류 이상의 필터집합으로 구성된다. 이때, 가우시안 함수의 평균과 분산의 예는 N을 3으로 하는 GLPF는 가우시안 함수의 평균을 0, 분산을 1.5로 계수를 결정하며, N을 5로 하는 GLPF는 가우시안 함수의 평균을 0, 분산을 2로 계수를 결정할 수 있다.
두 번째 필터 집합은 적응적 필터(Adaptive Pre-Filer; 이하 APF) 집합이다. 적응적 필터는 위하여 현재 프레임과 참조 프레임에 대하여 정합 오차를 최소로 하는 최소 제곱 오차 필터를 계산하여 구성될 수 있다. 최소 제곱 오차를 계산할 때 오프셋 텀(offset term)으로 0차항을 추가하여 계산한다.
도 3은 본 발명에 따른 실시예에서 적응적 필터 집합 구성 방법을 설명하기 위한 개념도이다.
도 3을 참조하면, 현재 프레임(310)의 적응적 필터 계수(APFt -1)와 부호화가 끝난 이전 프레임(현재 프레임의 과거 프레임 또는 미래 프레임, H.264/AVC에서는 현재 프레임의 미래 프레임이 먼저 부호화가 될 수도 있기 때문; 도 3에서는 현재 프레임의 과거 프레임; 311, 312, 313)에서 계산된 적응적 필터들(APFt -2 또는 APFt -3)의 계수는 높은 상관도를 가지기 때문에 단일 패스 부호화와 다중 패스 부호화중 하나를 선택하여 적응적 필터 집합을 정할 수 있다(두가지 실시예 가능).
만약 단일 패스 부호화를 수행하는 경우, 적응적 필터 집합은 부호화가 끝난 이전 프레임들(311, 312, 313)에서 계산된 적응적 필터들(APFt -2 또는 APFt -3)로 구성된다.
만약 다중 패스 부호화를 수행하는 경우, 적응적 필터 집합은 현재 프레임에 대하여 계산된 적응적 필터(APFt -1)와 부호화가 끝난 이전 프레임들에서 계산된 적응적 필터들(APFt -2 또는 APFt -3)로 구성된다. 즉, 도 3을 참조하면, 이전 프레임에서 계산된 적응적 전처리 필터(Adaptive pre-filter, 이하 APF)를 이용하여 적응적 필터 집합을 구성하며, 적응적 필터집합을 구성하기 위하여 가장 최근에 계산된 2개의 APF를 사용한다.
적응적 필터 계수를 계산하기 위해서는 예로서 Y. Ye, G. Motta, and M. Karczewicz,“Enhanced adaptive interpolation filters for video coding,” in Proc. IEEE DCC, pp. 432-444, Mar. 2010. 논문에 제시된 방법이 적용될 수 있다.
전처리 필터 집합에 포함된 필터의 수가 증가할수록, 필터의 종류를 표시하기 위한 추가 비트의 양도 증가하기 때문에, 슬라이스 헤더에 혼합 전처리 필터 집합의 개수를 미리 정의하여 전송한다.
전처리 필터 집합은 영상의 변화 정도에 따라 다음과 같이 적응적으로 구성될 수 있다.
첫째, 만약 현재 프레임의 영상 정보 특징이 참조 프레임에 비하여 크게 변화하였다고 판단이 되면 저역 필터 집합과 적응적 필터 집합을 모두 이용하여 전처리 필터 집합을 구성한다. 영상의 변화의 정도와 현재 프레임의 블러의강도에 따라 저역 통과필터 집합을 정의하고, 전처리 필터 집합에 추가한다. 적응적 필터 집합에서는 가장 최근에 계산된 적응적 필터부터 전처리 필터 집합에 추가한다. 미리 정의된 전처리 필터의 개수만큼 추가 되면 필터 집합 구성을 마친다.
둘째, 만약 현재프레임의 영상 정보 특성이 참조 프레임에 비하여 변화가 적다고 판단이 되고 적응적 필터의 비용함수가 비용함수 임계값을 초과하지 않아서 적응적 필터가 이용 가능하다면, 적응적 필터 집합만을 이용하여 전처리 필터 집합을 구성한다.
셋째, 만약 현재프레임의 영상 정보 특성이 참조 프레임에 비하여 변화가 적고 적응적 필터의 비용함수가 비용함수 임계값을 초과하여 이용가능하지 않다면, 적응적 필터와 저역통과 필터들의 상관계수를 계산하여 상관계수의 평균값을 미리 정의된 상관계수 임계값과 비교한다. 이때, 상관계수 임계값보다 적응적 필터와 저역통과 필터들의 상관계수의 평균값이 크다면 저역통과필터만을 이용하여 혼합 전처리필터를 구성하고, 그렇지 않다면 전처리 과정을 생략한다.
즉, 적응적 필터계수는 높은 양자화 파라메타를 가지는 부호화 과정에서 압축 효율에 영향을 미칠 수 있다. 따라서, 적응적 필터 계수의 비용함수를 이용하여 적응적 필터의 사용 여부를 결정 한다. 만약 적응적 필터 계수의 율-왜곡 함수를 전체 블록의 수로 나눈 값이 비용함수 임계값 λ 를 넘으면 적응적 필터는 사용하지 않는다. λ는 30을 사용한다. 즉, 만약 적응적 필터 계수의 율-왜곡 함수를 프레임의 크기로 정규화한 값이 비용함수 임계값를 넘으면 적응적 필터는 오프 되게 된다.
이하에서는 상술된 추정된 영상의 변화 정도를 이용한 전처리 필터 집합의 구성 방법을 보다 구체적인 실시예로서 설명하기로 한다.
도 4는 본 발명에 따른 실시예에서 전처리 필터 집합을 구성하는 방법을 설명하기 위한 순서도이다.
즉, 도 4를 통하여 설명되는 순서도는 도 1의 단계(S120)를 보다 구체적으로 설명하기 위한 것이다.
먼저, 가능한 전처리 필터 집합의 경우의 수는 하기 표1과 같이 미리 정의될 수 있다. 예컨대 6개의 전처리 필터 집합으로 정의된다.
전처리 필터집합 타입 MPF set
Θ1 {GLPF3 ×3,GLPF3 ×1,GLPF1 ×3,GLPF5 ×5}
Θ2 {GLPF5 ×5,GLPF5 ×1,GLPF1 ×5,GLPF3 ×3}
Θ3 {GLPF3 ×3,GLPF3 ×1,GLPF1 ×3,APFt -1}
Θ4 {GLPF5 ×5,GLPF5 ×1,GLPF1 ×5,APFt -1}
Θ5 {APFt -1, APFt -2}
Θ6 {GLPF3 ×3,GLPF3 ×1,GLPF1 ×3}
만약 DoSC 값이 L2 또는 L3이면 저역 필터 집합 과 적응적 필터 집합을 이용하여 도 4와 같은 순서를 따라 혼합 전처리 필터를 결정한다.
만약 DoSC 값이 L1이고 적응적 필터가 이용 가능하다면, 적응적 필터 집합만을 이용하여 혼합 전처리 필터를 구성한다(S410).
만약 DoSC 값이 L1이고 적응적 필터가 이용 가능하지 않다면, 적응적 필터와 저역통과 필터들의 상관계수를 계산하여 상관계수의 평균값이 미리 정의된 상관계수 임계값과 비교한다. 이 때, 상관계수 임계값보다 적응적 필터와 저역통과 필터들의 상관계수의 평균값이 크다면 저역통과필터만을 이용하여 혼합 전처리필터를 구성(S420)하고, 그렇지 않다면 전처리 과정을 생략한다(S430).
다음으로, 단계(S130)는 상기 단계(S120)을 통하여 결정된 전처리 필터 집합을 상기 참조 프레임에 적용하여 전처리 과정을 수행하는 단계이다. 즉, 단계(S120)을 거쳐서 구성된 전처리 필터 집합을 이용하여 참조 프레임에 대해 전처리 과정을 거친 후 참조 프레임 버퍼에 추가하게 된다.
한편, 두 영상간의 영상 데이터의 변화는 지역마다 다르게 나타날 수 있기 때문에 매크로 블록 단위로 RD-cost를 최소로 하는 전처리 필터를 결정하고 전처리 필터 집합에서 선택적으로 상기 전처리 필터를 참조 프레임의 영역별(예컨대, 매크로 블록 단위 또는 임의의 크기의 블록 단위)로 적용하여 전처리 과정을 수행하도록 구성될 수있다. 이 경우에는 부호화 과정에서 사용된 전처리 필터의 종류를 명시하기 위하여 참조 프레임의 영역별(예컨대, 매크로 블록 단위 또는 임의의 크기의 블록 단위)로 적용된 전처리 필터를 지정하기 위한 추가 비트를 복호화기에 전송하도록 구성될 수 있다.
마지막으로, 단계(S140)에서는 단계(S130)를 통하여 전처리된 참조 프레임을 이용하여 현재 프레임에 대한 움직임 추정 및 보상을 실시하게 된다. 단계(S140)에서의 움직임 추정 및 보상은 종래의 동영상 부호화에 적용되는 움직임 추정 및 보상 방법이 적용될 수 있다.
한편, 이상과 같이 도 1을 통하여 설명된 움직임 추정 및 보상 방법에서의 참조 프레임에 대한 전처리 필터링은 부호화과정에 대한 것이며, 복호화과정에서도 움직임 추정 및 보상을 하기 위해 참조 프레임에 대해서 부호화 과정에서 적용된 전처리 필터링과 동일한 필터링이 수행되어야 할 것이다.
도 5는 본 발명에 따른 동영상 복호화시의 움직임 추정 및 보상 방법의 실시예를 설명하기 위한 순서도이다.
도 5를 참조하면, 본 발명에 따른 동영상 복호화시의 움직임 추정 및 보상 방법의 실시예는, 저역 통과 필터 집합 및 적응적 필터 집합 중 적어도 하나를 포함한 전처리 필터 집합의 구성 정보를 입수하는 단계(S510), 상기 전처리 필터 집합의 구성 정보를 참조하여 구성된 전처리 필터 집합을 참조 프레임에 적용하여 전처리 과정을 수행하는 단계(S520) 및 상기 전처리 과정이 수행된 참조 프레임을 이용하여 움직임 보상을 수행하는 단계(S530)를 포함하여 구성될 수 있다.
도 5를 통하여 설명되는 동영상 복호화시의 움직임 추정 및 보상 방법은 도 1을 통하여 부호화된 동영상을 복호화하는 과정 중에 적용될 수 있다. 즉, 도 1을 통하여 설명된 본 발명에 따른 움직임 추정 및 보상 방법이 동영상 부호화 과정에 적용되는 과정에서 적용된 전처리 필터 집합의 구성과 참조 프레임마다(또는 참조 프레임의 영역별로) 적용된 전처리 필터의 종류를 전달받아 부호화과정에서 적용된 전처리 필터와 동일한 전처리 필터를 복호화 과정에서 참조 프레임에 적용하도록 하는 것이 도 5에서 설명된 동영상 복호화시의 움직임 추정 및 보상 방법의 특징이다.
먼저, 저역 통과 필터 집합 및 적응적 필터 집합 중 적어도 하나를 포함한 전처리 필터 집합의 구성 정보를 입수하는 단계(S510)는 복호화기가 부호화 과정에서 적용된 전처리 필터 집합의 구성 정보를 부호화기로부터 입수하는 단계이다. 전처리 필터 집합의 구성 정보는 슬라이스 헤더(slice header)에 포함되어 부호화기로부터 입수되도록 구성될 수 있으며, 전처리 필터 집합의 구성 정보는 예컨대 표 1에서 예시한 바와 같이, 필터 집합의 타입, 필요시 필터의 계수값, 가우시안 저역 통과 필터의 경우라면 가우시안 함수의 평균과 분산값 등을 포함하여 구성될 수 있다.
한편, 전처리 필터 집합을 구성하는 저역 통과 필터 집합 및 적응적 필터 집합에 대해서는 도 1에서 설명된 동영상 부호화에 적용된 본 발명에 따른 방법의 단계(S120)에서 설명된 바 있으므로 자세한 설명은 생략된다.
다음으로, 전처리 과정을 수행하는 단계(S520)는 단계(S510)에서 입수한 전처리 필터 집합의 구성 정보를 참조하여 구성된 전처리 필터 집합을 참조 프레임에 적용하여 전처리 필터링을 참조 프레임에 대하여 수행하는 단계이다.
즉 전처리 과정을 수행하는 단계(S520)는 단계(S510)에서 입수한 전처리 필터 집합의 구성 정보를 참조하여 구성된 전처리 필터 집합으로부터 상기 참조 프레임의 부호화시에 적용된 전처리 필터의 종류를 파악하고 파악된 전처리 필터를 상기 구성된 전처리 필터 집합으로부터 선택하여 상기 참조 프레임에 대하여 적용하여 전처리 필터링을 수행하는 단계이다. 이때, 상기 참조 프레임에 대한 전처리 필터링은 상기 참조 프레임의 영역별(예컨대, 매크로블록 단위 또는 임의의 크기의 블록 단위)로 상기 전처리 필터 집합에 속한 전저리 필터를 선택적으로 적용하여 전처리 과정을 수행하도록 구성될 수 있다. 한편 상기 참조 프레임 또는 참조 프레임의 영역별로 적용되어야 하는 전처리 필터의 종류를 지정하는 비트는 부호화기로부터 참조 프레임 또는 참조 프레임의 영역별로 지정하여 전달되도록 구성될 수 있다.
마지막으로, 단계(S530)는 상기 단계(S520)에서 전처리 과정이 수행된 참조 프레임을 이용하여 움직임 보상을 수행하는 단계이다. 즉, 단계(S530)에서는 단계(S520)를 통하여 전처리 필터링된 참조 프레임을 이용하여 현재 프레임에 대한 움직임 추정 및 보상을 실시하게 되며, 단계(S530)에서의 움직임 추정 및 보상은 종래의 동영상 부호화에 적용되는 움직임 추정 및 보상 방법이 적용될 수 있다.
본 발명에 따른 루프 내 전처리 필터링이 적용된 부호화기 및 복호화기
도 6은 본 발명에 따른 루프 내 전처리 필터가 적용된 동영상 부호화기의 실시예를 설명하기 위한 블록도이다.
도 6을 참조하면, 본 발명에 따른 동영상 부호화기(600)는 프레임내(intra-frame) 예측과 프레임간(inter-frame) 예측을 분기하는 예측 분기부(610), 프레임내 예측을 수행하는 인트라 예측부(620), 프레임간 예측을 위해서 움직임 추정 및 보상을 수행하는 움직임 추정 및 보상부(630), 변환부(614), 양자화부(642), 엔트로피 부호화부(643), 역변환부(645), 역양자화부(644), 참조 프레임 버퍼(650) 및 참조 프레임에 대한 전처리 필터링을 수행하기 위한 루프 내 전처리 필터(660)를 포함하여 구성될 수 있다.
이때, 루프 내 전처리 필터(660)를 제외한 구성요소들은 종래 동영상 부호화기의 구성요소들과 동일한 역할을 수행하므로 자세한 설명은 생략된다. 본 발명에 따른 루프 내 전처리 필터가 적용된 움직임 추정 및 보상은 상술된 루프 내 전처리 필터(660)와 루프 내 전처리 필터(660)를 거친 참조 프레임과 현재 프레임을 이용하여 움직임 추정 및 보상을 수행하는 움직임 추정 및 보상부(630)에서 이루어지게 된다.
구체적으로는, 본 발명에 따른 동영상 부호화기는 도 1을 통하여 설명된 본 발명에 따른 루프 내 전처리 필터가 적용된 움직임 추정 및 보상 방법이 루프 내 전처리 필터(660)에서 단계(S110) 내지 단계(S130)가 수행되어지도록 구성되고, 움직임 추정 및 보상부(630)에서 단계(S140)가 수행되어지도록 구성될 수 있다.
도 7은 본 발명에 따른 루프 내 전처리 필터가 적용된 동영상 복호화기의 실시예를 설명하기 위한 블록도이다.
도 7을 참조하면, 본 발명에 따른 동영상 복호화기는 엔트로피 복호화부(711), 역양자화부(712), 역변환부(713), 프레임내(intra-frame) 예측과 프레임간(inter-frame) 예측을 분기하는 예측 분기부(720), 프레임내 예측을 수행하는 인트라 예측부(730), 프레임간 예측을 위해서 움직임 보상을 수행하는 움직임 보상부(740), 참조 프레임 버퍼(760) 및 참조 프레임에 대한 전처리 필터링을 수행하기 위한 루프 내 전처리 필터(750)를 포함하여 구성될 수 있다.
이때, 루프 내 전처리 필터(750)를 제외한 구성요소들은 종래 동영상 복호화기의 구성요소들과 동일한 역할을 수행하므로 자세한 설명은 생략된다. 본 발명에 따른 루프 내 전처리 필터가 적용된 움직임 보상은 상술된 루프 내 전처리 필터(750)와 루프 내 전처리 필터(750)를 거친 참조 프레임을 이용하여 움직임 벡터 정보를 토대로 현재 프레임에 대한 예측 프레임을 생성하는 움직임 보상부(740)에서 수행되게 된다. 또한, 움직임 보상부(740)에서 생성된 예측 프레임은 엔트로피 복호화부(711), 역양자화부(712) 및 역변환부(713)를 거쳐서 생성되는 차 프레임에 합산되어 현재 프레임을 생성하게 된다.
구체적으로는, 본 발명에 따른 동영상 복호화기는 도 5를 통하여 설명된 본 발명에 따른 루프 내 전처리 필터가 적용된 움직임 추정 및 보상 방법이 루프 내 전처리 필터(750)에서 단계(S510) 및 단계(S520)를 수행하도록 구성되고, 움직임 보상부(740)에서 단계(S530)를 수행하도록 구성될 수 있다.
한편, 도 6 및 도 7에서는 루프 내 전처리 필터와 움직임 추정 및 보상부를 별도의 구성요소로서 도시하고 있으나, 이는 기능적 구분을 위한 표현이며, 하나의 구성요소로서 구현될 수 있음은 당업자에게 있어 자명하다. 또한, 루프 내 전처리 필터와 움직임 추정 및 보상부는 전체 동영상 부호화기와 함께 ASIC(Application Specific Integrated Circuit)내의 일부 구성요소 또는 중앙처리장치에 의해서 독출되어 실행될 수 있는 소프트웨어 코드로서 구현될 수 있음도 당업자에게 있어 자명할 것이다.
H.264/ AVC 참조 소프트웨어에 의한 시뮬레이션 결과
하기 표 2는 본 발명에 따른 움직임 추정 및 보상 방법의 성능을 확인하기 위하여 상술된 실시예를 H.264/AVC 참조 소프트웨어에 구현한 결과이다.
성능을 비교하기 위하여 H.264/AVC High profile를 기준으로 하였다. 표의 BD-PSNR은 H.264/AVC High profile 대비 평균 PSNR의 차이를 나타낸 것이고, BD-RATE는 H.264/AVC High profile 대비 평균 Bit-rate 차이를 나타낸 것이다.
Size Sequence
BD-rate BD-PSNR
CIF Foreman -1.768 0.076
Mobile -0.089 0.004
Football -5.369 0.270
Coastgaurd -3.482 0.146
CIF Average -2.677 0.124
WVGA RaceHorses -1.811 0.082
Bqmall -2.747 0.122
Bastketballdrill -4.150 0.163
Keiba3 -3.462 0.153
Nuts5 -3.788 0.121
WVGA Average -3.192 0.128
HD Raven -15.548 0.672
Night -5.098 0.197
City -11.745 0.394
Bigship -9.640 0.275
HD Average -10.508 0.384
상기 표 2를 참조하면, 모든 해상도와 모든 샘플 시퀀스에 있어서 비트율의 감소(음의 BD-rate)와 화질의 향상(양의 BD-PSNR)을 얻을 수 있음을 확인 가능하며,
이 결과는 본 발명이 기존의 방법에 비해 높은 비트율 감소를 달성함으로써 압축효율을 향상 시킬수 있다는 것을 증명한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
600: 동영상 부호화기
610: 예측 분기부
620: 인트라 예측부
630: 움직임 추정 및 보상부
641: 변환부
642: 양자화부
643: 엔트로피 부호화부
644: 역양자화부
645: 역변환부
650: 참조 프레임 버퍼
660: 루프 내 전처리 필터

Claims (18)

  1. 동영상 부호화를 위한 움직임 추정 및 보상 방법으로서,
    현재 프레임과 참조 프레임을 이용하여 현재 프레임과 참조 프레임간의 영상 정보의 변화 정도를 추정하는 단계;
    상기 추정된 영상 정보의 변화 정도에 기반하여 저역 통과 필터 집합 및 적응적 필터 집합 중 적어도 하나를 포함하여 전처리 필터 집합을 구성하는 단계;
    상기 전처리 필터 집합을 상기 참조 프레임에 적용하여 전처리 과정을 수행하는 단계; 및
    상기 전처리 과정이 수행된 참조 프레임을 이용하여 움직임 추정 및 보상을 수행하는 단계를 포함한 움직임 추정 및 보상 방법.
  2. 제 1 항에 있어서,
    상기 영상 정보의 변화를 추정하는 단계는 영상의 블러(blur) 정도를 추정하여 상기 영상 정보의 변화 정도를 추정하는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  3. 제 1 항에 있어서,
    상기 영상 정보의 변화를 추정하는 단계는 상기 참조 프레임 내부의 모든 블록의 움직임 벡터 크기의 평균을 산출하고, 이에 기반하여 상기 영상 정보의 변화 정도를 추정하는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 전처리 필터 집합을 구성하는 단계에서 상기 저역 통과 필터 집합은 가우시안 저역 통과 필터(GLPF; Gaussian Low Pass Filter)들로 구성되는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  8. 제 7 항에 있어서,
    상기 저역 통과 필터 집합은 N(N은 자연수)*N의 정사각 형태 필터, N*1의 수직 방향 필터, 1*N의 수평 방향 필터 및 대각 방향 필터 중 적어도 둘 이상을 포함하여 구성되는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  9. 제 1 항에 있어서,
    상기 전처리 필터 집합을 구성하는 단계에서 상기 적응적 필터 집합은 현재 프레임과 참조 프레임에 대하여 정합 오차를 최소로 하는 최소 제곱 오차 필터를 포함하여 구성되는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  10. 제 9 항에 있어서,
    상기 적응적 필터 집합은
    상기 동영상 부호화가 단일 패스 부호화로 진행될 경우에는 현재 프레임보다 이전에 부호화된 프레임에서 계산된 적응적 필터들로 구성되며,
    상기 동영상 부호화가 다중 패스 부호화로 진행될 경우에는 현재 프레임보다 이전에 부호화된 프레임에서 계산된 적응적 필터들과 현재 프레임에서 계산된 적응적 필터들로 구성되는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  11. 제 1 항에 있어서,
    상기 전처리 과정을 수행하는 단계는
    상기 참조 프레임의 영역별로 상기 전처리 필터 집합에 속한 전저리 필터를 선택적으로 적용하여 전처리 과정을 수행하는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  12. 부호화된 동영상의 복호화를 위한 움직임 추정 및 보상 방법으로서,
    저역 통과 필터 집합 및 적응적 필터 집합 중 적어도 하나를 포함한 전처리 필터 집합의 구성 정보를 입수하는 단계;
    상기 전처리 필터 집합의 구성 정보를 참조하여 구성된 전처리 필터 집합을 참조 프레임에 적용하여 전처리 과정을 수행하는 단계; 및
    상기 전처리 과정이 수행된 참조 프레임을 이용하여 움직임 보상을 수행하는 단계를 포함한 움직임 추정 및 보상 방법.
  13. 제 12 항에 있어서,
    상기 전처리 필터 집합을 구성하는 저역 통과 필터 집합은,
    가우시안 저역 통과 필터(GLPF; Gaussian Low Pass Filter)들로 구성되는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  14. 제 13 항에 있어서,
    상기 저역 통과 필터 집합은 N(N은 자연수)*N의 정사각 형태 필터, N*1의 수직 방향 필터, 1*N의 수평 방향 필터 및 대각 방향 필터 중 적어도 둘 이상을 포함하여 구성되는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  15. 제 12 항에 있어서,
    상기 전처리 필터 집합을 구성하는 상기 적응적 필터 집합은 현재 프레임과 참조 프레임에 대하여 정합 오차를 최소로 하는 최소 제곱 오차 필터를 포함하여 구성되는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  16. 제 12 항에 있어서,
    상기 전처리 필터 집합의 구성 정보를 입수하는 단계에서 상기 전처리 필터 집합의 구성 정보는 슬라이스 헤더(slice header)에 포함되어 입수되는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  17. 제 12 항에 있어서,
    상기 전처리 과정을 수행하는 단계는 상기 구성된 전처리 필터 집합으로부터 상기 참조 프레임의 부호화시에 적용된 전처리 필터의 종류를 파악하고 파악된 전처리 필터를 상기 구성된 전처리 필터 집합으로부터 선택하여 상기 참조 프레임에 대하여 적용하는 것을 특징으로 하는 움직임 추정 및 보상 방법.
  18. 제 17 항에 있어서,
    상기 전처리 과정을 수행하는 단계는
    상기 참조 프레임의 영역별로 상기 전처리 필터 집합에 속한 전저리 필터를 선택적으로 적용하여 전처리 과정을 수행하는 것을 특징으로 하는 움직임 추정 및 보상 방법.
KR1020110047996A 2011-05-20 2011-05-20 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법 KR101247024B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110047996A KR101247024B1 (ko) 2011-05-20 2011-05-20 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110047996A KR101247024B1 (ko) 2011-05-20 2011-05-20 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법

Publications (2)

Publication Number Publication Date
KR20120129629A KR20120129629A (ko) 2012-11-28
KR101247024B1 true KR101247024B1 (ko) 2013-03-25

Family

ID=47514100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110047996A KR101247024B1 (ko) 2011-05-20 2011-05-20 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법

Country Status (1)

Country Link
KR (1) KR101247024B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693551B2 (en) 2011-11-16 2014-04-08 Vanguard Software Solutions, Inc. Optimal angular intra prediction for block-based video coding
US9106922B2 (en) * 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251629A (ja) 2000-03-06 2001-09-14 Kddi Corp シーン特性検出型動画像符号化装置
KR20080014481A (ko) * 2006-08-11 2008-02-14 엠텍비젼 주식회사 화질 개선 장치, 비디오 인코더 및 영상 신호 변환 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251629A (ja) 2000-03-06 2001-09-14 Kddi Corp シーン特性検出型動画像符号化装置
KR20080014481A (ko) * 2006-08-11 2008-02-14 엠텍비젼 주식회사 화질 개선 장치, 비디오 인코더 및 영상 신호 변환 방법

Also Published As

Publication number Publication date
KR20120129629A (ko) 2012-11-28

Similar Documents

Publication Publication Date Title
US20200296426A1 (en) In loop chroma deblocking filter
CN111819852B (zh) 用于变换域中残差符号预测的方法及装置
JP5266342B2 (ja) 映像イントラ予測方法及び装置
EP1596604B1 (en) Apparatus for coding/decoding and filtering method for the reduction of artifacts in reconstructed images
CN106170092B (zh) 用于无损编码的快速编码方法
KR100989296B1 (ko) 아티팩트 평가를 통한 향상된 이미지/비디오 품질
JP4677003B2 (ja) 動映像符号化及び復号化方法、並びにその装置
US7920628B2 (en) Noise filter for video compression
US8989256B2 (en) Method and apparatus for using segmentation-based coding of prediction information
US8638863B1 (en) Apparatus and method for filtering video using extended edge-detection
US20110280306A1 (en) Real-time video coding/decoding
KR102244315B1 (ko) 영상 부호화 방법 및 장치
US10142623B2 (en) Image encoding method using a skip mode, and a device using the method
CN108989802B (zh) 一种利用帧间关系的hevc视频流的质量估计方法及系统
US8780971B1 (en) System and method of encoding using selectable loop filters
JP2006519565A (ja) ビデオ符号化
EP2520094A2 (en) Data compression for video
KR20050091270A (ko) 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
JP2014082639A (ja) 画像符号化装置およびその方法
US8396127B1 (en) Segmentation for video coding using predictive benefit
KR101247024B1 (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법
CN113225558A (zh) 平滑定向和dc帧内预测
KR20040093253A (ko) １６×１６ 인트라 휘도 예측 모드 결정방법 및 장치
KR100708206B1 (ko) 동영상 복호화 방법과 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151214

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee