KR101369746B1 - 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치 - Google Patents

적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치 Download PDF

Info

Publication number
KR101369746B1
KR101369746B1 KR1020070046209A KR20070046209A KR101369746B1 KR 101369746 B1 KR101369746 B1 KR 101369746B1 KR 1020070046209 A KR1020070046209 A KR 1020070046209A KR 20070046209 A KR20070046209 A KR 20070046209A KR 101369746 B1 KR101369746 B1 KR 101369746B1
Authority
KR
South Korea
Prior art keywords
current block
reference picture
motion vector
pixels
peripheral
Prior art date
Application number
KR1020070046209A
Other languages
English (en)
Other versions
KR20080069110A (ko
Inventor
이교혁
이배근
손유미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP08704687A priority Critical patent/EP2127396A4/en
Priority to CN2008800094321A priority patent/CN101641960B/zh
Priority to PCT/KR2008/000147 priority patent/WO2008091068A1/en
Priority to US12/013,740 priority patent/US8737481B2/en
Publication of KR20080069110A publication Critical patent/KR20080069110A/ko
Application granted granted Critical
Publication of KR101369746B1 publication Critical patent/KR101369746B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

현재 블록의 주변 영역 및 대응되는 참조 픽처의 주변 영역을 이용하여 보간 필터를 생성하고 생성된 보간 필터를 이용하여 참조 영상을 보간하는 영상 부호화 방법 및 장치, 그 복호화 방법 및 장치가 개시된다. 본 발명에 따르면, 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 현재 블록의 주변 영역에 대응되는 참조 픽처의 주변 영역을 보간하고, 참조 픽처의 보간된 주변 영역과 현재 블록의 주변 영역 사이의 차이가 최소가 되도록 보간 필터 계수를 결정함으로써, 현재 블록의 움직임 보상을 위해 필요한 보간 필터를 그 주변 영역의 정보를 이용하여 적응적으로 생성한다.

Description

적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및 장치{Method and apparatus for Video encoding and decoding using adaptive interpolation filter}
도 1은 종래 기술에 따른 참조 영상 보간 과정을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 영상 부호화 장치의 구성을 나타낸 블록도이다.
도 3은 현재 블록에 대한 움직임 예측을 수행하는 과정을 설명하기 위한 도면이다.
도 4는 도 2의 움직임 예측부에서 분수 화소 해상도로 현재 블록에 대한 움직임 예측을 수행하는 과정을 설명하기 위한 도면이다.
도 5는 도 2의 보간 필터 생성부의 구체적인 구성을 나타낸 블록도이다.
도 6은 도 2의 보간 필터 생성부에서 보간 필터를 생성하는데 이용되는 현재 블록의 주변 영역, 참조 픽처의 주변 영역 및 참조 픽처의 보간된 주변 영역을 나타낸 도면이다.
도 7은 현재 블록의 움직임 벡터의 분수 화소 해상도에 따라서 참조 픽처의 주변 영역과 참조 픽처의 보간된 주변 영역을 나타낸 도면이다.
도 8은 본 발명에 따라서 참조 픽처의 주변 영역을 보간하는 과정의 일 실시예를 나타낸 도면이다.
도 9는 본 발명에 따라서 참조 픽처의 주변 영역을 보간하는 과정의 다른 실시예를 나타낸 도면이다.
도 10는 본 발명에 따라서 참조 픽처의 주변 영역을 보간하는 과정의 또 다른 실시예를 나타낸 도면이다.
도 11a는 현재 블록의 주변 영역의 일 예를 나타낸 도면이며, 도 11b는 도 11a의 현재 블록의 주변 영역에 대응되는 참조 픽처의 주변 영역을 보간하여 생성된 참조 픽처의 보간된 주변 영역의 일 예를 나타낸 도면이다.
도 12는 본 발명에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 13은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 14는 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
본 발명은 움직임 보상을 위해 참조 영상을 보간하는 보간 필터에 관한 것으로, 보다 상세하게는 현재 블록의 주변 영역 및 대응되는 참조 픽처의 주변 영역을 이용하여 보간 필터를 생성하고 생성된 보간 필터를 이용하여 참조 영상을 보간하는 영상 부호화 방법 및 장치, 그 복호화 방법 및 장치에 관한 것이다.
MPEG-1, MPEG-2, MPEG-4, H.264/MPEG-4 AVC(Advanced Video Coding)와 같은 영상 압축 방식에서는 영상을 부호화하기 위해서 하나의 픽처를 매크로 블록으로 나눈다. 그리고, 인터 예측 및 인트라 예측에서 이용가능한 모든 부호화 모드에서 각각의 매크로 블록을 부호화한 다음, 매크로 블록의 부호화에 소요되는 비트율과 원 매크로 블록과 복호화된 매크로 블록과의 왜곡 정도에 따라서 부호화 모드를 하나 선택하여 매크로 블록을 부호화한다.
인터 예측은 현재 부호화되는 픽처의 전방 또는 후방에 위치한 적어도 하나의 참조 픽처를 이용하여 현재 부호화되는 블록과 유사한 참조 픽처의 영역을 검색하여 움직임 벡터를 생성하고, 생성된 움직임 벡터를 이용한 움직임 보상을 수행하여 현재 블록의 예측 블록을 생성하는 것을 말한다.
움직임 보상은 예측의 정확성을 높이기 위해서 정수 화소 해상도보다 정밀한 분수 화소 해상도 단위로 수행된다. 예를 들어, 참조 픽처의 정수 화소 사이의 1/2 화소(half pel), 1/4 화소(quarter pel) 및 1/8 화소(one eighth pel) 등의 분수 화소를 생성하여 참조 픽처를 보간한 후, 보간된 참조 픽처를 이용하여 움직임 보상 예측을 수행한다.
도 1은 종래 기술에 따른 참조 영상 보간 과정을 설명하기 위한 도면이다. 도 1에서 정사각형으로 표시된 화소는 정수 화소를 나타내며, 원으로 표시된 화소는 정수 화소 사이의 1/2 화소를 나타낸다. 또한, 알파벳 대문자는 보간 전의 정수 화소를 나타내며, 알파벳 소문자는 1/2 화소를 나타낸 것이다.
도 1을 참조하면, 수평 방향으로 인접한 두 개의 정수 화소 사이에 위치한 1/2 화소들은 수평방향으로 6-탭 필터를 적용하여 생성된다. 예를 들어 수평 방향의 정수 화소 G 및 H 사이에 위치한 1/2 화소 c는 다음의 수학식; c=(E-5F+20G+20H-5I+J)/32 과 같이 보간되는 1/2 화소 c를 중심으로 수평방향에 위치한 6개의 정수 화소들에 6-탭 FIR(Finite Impulse Response) 필터를 적용하여 생성된다. 전술한 수학식에서 보간되는 1/2 화소 주변의 6개의 정수 화소들에 할당되는 가중치들 {1, -5, 20, 20, -5, 1}은 필터 계수라고 불린다.
유사하게 수직 방향으로 두 개의 정수 화소 사이에 위치한 1/2 화소들은 수직 방향으로 정수 화소들에 6-탭 FIR 필터를 적용하여 생성된다. 예를 들어 수직 방향의 정수 화소 G 및 M 사이에 위치한 1/2 화소 f는 다음의 수학식;f=(A-CF+20G+20M-5R+T)/32과 같이 상하로 인접한 6개의 정수 화소들에 6-탭 필터를 적용하여 생성된다. 미도시되었으나 1/4 화소는 주변에 인접한 정수 화소 또는 1/2 화소의 평균값을 구함으로써 계산된다.
종래 기술에 따르면 보간 필터의 필터 계수는 항상 고정되어 있다. 이는 블록마다 서로 다른 보간 필터를 적용하는 경우에는 영상 복원을 위해서 복호화단에 블록마다 적용된 필터 계수를 전송해야 하기 때문이다. 그러나, 부호화되는 블록들은 서로 다른 영상 특성을 가질 수 있으므로, 모든 블록에 동일한 보간 필터를 적용하여 움직임 보상 예측을 수행하는 것은 예측 성능에 있어서 비효율적일 수 있다.
본 발명이 해결하고자 하는 기술적 과제는 부호화되는 현재 블록의 주변 영역의 데이터와 대응되는 참조 픽처의 주변 영역의 데이터를 이용하여 적응적으로 보간 필터를 생성하는 영상 부호화 방법 및 장치, 그 복호화 방법 및 장치를 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 보간 필터 계수를 별도로 전송하지 않고서도 각 블록마다 적응적으로 보간 필터 계수를 생성하는 영상의 부호화, 복호화 방법 및 장치를 제공하는 것이다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 영상 부호화 방법은 부호화되는 현재 블록에 대하여 분수 화소 해상도로 움직임 예측을 수행하여 상기 현재 블록의 움직임 벡터를 생성하는 단계; 이전에 부호화된 후 복원된 상기 현재 블록의 주변 영역과 대응되는 참조 픽처의 주변 영역을 결정하는 단계; 상기 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 상기 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소를 보간하는 보간 필터로서, 상기 참조 픽처의 보간된 주변 영역과 대응되는 상기 현재 블록의 주변 영역 사이의 차이가 최소가 되도록 상기 참조 픽처의 주변 영역을 보간하는 보간 필터를 생성하는 단계; 및 상기 생성된 보간 필터를 이용하여 상기 분수 화소 해상도의 움직임 벡터가 가리키는 상기 현재 블록의 대응 블록을 보간하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 부호화 장치는 부호화되는 현재 블록에 대하여 분수 화소 해상도로 움직임 예측을 수행하여 상기 현재 블록의 움직임 벡터를 생성하는 움직임 예측부; 이전에 부호화된 후 복원된 상기 현재 블록의 주변 영역과 대응되는 참조 픽처의 주변 영역을 이용하여 상기 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 상기 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소를 보간하는 보간 필터로서, 상기 참조 픽처의 보간된 주변 영역과 대응되는 상기 현 재 블록의 주변 영역 사이의 차이가 최소가 되도록 상기 참조 픽처의 주변 영역을 보간하는 보간 필터를 생성하는 보간 필터 생성부; 및 상기 생성된 보간 필터를 이용하여 상기 분수 화소 해상도의 움직임 벡터가 가리키는 상기 현재 블록의 대응 블록을 보간하는 보간부를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 복호화 방법은 수신된 비트스트림으로부터 복호화되는 현재 블록의 움직임 벡터 정보를 추출하는 단계; 상기 추출된 현재 블록의 움직임 벡터가 분수 화소 해상도를 갖는 움직임 블록인 경우, 이전에 복호화된 상기 현재 블록의 주변 영역과 대응되는 참조 픽처의 주변 영역을 결정하는 단계; 상기 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 상기 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소를 보간하는 보간 필터로서, 상기 참조 픽처의 보간된 주변 영역과 대응되는 상기 현재 블록의 주변 영역 사이의 차이가 최소가 되도록 상기 참조 픽처의 주변 영역을 보간하는 보간 필터를 생성하는 단계; 및 상기 생성된 보간 필터를 이용하여 상기 분수 화소 해상도의 움직임 벡터가 가리키는 상기 현재 블록의 대응 블록을 보간하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 복호화 장치는 수신된 비트스트림으로부터 복호화되는 현재 블록의 움직임 벡터 정보를 추출하는 움직임 벡터 추출부; 상기 추출된 현재 블록의 움직임 벡터가 분수 화소 해상도를 갖는 움직임 블록인 경우, 이전에 복호화된 상기 현재 블록의 주변 영역과 대응되는 참조 픽처의 주변 영역을 이용하여 상기 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 상기 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소를 보간하는 보간 필터로서, 상기 참조 픽처의 보간된 주변 영역과 대응되는 상기 현재 블록의 주변 영역 사이의 차이가 최소가 되도록 상기 참조 픽처의 주변 영역을 보간하는 보간 필터를 생성하는 보간 필터 생성부; 및 상기 생성된 보간 필터를 이용하여 상기 분수 화소 해상도의 움직임 벡터가 가리키는 상기 현재 블록의 대응 블록을 보간하는 보간부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 2는 본 발명에 따른 영상 부호화 장치의 구성을 나타낸 블록도이다.
도 2를 참조하면, 본 발명에 따른 영상 부호화 장치(200)는 움직임 예측부(210), 참조 픽처 보간부(220), 저장부(230), 보간필터 생성부(240), 보간부(250), 움직임 보상부(260), 감산부(270), 부호화부(280) 및 복원부(290)를 포함한다.
움직임 예측부(210)는 참조 픽처의 데이터를 이용하여 움직임 예측을 수행함으로써 현재 블록의 움직임 벡터를 생성한다.
도 3은 현재 블록에 대한 움직임 예측을 수행하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 움직임 예측부(210)는 현재 픽처(310)의 부호화되는 현재 블록(311)과 공간적으로 동일한 위치에 있는 참조 픽처(320)의 대응 블록(321)을 중심으로 소정 범위 내의 주변 화소를 포함하는 검색 영역(322) 내에서 현재 블록(311)과 가장 유사한 대응 블록을 찾고, 현재 블록(311)과 가장 유사한 대응 블 록 사이의 위치 차이에 기반하여 움직임 벡터를 생성한다. 여기서, 참조 픽처(320)로는 저장부(230)에 저장된 정수 화소 단위의 참조 픽처 뿐만이 아니라, 참조 픽처 보간부(220)에서 1/2 화소, 1/4 화소 및 1/8 화소 등의 분수 화소 해상도로 보간된 참조 픽처가 이용된다.
참조 픽처 보간부(220)는 종래 기술에 따른 6-탭 FIR(Finite Impulse Response) 필터, 2-탭 평균값 필터 및 선형 보간 필터 등을 이용하여 저장부(230)에 저장된 참조 픽처를 보간한다. 구체적으로 참조 픽처 보간부(220)는 {1, -5, 20, 20, -5, 1}의 필터 계수를 갖는 6-탭 FIR 필터를 이용하여 1/2 화소를 보간하고, 주변에 인접한 정수 화소 또는 1/2 화소의 평균값을 구하는 2-탭 평균값 필터를 이용하여 1/4 화소를 보간한다. 또한 참조 픽처 보간부(220)는 주변 정수 화소로부터의 거리에 따른 계수를 이용한 선형 보간을 통해 1/8 화소를 보간한다. 6-탭 FIR 필터, 2-탭 평균값 필터 및 선형 보간 필터는 종래 기술에 따른 보간 필터를 이용하면 되므로 구체적인 설명은 생략한다.
도 4는 도 2의 움직임 예측부(210)에서 분수 화소 해상도로 현재 블록에 대한 움직임 예측을 수행하는 과정을 설명하기 위한 도면이다. 도 4에서는 1/2 화소 해상도로 보간된 참조 픽처의 검색 영역(40) 내에서 현재 블록과 가장 유사한 대응 블록(42)을 탐색하는 과정의 일 예를 도시하였다. 또한, 도 4에서 점선으로 표시된 블록(41)은 참조 픽처에서 현재 블록과 공간적으로 동일한 위치의 블록을 나타낸다.
도 4를 참조하면, 1/2 화소 해상도로 보간된 참조 픽처의 검색 영역(40) 내 에서 현재 블록과 가장 유사한 대응 블록(42)이 결정되었다고 가정하면, 움직임 예측부(210)는 참조 픽처에서 현재 블록과 공간적으로 동일한 위치의 블록(41)과 결정된 대응 블록(42)의 공간적 위치 차이를 계산하여 현재 블록의 움직임 벡터(43)를 계산한다. 도 4의 경우 현재 블록의 좌상측 모서리의 정수 화소와 대응 블록(42)의 좌상측 모서리의 1/2 화소 사이의 위치를 기준으로 계산하면 현재 블록의 움직임 벡터(43)는 (4.5, -3)가 된다. 도 4에서는 1/2 화소 해상도를 갖는 움직임 벡터를 예시하였으나, 현재 블록의 움직임 벡터는 참조 픽처의 보간된 해상도에 따라서 1/2n(n은 양의 정수) 화소 해상도를 갖을 수 있다.
도 5는 도 2의 보간 필터 생성부(240)의 구체적인 구성을 나타낸 블록도이고, 도 6은 도 2의 보간 필터 생성부(240)에서 보간 필터를 생성하는데 이용되는 현재 블록의 주변 영역, 참조 픽처의 주변 영역 및 참조 픽처의 보간된 주변 영역을 나타낸 도면이다.
도 5 및 도 6을 참조하면, 보간 필터 생성부(240)는 참조 픽처 주변 영역 보간부(241) 및 필터 계수 결정부(242)를 포함한다.
참조 픽처 주변 영역 보간부(241)는 움직임 예측부(210)에서 생성된 현재 블록(601)의 움직임 벡터가 분수 화소 해상도를 갖는 경우, 이전에 부호화된 후 복원된 현재 블록(601)의 주변 영역(602) 및 대응되는 참조 픽처(610)의 주변 영역(611)을 이용하여 현재 블록(601)의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 참조 픽처(610)의 주변 영역(611)의 정수 화소 사이의 분수 화소를 보간한다. 만약, 현재 블록의 움직임 벡터의 수평 방향 성분 및 수직 방향 성분이 모두 정수값을 갖는다면 움직임 벡터가 가리키는 참조 픽처의 대응 블록을 그대로 이용할 수 있으므로 보간 과정은 생략된다.
래스터(raster) 스캔 순서에 따라서 좌에서 우, 위에서 아래의 순서로 현재 픽처(600)를 구성하는 각 블록들을 부호화한다고 가정하면, 이전에 부호화된 후 복원된 현재 블록(601)의 주변 영역(602)은 도 6에 도시된 바와 같이 현재 블록(601)의 좌측 및 상측에 위치한 화소들을 포함하는 소정 크기의 영역이 된다. 여기서, 참조 픽처(610)의 주변 영역(611)은 현재 블록(601)의 움직임 벡터나 현재 블록(601)의 주변 영역(602)이 갖는 움직임 벡터를 이용하여 결정될 수 있다. 즉, 현재 블록(601)의 움직임 벡터를 현재 블록(601)의 주변 영역(602)에 그대로 적용하여 참조 픽처(610)에서 대응되는 주변 영역(611)을 결정하거나, 현재 블록(601)의 주변 영역(602)을 구성하는 블록들의 움직임 벡터들을 이용하여 참조 픽처(610)의 대응되는 주변 영역(611)을 결정할 수 있다.
현재 블록(601)의 움직임 벡터나 현재 블록(601)의 주변 영역(602)이 갖는 움직임 벡터가 분수 화소 해상도를 갖는 경우, 반올림 함수 또는 반내림 함수를 이용하여 움직임 벡터의 수평 방향 성분 및 수직 방향 성분 중 분수 화소 해상도를 갖는 성분을 정수로 변환하고, 변환된 움직임 벡터를 이용하여 참조 픽처(610)의 주변 영역(612)을 결정한다. 예를 들어, 현재 블록(601)의 움직임 벡터를 이용하여 현재 블록(601)의 주변 영역(602)과 대응되는 참조 픽처(610)의 주변 영역(611)을 결정하는 경우 현재 블록(601)의 움직임 벡터가 (-1.25, 4.75)라고 하면, 반올 림 함수를 이용하여 현재 블록(601)의 움직임 벡터를 (-1, 5)로 변환하고 현재 블록(601)의 주변 영역(602)에 변환된 움직임 벡터를 적용하여 참조 픽처(610)의 주변 영역(611)을 결정할 수 있다. 이러한 움직임 벡터의 변환 과정은 참조 픽처(610)의 주변 영역(611)을 결정할 때의 보간 과정을 생략하기 위한 것이다.
필터 계수 결정부(242)는 참조 픽처(610)의 보간된 주변 영역(612)과 현재 블록(601)의 주변 영역(602)에 구비된 대응 화소들 사이의 차이값의 합을 계산한 다음, 이 차이값의 합이 최소가 되는 보간 필터 계수를 결정한다. 일 예로 필터 계수 결정부(242)는 제곱 에러합(Sum of Squared Error)을 이용하여 참조 픽처(610)의 보간된 주변 영역(612)의 각 화소들과 현재 블록(601)의 주변 영역(602)의 대응되는 각 화소들의 차이값을 제곱한 후 더한 다음, 제곱 에러합을 각 보간 필터 계수들에 대하여 편미분하고 편미분된 제곱 에러합이 0이 되도록 하는 보간 필터 계수를 최종적인 보간 필터 계수로 결정할 수 있다.
도 7은 현재 블록의 움직임 벡터의 분수 화소 해상도에 따라서 참조 픽처의 주변 영역과 참조 픽처의 보간된 주변 영역을 나타낸 도면이다. 도 7에서 도면 부호 711로 표시된 영역은 현재 블록의 주변 영역과 대응되는 참조 픽처의 주변 영역을 나타내며, 도면 부호 712로 표시된 영역은 참조 픽처의 주변 영역(711)의 정수 화소 사이의 1/2 화소를 보간하여 생성된 참조 픽처의 보간된 주변 영역을 나타낸다. 또한, 도 7에서 O는 정수 화소를 나타내며, x는 1/2 화소를 나타낸다.
현재 블록의 움직임 벡터가 (0.5, 0)과 같이 수평 방향으로 1/2 화소 해상도를 갖는다고 가정하면, 현재 블록의 움직임 보상값을 획득하기 위해서는 참조 픽처 의 수평 방향으로 인접한 정수 화소 사이의 1/2 화소를 보간하여야 한다. 이러한 경우 종래 기술에 따르면 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 블록을 고정된 필터 계수를 갖는 6-탭 FIR 필터를 이용하여 보간하였다. 도 7을 참조하면, 본 발명에 따른 참조 픽처 주변 영역 보간부(241)는 현재 블록과 대응되는 참조 픽처 영역을 직접 보간하는 것이 아니라, 먼저 현재 블록의 주변 영역과 대응되는 참조 픽처의 주변 영역(711)의 수평 방향으로 인접한 정수 화소 사이의 1/2 화소를 보간한다.
도 8은 본 발명에 따라서 참조 픽처의 주변 영역을 보간하는 과정의 일 실시예를 나타낸 도면이다.
도 8을 참조하면, 전술한 도 7에서와 같이 현재 블록의 움직임 벡터의 수평 방향 성분만이 분수 화소 해상도를 갖는 경우, 참조 픽처 주변 영역 보간부(241)는 참조 픽처의 주변 영역의 보간될 분수 화소(801)를 중심으로 수평 방향으로 인접한 N개(N은 양의 정수)의 정수 화소들에 가중치를 할당하는 Nx1 크기의 마스크(800)를 결합하고, 마스크(800) 내에 구비된 N개의 주변 정수 화소들과 할당된 가중치를 곱한 후 더함으로써 분수 화소(801)의 보간값을 생성한다.
예를 들어, N=6, 보간될 분수 화소(801)를 중심으로 좌우로 인접한 6개의 주변 정수 화소들을 D1,D2,D3,D4,D5,D6라고 하고, 주변 정수 화소들(D1,D2,D3,D4,D5,D6) 각각에 할당되는 가중치를 W1,W2,W3,W4,W5,W6라고 하면 분수 화소(801)의 보간값 p는 다음의 수학식 1과 같다.
Figure 112007035174618-pat00001
참조 픽처 주변 영역 보간부(241)는 수학식 1과 같이 참조 픽처의 주변 영역의 정수 화소들에 소정의 가중치를 할당하고 주변 정수 화소들과 할당된 가중치를 곱한 후 더함으로써 현재 블록의 주변 영역에 대응되는 참조 픽처의 보간된 주변 영역을 생성한다.
도 9는 본 발명에 따라서 참조 픽처의 주변 영역을 보간하는 과정의 다른 실시예를 나타낸 도면이다.
도 9을 참조하면, 현재 블록의 움직임 벡터의 수평 방향 성분 및 수직 방향 성분 중에서 수직 방향의 성분만이 분수 화소 해상도를 갖는 경우, 참조 픽처 주변 영역 보간부(241)는 참조 픽처의 주변 영역의 보간될 분수 화소(901)를 중심으로 수직 방향으로 인접한 M개(M은 양의 정수)의 정수 화소들에 가중치를 할당하는 1xM 크기의 마스크를 결합하고, 마스크 내에 구비된 M개의 주변 정수 화소들과 할당된 가중치를 곱한 후 더함으로써 분수 화소(901)의 보간값을 생성한다.
예를 들어, 현재 블록의 움직임 벡터가 (3, 0.5)로서 수직 방향 성분만이 분수 화소 해상도를 갖는다고 가정한다. 또한 M=6, 보간될 분수 화소(901)를 중심으로 상하로 인접한 6개의 주변 정수 화소들을 D7,D8,D9,D10,D11,D12, 주변 정수 화소들(D7,D8,D9,D10,D11,D12) 각각에 할당되는 가중치를 W7,W8,W9,W10,W11,W12라고 하면, 분수 화소(901)의 보간값 q는 다음의 수학식 2와 같다.
Figure 112007035174618-pat00002
도 10는 본 발명에 따라서 참조 픽처의 주변 영역을 보간하는 과정의 또 다른 실시예를 나타낸 도면이다.
도 10을 참조하면, 현재 블록의 움직임 벡터의 수평 방향 성분 및 수직 방향 성분이 모두 분수 화소 해상도를 갖는 경우, 참조 픽처 주변 영역 보간부(241)는 참조 픽처의 주변 영역의 보간될 분수 화소(1001)를 중심으로 주변의 정수 화소들에 가중치를 할당하는 NxM 크기의 마스크(1000)를 결합하고, 마스크 내에 구비된 NxM개의 주변 정수 화소들과 할당된 가중치를 곱한 후 더함으로써 분수 화소(1001)의 보간값을 생성한다.
예를 들어, 현재 블록의 움직임 벡터가 (3.5, 0.5)로서 수평 방향 및 수직 방향의 성분 모두가 분수 화소 해상도를 갖는다고 가정한다. 이 경우 참조 픽처의 주변 영역의 정수 화소들 사이의 보간될 분수 화소(1001)를 중심으로 NxM 크기의 마스크를 결합하고, 결합된 NxM 마스크 내부의 (i,j)(i=1,..,N, j=1,..., M) 위치의 주변 정수 화소를 Dij, 주변 정수 화소(Dij)에 할당되는 가중치를 Wij라고 하면, 분수 화소(1001)의 보간값 r은 다음의 수학식 3과 같다.
Figure 112007035174618-pat00003
현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 참조 픽처의 주변 영역을 보간하는 과정은 전술한 실시예에 한정되지 않고 다양한 형태로 변경될 수 있다. 예를 들어, NxM 크기의 마스크를 이용한 참조 픽처의 주변 영역을 보간과정은 현재 블록의 움직임 벡터의 수평 방향 및 수직 방향의 움직임 벡터 성분 중 어느 하나만이 분수 화소 해상도를 갖는 경우에도 적용될 수 있다. 또한, 현재 블록의 움직임 벡터의 수평 방향 및 수직 방향 성분 모두가 분수 화소 해상도를 갖는경우, Nx1 크기의 마스크를 적용하여 수평 방향으로 인접한 정수 화소 사이의 분수 화소를 보간하고 1xM 크기의 마스크를 적용하여 수직 방향으로 인접한 정수 화소 사이의 분수 화소를 보간할 수 있다.
도 11a는 현재 블록의 주변 영역의 일 예를 나타낸 도면이며, 도 11b는 도 11a의 현재 블록의 주변 영역에 대응되는 참조 픽처의 주변 영역을 보간하여 생성된 참조 픽처의 보간된 주변 영역의 일 예를 나타낸 도면이다. 도 11a 및 도 11b에서 Pij는 (i,j)에 위치한 현재 블록의 주변 영역(1110)의 화소값을 나타내며, Pij'는 (i,j)에 위치한 현재 블록의 주변 영역의 화소에 대응되는 참조 픽처의 보간된 주변 영역(1120)의 화소값을 나타낸다.
도 11a 및 도 11b를 참조하면, 참조 픽처 주변 영역 보간부(241)에서 현재 블록의 움직임 벡터의 분수 화소 해상도에 따라서 참조 픽처의 주변 영역의 정수 화소들 사이의 분수 화소를 보간함으로써 참조 픽처의 보간된 주변 영역(1120)이 생성되면, 필터 계수 결정부(242)는 참조 픽처의 보간된 주변 영역(1120)과 현재 블록의 주변 영역(1110) 내의 대응되는 화소들 사이의 차이값, 즉 Pij-Pij'을 계산하고, 이 차이값에 기초하여 현재 블록의 주변 영역(1110)의 화소들과 대응되는 참조 픽처의 주변 영역의 보간된 분수 화소들 사이의 오차값의 합(E)을 계산한다. 전술한 바와 같이 제곱 에러합을 이용하는 경우, 필터 계수 결정부(242)는 다음의 수학식;
Figure 112007035174618-pat00004
과 같이 대응되는 화소들 사이의 차이값의 제곱합을 계산한다. 그리고, 필터 계수 결정부(242)는 오차값의 합(E)이 최소가 되는 마스크의 가중치를 결정한다. 오차값의 합(E)이 최소가 되는 마스크의 가중치는 주변 정수 화소들에 할당된 가중치를 변수로 하여 오차값의 합(E)을 편미분하고, 편미분된 오차값의 합(E)이 0이 되도록 하는 가중치를 계산함으로써 결정될 수 있다. 결정된 가중치는 보간 필터의 필터 계수에 해당되며, 결정된 필터 계수를 갖는 보간 필터를 적용하여 현재 블록에 대응되는 참조 픽처의 대응 블록을 보간한다.
참조 픽처의 주변 영역의 보간을 위해 적용되는 NxM 크기의 마스크 내부의 가중치를 결정하는 과정을 일반화하면 다음과 같다.
전술한 바와 같이 마스크 내부의 가중치는 참조 픽처의 보간된 주변 영역과 대응되는 현재 블록의 주변 영역의 화소들 사이의 오차값의 합이 최소가 되도록 결정되어야 한다.
시각 t에서의 현재 픽처의 부호화되는 현재 블록의 주변 영역을
Figure 112007035174618-pat00005
, 현재 블록의 주변 영역에 대응되는 참조 픽처의 보간된 주변 영역을
Figure 112007035174618-pat00006
, N×M 크기를 갖는 마스크 내부의 (i,j) 위치(i=1,...,N, j=1,...,M)에서의 필터의 가중치를
Figure 112007035174618-pat00007
, 현재 블록의 주변 영역(
Figure 112007035174618-pat00008
)과 참조 픽처의 보간된 주변 영 역(
Figure 112007035174618-pat00009
)의 차이값을
Figure 112007035174618-pat00010
라고 하면, 현재 블록의 주변 영역(
Figure 112007035174618-pat00011
)은 참조 픽처의 보간된 주변 영역(
Figure 112007035174618-pat00012
)과 차이값(
Figure 112007035174618-pat00013
)을 이용하여 다음의 수학식 4와 같이 표현된다.
Figure 112007035174618-pat00014
한편, 참조 픽처의 보간된 주변 영역(
Figure 112007035174618-pat00015
)은 다음 수학식 5와 같이 현재 블록의 움직임 벡터(mvt) 등을 이용하여 결정된 참조 픽처(Dt-1)의 주변 영역의 정수 화소들에 NxM 크기의 마스크를 결합하고, (i,j) 위치에서의 필터의 가중치
Figure 112007035174618-pat00016
와 마스크 내부에 구비된 참조 픽처의 주변 영역의 정수 화소를 곱한 후 더하는 가중합을 통해 계산될 수 있다. 여기서, 움직임 벡터(mvt)는 반올림 함수 또는 반내림 함수를 이용하여 정수 화소 단위로 변환된 벡터로서 현재 블록의 움직임 벡터 등이 그대로 이용될 수 있다.
Figure 112007035174618-pat00017
전술한 바와 같이, 마스크의 가중치(
Figure 112007035174618-pat00018
)는 현재 블록의 주변 영역과 참조 픽처의 보간된 주변 영역 사이의 오차값의 합이 최소가 되도록 결정되어야 한다. 오차값의 합으로서 제곱 에러합을 적용하는 경우, 제곱 에러합(SSE)은 다음의 수학식 6과 같이 계산된다.
Figure 112007035174618-pat00019
다음의 수학식 7과 같이 제곱 에러합(SSE)를 N×M 크기를 갖는 마스크 내부의 임의의 (k,l) 위치의 가중치
Figure 112007035174618-pat00020
에 대하여 편미분하고, 편미분한 값이 0이 되는 가중치들을 결정함으로써, 제곱 에러합(SSE)이 최소가 되는 가중치를 결정할 수 있다.
Figure 112007035174618-pat00021
Figure 112007035174618-pat00022
수학식 7을 상호 상관 관계(cross correlation)를 나타내는 소정의 연산자(C)를 이용하여 표현하면 다음의 수학식 8과 같다.
Figure 112007035174618-pat00023
수학식 8에서
Figure 112007035174618-pat00024
,
Figure 112007035174618-pat00025
라고 하면, 수학식 8은 다음의 수학식 9와 같다.
Figure 112007035174618-pat00026
수학식 9를 행렬식으로 표현하면 다음의 수학식 10과 같다.
Figure 112007035174618-pat00027
수학식 10에서 가중치를 나타내는 1차원 행렬식(W1xMN)을 기준으로 정리하면 다음의 수학식 11과 같다.
Figure 112007035174618-pat00028
즉, 본 발명에 따른 N×M 크기를 갖는 마스크 내부의 NM개의 가중치들은 각 가중치들을 매개변수로 하여, 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소들을 보간한 다음, 참조 픽처의 보간된 주변 영역과 현재 블록의 주변 영역 사이 의 차이값의 제곱합을 편미분하고, 편미분된 제곱합이 0이 되는 가중치를 계산함으로써 결정될 수 있다.
다시 도 2를 참조하면, 보간부(250)는 보간 필터 생성부(240)에서 생성된 보간 필터를 이용하여 현재 블록에 대응되는 참조 픽처 영역을 보간한다. 움직임 보상부(260)는 보간된 참조 픽처로부터 현재 블록의 움직임 벡터가 가리키는 현재 블록의 움직임 보상값을 획득함으로써 현재 블록의 예측 블록을 생성한다.
감산부(270)는 예측 블록과 원 입력 블록 사이의 차이값인 레지듀얼 블록을 계산한다. 부호화부(280)는 레지듀얼 블록을 변환, 양자화 및 엔트로피 부호화하여 비트스트림을 생성한다. 또한, 부호화부(280)는 생성된 비트스트림의 소정 영역에 현재 블록의 움직임 벡터 정보와 함께 전술한 본 발명에 따라서 생성된 보간 필터를 이용하여 현재 블록의 대응 블록을 보간하였는지를 나타내는 이진 정보를 삽입한다. 즉, 종래 기술에 따라 참조 픽처를 보간할 때는 '0', 본 발명에 따라서 주변 영역의 데이터를 이용하여 보간 필터를 생성하여 참조 픽처를 보간할 때는 '1'의 값을 갖는 1비트의 플래그를 비트스트림에 삽입함으로써, 복호화단에서 보간 필터 생성 여부를 결정할 수 있도록 한다. 본 발명에 따르면 블록마다 적응적으로 보간 필터를 생성할 것인지 여부만을 복호화단에 알리면, 복호화단에서는 부호화단에서와 동일한 과정을 통해서 현재 블록의 움직임 보상에 이용되는 참조 픽처의 보간을 위한 보간 필터를 생성할 수 있다.
도 12는 본 발명에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 12를 참조하면, 단계 1210에서 현재 블록에 대하여 분수 화소 해상도로 움직임 예측을 수행하여 현재 블록의 움직임 벡터를 생성한다. 전술한 바와 같이, 현재 블록의 움직임 벡터는 종래 기술에 따른 6-탭 FIR(Finite Impulse Response) 필터, 2-탭 평균값 필터 및 선형 보간 필터 등을 이용하여 참조 픽처의 검색 영역을 보간한 다음 현재 블록과 가장 유사한 블록을 탐색함으로써 결정될 수 있다.
단계 1220에서, 현재 블록의 주변 영역과 대응되는 참조 픽처의 주변 영역을 결정한다. 참조 픽처의 주변 영역은 현재 블록의 움직임 벡터를 현재 블록의 주변 영역에 적용하거나, 또는 주변 영역이 갖는 움직임 벡터를 이용하여 결정될 수 있다.
단계 1230에서, 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소를 보간한다. 전술한 바와 같이, 현재 블록의 움직임 벡터의 성분 중 수평 방향의 성분만이 분수 화소 해상도를 갖는 경우에는 Nx1 크기의 마스크 또는 NxM 크기의 마스크를 이용하여 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소를 보간한다. 또한, 현재 블록의 움직임 벡터의 성분 중 수직 방향의 성분만이 분수 화소 해상도를 갖는 경우에는 1xM 크기의 마스크 또는 NxM 크기의 마스크를 이용하여 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소를 보간한다. 현재 블록의 움직임 벡터의 수평 방향 및 수직 방향 성분 모두가 분수 화소 해상도를 갖는 경우에는 NxM 크기의 마스크를 이용하여 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소를 보간하거나, Nx1 크기의 마스크를 적용하여 수평 방향으로 인접한 정수 화소 사이의 분수 화소를 보간하고 1xM 크기의 마스크를 적용하여 수직 방향으로 인접한 정수 화소 사이의 분수 화소를 보간할 수 있다.
단계 1240에서, 참조 픽처의 보간된 주변 영역과 대응되는 현재 블록의 주변 영역 사이의 차이가 최소가 되는 가중치, 즉 필터 계수를 결정한다. 전술한 바와 같이, 제곱 에러합 등을 이용하여 현재 블록의 주변 영역의 화소들과 대응되는 참조 픽처의 주변 영역의 보간된 분수 화소들 사이의 오차값의 합을 계산한 다음, 오차값의 합을 가중치를 매개 변수로 하여 편미분하고, 편미분된 오차값의 합이 0이 되는 가중치를 결정함으로써 현재 블록에 대응되는 참조 픽처의 대응 블록의 보간을 위한 보간 필터 계수를 결정할 수 있다.
단계 1250에서, 결정된 보간 필터 계수를 갖는 보간 필터를 이용하여 현재 블록의 대응 블록을 보간한다. 다음, 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 블록을 획득함으로써 현재 블록의 예측 블록을 생성하고, 예측 블록과 원화소 블록의 차이값인 레지듀얼 블록을 변환, 양자화 및 엔트로피 부호화하여 비트스트림을 생성한다. 생성된 비트스트림의 소정 영역에는 움직임 벡터 정보 및 본 발명에 따라서 생성된 보간 필터를 이용하여 보간된 참조 픽처를 이용한 움직임 블록인지를 나타내는 소정의 이진 정보를 비트스트림에 삽입한다.
도 13은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 13을 참조하면, 본 발명에 따른 영상 복호화 장치(1300)는 엔트로피 디코더(1310), 재정렬부(1315), 역양자화부(1320), 역변환부(1325), 가산부(1330), 보간 필터 생성부(1335), 보간부(1340), 움직임 보상부(1345) 및 인트라 예측부(1350)를 포함한다.
엔트로피 디코더(1310)는 압축된 비트스트림을 수신하여 엔트로피 복호화를 수행하여 양자화된 계수를 생성하는 한편 복호화되는 현재 블록의 움직임 벡터 정보 및 본 발명에 따른 적응적 보간 필터의 적용여부를 나타내는 이진 정보 등을 추출한다. 재정렬부(1315)는 양자화된 계수를 재정렬하며, 역양자화부(1320) 및 역변환부(1325)는 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 레지듀얼을 복원한다.
보간 필터 생성부(1335)는 추출된 현재 블록의 움직임 벡터가 분수 화소 해상도를 갖는 움직임 블록인 경우, 이전에 복호화된 현재 블록의 주변 영역과 대응되는 참조 픽처의 주변 영역을 이용하여 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소를 보간하는 보간 필터로서, 참조 픽처의 보간된 주변 영역과 대응되는 현재 블록의 주변 영역 사이의 차이가 최소가 되도록 참조 픽처의 주변 영역을 보간하는 보간 필터를 생성한다. 도 13의 보간 필터 생성부(1335)의 구성 및 동작은 도 2의 보간 필터 생성부(240)와 동일한 바 구체적인 설명은 생략한다.
보간부(1340)는 보간 필터 생성부(1335)에서 생성된 보간 필터를 이용하여 현재 블록과 대응되는 참조 픽처 영역을 보간한다.
움직임 보상부(1345)는 보간된 참조 픽처로부터 현재 블록의 움직임 보상값을 획득하고, 가산부(1330)는 현재 블록의 움직임 보상값과 복원된 레지듀얼을 더하여 현재 블록을 복원한다.
도 14는 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
도 14를 참조하면, 단계 1410에서 수신된 비트스트림으로부터 현재 블록의 움직임 벡터를 추출한다.
단계 1420에서, 추출된 움직임 벡터가 분수 화소 해상도를 갖는 경우, 이전에 복호화된 현재 블록의 주변 영역과 대응되는 참조 픽처의 주변 영역을 결정한다. 참조 픽처의 주변 영역은 현재 블록의 움직임 벡터를 현재 블록의 주변 영역에 적용하거나, 주변 영역이 갖는 움직임 벡터를 이용함으로써 결정될 수 있다.
단계 1430에서, 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 참조 픽처의 주변 영역의 정수 화소 사이의 분수 화소를 보간한다. 전술한 바와 같이, 참조 픽처의 주변 영역의 정수 화소들 사이의 보간하고자 하는 분수 화소를 중심으로 그 주변 정수 화소들에 가중치를 할당하는 소정 크기의 마스크를 결합하고, 마스크 내에 구비된 주변 정수 화소들과 할당된 가중치를 곱한 후 더하는 가중합을 계산함으로써 분수 화소를 보간한다. 이 경우 보간된 분수 화소는 가중치들을 매개 변수로 하는 함수 형태로 표현된다.
단계 1440에서, 참조 픽처의 보간된 주변 영역과 대응되는 현재 블록의 주변 영역 사이의 차이가 최소가 되는 가중치, 즉 필터 계수를 결정한다. 예를 들어, 제곱 에러합 등을 이용하여 현재 블록의 주변 영역의 화소들과 대응되는 참조 픽처의 주변 영역의 보간된 분수 화소들 사이의 오차값의 합을 계산한 다음, 가중치를 매개 변수로 하여 오차값의 합을 편미분하고, 편미분된 오차값의 합이 0이 되는 가중치를 결정함으로써 보간 필터 계수를 결정할 수 있다.
단계 1450에서 결정된 보간 필터 계수를 갖는 보간 필터를 이용하여 현재 블 록의 대응 블록을 보간한다. 다음, 보간된 참조 픽처를 이용하여 현재 블록의 움직임 보상값을 획득하고, 움직임 보상값과 레지듀얼을 합하여 현재 블록을 복원한다.
전술한 본 발명에 따른 보간 필터는 종래 기술에 따른 보간 필터와 함께 적응적으로 이용될 수 있다. 즉, 부호화 장치에서 종래 기술에 따라 보간된 참조 픽처를 이용하여 생성된 비트스트림과 본 발명에 따라 보간된 참조 픽처를 이용하여 생성된 비트스트림의 율-왜곡 코스트(Rate-Distortion Cost)를 비교하여 더 작은 코스트를 갖는 비트스트림을 생성하는데 이용된 보간 필터를 최종적으로 적용되는 보간 필터로 결정할 수 있다. 또한, 본 발명에 따른 보간 필터는 종래 보간 필터 전체를 대체하거나, 일부만을 대체할 수도 있으며, 종래 보간 필터에 부가되어 사용될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 본 발명에 따르면 각 블록마다 적응적으로 보간 필터를 생성하여 움직임 예측 보상을 수행함으로써 움직임 보상값과 원 영상 데이터의 차이를 감소시켜, 부호화되는 레지듀얼 데이터의 크기를 줄이고 영상의 압축 효율을 향상시킬 수 있다.
또한, 본 발명에 따르면 보간 필터 계수 전체를 전송하지 않고서도 이전에 부호화된 주변 영역의 데이터를 이용하여 적응적으로 보간 필터 계수를 결정할 수 있다.

Claims (22)

  1. 영상 부호화 방법에 있어서,
    부호화되는 현재 블록에 대하여 분수 화소 해상도로 움직임 예측을 수행하여 상기 현재 블록의 움직임 벡터를 생성하는 단계;
    이전에 부호화된 후 복원된 상기 현재 블록의 주변 영역과 대응되며, 참조 픽처에 포함된 참조 픽처 영역을 결정하는 단계;
    상기 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 상기 참조 픽처 영역의 정수 화소 사이의 분수 화소를 보간하는 보간 필터로서, 보간된 참조 픽처 영역과 상기 현재 블록의 주변 영역 사이의 차이가 최소가 되도록 상기 참조 픽처 영역을 보간하는 보간 필터를 생성하는 단계; 및
    상기 생성된 보간 필터를 이용하여 상기 분수 화소 해상도의 움직임 벡터가 가리키는 상기 현재 블록의 대응 블록을 보간하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1항에 있어서, 상기 현재 블록의 움직임 벡터를 생성하는 단계는
    6-탭 FIR(Finite Impulse Response) 필터, 2-탭 평균값 필터 및 선형 보간 필터 중 적어도 하나를 이용하여 상기 참조 픽처의 소정의 검색 영역을 분수 화소 해상도로 보간하는 단계; 및
    상기 보간된 참조 픽처의 검색 영역 내에서 상기 현재 블록과 가장 유사한 대응 블록의 위치를 결정하는 단계;
    상기 참조 픽처의 대응 블록의 위치와 상기 현재 블록의 위치 차이에 기초하여 상기 현재 블록의 움직임 벡터를 계산하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제 1항에 있어서,
    상기 현재 블록의 주변 영역과 대응되는 참조 픽처 영역은
    상기 현재 블록의 움직임 벡터 및 상기 현재 블록의 주변 영역이 갖는 움직임 벡터 중 하나의 움직임 벡터를 이용하여 결정되는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 3항에 있어서,
    상기 움직임 벡터가 분수 화소 해상도를 갖는 경우, 반올림 함수 및 반내림 함수 중 하나의 함수를 이용하여 상기 선택된 움직임 벡터의 수평 방향 성분값 및 수직 방향 성분값 중 분수 화소 해상도를 갖는 성분값을 정수값으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 1항에 있어서, 상기 보간 필터를 생성하는 단계는
    상기 참조 픽처 영역의 정수 화소들 사이의 보간하고자 하는 분수 화소를 중심으로 그 주변 정수 화소들에 가중치를 할당하는 소정 크기의 마스크를 결합하고, 상기 마스크 내에 구비된 상기 주변 정수 화소들과 할당된 가중치를 곱한 후 더하는 가중합을 계산함으로써 상기 분수 화소를 보간하는 단계;
    상기 현재 블록의 주변 영역의 화소들과 상기 참조 픽처 영역의 보간된 분수 화소들 사이의 오차값의 합을 계산하는 단계; 및
    상기 오차값의 합이 최소가 되는 상기 마스크의 가중치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  6. 제 5항에 있어서, 상기 마스크의 가중치를 결정하는 단계는
    상기 주변 정수 화소들에 할당된 가중치를 변수로 하여 상기 오차값의 합을 편미분하고, 상기 편미분된 오차값의 합이 0이 되도록 하는 가중치를 계산함으로써 결정되는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 5항에 있어서, 상기 오차값의 합은
    상기 현재 블록의 주변 영역의 각 화소와 대응되는 상기 참조 픽처 영역의 보간된 분수 화소 사이의 차이값을 제곱한 후 더하는 제곱 오차합(Sum of Squared Error)을 이용하는 것을 특징으로 하는 영상 부호화 방법.
  8. 제 1항에 있어서,
    상기 보간된 현재 블록의 대응 블록과 원 입력 블록 사이의 차이값을 변환, 양자화 및 엔트로피 부호화하여 비트스트림을 생성하는 단계; 및
    상기 생성된 비트스트림의 소정 영역에 상기 현재 블록의 움직임 벡터 정보 및 상기 참조 픽처 영역을 보간하는데 이용된 보간 필터를 이용하여 상기 현재 블록의 대응 블록을 보간하였음을 나타내는 소정의 이진 정보를 삽입하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 영상 부호화 장치에 있어서,
    부호화되는 현재 블록에 대하여 분수 화소 해상도로 움직임 예측을 수행하여 상기 현재 블록의 움직임 벡터를 생성하는 움직임 예측부;
    이전에 부호화된 후 복원된 상기 현재 블록의 주변 영역과 대응되며, 참조 픽처에 포함된 참조 픽처 영역을 이용하여 상기 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 상기 참조 픽처 영역의 정수 화소 사이의 분수 화소를 보간하는 보간 필터로서, 보간된 참조 픽처 영역과 상기 현재 블록의 주변 영역 사이의 차이가 최소가 되도록 상기 참조 픽처의 주변 영역을 보간하는 보간 필터를 생성하는 보간 필터 생성부; 및
    상기 생성된 보간 필터를 이용하여 상기 분수 화소 해상도의 움직임 벡터가 가리키는 상기 현재 블록의 대응 블록을 보간하는 보간부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  10. 제 9항에 있어서,
    6-탭 FIR(Finite Impulse Response) 필터, 2-탭 평균값 필터 및 선형 보간 필터 중 적어도 하나를 이용하여 상기 참조 픽처의 소정의 검색 영역을 분수 화소 해상도로 보간하는 참조 픽처 보간부를 더 포함하며,
    상기 움직임 예측부는 상기 보간된 참조 픽처의 검색 영역 내에서 상기 현재 블록과 가장 유사한 대응 블록의 위치를 결정하고, 상기 참조 픽처의 대응 블록의 위치와 상기 현재 블록의 위치 차이에 기초하여 상기 현재 블록의 움직임 벡터를 계산하는 것을 특징으로 하는 영상 부호화 장치.
  11. 제 9항에 있어서,
    상기 현재 블록의 주변 영역과 대응되는 참조 픽처 영역은
    상기 현재 블록의 움직임 벡터 및 상기 현재 블록의 주변 영역이 갖는 움직임 벡터 중 하나의 움직임 벡터를 이용하여 결정되는 것을 특징으로 하는 영상 부호화 장치.
  12. 제 9항에 있어서, 상기 보간 필터 생성부는
    상기 참조 픽처 영역의 정수 화소들 사이의 보간하고자 하는 분수 화소를 중심으로 그 주변 정수 화소들에 가중치를 할당하는 소정 크기의 마스크를 결합하고, 상기 마스크 내에 구비된 상기 주변 정수 화소들과 할당된 가중치를 곱한 후 더하는 가중합을 계산함으로써 상기 분수 화소를 보간하는 참조 픽처 주변 영역 보간부; 및
    상기 현재 블록의 주변 영역의 화소들과 대응되는 상기 참조 픽처 영역의 보간된 분수 화소들 사이의 오차값의 합을 계산하고, 상기 오차값의 합이 최소가 되는 상기 마스크의 가중치를 결정하는 필터 계수 결정부를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  13. 제 12항에 있어서, 상기 필터 계수 결정부는
    상기 주변 정수 화소들에 할당된 가중치를 변수로 하여 상기 오차값의 합을 편미분하고, 상기 편미분된 오차값의 합이 0이 되도록 하는 가중치를 필터 계수로서 결정하는 것을 특징으로 하는 영상 부호화 장치.
  14. 영상 복호화 방법에 있어서,
    수신된 비트스트림으로부터 복호화되는 현재 블록의 움직임 벡터 정보를 추출하는 단계;
    상기 추출된 현재 블록의 움직임 벡터가 분수 화소 해상도를 갖는 움직임 블록인 경우, 이전에 복호화된 상기 현재 블록의 주변 영역과 대응되며, 참조 픽처에 포함된 참조 픽처 영역을 결정하는 단계;
    상기 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 상기 참조 픽처 영역의 정수 화소 사이의 분수 화소를 보간하는 보간 필터로서, 보간된 참조 픽처 영역과 상기 현재 블록의 주변 영역 사이의 차이가 최소가 되도록 상기 참조 픽처 영역을 보간하는 보간 필터를 생성하는 단계; 및
    상기 생성된 보간 필터를 이용하여 상기 분수 화소 해상도의 움직임 벡터가 가리키는 상기 현재 블록의 대응 블록을 보간하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  15. 제 14항에 있어서, 상기 현재 블록의 주변 영역과 대응되는 참조 픽처 영역은
    상기 현재 블록의 움직임 벡터 및 상기 현재 블록의 주변 영역이 갖는 움직임 벡터 중 하나의 움직임 벡터를 이용하여 결정되는 것을 특징으로 하는 영상 복호화 방법.
  16. 제 15항에 있어서,
    상기 움직임 벡터가 분수 화소 해상도를 갖는 경우, 반올림 함수 및 반내림 함수 중 선택된 하나의 함수를 이용하여 상기 선택된 움직임 벡터의 수평 방향 성분값 및 수직 방향 성분값 중 분수 화소 해상도를 갖는 성분값을 정수값으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  17. 제 14항에 있어서, 상기 보간 필터를 생성하는 단계는
    상기 참조 픽처 영역의 정수 화소들 사이의 보간하고자 하는 분수 화소를 중심으로 그 주변 정수 화소들에 가중치를 할당하는 소정 크기의 마스크를 결합하고, 상기 마스크 내에 구비된 상기 주변 정수 화소들과 할당된 가중치를 곱한 후 더하는 가중합을 계산함으로써 상기 분수 화소를 보간하는 단계;
    상기 현재 블록의 주변 영역의 화소들과 상기 참조 픽처 영역의 보간된 분수 화소들 사이의 오차값의 합을 계산하는 단계; 및
    상기 오차값의 합이 최소가 되는 상기 마스크의 가중치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  18. 제 17항에 있어서, 상기 마스크의 가중치를 결정하는 단계는
    상기 주변 정수 화소들에 할당된 가중치를 변수로 하여 상기 오차값의 합을 편미분하고, 상기 편미분된 오차값의 합이 0이 되도록 하는 가중치를 계산함으로써 결정되는 것을 특징으로 하는 영상 복호화 방법.
  19. 제 18항에 있어서, 상기 오차값의 합은
    상기 현재 블록의 주변 영역의 각 화소와 대응되는 상기 참조 픽처 영역의 보간된 분수 화소 사이의 차이값을 제곱한 후 더하는 제곱 오차합(Sum of Squared Error)을 이용하는 것을 특징으로 하는 영상 복호화 방법.
  20. 영상 복호화 장치에 있어서,
    수신된 비트스트림으로부터 복호화되는 현재 블록의 움직임 벡터 정보를 추출하는 움직임 벡터 추출부;
    상기 추출된 현재 블록의 움직임 벡터가 분수 화소 해상도를 갖는 움직임 블록인 경우, 이전에 복호화된 상기 현재 블록의 주변 영역과 대응되며, 참조 픽처에 포함된 참조 픽처 영역을 이용하여 상기 현재 블록의 움직임 벡터가 갖는 분수 화소 해상도에 따라서 상기 참조 픽처 영역의 정수 화소 사이의 분수 화소를 보간하는 보간 필터로서, 보간된 참조 픽처 영역과 상기 현재 블록의 주변 영역 사이의 차이가 최소가 되도록 상기 참조 픽처의 주변 영역을 보간하는 보간 필터를 생성하는 보간 필터 생성부; 및
    상기 생성된 보간 필터를 이용하여 상기 분수 화소 해상도의 움직임 벡터가 가리키는 상기 현재 블록의 대응 블록을 보간하는 보간부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  21. 제 20항에 있어서, 상기 보간 필터 생성부는
    상기 참조 픽처 영역의 정수 화소들 사이의 보간하고자 하는 분수 화소를 중심으로 그 주변 정수 화소들에 가중치를 할당하는 소정 크기의 마스크를 결합하고, 상기 마스크 내에 구비된 상기 주변 정수 화소들과 할당된 가중치를 곱한 후 더하는 가중합을 계산함으로써 상기 분수 화소를 보간하는 참조 픽처 주변 영역 보간부; 및
    상기 현재 블록의 주변 영역의 화소들과 대응되는 상기 참조 픽처 영역의 보간된 분수 화소들 사이의 오차값의 합을 계산하고 상기 오차값의 합이 최소가 되는 상기 마스크의 가중치를 결정하는 필터 계수 결정부를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
  22. 제 21항에 있어서, 상기 필터 계수 결정부는
    상기 주변 정수 화소들에 할당된 가중치를 변수로 하여 상기 오차값의 합을 편미분하고, 상기 편미분된 오차값의 합이 0이 되도록 하는 가중치를 상기 마스크의 가중치로 결정하는 것을 특징으로 하는 영상 복호화 장치.
KR1020070046209A 2007-01-22 2007-05-11 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치 KR101369746B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP08704687A EP2127396A4 (en) 2007-01-22 2008-01-10 PROCESS AND DEVICE FOR IMAGE CODING AND DECODING USING ADAPTIVE INTERPOLATION FILTERS
CN2008800094321A CN101641960B (zh) 2007-01-22 2008-01-10 使用自适应内插滤波器对图像编码与解码的方法和设备
PCT/KR2008/000147 WO2008091068A1 (en) 2007-01-22 2008-01-10 Method and apparatus for encoding and decoding image using adaptive interpolation filter
US12/013,740 US8737481B2 (en) 2007-01-22 2008-01-14 Method and apparatus for encoding and decoding image using adaptive interpolation filter

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US88594207P 2007-01-22 2007-01-22
US60/885,942 2007-01-22

Publications (2)

Publication Number Publication Date
KR20080069110A KR20080069110A (ko) 2008-07-25
KR101369746B1 true KR101369746B1 (ko) 2014-03-07

Family

ID=39822528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070046209A KR101369746B1 (ko) 2007-01-22 2007-05-11 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치

Country Status (5)

Country Link
US (1) US8737481B2 (ko)
EP (1) EP2127396A4 (ko)
KR (1) KR101369746B1 (ko)
CN (1) CN101641960B (ko)
WO (1) WO2008091068A1 (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
EP1867965A1 (de) * 2006-06-14 2007-12-19 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum gravimetrischen Dosieren von schütt-oder fliessfähigem Wägegut
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
JP2009077082A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 解像度変換装置、解像度変換方法及びプレビュー表示装置
EP2266321B1 (en) * 2008-04-23 2017-12-13 Telefonaktiebolaget LM Ericsson (publ) Template-based pixel block processing
CN102067600B (zh) * 2008-06-12 2015-05-20 汤姆森特许公司 将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置
EP2136565A1 (en) * 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US8218644B1 (en) 2009-05-12 2012-07-10 Accumulus Technologies Inc. System for compressing and de-compressing data used in video processing
US8705615B1 (en) 2009-05-12 2014-04-22 Accumulus Technologies Inc. System for generating controllable difference measurements in a video processor
US20110116546A1 (en) * 2009-07-06 2011-05-19 Xun Guo Single pass adaptive interpolation filter
FR2948845A1 (fr) * 2009-07-30 2011-02-04 Thomson Licensing Procede de decodage d'un flux representatif d'une sequence d'images et procede de codage d'une sequence d'images
WO2011021911A2 (ko) * 2009-08-21 2011-02-24 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
WO2011021912A2 (ko) * 2009-08-21 2011-02-24 에스케이텔레콤 주식회사 참조 픽처 보간 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011021914A2 (ko) 2009-08-21 2011-02-24 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR101449696B1 (ko) * 2009-08-21 2014-10-20 에스케이텔레콤 주식회사 차분 움직임 벡터의 정밀도를 고려한 움직임 벡터 부호화/복호화 방법 및 장치, 및 그를 위한 영상처리 장치 및 방법
KR101441874B1 (ko) * 2009-08-21 2014-09-25 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR101678968B1 (ko) 2009-08-21 2016-11-25 에스케이텔레콤 주식회사 참조 픽처 보간 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP5922579B2 (ja) * 2009-10-14 2016-05-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 動き情報の適応型符号化方法及び装置
US8548065B2 (en) * 2009-10-22 2013-10-01 The Chinese University Of Hong Kong Parametric interpolation filter for motion-compensated prediction
CN101790092B (zh) * 2010-03-15 2013-02-06 河海大学常州校区 基于图像块编码信息的智能滤波器设计方法
WO2011121716A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 動画像符号化方法、復号化方法、符号化装置および復号化装置
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US8855205B2 (en) * 2010-05-26 2014-10-07 Newratek Inc. Method of predicting motion vectors in video codec in which multiple references are allowed, and motion vector encoding/decoding apparatus using the same
US9154807B2 (en) 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
US20120008686A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
US8548062B2 (en) * 2010-07-16 2013-10-01 Sharp Laboratories Of America, Inc. System for low resolution power reduction with deblocking flag
JP5524762B2 (ja) 2010-08-12 2014-06-18 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
CN102387360B (zh) * 2010-09-02 2016-05-11 乐金电子(中国)研究开发中心有限公司 视频编解码帧间图像预测方法及视频编解码器
JP2012060208A (ja) * 2010-09-06 2012-03-22 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法，動画像符号化装置，動画像復号方法，動画像復号装置およびそれらのプログラム
HUE034477T2 (en) * 2010-09-30 2018-02-28 Samsung Electronics Co Ltd Equipment for interpolating images using a smooth interpolation filter
JP5485851B2 (ja) 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
KR101341993B1 (ko) * 2010-10-06 2013-12-16 에스케이텔레콤 주식회사 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
CA2979455C (en) * 2011-01-12 2018-09-04 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
US8861593B2 (en) * 2011-03-15 2014-10-14 Sony Corporation Context adaptation within video coding modules
JP5649524B2 (ja) * 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
JP5649523B2 (ja) * 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
WO2014003421A1 (ko) * 2012-06-25 2014-01-03 한양대학교 산학협력단 비디오 부호화 및 복호화를 위한 방법
US20160007032A1 (en) * 2013-02-25 2016-01-07 Samsung Electronics Co., Ltd. Device and method for scalable video encoding considering memory bandwidth and computational quantity, and device and method for scalable video decoding
KR102186461B1 (ko) 2013-04-05 2020-12-03 삼성전자주식회사 정수 픽셀의 위치와 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
WO2015149699A1 (en) * 2014-04-01 2015-10-08 Mediatek Inc. Method of adaptive interpolation filtering in video coding
CN114554199B (zh) * 2014-09-30 2023-11-10 寰发股份有限公司 用于视频编码的自适应运动向量分辨率的方法
WO2016068674A1 (ko) * 2014-10-31 2016-05-06 삼성전자 주식회사 움직임 벡터 부복호화 방법 및 장치
KR102349788B1 (ko) * 2015-01-13 2022-01-11 인텔렉추얼디스커버리 주식회사 영상의 부호화/복호화 방법 및 장치
US10681347B2 (en) * 2015-09-29 2020-06-09 Lg Electronics Inc. Method and apparatus of filtering image in image coding system
KR102559063B1 (ko) 2017-02-24 2023-07-24 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN111095925B (zh) * 2017-09-13 2023-04-14 三星电子株式会社 通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法
CN107896330B (zh) * 2017-11-29 2019-08-13 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
WO2020141591A1 (ja) * 2018-12-31 2020-07-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、及び復号方法
EP3895418A4 (en) * 2019-01-16 2022-02-23 Huawei Technologies Co., Ltd. ENCODER, DECODER AND RELATED LOCAL LIGHTING COMPENSATION METHODS
US20220312004A1 (en) * 2021-03-23 2022-09-29 Tencent America LLC Method and apparatus for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062307A1 (en) 2002-07-09 2004-04-01 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US20050207496A1 (en) 2004-03-17 2005-09-22 Daisaku Komiya Moving picture coding apparatus
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE344594T1 (de) * 1998-12-10 2006-11-15 Matsushita Electric Ind Co Ltd Arithmetische filtervorrichtung
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
BR0304545A (pt) 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US20040076333A1 (en) 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
CN1216495C (zh) * 2003-09-27 2005-08-24 浙江大学 视频图像亚像素插值的方法和装置
JP2005318297A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化・復号方法及び装置
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
KR101201930B1 (ko) 2004-09-16 2012-11-19 톰슨 라이센싱 국부적 밝기 변동을 이용한 가중화된 예측을 가진 비디오 코덱
EP1908292A4 (en) * 2005-06-29 2011-04-27 Nokia Corp METHOD AND DEVICE FOR THE UPDATE STEP IN VIDEO CODING USING MOTION COMPENSATED TIME FILTERING
US8942505B2 (en) * 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
US20040062307A1 (en) 2002-07-09 2004-04-01 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US20050207496A1 (en) 2004-03-17 2005-09-22 Daisaku Komiya Moving picture coding apparatus

Also Published As

Publication number Publication date
US8737481B2 (en) 2014-05-27
CN101641960A (zh) 2010-02-03
WO2008091068A1 (en) 2008-07-31
CN101641960B (zh) 2011-07-20
EP2127396A1 (en) 2009-12-02
US20080175322A1 (en) 2008-07-24
EP2127396A4 (en) 2012-11-07
KR20080069110A (ko) 2008-07-25

Similar Documents

Publication Publication Date Title
KR101369746B1 (ko) 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
RU2715017C1 (ru) Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
KR101369224B1 (ko) 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
KR100723403B1 (ko) 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
KR101362757B1 (ko) 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
KR101365575B1 (ko) 인터 예측 부호화, 복호화 방법 및 장치
WO2010143583A1 (ja) 画像処理装置および方法
KR101648065B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR20070047522A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20070096737A (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR20220013941A (ko) 행렬 기반 인트라 예측
JP7455869B2 (ja) イントラ予測を用いた符号化
KR100738075B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101462959B1 (ko) 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
US20240031580A1 (en) Method and apparatus for video coding using deep learning based in-loop filter for inter prediction
KR20110087871A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101699832B1 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
KR20110042602A (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR20190091431A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee