KR20130066660A - 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 그들의 프로그램 - Google Patents

영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 그들의 프로그램 Download PDF

Info

Publication number
KR20130066660A
KR20130066660A KR1020137003311A KR20137003311A KR20130066660A KR 20130066660 A KR20130066660 A KR 20130066660A KR 1020137003311 A KR1020137003311 A KR 1020137003311A KR 20137003311 A KR20137003311 A KR 20137003311A KR 20130066660 A KR20130066660 A KR 20130066660A
Authority
KR
South Korea
Prior art keywords
encoding
region
area
decoding
interpolation filter
Prior art date
Application number
KR1020137003311A
Other languages
English (en)
Inventor
쇼헤이 마츠오
유키히로 반도
세이시 다카무라
히로히사 조자와
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20130066660A publication Critical patent/KR20130066660A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Abstract

본 발명의 영상 부호화 장치는, 시공간에서 보간 필터 계수의 최적값이 변화하는 화상의 부호화에 있어서 움직임 보상 화면 내 예측의 잔차 에너지를 저감하여 부호화 효율의 개선을 도모한다. 이 영상 부호화 장치에 있어서, 영역 분할부는 복수 준비된 영역 분할 수법 중에서 하나씩 차례대로 영역 분할 수법을 선택하고, 부호화 대상 화상의 영역을 분할한다. 보간 필터 계수 전환부는 분할된 영역마다 소수 정밀도 화소의 보간 필터를 전환하고, 예측 부호화부에서 예측 부호화한다. 영역 분할 모드 판정부는, 각 영역 분할 수법마다 산출된 레이트 왜곡 비용 중에서 비용이 최소가 되는 영역 분할 수법을 선택한다. 그 선택된 영역 분할 수법을 이용하여, 예측 부호화부 및 가변길이 부호화부는 부호화 대상 화상을 부호화한다. 영역 분할 수법을 나타내는 정보도 가변길이 부호화되어 디코더로 보내진다.

Description

영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 그들의 프로그램{Video encoding method, video decoding method, video encoding device, video decoding device, and programs for same}
본 발명은, 보간 필터 계수의 화면 내 변경 기능을 갖는 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 그들의 프로그램에 관한 것이다.
본원은 2010년 8월 12일에 일본 출원된 특원 2010-180814호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
영상 부호화에 있어서 다른 화면 간에 예측을 실행하는 화면 간 예측(움직임 보상) 부호화에서는, 이미 복호된 프레임을 참조하여 예측 오차 에너지 등을 최소로 하도록 움직임 벡터가 구해진다. 그 움직임 벡터의 잔차(殘差) 신호(residual signal)가 직교 변환되어 양자화가 실시되며 엔트로피 부호화를 거쳐 바이너리 데이터가 된다. 부호화 효율을 높이기 위해서는, 보다 예측 정밀도가 높은 예측 방식이 요구되며 예측 오차 에너지의 저감이 불가결하다.
영상 부호화 표준 방식에는, 수많은 화면 간 예측의 정밀도를 높이기 위한 도구가 도입되어 있다. 예를 들면 H.264/AVC(Advanced Video Coding)에서는, 바로 옆의 프레임에 오클루전(occlusion)이 존재하는 경우는 시간적으로 약간 떨어진 프레임을 참조하는 것이 예측 오차 에너지를 저감할 수 있기 때문에, 복수의 프레임을 참조 가능하게 하고 있다. 본 도구를 복수의 참조 프레임 예측이라고 부른다.
또한, 복잡한 형상의 움직임에도 대응 가능하게 하기 위해, 16×16 및 8×8에 덧붙여 16×8, 8×16, 8×4, 4×8, 4×4와 같이 블록 사이즈를 미세하게 분할 가능하게 하고 있다. 본 도구를 가변 블록 사이즈 예측이라고 부른다.
이들과 같이, 참조 프레임의 정수 정밀도 화소로부터 6탭(tap)의 필터를 이용하여 1/2 정밀도의 화소를 보간하고, 또 그 화소를 이용하여 1/4 정밀도의 화소를 선형 보간으로 생성한다. 이에 의해, 비정수 정밀도의 움직임에 대해 예측이 맞게 된다. 본 도구를 1/4 화소 정밀도 예측이라고 부른다.
H.264/AVC보다 부호화 효율이 높은 차세대 영상 부호화 표준 방식의 책정을 위해, 국제 표준화 조직 ISO/IEC "MPEG"(International Organization for Standardization/International Electrotechnical Commission "Moving Picture Experts Group")나 ITU-T "VCEG"(International Telecommunication Union-Telecommunication Standardization Sector "Video Coding Experts Group")에서 현재 세계 각국으로부터 다양한 제안이 모이고 있다. 그 중에서 특히 화면 간 예측(움직임 보상)에 관련되는 제안은 많이 이루어져 있고, VCEG가 주도로 작성하고 있는 차세대 영상 부호화를 위한 소프트웨어(이하, KTA(Key Technical Area) 소프트웨어)에는, 움직임 벡터의 부호량을 삭감하는 도구나 블록 사이즈를 16×16 이상으로 확장하는 도구가 채용되어 있다.
특히, 소수 정밀도 화소의 보간 필터 계수를 적응적으로 변화시키는 도구는 적응 보간 필터라고 불리며, 거의 모든 화상에서 효과가 있어 최초로 KTA 소프트웨어에 채용되었다. MPEG와 VCEG가 공동으로 진행하고 있는 차세대 영상 부호화 표준 책정을 위한 그룹 JCT-VC(Joint Collaborative Team on Video Coding)가 발행한 새 부호화 테스트 모델의 모집(Call for Proposal)에 대한 기서에도 본 기술은 많이 채용되어 있다. 부호화 효율 향상에의 기여가 높기 때문에, 앞으로 적응 보간 필터의 성능 개선은 매우 기대되는 영역이라고 할 수 있다.
현재 이상과 같은 상황인데, 영상 부호화에서의 보간 필터로서는 종래 다음과 같은 필터가 이용되었다.
[고정적 보간]
과거의 영상 부호화 표준 방식 MPEG-1/2/4에서는, 도 10에 도시된 바와 같이 1/2 정밀도의 화소를 보간하기 위해 인접한 2점의 정수 정밀도 화소(단지 정수 화소라고도 함)로부터 가산 평균을 이용하여 보간 화소를 생성하였다. 즉, 2점의 정수 화소에 대해 [1/2, 1/2]의 평균값 필터를 실시하게 된다. 매우 단순한 처리 때문에 계산 복잡도의 관점에서 보면 효과적이지만, 1/4 정밀도의 화소를 구함에 있어서는 필터의 성능으로서 높지는 않다.
한편, H.264/AVC에서는, 1/2 화소 위치의 화소를 보간할 때는 대상이 되는 보간 화소의 좌우 3점씩 합계 6정수 화소를 이용하여 보간을 한다. 수직 방향에 대해서는 상하 3점씩 합계 6정수 화소를 이용하여 보간한다. 필터 계수는 각각 [(1, -5, 20, 20, -5, 1)/32]가 되어 있다. 1/2 정밀도의 화소가 보간된 후, 1/4 정밀도의 화소는 [1/2, 1/2]의 평균값 필터를 이용하여 보간을 한다. 한번에 1/2 정밀도 화소를 전부 보간하여 구할 필요가 있기 때문에 계산 복잡도는 높지만, 보다 성능이 높은 보간이 가능하게 되어 부호화 효율 향상을 이끌고 있다.
H.264/AVC의 보간 처리의 일례를 도 11에 나타낸다. 이상의 상세는 비특허문헌 1, 비특허문헌 2 및 비특허문헌 3에 나타나 있다.
[적응적 보간]
H.264/AVC에서는, 입력 화상 조건(시퀀스 종류/화상 사이즈/프레임 레이트)이나 부호화 조건(블록 사이즈/GOP(Group of Pictures) 구조/QP(Quantization Parameter))에 관계없이 필터 계수값은 일정하다. 필터 계수값이 고정인 경우, 예를 들면 에일리어싱(aliasing), 양자화 오차, 움직임 추정에 의한 오차, 카메라 잡음 등의 시간적으로 변화하는 효과가 고려되지 않는다. 따라서, 부호화 효율의 점에서 성능 향상에 한계가 있다고 생각된다. 그래서, 보간 필터 계수를 적응적으로 변화시키는 방식이 비특허문헌 4에 제안되어 있고, 비분리형의 적응 보간 필터라고 불리고 있다.
비특허문헌 4에서는, 2차원의 보간 필터(6×6의 합계 36 필터 계수)를 생각하고 있고, 예측 오차 에너지를 최소로 하도록 필터 계수가 결정된다. 이 방식에서는, H.264/AVC에 이용되는 1차원 6탭의 고정 보간 필터를 이용하는 것보다도 높은 부호화 효율을 실현할 수 있었지만, 필터 계수를 구함에 있어서의 계산 복잡도가 매우 높기 때문에, 그 계산 복잡도를 저감하기 위한 제안이 비특허문헌 5에서 소개되어 있다.
이 비특허문헌 5에서 소개되어 있는 수법은 분리형 적응 보간 필터(SAIF: Separable Adaptive Interpolation Filter)라고 불리고, 2차원의 보간 필터를 이용하는 것이 아니라 1차원의 6탭 보간 필터를 이용한다.
도 12a 내지 도 12c는 분리형 적응 보간 필터(SAIF)에서의 비정수 정밀도의 화소 보간 방법을 나타내는 도면이다. 순서로서는, 도 12b의 단계 1에 도시된 바와 같이, 우선 수평 방향의 화소(a, b, c)를 보간한다. 필터 계수의 결정에는 정수 정밀도 화소(C1부터 C6)가 이용된다. 식(1)의 예측 오차 에너지 함수(Eh 2)를 최소화하는 수평 방향 필터 계수가 일반적으로 알려진 최소제곱법(비특허문헌 4 참조)에 의해 해석적으로 결정된다.
Figure pct00001
여기서, S는 원화상, P는 복호 완료된 참조 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또한, ~x(~는 x 위에 붙는 기호; 그 밖에도 동일)는 ~x=x+MVx-FilterOffset으로서, MVx는 사전에 얻어진 움직임 벡터의 수평 성분, FilterOffset은 조정을 위한 오프셋(수평 방향 필터 길이를 2로 나눈 값)을 나타내고 있다. 수직 방향에 대해서는 ~y=y+MVy가 되고, MVy는 움직임 벡터의 수직 성분을 나타낸다. wci는 구해야 할 수평 방향 필터 계수군(ci)(0≤ci<6)을 나타낸다.
식(1)에서 구하는 필터 계수와 같은 수의 일차 방정식이 얻어지게 되고, 최소화 처리는 수평 방향의 각 소수 화소 위치마다 독립적으로 실시된다. 이 최소화 처리를 거쳐 3종류의 6탭 필터 계수군이 구해지고, 그 필터 계수를 이용하여 소수 정밀도 화소(a, b, c)가 보간된다.
수평 방향의 화소 보간이 완료된 후, 도 12c의 단계 2에 도시된 바와 같이 수직 방향의 보간 처리를 실시한다. 수평 방향과 같은 선형 문제를 풀어 수직 방향의 필터 계수를 결정한다. 구체적으로는, 식(2)의 예측 오차 에너지 함수(Ev 2)를 최소화하는 수직 방향 필터 계수가 해석적으로 결정된다.
Figure pct00002
여기서, S는 원화상, ^P(^는 P 위에 붙는 기호)는 복호 후에 수평 방향으로 보간 처리된 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또한, ~x=4·(x+MVx)로 표현되고, MVx는 둥글게 된 움직임 벡터의 수평 성분을 나타낸다. 수직 방향에 대해서는 ~y=y+MVy-FilterOffset으로 표현되고, MVy는 움직임 벡터의 수직 성분, FilterOffset은 조정을 위한 오프셋(필터 길이를 2로 나눈 값)을 나타낸다. wcj는 구해야 할 수직 방향 필터 계수군(cj)(0≤cj<6)을 나타낸다.
최소화 처리는 각 소수 정밀도 화소마다 독립적으로 실시되어 12종류의 6탭 필터 계수군이 얻어진다. 이 필터 계수를 이용하여 나머지 소수 정밀도 화소가 보간된다.
이상에 의해, 합계 90(=6×15)의 필터 계수를 부호화하여 복호 측으로 전송할 필요가 있다. 특히 저해상도의 부호화에 대해서는 이 오버헤드가 커지기 때문에, 필터의 대칭성을 이용하여 전송해야 할 필터 계수를 삭감하고 있다. 예를 들면, 도 12a 내지 도 12c에서는 b, h, i, j, k의 위치는 각 정수 정밀도 화소로부터 중심에 위치하고 있고, 수평 방향이면 왼쪽 3점에 이용하는 계수를 반전시켜 오른쪽 3점에 적용할 수 있다. 마찬가지로 수직 방향이면 위쪽 3점에 이용하는 계수를 반전시켜 아래쪽 3점에 적용할 수 있다(c1=c6, c2=c5, c3=c4).
그 밖에도 d와 l의 관계는 h를 사이에 두고 대칭으로 되어 있기 때문에, 필터 계수도 각각 반전하여 이용할 수 있다. 즉, d의 6계수를 전송하면, 그 값을 l에도 적용할 수 있다. c(d)1=c(l)6, c(d)2=c(l)5, c(d)3=c(l)4, c(d)4=c(l)3, c(d)5=c(l)2, c(d)6=c(l)1이 된다. 이 대칭성은 e와 m, f와 n, 그리고 g와 o에도 이용 가능하게 된다. a와 c에 대해서도 같은 이론이 성립되지만, 수평 방향은 수직 방향의 보간에도 결과가 영향을 미치기 때문에, 대칭성은 이용하지 않고 a와 c는 각각 따로 전송을 행한다. 이상의 대칭성을 이용한 결과, 프레임마다 전송해야 할 필터 계수는 51(수평 방향이 15, 수직 방향이 36)이 된다.
이상, 비특허문헌 5의 적응 보간 필터는 예측 오차 에너지의 최소화 처리의 단위가 프레임으로 고정되어 있었다. 1장의 프레임에 대해 51의 필터 계수가 결정된다. 부호화 대상 프레임이 만약 큰 2종류(혹은 복수 종류의) 텍스처 영역으로 나누어지는 경우, 최적의 필터 계수는 그 양자(모든 텍스처)를 고려한 계수군이 된다. A의 영역에서는 본래 수직 방향만 특징적인 필터 계수가 나와 있었다고 하고 B의 영역에서 수평 방향만 필터 계수가 얻어지는 상황에서는, 그 양쪽 모두가 평균화된 형태로 필터 계수가 도출된다.
1장의 프레임에 대해 하나의 필터 계수군(51계수)에 한정되지 않고, 화상의 국소적 성질에 따라 복수의 필터 계수군을 마련하여 전환함으로써, 예측 오차 에너지의 저감을 달성하고 부호화 효율의 개선을 실현하는 방법이 비특허문헌 6에서 제안되어 있다.
도 13a 및 도 13b에 도시된 바와 같이, 부호화 대상 프레임이 성질이 다른 텍스처를 포함하는 경우를 상정한다. 도 13a에 도시된 바와 같이, 프레임 전체적으로 하나의 필터 계수군을 최적화하여 보내는 경우, 각 텍스처의 성질 전부를 고려하게 된다. 텍스처가 그다지 바뀌지 않은 경우, 전체 최적화에 따른 필터 계수가 가장 좋다고 생각되지만, 상반되는 성질을 갖는 텍스처인 경우, 도 13b에 도시된 바와 같이 텍스처마다 최적화한 필터 계수를 이용하는 것이 프레임 전체의 부호량을 삭감할 수 있다.
이로부터, 비특허문헌 6에서는 1프레임에 대해 영역 분할에 의해 복수의 최적화된 필터 계수군을 이용하는 방법이 생각된다. 영역 분할의 수법으로서, 비특허문헌 6에서는 움직임 벡터(수평 수직 성분, 방향)나 공간 좌표(매크로 블록 위치, 블록의 x좌표나 y좌표)를 채용하고 있고, 다양한 화상의 성질을 고려하여 영역 분할을 실시한다.
도 14는, 비특허문헌 6에 나타나는 바와 같은 종래의 영역 분할형 적응 보간 필터를 이용하는 영상 부호화 장치의 구성예를 나타내고 있다.
영상 부호화 장치(100)에 있어서, 영역 분할부(101)는 입력한 영상 신호의 부호화 대상 프레임을 적응적으로 보간 필터 계수를 전환하는 단위가 되는 복수 블록으로 이루어지는 복수의 영역으로 분할한다. 보간 필터 계수 전환부(102)는 영역 분할부(101)에 의해 분할된 영역마다 예측 부호화에서의 참조 화상에 대해 이용하는 소수 정밀도 화소의 보간 필터 계수를 전환한다. 이 전환 대상이 되는 보간 필터 계수로서는, 예를 들면 필터 계수 최적화부(1021)에 의해 최적화된 필터 계수를 이용한다. 필터 계수 최적화부(1021)는 영역마다 원화상과 보간 후의 참조 화상의 예측 오차 에너지가 최소가 되는 보간 필터 계수를 산출한다.
예측 신호 생성부(103)는 참조 화상 보간부(1031)와 움직임 검출부(1032)를 구비한다. 참조 화상 보간부(1031)는 참조 화상 메모리(107)에 저장된 복호 완료된 참조 화상에 보간 필터 계수 전환부(102)가 선택한 보간 필터 계수에 의한 보간 필터를 적용한다. 움직임 검출부(1032)는 보간 후의 참조 화상에 대해 움직임 탐색을 행함으로써 움직임 벡터를 산출한다. 예측 신호 생성부(103)는 움직임 검출부(1032)에 의해 산출된 소수 정밀도의 움직임 벡터에 따른 움직임 보상에 의해 예측 신호를 생성한다.
예측 부호화부(104)는 입력 영상 신호와 예측 신호의 잔차 신호를 산출하고 이를 직교 변환하여 변환 계수의 양자화 등에 따라 예측 부호화를 행한다. 또한, 복호부(106)는 예측 부호화의 결과를 복호하고, 복호 화상을 나중의 예측 부호화를 위해 참조 화상 메모리(107)에 저장한다.
가변길이 부호화부(105)는 양자화된 변환 계수, 움직임 벡터를 가변길이 부호화함과 동시에, 영역마다 보간 필터 계수 전환부(102)가 선택한 보간 필터 계수를 가변길이 부호화하고, 이들을 부호화 비트 스트림으로서 출력한다.
도 15는 종래의 영역 분할형 적응 보간 필터를 이용하는 영상 복호 장치의 구성예를 나타내고 있다. 도 14에 도시된 영상 부호화 장치(100)에 의해 부호화된 스트림은 도 15에 도시된 영상 복호 장치(200)에 의해 복호된다.
영상 복호 장치(200)에 있어서, 가변길이 복호부(201)는 부호화 비트 스트림을 입력하여 양자화 변환 계수, 움직임 벡터, 보간 필터 계수군 등의 복호를 행한다. 영역 판정부(202)는 복호 대상 프레임에 대해 적응적으로 보간 필터 계수를 전환하는 단위가 되는 영역을 판정한다. 보간 필터 계수 전환부(203)는 영역 판정부(202)에 의해 판정된 영역마다 가변길이 복호부(201)에서 복호한 보간 필터 계수를 전환한다.
예측 신호 생성부(204)에서의 참조 화상 보간부(2041)는 참조 화상 메모리(206)에 저장된 복호 완료된 참조 화상에 보간 필터 계수 전환부(203)로부터 수취한 보간 필터 계수에 따른 보간 필터를 적용하여 참조 화상의 소수 정밀도 화소의 복원을 행한다. 예측 신호 생성부(204)는 소수 정밀도 화소의 복원이 행해진 참조 화상으로부터 복호 대상 블록의 예측 신호를 생성한다.
예측 복호부(205)는 가변길이 복호부(201)에서 복호한 양자화 계수의 역양자화, 역직교 변환 등을 행하고, 이에 의해 산출된 예측 잔차 신호와 예측 신호 생성부(204)가 생성한 예측 신호를 서로 더하여 복호 신호를 생성하여 복호 화상으로서 출력한다. 또한, 예측 복호부(205)가 복호한 복호 신호는 나중의 예측 복호를 위해 참조 화상 메모리(206)에 저장한다.
비특허문헌 1: 하라시마 히로시, 사카이 요시노리, 요시다 도시유키: "영상 정보 부호화", 옴사, pp.135-136, 2001 비특허문헌 2: 오쿠보 사카에, 가도노 신야, 기쿠치 요시히로, 스즈키 데루히코: "H.264/AVC 교과서 개정 3판", 임프레스, pp.119-123, 2009 비특허문헌 3: I. E. G. Richardson, G. J. Sullivan: "H.264 and MPEG-4 VIDEO COMPRESSION", WILEY, pp.172-175, 2003 비특허문헌 4: Y. Vatis, B. Edler, D. T. Nguyen, J. Ostermann: "Motion-and aliasing-compensated prediction using a two-dimensional non-separable adaptive Wiener interpolation filter", Proc. ICIP2005, IEEE International Conference on Image Processing, pp.II 894-897, Genova, Italy, Sep. 2005 비특허문헌 5: S. Wittmann, T. Wedi: "Separable adaptive interpolation filter for video coding", Proc. ICIP2008, IEEE International Conference on Image Processing, pp.2500-2503, San Diego, California, USA, Oct. 2008 비특허문헌 6: 마츠오 쇼헤이, 다카무라 세이시, 조자와 히로히사: "영역 분할 기능을 갖는 분리형 적응 보간 필터에 관한 검토", 전자 정보 통신 학회 화상 공학 연구회, pp.113-116, Nov. 2009
도 14에 도시된 바와 같은 영상 부호화 장치(100)가 이용하는 영역 분할형 적응 보간 필터(비특허문헌 6)는, 화상이 갖는 국소적 성질을 고려하여 프레임 내에서 복수의 필터 계수군을 전환함으로써 예측 오차 에너지를 삭감하여 부호화 효율의 향상을 노리고 있다. 그러나, 이 장치에서는 처음 프레임에서 이용한 영역 분할 수법을 모든 프레임에 대해 실시하게 된다. 영상은 시간 방향으로 화면 내의 성질이 바뀌는 경우(예를 들면, 신(scene) 체인지 등)도 있기 때문에, 프레임 단위로 분할 수법을 변경할 수 있으면 더욱 부호화 효율의 개선을 기대할 수 있다고 생각된다.
본 발명은, 이 점을 감안하여 시공간에서 보간 필터 계수의 최적값이 변화하는 화상에 대해 최적의 영역 분할 수법을 프레임 또는 슬라이스 단위로 선택함으로써, 움직임 보상 화면 내 예측의 잔차 에너지를 더욱 저감하고 부호화 효율을 향상시키는 것을 목적으로 한다.
상기 목적을 달성하기 위한 방법으로서, 영역 분할 수법을 복수 준비하고 각 수법마다 레이트 왜곡 비용을 산출하며, 이 비용을 최소화하는 영역 분할 수법을 선택하고, 그 영역 분할 수법을 나타내는 정보를 플래그로서 송부한다. 프레임 단위로 복수의 영역 분할 방법을 전환함으로써 예측 오차 에너지의 저감을 달성하고 부호화 효율의 개선을 실현한다.
즉, 본 발명은 움직임 보상을 이용하는 영상 부호화 방법으로서, 부호화 대상 프레임(또는 슬라이스이어도 됨)을 분할하는 복수의 영역 분할 수법을 준비하고, 복수의 영역 분할 수법 중에서 순차적으로 하나의 분할 수법을 선택하며, 부호화 대상 프레임으로부터 부호화 정보(부호화 완료 또는 부호화 중에 얻어지는 정보)를 검출하고, 검출된 부호화 정보로부터 프레임 내에서 영역 분할을 하며, 그 분할 결과에 따라 소수 정밀도 화소의 보간 필터를 선택하고, 선택된 보간 필터를 이용하여 소수 정밀도 화소의 보간을 행하여 부호화를 실시하며, 선택된 영역 분할 수법에 대해 비용을 산출하여 저장하고, 저장한 비용으로부터 가장 좋은 영역 분할 수법을 선택하여 그 영역 분할 수법을 나타내는 영역 분할 모드 번호를 부호화하며, 그 가장 좋은 영역 분할 수법으로 부호화를 실행한다.
또한, 본 발명은 상기 영상 부호화 방법으로 부호화된 부호화 스트림을 복호하는 영상 복호 방법으로서, 영역 분할 모드 번호를 복호하고, 소수 정밀도 화소의 보간 필터 계수를 복호하며, 복호 대상 블록으로부터 얻어지는 정보를 이용하여 블록 단위로 분류를 하고, 그 분류 결과에 따라 영역 분할을 하며, 분할된 영역마다 소수 정밀도 화소의 보간 필터를 전환하여 복호를 실행한다.
본 발명의 작용은 이하와 같다. 종래의 영역 분할형 적응 보간 필터에서는, 영상 1종에 대해 영역 분할 수법을 1종류만 적용할 수 있고, 영상 전체에서 시공간적으로 크게 성질이 다른 경우에는 부호화 효율의 개선에 한계가 있었다. 한편, 본 발명에서는 보간 필터 계수를 시공간적으로 최적화함으로써 화상의 국소성에 보다 유연하게 대응 가능하게 되고, 더욱 부호화 효율 개선을 달성할 수 있다.
이상과 같이, 본 발명에 따르면, 종래의 분리형 적응 보간 필터에서는 대응할 수 없었던 1 또는 복수의 프레임 또는 슬라이스 단위로 최적의 영역 분할 수법이 선택 가능하게 되고, 화상의 시공간적인 국소성을 고려한 보간 필터 계수의 전환이 가능하게 된다. 따라서, 예측 오차 에너지의 저감에 따른 부호화 효율 개선을 달성할 수 있다.
도 1은 본 발명의 일 실시형태의 영상 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시형태의 영상 부호화 장치의 동작을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시형태의 영상 부호화 장치에서의 영역 분할 모드를 정의하는 분할 테이블의 일례를 나타내는 도면이다.
도 4a는 본 발명의 일 실시형태의 영상 부호화 장치에서의 움직임 벡터의 성분에 의한 영역 분할의 동작을 나타내는 흐름도이다.
도 4b는 본 발명의 일 실시형태의 영상 부호화 장치에서의 움직임 벡터의 성분의 분포를 나타내는 그래프이다.
도 5a는 본 발명의 일 실시형태의 영상 부호화 장치에서의 움직임 벡터의 방향에 의한 영역 분할의 처리를 나타내는 흐름도이다.
도 5b는 본 발명의 일 실시형태의 영상 부호화 장치에서의 움직임 벡터의 방향에 의한 영역 분할의 일례를 나타내는 그래프이다.
도 5c는 본 발명의 일 실시형태의 영상 부호화 장치에서의 움직임 벡터의 방향에 의한 영역 분할의 다른 예를 나타내는 그래프이다.
도 5d는 본 발명의 일 실시형태의 영상 부호화 장치에서의 움직임 벡터의 방향에 의한 영역 분할의 또 다른 예를 나타내는 그래프이다.
도 6a는 본 발명의 일 실시형태의 영상 부호화 장치에서의 공간 좌표에 의한 영역 분할의 처리를 나타내는 흐름도이다.
도 6b는 본 발명의 일 실시형태의 영상 부호화 장치에서의 공간 좌표에 의한 영역 분할의 일례를 나타내는 그래프이다.
도 6c는 본 발명의 일 실시형태의 영상 부호화 장치에서의 공간 좌표에 의한 영역 분할의 다른 예를 나타내는 그래프이다.
도 7a는 본 발명의 일 실시형태의 영상 부호화 장치에서의 움직임 벡터의 방향에 의한 영역 분할(영역 수가 4인 경우)의 처리를 나타내는 흐름도이다.
도 7b는 본 발명의 일 실시형태의 영상 부호화 장치에서의 움직임 벡터의 방향에 의한 영역 분할의 일례를 나타내는 그래프이다.
도 7c는 본 발명의 일 실시형태의 영상 부호화 장치에서의 영역 번호의 정의를 나타내는 표이다.
도 8은 본 발명의 일 실시형태의 영상 복호 장치를 나타내는 블록도이다.
도 9는 본 발명의 일 실시형태의 영상 복호 처리의 동작을 나타내는 흐름도이다.
도 10은 종래의 영상 부호화 표준 방식에서의 비정수 정밀도의 화소 보간 방법을 나타내는 도면이다.
도 11은 H.264/AVC에서의 비정수 정밀도의 화소 보간 방법의 예를 나타내는 도면이다.
도 12a는 분리형 적응 보간 필터(SAIF)에서의 비정수 정밀도의 화소 보간 방법을 나타내는 도면이다.
도 12b는 분리형 적응 보간 필터(SAIF)에서의 비정수 정밀도의 화소 보간 방법의 일 공정을 나타내는 도면이다.
도 12c는 분리형 적응 보간 필터(SAIF)에서의 비정수 정밀도의 화소 보간 방법의 다른 공정을 나타내는 도면이다.
도 13a는 종래의 적응 보간 필터와 영역 분할형 적응 보간 필터의 비교의 일례를 나타내는 도면이다.
도 13b는 종래의 적응 보간 필터와 영역 분할형 적응 보간 필터의 비교의 다른 예를 나타내는 도면이다.
도 14는 종래의 영역 분할형 적응 보간 필터를 이용하는 영상 부호화 장치를 나타내는 블록도이다.
도 15는 종래의 영역 분할형 적응 보간 필터를 이용하는 영상 복호 장치를 나타내는 블록도이다.
이하, 도면을 이용하면서 본 발명의 실시형태를 설명한다. 또, 예로서 프레임 단위로 영역을 분할하는 방법을 설명하는데, 슬라이스 단위로 영역을 분할해도 되고, 2, 3장 등의 복수장의 프레임으로 영역 분할을 정해도 된다.
[영상 부호화 장치]
도 1은 본 발명의 일 실시형태에 관한 영상 부호화 장치의 구성예를 나타내는 도면이다. 영상 부호화 장치(10)는 복수의 영역 분할 수법(영역 분할 모드라고 함)에 의해 영역을 분할하고, 각각의 영역 분할 모드 중에서 부호화 비용이 최소가 되는 영역 분할에 의한 영역 분할형 적응 보간 필터를 이용하여 소수 정밀도 화소의 보간을 하며, 소수 정밀도의 움직임 보상에 의해 부호화를 행하는 장치이다. 이 영상 부호화 장치는, 적응 보간 필터를 전환하는 단위가 되는 영역의 분할을 복수의 영역 분할 모드 중에서 선택하는 점이 도 14에 도시된 종래의 영상 부호화 장치(100)와 다르다.
영상 부호화 장치(10)에 있어서, 영역 분할부(11)는 입력한 영상 신호의 부호화 대상 프레임을 적응적으로 보간 필터 계수를 전환하는 단위가 되는 복수의 블록으로 이루어지는 복수의 영역으로 분할한다. 이 영역의 분할에서는 영역 분할 모드가 복수 준비되어 있고, 복수의 영역 분할 모드로부터 차례대로 선택된 하나의 영역 분할 모드에 따라 각각 영역이 분할된다.
보간 필터 계수 전환부(12)는, 영역 분할부(11)에 의해 분할된 영역마다 예측 부호화에서의 참조 화상에 대해 이용하는 소수 정밀도 화소의 보간 필터 계수를 전환한다. 이 전환 대상이 되는 보간 필터 계수로서는, 영역 분할부(11)에 의해 분할된 영역마다 원화상과 보간 후의 참조 화상의 예측 오차 에너지가 최소가 되는 최적화된 보간 필터 계수가 이용된다.
예측 신호 생성부(13)는 참조 화상 보간부(131)와 움직임 검출부(132)를 구비한다. 참조 화상 보간부(131)는, 참조 화상 메모리(18)에 저장된 복호 완료된 참조 화상에 보간 필터 계수 전환부(12)가 선택한 보간 필터 계수에 의한 보간 필터를 적용한다. 움직임 검출부(132)는, 보간 후의 참조 화상에 대해 움직임 탐색을 행함으로써 움직임 벡터를 산출한다. 예측 신호 생성부(13)는, 움직임 검출부(132)에 의해 산출된 소수 정밀도의 움직임 벡터에 따른 움직임 보상에 의해 예측 신호를 생성한다.
예측 부호화부(14)는 입력 영상 신호와 예측 신호의 잔차 신호를 산출하고, 이를 직교 변환하여 변환 계수의 양자화 등에 의해 예측 부호화를 행한다.
영역 분할 모드 판정부(15)는, 영역 분할부(11)가 선택한 영역 분할 모드마다 예측 부호화부(14)가 부호화한 결과의 레이트 왜곡(RD) 비용을 저장하고, 가장 레이트 왜곡 비용이 적어지는 영역 분할 모드를 선택한다.
가변길이 부호화부(16)는, 영역 분할 모드 판정부(15)가 선택한 영역 분할 모드(예를 들면, 모드 번호)를 가변길이 부호화한다. 또한, 가변길이 부호화부(16)는 영역마다 보간 필터 계수 전환부(12)가 선택한 보간 필터 계수를 가변길이 부호화한다. 또, 가변길이 부호화부(16)는 최종적으로 선택된 영역 분할 모드에서의 예측 부호화부(14)가 출력하는 양자화된 변환 계수, 움직임 검출부(132)가 출력하는 움직임 벡터를 가변길이 부호화한다. 가변길이 부호화부(16)는 이들 부호화 정보를 부호화 비트 스트림으로서 출력한다.
복호부(17)는 예측 부호화부(14)에 의한 예측 부호화의 결과를 복호하고, 복호 신호를 나중의 예측 부호화를 위해 참조 화상 메모리(18)에 저장한다.
[영상 부호화 장치의 처리 흐름]
도 2는 영상 부호화 장치(10)가 실행하는 영상 부호화 처리의 흐름도이다. 이하에서는 특별히 언급이 없는 한 휘도 신호에서의 처리를 가정하여 설명하는데, 본 예에서 말하는 최적의 영역 분할을 선택하여 영역 단위로 보간 필터 계수를 전환하여 부호화하는 기능은 휘도 신호뿐만 아니라 색차 신호에도 적용 가능하다.
우선, 단계 S101에서는 부호화 대상의 프레임을 입력한다. 다음에, 단계 S102에서는, 입력한 프레임을 블록(예를 들면, 16×16이나 8×8 등의 종래의 움직임 예측의 블록 사이즈)으로 분할하고, 움직임 검출부(132)에 의해 블록 단위로 최적의 움직임 벡터를 산출한다. 단계 S102에서의 참조 화상의 소수 정밀도 화소의 보간에는 종래의 H.264/AVC에 의한 고정 6탭 필터를 이용한다.
이어서, 단계 S103에서는, 영역 분할부(11)가 준비한 복수의 영역 분할 모드 중에서 차례대로 하나의 영역 분할 모드를 선택하고, 선택한 영역 분할 모드에 대해 단계 S110까지의 처리를 반복한다. 영역 분할 모드의 예의 상세에 대해서는 도 3을 이용하여 후술한다.
단계 S104에서는, 영역 분할부(11)가 단계 S103에서 선택한 영역 분할 모드에 따른 영역 분할을 한다.
단계 S105부터 S108에서는, 단계 S104의 영역 분할 결과로부터 영역마다 최적화 처리를 한다. 우선, 단계 S105에서는, 예측 오차 에너지 함수인 식(3)을 이용하여 수평 방향의 각 소수 정밀도 화소에 대한 보간 필터 계수의 최적화 처리를 한다.
Figure pct00003
여기서, αm,n은 각 영역을 나타내고 있고, m은 영역 분할 모드 번호, n은 특정의 영역 분할 모드에서의 영역 번호, S는 원화상, P는 복호 완료된 참조 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또한, ~x(~는 x 위에 붙는 기호)는 ~x=x+MVx-FilterOffset으로서, MVx는 사전에 얻어진 움직임 벡터의 수평 성분, FilterOffset은 조정을 위한 오프셋(수평 방향 필터 길이를 2로 나눈 값)을 나타내고 있다. 수직 방향에 대해서는 ~y=y+MVy가 되고, MVy는 움직임 벡터의 수직 성분을 나타낸다. wci는 구해야 할 수평 방향 필터 계수군(ci)(0≤ci<6)을 나타낸다.
이어서, 단계 S106에서는, 단계 S105에서 얻어진 수평 방향의 보간 필터 계수를 이용하여 프레임 내의 각 영역마다 독립적으로 수평 방향의 소수 화소 보간(도 12에서의 a, b, c의 보간)을 실시한다.
단계 S107에서는, 수직 방향의 보간 필터 계수의 최적화 처리를 실시한다. 수직 방향의 예측 오차 에너지 함수인 식(4)을 이용하여 수직 방향의 각 소수 화소에 대한 보간 필터 계수의 최적화 처리를 한다.
Figure pct00004
여기서, αm,n은 각 영역을 나타내고 있고, m은 영역 분할 모드 번호, n은 특정의 영역 분할 모드에서의 영역 번호, S는 원화상, ^P(^은 P 위에 붙는 기호)는 단계 S105에서 수평 방향으로 보간 처리된 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또한, ~x=4·(x+MVx)로서, MVx는 둥글게 된 움직임 벡터의 수평 성분을 나타낸다. 수직 방향에 대해서는 ~y=y+MVy-Filter0ffset으로 표현되고, MVy는 움직임 벡터의 수직 성분, Filter0ffset은 조정을 위한 오프셋(필터 길이를 2로 나눈 값)을 나타낸다. wcj는 구해야 할 수직 방향 필터 계수군(cj)(0≤cj<6)을 나타낸다.
단계 S108에서, 단계 S107에서 얻어진 수직 방향의 보간 필터 계수를 이용하여 프레임 내의 각 영역마다 독립적으로 수직 방향의 소수 화소 보간(도 12에서의 d~o의 보간)을 실시한다.
이어서, 단계 S109에서, 단계 S108에서 얻어진 수직 방향으로 보간된 화상을 참조 화상으로서 다시 움직임 벡터의 산출을 한다.
단계 S110에서는, 단계 S103에서 선택한 영역 분할 모드에 대한 레이트 왜곡 비용(RD 비용)을 산출하여 저장을 한다. 단계 S103부터 단계 S110까지의 처리를 준비된 영역 분할 모드에 대해 전부 실행한다.
이어서, 단계 S111에서는, 영역 분할 모드 판정부(15)가 준비된 복수의 영역 분할 모드 중에서 최소의 레이트 왜곡 비용을 실현하는 최적의 영역 분할 모드를 결정한다.
이어서, 단계 S112에서는, 가변길이 부호화부(16)가 단계 S111에서 결정된 최적의 영역 분할 모드를 부호화한다. 또한, 단계 S113에서는, 가변길이 부호화부(16)가 단계 S112에서 부호화한 영역 분할 모드에서의 보간 필터 계수를 부호화한다. 또, 단계 S114에서는, 단계 S111에서 결정된 영역 분할 모드에서의 나머지 부호화해야 할 정보(움직임 벡터, DCT 계수 등)의 부호화를 행한다.
[영역 분할 모드]
다음에, 본 실시형태에서 이용하는 영역 분할 모드의 예에 대해 설명한다.
도 3은 영역 분할 모드를 정의하는 분할 테이블의 일례를 나타내는 도면이다. 도 3에서, Thx1, Thx2, Thy1, Thy2는 움직임 벡터(MV)의 히스토그램으로부터 구해지는 문턱값, MVx는 움직임 벡터의 수평 성분, MVy는 움직임 벡터의 수직 성분, x, y는 프레임 내의 블록 위치를 나타내는 공간 좌표, Fx는 프레임의 가로 폭, Fy는 프레임의 세로 폭을 나타낸다.
도 3에 도시된 예에서는 최대 영역 수를 2로 고정하고 있는데, 영역 수를 3 이상으로 설정할 수도 있다. 여기서는, 영역 분할 모드로서 영역 분할 모드 번호(이하, 단지 모드 번호라고 함)가 0부터 7까지의 8종류의 분할 수법이 준비되어 있다.
[모드 번호=0]
모드 번호 0은 프레임 내의 영역을 분할하지 않은 경우로서, 종래의 적응 보간 필터(AIF: Adaptive Interpolation Filter)를 이용하는 경우이다.
[모드 번호=1, 2]
모드 번호 1은 움직임 벡터의 x성분(MVx)에 착안하여 영역을 분할하는 모드로서, MVx가 문턱값(Thx1, Thx2)의 사이에 있으면 제1 영역(영역 1), 문턱값(Thx1, Thx2) 밖에 있으면 제2 영역(영역 2)으로서 분할한다.
모드 번호 2는 움직임 벡터의 y성분(MVy)에 착안하여 영역을 분할하는 모드로서, MVy가 문턱값(Thy1, Thy2)의 사이에 있으면 제1 영역(영역 1), 문턱값(Thy1, Thy2) 밖에 있으면 제2 영역(영역 2)으로서 분할한다.
도 4a는, 움직임 벡터의 성분(모드 번호 1 또는 2)에 의한 영역 분할의 처리 흐름을 나타내고 있다. 우선, 단계 S201에서는, 부호화 대상 프레임에 대해 블록 단위로 움직임 벡터를 취득한다. 단계 S202에서는, 움직임 벡터의 x성분(모드 번호 1일 때) 또는 y성분(모드 번호 2일 때)의 히스토그램을 생성한다. 단계 S203에서는, 히스토그램으로부터 문턱값을 계산한다. 단계 S204에서는, 단계 S203에서 계산한 문턱값과 움직임 벡터의 성분의 대소 관계로부터 영역 번호(영역 1 또는 영역 2)를 결정한다.
단계 S203에서의 문턱값의 계산에 대해 도 4b의 모드 번호 1의 경우를 예로 설명한다. 도 4b의 그래프의 세로축은 움직임 벡터의 성분(MVx)의 개수이다. 단계 S2O3에서의 문턱값(Thx1, Thx2)은 히스토그램에서의 영역 1과 영역 2의 면적이 같아지도록 결정한다. 단계 S202에서의 히스토그램 생성 시에 MVx의 총수를 알 수 있기 때문에, 최소의 MVx부터 카운트하여 총수의 1/4의 개수에 도달했을 때의 MVx의 값을 제1 문턱값(Thx1)으로 하고, 3/4의 개수에 도달했을 때의 MVx의 값을 제2 문턱값(Thx2)으로서 정한다. 모드 번호 2의 수평 성분(MVy)의 경우의 문턱값(Thy1, Thy2)도 마찬가지로 결정할 수 있다.
모드 번호 1 또는 모드 번호 2가 선택된 경우, 문턱값은 부호화하여 보간 필터 계수와 같이 영상 복호 장치로 전송한다.
[모드 번호=3, 4, 5]
모드 번호 3, 4, 5는 움직임 벡터의 방향에 착안하여 영역을 분할하는 모드이다. 도 5a는, 움직임 벡터의 방향(모드 번호 3~5)에 의한 영역 분할의 처리 흐름을 나타내고 있다. 우선, 단계 S301에서는, 부호화 대상 프레임에 대해 블록 단위로 움직임 벡터를 취득한다. 단계 S302에서는, 움직임 벡터의 방향을 판정한다. 단계 S303에서는, 움직임 벡터의 방향에 의해 영역 번호(영역 1 또는 영역 2)를 결정한다.
모드 번호가 3인 분할 모드의 경우, 도 5b에 도시된 바와 같이 움직임 벡터가 제1 상한(象限)이나 제3 상한에 있을 때에 제1 영역(영역 1)으로 하고, 제2 상한이나 제4 상한에 있을 때에 제2 영역(영역 2)으로 하는 영역 분할을 한다.
모드 번호가 4인 분할 모드의 경우, 도 5c에 도시된 바와 같이 움직임 벡터의 x성분(MVx)이 0 이상일 때에 제1 영역(영역 1)으로 하고, 움직임 벡터의 x성분(MVx)이 0보다 작을 때에 제2 영역(영역 2)으로 하는 영역 분할을 한다.
모드 번호가 5인 분할 모드의 경우, 도 5d에 도시된 바와 같이 움직임 벡터의 y성분(MVy)이 0 이상일 때에 제1 영역(영역 1)으로 하고, 움직임 벡터의 y성분(MVy)이 0보다 작을 때에 제2 영역(영역 2)으로 하는 영역 분할을 한다.
[모드 번호=6, 7]
모드 번호 6, 7은 공간 좌표에 착안하여 영역을 분할하는 모드이다. 도 6a는 공간 좌표에 의한 영역 분할의 처리 흐름을 나타내고 있다. 우선, 단계 S401에서는, 부호화 대상 블록의 공간 좌표를 취득한다. 단계 S402에서는, 단계 S401에서 취득한 블록의 공간 좌표의 값에 의해 영역 번호(영역 1 또는 영역 2)를 결정한다.
모드 번호가 6인 분할 모드는 도 6b에 도시된 바와 같이 화면을 좌우 2개의 영역으로 분할하는 모드로서, 블록의 공간 좌표(x)가 프레임의 가로폭의 절반(Fx/2) 이하일 때에 제1 영역(영역 1)으로 하고, 가로폭의 절반(Fx/2)보다 클 때에 제2 영역(영역 2)으로 하는 모드이다. 여기서, 문턱값은 가로폭의 절반에 한정되지 않고, 임의의 값을 취할 수도 있다. 문턱값을 수 패턴의 좌표로부터 선택하는 경우, 문턱값을 부호화하여 영상 복호 장치로 전송한다.
모드 번호가 7인 분할 모드는 도 6c에 도시된 바와 같이 화면을 상하 2개의 영역으로 분할하는 모드로서, 블록의 공간 좌표(y)가 프레임의 세로폭의 절반(Fy/2) 이하일 때에 제1 영역(영역 1)으로 하고, 세로폭의 절반(Fy/2)보다 클 때에 제2 영역(영역 2)으로 하는 모드이다. 여기서, 문턱값은 세로폭의 절반에 한정되지 않고, 임의의 값을 취할 수도 있다. 문턱값을 수 패턴의 좌표로부터 선택하는 경우, 문턱값을 부호화하여 영상 복호 장치로 전송한다.
이상이 영역 수가 2인 경우의 영역 분할 모드의 예인데, 영역 수가 2 이외인 모드가 혼재해도 된다. 이하에 영역 수가 4인 경우의 분할 모드의 일례를 나타낸다.
[영역 수가 4인 경우의 예]
도 7a는, 영역 수가 4인 경우의 움직임 벡터의 방향에 의한 영역 분할의 처리 흐름을 나타내고 있다. 우선, 단계 S501에서는, 부호화 대상 프레임에 대해 블록 단위로 움직임 벡터를 취득한다. 단계 S502에서는, 움직임 벡터의 방향을 판정한다. 단계 S503에서는, 움직임 벡터의 방향에 의해 영역 번호(영역 1~4)를 결정한다.
이 분할 모드의 경우, 도 7b 및 도 7c에 도시된 바와 같이 움직임 벡터가 제1 상한에 있을 때에 제1 영역(영역 1)으로 하고, 제2 상한에 있을 때에 제2 영역(영역 2)으로 하며, 제3 상한에 있을 때에 제3 영역(영역 3)으로 하고, 제4 상한에 있을 때에 제4 영역(영역 4)으로 하는 영역 분할을 한다.
[영상 복호 장치]
도 8은, 본 발명에 관한 영상 복호 장치의 구성예를 나타내는 도면이다. 영상 복호 장치(20)는, 도 1에 도시된 영상 부호화 장치(10)가 부호화한 비트 스트림을 입력하고, 영역 분할 모드에 따라 분할된 영역마다 적응 보간 필터를 전환하여 소수 정밀도 화소의 보간을 행하며, 소수 정밀도의 움직임 보상에 의해 복호 화상을 생성한다. 영상 복호 장치(20)는, 영역 분할 모드에 따라 복호 대상 블록의 영역을 판정하고 적응 보간 필터를 전환하여 소수 정밀도 화소의 보간을 행하는 점이 도 15에 도시된 종래의 영상 복호 장치(200)와 다르다.
영상 복호 장치(20)에 있어서, 가변길이 복호부(21)는 부호화 비트 스트림을 입력하여 양자화 변환 계수, 움직임 벡터, 보간 필터 계수군 등의 복호를 행한다. 특히, 영역 분할 모드 복호부(211)는, 영상 부호화 장치(10)에 의해 부호화된 영역 분할 수법을 나타내는 모드 번호를 복호한다. 모드 번호에 따라서는 모드 번호 이외의 추가 정보(즉, 움직임 벡터의 문턱값이나 공간 좌표의 문턱값)도 합하여 복호한다.
영역 판정부(22)는, 영역 분할 모드 복호부(211)가 복호한 모드 번호가 나타내는 영역 분할 모드에 따라 블록의 움직임 벡터 또는 공간 좌표로부터 복호 대상 프레임에 대해 적응적으로 보간 필터 계수를 전환하는 단위가 되는 영역을 판정한다. 보간 필터 계수 전환부(23)는, 영역 판정부(22)에 의해 판정된 영역마다 가변길이 복호부(21)에서 복호한 보간 필터 계수를 전환한다.
예측 신호 생성부(24)에서의 참조 화상 보간부(241)는, 참조 화상 메모리(26)에 저장된 복호 완료된 참조 화상에 보간 필터 계수 전환부(23)로부터 수취한 보간 필터 계수에 의한 보간 필터를 적용하여 참조 화상의 소수 정밀도 화소의 복원을 한다. 예측 신호 생성부(24)는, 소수 정밀도 화소의 복원이 행해진 참조 화상으로부터 복호 대상 블록의 예측 신호를 생성한다.
예측 복호부(25)는, 가변길이 복호부(21)에서 복호한 양자화 계수의 역양자화, 역직교 변환 등을 행하고, 이에 의해 산출된 예측 오차 신호와 예측 신호 생성부(24)가 생성한 예측 신호를 서로 더하여 복호 신호를 생성하여 복호 화상으로서 출력한다. 예측 복호부(25)가 복호한 복호 신호는 나중의 예측 복호를 위해 참조 화상 메모리(26)에 저장된다.
[영상 복호 장치의 처리 흐름]
도 9는, 영상 복호 장치(20)가 실행하는 영상 복호 처리의 흐름도이다. 이하에서는 특별히 언급이 없는 한 휘도 신호에서의 처리를 가정하여 설명하지만, 휘도 신호뿐만 아니라 색차 신호에도 적용 가능하다.
우선, 단계 S601에서는, 가변길이 복호부(21)가 입력 비트 스트림으로부터 프레임 헤더의 정보를 취득한다. 다음에, 단계 S602에서는, 화면 내에서 보간 필터 계수를 전환하는 판정에 필요해지는 영역 분할 모드(모드 번호)를 복호한다. 모드 번호에 따라 필요해지는 추가 정보도 단계 S602에서 복호한다. 이어서, 단계 S603에서는, 참조 화상의 소수 정밀도 화소의 보간에 필요해지는 각종 보간 필터 계수의 복호를 행하고 영역마다의 보간 필터 계수군을 취득한다. 단계 S604에서는, 움직임 벡터(MV) 등의 각종 부호화 정보의 복호를 행한다.
이어서, 단계 S605에서는, 영역 판정부(22)가 단계 S602에서 얻어진 영역 분할 모드의 정의에 따라 블록 단위로 어느 영역에 속하는지의 판정을 실시하여 영역 번호를 취득한다.
이어서, 단계 S606에서는, 보간 필터 계수 전환부(23)가 단계 S605에서 얻어진 영역 번호로부터 단계 S603에서 얻어진 보간 필터 계수군 중에서 최적의 보간 필터 계수를 선택하고 참조 화상 보간부(241)로 통지한다. 참조 화상 보간부(241)는, 통지된 보간 필터 계수에 의해 정해지는 보간 필터를 이용하여 참조 화상의 소수 정밀도 화소의 복원을 한다. 소수 정밀도 화소의 복원 후, 예측 신호 생성부(24)는 단계 S604에서 복호한 움직임 벡터를 이용하여 복호 대상 블록의 예측 신호의 생성을 한다.
이어서, 단계 S607에서는, 가변길이 복호부(21)가 입력 비트 스트림으로부터 복호 대상 블록의 예측 잔차 신호의 복호를 행한다.
이어서, 단계 S608에서는, 예측 복호부(25)가 단계 S606에서 얻어진 예측 신호와 단계 S607에서 얻어진 예측 잔차 신호를 서로 더하여 복호 신호를 생성한다. 생성한 복호 신호는 복호 화상으로서 출력함과 동시에 참조 화상 메모리(26)에 저장한다.
이상의 단계 S601~S608을 모든 프레임의 복호가 종료될 때까지 반복하고, 모든 프레임에 대한 복호가 종료되었으면 처리를 종료한다(단계 S609).
이상의 영상 부호화 및 복호의 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터 판독 가능한 기록 매체에 기록하는 것도 가능하며 네트워크를 통해 제공하는 것도 가능하다.
이상, 본 발명의 실시형태에 대해 도면을 참조하여 설명하였지만, 구체적인 구성은 이들 실시형태에 한정되는 것은 아니고, 본 발명의 요지를 벗어나지 않는 범위의 설계 등(구성의 부가, 생략, 치환 및 그 밖의 변경)도 포함된다. 본 발명은 상기 설명에 의해 한정되는 것은 아니고, 첨부하는 특허청구범위에 의해서만 한정된다.
본 발명은, 보간 필터 계수의 화면 내 변경 기능을 갖는 영상 부호화/복호 방법 및 영상 부호화/복호 장치에 적용할 수 있고, 복수의 프레임 또는 슬라이스 단위로 최적의 영역 분할 수법이 선택 가능하게 되며, 화상의 시공간적인 국소성을 고려한 보간 필터 계수의 전환이 가능하게 된다. 따라서, 예측 오차 에너지의 저감에 의한 부호화 효율 개선을 달성할 수 있다.
10 영상 부호화 장치
11 영역 분할부
12 보간 필터 계수 전환부
13 예측 신호 생성부
131 참조 화상 보간부
132 움직임 검출부
14 예측 부호화부
15 영역 분할 모드 판정부
16 가변길이 부호화부
17 복호부
18 참조 화상 메모리
20 영상 복호 장치
21 가변길이 복호부
211 영역 분할 모드 복호부
22 영역 판정부
23 보간 필터 계수 전환부
24 예측 신호 생성부
241 참조 화상 보간부
25 예측 복호부
26 참조 화상 메모리

Claims (11)

  1. 소수 정밀도의 움직임 보상을 이용하는 영상 부호화 방법에 있어서,
    미리 정해진 복수의 영역 분할 수법 중에서 순차적으로 하나의 영역 분할 수법을 선택하는 단계;
    상기 선택된 영역 분할 수법에 따라 부호화 대상 프레임 또는 슬라이스로부터 부호화 완료 또는 부호화 중에 얻어지는 정보를 기초로 프레임 또는 슬라이스 내에서 영역 분할을 하고, 그 분할된 영역마다 소수 정밀도 화소의 보간 필터를 선택하는 단계;
    선택된 보간 필터를 이용하여 참조 화상에 대한 소수 정밀도 화소의 보간을 하고, 소수 정밀도의 움직임 보상에 의해 예측 부호화를 행하는 단계;
    선택된 영역 분할 수법에 대해 부호화의 비용을 산출하여 저장하는 단계;
    저장한 상기 비용으로부터 상기 복수의 영역 분할 수법 중에서 비용이 최소가 되는 영역 분할 수법을 선택하여, 그 선택된 영역 분할 수법을 나타내는 정보를 부호화하는 단계;
    상기 선택된 영역 분할 수법을 이용하여 상기 부호화 대상 프레임 또는 슬라이스의 부호화를 실행하는 단계;를 갖는 영상 부호화 방법.
  2. 제1항에 있어서,
    상기 부호화 완료 또는 부호화 중에 얻어지는 정보는, 부호화 대상 블록의 움직임 벡터의 성분의 크기 또는 부호화 대상 블록의 움직임 벡터의 방향 또는 부호화 대상 블록의 위치를 나타내는 공간 좌표를 포함하는 영상 부호화 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 복수의 영역 분할 수법은,
    영역을 분할하지 않는 모드, 부호화 대상 블록의 움직임 벡터의 수평성분의 대소에 의해 영역을 분할하는 1 또는 복수의 모드, 부호화 대상 블록의 움직임 벡터의 방향에 의해 영역을 분할하는 1 또는 복수의 모드, 부호화 대상 블록의 위치를 나타내는 공간 좌표에 의해 영역을 분할하는 1 또는 복수의 모드 중에서 어느 복수의 모드를 포함하는 영상 부호화 방법.
  4. 제3항에 있어서,
    상기 1 또는 복수의 모드 중에서 선택된 모드에 따라 필요해지는 상기 영역 분할을 하기 위한 문턱값 정보를 부호화하는 단계를 갖는 영상 부호화 방법.
  5. 소수 정밀도의 움직임 보상을 이용하는 영상 복호 방법에 있어서,
    부호화 시에 이용된 영역 분할 수법을 나타내는 정보를 복호하는 단계;
    소수 정밀도 화소의 보간 필터 계수를 복호하는 단계;
    복호 대상 블록으로부터 얻어지는 정보를 이용하여 블록 단위로 상기 복호에 의해 얻어진 영역 분할 수법에 따른 영역의 분류를 하고, 그 분류 결과에 따라 복호 대상 프레임 또는 슬라이스의 영역을 분할하는 단계;
    분할된 상기 영역마다 소수 정밀도 화소의 보간 필터를 전환하여 참조 화상에 대한 소수 정밀도 화소의 보간을 하고, 소수 정밀도의 움직임 보상에 의해 예측 복호를 행하는 단계;를 갖는 영상 복호 방법.
  6. 제5항에 있어서,
    상기 영역 분할 수법은,
    영역을 분할하지 않는 모드, 부호화 대상 블록의 움직임 벡터의 수평성분의 대소에 의해 영역을 분할하는 1 또는 복수의 모드, 부호화 대상 블록의 움직임 벡터의 방향에 의해 영역을 분할하는 1 또는 복수의 모드, 부호화 대상 블록의 위치를 나타내는 공간 좌표에 의해 영역을 분할하는 1 또는 복수의 모드 중에서 어느 복수의 모드를 포함하는 영상 복호 방법.
  7. 제6항에 있어서,
    상기 1 또는 복수의 모드 중에서 선택된 모드에 따라 필요해지는 상기 영역 분할을 하기 위한 문턱값 정보를 복호하는 단계를 갖는 영상 복호 방법.
  8. 소수 정밀도의 움직임 보상을 이용하는 영상 부호화 장치에 있어서,
    미리 정해진 복수의 영역 분할 수법 중에서 순차적으로 하나의 영역 분할 수법을 선택하는 영역 분할부;
    상기 선택된 영역 분할 수법에 따라 부호화 대상 프레임 또는 슬라이스로부터 부호화 완료 또는 부호화 중에 얻어지는 정보를 기초로 프레임 또는 슬라이스 내에서 영역 분할을 하고, 그 분할된 영역마다 소수 정밀도 화소의 보간 필터를 선택하는 보간 필터 계수 전환부;
    선택된 보간 필터를 이용하여 참조 화상에 대한 소수 정밀도 화소의 보간을 하고, 소수 정밀도의 움직임 보상에 의해 예측 부호화를 행하는 예측 부호화부;
    상기 선택된 영역 분할 수법에 대해 부호화의 비용을 산출하여 저장함과 동시에, 저장한 비용으로부터 상기 복수의 영역 분할 수법 중에서 비용이 최소가 되는 영역 분할 수법을 선택하여, 그 영역 분할 수법을 나타내는 정보를 부호화하는 영역 분할 모드 판정부;
    상기 비용이 최소가 되는 영역 분할 수법을 이용하여 부호화 대상 프레임 또는 슬라이스의 부호화를 실행하는 부호화부;를 구비하는 영상 부호화 장치.
  9. 소수 정밀도의 움직임 보상을 이용하는 영상 복호 장치에 있어서,
    부호화 시에 이용된 영역 분할 수법을 나타내는 정보를 복호하는 영역 분할 모드 복호부;
    소수 정밀도 화소의 보간 필터 계수를 복호하는 가변길이 복호부;
    복호 대상 블록으로부터 얻어지는 정보를 이용하여 블록 단위로 상기 복호에 의해 얻어진 영역 분할 수법에 따른 영역의 분류를 하고, 그 분류 결과에 따라 복호 대상 프레임 또는 슬라이스의 영역을 분할하는 영역 판정부;
    상기 분할된 영역마다 소수 정밀도 화소의 보간 필터를 전환하여 참조 화상에 대한 소수 정밀도 화소의 보간을 하고, 소수 정밀도의 움직임 보상에 의해 예측 복호를 행하는 예측 복호부;를 구비하는 영상 복호 장치.
  10. 제1항 내지 제4항 중 어느 한 항에 기재된 영상 부호화 방법을 컴퓨터에 실행시키기 위한 영상 부호화 프로그램.
  11. 제5항 내지 제7항 중 어느 한 항에 기재된 영상 복호 방법을 컴퓨터에 실행시키기 위한 영상 복호 프로그램.
KR1020137003311A 2010-08-12 2011-08-05 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 그들의 프로그램 KR20130066660A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010180814A JP5563403B2 (ja) 2010-08-12 2010-08-12 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JPJP-P-2010-180814 2010-08-12
PCT/JP2011/067963 WO2012020708A1 (ja) 2010-08-12 2011-08-05 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム

Publications (1)

Publication Number Publication Date
KR20130066660A true KR20130066660A (ko) 2013-06-20

Family

ID=45567676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137003311A KR20130066660A (ko) 2010-08-12 2011-08-05 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 그들의 프로그램

Country Status (9)

Country Link
US (1) US20130136187A1 (ko)
EP (1) EP2592835A4 (ko)
JP (1) JP5563403B2 (ko)
KR (1) KR20130066660A (ko)
CN (1) CN103168470A (ko)
BR (1) BR112013003066A2 (ko)
CA (1) CA2807784A1 (ko)
TW (1) TWI501629B (ko)
WO (1) WO2012020708A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201406166A (zh) 2012-07-27 2014-02-01 Novatek Microelectronics Corp 視訊編碼方法與視訊編碼裝置
JP6159225B2 (ja) * 2013-10-29 2017-07-05 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US9967558B1 (en) * 2013-12-17 2018-05-08 Google Llc Adaptive motion search control for variable block size partitions in video coding
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
JP2015185897A (ja) * 2014-03-20 2015-10-22 パナソニックＩｐマネジメント株式会社 画像符号化方法及び画像符号化装置
EP3203747B1 (en) * 2014-10-01 2020-12-23 LG Electronics Inc. Method and apparatus for encoding and decoding video signal using improved prediction filter
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding
WO2019065537A1 (ja) * 2017-09-28 2019-04-04 シャープ株式会社 動き補償フィルタ装置、画像復号装置および動画像符号化装置
CN111163319B (zh) * 2020-01-10 2023-09-15 上海大学 一种视频编码方法
CN114615494A (zh) * 2020-12-04 2022-06-10 咪咕文化科技有限公司 一种图像处理方法、装置及设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR20090094343A (ko) * 2006-11-30 2009-09-04 가부시키가이샤 엔티티 도코모 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램
KR20100103822A (ko) * 2008-01-14 2010-09-28 톰슨 라이센싱 다중 격자 성김-기반의 필터링을 사용하는 아티팩트 제거 필터링 방법 및 장치
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data

Also Published As

Publication number Publication date
CA2807784A1 (en) 2012-02-16
CN103168470A (zh) 2013-06-19
TW201215154A (en) 2012-04-01
JP5563403B2 (ja) 2014-07-30
US20130136187A1 (en) 2013-05-30
TWI501629B (zh) 2015-09-21
BR112013003066A2 (pt) 2018-01-30
EP2592835A1 (en) 2013-05-15
WO2012020708A1 (ja) 2012-02-16
JP2012044239A (ja) 2012-03-01
EP2592835A4 (en) 2016-05-18

Similar Documents

Publication Publication Date Title
JP5563403B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US10298945B2 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
JP2017011731A (ja) 映像符号化装置
JP5649523B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
US9667963B2 (en) Method and apparatus for encoding video, method and apparatus for decoding video, and programs therefor
JPWO2014163200A1 (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
JPWO2014049981A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9609318B2 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
KR20140062519A (ko) 영상 부호화 방법, 장치, 영상 복호 방법, 장치 및 이들의 프로그램
JPWO2014049982A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application