KR20160003869A - 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 이들의 프로그램 - Google Patents

영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 이들의 프로그램 Download PDF

Info

Publication number
KR20160003869A
KR20160003869A KR1020157035181A KR20157035181A KR20160003869A KR 20160003869 A KR20160003869 A KR 20160003869A KR 1020157035181 A KR1020157035181 A KR 1020157035181A KR 20157035181 A KR20157035181 A KR 20157035181A KR 20160003869 A KR20160003869 A KR 20160003869A
Authority
KR
South Korea
Prior art keywords
edge
interpolation filter
threshold value
reference image
area
Prior art date
Application number
KR1020157035181A
Other languages
English (en)
Inventor
쇼헤이 마츠오
유키히로 반도
세이시 다카무라
히로히사 조자와
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20160003869A publication Critical patent/KR20160003869A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

화상의 엣지 특성을 고려한 영역 분할형 적응 보간 필터를 이용함으로써, 움직임 보상 화면 간 예측의 잔차 에너지를 저감하고 부호화 효율의 개선을 도모한다. 엣지 계산부는 움직임 벡터가 지시하는 참조 화상 데이터로부터 엣지 정보를 산출한다. 영역 분할부는 엣지 정보를 기초로 부호화 대상 프레임을 적응적으로 보간 필터를 적용하는 단위가 되는 복수의 영역으로 분할한다. 필터 계수 최적화부는 영역 단위로 소수 정밀도 화소의 보간 필터를 최적화한다. 참조 화상 보간부는 최적화된 보간 필터를 이용하여 참조 화상에 대한 소수 정밀도 화소의 보간을 행하고, 예측 부호화부에서는 소수 정밀도의 움직임 보상에 의한 예측 부호화를 행한다.

Description

영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 이들의 프로그램{Video encoding method, video decoding method, video encoding device, video decoding device, and programs for same}
본 발명은, 움직임 보상을 이용하는 영상 부호화에서의 적응 보간 필터의 성능 개선을 도모한 영상 부호화, 복호 기술에 관한 것이다.
본원은 2010년 8월 12일에 일본 출원된 특원 2010-180813호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
영상 부호화에 있어서 다른 화면 간에서 예측을 실행하는 화면 간 예측(움직임 보상) 부호화에서는, 이미 복호된 프레임을 참조하여 예측 오차 에너지 등을 최소로 하도록 움직임 벡터가 구해지고, 그 잔차 신호(residual signal)가 직교 변환되어 양자화가 실시되며 엔트로피 부호화를 거쳐 바이너리 데이터가 된다. 부호화 효율을 높이기 위해서는, 보다 예측 정밀도가 높은 예측 방식이 요구되며 예측 오차 에너지의 저감이 불가결하다.
영상 부호화 표준 방식에는, 수많은 화면 간 예측의 정밀도를 높이기 위한 도구가 도입되어 있다. 예를 들면 H.264/AVC에서는, 바로 옆의 프레임에 오클루전(occlusion)이 존재하는 경우는 시간적으로 약간 떨어진 프레임을 참조하는 것이 예측 오차 에너지를 저감할 수 있기 때문에, 복수의 프레임을 참조 가능하게 하고 있다. 본 도구를 복수 참조 프레임 예측이라고 부른다.
또한, 복잡한 형상의 움직임에도 대응 가능하게 하기 위해, 16×16 및 8×8에 덧붙여 16×8, 8×16, 8×4, 4×8, 4×4와 같이 블록 사이즈를 미세하게 분할 가능하게 하고 있다. 본 도구를 가변 블록 사이즈 예측이라고 부른다.
이들과 같이, 참조 프레임의 정수 정밀도 화소로부터 6탭(tap)의 필터를 이용하여 1/2 정밀도의 화소를 보간하고, 또 그 화소를 이용하여 1/4 정밀도의 화소를 선형 보간으로 생성한다. 이에 의해, 비정수 정밀도의 움직임에 대해 예측이 맞게 된다. 본 도구를 1/4 화소 정밀도 예측이라고 부른다.
H.264/AVC보다 부호화 효율이 높은 차세대 영상 부호화 표준 방식의 책정을 위해, 국제 표준화 조직 ISO/IEC "MPEG"(International Organization for Standardization/International Electrotechnical Commission "Moving Picture Experts Group")나 ITU-T "VCEG"(International Telecommunication Union-Telecommunication Standardization Sector "Video Coding Experts Group")에서 현재 세계 각국으로부터 다양한 제안이 모이고 있다. 그 중에서 특히 화면 간 예측(움직임 보상)에 관련되는 제안은 많이 이루어져 있고, VCEG가 주도로 작성하고 있는 차세대 영상 부호화를 위한 소프트웨어(이하, KTA(Key Technical Area) 소프트웨어)에는, 움직임 벡터의 부호량을 삭감하는 도구나 블록 사이즈를 16×16 이상으로 확장하는 도구가 채용되어 있다.
특히, 소수 정밀도 화소의 보간 필터 계수를 적응적으로 변화시키는 도구는 적응 보간 필터라고 불리며, 거의 모든 화상에서 효과가 있어 최초로 KTA 소프트웨어에 채용되었다. MPEG와 VCEG가 공동으로 진행하고 있는 차세대 영상 부호화 표준 책정을 위한 그룹 JCT-VC(Joint Collaborative Team on Video Coding)가 발행한 차세대 영상 부호화 테스트 모델의 모집(Call for Proposal)에 대한 기서에도 본 기술은 많이 채용되어 있다. 부호화 효율 향상에의 기여가 높기 때문에, 앞으로 적응 보간 필터의 성능 개선은 매우 기대되는 영역이라고 할 수 있다.
현재 이상과 같은 상황인데, 영상 부호화에서의 보간 필터로서는 종래 다음과 같은 필터가 이용되었다.
[고정적 보간]
과거의 영상 부호화 표준 방식 MPEG-1/2에서는, 도 15a에 도시된 바와 같이 1/2 정밀도의 화소를 보간하기 위해 인접한 2점의 정수 정밀도 화소(단지 정수 화소라고도 함)로부터 가산 평균을 이용하여 보간 화소를 생성하였다. 즉, 2점의 정수 화소에 대해 [1/2, 1/2]의 평균값 필터를 실시하게 된다. 매우 단순한 처리 때문에 계산 복잡도의 관점에서 보면 효과적이지만, 1/4 정밀도의 화소를 구함에 있어서는 필터의 성능으로서 높지는 않다.
MPEG-4 Part 2도 마찬가지로 1/2 화소 정밀도의 화소를 평균값 필터에서 생성하는데, Advanced　Simple　Profile(ASP)에서는 1/4 화소 정밀도의 움직임 보상에도 대응하고 있다. 1/2 화소의 위치는, 도 15b에 도시된 바와 같은 1차원 8탭 필터를 이용하여 산출한다. 그 후, 1/4 화소 위치는 평균값 필터에서 도출한다.
또한, H.264/AVC에서는, 도 15c에 도시된 바와 같이 1/2 화소 위치의 보간시는 대상이 되는 보간 화소의 좌우 3점씩 합계 6정수 화소를 이용하여 보간을 행한다. 수직 방향에 대해서는 상하 3점씩 합계 6정수 화소를 이용하여 보간한다. 필터 계수는 각각 [(1, -5, 20, 20, -5, 1)/32]가 되어 있다. 1/2 화소 위치가 보간된 후, 1/4 화소 위치는 [1/2, 1/2]의 평균값 필터를 이용하여 보간을 행한다. 한번에 1/2 화소 위치를 전부 보간하여 구할 필요가 있기 때문에 계산 복잡도는 높지만, 성능이 높은 보간이 가능하게 되어 부호화 효율 향상을 이끌고 있다. 이상의 고정적 보간 필터의 상세는 비특허문헌 1, 비특허문헌 2, 비특허문헌 3에 나타나 있다.
[적응적 보간]
H.264/AVC에서는, 입력 화상 조건(시퀀스 종류/화상 사이즈/프레임 레이트)이나 부호화 조건(블록 사이즈/GOP(Group of Pictures) 구조/QP(Quantization Parameter))에 관계없이 필터 계수값은 일정하다. 필터 계수값이 고정인 경우, 예를 들면 에일리어싱(aliasing), 양자화 오차, 움직임 추정에 의한 오차, 카메라 잡음 등의 시간적으로 변화하는 효과가 고려되지 않는다. 따라서, 부호화 효율의 점에서 성능 향상에 한계가 있다고 생각된다. 그래서, 보간 필터 계수를 적응적으로 변화시키는 방식이 비특허문헌 4에서는 제안되어 있고, 비분리형의 적응 보간 필터라고 불리고 있다.
비특허문헌 4에서는, 2차원의 보간 필터(6×6의 합계 36 필터 계수)를 생각하고 있고, 예측 오차 에너지를 최소로 하도록 필터 계수가 결정된다. H.264/AVC에 이용되는 1차원 6탭의 고정 보간 필터를 이용하는 것보다도 높은 부호화 효율을 실현할 수 있었지만, 필터 계수를 구함에 있어서의 계산 복잡도가 매우 높기 때문에, 그 계산 복잡도를 저감하기 위한 제안이 비특허문헌 5에서 소개되어 있다.
이 비특허문헌 5에서 소개되어 있는 수법은 분리형 적응 보간 필터(SAIF: Separable Adaptive Interpolation Filter)라고 불리고, 2차원의 보간 필터를 이용하는 것이 아니라 1차원의 6탭 보간 필터를 이용한다.
도 16a 내지 도 16c는 분리형 적응 보간 필터(SAIF)에서의 비정수 정밀도의 화소 보간 방법을 나타내는 도면이다. 순서로서는, 도 16b의 단계 1에 도시된 바와 같이, 우선 수평 방향의 화소(a, b, c)를 보간한다. 필터 계수의 결정에는 정수 정밀도 화소(C1부터 C6)가 이용된다. 식(1)의 예측 오차 에너지 함수(Eh 2)를 최소화하는 수평 방향 필터 계수가 일반적으로 알려진 최소제곱법(비특허문헌 4 참조)에 의해 해석적으로 결정된다.
Figure pat00001
여기서, S는 원화상, P는 복호 완료된 참조 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또한, ~x(~는 x 위에 붙는 기호; 그 밖에도 동일)는 ~x=x+MVx-FilterOffset으로서, MVx는 사전에 얻어진 움직임 벡터의 수평 성분, FilterOffset은 조정을 위한 오프셋(수평 방향 필터 길이를 2로 나눈 값)을 나타내고 있다. 수직 방향에 대해서는 ~y=y+MVy가 되고, MVy는 움직임 벡터의 수직 성분을 나타낸다. wci는 구해야 할 수평 방향 필터 계수군(ci)(0≤ci<6)을 나타낸다.
식(1)에서 구하는 필터 계수와 같은 수의 일차 방정식이 얻어지게 되고, 최소화 처리는 수평 방향의 소수 화소 위치마다 독립적으로 실시된다. 이 최소화 처리를 거쳐 3종류의 6탭 필터 계수군이 구해지고, 그 필터 계수를 이용하여 소수 정밀도 화소(a, b, c)가 보간된다.
수평 방향의 화소 보간이 완료된 후, 도 16c의 단계 2에 도시된 바와 같이 수직 방향의 보간 처리를 실시한다. 수평 방향과 같은 선형 문제를 풀어 수직 방향의 필터 계수를 결정한다. 구체적으로는, 식(2)의 예측 오차 에너지 함수(Ev 2)를 최소화하는 수직 방향 필터 계수가 해석적으로 결정된다.
Figure pat00002
여기서, S는 원화상, ^P(^는 P 위에 붙는 기호)는 복호 후에 수평 방향으로 보간 처리된 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또한, ~x=4·(x+MVx)로 표현되고, MVx는 둥글게 된 움직임 벡터의 수평 성분을 나타낸다. 수직 방향에 대해서는 ~y=y+MVy-FilterOffset으로 표현되고, MVy는 움직임 벡터의 수직 성분, FilterOffset은 조정을 위한 오프셋(필터 길이를 2로 나눈 값)을 나타낸다. wcj는 구해야 할 수직 방향 필터 계수군(cj)(0≤cj<6)을 나타낸다.
최소화 처리는 소수 정밀도 화소마다 독립적으로 실시되어 12종류의 6탭 필터 계수군이 얻어진다. 이 필터 계수를 이용하여 나머지 소수 정밀도 화소가 보간된다.
이상에 의해, 합계 90(=6×15)의 필터 계수를 부호화하여 복호 측으로 전송할 필요가 있다. 특히 저해상도의 부호화에 대해서는 이 오버헤드가 커지기 때문에, 필터의 대칭성을 이용하여 전송해야 할 필터 계수를 삭감하고 있다. 예를 들면, 도 16a에서는 b, h, i, j, k의 위치는 각 정수 정밀도 화소로부터 중심에 위치하고 있고, 수평 방향이면 왼쪽 3점에 이용하는 계수를 반전시켜 오른쪽 3점에 적용할 수 있다. 마찬가지로 수직 방향이면 위쪽 3점에 이용하는 계수를 반전시켜 아래쪽 3점에 적용할 수 있다(c1=c6, c2=c5, c3=c4).
그 밖에도 d와 l의 관계는 h를 사이에 두고 대칭으로 되어 있기 때문에, 필터 계수도 각각 반전하여 이용할 수 있다. 즉, d의 6계수를 전송하면, 그 값을 l에도 적용할 수 있다. c(d)1=c(l)6, c(d)2=c(l)5, c(d)3=c(l)4, c(d)4=c(l)3, c(d)5=c(l)2, c(d)6=c(l)1이 된다. 이 대칭성은 e와 m, f와 n, 그리고 g와 o에도 이용 가능하게 된다. a와 c에 대해서도 같은 이론이 성립되지만, 수평 방향은 수직 방향의 보간에도 결과가 영향을 미치기 때문에, 대칭성은 이용하지 않고 a와 c는 각각 따로 전송을 행한다. 이상의 대칭성을 이용한 결과, 프레임마다 전송해야 할 필터 계수는 51(수평 방향이 15, 수직 방향이 36)이 된다.
이상, 비특허문헌 5의 적응 보간 필터는 예측 오차 에너지의 최소화 처리의 단위가 프레임으로 고정되어 있었다. 1장의 프레임에 대해 51의 필터 계수가 결정된다. 부호화 대상 프레임이 만약 큰 2종류(혹은 복수 종류의) 텍스처 영역으로 나누어지는 경우, 최적의 필터 계수는 그 양자(모든 텍스처)를 고려한 계수군이 된다. A의 영역에서는 본래 수직 방향만 특징적인 필터 계수가 나와 있었다고 하고 B의 영역에서 수평 방향만 필터 계수가 얻어지는 상황에서는, 그 양쪽 모두가 평균화된 형태로 필터 계수가 도출된다.
1장의 프레임에 대해 하나의 필터 계수군(51계수)에 한정되지 않고, 화상의 국소적 성질에 따라 복수의 필터 계수군을 마련하여 전환함으로써, 예측 오차 에너지의 저감을 달성하고 부호화 효율의 개선을 실현하는 방법이 비특허문헌 6에서 제안되어 있다.
도 17a 및 도 17b에 도시된 바와 같이, 부호화 대상 프레임이 성질이 다른 텍스처를 포함하는 경우를 상정한다. 도 17a에 도시된 바와 같이, 프레임 전체적으로 하나의 필터 계수군을 최적화하여 보내는 경우, 각 텍스처의 성질 전부를 고려하게 된다. 텍스처가 그다지 바뀌지 않은 경우, 전체 최적화에 따른 필터 계수가 가장 좋다고 생각되지만, 상반되는 성질을 갖는 텍스처인 경우, 도 17b에 도시된 바와 같이 텍스처마다 최적화한 필터 계수를 이용하는 것이 프레임 전체의 부호량을 삭감할 수 있다. 이로부터, 비특허문헌 6에서는 1프레임에 대해 영역 분할에 의해 복수의 최적화된 필터 계수군을 이용하는 방법이 생각된다.
영역 분할의 수법으로서, 비특허문헌 6에서는 움직임 벡터(수평 수직 성분, 방향)나 공간 좌표(매크로 블록 위치, 블록의 x좌표나 y좌표)를 채용하고 있고, 다양한 화상의 성질을 고려하여 영역 분할을 실시한다.
도 18은 비특허문헌 6에 나타나는 바와 같은 종래의 영역 분할형 적응 보간 필터를 이용하는 영상 부호화 장치의 구성예를 나타내고 있다.
영상 부호화 장치(100)에 있어서, 영역 분할부(101)는 입력한 영상 신호의 부호화 대상 프레임을 적응적으로 보간 필터 계수를 전환하는 단위가 되는 복수 블록으로 이루어지는 복수의 영역으로 분할한다. 보간 필터 계수 전환부(102)는 영역 분할부(101)에 의해 분할된 영역마다 예측 부호화에서의 참조 화상에 대해 이용하는 소수 정밀도 화소의 보간 필터 계수를 전환한다. 이 전환 대상이 되는 보간 필터 계수로서는, 예를 들면 필터 계수 최적화부(1021)에 의해 최적화된 필터 계수를 이용한다. 필터 계수 최적화부(1021)는 영역마다 원화상과 보간 후의 참조 화상의 예측 오차 에너지가 최소가 되는 보간 필터 계수를 산출한다.
예측 신호 생성부(103)는 참조 화상 보간부(1031)와 움직임 검출부(1032)를 구비한다. 참조 화상 보간부(1031)는 참조 화상 메모리(107)에 저장된 복호 완료된 참조 화상에 보간 필터 계수 전환부(102)가 선택한 보간 필터 계수에 의한 보간 필터를 적용한다. 움직임 검출부(1032)는 보간 후의 참조 화상에 대해 움직임 탐색을 행함으로써 움직임 벡터를 산출한다. 예측 신호 생성부(103)는 움직임 검출부(1032)에 의해 산출된 소수 정밀도의 움직임 벡터에 따른 움직임 보상에 의해 예측 신호를 생성한다.
예측 부호화부(104)는 입력 영상 신호와 예측 신호의 잔차 신호를 산출하고 이를 직교 변환하여 변환 계수의 양자화 등에 따라 예측 부호화를 행한다. 또한, 복호부(106)는 예측 부호화의 결과를 복호하고, 복호 신호를 나중의 예측 부호화를 위해 참조 화상 메모리(107)에 저장한다.
가변 길이 부호화부(105)는 양자화된 변환 계수, 움직임 벡터를 가변 길이 부호화함과 동시에, 영역마다 보간 필터 계수 전환부(102)가 선택한 보간 필터 계수를 가변 길이 부호화하고, 이들을 부호화 비트 스트림으로서 출력한다.
도 19는 종래의 영역 분할형 적응 보간 필터를 이용하는 영상 복호 장치의 구성예를 나타내고 있다. 도 18에 도시된 영상 부호화 장치(100)에 의해 부호화된 스트림은 도 19에 도시된 영상 복호 장치(200)에 의해 복호된다.
영상 복호 장치(200)에 있어서, 가변 길이 복호부(201)는 부호화 비트 스트림을 입력하여 양자화 변환 계수, 움직임 벡터, 보간 필터 계수군 등의 복호를 행한다. 영역 판정부(202)는 복호 대상 프레임에 대해 적응적으로 보간 필터 계수를 전환하는 단위가 되는 영역을 판정한다. 보간 필터 계수 전환부(203)는 영역 판정부(202)에 의해 판정된 영역마다 가변 길이 복호부(201)에서 복호한 보간 필터 계수를 전환한다.
예측 신호 생성부(204)에서의 참조 화상 보간부(2041)는 참조 화상 메모리(206)에 저장된 복호 완료된 참조 화상에 보간 필터 계수 전환부(203)로부터 수취한 보간 필터 계수에 따른 보간 필터를 적용하여 참조 화상의 소수 정밀도 화소의 복원을 행한다. 예측 신호 생성부(204)는 소수 정밀도 화소의 복원이 행해진 참조 화상으로부터 복호 대상 블록의 예측 신호를 생성한다.
예측 복호부(205)는 가변 길이 복호부(201)에서 복호한 양자화 계수의 역양자화, 역직교 변환 등을 행하고, 이에 의해 산출된 예측 잔차 신호와 예측 신호 생성부(204)가 생성한 예측 신호를 서로 더하여 복호 신호를 생성하여 복호 화상으로서 출력한다. 또한, 예측 복호부(205)가 복호한 복호 신호는 나중의 예측 복호를 위해 참조 화상 메모리(206)에 저장한다.
비특허문헌 1: 하라시마 히로시, 사카이 요시노리, 요시다 도시유키: "영상 정보 부호화", 옴사, pp.135-136, 2001 비특허문헌 2: 오쿠보 사카에, 가도노 신야, 기쿠치 요시히로, 스즈키 데루히코: "H.264/AVC 교과서 개정 3판", 임프레스, pp.119-123, 2009 비특허문헌 3: I. E. G. Richardson, G. J. Sullivan: "H.264 and MPEG-4 VIDEO COMPRESSION", WILEY, pp.172-175, 2003 비특허문헌 4: Y. Vatis, B. Edler, D. T. Nguyen, J. Ostermann: "Motion-and aliasing-compensated prediction using a two-dimensional non-separable adaptive Wiener interpolation filter", Proc. ICIP2005, IEEE International Conference on Image Processing, pp.II 894-897, Genova, Italy, Sep. 2005 비특허문헌 5: S. Wittmann, T. Wedi: "Separable adaptive interpolation filter for video coding", Proc. ICIP2008, IEEE International Conference on Image Processing, pp.2500-2503, San Diego, California, USA, Oct. 2008 비특허문헌 6: 마츠오 쇼헤이, 다카무라 세이시, 조자와 히로히사: "영역 분할 기능을 갖는 분리형 적응 보간 필터에 관한 검토", 전자 정보 통신 학회 화상 공학 연구회, pp.113-116, Nov. 2009
도 18에 도시된 바와 같은 영상 부호화 장치(100)가 이용하는 영역 분할형 적응 보간 필터(비특허문헌 6)는 화상이 갖는 국소적 성질을 고려하여 프레임 내에서 복수의 필터 계수군을 전환함으로써 예측 오차 에너지를 삭감하여 부호화 효율의 향상을 노리고 있다. 그러나, 영역 분할을 실시함에 있어서 움직임 벡터 및 공간 좌표에 착안하고 있고, 화상의 텍스처 성분을 고려하지 않았다. 화상이 갖는 엣지 정보(edge information)는 화상 국소성을 나타내는 중요한 지표의 하나로 생각되기 때문에, 영역 분할 수법에 채용함으로써 부호화 효율의 한층 더 개선을 기대할 수 있다고 생각된다.
본 발명은 이 점을 감안하여 참조 화상의 엣지를 특징량으로서 취하여 영역 분할을 행함으로써 필터 계수의 최적화를 행하고, 잔차 에너지를 더욱 저감함으로써 부호화 효율을 향상시키는 것을 목적으로 한다.
상기 목적을 달성하기 위한 방법으로서, 움직임 벡터가 가리키는 참조 화상이 원화상에 가까운 텍스처 정보를 갖고 있다는 상정에 기초하여, 그 참조 화상으로부터 엣지 성분을 산출하여 영역 분할을 실시한다. 본 수단을 이용함으로써, 화상이 갖는 텍스처 정보를 영역 분할에 이용 가능하게 하고, 예측 오차 에너지의 저감에 따라 부호화 효율의 개선을 실현한다.
즉, 본 발명은 움직임 보상을 이용하는 영상 부호화 방법으로서, 움직임 벡터가 지시하는 참조 화상을 취득하고, 얻어진 참조 화상으로부터 엣지 정보를 산출한다. 그 산출된 엣지 정보로부터 프레임 내에서 영역 분할을 행하고, 영역 단위로 소수 정밀도 화소의 보간 필터 계수를 최적화한다. 그 후, 최적화된 보간 필터를 이용하여 소수 정밀도 화소의 보간을 행하여 부호화를 실시한다.
또한, 본 발명은 상기 영상 부호화 방법으로 부호화된 부호화 스트림을 복호하는 영상 복호 방법으로서, 소수 정밀도 화소의 보간 필터 계수를 복호하고, 복호된 움직임 벡터로부터 얻어지는 참조 화상으로부터 엣지 정보를 산출한다. 그 산출된 엣지 정보를 이용하여 영역 판정을 행하고, 영역마다 소수 정밀도 화소의 보간 필터를 전환하여 소수 정밀도 화소의 보간을 행하여 복호를 실시한다.
본 발명의 작용은 이하와 같다. 종래의 영역 분할형 적응 보간 필터에서는, 움직임 벡터와 공간 좌표를 이용한 영역 분할 수법을 채용하고 있고, 화상의 텍스처 정보를 이용한 영역 분할을 할 수 없어 화상의 국소성을 충분히 고려할 수 없었다. 한편, 본 발명에서는, 화상의 텍스처가 부여하는 영향도 흡수할 수 있고, 영역 분할 기능에 유연성을 갖게 하여 부호화 효율의 개선을 달성할 수 있다.
이상과 같이, 본 발명에 따르면, 종래의 분리형 적응 보간 필터에서는 고려할 수 없었던 텍스처(엣지) 정보를 이용한 영역 분할이 가능하게 되고, 영역 분할의 종류에 폭을 갖게 하여 화면 내의 국소성에 대한 유연성을 확장하며 예측 오차 에너지의 저감에 따른 부호화 효율의 개선을 달성할 수 있다.
도 1은 영상 부호화 장치의 구성예를 나타내는 도면이다.
도 2는 영상 부호화 처리의 흐름도이다.
도 3은 엣지 산출 처리의 흐름도이다.
도 4는 엣지 산출 처리의 구체예를 나타내는 도면이다.
도 5는 영역 번호의 할당 처리의 흐름도이다.
도 6a는 영역 수가 2인 경우의 영역 번호 테이블의 예를 나타내는 도면이다.
도 6b는 영역 수가 2인 경우의 영역 번호 테이블의 예를 나타내는 도면이다.
도 7a는 영역 수가 4인 경우의 영역 번호 테이블의 예를 나타내는 도면이다.
도 7b는 영역 수가 4인 경우의 영역 번호 테이블의 예를 나타내는 도면이다.
도 8은 제2예에 따른 엣지 산출 처리(엣지 강도 고려)의 흐름도이다.
도 9는 제2예에 따른 엣지 산출 처리(엣지 강도 고려)의 구체예를 나타내는 도면이다.
도 10은 제2예에 따른 영역 번호의 할당 처리의 흐름도이다.
도 11a는 영역 수가 3인 경우의 영역 번호 테이블의 예를 나타내는 도면이다.
도 11b는 영역 수가 3인 경우의 영역 번호 테이블의 예를 나타내는 도면이다.
도 12a는 영역 수가 5인 경우의 영역 번호 테이블의 예를 나타내는 도면이다.
도 12b는 영역 수가 5인 경우의 영역 번호 테이블의 예를 나타내는 도면이다.
도 13은 영상 복호 장치의 구성예를 나타내는 도면이다.
도 14는 영상 복호 처리의 흐름도이다.
도 15a는 과거의 영상 부호화 표준 방식에서의 비정수 정밀도의 화소 보간 방법을 나타내는 도면이다.
도 15b는 과거의 영상 부호화 표준 방식에서의 비정수 정밀도의 화소 보간 방법을 나타내는 도면이다.
도 15c는 과거의 영상 부호화 표준 방식에서의 비정수 정밀도의 화소 보간 방법을 나타내는 도면이다.
도 16a는 분리형 적응 보간 필터(SAIF)에서의 비정수 정밀도의 화소 보간 방법을 나타내는 도면이다.
도 16b는 분리형 적응 보간 필터(SAIF)에서의 비정수 정밀도의 화소 보간 방법을 나타내는 도면이다.
도 16c는 분리형 적응 보간 필터(SAIF)에서의 비정수 정밀도의 화소 보간 방법을 나타내는 도면이다.
도 17a는 종래의 적응 보간 필터와 영역 분할형 적응 보간 필터의 비교를 나타내는 도면이다.
도 17b는 종래의 적응 보간 필터와 영역 분할형 적응 보간 필터의 비교를 나타내는 도면이다.
도 18은 종래의 영역 분할형 적응 보간 필터를 이용하는 영상 부호화 장치의 구성예를 나타내는 도면이다.
도 19는 종래의 영역 분할형 적응 보간 필터를 이용하는 영상 복호 장치의 구성예를 나타내는 도면이다.
이하, 도면을 이용하면서 본 발명의 실시형태를 설명한다.
[영상 부호화 장치]
도 1은 본 발명에 관한 영상 부호화 장치의 구성예를 나타내는 도면이다. 영상 부호화 장치(10)는 엣지 정보를 이용하는 영역 분할형 적응 보간 필터를 이용하여 소수 정밀도 화소의 보간을 행하고, 소수 정밀도의 움직임 보상에 따라 부호화를 행하는 장치로서, 적응 보간 필터를 전환하는 단위가 되는 영역의 분할을 참조 화상으로부터 검출한 엣지 정보를 이용하여 행하는 점이 도 18에 도시된 종래의 영상 부호화 장치(100)와 다르다.
영상 부호화 장치(10)에 있어서, 영역 분할부(11)는 입력한 영상 신호의 부호화 대상 프레임을 엣지 계산부(12)가 산출한 엣지 정보를 이용하여 적응적으로 보간 필터 계수를 전환하는 단위가 되는 복수 블록으로 이루어지는 복수의 영역으로 분할한다. 엣지 계산부(12)는 움직임 보상시의 참조 화상으로부터 엣지 정보를 추출하는 처리를 행한다. 자세한 것은 후술한다.
보간 필터 계수 전환부(13)는 영역 분할부(11)에 의해 분할된 영역마다 예측 부호화에서의 참조 화상에 대해 이용하는 소수 정밀도 화소의 보간 필터 계수를 전환한다. 이 전환 대상이 되는 보간 필터 계수로서는, 예를 들면 필터 계수 최적화부(131)에 의해 최적화된 필터 계수를 이용한다. 필터 계수 최적화부(131)는 영역마다 원화상과 보간 후의 참조 화상의 예측 오차 에너지가 최소가 되는 보간 필터 계수를 산출한다.
예측 신호 생성부(14)는 참조 화상 보간부(141)와 움직임 검출부(142)를 구비한다. 참조 화상 보간부(141)는 참조 화상 메모리(18)에 저장된 복호 완료된 참조 화상에 보간 필터 계수 전환부(13)가 선택한 보간 필터 계수에 의한 보간 필터를 적용한다. 움직임 검출부(142)는 보간 후의 참조 화상에 대해 움직임 탐색을 행함으로써 움직임 벡터(MV)를 산출한다. 예측 신호 생성부(14)는 움직임 검출부(142)에 의해 산출된 소수 정밀도의 움직임 벡터에 의한 움직임 보상에 의해 예측 신호를 생성한다.
예측 부호화부(15)는 입력 영상 신호와 예측 신호의 잔차 신호를 산출하고 이를 직교 변환하여 변환 계수의 양자화 등에 따라 예측 부호화를 행한다. 또한, 복호부(17)는 예측 부호화의 결과를 복호하고, 복호 신호를 나중의 예측 부호화를 위해 참조 화상 메모리(18)에 저장한다.
가변 길이 부호화부(16)는 양자화된 변환 계수, 움직임 벡터를 가변 길이 부호화함과 동시에, 영역마다 보간 필터 계수 전환부(13)가 선택한 보간 필터 계수를 가변 길이 부호화하고, 이들을 부호화 비트 스트림으로서 출력한다.
[영상 부호화 장치의 처리 흐름]
도 2는 영상 부호화 장치(10)가 실행하는 영상 부호화 처리의 흐름도이다. 이하에서는 특별히 언급이 없는 한 휘도 신호에서의 처리를 가정하여 설명하지만, 본 예에서 말하는 화상의 엣지 정보를 이용하여 영역 분할을 행하고, 영역 단위로 보간 필터 계수를 최적화하여 부호화하는 기능은 휘도 신호뿐만 아니라 색차 신호에도 적용 가능하다.
우선, 단계 S101에서는 부호화 대상의 프레임을 입력한다. 다음에, 단계 S102에서는 입력한 프레임을 블록(예를 들면, 16×16이나 8×8 등의 종래의 움직임 예측의 블록 사이즈)으로 분할하고, 움직임 검출부(142)에 의해 블록 단위로 최적의 움직임 벡터를 산출한다. 단계 S102에서의 참조 화상의 소수 정밀도 화소의 보간에는 종래의 H.264/AVC에 의한 고정 6탭 필터를 이용한다.
이어서, 단계 S103에서는 엣지 계산부(12)가 단계 S102에서 얻어진 움직임 벡터를 이용하여 움직임 벡터가 지시하는 참조 화상을 취득하고 엣지 정보를 산출한다. 엣지 정보의 산출에는 일반적으로 알려져 있는 엣지 검출 수법(예를 들면, 소벨(Sobel) 필터 등)을 이용한다.
이어서, 단계 S104에서는 영역 분할부(11)가 단계 S103에서 얻어진 엣지 정보를 이용하여 블록마다 영역 판정을 행하고 영역 분할을 실시한다. 영역 분할은 예를 들면 엣지의 수평 성분이 크면 Ra1, 수직 성분이 크면 Ra2 등과 같이 2종류로 분할하거나, 엣지의 크기도 판정 재료로 하여 엣지의 크기가 문턱값(T) 미만이면 엣지 없이 Rb1, 엣지의 크기가 문턱값(T) 이상이면서 수평 성분이 크면 Rb2, 엣지의 크기가 문턱값(T) 이상이면서 수직 성분이 크면 Rb3과 같이 3종류로 분할하거나 할 수도 있다. 영역 분할 수는 엣지의 정의에 따라 임의의 수를 설정할 수 있다.
이상의 엣지 산출 처리 및 영역 번호의 할당 처리의 상세에 대해서는 도 3부터 도 12b를 이용하여 후술한다.
이어서, 단계 S105에서는 단계 S104의 영역 분할의 결과로부터 필터 계수 최적화부(131)가 영역마다 보간 필터 계수의 최적화 처리를 행한다. 우선, 수평 방향의 보간 필터 계수를 도출하기 위해, 예측 오차 에너지 함수인 식(3)을 이용하여 수평 방향의 각 소수 정밀도 화소에 대한 보간 필터 계수의 최적화 처리를 행한다.
Figure pat00003
여기서, αn은 각 영역을 나타내고, n은 영역 번호, S는 원화상, P는 복호 완료된 참조 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또한, ~x(~는 x 위에 붙는 기호)는 ~x=x+MVx-FilterOffset으로서, MVx는 사전에 얻어진 움직임 벡터의 수평 성분, FilterOffset은 조정을 위한 오프셋(수평 방향 필터 길이를 2로 나눈 값)을 나타내고 있다. 수직 방향에 대해서는 ~y=y+MVy가 되고, MVy는 움직임 벡터의 수직 성분을 나타낸다. wci는 구해야 할 수평 방향 필터 계수군(ci)(0≤ci<6)을 나타낸다.
이어서, 단계 S106에서는 단계 S105에서 얻어진 수평 방향의 보간 필터 계수를 이용하여 프레임 내의 영역마다 독립하여 수평 방향의 소수 화소 보간(도 16a 내지 도 16c에서의 a, b, c의 보간)을 실시한다.
이어서, 단계 S107에서는 수직 방향의 보간 필터 계수의 최적화 처리를 실시한다. 수직 방향의 보간 필터 계수를 도출하기 위해, 수직 방향의 예측 오차 에너지 함수인 식(4)을 이용하여 수직 방향의 각 소수 화소에 대한 보간 필터 계수의 최적화 처리를 행한다.
Figure pat00004
여기서, αn은 각 영역을 나타내고, n은 영역 번호, S는 원화상, ^P는 단계 S106에서 수평 방향으로 보간 처리된 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또한, ~x=4·(x+MVx)로 표현되고, MVx는 둥글게 된 움직임 벡터의 수평 성분을 나타낸다. 수직 방향에 대해서는 ~y=y+MVy-FilterOffset으로 표현되고, MVy는 움직임 벡터의 수직 성분, FilterOffset은 조정을 위한 오프셋(필터 길이를 2로 나눈 값)을 나타낸다. wcj는 구해야 할 수직 방향 필터 계수군(cj)(0≤cj<6)을 나타낸다.
이어서, 단계 S108에서는 단계 S107에서 얻어진 수직 방향의 보간 필터 계수를 이용하여 프레임 내의 영역마다 독립하여 수직 방향의 소수 화소 보간(도 16a 또는 도 16c에서의 d~o의 보간)을 실시한다.
이어서, 단계 S109에서는 단계 S108에서 얻어진 수직 방향으로 보간된 화상을 참조 화상으로서 움직임 검출부(142)가 다시 움직임 벡터의 산출을 행한다.
이어서, 단계 S110에서는 레이트 왜곡 비용(RD 비용)을 산출하고 저장을 한다.
이어서, 단계 S111에서는 단계 S105 및 단계 S107에서 얻어진 최적의 보간 필터 계수를 가변 길이 부호화부(16)로 보내고, 가변 길이 부호화부(16)가 그 보간 필터 계수를 부호화한다.
이어서, 단계 S112에서는 예측 부호화부(15)의 출력인 양자화 후 계수값이나 움직임 검출부(142)의 출력인 움직임 벡터(MV), 그 밖의 부호화해야 할 정보를 가변 길이 부호화부(16)에서 부호화하여 비트 스트림을 출력한다.
이상의 단계 S101~S112를 모든 프레임의 부호화가 종료될 때까지 반복하고, 모든 프레임에 대한 부호화가 종료되었다면 처리를 종료한다(단계 S113). 이상, 수평 방향을 보간한 후에 수직 방향을 보간하는 순서로 설명하였지만, 수직 방향을 보간한 후에 수평 방향을 보간하는 것도 같은 순서로 처리 가능하다.
[엣지 산출 처리의 예 1]
다음에, 도 3 및 도 4에 따라 엣지 산출 처리의 상세를 설명한다. 도 3은 도 2에서 설명한 단계 S103(엣지 산출 처리)의 상세한 처리 흐름도이다. 도 4는 엣지 산출 처리의 구체예를 나타내는 도면이다.
우선, 단계 S201에서는 수평 필터(fx)를 대상 블록(Bi) 전체에 실시하여 매트릭스(Mx)를 계산한다. 예를 들면 도 4에 도시된 바와 같이, 블록(Bi)에 대해 좌우에 인접하는 화소값의 차분을 산출하는 수평 필터(fx)를 실시함으로써 매트릭스(Mx)가 도출된다.
단계 S202에서는 매트릭스(Mx)의 각 성분의 합(Sx)을 계산한다. 도 4의 예에서는 Sx=39가 얻어진다.
다음에, 단계 S203에서는 수직 필터(fy)를 대상 블록(Bi) 전체에 실시하여 매트릭스(My)를 계산한다. 예를 들면 도 4에 도시된 바와 같이, 블록(Bi)에 대해 상하에 인접하는 화소값의 차분을 산출하는 수직 필터(fy)를 실시함으로써 매트릭스(My)가 도출된다.
단계 S204에서는 매트릭스(My)의 각 성분의 합(Sy)을 계산한다. 도 4의 예에서는 Sy=44가 얻어진다.
단계 S205에서는 Sx 및 Sy로부터 엣지 각도 E=Sy/Sx를 계산한다. 도 4의 예에서는 E=Sy/Sx=44/39≒1.128이 된다.
단계 S206에서는 단계 S205에서 산출한 엣지 각도로부터 블록(Bi)에 대해 어느 영역에 속하는지를 나타내는 영역 번호를 할당한다.
[영역 번호의 할당 처리의 예 1]
도 5부터 도 7b에 따라 영역 번호의 할당 처리의 상세를 설명한다. 도 5는 도 3에서 설명한 단계 S206(영역 번호의 할당 처리)의 상세한 흐름도이다.
단계 S301에서는 엣지 각도(E)를 입력하고 영역 번호 테이블을 조회한다. 단계 S302에서는 영역 번호 테이블의 조회 결과로부터 영역 번호를 결정한다.
영역 수는 임의로 설정 가능하고, 도 6b는 영역 수가 2인 경우의 영역 번호 테이블의 예를 나타내고 있다. 영역 수가 2인 경우, 도 6a에 도시된 바와 같이, 엣지가 수평이면 「영역 1」, 엣지가 수직이면 「영역 2」로 할당한다. 즉, 도 6b에 도시된 바와 같이, 영역 번호 테이블에는 -1≤E≤1일 때에 영역 번호가 1(영역 1), 그 이외의 E<-1 또는 1<E일 때에 영역 번호가 2(영역 2)라는 정의 정보가 저장되어 있다. 도 4의 예에서는 E≒1.128이므로, 블록(Bi)은 「영역 2」라고 판정되게 된다.
마찬가지로, 도 7b는 영역 수가 4인 경우의 영역 번호 테이블의 예를 나타내고 있다. 영역 수가 4인 경우, 예를 들면 도 7a에 도시된 바와 같이, 엣지 각도에 따라 「영역 1」, 「영역 2」, 「영역 3」, 「영역 4」의 4개의 영역으로 분류된다. 즉, 도 7b에 도시된 바와 같이, 영역 번호 테이블에는 -0.414≤E<0.414일 때에 영역 번호가 1(영역 1), 0.414≤E<2.414일 때에 영역 번호가 2(영역 2), 2.414≤E 또는 E<-2.414일 때에 영역 번호가 3(영역 3), -2.414≤E<-0.414일 때에 영역 번호가 4(영역 4)라는 정의 정보가 저장되어 있다. 도 4의 예에서는 E≒1.128이므로, 블록(Bi)은 「영역 2」라고 판정되게 된다.
[엣지 산출 처리의 예 2]
엣지 산출 처리의 다른 예에 대해 설명한다. 이 예에서는, 엣지 각도 이외에 엣지 강도를 산출하고, 엣지 각도와 엣지 강도로부터 영역 번호의 할당을 행한다. 도 8은 도 2에서 설명한 단계 S103(엣지 산출 처리)의 제2예의 상세한 처리 흐름도이다. 도 9는 엣지 강도를 고려한 엣지 산출 처리의 구체예를 나타내는 도면이다.
우선, 단계 S401에서는 전술한 도 3의 단계 S201~S204와 같은 처리에 의해 엣지 수평 성분(Sx)과 엣지 수직 성분(Sy)을 취득한다. 도 9의 예에 도시된 바와 같이, Sx=39 및 Sy=44가 구해진다.
다음에, 단계 S402에서는 도 3의 단계 S205와 같은 처리에 의해 엣지 각도 E=Sy/Sx를 계산한다. 도 9의 예에서는 E=Sy/Sx=44/39≒1.128이 구해진다.
단계 S403에서는 단계 S401에서 산출한 엣지 수평 성분(Sx)과 엣지 수직 성분(Sy)을 이용하여 엣지 강도(Z)를 산출한다. 엣지 강도(Z)는 예를 들면 다음 식에 의해 산출된다.
Z=(Sx 2+Sy 2)1/2
Sx=39 및 Sy=44인 경우, 도 9의 예에서는 Z≒58.80이 된다. 또, 엣지 강도는 위의 식에 한정하지 않고, 다른 식에 의해 정의해도 된다. 예를 들면, 연산 비용을 중시하는 경우에는,
Z=｜Sx｜+｜Sy｜
와 같이 엣지 강도를 엣지 수평 성분(Sx)과 엣지 수직 성분(Sy)의 절대값의 합으로서 정의해도 된다.
단계 S404에서는 단계 S402에서 산출한 엣지 각도(E)와 단계 S403에서 산출한 엣지 강도(Z)로부터 블록(Bi)에 대해 어느 영역에 속하는지를 나타내는 영역 번호를 할당한다.
[영역 번호의 할당 처리의 예 2]
도 10부터 도 12b에 따라 제2예에서의 영역 번호의 할당 처리의 상세를 설명한다. 도 10은 도 8에서 설명한 단계 S404(영역 번호의 할당 처리)의 상세한 흐름도이다.
단계 S501에서는 엣지 각도(E)와 엣지 강도(Z)를 입력하고 영역 번호 테이블을 조회한다. 단계 S502에서는 영역 번호 테이블의 조회 결과로부터 영역 번호를 결정한다.
도 11b는 영역 수가 3인 경우의 영역 번호 테이블의 예를 나타내고 있다. 이 예에서는, 도 11a에 도시된 바와 같이 엣지가 강하면서 수평이면 「영역 1」, 엣지가 강하면서 수직이면 「영역 2」, 엣지가 약하면 「영역 3」으로 영역 번호를 할당한다.
엣지 강도의 문턱값을 Zt라고 한다. 문턱값(Zt)은 임의로 설정 가능하다. 도 11b에 도시된 바와 같이, 영역 번호 테이블에는 -1≤E≤1이면서 Zt<Z일 때에 영역 번호가 1(영역 1), E<-1 또는 1<E이면서 Zt<Z일 때에 영역 번호가 2(영역 2), Z≤Zt일 때에 영역 번호가 3(영역 3)이라는 정의 정보가 저장되어 있다. 예를 들면 문턱값(Zt)이 30이라고 하면, 도 9의 예에서는 E≒1.128, Z=58.80이므로, 블록(Bi)은 「영역 2」라고 판정되게 된다.
마찬가지로, 도 12b는 영역 수가 5인 경우의 영역 번호 테이블의 예를 나타내고 있다. 이 예에서는, 예를 들면 도 12a에 도시된 바와 같이 엣지가 강한 경우, 엣지 각도에 따라 「영역 1」, 「영역 2」, 「영역 3」, 「영역 4」의 4개의 영역으로 분류되고, 엣지가 약한 경우, 「영역 5」로 분류된다. 즉, 도 12b에 도시된 바와 같이, 영역 번호 테이블에는 -0.414≤E<0.414이면서 Zt<Z일 때에 영역 번호가 1(영역 1), 0.414≤E<2.414이면서 Zt<Z일 때에 영역 번호가 2(영역 2), 2.414≤E 또는 E<-2.414이면서 Zt<Z일 때에 영역 번호가 3(영역 3), -2.414≤E<-0.414이면서 Zt<Z일 때에 영역 번호가 4(영역 4), Z≤Zt일 때에 영역 번호가 5(영역 5)라는 정의 정보가 저장되어 있다. 예를 들면 문턱값(Zt)이 30이라고 하면, 도 9의 예에서는 E≒1.128, Z=58.80이므로, 블록(Bi)은 「영역 2」라고 판정되게 된다.
엣지 강도의 문턱값(Zt)은 여기서는 임의로 설정 가능하게 하여 설명하였지만, 영상 부호화 장치(10)가 화상의 특징량 또는 부호화 상황에 따라 정하는 경우에는, 문턱값(Zt)을 부호화하여 부호화 비트 스트림에 포함하여 영상 복호 장치로 전송하도록 해도 된다. 또한, 이미 부호화하여 복호한 복호 화상으로부터 문턱값(Zt)을 정해도 되고, 이 경우에는 영상 복호 장치에서도 복호 화상으로부터 문턱값(Zt)을 산출할 수 있으므로, 문턱값(Zt)을 부호화하여 전송할 필요는 없다. 예를 들면, 제10 프레임의 부호화에서 이용하는 문턱값(Zt)을 이미 부호화·복호 완료된 제1 프레임부터 제9 프레임의 화상에서의 모든 블록의 엣지 강도의 평균값으로서 설정한다. 또는 영역 분할의 균형을 고려하여, 영역 수에 따라 영역 수가 3인 경우에는, 문턱값(Zt)을 과거의 엣지 강도의 평균값의 2/3, 영역 수가 5인 경우, 과거의 엣지 강도의 평균값의 2/5와 같이 정해도 된다.
[영상 복호 장치]
도 13은 본 발명에 관한 영상 복호 장치의 구성예를 나타내는 도면이다. 영상 복호 장치(20)는 도 1에 도시된 영상 부호화 장치(10)가 부호화한 비트 스트림을 입력하고, 엣지 정보를 이용하는 영역 분할형 적응 보간 필터를 이용하여 소수 정밀도 화소의 보간을 행하며, 소수 정밀도의 움직임 보상에 따라 복호한다. 참조 화상으로부터 검출한 엣지 정보를 이용하여 영역을 판정하고, 적응 보간 필터를 전환하여 소수 정밀도 화소의 보간을 행하는 점이 도 19에 도시된 종래의 영상 복호 장치(200)와 다르다.
영상 복호 장치(20)에 있어서, 가변 길이 복호부(21)는 부호화 비트 스트림을 입력하여 양자화 변환 계수, 움직임 벡터, 보간 필터 계수군 등의 복호를 행한다. 엣지 산출부(22)는 움직임 보상시의 참조 화상으로부터 엣지 각도 또는 엣지 강도 등의 엣지 정보를 추출하는 처리를 한다. 영역 판정부(23)는 엣지 산출부(22)가 산출한 엣지 정보를 이용하여 복호 대상 프레임에 대해 적응적으로 보간 필터 계수를 전환하는 단위가 되는 영역을 판정한다. 보간 필터 계수 전환부(24)는 영역 판정부(23)에 의해 판정된 영역마다 가변 길이 복호부(21)에서 복호한 보간 필터 계수를 전환한다.
예측 신호 생성부(25)에서의 참조 화상 보간부(251)는 참조 화상 메모리(27)에 저장된 복호 완료된 참조 화상에 보간 필터 계수 전환부(24)로부터 수취한 보간 필터 계수에 의한 보간 필터를 적용하고, 참조 화상의 소수 정밀도 화소의 복원을 행한다. 예측 신호 생성부(25)는 소수 정밀도 화소의 복원이 행해진 참조 화상으로부터 복호 대상 블록의 예측 신호를 생성한다.
예측 복호부(26)는 가변 길이 복호부(21)에서 복호한 양자화 계수의 역양자화, 역직교 변환 등을 행하고, 이에 의해 산출된 예측 오차 신호와 예측 신호 생성부(25)가 생성한 예측 신호를 서로 더하여 복호 신호를 생성하여 복호 화상으로서 출력한다. 또한, 예측 복호부(26)가 복호한 복호 신호는 나중의 예측 복호를 위해 참조 화상 메모리(27)에 저장한다.
[영상 복호 장치의 처리 흐름]
도 14는 영상 복호 장치(20)가 실행하는 영상 복호 처리의 흐름도이다. 이하에서는 특별히 언급이 없는 한 휘도 신호에서의 처리를 가정하여 설명하지만, 휘도 신호뿐만 아니라 색차 신호에도 적용 가능하다.
우선, 단계 S601에서는 가변 길이 복호부(21)가 입력 비트 스트림으로부터 프레임 헤더의 정보를 취득한다. 다음에, 단계 S602에서는 각 영역에서 이용되는 보간 필터 계수를 복호한다. 단계 S603에서, 움직임 벡터(MV) 등의 각종 정보의 복호를 한다. 단계 S603에서의 각종 정보의 복호는 종래의 일반적인 영상 복호 장치에서의 복호 처리와 같다.
이어서, 단계 S604에서는 엣지 산출부(22)가 단계 S603에서 복호된 움직임 벡터를 이용하여 참조 화상을 취득하고, 그 참조 화상으로부터 엣지 정보를 산출한다. 이 엣지 정보의 산출은 도 3 또는 도 8에서 설명한 엣지 산출 처리와 같다.
이어서, 단계 S605에서는 영역 판정부(23)가 단계 S604에서 얻어진 엣지 정보로부터 블록 단위로 복호 대상 블록이 어느 영역에 속하는지의 판정을 하여 영역 정보(영역 번호)를 취득한다.
이어서, 단계 S606에서는 보간 필터 계수 전환부(24)가 단계 S605에서 얻어진 영역 번호로부터 단계 S602에서 복호된 최적의 보간 필터 계수를 선택하고, 참조 화상 보간부(251)가 참조 화상의 소수 정밀도 화소의 복원을 행하며, 소수 정밀도 화소의 복원 후에 예측 신호 생성부(25)가 단계 S603에서 복호한 움직임 벡터를 이용하여 복호 대상 블록의 예측 신호를 생성한다.
이어서, 단계 S607에서는 가변 길이 복호부(21)가 입력 비트 스트림으로부터 복호 대상 블록의 예측 잔차 신호의 복호를 행한다.
이어서, 단계 S608에서는 예측 복호부(26)가 단계 S606에서 얻어진 예측 신호와 단계 S607에서 얻어진 예측 잔차 신호를 서로 더하여 복호 신호를 생성한다. 생성한 복호 신호는 복호 화상으로서 출력함과 동시에 참조 화상 메모리(27)에 저장한다.
이상의 단계 S601~S608을 모든 프레임의 복호가 종료될 때까지 반복하고, 모든 프레임에 대한 복호가 종료되었다면 처리를 종료한다(단계 S609). 이상, 수평 방향을 보간한 후에 수직 방향을 보간하는 순서로 설명하였지만, 수직 방향을 보간한 후에 수평 방향을 보간하는 것도 같은 순서로 처리 가능하다.
이상의 영상 부호화 및 영상 복호의 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터 판독 가능한 기록 매체에 기록하는 것도 가능하며 네트워크를 통해 제공하는 것도 가능하다.
이상, 본 발명의 실시형태에 대해 도면을 참조하여 상술하였지만, 구체적인 구성은 이들 실시형태에 한정되는 것은 아니고, 본 발명의 요지를 벗어나지 않는 범위의 설계 등(구성의 부가, 생략, 치환 및 그 밖의 변경)도 포함된다. 본 발명은 전술한 설명에 의해 한정되는 것은 아니고, 첨부하는 특허청구범위에 의해서만 한정된다.
본 발명은 예를 들면 움직임 보상을 이용하는 영상 부호화 및 영상 복호에 이용 가능하다. 본 발명에 따르면, 종래의 분리형 적응 보간 필터에서는 고려할 수 없었던 텍스처(엣지) 정보를 이용한 영역 분할이 가능하게 되고, 영역 분할의 종류에 폭을 갖게 하여 화면 내의 국소성에 대한 유연성을 확장하며, 예측 오차 에너지의 저감에 따른 부호화 효율의 개선을 달성할 수 있다.
10 영상 부호화 장치
11 영역 분할부
12 엣지 계산부
13 보간 필터 계수 전환부
131 필터 계수 최적화부
14 예측 신호 생성부
141 참조 화상 보간부
142 움직임 검출부
15 예측 부호화부
16 가변 길이 부호화부
17 복호부
18 참조 화상 메모리
20 영상 복호 장치
21 가변 길이 복호부
22 엣지 산출부
23 영역 판정부
24 보간 필터 계수 전환부
25 예측 신호 생성부
251 참조 화상 보간부
26 예측 복호부
27 참조 화상 메모리

Claims (14)

  1. 소수 정밀도의 움직임 보상을 이용하는 영상 부호화 방법에 있어서,
    움직임 벡터가 지시하는 참조 화상 데이터를 취득하고, 얻어진 참조 화상 데이터로부터 엣지 정보를 산출하는 단계;
    상기 엣지 정보를 기초로 부호화 대상 프레임을 적응적으로 보간 필터를 적용하는 단위가 되는 복수의 영역으로 분할하는 단계;
    상기 영역마다 원 화상과 보간 후의 참조 화상과의 예측 오차 에너지가 최소가 되는 보간 필터를 최적화하는 것에 의해, 상기 영역 단위로 소수 정밀도 화소의 보간 필터를 최적화하는 단계; 및
    최적화된 보간 필터를 이용하여 참조 화상에 대한 소수 정밀도 화소의 보간을 행하고, 소수 정밀도의 움직임 보상에 의해 예측 부호화를 행하는 단계를 가지며,
    상기 엣지 정보는 상기 움직임 벡터가 지시하는 상기 참조 화상 데이터로부터 추출된 엣지 각도와 엣지 강도이며,
    (a) 상기 엣지 강도가 문턱값보다 큰지 여부, 그리고 (b) 만일 상기 엣지 강도가 상기 문턱값보다 큰 경우에는, 상기 엣지 각도가 속하는 각도의 범위에 따라 상기 영역의 분할을 행하는, 영상 부호화 방법.
  2. 제1항에 있어서,
    화상의 특징량 또는 부호화 상황에 따라 상기 엣지 강도의 문턱값을 결정하고, 결정된 엣지 강도의 문턱값을 부호화하여 복호측으로 전송하는 영상 부호화 방법.
  3. 제1항에 있어서,
    이미 부호화하여 복호한 복호 화상으로부터 상기 엣지 강도의 문턱값을 결정하는 영상 부호화 방법.
  4. 소수 정밀도의 움직임 보상을 이용하는 영상 복호 방법에 있어서,
    소수 정밀도 화소의 보간 필터 계수를 복호하는 단계;
    복호된 움직임 벡터로부터 얻어지는 참조 화상 데이터로부터 엣지 정보를 산출하는 단계;
    적응적으로 보간 필터를 적용하는 단위가 되는 복수의 영역 중에서 복호 대상 데이터가 어느 영역에 속하는지를 상기 엣지 정보를 이용하여 판정하는 단계; 및
    상기 영역마다 소수 정밀도 화소의 보간 필터를 전환하여 참조 화상에 대한 소수 정밀도 화소의 보간을 행하고, 소수 정밀도의 움직임 보상에 의해 예측 복호를 행하는 단계를 가지며,
    상기 엣지 정보는 상기 움직임 벡터가 지시하는 상기 참조 화상 데이터로부터 추출된 엣지 각도와 엣지 강도이며,
    (a) 상기 엣지 강도가 문턱값보다 큰지 여부, 그리고 (b) 만일 상기 엣지 강도가 상기 문턱값보다 큰 경우에는 상기 엣지 각도가 속하는 각도의 범위에 따라 상기 영역의 판정을 행하는, 영상 복호 방법.
  5. 제4항에 있어서,
    부호화측이 화상의 특징량 또는 부호화 상황에 따라 결정하여 부호화한 상기 엣지 강도의 문턱값을 상기 부호화측으로부터 수신하는 영상 복호 방법.
  6. 제4항에 있어서,
    이미 부호화하여 복호한 복호 화상으로부터 상기 엣지 강도의 문턱값을 결정하는 영상 부호화 방법.
  7. 소수 정밀도의 움직임 보상을 이용하는 영상 부호화 장치에 있어서,
    움직임 벡터가 지시하는 참조 화상 데이터를 취득하고, 얻어진 참조 화상 데이터로부터 엣지 정보를 산출하는 엣지 계산부;
    상기 엣지 정보를 기초로 부호화 대상 프레임을 적응적으로 보간 필터를 적용하는 단위가 되는 복수의 영역으로 분할하는 영역 분할부;
    상기 영역마다 원 화상과 보간 후의 참조 화상과의 예측 오차 에너지가 최소가 되는 보간 필터를 최적화하는 것에 의해, 상기 영역 단위로 소수 정밀도 화소의 보간 필터를 최적화하는 필터 계수 최적화부;
    최적화된 보간 필터를 이용하여 참조 화상에 대한 소수 정밀도 화소의 보간을 행하는 참조 화상 보간부; 및
    소수 정밀도의 움직임 보상에 의해 예측 부호화를 행하는 예측 부호화부를 구비하며,
    상기 엣지 정보는 상기 움직임 벡터가 지시하는 상기 참조 화상 데이터로부터 추출된 엣지 각도와 엣지 강도이며,
    (a) 상기 엣지 강도가 문턱값보다 큰지 여부, 그리고 (b) 만일 상기 엣지 강도가 상기 문턱값보다 큰 경우에는, 상기 엣지 각도가 속하는 각도의 범위에 따라 상기 영역의 분할을 행하는, 영상 부호화 장치.
  8. 제7항에 있어서,
    화상의 특징량 또는 부호화 상황에 따라 상기 엣지 강도의 문턱값을 결정하고, 결정된 엣지 강도의 문턱값을 부호화하여 복호측으로 전송하는 영상 부호화 장치.
  9. 제7항에 있어서,
    이미 부호화하여 복호한 복호 화상으로부터 상기 엣지 강도의 문턱값을 결정하는 영상 부호화 장치.
  10. 소수 정밀도의 움직임 보상을 이용하는 영상 복호 장치에 있어서,
    소수 정밀도 화소의 보간 필터 계수를 복호하는 보간 필터 계수 복호부;
    복호된 움직임 벡터로부터 얻어지는 참조 화상 데이터로부터 엣지 정보를 산출하는 엣지 산출부;
    적응적으로 보간 필터를 적용하는 단위가 되는 복수의 영역 중에서 복호 대상 데이터가 어느 영역에 속하는지를 상기 엣지 정보를 이용하여 판정하는 영역 판정부;
    상기 영역마다 소수 정밀도 화소의 보간 필터를 전환하여 참조 화상에 대한 소수 정밀도 화소의 보간을 행하는 참조 화상 보간부; 및
    소수 정밀도의 움직임 보상에 의해 예측 복호를 행하는 예측 복호부를 구비하며,
    상기 엣지 정보는 상기 움직임 벡터가 지시하는 상기 참조 화상 데이터로부터 추출된 엣지 각도와 엣지 강도이며,
    (a) 상기 엣지 강도가 문턱값보다 큰지 여부, 그리고 (b) 만일 상기 엣지 강도가 상기 문턱값보다 큰 경우에는 상기 엣지 각도가 속하는 각도의 범위에 따라 상기 영역의 판정을 행하는, 영상 복호 장치.
  11. 제10항에 있어서,
    부호화측이 화상의 특징량 또는 부호화 상황에 따라 결정하여 부호화한 상기 엣지 강도의 문턱값을 상기 부호화측으로부터 수신하는 영상 복호 장치.
  12. 제10항에 있어서,
    이미 부호화하여 복호한 복호 화상으로부터 상기 엣지 강도의 문턱값을 결정하는 영상 복호 장치.
  13. 제1항 내지 제3항 중 어느 한 항에 기재된 영상 부호화 방법을 컴퓨터에 실행시키기 위한 영상 부호화 프로그램을 저장한 컴퓨터 판독가능 기록매체.
  14. 제4항 내지 제6항 중 어느 한 항에 기재된 영상 복호 방법을 컴퓨터에 실행시키기 위한 영상 복호 프로그램을 저장한 컴퓨터 판독가능 기록매체.
KR1020157035181A 2010-08-12 2011-08-10 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 이들의 프로그램 KR20160003869A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010180813A JP5524762B2 (ja) 2010-08-12 2010-08-12 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JPJP-P-2010-180813 2010-08-12
PCT/JP2011/068286 WO2012020800A1 (ja) 2010-08-12 2011-08-10 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137001194A Division KR20130055631A (ko) 2010-08-12 2011-08-10 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 이들의 프로그램

Publications (1)

Publication Number Publication Date
KR20160003869A true KR20160003869A (ko) 2016-01-11

Family

ID=45567762

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137001194A KR20130055631A (ko) 2010-08-12 2011-08-10 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 이들의 프로그램
KR1020157035181A KR20160003869A (ko) 2010-08-12 2011-08-10 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 이들의 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020137001194A KR20130055631A (ko) 2010-08-12 2011-08-10 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 이들의 프로그램

Country Status (10)

Country Link
US (1) US9609318B2 (ko)
EP (1) EP2590410B1 (ko)
JP (1) JP5524762B2 (ko)
KR (2) KR20130055631A (ko)
CN (1) CN103069803B (ko)
BR (1) BR112013002733A2 (ko)
CA (1) CA2807327C (ko)
PL (1) PL2590410T3 (ko)
TW (1) TWI504236B (ko)
WO (1) WO2012020800A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374261B1 (ko) 2021-11-30 2022-03-15 주식회사 코메스타 임무용 면허대역에서 채널 감지 및 운용 주파수 선택 방법 및 이를 실행하는 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI508569B (zh) * 2012-09-14 2015-11-11 Realtek Semiconductor Corp 行動高畫質連結資料轉換器以及行動高畫質連結資料轉換方法
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
CN107211162A (zh) * 2015-02-26 2017-09-26 三菱电机株式会社 图像处理装置
WO2017082698A1 (ko) * 2015-11-11 2017-05-18 삼성전자 주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US11044490B2 (en) * 2017-09-28 2021-06-22 Sharp Kabushiki Kaisha Motion compensation filter apparatus, image decoding apparatus, and video coding apparatus

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0817121A3 (en) 1996-06-06 1999-12-22 Matsushita Electric Industrial Co., Ltd. Image coding method and system
JP4102973B2 (ja) * 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
JP2008054267A (ja) 2006-07-28 2008-03-06 Hitachi Ltd 画像処理装置、画像符号化装置及び画像復号化装置
KR101023263B1 (ko) * 2006-10-30 2011-03-21 니폰덴신뎅와 가부시키가이샤 예측 참조 정보 생성방법, 동영상 부호화 및 복호방법, 그들의 장치 및 그들의 프로그램을 기록한 기억매체
EP2104358A4 (en) * 2006-11-30 2016-04-27 Ntt Docomo Inc DEVICE, METHOD AND PROGRAM FOR DYNAMIC IMAGE DEFINITION, DEVICE, METHOD AND PROGRAM FOR DYNAMIC IMAGE DECODING
KR101369746B1 (ko) 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
CN101690235B (zh) * 2007-06-29 2013-05-01 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法、程序以及记录介质
KR101291196B1 (ko) * 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP5253835B2 (ja) * 2008-02-19 2013-07-31 株式会社キーエンス 画像生成装置、画像生成方法及びコンピュータプログラム
EP2266321B1 (en) * 2008-04-23 2017-12-13 Telefonaktiebolaget LM Ericsson (publ) Template-based pixel block processing
JP5271031B2 (ja) * 2008-08-09 2013-08-21 株式会社キーエンス 画像のデータ圧縮方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1: 하라시마 히로시, 사카이 요시노리, 요시다 도시유키: "영상 정보 부호화", 옴사, pp.135-136, 2001
비특허문헌 2: 오쿠보 사카에, 가도노 신야, 기쿠치 요시히로, 스즈키 데루히코: "H.264/AVC 교과서 개정 3판", 임프레스, pp.119-123, 2009
비특허문헌 3: I. E. G. Richardson, G. J. Sullivan: "H.264 and MPEG-4 VIDEO COMPRESSION", WILEY, pp.172-175, 2003
비특허문헌 4: Y. Vatis, B. Edler, D. T. Nguyen, J. Ostermann: "Motion-and aliasing-compensated prediction using a two-dimensional non-separable adaptive Wiener interpolation filter", Proc. ICIP2005, IEEE International Conference on Image Processing, pp.II 894-897, Genova, Italy, Sep. 2005
비특허문헌 5: S. Wittmann, T. Wedi: "Separable adaptive interpolation filter for video coding", Proc. ICIP2008, IEEE International Conference on Image Processing, pp.2500-2503, San Diego, California, USA, Oct. 2008
비특허문헌 6: 마츠오 쇼헤이, 다카무라 세이시, 조자와 히로히사: "영역 분할 기능을 갖는 분리형 적응 보간 필터에 관한 검토", 전자 정보 통신 학회 화상 공학 연구회, pp.113-116, Nov. 2009

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374261B1 (ko) 2021-11-30 2022-03-15 주식회사 코메스타 임무용 면허대역에서 채널 감지 및 운용 주파수 선택 방법 및 이를 실행하는 시스템

Also Published As

Publication number Publication date
BR112013002733A2 (pt) 2016-05-31
JP2012044238A (ja) 2012-03-01
US20130128984A1 (en) 2013-05-23
CN103069803A (zh) 2013-04-24
TW201225676A (en) 2012-06-16
KR20130055631A (ko) 2013-05-28
CA2807327C (en) 2016-03-22
JP5524762B2 (ja) 2014-06-18
EP2590410A1 (en) 2013-05-08
US9609318B2 (en) 2017-03-28
EP2590410A4 (en) 2016-11-02
CN103069803B (zh) 2016-09-28
TWI504236B (zh) 2015-10-11
WO2012020800A1 (ja) 2012-02-16
CA2807327A1 (en) 2012-02-16
PL2590410T3 (pl) 2022-03-28
EP2590410B1 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
JP6545838B2 (ja) マージ候補ブロック誘導方法及びこのような方法を用いる装置
JP5563403B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
KR101508367B1 (ko) 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 그 프로그램
JP5649523B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
JP5649524B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
JPWO2014163200A1 (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
KR20160003869A (ko) 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치 및 이들의 프로그램
JPWO2014049981A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2011082725A (ja) 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム
JPWO2014049982A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application