KR20140007076A - 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램 및 동화상 복호 프로그램 - Google Patents

동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램 및 동화상 복호 프로그램 Download PDF

Info

Publication number
KR20140007076A
KR20140007076A KR20137032535A KR20137032535A KR20140007076A KR 20140007076 A KR20140007076 A KR 20140007076A KR 20137032535 A KR20137032535 A KR 20137032535A KR 20137032535 A KR20137032535 A KR 20137032535A KR 20140007076 A KR20140007076 A KR 20140007076A
Authority
KR
South Korea
Prior art keywords
interpolation filter
equation
region
divided
moving picture
Prior art date
Application number
KR20137032535A
Other languages
English (en)
Inventor
유키히로 반도
쇼헤이 마츠오
세이시 다카무라
히로히사 조자와
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20140007076A publication Critical patent/KR20140007076A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

동화상 부호화 장치는 프레임 내를 영역 분할하고, 분할된 영역마다 보간 필터의 계수를 적응적으로 설정하는 영역 분할 대응 적응 필터를 이용하여 소수 화소 정밀도에 대응한 움직임 보상 프레임간 예측을 행하며, 미리 준비된 분할 위치의 후보 중에서 최적의 분할 위치를 선택할 때에, 분할 위치에 의해 규정되는 분할 영역에 대한 보간 필터 계수를 구하기 위한 선형 연립 방정식을 구축하는 수단과, 선형 연립 방정식을 구해함으로써 보간 필터 계수를 구하는 수단을 구비하고, 방정식을 생성하는 수단은 다른 분할 영역에서의 보간 필터 계수를 산출하는 연산에 있어서 중복된 연산 처리 결과를 유용하고, 중복이 없는 차분 정보에 대해서만 새로 연산에 의해 산출한다.

Description

동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램 및 동화상 복호 프로그램{Video encoding device, video decoding device, video encoding method, video decoding method, video encoding program, video decoding program}
본 발명은 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램 및 동화상 복호 프로그램에 관한 것이다.
본원은 2011년 6월 13일에 일본 출원된 특원 2011-131127호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
동화상 부호화에 있어서 다른 화면 간에 예측을 실행하는 화면간 예측 부호화(움직임 보상)에서는, 이미 복호된 프레임을 참조하여 예측 오차 전력을 최소로 하도록 움직임 벡터가 구해지고, 그 잔차 신호에 대해 직교 변환·양자화가 실시되며, 또 엔트로피 부호화를 거쳐 부호화 데이터가 생성된다. 이 때문에, 부호화 효율을 높이기 위해서는 예측 오차 전력의 저감이 불가결하여 고정밀도의 예측 방식이 요구된다.
영상 부호화 표준 방식에는 수많은 화면간 예측의 정밀도를 높이기 위한 툴이 도입되어 있고, 그 중 하나로 소수 화소 정밀도 움직임 보상이 있다. 이는 1/2 화소 정밀도, 1/4 화소 정밀도 등의 정수 화소 이하의 움직임량을 이용하여 전술한 화면간 예측을 행하는 방법이다. 예를 들면, 규격 H.264/AVC에서는 최대 1/4 화소 단위로의 소수 화소 위치의 참조가 가능하다. 또, 이러한 소수 화소 위치를 참조하기 위해서는 동 위치에서의 화소값을 생성할 필요가 있고, 선형 필터를 이용한 보간 화상 생성 방법이 규정되어 있다. 규격 H.264가 규정하고 있는 것은 필터 계수가 고정된 선형 필터이다. 고정 계수를 이용하는 보간 필터에 대해, 이하의 설명에서는 IF라고 약기한다. 1/2 정밀도의 화소를 보간할 때는 대상이 되는 보간 화소의 좌우 3점씩 총 6정수 화소를 이용하여 보간을 행한다. 수직 방향에 대해서는 상하 3점씩 총 6정수 화소를 이용하여 보간한다. 필터 계수는 각각 [(1, -5, 20, 20, -5, 1)/32]가 되어 있다. 1/2 정밀도의 화소가 보간된 후, 1/4 정밀도의 화소는 [1/2, 1/2]의 평균값 필터를 이용하여 보간을 행한다.
이 소수 화소 위치의 보간 화상 생성의 개량으로서 필터 계수를 입력 영상의 특징에 따라 적응적으로 제어하는 적응 보간 필터(AIF)라고 불리는 기술이 검토되어 있다(예를 들면, 비특허문헌 1 참조). 적응 보간 필터에서의 필터 계수는 예측 오차 전력(예측 오차의 제곱합)을 최소로 하도록 결정된다. 적응 보간 필터가 프레임 단위로 필터 계수를 설정한 것에 대해, 화상이 갖는 국소성을 고려하여 필터 계수를 프레임 내의 국소 영역마다 설정 가능하게 하고, 프레임 내에서 복수의 필터 계수를 이용하는 영역 분할 적응 보간 필터(RBAIF)가 검토되어 있다.
여기서, 적응 보간 필터의 필터 계수 산출 알고리즘에 대해 설명한다. 보간 필터 계수를 적응적으로 변화시키는 방식이 비특허문헌 1에서는 제안되어 있고, 비분리형 적응 보간 필터라고 불리고 있다. 이 방식에서는 2차원 보간 필터(6×6의 총 36 필터 계수)를 생각하고 있고, 예측 오차 전력을 최소로 하도록 필터 계수가 결정된다. 규격 H.264/AVC에 이용되고 있는 1차원 6tap의 고정 보간 필터를 이용하는 것보다 높은 부호화 효율을 실현할 수 있었지만, 필터 계수를 구함에 있어서의 계산 복잡도가 매우 높기 때문에, 그 계산 복잡도를 저감하기 위한 제안이 비특허문헌 2에 소개되어 있다.
비특허문헌 2에 소개되어 있는 수법은 분리형 적응 보간 필터(SAIF: Separable Adaptive Interpolation Filter)라고 불리고, 2차원 보간 필터를 이용하는 것이 아니라 1차원 6tap 보간 필터를 이용한다. 순서로서는, 우선 수평 방향의 화소(비특허문헌 2의 Fig.1에서의 a, b, c)를 보간한다. 필터 계수의 결정에는 정수 정밀도 화소 C1부터 C6이 이용된다. 식(1)의 예측 오차 전력 함수 E를 최소화하는 수평 방향 필터 계수가 해석적으로 결정된다.
Figure pct00001
여기서, S는 원화상, P는 복호 완료 참조 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향 위치를 나타낸다. 또한, ~x=x+MVx-FilterOffset(~는 x의 머리에 붙음)이고, MVx는 사전에 얻어진 움직임 벡터의 수평 성분, FilterOffset은 조정을 위한 오프셋(수평 방향 필터의 탭 길이를 2로 나눈 값)을 나타내고 있다. 수직 방향에 대해서는 ~y=y+MVy(~는 y의 머리에 붙음)가 되고, MVy는 움직임 벡터의 수직 성분을 나타낸다. wci는 구해야 할 수평 방향 필터 계수군(ci(0≤ci<6))을 나타낸다.
최소화 처리는 수평 방향의 각 소수 화소 위치마다 독립적으로 실시된다. 구체적으로는 이하의 연립 방정식의 해를 구하면 좋다.
Figure pct00002
이를 정리하면 이하가 된다.
Figure pct00003
이 결과, 식(1)을 구하는 필터 계수와 같은 수의 일차 방정식이 얻어지게 되고, 이 연립 방정식의 해로서 3종류의 6tap 필터 계수군이 구해지며, 그 필터 계수를 이용하여 소수 화소(비특허문헌 2의 Fig.1의 a, b, c)가 보간된다.
수평 방향의 화소 보간이 완료된 후, 수직 방향의 보간 처리를 실시한다. 수평 방향과 동일한 선형 문제를 풂으로써 수직 방향의 필터 계수를 결정한다. 구체적으로는 식(4)의 예측 오차 전력 함수 E를 최소화하는 수직 방향 필터 계수가 해석적으로 결정된다.
Figure pct00004
여기서, S는 원화상, ＾P(＾는 P의 머리에 붙음)는 복호 후에 수평 방향으로 보간 처리된 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향 위치를 나타낸다. 또한, ~x=4·(x+MVx)(~는 x의 머리에 붙음)로 표현되고, MVx는 둥글게 된 움직임 벡터의 수평 성분을 나타낸다. 수직 방향에 대해서는 ~y=x+MVy-FilterOffset(~는 y의 머리에 붙음)로 표현되고, MVy는 움직임 벡터의 수직 성분, FilterOffset는 조정을 위한 오프셋(필터의 탭 길이를 2로 나눈 값)을 나타낸다. wcj는 구해야 할 수직 방향 필터 계수군(cj(0≤cj<6))을 나타낸다.
Figure pct00005
최소화 처리는 각 소수 정밀도 화소마다 독립적으로 실시되고, 12종류의 6tap 필터가 얻어진다. 이 필터 계수를 이용하여 나머지 소수 정밀도 화소(비특허문헌 2의 Fig.1에서의 d~o)가 보간된다. 이상으로부터 합계 90(=6×15)의 필터 계수를 부호화하여 복호측에 전송할 필요가 있다.
다음에, 도 4를 참조하여 종래기술에 의한 영역 분할 적응 보간 필터(RBAIF)의 구성을 설명한다. 도 4는 종래기술에 의한 영역 분할 적응 보간 필터(RBAIF)의 구성을 도시한 블록도이다. 도 4에서, 참조 화상 기억부(101)는 화면간 예측에 이용하는 참조 화상을 저장한다. 움직임 벡터 관련 정보 기억부(102)는, 입력 화상 및 참조 화상에 대한 화면간 예측에 이용하는 움직임 벡터 관련 정보를 저장한다. 예측 화상 생성부(103)는, 참조 화상 기억부(101)로부터 읽어들인 참조 화상 및 움직임 벡터 관련 정보 기억부(102)로부터 읽어들인 움직임 벡터 관련 정보를 입력으로서 읽어들이고, 참조 화상 및 움직임 벡터 관련 정보를 이용하여 움직임 보상 화면간 예측 처리에 기초하여 입력 화상에 대한 예측 화상을 생성한다.
분할 영역 설정부(104)는, 분할 위치의 후보 중에서 지정된 순서에 기초하여 프레임 분할을 행하는 분할 위치를 설정한다. 예측 오차 전력합 산출부(105)는, 출력된 2개의 예측 오차 전력을 입력으로서 프레임 내의 예측 오차 전력합으로서 양자의 가산값을 산출한다. 최소값 판정부(106)는, 예측 오차 전력합 산출부(105)에서 산출한 예측 오차합이 저장된 값보다 작은지를 판정하고, 작은 경우는 예측 오차 전력합 산출부(105)에서 산출한 예측 오차합, 분할 위치를 나타내는 위치 정보, 그 분할 위치에서 분할한 경우의 2개의 분할 영역에 대한 필터 계수를 저장한다. 예측 오차 전력합 기억부(107)는 예측 오차 전력합 산출부(105)에서 산출한 예측 오차합, 분할 위치를 나타내는 위치 정보, 그 분할 위치에서 분할한 경우의 2개의 분할 영역에 대한 필터 계수를 저장한다. 반복 처리 종료 판정부(108)는, 분할 위치의 모든 후보에 대해 처리가 실행될 때까지 처리를 반복하여 행한다.
제1 영역 예측 오차 전력 산출부(109)는 정규 방정식 생성부(1091), 정규 방정식 구해 처리부(1092) 및 예측 오차 전력 산출 처리부(1093)를 구비하고 있다. 정규 방정식 생성부(1091)는 분할 영역의 정규 방정식을 구성하는 곱셈 계수, 바이어스 계수를 산출하고, 분할 영역에 대한 정규 방정식을 생성한다. 여기서, 해당하는 분할 영역은 수평 방향으로 좌우 분할을 행하는 경우는 좌측 영역이며, 수직 방향으로 상하 분할을 행하는 경우는 상측 영역이다. 정규 방정식 구해 처리부(1092)는, 정규 방정식 생성부(1091)에서 생성된 정규 방정식의 해를 구하고 보간 필터 계수로서 저장한다. 예측 오차 전력 산출 처리부(1093)는, 정규 방정식 구해 처리부(1092)에서 산출된 보간 필터 계수를 이용한 경우의 예측 오차 전력을 산출한다.
제2 영역 예측 오차 전력 산출부(110)는 정규 방정식 생성부(1101), 정규 방정식 구해 처리부(1102) 및 예측 오차 전력 산출 처리부(1103)를 구비하고 있다. 정규 방정식 생성부(1101)는 분할 영역의 정규 방정식을 구성하는 곱셈 계수, 바이어스 계수를 산출하고, 분할 영역에 대한 정규 방정식을 생성한다. 여기서, 해당하는 분할 영역은 수평 방향으로 좌우 분할을 행하는 경우는 우측 영역이며, 수직 방향으로 상하 분할을 행하는 경우는 하측 영역이다. 정규 방정식 구해 처리부(1102)는, 정규 방정식 생성부(1101)에서 생성된 정규 방정식의 해를 구하고 보간 필터 계수로서 저장한다. 예측 오차 전력 산출 처리부(1103)는, 정규 방정식 구해 처리부(1102)에서 산출된 보간 필터 계수를 이용한 경우의 예측 오차 전력을 산출한다.
다음에, 도 5를 참조하여 도 4에 도시된 종래기술에 의한 영역 분할 적응 보간 필터(RBAIF)의 동작을 설명한다. 도 5는 도 4에 도시된 영역 분할 적응 보간 필터(RBAIF)의 동작을 도시한 흐름도이다. 우선, 예측 화상 생성부(103)는 참조 화상 기억부(101)로부터 프레임간 예측에 이용하는 참조 화상을 읽어들인다(단계 S1). 이어서, 예측 화상 생성부(103)는, 부호화 대상 화상에 대해 참조 화상을 이용한 움직임 추정 처리를 행한 결과 얻어지는 움직임 벡터 관련 정보를 움직임 벡터 관련 정보 기억부(102)로부터 읽어들인다(단계 S2). 그리고, 움직임 보상 화면간 예측 처리에 기초하여 입력 화상에 대한 예측 화상을 생성한다(단계 S3).
다음에, 분할 영역 설정부(104)는 분할 영역을 설정하고, 설정 정보를 2개의 정규 방정식 생성부(1091, 1101)에 출력한다. 이에 따라, 정규 방정식 생성부(1091)는 설정된 분할 영역의 정규 방정식을 구성하는 곱셈 계수, 바이어스 계수를 산출하고, 분할 영역에 대한 정규 방정식을 생성하여 출력한다(단계 S4). 여기서, 해당하는 분할 영역은 수평 방향으로 좌우 분할을 행하는 경우는 좌측 영역이며, 수직 방향으로 상하 분할을 행하는 경우는 상측 영역이다. 이어서, 정규 방정식 구해 처리부(1092)는, 정규 방정식 생성부(1091)로부터 출력된 정규 방정식의 해를 구하고 보간 필터 계수로서 저장한다(단계 S5).
그리고, 예측 오차 전력 산출 처리부(1093)는 이 보간 필터 계수를 이용한 경우의 예측 오차 전력을 산출하여 출력한다(단계 S6).
한편, 정규 방정식 생성부(1101)는 설정된 분할 영역의 정규 방정식을 구성하는 곱셈 계수, 바이어스 계수를 산출하고, 분할 영역에 대한 정규 방정식을 생성하여 출력한다(단계 S7). 여기서, 해당하는 분할 영역은 수평 방향으로 좌우 분할을 행하는 경우는 우측 영역이며, 수직 방향으로 상하 분할을 행하는 경우는 하측 영역이다. 이어서, 정규 방정식 구해 처리부(1102)는, 정규 방정식 생성부(1101)로부터 출력된 정규 방정식의 해를 구하고 보간 필터 계수로서 저장한다(단계 S8). 그리고, 예측 오차 전력 산출 처리부(1103)는 이 보간 필터 계수를 이용한 경우의 예측 오차 전력을 산출하여 출력한다(단계 S9).
다음에, 예측 오차 전력합 산출 처리부(105)는 2개의 예측 오차 전력 산출 처리부(1093, 1103)로부터 출력된 예측 오차 전력을 입력하고, 프레임 내의 예측 오차 전력합으로서 양자의 가산값을 산출하여 예측 오차 전력합 기억부(107)에 기억한다(단계 S10). 최소값 판정부(106)는, 예측 오차 전력합 기억부(107)에 기억된 예측 오차합 중에서 최소값을 부여하는 분할 위치를 구하고, 그 분할 위치에서 분할한 경우의 2개의 분할 영역에 대한 필터 계수를 저장한다(단계 S11). 반복 처리 종료 판정부(108)는 분할 위치의 모든 후보에 대해 처리하였는지를 판정하고, 모든 후보에 대해 처리가 종료되지 않았으면 분할 영역 설정부(104)에 대해 처리를 반복하는 지시를 출력한다. 그리고, 모든 후보에 대해 처리가 종료된 시점에서, 반복 처리 종료 판정부(108)는 예측 오차합을 최소화하는 분할 위치를 구하고, 그 분할 위치에서 분할한 경우의 2개의 분할 영역에 대한 필터 계수를 출력한다(단계 S12).
비특허문헌 1: Y. Vatis, B. Edler, D. Nguyen, and J. Ostermann. Two-dimensional non-separable adaptive wiener interpolation filter for H.264/AVC. In ITU-TQ.6/SG16 VCEG, VCEG-Z17r1, Apr. 2005. 비특허문헌 2: S. Wittmann and T. Wedi. Separable adaptive interpolation filter for video coding. In IEEE International Conference on image Processing, pp. 2500 . 2503, 2008.
영역 분할 적응 보간 필터(RBAIF)에서는, 프레임 내의 영역 분할의 최소 단위로서 segmentation unit(SU)이라고 부르는 정사각형 영역(Δ×Δ 화소)을 정한다. 본 발명에서는, 상기 SU를 최소 단위로서 영역 분할을 행하고, 각 분할 영역마다 최적의 보간 필터 계수를 설정하는 영역 분할 적응 보간 필터를 대상으로 한다. W×H[화소]로 이루어지는 프레임의 경우, WH/Δ2개의 SU가 포함된다. 예를 들면, 프레임을 수평 방향으로 좌우 2분할하는 경우, 분할하지 않는다는 선택지도 포함하여 W/Δ와 같은 분할 방법이 있고, 그 프레임을 수직 방향으로 상하 2분할하는 경우, 분할하지 않는다는 선택지도 포함하여 H/Δ와 같은 분할 방법이 있다. 또, 이하에서는 ψ(n, m)으로서 프레임 내의 영역{x, y｜n·Δ≤x≤(n+1)·Δ-1, m·Δ≤y≤(m+1)·Δ-1}에 해당하는 SU를 나타내는 것으로 한다. 여기서, x, y는 프레임 내의 좌표값을 나타내는 변수로서, x=0, …, W-1, y=0, …, H-1의 값을 취하고, n, m은 n=0, …, W/Δ-1, m=0, …, H/Δ-1의 값을 취할 수 있는 것으로 한다.
영역 분할 적응 보간 필터의 영역 분할 결정의 규범으로서는 프레임 내의 예측 오차 전력의 총합을 이용한다. 또, 프레임 내의 4개의 좌표값 (px, py), (px+lx, py), (px, py+ly-1), (px+lx-1, py+ly-1)으로 동정되는 직사각형 영역에 대해, 필터 계수 η(px, py, lx, ly)을 이용한 경우의 예측 오차 전력을 E(px, py, lx, ly, η(px, py, lx, ly))로서 나타내기로 한다.
이하의 설명에서는, 예로서 화면 내를 좌우 2영역으로 분할하고, 각 분할 영역마다 필터 계수를 부여하는 경우를 생각한다. 이 경우, 상술한 바와 같이 분할하지 않는다는 선택지도 포함하여 W/Δ와 같은 분할 방법이 있다. x<n·Δ의 좌측 영역 및 n·Δ≤x의 우측 영역(n=0, …, W/Δ-1)으로 분할하는 경우, 우선, 영역 분할 적응 보간 필터의 필터 계수 η(0, 0, n·Δ, H), η(nΔ, 0, W-n·Δ, H)를 구한다. 다음에, 구한 필터 계수를 이용하여 2영역의 예측 오차 전력의 총합을 구한다.
E(0, 0, n·Δ, H, η(0, 0, n·Δ, H))+E(n·Δ, 0, W-n·Δ, H, η(n·Δ, 0, W-n·Δ, H))
상기의 처리를 분할 위치의 모든 후보 n=0, …, W/Δ-1에 대해 행하고, 예측 오차 전력의 총합을 최소화하는 분할 위치를 구한다.
Figure pct00006
최종적으로 x<nopt·Δ의 좌측 영역 및 nopt·Δ≤x의 우측 영역으로 분할하는 영역 분할을 최적의 영역 분할로 한다. SU의 크기가 일정한 경우는 프레임의 크기 증가와 함께 분할 위치의 후보수(W/Δ)가 증대한다. 예를 들면, Δ=32라고 한 경우, 352×288[화소/프레임]의 영상에 대해서는 영역 분할의 후보수는 11개인 데에 대해, 3840×2160[화소/프레임]의 고정밀 영상에 대해서는 영역 분할의 후보수는 120개가 되고, 최적의 영역 분할 설정을 위한 연산량 증가가 문제가 된다. 고정밀 영상에 대해 SU 크기(Δ)를 큰 값으로 설정하면, 상기 연산량 증가는 억제되지만, 한편, 영역 분할의 정밀도가 저하되어 충분한 예측 성능을 얻을 수 없을 가능성이 있다.
본 발명은 이러한 사정을 감안하여 이루어진 것으로, 영역 분할 적응 보간 필터의 예측 성능을 유지하면서 최적의 영역 분할 선택에 필요로 하는 연산량을 삭감할 수 있는 영역 분할 적응 보간 필터 기능을 갖는 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램을 제공하는 것을 목적으로 한다.
본 발명에 관한 동화상 부호화 장치는 소수 화소 위치의 보간 화소값을 생성하는 보간 필터로서 프레임 내를 영역 분할하고, 분할된 영역마다 보간 필터의 계수를 적응적으로 설정하는 영역 분할 대응 적응 필터를 이용하여 소수 화소 정밀도에 대응한 움직임 보상 프레임간 예측을 행하며, 미리 준비된 분할 위치의 후보 중에서 최적의 분할 위치를 선택할 때에, 분할 위치에 의해 규정되는 분할 영역에 대한 보간 필터 계수를 구하기 위한 선형 연립 방정식을 구축하는 방정식 생성 수단과, 상기 선형 연립 방정식을 구해함으로써 상기 보간 필터 계수를 구하는 방정식 구해 처리 수단을 구비하고, 상기 방정식 생성 수단은 다른 분할 영역에서의 상기 보간 필터 계수를 산출하는 연산에 있어서 중복된 연산 처리 결과를 유용하고, 중복이 없는 차분 정보에 대해서만 새로 연산에 의해 산출하는 방정식을 생성한다.
본 발명에 관한 동화상 부호화 장치는, 상기 차분 정보를 산출할 때에 상기 영역 분할의 최소 단위마다 필요한 정보를 미리 산출해 두고, 미리 산출해 둔 정보를 필요에 따라 사용하여 필요한 상기 차분 정보를 산출해도 된다.
본 발명에 관한 동화상 복호화 장치는 상기 동화상 부호화 장치에 의해 부호화된 동화상을 복호해도 된다.
본 발명에 관한 동화상 부호화 방법은, 소수 화소 위치의 보간 화소값을 생성하는 보간 필터로서 프레임 내를 영역 분할하고, 분할된 영역마다 보간 필터의 계수를 적응적으로 설정하는 영역 분할 대응 적응 필터를 이용하여 소수 화소 정밀도에 대응한 움직임 보상 프레임간 예측을 행하는 동화상 부호화 장치에 있어서, 미리 준비된 분할 위치의 후보 중에서 최적의 분할 위치를 선택할 때에, 분할 위치에 의해 규정되는 분할 영역에 대한 보간 필터 계수를 구하기 위한 선형 연립 방정식을 구축하는 방정식 생성 단계와, 상기 선형 연립 방정식을 구해함으로써 상기 보간 필터 계수를 구하는 방정식 구해 처리 단계를 가지며, 상기 방정식 생성 단계는 다른 분할 영역에서의 상기 보간 필터 계수를 산출하는 연산에 있어서 중복된 연산 처리 결과를 유용하고, 중복이 없는 차분 정보에 대해서만 새로 연산에 의해 산출하는 방정식을 생성한다.
본 발명에 관한 동화상 부호화 방법은, 상기 차분 정보를 산출할 때에 상기 영역 분할의 최소 단위마다 필요한 정보를 미리 산출해 두고, 미리 산출해 둔 정보를 필요에 따라 사용하여 필요한 상기 차분 정보를 산출해도 된다.
본 발명에 관한 동화상 복호 방법은 상기 동화상 부호화 방법에 의해 부호화된 동화상을 복호해도 된다.
본 발명에 관한 동화상 부호화 장치 상의 컴퓨터에 부호화 처리를 행하게 하는 동화상 부호화 프로그램은, 소수 화소 위치의 보간 화소값을 생성하는 보간 필터로서 프레임 내를 영역 분할하고, 분할된 영역마다 보간 필터의 계수를 적응적으로 설정하는 영역 분할 대응 적응 필터를 이용하여 소수 화소 정밀도에 대응한 움직임 보상 프레임간 예측을 행하며, 미리 준비된 분할 위치의 후보 중에서 최적의 분할 위치를 선택할 때에, 분할 위치에 의해 규정되는 분할 영역에 대한 보간 필터 계수를 구하기 위한 선형 연립 방정식을 구축하는 방정식 생성 단계와, 상기 선형 연립 방정식을 구해함으로써 상기 보간 필터 계수를 구하는 방정식 구해 처리 단계를 상기 컴퓨터에 행하게 하고, 상기 방정식 생성 단계는 다른 분할 영역에서의 상기 보간 필터 계수를 산출하는 연산에 있어서 중복된 연산 처리 결과를 유용하고, 중복이 없는 차분 정보에 대해서만 새로 연산에 의해 산출하는 방정식을 생성한다.
본 발명에 관한 동화상 복호 프로그램은 상기 동화상 부호화 프로그램에 의해 부호화된 동화상을 복호해도 된다.
본 발명에 따르면, 최적의 분할 위치 산출을 수반하는 영역 분할 대응 적응 필터의 필터 산출 과정에 있어서, 다른 분할 형상에 대한 필터 계수를 산출할 때에 중복된 처리를 생략하는 것이 가능하게 되어 예측 성능을 저하시키지 않고 연산량 저감을 도모할 수 있는 효과를 얻을 수 있다.
도 1은 본 발명의 일 실시형태의 구성을 도시한 블록도이다.
도 2는 도 1에 도시된 장치의 동작을 도시한 흐름도이다.
도 3은 도 1에 도시된 영역 분할 적응 보간 필터가 구비되는 동화상 부호화 장치를 포함하는 동화상 전송 시스템의 구성을 도시한 블록도이다.
도 4는 종래기술에 의한 장치의 구성을 도시한 블록도이다.
도 5는 도 4에 도시된 장치의 동작을 도시한 흐름도이다.
이하, 도면을 참조하여 본 발명의 일 실시형태에 의한 동화상 부호화 장치에 이용되는 영역 분할 적응 보간 필터(RBAIF)를 설명한다. 영역 분할 적응 보간 필터의 상세한 설명을 하기 전에, 본 발명의 일 실시형태에 의한 동화상 부호화 장치에 이용되는 영역 분할 적응 보간 필터의 동작 원리에 대해 설명한다. 본 발명은 영역 분할 적응 보간 필터의 다른 분할 형상에 대한 필터 계수의 산출 방법에 중복된 처리가 포함되는 것에 착안하여, 이러한 중복된 처리의 연산을 생략함으로써 예측 성능을 저하시키지 않고 연산량 저감을 도모하는 것이다.
또, 본 발명에서는 영역 분할의 형상에 따르지 않고 전부 화면간 예측에 관련되는 정보(예측을 행하는 블록의 크기, 움직임 벡터, 움직임 보상의 참조 화상 등)가 공유되는 것으로 한다. 또, 상기 화면간 예측에 관련되는 정보를 움직임 벡터 관련 정보라고 부른다. 움직임 벡터 관련 정보는 별도로 구해진 정보가 주어지는 것으로 한다. 움직임 벡터 관련 정보는, 예를 들면 규격 H.264/AVC로 규정되어 있는 고정 계수의 보간 필터를 이용하여 소수 화소 위치의 화소값을 보간하고, 움직임 추정 알고리즘(예를 들면, 문헌「K. P. Lim, G. Sullivan, and T. Wiegand. Text description of joint model reference encoding methods and decoding concealment methods. Technical Report R095, Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG, Jan. 2006.」)을 이용하여 구할 수 있다.
이하의 설명에서는, 예로서 화면 내를 2영역으로 분할하고, 각 분할 영역마다 필터 계수를 부여하는 것으로서 설명한다. 움직임 벡터 관련 정보를 읽어들이고, 영역 분할의 후보 위치마다 각 분할 영역 내의 예측 오차 전력을 최소화하는 필터 계수를 산출한다. 영역 분할 적응 보간 필터의 필터 계수 산출은 분할 영역마다 식(3) 및 식(6)에 나타내는 정규 방정식을 구해하고, 그 해로서 필터 계수를 산출한다.
식(3) 및 식(6)을 다음과 같이 변형한다.
Figure pct00007
여기서,
Figure pct00008
라고 하면, 식(3) 및 식(6)은 다음과 같이 간결하게 나타낼 수 있다.
Figure pct00009
여기서, 이하에서는 αv(n, m, ci), αh(n, m, ci)를 SU 자기 상관 계수라고 부르고, βv(n, m), βh(n, m)를 SU 상호 상관 계수라고 부른다.
화면 내를 좌우 2영역으로서 좌측 영역 x<kx·Δ 및 우측 영역 kx·Δ≤x(kx=0, …, W/Δ-1)으로 분할하는 경우, 좌측 영역의 영역 분할 적응 보간 필터의 필터 계수 η(0, 0, kx·Δ, H)는 다음 선형 연립 방정식의 해가 된다.
Figure pct00010
또한, 우측 영역의 영역 분할 적응 보간 필터의 필터 계수 η(kx·Δ, 0, W-kx·Δ, H)는 다음 선형 연립 방정식의 해가 된다.
Figure pct00011
또,
Figure pct00012
라고 하면, 좌측 영역의 영역 분할 적응 보간 필터의 필터 계수 η(0, 0, kx·Δ, H)를 구하기 위한 선형 연립 방정식은 다음 식이 된다.
Figure pct00013
또한, 우측 영역의 영역 분할 적응 보간 필터의 필터 계수 η(kx·Δ, 0, W-kx·Δ, H)를 구하기 위한 선형 연립 방정식은 다음 식이 된다.
Figure pct00014
상기 선형 연립 방정식을 정규 방정식이라고 부른다. 또, 정규 방정식의 우변 항을 바이어스 계수라고 부르고, 좌변 wci 및 wcj에 곱해지는 값을 곱셈 계수라고 부른다.
다음에, 화면 내를 좌우 2영역으로서 좌측 영역 x<(kx+1)·Δ 및 우측 영역 (kx+1)·Δ≤x으로 분할하는 경우, 좌측 영역의 영역 분할 적응 보간 필터의 필터 계수 η(0, 0, (kx+1)·Δ, H)는 다음 선형 연립 방정식의 해가 된다.
Figure pct00015
또한, 우측 영역의 영역 분할 적응 보간 필터의 필터 계수 η(kx·Δ, 0, W-(kx+1)·Δ, H)는 다음 선형 연립 방정식의 해가 된다.
Figure pct00016
식(15)과 식(19)의 관계에 주목하면, 식(15)의 산출 과정에서 구한 Av(0, kx-1, 0, H/Δ-1, ci), Bv(0, kx-1, 0, H/Δ-1)의 결과를 저장해 두고, 식(19)의 산출 과정에서 필요에 따라 읽어들임으로써 중복된 계산을 생략할 수 있다.
이러한 중복된 계산은 식(16)과 식(20)의 관계, 식(17)과 식(21)의 관계 및 식(18)과 식(22)의 관계에 대해서도 마찬가지로 존재하고 있고, 이러한 중복된 계산을 생략할 수 있다.
또, 식(19)의 산출 과정에서 구한 값을 이하와 같이 저장해 둠으로써, 화면 내를 좌우 2영역으로서 좌측 영역 x<(kx+2)·Δ 및 우측 영역 (kx+2)·Δ≤x으로 분할하는 경우의 필터 계수 산출시에서도 마찬가지로 중복된 계산을 생략할 수 있다.
Figure pct00017
식(20)에 대해서도 다음 식과 같이 마찬가지다.
Figure pct00018
또한, 상기는 우측 영역의 경우인데, 좌측 영역의 경우에 대해서도 식(21)의 산출 과정에서 구한 값을 이하와 같이 저장해 둠으로써, 화면 내를 좌우 2영역으로서 좌측 영역 x<(kx+2)·Δ 및 우측 영역 (kx+2)·Δ≤x으로 분할하는 경우의 필터 계수 산출시에서도 마찬가지로 중복된 계산을 생략할 수 있다.
Figure pct00019
식(22)에 대해서도 다음 식과 같이 마찬가지다.
Figure pct00020
다음에, 도 1을 참조하여 본 발명의 일 실시형태에 의한 영역 분할 적응 보간 필터(RBAIF)의 구성을 설명한다. 도 1은 동 실시형태의 구성을 도시한 블록도이다. 도 1에서, 도 4에 도시된 종래의 영역 분할 적응 보간 필터와 동일한 부분에는 동일한 부호를 부여하고, 그 설명을 생략한다. 도 1에 도시된 영역 분할 적응 보간 필터가 종래의 영역 분할 적응 보간 필터와 다른 점은, 제1 영역 예측 오차 전력 산출부(109)와 제2 영역 예측 오차 전력 산출부(110) 내에 곱셈 계수 기억부(1094, 1104)와 바이어스 계수 기억부(1095, 1105)가 새로 설치되어 있음과 동시에 연산 요소 저장부(111)가 새로 설치되어 있는 점이다.
SU 자기 상관 계수 산출부(1111)는 예측 화상을 입력으로서 읽어들이고, 프레임 내의 모든 SU(segmentation unit)에 대해 SU 자기 상관 계수를 산출하며, 산출 결과를 SU 자기 상관 계수 기억부(1113)에 저장한다. SU 상호 상관 계수 산출부(1112)는 부호화 대상 화상, 예측 화상을 입력으로서 읽어들이고, 프레임 내의 모든 SU에 대해 SU 상호 상관 계수를 산출하며, 산출 결과를 SU 상호 상관 계수 기억부(1114)에 저장한다.
정규 방정식 생성부(1091)는 곱셈 계수 기억부(1094)로부터 곱셈 계수를 읽어들이고, 그 계수와 정규 방정식의 구축에 필요한 곱셈 계수의 차분값을 산출하며, 저장되어 있는 곱셈 계수 및 차분값을 가산하여 정규 방정식의 구축에 필요한 곱셈 계수로서 출력한다. 차분값 산출에는 SU 자기 상관 계수 기억부(1113), SU 상호 상관 계수 기억부(1114)에 저장된 SU 자기 상관 계수, SU 상호 상관 계수를 독출하고, SU 자기 상관 계수, SU 상호 상관 계수의 가산에 기초하여 설정한다. 여기서 구한 차분값은 후속 처리에서 재이용 가능하도록 곱셈 계수 차분값 기억부(1096)에 저장한다.
또한, 정규 방정식 생성부(1091)는 바이어스 계수 기억부(1095)로부터 바이어스 계수를 읽어들이고, 그 계수와 정규 방정식의 구축에 필요한 바이어스 계수의 차분값을 산출하며, 저장되어 있는 바이어스 계수 및 차분값을 가산하여 정규 방정식의 구축에 필요한 바이어스 계수로서 출력한다. 차분값 산출에는 SU 자기 상관 계수 기억부(1113), SU 상호 상관 계수 기억부(1114)에 저장된 SU 자기 상관 계수, SU 상호 상관 계수를 독출하고, SU 자기 상관 계수, SU 상호 상관 계수의 가산에 기초하여 설정한다. 여기서 구한 차분값은 후속 처리에서 재이용 가능하도록 바이어스 계수 차분값 기억부(1097)에 저장한다.
정규 방정식 생성부(1091)는 이 처리에서 산출된 곱셈 계수, 바이어스 계수를 읽어들이고, 분할 영역에 대한 정규 방정식을 생성한다. 여기서, 해당하는 분할 영역은 수평 방향으로 좌우 분할을 행하는 경우는 좌측 영역이며, 수직 방향으로 상하 분할을 행하는 경우는 상측 영역이다. 그리고, 산출된 곱셈 계수, 바이어스 계수를 각각 곱셈 계수 기억부(1094), 바이어스 계수 기억부(1095)에 저장한다. 정규 방정식 구해 처리부(1092)는, 정규 방정식 생성부(1091)에서 생성된 정규 방정식의 해를 구하고 보간 필터 계수로서 저장한다. 예측 오차 전력 산출 처리부(1093)는 부호화 대상 화상, 참조 화상, 움직임 벡터 관련 정보, 정규 방정식 구해 처리부(1092)에서 산출된 보간 필터 계수를 읽어들이고, 그 보간 필터 계수를 이용한 경우의 예측 오차 전력을 산출한다.
정규 방정식 생성부(1101)는 곱셈 계수 기억부(1104)로부터 곱셈 계수를 읽어들이고, 곱셈 계수 차분값 기억부(1096)로부터 곱셈 계수의 차분값을 읽어들이며, 전자에서 후자를 감산하여 정규 방정식의 구축에 필요한 곱셈 계수로서 출력한다. 또한, 정규 방정식 (1101)는 바이어스 계수 기억부(1105)로부터 바이어스 계수를 읽어들이고, 바이어스 계수 차분값 기억부(1097)로부터 바이어스 계수의 차분값을 읽어들이며, 전자에서 후자를 감산하여 정규 방정식의 구축에 필요한 바이어스 계수로서 출력한다. 이 처리에서 산출된 곱셈 계수, 바이어스 계수를 읽어들이고, 분할 영역에 대한 정규 방정식을 생성한다. 여기서, 해당하는 분할 영역은 수평 방향으로 좌우 분할을 행하는 경우는 우측 영역이며, 수직 방향으로 상하 분할을 행하는 경우는 하측 영역이다.
산출된 곱셈 계수, 바이어스 계수를 각각 곱셈 계수 기억부(1104), 바이어스 계수 기억부(1105)에 저장한다. 정규 방정식 구해 처리부(1102)는, 정규 방정식 생성부(1101)에서 생성된 정규 방정식의 해를 구하고 보간 필터 계수로서 저장한다. 예측 오차 전력 산출 처리부(1103)는 부호화 대상 화상, 참조 화상, 움직임 벡터 관련 정보, 정규 방정식 구해 처리부(1102)에서 산출된 보간 필터 계수를 읽어들이고, 그 보간 필터 계수를 이용한 경우의 예측 오차 전력을 산출한다.
다음에, 도 2를 참조하여 도 1에 도시된 영역 분할 적응 보간 필터(RBAIF)의 처리 동작을 설명한다. 도 2는 도 1에 도시된 영역 분할 적응 보간 필터(RBAIF)의 처리 동작을 도시한 흐름도이다. 우선, 예측 화상 생성부(103)는 참조 화상 기억부(101)로부터 프레임간 예측에 이용하는 참조 화상을 읽어들인다(단계 S1). 이어서, 예측 화상 생성부(103)는, 부호화 대상 화상에 대해 참조 화상을 이용한 움직임 추정 처리를 행한 결과 얻어지는 움직임 벡터 관련 정보를 움직임 벡터 관련 정보 기억부(102)로부터 읽어들인다(단계 S2). 그리고, 움직임 보상 화면간 예측 처리에 기초하여 입력 화상에 대한 예측 화상을 생성한다(단계 S3).
다음에, SU 자기 상관 계수 산출부(1111)는 생성된 예측 화상을 입력으로서 읽어들이고, 프레임 내의 모든 SU(segmentation unit)에 대해 식(7)의 αv(n, m, ci), αh(n, m, ci)의 정의에 기초하여 SU 자기 상관 계수를 산출하며, 산출 결과를 저장한다(단계 S31). 이어서, SU 상호 상관 계수 산출부(1112)는 부호화 대상 화상, 예측 화상을 입력으로서 읽어들이고, 프레임 내의 모든 SU에 대해 식(7)의 βv(n, m), βh(n, m)의 정의에 기초하여 SU 상호 상관 계수를 산출하며, 산출 결과를 저장한다(단계 S32).
다음에, 분할 영역 설정부(104)는 분할 영역을 설정하고, 설정 정보를 정규 방정식 생성부(1091)에 출력함과 동시에 분할 위치 정보 기억부(1073)에 저장한다. 분할 방법으로서는 화면 내를 수평 분할하여 상측 영역과 하측 영역의 2영역으로 분할하거나, 혹은 화면 내를 수직 분할하여 좌측 영역과 우측 영역의 2영역으로 분할하는 등의 방법을 들 수 있다. 이 때, 분할 위치를 나타내는 정보는 별도로 주어지는 것으로 한다. 또한, 이하에서는 분리형 필터를 대상으로서 필터 계수를 최적화하는 순서를 나타내지만, 비분리형 필터에 대해서도 마찬가지로 행할 수 있다. 또한, 이하에서는 수평 방향의 보간 필터 계수, 수직 방향의 보간 필터 계수의 순으로 도출한다. 물론, 이 도출 순서는 반대로 하는 것도 가능하다.
다음에, 정규 방정식 생성부(1091)는 곱셈 계수 기억부(1094)에 저장되어 있는 곱셈 계수(식(19), 식(20)에서의 Av(0, kx-1, 0, H/Δ-1, ci), Ah(0, kx-1, 0, H/Δ-1, cj))를 읽어들이고, 그 계수와 정규 방정식의 구축에 필요한 곱셈 계수의 차분값(식(19), 식(20)에서의
Figure pct00021
)을 산출하며, 저장되어 있는 곱셈 계수 및 차분값을 가산하여 정규 방정식의 구축에 필요한 곱셈 계수로서 출력한다(단계 S41). 차분값 산출에는 SU 자기 상관 계수 기억부(1113), SU 상호 상관 계수 기억부(1114)에 저장된 SU 자기 상관 계수, SU 상호 상관 계수를 독출하고, SU 자기 상관 계수, SU 상호 상관 계수의 가산에 기초하여 설정한다. 여기서 구한 차분값은 후속 처리에서 재이용 가능하도록 곱셈 계수 차분값 기억부(1096)에 저장한다.
다음에, 정규 방정식 생성부(1091)는 바이어스 계수 기억부(1095)에 저장되어 있는 바이어스 계수(식(19), 식(20)에서의 Bv(0, kx-1, 0, H/Δ-1), Bh(0, kx-1, 0, H/Δ-1))를 읽어들이고, 그 계수와 정규 방정식의 구축에 필요한 바이어스 계수의 차분값(식(19), 식(20)에서의
Figure pct00022
)을 산출하며, 저장되어 있는 바이어스 계수 및 차분값을 가산하여 정규 방정식의 구축에 필요한 바이어스 계수로서 출력한다(단계 S42). 차분값 산출에는 SU 자기 상관 계수 기억부(1113), SU 상호 상관 계수 기억부(1114)에 저장된 SU 자기 상관 계수, SU 상호 상관 계수를 독출하고, SU 자기 상관 계수, SU 상호 상관 계수의 가산에 기초하여 설정한다. 여기서 구한 차분값은 후속 처리에서 재이용 가능하도록 바이어스 계수 차분값 기억부(1097)에 저장한다.
다음에, 정규 방정식 생성부(1091)는 산출된 곱셈 계수, 바이어스 계수를 읽어들이고, 분할 영역에 대한 정규 방정식으로서 식(19), 식(20)을 생성한다(단계 S43). 여기서, 해당하는 분할 영역은 수평 방향으로 좌우 분할을 행하는 경우는 좌측 영역이며, 수직 방향으로 상하 분할을 행하는 경우는 상측 영역이다. 그리고, 정규 방정식 생성부(1091)는 산출된 곱셈 계수, 바이어스 계수를 각각 곱셈 계수 기억부(1094), 바이어스 계수 기억부(1095)에 저장한다(단계 S44).
다음에, 정규 방정식 구해 처리부(1092)는, 정규 방정식 생성부(1091)에 의해 생성된 정규 방정식의 해를 구하고 보간 필터 계수로서 필터 계수 기억부(1072)에 저장한다(단계 S5). 이어서, 예측 오차 전력 산출 처리부(1093)는, 정규 방정식 구해 처리부(1092)에서 산출된 보간 필터 계수를 이용한 경우의 예측 오차 전력을 산출한다(단계 S6).
다음에, 정규 방정식 생성부(1101)는 곱셈 계수 기억부(1104)에 저장되어 있는 곱셈 계수, 곱셈 계수 차분값 기억부(1096)에 저장한 차분값을 읽어들이고, 저장되어 있는 곱셈 계수(식(21) 및 식(22)에서의 Av(kx, W/Δ-1, 0, H/Δ-1, ci), Ah(kx, W/Δ-1, 0, H/Δ-1, cj))에서 차분값을 감산하여 정규 방정식의 구축에 필요한 곱셈 계수로서 출력한다(단계 71).
다음에, 정규 방정식 생성부(1101)는 바이어스 계수 기억부(1105)에 저장되어 있는 바이어스 계수, 바이어스 계수 차분값 기억부(1097)에 저장한 차분값을 읽어들이고, 저장되어 있는 바이어스 계수(식(21) 및 식(22)에서의 Bv(kx, W/Δ-1, 0, H/Δ-1), Bh(kx, W/Δ-1, 0, H/Δ-1))에서 차분값을 감산하여 정규 방정식의 구축에 필요한 바이어스 계수로서 출력한다(단계 S72).
다음에, 정규 방정식 생성부(1101)는 산출된 곱셈 계수, 바이어스 계수를 읽어들이고, 분할 영역에 대한 정규 방정식으로서 식(21) 및 식(22)을 생성한다(단계 S73). 여기서, 해당하는 분할 영역은 수평 방향으로 좌우 분할을 행하는 경우는 우측 영역이며, 수직 방향으로 상하 분할을 행하는 경우는 하측 영역이다. 그리고, 정규 방정식 생성부(1101)는 산출된 곱셈 계수, 바이어스 계수를 각각 곱셈 계수 기억부(1104), 바이어스 계수 기억부(1105)에 저장한다(단계 S74).
다음에, 정규 방정식 구해 처리부(1102)는, 정규 방정식 생성부(1101)에 의해 생성된 정규 방정식의 해를 구하고 보간 필터 계수로서 필터 계수 기억부(1072)에 저장한다(단계 S8). 이어서, 예측 오차 전력 산출 처리부(1103)는, 정규 방정식 구해 처리부(1102)에서 산출된 보간 필터 계수를 이용한 경우의 예측 오차 전력을 산출한다(단계 S9).
다음에, 예측 오차 전력합 산출 처리부(105)는 2개의 예측 오차 전력 산출 처리부(1093, 1103)로부터 출력된 예측 오차 전력을 입력하고, 프레임 내의 예측 오차 전력합으로서 양자의 가산값을 산출하여 예측 오차 전력합 기억부(1071)에 기억한다(단계 S10). 최소값 판정부(106)는, 예측 오차 전력합 기억부(1071)에 기억된 예측 오차합 중에서 최소값을 부여하는 분할 위치를 구하고, 그 분할 위치에서 분할한 경우의 2개의 분할 영역에 대한 필터 계수를 저장한다(단계 S11). 반복 처리 종료 판정부(108)는 분할 위치의 모든 후보에 대해 처리하였는지를 판정하고, 모든 후보에 대해 처리가 종료되지 않았으면 분할 영역 설정부(104)에 대해 처리를 반복하는 지시를 출력한다. 그리고, 모든 후보에 대해 처리가 종료된 시점에서, 반복 처리 종료 판정부(108)는 예측 오차합을 최소화하는 분할 위치를 구하고, 그 분할 위치에서 분할한 경우의 2개의 분할 영역에 대한 필터 계수를 출력한다(단계 S12).
다음에, 도 3을 참조하여 도 1에 도시된 영역 분할 적응 보간 필터를 구비하는 동화상 부호화 장치를 포함하는 동화상 전송 시스템의 구성을 설명한다. 도 3은 동화상 전송 시스템의 구성을 도시한 블록도이다. 도 3에서, 동화상 입력부(1)는 카메라 등으로 촬상한 동화상을 입력한다. 동화상 부호화 장치(2)는 소수 화소 위치의 보간 화소값을 생성하는 보간 필터로서 프레임 내를 영역 분할하고, 분할된 영역마다 보간 필터의 계수를 적응적으로 설정하는 영역 분할 대응 적응 필터(도 1에 도시된 영역 분할 적응 보간 필터)를 이용하여 소수 화소 정밀도에 대응한 움직임 보상 프레임간 예측을 행하며, 동화상 입력부(1)에 의해 입력한 동화상을 부호화하여 송신한다. 전송로(3)는 동화상 부호화 장치(2)로부터 송신된 부호화 동화상의 데이터를 전송한다. 동화상 복호 장치(4)는 전송로(3)에 의해 전송된 부호화 동화상의 데이터를 수신하고, 부호화 동화상의 데이터를 복호하여 출력한다. 동화상 출력부(5)는 동화상 복호 장치(4)에서 복호된 동화상을 표시 장치 등에 출력한다.
다음에, 도 3에 도시된 동화상 전송 시스템의 동작을 설명한다. 동화상 부호화 장치(2)는 동화상 입력부(1)를 개재하여 동화상의 데이터를 입력하고, 동화상의 프레임마다 부호화를 행한다. 이 때, 도 1에 도시된 영역 분할 적응 보간 필터에 의해 화상의 최적의 분할 위치 산출이 행해진다. 그리고, 동화상 부호화 장치(2)는 부호화한 동화상 데이터를 전송로(3)를 개재하여 동화상 복호 장치(4)에 대해 송신한다. 동화상 복호 장치(4)는 이 부호화 동화상 데이터를 복호하고, 동화상 출력부(5)를 개재하여 표시 장치 등에 동화상을 표시한다.
이상 설명한 바와 같이, 소수 화소 정밀도에 대응한 움직임 보상 프레임간 예측을 구비한 동화상 부호화 방식에 있어서, 소수 화소 위치의 보간 화소값을 생성하는 보간 필터로서 프레임 내를 영역 분할하고, 분할된 영역마다 보간 필터의 계수를 적응적으로 설정하는 영역 분할 대응 적응 필터를 이용하는 경우, 미리 준비된 분할 위치의 후보 중에서 최적의 분할 위치를 선택하는 처리에 있어서, 각 분할 위치가 규정하는 분할 영역에 대한 보간 필터 계수를 구할 때, 그 필터의 필터 계수를 산출하기 위한 처리로서 선형 연립 방정식을 구축하고, 그 방정식을 구해하는 처리를 이용하는 경우, 다른 분할 영역에서의 필터 계수 산출 과정에서 중복된 연산 처리를 유용하고, 중복이 없는 차분 정보만 새로 산출하도록 하였기 때문에, 최적의 분할 위치 산출을 수반하는 영역 분할 대응 적응 필터의 필터 산출 과정에 있어서, 다른 분할 형상에 대한 필터 계수를 산출할 때에 중복된 처리를 생략하는 것이 가능하게 되어 예측 성능을 저하시키지 않고 연산량 저감을 도모할 수 있다.
또, 도 1에서의 각 처리부의 기능을 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하고, 이 기록매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들이게 하여 실행함으로써 영역 분할 대응 적응 필터 처리를 행해도 된다.
또, 여기서 말하는 「컴퓨터 시스템」이란, OS나 주변 기기 등의 하드웨어를 포함하는 것으로 한다. 또한, 「컴퓨터 판독 가능한 기록매체」란 플렉시블 디스크, 광자기 디스크, ROM, CD-ROM 등의 가반 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다. 또, 「컴퓨터 판독 가능한 기록매체」란, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통해 프로그램이 송신된 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리(RAM)와 같이, 일정 시간 프로그램을 보유지지하고 있는 것도 포함하는 것으로 한다.
또한, 상기 프로그램은 이 프로그램을 기억 장치 등에 저장한 컴퓨터 시스템으로부터 전송 매체를 통해 혹은 전송 매체 중의 전송파에 의해 다른 컴퓨터 시스템에 전송되어도 된다. 여기서, 프로그램을 전송하는 「전송 매체」는 인터넷 등의 네트워크(통신망)나 전화 회선 등의 통신 회선(통신선)과 같이 정보를 전송하는 기능을 갖는 매체를 말한다. 또한, 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 된다. 또, 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 이른바 차분 파일(차분 프로그램)이어도 된다.
본 발명에 관한 동화상 부호화 및 동화상 복합화는 영역 분할 적응 보간 필터의 예측 성능을 유지하면서 최적의 영역 분할 선택에 필요로 하는 연산량을 삭감하는 것이 불가결한 용도에 적용할 수 있다.
1 동화상 입력부
2 동화상 부호화 장치
3 전송로
4 동화상 복호 장치
5 동화상 출력부
101 참조 화상 기억부
102 움직임 벡터 관련 정보 기억부
103 예측 화상 생성부
104 분할 영역 설정부
105 예측 오차 전력합 산출 처리부
106 최소값 판정부
108 반복 처리 종료 판정부
109 제1 영역 예측 오차 전력 산출부
110 제2 영역 예측 오차 전력 산출부
111 연산 요소 저장부
1071 예측 오차 전력합 기억부
1072 필터 계수 기억부
1073 분할 위치 정보 기억부
1091 정규 방정식 생성부
1092 정규 방정식 구해 처리부
1093 예측 오차 전력 산출 처리부
1094 곱셈 계수 기억부
1095 바이어스 계수 기억부
1096 곱셈 계수 차분값 기억부
1097 바이어스 계수 차분값 기억부
1101 정규 방정식 생성부
1102 정규 방정식 구해 처리부
1103 예측 오차 전력 산출 처리부
1104 곱셈 계수 기억부
1105 바이어스 계수 기억부
1111 SU 자기 상관 계수 산출부
1112 SU 상호 상관 계수 산출부
1113 SU 자기 상관 계수 기억부
1114 SU 상호 상관 계수 기억부

Claims (8)

  1. 소수 화소 위치의 보간 화소값을 생성하는 보간 필터로서 프레임 내를 영역 분할하고, 분할된 영역마다 보간 필터의 계수를 적응적으로 설정하는 영역 분할 대응 적응 필터를 이용하여 소수 화소 정밀도에 대응한 움직임 보상 프레임간 예측을 행하는 동화상 부호화 장치로서,
    미리 준비된 분할 위치의 후보 중에서 최적의 분할 위치를 선택할 때에, 분할 위치에 의해 규정되는 분할 영역에 대한 보간 필터 계수를 구하기 위한 선형 연립 방정식을 구축하는 방정식 생성부;
    상기 선형 연립 방정식을 구해(求解)함으로써 상기 보간 필터 계수를 구하는 방정식 구해 처리부;를 구비하며,
    상기 방정식 생성부는 다른 분할 영역에서의 상기 보간 필터 계수를 산출하는 연산에 있어서 중복된 연산 처리 결과를 유용하고, 중복이 없는 차분 정보에 대해서만 새로 연산에 의해 산출하는 방정식을 생성하는 동화상 부호화 장치.
  2. 청구항 1에 있어서,
    상기 차분 정보를 산출할 때에 상기 영역 분할의 최소 단위마다 필요한 정보를 미리 산출해 두고, 미리 산출해 둔 정보를 필요에 따라 사용하여 필요한 상기 차분 정보를 산출하는 동화상 부호화 장치.
  3. 청구항 1에 기재된 동화상 부호화 장치에 의해 부호화된 동화상을 복호하는 동화상 복호 장치.
  4. 소수 화소 위치의 보간 화소값을 생성하는 보간 필터로서 프레임 내를 영역 분할하고, 분할된 영역마다 보간 필터의 계수를 적응적으로 설정하는 영역 분할 대응 적응 필터를 이용하여 소수 화소 정밀도에 대응한 움직임 보상 프레임간 예측을 행하는 동화상 부호화 장치에서의 동화상 부호화 방법으로서,
    미리 준비된 분할 위치의 후보 중에서 최적의 분할 위치를 선택할 때에, 분할 위치에 의해 규정되는 분할 영역에 대한 보간 필터 계수를 구하기 위한 선형 연립 방정식을 구축하는 방정식 생성 단계;
    상기 선형 연립 방정식을 구해함으로써 상기 보간 필터 계수를 구하는 방정식 구해 처리 단계;를 가지며,
    상기 방정식 생성 단계는 다른 분할 영역에서의 상기 보간 필터 계수를 산출하는 연산에 있어서 중복된 연산 처리 결과를 유용하고, 중복이 없는 차분 정보에 대해서만 새로 연산에 의해 산출하는 방정식을 생성하는 동화상 부호화 방법.
  5. 청구항 4에 있어서,
    상기 차분 정보를 산출할 때에 상기 영역 분할의 최소 단위마다 필요한 정보를 미리 산출해 두고, 미리 산출해 둔 정보를 필요에 따라 사용하여 필요한 상기 차분 정보를 산출하는 동화상 부호화 방법.
  6. 청구항 4에 기재된 동화상 부호화 방법에 의해 부호화된 동화상을 복호하는 동화상 복호 방법.
  7. 소수 화소 위치의 보간 화소값을 생성하는 보간 필터로서 프레임 내를 영역 분할하고, 분할된 영역마다 보간 필터의 계수를 적응적으로 설정하는 영역 분할 대응 적응 필터를 이용하여 소수 화소 정밀도에 대응한 움직임 보상 프레임간 예측을 행하는 동화상 부호화 장치 상의 컴퓨터에 부호화 처리를 행하게 하는 동화상 부호화 프로그램으로서,
    미리 준비된 분할 위치의 후보 중에서 최적의 분할 위치를 선택할 때에, 분할 위치에 의해 규정되는 분할 영역에 대한 보간 필터 계수를 구하기 위한 선형 연립 방정식을 구축하는 방정식 생성 단계;
    상기 선형 연립 방정식을 구해함으로써 상기 보간 필터 계수를 구하는 방정식 구해 처리 단계;를 상기 컴퓨터에 행하게 하고,
    상기 방정식 생성 단계는 다른 분할 영역에서의 상기 보간 필터 계수를 산출하는 연산에 있어서 중복된 연산 처리 결과를 유용하고, 중복이 없는 차분 정보에 대해서만 새로 연산에 의해 산출하는 방정식을 생성하는 동화상 부호화 프로그램.
  8. 청구항 7에 기재된 동화상 부호화 프로그램에 의해 부호화된 동화상을 복호하는 동화상 복호 프로그램.
KR20137032535A 2011-06-13 2012-06-12 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램 및 동화상 복호 프로그램 KR20140007076A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-131127 2011-06-13
JP2011131127A JP5552093B2 (ja) 2011-06-13 2011-06-13 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
PCT/JP2012/065045 WO2012173125A1 (ja) 2011-06-13 2012-06-12 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム

Publications (1)

Publication Number Publication Date
KR20140007076A true KR20140007076A (ko) 2014-01-16

Family

ID=47357112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20137032535A KR20140007076A (ko) 2011-06-13 2012-06-12 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램 및 동화상 복호 프로그램

Country Status (10)

Country Link
US (1) US20140119453A1 (ko)
EP (1) EP2709362A4 (ko)
JP (1) JP5552093B2 (ko)
KR (1) KR20140007076A (ko)
CN (1) CN103621089A (ko)
BR (1) BR112013031755A2 (ko)
CA (1) CA2838978A1 (ko)
RU (1) RU2013154600A (ko)
TW (1) TW201306593A (ko)
WO (1) WO2012173125A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200117031A (ko) * 2018-02-14 2020-10-13 후아웨이 테크놀러지 컴퍼니 리미티드 적응형 보간 필터
US11765427B2 (en) 2018-05-22 2023-09-19 Huawei Technologies Co., Ltd. Virtual reality video playing method, terminal, and server

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2920962A4 (en) * 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
KR20230093060A (ko) * 2009-07-07 2023-06-26 인터디지털 브이씨 홀딩스 인코포레이티드 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
JP4811826B2 (ja) 2009-12-22 2011-11-09 敏男 小沼 廃棄有機物の低温磁気分解処理装置
US20130028538A1 (en) * 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200117031A (ko) * 2018-02-14 2020-10-13 후아웨이 테크놀러지 컴퍼니 리미티드 적응형 보간 필터
US11765427B2 (en) 2018-05-22 2023-09-19 Huawei Technologies Co., Ltd. Virtual reality video playing method, terminal, and server

Also Published As

Publication number Publication date
TW201306593A (zh) 2013-02-01
JP5552093B2 (ja) 2014-07-16
CA2838978A1 (en) 2012-12-20
US20140119453A1 (en) 2014-05-01
BR112013031755A2 (pt) 2016-12-13
JP2013005020A (ja) 2013-01-07
CN103621089A (zh) 2014-03-05
EP2709362A1 (en) 2014-03-19
EP2709362A4 (en) 2014-09-24
RU2013154600A (ru) 2015-07-20
WO2012173125A1 (ja) 2012-12-20

Similar Documents

Publication Publication Date Title
JP7335315B2 (ja) 画像予測方法および関連装置
CN113612994B (zh) 具有仿射运动补偿的视频编解码的方法
TW201739252A (zh) 具有仿射運動補償的視訊編碼的方法以及裝置
JP5552092B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5833757B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
KR20080069110A (ko) 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
GB2474745A (en) Calculating motion estimation search range vector (SR) based on a vector mean value
JP2011114572A (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
JP7269371B2 (ja) オプティカルフローを用いる予測改善のための方法および装置
JP5762243B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
KR20140007076A (ko) 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램 및 동화상 복호 프로그램
JP2012134870A (ja) 映像符号化方法、及び映像復号方法
KR20110126075A (ko) 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
US11202082B2 (en) Image processing apparatus and method
KR101601848B1 (ko) 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법
TW202408243A (zh) 用於視頻編解碼的解碼器側運動向量優化和雙向光流的方法和裝置
CN113966617A (zh) 对mip缩减预测的样本值裁剪
KR20090027091A (ko) 동영상 부호화/복호화 방법 및 장치
JP2011035569A (ja) 動きベクトル検出装置及び動きベクトル検出方法
KR20110058720A (ko) 움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application