KR20140085300A - 프레임간 인터 예측에서 로컬 조도 불일치의 적응적 보상을 기초로 다시점 비디오 시퀀스를 인코딩/디코딩하는 방법 - Google Patents

프레임간 인터 예측에서 로컬 조도 불일치의 적응적 보상을 기초로 다시점 비디오 시퀀스를 인코딩/디코딩하는 방법 Download PDF

Info

Publication number
KR20140085300A
KR20140085300A KR1020130140504A KR20130140504A KR20140085300A KR 20140085300 A KR20140085300 A KR 20140085300A KR 1020130140504 A KR1020130140504 A KR 1020130140504A KR 20130140504 A KR20130140504 A KR 20130140504A KR 20140085300 A KR20140085300 A KR 20140085300A
Authority
KR
South Korea
Prior art keywords
block
pixel
reference block
encoded
value
Prior art date
Application number
KR1020130140504A
Other languages
English (en)
Other versions
KR102257886B1 (ko
Inventor
알렉세이 미하일로비치 파투코프
이골 미로노비치 코브리가
미하일 나우모비치 미쇼로브스키
오병태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/140,183 priority Critical patent/US9615089B2/en
Publication of KR20140085300A publication Critical patent/KR20140085300A/ko
Application granted granted Critical
Publication of KR102257886B1 publication Critical patent/KR102257886B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

디지털 신호를 처리하는 기술에 관한 것으로, 보다 구체적으로는 다시점 비디오 시퀀스의 프레임 간의 나타나는 로컬 조도 불일치의 적응적 보상을 기초로 다시점 비디오 시퀀스를 인코딩 또는 디코딩하는 방법을 제공한다. 이러한 적응적 보상을 기초로 다시점 비디오 시퀀스를 인코딩 또는 디코딩하는 방법은 제1 추정 estD i,j , 제2 추정 estR i,j , 참조 블록의 픽셀값 R i,j 및 복원된 픽셀값 T D k 및 T R k 중 적어도 하나를 기초로 계산된 조도 변화를 정정하기 위한 정정 파라미터를 이용하여 수행될 수 있다.

Description

프레임간 인터 예측에서 로컬 조도 불일치의 적응적 보상을 기초로 다시점 비디오 시퀀스를 인코딩/디코딩하는 방법{METHOD OF ENCODING/DECODING OF MULTIVIEW VIDEO SEQUENCE BASED ON ADAPTIVE COMPENSATION OF LOCAL ILLUMINATION MISMATCHES AT INTERFRAME PREDICTION}
아래의 설명은 컴퓨터 시스템 내에서 디지털 신호 처리에 관한 기술로서, 보다 구체적으로는 다시점 비디오 시퀀스의 프레임 간의 나타나는 조도 불일치를 정정하는 방법 및 시스템에 관한 것이다.
인접 시점(단축)(foreshortenings)의 프레임 및 깊이맵을 이용하여 합성된 프레임 및 인접 시점(단축)에 속하는 프레임을 활용한 다시점 비디오 시퀀스를 인코딩하는 방법이 활용되고 있다. 이러한 프레임은 예측과 함께 인코딩 실행에 있어 이러한 프레임 자체를 참조 프레임으로 나타낸다. 참조 프레임 중 어느 하나에 연관된 현재 프레임 내의 객체의 가능한 변이를 제거하는 것이 수행된다. 인접 시점(단축)에 속하는 프레임 및 인코딩된 현재 프레임 간의 객체 위치 내의 차이 또는 객체의 모션 또는 합성된 프레임은 변이로서 이해될 수 있다. 특정된 변이의 제거 목적은 인터프레임 거리 최소화에 있다. 획득된 인터프레임 차이는 인코딩되고(예를 들어, 비상관 변환, 양자화 및 엔트로피 인코딩의 적용) 출력 비트 스트림 내에 위치될 수 있다.
다시점 비디오 시퀀스를 촬영하는 카메라의 파라미터 내의 가능한 차이 및 카메라가 촬영하는 객체로부터 도착하는 광속(light flux) 내의 차이는 서로 다른 단축에 속하는 프레임 간의 로컬 조도 불일치를 야기한다. 또한, 이러한 특정된 조도 불일치는 합성된 프레임의 특성에 영향을 미친다. 인코딩 효율에 부정적인 영향을 미치는 인터프레임 차이의 절대값을 증가시킨다.
일실시예에 따른 로컬 조도 불일치의 적응적 보상 방법은 다시점 비디오 시퀀스의 인코딩 및 디코딩 과정 동안 프레임간 인터 예측에서의 로컬 조도 불일치(local illumination mismatches)의 적응적 보상 방법에 있어서 - 상기 적응적 보상 방법은, 컴퓨터 시스템에 의해 수행됨 -, 인코딩된 프레임에 속하는 인코딩된 현재 블록의 픽셀값 및 참조 프레임에 속하는 참조 블록의 픽셀값을 획득하는 단계; 인코딩된 후 디코딩되어 복원된 픽셀값을 획득하는 단계 - 상기 인코딩된 후 디코딩되어 복원된 픽셀값은, 상기 인코딩된 프레임의 상기 인코딩된 현재 블록의 부근으로부터의 픽셀값 및 상기 참조 프레임의 상기 참조 블록의 부근으로부터의 픽셀값임 -; 상기 인코딩된 현재 블록의 부근 및 상기 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀을 고려에서 배제하는 단계 - 상기 인코딩된 현재 블록의 부근 및 상기 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀은, 적어도 하나의 프리셋 기준에 의해 조도 변화를 정정하기 위한 정정 파라미터의 계산에 대해 비신뢰적인 것으로 추정됨 -; 상기 참조 블록의 픽셀 간, 상기 디코딩된 현재 블록의 부근에 위치한 신뢰성있는 픽셀들 간 및 상기 참조 블록의 부근에 위치한 신뢰성있는 픽셀들 간의 수치적 비율을 결정하는 단계; 초기값을 고려하는 상기 결정된 수치적 비율에 기초하여 상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계; 및 상기 참조 블록의 픽셀값 변화를 추정하는 단계;를 포함하고, 만약 변화가 필수적인 것으로 추정되는 경우, 상기 참조 블록의 픽셀값의 정정은 상기 계산된 정정 파라미터를 이용하여 수행될 수 있다.
상기 인코딩된 현재 프레임 및 상기 참조 프레임의 픽셀에 대한 비율을 결정하는 단계, 상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계 및 상기 참조 블록의 픽셀값을 정정하는 단계는, 상기 인코딩된 현재 블록의 인접 부근 및 상기 참조 블록의 인접 부근에 속하는 픽셀이 이미 복원되도록 상기 인코딩된 현재 블록의 인접 부근 및 상기 참조 블록의 인접 부근을 검출하는 단계; 상기 인코딩된 현재 프레임의 특정된 인접 부근으로부터의 복원된 픽셀값 TDk 및 참조 블록의 미리 정의된 인접 부근으로부터의 픽셀값 TRk 을 기초로 상기 참조 블록 내의 각 픽셀 (i, j)에 대해 제1 추정 estDi,j 및 제2 추정 estRi,j 중 적어도 하나를 계산하는 단계 - 여기서, k=0, …, N-1이고, 상기 N는 인코딩된 현재 블록의 특정된 인접 부근으로부터의 픽셀 수이며 상기 참조 블록의 특정된 인접 부근으로부터의 픽셀 수와 동일함 -;
상기 제1 추정 estDi,j, 상기 제2 추정 estRi,j, 상기 참조 블록의 픽셀값 Ri,j 및 복원된 픽셀값 TDk 및 TRk 중 적어도 하나를 기초로 상기 참조 블록 내의 각 픽셀 위치에 대한 상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계; 상기 정정 파라미터를 이용하여 상기 참조 블록의 픽셀값의 정정을 수행하는 단계를 포함할 수 있다.
상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계 및 상기 참조 블록의 픽셀값의 상기 정정 파라미터를 계산하는 단계는, 상기 제1 추정에 대한 초기값 BaseD 및 상기 제2 추정에 대한 초기값 BaseR이 모두 음 또는 양이 아닌 수가 되도록 상기 BaseD 및 상기 BaseR을 설정하는 단계; 상기 참조 블록의 프리셋 인접 부근으로부터의 위치 (i, j) 내의 참조 블록의 픽셀의 밝기 강도 및 인덱스 k=0, …, N-1에 따른 픽셀의 밝기 강도에 따라 가중 계수 Wk(i,j), k=0, …, N-1을 계산하는 단계; 상기 제1 추정을
Figure pat00001
에 따라 계산하는 단계; 상기 제2 추정을
Figure pat00002
에 따라 계산하는 단계; 만약 상기 제2 추정 estRi,j이 영이 아닌 경우, 상기 참조 블록의 각 픽셀값의 상기 정정 파라미터는
Figure pat00003
로 계산되고, 그 외의 경우, 상기 정정 파라미터
Figure pat00004
는 1로 설정되는 단계; 및 만약 상기 정정 파라미터
Figure pat00005
가 1이 아닌 경우, 상기 정정 파라미터
Figure pat00006
에 대응되는 상기 참조 블록의 각 픽셀값 Ri,j의 곱으로 상기 참조 블록의 조도 정정을 수행하는 단계를 더 포함할 수 있다.
상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계 및 상기 참조 블록 내의 각 픽셀값의 상기 정정 파라미터를 계산하는 단계는, 상기 제1 추정에 대한 초기값 BaseD 및 상기 제2 추정에 대한 초기값 BaseR이 모두 음 또는 양이 아닌 수가 되도록 상기 BaseD 및 상기 BaseR을 설정하는 단계; 상기 참조 블록의 부근으로부터의 위치 (i, j) 내의 참조 블록의 픽셀의 밝기 강도 및 인덱스 k=0, …, N-1에 따른 픽셀의 밝기 강도에 따라 가중 계수 Wk(i,j), k=0, …, N-1을 계산하는 단계; 픽셀 위치 (i, j) 및 인덱스 k=0, …, N-1에 따라 가중 계수의 제2 집합 Lk(i,j), k=0, …, N-1를 계산하는 단계; 상기 제1 추정을
Figure pat00007
에 따라 계산하는 단계; 및 상기 제2 추정을
Figure pat00008
에 따라 계산하는 단계를 더 포함할 수 있다.
음이 아닌 정수로 표현되는 각 위치 (i, j)에 대한 상기 조도 변화를 정정하기 위한 정정 파라미터
Figure pat00009
는, 각 픽셀값과 조도 변화를 정정하기 위한 정정 파라미터의 최소곱 및 비트 변이와 프리셋 음이 아닌 정수의 최소곱을 이용하여 상기 참조 블록의 각 픽셀값의 정정을 계산할 수 있다.
상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계는, 상기 참조 블록의 픽셀의 각 위치 (i, j)에 대한 가중 계수 Wk(i,j), k=0, …, N-1 을 계산하는 단계 - 상기 가중 계수 Wk(i,j)은, 절대차의 감소/증가에 따라 반비례하여 증가/감소하는 Wk(i,j)을 제공하는 절대차
Figure pat00010
로부터의 증가하지 않는 함수임 -일 수 있다.
상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계는, 상기 참조 블록 내의 각 픽셀 위치 (i, j)에 대한 가중 계수 Wk(i,j), k=0, …, N-1를 계산하는 단계 - 상기 가중 계수 Wk(i,j)은, 절대차의 감소/증가에 따라 반비례하여 감소/증가하는 Wk(i,j)을 제공하는 절대차
Figure pat00011
로부터의 증가하지 않는 함수임 -; 및 상기 가중 계수의 제2 집합 Lk(i,j)이 픽셀 ∥Ri,j, TRk∥: Lk(i,j)=f(∥Ri,j, TRk∥) 간 거리의 비증가 함수 f와 동일하도록 상기 참조 블록 내의 각 픽셀 위치 (i, j)에 대한 제1 추정 estDi,j 및 제2 추정 estRi,j에 대한 가중 계수의 제2 집합 Lk(i,j), k=0, …, N-1을 계산하는 단계 - 상기 비증가함수는, 정정된 픽셀 Ri,j로부터의 접근하거나 멀어지는 픽셀 TRk(k=0, …, N-1)에 따라 반비례하는 증감/감소하는 값 Lk(i,j)을 제공함 -를 포함할 수 있다.
상기 가중 계수 Wk(i,j), k=0, …, N-1을 계산하기 전에, 상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계는, 픽셀
Figure pat00012
의 제1 신뢰도 조건(first condition of reliability of pixel)을 확인하는 단계 - 상기 Thr1는, 제1 미리 결정된 임계값임 -; 픽셀
Figure pat00013
의 제1 신뢰도 조건을 확인하는 단계 - 상기 Thr2는, 제2 미리 결정된 임계값임 -; 및 TRk(k=0, …, N-1) 및 TDk(k=0, …, N-1)와 같은 픽셀을 추가적 계산에서 배제하는 단계 - 상기 TRk(k=0, …, N-1) 및 상기 TDk(k=0, …, N-1)와 같은 픽셀은, 적어도 하나의 2개의 제공된 신뢰도 조건을 만족하지 않는 상기 계산에 대해 비신뢰적인 것으로 추정됨 -;를 포함할 수 있다.
상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계는, 모든 위치 k=0, …, N-1의 상기 참조 블록 내의 각 픽셀 위치 (i, j)에 대해 상기 제1 추정 estDi,j 및 상기 제2 추정 estRi,j이 1과 동일하도록 가중 계수 Wk(i,j), k=0, …, N-1의 값을 설정하는 단계 - 상기 픽셀
Figure pat00014
및
Figure pat00015
는, 신뢰적인 것으로 추정됨 -를 포함할 수 있다.
상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계는, 가중 계수 Wk(i,j)가
Figure pat00016
와 동일할 수 있도록 상기 가중 계수 Wk(i,j), k=0, …, N-1을 계산하는 단계 - 상기 C1, C2 및 C3는, Ak(i,j) 값으로부터 가중 계수의 비선형 의존성을 설정하는 파라미터이고, 상기 Ak(i,j)은
Figure pat00017
임 -;를 포함할 수 있다.
상기 가중 계수 Wk(i,j)는,
Figure pat00018
로 계산되고, 상기
Figure pat00019
,
Figure pat00020
및
Figure pat00021
는, 거리
Figure pat00022
,
Figure pat00023
에 함수적으로 의존하는 파라미터일 수 있다.
상기 인코딩된 현재 블록의 인접 부근의 위치 및 상기 참조 블록의 인접 부근의 위치는, 초기에 설정된 위치 대신 적응적으로 검출될 수 있다.
상기 현재 블록의 프리셋 인접 부근 내에 위치하는 픽셀의 일부 및 상기 참조 블록의 프리셋 인접 부근 내에 위치하는 픽셀의 일부를 이용하여 적어도 하나의 수치적 추정 estDi,j 및 estRi,j을 이용하고,- 상기 참조 블록의 프리셋 인접 부근 내에 위치하는 픽셀의 일부는, 상기 현재 블록의 프리셋 인접 부근 내에 위치하는 픽셀의 일부에 대응함 -는, 상기 픽셀들의 예비적인 리샘플링 다운을 수행할 수 있다.
상기 인코딩된 현재 블록에 인접한 비신뢰적인 픽셀 및 상기 참조 블록에 인접한 비신뢰적인 픽셀을 배제하는 단계는, 모든 이미 복원된 픽셀 TRk(k=0, …, N-1) 및 모든 이미 복원된 픽셀 TDk(k=0, …, N-1)을 이용하여 픽셀 k의 수 값에 의해 모호하지 않게 설정된 쌍
Figure pat00024
을 구성하는 단계; 상기 구성된 쌍을
Figure pat00025
∈{G0∩ G1∩… ∩GM-1} 와 같은 M개의 중복되지 않는 그룹 G0…GM-1로 그룹핑하는 단계 - 상기 그룹 Gi에 속하는 픽셀 쌍은,
Figure pat00026
로 지정됨 -; 각 그룹 Gi의 모든 픽셀
Figure pat00027
의 평균값 및 모든 픽셀
Figure pat00028
의 평균값의 차이를 제외한
Figure pat00029
및
Figure pat00030
픽셀 차이의 등록을 기초로 각 그룹 Gi마다 메트릭스를 계산하는 단계; 상기 각 그룹 Gi의 모든 픽셀
Figure pat00031
의 평균값 및 모든 픽셀
Figure pat00032
의 평균값의 차이를 기초로 각 그룹 Gi마다 메트릭스를 계산하는 단계; 상기 각 그룹 Gi의 모든 픽셀
Figure pat00033
의 평균값 및 모든 픽셀
Figure pat00034
의 평균값의 차이를 제외한
Figure pat00035
및
Figure pat00036
픽셀 차이의 등록을 기초로 하는 그룹 G0…GM-1에 대해서 MR_Norm으로 지정된 공통 메트릭스를 계산하는 단계; 각 그룹 Gi의 모든 픽셀
Figure pat00037
의 평균값 및 모든 픽셀
Figure pat00038
의 평균값의 차이의 등록에 기초로 하는 그룹 G0…GM-1에 대해서 M_Norm로 지정된 공통 메트릭스를 계산하는 단계; 및 프리셋 임계값를 이용하여 상기 계산된 메트릭스 MR_Norm 및 M_Norm의 값을 비교하는 단계를 포함하고, 만약 상기 MR_Norm이 제1 설정 임계값보다 크거나 상기 M_Norm이 제2 설정 임계값보다 작은 경우, 상기 참조 블록의 인접 부근으로부터의 모든 픽셀 및 상기 인코딩된 현재 블록의 인접 부근으로부터의 모든 픽셀은, 비신뢰적인 것으로 고려될 수 있다.
상기 각 그룹 Gi의 모든 픽셀 TRki의 평균값 및 모든 픽셀 TDki의 평균값의 차이를 제외한 TRki 및 TDki 픽셀 차이의 등록을 기초로 각 그룹 Gi에 대해서 메트릭스 MR_Norm(Gi)를 계산하는 단계는, 하기 수학식 1에 따라서 상기 메트릭스 MR_Norm(Gi)를 계산하고,
[수학식 1]
Figure pat00039
여기서, 차수 P1는 실험적으로 결정되고, 상기 각 그룹 Gi의 모든 픽셀 TRki의 평균값 및 모든 픽셀 TDki의 평균값의 차이를 기초로 각 그룹 Gi에 대해서 메트릭스 M_Norm(Gi)를 계산하는 단계는, 하기 수학식 2에 따라서 상기 메트릭스 MR_Norm(Gi)를 계산하고,
[수학식 2]
Figure pat00040
여기서, 차수 P2는 실험적으로 결정되고, 각 그룹 Gi의 모든 픽셀 TRki의 평균값 및 모든 픽셀 TDki의 평균값의 차이를 제외하고, 각 그룹에 의한 TRki 및 TDki 픽셀 차이의 등록을 기초로 하는 그룹 G0…GM-1에 대해서 MR_Norm로 지정된 공통 메트릭스를 계산하는 단계는, 하기 수학식 3에 따라서 상기 MR_Norm로 지정된 공통 메트릭스를 계산하고,
[수학식 3]
Figure pat00041
각 그룹 Gi의 모든 픽셀 TRki의 평균값 및 모든 픽셀 TDki의 평균값의 차이(distinctions)의 등록을 기초로 하는 그룹 G0…GM-1에 대해서 M_Norm로 지정된 공통 메트릭스를 계산하는 단계는, 하기 수학식 4에 따라서 상기 M_Norm로 지정된 공통 메트릭스를 계산할 수 있다.
[수학식 4]
Figure pat00042
상기 비신뢰적인 픽셀 TRk은, 상기 인코딩된 현재 블록의 특정된 인접 부근으로부터의 복원된 픽셀 TDk 및 상기 참조 블록의 특정된 인접 부근으로부터 배제되고, 조건 TRk> LRi 및 TRk< LRi+1을 만족하는 모든 픽셀 TRk에 대해서, 참조 프레임 및 인코딩된 프레임 내의 공간적 위치 및 시리얼 숫자 k = 0…N-1에 기인하여 픽셀 TRk에 대응되는 픽셀 TDk를 B(LRi,LRi+1)로 지정된 그룹으로 구성하고,
Figure pat00043
여기서, 값 LRi, LRi+1은, 그룹 B(LRi,LRi+1)을 설정하는 밴드 제한(band limits)을 결정하고 조건 LRi >-1; LRi+1> Ri를 만족하고, 그룹 B(LRi,LRi+1)의 수 NB는, 값의 인덱싱(indexing of values) (LRi, LRi+1): -1 < LR0 < LR0< LR0….. < LRNB에 이용되는 인덱스 i의 가능한 가장 큰 값을 설정하고, 하기의 수학식 5의 값은 값 (LRi,LRi+1)에 의해 설정된 각 그룹 B(LRi,LRi+1)에 대해서 계산되고,
[수학식 5]
Figure pat00044
여기서, Thr5은, 프레임 프로세싱 동안의 프리셋 적응적 임계값 또는 검출된 적응적 임계값이고, 다음의 세가지 조건의 정확성은 그룹 B(LRi,LRi+1)의 각 픽셀
Figure pat00045
에 대해 확인되고,
- 조건 1
|C_Plus(LRi,LRi+1) - C_Minus(LRi,LRi+1)| < Thr6;
- 조건 2
C_Plus(LRi,LRi+1) - C_Minus(LRi,LRi+1) >= Thr6 AND TRK ≥ TDK + Thr5;
- 조건 3
C_Plus(LRi,LRi+1) - C_Minus(LRi,LRi+1) <= -Thr6 AND TRK ≤ TDK - Thr5
여기서, 상기 고려된 픽셀
Figure pat00046
은, 상기 확인된 조건 1 내지 3 중 적어도 하나가 그룹 B(LRi,LRi+1)의 다음에 고려될 픽셀
Figure pat00047
에 대해 참인 경우, 신뢰적인 것으로 고려될 수 있다.
조건 TRk> LRi 및 TRk< LRi+1을 만족하는 모든 픽셀 TRk에 대해서, 참조 프레임 및 인코딩된 프레임 내의 공간적 위치 및 시리얼 숫자 k = 0…N-1에 기인하여 픽셀 TRk에 대응되는 픽셀 TDk를 B(LRi,LRi+1)로 지정된 그룹으로 구성하고,
Figure pat00048
여기서, 값 LRi, LRi+1은, 그룹 B(LRi,LRi+1)을 설정하는 밴드 제한을 결정하고 조건 LRi >-1; LRi+1> Ri를 만족하고, 그룹 B(LRi,LRi+1)의 수 NB는, 값의 인덱싱 (LRi, LRi+1): -1 < LR0 < LR0< LR0….. < LRNB에 이용되는 인덱스 i의 가능한 가장 큰 값을 설정하고, 그룹 B(LRi,LRi+1)에 속하는 모든 픽셀 TDk에 대해 하기의 값들을 계산하고, 그룹 B(LRi,LRi+1)에 의한 평균값 Mean(B(LRi,LRi+1))
Figure pat00049
여기서, |B(LRi,LRi+1)|은 그룹 B(LRi,LRi+1) 내의 지정된 픽셀 수이고, 그룹 B(LRi,LRi+1) 내의 픽셀값의 평균 편차 Dev(B(LRi,LRi+1))
Figure pat00050
만약 그룹 B(LRi,LRi+1)의 다음에 고려될 픽셀
Figure pat00051
에 대하여, 차이 모듈러스(difference modulus)의 값과 그룹 B(LRi,LRj)에 의한 평균값 간의 차이 모듈러스(difference modulus)가 상기 Dev(B(LRi,LRi+1))보다 큰 경우, 여기서 고려된 픽셀
Figure pat00052
은 비신뢰적인 것으로 고려- 여기서, Dev(B(LRi,LRi+1))은, 영보다 큰 값으로 곱해지고, 그룹 B(LRi,LRi+1)에 의한 공동으로 인정되는 분산을 설정함 -될 수 있다.
그룹 B(LRi,LRi+1) 내의 픽셀값의 평균 편차 Dev(B(LRi,LRi+1))는, 하기의 수학식 6으로 계산될 수 있다.
[수학식 6]
Figure pat00053
상기 프리셋 수치적 기준 및 이미 계산된 두 개의 추정 estDi,j 및 estRi,j을 기초로 상기 참조 블록의 각 픽셀값의 가능한 변화를 추정하는 단계 - 상기 변화는, 계산된 수치적 기준값에 따라 필수적 또는 비필수적으로 결정됨 -를 더 포함할 수 있다.
상기 정정 파라미터는, 상기 제1 estDi,j 및 상기 제2 estRi,j이
Figure pat00054
에서의 등식(equality)을 만족하는 경우, 비필수적인 것으로 추정- 상기 Qbits1 및
Figure pat00055
은, 음이 아닌 정수임 -될 수 있다.
상기 정정 파라미터는, 상기 제1 estDi,j 및 상기 제2 estRi,j이
Figure pat00056
에서의 등식을 만족하는 경우, 비필수적인 것으로 추정- 상기 Qbits2 및
Figure pat00057
은, 음이 아닌 정수임 -될 수 있다.
상기 정정 파라미터는, 상기 제1 estDi,j 및 상기 제2 estRi,j이
Figure pat00058
에서의 부등식(inequality)을 만족하는 경우, 비필수적인 것으로 추정- 상기
Figure pat00059
및
Figure pat00060
은, 프리셋 음이 아닌 숫자임 -될 수 있다.
일실시예에 따른 로컬 조도 불일치의 적응적 보상 방법은 다시점 비디오 시퀀스의 인코딩 및 디코딩 동안 프리임간 인터 예측에서의 로컬 조도 불일치의 적응적 보상 방법 - 상기 적응적 보상 방법은, 컴퓨터 시스템에 의해 수행됨 -에 있어서, 인코딩된 프레임에 속하는 인코딩된 현재 블록의 픽셀값 및 참조 프레임에 속하는 참조 블록의 픽셀값을 획득하는 단계; 인코딩된 후 디코딩되어 복원된 픽셀값을 획득하는 단계 - 상기 인코딩된 후 디코딩되어 복원된 픽셀값은, 상기 인코딩된 프레임의 상기 현재 블록의 부근으로부터의 픽셀값 및 상기 참조 프레임의 상기 참조 블록의 부근으로부터의 픽셀값임 -; 적어도 하나의 프리셋 기준에 의해 조도 변화를 정정하기 위한 정정 파라미터의 계산에 대해 비신뢰적인 것으로 추정되고, 상기 인코딩된 프레임의 상기 현재 블록의 부근 및 상기 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀을 고려에서 배제하는 단계; 초기값을 고려하고, 신뢰적인 픽셀만을 이용하여 상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계; 및상기 참조 블록의 픽셀값의 변화를 추정하는 단계를 포함하고, 만약 변화가 필수적인 것으로 추정되는 경우, 상기 참조 블록의 픽셀값의 정정은 상기 계산된 정정 파라미터를 이용하여 수행될 수 있다.
상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계는, 상기 인코딩된 현재 프레임의 부근으로부터의 복원된 픽셀값 TDk 및 상기 참조 블록의 부근으로부터의 픽셀값 TRk에 기초하여 적어도 하나의 제1 추정 estD 및 제2 추정 estR을 계산하는 단계; 및 적어도 하나의 상기 제1 추정 estD 및 상기 제2 추정 estR을 기초로 상기 참조 블록의 모든 픽셀의 조도 변화를 정정하기 위한 정정 파라미터를 결정하는 단계를 포함할 수 있다.
상기 제1 추정 및 상기 제2 추정을 계산하는 단계는, 상기 제1 추정에 대한 초기값 BaseD 및 상기 제2 추정에 대한 초기값 BaseR이 모두 음 또는 양이 아닌 정수가 되도록 상기 BaseD 및 상기 BaseR을 설정하는 단계; 상기 제1 추정을
Figure pat00061
에 따라 계산하는 단계 - 여기서, TDk, k=0, …, N-1은, 상기 인코딩된 현재 블록의 특정된 인접 부근으로부터의 복원된 픽셀값이고, N은 상기 인코딩된 현재 블록의 프리셋 인접 부근 내의 픽셀 수임 -; 상기 제2 추정을
Figure pat00062
에 따라 계산하는 단계 - 여기서, TRk, k=0, …, N-1은, 상기 참조 블록의 특정된 인접 부근으로부터의 픽셀값임 -; 및 상기 조도 변화를 정정하기 위한 정정 파라미터는, 만약 상기 BaseR이 영 값과 동일하면서 상기 제2 추정 estR 이 영이 아니고, 또는 상기 BaseR이 영 값과 동일하지 않은 경우,
Figure pat00063
비율에 따라 결정되고, 상기 정정 파라미터
Figure pat00064
는, 만약 상기 BaseR이 영 값과 동일하고 상기 제2 추정 estR이 영인 경우, 1로 설정되고, 상기 정정 파라미터
Figure pat00065
가 1이 아닌 경우, 특정된 조도 변화를 정정하기 위한 정정 파라미터
Figure pat00066
에 대한 참조 블록의 각 픽셀값 Ri,j의 곱으로 상기 참조 블록의 조도 정정을 수행하는 단계를 포함할 수 있다.
상기 인코딩된 현재 블록의 부근을 인접하는 것으로 결정하여, 인코딩된 블록에 상기 인코딩된 현재 블록이 인접하고, 상기 인코딩된 현재 블록의 일부 픽셀이 이미 복원되는 단계;(determine a vicinity of the current encoded block as adjacent so that it directly adjoins to the encoded block, and the pixels, which are part of it, are already restored;) 상기 참조 블록의 부근을 인접한 것으로 결정하여 상기 참조 블록, 이미 복원된 상기 참조 블록의 일부 픽셀, 상기 인코딩된 현재 블록의 집합 부근 내의 픽셀의 총 개수과 일치하는 픽셀 총 개수, 상기 참조 블록의 부근 픽셀과 상기 인코딩된 현재 블록의 부근 픽셀 사이에 인스톨된 일대일 관련성(one-to-one correspondence)을 둘러싸는 단계;(determine a vicinity of the reference block as adjacent so it directly surrounds the reference block, the pixels, which are part of it, are already restored, the total number of pixels coincides with total number of pixels in the set vicinity of the current encoded block, and one-to-one correspondence is installed between pixels of a vicinity of the reference block and pixels of a vicinity of the current encoded block)
Figure pat00067
를 더 포함할 수 있다.
상기 인코딩된 현재 블록의 부근의 위치 및 상기 참조 블록의 부근의 위치는,인코딩된 프레임 및 참조 프레임 내의 적합한 블록(appropriate blocks)에 관한 부근 집합의 인접 할당(adjacent allocations) 대신 적응적으로 검출될 수 있다.
상기 프리셋 수치적 기준 및 이미 계산된 두 개의 추정 estD 및 estR 중 적어도 하나를 기초로 상기 참조 블록의 픽셀값의 가능한 변화를 추정하는 단계 - 상기 변화는, 상기 계산된 수치적 기준값에 따라 필수적 또는 비필수적으로 정의됨 -를 포함할 수 있다.
상기 정정 파라미터는, 상기 제1 estD 및 상기 제2 estR이
Figure pat00068
에서의 등식을 만족하는 경우, 비필수적인 것으로 추정- Qbits1 및
Figure pat00069
은, 음이 아닌 정수임 -될 수 있다.
상기 정정 파라미터는, 상기 제1 estD 및 상기 제2 estR이
Figure pat00070
에서의 등식을 만족하는 경우, 비필수적인 것으로 추정 - Qbits2 및
Figure pat00071
은, 음이 아닌 정수임 -될 수 있다.
상기 정정 파라미터는, 상기 제1 estD 및 상기 제2 estR이
Figure pat00072
에서의 부등식을 만족하는 경우, 비필수적인 것으로 추정 -
Figure pat00073
및
Figure pat00074
은, 음이 아닌 정수임 -될 수 있다.
상기 조도 변화를 정정하기 위한 정정 파라미터
Figure pat00075
는, 각 픽셀값의 정정이 음이 아닌 정수의 각 픽셀값의 최소 곱으로 계산될 수 있도록 단순화하기 위해 음이 아닌 정수로 나타 - 상기 음이 아닌 정수는, 상기 참조 블록의 모든 픽셀 및 다른 프리셋 음이 아닌 정수로의 비트 변이(bit displacement)의 관점(view for)에서의 조도 변화를 정정하기 위한 정정 파라미터를 나타냄 -낼 수 있다.
부등식
Figure pat00076
이 k=0, …, N-1에 대해 충족되지 않은 경우, 픽셀 TDk 및 TRk을 비신뢰적인 것으로 추정하는 단계 - 상기 값 Thr1은, 프리셋 수치적 임계값임 -; 및 비신뢰적인 것으로 추정된 픽셀 TDk 및 TRk을 추가적 계산으로부터 배제하는 단계를 더 포함할 수 있다.
상기 리샘플링 다운은, 상기 현재 블록 및 참조 블록의 부근으로부터의 복원된 픽셀값을 획득함에 있어서 상기 프리셋 템플릿을 통해 수행될 수 있다.
일실시예에 따른 다시점 비디오 시퀀스 인코딩 방법은 프레임간 인터 예측에서의 로컬 조도 불일치의 적응적 보상을 기초하는 다시점 비디오 시퀀스 인코딩 방법에 있어서 - 인코딩된 프레임은 중복되지 않는 픽셀 영역의 집합으로 나타나고, 현재 코딩 유닛에 나타나고, 상기 다시점 비디오 시퀀스 인코딩 방법은 컴퓨터 시스템에 의해 수행됨 -, 상기 현재 코딩 유닛에 속하는 인코딩된 현재 블록을 선택하는 단계; 상기 인코딩된 현재 블록에 대해 블록 예측의 생성에 이용되는 적어도 하나의 참조 블록을 결정하는 단계 - 픽셀은, 완전히 이미 인코딩되고 디코딩됨 -; 상기 참조 블록의 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계; 특정된 상기 조도 변화를 정정하기 위한 정정 파라미터를 기초로 상기 참조 블록의 모든 픽셀값을 조정하는 조도 정정을 수행하는 단계; 상기 정정된 참조 블록을 이용하여 상기 인코딩된 현재 블록의 블록 예측을 생성하는 단계; 및 상기 생성된 블록 예측을 통해 현재 블록을 디코딩하는 단계를 포함하고, 상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계 및 상기 조도 정정을 수행하는 단계는, 인코딩된 후 디코딩되어 복원된 픽셀값을 획득하는 단계 - 상기 인코딩된 후 디코딩되어 복원된 픽셀값은, 상기 인코딩된 프레임의 상기 현재 블록의 부근으로부터의 값 및 상기 참조 프레임의 상기 참조 블록의 부근으로부터의 픽셀값임 -; 적어도 하나의 프리셋 기준에 의한 상기 조도 변화를 정정하기 위한 정정 파라미터의 계산에 대해 비신뢰적인 것으로 추정되고, 상기 인코딩된 프레임의 상기 현재 블록의 부근 및 상기 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀을 고려에서 배제하는 단계; 초기값을 고려하고 신뢰적인 픽셀만을 이용하여 상기 조도 변화를 정정하기 위한 정정 파라미터 값을 계산하는 단계; 및 상기 참조 블록의 픽셀값의 변화를 추정하는 단계를 포함하고, 만약 변화가 필수적인 것으로 추정되는 경우, 상기 참조 블록의 픽셀값의 정정은 상기 계산된 정정 파라미터를 이용하여 수행될 수 있다.
상기 현재 코딩 유닛에 속하는 상기 인코딩된 현재 블록을 선택하는 단계는, 상기 인코딩된 현재 블록의 사이즈, 상대적 할당 및 상기 인코딩된 현재 블록과 상기 참조 블록의 부근의 사이즈를 결정하고, 상기 인코딩된 현재 블록의 픽셀은, 상기 현재 코딩 유닛의 디코딩 파라미터를 기초로 정정 파라미터의 계산에 이용될 수 있다.
상기 인코딩된 현재 블록의 사이즈, 상대적 할당 및 상기 인코딩된 현재 블록과 상기 참조 블록의 부근의 사이즈는, 적용된 비상관 변환(applied decorrelated conversion)의 타입에 기인하여 결정되고, 상기 참조 블록의 픽셀은, 상기 현재 코딩 유닛의 디코딩 파라미터를 기초로 정정 파라미터의 계산에 이용될 수 있다.
상기 인코딩된 현재 블록의 사이즈는, 별개의 모션 벡터(separate motion vectors)를 가지는 서브블록 내로 현재 코딩 유닛의 프리셋 분할(preset division)을 기초로 결정될 수 있다.
상기 인코딩된 현재 블록의 사이즈는, 상기 현재 코딩 유닛에 속하는 서브블록의 사이즈보다 작고, 별개의 모션 벡터를 가질 수 있다.
상기 인코딩된 현재 블록의 사이즈는, 명백히 결정되고, 현재 코딩 유닛에 속하는 상기 인코딩된 현재 블록의 선택에서의 스트림 내에 인코딩될 수 있다.
하나의 참조 프레임만이 모든 참조 프레임 중에서 선택되고, 상기 인코딩된 현재 블록에 대한 블록 예측의 생성에 이용되고, 상기 참조 블록의 검출에서의 미리 결정된 규칙에 의해 상기 참조 블록의 탐색에 이용 - 상기 선택된 참조 프레임에 대한 정보는, 인코딩되지 않음 -될 수 있다.
상기 하나의 참조 프레임의 선택에서의 상기 합성된 프레임은, 인코딩된 프레임으로 같은 타임 태그의 현재 단축(current foreshortening)에 대해 선택될 수 있다.
상기 하나의 참조 프레임의 선택에서의 상기 참조 프레임은, 인접 단축(adjacent foreshortenings) 중 하나에 속하고, 인코딩된 프레임으로 같은 타임 태그를 가지도록 선택 될 수 있다.
상기 인코딩된 현재 블록에 대해 상기 블록 예측의 생성에 이용되는 상기 참조 블록을 검출하는 단계는, 상기 인코딩된 현재 블록 및 상기 참조 블록-후보의 조도의 평균 레벨에서의 불일치를 추가적으로 고려하는 유사도 함수에 기초하여 모션 벡터를 검출할 수 있다.
상기 모션 벡터 검출에서의 상기 유사도 함수는, 상기 인코딩된 현재 블록 및 상기 참조 블록을 서브블록으로 분할하고 - 상기 서브블록의 사이즈는, 상기 인코딩된 현재 블록 및 상기 참조 블록의 사이즈를 초과하지 않음 -, 상기 인코딩된 현재 블록 및 상기 참조 블록의 각 서브블록에 대해 조도의 평균 레벨을 계산하고, 상기 인코딩된 현재 블록 및 상기 참조 블록의 각 서브블록을 조정하고, 이러한 조정을 위해 각 서브블록의 픽셀에서 대응되는 조도의 평균 레벨을 감산하고, 상기 정정된 참조 블록 및 정정된 인코딩된 현재 블록의 절대차의 합을 계산하고, 상기 참조 블록 및 상기 인코딩된 현재 블록의 모든 서브블록의 평균 레벨에 대한 절대차의 합을 계산하고, 제1 음이 아닌 숫자의 곱, 상기 정정된 블록의 절대차의 합, 제2 음이 아닌 숫자의 곱 및 상기 서브블록의 평균 레벨의 절대차의 합으로 유사도 메트릭스를 계산함으로써, 계산 될 수 있다.
상기 참조 블록은, 변이 벡터를 통해 검출되고, 상기 변이 벡터 및 상기 변이 벡터의 예측 간의 가능한 가장 큰 거리는, 상기 변이 벡터의 수평 컴포넌트 및 상기 변이 벡터의 예측의 차로 제한되고, 수평 투영(horizontal projection)이라 하며, 상기 변이 벡터의 수직 컴포넌트 및 상기 변이 벡터의 예측의 차이는, 변이의 수직 투영(vertical projection)이라 하고, 다양한 제한을 가질 수 있다.
상기 수직 투영의 제한은, 상기 수평 투영 및 상기 수직 투영에 대한 제한의 결정에서의 수평 투영에 대한 제한을 초과하지 않을 수 있다.
상기 생성된 블록 예측을 통한 상기 현재 블록의 인코딩에 있어서, 상기 인코딩된 현재 블록이 속하는 상기 현재 코딩 유닛에 대한 추가적 구문 요소(additional syntactic element)는, 인코딩되고, 상기 구문 요소 값은, 상기 현재 코딩 유닛의 참조 블록의 픽셀값의 변화가 필수적인지 또는 비필수적인지 결정할 수 있다.
상기 생성된 블록 예측을 통해 상기 현재 블록의 인코딩에서, 상기 현재 코딩 유닛의 각 서브블록에 대한 하나의 추가적 구문 요소는, 인코딩되고 - 상기 하나의 추가적 구문 요소는, 주어진 현재 코딩 유닛 내의 참조 프레임의 고유 인덱스(unique index)를 가짐 -, 상기 구문 요소의 값은, 상기 참조 블록의 픽셀값의 변화가 필수적인지 또는 비필수적인지 결정할 수 있다.
상기 인코딩된 블록에 속하는 현재 코딩 유닛에 대해서 생성된 블록 예측을 통한 상기 현재 블록의 인코딩에 있어서, 추가적 구문 요소는, 인코딩되고, 상기 추가적 구문 요소값은, 수행된 상기 참조 블록의 픽셀값을 정정하는 방법, 조도 변화를 정정하는 정정 파라미터를 계산하는 방법 및 상기 참조 블록의 픽셀값을 정정하는 방법에 적응된 모션 벡터의 예측이 사용되는 상기 참조 블록의 검출에 있어서의 인코딩된 추가적 구문 요소값 및 수행되지 않은 조도 변화를 정정하는 정정 파라미터를 계산하는 방법 및 상기 참조 블록의 픽셀값을 정정하는 방법에 적응된 모션 벡터의 일반적인 예측이 사용되는 상기 참조 블록의 검출에 있어서의 인코딩된 추가적 구문 요소값을 포함할 수 있다.(wherein at encoding of the current block by means of the generated block-prediction for unit of coding, to which the encoded block belongs, the additional syntactic element is encoded, which value can accept at least two values; at one value of the encoded additional syntactic element at detection of the reference block the prediction of motion vector is used, adapted for a method of correction of values of pixels of the reference block and computation of parameters of correction of illumination and correction of values of pixels of the reference block are performed; at other value of the encoded additional syntactic element at detection of the reference block the standard prediction of motion vector is used and computation of parameters of correction of illumination and correction of values of pixels of the reference block are not performed)
상기 참조 블록의 픽셀값을 정정하는 방법에 조절된 상기 모션 벡터의 예측은, 인접 시점(adjacent view)의 참조 프레임에서만 수행될 수 있다.
상기 모션 벡터의 예측은, 기 인코딩된 깊이맵의 활용과 함께 전에 발견된 인접 시점의 참조 프레임을 가리키는 모션 벡터를 이용하여 수행 될 수 있다.
상기 계산된 조도 변화를 정정하기 위한 정정 파라미터는, 상기 현재 블록의 인코딩에 있어서, 인코딩되지 않을 수 있다.
조도 변화의 추가적 정정 파라미터는, 상기 참조 블록의 픽셀값 및 상기 인코딩된 현재 블록의 픽셀값을 기초로 계산되고, 상기 참조 블록의 픽셀값의 정정에 이용되고, 상기 현재 블록의 인코딩에 있어서, 상기 조도 변화의 추가적 정정 파라미터는, 상기 조도 변화를 정정하기 위한 정정 파라미터를 활용하여 인코딩되고, 상기 인코딩된 현재 블록의 부근으로부터의 복원된 픽셀값 및 상기 참조 블록의 부근으로부터의 복원된 픽셀값을 기초로 계산 될 수 있다.
일실시예에 따른 다시점 비디오 시퀀스 디코딩 방법은 프레임간 인터 예측에서의 로컬 조도 불일치의 적응적 보상을 기초하는 다시점 비디오 시퀀스 디코딩 방법에 있어서 - 디코딩된 프레임은 중복되지 않는 픽셀 영역의 집합으로 나타나고, 현재 코딩 유닛에 나타나고, 상기 다시점 비디오 시퀀스 디코딩 방법은 컴퓨터 시스템에 의해 수행됨 -, 상기 현재 코딩 유닛에 속하는 디코딩된 현재 블록을 선택하는 단계; 상기 디코딩된 현재 블록에 대한 상기 참조 블록을 결정하는 단계; 상기 결정된 참조 블록의 조도 변화의 정정 파라미터를 계산하는 단계; 상기 조도 변화를 정정하기 위한 정정 파라미터를 기초로 상기 참조 블록의 모든 픽셀값을 조정함으로써 조도 정정을 수행하는 단계; 상기 정정된 참조 블록을 이용하여 상기 디코딩된 현재 블록에 대한 블록 예측을 생성하는 단계; 및 상기 생성된 블록 예측을 통해 상기 현재 블록을 디코딩하는 단계를 포함하고, 상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계 및 상기 조도 정정을 수행하는 단계는, 인코딩된 후 디코딩되어 복원된 픽셀값을 획득하는 단계 - 상기 인코딩된 후 디코딩되어 복원된 픽셀값은, 상기 디코딩된 프레임의 상기 현재 블록의 부근으로부터의 픽셀값 및 상기 참조 프레임의 상기 참조 블록의 부근으로부터의 픽셀값임 -; 적어도 하나의 프리셋 기준에 의해 상기 조도 변화를 정정하기 위한 정정 파라미터의 계산에 대해 비신뢰적인 것으로 추정되고, 상기 디코딩된 현재 블록의 부근 및 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀을 고려에서 배제하는 단계; 초기값을 고려하고 발견된 수치적 비율을 기초로 조도 변화를 정정하기 위한 정정 파라미터의 값을 계산하는 단계; 및 만약 상기 참조 블록의 픽셀값의 변화가 필수적인 것으로 추정되는 경우, 상기 계산된 정정 파라미터를 이용하여 상기 참조 블록의 픽셀값의 정정을 수행하는 단계를 포함할 수 있다.
상기 현재 코딩 유닛에 속하는 상기 디코딩된 현재 블록을 선택하는 단계에서, 상기 디코딩된 현재 블록의 사이즈, 상대적 할당 및 상기 디코딩된 현재 블록과 상기 참조 블록의 부근의 사이즈는 결정되고, 픽셀은, 상기 현재 코딩 유닛의 디코딩 파라미터를 기초로 상기 정정 파라미터의 계산에 이용될 수 있다.
상기 디코딩된 현재 블록의 사이즈, 상대적 할당 및 상기 디코딩된 현재 블록과 상기 참조 블록의 부근의 사이즈는, 적용된 비상관 변환의 타입에 기인하여 결정되고, 상기 픽셀은, 상기 정정 파라미터의 계산에 이용 될 수 있다.
상기 디코딩된 현재 블록의 사이즈는, 별개의 모션 벡터를 가지는 서브블록 내로 현재 코딩 유닛의 프리셋 분할을 기초로 검출 될 수 있다.
상기 디코딩된 현재 블록의 사이즈는, 상기 현재 코딩 유닛에 속하는 서브블록의 사이즈보다 작고, 별개의 모션 벡터를 가질 수 있다.
상기 현재 코딩 유닛에 속하는 상기 디코딩된 현재 블록을 선택하는 단계에서, 상기 디코딩된 현재 블록의 사이즈는, 입력 비트 스트림으로부터의 디코딩된 정보를 기초로 결정 될 수 있다.
상기 참조 블록의 검출에서의 상기 미리 결정된 규칙에 의해 하나의 참조 프레임만이 모든 참조 프레임 중에서 선택되고, 상기 디코딩된 현재 블록에 대한 블록 예측의 생성에 이용 - 상기 선택된 참조 프레임에 대한 정보는, 입력 비트 스트림에 포함되지 않음 - 될 수 있다.
상기 참조 프레임을 선택하는 단계에서, 합성된 프레임은, 인코딩된 프레임으로 같은 타임 태그의 현재 단축에 대해 선택 될 수 있다.
상기 참조 프레임을 선택하는 단계에서, 상기 참조 프레임은, 인접 단축 중 하나에 속하고, 인코딩된 프레임으로 같은 타임 태그를 가지도록 선택 될 수 있다.
상기 생성된 블록 예측을 통해 상기 현재 블록을 디코딩하는 단계에서, 상기 디코딩된 현재 블록이 속하는 상기 현재 코딩 유닛에 대한 추가적 구문 요소는, 디코딩되고, 상기 구문 요소의 값은, 상기 현재 코딩 유닛의 참조 블록의 픽셀값의 변화가 필수적인지 또는 비필수적인지 정의할 수 있다.
상기 생성된 블록 예측을 통해 상기 현재 블록을 디코딩하는 단계에서, 상기 현재 코딩 유닛의 각 서브블록에 대한 하나의 추가적 구문 요소는, 디코딩되고 - 상기 하나의 추가적 구문 요소는, 주어진 현재 코딩 유닛 내의 참조 프레임의 고유 인덱스를 가짐 -, 상기 구문 요소의 값은, 상기 참조 블록의 픽셀값의 변화가 필수적인지 또는 비필수적인지 정의할 수 있다.
상기 현재 인코딩 블록이 속하는 상기 현재 코딩 유닛에 대한 생성된 블록 예측을 통해 상기 현재 블록을 디코딩하는 단계에서, 추가적 구문 요소는, 디코딩되고 - 추가적 구문 요소값은 최소로 두 개의 값을 수용함 -, 상기 추가적 구문 요소값은, 수행된 상기 참조 블록의 픽셀값을 정정하는 방법, 조도 변화를 정정하는 정정 파라미터를 계산하는 방법 및 상기 참조 블록의 픽셀값을 정정하는 방법에 적응된 모션 벡터의 예측이 사용되는 상기 참조 블록의 검출에 있어서의 디코딩된 추가적 구문 요소값 및 수행되지 않은 조도 변화를 정정하는 정정 파라미터를 게산하는 방법 및 상기 참조 블록의 픽셀값을 정정하는 방법에 적응된 모션 벡터의 일반적인 예측이 사용되는 상기 참조 블록의 검출에 있어서의 디코딩된 추가적 구문 요소값을 포함할 수 있다.(wherein at decoding of the current block by means of the generated block-prediction for unit of coding, to which the encoded block belongs, the additional syntactic element is decoded, which value can accept as minimum two values; at one of which at detection of the reference block the prediction of motion vector is used, adapted for a method of correction of values of pixels of the reference block and computation of parameters of correction of illumination and correction of values of pixels of the reference block are performed; at other value of the decoded additional syntactic element at detection of the reference block the standard prediction of motion vector is used and computation of parameters of correction of illumination and correction of values of pixels of the reference block are not performed)
상기 참조 블록의 픽셀값을 정정하는 방법에 조절된 상기 모션 벡터의 예측은, 인접 시점의 참조 프레임에서만 수행 될 수 있다.
상기 모션 벡터의 예측은, 기 인코딩된 깊이맵의 활용과 함께 전에 발견된 인접 시점의 참조 프레임을 가리키는 모션 벡터를 이용하여 수행 될 수 있다.
상기 현재 블록을 디코딩하는 단계에서, 상기 조도 변화를 정정하기 위한 정정 파라미터에 대한 정보는, 입력 비트 스트림 내에 포함되지 않을 수 있다.
상기 현재 블록을 디코딩하는 단계에서, 입력 비트 스트림 내에 위치하는 조도 변화의 추가적 정정 파라미터는 상기 조도 변화를 정정하기 위한 정정 파라미터의 활용과 함께 디코딩되고, 상기 인코딩된 현재 블록의 부근으로부터의 복원된 픽셀값 및 상기 참조 블록의 부근으로부터의 복원된 픽셀값을 기초로 계산 될 수 있다.
일실시예에 따른 다시점 비디오 시퀀스 디코딩 방법은 프레임간 인터 예측에서의 로컬 조도 불일치의 적응적 보상을 기초하는 다시점 비디오 시퀀스 디코딩 방법에 있어서 - 디코딩된 프레임은 중복되지 않는 픽셀 영역의 집합으로 나타나고, 현재 코딩 유닛에 의해 명명(name)되고, 상기 다시점 비디오 시퀀스 디코딩 방법은 컴퓨터 시스템에 의해 수행됨 -, 상기 현재 코딩 유닛에 속하는 디코딩된 현재 블록을 선택하는 단계; 상기 디코딩된 현재 블록에 대한 상기 참조 블록을 결정하는 단계; 상기 결정된 참조 블록의 조도 변화의 정정 파라미터를 계산하는 단계; 상기 계산된 조도 변화를 정정하기 위한 정정 파라미터를 기초로 상기 참조 블록의 모든 픽셀값을 조정함으로써 조도 정정을 수행하는 단계; 상기 정정된 참조 블록을 이용하여 상기 디코딩된 현재 블록에 대한 블록 예측을 생성하는 단계; 및 상기 생성된 블록 예측을 통해 상기 현재 블록을 디코딩하는 단계를 포함하고, 상기 조도 변화를 정정하기 위한 정정 파라미터를 결정하는 단계 및 상기 조도 정정을 수행하는 단계는, 인코딩된 후 디코딩되어 복원된 픽셀값을 획득하는 단계 - 상기 인코딩된 후 디코딩되어 복원된 픽셀값은, 상기 디코딩된 프레임의 상기 현재 블록의 부근으로부터의 픽셀값 및 상기 참조 프레임의 상기 참조 블록의 부근으로부터의 픽셀값임 -; 적어도 하나의 프리셋 기준에 의해 상기 조도 변화를 정정하기 위한 정정 파라미터의 계산에 대해 비신뢰적인 것으로 추정되고, 상기 디코딩된 현재 블록의 부근 및 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀을 고려에서 배제하는 단계; 상기 참조 블록의 픽셀 간의 수치적 비율을 결정하는 단계 - 상기 참조 블록의 픽셀은, 인코딩된 현재 블록 부근으로부터의 신뢰적인 픽셀 및 참조 블록 부근으로부터 신뢰적인 픽셀을 포함함 -; 초기값을 고려하여 발견된 수치적 비율을 기초로 상기 조도 변화를 정정하기 위한 정정 파라미터 값을 계산하는 단계; 및 만약 상기 참조 블록의 픽셀값의 변화가 필수적인 것으로 추정되는 경우, 상기 계산된 정정 파라미터를 이용하여 상기 참조 블록의 픽셀값의 정정을 수행하는 단계를 포함할 수 있다.
도 1은 일실시예에 따라 다시점 비디오 시퀀스의 하이브리드 비디오 인코더를 나타낸 블록도이다.
도 2는 일실시예에 따라 인코딩 과정의 일부인 예측 방법을 수행하는 하이브리드 비디오 인코더의 일부 구성 요소를 나타낸 블록도이다.
도 3은 일실시예에 따라 참조 블록의 조도 변화의 정정 계산에 활용되는 인코딩된 참조 프레임의 메인 요소를 나타낸다.
도 4는 일실시예에 따라 슈퍼 블록의 개념, 슈퍼 블록의 일부분인 다양한 사이즈의 블록들의 가능한 조합들 중 하나, 및 차동 데이터의 비상관에 사용되는 공간 변환의 두 가지 타입을 도시한 도면이다.
도 5는 일실시예에 따라 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 동안 현재 프레임 내에서 입력 데이터를 선택하는 과정 및 인접(proximity) 개념을 도시한 도면이다.
도 6은 일실시예에 따라 변수들 중 어느 하나에 따라 참조 블록에 대한 조도 변화를 정정하는 방법을 도시한 도면이다.
도 7은 일실시예에 따라 참조 블록에 대한 조도 변화를 픽셀 단위로 정정하는 방법을 도시한 도면이다.
도 8은 일실시예에 따라 참조 블록에 대한 조도 변화를 정정하는 과정을 설명하는 도면이다.
도 9는 일실시예에 따라 조도 변화의 정정에 기초하여 다시점 비디오 시퀀스를 인코딩하는 과정을 나타낸 도면이다.
도 10은 일실시예에 따라 조도 변화의 정정에 기초하여 다시점 비디오 시퀀스를 디코딩하는 과정을 나타낸 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따라 다시점 비디오 시퀀스의 하이브리드 비디오 인코더의 블록도이다. 다시점 비디오 시퀀스의 하이브리드 비디오 인코더(105)의 입력 데이터는 인코딩된 다시점 비디오 데이터의 일부인 초기 시점(initial view)(인코딩된 단축)(encoded foreshortening)(101) 및 이미 인코딩된 후 디코딩된 시점(already encoded and then decoded view)(단축)(foreshortenings)(102)를 포함할 수 있다. 디코딩된 시점(102) 및 깊이맵의 디코딩된 시퀀스(103)는 합성부(104)에서 초기 시점에 대한 합성 시점을 생성하기 위해 사용될 수 있다. 또한, 생성된 합성 시점은 하이브리드 비디오 인코더(105)에 입력될 수 있다.
하이브리드 비디오 인코더(105)는 초기 시점(단축)의 인코딩에 사용되는 기능부들을 포함할 수 있다. 이러한 기능부들은 참조 프레임들을 제어하는 프레임 제어부(106), 프레임들간 인터 예측하는 인터 예측부(107), 프레임 내에서 인트라 예측하는 인트라 예측부(108), 프레임간 보상 및 프레임 내 보상을 수행하는 보상부(109), 공간 변환을 수행하는 공간 변환부(110), 속도/왜곡 비율을 최적화하는 최적화부(111), 엔트로피 인코딩을 수행하는 엔트로피 인코딩부(112)을 포함할 수 있다. 상술된 기능적 블록에 대한 보다 상세한 설명은 Richardson I.E. The H.264 Advanced Video Compression Standard. Second Edition. 2010에 기재되어 있다. 일실시예에 따른 청구된 방법은 인터 예측부(107) 내에서 수행될 수 있다.
도 2는 일실시예에 따라 인코딩 과정의 일부인 예측 방법을 수행하는 하이브리드 비디오 인코더의 일부 구성 요소를 나타낸 블록도이다. 하이브리드 비디오 인코더는 감산부(201), 변환하고 양자화하는 변환 및 양자화부(202), 엔트로피 인코딩부(203), 역변환하고 역양자화하는 역변환 및 역양자화부(204), 변이를 보상하고, 조도 및 컨트라스트의 변화를 정정하는 보상부(205), 시점 합성부(단축)(206), 합산부(207), 참조 프레임들과 깊이맵을 저장하는 버퍼링부(208), 보상 및 정정을 위해 파라미터를 예측하는 파라미터 예측부(209), 변이와 조도 및 컨트라스트의 변화를 추정하는 추정부(210) 및 매크로블록의 인코딩 모드를 결정하는 모드 결정부(211)을 포함할 수 있다. 감산부(201), 변환하고 양자화하는 변환 및 양자화부(202), 엔트로피 인코딩부(203), 역변환하고 역양자화하는 역변환 및 역양자화부(204), 합산부(207), 참조 프레임들과 깊이맵을 저장하는 버퍼링부(208), 보상 및 정정을 위해 파라미터를 예측하는 파라미터 예측부(209) 및 매크로블록의 인코딩 모드를 결정하는 모드 결정부(211)는 기본적인 하이브리드 인코딩에서 사용되는 일반적인 구성 요소이다. 그리고, 시점 합성부(206)는 하이브리드 인코딩 시스템에서 특정되는 구성 요소이다. 왜냐하면, 디코딩된 프레임들과 깊이맵들로부터 합성을 통해 추가적인 프레임들을 생성하기 때문이다.
일실시예에 따른 청구된 방법은 보상부(205)와 추정부(210)에서 수행될 수 있다. 이들 구성 요소들은 이하에서 설명하는 예측 과정을 포함하는 블록 인코딩 방법을 수행할 수 있다.
하이브리드 비디오 인코더는 인코딩된 현재 프레임의 현재 블록에 대해 참조 블록을 탐색하는 과정을 포함할 수 있다. 구체적으로, 하이브리드 비디오 인코더는 변이 벡터 자체를 인코딩하기 위한 비트 비용(bit expense)과 인코딩된 현재 블록과 정정된 참조 블록 간의 공간값(spacing value) 간의 최적화를 함으로써 현재 블록에 대해 참조 블록을 탐색할 수 있다. 여기서, 변이 벡터는 복수의 (i, j) 쌍으로 설정될 수 있다. 이는, 하기 수학식 1로 표현될 수 있다.
Figure pat00077
위의 수학식 1에서,
Figure pat00078
은 현재 블록 내의 좌표 (m, n)인 픽셀의 조도 값을 나타낼 수 있다. 인코딩된 현재 블록의 사이즈는 H x W이다. (i, j)는 미리 결정된 탐색 영역 내의 참조 블록 R을 가리키는 변이 벡터를 의미한다.
Figure pat00079
은 현재 블록 및 참조 블록 간의 조도 및 대비의 가능한 불일치(mismatch)을 정정하는 함수일 수 있다. P는 0보다는 크고, 일반적으로 1 또는 2 중 어느 하나의 값을 가질 수 있다. 일실시예에 따른 청구된 방법은 예측부(210) 내에서 수행될 수 있다. 획득된 변이 벡터 DV와 조도 변화를 정정하기 위한 정정 파라미터들은 보상부(205) 및 파라미터 예측부(209)으로 전송될 수 있다. 실질적으로 구현할 때, 한번에 고려되는 여러 블록들을 포함하는 슈퍼 블록에 설정될 수 있는 기준을 최소화하는 경우, 변이 벡터는 서비스 정보를 한번에 보다 간략하게 표현하기 위해 고려되는 복수의 블록들에 대해 결정될 수 있다. 여기서, 기준은 하기 수학식 2로 표현될 수 있다.
Figure pat00080
위의 수학식 2에서, H1, W1은 슈퍼 블록의 세로 사이즈와 가로 사이즈를 의미일 수 있다.
보상부(205)는 조도 변화를 정정하기 위한 정정 파라미터를 결정하는 것에 대응하여 변환되는 참조 블록을 검색할 수 있다. 감산부(201)는 입력 프레임값에서 보상부값를 뺄 수 있다. 그런 후, 이러한 차이는 변환 및 양자화부(202)에서 DCT 변환되고, 양자화되며, 엔트로피 인코딩부(203)에서 인코딩될 수 있다. 추가 데이터인 SI는 다음의 디코딩 과정을 위해 필요하며, 이것도 엔트로피 인코더에 의해 인코딩될 수 있다.
도 3은 일실시예에 따라 참조 블록의 조도 변화의 정정 계산에 활용되는 인코딩된 참조 프레임의 메인 요소를 나타낸다. 도 3에 따르면, 변이 벡터 DV (320)가 인코딩된 현재 프레임의 현재 블록(311)에 대해 정의될 수 있다. 여기서, 인코딩된 슈퍼 블록(315)도 정의될 수 있으며, 현재 블록(311)은 인코딩된 슈퍼 블록(315)의 일부분이다. 또한, 변이 벡터(DV)(320)는 인코딩된 슈퍼 블록(315)에 대해서도 정의될 수 있다. 변이 벡터(320)는 인코딩된 현재 블록(311)에 대한 참조 프레임(300)으로부터 참조 블록(301)을 모호하지 않도록 정의할 수 있다. 또한, 변이 벡터는 인코딩된 슈퍼 블록(315)에 대응되는 참조 슈퍼 블록(305)을 모호하지 않도록 설정할 수 있다. 참조 프레임(300), 블록(301, 302, 303, 304, 305) 및 현재 프레임(310)에서 복원된 블록 (312, 313, 314)은 인코딩 과정 및 디코딩 과정에서 모두 활용 가능할 수 있다.
도 4는 일실시예에 따라 슈퍼 블록의 개념, 슈퍼 블록의 일부분인 다양한 사이즈의 블록들의 가능한 조합들 중 하나, 및 차동 데이터의 비상관에 사용되는 공간 변환의 두 가지 타입을 도시한 도면이다. 도 4를 참조하면, 인코딩된 프레임(400)은 내부에 하나 이상의 인코딩된 현재 블록 및 변이 벡터(407)를 포함하는 슈퍼 블록(401)을 내부에 포함할 수 있다. 이러한 변이 벡터(407)는 참조 프레임(406) 내의 참조 슈퍼 블록(405)을 모호하지 않게 정의하도록 하고, 변이 벡터(407)는 슈퍼 블록에 대해 설정될 수 있다. 이 경우, 슈퍼 블록(401)은 블록(402, 403, 404, 409)을 포함할 수 있다. 블록(402)뿐만 아니라 블록(404)은 블록(403, 409)에 적용된 변환보다 더 작은 사이즈의 변환을 이용하여 인코딩될 수 있다. 슈퍼 블록의 사이즈, 타입 및 변환 사이즈를 선택하는 것은 인코딩된 프레임의 주어진 영역(given site)에 대해 데이터의 인코딩 비용을 최소화하는 프리셋 기준(preset criteria of minimization)에 결정하는 인코더에 의해 정의될 수 있다. 도 4에 도시된 바와 같이, 블록(402, 403, 404, 409)은 슈퍼 블록(401)의 일부 구성요소이므로 서로 논리적으로 연결될 수 있다.
도 5는 일실시예에 따라 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 동안 현재 프레임 내에서 입력 데이터를 선택하는 과정 및 인접(proximity) 개념을 도시한 도면이다. 또한, 도 5는 현재 프레임(500)의 메인 영역에서의 상대적 포지셔닝(relative positioning)을 도시한다. 현재 프레임(500)의 영역(501)은 인코딩된 현재 블록(502)의 인코딩 및 디코딩하는 동안 활용 가능할 수 있다. 때때로, 영역(501)은 "템플릿(template)"으로 불릴 수 있다. 영역(503)은 인코딩된 현재 블록(502)을 디코딩하는 동안 활용 가능하지 않을 수 있다. 참조 블록의 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 것은 영역(501)에만 위치하는 현재 프레임의 픽셀에 기초할 수 있다. 인코더 및 디코더 내부에서 참조 블록의 조도 변화를 정정하는 경우, 조도 변화를 정정하기 위한 정정 파라미터가 출력 비트스트림을 통해 인코더에서 디코더로 전송할 필요가 없다. 영역(501)에 속하는 일부 픽셀들은 참조 블록의 조도 변화를 정정하기 위한 정정 파라미터를 계산할 때 이용될 수 있다. 도 5에서, 이러한 픽셀들은 영역(505)에 표현되어 있다.
조도 변화를 정정하기 위한 정정 파라미터를 계산할 때 사용되는 픽셀은 하나 이상의 공간 영역(spatial area)들에서 선택될 수 있다. 이러한 공간 영역들 각각은, 인코딩된 현재 프레임의 현재 블록 및 참조 프레임의 현재 참조 블록과 관련된 프리셋 인접(preset proximity)과 같은 특징을 가진다. 도 5.2에 따르면, 선택된 공간 영역은 영역(505)이고, 프리셋 인접은 영역과 블록의 경계 간의 거리들 중 가장 짧은 거리(506)에 의해 결정될 수 있다.
영역(505)은 (i) 픽셀 정보들 간의 차이와 이미 디코딩된 픽셀들을 인코딩하는 과정 이후에 적용되는 공간 변환의 타입, (ii) 현재 블록에 인접하는 이미 인코딩된 인접 블록들의 사이즈 및 (iii) 인코딩 알고리즘에 의해 설정된 인코딩된 현재 블록과 인접 블록들 간의 논리적 링크에 의해 선택될 수 있다.(The area selection can be made, proceeding from type of spatial conversion 202 (Fig. 2), applied subsequently for encoding of difference pixel information, already decoded pixels, proceeding from the sizes of already encoded adjacent blocks, and also their logical links with the current encoded block, set by algorithm of encoding)
또한, 인코딩딘 현재 블록에 인접하고, 연결되는 것으로 고려되는 픽셀들 및 참조 블록에 인접하고 연결되는 것으로 고려되는 픽셀들 간의 유사도 추정값이 추가적으로 계산될 수 있다. 그리고, 계산된 픽셀 간의 유사도 추정값은 참조 블록에 포함된 픽셀의 조도 절정의 활용에 대한 의사 결정에서의 추가적인 조건으로 이용될 수 있다.
일실시예에 따르면, 예측을 포함하는 인코딩 과정에서 참조 블록에 대한 조도 변화의 픽셀 정정을 제공한다. 여기서, 주요 핵심 원리는 조도 변화를 정정하기 위한 정정 파라미터의 픽셀 추정에 있을 수 있다. 이러한 정정은 현재 블록에 인접한 복원된 픽셀값, 참조 프레임의 픽셀값 및 이들의 상호 유사성에 기초될 수 있다. 도 6은 이러한 기술을 도시할 수 있다.
도 6은 일실시예에 따라 변수들 중 어느 하나에 따라 참조 블록에 대한 조도 변화를 정정하는 방법을 도시한 도면이다. 도 6을 참조하면, 변이 벡터(620)는 인코딩된 현재 프레임(610)에 속하는 현재 블록(611)에 대해 결정될 수 있다. 변이 벡터(620)는 참조 프레임(600)의 참조 블록(601)을 가리킬 수 있다. 4x4 개의 픽셀을 가지는 현재 블록(611)은 A00~A33으로 지정된 픽셀을 포함할 수 있다. 참조 블록(601)은 R00~R33로 지정된 픽셀을 포함할 수 있다. 인코딩된 현재 블록에 인접한 복원된 픽셀값은 TD0~ TD15로 지정될 수 있다. 블록(612, 613)은 정의를 위해 4x2, 2x4개의 픽셀을 가질 수 있다. TR0~ TR15 픽셀은 블록(602, 603)에 속할 수 있다. 블록(602, 603)은 참조 블록(601)에 인접하며, 블록(612, 613)에 대응될 수 있다.
참조 블록(601) 내의 픽셀의 각 위치 (i, j)에 대하여, 조도 변화를 정정하는 것은 다음 수학식 3에 의해 수행될 수 있다.
Figure pat00081
위의 수학식 3에서, 조도 변화를 픽셀 단위로 정정하기 위한 정정 파라미터
Figure pat00082
(
Figure pat00083
이 0이 아닌 경우)은 다음으로 표현될 수 있다.
Figure pat00084
위의 수학식 4에서, estD i,j 은 현재 블록 내의 좌표 (i, j)의 픽셀에 대한 제1 추정일 수 있다. estR i,j 은 참조 블록 내의 좌표 (i, j)의 픽셀에 대한 제2 추정일 수 있다. 그 외에는
Figure pat00085
을 1로 가정할 수 있다.
도 7은 일실시예에 따라 참조 블록에 대한 조도 변화를 픽셀 단위로 정정하는 방법을 도시한 도면이다. 이러한 방법은 다음과 같은 단계를 포함할 수 있다.
단계(701)에서, 참조 프레임(600)으로부터의 블록(601, 602, 603), 블록(611) 및 인코딩된 현재 프레임(610)의 템플릿 영역에 속하는 블록(612, 613)의 픽셀값을 획득할 수 있다. 나아가, 블록(602, 603)의 픽셀들 및 블록(612, 613)의 픽셀들 간의 유사도 추정에 대해 다음과 같은 단계가 제공될 수 있다.
참조 블록에 인접한 모든 기복원된 픽셀 T R k (k=0, …, N-1)(특히, 블록(602, 603)의 일부인 픽셀) 및 인코딩된 현재 블록에 인접한 모든 기복원된 픽셀 T D k (k=0, …, N-1)(특히, 블록(612, 613)의 일부인 픽셀)은
Figure pat00086
∈{G 0 ∩ G 1 ∩… ∩G M-1 } 와 같은 M개의 중복되지 않는 그룹 G0…GM-1로 그룹핑될 수 있다. 이러한 참조 블록에 인접한 모든 이미 복원된 픽셀 및 인코딩된 현재 블록에 인접한 모든 이미 복원된 픽셀은 대응되는 영역의 T R k (k=0, …, N-1) 및 T D k (k=0, …, N-1) 픽셀의 공간적 위치에 의해 모호하지 않게 설정되는 공동 쌍(jointly pairs)
Figure pat00087
을 형성할 수 있다. 이러한 대응되는 영역은 픽셀 k의 숫자 값에 의해 결정될 수 있다. 그룹은 픽셀 쌍의 블록이 될 수 있다. 이러한 픽셀 쌍의 블록은 초기 블록(602, 603, 612, 613)의 실제 사이즈에 따라, 예를 들어, 2x2 픽셀 쌍, 4x4 픽셀 쌍 사이즈와 같은 어떤 사이즈도 될 수 있다. 또한, 그룹 Gi에 속하는 픽셀 쌍은
Figure pat00088
로 지정될 수 있다.
각 그룹 Gi마다, 메트릭스 MR_Norm(G i )는 다음과 같이 계산될 수 있다. 여기서 이러한 계산은 각 그룹 Gi의 모든 픽셀 T R ki 의 평균값 및 모든 픽셀 T D ki 의 평균값의 차이(distinctions)를 제외한 T R ki 및 T D ki 픽셀 차이의 등록(registration of pixel distinctions)을 기초로 할 수 있다.
Figure pat00089
위의 수학식 5에서, 차수 P1는 실험적으로 결정될 수 있으며, 명확함(definiteness)을 위해 1로 설정될 수 있다.
각 그룹 Gi마다, 메트릭스 M_Norm(G i )는 각 그룹 Gi의 모든 픽셀 T R ki 의 평균값 및 모든 픽셀 T D ki 의 평균값의 차이를 기초로 다음과 같이 계산될 수 있다.
Figure pat00090
위의 수학식 6에서, 차수 P2의 값은 실험적으로 결정될 수 있으며, 명확함을 위해 1로 설정될 수 있다.
공통 메트릭스는, 각 그룹 Gi의 모든 픽셀 T R ki 의 평균값 및 모든 픽셀 T D ki 의 평균값의 차이(distinctions)를 제외하고, 각 그룹에 의한 T R ki 및 T D ki 픽셀 차이의 등록(registration of pixel distinctions)을 기초로 다음과 같이 계산될 수 있다. 이러한 공통 메트릭스는 그룹 G0…GM-1에 대해서 MR_Norm로 지정될 수 있다.
Figure pat00091
공통 메트릭스는, 각 그룹 Gi의 모든 픽셀 T R ki 의 평균값 및 모든 픽셀 T D ki 의 평균값의 차이(distinctions)의 등록을 기초로 다음과 같이 계산될 수 있다. 이러한 공통 메트릭스는 그룹 G0…GM-1에 대해서 M_Norm로 지정될 수 있다.
Figure pat00092
프리셋 임계값(preset threshold values)는 계산된 메트릭스 MR_Norm. 및 M_Norm의 값과 각각 비교될 수 있다. 만약 MR_Norm이 제1 설정 임계값보다 크거나 또는 M_Norm이 제2 설정 임계값보다 작은 경우, 참조 블록에 인접한 복원된 픽셀 및 인코딩된 현재 블록에 인접한 복원된 픽셀 간의 유사도는 약하다고 고려될 수 있다. 그 외의 경우, 참조 블록에 인접한 복원된 픽셀 및 인코딩된 현재 블록에 인접한 복원된 픽셀 간의 유사도는 강하다고 고려될 수 있다.
만약 참조 블록에 인접한 복원된 픽셀 및 인코딩된 현재 블록에 인접한 복원된 픽셀의 유사도가 약하다면, 조도 변화의 정정은 적용되지 않을 수 있다.
만약 참조 블록에 인접한 복원된 픽셀 및 인코딩된 현재 블록에 인접한 복원된 픽셀의 유사도가 강하다면, 조도 변화의 정정은 무조건적으로 수행될 수 있다.
단계(702)에서, 참조 블록(601) 내의 픽셀의 각 위치 (i, j)에 대해 가중 계수(weight coefficients) W k (i,j), k=0, …, N-1을 계산할 수 있다. 가중 계수 Wk(i, j)는 다음과 같이 표현될 수 있다.
Figure pat00093
위의 수학식 9에서, C1, C2 및 C3는 실험적으로 정의될 수 있고, 값 Ak(i, j)으로부터의 가중 계수의 비선형 의존성을 설정하는 수치적 파라미터(numerical parameters)일 수 있다. 여기서 N은 블록(612, 613 또는 602, 603) 내의 총 픽셀 수일 수 있다. 가중 계수는 Rij가 T R k 에 인접한 값을 가질수록 참조 블록에 대한 조도 변화를 정정하기 위한 정정 파라미터의 결정에 대해 기여도(contribution)가 높다는 것을 의미할 수 있다.
단계(703)에서, 현재 블록(611) 내의 픽셀의 각 위치 (i, j)에 대한 값 제1 추정 estD i,j 을 다음과 같이 계산할 수 있다.
Figure pat00094
위의 수학식 10에서, Thr1 및 Thr2은 미리 결정된 임계값이고, BaseD은 제1 추정의 초기값일 수 있다. 임계값은 참조 블록에 인접한 픽셀값을 배제하기 위해 사용될 수 있다. 이러한 임계값은 인코딩된 현재 블록에 인접한 값 R i,j 및 T D k 와 근본적으로 상이할 수 있다. L k (i,j)는 가중 계수의 제2 집합일 수 있다.
단계(704)에서, 참조 블록(601) 내의 픽셀의 각 위치 (i, j)에 대한 값 제2 추정 estR i,j 을 다음과 같이 계산할 수 있다.
Figure pat00095
미리 결정된 임계값 Thr1 및 Thr2은 estD i,j 의 계산과 동일하게 계산될 수 있다. BaseR은 제2 추정의 초기값일 수 있다.
조도 변화를 정정하기 위한 정정 파라미터 값
Figure pat00096
의 정확도를 높이기 위해서, 획득된 픽셀 T R k 및 T D k 의 고려에서 배제하는 단계가 다음과 같이 제공된다. 이러한 획득된 픽셀 T R k 및 T D k 은 이미 디코딩되고 복원된 참조 영역 및 인코딩된 현재 프레임에 속하고, 특정 영역 내의 픽셀의 공통 샘플(설정)과 상이할 수 있다.
모든 픽셀 T R k 이 조건 T R k > LR i 및 T R k < LR i+1 ,을 만족할 수 있도록 픽셀 T D k 을 그룹핑하고, 참조 프레임 및 인코딩된 프레임 내의 공간적 위치 및 시리얼 숫자 k = 0…N-1에 기인하여 T R k 에 대응되는 픽셀 T D k 는 B(LR i ,LR i+1 )로 지정된 그룹 내에 구성될 수 있다.
Figure pat00097
위의 수학식 12에서, 값 LR i , LR i+1 은 그룹 B(LR i ,LR i+1 )을 설정하는 밴드 제한(band limits)을 결정하고 조건 LR i >-1; LR i+1 > R i 를 만족할 수 있다. 그룹 B(LR i ,LR i+1 )의 수 NB는 실험적으로 결정되고, 값의 인덱싱(indexing of values) (LR i , LR i+1 ): -1 < LR 0 < LR 0 < LR 0 ….. < LR NB 에 이용되는 인덱스 i의 가능한 가장 큰 값을 설정할 수 있다.
다음의 값은 값 (LR i ,LR i+1 )에 의해 설정된 각 그룹 B(LR i ,LR i+1 )에 대해서 계산될 수 있다.
Figure pat00098
다음의 세가지 조건의 정확성(correctness)은 그룹 B(LR i ,LR i+1 )의 각 픽셀
Figure pat00099
에 대해 확인될 수 있다.
- 조건 1
|C_Plus(LR i ,LR i+1 ) - C_Minus(LR i ,LR i+1 )| < Thr6;
- 조건 2
C_Plus(LR i ,LR i+1 ) - C_Minus(LR i ,LR i+1 ) >= Thr6 AND T R K ≥ T D K + Thr5;
- 조건 3
C_Plus(LRi,LRi+1) - C_Minus(LRi,LRi+1) <= -Thr6 AND T R K ≤ T D K - Thr5
고려된 픽셀
Figure pat00100
은, 확인된 조건 1 내지 3 중 적어도 하나가 그룹 B(LR i ,LR i+1 )의 다음에 고려될 픽셀
Figure pat00101
에 대해 참인 경우, 참조 블록의 조도 변화를 정정하기 위한 정정 파라미터의 추가적 계산에 포함될 수 있다.
단계(705)에서, 만약 estRi, j가 0이 아닌 경우에 획득된 estD i,j 및 estR i,j 값을 기초로 참조 블록(601) 내의 좌표 (i, j)의 각 픽셀에 대한 조도 변화를 정정하기 위한 정정 파라미터
Figure pat00102
를 계산할 수 있다. 그 외에는
Figure pat00103
을 1로 가정할 수 있다.
만약 제1 추정 estD i,j 및 제2 추정 estR i,j 이 다음의 조건을 만족하여 정정 파라미터
Figure pat00104
가 1에 가까운 경우, 참조 블록의 픽셀 보상과 관련된 계산 비용은 감소할 것이다. 여기서 다음의 조건은 하기와 같이 확인할 수 있다.
Figure pat00105
Figure pat00106
Figure pat00107
여기서, Qbits 1 및
Figure pat00108
은 음이 아닌 정수이고, 만약 조건이 참인 경우, 정정 파라미터는 1로 설정될 수 있다. 또한,
Figure pat00109
은, 적분 라운딩(integral rounding)의 연산을 의미할 수 있다.
또한, 만약 제1 추정 estDi,j 및 제2 추정 estRi,j이 다음의 조건을 만족하여 정정 파라미터
Figure pat00110
가 1에 가까운 경우, 계산 비용을 감소시키면서 로컬 조도 불일치의 보상 방법의 정확도가 증가될 수 있다. 조건은
Figure pat00111
과 같이 확인할 수 있다. 여기서, Qbits2 및
Figure pat00112
은 음이 아닌 정수이고, 만약 이러한 조건이 참인 경우, 정정 파라미터는 1로 설정될 수 있다. 다음과 같은 부등호의 확인을 의미하는 정정 파라미터가 1에 인접하는 상황을 검출할 수 있게 하는 공통 기준을 고려하는 것이 타당할 수 있다.
Figure pat00113
여기서,
Figure pat00114
,
Figure pat00115
은 프리셋 음이 아닌 숫자이고, 이러한 것이 수행되는 경우 정정 파라미터는 1과 같을 수 있다.
단계(706)에서, 블록(602, 603) 및 블록(612, 613)의 픽셀의 유사도가 강한 것으로 인식되는 경우, 계산된 정정 파라미터
Figure pat00116
을 사용하여 참조 블록(601)에 대한 조도 변화의 정정을 수행할 수 있다.
참조 블록의 픽셀의 조도를 정정하는 것은 참조 블록에 포함된 각 픽셀의 밝기를 구분하여 사용하는 것 대신에 참조 블록에 포함된 하나 이상의 픽셀의 공통된 통계적 특징을 정정하는 것을 의미한다.
예를 들어, 블록(611)에서의 픽셀 A00, A01, A10 및 A11에 대해, 상술된 바와 같이 계산될 정정 파라미터를 위한 평균값을 계산할 수 있다. 그 후에, 픽셀 A00, A01, A10 및 A11 집합의 평균값은 정정된 픽셀값에 의해 교체될 수 있다. 다른 일실시예에 따르면, 참조 블록의 픽셀은 명백히 결정된 공통 특징(예를 들어, 밝기 강도의 유사), 공통 파라미터(예를 들어, 평균값)의 차후 선택과 함께, 그것의 정정 및 선택된 픽셀 그룹에 대한 공통 파라미터의 기준값을 정정된 픽셀값으로의 최종 대체에 기초하여 하나 이상의 픽셀 그룹으로 그룹핑될 수 있다.
다른 일 실시예는 다음을 기초로 한다. 일반적으로, 참조 블록에 직접적으로 연결된 픽셀의 그룹은 참조 블록에 인접한 픽셀로 선택될 수 있다. 그러나, 참조 블록의 탐색 과정은 변이 벡터를 선택할 수 있다. 이러한 변이 벡터는 특정 그룹 내의 픽셀값이 대응되는 인코딩된 현재 블록에 인접한 픽셀값과 충분히 유사하지 않다. 게다가, 참조 블록에 직접적으로 연결된 픽셀값들은 참조 블록의 픽셀값과 상당히 상이할 수 있다. 이 경우, 조도 및 대비의 변화 정정은 부정확하게 수행될 수 있다.
이러한 점을 해결하기 위해, 참조 블록에 인접한 픽셀 그룹에 대해 참조 블록에 대한 "플로팅(floating)" 위치를 사용하는 것이 제안될 수 있다. 도 8은 이러한 일 실시예를 설명하고 있다.
도 8은 일실시예에 따라 참조 블록에 대한 조도 변화를 정정하는 과정을 설명하는 도면이다. 도 8에 따르면, 변이 벡터 DV(820)는 인코딩된 현재 프레임(810)에 포함된 현재 블록(811)에 대한 참조 블록의 탐색 과정이 반복(each iteration)될 때마다 검출될 수 있다. 변이 벡터는 참조 프레임(800)의 참조 블록(801)을 가리킬 수 있다. 참조 프레임의 픽셀 그룹(블록(802, 803)으로 형성됨)의 좌표는 변이 벡터(804)를 추가적으로 명시하여 결정될 수 있다. 명시하는 변이 벡터(804)는 변이 추정의 추가적 과정의 결과일 수 있다. 이러한 변이 벡터(804)는 그에 맞춰 블록(802, 803) 및 블록(812, 813)의 유사도 정도를 정의하는 패널티 함수의 최소 값을 제공하는 것으로 검출될 수 있다. 평균제곱오차, 절대차의 합, 0의 평균을 갖는 신호에 대한 절대차의 합과 같은 함수는 패널티 함수로 나타낼 수 있다. 변이 벡터(804)는 출력 비트 스트림으로 추가적 정보의 전송 없이 인코딩 및 디코딩 과정 동안 암시적으로(implicitly) 검출될 수 있다.
일실시예에 따른 적응적 보상 방법의 논리적 연속은 다음의 수정(modification)일 수 있다. 참조 블록에 직접적으로 인접한 픽셀 그룹은 일반적으로 참조 블록에 인접한 픽셀로 선택될 수 있다. 따라서, 참조 블록의 탐색 과정은 적은 정확도(fractional accuracy)의 변이 벡터 집합을 선택할 수 있다. 예를 들어, 참조 블록은 정수 번째 위치한 픽셀들 사이에 할당된 어떤 중간의 공간 위치에서 탐색될 수 있다. 이 경우, 참조 블록에 인접한 픽셀 그룹을 선택하는 것을 단순화하기 위해 가장 인접한 픽셀 위치들 중 하나의 위치로 참조 블록의 위치가 설정될 수 있다. 이러한 참조 블록의 위치는 선택된 변이 벡터의 정확도보다 꽤 작은 정확도를 가지고 설정될 수 있다. 예를 들어, 일부 실행에서 계산 복잡도를 줄일 수 있는 인접도를 설정하도록 쿼터 픽셀의 정확도 대신에 픽셀 정확도가 사용될 것이다.
도 9는 일실시예에 따라 조도 변화의 정정에 기초하여 다시점 비디오 시퀀스를 인코딩하는 과정을 나타낸 도면이다. 단계(901)에서, 현재 코딩 유닛에 속하는 인코딩된 현재 블록이 선택될 수 있다. 단계(902)에서, 적어도 하나의 참조 블록이 결정될 수 있다. 이 때, 적어도 하나의 참조 블록은 인코딩된 현재 블록에 대해 블록 예측을 하기 위해 사용될 수 있다. 그리고, 참조 블록의 픽셀들은 이미 인코딩되고 디코딩될 수 있다. 단계(903)에서, 참조 블록의 조도 변화를 정정하기 위한 정정 파라미터가 결정될 수 있다.
단계(904)에서, 조도 변화를 정정하기 위한 정정 파라미터에 기초하여 참조 블록의 모든 픽셀값이 정정될 수 있다. 여기서, 조도 변화의 정정 차라미터를 결정하고, 픽셀값을 정정하는 과정은 다음 과정을 포함할 수 있다.
인코딩된 프레임의 현재 블록에 인접한 복원된 픽셀값 및 참조 프레임의 참조 블록에 인접한 픽셀값을 획득할 수 있다. 획득된 픽셀은 하나 이상의 공간 영역에서 선택될 수 있다. 이러한 공간 영역들 각각은, 인코딩된 프레임의 현재 블록 및 참조 프레임의 현재 참조 블록에 대한 프리셋 인접과 같은 특징을 가질 수 있다. 인코딩된 프레임의 현재 블록 및 참조 프레임의 현재 참조 블록에 인접한 특정 영역을 선택하는 것은 이미 디코딩된 픽셀들의 인터프레임 차이(interframe difference)에 대한 인코딩을 위해 추가적으로 적용된 공간 변환의 타입 및 사이즈, 이미 블록에 인접하는 이미 인코딩된 인접 블록들의 사이즈, 인코딩된 현재 블록과 인접 블록들 간의 논리적 링크에 기인하여 수행될 수 있다(논리적 링크는 현재 블록 및 인접 블록 간의 객관적으로 특정된 존재하는 의존성(existing dependence)으로 이해되고, 예를 들어, 인코딩 방법으로 설정될 수 있다). 이 경우, 공통 변이 벡터가 설정되기 위해 인코딩의 균등한 요소 내에 함께 인접 블록 및 인코딩된 현재 블록의 통합이 이러한 링크가 될 수 있다. 추가적으로 인코딩된 현재 블록에 인접한 픽셀 집합 및 참조 블록에 인접한 픽셀 집합 간의 유사도 추정은 계산될 수 있다. 계산된 픽셀의 유사도 추정값은 참조 블록의 픽셀의 조도 정정의 활용에 대한 의사 결정에 추가적인 조건으로 이용될 수 있다.
비신뢰적인 픽셀들에 대한 조도 변화를 정정하기 위한 정정 파라미터를 결정하는 고려로부터 배제할 수 있다. 여기서, 비신뢰적인 픽셀들은 참조 프레임과 인코딩된 현재 프레임에서 이미 디코딩되고 회복된 영역에 속할 수 있다. 그리고, 비신뢰적인 픽셀들은 프리셋 기준에 의해 특정된 영역 내부에 있는 픽셀들의 공통 샘플 집합과 다르다. 이 때, 프리셋 기준은 특정 영역 내부에서의 픽셀값들의 분배와 통계적 특징의 계산을 분석하는 것과 특정 영역 내부에서 조건을 만족하는 것으로 확인된 모든 픽셀들과 통계적 특징을 매칭하는 것에 기초한다.
(i) 참조 블록의 픽셀 간, (ii) 디코딩된 현재 블록의 부근에 위치한 신뢰성있는 픽셀들 간 및 (iii) 참조 블록의 부근에 위치한 신뢰성있는 픽셀들 간의 수치적 비율을 결정할 수 있다.(determining numerical ratios between pixels of the reference block, reliable pixels from a vicinity of the current decoded block and reliable pixels from a vicinity of the reference block)
정정 파라미터의 초기값을 고려하는 수치적 비율에 기초하여 조도 변화를 정정하기 위한 정정 파라미터를 계산할 수 있다.
참조 블록의 픽셀값의 변화를 추정할 수 있다. 변화가 필수적인 것으로 추정되는 경우, 참조 블록의 픽셀값의 정정은 검출된 정정 파라미터를 이용하여 수행될 수 있다.
단계(905)에서, 인코딩된 현재 블록에 대한 블록 예측은 정정된 참조 블록을 이용하여 수행될 수 있다. 단계(906)에서, 현재 블록은 블록 예측을 통해 의해 인코딩될 수 있다.
도 10은 일실시예에 따라 조도 변화의 정정에 기초하여 다시점 비디오 시퀀스를 디코딩하는 과정을 나타낸 도면이다. 도 10에 따르면, 단계(1001)에서, 현재 코딩 유닛에 속하는 디코딩된 현재 블록은 선택될 수 있다. 단계(1002)에서, 참조 블록은 디코딩된 현재 블록에 대해 결정될 수 있다. 단계(1003)에서, 발견된 참조 블록의 조도 변화를 정정하기 위한 정정 파라미터가 결정될 수 있다. 단계(1004)에서, 참조 블록의 모든 픽셀값의 정정은 특정 조도 변화를 정정하기 위한 정정 파라미터를 기초로 수행될 수 있다. 조도 변화를 정정하기 위한 정정 파라미터의 결정 및 조도 정정 수행은 다음을 포함할 수 있다.
복원된(인코딩된 후 디코딩된) 인코딩된 프레임의 현재 블록에 인접한 픽셀값 및 참조 프레임의 참조 블록에 인접한 픽셀값을 획득할 수 있다. 획득된 픽셀은 하나 이상의 공간 영역으로부터 선택될 수 있다. 이러한 각 공간 영역은 인코딩된 프레임의 현재 블록 및 참조 프레임의 현재 참조 블록에 대한 프리셋 인접에 의해 특징을 가질 수 있다. 인코딩된 프레임의 현재 블록 및 참조 프레임의 현재 참조 블록에 인접하는 특정 영역을 선택하는 것은 이미 디코딩된 픽셀의 인터프레임 차이에 대한 인코딩을 위해 추가적으로 적용되는 공간 변환의 타입 및 사이즈, 현재 블록에 인접하는 이미 인코딩된 인접 블록들의 사이즈 및 인코딩된 현재 블록과 인접 블록들 간의 논리적 링크에 기인할 수 있다(논리적 링크는 현재 블록 및 인접 블록 간의 객관적으로 특정된 존재하는 의존성으로 이해되고, 예를 들어, 인코딩 방법에 의해 설정될 수 있다). 이 경우 공통 변이 벡터가 설정되기 위해 인코딩의 균등한 요소 내에 함께 인접 블록 및 인코딩된 현재 블록의 통합은 이러한 링크가 될 수 있다. 추가적으로 인코딩된 현재 블록에 인접한 픽셀 집합 및 참조 블록에 인접한 픽셀 집합의 유사도 추정은 계산될 수 있다. 계산된 픽셀의 유사도 추정값은 참조 블록의 픽셀의 조도 정정의 활용에 대한 의사 결정에 추가적인 조건으로 이용될 수 있다.
비신뢰적인 픽셀의 조도 변화를 정정하기 위한 정정 파라미터의 결정에 대한 고려에서 배제할 수 있다. 이러한 비신뢰적인 픽셀은 참조 프레임 및 인코딩된 프레임의 이미 디코딩되고 복원된 영역에 속할 수 있다. 이러한 비신뢰적인 픽셀은 프리셋 기준에 의해 특정된 영역 내의 픽셀의 공통 샘플 (집합)으로부터 상이할 수 있다. 이러한 프리셋 기준은 특정 역영 내의 통계적 특성과 모든 확인된 픽셀값에 대한 매칭, 통계적 특성의 계산 및 특정된 영역 내의 픽셀값의 분배에 대한 분석에 기반할 수 있다.
참조 블록에 인접한 픽셀값과 참조 블록의 픽셀값 간의 비율 및 복원된 인코딩된 현재 블록에 인접한 픽셀값과 참조 블록에 인접한 픽셀값 간의 비율을 결정할 수 있다.
(i) 참조 블록의 픽셀 간, (ii) 디코딩된 현재 블록의 부근에 위치한 신뢰성있는 픽셀들 간 및 (iii) 참조 블록의 부근에 위치한 신뢰성있는 픽셀들 간의 수치적 비율을 결정할 수 있다.
정정 파라미터의 초기값을 고려하는 수치적 비율에 기초하여 조도 변화를 정정하기 위한 정정 파라미터를 계산할 수 있다.
참조 블록의 픽셀값의 변화를 추정할 수 있다. 변화가 필수적인 것으로 추정되는 경우, 참조 블록의 픽셀값의 정정은 검출된 정정 파라미터를 이용하여 수행될 수 있다.
단계(1005)에서, 디코딩된 현재 블록에 대한 블록 예측은 정정된 참조 블록을 이용하여 수행될 수 있다. 단계(1006)에서, 현재 블록은 생성된 블록 예측을 통해 디코딩될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변환이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
101: 초기 시점
102: 이미 인코딩된 후 디코딩된 시점
103: 깊이맵의 디코딩된 시퀀스
104: 합성부
105: 하이브리드 비디오 인코더
106: 프레임 제어부
107: 인터 예측부
108: 인트라 예측부
109: 보상부
110: 공간 변환부
111: 최적화부
112: 엔트로피 인코딩부

Claims (71)

  1. 다시점 비디오 시퀀스의 인코딩 및 디코딩 과정 동안 프레임간 인터 예측에서의 로컬 조도 불일치(local illumination mismatches)의 적응적 보상 방법에 있어서 - 상기 적응적 보상 방법은, 컴퓨터 시스템에 의해 수행됨 -,
    인코딩된 프레임에 속하는 인코딩된 현재 블록의 픽셀값 및 참조 프레임에 속하는 참조 블록의 픽셀값을 획득하는 단계;
    인코딩된 후 디코딩되어 복원된 픽셀값을 획득하는 단계 - 상기 인코딩된 후 디코딩되어 복원된 픽셀값은, 상기 인코딩된 프레임의 상기 인코딩된 현재 블록의 부근으로부터의 픽셀값 및 상기 참조 프레임의 상기 참조 블록의 부근으로부터의 픽셀값임 -;
    상기 인코딩된 현재 블록의 부근 및 상기 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀을 고려에서 배제하는 단계 - 상기 인코딩된 현재 블록의 부근 및 상기 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀은, 적어도 하나의 프리셋 기준에 의해 조도 변화를 정정하기 위한 정정 파라미터의 계산에 대해 비신뢰적인 것으로 추정됨 -;
    상기 참조 블록의 픽셀 간, 상기 디코딩된 현재 블록의 부근에 위치한 신뢰성있는 픽셀들 간 및 상기 참조 블록의 부근에 위치한 신뢰성있는 픽셀들 간의 수치적 비율을 결정하는 단계;
    초기값을 고려하는 상기 결정된 수치적 비율에 기초하여 상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계; 및
    상기 참조 블록의 픽셀값 변화를 추정하는 단계;
    를 포함하고,
    만약 변화가 필수적인 것으로 추정되는 경우, 상기 참조 블록의 픽셀값의 정정은 상기 계산된 정정 파라미터를 이용하여 수행되는, 로컬 조도 불일치의 적응적 보상 방법.
  2. 제1항에 있어서,
    상기 인코딩된 현재 프레임 및 상기 참조 프레임의 픽셀에 대한 비율을 결정하는 단계, 상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계 및 상기 참조 블록의 픽셀값을 정정하는 단계는,
    상기 인코딩된 현재 블록의 인접 부근 및 상기 참조 블록의 인접 부근에 속하는 픽셀이 이미 복원되도록 상기 인코딩된 현재 블록의 인접 부근 및 상기 참조 블록의 인접 부근을 검출하는 단계;
    상기 인코딩된 현재 프레임의 특정된 인접 부근으로부터의 복원된 픽셀값 T D k 및 참조 블록의 미리 정의된 인접 부근으로부터의 픽셀값 T R k 을 기초로 상기 참조 블록 내의 각 픽셀 (i, j)에 대해 제1 추정 estD i,j 및 제2 추정 estR i,j 중 적어도 하나를 계산하는 단계 - 여기서, k=0, …, N-1이고, 상기 N는 인코딩된 현재 블록의 특정된 인접 부근으로부터의 픽셀 수이며 상기 참조 블록의 특정된 인접 부근으로부터의 픽셀 수와 동일함 -;
    상기 제1 추정 estD i,j , 상기 제2 추정 estR i,j , 상기 참조 블록의 픽셀값 R i,j 및 복원된 픽셀값 T D k 및 T R k 중 적어도 하나를 기초로 상기 참조 블록 내의 각 픽셀 위치에 대한 상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계;
    상기 정정 파라미터를 이용하여 상기 참조 블록의 픽셀값의 정정을 수행하는 단계
    를 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  3. 제2항에 있어서,
    상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계 및 상기 참조 블록의 픽셀값의 상기 정정 파라미터를 계산하는 단계는,
    상기 제1 추정에 대한 초기값 BaseD 및 상기 제2 추정에 대한 초기값 BaseR이 모두 음 또는 양이 아닌 수가 되도록 상기 BaseD 및 상기 BaseR을 설정하는 단계;
    상기 참조 블록의 프리셋 인접 부근으로부터의 위치 (i, j) 내의 참조 블록의 픽셀의 밝기 강도 및 인덱스 k=0, …, N-1에 따른 픽셀의 밝기 강도에 따라 가중 계수 W k (i,j), k=0, …, N-1을 계산하는 단계;
    상기 제1 추정을
    Figure pat00117
    에 따라 계산하는 단계;
    상기 제2 추정을
    Figure pat00118
    에 따라 계산하는 단계;
    만약 상기 제2 추정 estR i,j 이 영이 아닌 경우, 상기 참조 블록의 각 픽셀값의 상기 정정 파라미터는
    Figure pat00119
    로 계산되고, 그 외의 경우, 상기 정정 파라미터
    Figure pat00120
    는 1로 설정되는 단계; 및
    만약 상기 정정 파라미터
    Figure pat00121
    가 1이 아닌 경우, 상기 정정 파라미터
    Figure pat00122
    에 대응되는 상기 참조 블록의 각 픽셀값 R i,j 의 곱으로 상기 참조 블록의 조도 정정을 수행하는 단계
    를 더 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  4. 제3항에 있어서,
    상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계 및 상기 참조 블록 내의 각 픽셀값의 상기 정정 파라미터를 계산하는 단계는,
    상기 제1 추정에 대한 초기값 BaseD 및 상기 제2 추정에 대한 초기값 BaseR이 모두 음 또는 양이 아닌 수가 되도록 상기 BaseD 및 상기 BaseR을 설정하는 단계;
    상기 참조 블록의 부근으로부터의 위치 (i, j) 내의 참조 블록의 픽셀의 밝기 강도 및 인덱스 k=0, …, N-1에 따른 픽셀의 밝기 강도에 따라 가중 계수 W k (i,j), k=0, …, N-1을 계산하는 단계;
    픽셀 위치 (i, j) 및 인덱스 k=0, …, N-1에 따라 가중 계수의 제2 집합 L k (i,j), k=0, …, N-1를 계산하는 단계;
    상기 제1 추정을
    Figure pat00123
    에 따라 계산하는 단계; 및
    상기 제2 추정을
    Figure pat00124
    에 따라 계산하는 단계
    를 더 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  5. 제3항에 있어서,
    음이 아닌 정수로 표현되는 각 위치 (i, j)에 대한 상기 조도 변화를 정정하기 위한 정정 파라미터
    Figure pat00125
    는,
    각 픽셀값과 조도 변화를 정정하기 위한 정정 파라미터의 최소곱 및 비트 변이와 프리셋 음이 아닌 정수의 최소곱을 이용하여 상기 참조 블록의 각 픽셀값의 정정을 계산하는, 로컬 조도 불일치의 적응적 보상 방법.
  6. 제3항에 있어서,
    상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계는,
    상기 참조 블록의 픽셀의 각 위치 (i, j)에 대한 가중 계수 W k (i,j), k=0, …, N-1 을 계산하는 단계 - 상기 가중 계수 W k (i,j)은, 절대차의 감소/증가에 따라 반비례하여 증가/감소하는 W k (i,j)을 제공하는 절대차
    Figure pat00126
    로부터의 증가하지 않는 함수임 -
    인, 로컬 조도 불일치의 적응적 보상 방법.
  7. 제4항에 있어서,
    상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계는,
    상기 참조 블록 내의 각 픽셀 위치 (i, j)에 대한 가중 계수 W k (i,j), k=0, …, N-1를 계산하는 단계 - 상기 가중 계수 W k (i,j)은, 절대차의 감소/증가에 따라 반비례하여 감소/증가하는 W k (i,j)을 제공하는 절대차
    Figure pat00127
    로부터의 증가하지 않는 함수임 -; 및
    상기 가중 계수의 제2 집합 L k (i,j)이 픽셀 ∥R i,j , T R k ∥: L k (i,j)=f(∥R i,j , T R k ∥) 간 거리의 비증가 함수 f와 동일하도록 상기 참조 블록 내의 각 픽셀 위치 (i, j)에 대한 제1 추정 estD i,j 및 제2 추정 estR i,j 에 대한 가중 계수의 제2 집합 L k (i,j), k=0, …, N-1을 계산하는 단계 - 상기 비증가함수는, 정정된 픽셀 Ri,j로부터의 접근하거나 멀어지는 픽셀 T R k (k=0, …, N-1)에 따라 반비례하는 증감/감소하는 값 L k (i,j)을 제공함 -
    를 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  8. 제3항 또는 제4항 중 어느 한 항에 있어서,
    상기 가중 계수 W k (i,j), k=0, …, N-1을 계산하기 전에, 상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계는,
    픽셀
    Figure pat00128
    의 제1 신뢰도 조건(first condition of reliability of pixel)을 확인하는 단계 - 상기 Thr1는, 제1 미리 결정된 임계값임 -;
    픽셀
    Figure pat00129
    의 제1 신뢰도 조건을 확인하는 단계 - 상기 Thr2는, 제2 미리 결정된 임계값임 -; 및
    T R k (k=0, …, N-1) 및 T D k (k=0, …, N-1)와 같은 픽셀을 추가적 계산에서 배제하는 단계 - 상기 T R k (k=0, …, N-1) 및 상기 T D k (k=0, …, N-1)와 같은 픽셀은, 적어도 하나의 2개의 제공된 신뢰도 조건을 만족하지 않는 상기 계산에 대해 비신뢰적인 것으로 추정됨 -;
    를 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  9. 제8항에 있어서,
    상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계는,
    모든 위치 k=0, …, N-1의 상기 참조 블록 내의 각 픽셀 위치 (i, j)에 대해 상기 제1 추정 estD i,j 및 상기 제2 추정 estR i,j 이 1과 동일하도록 가중 계수 W k (i,j), k=0, …, N-1의 값을 설정하는 단계 - 상기 픽셀
    Figure pat00130
    및
    Figure pat00131
    는, 신뢰적인 것으로 추정됨 -
    를 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  10. 제6항에 있어서,
    상기 참조 블록 내의 각 픽셀 위치에 대한 상기 제1 추정 및 상기 제2 추정을 계산하는 단계는,
    가중 계수 W k (i,j)가
    Figure pat00132
    와 동일할 수 있도록 상기 가중 계수 W k (i,j), k=0, …, N-1을 계산하는 단계 - 상기 C1, C2 및 C3는, A k (i,j) 값으로부터 가중 계수의 비선형 의존성을 설정하는 파라미터이고, 상기 A k (i,j)은
    Figure pat00133
    임 -;
    를 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  11. 제10항에 있어서,
    상기 가중 계수 W k (i,j)는,
    Figure pat00134
    로 계산되고,
    상기
    Figure pat00135
    ,
    Figure pat00136
    및
    Figure pat00137
    는,
    거리
    Figure pat00138
    ,
    Figure pat00139
    에 함수적으로 의존하는 파라미터인, 로컬 조도 불일치의 적응적 보상 방법.
  12. 제2항에 있어서,
    상기 인코딩된 현재 블록의 인접 부근의 위치 및 상기 참조 블록의 인접 부근의 위치는,
    초기에 설정된 위치 대신 적응적으로 검출되는, 로컬 조도 불일치의 적응적 보상 방법.
  13. 제2항에 있어서,
    상기 현재 블록의 프리셋 인접 부근 내에 위치하는 픽셀의 일부 및 상기 참조 블록의 프리셋 인접 부근 내에 위치하는 픽셀의 일부를 이용하여 적어도 하나의 수치적 추정 estD i,j 및 estR i,j 을 이용하고,- 상기 참조 블록의 프리셋 인접 부근 내에 위치하는 픽셀의 일부는, 상기 현재 블록의 프리셋 인접 부근 내에 위치하는 픽셀의 일부에 대응함 -는,
    상기 픽셀들의 예비적인 리샘플링 다운을 수행하는, 로컬 조도 불일치의 적응적 보상 방법.
  14. 제8항에 있어서,
    상기 인코딩된 현재 블록에 인접한 비신뢰적인 픽셀 및 상기 참조 블록에 인접한 비신뢰적인 픽셀을 배제하는 단계는,
    모든 이미 복원된 픽셀 T R k (k=0, …, N-1) 및 모든 이미 복원된 픽셀 T D k (k=0, …, N-1)을 이용하여 픽셀 k의 수 값에 의해 모호하지 않게 설정된 쌍
    Figure pat00140
    을 구성하는 단계;
    상기 구성된 쌍을
    Figure pat00141
    ∈{G 0 ∩ G 1 ∩… ∩G M-1 } 와 같은 M개의 중복되지 않는 그룹 G0…GM-1로 그룹핑하는 단계 - 상기 그룹 Gi에 속하는 픽셀 쌍은,
    Figure pat00142
    로 지정됨 -;
    각 그룹 Gi의 모든 픽셀
    Figure pat00143
    의 평균값 및 모든 픽셀
    Figure pat00144
    의 평균값의 차이를 제외한
    Figure pat00145
    및
    Figure pat00146
    픽셀 차이의 등록을 기초로 각 그룹 Gi마다 메트릭스를 계산하는 단계;
    상기 각 그룹 Gi의 모든 픽셀
    Figure pat00147
    의 평균값 및 모든 픽셀
    Figure pat00148
    의 평균값의 차이를 기초로 각 그룹 Gi마다 메트릭스를 계산하는 단계;
    상기 각 그룹 Gi의 모든 픽셀
    Figure pat00149
    의 평균값 및 모든 픽셀
    Figure pat00150
    의 평균값의 차이를 제외한
    Figure pat00151
    및
    Figure pat00152
    픽셀 차이의 등록을 기초로 하는 그룹 G0…GM-1에 대해서 MR_Norm으로 지정된 공통 메트릭스를 계산하는 단계;
    각 그룹 Gi의 모든 픽셀
    Figure pat00153
    의 평균값 및 모든 픽셀
    Figure pat00154
    의 평균값의 차이의 등록에 기초로 하는 그룹 G0…GM-1에 대해서 M_Norm로 지정된 공통 메트릭스를 계산하는 단계; 및
    프리셋 임계값를 이용하여 상기 계산된 메트릭스 MR_Norm 및 M_Norm의 값을 비교하는 단계
    를 포함하고,
    만약 상기 MR_Norm이 제1 설정 임계값보다 크거나 상기 M_Norm이 제2 설정 임계값보다 작은 경우, 상기 참조 블록의 인접 부근으로부터의 모든 픽셀 및 상기 인코딩된 현재 블록의 인접 부근으로부터의 모든 픽셀은, 비신뢰적인 것으로 고려되는, 로컬 조도 불일치의 적응적 보상 방법.
  15. 제14항에 있어서,
    상기 각 그룹 Gi의 모든 픽셀 T R ki 의 평균값 및 모든 픽셀 T D ki 의 평균값의 차이를 제외한 T R ki 및 T D ki 픽셀 차이의 등록을 기초로 각 그룹 Gi에 대해서 메트릭스 MR_Norm(Gi)를 계산하는 단계는,
    하기 수학식 1에 따라서 상기 메트릭스 MR_Norm(Gi)를 계산하고,
    [수학식 1]
    Figure pat00155

    여기서, 차수 P1는 실험적으로 결정되고,
    상기 각 그룹 Gi의 모든 픽셀 T R ki 의 평균값 및 모든 픽셀 T D ki 의 평균값의 차이를 기초로 각 그룹 Gi에 대해서 메트릭스 M_Norm(Gi)를 계산하는 단계는,
    하기 수학식 2에 따라서 상기 메트릭스 MR_Norm(Gi)를 계산하고,
    [수학식 2]
    Figure pat00156

    여기서, 차수 P2는 실험적으로 결정되고,
    각 그룹 Gi의 모든 픽셀 T R ki 의 평균값 및 모든 픽셀 T D ki 의 평균값의 차이를 제외하고, 각 그룹에 의한 T R ki 및 T D ki 픽셀 차이의 등록을 기초로 하는 그룹 G0…GM-1에 대해서 MR_Norm로 지정된 공통 메트릭스를 계산하는 단계는,
    하기 수학식 3에 따라서 상기 MR_Norm로 지정된 공통 메트릭스를 계산하고,
    [수학식 3]
    Figure pat00157

    각 그룹 Gi의 모든 픽셀 T R ki 의 평균값 및 모든 픽셀 T D ki 의 평균값의 차이(distinctions)의 등록을 기초로 하는 그룹 G0…GM-1에 대해서 M_Norm로 지정된 공통 메트릭스를 계산하는 단계는,
    하기 수학식 4에 따라서 상기 M_Norm로 지정된 공통 메트릭스를 계산하는, 로컬 조도 불일치의 적응적 보상 방법.
    [수학식 4]
    Figure pat00158
  16. 제1항에 있어서,
    상기 비신뢰적인 픽셀 T R k 은,
    상기 인코딩된 현재 블록의 특정된 인접 부근으로부터의 복원된 픽셀 T D k 및 상기 참조 블록의 특정된 인접 부근으로부터 배제되고,
    조건 T R k > LR i 및 T R k < LR i+1 을 만족하는 모든 픽셀 T R k 에 대해서, 참조 프레임 및 인코딩된 프레임 내의 공간적 위치 및 시리얼 숫자 k = 0…N-1에 기인하여 픽셀 T R k 에 대응되는 픽셀 T D k 를 B(LR i ,LR i+1 )로 지정된 그룹으로 구성하고,
    Figure pat00159

    여기서, 값 LR i , LR i+1 은, 그룹 B(LR i ,LR i+1 )을 설정하는 밴드 제한(band limits)을 결정하고 조건 LR i >-1; LR i+1 > R i 를 만족하고,
    그룹 B(LR i ,LR i+1 )의 수 NB는, 값의 인덱싱(indexing of values) (LR i , LR i+1 ): -1 < LR 0 < LR 0 < LR 0 ….. < LR NB 에 이용되는 인덱스 i의 가능한 가장 큰 값을 설정하고,
    하기의 수학식 5의 값은 값 (LR i ,LR i+1 )에 의해 설정된 각 그룹 B(LR i ,LR i+1 )에 대해서 계산되고,
    [수학식 5]
    Figure pat00160

    여기서, Thr5은, 프레임 프로세싱 동안의 프리셋 적응적 임계값 또는 검출된 적응적 임계값이고,
    다음의 세가지 조건의 정확성은 그룹 B(LR i ,LR i+1 )의 각 픽셀
    Figure pat00161
    에 대해 확인되고,
    - 조건 1
    |C_Plus(LR i ,LR i+1 ) - C_Minus(LR i ,LR i+1 )| < Thr6;
    - 조건 2
    C_Plus(LR i ,LR i+1 ) - C_Minus(LR i ,LR i+1 ) >= Thr6 AND T R K ≥ T D K + Thr5;
    - 조건 3
    C_Plus(LRi,LRi+1) - C_Minus(LRi,LRi+1) <= -Thr6 AND T R K ≤ T D K - Thr5
    여기서, 상기 고려된 픽셀
    Figure pat00162
    은, 상기 확인된 조건 1 내지 3 중 적어도 하나가 그룹 B(LR i ,LR i+1 )의 다음에 고려될 픽셀
    Figure pat00163
    에 대해 참인 경우, 신뢰적인 것으로 고려되는, 로컬 조도 불일치의 적응적 보상 방법.
  17. 제16항에 있어서,
    조건 T R k > LR i 및 T R k < LR i+1 을 만족하는 모든 픽셀 T R k 에 대해서, 참조 프레임 및 인코딩된 프레임 내의 공간적 위치 및 시리얼 숫자 k = 0…N-1에 기인하여 픽셀 T R k 에 대응되는 픽셀 T D k 를 B(LR i ,LR i+1 )로 지정된 그룹으로 구성하고,
    Figure pat00164

    여기서, 값 LR i , LR i+1 은, 그룹 B(LR i ,LR i+1 )을 설정하는 밴드 제한을 결정하고 조건 LR i >-1; LR i+1 > R i 를 만족하고,
    그룹 B(LR i ,LR i+1 )의 수 NB는, 값의 인덱싱 (LR i , LR i+1 ): -1 < LR 0 < LR 0 < LR 0 ….. < LR NB 에 이용되는 인덱스 i의 가능한 가장 큰 값을 설정하고,
    그룹 B(LR i ,LR i+1 )에 속하는 모든 픽셀 T D k 에 대해 하기의 값들을 계산하고,
    그룹 B(LR i ,LR i+1 )에 의한 평균값 Mean(B(LR i ,LR i+1 ))
    Figure pat00165

    여기서, |B(LR i ,LR i+1 )|은 그룹 B(LR i ,LR i+1 ) 내의 지정된 픽셀 수이고,
    그룹 B(LR i ,LR i+1 ) 내의 픽셀값의 평균 편차 Dev(B(LR i ,LR i+1 ))
    Figure pat00166

    만약 그룹 B(LR i ,LR i+1 )의 다음에 고려될 픽셀
    Figure pat00167
    에 대하여, 차이 모듈러스(difference modulus)의 값과 그룹 B(LR i ,LR j )에 의한 평균값 간의 차이 모듈러스(difference modulus)가 상기 Dev(B(LR i ,LR i+1 ))보다 큰 경우, 여기서 고려된 픽셀
    Figure pat00168
    은 비신뢰적인 것으로 고려되는 - 여기서, Dev(B(LR i ,LR i+1 ))은, 영보다 큰 값으로 곱해지고, 그룹 B(LR i ,LR i+1 )에 의한 공동으로 인정되는 분산을 설정함 -, 로컬 조도 불일치의 적응적 보상 방법.
  18. 제17항에 있어서,
    그룹 B(LR i ,LR i+1 ) 내의 픽셀값의 평균 편차 Dev(B(LR i ,LR i+1 ))는, 하기의 수학식 6으로 계산되는, 로컬 조도 불일치의 적응적 보상 방법.
    [수학식 6]
    Figure pat00169
  19. 제2항에 있어서,
    상기 프리셋 수치적 기준 및 이미 계산된 두 개의 추정 estD i,j 및 estR i,j 을 기초로 상기 참조 블록의 각 픽셀값의 가능한 변화를 추정하는 단계 - 상기 변화는, 계산된 수치적 기준값에 따라 필수적 또는 비필수적으로 결정됨 -
    를 더 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  20. 제19항에 있어서,
    상기 정정 파라미터는,
    상기 제1 estD i,j 및 상기 제2 estR i,j 이
    Figure pat00170
    에서의 등식(equality)을 만족하는 경우, 비필수적인 것으로 추정되는 - 상기 Qbits1 및
    Figure pat00171
    은, 음이 아닌 정수임 -, 로컬 조도 불일치의 적응적 보상 방법.
  21. 제19항에 있어서,
    상기 정정 파라미터는,
    상기 제1 estD i,j 및 상기 제2 estR i,j 이
    Figure pat00172
    에서의 등식을 만족하는 경우, 비필수적인 것으로 추정되는 - 상기 Qbits2 및
    Figure pat00173
    은, 음이 아닌 정수임 -, 로컬 조도 불일치의 적응적 보상 방법.
  22. 제19항에 있어서,
    상기 정정 파라미터는,
    상기 제1 estD i,j 및 상기 제2 estR i,j 이
    Figure pat00174
    에서의 부등식(inequality)을 만족하는 경우, 비필수적인 것으로 추정되는 - 상기
    Figure pat00175
    및
    Figure pat00176
    은, 프리셋 음이 아닌 숫자임 -, 로컬 조도 불일치의 적응적 보상 방법.
  23. 다시점 비디오 시퀀스의 인코딩 및 디코딩 동안 프리임간 인터 예측에서의 로컬 조도 불일치의 적응적 보상 방법 - 상기 적응적 보상 방법은, 컴퓨터 시스템에 의해 수행됨 -에 있어서,
    인코딩된 프레임에 속하는 인코딩된 현재 블록의 픽셀값 및 참조 프레임에 속하는 참조 블록의 픽셀값을 획득하는 단계;
    인코딩된 후 디코딩되어 복원된 픽셀값을 획득하는 단계 - 상기 인코딩된 후 디코딩되어 복원된 픽셀값은, 상기 인코딩된 프레임의 상기 현재 블록의 부근으로부터의 픽셀값 및 상기 참조 프레임의 상기 참조 블록의 부근으로부터의 픽셀값임 -;
    적어도 하나의 프리셋 기준에 의해 조도 변화를 정정하기 위한 정정 파라미터의 계산에 대해 비신뢰적인 것으로 추정되고, 상기 인코딩된 프레임의 상기 현재 블록의 부근 및 상기 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀을 고려에서 배제하는 단계;
    초기값을 고려하고, 신뢰적인 픽셀만을 이용하여 상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계; 및
    상기 참조 블록의 픽셀값의 변화를 추정하는 단계
    를 포함하고,
    만약 변화가 필수적인 것으로 추정되는 경우, 상기 참조 블록의 픽셀값의 정정은 상기 계산된 정정 파라미터를 이용하여 수행되는, 로컬 조도 불일치의 적응적 보상 방법.
  24. 제23항에 있어서,
    상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계는,
    상기 인코딩된 현재 프레임의 부근으로부터의 복원된 픽셀값 T D k 및 상기 참조 블록의 부근으로부터의 픽셀값 T R k 에 기초하여 적어도 하나의 제1 추정 estD 및 제2 추정 estR을 계산하는 단계; 및
    적어도 하나의 상기 제1 추정 estD 및 상기 제2 추정 estR을 기초로 상기 참조 블록의 모든 픽셀의 조도 변화를 정정하기 위한 정정 파라미터를 결정하는 단계
    를 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  25. 제24항에 있어서,
    상기 제1 추정 및 상기 제2 추정을 계산하는 단계는,
    상기 제1 추정에 대한 초기값 BaseD 및 상기 제2 추정에 대한 초기값 BaseR이 모두 음 또는 양이 아닌 정수가 되도록 상기 BaseD 및 상기 BaseR을 설정하는 단계;
    상기 제1 추정을
    Figure pat00177
    에 따라 계산하는 단계 - 여기서, T D k , k=0, …, N-1은, 상기 인코딩된 현재 블록의 특정된 인접 부근으로부터의 복원된 픽셀값이고, N은 상기 인코딩된 현재 블록의 프리셋 인접 부근 내의 픽셀 수임 -;
    상기 제2 추정을
    Figure pat00178
    에 따라 계산하는 단계 - 여기서, T R k , k=0, …, N-1은, 상기 참조 블록의 특정된 인접 부근으로부터의 픽셀값임 -; 및
    상기 조도 변화를 정정하기 위한 정정 파라미터는,
    만약 상기 BaseR이 영 값과 동일하면서 상기 제2 추정 estR 이 영이 아니고, 또는 상기 BaseR이 영 값과 동일하지 않은 경우,
    Figure pat00179
    비율에 따라 결정되고,
    상기 정정 파라미터
    Figure pat00180
    는,
    만약 상기 BaseR이 영 값과 동일하고 상기 제2 추정 estR이 영인 경우, 1로 설정되고,
    상기 정정 파라미터
    Figure pat00181
    가 1이 아닌 경우, 특정된 조도 변화를 정정하기 위한 정정 파라미터
    Figure pat00182
    에 대한 참조 블록의 각 픽셀값 R i,j 의 곱으로 상기 참조 블록의 조도 정정을 수행하는 단계
    를 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  26. 제23항에 있어서,
    상기 인코딩된 현재 블록의 부근을 인접하는 것으로 결정하여, 인코딩된 블록에 상기 인코딩된 현재 블록이 인접하고, 상기 인코딩된 현재 블록의 일부 픽셀이 이미 복원되는 단계;
    상기 참조 블록의 부근을 인접한 것으로 결정하여 상기 참조 블록, 이미 복원된 상기 참조 블록의 일부 픽셀, 상기 인코딩된 현재 블록의 집합 부근 내의 픽셀의 총 개수과 일치하는 픽셀 총 개수, 상기 참조 블록의 부근 픽셀과 상기 인코딩된 현재 블록의 부근 픽셀 사이에 인스톨된 일대일 관련성(one-to-one correspondence)을 둘러싸는 단계;
    Figure pat00183

    를 더 포함하는, 로컬 조도 불일치의 적응적 보상 방법.
  27. 제26항에 있어서,
    상기 인코딩된 현재 블록의 부근의 위치 및 상기 참조 블록의 부근의 위치는,
    인코딩된 프레임 및 참조 프레임 내의 적합한 블록(appropriate blocks)에 관한 부근 집합의 인접 할당(adjacent allocations) 대신 적응적으로 검출되는, 로컬 조도 불일치의 적응적 보상 방법.
  28. 제26항에 있어서,
    상기 프리셋 수치적 기준 및 이미 계산된 두 개의 추정 estD 및 estR 중 적어도 하나를 기초로 상기 참조 블록의 픽셀값의 가능한 변화를 추정하는 단계 - 상기 변화는, 상기 계산된 수치적 기준값에 따라 필수적 또는 비필수적으로 정의됨 -
    를 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  29. 제28항에 있어서,
    상기 정정 파라미터는,
    상기 제1 estD 및 상기 제2 estR이
    Figure pat00184
    에서의 등식을 만족하는 경우, 비필수적인 것으로 추정되는 - Qbits1 및
    Figure pat00185
    은, 음이 아닌 정수임 -, 로컬 조도 불일치의 적응적 보상 방법.
  30. 제28항에 있어서,
    상기 정정 파라미터는,
    상기 제1 estD 및 상기 제2 estR이
    Figure pat00186
    에서의 등식을 만족하는 경우, 비필수적인 것으로 추정되는 - Qbits2 및
    Figure pat00187
    은, 음이 아닌 정수임 -, 로컬 조도 불일치의 적응적 보상 방법.
  31. 제28항에 있어서,
    상기 정정 파라미터는,
    상기 제1 estD 및 상기 제2 estR이
    Figure pat00188
    에서의 부등식을 만족하는 경우, 비필수적인 것으로 추정되는 -
    Figure pat00189
    및
    Figure pat00190
    은, 음이 아닌 정수임 -, 로컬 조도 불일치의 적응적 보상 방법.
  32. 제23항에 있어서,
    상기 조도 변화를 정정하기 위한 정정 파라미터
    Figure pat00191
    는,
    각 픽셀값의 정정이 음이 아닌 정수의 각 픽셀값의 최소 곱으로 계산될 수 있도록 단순화하기 위해 음이 아닌 정수로 나타내는 - 상기 음이 아닌 정수는, 상기 참조 블록의 모든 픽셀 및 다른 프리셋 음이 아닌 정수로의 비트 변이(bit displacement)의 관점(view for)에서의 조도 변화를 정정하기 위한 정정 파라미터를 나타냄 -, 로컬 조도 불일치의 적응적 보상 방법.
  33. 제23항에 있어서,
    부등식
    Figure pat00192
    이 k=0, …, N-1에 대해 충족되지 않은 경우, 픽셀 T D k 및 T R k 을 비신뢰적인 것으로 추정하는 단계 - 상기 값 Thr1은, 프리셋 수치적 임계값임 -; 및
    비신뢰적인 것으로 추정된 픽셀 T D k 및 T R k 을 추가적 계산으로부터 배제하는 단계
    를 더 포함하는 로컬 조도 불일치의 적응적 보상 방법.
  34. 제23항에 있어서,
    상기 리샘플링 다운은,
    상기 현재 블록 및 참조 블록의 부근으로부터의 복원된 픽셀값을 획득함에 있어서 상기 프리셋 템플릿을 통해 수행되는, 로컬 조도 불일치의 적응적 보상 방법.
  35. 프레임간 인터 예측에서의 로컬 조도 불일치의 적응적 보상을 기초하는 다시점 비디오 시퀀스 인코딩 방법에 있어서 - 인코딩된 프레임은 중복되지 않는 픽셀 영역의 집합으로 나타나고, 현재 코딩 유닛에 나타나고, 상기 다시점 비디오 시퀀스 인코딩 방법은 컴퓨터 시스템에 의해 수행됨 -,
    상기 현재 코딩 유닛에 속하는 인코딩된 현재 블록을 선택하는 단계;
    상기 인코딩된 현재 블록에 대해 블록 예측의 생성에 이용되는 적어도 하나의 참조 블록을 결정하는 단계 - 픽셀은, 완전히 이미 인코딩되고 디코딩됨 -;
    상기 참조 블록의 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계;
    특정된 상기 조도 변화를 정정하기 위한 정정 파라미터를 기초로 상기 참조 블록의 모든 픽셀값을 조정하는 조도 정정을 수행하는 단계;
    상기 정정된 참조 블록을 이용하여 상기 인코딩된 현재 블록의 블록 예측을 생성하는 단계; 및
    상기 생성된 블록 예측을 통해 현재 블록을 디코딩하는 단계
    를 포함하고,
    상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계 및 상기 조도 정정을 수행하는 단계는,
    인코딩된 후 디코딩되어 복원된 픽셀값을 획득하는 단계 - 상기 인코딩된 후 디코딩되어 복원된 픽셀값은, 상기 인코딩된 프레임의 상기 현재 블록의 부근으로부터의 값 및 상기 참조 프레임의 상기 참조 블록의 부근으로부터의 픽셀값임 -;
    적어도 하나의 프리셋 기준에 의한 상기 조도 변화를 정정하기 위한 정정 파라미터의 계산에 대해 비신뢰적인 것으로 추정되고, 상기 인코딩된 프레임의 상기 현재 블록의 부근 및 상기 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀을 고려에서 배제하는 단계;
    초기값을 고려하고 신뢰적인 픽셀만을 이용하여 상기 조도 변화를 정정하기 위한 정정 파라미터 값을 계산하는 단계; 및
    상기 참조 블록의 픽셀값의 변화를 추정하는 단계
    를 포함하고,
    만약 변화가 필수적인 것으로 추정되는 경우, 상기 참조 블록의 픽셀값의 정정은 상기 계산된 정정 파라미터를 이용하여 수행되는, 다시점 비디오 시퀀스 인코딩 방법.
  36. 제35항에 있어서,
    상기 현재 코딩 유닛에 속하는 상기 인코딩된 현재 블록을 선택하는 단계는,
    상기 인코딩된 현재 블록의 사이즈, 상대적 할당 및 상기 인코딩된 현재 블록과 상기 참조 블록의 부근의 사이즈를 결정하고,
    상기 인코딩된 현재 블록의 픽셀은, 상기 현재 코딩 유닛의 디코딩 파라미터를 기초로 정정 파라미터의 계산에 이용되는, 다시점 비디오 시퀀스 인코딩 방법.
  37. 제36항에 있어서,
    상기 인코딩된 현재 블록의 사이즈, 상대적 할당 및 상기 인코딩된 현재 블록과 상기 참조 블록의 부근의 사이즈는, 적용된 비상관 변환(applied decorrelated conversion)의 타입에 기인하여 결정되고,
    상기 참조 블록의 픽셀은, 상기 현재 코딩 유닛의 디코딩 파라미터를 기초로 정정 파라미터의 계산에 이용되는, 다시점 비디오 시퀀스 인코딩 방법.
  38. 제36항에 있어서,
    상기 인코딩된 현재 블록의 사이즈는,
    별개의 모션 벡터(separate motion vectors)를 가지는 서브블록 내로 현재 코딩 유닛의 프리셋 분할(preset division)을 기초로 결정되는, 다시점 비디오 시퀀스 인코딩 방법.
  39. 제36항에 있어서,
    상기 인코딩된 현재 블록의 사이즈는,
    상기 현재 코딩 유닛에 속하는 서브블록의 사이즈보다 작고, 별개의 모션 벡터를 가지는, 다시점 비디오 시퀀스 인코딩 방법.
  40. 제35항에 있어서,
    상기 인코딩된 현재 블록의 사이즈는,
    명백히 결정되고, 현재 코딩 유닛에 속하는 상기 인코딩된 현재 블록의 선택에서의 스트림 내에 인코딩되는, 다시점 비디오 시퀀스 인코딩 방법.
  41. 제35항에 있어서,
    하나의 참조 프레임만이 모든 참조 프레임 중에서 선택되고, 상기 인코딩된 현재 블록에 대한 블록 예측의 생성에 이용되고, 상기 참조 블록의 검출에서의 미리 결정된 규칙에 의해 상기 참조 블록의 탐색에 이용되는 - 상기 선택된 참조 프레임에 대한 정보는, 인코딩되지 않음 -, 다시점 비디오 시퀀스 인코딩 방법.
  42. 제41항에 있어서,
    상기 하나의 참조 프레임의 선택에서의 상기 합성된 프레임은,
    인코딩된 프레임으로 같은 타임 태그의 현재 단축(current foreshortening)에 대해 선택되는, 다시점 비디오 시퀀스 인코딩 방법.
  43. 제41항에 있어서,
    상기 하나의 참조 프레임의 선택에서의 상기 참조 프레임은,
    인접 단축(adjacent foreshortenings) 중 하나에 속하고, 인코딩된 프레임으로 같은 타임 태그를 가지도록 선택되는, 다시점 비디오 시퀀스 인코딩 방법.
  44. 제35항에 있어서,
    상기 인코딩된 현재 블록에 대해 상기 블록 예측의 생성에 이용되는 상기 참조 블록을 검출하는 단계는,
    상기 인코딩된 현재 블록 및 상기 참조 블록-후보의 조도의 평균 레벨에서의 불일치를 추가적으로 고려하는 유사도 함수에 기초하여 모션 벡터를 검출하는, 다시점 비디오 시퀀스 인코딩 방법.
  45. 제44항에 있어서,
    상기 모션 벡터 검출에서의 상기 유사도 함수는,
    상기 인코딩된 현재 블록 및 상기 참조 블록을 서브블록으로 분할하고 - 상기 서브블록의 사이즈는, 상기 인코딩된 현재 블록 및 상기 참조 블록의 사이즈를 초과하지 않음 -,
    상기 인코딩된 현재 블록 및 상기 참조 블록의 각 서브블록에 대해 조도의 평균 레벨을 계산하고,
    상기 인코딩된 현재 블록 및 상기 참조 블록의 각 서브블록을 조정하고, 이러한 조정을 위해 각 서브블록의 픽셀에서 대응되는 조도의 평균 레벨을 감산하고,
    상기 정정된 참조 블록 및 정정된 인코딩된 현재 블록의 절대차의 합을 계산하고,
    상기 참조 블록 및 상기 인코딩된 현재 블록의 모든 서브블록의 평균 레벨에 대한 절대차의 합을 계산하고,
    제1 음이 아닌 숫자의 곱, 상기 정정된 블록의 절대차의 합, 제2 음이 아닌 숫자의 곱 및 상기 서브블록의 평균 레벨의 절대차의 합으로 유사도 메트릭스를 계산함으로써, 계산되는, 다시점 비디오 시퀀스 인코딩 방법.
  46. 제35항에 있어서,
    상기 참조 블록은,
    변이 벡터를 통해 검출되고,
    상기 변이 벡터 및 상기 변이 벡터의 예측 간의 가능한 가장 큰 거리는,
    상기 변이 벡터의 수평 컴포넌트 및 상기 변이 벡터의 예측의 차로 제한되고, 수평 투영(horizontal projection)이라 하며,
    상기 변이 벡터의 수직 컴포넌트 및 상기 변이 벡터의 예측의 차이는,
    변이의 수직 투영(vertical projection)이라 하고, 다양한 제한을 가지는, 다시점 비디오 시퀀스 인코딩 방법.
  47. 제46항에 있어서,
    상기 수직 투영의 제한은,
    상기 수평 투영 및 상기 수직 투영에 대한 제한의 결정에서의 수평 투영에 대한 제한을 초과하지 않는, 다시점 비디오 시퀀스 인코딩 방법.
  48. 제35항에 있어서,
    상기 생성된 블록 예측을 통한 상기 현재 블록의 인코딩에 있어서, 상기 인코딩된 현재 블록이 속하는 상기 현재 코딩 유닛에 대한 추가적 구문 요소(additional syntactic element)는, 인코딩되고,
    상기 구문 요소 값은, 상기 현재 코딩 유닛의 참조 블록의 픽셀값의 변화가 필수적인지 또는 비필수적인지 결정하는, 다시점 비디오 시퀀스 인코딩 방법.
  49. 제35항에 있어서,
    상기 생성된 블록 예측을 통해 상기 현재 블록의 인코딩에서, 상기 현재 코딩 유닛의 각 서브블록에 대한 하나의 추가적 구문 요소는, 인코딩되고 - 상기 하나의 추가적 구문 요소는, 주어진 현재 코딩 유닛 내의 참조 프레임의 고유 인덱스(unique index)를 가짐 -,
    상기 구문 요소의 값은, 상기 참조 블록의 픽셀값의 변화가 필수적인지 또는 비필수적인지 결정하는, 다시점 비디오 시퀀스 인코딩 방법.
  50. 제35항에 있어서,
    상기 인코딩된 블록에 속하는 현재 코딩 유닛에 대해서 생성된 블록 예측을 통한 상기 현재 블록의 인코딩에 있어서, 추가적 구문 요소는,
    인코딩되고,
    상기 추가적 구문 요소값은,
    수행된 상기 참조 블록의 픽셀값을 정정하는 방법, 조도 변화를 정정하는 정정 파라미터를 계산하는 방법 및 상기 참조 블록의 픽셀값을 정정하는 방법에 적응된 모션 벡터의 예측이 사용되는 상기 참조 블록의 검출에 있어서의 인코딩된 추가적 구문 요소값 및
    수행되지 않은 조도 변화를 정정하는 정정 파라미터를 계산하는 방법 및 상기 참조 블록의 픽셀값을 정정하는 방법에 적응된 모션 벡터의 일반적인 예측이 사용되는 상기 참조 블록의 검출에 있어서의 인코딩된 추가적 구문 요소값을 포함하는, 다시점 비디오 시퀀스 인코딩 방법.
  51. 제50항에 있어서,
    상기 참조 블록의 픽셀값을 정정하는 방법에 조절된 상기 모션 벡터의 예측은,
    인접 시점(adjacent view)의 참조 프레임에서만 수행되는, 다시점 비디오 시퀀스 인코딩 방법.
  52. 제51항에 있어서,
    상기 모션 벡터의 예측은,
    기 인코딩된 깊이맵의 활용과 함께 전에 발견된 인접 시점의 참조 프레임을 가리키는 모션 벡터를 이용하여 수행되는, 다시점 비디오 시퀀스 인코딩 방법.
  53. 제35항에 있어서,
    상기 계산된 조도 변화를 정정하기 위한 정정 파라미터는,
    상기 현재 블록의 인코딩에 있어서, 인코딩되지 않은, 다시점 비디오 시퀀스 인코딩 방법.
  54. 제35항에 있어서,
    조도 변화의 추가적 정정 파라미터는,
    상기 참조 블록의 픽셀값 및 상기 인코딩된 현재 블록의 픽셀값을 기초로 계산되고, 상기 참조 블록의 픽셀값의 정정에 이용되고,
    상기 현재 블록의 인코딩에 있어서, 상기 조도 변화의 추가적 정정 파라미터는,
    상기 조도 변화를 정정하기 위한 정정 파라미터를 활용하여 인코딩되고, 상기 인코딩된 현재 블록의 부근으로부터의 복원된 픽셀값 및 상기 참조 블록의 부근으로부터의 복원된 픽셀값을 기초로 계산되는, 다시점 비디오 시퀀스 인코딩 방법.
  55. 프레임간 인터 예측에서의 로컬 조도 불일치의 적응적 보상을 기초하는 다시점 비디오 시퀀스 디코딩 방법에 있어서 - 디코딩된 프레임은 중복되지 않는 픽셀 영역의 집합으로 나타나고, 현재 코딩 유닛에 나타나고, 상기 다시점 비디오 시퀀스 디코딩 방법은 컴퓨터 시스템에 의해 수행됨 -,
    상기 현재 코딩 유닛에 속하는 디코딩된 현재 블록을 선택하는 단계;
    상기 디코딩된 현재 블록에 대한 상기 참조 블록을 결정하는 단계;
    상기 결정된 참조 블록의 조도 변화의 정정 파라미터를 계산하는 단계;
    상기 조도 변화를 정정하기 위한 정정 파라미터를 기초로 상기 참조 블록의 모든 픽셀값을 조정함으로써 조도 정정을 수행하는 단계;
    상기 정정된 참조 블록을 이용하여 상기 디코딩된 현재 블록에 대한 블록 예측을 생성하는 단계; 및
    상기 생성된 블록 예측을 통해 상기 현재 블록을 디코딩하는 단계
    를 포함하고,
    상기 조도 변화를 정정하기 위한 정정 파라미터를 계산하는 단계 및 상기 조도 정정을 수행하는 단계는,
    인코딩된 후 디코딩되어 복원된 픽셀값을 획득하는 단계 - 상기 인코딩된 후 디코딩되어 복원된 픽셀값은, 상기 디코딩된 프레임의 상기 현재 블록의 부근으로부터의 픽셀값 및 상기 참조 프레임의 상기 참조 블록의 부근으로부터의 픽셀값임 -;
    적어도 하나의 프리셋 기준에 의해 상기 조도 변화를 정정하기 위한 정정 파라미터의 계산에 대해 비신뢰적인 것으로 추정되고, 상기 디코딩된 현재 블록의 부근 및 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀을 고려에서 배제하는 단계;
    초기값을 고려하고 발견된 수치적 비율을 기초로 조도 변화를 정정하기 위한 정정 파라미터의 값을 계산하는 단계; 및
    만약 상기 참조 블록의 픽셀값의 변화가 필수적인 것으로 추정되는 경우, 상기 계산된 정정 파라미터를 이용하여 상기 참조 블록의 픽셀값의 정정을 수행하는 단계
    를 포함하는 다시점 비디오 시퀀스 디코딩 방법.
  56. 제55항에 있어서,
    상기 현재 코딩 유닛에 속하는 상기 디코딩된 현재 블록을 선택하는 단계에서,
    상기 디코딩된 현재 블록의 사이즈, 상대적 할당 및 상기 디코딩된 현재 블록과 상기 참조 블록의 부근의 사이즈는 결정되고,
    픽셀은, 상기 현재 코딩 유닛의 디코딩 파라미터를 기초로 상기 정정 파라미터의 계산에 이용되는, 다시점 비디오 시퀀스 디코딩 방법.
  57. 제56항에 있어서,
    상기 디코딩된 현재 블록의 사이즈, 상대적 할당 및 상기 디코딩된 현재 블록과 상기 참조 블록의 부근의 사이즈는, 적용된 비상관 변환의 타입에 기인하여 결정되고,
    상기 픽셀은, 상기 정정 파라미터의 계산에 이용되는, 다시점 비디오 시퀀스 디코딩 방법.
  58. 제56항에 있어서,
    상기 디코딩된 현재 블록의 사이즈는,
    별개의 모션 벡터를 가지는 서브블록 내로 현재 코딩 유닛의 프리셋 분할을 기초로 검출되는, 다시점 비디오 시퀀스 디코딩 방법.
  59. 제56항에 있어서,
    상기 디코딩된 현재 블록의 사이즈는,
    상기 현재 코딩 유닛에 속하는 서브블록의 사이즈보다 작고, 별개의 모션 벡터를 가지는, 다시점 비디오 시퀀스 디코딩 방법.
  60. 제55항에 있어서,
    상기 현재 코딩 유닛에 속하는 상기 디코딩된 현재 블록을 선택하는 단계에서,
    상기 디코딩된 현재 블록의 사이즈는, 입력 비트 스트림으로부터의 디코딩된 정보를 기초로 결정되는, 다시점 비디오 시퀀스 디코딩 방법.
  61. 제35항에 있어서,
    상기 참조 블록의 검출에서의 상기 미리 결정된 규칙에 의해 하나의 참조 프레임만이 모든 참조 프레임 중에서 선택되고, 상기 디코딩된 현재 블록에 대한 블록 예측의 생성에 이용되는 - 상기 선택된 참조 프레임에 대한 정보는, 입력 비트 스트림에 포함되지 않음 -, 다시점 비디오 시퀀스 디코딩 방법.
  62. 제61항에 있어서,
    상기 참조 프레임을 선택하는 단계에서,
    합성된 프레임은, 인코딩된 프레임으로 같은 타임 태그의 현재 단축에 대해 선택되는, 다시점 비디오 시퀀스 디코딩 방법.
  63. 제61항에 있어서,
    상기 참조 프레임을 선택하는 단계에서,
    상기 참조 프레임은, 인접 단축 중 하나에 속하고, 인코딩된 프레임으로 같은 타임 태그를 가지도록 선택되는, 다시점 비디오 시퀀스 디코딩 방법.
  64. 제55항에 있어서,
    상기 생성된 블록 예측을 통해 상기 현재 블록을 디코딩하는 단계에서,
    상기 디코딩된 현재 블록이 속하는 상기 현재 코딩 유닛에 대한 추가적 구문 요소는, 디코딩되고,
    상기 구문 요소의 값은, 상기 현재 코딩 유닛의 참조 블록의 픽셀값의 변화가 필수적인지 또는 비필수적인지 정의하는, 다시점 비디오 시퀀스 디코딩 방법.
  65. 제55항에 있어서,
    상기 생성된 블록 예측을 통해 상기 현재 블록을 디코딩하는 단계에서,
    상기 현재 코딩 유닛의 각 서브블록에 대한 하나의 추가적 구문 요소는, 디코딩되고 - 상기 하나의 추가적 구문 요소는, 주어진 현재 코딩 유닛 내의 참조 프레임의 고유 인덱스를 가짐 -,
    상기 구문 요소의 값은, 상기 참조 블록의 픽셀값의 변화가 필수적인지 또는 비필수적인지 정의하는, 다시점 비디오 시퀀스 디코딩 방법.
  66. 제55항에 있어서,
    상기 현재 인코딩 블록이 속하는 상기 현재 코딩 유닛에 대한 생성된 블록 예측을 통해 상기 현재 블록을 디코딩하는 단계에서,
    추가적 구문 요소는,
    디코딩되고 - 추가적 구문 요소값은 최소로 두 개의 값을 수용함 -,
    상기 추가적 구문 요소값은,
    수행된 상기 참조 블록의 픽셀값을 정정하는 방법, 조도 변화를 정정하는 정정 파라미터를 계산하는 방법 및 상기 참조 블록의 픽셀값을 정정하는 방법에 적응된 모션 벡터의 예측이 사용되는 상기 참조 블록의 검출에 있어서의 디코딩된 추가적 구문 요소값 및
    수행되지 않은 조도 변화를 정정하는 정정 파라미터를 게산하는 방법 및 상기 참조 블록의 픽셀값을 정정하는 방법에 적응된 모션 벡터의 일반적인 예측이 사용되는 상기 참조 블록의 검출에 있어서의 디코딩된 추가적 구문 요소값을 포함하는, 다시점 비디오 시퀀스 디코딩 방법.
  67. 제66항에 있어서,
    상기 참조 블록의 픽셀값을 정정하는 방법에 조절된 상기 모션 벡터의 예측은,
    인접 시점의 참조 프레임에서만 수행되는, 다시점 비디오 시퀀스 디코딩 방법.
  68. 제66항에 있어서,
    상기 모션 벡터의 예측은,
    기 인코딩된 깊이맵의 활용과 함께 전에 발견된 인접 시점의 참조 프레임을 가리키는 모션 벡터를 이용하여 수행되는, 다시점 비디오 시퀀스 디코딩 방법.
  69. 제55항에 있어서,
    상기 현재 블록을 디코딩하는 단계에서,
    상기 조도 변화를 정정하기 위한 정정 파라미터에 대한 정보는, 입력 비트 스트림 내에 포함되지 않는, 다시점 비디오 시퀀스 디코딩 방법.
  70. 제55항에 있어서,
    상기 현재 블록을 디코딩하는 단계에서,
    입력 비트 스트림 내에 위치하는 조도 변화의 추가적 정정 파라미터는 상기 조도 변화를 정정하기 위한 정정 파라미터의 활용과 함께 디코딩되고, 상기 인코딩된 현재 블록의 부근으로부터의 복원된 픽셀값 및 상기 참조 블록의 부근으로부터의 복원된 픽셀값을 기초로 계산되는, 다시점 비디오 시퀀스 디코딩 방법.
  71. 프레임간 인터 예측에서의 로컬 조도 불일치의 적응적 보상을 기초하는 다시점 비디오 시퀀스 디코딩 방법에 있어서 - 디코딩된 프레임은 중복되지 않는 픽셀 영역의 집합으로 나타나고, 현재 코딩 유닛에 의해 명명(name)되고, 상기 다시점 비디오 시퀀스 디코딩 방법은 컴퓨터 시스템에 의해 수행됨 -,
    상기 현재 코딩 유닛에 속하는 디코딩된 현재 블록을 선택하는 단계;
    상기 디코딩된 현재 블록에 대한 상기 참조 블록을 결정하는 단계;
    상기 결정된 참조 블록의 조도 변화의 정정 파라미터를 계산하는 단계;
    상기 계산된 조도 변화를 정정하기 위한 정정 파라미터를 기초로 상기 참조 블록의 모든 픽셀값을 조정함으로써 조도 정정을 수행하는 단계;
    상기 정정된 참조 블록을 이용하여 상기 디코딩된 현재 블록에 대한 블록 예측을 생성하는 단계; 및
    상기 생성된 블록 예측을 통해 상기 현재 블록을 디코딩하는 단계
    를 포함하고,
    상기 조도 변화를 정정하기 위한 정정 파라미터를 결정하는 단계 및 상기 조도 정정을 수행하는 단계는,
    인코딩된 후 디코딩되어 복원된 픽셀값을 획득하는 단계 - 상기 인코딩된 후 디코딩되어 복원된 픽셀값은, 상기 디코딩된 프레임의 상기 현재 블록의 부근으로부터의 픽셀값 및 상기 참조 프레임의 상기 참조 블록의 부근으로부터의 픽셀값임 -;
    적어도 하나의 프리셋 기준에 의해 상기 조도 변화를 정정하기 위한 정정 파라미터의 계산에 대해 비신뢰적인 것으로 추정되고, 상기 디코딩된 현재 블록의 부근 및 참조 프레임의 상기 참조 블록의 부근에 속하는 픽셀을 고려에서 배제하는 단계;
    상기 참조 블록의 픽셀 간의 수치적 비율을 결정하는 단계 - 상기 참조 블록의 픽셀은, 인코딩된 현재 블록 부근으로부터의 신뢰적인 픽셀 및 참조 블록 부근으로부터 신뢰적인 픽셀을 포함함 -;
    초기값을 고려하여 발견된 수치적 비율을 기초로 상기 조도 변화를 정정하기 위한 정정 파라미터 값을 계산하는 단계; 및
    만약 상기 참조 블록의 픽셀값의 변화가 필수적인 것으로 추정되는 경우, 상기 계산된 정정 파라미터를 이용하여 상기 참조 블록의 픽셀값의 정정을 수행하는 단계
    를 포함하는, 다시점 비디오 시퀀스 디코딩 방법.
KR1020130140504A 2012-12-26 2013-11-19 프레임간 인터 예측에서 로컬 조도 불일치의 적응적 보상을 기초로 다시점 비디오 시퀀스를 인코딩/디코딩하는 방법 KR102257886B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/140,183 US9615089B2 (en) 2012-12-26 2013-12-24 Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2012157008/08A RU2533852C2 (ru) 2012-12-26 2012-12-26 Способ кодирования/декодирования многоракурсной видеопоследовательности на основе адаптивной компенсации локальных различий яркости при межкадровом предсказании (варианты)
RU2012157008 2012-12-26

Publications (2)

Publication Number Publication Date
KR20140085300A true KR20140085300A (ko) 2014-07-07
KR102257886B1 KR102257886B1 (ko) 2021-05-28

Family

ID=51215476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130140504A KR102257886B1 (ko) 2012-12-26 2013-11-19 프레임간 인터 예측에서 로컬 조도 불일치의 적응적 보상을 기초로 다시점 비디오 시퀀스를 인코딩/디코딩하는 방법

Country Status (2)

Country Link
KR (1) KR102257886B1 (ko)
RU (1) RU2533852C2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194498A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN111526362A (zh) * 2019-02-01 2020-08-11 华为技术有限公司 帧间预测方法和装置
CN112673631A (zh) * 2018-09-28 2021-04-16 Ati科技无限责任公司 利用运动矢量进行空间块级像素活动提取优化

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
EP3304914A4 (en) * 2015-06-05 2019-03-13 Telefonaktiebolaget LM Ericsson (publ) ENCODING A PIXEL OF AN INPUT VIDEO SEQUENCE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080050114A (ko) * 2006-12-01 2008-06-05 삼성전자주식회사 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화 방법 및 그 장치
KR20080064777A (ko) * 2008-06-02 2008-07-09 삼성전자주식회사 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화방법 및 그 장치
KR20080108774A (ko) * 2007-06-11 2008-12-16 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
WO2009084340A1 (ja) * 2007-12-28 2009-07-09 Sharp Kabushiki Kaisha 動画像符号化装置、および、動画像復号装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
EP1772017A2 (en) * 2004-07-20 2007-04-11 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
CN101697591A (zh) * 2005-03-10 2010-04-21 高通股份有限公司 用于多媒体处理的内容分类
KR100716999B1 (ko) * 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
WO2008084423A1 (en) * 2007-01-08 2008-07-17 Nokia Corporation Improved inter-layer prediction for extended spatial scalability in video coding
JP4707118B2 (ja) * 2007-03-28 2011-06-22 株式会社Ｋｄｄｉ研究所 動画像符号化装置および動画像復号装置のイントラ予測方式
US9161058B2 (en) * 2010-03-27 2015-10-13 Texas Instruments Incorporated Method and system for detecting global brightness change for weighted prediction in video encoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080050114A (ko) * 2006-12-01 2008-06-05 삼성전자주식회사 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화 방법 및 그 장치
KR20080108774A (ko) * 2007-06-11 2008-12-16 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
WO2009084340A1 (ja) * 2007-12-28 2009-07-09 Sharp Kabushiki Kaisha 動画像符号化装置、および、動画像復号装置
KR20080064777A (ko) * 2008-06-02 2008-07-09 삼성전자주식회사 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화방법 및 그 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194498A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN112673631A (zh) * 2018-09-28 2021-04-16 Ati科技无限责任公司 利用运动矢量进行空间块级像素活动提取优化
CN111526362A (zh) * 2019-02-01 2020-08-11 华为技术有限公司 帧间预测方法和装置
CN111526362B (zh) * 2019-02-01 2023-12-29 华为技术有限公司 帧间预测方法和装置

Also Published As

Publication number Publication date
RU2533852C2 (ru) 2014-11-20
KR102257886B1 (ko) 2021-05-28
RU2012157008A (ru) 2014-07-10

Similar Documents

Publication Publication Date Title
US11546627B2 (en) Moving picture decoding method and moving picture encoding method
RU2510944C2 (ru) Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
JP4898467B2 (ja) 可変ブロックサイズ動き予測のための符号化モードの決定方法及び装置
US8705611B2 (en) Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
US8554001B2 (en) Image encoding/decoding system using graph based pixel prediction and encoding system and method
KR101524394B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치 및 컴퓨터 판독가능한 저장 매체
US9615089B2 (en) Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
US20150016521A1 (en) Video encoder for images
US20060133481A1 (en) Image coding control method and device
US8204118B2 (en) Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
US8396130B2 (en) Motion vector search method and apparatus, program therefor, and storage medium which stores the program
KR20140085300A (ko) 프레임간 인터 예측에서 로컬 조도 불일치의 적응적 보상을 기초로 다시점 비디오 시퀀스를 인코딩/디코딩하는 방법
CN117812270A (zh) 编码器、解码器及对应方法
JP2006245932A (ja) 動画像処理装置、動画像処理方法、及び動画像処理プログラム
CN114586366A (zh) 帧间预测方法、编码器、解码器及存储介质
JPH1169359A (ja) 輪郭線動き推定方法及び装置
CN111010583B (zh) 一种基于残差分块的自适应多视点视频错误隐藏方法
CN113347417B (zh) 提高率失真优化计算效率的方法、装置、设备及存储介质
CN116250232A (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
WO2024055155A1 (zh) 一种编解码方法、装置、编码器、解码器及存储介质
CN115883825A (zh) 视频处理方法、装置、电子设备及存储介质
JP2014068368A (ja) 動画像復号化方法
WO2023229632A1 (en) Method and apparatus for asymmetric blending of predictions of partitioned pictures
CN116309895A (zh) 一种点云数据处理方法、装置及设备
KR20130105402A (ko) 추가의 비트 레이트 오버헤드 없이 참조 블록의 로컬 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 코딩 및 디코딩 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant