KR20150034213A - 추가 파라미터들(변형들)의 전송 없이, 참조 프레임들의 적응적 국부 조명 보정에 기반한, 멀티-뷰 비디오 시퀀스 코딩/디코딩 방법 - Google Patents

추가 파라미터들(변형들)의 전송 없이, 참조 프레임들의 적응적 국부 조명 보정에 기반한, 멀티-뷰 비디오 시퀀스 코딩/디코딩 방법 Download PDF

Info

Publication number
KR20150034213A
KR20150034213A KR20157002269A KR20157002269A KR20150034213A KR 20150034213 A KR20150034213 A KR 20150034213A KR 20157002269 A KR20157002269 A KR 20157002269A KR 20157002269 A KR20157002269 A KR 20157002269A KR 20150034213 A KR20150034213 A KR 20150034213A
Authority
KR
South Korea
Prior art keywords
block
reference block
pixels
rti
illumination
Prior art date
Application number
KR20157002269A
Other languages
English (en)
Inventor
이고르 밀로노비치 코블리가
알렉세이 미하일로비치 파르투코브
미하일 나우모비치 미쇼로브스키
미하일 세르기비치 두브코브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20150034213A publication Critical patent/KR20150034213A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

멀티-뷰 비디오 시퀀스 인코딩에 대해, 참조 프레임의 조명 변화의 적응적 국부 보정 (adaptive local correction of illumination change) 방법을 포함하는 디지털 신호 처리 방법이 제공되고, 다음의 단계들을 포함한다:
현재 디코딩되는 블록에 이웃하는 픽셀들 및 참조 블록에 이웃하는 픽셀들을 이용하여 조명 보정 파라미터를 계산하는 단계; 조명 보정 파라미터를 이용하여 참조 블록에 대한 조명 보정을 수행하는 단계; 조명-보정된 참조를 이용하여 현재 디코딩되는 블록을 디코딩하는 단계.

Description

추가 파라미터들(변형들)의 전송 없이, 참조 프레임들의 적응적 국부 조명 보정에 기반한, 멀티-뷰 비디오 시퀀스 코딩/디코딩 방법{METHOD OF MULTI-VIEW VIDEO SEQUENCE CODING/DECODING BASED ON ADAPTIVE LOCAL CORRECTION OF ILLUMINATION OF REFERENCE FRAMES WITHOUT TRANSMISSION OF ADDITIONAL PARAMETERS (VARIANTS)}
실시예들은 디지털 신호 처리, 보다 구체적으로 멀티-뷰 비디오 시퀀스의 프레임들(frames of multi-view video sequence) 사이에 나타날 수 있는 조명 차이(differences in illumination)의 보정 방법(methods of corrections)에 관한 것이다. 실시예들은 멀티-뷰 비디오 시퀀스들(multi-view video sequences)의 코딩 및 디코딩에 이용될 수 있다.
본 출원은 2012년 7월 3일, 러시아 특허청에 제출된 러시아 출원 제2012127528호의 우선권의 이익을 주장하고, 개시내용은 본원에서 참조로 인용된다.
멀티-뷰 비디오 시퀀스에 적용되는 종래 기술의 방법들 중 알려진 하나는, 인접 뷰들(adjacent views)(관점들(perspectives))로부터의 프레임들, 및 또한 깊이 맵들(depth maps) 및 인접 뷰들(관점들)로부터의 프레임들로 합성된(synthesized) 프레임들의 이용으로 귀결된다. 이러한 프레임들은 예측 코딩(predictive coding)에 대한 참조 프레임들(reference frames)로 행동한다(예를 들면, Yea, S.; Vetro, A., <<멀티뷰 비디오 코딩에 대한 뷰 합성 예측(View Synthesis Prediction for Multiview Video Coding)>>, Image Communication, ISSN: 0923-5965, Vol. 24, Issue 1-2, pp. 89-100, 2009년 1월). 여기에서, 참조 프레임들의 어느 하나에 관하여 현재 프레임의 객체(object)의 가능한 변위(displacement)가 보상(compensated)된다. 용어(term)<<변위>>는 객체의 모션(motion)을 의미하거나, 합성된 프레임 또는 인접 뷰들(관점들)로부터의 프레임들, 및 현재 코딩되는 프레임(currently coded frame)사이의 객체의 위치 차이를 의미한다. 지정된(specified) 변위 보상의 결과는 인터-프레임(inter-frame) 차이 최소화이다. 이때 수신된 인터-프레임 차이는 코딩되고(예를 들면, 엔트로피 코더(entropy coder)에 의한 코딩, 양자화(quantization), 및 역상관 변환(decorrelated transformation)의 적용에 의함), 출력 비트 스트림(output bit stream)에 배치(placed)된다.
멀티-뷰 비디오 시퀀스들 캡쳐링(capturing)에 이용되는 카메라의 파라미터들의 차이들 및 또한 카메라 캡쳐링의 객체들로부터 오는 광속(light flux)의 차이는 관점들의 차이(difference perspectives)에 따른 프레임들 사이 조명(illumination)의 국부적 차이들(local differences)을 가져온다. 또한, 지정된 조명 차이들은 합성된 프레임들 특성들에 영향을 미친다. 이는 인코딩 효율에 부정적으로 영향을 미치는 인터-프레임 차이의 절대 값(absolute values)들의 증가를 가져올 수 있다.
상술한 문제를 해결하기 위해, H.264 표준(ITU-T Rec. H.264. 일반적인 시청각 서비스에 대한 고급 비디오 코딩(Advanced video coding for generic audiovisual services). 2010)은, 이미지 페이드-업(fade-up) 및 페이드-다운(fade-down), 플리커링(flickering) 또는 장면 변화(scene change)의 효과들이 충족되는, 단일-뷰(one-view)(단일-관점) 비디오 시퀀스들의 효과적인 코딩을 위해 원래 개발된, 가중 예측(weighted prediction) 기술을 이용한다. 가중 예측 기술은, 매크로 블록 레벨(macro block level)에서, 코딩되는 프레임 및 참조 프레임들 사이의 조명 차이를 억제(suppress)하는 것을 허용한다. 여기서, 가중 팩터들(factors)은 특정 슬라이스(slice)의 모든 매크로 블록들에 대해 동일하다. 가중 팩터들은 코딩동안에 결정되고 출력 비트 스트림에 저장될 수 있고(<<명시적(explicit)>> 가중 예측), 또는 인코딩/디코딩 동안에 계산될 수 있다(<<암시적(implicit)>> 가중 예측). 그러나, 멀티-뷰 비디오 시퀀스들의 경우에는, 이 기술을 비효율적으로 만드는 국부 조명 및/또는 콘트라스트 변화들이 존재한다.
이 문제를 해결하기 위한 또 다른 접근법은, 미국 특허 제7,924,923호 - 조명 변화에 적응적인, 모션 추정 및 보상 방법 및 장치(Motion Estimation and Compensation Method and Device Adaptive to Change in Illumination). 2011년 4월. - 에서 논의된, 조명 차이의 적응적(adaptive) 블록-와이즈(block-wise) 보정이다. 이 접근법을 구현하는 방법들 중 하나는 멀티-뷰 비디오 시퀀스들에 대한 원-스텝(one-step) 아핀(affine) 조명 보정 방법(멀티뷰 원-스텝 아핀 조명 보상(Multiview One-Step Affine Illumination Compensation; MOSAIC)이고, - Y. Lee, J. Hur, Y. Lee, R. Han, S. Cho, N. Hur, J. Kim, J. Kim, P. Lai, A. Ortega, Y. Su, P. Yin 및 C. Gomila. CE11: ISO/IEC MPEG 및 ITU-T VCEG의 조명 보상. 공동 비디오 팀(Joint Video Team; JVT) JVT-U052, 2006년 10월. 및 J. H. Kim, P. Lai, J. Lopez, A. Ortega, Y. Su, P. Yin, 및 C. Gomila. 멀티 뷰 코딩의 조명 및 초점 부정합 보상을 위한 새로운 코딩 툴들(New coding tools for illumination and focus mismatch compensation in multiview video coding). IEEE 저널.on Circuits and Systems for Video Technology, vol. 17, no. 11, pp. 1519-1535, 2007년 11월, 에서 논의됨 - 이 방법은 ITU-T Rec. H.264. 일반적인 시청각 서비스에 대한 고급 비디오 코딩(Advanced video coding for generic audiovisual services).2010. 에서 설명된 인터 예측 기술들의, 조명 차이의 블록-와이즈 보정의 조합을 가정(suppose)한다. 이러한 코딩 동안에, 참조 블록(reference block) 및 현재 코딩되는 블록(currently coded block)에 대한 평균 값(mean values)들이 계산된다.
블록의 각 픽셀에 대한 평균 값을 감산하여, 지정된 블록들에 대해 수정된(Modified) 블록들이 생성된다. 이때, 수신된 블록들에 대한 절대 차들의 합(절대 차의 평균-제거 합(Mean-Removed Sum of Absolute Difference; MRSAD))이 계산된다. 인터 예측의 결과는, 수정된 참조 블록 및 수정된 코딩되는 블록 사이의 차이 및 또한 인코딩 비용(cost)의 최소 값을 제공하는, 참조 블록의 상대 좌표들(변위 벡터(displacement vector))이다. 여기에, 인코딩 비용의 계산은, 더 많은 디코딩에 필요한, 사이드 정보 전송의 비트 지출(bit expenditures)의 추정 및 계산된 MRSAD 값에 기반한다. 게다가, 변위 벡터, 사이드 정보는 현재 및 참조 블록들의 평균 값들 사이의 차이도 포함한다. 이 차이는 조명 보상의 차이 값(Difference Value of Illumination Compensation; DVIC)로 불리고, 조명 보상 파라미터이며, DVIC 값은 차분 인코딩(differential encoding)에 노출(exposed)되고, 출력 비트 스트림에 배치된다. 소위 <<P Skip>> 코딩 모드에서, DVIC 값은, 현재 매크로 블록의 인코딩 동안에, 이미 인코딩된 인접 매크로 블록들의 DVIC 값들로부터 유도된다는 것을 주의할 필요가 있다. 따라서, 상술한 방법은, 더 많은 디코딩에 필요한 추가 사이드 정보의 명시적 전송 필요성을 완전히 제거하는 것을 허용하지 않는다.
조명 차이 보정에 필요한 파라미터들은, 프레임들의 복원된(restored)(인코딩된 다음 디코딩된(encoded and then decoded)) 영역들의 분석을 통해 유도된다. 이는, 비트 스트림에 명시적으로 전송되어야 하고, 인코딩되어야 하는 사이드 정보의 양을 줄이는 것을 도울 수 있다. 언급된 기술은, T. Yamamoto, T. Ikai, "이웃하는 픽셀들을 이용한 가중 예측 (Weighted prediction using neighboring pixels)," ITU-T Q.6/SG16 VCEG, Proposal VCEG-AH19, 2008년 1월, 에서 논의된, 이웃하는 픽셀들을 이용한 가중 예측 (Weighted Prediction using Neighboring Pixels ;WPNP )의 방법에서 실현되었다. 이 방법은, 현재 코딩되는 블록에 이웃하는 코딩된 프레임의 픽셀들의 값들 및 참조 블록에 이웃하는 참조 프레임의 픽셀들의 값들을 이용하여, 픽셀-와이즈 조명 변화를 추정한다. 이 경우, 두 개의 이웃 픽셀들의 조명 변화들은, 가중 계수들이 곱해지고, 현재 및 참조 블록들의 독립된(separate) 픽셀들 사이의, 조명 및 콘트라스트 변화들의 추정에 더해진다. 가중 계수들은, 코딩되는 블록의 각 픽셀위치에 대해 독립적으로 (separately) 계산된다는 점을 주의할 필요가 있다. 가중 계수들의 값은, 코딩되는 블록의 픽셀 및 선택된 이웃 픽셀들 사이의, 상대적인 거리(relative distance)에 의존한다. 수행된 추정의 정확성은, 코딩되는 블록 및 참조 블록들에 이웃하는 픽셀들의 조명 변화가, 코딩되는 블록 및 참조 블록들에 직접 속하는 픽셀들의 조명 변화와 다를 수 있다는 점에 영향 받을 수 있고, 또한 T. Yamamoto, T. Ikai, "Weighted prediction using neighboring pixels," ITU-T Q.6/SG16 VCEG, Proposal VCEG-AH19, 2008년 1월, 에 따른 방법은, 상대적인 공간 픽셀 위치들만 고려하고, 하지만 이웃 픽셀 및 보정되는 픽셀들의 세기들 관계는 고려하지 않는다는 점에 영향 받을 수 있다.
이 접근법을 실현하는 또 다른 변형은, 프레임들의 복원된(코딩된 다음 디코딩된) 영역들 분석에 의한, 조명 및 콘트라스트 파라미터 추정과 연결되고, 이는 미국공개 특허 출원 제2011/0286678호에서 설명된다. 출원에서 설명된, 멀티-뷰 비디오 시퀀스들의 코딩 방법은 예측 코딩 동안의 조명 차이 보정을 포함한다. 조명 변화 보정 파라미터들은, 코딩되는 블록 및 참조 블록들의 인접(adjacent) 영역들에 대한 조명 변화 추정으로부터 추정된다. 인접 영역들은 코딩 및 디코딩 모두에서 얻을 수(acquired) 있기 때문에, 출력 비트 스트림에 보정 파라미터들을 명시적으로 전송할 필요는 없다. 획득된(obtained) 파라미터들은 참조 블록 보정에 적용된다. 조명 변화 파라미터들 추정의 신뢰도(reliability)는, 참조 블록에 이웃하는 참조 프레임의 영역에 대한 조명 보정 및, 현재 코딩되는 블록에 이웃하는 코딩된 프레임의 복원된(코딩된 다음 디코딩된)영역과 획득된 보정된 영역을 비교하는 것에 의해서, 결정된다. 언급한 방법의 단점(drawback)은, 조명 변화 보정의 신뢰도가 인접 영역들 분석에 의해서만 결정된다는 것이다. 참조 블록에 포함된 정보는 조명 변화 보정의 신뢰도 분석에 이용되지 않고, 이는 효율을 떨어뜨리는 잘못된 보정을 가져올 수 있다.
미국공개 특허 출원 제2008/0304760호는, 다음 단계들을 포함하는, 참조 블록의 조명 및 콘트라스트 변화 보정의 방법을 논의한다:
현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들 및 참조 블록에 이웃하는 픽셀들의 복원된 값들을 수신하는 단계; 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들 및 참조 블록에 이웃하는 픽셀들의 복원된 값들에 기반하여, 참조 블록 및 현재 코딩되는 블록의 픽셀들의 평균 값들을 예측하는 단계; 현재 코딩되는 블록의 픽셀들의 예측된 평균 값, 참조 블록의 픽셀들의 예측된 평균 값, 및 현재 코딩되는 블록 및 참조 블록의 픽셀들의 값들에 기반하여, 참조 블록의 조명 보정의 파라미터들을 결정하는 단계; 및 이전에 결정된 조명 보정 파라미터를 이용하여, 참조 블록의 조명 보정을 수행하는 단계.
미국공개 특허 출원 제2008/0304760호의 프로토타입(prototype)의 단점은 다음과 같다. 참조 블록 및 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들이 평균 값들 예측에만 이용된다. 이 제한(restriction)은 이웃하는 픽셀들에 포함된 정보 이용을 허용하지 않는다. 게다가, 참조 블록에 이웃하는 픽셀들의 값들 및 참조 블록으로부터의 픽셀들의 값들 사이의 관계들 분석이 수행되지 않는다. 따라서, 고려되는 블록들에 이웃하는 영역들 및 고려되는 블록들 사이의 조명 변화 보정의 파라미터들의 가능한 차이들이 고려되지 않는다. 이는, 코딩 효율에 부정적인 영향을 미칠 수 있는, 조명 및 콘트라스트 차이 보정 절차의 신뢰도 감소를 가져올 수 있다. 게다가, 다양한 이유들 때문에(일례로, 양자화로 인해), 인접 영역들의 픽셀들의 공통 세트(common set)와 매우 다르게 나타나는 값들의, 인접 영역들의 픽셀들의 존재를 등록하는 것을 허용하지 않는다. 그래서, 조명 보정의 파라미터들의 최종 추정의 정확도는 필수적으로 낮아질 수 있다. 프로토타입(prototype)의 또 하나의 단점은, 보정 파라미터들이 항상 출력 비트 스트림에 전송되어, 전체적으로 코딩 효율에 부정적인 영향을 미친다는 것이다.
일 또는 그 이상의 실시예들의 양상에 따라서, 일 또는 그 이상의 실시예들의 방법들을 구현하는, 컴퓨터 판독 가능 지시들(computer readable instructions)을 저장하는, 적어도 하나의 비-일시적인 컴퓨터 판독가능 매체가 제공된다.
일 또는 그 이상의 실시예들의 양상에 있어서, 멀티-뷰 비디오 시퀀스의 인터-프레임 예측에 대해 현재 코딩되는 프레임(currently coded frame) 및 참조 프레임 사이의 조명 변화 보정 방법이 제공되고, 이러한 방법은 다음을 포함한다
참조 프레임에 속하는 참조 블록의 픽셀들의 값들 및 코딩되는 프레임에 속하는 현재 코딩되는 블록의 픽셀들의 값들을 수신하는 단계;
참조 프레임의 참조 블록에 이웃하는 픽셀들의 값들 및 코딩되는 프레임의 현재 블록(current block)에 이웃하는 픽셀들의 복원된(restored)(인코딩된 다음 디코딩된) 값들을 수신하는 단계; 수신된 픽셀들은 하나 또는 그 이상의 공간 영역들(spatial areas)로부터 선택되고, 각 공간 영역은 참조 프레임의 현재 참조 블록(current reference block) 및 코딩되는 프레임의 현재 블록에 관하여 이전에 설정된(beforehand set) 근접 공간(spatial proximity)에 의해 특정된다; 지정된 영역들(specified areas)은 참조 프레임의 현재 참조 블록 및 코딩되는 프레임의 현재 블록에 관하여 인접(adjacent)하고, 지정된 영역들의 선택은 이미 디코딩된 픽셀들, 인터-프레임 차이의 인코딩에 이후에(subsequently) 적용되는 공간 변환(spatial conversion)의 크기 및 타입에 따라서 수행되고, 이미 코딩된 이웃하는 블록들의 크기들, 및 그것들의 현재 코딩되는 블록과의 논리적 연결들에도 따라 수행된다(논리적 연결들은, 예를 들면 코딩 방법에 의해, 설정된, 이웃 블록들 및 현재 블록 사이에, 지정되어 객관적으로 존재하는 의존도들(specified objectively existing dependences)로 이해된다. 이 경우, 이러한 연결은 이웃하는 블록들 및 현재 코딩되는 블록의 조합일 수 있고, 이는 변위의 공통 벡터가 설정되는 인코딩의 단일 요소 내에서 함께 될 수 있다.); 코딩되는 블록에 이웃하는 픽셀들의 세트(set) 및 참조 블록에 이웃하는 픽셀들의 세트의 유사성 추정이 추가적으로 계산된다. 픽셀들 유사성의 계산된 추정 값은 참조 블록 픽셀들의 조명 보정 이용에 대한 의사-결정(decision-making)의 추가적인 조건으로 이용된다.
미리 결정된 기준(predetermined criterion)에 의해 지정된 영역들의 픽셀들의 공통 선택(세트)와 다르고, 참조 및 코딩되는 프레임들의 이미 디코딩되고 복원된 영역들에 속하는 픽셀들을, 조명 변화 파라미터들의 결정에 대한 고려에서 제외하는 단계 - 미리 결정된 기준은 지정된 영역들의 픽셀들 값들의 분포의 분석, 정적 특성들(static characteristics)의 계산, 및 지정된 영역들의 정적 특성들 및 모든 픽셀들의 값들의 비교에도 기반한다 -;
참조 블록의 픽셀들 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이의 관계들 및, 또한 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이의 관계들을 결정하는 단계;
참조 블록에 이웃하는 픽셀들 값들 및 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들, 이전 단계에 의해 결정된 관계들에 기반하여, 현재 코딩되는 블록 및 참조 블록 사이의 조명 차이 보정에 대한 조명 변화 보정 파라미터들을 결정하는 단계;
만약, 코딩되는 블록에 이웃하고 함께 고려되는 픽셀들(pixels neighboring the coded block and considered together) 및 참조 블록에 이웃하고 함께 고려되는 픽셀들의 유사성의 정도(degree of similarity)가 임계 값보다 큰 경우에는 - 임계 값은 이전에 설정되거나 보정 절차 동안에 적응적으로(adaptively) 변할 수 있음 -, 이전 단계에서 결정된 파라미터들을 이용하여 현재 코딩되는 블록 및 참조 블록 사이의 조명 차이들의 보정을 수행하는 단계.
하나 또는 그 이상의 실시예들의 양상에서, 참조 블록의 조명 변화 파라미터들 추정의 더욱 신뢰성 있는 적응적(more reliable adaptive) 절차, 및 참조 블록의 조명 보정 절차도 제공된다.
하나 또는 그 이상의 실시예들의 양상에서, 조명 변화 파라미터들의 추정을 위한 많은 양의 데이터의 이용, 및 참조 블록의 픽셀들의 값들, 참조 블록에 이웃하는 픽셀들의 복원된 값들, 및 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들 사이의 존재하는 연결들의 등록도 제공된다. 게다가, 보정이 비효율적일 수 있는 경우들의 탐지(detection)에 대한, 영역들의 유사성 기준(criteria of similarity)이 제공되고, 파라미터들의 추정이 수행되는 것에 기반하여 인접 영역들의 픽셀들 세트와 강하게(strongly) 다른 픽셀들 탐지의 새로운 방법들이 제안되며, 또한 추가 고려(further consideration)로부터 탐지된 강하게 다른 픽셀들의 값들을 제외하는(excluding) 방법들도 제안된다. 특히, 일 또는 그 이상의 실시예들에서, 참조 블록의 픽셀들 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이 관계들의 분석, 및 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이 관계들의 분석도 수행된다. 방법 구현에서, 멀티-뷰 비디오 시퀀스들의 인코딩 및 디코딩의 개선된 방법들의 적용도 제공되고, 이러한 방법들은, 인코딩 및 디코딩 모두에서 접근 가능한 픽셀들 값들이 조명 변화의 추정에 이용되기 때문에, 압축 효율성 증가를 허용하는, 조명 보정의 이용에 기반한다. 이러한 경우에, 조명 보정 파라미터들은 출력 비트 스트림에 어떤 추가적인 데이터 전송의 필요 없이 정확하게(precisely) 복원될 수 있다. 또한 조명 변화 파라미터들 추정의 계산에서, 참조 및 코딩되는 프레임 모두의 이미 디코딩되고 복원된 영역들에 속하고, 미리 결정된 기준에 의해 지정된 영역들의 다른 픽셀들과 다른, 픽셀들을 고려로부터 제외하는 것이 제공된다. 이러한 픽셀들은 더 신뢰할 수 없게 지정된다.
일 또는 그 이상의 실시예들의 양상에 있어서, 참조 프레임 및 현재 코딩되는 프레임의 픽셀들 사이 관계들을 결정하는 단계 및 또한 조명 보정 파라미터들을 결정하는 단계도 제공되고, 다음을 포함한다:
현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들에 대한 통계 특성들(statistic characteristics), 참조 블록의 픽셀들에 대한 통계 특성들, 및 참조 블록에 이웃하는 픽셀들에 대한 통계 특성들을 계산하는 단계;
참조 블록의 픽셀들에 대한 통계 특성들 및 참조 블록에 이웃하는 픽셀들의 복원된 값들에 대한 통계 특성들 사이의 관계들을 결정하는 단계;
계산된 통계 특성들 및 그것들 사이의 관계들에 기반하여, 현재 코딩되는 블록에 대한 통계 특성 값의 추정을 계산하는 단계;
참조 블록의 통계 특성 및 현재 블록에 대한 통계 특성의 결정된 추정에 기반하여, 참조 및 현재 코딩되는 블록들 사이의 조명 차이 보정에 대한 조명 변화 보정 파라미터를 결정하는 단계.
일 또는 그 이상의 실시예들의 양상에 있어서, 멀티-뷰 비디오 시퀀스의 코딩 동안에 참조 블록의 조명 보정의 방법으로서, 다음을 포함한다:
참조 프레임의 참조 블록의 픽셀들 값들 및 코딩되는 프레임의 현재 블록의 픽셀들 값들을 수신하는 단계;
참조 블록에 이웃하는 픽셀들 값들 및 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된(인코딩된 다음 디코딩된) 값들을 수신하는 단계;
참조 블록 픽셀의 각 위치
Figure pct00001
에 대한 제1 추정
Figure pct00002
를 계산하는 단계; 제1 추정
Figure pct00003
는 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들
Figure pct00004
,
Figure pct00005
의 선형 조합(linear combination)이고,
Figure pct00006
은 현재 코딩되는 및 참조 블록들에 이웃하는 픽셀들 수이다.
참조 블록의 픽셀의 각 위치
Figure pct00007
에 대한 제2 추정
Figure pct00008
를 계산하는 단계; 제2 추정
Figure pct00009
는 참조 블록에 이웃하는 픽셀들 값들
Figure pct00010
,
Figure pct00011
의 선형 조합이다;
참조 블록의 각 픽셀의 보정에 대한 조명 변화 보정 파라미터들을 결정하는 단계; 이러한 파라미터들의 결정은 제1 추정
Figure pct00012
의 값, 제2 추정
Figure pct00013
의 값, 및 참조 블록의 픽셀들 값들
Figure pct00014
에도 기반한다;
이전 단계에서 결정된 조명 및 콘트라스트 변화 보정의 파라미터들을 이용하여 참조 블록의 각 픽셀에 대한 조명 변화 보정을 수행하는 단계.
일 또는 그 이상의 실시예들의 양상에 있어서, 참조 블록의 각 픽셀 위치에 대한 제1 및 제2 추정 값들을 계산하는 방법, 및 참조 블록의 각 픽셀 위치에 대한 조명 변화 보정 파라미터들을 결정하는 방법이 제공되고, 다음을 포함한다:
Figure pct00015
로서 제1 추정 값
Figure pct00016
를 계산하는 단계
-
Figure pct00017
는 가중 계수들(weighted coefficients)이고,
Figure pct00018
는 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들이며,
Figure pct00019
은 참조 블록 및 현재 코딩되는 볼록에 이웃하는 픽셀들의 수임 -;
Figure pct00020
로서 제2 추정
Figure pct00021
를 계산하는 단계
Figure pct00022
는 가중 계수들이고,
Figure pct00023
Figure pct00024
는 참조 블록에 이웃하는 픽셀들의 값들임 -;
참조 블록의 각 픽셀 위치
Figure pct00025
의 조명 차이 보정에 대한 조명 변화 보정 파라미터를 결정하는 단계로서, 이 파라미터는 제2 추정
Figure pct00026
이 0과 같지 않으면,
Figure pct00027
로 결정된다. 그렇지 않으면
Figure pct00028
Figure pct00029
는 1로 설정된다.
참조 블록
Figure pct00030
의 각 픽셀 값에, 이에 대응하는 보정 파라미터
Figure pct00031
Figure pct00032
를 곱하여, 참조 블록의 조명 변화 보정을 수행하는 단계.
일 또는 그 이상의 실시예들의 양상에 있어서, 참조 블록의 각 픽셀 위치에 대한 제1 및 제2 추정 값들을 계산하는 방법, 및 참조 블록의 각 픽셀 위치에 대한 조명 변화 보정 파라미터들을 결정하는 방법이 제공되고, 다음을 포함한다
Figure pct00033
로서 제1 추정
Figure pct00034
를 계산하는 단계 -
Figure pct00035
및
Figure pct00036
는 가중 계수들의 두 세트들이고,
Figure pct00037
는 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들이고,
Figure pct00038
은 현재 코딩되는 및 참조 블록들에 이웃하는 픽셀들의 수임 -;
Figure pct00039
로서 제2 추정
Figure pct00040
를 계산하는 단계 -
Figure pct00041
및
Figure pct00042
는 가중 계수들의 두 세트들이고,
Figure pct00043
Figure pct00044
는 참조 블록에 이웃하는 픽셀들의 값들임 -;
참조 블록의 각 픽셀 위치
Figure pct00045
에 대한 조명 변화 보정 파라미터들을 결정하는 단계; 이 파라미터는 제2 추정
Figure pct00046
이 0과 같지 않은 경우,
Figure pct00047
로 결정된다. 그렇지 않으면
Figure pct00048
Figure pct00049
는 1과 같게 설정된다;
참조 블록
Figure pct00050
의 각 픽셀의 값에, 이에 대응하는 보정 파라미터
Figure pct00051
Figure pct00052
를 곱하여, 참조 블록의 조명 변화 보정을 수행하는 단계.
일 또는 그 이상의 실시예들의 양상에 있어서, 참조 블록의 각 픽셀의 위치에 대한 제1 및 제2 추정 값들을 계산하는 단계가 제공되고, 다음을 포함한다
제1 추정 값
Figure pct00053
및 제2 추정 값
Figure pct00054
에 대한 가중 계수들
Figure pct00055
를 계산하는 단계; 참조 블록의 픽셀의 각 위치
Figure pct00056
에 대한 가중 계수
Figure pct00057
는 절대 차(absolute difference)의 비-증가 함수(non-increasing function)와 같다:
Figure pct00058
,는
절대 차의 감소/증가(decreasing/increasing)에 의존하여 반비례하는(inverse proportional) 값
Figure pct00059
의 증가/감소를 제공한다. 여기의
Figure pct00060
는 참조 블록의 픽셀 값이고,
Figure pct00061
는 참조 블록에 이웃하는 픽셀 값이다;
Figure pct00062
은 현재 코딩되는 및 참조 블록들에 이웃하는 픽셀들 수이다.
일 또는 그 이상의 실시예들의 양상에 있어서, 참조 블록의 각 픽셀 위치에 대한 제1 추정 및 제2 추정 값들을 계산하는 단계가 제공되고, 다음을 포함한다
제1 추정 값
Figure pct00063
및 제2 추정 값
Figure pct00064
에 대한 가중 계수들
Figure pct00065
를 계산하는 단계; 참조 블록의 픽셀의 각 위치
Figure pct00066
에 대해 가중 계수
Figure pct00067
는 픽셀들 사이의 거리
Figure pct00068
의 비-증가 함수와 같도록 한다:
Figure pct00069
는
보정된 픽셀
Figure pct00070
로부터 픽셀
Figure pct00071
로 접근 또는 이격(approaching or distancing)에 의존하여 반비례하는 값
Figure pct00072
의 증가/감소를 제공한다. 여기에서,
Figure pct00073
는 참조 블록의 픽셀의 값이고,
Figure pct00074
는 참조 블록에 이웃하는 픽셀의 값이다;
Figure pct00075
은 현재 코딩되는 및 참조 블록들에 이웃하는 픽셀들 수이다.
일 또는 그 이상의 실시예들의 양상에 있어서, 참조 블록의 각 픽셀 위치에 대한 제1 및 제2 추정 값들을 계산하는 방법이 제공되고, 다음을 포함한다
제1 추정 값
Figure pct00076
및 제2 추정 값
Figure pct00077
에 대한 가중 계수들
Figure pct00078
를 계산하는 단계; 참조 블록의 픽셀의 각 위치
Figure pct00079
에 대한 가중 계수
Figure pct00080
는 절대 차의 비-증가 함수와 같다:
Figure pct00081
는
절대 차의 감소/증가에 의존하여 반비례하는 값
Figure pct00082
의 증가/감소를 제공한다;
Figure pct00083
인 경우에 해당하고,
Figure pct00084
는 미리 정의된 임계이다; 그렇지 않으면
Figure pct00085
이다. 여기에서,
Figure pct00086
는 참조 블록의 픽셀의 값이고,
Figure pct00087
는 참조 블록에 이웃하는 픽셀의 값이다;
Figure pct00088
는 현재 코딩되는 및 참조 블록들에 이웃하는 픽셀들 수이다.
일 또는 그 이상의 실시예들의 양상에 있어서, 참조 블록의 각 픽셀 위치에 대한 제1 및 제2 추정 값들을 계산하는 방법이 제공되고, 다음을 포함한다
제1 추정 값
Figure pct00089
및 제2 추정 값
Figure pct00090
에 대한 가중 계수들
Figure pct00091
를 계산하는 단계; 참조 블록의 픽셀의 각 위치
Figure pct00092
에 대한 가중 계수
Figure pct00093
는 절대 차의 비-증가 함수와 같다:
Figure pct00094
는
절대 차의 감소/증가에 의존하여 반 비례하는 값
Figure pct00095
의 증가/감소를 제공한다; 이는
Figure pct00096
인 경우에 해당하고,
Figure pct00097
는 현재 코딩되는 블록에 이웃하는 픽셀의 값이며,
Figure pct00098
는 제1의 미리 정의된 임계이다;
Figure pct00099
에서,
Figure pct00100
는 제2의 미리 정의된 임계이다; 그렇지 않으면
Figure pct00101
. 여기에서,
Figure pct00102
는 참조 블록의 픽셀의 값이고,
Figure pct00103
는 참조 블록에 이웃하는 픽셀의 값이다;
Figure pct00104
는 현재 코딩되는 및 참조 블록들에 이웃하는 픽셀들 수 이다.
일 또는 그 이상의 실시예들의 양상에 있어서, 참조 블록의 각 픽셀 위치에 대한 제1 및 제2 추정 값들을 계산하는 방법이 제공되고, 다음을 포함한다
제1 추정 값
Figure pct00105
및 제2 추정 값
Figure pct00106
에 대한 가중 계수들
Figure pct00107
을 계산하는 단계; 참조 블록의 각 픽셀 위치
Figure pct00108
에 대한 가중 계수
Figure pct00109
는
Figure pct00110
과 같고,
Figure pct00111
는 값
Figure pct00112
로부터 비선형 의존성을 설정하는 파라미터들이며,
Figure pct00113
는
Figure pct00114
로서 결정되고,
Figure pct00115
는 참조 블록의 픽셀 값이며,
Figure pct00116
는 참조 블록에 이웃하는 픽셀의 값이고, 이는
Figure pct00117
인 경우에 해당하며,
Figure pct00118
는 미리 정의된 임계이다; 그렇지않으면,
Figure pct00119
이다.
일 또는 그 이상의 실시예들의 양상에 있어서, 가중 계수들
Figure pct00120
의 의존성을 결정하는 파라미터들이 제공되고, 특히 파라미터들
Figure pct00121
및
Figure pct00122
는 참조 블록의 픽셀
Figure pct00123
및 참조 블록에 이웃하는 픽셀들
Figure pct00124
사이의 거리(distance)에 의존하여 적응적으로 변할 수 있다. 따라서, 보정된 픽셀
Figure pct00125
의 거리에 의존하는 보정 파라미터들의 계산에 참여, 및 참조 블록에 이웃하고 현재 블록에 이웃하는 픽셀들의 다양한 영향들(influences)의 등록(registration)이 제공될 수 있다.
일 또는 그 이상의 실시예들에 있어서, 참조 블록의 각 픽셀 위치에 대한 제1 및 제2 추정 값들을 계산하는 방법이 제공되고, 다음을 포함한다
제1 추정 값
Figure pct00126
및 제2 추정 값
Figure pct00127
에 대한 가중 계수들
Figure pct00128
를 계산하는 단계; 참조 블록의 각 픽셀 위치
Figure pct00129
에 대한 가중 계수
Figure pct00130
는
Figure pct00131
과 같고,
Figure pct00132
는 값
Figure pct00133
로부터 비선형 의존성을 설정하는 파라미터들이다;
Figure pct00134
는
Figure pct00135
과 같고,
Figure pct00136
는 참조 블록의 픽셀의 값이며,
Figure pct00137
는 참조 블록에 이웃하는 픽셀의 값이고, 이는
Figure pct00138
인 경우에 해당하며,
Figure pct00139
는 현재 코딩되는 블록에 이웃하는 픽셀의 값이고,
Figure pct00140
는 제1의 미리 정의된 임계이다;
Figure pct00141
에서,
Figure pct00142
는 제2의 미리 정의된 임계이다; 그렇지 않으면
Figure pct00143
이다.
일 또는 그 이상의 실시예들의 양상에 있어서, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성 추정 방법이 제공되고, 다음을 포함한다
참조 블록에 이웃하는 모든 이미 복원된 픽셀들(all already restored pixels)
Figure pct00144
, 및 코딩되는 블록에 이웃하는 모든 이미 복원된 픽셀들
Figure pct00145
는, 공간 픽셀 위치들(spatial pixel positions)
Figure pct00146
및 픽셀 k의 수의 값에 의해 결정되어 대응하는 영역들의
Figure pct00147
로 고유하게 설정되는(uniquely set) 공동 쌍들(jointly pairs)
Figure pct00148
를 형성하여서,
Figure pct00149
Figure pct00150
과 같은 M의 비-교차(non-intersecting) 그룹들
Figure pct00151
로 그룹화 된다. 그룹
Figure pct00152
에 속하는 픽셀들의 쌍들은 또한
Figure pct00153
로도 설계된다.
각 그룹
Figure pct00154
대한 메트릭스(metrics)는 각 그룹
Figure pct00155
의 모든 픽셀들
Figure pct00156
의 평균 값들 및 모든 픽셀들
Figure pct00157
의 평균 값들의 구분(distinction)을 제외한, 픽셀 구분들
Figure pct00158
및
Figure pct00159
의 등록에 기반하여 계산된다;
각 그룹
Figure pct00160
에 대한 메트릭스는 각 그룹
Figure pct00161
의 모든 픽셀들
Figure pct00162
의 평균 값들 및 모든 픽셀들
Figure pct00163
의 평균 값들의 구분들에 기반하여 계산된다;
그룹들
Figure pct00164
에 대해
Figure pct00165
로 설계된 공통 메트릭스는, 각 그룹
Figure pct00166
의 모든 픽셀들
Figure pct00167
의 평균 값들 및 모든 픽셀들
Figure pct00168
의 평균 값들의 구분들을 제외한, 각 그룹들에 의한 픽셀 구분들
Figure pct00169
및
Figure pct00170
의 등록에 기반하여 계산된다;
그룹들
Figure pct00171
에 대해
Figure pct00172
로 설계된 공통 메트릭스는, 각 그룹
Figure pct00173
의 모든 픽셀들
Figure pct00174
의 평균 값들 및 모든 픽셀들
Figure pct00175
의 평균 값들의 구분들의 등록에 기반하여 계산된다;
계산된 메트릭스
Figure pct00176
및
Figure pct00177
의 값들의 비교는 이전에 정의된 임계 값들(beforehand defined threshold values)로 수행되고, 만약
Figure pct00178
가 제1의 정의된 임계 값보다 크거나
Figure pct00179
가 제2의 정의된 임계 값보다 작은 경우, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 약한것으로 고려된다; 그렇지 않으면, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 강한것으로 고려된다;
만약, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 약하다면, 보정은 적용될 수 없다;
만약, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 강하다면, 보정은 무조건적으로(unconditionally) 수행된다.
일 또는 그 이상의 실시예들의 양상에 있어서, 다음의 방법이 제공된다
각 그룹
Figure pct00180
에 대한 메트릭스
Figure pct00181
는 각 그룹
Figure pct00182
의 모든 픽셀들
Figure pct00183
의 평균 값들 및 모든 픽셀들
Figure pct00184
의 평균 값들의 구분을 제외한, 픽셀 구분들
Figure pct00185
및
Figure pct00186
의 등록들에 기반하여 계산되고, 아래의 식과 같다:
Figure pct00187
,
다항식의 인덱스(polynomial index)
Figure pct00188
의 값은 실험적으로 결정된다;
각 그룹
Figure pct00189
에 대한 메트릭스
Figure pct00190
는 각 그룹
Figure pct00191
의 모든 픽셀들
Figure pct00192
의 평균 값들 및 모든 픽셀들
Figure pct00193
의 평균 값들의 구분들에 기반하여 계산되고, 아래의 식과 같다:
Figure pct00194
, 다항식 인덱스
Figure pct00195
는 실험적으로 결정된다;
그룹들
Figure pct00196
에 대해
Figure pct00197
로 설계된 공통 메트릭스는, 각 그룹
Figure pct00198
의 모든 픽셀들
Figure pct00199
의 평균 값들 및 모든 픽셀들
Figure pct00200
의 평균 값들의 구분들 제외한, 각 그룹들에 의한 픽셀 구분들
Figure pct00201
및
Figure pct00202
의 등록에 기반하여 계산되고, 아래의 식과 같다:
Figure pct00203
그룹들
Figure pct00204
에 대해
Figure pct00205
로 설계된 공통 메트릭스는, 각 그룹
Figure pct00206
의 모든 픽셀들
Figure pct00207
의 평균 값들 및 모든 픽셀들
Figure pct00208
의 평균 값들의 구분들의 등록에 기반하여 계산되고, 아래의 식과 같다:
Figure pct00209
;
계산된 메트릭스
Figure pct00210
및
Figure pct00211
의 값들의 비교는 이전에 정의된 임계 값들로 수행되고, 만약
Figure pct00212
가 제1의 정의된 임계 값보다 크거나
Figure pct00213
가 제2의 정의된 임계 값보다 작은 경우, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 약한것으로 고려된다; 그렇지 않으면, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 강한것으로 고려된다;
만약, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 약하다면, 보정은 적용될 수 없다;
만약, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 강하다면, 보정은 필수적으로 (obligatory) 수행이 된다.
일 또는 그 이상의 실시예들의 양상에 있어서, 코딩되는 블록과 비교하여 참조 블록 픽셀들의 조명 차이 추정 정확성의 F 증가(F increasing)에 대한 방법이 제공되고, 일 또는 그 이상의 실시예들은 지정된 영역들의 픽셀들의 공통 선택(세트)과 다르고, 참조 및 코딩되는 프레임들의 이미 디코딩되고 복원된 영역들에 속하는, 획득된 픽셀들
Figure pct00214
및
Figure pct00215
의 고려를 제외하기 위한, 다음의 단계들이 수행되는 것을 제공한다:
조건
Figure pct00216
Figure pct00217
및
Figure pct00218
Figure pct00219
를 만족하는 모든 픽셀들
Figure pct00220
에 대해, 참조 및 코딩되는 프레임들의 공간 위치 및, 시리얼 번호(serial number
Figure pct00221
에 따라 진행하는(proceeding from) 픽셀들
Figure pct00222
에 대응하는, 픽셀들
Figure pct00223
이,
Figure pct00224
로 설계된 그룹들로 그룹화되는, 픽셀들
Figure pct00225
를 그룹핑(grouping)하는 단계:
Figure pct00226
,
값들
Figure pct00227
은 그룹
Figure pct00228
를 결정하는 범위의 제한들(limitations of range)을 정의하고, 조건
Figure pct00229
를 만족한다. 그룹들
Figure pct00230
의 수
Figure pct00231
는 실험적으로 정의되고, 값들
Figure pct00232
의 넘버링(numbering)에 이용되는 인덱스(index)
Figure pct00233
의 가능한 최대 값을 설정한다;
값들
Figure pct00234
로 정의된, 각 그룹
Figure pct00235
에 대한 다음의 값들이 계산된다:
Figure pct00236
Figure pct00237
다음의 세 조건들이 그룹
Figure pct00238
의 각 픽셀
Figure pct00239
에 대해 만족하는지 검토된다:
조건1:
Figure pct00240
;
조건2:
Figure pct00241
;
조건3:
Figure pct00242
만약, 검토된 조건들
Figure pct00243
중 어느 하나가 그룹
Figure pct00244
의 다음에 고려된(next considered) 픽셀
Figure pct00245
에 대해 만족한다면, 고려된 픽셀
Figure pct00246
는 참조 블록의 조명 보정 파라미터들의 추가적 계산들(further calculations)에 포함된다.
일 또는 그 이상의 실시예들의 양상에 있어서, 코딩되는 블록과 비교하여 참조 블록 픽셀들의 조명 차이 추정의 정확성 증가에 직접적인 방법이 제공된다,
상술한 모든 결정된 픽셀들의 쌍들
Figure pct00247
에 대해, 픽셀들
Figure pct00248
는
Figure pct00249
Figure pct00250
및
Figure pct00251
Figure pct00252
로 고려되고, 픽셀들
Figure pct00253
에 대응하는 픽셀들
Figure pct00254
는
Figure pct00255
로 설계된 그룹들로 그룹화된다:
Figure pct00256
값들
Figure pct00257
,
Figure pct00258
는 그룹
Figure pct00259
를 정의하는 범위의 제한들을 정의하고, 조건
Figure pct00260
를 만족한다. 그룹들
Figure pct00261
의 수 NB는 실험적으로 정의되고, 값들 (LR i ,LR i+1 ):-1 < LR 0 < LR 0 < LR 0 ...< LR NB 의 넘버링에 이용되는 인덱스 i의 가능한 최대 값을 설정한다;
다음의 값들은 그룹 B(LR i ,LR i+1 )에 속하는 각 픽셀들
Figure pct00262
에 대해 계산된다:
그룹 B(LR i ,LR i+1 )에 의한 평균 값 Mean(B(LR i ,LR i+1 ))는 아래 식으로 계산된다:
Figure pct00263
는 그룹 B(LR i ,LR i+1 )의 픽셀들의 수를 설계한다.
그룹
Figure pct00265
에 의한 중간 값(median value) Med(B(LR i ,LR i+1 )) - 그룹 B(LR i ,LR i+1 )에 속하는 픽셀들로서, 그 값이 결정된 중간 값을 초과하지 않는 픽셀들의 수가, 그룹 B(LR i ,LR i+1 )에 속하는 픽셀들로서, 그룹 B(LR i ,LR i+1 )의 결정된 중간 값보다 작지 않은 픽셀들의 수와 일치하는, 그룹 B(LR i ,LR i+1 )에 속하는 픽셀의 이러한 값으로 정의됨 - ;
그룹 B(LR i ,LR i+1 )에서 가장 개연성 있는(most probable) 값 Mod(B(LR i ,LR i+1 ));
널리 알려진 식 중 어느 하나에 의해 계산될 수 있는, 그룹 B(LR i ,LR i+1 )의 픽셀들 값들의 평균 편차(average deviation) Dev(B(LR i ,LR i+1 ))는, 그룹 B(LR i ,LR i+1 )의 픽셀들 값들의 확산(spread of values) 파라미터들을 추정하는 것을 허용하고, 예를 들면, 변형 중의 하나로서, 값 Dev(B(LR i ,LR i+1 ))는 다음의 식으로 계산될 수 있다:
Figure pct00266
;
Figure pct00267
는 논리 그룹(logic group) B(LR i ,LR i+1 )의 픽셀들의 수를 설계한다; 또 다른 실시예에서, 값 Dev(B(LR i ,LR i+1 ))는 다음의 식에 의해 계산된다:
Figure pct00268
그룹 B(LR i ,LR i+1 ) 요소들의 다소 작은 수의 경우에 대해 특별히 중요한, 편차 추정에 의한 이전의 것과 다른 것은, 대체되지 않는 것으로 나타난다; 또한, 간략화의 목적으로, 다음 식은 그룹 B(LR i ,LR i+1 )에 의한 평균 편차 값의 추정에 대해 적용될 수 있다:
Figure pct00269
전문가들(experts)은 그룹 B(LR i ,LR i+1 )에 속하는 픽셀들의 확산(spread) 정도를 사실상 특징짓는, 값 Dev(
Figure pct00270
)의 추정의 다른 방식도 이용할 수 있다.
더 많은 추정들의 신뢰성 증가를 위해, 단일의 독립된 픽셀의 값 및 그룹
Figure pct00271
의 평균 값 및/또는 그룹
Figure pct00272
의 중간 값 및/또는 그룹
Figure pct00273
의 가장 개연성 있는 값 사이의 차이의 모듈에 대한 그룹
Figure pct00274
의 픽셀들 값들이, 잘 알려진 식 중 하나에 의해 계산되고, 0이상의 값에 의해 곱해지며, 그룹
Figure pct00275
의 공통적으로 인정되는 분산(commonly admissible dispersion)을 설정하는, 값 Dev(
Figure pct00276
)보다 큰 것으로 나타나는, 그룹
Figure pct00277
의 픽셀들 값들의, 더 많은 고려로 부터 제외하는 것.
일 또는 그 이상의 실시예들의 양상에 있어서, 현재 코딩되는 블록에 이웃하는 픽셀들 의 복원된 값의 위치들 및 참조 블록에 이웃하는 픽셀들 값들의 위치들이, 이전에 결정된 위치들에 대응하는 픽셀들(corresponding pixels with beforehand determined positions) 대신에, 적응적으로 결정되는, 방법이 제공된다.
일 또는 그 이상의 실시예들의 양상에 있어서, 조명 변화 보정에 기반한 멀티-뷰 비디오 시퀀스들의 인코딩 방법이 제공되고, 다음을 포함한다.
현재 코딩되는 블록에 대한 예측 블록 생성에 이용되는 참조 블록을 결정하는 단계:
참조 블록을 결정하는 동안 또는 그 후에, 현재 코딩되는 블록 및 참조 블록 사이 조명의 국부적 차이(local difference in illumination) 보정에 대한 조명 보정 파라미터들을 결정하는 단계;
조명 변화 보정의 결정된 파라미터들을 이용하여 결정된 참조 블록의 조명 보정을 수행하는 단계;
조명 보정된 참조 블록을 이용하여 현재 코딩되는 블록에 대한 예측 블록을 생성하는 단계;
조명 변화 보정의 결정된 파라미터들의 인코딩 없이 생성된 예측 블록을 이용하여 현재 블록을 인코딩하는 단계; 디코딩에 필요하다면, 참조 블록에 대한 정보를 인코딩하는 단계;
조명 보정 파라미터들의 결정은 다음의 단계를 포함한다:
참조 프레임의 참조 블록에 이웃하는 픽셀들의 값들 및 코딩되는 프레임의 현재 블록에 이웃하는 픽셀들의 재구성된(reconstructed)(인코딩된 다음 디코딩된) 값들을 수신하는 단계; 획득된(obtained) 픽셀들은 하나 또는 그 이상의 공간 영역들로부터 선택될 수 있고, 각 공간 영역은 참조 프레임의 현재 참조 블록 및 코딩되는 프레임의 현재 블록에 관하여 이전에 결정된(beforehand determined) 근접 공간에 의해 특정된다; 지정된 영역들은 참조 프레임의 현재 참조 블록 및 코딩되는 프레임의 현재 블록에 관하여 인접하고, 지정된 영역들의 선택은 이미 인코딩된 이웃하는 블록들의 크기들, 및 현재 코딩되는 블록과의 논리적 연결들에도 따라 수행될 수 있다. (논리적 연결들은 예를 들어, 코딩 방법에 의해 설정된 (논리적 연결들은, 예를 들면 코딩 방법에 의해, 설정된, 이웃 블록들 및 현재 블록 사이에, 지정되어 객관적으로 존재하는 의존도들로 이해된다. 이 경우, 이러한 연결은 이웃하는 블록들 및 현재 코딩되는 블록의 조합일 수 있고, 이는 변위의 공통 벡터가 설정되는 인코딩의 단일 요소 내에서 함께 될 수 있다.); 코딩되는 블록에 이웃하는 픽셀들의 세트 및 참조 블록에 이웃하는 픽셀들의 세트의 유사성 추정이 추가적으로 계산된다. 픽셀들 유사성의 계산된 추정 값은 참조 블록의 픽셀들의 조명 보정 이용에 대한 의사-결정의 추가적인 조건으로 이용될 수 있다;
미리 결정된 기준에 의해 지정된 영역들의 픽셀들의 공통 선택(세트)와 다르고, 참조 및 코딩되는 프레임들의 이미 디코딩되고 복원된 영역들에 속하는 픽셀들을, 조명 변화의 파라미터들의 결정에 대한 고려에서 제외하는 단계 - 미리 결정된 기준은 지정된 영역들의 픽셀들 값들의 분포의 분석, 정적 특성들(static characteristics)의 계산, 및 지정된 영역들의 정적 특성들 및 모든 픽셀들의 값들의 비교에도 기반한다 -;
참조 블록의 픽셀들 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이의 관계들 및, 또한 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이의 관계들을 결정하는 단계;
참조 블록에 이웃하는 픽셀들 값들 및 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들, 이전 단계에 결정된 참조 블록의 픽셀들 값들 사이의 관계들에 기반하여, 현재 코딩되는 블록 및 참조 블록 사이의 조명 차이 보정에 대한 조명 보정 파라미터들을 결정하는 단계;
만약, 코딩되는 블록에 이웃하고 함께 고려되는 픽셀들 및 참조 블록에 이웃하고 함께 고려되는 픽셀들의 유사성의 정도가 임계 값보다 큰 경우에는 - 임계 값은 이전에 설정되거나 보정 절차 동안에 적응적으로 변할 수 있음 -, 이전 단계에서 결정된 파라미터들을 이용하여 현재 코딩되는 블록 및 참조 블록 사이의 조명 차이들의 보정을 수행하는 단계.
일 또는 그 이상의 실시예들의 양상에 있어서, 조명 및 콘트라스트 변화 보정에 기반한 멀티-뷰 비디오 시퀀스들의 디코딩 방법이 제공되고, 이는 아래의 단일 설계로도 제공되고, 다음을 포함한다
현재 블록의 참조 블록 결정에 필요하다면, 참조 블록에 대한 정보를 디코딩 하는 단계; 참조 블록을 결정하는 단계;
결정된 참조 블록에 대한 조명 변화 보정 파라미터들을 결정하는 단계;
조명 변화 보정의 결정된 파라미터들을 이용하여, 결정된 참조 블록에 대한 조명 변화 보정을 수행하는 단계;
조명 보정된 참조 블록을 이용하여 현재 디코딩되는 블록에 대한 예측 블록을 생성하는 단계;
조명 변화 보정 파라미터들 및 생성된 예측 블록을 이용하여 현재 블록을 디코딩하는 단계;
조명 보정 파라미터들을 결정하는 단계는 다음을 포함한다:
참조 프레임의 참조 블록에 이웃하는 픽셀들의 값들 및 코딩되는 프레임의 현재 블록에 이웃하는 픽셀들의 재구성된 (인코딩된 다음 디코딩된) 값들을 수신하는 단계; 획득된 픽셀들은 하나 또는 그 이상의 공간 영역들로부터 선택될 수 있고, 각 공간 영역은 참조 프레임의 현재 참조 블록 및 코딩되는 프레임의 현재 블록에 관하여 이전에 결정된 근접 공간에 의해 특정된다; 지정된 영역들은 참조 프레임의 현재 참조 블록 및 코딩되는 프레임의 현재 블록에 관하여 인접하고, 지정된 영역들의 선택은 이미 디코딩된 픽셀들, 인터-프레임 차이의 인코딩에 더(futher) 적용되는 공간 변환(spatial conversion)의 크기 및 타입에 따라서 수행될 수 있고, 이미 코딩된 이웃하는 블록들의 크기들, 및 그것들의 현재 코딩되는 블록과의 논리적 연결들에도 따라 수행될 수 있다. (논리적 연결들은, 예를 들면 코딩 방법에 의해, 설정된, 이웃 블록들 및 현재 블록 사이에, 지정되어 객관적으로 존재하는 의존도들로 이해된다. 이 경우, 이러한 연결은 이웃하는 블록들 및 현재 코딩되는 블록의 조합일 수 있고, 이는 변위의 공통 벡터가 설정되는 인코딩의 단일 요소 내에서 함께 될 수 있다.); 코딩되는 블록에 이웃하는 픽셀들의 세트 및 참조 블록에 이웃하는 픽셀들의 세트의 유사성 추정이 추가적으로 계산된다. 픽셀들의 유사성의 계산된 추정 값은 참조 블록의 픽셀들의 조명 보정 이용에 대한 의사-결정의 추가적인 조건으로 이용될 수 있다;
미리 결정된 기준에 의해 지정된 영역들의 픽셀들의 공통 선택(세트)와 다르고, 참조 및 코딩되는 프레임들의 이미 디코딩되고 복원된 영역들에 속하는 픽셀들을, 조명 변화의 파라미터들의 결정에 대한 고려에서 제외하는 단계 - 미리 결정된 기준은 지정된 영역들의 픽셀들 값들의 분포의 분석, 정적 특성들의 계산, 및 지정된 영역들의 정적 특성들 및 모든 픽셀들의 값들의 비교에도 기반한다 -;
참조 블록의 픽셀들 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이의 관계들 및, 또한 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이의 관계들을 결정하는 단계;
참조 블록에 이웃하는 픽셀들 값들 및 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들, 이전 단계에 의해 결정된 참조 블록의 픽셀들 값들 사이의 관계들에 기반하여, 현재 코딩되는 블록 및 참조 블록 사이의 조명 차이 보정에 대한 조명 변화 보정 파라미터들을 결정하는 단계;
만약, 코딩되는 블록에 이웃하고 함께 고려되는 픽셀들 및 참조 블록에 이웃하고 함께 고려되는 픽셀들의 유사성의 정도가 임계 값보다 큰 경우에는 - 임계 값은 이전에 설정되거나 보정 절차 동안에 적응적으로 변할 수 있음 -, 이전 단계에서 결정된 파라미터들을 이용하여 현재 코딩되는 블록 및 참조 블록 사이의 조명 차이들의 보정을 수행하는 단계.
첨부된 도면들을 참조하여, 예시적인 실시예들의 다음 설명으로부터 이들 및/또는 다른 양상들 및 장점들은 명백해질 것이고 더 쉽게 이해될 것이다.
도 1은 하이브리드 멀티-뷰 비디오 시퀀스들의 인코더 및 적용부의 블록 다이어그램이다;
도 2는 예측 코딩에 포함되어 있는 제안된 방법을 구현하는 하이브리드 비디오 인코더 일부의 블록 다이어그램이다;
도 3은 참조 블록에 대한 조명 변화 보정 계산에 참여하는, 코딩되는 및 참조 프레임들의 주요 요소들을 나타내는 다이어그램이다;
도 4는 슈퍼-블록(super-block)의 단위(term), 슈퍼-블록의 일부인 블록 크기들의 가능한 조합들 중 어느 하나 및 또한 차분 데이터의 역상관(decorrelation of the difference data)에 이용되는 공간 변환들의 두 개의 타입들도 도시한 다이어그램이다;
도 5a 및 도 5b는 본 발명의 예시적인 실시예에 따라, 조명 보정 파라미터들을 계산하는 동안의 현재 프레임의 입력 블록 선택의 절차 및 또한 근접 공간의 단위(term of spatial proximity)도 도시하는 다이어그램들이다;
도 6은 일실시예에 따른 참조 블록에 대한 조명 변화 보정의 방법을 도시한 다이어그램이다;
도 7은 일실시예에 따른 참조 블록에 대한 픽셀-와이즈 조명 변화 보정의 방법을 도시한 플로우차트이다;
도 8은 일실시예에 따른 참조 블록에 대한 조명 변화 보정의 방법을 설명하는 다이어그램이다;
도 9는 일실시예에 따른 조명 변화 보정에 기반한 멀티-뷰 비디오 시퀀스들의 인코딩 방법을 설명하는 플로우차트이다; 및
도 10은 일실시예에 따른 조명 변화 보정에 기반한 멀티-뷰 비디오 시퀀스들의 디코딩 방법을 설명하는 프로우차트이다.
참조는 실시예들, 첨부된 도면들에 도시된 예들에서 상세히 설명되고, 전반에 걸쳐 같은 참조 번호들은 같은 요소들을 참조한다. 실시예들은 도면들을 참조하여 본 개시 내용을 설명하기 위해 이하에서 설명된다.
도 1은 하이브리드 멀티-뷰 비디오 시퀀스들의 인코더(hybrid multi-view video sequences encoder)의 블록 다이어그램을 도시한다. 하이브리드 멀티-뷰 비디오 시퀀스들의 인코더(105)의 입력 데이터는 원래의 뷰(original view)(코딩되는 관점(coded perspective))(101) 및, 인코딩된 멀티-뷰 비디오 데이터의 일부인, 이미 코딩된 다음 디코딩된 뷰들(already coded and then decoded views)(관점들)(102)을 포함한다. 이미 코딩된/디코딩된 뷰들(102) 및 이미 코딩된/디코딩된 깊이(depth) 시퀀스들(103)은 뷰 합성(view synthesis)(104)에 의해 원래의 뷰(코딩되는 관점)에 대한 합성된 뷰(synthesized view)(관점)를 생성하는데 이용된다. 생성된 합성된 뷰(관점)도 하이브리드 인코더(105)의 입력에 도달한다.
하이브리드 인코더(105)는 원래의 뷰(관점)의 인코딩에 이용되는 다음의 유닛들을 포함한다: 참조 픽쳐 관리 유닛(106), 인터-프레임(inter-frame) 예측 유닛(107), 인트라-프레임(intra-frame) 예측 유닛(108), 인터 및 인트라-프레임 보상(compensation) 유닛(109), 공간 변환(spatial transform) 유닛(110), 비율-왜곡(rate-distortion) 최적화 유닛(111), 엔트로피 코딩 유닛(112). 언급한 기능적 유닛들에 대한 더 자세한 정보는 Richardson I.E. The H.264 고급 비디오 보상 표준(Advanced Video Compression Standard). Second Edition. 2010에 제시된다. 일 또는 그 이상의 실시예들은 인터-프레임 예측 유닛(107)내에서 구현될 수 있다.
도 2는 예측 코딩 기능 유닛에 포함된 실시예를 구현하는 하이브리드 비디오 인코더 일부의 기법을 도시한다. 하이브리드 인코더는 감산 유닛(201), 변환 및 양자화유닛(202), 엔트로피 인코딩 유닛(203), 역변환 및 역양자화 유닛(204), 변위 및 조명/콘트라스트 변화 보상 유닛(205), 뷰(관점) 합성 유닛(206), 가산 유닛(207), 참조 픽쳐들 및 깊이 맵들 버퍼 유닛(208), 보상 및 보정 파라미터들의 예측 유닛(209), 변위 및 조명/콘트라스트 변화 추정 유닛(210), 및 매크로 블록 인코딩 모드 결정 유닛(211)을 포함한다. 유닛(201-204, 207-209, 및 211)들은 기본적인 하이브리드 코딩 방법[9]에 이용되는 표준 인코딩 유닛들이다. 뷰(관점) 합성 유닛(206)은 멀티-뷰 코딩의 시스템들의 유닛 특성(즉, 이미 인코딩된/디코딩된 프레임들 및 깊이 맵들로부터 추가적인 참조 프레임들의 형성(합성)의 수행)이다.
일실시예는 유닛(205) 및 유닛(210)들내에서 구현될 수 있다. 이러한 유닛들은 다음의 단계들을 포함하는 블록 와이즈(block wise) 예측 코딩 기술을 실현한다.
현재 코딩되는 프레임의 현재 블록(current block)에 대해 참조 블록(reference block)을 검색하는 단계로서, 한 쌍의 수들
Figure pct00278
로 설정되는 변위 벡터(Displacement Vector; DV)는 결정되고, 이는 일반적으로 변위 벡터 자체의 인코딩에 대한 비트 소비들(bit expenses)사이의 누적 최적(cumulative optimum) 및, 코딩되는 블록 및 보정된 참조 블록 사이의 간격(spacing)의 값들을 결정하고, 예를들면, 아래의 식에 의해 계산될 수 있다:
Figure pct00279
Figure pct00280
는 현재 블록내의 위치
Figure pct00281
에서의 픽셀의 휘도(luminance) 값을 표시한다. 현재 코딩되는 블록의 크기는
Figure pct00282
과 동일하다.
Figure pct00283
는 미리 정의된(predefined) 검색 영역내의 참조 블록
Figure pct00284
을 가리키는 변위 벡터(DV)를 지정(specifies)한다.
Figure pct00285
는 현재 블록 및 참조 블록 사이의 조명 및 콘트라스트의 차이들을 보정하는 함수(function)를 의미한다. 디그리 지수(degree exponent) P는 0보다 크고, 일반적으로 1 또는 2의 값들 중 하나를 취한다. 설명된 기술은 유닛(210)에서 실현된다. 획득된 DV에 따라 결정된 조명 변화 보정 파라미터들은 유닛(205) 및 유닛(209)에 전송된다. 실제 구현에서, 변위 벡터는 서비스 정보의 더 컴팩트(compact)한 표현의 목적으로 한꺼번에(at once) 더 고려된 몇 개의 블록들(several blocks considered further)에 대해 결정될 수도 있고, 이 경우 최소화 기준(criterion of minimization)은 한꺼번에(at once) 더 고려된 몇 개의 블록들을 포함하는 슈퍼-블록(super-block)에 대해 설정될 것이다. 이 경우, 최소화 기준은 다음과 같이 설정될 수 있다:
Figure pct00286
H1, W1는 슈퍼-블록의 크기들이다.
변위 벡터는 현재 인코딩되는 블록에 대응하는 참조 블록을 나타내고, 변위 벡터는 현재 인코딩되는 블록 및 참조 블록 사이의 휘도 불일치를 고려하여 결정될 수 있다.
선택된 참조 블록은 결정된 조명 변화 보정 파라미터들에 따라 수정된다(유닛(205)). 그 후 잔차 블록(residual block)이 유닛(201)에 의해 생성된다. 그런 다음, 잔차 블록은 이산 코사인 변환(Discrete Cosine Transform; DCT)에 의해 변환되고, 양자화되고(유닛(202)), 엔트로피 인코더(유닛(203))에 의해 인코딩된다. 더 많은 디코딩(further decoding)에 요구되는 사이드 정보(Side information; SI)도 엔트로피 인코더(유닛(203))에 의해 인코딩된다.
도 3은 일실시예에 따라 참조 프레임에 대한 조명 변화 보정을 계산하는데 참여하는 참조 프레임들, 코딩되는 주요 요소들을 개략적으로 도시한다. 도 3을 참조하면, 코딩되는 슈퍼-블록 (315)에 대해서도 결정될 수 있는 변위 벡터(320)는 현재 인코딩되는 프레임 (310)의 현재 블록 (311)(코딩되는 슈퍼-블록(315)의 일부일 수 있다.)에 대해 결정된다. 벡터(320)은 현재 코딩되는 블록(311)에 대해서 참조 프레임 (300)으로부터 참조 블록(301)을 분명하게(unequivocally) 결정하도록 허용하고, 변위 벡터는 코딩되는 슈퍼-블록(315)에 대응하는 참조 슈퍼-블록(305)도 분명하게 설정한다. 참조 프레임(300), 블록들(301,302,303,304,305) 및 현재 프레임(310)의 복원된 (restored)(코딩된 다음 디코딩된)블록들: 312, 313, 314 은 인코딩 동안 및 디코딩 에서도 접근가능(accessible) 하다는 점을 주의할 필요가 있다.
도 4에 도시된 코딩되는 프레임(400)은, 하나 또는 그 이상의 코딩되는 블록들을 포함할 수 있는 특성의 슈퍼-블록(401)을 내부에 포함하고, 슈퍼-블록에 대한 변위 벡터(407)은 결정되며, 이는 참조 프레임(406)내의 참조 슈퍼-블록(408)의 분명한(unequivocal) 결정을 제공한다. 이 경우, 슈퍼-블록(401)은 블록들(402, 403, 404, 405)을 포함하고, 블록(402)뿐만 아니라 블록(404)도 블록들(403 및 405)에 주어진 예에 적용된 변환보다 작은 치수(smaller dimension)를 갖는 변환을 이용하여 코딩된다. 슈퍼-블록의 치수들, 변환의 사이즈들 및 타입들의 선택은, 코딩되는 프레임의 주어진 섹션에 대한 코딩 정보 비용(cost of information coding) 최소화의 미리 조정된 기준(preset criteria)을 따라, 진행하는 코더(coder)에 의해 결정된다. 도 4에 도시된 바와 같이, 블록들(402, 403, 404, 405)은 컴포넌트들로서 슈퍼-블록(401)의 일부이기 때문에 논리적으로 연결(logically connected)된다.
도 5a 및 도 5b는 현재 프레임(500)의 실시 영역들에 고려된 주요 기하학적 관계(geometric relationship)를 도시한다. 그래서, 현재 프레임(500)의 영역(501)은 현재 인코딩 되는 블록(502)의 디코딩 및 인코딩 동안 접근가능하다. 영역(501)은 때때로(sometimes) "템플릿(template)"으로도 불린다. 영역(503)은 현재 블록(502)의 디코딩 동안에 접근가능 하지 않다. 영역(501)에만 위치하는, 현재 프레임의 픽셀들에 기반하여 참조 블록의 조명 보정 파라미터들을 계산하는 실시예에 따라, 디코더 및 코더의 유사한 보정의 실현에 있어서는, 출력 비트 스트림(output bit stream)에 대한 조명 보정의 추가적 파라미터들 전송의 필요성이 없다. 영역(501)에 속하는 몇몇 픽셀들은 참조 블록의 조명 보정 파라미터들의 계산에 이용된다. 이러한 픽셀들은 도 5a 및 5b에 영역(505)로 도시된다.
보정 파라미터들의 계산에 이용되는 픽셀들은 하나 또는 그 이상의 공간 영역들로부터 선택될 수 있고, 각 영역은 코딩되는 프레임의 현재 블록 및 참조 프레임의 현재 참조 블록(current reference block)에 관해서 이전에 지정된 근접 공간에 의해 특정된다; 도 5b에서 선택된 공간 영역은 영역(505)이고, 근접 공간은 설계된 블록의 엣지(edge) 및 영역 사이의 최단 거리에 의해 결정된다(도 5b의 506).
영역의 선택은, 차분 픽셀 정보(difference pixel information), 이미 코딩된 이웃 블록들의 크기들에 따라 진행하는, 이미 디코딩된 픽셀들, 및 또한 그것들의 현재 코딩되는 블록과의 논리적 연결들 - 인코딩 알고리즘에 의해 설정됨 - 의 인코딩에 대해 이후에 적용되는, 공간 변환의 타입에 따라 만들어 질 수 있다; 코딩되는 블록에 이웃하고 함께 고려되는 픽셀들 및 (pixels neighboring the coded block and considered together) 및 참조 블록에 이웃하고 함께 고려되는 픽셀들 (pixels neighboring the reference block and considered together)의 유사성 추정(estimation of similarity)은 추가적으로 계산된다; 픽셀들의 유사성 추정의 계산된 값은 참조 블록 픽셀들의 조명 보정 이용의 의사-결정(decision-making)에 추가적인 조건으로 이용될 수 있다.
일실시예는 예측 인코딩(encoding with a prediction)에서 참조 블록에 대한 조명 변화의 픽셀 보정을 제공한다. 핵심 아이디어는 조명 변화 보정 파라미터의 픽셀 추정을 포함하고, 보정은 현재 블록에 이웃하는 픽셀들의 복원된(restored) 값들, 참조 프레임의 픽셀들 값들 및 그것들의 상호 유사성(mutual similarity)에 기반한다. 도 6은 이 기술의 구체적인 적용을 도시한다.
도 6을 참조하면, 변위 벡터(DV)(620)은 현재 인코딩되는 프레임(610)에 속하는 현재 블록(611)에 대해 결정된다. DV는 참조 프레임(600)의 참조 블록(601)을 가리킨다. 명확성을 위해(for definiteness)
Figure pct00287
픽셀들을 갖는 현재 블록(611)은 A00~A33로 표시된 픽셀들을 포함한다. 참조 블록(601)은 R00~R33로 표시된 픽셀들을 포함한다. 현재 코딩되는 블록에 이웃하는 픽셀들(명확성을 위해
Figure pct00288
및
Figure pct00289
로 크기가 설정된 블록들(612 및 613))의 복원된 값들은
Figure pct00290
로 표시된다. 는 블록들(602 및 603)에 속하는 픽셀들이다. 블록들(602 및 603)은 참조 블록에 관하여 이웃하는 블록들이고, 블록들(612 및 613)에 따라(in comforminty to) 위치한다.
참조 블록(601)의 각 픽셀 위치(i,j)에 대해 조명 변화 보정은 다음의 식에 따라 수행된다:
Figure pct00292
여기에 조명 변화의 픽셀-와이즈(pixel-wise) 보정 파라미터
Figure pct00293
(
Figure pct00294
이 0이 아니라면)는 다음과 같이 설명된다:
Figure pct00295
Figure pct00296
는 참조 블록의 픽셀 위치
Figure pct00297
에 대한 제1 추정 값(estimation value)이고;
Figure pct00298
는 참조 블록의 픽셀 위치
Figure pct00299
에 대한 제2 추정 값이다.
그렇지 않으면,
Figure pct00300
는 1로 가정한다.
참조 블록에 대한 조명 변화의 픽셀-와이즈 보정 방법의 플로우차트는 도 7에 도시된다. 방법은 다음의 주요 단계들을 포함한다:
1. 참조 프레임(600)에서의 블록들(601, 602, 603), 현재 인코딩 되는 프레임(610)의 템플릿 영역에 속하는 블록들(612, 613), 및 블록(611)의 픽셀의 값들을 수신하는 단계(동작(701)). 그 다음, 블록들(602, 603)의 픽셀들 및 블록들(612, 613)의 픽셀들의 유사성 추정을 위한 다음 단계들이 제공된다:
참조 블록에 이웃하는 모두 이미 복원된 픽셀들
Figure pct00301
(특히 블록들(602 및 603)에 포함되는 픽셀들), 및 코딩되는 블록에 이웃하는 모두 이미 복원된 픽셀들
Figure pct00302
(특히 블록들(612 및 613)에 포함되는 픽셀들)는, 공간 픽셀 위치들
Figure pct00303
및 픽셀 k의 수의 값에 의해 결정되어 대응하는 영역들의
Figure pct00304
로 고유하게 설정되는 공동 쌍들
Figure pct00305
를 형성하여서,
Figure pct00306
과 같은 M의 비-교차(non-intersecting) 그룹들
Figure pct00307
로 그룹화 된다. 그룹은 일반적으로 말하는(generally speaking) 임의의 크기들의 픽셀들 쌍들의 블록일 수 있고, 예를 들면 - 크기
Figure pct00308
의 픽셀들의 쌍들,
Figure pct00309
의 픽셀들의 쌍들 등. 초기 블록들(602, 603, 612, 613)의 실제 크기들에 의존한다. 그룹 Gi에 속하는 픽셀들의 쌍들은 또한
Figure pct00310
로도 설계된다.
각 그룹 Gi 에 대한 메트릭스(metrics)
Figure pct00311
는, 각 그룹 Gi 의 모든 픽셀들
Figure pct00312
의 평균 값들 및 모든 픽셀들
Figure pct00313
의 평균 값들의 구분을 제외한, 픽셀 구분들
Figure pct00314
및
Figure pct00315
의 등록에 기반하여 계산되고, 아래의 식과 같다:
Figure pct00316
디그리 지수 P1 값은 실험적으로 결정되고, 명확성을 위해 1로 설정될 수 있다;
각 그룹 Gi에 대한 메트릭스
Figure pct00317
는, 각 그룹 Gi의 모든 픽셀들
Figure pct00318
의 평균 값들 및 모든 픽셀들
Figure pct00319
의 평균 값들의 구분들에 기반하여 계산되고, 아래의 식과 같다:
Figure pct00320
디그리 지수 P2의 값은 실험적으로 결정되고, 명확성을 위해 1로 설정될 수 있다;
그룹들
Figure pct00321
에 대해
Figure pct00322
로 설계된 공통 메트릭스는, 각 그룹 Gi의 모든 픽셀들
Figure pct00323
의 평균 값들 및 모든 픽셀들
Figure pct00324
의 평균 값들의 구분들을 제외한, 각 그룹들에 의한 픽셀 구분들
Figure pct00325
및
Figure pct00326
의 등록에 기반하여 계산되고, 아래의 식과 같다:
Figure pct00327
;
그룹들
Figure pct00328
에 대해
Figure pct00329
로 설계된 공통 메트릭스는, 각 그룹 Gi의 모든 픽셀들
Figure pct00330
의 평균 값들 및 모든 픽셀들
Figure pct00331
의 평균 값들의 구분들 등록에 기반하여 계산되고, 아래의 식과 같다:
Figure pct00332
;
계산된 메트릭스
Figure pct00333
및
Figure pct00334
의 값들의 비교는 이전에 정의된 임계 값들로 수행되고, 만약
Figure pct00335
가 제1의 정의된 임계 값보다 크거나
Figure pct00336
가 제2의 정의된 임계 값보다 작은 경우, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 약한것으로 고려된다; 그렇지 않으면, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 강한것으로 고려된다;
만약, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 약하다면, 보정은 적용될 수 없다;
만약, 참조 블록에 이웃하는 복원된 픽셀들 및 코딩되는 블록에 이웃하는 복원된 픽셀들의 유사성이 강하다면, 보정은 필수적으로 (obligatory) 수행된다.
2. 참조 블록(601)의 각 픽셀 위치
Figure pct00337
에 대한 가중 계수들(weighted coefficients)
Figure pct00338
를 계산하는 단계(동작(702)). 가중 계수들
Figure pct00339
는 다음과 같이 표현된다:
Figure pct00340
Figure pct00341
Figure pct00342
는 파라미터들이고, 값
Figure pct00343
로부터 비선형 의존성(nonlinear dependence)을 설정하며, 실험적으로 결정된다. 여기에,
Figure pct00344
는 블록들(612, 613)(또는 블록들(602, 603))의 픽셀들의 전체 수이다. 가중 계수들은, 값
Figure pct00345
이
Figure pct00346
에 가까워질수록, 참조 블록에 대한 조명 변화 보정의 파라미터의 결정에 더 큰 기여를 한다는 것을 반영한다는 점을 주의할 필요가 있다.
3. 다음의 식을 따라 참조 블록(601)의 각 픽셀 위치
Figure pct00347
에 대한
Figure pct00348
값을 계산하는 단계(동작 703):
Figure pct00349
Figure pct00350
및
Figure pct00351
는 미리 결정된(predetermined) 임계 값들이다. 임계 값들은 현재 코딩되는 블록에 이웃하는
Figure pct00352
값들 및
Figure pct00353
값들과 필수적으로 다른 참조 블록에 이웃하는 픽셀들의 값들의 제외(exclusion) 에 이용된다.
Figure pct00354
를 계산하는 표현식은 다음과 같이 간략화 될 수 있다:
Figure pct00355
4. 다음의 식을 따라 참조 블록(601)의 각 픽셀 위치
Figure pct00356
에 대한
Figure pct00357
값을 계산하는 단계(동작 704):
Figure pct00358
Figure pct00359
의 계산에서, 미리 결정된 값들
Figure pct00360
및
Figure pct00361
는 같다.
Figure pct00362
를 계산하는 표현식은 다음과 같이 간략화 될 수 있다:
Figure pct00363
조명 변화 보정 파라미터 값
Figure pct00364
의 추정의 정확도(accuracy) 증가를 위해, 일실시예는 지정된 영역들의 픽셀들의 공통 선택(세트(set)과 다르고, 참조 및 코딩되는 프레임의 이미 디코딩되고 복원된 영역들에 속하는, 획득된 픽셀들
Figure pct00365
및
Figure pct00366
의 고려로부터 제외(exclusion from consideration)를 위한 다음 동작들이 수행되는 것을 제공한다:
조건
Figure pct00367
및
Figure pct00368
를 만족하는 모든 픽셀들
Figure pct00369
에 대해, 참조 및 코딩되는 프레임들의 공간 위치 및, 시리얼 번호
Figure pct00370
에 따라 진행하는 픽셀들
Figure pct00371
에 대응하는, 픽셀들
Figure pct00372
이
Figure pct00373
로 설계된 그룹들로 그룹화되는, 픽셀들
Figure pct00374
를 그룹핑하는 단계:
Figure pct00375
,
값들
Figure pct00376
,
Figure pct00377
은 그룹
Figure pct00378
를 결정하는 범위의 제한들을 정의하고, 조건
Figure pct00379
;
Figure pct00380
를 만족한다. 그룹들
Figure pct00381
수 NB는 실험적으로 정의되고, 값들
Figure pct00382
의 넘버링에 이용되는 인덱스 i의 가능한 최대 값을 설정한다;
값들
Figure pct00383
로 정의된, 각 그룹
Figure pct00384
에 대한 다음의 값들이 계산된다:
Figure pct00385
Figure pct00386
다음의 세 조건들이 그룹
Figure pct00387
의 각 픽셀
Figure pct00388
에 대해 만족하는지 검토된다:
조건1:
Figure pct00389
;
조건2:
Figure pct00390
;
조건3:
Figure pct00391
만약, 검토된 조건들
Figure pct00392
중 어느 하나가 그룹
Figure pct00393
의 다음에 고려된 픽셀
Figure pct00394
에 대해 만족한다면, 고려된 픽셀
Figure pct00395
는 참조 블록의 조명 보정 파라미터들의 추가적 계산들에 포함된다.
5. 만약,
Figure pct00396
이 0이 아니면, 획득된 값들
Figure pct00397
및
Figure pct00398
에 기반하여 참조 블록(601)의 각 픽셀 위치
Figure pct00399
에 대한 조명 변화 보정 파라미터
Figure pct00400
를 계산하는 단계(동작 705). 그렇지 않으면,
Figure pct00401
는 1과 같은 것으로 가정한다. 조명 변화 보정 파라미터
Figure pct00402
는 다음의 표현식에 따라 계산될 수 있다:
Figure pct00403
Figure pct00404
는 제1 추정 값이고,
Figure pct00405
는 제2 추정 값이고, CUT_TH는 컷오프(cutoff) 임계 값이고, LogWDC는 유효 수의 계수(effective number coefficient)이고, <<는 산술 왼쪽 시프트 연산자(arithmetic left shift operator)이고, >>는 산술 오른쪽 시프트 연산자이다. 실용적인 이유들로 인해서, 만약
Figure pct00406
- 참조 템플릿 영역 및 디코딩되는 템플릿 영역의 픽셀들이 상당히(quite) 유사함을 의미- 라면, 조명 보정은 수행되지 않는다.
6. 만약, 블록들(602, 603, 612, 613)의 픽셀들의 유사성이 강한 것으로 인정된다면, 계산된 파라미터들
Figure pct00407
의 이용에 기반하여, 참조 블록(601)에 대한 조명 변화 보정을 수행(동작 706)하는 단계.
참조 블록의 조명 보정은 다음의 표현식에 따라 수행될 수 있다:
Figure pct00408
,
Figure pct00409
는 참조 블록의 좌표 (x,y)에서의 픽셀의 값이고,
Figure pct00410
는 참조 블록의 좌표 (x,y)에서의 픽셀의 조명-보정된 값이고,
Figure pct00411
는 조명 보정 파라미터이고, logWDC는 유효 수의 계수이다.
일실시예는, 또한 참조 블록의 각 픽셀의 세기(intensity)를 독립적으로 이용하는 대신, 참조 블록 픽셀들의 휘도 값들의 이러한 보정을 제공하고, 참조 블록 픽셀 하나 이상의 일반화된 통계 특성(generalized statistic characteristic)이 보정될 수 있다. 예를 들면, 상술한 일 또는 그 이상의 실시예들에 따라, 블록(601)로부터 픽셀들
Figure pct00412
에 대해 보정 파라미터로 계산되는 평균 값을 계산하는 것이 가능하다. 그때, 픽셀들
Figure pct00413
세트의 평균 값은 보정된 값으로 대체될 것이다. 다른 실시예에서, 분명히 결정된 공통 특성(feature)(예를 들어-세기들의 근접성(proximity of intensities))에 기반하여, 참조 블록의 픽셀들은 픽셀들의 일 또는 그 이상의 그룹들로 그룹화되고, 이는 이후에 공통 파라미터(예를 들어, 평균값과 같은)의 선택, 그것의 보정 및 보정되는 것(corrected one)의 픽셀들의 선택된 그룹에 대한 공통 파라미터의 원래의 값의 최종적인 대체와 함께 이루어진다.
일실시예는 아래에 설명된 아이디어에 기반할 수 있다. 일반적으로 참조 블록에 이웃하는 픽셀들의 값들은 참조 블록에 가까이 인접한(immediately adjacent) 픽셀들의 그룹으로 정의된다. 그러나, 참조 블록의 검색 절차는, 지정된 픽셀들 내의 픽셀들 값들이, 현재 코딩되는 블록에 이웃하는 것들에 대응하는 픽셀들의 값들과, 적절하게(adequately) 유사하지 않는 변위 벡터를 선택할 수 있다. 게다가, 참조 블록에 가까이 인접한 픽셀들 값들은 참조 블록의 값들과 상당히(considerably) 다를 수 있다. 이러한 경우에, 조명 및 콘트라스트 변화의 보정은 부정확하게 수행될 수 있다.
일 또는 그 이상의 실시예는 참조 블록에 이웃하는 픽셀들의 전술한 그룹의 <플로트(float)>(참조 블록에 대해) 위치를 이용할 수 있다. 도 8은 일실시예에 따라 제안된 방법을 설명한다. 도 8을 참조하면, 참조 블록 검색 절차의 각 반복(each iteration)에서 변위 벡터(DV)(820)는 현재 코딩되는 프레임(810)의 현재 블록(811)에 대해 할당(assigned)된다. DV는 참조 프레임(800)의 참조 블록(801)을 가리킨다. 참조 프레임의 픽셀들 그룹의 좌표들(블록들(802 및 803)의 픽셀들에 의해 형성됨)은 추가적인 세분 변위 벡터(additional refinement displacement vector)(804)에 의해 결정된다. 세분 변위 벡터(804)는 추가적인 변위 추정 절차의 결과이다. 이러한 변위 벡터(804)는, 블록들(812, 813) 및 이에 대응하여(correspondingly) 블록들(802, 803)의 유사 정도로 정의된 에러 함수(error function)의 최소 값을 정의하도록 결정된다. 이러한 알려진 함수들은 에러 함수 일 수 있다: 평균 제곱 오차(Means Square Error), 절대 차분들의 합(Sum of Absolute Differences), 절대 차분들의 평균 제거 합(Mean Removed Sum of Absolute Differences)등. 벡터(804)는 출력 비트 스트림에 어떤 추가적인 정보의 전송없이 인코딩 및 디코딩 절차 동안에 암시적으로(implicitly) 결정될 수 있다.
도 9는 일실시예에 따른 조명 보정에 기반한 멀티-뷰 비디오 시퀀스들의 인코딩 방법을 설명하는 플로우차트이다.
의존적인 뷰들(depended views)의 P-slices에서 모든 인터 매크로 블록 모드들(inter macro block modes)은, 적응적 휘도 보상(Adaptive Luminance Compensation; ALC) 사용가능(enabled) 및 사용불가(disabled)로 검토되고, 가장 좋은 모드는 인코더에 의해 선택된다.
ALC는, 인터뷰(interview) 참조 프레임에 속하는 예측된 블록들 및 인코딩되는 매크로 블록 사이의, 국부(local) 조명 변화들을 억제하는(suppresses) 코딩 툴(tool)이다. 이 기술은 여러가지 양상들(several aspects)을 포함한다: 보상 모델, 휘도 불일치 추정 절차, 모션(motion)(변이(disparity)) 벡터 유도 및 시그널링 메커니즘(signalling mechanism).
자연스러운(natural) 멀티-뷰 시퀀스들의 다수 및 합성된 멀티-뷰 시퀀스들의 일부도, 그것들이 기하학적으로 정확하게 일치하더라도(geometrically matched accurately), 일반적으로 인터-뷰 부정합들(inter-view mismatches), 특히 3D 캡쳐링 시스템(capturing system)의 인접 카메라(adjacent cameras)에 의해 캡쳐된 객체 프로젝션들(object projections)사이의 국부 휘도 불일치를 보여준다(demonstrate)는 것은, 잘 알려져 있다. 휘도 불일치의 억제는 블록들의 인터뷰 예측의 품질(quality)을 높이는 것을 허용한다. 그것은 잔차(residual)들의 비율을 감소시키고, 인코딩되는 프레임들의 PSNR(최대 신호 대 잡음비(Peak Signal-to-Noise Ratio; PSNR)) 증가도 가져온다.
디코딩되는 이미지 부분들은 ALC 파라미터들 계산 및 보정에 이용된다. P-Skip모드로 인코딩되고, 멀티뷰+깊이 비디오(multiview + depth video)의 텍스쳐 컴포넌트(texture component)의 의존적인 뷰들(dependent views)에 속하는, 각 인터 매크로 블록에 대한 일-비트 플래그(one-bit flag)는, ALC 이용을 나타내도록 시그널링(signalled)된다.
예를 들면,
Figure pct00414
및
Figure pct00415
는 일-비트 플래그들로 이용될 수 있다.
Figure pct00416
이 1과 같을 때, 적응적 휘도 보상은 현재 매크로 블록(current macro block)에 적용된다.
Figure pct00417
이 1과 같을 때, 현재 매크로 블록은 P_Skip으로 코딩될 수 있다.
Figure pct00418
이 0과 같을 때, 적응적 휘도 보상은 현재 매크로 블록에 적용되지 않는다.
Figure pct00419
에 제시되지 않을 때,
Figure pct00420
은 0과 같은 것으로 추론(inferred)될 수 있다.
Figure pct00421
이 1과 같을 때, 적응적 휘도 보상 모드는 현재 매크로 블록에 이용된다.
Figure pct00422
이 1과 같을 때, 현재 매크로 블록은
Figure pct00423
,
Figure pct00424
, 또는
Figure pct00425
중 적어도 어느 하나로 코딩될 수 있다.
Figure pct00426
이 0과 같을 때, 적응적 휘도 보상 모드는 현재 매크로 블록에 이용되지 않는다.
Figure pct00427
이 제시되지 않을 때,
Figure pct00428
은 0과 같은 것으로 추론될 수 있다.
동작(901)에서, 예측된 블록 생성에 이용되는 참조 블록은 결정된다.
만약 ALC가 매크로 블록에 턴 온(turned on) 된다면, 인터-뷰 모션 벡터 예측에 대해 정렬된(aligned) 모션 벡터 예측은 P_SKIP모드에 이용된다. 특히, ALC 툴이 이용된다면, 참조 인덱스 refIdxL0는 RefPicList0에 먼저(first) 나타난 인터뷰 픽쳐(interview picture)로 유도된다. 중간 루마 모션 벡터 예측(median luma motion vector prediction)의 깊이-기반(depth-based) 유도 절차는 P_Skip의 모션 벡터 예측 mvpL0의 유도에 적용(invoked)될 수 있다.
변위(변이) 벡터를 생성하는 모션 추정 절차를 수행하기 위해, "제한된(limited)" 검색 존(search zone)은, 입력 멀티뷰 비디오 시퀀스는 이미 정류(rectified)되었다는 가정에 기반하여 정의된다. 특히, 검색 존 크기들은 다음과 같이 정의될 수 있다:
검색 존 높이(Search Zone Height)는 6 쿼터(quarter) 픽셀 위치들과 동일하게 정의될 수 있다
검색 존 폭(Search Zone Width)은 20 쿼터 픽셀 위치들과 동일하게 정의될 수 있다.
변위 벡터 결정의 더 높은 정확성(precision)을 제공하기 위해 소위 "빠른 전체 검색(Fast Full Search)"이 ALC 인코딩 모드들의 인코더 사이드(encoder side)에 이용될 수 있다.
변이 벡터 추정의 정확도를 향상시키기 위해, 인코딩되고, 예측된 블록들 사이의 잠재적인 휘도 불일치를 고려하여, SAD로부터 소위 MR_SAD
Figure pct00429
_DC로 왜곡 메트릭(distortion metric)을 수정(modify)하는 것이 제안된다. 이 변화는 인코더 부분만 다루고, ALC 기술의 유익한(informative) 컴포넌트이다.
먼저, MR_SAD
Figure pct00430
는 크기가 (H, W)인 현재 인코딩되는 블록을 포함하는 모든 서브-블록들
Figure pct00431
의 평균-제거 SAD들의 합으로 정의된다:
Figure pct00432
Figure pct00433
, R은 참조 프레임이고, X는 인코딩되는 프레임, H는 인코딩되는 블록의 높이, W는 인코딩되는 블록의 폭이다.
그 다음, 가능한 DC 차분들을 고려하여, 다음의 수정(modification)이 행해져셔, DC 차분들 및 평균-제거 차분들 모두에 예민한(sensitive) 왜곡 메트릭을 만든다:
Figure pct00434
실험들은, SAD 메트릭 대신 MR_SAD
Figure pct00435
_DC의 이용으로 인해 인코더의 복잡성(MR_SAD
Figure pct00436
_DC)이 증가되지 않고, 압축 이득(compression gain)이 약간 상승할 수 있다는 점을 나타낸다.
ALC 보상은 루마 샘플들에 대해 적용할 수 있다. 텍스쳐 의존적인 뷰들(dependent views)의 P-Slices에서 테스트 되는 각 예측 모드에 대해, 매크로 블록은 크기 (psx, psy)의
Figure pct00437
로 더 불려지는(referred further) 비-오버랩(non-overlapped) 블록으로 나뉘고, 이러한 비-오버랩 블록들은 디코딩 오더(decoding order)에서 명령을 받고(ordered), ALC는 순차적으로 각
Figure pct00438
에 적용된다. 가중 팩터(weight factor)를 유도하기 위해, 템플릿 행(template row) 및 템플릿 열(template column)(즉, 위 및 왼쪽 템플릿들)이 선택된다. 템플릿 행 길이는 psx과 같고, 템플릿 열의 높이는 psy와 같다. 아래의 표 1은 mb_type 값에 기반하여 블록 크기들이 어떻게 정의되는지 나타낸다.
mb_type psx psy
P_L0_16x16 16 16
P_L0_L0_16x8 16 8
P_L0_L0_8x16 8 16
P_Skip 16 16
동작(902)에서, 결정된 참조 블록의 조명 및 콘트라스트 변화 보정 파라미터들이 결정된다.
ALC를 수행하기 위해, 각
Figure pct00439
에 대해 가중 팩터 W는 다음과 같이 계산된다:
두 개의 중간(intermediate) 변수들 Ref_Dec 및 Ref_Ref은 계산된다:
Figure pct00440
가중 W는 아래와 같이 계산된다:
Figure pct00441
"/"는 0으로 반올림하는 정수 나누기(integer division with rounding to zero), ">>"는 산술 오른쪽 시프트이며, TH는 미리 정의된 임계(즉, 30)이고, CUT_TH는 다른 하나의 미리 정의된 임계(즉, 4)이다.
조명 및 콘트라스트 변화 보정 파라미터들의 정의는 다음을 포함한다:
참조 프레임의 참조 블록에 이웃하는 픽셀들의 값들 및 현재 블록에 이웃하는 픽셀들의 복원된(인코딩된 다음 디코딩된) 값들을 수신하는 단계; 수신된 픽셀들은 하나 또는 그 이상의 공간 영역들로부터 선택되고, 각 공간 영역은 참조 프레임의 현재 참조 블록 및 코딩되는 프레임의 현재 블록에 관하여 이전에 설정된 근접 공간에 의해 특정된다; 지정된 영역들은 참조 프레임의 현재 참조 블록 및 코딩되는 프레임의 현재 블록에 관하여 인접하고, 지정된 영역들의 선택은 이미 디코딩된 픽셀들, 인터-프레임 차이의 인코딩에 이후에 적용되는 공간 변환의 타입에 따라서 수행되고, 이미 코딩된 이웃하는 블록들의 크기들, 및 그것들의 현재 코딩되는 블록과의 논리적 연결들에도 따라 수행된다(논리적 연결들은, 예를 들면 코딩 방법에 의해, 설정된, 이웃 블록들 및 현재 블록 사이에, 지정되어 객관적으로 존재하는 의존도들로 이해된다. 이 경우, 이러한 연결은 이웃하는 블록들 및 현재 코딩되는 블록의 조합일 수 있고, 이는 변위의 공통 벡터가 설정되는 인코딩의 단일 요소 내에서 함께 될 수 있다.); 코딩되는 블록에 이웃하는 픽셀들의 세트 및 참조 블록에 이웃하는 픽셀들의 세트의 유사성 추정이 추가적으로 계산된다. 픽셀들 유사성의 계산된 추정 값은 참조 블록 픽셀들의 조명 보정 이용에 대한 의사-결정의 추가적인 조건으로 이용된다
미리 결정된 기준에 의해 지정된 영역들의 픽셀들의 공통 선택(세트)와 다르고, 참조 및 코딩되는 프레임들의 이미 디코딩되고 복원된 영역들에 속하는 픽셀들을, 조명 변화 파라미터들의 결정에 대한 고려에서 제외하는 단계 - 미리 결정된 기준은 지정된 영역들의 픽셀들 값들의 분포의 분석, 정적 특성들의 계산, 및 지정된 영역들의 정적 특성들 및 모든 픽셀들의 값들의 비교에도 기반한다 -;
참조 블록의 픽셀들 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이의 수치 관계들 및 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이의 관계들을 결정하는 단계;
참조 블록에 이웃하는 픽셀들 값들 및 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들, 참조 블록의 픽셀들 값들, 이전 단계에 의해 결정된 수치 관계들에 기반하여, 참조 블록의 조명 차이 보정에 대한 조명 변화 보정 파라미터들을 결정하는 단계.
단계(903)에서, 조명 변화 보정의 결정된 파라미터들을 이용하여, 참조 블록의 보정이 수행된다.
ALC는 매크로 블록
Figure pct00442
의 각
Figure pct00443
의 모든 값들에 대해 수행된다. 예측된 샘플들
Figure pct00444
는 다음과 같이 유도된다:
Figure pct00445
, logWDC는 15로 설정될 수 있다.
코딩되는 블록에 이웃하고 함께 고려되는 픽셀들 및 참조 블록에 이웃하고 함께 고려되는 픽셀들의 유사성의 정도가 임계 값 보다 클 때, 이전 단계에서 결정된 파라미터들에 기반하여, 참조 블록 및 현재 코딩되는 블록사이의 조명 차이들 보정이 수행되고, 임계 값은 이전에 설정될 수 있거나 보정의 절차 동안에 적응적으로 변한다.
단계(904)에서, 조명 보정된 참조 블록을 이용하여, 현재 블록에 대한 예측 블록이 생성된다. 예를 들어, 보정된 블록들
Figure pct00446
는, 공간적으로
Figure pct00447
에 대응하는 인코딩되는 (디코딩되는) 매크로 블록의 보상(compensation)에 이용된다.
단계(905)에서, 생성된 예측 블록을 이용하여, 현재 블록이 인코딩된다. 특히, 디코딩에 필요하다면 참조 블록에 대한 정보는 인코딩된다. 예를 들어, 디코더가 현재 인코딩되는 블록을 디코딩할 때, 조명 보정 기법을 이용하는지 여부를 나타내는 플래그가 생성될 수 있다. 동시에, 조명 변화 보정의 결정된 파라미터들은 인코딩되지 않고, 비트 스트림에 배치 되지 않는다.
도 10은 일실시예에 따라 조명 변화 보정에 기반하는 멀티-뷰 비디오 시퀀스들의 디코딩 방법을 도시한다. 도 10을 참조하면, 참조 블록에 대한 정보는 디코딩의 요구사항일 경우에 디코딩된다. 예를 들면, 인코더에 의해 생성된 플래그에 기반하여 조명 보정 기법을 이용하는지 여부가 결정된다. 디코딩된 정보는 단계(1001)에 참조 블록의 결정에 이용될 수 있다.
단계(1002)에서, 참조 블록의 보정에 대한 조명 변화 보정 파라미터들이 결정된다.
ALC 수행을 위해, 각
Figure pct00448
에 대한, 가중 팩터W가 다음과 같이 계산된다:
두 개의 중간 변수들 Ref_Dec 및 Ref_Ref은 계산된다:
Figure pct00449
;
가중 W는 아래와 같이 계산된다:
Figure pct00450
"/"는 0으로 반올림하는 정수 나누기(integer division with rounding to zero)이고, ">>"는 산술 오른쪽 시프트이며, TH는 미리정의된 임계(즉, 30)이고, CUT_TH는 다른 하나의 미리정의된 임계(즉, 4)이다.
조명 변화 보정 파라미터들의 결정은 다음을 포함한다
참조 프레임의 참조 블록에 이웃하는 픽셀들의 값들 및 현재 블록에 이웃하는 픽셀들의 복원된(인코딩된 다음 디코딩된) 값들을 수신하는 단계; 수신된 픽셀들은 하나 또는 그 이상의 공간 영역들로부터 선택되고, 각 공간 영역은 참조 프레임의 현재 참조 블록 및 코딩되는 프레임의 현재 블록에 관하여 이전에 설정된 근접 공간에 의해 특정된다; 지정된 영역들은 참조 프레임의 현재 참조 블록 및 코딩되는 프레임의 현재 블록에 관하여 인접하고, 지정된 영역들의 선택은 이미 디코딩된 픽셀들, 인터-프레임 차이의 인코딩에 이후에 적용되는 공간 변환의 타입에 따라서 수행되고, 이미 코딩된 이웃하는 블록들의 크기들, 및 그것들의 현재 코딩되는 블록과의 논리적 연결들에도 따라 수행된다(논리적 연결들은, 예를 들면 코딩 방법에 의해, 설정된, 이웃 블록들 및 현재 블록 사이에, 지정되어 객관적으로 존재하는 의존도들로 이해된다. 이 경우, 이러한 연결은 이웃하는 블록들 및 현재 코딩되는 블록의 조합일 수 있고, 이는 변위의 공통 벡터가 설정되는 인코딩의 단일 요소 내에서 함께 될 수 있다.); 코딩되는 블록에 이웃하는 픽셀들의 세트 및 참조 블록에 이웃하는 픽셀들의 세트의 유사성 추정이 추가적으로 계산된다. 픽셀들 유사성의 계산된 추정 값은 참조 블록 픽셀들의 조명 보정 이용에 대한 의사-결정의 추가적인 조건으로 이용된다.
미리 결정된 기준에 의해 지정된 영역들의 픽셀들의 공통 선택(세트)와 다르고, 참조 및 코딩되는 프레임들의 이미 디코딩되고 복원된 영역들에 속하는 픽셀들을 조명 변화 파라미터들의 결정에 대한 고려에서 제외하는 단계 - 미리 결정된 기준은 지정된 영역들의 픽셀들 값들의 분포의 분석, 정적 특성들의 계산, 및 지정된 영역들의 정적 특성들 및 모든 픽셀들의 값들의 비교에도 기반한다 -;
참조 블록의 픽셀들 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이의 수치 관계들 및 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들 및 참조 블록에 이웃하는 픽셀들 값들 사이의 관계들을 결정하는 단계;
참조 블록에 이웃하는 픽셀들 값들 및 현재 코딩되는 블록에 이웃하는 픽셀들의 복원된 값들, 참조 블록의 픽셀들 값들, 이전 단계에 의해 결정된 수치 관계들에 기반하여, 참조 블록의 조명 차이 보정에 대한 조명 변화 보정 파라미터들을 결정하는 단계.
단계(1003)에서, 조명 변화 보정의 결정된 파라미터들을 이용하여, 참조 블록의 보정이 수행된다.
ALC는 매크로 블록
Figure pct00451
의 각
Figure pct00452
의 모든 값들에 대해 수행된다. 예측된 샘플들
Figure pct00453
는 다음과 같이 유도된다:
Figure pct00454
, logWDC는 15로 설정될 수 있다.
코딩되는 블록에 이웃하고 함께 고려되는 픽셀들 및 참조 블록에 이웃하고 함께 고려되는 픽셀들의, 유사성의 정도가 임계 값 보다 크다면, 이전 단계에서 결정된 파라미터들에 기반하여, 참조 블록 및 현재 코딩되는 블록 사이의 조명 차이들의 보정이 수행되고, 임계 값은 이전에 설정될 수 있거나 보정의 절차 동안에 적응적으로 변한다.
단계(1004)에서, 조명 보정된 참조 블록을 이용하여, 현재 블록에 대한 예측 블록이 생성된다. 예를 들면, 보정된 블록들
Figure pct00455
은
Figure pct00456
에 공간적으로 대응하는 인코딩되는(디코딩되는) 매크로 블록의 보상에 이용된다. 단계(1005)에서, 생성된 예측 블록을 이용하여, 현재 블록이 디코딩된다.
실시예들은 멀티-뷰 비디오 시퀀스들의 디코딩 및 인코딩에 이용될 수 있다.
실시예들에 따른 방법들은 컴퓨터와 같이 계산 장치(computing device)에 의해 실시되는 다양한 동작들을 구현하는 프로그램(컴퓨터로 판독가능한) 지시들을 포함하는 비-일시적인(non-transitory) 컴퓨터-판독가능(computer-readable) 매체일 수 있다. 계산 장치는 하나 또는 그 이상의 프로세서들을 가질 수 있다. 매체는 프로그램 지시들, 데이터 파일들, 데이터 구조들, 그와 같은것들의 조합 또는 단독을 포함할 수도 있다. 매체에 기록되는 프로그램 지시들은 실시예들의 목적들에 대해 구성되고 특별히 설계된 것일 수 있고, 또는 잘 알려진 종류일 수 있고, 컴퓨터 소프트웨어 기술들의 스킬을 갖는 자들에게 이용가능할 수 있다. 비-일시적인 컴퓨터-판독가능 매체의 예들은 하드 디스크, 플로피 디스크, 및 자기 테이프와 같은 자기 매체를 포함한다; CD ROM 디스크 및 DVDs와 같은 광학 매체; 광학 디스크같은 자기-광학 매체; 및 읽기-전용 메모리(Read-Only Memory; ROM), 랜덤 엑세스 메모리(RAM), 플래시 메모리, 및 그와 같은 것들의 프로그램 지시들을 수행하고 저장하도록 특별히 구성된 하드웨어 장치들. 프로그램 지시들의 예들은 컴파일러에 의한 생성되는 것과 같은 기계 코드, 및 인터프리터(interpreter)를 이용한 컴퓨터에 의해 실행될 수 있는 높은 레벨 코드(higher level code)를 포함하는 파일들 모두 포함한다. 비-일시적인 컴퓨터-판독가능 매체는 분산 네트워크일수도 있어서, 프로그램 지시들은 분산 방식으로 실행되고 저장될 수 있다. 컴퓨터-판독가능 매체는 응용 주문형 집적 회로(Application Specific Integrated Circuit; ASIC) 또는 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array; FPGA)중 적어도 하나에서 실시될 수도 있다. 상술한 예시적인 실시예들의 동작들을 수행하기 위해 설명된 하드웨어 장치들은 하나 또는 그 이상의 소프트웨어 모듈들로 동작할 수 있고, 그 반대도 마찬가지이다.
예시적인 실시예들이 도시되고 설명되었지만, 청구 범위 및 균등 범위에 정의된 범위, 개시내용의 원리들 및 의미에서 벗어나지 않은 이러한 예시적인 실시예들에서 변형이 이뤄질 수 있다는 점은 당업자가 이해할 것이다.

Claims (20)

  1. 멀티-뷰 비디오 시퀀스들(multi-view video sequences)의 디코딩 방법에 있어서,
    현재 디코딩되는 블록에 이웃하는 픽셀들 및 참조 블록에 이웃하는 픽셀들을 이용하여 조명 보정(correction of illumination) 파라미터를 계산하는 단계;
    상기 조명 보정 파라미터를 이용하여 상기 참조 블록에 대한 조명 보정을 수행하는 단계; 및
    상기 조명-보정된(illumination-corrected) 참조 블록을 이용하여 상기 현재 디코딩되는 블록을 디코딩하는 단계
    를 포함하는,
    멀티-뷰 비디오 시퀀스들의 디코딩 방법.
  2. 제1항에 있어서,
    상기 조명 보정 파라미터를 계산하는 단계는
    상기 현재 디코딩되는 블록에 이웃하는 상기 픽셀들의 값들 및 상기 참조 블록에 이웃하는 상기 픽셀들의 값들 사이의 수치 관계들(numerical relations)을 결정하는 단계; 및
    상기 수치 관계들에 기반하여 상기 조명 보정 파라미터를 결정하는 단계
    를 포함하는,
    멀티-뷰 비디오 시퀀스들의 디코딩 방법.
  3. 제2항에 있어서,
    상기 수치 관계들을 결정하는 단계는
    Figure pct00457
    로서 제1 추정 값
    Figure pct00458
    를 계산하는 단계
    -
    Figure pct00459
    는 상기 현재 디코딩되는 블록에 이웃하는 k-번째 픽셀의 값이고,
    Figure pct00460
    는 상기 참조 블록에 이웃하는 k-번째 픽셀의 값이고, Thr1는 제1 임계 값(threshold value)이고,
    Figure pct00461
    는 상기 현재 디코딩되는 블록에 이웃하는 상기 픽셀들의 수임-; 및
    Figure pct00462
    로서 제2 추정
    Figure pct00463
    를 계산하는 단계
    를 포함하는,
    멀티-뷰 비디오 시퀀스들의 디코딩 방법.
  4. 제2항에 있어서,
    상기 조명 보정 파라미터를 결정하는 단계는
    상기 조명 보정 파라미터
    Figure pct00464
    를 계산하는 단계를 포함하고,
    Figure pct00465
    로서,
    Figure pct00466
    는 제1 추정 값이고,
    Figure pct00467
    는 제2 추정 값이며, CUT_TH는 컷오프(cutoff) 임계 값이고, LogWDC는 유효 수의 계수(effective number coefficient) 이고, <<는 산술 왼쪽 시프트 연산자(arithmetic left shift operator)이고, >>는 산술 오른쪽 시프트 연산자인,
    멀티-뷰 비디오 시퀀스들의 디코딩 방법.
  5. 제1항에 있어서,
    상기 참조 블록에 대한 조명 보정을 수행하는 단계는
    상기 참조 블록의 각 픽셀의 값에 상기 조명 보정 파라미터를 곱하는 단계를 포함하는,
    멀티-뷰 비디오 시퀀스들의 디코딩 방법.
  6. 제5항에 있어서,
    상기 참조 블록의 각 픽셀의 상기 값에 곱하는 단계는
    상기 조명-보정된 참조 블록을 계산하는 단계를 포함하고,
    Figure pct00468
    로서,
    Figure pct00469
    는 상기 참조 블록의 좌표 (x, y)에서의 픽셀의 값이고,
    Figure pct00470
    는 상기 참조 블록의 좌표 (x, y)에서의 상기 픽셀의 조명-보정된 값이고,
    Figure pct00471
    는 상기 조명 보정의 파라미터이며, logWDC는 유효 수의 계수인,
    멀티-뷰 비디오 시퀀스들의 디코딩 방법.
  7. 제1항에 있어서,
    상기 현재 디코딩되는 블록에 이웃하는 상기 픽셀들은 이전에(previously) 디코딩된 픽셀들인,
    멀티-뷰 비디오 시퀀스들의 디코딩 방법.
  8. 제1항에 있어서,
    변위 벡터(displacement vector)를 이용하여 상기 현재 디코딩되는 블록에 대응하는 상기 참조 블록을 결정하는 단계
    를 더 포함하는,
    멀티-뷰 비디오 시퀀스들의 디코딩 방법.
  9. 제1항에 있어서,
    인코더에 의해 생성되는 플래그(flag)에 기반하여 조명 보정 기법(correction of illumination scheme)을 이용하는지 여부를 결정하는 단계
    를 더 포함하는,
    멀티-뷰 비디오 시퀀스들의 디코딩 방법.
  10. 제1항의 방법을 수행하는 컴퓨터를 지시(instructing)하기 위한 프로그램을 포함하는 비-일시적인(non-transitory) 컴퓨터-판독가능(computer-readable) 매체.
  11. 멀티-뷰 비디오 시퀀스들의 인코딩 방법에 있어서,
    현재 인코딩되는 블록을 생성하는데 이용되는 참조 블록을 결정하는 단계;
    상기 현재 인코딩되는 블록에 이웃하는 픽셀들 및 상기 참조 블록에 이웃하는 픽셀들을 이용하여 조명 보정 파라미터를 계산하는 단계;
    상기 조명 보정 파라미터를 이용하여 상기 참조 블록에 대한 조명 보정을 수행하는 단계; 및
    상기 조명-보정된 참조 블록을 이용하여 상기 현재 인코딩되는 블록을 인코딩하는 단계
    를 포함하는,
    멀티-뷰 비디오 시퀀스들의 인코딩 방법.
  12. 제11항에 있어서,
    상기 조명 보정 파라미터를 계산하는 단계는
    상기 현재 인코딩되는 블록에 이웃하는 상기 픽셀들의 값들 및 상기 참조 블록에 이웃하는 상기 픽셀들의 값들 사이의 수치 관계들을 결정하는 단계; 및
    상기 수치 관계들에 기반하여 상기 조명 보정 파라미터를 결정하는 단계
    를 포함하는,
    멀티-뷰 비디오 시퀀스들의 인코딩 방법.
  13. 제12항에 있어서,
    상기 수치관계들을 결정하는 단계는
    Figure pct00472
    로서 제1 추정 값
    Figure pct00473
    를 계산하는 단계
    -
    Figure pct00474
    는 상기 현재 인코딩되는 블록에 이웃하는 k-번째 픽셀의 값이고,
    Figure pct00475
    는 상기 참조 블록에 이웃하는 k-번째 픽셀의 값이며, Thr1는 제1 임계 값이고,
    Figure pct00476
    는 상기 현재 인코딩되는 블록에 이웃하는 상기 픽셀들의 수임-; 및
    Figure pct00477
    로서 제2 추정
    Figure pct00478
    를 계산하는 단계
    를 포함하는,
    멀티-뷰 비디오 시퀀스들의 인코딩 방법.
  14. 제12항에 있어서,
    상기 조명 보정 파라미터를 결정하는 단계는
    상기 조명 보정 파라미터
    Figure pct00479
    를 계산하는 단계를 포함하고,
    Figure pct00480
    로서,
    Figure pct00481
    는 제1 추정 값이고,
    Figure pct00482
    는 제2 추정 값이며, CUT_TH는 컷오프 임계 값이고, LogWDC는 유효 수의 계수이고, <<는 산술 왼쪽 시프트 연산자이고, >>는 산술 오른쪽 시프트 연산자인,
    멀티-뷰 비디오 시퀀스들의 인코딩 방법.
  15. 제11항에 있어서,
    상기 참조 블록에 대한 조명 보정을 수행하는 단계는
    상기 참조 블록의 각 픽셀의 값에 상기 조명 보정 파라미터를 곱하는 단계를 포함하는,
    멀티-뷰 비디오 시퀀스들의 인코딩 방법.
  16. 제15항에 있어서,
    상기 참조 블록의 각 픽셀의 상기 값에 곱하는 단계는
    상기 조명-보정된 참조 블록을 계산하는 단계를 포함하고,
    Figure pct00483
    로서,
    Figure pct00484
    는 상기 참조 블록의 좌표 (x, y)에서의 픽셀의 값이고,
    Figure pct00485
    는 상기 참조 블록의 좌표 (x, y)에서의 상기 픽셀의 조명-보정된 값이며,
    Figure pct00486
    는 상기 조명 보정 파라미터이고, logWDC는 유효 수의 계수인,
    멀티-뷰 비디오 시퀀스들의 인코딩 방법.
  17. 제11항에 있어서,
    상기 참조 블록을 결정하는 단계는
    상기 현재 인코딩되는 블록 및 상기 참조 블록 사이의 휘도 불일치(discrepancy of luminance)에 기반하여 상기 현재 인코딩되는 블록에 대응하는 상기 참조 블록을 나타내는 변위 벡터를 결정하는 단계를 포함하는,
    멀티-뷰 비디오 시퀀스들의 인코딩 방법.
  18. 제11항에 있어서,
    상기 참조 블록을 결정하는 단계는
    상기 현재 인코딩되는 블록에 포함 된 서브-블록들에서(over sub-blocks included in the currently encoded block), 상기 현재 인코딩되는 블록 및 참조 블록 후보(reference block candidate)사이의 평균-제거(mean-removed) 절대 차분들의 합(Sum of Absolute Differences; SAD)을 계산하는 단계;
    상기 현재 인코딩되는 블록 및 상기 참조 블록 후보 사이의 평균 휘도 불일치(mean discrepancy of luminance)를 계산하는 단계; 및
    상기 평균-제거 SAD 및 상기 평균 휘도 불일치를 이용하여, 상기 현재 인코딩되는 블록에 대응하는 상기 참조 블록을 나타내는 변위 벡터를 결정하는 단계
    를 포함하는,
    멀티-뷰 비디오 시퀀스들의 인코딩 방법.
  19. 제11항에 있어서,
    디코더가 상기 현재 인코딩되는 블록을 디코딩할 때, 조명 보정 기법을 이용하는지 여부를 나타내는 플래그를 생성하는 단계를 더 포함하는,
    멀티-뷰 비디오 시퀀스들의 인코딩 방법.
  20. 제11항의 방법을 수행하는 컴퓨터를 지시하기 위한 프로그램을 포함하는 비-일시적인 컴퓨터-판독가능 매체.

KR20157002269A 2012-07-03 2013-07-03 추가 파라미터들(변형들)의 전송 없이, 참조 프레임들의 적응적 국부 조명 보정에 기반한, 멀티-뷰 비디오 시퀀스 코딩/디코딩 방법 KR20150034213A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2012127528/08A RU2510944C2 (ru) 2012-07-03 2012-07-03 Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
RU2012127528 2012-07-03
PCT/KR2013/005924 WO2014007551A1 (en) 2012-07-03 2013-07-03 Method of multi-view video sequence coding/decoding based on adaptive local correction of illumination of reference frames without transmission of additional parameters (variants)

Publications (1)

Publication Number Publication Date
KR20150034213A true KR20150034213A (ko) 2015-04-02

Family

ID=49878509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20157002269A KR20150034213A (ko) 2012-07-03 2013-07-03 추가 파라미터들(변형들)의 전송 없이, 참조 프레임들의 적응적 국부 조명 보정에 기반한, 멀티-뷰 비디오 시퀀스 코딩/디코딩 방법

Country Status (5)

Country Link
US (1) US20140010305A1 (ko)
EP (1) EP2870763A4 (ko)
KR (1) KR20150034213A (ko)
RU (1) RU2510944C2 (ko)
WO (1) WO2014007551A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018026148A1 (ko) * 2016-08-01 2018-02-08 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019066449A1 (ko) * 2017-09-28 2019-04-04 삼성전자주식회사 조건부 적용 로컬 휘도 보상에 의한 비디오 복호화 방법 및 장치, 조건부 적용 로컬 휘도 보상에 의한 비디오 부호화 방법 및 장치
WO2019117613A1 (ko) * 2017-12-13 2019-06-20 삼성전자주식회사 로컬 휘도 보상에 의한 비디오 복호화 방법 및 장치, 로컬 휘도 보상에 의한 비디오 부호화 방법 및 장치
WO2019194498A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US9860529B2 (en) * 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
WO2015085575A1 (en) 2013-12-13 2015-06-18 Mediatek Singapore Pte. Ltd. Methods for background residual prediction
CN105100549B (zh) * 2015-07-27 2018-06-29 京东方科技集团股份有限公司 图像补偿方法及装置
US10627048B2 (en) * 2015-12-16 2020-04-21 Hexagon Technology, As Pressure vessel dome vents
RU2696551C1 (ru) * 2016-03-15 2019-08-02 МедиаТек Инк. Способ и устройство для кодирования видео с компенсацией аффинного движения
KR102569476B1 (ko) * 2016-10-11 2023-08-24 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN106791849B (zh) * 2017-03-01 2019-08-13 四川大学 基于hevc帧内交错预测的降码率算法
WO2019071001A1 (en) * 2017-10-05 2019-04-11 Interdigital Vc Holdings, Inc METHOD AND APPARATUS FOR ADAPTIVE LIGHTING COMPENSATION IN VIDEO ENCODING AND DECODING
WO2019072210A1 (en) * 2017-10-13 2019-04-18 Huawei Technologies Co., Ltd. RESTRICTION ON SUB-BLOCK SIZE DEDUCTION FOR AFFINE INTERPREDITION
US11082708B2 (en) * 2018-01-08 2021-08-03 Qualcomm Incorporated Multiple-model local illumination compensation
US11234016B2 (en) * 2018-01-16 2022-01-25 Samsung Electronics Co., Ltd. Method and device for video decoding, and method and device for video encoding
US10715810B2 (en) 2018-02-20 2020-07-14 Qualcomm Incorporated Simplified local illumination compensation
WO2019205117A1 (en) * 2018-04-28 2019-10-31 Intel Corporation Weighted prediction mechanism
US10412391B1 (en) * 2018-08-06 2019-09-10 AnyClip Ltd. Minimize number of encoded video stream frames for content recognition
BR112021004943A2 (pt) 2018-09-19 2021-06-01 Interdigital Vc Holdings, Inc. método e dispositivo para codificação e decodificação de imagens
BR112021004858A2 (pt) * 2018-09-19 2021-06-01 Interdigital Vc Holdings, Inc. compensação de iluminação local para codificação e decodificação de vídeo usando parâmetros armazenados
US20230283787A1 (en) * 2018-09-19 2023-09-07 Interdigital Vc Holdings, Inc. Local illumination compensation for video encoding and decoding using stored parameters
WO2020191066A1 (en) * 2019-03-18 2020-09-24 Nvidia Corporation Adaptive ray tracing suitable for shadow rendering
CN112911301B (zh) * 2019-12-03 2023-04-28 咪咕文化科技有限公司 一种局部亮度补偿方法、装置及计算机可读存储介质
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7924923B2 (en) 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
EP2424245B1 (en) * 2006-01-09 2019-09-04 Dolby International AB Methods and apparatus for illumination and color compensation for multi-view video coding
EP1982517A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc MULTIVATE VIDEO PROCESSING
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
KR20070076391A (ko) * 2006-01-18 2007-07-24 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
RU2377623C2 (ru) * 2007-04-20 2009-12-27 Василий Александрович ЕЖОВ Способ наблюдения стереоизображений с полным разрешением для каждого ракурса и устройство для его реализации
US8488677B2 (en) * 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR20080114482A (ko) * 2007-06-26 2008-12-31 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
CN101911708B (zh) * 2008-01-10 2016-03-09 汤姆森特许公司 帧内预测视频的照明补偿方法和装置
KR20090096659A (ko) * 2008-03-09 2009-09-14 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩에 관한 방법과 장치
BRPI1008226A2 (pt) 2009-02-12 2019-09-24 Nippon Telegraph & Telephone método de codificação de imagem como múltiplas vistas, método de decodificação de imagem com múltiplas vistas, dispositivo de codificação de imagem com múltiplas vistas,dispositivo de codificação de imagem com múltiplas vistas,programa de codificação de imagem como múltiplas vistas, programa de codificação de imagem como múltiplas vistas.
RU2413386C1 (ru) * 2009-06-04 2011-02-27 Закрытое акционерное общество "МНИТИ"(Московский научно- исследовательский телевизионный институт) Система многоракурсного телевидения
FR2948845A1 (fr) * 2009-07-30 2011-02-04 Thomson Licensing Procede de decodage d'un flux representatif d'une sequence d'images et procede de codage d'une sequence d'images
US8474404B2 (en) 2009-10-14 2013-07-02 The Kong Company, Llc Pet toy with adjustable treat dispensing lid
US20130182768A1 (en) * 2010-09-30 2013-07-18 Korea Advanced Institute Of Science And Technology Method and apparatus for encoding / decoding video using error compensation

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018026148A1 (ko) * 2016-08-01 2018-02-08 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019066449A1 (ko) * 2017-09-28 2019-04-04 삼성전자주식회사 조건부 적용 로컬 휘도 보상에 의한 비디오 복호화 방법 및 장치, 조건부 적용 로컬 휘도 보상에 의한 비디오 부호화 방법 및 장치
WO2019117613A1 (ko) * 2017-12-13 2019-06-20 삼성전자주식회사 로컬 휘도 보상에 의한 비디오 복호화 방법 및 장치, 로컬 휘도 보상에 의한 비디오 부호화 방법 및 장치
WO2019194498A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
RU2510944C2 (ru) 2014-04-10
RU2012127528A (ru) 2014-01-10
US20140010305A1 (en) 2014-01-09
EP2870763A4 (en) 2016-03-02
EP2870763A1 (en) 2015-05-13
WO2014007551A1 (en) 2014-01-09

Similar Documents

Publication Publication Date Title
KR20150034213A (ko) 추가 파라미터들(변형들)의 전송 없이, 참조 프레임들의 적응적 국부 조명 보정에 기반한, 멀티-뷰 비디오 시퀀스 코딩/디코딩 방법
JP7248741B2 (ja) デプスマップの推定および更新を用いる効率的なマルチビュー符号化
RU2768016C1 (ru) Системы и способы применения фильтров деблокирования к восстановленным видеоданным
KR102469145B1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
JP5368482B2 (ja) ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置
CN111819852B (zh) 用于变换域中残差符号预测的方法及装置
US8385628B2 (en) Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
TWI432034B (zh) 多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式
KR101798280B1 (ko) 오류 내성을 향상시킨 비디오 인코딩 및 디코딩
CA2663672A1 (en) Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
KR20130119494A (ko) 화소 레벨 적응 인트라-평활화
US20130243085A1 (en) Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead
RU2770650C1 (ru) Системы и способы применения фильтров деблокирования к восстановленным видеоданным
US20150365698A1 (en) Method and Apparatus for Prediction Value Derivation in Intra Coding
CN114586366A (zh) 帧间预测方法、编码器、解码器及存储介质
CN110832854B (zh) 利用插值进行帧内预测的方法和装置
de-Frutos-López et al. An improved fast mode decision algorithm for intraprediction in H. 264/AVC video coding
KR20060085003A (ko) Ｈ．２６４／ａｖｃ에서의 시방향 에러은닉 방법
KR20130037843A (ko) 예측 픽셀 생성 장치 및 그 동작 방법
Chang et al. Fast intra mode decision for depth map coding
CN116647683A (zh) 量化处理方法和装置
KR20130105402A (ko) 추가의 비트 레이트 오버헤드 없이 참조 블록의 로컬 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 코딩 및 디코딩 방법
CN118042136A (zh) 编解码方法和装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid