KR20120127427A

KR20120127427A - 비디오 인코더, 비디오 디코더, 각각의 컬러 면에 대해 별개로 비디오 인코딩하기 위한 방법 및 비디오 디코딩하기 위한 방법

Info

Publication number: KR20120127427A
Application number: KR1020127019568A
Authority: KR
Inventors: 지헝 양; 릴리 자오; 지보 천
Original assignee: 톰슨 라이센싱
Priority date: 2010-01-25
Filing date: 2010-01-25
Publication date: 2012-11-21
Also published as: CN102763417B; EP2529553B1; EP2529553A4; CN102763417A; US20120307897A1; JP2013518453A; EP2529553A1; US9083947B2; KR101646085B1; WO2011088594A1; JP5547301B2

Abstract

오늘날 하이파이(High-fidelity) 비디오 코딩은 컬러 공간 변환 없이 RGB 컬러간 리던던시를 직접 감소시키기 위한 RGB 코딩을 채택하려는 경향이 있다. 공지된 방법은 기울기 및 오프셋 파라미터들의 선형 모델로서 각각의 코딩 블록 내에서 컬러 면들 간의 상관을 정의함으로써 RGB 컬러 면들에 대한 컬러간 리던던시를 제거하기 위한 블록기반 컬러간 보상 알고리즘을 사용하고, 베이스면 블록을 코딩하고, 이후 베이스면 블록으로부터 다른 2개의 컬러 블록들을 예측한다. 그러나 대부분의 코딩 블록들에 대해, 성분 블록 내의 텍스쳐는 상당히 달라진다. 개선된 비디오 코딩을 위한 새로운 방법은 베이스 컬러 성분 블록의 적응적 세그먼트화, 다른 컬러 성분 블록들의 대응하는 세그먼트화 및 각각의 세그먼트를 에측하기 위한 개별 기울기 및 오프셋 파라미터들을 사용한다.

Description

비디오 인코더, 비디오 디코더, 각각의 컬러 면에 대해 별개로 비디오 인코딩하기 위한 방법 및 비디오 디코딩하기 위한 방법{VIDEO ENCODER, VIDEO DECODER, METHOD FOR VIDEO ENCODING AND METHOD FOR VIDEO DECODING, SEPARATELY FOR EACH COLOUR PLANE}

본 발명은 비디오 인코딩 및 비디오 디코딩에 관한 것이고, 여기서 상이한 컬러 면들이 별개로 인코딩/디코딩된다.

하이파이(High-fidelity) 비디오 코딩은 외부 컬러 공간 변환 없이 RGB 컬러간 리던던시를 직접 감소시키는 RGB 코딩을 채택하려는 경향이 있다. RGB 코딩은 고해상도(HD) 및 채도 및 색조의 정확한 정의에 대해 바람직하다. RGB 컬러 공간에서 4:4:4 포맷을 지원하는 몇몇 코딩 툴들은 RGB 도메인 4:4:4 비디오 코딩 효율성을 개선하기 위해 개발되었다. 예를 들어, Woo-Shik Kim, Dmitry Birinov, 및 Hyun Mun Kim에 의한 2004년 7월 "Residue Color Transform", ISO/IEC JTC1/SC29/ WG11 및 ITU-T Q6/SG16, 문서 JVT-L025는 4:4:4 RGB 코딩에 대한 레지듀얼 컬러 변환을 사용하며, 이는 먼저 H.264/AVC와 동일한 프로시져에 후속하여 레드(R), 그린(G) 및 블루(B)면들에 대한 인트라/인터 예측을 수행하고, 이후 레지듀얼 컬러 변환을 위해 YCoCg-R 컬러 변환을 채택한다. 이는 컬러 레지듀 변환이 많은 컬러 왜곡을 생성한다는 단점을 가진다.

일부 방법들이 컬러 공간 변환으로부터 야기되는 컬러 왜곡을 회피하기 위해 제안되었다. 위와 동일한 저자들은 2003년 5월 "Color Format Extension", ISO/IEC JTC1/SC29/WG11 및 ITU-T Q6/SG16, 문서 JVT-H018, 및 2003년 12월 "Inter-plane Prediction for RGB Coding II," ISO/IEC JTC1/SC29/WG11 및 ITU-T Q6/SG16, 문서 JVT-J017에서, RGB 코딩을 위한 면간 예측(IPP) 코딩 방법을 제안하였다. 이러한 제안에서, 인트라/인터 예측은 먼저 3개의 컬러 성분들에 대해 수행되고, 이후 재구성된 G면 레지듀는 각각의 R 및 B 레지듀에 대한 예측자 블록으로서 사용된다. 마지막으로, 예측된 R 레지듀 및 B 레지듀는 G 레지듀가 수행하는 것과 동일한 기존 JVT 사양의 코딩 프로시져에 따른다. IPP 코딩은 코딩 에러 전파 및 컬러 공간 변환으로부터 야기되는 컬러 왜곡을 회피한다. 그러나 컬러 성분들 간의 상관이 인터/인트라 예측 이후에 감소되는 일부 경우들이 존재한다. 이러한 경우들에서, IPP는 열악하게 작용한다.

또다른 제안인, Byung Cheol Song, Yun Gu Lee 및 Nak Hoon Kim에 의한, 2008년 10월 "Block Adaptive Inter-Color Compensation Algorithm for RGB 4:4:4 Video Coding", IEEE Trans. Circuits and systems for video technology, vol. 18, no.10, pp.1447-1451에서, 비디오 코딩을 위한 RGB 컬러 면들에 대한 인터-컬러 리던던시를 제거하기 위한 블록-기반 인터-컬러 보상 알고리즘을 제안한다. 이는 기울기 및 오프셋 파라미터의 선형 모델로서 각각의 인코딩 블록 내의 컬러 면들 사이의 상관을 정의하고, H.264/AVC 표준을 사용하여 베이스 컬러 면 블록을 코딩하고, 이후 베이스 컬러 면 블록으로부터 다른 2개의 컬러 블록들을 추정하기 위해 가중 예측을 수행한다. 이는 B/R 면 내의 모든 블록들에 대한 자신의 정의된 선형 모델 내의 오프셋들을 계산하기 위한 픽셀 값들을 예측하기 위해 단일 공통 H.264 인트라 예측을 사용한다. 그러나 이러한 예측자 정확성은 종종 열악하며, 따라서 선형 예측 정확성을 저하시킨다.

또한, Yong-Hwan Kim, Byeongho Choi, 및 Joonki Paik은 2009년 7월 "High-Fidelity RGB Video Coding Using Adaptive Inter-Plane Weighted Prediction" IEEE Trans. Circuits and systems for video technology, vol.19, no.7, pp. 1051-1056에서, 코딩 블록에서 G/B, G/R 및 B/R 면들 사이의 면 내 및 면 간 상관 모두를 사용할 것을 제안하였다. 이들 두 방식들에 대해, 각각의 컬러 성분 블록 내의 서브 블록들 모두는 단일 기울기 값을 공유한다. 이는 현재 블록 내의 컬러 성분의 텍스쳐가 동종이며 강하게 상관된다는 가정에 기초한다. 그러나 대부분의 코딩 블록들에 대해, 성분 블록 내의 텍스쳐는 상당히 달라진다.

매크로블록과 같은 성분 블록의 예측시의 코딩 효율성은 단일 기울기 파라미터를 사용하는 것 대신, 성분 블록의 적응형 세그먼트들에 대한 개별 기울기 및 오프셋 파라미터들을 사용함으로써 개선될 수 있다는 점이 발견되었다. 적응형 세그먼트들은 에지 검출에 의해, 각각의 세그먼트가 완전한 성분 블록보다 더 동종이거나 유사한 텍스쳐를 갖도록 결정된다.

본 발명은 베이스 컬러 면이 정의되고, 텍스쳐 세그먼트화가 베이스 컬러 면의 픽쳐 유닛에 대해 수행된다는 점에서 이러한 인지를 사용하며, 상대적으로 유사한/동종의 텍스쳐의 하나 이상의 영역들이 픽쳐 유닛 내에서 결정되고, 텍스쳐 영역들은 픽쳐 유닛의 나머지 컬러 면들 중 적어도 하나에 적용되고, 나머지 컬러 면의 각각의 영역은 베이스 컬러 면 내의 대응하는 영역으로부터 선형으로 예측된다. 픽쳐 유닛 또는 이미지 유닛은 예를 들어, 블록, 매크로블록(MB), 프레임 또는 완전한 픽쳐이다. 원리상, 이러한 MB들은 임의의 사이즈 또는 형상을 가질 수 있다. 일반적으로, MB는 정사각형이며 16x16 픽셀들을 가진다. "영역" 및 "세그먼트"는 여기서 등가물들로서 사용된다는 점에 유의한다.

일 양상에서, 각각의 컬러 면에 대해 별개로 이미지 유닛 레벨 상에서 비디오를 인코딩하는 방법은 베이스 컬러 면을 선택하는 단계, 이미지 유닛의 베이스 컬러 면을 인코딩 및 재구성하는 단계, 재구성된 이미지 유닛의 베이스 컬러 면에 대한 텍스쳐 세그먼트화를 수행하는 단계 - 여기서 적어도 2개의 텍스쳐 세그먼트들이 결정됨 - 베이스 컬러에 대해 결정된 텍스쳐 세그먼트들을 사용하여 이미지 유닛의 다른 컬러 면들 중 적어도 하나를 텍스쳐 세그먼트들로 분리하는 단계를 포함한다. 추가적인 단계들은 텍스쳐 세그먼트들 또는 영역들 각각에 대해, 재구성된 베이스 컬러 면과 적어도 하나의 다른 컬러 면 사이의 (휘도 또는 강도 면에서의) 선형 상관을 결정하는 단계, 개별 텍스쳐 세그먼트에 대해 획득된 상기 선형 상관에 기초하여, 이미지 유닛의 베이스 컬러 면의 대응하는 텍스쳐 세그먼트의 픽셀들로부터 이미지 유닛의 상기 적어도 하나의 다른 컬러 면의 텍스쳐 세그먼트 내의 픽셀들을 예측하는 단계, (예를 들어, 예측된 픽셀들을 원래 픽셀들과 비교하고 그 차이를 레지듀얼로서 결정함으로써) 레지듀얼을 결정하는 단계, 및 선형 상관을 정의하는 정보 및 레지듀얼을 인코딩하는 단계이다. 상기 상관은 가중 인자 및 오프셋에 의해 표현될 수 있지만, 원리상, 또한 선형 상관을 정의하는 다른 값들이 사용될 수 있다.

베이스 컬러 면이 이미지 부분에 대해 또는 이미지 또는 이미지 시퀀스에 대해 선택될 수 있다. 일 실시예에서, 이미지 유닛의 베이스 컬러 면을 인코딩하는 단계는 예측 인트라 코딩을 사용한다. 또다른 실시예에서, 베이스 컬러 면은 재구성된 이전에 인코딩/디코딩된 이미지에 기초하는 인터-코딩을 사용하여 인코딩된다.

또다른 양상에서, 이미지 유닛 레벨(즉, 매크로블록, 프레임 또는 픽쳐)에 대해 별개로 컬러 면들을 인코딩하기 위한 비디오 인코더는 이미지 유닛, 이미지 또는 이미지 시퀀스에 대해 베이스 컬러 면을 선택하기 위한 선택기, 이미지 유닛의 베이스 컬러 면을 인코딩 및 재구성하기 위한 코덱, 재구성된 이미지 유닛의 베이스 컬러 면에 대해 텍스쳐 세그먼트화를 수행하기 위한 세그먼트화 유닛 - 여기서 적어도 2개의 텍스쳐 세그먼트들이 결정됨 - , 이미지 유닛의 다른 컬러 면들 중 적어도 하나를 텍스쳐 세그먼트들로 분리하기 위한 분리기 - 여기서 베이스 컬러에 대해 결정된 텍스쳐 세그먼트들이 사용됨 - , 텍스쳐 세그먼트들 각각에 대해, 재구성된 베이스 컬러 면과 적어도 하나의 다른 컬러 면 사이의 (휘도 또는 강도) 상관을 결정하기 위한 상관기 - 여기서, 선형 상관을 정의하는 값들이 획득됨 - , 선형 상관을 정의하며 이러한 특정 텍스쳐 세그먼트에 대해 획득된 상기 값들에 기초하여, 베이스 컬러 면의 대응하는 텍스쳐 세그먼트의 픽셀들로부터 이미지 유닛의 상기 적어도 하나의 다른 컬러 면의 텍스쳐 세그먼트 내의 픽셀들을 예측하기 위한 예측자를 가지며, 레지듀얼을 결정하기 위한 식별기, 예컨대, 다른 컬러 면의 원래 픽셀들을 예측된 픽셀들과 비교하고 그 차이를 레지듀얼로서 결정하기 위한 비교기를 가지는 예측 코더, 및 선형 상관을 정의하는 정보 및 레지듀얼을 인코딩하기 위한 인코더를 포함한다.

일 실시예에서, 이미지 유닛의 베이스 컬러 면을 인코딩하고 재구성하기 위한 코덱은 인트라 코딩을 수행한다.

또다른 양상에서, 상이한 컬러 면들에 대해 별개로 이미지 유닛 레벨 - 여기서, 이미지 유닛은 예를 들어, 블록, 매크로블록, 프레임 또는 픽쳐임 - 상에서 인코딩된 비디오 데이터를 디코딩하기 위한 방법은 이미지 유닛의 인코딩된 베이스 컬러 면의 데이터를 포함하는 제1 데이터 블록을 인코딩된 비디오 데이터로부터 추출하는 단계, 상기 이미지 유닛의 인코딩된 제2 컬러 면의 데이터를 포함하는 제2 데이터 블록을 인코딩된 비디오 데이터로부터 추출하고, 적어도 2개의 선형 상관 함수들의 오프셋들 및 가중 인자들을 정의하는 상관 데이터를 인코딩된 비디오 데이터로부터 추출하는 단계, 제1 데이터 블록을 인트라-디코딩하는 단계 - 여기서, 재구성된 베이스 컬러 면이 획득됨 - , 재구성된 이미지 유닛의 베이스 컬러 면에 대해 텍스쳐 세그먼트화를 수행하는 단계 - 여기서 적어도 2개의 텍스쳐 세그먼트들이 결정됨 - , 베이스 컬러 면에 대해 결정된 텍스쳐 세그먼트들을 사용하여 이미지 유닛의 적어도 제2 컬러 면을 적어도 2개의 텍스쳐 세그먼트들로 분리하고, 제2 컬러 면의 적어도 2개의 텍스쳐 세그먼트들 각각에 대해, 재구성된 베이스 컬러 면과 제2 컬러 면 사이의 강도 상관 함수를 상기 가중 인자 및 오프셋을 정의하는 데이터로부터 결정하는 단계, 세그먼트에 대해 결정된 개별 상관 함수를 사용하여 베이스 컬러 면의 개별 텍스쳐 세그먼트들로부터 제2 컬러 면의 적어도 2개의 텍스쳐 세그먼트들 각각을 예측하는 단계, 및 제2 컬러 면의 이미지 유닛을 재구성하는 단계를 포함하고, 여기서 제2 데이터 블록으로부터 추출된 레지듀얼 데이터는 제2 컬러 면의 상기 예측된 텍스쳐 세그먼트들과 결합된다.

일 실시예에서, 이미지 유닛의 인코딩된 비디오 데이터로부터 추출된 제1 데이터 블록은 인트라-코딩된 베이스 컬러 면의 데이터를 포함한다.

또다른 양상에서, 상이한 컬러 면들에 대해 별개로 이미지 유닛 레벨 상에서 인코딩된 비디오 데이터에 대한 비디오 디코더는, 이미지 유닛의 인코딩된 베이스 컬러 면의 데이터를 포함하는 제1 데이터 블록을 인코딩된 비디오 데이터로부터 추출하기 위한 제1 추출 수단, 상기 이미지 유닛의 인코딩된 제2 컬러 면의 데이터를 포함하는 제2 데이터 블록을 인코딩된 비디오 데이터로부터 추출하기 위한 제2 추출 수단, 및 적어도 2개의 상관 함수들의 오프셋들 및 가중 인자들을 정의하는 상관 데이터를 인코딩된 비디오 데이터로부터 추출하기 위한 제3 추출 수단, 제1 데이터 블록을 인트라-디코딩하기 위한 제1 코덱 - 여기서 재구성된 베이스 컬러 면이 획득됨 - , 재구성된 이미지 유닛의 베이스 컬러 면에 대해 텍스쳐 세그먼트화를 수행하기 위한 세그먼트화 유닛 - 여기서, 적어도 2개의 텍스쳐 세그먼트들이 결정됨 - , 베이스 컬러 면에 대해 결정된 텍스쳐 세그먼트들을 사용하여, 이미지 유닛의 적어도 제2 컬러 면을 적어도 2개의 텍스쳐 세그먼트들로 분리하기 위한 세그먼트화 적용 유닛, 제2 컬러 면의 적어도 2개의 텍스쳐 세그먼트들 각각에 대해, 재구성된 베이스 컬러 면과 제2 컬러 면 사이의 강도 상관 함수를 상기 오프셋 및 가중 인자를 정의하는 데이터로부터 결정하기 위한 결정 유닛, 세그먼트에 대해 결정된 개별 상관 함수를 사용하여, 베이스 컬러 면의 개별 텍스쳐 세그먼트들로부터 제2 컬러 면의 적어도 2개의 텍스쳐 세그먼트들 각각을 예측하기 위한 예측 유닛, 및 제2 컬러 면의 이미지 유닛을 재구성하기 위한 재구성 유닛을 포함하고, 제2 데이터 블록으로부터 추출된 레지듀얼 데이터는 제2 컬러 면의 상기 예측된 텍스쳐 세그먼트들과 결합된다.

일 실시예에서, 이미지 유닛의 인코딩된 비디오 데이터로부터 추출된 제1 데이터 블록은 인트라-코딩된 베이스 컬러 면의 데이터를 포함하고, 제1 코덱은 인트라 디코딩을 위한 디코더를 포함한다.

본 발명의 유리한 실시예들이 종속 청구항들, 후속하는 설명 및 도면들에서 개시된다.

본 발명의 예시적인 실시예들은 첨부 도면들을 참조하여 기술된다.

도 1은 MB에서 R 및 G 성분들 사이의 예시적인 상관을 도시하는 도면이다.
도 2는 예시적인 16x16 MB의 텍스쳐 세그먼트화된 G, R 및 B 컬러 면들을 도시하는 도면이다.
도 3은 인코딩의 블록도이다.
도 4는 MB 레벨 또는 프레임 레벨 상의 B면을 인코딩하기 위한 흐름도이다.
도 5는 인코더의 구조를 도시하는 도면이다.
도 6은 대안적인 인코더의 구조를 도시하는 도면이다.
도 7은 디코더의 구조를 도시하는 도면이다.
도 8은 대안적인 디코더의 구조를 도시하는 도면이다.

상당한 텍스쳐 리던던시가 픽쳐의 G, R 및 B 성분들 사이에 존재하는데, 왜냐하면, 컬러 성분들 내의 텍스쳐 분배가 서로에 대해 상당히 유사하기 때문이다. 대부분의 경우들에서, 단일 블록 내의 텍스쳐는 상당히 다르며, 따라서, 항상 블록 내에 몇몇 상이한 텍스쳐 영역들이 존재한다. 예를 들어, 기존의 JVT 사양이 프레임을 MB들로 분할하고 각각의 MB를 개별적으로 인코딩하므로, MB 기반으로 컬러 성분들 사이의 상관을 조사한다. 도 1은 고해상도 비디오 프레임 내의 2개의 예시적인 MB들에서 R 및 G 성분들 사이의 컬러간 상관을 예시한다(이는 공지된 "트래픽" 시퀀스의 제1 프레임에서 제28, 제26 MB이다). 이 MB의 R 및 G 성분들은 2개의 상관 그룹들

중 주로 하나에 따라 높게 상관된다. 이러한 MB 내의 데이터는 상이한 텍스쳐 분포에 기초하여, 상이한 기울기들을 가지는 2개 부분들로 주로 분할된다. 또한, 각 부분이 R 및 G 성분들 사이의 강한 상관을 가진다는 점이 보여질 수 있다. 본 발명은 다른 성분들을 예측하기 위한 베이스 컬러 성분을 사용함으로써 이러한 텍스쳐 리던던시의 많은 부분을 제거한다. 예측은 인트라-코딩 페이즈 동안 컬러 성분 내의 각각의 텍스쳐 영역에 대해 별도의 가중된 파라미터들을 사용할 수 있다. 따라서, 본 발명은 컬러 공간 왜곡에 의해 생성된 바와 같은 컬러 변환을 회피하고, (일반적으로 3개의) 컬러 성분들 사이에 존재하는 텍스쳐 리던던시를 제거하고, 상이한 컬러 성분들의 텍스쳐 상관을 완전히 사용한다.

후속하는 실시예들에서, 본 발명은 RGB 4:4:4 포맷을 위한 인트라 프레임 코딩에 대해 텍스쳐 기반 적응형 컬러간 예측 방식을 제안하며, 이는 베이스 컬러 성분로서 그린(G) 성분을 다루며 G 성분로부터 레드 및 블루(R/B) 성분들을 예측한다. 예측은 상이한 텍스쳐 영역들에 대해 상이한 가중 인자들을 사용한다. 제안된 방식은 상이한 레벨들, 예를 들어, MB(16 x 16 픽셀 블록) 레벨 및 프레임 레벨에 대해 구현될 수 있다. 여기서 본 발명이 또한 8x16, 32x32, 64x64 등과 같은 다른 MB 사이즈들에 대해 사용될 수 있다는 점에 주목해야 한다. 픽쳐 유닛은 8x8 픽셀들보다 더 작지 않아야 하는데, 왜냐하면, 이후 하기에 기술되는 세그먼트화가 너무 어려워지기 때문이다.

실시예에서, G MB는 기존의 JVT 사양에서 MB 레벨들에 사용되는 것과 동일한 인트라 예측 방법에 따라 인코딩된다. G MB를 인코딩하고 재구성한 이후, 재구성된 G MB는 이후 텍스쳐 세그먼트화를 수행하여 하나 이상의 텍스쳐 영역들을 생성하기 위해 사용된다. 이후, R 및 B MB들은 G 성분와 동일한 텍스쳐 영역들로 분리되고, 각각의 텍스쳐 영역 내의 픽셀들은 대응하는 G 텍스쳐 영역 내의 픽셀들로부터 예측된다. 예측은 각각의 텍스쳐 영역에 대해 개별적으로 결정된 특정 예측 가중 인자를 사용한다.

또다른 실시예에서, G면은 기존의 JVT 사양에서의 프레임 레벨에 대해 사용되는 것과 동일한 인트라 예측 방법에 따라 인코딩된다. (프레임 사이즈를 가지는) 재구성된 G면은 텍스쳐 분포에 기초하여 적응적 개수의 영역들로 분리된다. 이후, (프레임 사이즈를 가지는) R 및/또는 B면들은 G면과 동일한 텍스쳐 영역들로 분리된다. 이후, (MB 사이즈의) R/B 블록의 텍스쳐 영역 내의 픽셀들은 (MB 사이즈에 대해) G 블록의 대응하는 영역 내의 픽셀들로부터 예측된다.

즉, 텍스쳐 세그먼트화는 MB 또는 프레임들과 같은 다양한 픽쳐 유닛들에 대해 수행될 수 있다. 이는 에지 검출 및/또는 다른 공지된 이미지 분석 방법들을 사용하고, 하나 이상의 텍스쳐 영역들을 생성하거나 또는 오히려 식별할 수 있다.

다음에서, MB 레벨 상에서의 텍스쳐 세그먼트화의 실시예가 기술된다. 컬러 성분들은 H.264/AVC에서와 같이 G면, B면 및 R면의 순서로 예시적으로 인코딩된다. 즉, G는 베이스 컬러 면이다. 다른 실시예들에서, 다른 시퀀스 순서들이 가능하다. 다수의 MB들로 구성되는 베이스 컬러 면은 H.264/AVC에서 특정되는 인트라-예측 방법에 따라 인코딩되는 제1 페이즈에 있다. 이후, 텍스쳐 세그먼트화는 대응하는 재구성된 G MB에 대해 수행된다. 이후, G 및 R 면들과 동일한 개수의 MB들로 구성되는 B면은 인코딩될 준비가 된다. 대응하는 B MB는 현재 MB로서 선택된다. "대응하는" 픽셀들, 블록들 또는 MB들을 참조하는 경우, 이는 현재 픽셀들, 블록들 또는 MB들과 동일한 좌표들을 가지는 픽셀들, 블록들 또는 MB들을 의미한다.

현재 B MB는 이후 텍스쳐 영역들로 분리되는데, 즉, MB의 각각의 픽셀이 하나의 영역과 연관된다. 이는 베이스 컬러 면의 상이한 텍스쳐 영역들에 기초하여 상이한 영역 플래그들을 가지고 영역들을 마킹함으로써 구현될 수 있다. 예를 들어, 텍스쳐 기반 세그먼트화 이후 현재 G MB가 K개 영역들로 분리되었고, 각각의 영역이 도 2의 a)에 도시된 바와 같이 식별자

에 의해 마킹된 경우, 도 2의 b)에 도시된 일 실시예에서, 대응하는 B 및/또는 R MB는 동일한 영역들로 분리된다. 다른 실시예들에서, 베이스 컬러 면의 세그먼트화는 하나 이상의 다른 컬러 면들에서의 증분적 개선들을 위한 기반으로서 사용되며, 이는 추가적인 간략화된 또는 완전한 텍스쳐 분석을 요구할 수 있다. 간단한 실시예에서, 모든 컬러 면들은 도 2의 c)에 도시된 텍스쳐 영역들과 같이, 직접 베이스 컬러 면의 세그먼트화를 재사용한다. 예를 들어, 제1 영역

은 G면

, B면

및 R면

내의 동일한 픽셀들을 커버한다.

제시된 예측 방식은 대안적으로 2개 이상의 레벨들, 적어도 MB 레벨(16x16 픽셀들) 및 프레임 레벨(프레임 사이즈)에 대해 구현될 수 있다. 도 3은 제안된 채널간 예측 아키텍쳐의 일부 양상들의 블록도를 도시한다. 예를 들어, G는 베이스 컬러 면으로서 선택되고, G MB는 공통 H.264 인트라 예측을 사용하여 인트라 코딩되고 이후 재구성된다. 인코딩된 MB가 추가적인 인코딩 단계들, 예를 들어, DCT로 전달되는 동안, 재구성된 베이스 컬러 면은 또한 텍스쳐 기반 세그먼트화(72)로 입력되는데, 이는 전술된 영역들을 초래한다. 텍스쳐 기반 세그먼트화(72)는 자신의 입력으로서 MB 또는 재구성된 베이스 컬러 면의 전체 프레임을 획득한다. 일 실시예에서, 스위치 유닛(SW)은 상이한 입력 부분들 사이에서 선택하기 위해 제공된다. 이후, 세그먼트화가 다른 컬러 면들(B,R)에 대해 적용되며, 이에 대해, 이후, 하기에 기술되는 바와 같이, 텍스쳐 기반 인트라 예측이 수행된다.

위에서 언급된 바와 같이, 상이한 컬러 면들 간의 상관은 대략 선형인 것으로 간주된다. 이는 선형 예측을 위해 사용되는 선형 관계식에 의해 표현된다. 이러한 선형 관계식은 일반적인 형태

를 가진다. 이는, 예를 들어, 블루 픽셀 b의 강도가 가산 오프셋 o를 가지며 기울기 s로 곱해지는 (여기서 베이스 컬러 면 픽셀인) 대응하는 그린 픽셀 g의 강도에 의해 표현될 수 있음을 의미한다. 블루 픽셀의 인코딩시에, 예측은 영역 당 개별 기울기 및 오프셋 값들을 가지는 베이스 컬러 면 및 예측되는 컬러 면, 예를 들어, "1"로 표기된 블루 면 영역에 대한

및

로부터 수행된다. 블루 픽셀은 이후 레지듀얼, 즉, 예측된 픽셀 및 실제 픽셀 사이의 차이를 결정함으로써 인코딩된다. 블루 픽셀의 재구성을 위해, 대응하는 재구성된 베이스 컬러 픽셀, 레지듀얼 및 현재 세그먼트의 기울기 및 오프셋을 가지는 것이 충분하다.

및

를 각각 원래 블루 픽셀 및 그 예측자의 강도들이라고 하자. 후속하는 선형 모델은 현재 B MB의 픽셀 값들을 예측하기 위해 사용된다:

여기서,

는 대응하는 G MB의 재구성된 픽셀이다. 여기서,

및

는 현재 B MB에서

에 대한 선형 모델의 기울기 및 오프셋 파라미터들을 나타낸다. 블루 MB 및 그 예측자들 사이의 레지듀 에너지 J는

여기서,

는 현재 블루 MB 에서 픽셀들 및

의 예측자들 사이의 레지듀 에너지이다. 최소화된 레지듀 에너지 J는 각각의

를 최소화함으로써 유지될 수 있다.

를 최소화하기 위해 부분 미분을 사용함으로써, 최적의 기울기

및 오프셋

는

로서 계산되고, 여기서,

및

는 각각

에 속하는 재구성된 그린 및 블루 픽셀들의 평균(means or averages)이다.

현재 블루 MB의 영역 경계들 또는 텍스쳐 영역들의 개수에 관한 어떠한 정보도 디코더에 전송될 필요가 없는데, 왜냐하면 동일한 세그먼트화 프로세스(및 동일한 영역 디노미네이션(denomination) 알고리즘)가 디코더에서의 재구성된 베이스 컬러 성분 상에서 반복될 수 있기 때문이다. 그러나 현재 블루 MB의 기울기들 및 오프셋들 모두가 겉보기에는 디코더에 전송될 필요가 있는데, 왜냐하면 이들이 디코더에서 사용가능하지 않기 때문이다. 일 실시예에서, 기울기들 및 오프셋들이 디코더에 전송된다.

또다른 실시예에서, 예측자의 정확성을 저하시키지 않고 오프셋들에 대한 코딩 비트들을 절감하기 위해,

및

은 각각

및

대신 사용된다. 여기서,

및

은 현재 블루 MB 및 대응하는 그린 MB에서

의 H.264 인트라 예측에 의해 생성되는 픽셀 예측자들의 평균 값이다. 따라서,

를 획득하기 위해, H.264 인트라 예측은 제안된 텍스쳐 기반 인트라 예측이 현재 블루 MB에 대해 수행되기 전에 수행되어야 한다. G 블록과는 달리, 레이트 왜곡 최적화(RDO)는 B/R 블록에 대해 요구되지 않는데, 왜냐하면 G 및 B/R 성분 사이의 텍스쳐 왜곡 유사성으로 인해, B/R 블록이 대응하는 G MB와 동일한 MB 모드 및 인트라 예측 모드들을 사용한다고 가정되기 때문이다. 따라서 수학식 (5)는

로서 다시 쓰일 수 있다. 따라서, 수식 (2)는

로서 재정의되고, 이는 일 실시예에서, 제안된 텍스쳐 기반 채널 간 인트라 예측을 사용하여 G 성분로부터 B 성분을 예측하는데 사용되는 선형 모델이다.

유사하게, 레드 성분의 예측자는

에 의해 획득된다. 최종 레지듀는 수식(8)에 의해 계산된 원래 픽셀들 및 그 예측자들 사이의 차이를 계산함으로써 획득될 수 있다. 인트라 예측 이후의 후속하는 작업은 H.264에 기술된 프로세스와 동일하다. 일반적으로, 인트라 예측 프로세스는 순차적으로 또는 동시에 상이한 비-베이스-컬러 성분들에 적용될 수 있다.

위의 분석에 기초하여, MB 타입, 인트라 예측 모드 또는 B/R MB의 모델 오프셋들 중 어느 것도 비트 스트림으로 코딩될 필요는 없지만, 오직 B/R MB의 기울기들 만이 디코더로 전송될 필요가 있는데, 이는 많은 코딩 비트들을 절감한다. 여기서, 오프셋들은 MB층 정보로서 비트스트림 내에 인코딩될 수 있다.

하기에서, 프레임 레벨 상에서의 예측에 대한 실시예가 설명된다. 프레임 레벨 상에서 제안된 방식은 전술된 바와 같이 MB 레벨에 대한 것과 유사하며, 여기서, 텍스쳐 기반 세그먼트화는 다른 컬러 면들의 대응하는 MB들을 인코딩하기 전에 베이스 컬러 면 MB에 대해 수행된다. 프레임 레벨 상에서, 이미지 세그먼트화는 다른 컬러 면들을 인코딩하기 전에 재구성된 베이스 컬러 프레임(예를 들어, G 프레임)에 대해 수행될 필요가 있다. 도 4의 b)에서, 프레임 레벨 상의 블록 사이즈는 프레임 사이즈이고, 전체 면의 기울기 정보는 슬라이스층 정보로서 비트스트림 내에 인코딩된다. MB 레벨 및 프레임 레벨 상에서 비-베이스 컬러 면(예를 들어, B 면)을 인코딩하는 흐름 프로세스들은 도 4의 a) 및 b)에 도시된다.

MB 레벨을 참조하는 도 4의 a)에서, 프로세스는 베이스 컬러 면(예를 들어, G 면)의 재구성된 MB의 세그먼트화로 시작한다. 이후, 통상적인 H.264 인트라 예측이 수행되며, 여기서, 인코딩 모드가 결정되고 사용된다. 대응하는 B면 MB에 대해, G면 MB에 대해 결정되고 사용된 것과 동일한 인코딩 모드가 사용된다. 이후, 텍스쳐 기반 인트라 예측은, 전술된 바와 같이 수행되며, 결과적인 레지듀얼은 H.264/AVC에서와 같이 통상적으로 인코딩된다. 차이로서, 또한 기울기들이 출력 비트스트림 내에 기록된다. 일 실시예에서, 또한 오프셋들이 비트스트림 내에 기록되는 반면, 또다른 실시예에서, 오프셋들을 정의하는 레지듀얼 데이터가 비트스트림 내에 기록되고, 따라서, 오프셋은 디코더에서 생성될 수 있다. 이후, 프로세스는 다음 B면 MB로 되돌아간다.

도 4의 b)는 프레임 레벨 상에서 인코딩 프로세스의 흐름도를 도시한다. 세그먼트화가 재구성된 베이스 컬러 면(즉, 예컨대 G 면의 전체 이미지)에 대해 수행된 이후, 기울기들이 결정되어 비트스트림 내에 기록된다. 기울기 값들 각각은 전체 이미지의 영역에 대해 유효하다. 이후 오직 B면에 대한 H.264 인트라 예측만이 개시되며, 여기서 각각의 MB에 대해, 동일한 인코딩 모드가 베이스 컬러 면의 대응하는 MB에 대해 결정되고 사용된 바와 같이 사용된다. 나머지 단계들은 전술된 바와 같다.

위의 예에서 항상 G면이 베이스 컬러 면으로서 사용되지만, 임의의 컬러 면이 원리상 베이스 컬러 면으로서 선택될 수 있다. 또한, 제2 및 제3 컬러 면의 선택은 변경될 수 있다. 인코더는 이미지 유닛, 이미지 또는 이미지 시퀀스에 대한 베이스 컬러 면을 선택하기 위한 암시적 또는 명시적 선택기를 포함한다. 즉, 컬러 면은 정의에 의해 또는 제어 정보(예를 들어, 플래그)에 의해 베이스 컬러 면이도록 미리 정의될 수 있거나, 또는 하나의 컬러 면이 베이스 컬러 면이도록 적응적으로 선택될 수 있다. 이러한 적응적 선택은 바람직하게는 프레임 레벨 또는 시퀀스 레벨 상에서 사용가능한 컬러 면들을 분석하고(521, 522), 비교하고, 다른 것보다 더 많은 텍스쳐 영역들, 객체들 또는 에지들을 가지는 컬러 면을 결정하고(523), 및 이를 베이스 컬러 면으로서 선택한다(이에 대해 도 5의 b)를 참조). 다른 것보다 더 적은 텍스쳐 영역들, 객체들 또는 에지들을 가지는 또다른 컬러 면은 "마지막" 컬러 면으로서 선택된다. 예를 들어, 일 실시예에서, 레드 컬러 면에서 최대의 텍스쳐 영역들 및 블루 컬러 면에서 최소의 텍스쳐 영역들을 가지는 시퀀스는 베이스 컬러 면으로서 R, 제2 컬러 면으로서 G, 제3 컬러 면으로서 B를 사용하여 인코딩/디코딩될 수 있으며, B면은 R면으로부터 또는 G면으로부터 예측된다. 컬러 면 시퀀스 순서의 개별 표시들은 비디오 신호에서 인코딩된다. 다음 시퀀스에 대해, 컬러 면 시퀀스 순서는 변경될 수 있다.

도 5의 a)는 본 발명의 양상에 따른 인코더의 제1 실시예를 도시한다. 상위 브랜치는 베이스 컬러 면을 참조하며, 이는 여기서 G이다. 베이스 컬러 면은 인코더(51)에서 인코딩되고 재구성 유닛(52)에서 재구성된다. 인코딩된 베이스 컬러 면

이 출력될 준비가 되는 반면, 재구성된 베이스 컬러 면은 재구성된 이미지 유닛의 베이스 컬러 면에 대한 텍스쳐 세그먼트화를 수행하기 위한 세그먼트화 유닛(53)에 제공되며, 여기서 적어도 2개의 텍스쳐 세그먼트들이 결정된다. 이후, 분리기들(54b, 54r)은 이미지 유닛의 다른 컬러 면들을 텍스쳐 세그먼트들로 분리하기 위해 베이스 컬러 면 세그먼트들을 적용한다. 이러한 적용에서, 베이스 컬러에 대해 결정된 텍스쳐 세그먼트들은 일 실시예에서 직접 재사용되거나, 또는 일부 추가 영역 정보(예를 들어, 픽셀들의 위치 또는 상이한 컬러 면들 내의 상이한 영역들에 속하는 픽셀 블록들)가 전송되도록 요구하는 또다른 실시예에서 약간 수정된다.

상관기(55b, 55r)는, 텍스쳐 세그먼트들 각각에 대해, 재구성된 베이스 컬러 면 및 원래의 다른 컬러 면 사이의 선형(휘도 또는 강도) 상관 함수를 결정한다. 선형 상관은 기울기 및 오프셋과 같이 이를 정의하는 값들에 의해 표현될 수 있다. 도 5의 a)에서, 3개의 상관 함수들

이 블루 면의 3개의 세그먼트들에 대해 발견되며, 각각은 기울기 및 오프셋 파라미터들

을 특징으로 한다. 유사한 결과들이 R면에 대해 획득된다. 선형 상관은 일반적으로 오직 근사화이지만, 예측 정확성을 실질적으로 개선하기에 충분히 양호하다는 점에 유의한다.

또한, 인코더는 베이스 컬러 면의 대응하는 텍스쳐 세그먼트의 픽셀들로부터 현재 이미지 유닛의 다른 컬러 면의 텍스쳐 세그먼트에서의 픽셀들을 실제로 예측하고 레지듀얼 픽쳐를 생성하는 예측 코더(56b, 56r)를 가진다. 예측에 대해, 이는 세그먼트화된 컬러 면 이미지(예를 들어, 각각의 MB에 대한 B면 입력 이미지 및 세그먼트 정보), 예측을 위한 세그먼트 당 상관 함수, 또는 이러한 특정 테스쳐 세그먼트에 대해 획득되었던 값들, 및 예측 기준으로서의 베이스 컬러 면의 재구성된 이미지를 사용한다. 일 실시예에서, 특정 세그먼트에 대한 예측은 선형 상관을 정의하고 이러한 특정 텍스쳐 세그먼트에 대해 획득되었던 값들에 기초하여 수행된다. 일 실시예에서, 인코더는 레지듀얼을 결정하기 위한 식별기, 예를 들어, 다른 컬러 면의 원래 픽셀들을 예측된 픽셀들과 비교하고 그 차이를 레지듀얼로서 결정하기 위한 비교기를 가진다. 또한, 인코더는 선형 상관을 정의하는 레지듀얼 및 정보, 예를 들어,

및

를 인코딩하기 위한 인코딩 유닛(57b, 57r)을 가진다.

도 5의 a)에 도시된 인코더가 각각의 컬러 면에 대해 분리된 유닛들을 사용하지만, 일부 유닛들은 2개 이상의 상이한 컬러 면들에 대해 사용될 수 있다. 상이한 컬러 면들은 동시에 또는 순차적으로 프로세싱될 수 있다. 이에 따라, 일부 유닛들 또는 유닛들 내의 일부 모듈들이 절감될 수 있다. 도 6은 인코더의 제2 실시예를 도시하며, 여기서 오직 하나의 분리기(멀티-면 분리기)(54)가 2개의 컬러 면들을 분리하기 위해 베이스 컬러 면 세그먼트들을 적용하고, 멀티면 상관기(65)는 2개의 컬러 면들 내의 텍스쳐 세그먼트들 각각에 대해 전술된 상관을 수행하고, 멀티면 예측 코더(66)는 2개 컬러 면들의 텍스쳐 세그먼트들 내의 픽셀들을 예측하고, 멀티면 인코딩 유닛(67)은 선형 상관을 정의하는 정보 및 레지듀얼을 인코딩한다.

하기에서, 도 7에 도시된 바와 같은 디코더의 제1 실시예가 기술된다. 제1 단계(도 7에 미도시)는 미리 정의된 컬러 면을 선택하고, 구성 설정에서 베이스 컬러 면을 검색하거나 디코딩될 비디오 신호와 함께 수신된 식별자를 평가함으로써 베이스 컬러 면을 결정하는 것이다. 따라서, 베이스 컬러 면 선택기가 암시적으로 사용될 수 있거나, 또는 이는 명시적 유닛일 수 있다. 이 예에서, 그린 G가 베이스 컬러 면이다. 수신된 베이스 컬러 면은 평소대로 디코딩 및 재구성 유닛(71)에서 디코딩 및 재구성된다. 일 실시예에서, 디코딩 및 재구성 유닛(71)은 단일 컬러 면에 대한 통상적인 H.264/AVC 인트라 디코더이다. 재구성된 베이스 컬러 면

은 추가적인 프로세싱 단계들을 위해 출력되며, 또한 세그먼트화 유닛(72)에서 세그먼트들로 분할된다.

획득된 세그먼트들은 인코더 측에서 세그먼트화 유닛(53, 63)에서 획득되었던 것과 동일한데, 왜냐하면, 동일한 세그먼트화 알고리즘 및 세그먼트 디노미네이션 알고리즘이 수행되기 때문이다. 일부 실시예들에서, 이러한 알고리즘들은 미리 정의된다. 다른 실시예들에서, 세그먼트화 알고리즘은 적응적이며, 알고리즘을 정의하거나 미세튜닝하기 위한 파라미터들이 또한 수신된다. 추가로, 다른 컬러 면들에 대한 데이터가 수신된다. 각각의 컬러 면에 대해 이들 데이터는 다수의 상관 함수들의 적어도 레지듀얼들 및 파라미터들

이다. 이들 파라미터들로부터, 개별 상관 함수들

은 파라미터들로부터 상관 함수들을 결정하는 상관 함수 생성기(73b, 73r)에서 재구성된다. 일 실시예에서, 수신된 레지듀얼들은 예를 들어, 선택적 엔트로피 디코더(75b, 75r)에서 디코딩되지만, 또다른 실시예에서, 레지듀얼들은 명시적인 디코딩을 요구하지 않는다.

레지듀얼들, 베이스 컬러 면 세그먼트화

및 상관 함수들

로부터, 개별 컬러 면들이, 각각의 세그먼트에 대한 개별 상관 함수를 사용하여, 재구성 유닛(76b, 76r)에서 세그먼트 별로 재구성된다.

도 8은 전술된 것과 동일한 이유들로 여기서의 프로세싱 유닛들 또는 모듈들이 상이한 컬러 면들 사이에서 공유되는 디코더의 제2 실시예를 도시한다.

일 실시예에서, 베이스 컬러 면의 세그먼트화 맵

은 다른 컬러 면들

모두에 대해 사용되어서, 오직 하나의 세그먼트화 맵만이 재구성 유닛(86)에 대한 입력으로서 요구된다. 또다른 실시예에서, 전술된 바와 같이, 서로 상이할 수 있는 별개의 세그먼트화 맵들

이 사용된다.

일 실시예에서, 비디오 인코더는, 다른 컬러 면들의 출력과 일시적으로 상관되도록 베이스 컬러 면 출력을 지연시키기 위해, 버퍼들과 같은 지연 엘리먼트들을 가진다.

유사하게, 일 실시예에서, 비디오 디코더는, 다른 컬러 면들의 출력과 일시적으로 상관되도록 베이스 컬러 면 출력을 지연시키기 위해, 버퍼들과 같은 지연 엘리먼트들을 가진다.

일부 실시예들에서, 베이스 컬러 면의 인코딩은 인트라 코딩을 사용한다. 다른 실시예들에서, 베이스 컬러 면의 인코딩은, 예를 들어, 다른 픽쳐들의 베이스 컬러 면들에 기초하여, 인터 코딩을 사용할 수 있다. 이는 이전 또는 이후 프레임들, 상이한 뷰들의 이미지들 등일 수 있다.

일부 실시예들은 인코딩된 베이스층 및 하나 이상의 레지듀얼들을 인코딩된 비디오 신호로 결합시키는 최종 단계를 포함한다.

후속하는 실시예들을 포함하여, 여기서 기술되는 실시예들 각각은 단독으로, 또는 (실시예들이 상이한 대안들이 아닌 한) 실시예들 중 임의의 하나 이상의 다른 실시예와 결합하여 사용될 수 있다.

베이스 컬러 면을 디코딩 및 재구성한 이후 디코더는 인코더와 동일한 세그먼트화를 수행하고 동일한 결과를 초래한다. 일 실시예에서, 따라서 어떠한 명시적인 세그먼트화 정보도 인코딩 또는 디코딩되지 않는다.

일 실시예에서, 미리 정의된 컬러 면은 선택 단계에서 베이스 컬러 면으로서 사용된다. 일 실시예에서, 미리 정의된 컬러 면은 그린(G) 면과 같이 다른 면들보다 통상적으로 더 많은 텍스쳐 정보를 포함하는 면이다. 다른 실시예에서, 베이스 컬러 면이 적응적으로 선택되고, 베이스 컬러 면의 선택은 적어도 2개의 컬러 면들의 텍스쳐 분석을 포함한다. 텍스쳐 분석은 적어도 2개의 컬러 면들의 대응하는 세그먼트들 사이의 (휘도, 강도 또는 텍스쳐) 상관을 결정하는 것을 포함한다.

일 실시예에서, 이미지 유닛의 다른 2개의 컬러 면들이 베이스 컬러에 대해 결정된 동일한 텍스쳐 세그먼트들(즉, 정확하게 동일한 좌표들을 가지는 세그먼트들)로 분리된다. 이러한 간략화는 대부분의 이미지들에 대해 적용가능하며, 세그먼트화가 오직 베이스 컬러 면에 대해서만 수행될 필요가 있다는 장점을 가진다.

또다른 실시예에서, 이미지 유닛의 다른 2개의 컬러 면들은 베이스 컬러에 대해 결정된 것과 유사하지만 정확하게 동일하지는 않은 세그먼트들로 분리된다. 이는, 예를 들어, 베이스 컬러 면이 아닌 적어도 하나의 컬러 면에 대한 정제 세그먼트화에 의해 달성될 수 있으며, 여기서, 베이스 컬러 세그먼트화는 증분적 개선들을 위한 시작으로서의 역할을 한다. 여기서, 더 높은 압축 레이트는 추가적인 프로세싱 노력을 감수하여 달성될 수 있다.

일 실시예에서, 베이스 컬러 면의 둘 이상의 텍스쳐 세그먼트들은 이미지 유닛의 다른 2개의 컬러 면들 중 적어도 하나에 대한 것으로 결합되며, 따라서, 베이스 컬러 면에 대해 결정된 것보다 더 적은 텍스쳐 세그먼트들을 초래한다.

일 실시예에서, 상관기는 오직 컬러 면들 사이의 선형 상관들만을 결정할 수 있으며, 이러한 선형 상관을 정의하는 값들을 제공한다. 또다른 실시예에서, 상관기는 컬러 면들 사이의 더 복잡한 상관들을 결정하고, 이러한 더 복잡한 상관을 정의하는 값들을 제공할 수 있다. 또다른 실시예에서, 상관기는 또한 상이한 상관 타입들 중 하나를 결정하고, 추가로 상관 타입의 표시자를 제공할 수 있다.

일 실시예에서, 상기 상관의 가중 인자 및 오프셋은 베이스 컬러 세그먼트 및 다른 컬러 면의 대응하는 세그먼트 사이의 레지듀 에너지를 최소화함으로써 획득된다. 또다른 실시예에서, 상이한 뷰의 이미지 등으로부터, 컬러 면에 대한 가중 인자 및 오프셋을 획득하기 위한 다른 방법들, 예를 들어, 일시적으로 이전 이미지로부터 획득된 값들의 재사용이 사용된다. 후자의 2개 실시예들은, 예를 들어, 상이한 컬러 면들에 대해 결합될 수 있다.

일 실시예에서, 텍스쳐 세그먼트들 각각은 할당된 영역 식별자를 획득하고, 여기서, 대응하는 텍스쳐 세그먼트들은 동일한 영역 식별자를 가진다. 영역 식별자는 출력 신호 내의 인코딩된 데이터의 블록이 어느 세그먼트에 속하는지를 표시하기 위해 사용될 수 있다.

일 실시예에서, 가중 인자 및 오프셋을 정의하는 정보는 기울기 값, 예측자

및 컬러 면 당 오프셋

의 레지듀얼을 포함하며, 여기서 오프셋은 상기 예측자

및 베이스 컬러에 기초하는 예측 에러이다. 일 실시예에서, 기울기 값

은 슬라이스 레벨, 프레임 레벨 또는 픽쳐 인코딩의 경우 계층 제어 정보, 예를 들어, 슬라이스 층 정보로서 포함된다.

일 실시예에서, 제1 예측자

는 재구성된 베이스 컬러 텍스쳐 세그먼트 내의 픽셀들의 평균 값이며, 제2 예측자

는 상기 다른 컬러의 대응하는 텍스쳐 세그먼트 내의 픽셀들의 평균 값이다.

일 실시예에서, 텍스쳐 세그먼트화는 에지 검출기 및 단순 영역 성장 방법을 사용하여 수행된다. 임의의 에지 검출 방법이 사용될 수 있으며, 여기서, 더 양호한 에지 검출은 더 높은 압축 레이트를 초래한다. 일 실시예에서, Sobel 연산자가 에지 검출을 위해 사용된다. 일 실시예에서, 매크로블록(MB)은 16x16 픽셀들을 가진다. 또다른 실시예에서, MB는 16x16보다 더 많은 (또는 적어도 8x8보다 더 많은) 픽셀들을 가지며, 여기서 MB들은 정사각형일 필요는 없다.

본 발명의 다른 장점은 어떠한 영역 정보도 인코딩되거나 디코딩될 필요가 없다는 점인데, 왜냐하면, 영역들이 인코딩 또는 디코딩동안 재구성된 픽쳐 유닛, 예를 들어, MB에 대해 동일한 텍스쳐 세그먼트화를 실행함으로써 암시적으로 주어지기 때문이다.

본 발명은 비디오 인코딩 및 디코딩에 대해서 뿐만 아니라, 컬러 필터 어레이와 중첩되는 이미지 센서로부터 출력되는 불완전한 컬러 샘플들로부터 전체 컬러 이미지를 재구성하기 위해 사용되는 이미지 디모자이싱(demosiacing)의 디지털 이미지 프로세스에 대해 사용될 수 있다. 추가로, 본 발명은 에러 숨김 및 데이터 보호를 위해 사용될 수 있다.

본 발명의 바람직한 실시예들에 적용되는 것으로서 본 발명의 기본적인 신규한 특징들이 도시되고, 기술되고, 지정되었지만, 기술된 장치 및 방법에서의, 개시된 디바이스들의 형태 및 상세항목들에서의, 그리고 이들의 동작에서의 다양한 생략, 대체 및 변경들이 본 발명의 사상으로부터 벗어나지 않고 당업자에 의해 이루어질 수 있다는 점이 이해될 것이다. 본 발명이 RGB 컬러 면들에 대해 개시되었지만, 당업자는 여기서 기술된 방법 및 디바이스들이 또한 공간 리던던시를 포함하는 다른 타입들의 컬러 면들에 적용될 수 있다는 점을 인지할 것이다. 동일한 결과들을 달성하기 위해 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 해당 엘리먼트들의 모든 결합들이 본 발명의 범위 내에 있다는 점이 명시적으로 의도된다. 하나의 기술된 실시예로부터 또다른 실시예로의 엘리먼트들의 대체가 또한 완전히 의도되고 참작된다.

본 발명이 단순히 예시로서 기술되었지만, 상세항목들의 수정들이 본 발명의 범위로부터 벗어나지 않고 이루어질 수 있다는 점이 이해될 것이다. 설명에서, 그리고 적절한 경우 청구항들 및/또는 도면들에서 개시된 각각의 특징은 독립적으로 또는 임의의 적절한 결합으로 제공될 수 있다. 특징들은 적절한 경우, 하드웨어, 소프트웨어 또는 이들 둘의 결합으로 구현될 수 있다. 접속들은, 적용가능한 경우, 반드시 직접 접속 또는 전용 접속은 아닌 유선 접속 또는 무선 접속으로서 구현될 수 있다. 청구항들에서 나타나는 참조 번호들은 오직 예시에 의한 것이며, 청구항들의 범위에 대한 어떠한 제한적인 영향도 가지지 않는다.

Claims

이미지 유닛 레벨 상에서 상이한 컬러 면들에 대해 별개로 비디오 인코딩하기 위한 방법으로서 - 이미지 유닛은 매크로블록, 프레임 또는 픽쳐임 -,
베이스 컬러 면(G)을 선택하고, 상기 이미지 유닛의 베이스 컬러 면을 인코딩(51) 및 재구성(52)하는 단계;
상기 재구성된 이미지 유닛의 베이스 컬러 면(53) 상에서 텍스쳐 세그먼트화를 수행하는 단계 - 여기서 적어도 2개의 텍스쳐 세그먼트들(
)이 결정됨 - ;
상기 베이스 컬러 면에 대해 결정된 텍스쳐 세그먼트들을 사용하여, 상기 이미지 유닛의 적어도 하나의 다른 컬러 면(B)을 텍스쳐 세그먼트들(
)로 분리하는 단계(54b);
상기 텍스쳐 세그먼트들 각각에 대해, 상기 재구성된 베이스 컬러 면과 상기 적어도 하나의 다른 컬러 면 사이의 강도 상관(
)을 결정하는 단계(55b) - 여기서 가중 인자(
) 및 오프셋(
)이 획득됨 -;
텍스쳐 세그먼트에 대해 획득된 상기 가중 인자(
) 및 오프셋(
) 또는 상기 강도 상관(
)에 기초하여, 상기 재구성된 베이스 컬러 면의 대응하는 텍스쳐 세그먼트의 픽셀들로부터 상기 적어도 하나의 다른 컬러 면의 텍스쳐 세그먼트 내의 픽셀들을 예측하고(56b), 레지듀얼(b_enc)을 결정하는 단계; 및
적어도 상기 가중 인자(
) 및 상기 오프셋(
)을 정의하는 정보를 인코딩하는 단계(57b)
를 포함하는 방법.
제1항에 있어서,
상기 베이스 컬러 면의 인코딩은 인트라 코딩을 사용하는 방법.
제1항 또는 제2항에 있어서,
상기 인코딩된 베이스 컬러 면, 하나 이상의 레지듀얼들 및 상기 가중 인자 및 상기 오프셋을 정의하는 정보를 인코딩된 비디오 신호에 결합시키는 최종단계를 더 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 베이스 컬러 면의 선택은 적어도 2개의 컬러 면들의 텍스쳐 분석(521, 522)을 포함하고, 상기 텍스쳐 분석은 텍스쳐 세그먼트들 간의 상관(523)을 결정하는 것을 포함하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 상관의 상기 가중 인자(s) 및 오프셋(o)은 베이스 컬러 세그먼트와 다른 컬러 면의 대응하는 세그먼트 사이의 레지듀 에너지(residue energy)를 최소화함으로써 획득되는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 이미지 유닛의 다른 컬러 면들은 상기 베이스 컬러에 대해 결정된 것과 동일한 텍스쳐 세그먼트들로 분리되는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 이미지 유닛의 다른 컬러 면들은 상기 베이스 컬러에 대해 결정된 것과 유사하지만 동일하지는 않은 텍스쳐 세그먼트들로 분리되는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 이미지 유닛의 다른 컬러 면들 중 적어도 하나는 상기 베이스 컬러에 대해 결정된 것보다 더 적은 텍스쳐 세그먼트들로 분리되고, 상기 베이스 컬러 면의 둘 이상의 텍스쳐 세그먼트들은 하나로 결합되는 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 텍스쳐 세그먼트들 각각은 할당된 영역 식별자를 획득하고, 대응하는 텍스쳐 세그먼트들은 동일한 영역 식별자를 가지고, 상기 영역 식별자는 출력 신호 내의 인코딩된 데이터 블록이 어느 텍스쳐 세그먼트에 속하는지를 표시하는데 이용 가능한 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 가중 인자(
) 및 상기 오프셋(
)을 정의하는 정보는 기울기 값(
) 및 컬러 면 당 적어도 하나의 예측자(
)를 포함하고, 상기 예측자는 개별 컬러 면의 픽쳐 유닛의 인트라 예측에 의해 생성되는 픽셀 예측자들의 평균값인 방법.
제10항에 있어서,
상기 컬러 면의 오프셋
은
에 의해 인코딩되고, 제1 예측자(
)는 재구성된 베이스 컬러 세그먼트 k 내의 픽셀들의 평균 값이고, 제2 예측자(
)는 상기 다른 컬러의 대응하는 세그먼트 k 내의 픽셀들의 평균값인 방법.
상이한 컬러 면들에 대해 별개로 이미지 유닛 레벨 상에서 인코딩된 비디오 데이터를 디코딩하기 위한 방법으로서 - 이미지 유닛은 매크로블록, 프레임 또는 픽쳐임 -,
상기 이미지 유닛의 인트라-코딩된 베이스 컬러 면의 데이터를 포함하는 제1 데이터 블록을 상기 인코딩된 비디오 데이터로부터 추출하는 단계;
상기 이미지 유닛의 인코딩된 제2 컬러 면의 데이터를 포함하는 제2 데이터 블록을 상기 인코딩된 비디오 데이터로부터 추출하고, 적어도 2개의 상관 함수들의 가중 인자들(
) 및 오프셋들(
)을 정의하는 상관 데이터를 상기 인코딩된 비디오 데이터로부터 추출하는 단계;
상기 제1 데이터 블록을 인트라-디코딩하는 단계(71) - 여기서 재구성된 베이스 컬러 면(
)이 획득됨 - ;
상기 재구성된 이미지 유닛의 베이스 컬러 면에 대해 텍스쳐 세그먼트화를 수행하는 단계(72) - 여기서 적어도 2개의 텍스쳐 세그먼트들(
)이 결정됨 - ;
상기 베이스 컬러 면에 대해 결정된 텍스쳐 세그먼트들을 사용하여, 상기 이미지 유닛의 적어도 제2 컬러 면(B)을 적어도 2개의 텍스쳐 세그먼트들(
)로 분리하는 단계;
제2 컬러 면(B)의 적어도 2개의 텍스쳐 세그먼트들 각각에 대해, 상기 재구성된 베이스 컬러 면과 상기 제2 컬러 면 사이의 강도 상관 함수(
,...,
)를 상기 가중 인자(
) 및 오프셋(
)을 정의하는 데이터로부터 결정하는 단계(73b);
상기 세그먼트에 대해 결정된 개별 상관 함수(
,...,
)를 사용하여, 상기 베이스 컬러 면의 개별 텍스쳐 세그먼트들로부터 상기 제2 컬러 면의 적어도 2개의 텍스쳐 세그먼트들 각각을 예측하는 단계(74b); 및
상기 제2 컬러 면의 이미지 유닛을 재구성하는 단계(76b) - 상기 제2 데이터 블록으로부터 추출된 레지듀얼 데이터(75b)는 상기 제2 컬러 면의 상기 예측된 텍스쳐 세그먼트들과 결합됨 -
를 포함하는 방법.
제1항 내지 제11항 중 어느 한 항에 따른 방법을 사용하는 비디오 코더.
제12항에 따른 방법을 사용하는 비디오 디코더.
제3항에 의해 획득되는 비디오 신호.