KR20170020733A

KR20170020733A - 이미지 데이터에서 데시메이팅된 컬러 채널들의 송신, 수신, 및 복원을 위한 시스템 및 방법

Info

Publication number: KR20170020733A
Application number: KR1020157017672A
Authority: KR
Inventors: 윌리엄 엘. 개디; 비드야 세란; 용 리우
Original assignee: 에이2젯로직스, 인코포레이티드
Priority date: 2014-06-12
Filing date: 2014-06-12
Publication date: 2017-02-24
Also published as: WO2015191068A1; JP2017520871A; CA2919328A1; CN105378791A; EP3155585A1

Abstract

프로세싱 디바이스는 하나 또는 그 초과의 채도 채널들 및 루마 채널을 포함하는 제 1 세트의 이미지 데이터를 수신한다. 프로세싱 디바이스는 하나 또는 그 초과의 감소된-해상도 채도 채널들을 생성하기 위하여 하나 또는 그 초과의 채도 채널들의 해상도를 감소시킨다. 프로세싱 디바이스는 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들을 제 2 세트의 이미지 데이터로 배열한다. 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들은 제 2 세트의 이미지 데이터의 공간 위치에서 오버랩핑하지 않는다. 프로세싱 디바이스는 제 2 세트의 이미지 데이터를 다운스트림 디바이스에 전송한다.

Description

이미지 데이터에서 데시메이팅된 컬러 채널들의 송신, 수신, 및 복원을 위한 시스템 및 방법{SYSTEM AND METHOD FOR TRANSMISSION, RECEPTION, AND RESTORATION OF DECIMATED COLOR CHANNELS IN IMAGE DATA}

[001] 본 개시의 실시예들은 이미지 프로세싱, 및 보다 구체적으로 비디오 또는 이미지들 내의 데시메이팅된(decimated) 컬러 채널들의 송신, 수신 및 복원에 관한 것이다.

[002] 휴먼 비전 시스템(이후, "HVS(Human Vision System)")이 컬러 도메인에서보다 휘도 도메인에서의 공간적 상세(detail)에 보다 민감하다는 것은 알려져 있다. 이런 효과의 정밀한 측정들은 정상 주간 뷰잉(viewing) 조건들 하에서, HVS가 컬러 상세들에 대한 것보다, 밝기 상세들에 대해 대략 2.2 배 보다 많은 공간 시력(acuity)을 가지는 것을 도시하였다. 이미지들 및 비디오의 효율적인 송신 및 프로세싱(JPEG에서 볼 수 있는 바와 같은(ISO/IEC 10918-1:1994 참조)) 및 MPEG 및 그의 파생물들 같은 대부분의 비디오 압축 시스템들(ISO/IEC 13818, ISO/IEC 14496, 및 ISO/IEC 23008 참조)은 컬러(CbCr, 또는 채도) 채널들로부터 밝기(Y, 또는 루마(luma)) 채널을 분리하고 그 다음 인코딩 및 송신 전에 데시메이션에 의해 하나의 옥타브(octave) 만큼 채도 채널들의 해상도를 감소시킴으로써 이 효과를 레버리징(leverage) 한다. 이것은 흔히 4:2:0 채도 서브샘플링으로서 알려져 있다. 이들 데시메이팅된 채도 채널들의 존재는 비트스트림 플래그(bitstream flag)에 의해 인코더로부터 디코더로 시그널링된다. 수신 및 디코딩 시, 비트스트림 플래그의 존재는 보통 바이큐빅 보간(bicubic interpolation) 또는 선형 보간 같은 간단한 업샘플링 프로세스에 의해 채도 채널들을 업스케일(upscale)하도록 디코더에게 나타낸다.

[003] 하나보다 많은 옥타브만큼 채도 채널들의 데시메이션은 전송할 정보의 양을 상당히 감소시킬 수 있지만, 디코딩되고 업스케일링된 채도 채널들은 작은 오브젝트(object)들의 감소된 포화, 및 컬러 브리드(color bleed)(작은 오브젝트로부터의 컬러가 이웃하는 배경 오브젝트들에 스미어링(smearing)하는 것을 인지)를 포함하는 다양한 아티팩트(artifact)들을 나타낸다. 주로 이런 이유 때문에, 하나보다 많은 옥타브만큼 채도 채널들의 데시메이션은 임의의 현재 이미지 또는 비디오 압축 표준에서 지원되지 않는다.

[004] 하나보다 많은 옥타브만큼 데시메이팅된, 데시메이팅된 채도 채널들의 복원에 적용될 수 있는 3D 이미지들에 대한 데시메이팅된 깊이 맵의 복원을 허용하도록 결합형-양방향(joint-bilateral) 샘플링의 형태의 이미지-가이드 스케일링을 위한 보다 진보된 업스케일링 방법(Kopf, Johannes 등에 의한 "Joint bilateral upsampling ACM Transactions on Graphic(TOG), Vol.26, No.3. ACM, 2007에서 지침된 바와 같은 - 이는 인용에 의해 본원에 포함됨)들을 사용하는 것에 있어 몇몇 최근 작업이 있었다. 그러나, 이들 방법들을 구현하는 것은 이미지들 및 비디오에 대한 인코딩 및 디코딩 표준들에 밀접한 커플링 및 변화들을 요구하는데, 그 이유는 비트스트림 신택스(syntax)가 하나보다 많은 옥타브만큼 데시메이팅된 그런 채널들을 시그널링하는 것을 지원하지 않기 때문이다.

[005] 부가적으로, 단순히 하나보다 많은 옥타브만큼 채도 채널들을 다운스케일링하고 전해상도 루마 채널과 혼합된 데시메이팅된 채도 채널들을 전달하는 것은 대부분의 비디오 인코더들의 모션 추정을 혼란시키는데, 그 이유는 대부분의 비디오 인코더들이 정확한 모션 추정을 달성하기 위하여 루마 및 채도 채널들의 공간 대응에 의존하고, 이에 의해 그들의 효율성이 감소하기 때문이다. 게다가, 이미지 인코드들 및 비디오 인코더들 둘 다에 대한 낮은-비트레이트(bitrate) 높은 양자화 시나리오들에서, 혼합된 채도 채널들은 루마 채널에 시각적 인상을 남길 수 있고, 이는 루마 채널 상에 채도 채널의 섀도우(shadow)로서 인식 가능한 아티팩트를 유발한다.

[006] 하나보다 많은 옥타브만큼 데시메이팅된 채도 채널들의 송신, 수신, 및 복원과 업스케일링을 위한 시스템 및 방법을 제공함으로써 기술 분야에서 상기 설명된 문제들이 해결되고 기술적 해결책이 달성된다. 제 1 프로세싱 디바이스의 제 1 컬러 채널 프로세서는, 데시메이팅된 채도 채널들을 생성하기 위하여 서브샘플링에 의해 입력 이미지들 또는 비디오의 채도 채널들을 하나보다 많은 옥타브만큼 데시메이팅한다. 제 1 컬러 채널 프로세서는, 전해상도 루마 채널 및 데시메이팅된 채도 채널들이 오버랩핑하지 않도록, 상기 전해상도 루마 채널 및 데시메이팅된 채도 채널들을 새로운 제 2 이미지들 또는 비디오의 상이한 공간 위치들에 배열한다. 제 1 컬러 채널 프로세서는 제 2 이미지들 또는 비디오를 인코더에 전달한다. 인코더는 인코딩된 제 2 이미지들 또는 비디오를 송신기에 전달하고 송신기는 인코딩된 제 2 이미지들 또는 비디오를 제 2 프로세싱 디바이스에 전송한다. 제 1 프로세싱 디바이스는 대역 내 또는 대역 외 시그널링 방법 중 임의의 것에 의해 데시메이팅된 채도 채널들의 존재를 제 2 프로세싱 디바이스에 신호한다. 제 2 프로세싱 디바이스는 디코딩된 제 2 이미지들을 생성하기 위하여 인코딩된 제 2 이미지들을 표준-기반 디코더로 디코딩한다. 제 2 프로세싱 디바이스의 제 2 컬러 채널 프로세서는 디코딩된 제 2 이미지들 중 비-오버랩핑 공간 배열의 루마 및 채도를 분리된 채널들로 분리한다. 제 2 컬러 채널 프로세서는, 분리된 루마 채널을 통계적 프라이어(statistical prior)로서 사용하여, 분리된 루마 채널의 해상도와 매칭하도록, 분리되고 데시메이팅된 채도 채널들의 결합형-양방형 업샘플링을 수행한다. 결합형-양방향 업샘플링은 옥타브 단위 다중-스케일 결합형-양방향 업샘플링을 포함할 수 있다. 제 2 프로세싱 디바이스는 추가로, 복원된 채도 채널들에 대해 히스토그램 스트레칭 동작을 수행할 수 있다.

[007] 이미지 데이터를 인코딩하기 위한 시스템 및 방법을 제공함으로써 기술 분야에서 상술된 문제들이 해결되고 기술적 해결책이 달성된다. 제 1 프로세싱 디바이스의 컬러 채널 프로세서는 하나 또는 그 초과의 채도 채널들 및 루마 채널을 포함하는 제 1 세트의 이미지 데이터를 수신한다. 컬러 채널 프로세서는 하나 또는 그 초과의 감소된-해상도 채도 채널들을 생성하기 위하여 하나 또는 그 초과의 채도 채널들의 해상도를 감소시킨다. 컬러 채널 프로세서는 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들을 제 2 세트의 이미지 데이터로 배열한다. 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들은 제 2 세트의 이미지 데이터의 공간 위치에서 오버랩핑하지 않는다. 프로세싱 디바이스는 제 2 세트의 이미지 데이터를 다운스트림 디바이스에 전송한다.

[008] 일 예에서, 제 1 세트의 이미지 데이터 및 제 2 세트의 이미지 데이터는 복수의 픽셀들로 이루어지고, 복수의 픽셀들의 각각의 픽셀은 하나 또는 그 초과의 채도 채널들 및 루마 채널을 가진다.

[009] 일 예에서, 하나 또는 그 초과의 채도 채널들의 해상도를 감소시키는 것은 하나 또는 그 초과의 채도 채널들을 적어도 하나의 옥타브만큼 데시메이팅하는 것을 포함할 수 있다. 일 예에서, 하나 또는 그 초과의 채도 채널들을 적어도 하나의 옥타브만큼 데시메이팅하는 것은 하나 또는 그 초과의 채도 채널들을 하나보다 많은 옥타브만큼 데시메이팅하는 것을 포함할 수 있다.

[0010] 일 예에서, 하나 또는 그 초과의 채도 채널들의 해상도를 감소시키는 것은 다운-샘플링 방법을 사용하여 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 것을 포함할 수 있다. 다운-샘플링 방법을 사용하여 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 것은 보간 방법을 사용하여 하나의 옥타브 다운-샘플링 단계들의 연속 적용에 의해 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 것을 포함할 수 있다.

[0011] 일 예에서, 프로세싱 디바이스는 제 1 세트의 이미지 데이터의 하나 또는 그 초과의 채도 채널들의 해상도의 감소 범위(extent)를 포함하는 정보를 다운스트림 디바이스에 전송할 수 있다. 일 예에서, 프로세싱 디바이스는 제 2 세트의 이미지 데이터의 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 배열을 포함하는 정보를 다운스트림 디바이스에 전송할 수 있다. 정보는 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들이 오버랩핑하지 않는 표시를 포함할 수 있다.

[0012] 일 예에서, 컬러 채널 프로세서는 제 2 세트의 이미지 데이터를 인코더에 전송할 수 있다. 인코더는 인코딩 방법을 사용하여 제 2 세트의 이미지 데이터를 인코딩하도록 동작 가능하다. 인코더는 인코딩된 제 2 세트의 이미지 데이터를 송신기에 전송할 수 있다. 송신기는 인코딩된 제 2 세트의 이미지 데이터를 다운스트림 디바이스에 전송할 수 있다.

[0013] 이미지 데이터를 디코딩하기 위한 시스템 및 방법을 제공함으로써 기술 분야에서 상기 설명된 문제들이 해결되고 기술적 해결책이 달성된다. 제 1 프로세싱 디바이스는 제 2 프로세싱 디바이스로부터, 하나 또는 그 초과의 채도 채널들 및 루마 채널을 포함하는 제 1 세트의 이미지 데이터를 수신한다. 하나 또는 그 초과의 채도 채널들은 해상도 있어서 루마 채널에 비해 감소된다. 제 1 프로세싱 디바이스는 추가로, 제 2 프로세싱 디바이스로부터, 하나 또는 그 초과의 채도 채널들의 해상도의 감소 범위를 포함하는 제 1 정보 및 루마 채널과 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간적 배열을 포함하는 제 2 정보를 수신한다. 제 1 프로세싱 디바이스의 컬러 채널 프로세서는 제 2 세트의 이미지 데이터를 생성하기 위하여 제 2 정보를 고려하여 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 배열을 리버싱(reverse)한다. 컬러 채널 프로세서는 제 3 세트의 이미지 데이터를 생성하기 위하여 제 1 정보를 고려하여 분리된 루마 채널의 해상도와 실질적으로 매칭하도록 하나 또는 그 초과의 감소된-해상도 채도 채널들의 해상도를 복원한다. 제 1 프로세싱 디바이스는 제 3 세트의 이미지 데이터를 다운스트림 디바이스에 전송한다.

[0014] 일 예에서, 제 1 세트의 이미지 데이터, 제 2 세트의 이미지 데이터, 및 제 3 세트의 이미지 데이터는 복수의 픽셀들로 이루어지고, 복수의 픽셀들의 각각의 픽셀은 하나 또는 그 초과의 채도 채널들 및 루마 채널을 가진다.

[0015] 일 예에서, 제 1 정보는, 하나 또는 그 초과의 감소된-해상도 채도 채널들이 적어도 하나의 옥타브만큼 데시메이팅되는 것을 표시할 수 있다. 일 예에서, 제 1 정보는, 하나 또는 그 초과의 감소된-해상도 채도 채널들이 하나보다 많은 옥타브만큼 데시메이팅되는 것을 표시할 수 있다.

[0016] 일 예에서, 제 2 정보는, 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들이 오버랩핑하지 않는 것을 표시할 수 있다.

[0017] 일 예에서, 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 배열을 리버싱하는 것은 제 1 정보를 고려하여 하나 또는 그 초과의 감소된-해상도 채도 채널들로부터 루마 채널을 분리하는 것을 포함할 수 있다.

[0018] 일 예에서, 분리된 루마 채널의 해상도와 실질적으로 매칭하도록 하나 또는 그 초과의 감소된-해상도 채도 채널들의 해상도를 복원하는 것은 분리된 루마 채널의 해상도와 매칭하도록, 분리되고 데시메이팅된 채도 채널들의 결합형-양방향 업샘플링을 수행하는 것을 포함할 수 있다.

[0019] 일 예에서, 분리된 루마 채널은 제 1 정보 및 제 2 정보에 따라 통계적 프라이어로서 이용될 수 있다.

[0020] 일 예에서, 결합형-양방향 업샘플링은 분리되고, 데시메이팅된 채도 채널들의 옥타브 단위 다중-스케일 결합형-양방향 업샘플링일 수 있다.

[0021] 일 예에서, 컬러 채널 프로세서는 복원된 하나 또는 그 초과의 채도 채널들에 대해 히스토그램 스트레칭 동작을 수행할 수 있다.

[0022] 일 예에서, 해상도를 복원하는 것은 제 3 세트의 이미지 데이터를 생성하기 위하여 분리되고 복원된 하나 또는 그 초과의 채도 채널들 및 루마 채널을 결합하는 것을 더 포함할 수 있다. 복원된 제 3 세트의 이미지 데이터는 디스플레이 또는 다운스트림 디바이스에 전송될 수 있다.

[0023] 본 발명은 첨부된 도면들과 함께 하기에 고려되고 하기에 제시되어 제시된 예들의 상세한 설명으로부터 보다 쉽게 이해될 수 있고 여기서 동일한 참조 번호들은 동일한 엘리먼트들을 지칭한다.
[0024] 도 1은 본 개시의 예들이 동작할 수 있는 예시적 컴퓨팅 시스템을 예시하는 블록도이다.
[0025] 도 2는 도 1의 인코딩 컴퓨팅 시스템과 연관된 인코딩 방법의 예를 예시하는 흐름도이다.
[0026] 도 3은 본 개시의 예들이 동작할 수 있는 디코딩 컴퓨팅 시스템의 예를 예시하는 블록도이다.
[0027] 도 4는 도 3의 인코딩 컴퓨팅 시스템과 연관된 디코딩 방법의 예를 예시하는 흐름도이다.
[0028] 도 5는 함께 작동하는 도 1 및 도 3의 컴퓨팅 시스템들의 예시적 구현의 블록도이다.
[0029] 도 6은 전-해상도 루마 채널 및 두 개의-옥타브 데시메이팅된 채도 채널들의 배열이 동일한 공간 범위들 내에서 혼합되는 것을 도시한다(종래 기술)
[0030] 도 7은 루마를, 하나보다 많은 옥타브만큼 데시메이팅된 채도 채널들과 혼합함으로써 도입된 섀도우 아티팩트들을 도시한다(종래 기술).
[0031] 도 8은 하나보다 많은 옥타브만큼 서브샘플링된 루마 채널 및 채도 채널들의 개시된 공간 배열을 도시한다.
[0032] 도 9는 이용 가능한 프레임 범위의 보다 효율적 이용을 허용하는 하나보다 많은 옥타브만큼 서브샘플링된 루마 채널 및 채도 채널들의 개시된 공간 배열을 도시한다.
[0033] 도 10은 밝기 및 컬러 둘 다에 대한 HVS의 공간 해상도 감도를 도시한다.
[0034] 도 11은 본래의 전해상도 Cb 채널을 도시한다.
[0035] 도 12는 하나보다 많은 옥타브만큼 데시메이팅된 채도 채널들과 함께 사용될 때 종래 기술 채도 업스케일링 프로세스들에 의해 도입된 Cb 채널에서 컬러 브리드를 도시한다(종래 기술).
[0036] 도 13은 본 개시의 예에 의해 Cb 채널의 복원을 도시한다.
[0037] 도 14는 머신으로 하여금 본원에 논의된 방법론들 중 임의의 하나 또는 그 초과를 수행하게 하는 명령들의 세트가 실행될 수 있는 컴퓨터 시스템의 예시적 형태의 머신의 개략 표현을 예시한다.
[0038] 첨부된 도면들이 본 발명의 개념들을 예시하는 목적들을 위한 것이고 실척 대로가 아닐 수 있다는 것이 이해될 것이다.

[0039] 본 개시의 실시예들은 하나보다 많은 옥타브만큼 데시메이팅된 채도 채널들의 데시메이션, 송신, 수신, 및 복원과 업스케일링을 위한 시스템 및 방법을 제공한다.

[0040] 일 예에서, 제 1 컬러 채널 프로세서는, 데시메이팅된 채도 채널들을 생성하기 위하여 서브샘플링함으로써 입력 이미지들 또는 비디오의 채도 채널들을 하나보다 옥타브만큼 데시메이팅한다. 제 1 컬러 채널 프로세서는 전해상도 루마 채널 및 데시메이팅된 채도 채널들이 오버랩핑하지 않도록, 전해상도 루마 채널 및 데시메이팅된 채도 채널들을 새로운 제 2 이미지들 또는 비디오의 상이한 공간 위치들에 배열한다. 제 1 컬러 채널 프로세서는 제 2 이미지들 또는 비디오를 인코더에 전달한다. 인코더는 인코딩된 제 2 이미지들 또는 비디오를 송신기에 전달하고, 송신기는 인코딩된 제 2 이미지들 또는 비디오를 다운스트림 디바이스 이를 테면 디코더에(예를 들어, 네트워크를 통해) 전송한다. 컬러 채널 프로세서는, 대역 내 또는 대역 외 시그널링 방법 중 임의의 것에 의해, 데시메이팅된 채도 채널들의 존재를 가리키는 제 1 정보를 디코더에 신호하고 전해상도 루마 채널 및 데시메이팅된 채도 채널들의 비-오버랩핑 공간 배열의 배열을 표시하는 제 2 정보를 디코더에 신호한다.

[0041] 다른 예에서, 디코더는 디코딩된 제 2 이미지들을 생성하기 위하여 디코더를 사용하여 인코딩된 제 2 이미지들 또는 비디오를 판독하거나 디코딩한다. 제 2 컬러 채널 프로세서는 디코딩된 제 2 이미지들 중 비-오버랩핑 공간 배열의 루마 및 채도를 분리된 채널들로 분리하도록 제 1 정보 및 제 2 정보를 수신 및 이용한다. 제 2 컬러 채널 프로세서는 분리된 루마 채널을 통계적 프라이어로서 사용하여, 분리된 루마 채널의 해상도와 매칭하도록, 분리되고 데시메이팅된 채도 채널들의 결합형-양방향 업샘플링을 수행한다.

[0042] 일 예에서, 결합형-양방향 업샘플링은 옥타브 단위(octave-by-octave) 다중-스케일 결합형-양방향 업샘플링을 포함할 수 있다.

[0043] 일 예에서, 제 2 컬러 채널 프로세서는 복원된 채도 채널들에 대해 히스토그램 스트레칭 동작을 추가로 수행할 수 있다.

[0044] 본 개시의 실시예들은 가시적 아티팩트들을 도입함이 없이 이미지들 및 비디오의 송신 대역폭의 감소를 허용한다. 본 개시의 실시예들은 이미지 또는 비디오 인코더들, 디코더들, 또는 이들의 표준들에 대한 어떤 변화들도 요구하지 않는다. 본 개시의 예시적 시스템들의 존재 및 구성을 신호하기 위하여 인코더의 프리-필터링(pre-filtering) 및 디코더의 포스트-필터링(post-filtering)을 시그널링하기 위한 방법이 설명된다.

[0045] 다음 설명에서, 다수의 상세들이 설명된다. 그러나, 본 개시가 이들 특정 상세들 없이 실시될 수 있다는 것이 당업자에게 명백할 것이다. 몇몇 예들에서, 잘-알려진 구조들 및 디바이스들은 본 개시의 예들을 모호하게 하는 것을 회피하기 위하여, 상세하게 보다 블록도 형태로 도시된다.

[0046] 도 1은 본 개시의 예들이 동작할 수 있는 하나보다 많은 옥타브만큼 이미지들 및 비디오의 채도 채널들을 데시메이팅하는 예시적인 인코딩 컴퓨팅 시스템(100)의 블록도이다. 컴퓨팅 시스템(100)은 비디오 카메라 또는 온-라인 스토리지 디바이스 또는 송신 매체 같은 하나 또는 그 초과의 이미지 데이터 소스들(105)로부터 이미지 데이터를 수신할 수 있다. 컴퓨팅 시스템(100)은 또한 디지털 비디오 또는 이미지 캡처링 시스템(110) 및 컴퓨팅 플랫폼(115)을 포함할 수 있다. 디지털 비디오 또는 이미지 캡처링 시스템(110)은 이미지 데이터를 프로세싱할 수 있다. 일 예에서, 이미지 데이터는 컴퓨팅 플랫폼(115)에 의해 프로세싱될 수 있는 형태로 변환되는 하나 또는 그 초과의 스틸 이미지들, 디지털 비디오의 스트림들, 또는 아날로그 비디오 투 디지털 비디오를 하나 또는 그 초과의 이미지 데이터 소스들(105)로서 포함할 수 있다. 컴퓨팅 플랫폼(115)은 하나 또는 그 초과의 중앙 프로세싱 유닛들(130a-130n) 같은 예를 들어 프로세싱 디바이스(125)를 포함할 수 있는 호스트 시스템(120)을 포함할 수 있다. 프로세싱 디바이스(125)는 호스트 메모리(135)에 커플링될 수 있다. 호스트 메모리(135)는 하나 또는 그 초과의 데이터 소스들(105)로부터 수신된 이미지 데이터를 이미지 데이터 버퍼(150)로 저장할 수 있다.

[0047] 프로세싱 디바이스는 그래픽 프로세싱 유닛(140)(GPU)을 추가로 구현할 수 있다. GPU들, 이를 테면 DSP들, FPGA들, 또는 ASIC들, 또는 프로세싱 디바이스(125) 자체의 부가 고정-기능 피처들(이들로 제한되지 않음) 외에 다른 코프로세서 아키텍처들이 활용될 수 있다는 것이 당업자들에 의해 인식될 것이다. GPU(140)가, 모바일 폰들 및 테블릿들에서 발견될 수 있는 바와 같이, 또한 가속 처리 유닛("APU")으로서 알려진 중앙 프로세싱 유닛들(130a-130n)과 동일한 물리적 칩 또는 논리 디바이스 상에 배치될 수 있다는 것이 당업자들에 의해 추가로 인식될 것이다. 별도의 GPU 및 CPU 기능들은 GPU가 물리적 확장 카드인 컴퓨터 서버 시스템들, 및 퍼스널 컴퓨터 시스템들 및 랩톱들에서 발견될 수 있다. GPU(140)는 GPU 메모리(137)를 포함할 수 있다. 호스트 메모리(135) 및 GPU 메모리(137)가 또한 APU 같은, 동일한 물리적 칩(들) 또는 논리 디바이스 상에 배치될 수 있다는 것이 당업자들에 의해 인식될 것이다.

[0048] 프로세싱 디바이스(125)는 데이터 소스(105)로부터 이미지 데이터를 수신하고, 그리고 GPU 메모리(137)에 이미지 버퍼(155)로서 전달될 수 있는 이미지 데이터 버퍼(150)를 수신하기 위해 컬러 채널 프로세서(145)를 구현하도록 구성될 수 있다. 일 예에서, 프로세싱 디바이스(125)는 컬러 채널 프로세서(145)를 GPU(140)의 컴포넌트로서 구현할 수 있다. 일 예에서, 컬러 채널 프로세서(145)는 이미지 버퍼(155)의 채도 채널들을 데시메이팅하고 그리고 이미지 버퍼(155)의 데시메이팅된 채도 및 루마 채널들을 공간적으로 재배열하여 변환된 이미지 데이터를 생성하도록 구성될 수 있다.

[0049] 일 예에서, 변환된 이미지 데이터는 디스플레이(170) 상에 디스플레이될 수 있다. 다른 예에서, 컬러 채널 프로세서(145)는 변환된 이미지 데이터를 인코더(180)에 전송할 수 있다. 일 예에서, 인코더(180)는 기술 분야에서 알려진 인코딩 방법을 사용하여 변환된 이미지 데이터를 인코딩할 수 있다. 인코더(180)는 인코딩된 데이터를 송신기(185)에 전달할 수 있고, 송신기(185)는 인코딩된 데이터를 하나 또는 그 초과의 다운스트림 디바이스들(190)에 직접 또는 네트워크(195)를 통해 전송한다. 일 예에서, 인코더(180) 또는 송신기(185) 중 하나 또는 둘 다는 프로세싱 디바이스(125) 또는 컴퓨팅 플랫폼(115)의 외부에 있을 수 있다. 다른 예에서, 인코더(180) 또는 송신기(185) 중 하나 또는 둘 다는 프로세싱 디바이스(125) 또는 컴퓨팅 플랫폼(115)과 통합될 수 있다.

[0050] 도 2는 하나 또는 그 초과의 옥타브들만큼 이미지 데이터(예를 들어, 디지털 스틸 이미지들 또는 비디오)의 채도 채널들의 데시메이션을 위한 인코딩 방법의 예를 예시하는 흐름도이다. 방법(200)은 도 1의 컴퓨터 시스템(100)에 의해 수행될 수 있고 하드웨어(예를 들어, 회로 소자, 전용 로직, 프로그램 가능 로직, 마이크로코드, 등), 소프트웨어(예를 들어, 프로세싱 디바이스 상에서 운용되는 명령들), 또는 이들의 결합을 포함할 수 있다. 일 예에서, 방법(200)은 도 1의 컴퓨팅 시스템(100)의 컬러 채널 프로세서(145)에 의해 주로 수행될 수 있다.

[0051] 도 2에 도시된 바와 같이, 컴퓨팅 시스템(100)이 이미지 데이터를 인코딩하도록 허용하기 위하여, 블록(210)에서, 컬러 채널 프로세서(145)는 이미지 버퍼(155)로부터 제 1 세트의 이미지 데이터를 수신할 수 있다. 이미지 버퍼(155)에서 제 1 세트의 이미지 데이터의 하나 또는 그 초과의 픽셀들은 복수의 픽셀들을 포함할 수 있고, 여기서 각각의 픽셀은 루마 채널 및 하나 또는 그 초과의 컬러 채널들을 포함한다. 블록(220)에서, 컬러 채널 프로세서(145)는 이미지 버퍼(155)의 이미지 데이터의 하나 또는 그 초과의 컬러 채널들의 해상도를 감소시킬 수 있다. 일 예에서, 컬러 채널 프로세서(145)는 적어도 하나의 옥타브(예를 들어, 하나 또는 그 초과의 옥타브들) 만큼 데시메이션에 의해 이미지 버퍼(155)의 이미지 데이터의 하나 또는 그 초과의 컬러 채널들의 해상도를 감소시킬 수 있다. 다른 예에서, 컬러 채널 프로세서(145)는 하나보다 많은 옥타브만큼 데시메이션에 의해 이미지 버퍼(155)의 이미지 데이터의 하나 또는 그 초과의 컬러 채널들의 해상도를 감소시킬 수 있다.

[0052] 일 예에서, 컬러 채널 프로세서(145)는 다운-샘플링 방법을 사용하여 하나 또는 그 초과의 채도 채널들을 데시메이팅함으로써 하나 또는 그 초과의 채도 채널들의 해상도를 감소시킬 수 있다. 일 예에서, 다운-샘플링 방법은 란초스(Lanczos) 보간, 바이큐빅 보간, 또는 선형 보간 같은 보간 방법을 사용하여 하나의 옥타브 다운-샘플링 단계들의 연속적인 적용을 포함할 수 있다. 다른 예에서, 컬러 채널 프로세서(145)는 란초스 보간 또는 바이큐빅 보간 같은 보간 방법을 사용하여 단일 단계에서 데시메이션을 수행할 수 있다.

[0053] 블록(230)에서, 컬러 채널 프로세서(145)는, 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들이 제 2 세트의 이미지 데이터의 공간 위치들에서 오버랩핑하지 않도록, 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들을 이미지 버퍼(155)의 제 2 세트의 이미지 데이터로 배열할 수 있다. 이미지 버퍼(155)의 제 2 세트의 이미지 데이터의 하나 또는 그 초과의 픽셀들은 복수의 픽셀들을 포함할 수 있고, 복수의 픽셀들의 각각의 픽셀은 하나 또는 그 초과의 채도 채널들 및 루마 채널을 가진다.

[0054] 본원에 사용된 바와 같이, 랩퍼(wrapper)는 비디오 파일 포맷들의 SMPTE 정의의 의미에서 사용된 용어를 지칭할 수 있고, 여기서 "에센스(essence)"는 코덱 페이로드(codec payload) 및 이의 콘텐츠를 설명하고, "랩퍼"는 에센스에 대한 파일 포맷 또는 송신 포맷 또는 다른 페이로드 패키징을 설명한다. 당업자들에 의해 인식될 바와 같이, 랩퍼는 또한, 단일 이미지에 대한 파일 포맷, 이를 테면 JFIF를 지칭할 수 있고, JFIF는 JPEG 이미지들이 파일들로 캡슐화되는 표준 방식을 설명한다.

[0055] 블록(240)에서, 컬러 채널 프로세서(145)는 이미지 버퍼(155)의 제 2 세트의 이미지 데이터를 인코더(180)(또는 랩퍼)에 전송할 수 있다. 블록(250)에서, 인코더(180)는 이미지 버퍼(155)의 제 2 세트의 이미지 데이터를 인코딩할 수 있다. 블록(260)에서, 인코더(180)는 인코딩된 제 2 세트의 이미지 데이터를 송신기(185)에 전송할 수 있다. 블록(270)에서, 송신기(185)는 인코딩된 제 2 세트의 이미지 데이터(예를 들어, 이미지 버퍼(155)의 비-오버랩핑 이미지 데이터)를 디스플레이(170) 또는 하나 또는 그 초과의 다운스트림 디바이스들(190) 중 하나 또는 그 초과에 전송할 수 있다. 일 예에서, 송신기(185)는 이미지 버퍼(155)를 네트워크(195)를 통하여 하나 또는 그 초과의 다운스트림 디바이스들(190)(예를 들어, 제 2 프로세싱 디바이스(예를 들어, 인코더(180), 멀티플렉서, 랩퍼, 또는 디스플레이(170))에 전송할 수 있다.

[0056] 일 예에서, 컬러 채널 프로세서(145)는 추가로 구성 플래그들의 세트를 다운스트림 디바이스(190)에 전송할 수 있다. 일 예에서, 구성 플래그들은 제 1 세트의 이미지 데이터의 하나 또는 그 초과의 채도 채널들의 해상도의 감소 범위를 전달할 수 있다. 제 1 세트의 이미지 데이터의 하나 또는 그 초과의 채도 채널들의 해상도 감소 범위는 컬러 채널 프로세서(145)에 의한 이미지 버퍼(155)의 제 1 세트의 이미지 데이터의 데시메이션 범위(예를 들어, 하나 또는 그 초과의 옥타브들만큼)를 포함할 수 있다.

[0057] 일 예에서, 구성 플래그들은 컬러 채널 프로세서(145)에 의해 이용되는 이미지 버퍼(155)의 제 2 세트의 이미지 데이터의 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 배열을 포함하는 정보를 추가로 전달할 수 있다. 정보는 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들이 오버랩핑하지 않는 표시(예를 들어, 루마 채널들 및 채도 채널들이 오버랩핑하지 않도록 데시메이팅된 이미지 데이터의 루마 채널들 및 채도 채널들의 특정 재배열을 포함하는 정보)를 포함할 수 있다.

[0058] 도 3은 본 개시의 예들이 동작할 수 있는, 하나 또는 그 초과의 옥타브들만큼 데시메이팅되었던 인코딩된 이미지 데이터(예를 들어, 디지털 스틸 이미지들 또는 비디오들)의 채도 채널들을 수신, 복원 및 업스케일링하는 예시적인 디코딩 컴퓨팅 시스템(300)의 블록도이다. 일 예에서, 컴퓨팅 시스템(300)은 하나 또는 그 초과의 데이터 소스들(305)로부터 인코딩된 이미지 데이터를 수신하도록 구성될 수 있다. 하나 또는 그 초과의 데이터 소스들(305)은 도 1의 인코딩 컴퓨팅 시스템(100)일 수 있다. 컴퓨팅 시스템(300)은 또한 컴퓨팅 플랫폼(315)을 포함할 수 있다. 컴퓨팅 플랫폼(315)은 하나 또는 그 초과의 중앙 프로세싱 유닛들(330a-330n) 같은, 예를 들어 프로세싱 디바이스(325)를 포함할 수 있는 호스트 시스템(320)을 포함할 수 있다. 프로세싱 디바이스(325)는 호스트 메모리(335)에 커플링된다. 호스트 메모리(335)는 하나 또는 그 초과의 데이터 소스들(305)로부터 수신된 인코딩된 이미지 데이터(예를 들어, 디지털 이미지 또는 비디오 데이터)를 이미지 데이터 버퍼(350)로 저장할 수 있다. 인코딩된 이미지 데이터는 수신기(360)에 의해 수신되고, 디코더(365)에 의해 디코딩되고, 그리고 이미지 데이터 버퍼(350)로 전달될 수 있다. 수신기(360)는 인코딩된 이미지 데이터를 하나 또는 그 초과의 데이터 소스들(305)로부터 직접 또는 네트워크(310)를 통해 중 어느 하나로 수신할 수 있다. 일 예에서, 수신기(360) 또는 디코더(365) 중 하나 또는 둘 다는 프로세싱 디바이스(325) 또는 컴퓨팅 플랫폼(315)의 외부에 있을 수 있다. 다른 예에서, 수신기(360) 또는 디코더(365) 중 하나 또는 둘 다는 프로세싱 디바이스(325) 또는 컴퓨팅 플랫폼(315)과 통합될 수 있다.

[0059] 프로세싱 디바이스(325)는 그래픽 프로세싱 유닛(340)(GPU)을 추가로 구현할 수 있다. GPU들, 이를 테면 DSP들, FPGA들, 또는 ASIC들, 또는 프로세싱 디바이스(325) 자체의 부가 고정-기능 피처들(이들로 제한되지 않음) 외에 다른 코프로세서 아키텍처들이 활용될 수 있다는 것이 당업자들에 의해 인식될 것이다. GPU(340)가, 모바일 폰들 및 테블릿들에서 발견될 수 있는 바와 같이, 또한 "APU"로서 알려진 중앙 프로세싱 유닛들(330a-330n)과 동일한 물리적 칩 또는 논리 디바이스 상에 배치될 수 있다는 것이 당업자들에 의해 추가로 인식될 것이다. 별도의 GPU 및 CPU 기능들은 GPU가 물리적 확장 카드인 컴퓨터 서버 시스템들, 및 퍼스널 컴퓨터 시스템들 및 랩톱들에서 발견될 수 있다. GPU(340)는 GPU 메모리(337)를 포함할 수 있다. 호스트 메모리(335) 및 GPU 메모리(337)가 또한 APU 같은, 동일한 물리적 칩(들) 또는 논리 디바이스 상에 배치될 수 있다는 것이 당업자들에 의해 인식될 것이다. 디코딩 프로세싱 디바이스(325)가 인코딩 및 디코딩 기능 둘 다를 제공하기 위하여 인코딩 프로세싱 디바이스(125)와 함께 부분적으로 또는 완전히 도 1의 컴퓨팅 시스템(100)에 통합될 수 있다는 것이 당업자들에 의해 추가로 인식될 것이다.

[0060] 프로세싱 디바이스(325)는 데이터 소스(305)로부터 수신기(360)를 통하여 인코딩된 이미지 데이터 및 구성 플래그들의 세트(예를 들어, 도 1의 인코딩 시스템(100)에 이용되는 구성 플래그들)를 수신하도록 구성될 수 있다. 프로세싱 디바이스(325)는 이미지 데이터 버퍼(350) 및 구성 플래그들의 세트를 디코딩할 디코더(365)에 수신된 인코딩된 이미지 데이터에 기초하여, 구성 플래그들의 세트를 전달하고 그리고 이미지 데이터 버퍼(350)를 생성하도록 구성될 수 있다. 디코더(365)는 이미지 데이터 버퍼(350) 및 구성 플래그들의 세트를 이미지 데이터 버퍼(355)로서 GPU 메모리(337)에 전달하도록 구성될 수 있다.

[0061] 프로세싱 디바이스(325)는 디코더, 디멀티플렉서, 또는 언랩퍼(unwrapper)로부터 이미지 데이터 버퍼(355) 및 구성 플래그들의 세트를 수신하기 위하여 컬러 채널 프로세서(345)를 구현하도록 구성될 수 있다. 일 예에서, 프로세싱 디바이스(325)는 컬러 채널 프로세서(345)를 GPU(340)의 컴포넌트로서 구현할 수 있다.

[0062] 컬러 채널 프로세서(345)는 구성 플래그들의 세트에 따라, 디코딩된 제 2 이미지들의 비-오버랩핑 공간 배열의 루마 및 채도를 분리된 채널들로 분리함으로써 공간 배열(예를 들어, 도 1의 인코딩 시스템(100)에서 이용된 공간 배열)을 리버싱하도록 구성될 수 있다. 컬러 채널 프로세서(345)는 구성 플래그들의 세트에 따라, 분리된 루마 채널을 통계적 프라이어로서 사용하여, 분리된 루마 채널의 해상도와 매칭하도록, 분리되고 데시메이팅된 채도 채널들의 결합형-양방향 업샘플링을 수행하도록 구성될 수 있다. 일 예에서, 컬러 채널 프로세서(345)는 분리된 루마 채널의 해상도와 매칭하도록, 분리되고 데시메이팅된 채도 채널들의 옥타브 단위 다중-스케일 결합형-양방향 업샘플링을 수행하도록 구성될 수 있다. 일 예에서, 컬러 채널 프로세서(345)는 복원된 채도 채널들 상에서 히스토그램 스트레칭 동작을 수행하도록 구성될 수 있다. 컬러 프로세서는 디스플레이(370) 상 디스플레이 출력에 적당하거나 하나 또는 그 초과의 다운스트림 디바이스들(375)(예를 들어, 인코더)에 송신을 위해 적당한 이미지 데이터 버퍼(355)의 복원된 이미지 데이터로 분리된 채널들을 결합할 수 있다.

[0063] 도 4는 하나 또는 그 초과의 옥타브들만큼 데시메이팅된 이미지 데이터(예를 들어, 디지털 스틸 이미지들 또는 비디오)의 채도 채널들을 수신, 복원 및 업스케일링하기 위한 디코딩 방법(400)의 예를 예시하는 흐름도이다. 방법(400)은 도 3의 컴퓨터 시스템(300)에 의해 수행될 수 있고 하드웨어(예를 들어, 회로소자, 전용 로직, 프로그램 가능 로직, 마이크로코드, 등), 소프트웨어(예를 들어, 프로세싱 디바이스 상에서 운용되는 명령들), 또는 이들의 결합을 포함할 수 있다. 일 예에서, 방법(300)은 도 3의 컴퓨팅 시스템(300)의 컬러 채널 프로세서(345)에 의해 주로 수행될 수 있다.

[0064] 도 4에 도시된 바와 같이, 컴퓨팅 시스템(300)이 이미지 데이터를 디코딩하도록 허용하기 위하여, 블록(410)에서, 수신기(360)는 데이터 소스(305)로부터의 인코딩된 이미지 데이터 및 구성 플래그들의 세트를 이미지 데이터 버퍼(350)로 수신한다. 인코딩된 이미지 데이터는 하나 또는 그 초과의 채도 채널들 및 루마 채널을 포함할 수 있고, 여기서 하나 또는 그 초과의 채도 채널들은 루마 채널에 비해 해상도에 있어서 감소된다. 이미지 데이터 버퍼(350)의 인코딩된 이미지 데이터는 복수의 픽셀들을 포함할 수 있고, 여기서 각각의 픽셀은 루마 채널 및 하나 또는 그 초과의 컬러 채널들을 포함한다.

[0065] 일 예에서, 구성 플래그들은 하나 또는 그 초과의 채도 채널들의 해상도의 감소 범위를 포함하는 제 1 정보 및 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 배열을 포함하는 제 2 정보를 전달할 수 있다. 일 예에서, 제 1 정보는 하나 또는 그 초과의 감소된-해상도 채도 채널들이 적어도 하나의 옥타브만큼 데시메이팅되는 것을 표시할 수 있다. 일 예에서, 제 1 정보는 하나 또는 그 초과의 감소된-해상도 채도 채널들이 하나보다 많은 옥타브만큼 데시메이팅되는 것을 표시할 수 있다. 일 예에서, 제 2 정보는 데이터 소스(305)로부터 수신된 이미지의 공간 배열(예를 들어, 루마 채널들 및 채도 채널들이 오버랩핑하지 않도록 데시메이팅된 이미지 데이터의 루마 채널들 및 채도 채널들의 재배열)을 전달할 수 있다.

[0066] 블록(420)에서, 디코더(365)는 이미지 데이터 및 구성 플래그들의 세트를 디코딩하고, 프로세싱 디바이스(325)의 이미지 데이터 버퍼(350)에 디코딩된 이미지 데이터를 둔다. 블록(430)에서, 프로세싱 디바이스(325)는 디코딩된 이미지 데이터 버퍼(350) 및 구성 플래그들의 세트를 GPU 메모리(337)의 GPU 이미지 데이터 버퍼(355)에 전달한다. 블록(440)에서, 컬러 채널 프로세서(345)는 GPU 메모리(337)로부터 이미지 데이터 버퍼(355) 및 구성 플래그들의 세트를 수신한다. 이미지 데이터 버퍼(355)의 디코딩된 이미지 데이터는 복수의 픽셀들을 포함할 수 있고, 여기서 각각의 픽셀은 루마 채널 및 하나 또는 그 초과의 컬러 채널들을 포함한다.

[0067] 블록(450)에서, 컬러 채널 프로세서(345)는 제 2 세트의 이미지 데이터를 생성하기 위하여 제 2 정보를 고려하여 이미지 데이터 버퍼(355)의 복수의 이미지 데이터 픽셀들의 루마 채널 및 하나 또는 그 초과의 컬러 채널들의 공간 배열(예를 들어, 도 1의 인코딩 시스템(100)에서 이용된 공간 배열)을 리버싱한다. 일 예에서, 컬러 채널 프로세서(345)는 구성 플래그들의 세트를 고려하여 디코딩된 이미지 데이터의 비-오버랩핑 공간 배열의 루마 및 채도를 분리된 루마 채널 및 하나 또는 그 초과의 채도 채널들로 분리함으로써 루마 채널 및 하나 또는 그 초과의 컬러 채널들의 공간 배열을 리버싱할 수 있다.

[0068] 블록(460)에서, 컬러 채널 프로세서(345)는 이미지 데이터 버퍼(355)의 제 3 세트의 이미지 데이터를 생성하기 위하여 제 1 정보를 고려하여 분리된 루마 채널의 해상도와 실질적으로 매칭하도록 하나 또는 그 초과의 감소된-해상도 채도 채널들의 해상도를 복원한다. 일 예에서, 컬러 채널 프로세서(345)는 구성 플래그들의 세트에 따라, 이미지 데이터 버퍼(355)의 분리된 루마 채널을 통계적 프라이어로서 사용하여, 이미지 데이터 버퍼(355)의 이미지 데이터의 분리된 루마 채널의 해상도와 매칭하도록, 이미지 데이터 버퍼(355)의 이미지 데이터의 하나 또는 그 초과의 컬러 채널들의 옥타브 단위 다중-스케일 결합형-양방향 업샘플링을 수행할 수 있다.

[0069] 일 예에서, 분리된 루마의 해상도와 실질적으로 매칭하도록 하나 또는 그 초과의 감소된-해상도 채도 채널들의 해상도를 복원하는 것은 컬러 채널 프로세서(345)가 이미지 데이터 버퍼(355)의 제 3 세트의 이미지 데이터를 생성하기 위하여 분리되고 복원된 하나 또는 그 초과의 채도 채널들 및 루마 채널을 결합하는 것을 더 포함할 수 있다. 이미지 데이터 버퍼(355)의 제 3 이미지 데이터는 복수의 픽셀들을 포함할 수 있고, 여기서 각각의 픽셀은 루마 채널 및 하나 또는 그 초과의 컬러 채널들을 포함한다.

[0070] 블록(470)에서, 컬러 채널 프로세서(345)는 이제 디스플레이(370) 상에 출력을 디스플레이하기에 적당하거나 또는 하나 또는 그 초과의 다운스트림 디바이스들(375)(예를 들어, 네트워크(310)를 통한 인코더)에 송신을 위하여 적당한 이미지 데이터 버퍼의 이미지 데이터의 복원된 하나 또는 그 초과의 채도 채널들에 대해 히스토그램 스트레칭 동작을 수행할 수 있다.

[0071] 블록(480)에서, 컬러 채널 프로세서(345)는 복원된 이미지 데이터를 디스플레이(370) 또는 다운스트림 디바이스(375)에 전송할 수 있다.

[0072] 일 예에서, 구성 플래그들의 세트는 데이터 소스(305)(예를 들어, 도 1의 컴퓨팅 시스템(100))로부터의 이미지 데이터 버퍼(350)의 이미지 데이터와 함께 대역 내 또는 대역 외 수신될 수 있다.

[0073] 도 5는 함께 작동하는 도 1 및 도 3의 컴퓨팅 시스템들(100, 300)의 예시적 구현(500)의 블록도이다. 도 1 및 도 3의 컴퓨팅 시스템들(100, 300)의 예시적 구현(500)은 하드웨어(예를 들어, 회로소자, 전용 로직, 프로그램 가능 로직, 마이크로코드, 등), 소프트웨어(예를 들어, 프로세싱 디바이스 상에서 운용되는 명령들), 또는 이들의 결합의 구현을 포함한다.

[0074] 도 5에 도시된 바와 같이, 본래의 디지털 이미지 또는 비디오(505)는 제 1 컬러 채널 데시메이션 프로세스(510)에 입력될 수 있다. 일 예에서, 루마 채널들은 데시메이팅되지 않고 컬러 채널들만 데시메이팅된다. 일 예에서, 디지털 이미지 또는 비디오(505)는 YCbCr 컬러 포맷일 수 있고, 단지 CbCr 채널들만이 데시메이팅된다. 적용된 데시메이션의 범위는 구성 플래그들의 세트의 제 1 부분을 형성한다.

[0075] 데시메이션 프로세스(510)는 루마 및 데시메이팅된 채도 채널들을 공간 배열 프로세스(520)에 출력한다.

[0076] 도 6은 동일한 공간 범위들 내에서 혼합된 전해상도 루마 채널 및 두 개의-옥타브 데시메이팅된 채도 채널들의 배열(600)을 도시한다. 인코더가 채도 채널들의 1-옥타브 데시메이션만을 지원할 때, 하나보다 많은 옥타브에 의해 데시메이팅된 채도 채널들을 전송할 유일한 방식은 이들을 1-옥타브 데시메이팅된 채도 채널들의 보다 작은 부분으로서 임베딩(embed)하는 것이다. 도 6은 프레임 범위의 상단 좌측 8번째에 임베딩된 데시메이팅된 CbCr 채도 채널들을 도시한다.

[0077] 도 7은 도 5의 블록(520)에 도시된 바와 같은 어떠한 공간 배열 프로세스도 수행되지 않고 도 6의 배열이 이용되는 경우 발생할 수 있는 디코딩 및 복원 후 브리딩 및 섀도우 아티팩트들을 도시한다. 전 범위 이미지의 콘(cone)들이 원형 영역 내에서 보다 작은 섀도우 복사를 가지는 것이 주의된다. 이것은 루마 채널과의 해상도에 있어서 미스매칭을 가진 혼합된 채도 채널들의 결과이다. 부가적으로, 이런 배열은 대부분의 현대 인코더들에 대해 페널티(penalty)를 부과하는데, 그 이유는 이들 인코더들의 예상이, 모션 추정이 블록 매칭을 수행하기 위하여 데이터의 모두 3개의 채널들을 이용할 수 있도록 채도 및 루마가 해상도에서 매칭되는(또는 적어도 채도가 하나의 옥타브만큼 데시메이팅되는 것과 같이 신호됨) 것이기 때문이다. 이런 대응성의 결여는 인코더가 훨씬 많은 모션 벡터 에러들을 생성하게 하고, 차례로 보다 많은 에러 잔여 데이터를 인코딩할 필요를 증가시킨다.

[0078] 도 8은 도 5의 공간 배열 프로세스(520)의 결과의 일 예(800)의 도면이고, 여기서 공간 배열 프로세스(520)는 상단 좌측 이미지 좌표들(805)에 채도 채널들을 두고(예를 들어, 채도 사분면(805)), 그리고 채도 수직 해상도의 범위까지 하향 시프트되어 루마 채널을 둔다(예를 들어, 루마 사분면(810)). 이런 배열은 해상도에서 미스매칭되는 루마 채널 및 채도 채널들이 브리딩 또는 섀도우 아티팩트들로부터 고통받는 것을 방지한다. 도 8의 배열이 채도 사분면(805)에서 루마 데이터, 및 루마 사분면(810)에서 채도 데이터를 포함하는 것이 주의되어야 한다. 채도 사분면(805)의 경우, 부호 없는 루마 채널 픽셀 값들을 영이 아닌 중앙 또는 중간(8-비트 컬러 깊이의 경우 127 같은)으로 세팅하는 것이 필요하고; 그렇지 않으면, 인코더는 채도 사분면(805)에게 공격적인 양자화로 벌칙을 부과하는데, 그 이유는 인코더가 채도 사분면(805)을 예외적으로 다크 컬러(dark color)들을 포함하는 것으로 해석할 것이기 때문이다. 루마 사분면(810)의 경우, 부호 있는 채도 채널 픽셀 값들이 제거되는 것을 보장하는 것이 중요하다. 이런 방식으로, 루마 사분면(810)은 인코더에 의해 그레이스케일 데이터를 포함하는 것으로서 해석된다. 도 8의 배열의 장점은, 인코딩 및 디코딩 프로세스들을 견딜 블랭크 영역(blank area)에 매크로블록 컬러 값들을 세팅함으로써 구성 플래그들의 대역 내 시그널링을 허용하는 것이다. 많은 그런 배열들이 가능하다는 것이 당업자들에 의해 인식될 것이다.

[0079] 도 9는 이용 가능한 프레임 영역의 보다 효율적인 이용을 허용하는 공간 배열(900)의 다른 예를 도시한다. 결국 아티팩트들을 만족시키고 방지하기 위한 유일한 요건은 루마 채널 및 채도 채널들의 공간 범위가 오버랩하지 않는 것을 보장하는 것이다. 도 9는 채도 사분면들(905, 910)에 루마 데이터, 그리고 루마 사분면(915)에 채도 데이터를 포함한다. 채도 사분면들(905, 910)의 경우, 부호 없는 루마 채널 픽셀 값들을 영이 아닌, 중앙 또는 중간(8-비트 컬러 깊이의 경우 127 같은)으로 세팅하는 것이 필요하고, 그렇지 않으면 인코더는 공격적인 양자화로 채도 사분면들(905, 910)에 벌칙을 부과하는데, 그 이유는 인코더가 채도 사분면들(905, 910)을 예외적으로 다크 컬러들을 포함하는 것으로 해석할 것이기 때문이다. 루마 사분면(915)의 경우, 부호 있는 채도 채널 픽셀 값들이 제거되는 것을 보장하는 것은 중요하다. 이런 방식으로, 루마 사분면(915)은 인코더에 의해 그레이스케일 데이터를 포함하는 것으로 해석된다.

[0080] 공간 배열 프로세스(520)는 이미지 또는 비디오 데이터를 인코더(525)에 출력하고, 구성 플래그들의 세트를 인코더(525) 또는 직접적으로 송신기/먹서(muxer)/기록기(530) 중 어느 하나에 전달한다. 많은 경우들에서 파일 포맷 캡슐화 또는 스트림 먹싱(muxing) 프로세스가 인코더(525)와 함께 위치될 수 있다는 것은 당업자들에 의해 인식될 것이다. 게다가, 구성 플래그들의 세트는, 이들이 다운스트림 수신기/디먹서(demuxer)/판독기 프로세스(540)에 통신되도록 인코더(525) 또는 송신기/먹서/기록기(530)에 전달될 수 있고, 그리고 인코더(525), 디코더(545), 송신기/먹서/기록기(530), 또는 수신기/디먹서/판독기(540) 프로세스들의 맞춤 구현을 요구하지 않는 방식으로 이를 행한다. 기술 분야에서 잘 알려진 바와 같이, 파일 및 스트림 포맷들은 이를 달성하기 위한 다양한 방식들을 제공한다.

[0081] 일 예에서, JPEG 파일 교환 포맷(이후, JFIF)은 JPEG 압축 영상을 캡슐화하기 위하여 이용될 수 있고, 그리고 JFIF는 EXIF, ICC 프로파일, 및 픽처 인포(Picture Info)를 포함하는 많은 포맷들에서 잘-알려진 메타데이터 확장들을 지정하고, 많은 포맷들 중 임의의 것이 구성 플래그들의 세트를 전달하기 위하여 이용될 수 있다.

[0082] 일 예에서, H264 인코딩된 비트스트림들은 구성 플래그들의 세트가 임베딩될 수 있는 선택적 SEI(supplemental enhancement information) 헤더들의 포함을 지원한다. 이들 방법들은 인코더(또는 디코더) 프로세스들(525, 545)에 대한 어떠한 변화들도 요구하지 않지만, 단순히 이들 값들을 인코더(525) 또는 송신기/먹서/기록기(530) 중 어느 하나에 출력하고, 그리고 부수적으로 이들 값들을 다운스트림 디코더(545) 또는 수신기/디먹서/판독기(540)로부터 질문할 능력을 요구한다.

[0083] 구성 플래그들의 세트를 전달하기 위한 다른 방식들은 코더 또는 코덱 포맷에 커플링되는 것이 전혀 아니고, 전송 스트림 자체에 커플링된다. 예들에서, 이들은 본원에 설명된 목적들을 위하여 이용될 수 있고, 또한 RTP 확장 헤더들을 통한 MPEG 전송 스트림들의 ES 설명자를 포함한다.

[0084] 구성 플래그들의 세트에 대한 많은 전달 방법들이 가능하지만, 전달 방법들의 원하는 특성들이 인코더 및 디코더 구현에 무관함을 포함할 수 있고, API를 통해 또는 인코더들, 디코더들, 송신기들, 수신기들, 먹서들, 디먹서들, 판독기들 및 기록기들 외부의 프로세스들에 의한 다른 방법들을 통해 전달된 구성 플래그들의 세트에 액세스할 수 있다는 것이 당업자들에 의해 인식될 것이다. 이것은 또한 구성 플래그들의 세트의 값들에 대해 특정 인코더들 및 디코더들의 표준화, 또는 다른 채널들 및 콘텍스트(context)들에 의해, 이를 테면 MPEG-DASH 또는 HLS 스트림들의 매니페스트 파일(manifest) 파일들에 의해, 또는 비-제한적인 예들에 의한 별도의 파일들 또는 프로토콜들에 의해 이들 값들의 통신 같은 완전히 대역 외 전달을 포함할 수 있다.

[0085] 압축된 이미지 또는 비디오 데이터 자체와 함께, 구성 플래그들의 세트는 선택적으로 업스트림 송신기/먹서/기록기(530)로부터 송신 채널(535) 또는 스토리지 매체를 통해 다운스트림 수신기/디먹서/판독기(540)로 전송 또는 통신될 수 있고, 다운스트림 수신기/디먹서/판독기(540)는 이미지 또는 비디오 데이터를 디코더(545)에 적당한 형태로 디-캡슐화하고, 그 데이터를 공간 분리 프로세스(550)에 출력한다.

[0086] 공간 분리 프로세스(550)는 공간 배열 프로세스(520)를 리버싱하고 그 데이터를 컬러 복원 프로세스(560)에 출력한다.

[0087] 채도 채널들을 데시메이팅하고 그 다음 복원하는 것의 장점은 인코딩, 전송 및 디코딩할 데이터의 상당한 감소이다. 밝기에 대한 HVS 해상도감도가 컬러의 감도의 2배를 초과하기 때문에, 잘-알려지고 그리고 공통의 표준 송신 및 수신 방법은 YCbCR 4:2:0 서브샘플링이고, 이는 컬러 채널들을 하나의 옥타브만큼 데시메이팅한다. 이것은 HVS의 상이한 감도들 대 밝기 및 컬러 공간 해상도를 매칭시킨다.

[0088] 도 10은 밝기 및 컬러 둘 다에 대한 HVS의 공간 해상도 감도를 도시한다. 컬러 채널들을 하나의 옥타브만큼 데시메이팅하는 것(또는 수직 및 수평 해상도를 절반만큼 감소시키는 것)은 정상 뷰잉 조건들의 감도를 안전하게 매칭시킨다.

[0089] 그러나, 바이큐빅 또는 란초스 같은 선형 샘플러에 의한 업샘플링보다 정교한 복원 프로세스 없이 하나보다 많은 옥타브만큼 데시메이팅하는 것은 불쾌한 아티팩트들 및 이미지 품질 저하를 초래한다.

[0090] 도 11은 본래의 전해상도 Cb 채널을 도시한다.

[0091] 도 12는 하나보다 많은 옥타브만큼 데시메이팅된 채도 채널들과 함께 사용될 때 종래 기술 채도 업스케일링 프로세스들에 의해 도입된 Cb 채널에서 컬러 브리드를 도시한다. 도면에서 분명한 블러링(blurring)의 전체 효과는 콘들의 적색 및 녹색이 백그라운드에 브리드되게 하고, 그 반대도 가능하다.

[0092] 이런 문제에 대한 해결책은 결합형-양방향 필터링 및 업스케일링, 또는 다중-스케일 옥타브 단위 결합형 양방향 필터링 및 업스케일링 중 어느 하나를 이용하는 것이다.

[0093] 도 13은 본 개시의 예에 의한 컬러 채널들의 복원을 도시한다.

[0094] 본원에 설명된 다중-스케일 결합형-양방향 필터는 몇몇 중요한 방식들에서 잘-알려진 양방향 필터 및 결합형-양방향 필터와 상이하다. 하기 수학식들 1 및 2에 정의된 바와 같이 정상 양방향 필터는 레인지(range)를 구성하는 공간 거리, 및 가중화를 시키기 위하여 분석 하에서 이미지 내 도메인을 구성하는 라디오서티(radiosity) 거리에 의해 적응적으로 필터 가중들을 계산한다. 보다 구체적으로, 입력 이미지(z), 출력 이미지(z'), 및 서포트의 윈도우(Ω)에 대해, 통상적인 양방향 필터는 수학식 1에서 다음과 같이 정의된다:

여기서 g는 가우시안 공간 가중 함수이고, r은 라디오서티 가중 함수이다. 라디오서티에 대한 통상적인 값들은 구성 픽셀 샘플들의 휘도 또는 강도를 포함한다. 시스템 입력은 통상적으로 수학식 2 및 3에서처럼 g 및 r 함수들을 수정하는 상수 인자들(

및

)에 의해 공급된다:

[0095] 라디오서티 도메인에 대한 라디오서티 함수(r)는 상기 수학식 3에 의해 정의된다. 수학식 2는 함수(g)에서 공간 가중을 정의한다.

[0096] 비교시, 필터의 가중을 인도하기 위하여 단지 라디오서티(또는 휘도)만을 이용하는 대신, 결합형-양방향 필터는 제 2 도메인의 가중에 의해 인도되는 동안, 제 1 이미지 도메인에 대한 필터링을 수행한다. 본 개시에 의도된 의미에서 결합형-양방향 필터링에 대해, 라디오서티 가중은 수학식 4-5 및 이들의 이후 첨부 설명에 의해 정의될 수 있다.

[0097] 보다 작은 인자들(

및

)의 값들은 각각 공간 및 라디오서티 가중 기여들의 로컬러티(locality) 및 유사성을 증가시킨다. 라디오서티 함수(r)의 지수의 분모에서 L1 거리 길이는 단지 광도 또는 강도가 충분히 에지들 및 경계 로컬러티를 구별하기에 충분한 이미지들에 대해 적당하다. 일 예에서, 필터링되는 제 1 도메인은 함께 Cb 및 Cr, 또는 유사한 컬러 채널들이다.

[0098] 일 예에서, 제 2 이미지 라디오서티 도메인은 루마 채널의 제 2 입력에 의해 수학식 4에서 함수 d로서 제공된다:

여기서 새로운 제 2 도메인 라디오서티 함수(d)는 수학식 5에 의해 정의된다:

및 함수 d는 루마의 차들을 측정한다. 정식으로, 루마가 채도 채널들과 상이하고, 보다 높은 해상도에서 샘플링될 때, 이것은 필터링 프로세스보다 오히려 결합형-양방향 업샘플링 프로세스로서 보다 적절하게 알려져 있다. 새로운, 업샘플링된 해상도에서 결합형-양방향 업샘플링 프로세스의 그 다음 반복들은 고려된 필터링일 것이다. 필터 적용의 전체 효과는 제 2 도메인이 제 1 도메인의 필터링을 인도하는 것이고; 제 2 도메인은 "통계적 프라이어"로서 알려져 있음.

[0099] 본 개시에서 결합형-양방향 필터링의 다중스케일 변형은 다음 보다 높은 해상도로 제 1 결합형 양방향 업샘플링, 그 다음 결합형 양방향 필터링의 반복들, 그 다음 차후 제 2 양방향 업샘플링, 및 CbCr 또는 컬러 채널들에 대한 최종 해상도에 도달할 때까지 필터링의 방식으로 한번에 하나 또는 그 초과의 옥타브들, 또는 심지어 한번에 부분적인-옥타브들을 작업한다. 이런 배열의 효과는 계산 복잡성의 방대한 감소이고; 다중스케일 접근법을 사용하여, 샘플링 프로세스의 적당한 서포트 구역들은 5×5 같이 우수한 결과들을 달성하기 위하여 이용될 수 있는 반면, 모놀리식, 비-다중-스케일 접근법은 허용 가능한 결과로 수렴하기 위해 훨씬 큰 서포트 구역들 및 필터링 프로세스의 잠재적으로 매우 많은 반복들을 요구한다.

[00100] 컬러 복원 프로세스(560)는 재구성된 디지털 이미지 또는 비디오(575)의 복원된 채도 채널들을 선택적 히스토그램 프로세스(570)에 출력한다. 밝게 컬러화된 로고들 같은 이미지 중 높게 포화된 부분들에 대해, 컬러 복원 프로세스(560)는 본래의 입력 이미지들에 존재하는 본래의 높은 채도 값들 및 에너지를 복원하기에 충분하지 않을 수 있다. 그런 환경들에서, 히스토그램 스트레칭 함수가 이용될 수 있다. 히스토그램 스트레칭 함수는 미국 특허 번호 8,704,842에 개시된 바와 같은 기술들을 이용하거나, 공동 계류 중인 미국 특허 출원 번호 14/032,640에 교시된 바와 같은 인지 컬러 기반 수신 시스템의 제 1 및 제 2 수신된 값들을 조종할 수 있어서, 히스토그램 계산에 대한 필요를 회피하고, 본 개시들은 그 전체가 본원에 인용에 의해 포함된다.

[00101] 본 개시의 예들의 프리-인코딩(pre-encoding) 프로세스는 동시에 발생하고, 상업적인, 대중 시장 컴퓨터 하드웨어 상에서 30 fps로 4K 비디오 해상도 비디오를 실시간보다 빠르게, 그리고 다양한 해상도들의 다중 이미지들 및 비디오를 실시간 및 거의 실시간으로 수행하기에 충분히 효율적이다. 본 개시의 실시예들의 포스트-디코딩(post-decoding) 프로세스는 피처 폰들, 스마트 폰들, 테블릿들, 랩톱들, PC들, 셋-톱 박스들, 및 텔레비전들 같은, GPU, CPU 또는 APU를 가진 임의의 최종-사용자 디바이스 상에서 비디오 및 이미지들의 단일 경우들에 대해 전 HD 해상도들로 수행하기에 충분히 효율적이다.

[00102] 본 개시의 예들에 따른 인코더 프록시머티(proximity) 및 디코더 프록시머티 둘 다에서 효율성들의 이런 결합은 새로운 애플리케이션들을 연다. 이들 애플리케이션들은 오버더톱(over-the-top) 비디오 전달을 위한 실시간 개선된 인지 품질 및/또는 개선된 비디오 코더 효율성, 모바일 디바이스들로부터 비디오 및 이미지 데이터를 업로딩 및 다운로딩을 둘 다 할 때 공공 라디오-액세스-네트워크 혼잡의 경제적 실시간 감소, 증가된 실시간 통과-대역 텔레비전 전달 능력, 위성 트랜스폰더 능력의 증가, 콘텐츠 관리 시스템들 및 네트워크 DVR 아키텍처들에 대한 스토리지 비용들의 감소, 및 분산 네트워크 코어에서 이미지들 및 비디오의 높은 처리량 처리를 포함하지만, 이들로 제한되지 않는다.

[00103] 도 14는 머신으로 하여금 본원에 논의된 방법론들 중 임의의 하나 또는 그 초과를 수행하게 하는 명령들의 세트가 실행될 수 있는 컴퓨터 시스템(1400)의 예시적 형태의 머신의 개략도를 도시한다. 몇몇 예들에서, 머신은 LAN, 인트라넷, 익스트라넷, 또는 인터넷으로 다른 머신들에 연결(예를 들어, 네트워킹)될 수 있다. 머신은 클라이언트-서버 네트워크 환경에서 서버 머신의 능력으로 동작할 수 있다. 머신은 퍼스널 컴퓨터(PC), 셋톱 박스(STB), 서버, 네트워크 라우터, 스위치 또는 브리지, 또는 해당 머신에 의해 취해질 동작들을 특정하는 명령들의 세트를 실행(순차적 또는 다르게)할 수 있는 임의의 머신일 수 있다. 게다가, 단지 하나의 머신이 예시되지만, 용어 "머신"은 또한 본원에 논의된 방법론들 중 임의의 하나 또는 그 초과를 수행하도록 명령들의 세트(또는 다수의 세트들)를 개별적으로 또는 함께 실행하는 머신들의 임의의 컬렉션(collection)을 포함하도록 취해질 것이다.

[00104] 예시적 컴퓨터 시스템(1400)은 프로세싱 디바이스(프로세서)(1402), 메인 메모리(1404)(예를 들어, 판독 전용 메모리(ROM), 플래시 메모리, 동적 랜덤 액세스 메모리(DRAM) 이를 테면 동기식 DRAM(SDRAM)), 정적 메모리(1406)(예를 들어, 플래시 메모리, 정적 랜덤 액세스 메모리(SRAM)), 및 버스(1408)를 통해 서로 통신하는 데이터 스토리지 디바이스(1416)를 포함한다.

[00105] 프로세서(1402)는 마이크로프로세서, 중앙 프로세싱 유닛, 등 같은 하나 또는 그 초과의 범용 프로세싱 디바이스들을 나타낸다. 보다 구체적으로, 프로세서(1402)는 복합 명령 세트 컴퓨팅(CISC) 마이크로프로세서, 감소된 명령 세트 컴퓨팅(RISC) 마이크로프로세서, 매우 긴 명령 워드(VLIW) 마이크로프로세서, 또는 다른 명령 세트들을 구현하는 프로세서 또는 명령 세트들의 결합을 구현하는 프로세서들일 수 있다. 프로세서(1402)는 또한 주문형 집적 회로(ASIC), 필드 프로그램 가능 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 네트워크 프로세서 등 같은 하나 또는 그 초과의 특수 목적 프로세싱 디바이스들일 수 있다. 도 1 및 도 3에 각각 도시된 컬러 채널 프로세서(145, 345)는 본원에 논의된 동작들 및 단계들을 수행하도록 구성된 프로세서(1402)에 의해 실행될 수 있다.

[00106] 컴퓨터 시스템(1400)은 네트워크 인터페이스 디바이스(1422)를 더 포함할 수 있다. 컴퓨터 시스템(1400)은 또한 비디오 디스플레이 유닛(1410)(예를 들어, 액정 디스플레이(LCD) 또는 음극선관(CRT)), 문자 숫자식 입력 디바이스(1412)(예를 들어, 키보드), 커서 제어 디바이스(1414)(예를 들어, 마우스), 및 신호 생성 디바이스(1420)(예를 들어, 스피커)를 포함할 수 있다.

[00107] 드라이브 유닛(1416)은 본원에 설명된 방법론들 또는 기능들 중 임의의 하나 또는 그 초과를 구현하는 명령들(예를 들어, 컬러 채널 프로세서(145, 345)의 명령들)의 하나 또는 그 초과의 세트들이 저장된 컴퓨터-판독가능 매체(1424)를 포함할 수 있다. 컬러 채널 프로세서(145, 345)의 명령들은 또한, 완전히 또는 적어도 부분적으로, 컴퓨터 시스템(1400), 메인 메모리(1404) 및 컴퓨터-판독가능 매체들을 또한 구성하는 프로세서(1402)에 의해 상기 명령들의 실행 동안 멤인 메모리(1404) 내에 및/또는 프로세서(1402) 내에 상주할 수 있다. 컬러 채널 프로세서(145, 345)의 명령들은 추가로 네트워크 인터페이스 디바이스(1422)를 경유하여 네트워크를 통해 전송되거나 수신될 수 있다.

[00108] 컴퓨터-판독 가능 스토리지 매체(1424)가 예에서 단일 매체인 것으로 도시되지만, 용어 "컴퓨터-판독가능 스토리지 매체"는 명령들의 하나 또는 그 초과의 세트들을 저장하는 단일 비-일시적 매체 또는 다수의 비-일시적 매체들(예를 들어, 중앙 집중식 또는 분산식 데이터베이스, 및/또는 연관된 캐시들 및 서버들)을 포함하도록 취해져야 한다. 용어 "컴퓨터-판독가능 스토리지 매체"는 또한 머신에 의한 실행을 위한 명령들의 세트를 저장, 인코딩 또는 운반할 수 있고 머신으로 하여금 본 개시의 방법론들 중 임의의 하나 또는 그 초과를 수행하게 하는 임의의 매체를 포함하도록 취해질 것이다. 용어 "컴퓨터-판독가능 스토리지 매체"는 따라서 고체-상태 메모리들, 광학 매체들, 및 자기매체들을 포함(이들로 제한되지 않음)하도록 취해질 것이다.

[00109] 상기 설명에서, 다수의 상세들이 설명되었다. 그러나, 본 개시의 예들이 이들 특정 상세들 없이 실시될 수 있다는 것은 본 개시의 이익을 가진 당업자에게 명백하다. 몇몇 예들에서, 잘-알려진 구조들 및 디바이스들은, 설명을 모호하게 하지 않기 위하여, 상세히 보다 블록도 형태로 도시된다.

[00110] 상세한 설명의 몇몇 부분들은 컴퓨터 메모리 내의 데이터 비트들에 대한 동작들의 알고리즘 및 심볼 표현들의 측면에서 제시된다. 이들 알고리즘 설명들 및 표현들은 다른 당업자들에게 그들의 작업 핵심을 가장 효율적으로 전달하기 위하여 데이터 프로세싱 기술들의 당업자들에 의해 사용된 수단이다. 알고리즘은 여기서, 그리고 일반적으로 원하는 결과로 유도하는 단계들의 자가-일관성 시퀀스일 것으로 생각된다. 단계들은 물리적 양들의 물리적 조작들을 요구하는 것들이다. 보통, 반드시는 아니지만, 이들 양들은 저장되고, 전달되고, 결합되고, 비교되고, 그렇지 않으면 조작될 수 있는 전기 또는 자기 신호들의 형태를 취한다. 주로 공통 이용의 이유들 때문에, 이들 신호들을 비트들, 값들, 엘리먼트들, 심볼들, 문자들, 용어들, 수들 등으로 지칭하는 것은 때로는 편리하다고 증명되었다.

[00111] 그러나, 이들 및 유사한 용어들 모두가 적당한 물리적 양들과 연관되고 단순히 이들 양들에 적용된 편리한 라벨들인 것임이 유념되어야 한다. 상기 논의로부터 명백한 바와 같이 구체적으로 다르게 언급되지 않으면, 설명 도처에서, "수신", "기록", "유지" 등 같은 용어들을 이용한 논의들이 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적(예를 들어, 전자) 양들로서 표현된 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그런 정보 스토리지, 송신 또는 디스플레이 디바이스들 내의 물리적 양들로서 유사하게 표현된 다른 데이터로 조작 및 새로운 좌표 시스템으로 번역하는 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 동작들 및 프로세스들을 지칭하는 것이 인식된다.

[00112] 개시의 예들은 또한 본원의 동작들을 수행하기 위한 장치에 관련된다. 이 장치는 구체적으로 요구된 목적들을 위하여 구성되거나, 컴퓨터 내에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨터를 포함할 수 있다. 하나보다 많은 옥타브만큼 데시메이팅된 채도 채널들의 송신, 수신, 및 복원과 업스케일링을 위하여 본원에 개시된 바와 같은 시스템 및 방법은 기존 이미지 및 비디오 압축 또는 송신 시스템들 및 방법들의 인지 품질 및/또는 송신 또는 스토리지 효율성을 개선하고, 그러나 몇몇 예들로서, 많은 분야들에서 문제들, 이를 테면 오버더톱 비디오 전달을 위한 실시간 효율성, 모바일 디바이스들로부터 비디오 및 이미지 데이터를 업로딩 및 다운로딩하는 것 둘 다를 수행할 때 공공 라디오-액세스-네트워크 혼잡의 경제적 실시간 감소, 증가된 실시간 대역-통과 텔레비전 전달 능력, 위성 트랜스폰더 능력의 증가, 콘텐츠 관리 시스템들 및 네트워크 DVR 아키텍처들에 대한 스토리지 비용들의 감소, 및 분산 네트워크 코어에서 이미지들 및 비디오의 높은 처리량 처리를 해결한다.

[00113] 그런 컴퓨터 프로그램은 컴퓨터 판독가능 스토리지 매체, 이를 테면 플로피 디스크(disk)들, 광학 디스크(disk)들, CD-ROM들, 및 자기-광학 디스크(disk)들, 판독-전용 메모리(ROM)들, 랜덤 액세스 메모리(RAM)들, EPROM들, EEPROM들, 자기 또는 광학 카드들을 포함하는 임의의 타입의 디스크(disk), 또는 전자 명령들을 저장하기에 적당한 임의의 타입의 매체들(이들로 제한되지 않음)에 저장될 수 있다.

[00114] 본원에 제시된 알고리즘 및 디스플레이들은 본질적으로 임의의 특정 컴퓨터 또는 다른 장치에 관련되지 않는다. 다양한 범용 시스템들은 본원의 지침들에 따른 프로그램들과 함께 사용될 수 있거나, 요구된 방법 단계들을 수행하기 위하여 보다 특수한 장치를 구성하기에 편리하다고 증명할 수 있다. 다양한 이들 시스템들에 대한 예시적 구조는 본원의 설명으로부터 나타난다. 게다가, 본 개시는 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어들이 본원에 설명된 바와 같은 개시의 지침들을 구현하기 위하여 사용될 수 있다는 것이 인식될 것이다.

[00115] 상기 설명이 제한이 아닌 예시 이도록 의도되는 것이 이해될 것이다. 많은 다른 예들은 상기 설명의 판독 및 이해 시 당업자들에 명백할 것이다. 그러므로, 본 개시의 범위는 청구항들이 자격을 주는 등가물들의 전체 범위와 함께, 첨부된 청구항들을 참조하여 결정되어야 한다.

Claims

방법으로서,
프로세싱 디바이스에 의해, 하나 또는 그 초과의 채도 채널(chroma channel)들 및 루마 채널(luma channel)을 포함하는 제 1 세트의 이미지 데이터를 수신하는 단계;
상기 프로세싱 디바이스에 의해, 하나 또는 그 초과의 감소된-해상도 채도 채널들을 생성하기 위하여 상기 하나 또는 그 초과의 채도 채널들의 해상도를 감소시키는 단계;
상기 프로세싱 디바이스에 의해, 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들을 제 2 세트의 이미지 데이터로 배열하는 단계 ― 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들은 상기 제 2 세트의 이미지 데이터의 공간 위치에서 오버랩핑(overlap)하지 않음 ―; 및
상기 프로세싱 디바이스에 의해, 상기 제 2 세트의 이미지 데이터를 다운스트림 디바이스에 전송하는 단계
를 포함하는,
방법.
제 1 항에 있어서,
상기 제 1 세트의 이미지 데이터 및 상기 제 2 세트의 이미지 데이터는 복수의 픽셀들로 이루어지고, 상기 복수의 픽셀들의 각각의 픽셀은 상기 하나 또는 그 초과의 채도 채널들 및 상기 루마 채널을 가지는,
방법.
제 1 항에 있어서,
상기 하나 또는 그 초과의 채도 채널들의 해상도를 감소시키는 단계는 적어도 하나의 옥타브(octave)만큼 상기 하나 또는 그 초과의 채도 채널들을 데시메이팅(decimating)하는 단계를 포함하는,
방법.
제 2 항에 있어서,
적어도 하나의 옥타브만큼 상기 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 단계는 하나보다 많은 옥타브만큼 상기 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 단계를 포함하는,
방법.
제 1 항에 있어서,
상기 하나 또는 그 초과의 채도 채널들의 해상도를 감소시키는 단계는 다운-샘플링 방법을 사용하여 상기 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 단계를 포함하는,
방법.
제 5 항에 있어서,
상기 다운-샘플링 방법을 사용하여 상기 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 단계는 보간 방법을 사용하여 하나의 옥타브 다운-샘플링 단계들의 연속적인 적용에 의해 상기 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 단계를 포함하는,
방법.
제 6 항에 있어서,
상기 보간 방법은 란초스(Lanczos) 보간, 바이큐빅(bicubic) 보간, 또는 선형 보간 중 적어도 하나인,
방법.
제 5 항에 있어서,
상기 다운-샘플링 방법을 사용하여 상기 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 단계는 보간 방법을 사용하여 단일 단계에서 상기 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 단계를 포함하는,
방법.
제 8 항에 있어서,
상기 보간 방법은 란초스 보간 또는 바이큐빅 보간 중 적어도 하나인,
방법.
제 1 항에 있어서,
상기 제 1 세트의 이미지 데이터의 상기 하나 또는 그 초과의 채도 채널들의 해상도의 감소 범위를 포함하는 정보를 상기 다운스트림 디바이스에 전송하는 단계를 더 포함하는,
방법.
제 1 항에 있어서,
상기 제 2 세트의 이미지 데이터의 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 배열을 포함하는 정보를 상기 다운스트림 디바이스에 전송하는 단계를 더 포함하는,
방법.
제 11 항에 있어서,
상기 정보는 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들이 오버랩핑하지 않는 표시를 포함하는,
방법.
제 1 항에 있어서,
상기 제 2 세트의 이미지 데이터를 다운스트림 디바이스에 전송하는 단계는,
상기 제 2 세트의 이미지 데이터를 인코더에 전송하는 단계 ― 상기 인코더는 인코딩 방법을 사용하여 상기 제 2 세트의 이미지 데이터를 인코딩하도록 동작 가능함 ―;
상기 인코더에 의해, 인코딩된 제 2 세트의 이미지 데이터를 송신기에 전송하는 단계; 및
상기 송신기에 의해, 상기 인코딩된 제 2 세트의 이미지 데이터를 상기 다운스트림 디바이스에 전송하는 단계
를 더 포함하는,
방법.
시스템으로서,
하나 또는 그 초과의 채도 채널들 및 루마 채널을 포함하는 제 1 세트의 이미지 데이터를 수신하기 위한 프로세싱 디바이스의 메모리;
상기 프로세싱 디바이스의 컬러 채널 프로세서
를 포함하고,
상기 컬러 채널 프로세서는 상기 메모리에 커플링되고 상기 메모리를 이용하며, 상기 컬러 채널 프로세서는,
하나 또는 그 초과의 채도 채널들 및 루마 채널을 포함하는 제 1 세트의 이미지 데이터를 수신하고;
하나 또는 그 초과의 감소된-해상도 채도 채널들을 생성하기 위하여 상기 하나 또는 그 초과의 채도 채널들의 해상도를 감소시키고;
상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들을 제 2 세트의 이미지 데이터로 배열하고 ― 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들은 상기 제 2 세트의 이미지 데이터의 공간 위치에서 오버랩핑하지 않음 ―; 및
상기 제 2 세트의 이미지 데이터를 다운스트림 디바이스에 전송하기 위한 것인,
시스템.
제 14 항에 있어서,
상기 하나 또는 그 초과의 채도 채널들의 해상도를 감소시키는 것은 하나보다 많은 옥타브만큼 상기 하나 또는 그 초과의 채도 채널들을 데시메이팅하는 것을 포함하는,
시스템.
제 14 항에 있어서,
상기 컬러 채널 프로세서는 추가로, 상기 제 1 세트의 이미지 데이터의 상기 하나 또는 그 초과의 채도 채널들의 해상도의 감소 범위를 포함하는 정보를 전송하기 위한 것인,
시스템.
제 14 항에 있어서,
상기 컬러 채널 프로세서는 추가로, 상기 제 2 세트의 이미지 데이터의 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 배열을 포함하는 정보를 전송하기 위한 것인,
시스템.
제 17 항에 있어서,
상기 정보는 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들이 오버랩핑하지 않는 표시를 포함하는,
시스템.
방법으로서,
제 1 프로세싱 디바이스에 의해, 제 2 프로세싱 디바이스로부터 하나 또는 그 초과의 채도 채널들 및 루마 채널을 포함하는 제 1 세트의 이미지 데이터를 수신하는 단계 ― 상기 하나 또는 그 초과의 채도 채널들은 상기 루마 채널에 관하여 해상도에 있어서 감소됨 ―;
상기 제 1 프로세싱 디바이스에 의해, 제 2 프로세싱 디바이스로부터 상기 하나 또는 그 초과의 채도 채널들의 해상도의 감소 범위를 포함하는 제 1 정보 및 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 배열을 포함하는 제 2 정보를 수신하는 단계;
상기 제 1 프로세싱 디바이스에 의해, 제 2 세트의 이미지 데이터를 생성하기 위하여 상기 제 2 정보를 고려하여 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 배열을 리버싱(reversing)하는 단계;
상기 제 1 프로세싱 디바이스에 의해, 제 3 세트의 이미지 데이터를 생성하기 위하여 상기 제 1 정보를 고려하여 분리된 루마 채널의 해상도와 실질적으로 매칭하도록 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 해상도를 복원하는 단계; 및
상기 프로세싱 디바이스에 의해, 상기 제 3 세트의 이미지 데이터를 다운스트림 디바이스에 전송하는 단계
를 포함하는,
방법.
제 19 항에 있어서,
상기 제 1 세트의 이미지 데이터, 상기 제 2 세트의 이미지 데이터, 및 상기 제 3 세트의 이미지 데이터는 복수의 픽셀들로 이루어지고, 상기 복수의 픽셀들의 각각의 픽셀은 상기 하나 또는 그 초과의 채도 채널들 및 상기 루마 채널을 가지는,
방법.
제 19 항에 있어서,
상기 제 1 정보는, 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들이 적어도 하나의 옥타브만큼 데시메이팅되는 것을 표시하는,
방법.
제 21 항에 있어서,
상기 제 1 정보는, 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들이 하나보다 많은 옥타브만큼 데시메이팅되는 것을 표시하는,
방법.
제 19 항에 있어서,
상기 제 2 정보는, 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 좌표들이 오버랩핑하지 않는 것을 표시하는,
방법.
제 19 항에 있어서,
상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 배열을 리버싱하는 단계는 상기 제 1 정보를 고려하여 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들로부터 상기 루마 채널을 분리하는 단계를 포함하는,
방법.
제 19 항에 있어서,
상기 분리된 루마 채널의 해상도와 실질적으로 매칭하도록 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 해상도를 복원하는 단계는 분리된 루마 채널의 해상도와 매칭하도록, 분리되고 데시메이팅된 채도 채널들의 결합형-양방향 업샘플링(joint-bilateral upsampling)을 수행하는 단계를 포함하는,
방법.
제 25 항에 있어서,
상기 분리된 루마 채널은 상기 제 1 정보 및 상기 제 2 정보에 따라 통계적 프라이어(statistical prior)로서 이용되는,
방법.
제 25 항에 있어서,
상기 결합형-양방향 업샘플링은 상기 분리되고 데시메이팅된 채도 채널들의 옥타브 단위(octave-by-octave) 다중-스케일 결합형-양방향 업샘플링인,
방법.
제 19 항에 있어서,
컬러 채널 프로세서에 의해, 복원된 하나 또는 그 초과의 채도 채널들에 대해 히스토그램 스트레칭(histogram stretch) 동작을 수행하는 단계를 더 포함하는,
방법.
제 19 항에 있어서,
상기 복원하는 단계는 제 3 세트의 이미지 데이터를 생성하기 위하여, 분리되고 복원된 하나 또는 그 초과의 채도 채널들 및 상기 루마 채널을 결합하는 단계를 더 포함하는,
방법.
시스템으로서,
제 1 프로세싱 디바이스의 메모리;
상기 제 1 프로세싱 디바이스의 컬러 채널 프로세서
를 포함하고,
상기 제 1 프로세싱 디바이스의 메모리는 제 2 프로세싱 디바이스로부터:
하나 또는 그 초과의 채도 채널들 및 루마 채널을 포함하는 제 1 세트의 이미지 데이터 ― 상기 하나 또는 그 초과의 채도 채널들은 상기 루마 채널에 관하여 해상도에 있어서 감소됨 ―,
상기 하나 또는 그 초과의 채도 채널들의 해상도의 감소 범위를 포함하는 제 1 정보, 및
상기 루마 채널 및 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 배열을 포함하는 제 2 정보
를 수신하기 위한 것이고;
상기 컬러 채널 프로세서는 상기 메모리에 커플링되고 상기 메모리를 이용하고, 상기 컬러 채널 프로세서는,
제 2 세트의 이미지 데이터를 생성하기 위하여 상기 제 2 정보를 고려하여 상기 루마 채널 및 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 공간 배열을 리버싱하고;
상기 제 3 세트의 이미지 데이터를 생성하기 위하여 상기 제 1 정보를 고려하여, 분리된 루마 채널의 해상도와 실질적으로 매칭하도록 상기 하나 또는 그 초과의 감소된-해상도 채도 채널들의 해상도를 복원하고; 그리고
상기 제 3 세트의 이미지 데이터를 다운스트림 디바이스에 전송
하기 위한 것인,
시스템.