KR101746491B1

KR101746491B1 - 채색적으로 서브샘플링된 이미지 포맷들을 위한 디더링

Info

Publication number: KR101746491B1
Application number: KR1020157031042A
Authority: KR
Inventors: 스콧 델리; 이봉순
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2013-04-29
Filing date: 2014-04-02
Publication date: 2017-06-13
Also published as: JP2016526312A; JP6220960B2; EP2992671A1; TWI546798B; US9762876B2; CN105164996A; US20160080712A1; TW201445556A; WO2014178989A1; CN105164996B; KR20150138300A; EP2992671B1

Abstract

이미지들을 위한 디더링 기술들이 본 명세서에서 설명된다. 제 1 비트 깊이의 입력 이미지는 휘도 및 하나 이상의 채도 구성요소들로 분리된다. 인간 비주얼 시스템(HVS)의 광학 전달 함수(OTF)의 모델은 입력 이미지의 채도 구성요소들에 부가되는 디더 잡음을 생성하기 위해 이용된다. OTF의 모델은 채도 구성요소들의 공간 해상도에 기초하여 결정된 뷰잉(viewing) 간격들에 응답하여 적응된다. 원래 입력 휘도 구성요소 및 잡음 수정된 채도 구성요소들에 기초한 이미지는 출력 디더링된 이미지를 생성하기 위해, 제 1 비트 깊이보다 낮은 제 2 비트 깊이로 양자화된다.

Description

채색적으로 서브샘플링된 이미지 포맷들을 위한 디더링{DITHERING FOR CHROMATICALLY SUBSAMPLED IMAGE FORMATS}

관련 출원들에 대한 상호 참조

본 출원은 2013년 4월 29일에 출원된 미국 가 출원 번호 제 61/817,222 호, 및 2013년 6월 4일에 출원된 미국 가 출원 번호 제 61/830,806 호에 대한 우선권을 주장하고, 그 둘 모두는 전체적으로 참조로서 본 명세서에 통합된다.

본 발명은 일반적으로 이미지들에 관한 것이다. 특히, 본 발명의 일 실시예는 채색적으로 서브샘플링된 포맷들에 의해 표현된 이미지들의 디더링(dithering)에 관한 것이다.

본 명세서에서 이용된 바와 같이, 용어 '디더링'은 정지 또는 이동하는 이미지들 또는 사진들에 적용된 비트-깊이 변환들로 인한 양자화 에러를 랜덤화하기 위해 잡음을 고의적으로 부가하는 프로세스를 나타낸다. 디더링은, 신호의 비트-깊이를 감소시킬 때 양자화된 출력 신호의 평균 로컬 값들이 입력과 같은 비트-깊이를 갖도록 적용된다.

이미징 애플리케이션들에 대해, N-비트 이미지들이 P-비트 이미지들로 변환될 때(여기서, P는 N보다 낮다), 시각 시스템은 평균화 프로세스로서의 역할을 한다. 예를 들면, 디더링은, 다중-비트-깊이 신호(예로서, N=8)로부터 이진 신호(예로서, P=2)까지 이동할 때 이용될 수 있다. 이 경우는 또한, 하프토닝(halftoning)으로서 언급된다. 디스플레이 기술에서, 디더링은 타겟 디스플레이의 더 적은 비트-깊이(예로서, 8 비트들)를 매칭(matching)시키기 위해 입력의 비트-깊이(예로서, 10 비트들)를 낮추기 위해 적용될 수 있다.

본 명세서에서 이용된 바와 같이, 용어 '동적 범위(DR)'는 이미지에서의 세기(예로서, 휘도(luminance, luma))의 범위 예를 들면, 가장 어두운 어둠들로부터 가장 밝은 밝음들까지를 감지하기 위한 인간 비주얼 시스템(human visual system; HVS)의 능력에 관한 것일 수 있다. 이 의미에서, DR은 '장면-참조(scene-referred)' 세기에 관한 것이다. DR은 또한, 특정한 폭의 세기 범위를 적절하게 또는 대략적으로 렌더링(rendering)하기 위한 디스플레이 디바이스의 능력에 관한 것일 수 있다. 이 의미에서, DR은 '디스플레이-참조' 세기에 관한 것이다. 특정한 의미가 본 명세서에서의 설명의 임의의 지점에서 특정한 중요성을 갖도록 명백하게 규정되지 않으면, 용어가 둘 중 하나의 의미로 예를 들면, 상호교환가능하게 이용될 수 있음이 추론되어야 한다.

본 명세서에서 이용된 바와 같이, 용어 고 동적 범위(HDR)는 HVS의 14 내지 15의 상당한 자릿수(order of magnitude)들에 걸치는 DR 폭에 관한 것이다. 예를 들면, 본질적으로 정상 시력을 갖는 잘 적응된 인간들(예로서, 통계적, 생체 인증 또는 안과학의 의미 중 하나 이상에서)은 약 15 자릿수들에 걸치는 세기 범위(intensity range)를 갖는다. 적응된 인간들은 단지 몇개의 광자들의 흐릿한 광원들을 감지할 수 있다. 여전히, 이들 동일한 인간들은 사막, 바다 또는 눈에서의 정오의 태양의 거의 극도로 눈부신 세기를 감지할 수 있다(또는 심지어 손상을 방지하기 위해 태양을 힐끗 그러나 잠시 볼 수 있다). 이 범위는 하지만 '적응된' 인간들 예를 들면, 재설정되고 조정될 시간 기간을 갖는 HVS를 소유하는 인간들에 이용가능하다.

반대로, DR을 통해서 인간이 세기 범위에서의 확장 폭을 동시에 감지할 수 있게 하는, DR은 HDR과 비교하여 다소 줄어들 수 있다. 본 명세서에서 이용된 바와 같이, 용어 '시각 동적 범위(VDR)' 또는 '증진된 동적 범위(EDR)'는 HVS에 의해 동시에 감지가능한 DR에 관련될 수 있다. 본 명세서에서 이용된 바와 같이, VDR은 5 내지 6 자릿수들에 걸친 DR에 관련될 수 있지만, 임의의 기간(span)의 동적 범위로 제한되도록 의도되지 않고, VDR(또는 EDR)은 HDR보다 더 좁거나 같을 수 있다.

최근까지도, 디스플레이들은 HDR 또는 VDR보다 상당히 좁은 DR을 가졌다. 전형적인 음극선관(CRT), 일정한 형광, 흰색 역광 또는 플라즈마 스크린 기술을 갖는 액정 디스플레이(LCD)를 이용하는 텔레비전(TV) 및 컴퓨터 모니터 장치는 대략 3 자릿수들로 그들의 DR 렌더링 능력에 제한될 수 있다. 이러한 종래의 디스플레이들은 따라서 VDR 또는 HDR과 비교하여, 저 동적 범위(LDR) 또는 표준 동적 범위(SDR)를 정형화한다. 디지털 시네마 시스템들은 다른 디스플레이 디바이스들과 동일한 제한들 중 일부를 보인다. 현재 애플리케이션에서, "시각 동적 범위(VDR)"는 LDR 또는 SDR보다 넓은 임의의 연장된 동적 범위를 나타내도록 의도되고, HDR보다 더 좁거나 같을 수 있다.

실제로, 이미지들은 하나 이상의 컬러 구성요소들(예로서, 휘도(Y) 및 채도(Cb 및 Cr 또는 R, G, 및 B))을 포함하고, 각각의 컬러 구성요소는 픽셀 당 N-비트들(예로서, N=8)의 정밀도에 의해 표현된다. 휘도 동적 범위 및 비트 깊이가 등가의 엔티티(entity)들이 아닐지라도, 그들은 종종 관련된다. N≤8인 이미지들(예로서, 컬러 24-비트 JPEG 이미지들)은 표준 동적 범위의 이미지들로 고려되는 반면에, N>8인 이미지들은 고 동적 범위 능력을 가지는 이미지들로 고려된다. VDR 및 HDR 이미지들은 인더스트리얼 라이트 앤 매직(Industrial Light and Magic)에 의해 개발된 OpenEXR 파일 포맷과 같은, 고-정밀도(예로서, 16-비트) 부동 소수점 포맷들을 이용하여 또한 저장되고 분포될 수 있다.

디스플레이 프로세싱에서의 최근의 발전에도 불구하고, 하드웨어 제한들은 여전히 VDR 이미지들 및 비디오의 프로세싱 파이프라인의 비트 깊이 정밀도를 제한한다. 본 명세서에서의 발명자들에 의해 이해된 바와 같이, 이미지들을 디더링하기 위한 개선된 기술들을 개발하는 것이 바람직하다.

본 섹션에서 설명된 접근법들은 추구될 수 있는 접근법들이지만, 반드시 이전에 고안되었거나 추구된 접근법들은 아니다. 따라서, 다르게 표시되지 않는다면, 본 섹션에서 설명된 접근법들 중 임의의 접근법이 본 섹션으로의 그들의 포함으로 인해 단지 종래 기술로서의 자격을 갖춘다고 가정되어서는 안된다. 유사하게, 하나 이상의 접근법들에 관련하여 식별된 이슈들은 다르게 표시되지 않는다면, 본 섹션에 기초하여 임의의 종래 기술에서 인식되도록 가정하지 않아야 한다.

본 발명의 목적은 채색적으로 서브샘플링된 이미지 포맷들을 위한 디더링을 제공하는 것이다.

본 발명의 일 실시예는 첨부된 도면들의 피겨(figure)들에서, 예로서 도시되고, 제한에 의한 방식으로 도시되지 않으며, 유사한 참조 부호들은 유사한 요소들을 언급한다.
도 1a는 인간 비주얼 시스템의 광학 전달 함수(OTF)의 일례를 묘사한 도면.
도 1b는 인간 비주얼 시스템의 광학 전달 함수의 역의 일례를 묘사한 도면.
도 2a 및 도 2b는 본 발명의 실시예들에 따라 서브샘플링된 이미지들을 채색적으로 디더링하기 위한 예시적인 프로세스들을 묘사한 도면들.

이미지들을 위한 디더링 기술들이 본 명세서에서 설명된다. 인간 비주얼 시스템(HVS)의 광학 전달 함수(OTF)의 모델은 채색적으로 서브샘플링된 비디오 신호의 컬러 구성요소들에 부가되는 잡음을 형상화하기 위해 이용된다. 다음 설명에서, 설명의 목적들을 위해, 많은 특정 상세들이 본 발명의 철저한 이해를 제공하기 위해 제시된다. 그러나, 본 발명이 이들 특정 상세들 없이 실행될 수 있음이 명백해질 것이다. 다른 인스턴스(instance)들에서, 잘 공지된 구조들 및 디바이스들은 본 발명을 불필요하게 모호하게 하는 것을 회피하기 위해, 포괄적인 상세로 설명되지 않는다.

개요

본 명세서에서 설명된 예시적인 실시예들은 이미지들의 디더링에 관한 것이다. 제 1 비트 깊이의 입력 이미지는 휘도 및 하나 이상의 채도 구성요소들로 분리된다. 인간 비주얼 시스템(HVS)의 광학 전달 함수(OTF)의 모델은 잡음 수정된 채도 구성요소들을 생성하기 위해 입력 이미지의 채도 구성요소들에 부가되는 디더 잡음을 생성하기 위해 이용된다. 디더 잡음은 OTF의 역에 기초하는 필터를 이용하여 의사 랜덤 백색 잡음을 필터링(filtering)함으로써 생성되고, 여기서 OTF의 모델은 서브샘플링된 채도 구성요소들의 공간 해상도에 기초하여 결정된 간격들을 뷰잉(viewing)하는 것에 응답하여 적응된다.

하나의 실시예에서, 디더링된 출력 이미지는 입력 휘도 구성요소 및 잡음 수정된 채도 구성요소들을 제 1 비트 깊이보다 낮은 제 2 비트 깊이로 양자화함으로써 생성된다.

또 다른 실시예에서, 입력 휘도 신호 구성요소 및 잡음 수정된 채도 구성요소들은 디더링된 출력 이미지를 생성하기 위해 제 2 비트 깊이로 양자화되기 전에 제 2 컬러 포맷으로 제 2 이미지로 변환된다.

일부 실시예들에서, 입력 이미지 신호는 디더링되기 전에 선형화된 컬러 공간으로 변환된다.

일부 실시예들에서, OTF 모델은 고정 동공 크기에 대한 딜리(Deeley) OTF 모델에 기초한다.

일부 실시예들에서, 필터링된 백색 잡음은 또한, 채도 구성요소들에 부가되기 전에 입력 이미지의 로컬 영역 분석에 따라 조정된다.

OTF 기반 디더링 잡음 생성의 예

P<N 비트들인, P-비트 이미지들로 하향 양자화될 N-비트 입력 이미지들(예로서, N=8비트들)의 시퀀스를 고려하면, 디지털 디더링 동안, 잡음은 더 낮은 비트들이 드롭(drop)되거나 양자화되기 전에 이들 이미지들에 부가된다. 기초 공학 트레이드-오프(trade-off)는 비트 깊이 감소 프로세스를 통해 그와 같은 효과적인 감지 비트들의 보존을 가능하게 하고, 여전히 그 자체로 잡음을 보이지 않게 하기 위해 가능한 한 많은 잡음을 부가하는 것이다. 비가시성은 주로 디스플레이 및 뷰잉 간격 파라미터들에 의존한다. 일 실시예에서, 이미지 디더링에서 이용된 잡음 소스의 잡음 특성들은 인간 비주얼 시스템(HVS)의 광학 전달 함수(OTF)의 모델에 기초하여 결정된다.

이제부터 OTF로서 단순하게 표시될, HVS의 OTF는 엄격하게 저역통과 함수이고, 따라서 HVS의 대비 민감도 함수(contrast sensitivity function; CSF)보다 평균화 프로세스에 대해 양호하게 표현한다. 게다가, OTF는 선형 휘도 도메인에서 선형 시프트-불변(shift-invariant) 필터인 반면에, CSF는 때때로 필터들 및 진폭 비선형성들의 조합 프로세스로서 모델링된, 복합 비선형 프로세스이다. 마지막으로, CSF의 고 주파수 감쇄의 대부분이 OTF에 의해 야기된다.

일 예시적인 실시예에서, 디더 잡음은 그것이 OTF의 역이 되도록 스펙트럼적으로 형상화될 수 있어서, 비주얼 시스템의 OTF의 거동(behavior)이 모든 주파수들에서 같게 보이는, 인지적으로 일정한 잡음을 야기하게 할 것이다. 이것은 임의의 레벨의 가시성에 대해 최대 잡음 분산을 제공할 것이다. 일반적으로, 설계 접근법은 모든 주파수들에 대해 디더 잡음을 동등하게 보이지 않게 유지하는 것이다. 즉, 잡음에 대한 OTF의 효과는 미리 보상되고, 따라서 망막에 도달하는 잡음은 백색 잡음이다.

OTF는 상이한 데이터 세트들로부터 발생하는, 몇몇 함수들로 모델링될 수 있고, 이용된 특정한 버전은 중요하지 않다. 예를 들면, 참조로서 본 명세서에 통합된, Williams 등에 의한, 발명의 명칭이 "눈의 광학 품질의 더블 패스 및 간섭 측정들(Double-pass and interferometric measures of the optical quality of the eye)",인 JOSA A 11.12(1994): 3123-3135는 다음 수학식들을 이용하여 OTF를 설명한다:

(1)

여기서, s는 cy/deg 단위의 비주얼 주파수이고, 수학식 파라미터들은 a=0.1212, w₁=0.3481, 및 w₂=0.6519이다.

또 다른 공통 OTF 표현은 전체적으로 참조로서 본 명세서에 통합되는, Deeley, Robin J., Neville Drasdo, 및 W. Neil Charman에 의한 발명의 명칭이 "인간 시각 변조 전달 함수의 단순한 파라메트릭 모델(A simple parametric model of the human ocular modulation transfer function)"인, 안과학 및 시각 생리학 11.1(1991): 91-93에서 설명된다.

딜리 모델의 장점은 그것이 동공 크기(d)에 대해 파라미터화된다는 것이다. 이 OTF에 대한 수학식은 다음으로 주어진다:

(2)

여기서, f는 cy/deg(cycles per degrees) 단위의 공간 주파수이고 d는 밀리미터(mm) 단위의 동공 크기이다. 도 1a는 3mm 동공(d=3)에 대한 수학식(2)에 따른 OTF 함수의 일례를 묘사한다. 도 1b는 도 1a의 역(1/OTF)을 묘사한다.

일부 실시예들에서, OTF 함수를 이용하는 대신에, HVS의 주파수 스펙트럼(예로서, 0 내지 60 cy/dec) 내에서 정의된 임의의 저역통과 필터를 적용할 수 있다. 그 다음, 1/OTF 잡음 필터(220)는 HVS의 주파수 스펙트럼 내에서 정의된 임의의 고역통과 필터로 표현될 수 있다.

디지털 이미지 도메인에 OTF를 적용하기 위해 주파수들은 cy/deg로부터 cy/pixel로 변환될 필요가 있다(0.5 cy/pixel은 나이퀴스트 폴딩 주파수(Nyquist folding frequency) 즉, 디지털 이미지에서 보유될 수 있는 최대 가능한 주파수임에 주의한다). 다음 수학식들은 cy/deg 단위로 주어진 비주얼 공간 주파수들 사이에서 cy/mm과 같은, 물리 주파수들, 또는 cy/pixel 단위의 디지털 주파수들로 변환하기 위해 이용될 수 있다:

(3)

(4)

여기서, D는 수학식(3)에서 물리 주파수들과 같은 단위들(예로서, mm 단위) 또는 픽셀 단위(수학식(4) 참조)로 측정된 뷰잉 거리이다. 예를 들면, 풀(full) 고 해상도(HD) 텔레비전(예로서, 1920×1080 픽셀 해상도를 이용하는)을 뷰잉할 때, 공통 3 화상 너비 뷰잉 거리(3H), D=3×1080=3240 픽셀들이다.

채도 서브샘플링에 대한 스펙트럼 형상화

일 예시적인 실시예에서, 디더링은 YCbCr, YUV, Lab, 등과 같은, 비디오 신호의 (휘도/채도(luma/chroma)로서 또한 언급될) 휘도/채도 표현들을 갖는 신호들에 적용된다. 이러한 표현들에서, 휘도 정보의 대부분은 Y 또는 L 신호들에 보유된다. 채도 구성요소 신호들(예로서, CbCr)은 휘도 정보를 아주 조금 보유하고, 대략 등휘도(isoluminant), 또는 의사 등휘도인 것으로서 언급된다.

일 실시예에서, 디더 잡음은 휘도 구성요소가 아닌, Cr 및 Cb와 같은, 의사 등휘도 신호들에 단지 부가된다. 이것은 잡음 및 다른 공간 패턴들의 가시성이 채도 채널들보다 휘도 채널에서 훨씬 높기 때문이다.

일 실시예에서, 잡음의 스펙트럼은 휘도 구성요소의 공간 해상도와 상이할 수 있는 채도 구성요소들의 공간 해상도에 기초하여 형상화된다. 예를 들면, 4:2:2 채도 샘플링을 이용하여, 채도 구성요소들은 수평 방향으로 2의 배수 만큼 서브샘플링된다. 예를 들면, 1920×1080 비디오 신호는 1920×1080 공간 해상도의 휘도 신호 구성요소(예로서, Y) 및 960×1080 공간 해상도의 채도 신호 구성요소들(예로서, Cb 및 Cr)을 포함할 수 있다. 또 다른 예에서, 4:2:0 채도 샘플링을 이용하여, 채도 구성요소들은 수평 및 수직 방향들 둘 모두로 2의 배수 만큼 서브샘플링된다. 그 다음, 1920×1080 비디오 신호는 960×540 공간 해상도의 채도 구성요소들을 포함할 수 있다.

일 실시예에서, 잡음은 서브샘플링된 도메인에서 부가된다. 마지막으로 디스플레이되기 전에, 채색적으로 서브샘플링된 이미지는 (예로서, 4:4:4 표현으로) 디스플레이하기 위해 필요하다면 업샘플링되고 일반적으로, 디스플레이 프라이머리(primary)들을 구동(drive)하기 위해 휘도/채도 표현으로부터 RGB 표현으로 변환된다. 신호에 부가되는 디더 잡음은 또한, 동일한 프로세스를 겪고 그것의 스펙트럼은 채도 업스케일링 프로세스의 형상(geometry)에 의해 변경된다. 따라서, 그것은, 업샘플링 프로세스 후에 원하는 스펙트럼 형상을 갖도록 업스케일링 프로세스에 의해 보상되도록 설계된다. 원하는 스펙트럼 형상은 이전에 설명된 바와 같이 OTF의 역이다.

도 2a는 본 발명의 일 실시예에 따라 채색적으로 서브샘플링된 YCbCr 이미지들을 디더링하기 위한 일 예시적인 프로세스를 묘사한다. 도 2a에 묘사된 바와 같이, 디더링 프로세스는 2개의 부분들로 분할될 수 있다: a) 디더 잡음 생성기를 위한 오프라인 설계 및 b) 잡음이 양자화될 신호들에 부가되는 실시간 디더링 프로세싱.

도 2a에 묘사된 바와 같이, 제한 없이, 디더 잡음 생성 프로세스는 전형적으로, 오프라인으로 수행된다. 일 실시예에서, 채도 구성요소들에 대해 결과로 발생하는 디더 잡음 패턴들은 메모리에 저장된다; 그러나, 충분한 계산 리소스들이 존재한다면, 프로세스의 이 부분은 또한 실시간으로 수행될 수 있다.

도 2a에 묘사된 바와 같이, 디더 잡음 생성 프로세스는 OTF 모델을 확립함으로써 단계(205)에서 시작된다. 일 예시적인 실시예에서, 제한 없이, OTF 모델은 d의 고정 값에 대해 수학식(2)의 딜리 모델일 수 있다. 일 실시예에서, d=3mm이고, 이는 밝은 광을 표현하지만; OTF 함수는 다른 광 상태들에 대해 용이하게 조정될 수 있다. 단계(210)에서, 원래 OTF 모델의 출력은, 그것의 출력이 cy/pixels 단위로 표현되도록 조정될 수 있고, 여기서 수학식(4)에서의 뷰잉 간격(예로서, D)은 관심 있는 공간 방향에서 서브샘플링된 채도 구성요소에 대한 뷰잉 간격을 표현한다. 예를 들면, 수직 주파수들에 대한 OTF 모델에 대해, 4:2:2 포맷으로 프로세싱된, HD 1920×1080 신호들에 대해, D_H=3H=3×1080=3,240 픽셀들이다. 유사하게, 수평 주파수들에 대한 OTF 모델에 대해, D_W=3H_s=3×(1080/2)=3×540=1620 픽셀들이다.

수학식(2)에 기초하여 수직 및 수평 주파수들(예로서, OTF(f_h, d) 및 OTF(f_w, d))에 대해 별개의 OTF 모델들을 이용하여, 2-D OTF 모델(예로서, OTF(f_h, f_w))을 생성할 수 있다. 일부 실시예에서, 2-D 모델은 데카르트(Cartesian) 분리형일 수 있다(예로서, OTF(f_h, f_w)=OTF(f_h, d)*OTF(f_w, d)). 일부 다른 실시예들에서, 공동 모델은 극성 분리형일 수 있다.

일반적으로, OTF 함수는 회전적으로 대칭적이고, 따라서 그것은 극성 분리형이지만; 데카르트 모델은 인간들에 걸친 변화들로 인해 또한 효과가 있을 수 있다. 일 예시적인 실시예에서,

(5)로 두면, 수학식(2)의 OTF(f_h, f_w)=OTF(r, d)이다.

단계(235)는 2차원 백색(예로서, 가우시안) 잡음 생성기를 표현한다. 바람직한 일 실시예에서, 잡음 생성기는 2개의 별개의 의사 랜덤 생성기 시드(seed)들을 이용하여 채도 채널들 각각에 대한 별개의 잡음 출력들(237-A 및 237-B)을 생성한다. 일 예시적인 실시예에서, (0, 255) 범위 내의 잡음 출력에 대해, 잡음 생성기는 σ=30을 갖는 백색 잡음을 생성할 수 있다.

잡음 생성기(235)의 출력들(237-A 및 237-B) 각각은 OTF의 역(즉, 1/OTF)에 기초하여 필터를 이용하여 필터링된다. 필터링은 공간 도메인에서 또는 주파수 도메인에서 수행될 수 있다. OTF(215)가 전형적으로 주파수 도메인에 있기 때문에, 주파수 도메인에서의 필터링은 a) 즉, 고속 푸리에 변환(FFT)을 이용함으로써, 주파수 도메인에서 잡음 생성기의 출력(237)을 변환하는 단계, b) 변환 단계의 출력을 역 OTF와 곱하는 단계, 및 c) 역 FFT와 같은, 역 변환을 이용함으로써 곱을 다시 공간 도메인으로 변환하는 단계를 포함한다. 따라서, 잡음 필터(220)의 출력들(222 및 224)은 디더링될 입력 신호(예로서, 신호(202))의 채도 구성요소들(예로서, 202-Cr 및 202-Cb)에 부가될 2D 디더 잡음 패턴들의 2개의 세트들을 표현한다.

도 2a에 묘사된 바와 같이, 잡음 필터(220)의 출력들은 가중치들(W_Cb 및 W_Cr)에 의해 선택적으로 스케일링(scaling)된다. 하나의 실시예에서, 이들 가중치들은 타겟 디스플레이의 특성들(그것의 동적 범위 및 프라이머리들과 같은)에 따라 이미지 독립적이고, 조정될 수 있다. 또 다른 실시예에서, 가중치들은 또한, 매우 포화된 입력 컬러들을 검출하는 경우에 보상하기 위해 입력 이미지(202)의 로컬 영역 분석에 기초하여 추가로 조정될 수 있다. 매우 포화된 컬러 영역들의 경우들에서, 의도된 등휘소 잡음 변조들은 휘도 변조들이 된다. 예를 들면, 순수한 녹색 컬러(RGB=(0, 1, 0))에 관한 의도된 Cr 변조는 휘도 변조로서 나타나는 경향이 있는데, 이는 적색의 작은 도입된 변조들이 검은색인 0 주위에 있기 때문이다. 의도된 음의 R 변조들은 클리핑(clipping)되고 이들 R 서브픽셀들이 완전하게 턴 온(turn on)되는 이웃하는 G 서브픽셀들이기 때문에, 적색의 양의 변조들이 인지되지 않을 것이다. 또한, G가 최대 값에 있기 때문에, 임의의 양의 G 변조들은 클리핑될 것이다. 따라서, 이와 같은 컬러 영역들에서, 다른 채널 예로서, 이 예에서, Cb 채널로 채도 변조를 완전하게 시프트하는 것이 더 양호하다. 채도 잡음 변조들을 재가중하는 다양한 조합들이 적용될 수 있다. 일례로서, 일 실시예에서, 정상 프로세싱 동안 W_Cb 및 W_Cr이 이미지 독립 가중치들을 나타낸다고 가정하면, "풀 적색" 범위 내(예로서, R>200, G<10, 및 B<10)에 있는 것으로 결정된 픽셀들에 대해, 로컬 영역 분석 단계(225)는 2개의 가중치들을 다음과 같이 조정할 수 있다:

입력 픽셀이 "풀 적색"이면

W_Cr=c1* W_Cr 및 W_Cb=c2*W_Cb이다;

여기서, c1 및 c2는 미리 결정된 스케일러들이다(예로서, c1=0 및 c2=2.0).

일부 실시예에서, 로컬 영역 분석(225)은 입력 컬러 도메인(예로서, YCbCr)과 상이한 컬러 도메인(예로서, RGB)에서 동작할 수 있다. 일부 다른 실시예들에서, 로컬 영역 분석(225)은 입력 컬러 도메인(예로서, YCbCr)과 동일한 컬러 도메인에서 동작할 수 있다.

선택적 가중(230-A 및 230-B) 후에, 디더링 잡음은 잡음 수정된 컬러 구성요소들(246-Cb, 246-Cr)을 생성하기 위해 입력 신호(202)의 채도 구성요소들(202-Cb 및 202-Cr)에 부가된다. 디더링 잡음(222 및 224)은 입력 신호 비트 깊이보다 적은 비트 깊이로 표현될 수 있다. 일 실시예에서, 잡음 및 신호는 2개의 신호들의 최하위 비트(the least-significant bit)들을 정렬시킴으로써 부가된다.

디더 잡음의 부가에 이어서, 원래 휘도 신호(202-Y) 및 잡음 수정된 채도 신호들(246-Cb 및 246-Cr)은 직접적으로 양자화될 수 있거나, 그들은 먼저 단계(245)에서 디스플레이 의존 컬러 공간(예로서, RGB)으로 변환될 수 있다. 이 단계는 또한, 휘도 구성요소의 해상도를 매칭시키기 위한 채도 구성요소들의 업샘플링을 포함할 수 있다. (선택적) 컬러 변환(245)에 이어서, 그것의 출력(247)은 출력 디더링된 이미지(249)를 생성하기 위해 본 분야에서 공지된 양자화 방식들 중 임의의 것을 이용하여 각각의 컬러 구성요소에 대한 원하는 비트 깊이(예로서, P<N)로 양자화될 수 있다. 서브샘플링된 채도 구성요소 신호들에 대한 필터링된 잡음의 부가, 원래 RGB에 대한 후속 변환, 및 RGB에서의 비트 깊이의 잘림(truncation)은 도 2의 하반부에서 실시간 프로세스로서 도시된다.

일부 실시예들에서, 디더링될(예로서, 202) 입력 신호는 감마 정정된 도메인에 있을 수 있고, 상기 감마 정정된 도메인은 대략 휘도의 멱함수(예로서, 1/2.2)이다. 일부 실시예들에서, OTF 필터링 프로세스가 선형 휘도 도메인에서 선형 필터와 같이 동작한다는 사실로부터 이용하기 위해, 부가적인 신호 선형화 단계(도시되지 않음)는 잡음 부가 단계들(240-A 및 240-B)에 앞설 수 있다. 이러한 실시예들(도시되지 않음)에서, 신호(202)는 a) 원래 입력 YCbCr 신호를 RGB로 변환함으로써, b) RGB 신호에 역 감마 함수를 적용함으로써, 및 c) 선형 YCbCr(예로서, Y'Cb'Cr')로 다시 변환함으로써 생성될 수 있다. 일부 다른 실시예들에서, 디더 잡음 부가 단계들은 대안적인 선형화된 컬러 공간(예로서, LMS 또는 CIE XYZ)에서 수행될 수 있다. 이러한 실시예들에서, 컬러 변환 단계(245)는 필요하다면 적응될 수 있다(예로서, LMS를 RGB로 또는 XYZ를 RGB로).

도 2b는 본 발명의 또 다른 실시예에 따라 채색적으로 서브샘플링된 YCbCr 이미지들을 디더링하기 위한 일 예시적인 프로세스를 묘사한다. 도 2a 및 도 2b에서 묘사된 실시예들 사이의 주요 차는 도 2b에서 묘사된 시스템에서, 디더 잡음이 Cr 및 Cb와 같은, 의사 등휘도 신호들, 및 휘도 구성요소(Y)(202) 둘 모두에 부가된다는 것이다.

도 2b에서 묘사된 바와 같이, "오프라인 설계"의 부분으로서, 휘도 관련 디더링 신호(226)는 사전에 논의된 바와 같이 채도 관련 디더링 신호들(222 및 224)을 생성하기 위해 이용된 접근법과 유사한 접근법을 이용하여 생성될 수 있다. OTF 모델(205), 및 입력 샘플 도메인에서 산출된 뷰잉 간격들(208-Y)을 고려하면, 입력 OTF 모델은 수학식들((3) 및 (4))을 이용하여 cy/deg로부터 cy/pixel 표현으로 매핑된다. 매핑 함수들((210-C) 및 (210-Y)) 사이의 핵심 차는 210-C에서, 뷰잉 간격들은 서브샘플링된 채도 도메인에서 산출되는 반면에, 210-Y에서, 뷰잉 간격들은 입력, 풀 해상도, 도메인에서 계산된다는 것이다.

필터(220)는 이제, 하나가 각각의 컬러 구성요소를 위한 것인, 3개의 별개의 1/OTF 필터들을 포함하고, 각각의 필터는 사전에 논의된 2D 공간 백색 잡음 생성기(235)에 의해 생성된 백색 잡음을 필터링한다. 잡음 생성기(235)는 이제 3개의 별개의 시드들을 이용할 수 있고, 하나는 컬러 구성요소들 각각을 위한 것이다.

도 2b에서 묘사된 바와 같이, 실시간 프로세싱 단계 동안, 잡음 필터(220)의 휘도 관련 출력(226)은 또한, 가중치(W_Y)를 이용하여 스케일러(230-C)에 의해 선택적으로 스케일링될 수 있다. 선택적 가중(230-A, 230-B, 230-C) 후에, 디더링 잡음은 잡음 수정된 컬러 구성요소들(246-Cb, 246-Cr, 및 246-Y)을 생성하기 위해 입력 신호(202)의 채도 구성요소들(202-Cb 및 202-Cr) 및 휘도 구성요소(202-Y) 둘 모두에 부가된다.

디더 잡음의 부가에 이어서, 수정된 휘도 신호(246-Y) 및 잡음 수정된 채도 신호들(246-Cb 및 246-Cr)은 출력 디더링된 이미지(252)를 생성하기 위해 본 분야에서 공지된 양자화 방식들 중 임의의 것을 이용하여 원하는 비트 깊이(예로서, P<N)로 양자화기(250)에 의해 양자화된다.

일부 실시예들에서, 양자화(250) 다음에 디더링된 신호(254)를 생성하기 위한 디스플레이 또는 다른 사후 프로세싱을 위해 적합한 컬러 도메인에 대한 선택적 컬러 변환(245)(예로서, YCbCr를 RGB로)이 이어질 수 있다. 이 단계는 또한, 휘도 구성요소의 해상도를 매칭시키기 위한 채도 구성요소들의 업샘플링을 포함할 수 있다.

일부 실시예들에서, 도 2a에서 묘사된 바와 같이, 컬러 변환(245)은 양자화 단계(250)에 앞설 수 있다.

예시적인 컴퓨터 시스템 구현

본 발명의 실시예들은 컴퓨터 시스템, 전자 회로 및 구성요소들로 구성된 시스템들, 마이크로제어기, 필드 프로그래밍가능한 게이트 어레이(FPGA), 또는 또 다른 구성가능하거나 프로그래밍가능한 로직 디바이스(PLD)와 같은 집적 회로(IC) 디바이스, 이산 시간 또는 디지털 신호 프로세서(DSP), 주문형 반도체(ASIC), 및/또는 이러한 시스템들, 디바이스들 또는 구성요소들 중 하나 이상을 포함하는 장치로 구현될 수 있다. 컴퓨터 및/또는 IC는 본 명세서에서 설명된 것들과 같은, 이미지 디더링에 관련된 지시들을 수행하거나, 제어하거나, 실행할 수 있다. 컴퓨터 및/또는 IC는 본 명세서에서 설명된 바와 같이 이미지 디더링에 관한 다양한 파라미터들 또는 값들 중 임의의 것을 계산할 수 있다. 이미지 디더링 실시예들은 하드웨어, 소프트웨어, 펌웨어 및 그의 다양한 조합들로 구현될 수 있다.

본 발명의 특정 구현들은 프로세서들로 하여금 본 발명의 방법을 수행하도록 하는 소프트웨어 지시들을 실행하는 컴퓨터 프로세서들을 포함한다. 예를 들면, 디스플레이, 인코더, 셋 톱 박스, 트랜스코더(transcoder) 등에서의 하나 이상의 프로세서들은 프로세서들에 액세스가능한 프로그램 메모리에서의 소프트웨어 지시들을 실행함으로써 상기 설명된 바와 같이 이미지 디더링을 위한 방법들을 구현할 수 있다. 본 발명은 또한, 프로그램 제품의 형태로 제공될 수 있다. 프로그램 제품은, 데이터 프로세서에 의해 실행될 때 데이터 프로세서로 하여금 본 발명의 방법을 실행하도록 하는 지시들을 포함하는 컴퓨터-판독가능한 신호들의 세트를 지니는 임의의 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 광범위한 형태들 중 임의의 형태일 수 있다. 프로그램 제품은 예를 들면, 플로피 디스켓들, 하드 디스크 드라이브들을 포함하는 자기 데이터 저장 매체들, CD ROM들, DVD들을 포함하는 광학 데이터 저장 매체들, ROM들, 플래시 RAM을 포함하는 전자 데이터 저장 매체들, 등과 같은 물리적 매체들을 포함할 수 있다. 프로그램 제품 상의 컴퓨터-판독가능한 신호들은 선택적으로 압축될 수 있거나 암호화될 수 있다.

구성요소(예로서, 소프트웨어 모듈, 프로세서, 어셈블리, 디바이스, 회로, 등)가 상기 언급되는 경우에, 다르게 표시되지 않는다면, 그 구성요소에 대한 참조("수단"에 대한 참조를 포함하는)는 그 구성요소의 등가물들로서, 본 발명의 도시된 예시적인 실시예들에서 기능을 수행하는 개시된 구조와 구조적으로 동등하지 않은 구성요소들을 포함하는, (예로서, 기능적으로 동등한) 설명된 구성요소의 기능을 수행하는 임의의 구성요소를 포함하는 것으로 해석되어야 한다.

등가물들, 확장들, 대안들 및 기타

이미지 디더링에 관한 예시적인 실시예들이 따라서 설명된다. 상기 명세서에서, 본 발명의 실시예들은 구현 마다 달라질 수 있는 많은 특정 상세들에 관하여 설명되었다. 따라서, 본 발명이 무엇이고, 출원인들에 의해 본 발명인 것으로 의도되는 것에 관한 유일하고 포괄적인 표시자는 임의의 후속 정정을 포함하는, 이러한 청구항들이 공표하는 특정 형태로 본 출원으로부터 공표하는 청구항들의 세트이다. 이러한 청구항들에 포함된 용어들에 대해 본 명세서에 명백하게 제시된 임의의 정의들은 청구항들에서 이용된 바와 같이 이러한 용어들의 의미를 지배할 것이다. 따라서, 청구항에서 명백하게 인용되지 않은 어떠한 제한, 요소, 속성, 특징, 장점 또는 특성도 어떤 방식으로든 이러한 청구항의 범위를 제한해서는 안된다. 명세서 및 도면들은 따라서, 제한적인 의미보다는 오히려 예시적인 것으로 간주되어야 한다.

220: 잡음 필터 235: 잡음 생성기

Claims

프로세서를 이용하여 이미지들을 디더링(dithering)하기 위한 방법에 있어서:
제 1 비트 깊이의 입력 이미지를 수신하는 단계로서, 상기 입력 이미지는 휘도 구성요소 및 하나 이상의 채도 구성요소들을 포함하는 제 1 컬러 포맷으로 표현되는, 상기 입력 이미지를 수신하는 단계;
백색 잡음을 생성하는 단계;
디더 잡음을 생성하기 위해 인간 비주얼 시스템(human visual system; HVS)의 광학 전달 함수(OTF)의 역에 따라 상기 백색 잡음을 필터링(filtering)하는 단계로서, 상기 OTF는 적어도 수평 뷰잉(viewing) 간격 또는 수직 뷰잉 간격에 응답하여 적응되는, 상기 백색 잡음을 필터링하는 단계; 및
잡음 수정된 채도 구성요소들을 생성하기 위해 상기 하나 이상의 채도 구성요소들에 상기 디더 잡음을 부가하는 단계를 포함하고,
상기 백색 잡음은 2개 이상의 별개의 백색 잡음 출력들을 포함하고,
각각의 잡음 출력은 상이한 시드(seed) 수를 이용하여 생성되는, 이미지들을 디더링하기 위한 방법.
제 1 항에 있어서,
잡음 수정된 휘도 구성요소를 생성하기 위해 상기 휘도 구성요소에 상기 디더 잡음을 부가하는 단계를 더 포함하는, 이미지들을 디더링하기 위한 방법.
제 1 항에 있어서,
상기 휘도 구성요소 및 상기 잡음 수정된 채도 구성요소들을 제 2 컬러 포맷의 제 2 이미지로 변환하는 단계; 및
제 2 비트 깊이의 출력 디더링된 이미지를 생성하기 위해 상기 제 2 이미지를 양자화하는 단계를 더 포함하고,
상기 제 2 비트 깊이는 상기 제 1 비트 깊이보다 낮은, 이미지들을 디더링하기 위한 방법.
제 2 항에 있어서,
제 2 비트 깊이의 출력 디더링된 이미지(252)를 생성하기 위해 상기 잡음 수정된 휘도 구성요소 및 상기 하나 이상의 잡음 수정된 채도 구성요소들을 양자화하는 단계를 더 포함하고,
상기 제 2 비트 깊이는 상기 제 1 비트 깊이보다 낮은, 이미지들을 디더링하기 위한 방법.
제 1 항에 있어서,
제 2 비트 깊이의 출력 디더링된 이미지(249)를 생성하기 위해 상기 휘도 구성요소 및 상기 잡음 수정된 채도 구성요소들을 양자화하는 단계를 더 포함하고,
상기 제 2 비트 깊이는 상기 제 1 비트 깊이보다 낮은, 이미지들을 디더링하기 위한 방법.
삭제
제 1 항에 있어서,
상기 OTF의 모델은 함수

를 포함하고,
여기서, d는 밀리미터(mm) 단위의 인간 동공의 크기를 나타내고 f는 cycles/degrees 단위의 입력 공간 주파수를 포함하는, 이미지들을 디더링하기 위한 방법.
제 7 항에 있어서,
d=3mm인, 이미지들을 디더링하기 위한 방법.
제 7 항에 있어서,
상기 OTF 모델은 변환 함수

를 이용함으로써 cycles/degrees 사이의 주파수들을 cycles/pixel로 변환함으로써 디지털 이미지 도메인에 대해 적응되는, 이미지들을 디더링하기 위한 방법.
제 1 항에 있어서,
상기 입력 이미지의 적어도 하나의 채도 구성요소는 상기 입력 이미지의 휘도 구성요소의 공간 해상도보다 낮은 공간 해상도를 포함하는, 이미지들을 디더링하기 위한 방법.
제 10 항에 있어서,
상기 입력 이미지의 적어도 하나의 컬러 구성요소의 수평 해상도는 상기 입력 이미지의 휘도 구성요소의 수평 해상도의 절반인, 이미지들을 디더링하기 위한 방법.
제 1 항에 있어서,
상기 제 1 컬러 포맷은 4:2:2 또는 4:2:0 YCbCr 컬러 포맷을 포함하는, 이미지들을 디더링하기 위한 방법.
제 1 항에 있어서,
상기 수평 또는 상기 수직 뷰잉 간격들 중 적어도 하나는 상기 입력 이미지의 채도 구성요소들 중 하나의 공간 해상도에 기초하여 결정되는, 이미지들을 디더링하기 위한 방법.
제 1 항에 있어서,
상기 백색 잡음 출력의 구성요소들 각각은 하나 이상의 디더 잡음 구성요소들을 생성하기 위해 별개로 필터링되는, 이미지들을 디더링하기 위한 방법.
제 14 항에 있어서,
제 1 스케일링(scaling)된 디더 잡음 구성요소를 생성하기 위해 제 1 잡음 스케일 인자(factor) 만큼 제 1 디더 잡음 구성요소를 스케일링하는 단계; 및
제 2 스케일링된 디더 잡음 구성요소를 생성하기 위해 제 2 잡음 스케일 인자 만큼 제 2 디더 잡음 구성요소를 스케일링하는 단계를 더 포함하고,
상기 제 1 및 제 2 스케일 인자들은 상기 입력 이미지의 로컬 영역 분석에 응답하여 결정되는, 이미지들을 디더링하기 위한 방법.
제 15 항에 있어서,
상기 로컬 영역 분석은, 상기 입력 이미지의 적어도 하나의 픽셀이 픽셀 구성요소 값들의 하나 이상의 미리 결정된 경계들 내에 있는지의 여부를 검출하는 것을 포함하는, 이미지들을 디더링하기 위한 방법.
제 3 항에 있어서,
상기 휘도 구성요소 및 상기 잡음 수정된 채도 구성요소들을 상기 제 2 컬러 포맷의 제 2 이미지로 변환하기 전에, 상기 잡음 수정된 채도 구성요소들은 상기 휘도 구성요소의 공간 해상도를 매칭(matching)시키기 위해 업스케일링되는, 이미지들을 디더링하기 위한 방법.
제 1 항에 있어서,
상기 제 1 컬러 포맷은 선형화된 컬러 포맷인, 이미지들을 디더링하기 위한 방법.
제 18 항에 있어서,
상기 선형화된 컬러 포맷은 선형화된 YCbCr, LMS, 또는 CIE XYZ인, 이미지들을 디더링하기 위한 방법.
제 1 항에 있어서,
상기 디더 잡음을 생성하기까지의 상기 단계들은 상기 프로세서에 의해 오프라인 계산되는 반면에, 나머지 단계들은 상기 프로세서 또는 제 2 프로세서에 의해 실시간으로 계산되는, 이미지들을 디더링하기 위한 방법.
프로세서를 이용하여 이미지들을 디더링하기 위한 방법에 있어서:
제 1 비트 깊이의 입력 이미지를 수신하는 단계로서, 상기 입력 이미지는 제 1 공간 해상도의 휘도 구성요소 및 제 2 공간 해상도의 하나 이상의 채도 구성요소들을 포함하는 제 1 컬러 포맷으로 표현되고, 상기 제 2 공간 해상도는 적어도 수직 또는 수평 방향으로 상기 제 1 공간 해상도보다 낮은, 상기 입력 이미지를 수신하는 단계;
백색 잡음을 생성하는 단계;
채도 디더 잡음을 생성하기 위해 제 1 저역통과 필터의 역 응답에 따라 상기 백색 잡음을 필터링하는 단계로서, 상기 제 1 저역통과 필터의 응답은 상기 제 2 공간 해상도에 응답하여 적응되는, 상기 백색 잡음을 필터링하는 단계;
휘도 디더 잡음을 생성하기 위해 제 2 저역통과 필터의 역 응답에 따라 상기 백색 잡음을 필터링하는 단계로서, 상기 제 2 저역통과 필터의 응답은 상기 제 1 공간 해상도에 응답하여 적응되는, 상기 백색 잡음을 필터링하는 단계;
잡음 수정된 휘도 구성요소를 생성하기 위해 상기 휘도 구성요소에 상기 휘도 디더 잡음을 부가하는 단계;
잡음 수정된 채도 구성요소들을 생성하기 위해 상기 하나 이상의 채도 구성요소들에 상기 채도 디더 잡음을 부가하는 단계; 및
상기 잡음 수정된 휘도 구성요소 및 상기 잡음 수정된 채도 구성요소들을 양자화하는 것에 응답하여 제 2 비트 깊이의 출력 디더링된 이미지를 생성하는 단계를 포함하고,
상기 제 2 비트 깊이는 상기 제 1 비트 깊이보다 낮은, 이미지들을 디더링하기 위한 방법.
제 21 항에 있어서,
상기 제 1 저역통과 필터 및 상기 제 2 저역통과 필터의 응답들은 인간 비주얼 시스템의 광학 전달 함수의 모델의 응답을 매칭시키는, 이미지들을 디더링하기 위한 방법.
프로세서를 포함하고 제 1 항 내지 제 5 항 및 제 7 항 내지 제 22 항 중 어느 한 항에 따른 방법을 수행하도록 구성된, 장치.
제 1 항 내지 제 5 항 및 제 7 항 내지 제 22 항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 실행가능한 지시들이 저장된, 비 일시적 컴퓨터 판독가능한 저장 매체.