KR101746491B1 - 채색적으로 서브샘플링된 이미지 포맷들을 위한 디더링 - Google Patents

채색적으로 서브샘플링된 이미지 포맷들을 위한 디더링 Download PDF

Info

Publication number
KR101746491B1
KR101746491B1 KR1020157031042A KR20157031042A KR101746491B1 KR 101746491 B1 KR101746491 B1 KR 101746491B1 KR 1020157031042 A KR1020157031042 A KR 1020157031042A KR 20157031042 A KR20157031042 A KR 20157031042A KR 101746491 B1 KR101746491 B1 KR 101746491B1
Authority
KR
South Korea
Prior art keywords
noise
bit depth
image
luminance component
otf
Prior art date
Application number
KR1020157031042A
Other languages
English (en)
Other versions
KR20150138300A (ko
Inventor
스콧 델리
이봉순
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20150138300A publication Critical patent/KR20150138300A/ko
Application granted granted Critical
Publication of KR101746491B1 publication Critical patent/KR101746491B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2044Display of intermediate tones using dithering
    • G09G3/2048Display of intermediate tones using dithering with addition of random noise to an image signal or to a gradation threshold
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

이미지들을 위한 디더링 기술들이 본 명세서에서 설명된다. 제 1 비트 깊이의 입력 이미지는 휘도 및 하나 이상의 채도 구성요소들로 분리된다. 인간 비주얼 시스템(HVS)의 광학 전달 함수(OTF)의 모델은 입력 이미지의 채도 구성요소들에 부가되는 디더 잡음을 생성하기 위해 이용된다. OTF의 모델은 채도 구성요소들의 공간 해상도에 기초하여 결정된 뷰잉(viewing) 간격들에 응답하여 적응된다. 원래 입력 휘도 구성요소 및 잡음 수정된 채도 구성요소들에 기초한 이미지는 출력 디더링된 이미지를 생성하기 위해, 제 1 비트 깊이보다 낮은 제 2 비트 깊이로 양자화된다.

Description

채색적으로 서브샘플링된 이미지 포맷들을 위한 디더링{DITHERING FOR CHROMATICALLY SUBSAMPLED IMAGE FORMATS}
관련 출원들에 대한 상호 참조
본 출원은 2013년 4월 29일에 출원된 미국 가 출원 번호 제 61/817,222 호, 및 2013년 6월 4일에 출원된 미국 가 출원 번호 제 61/830,806 호에 대한 우선권을 주장하고, 그 둘 모두는 전체적으로 참조로서 본 명세서에 통합된다.
본 발명은 일반적으로 이미지들에 관한 것이다. 특히, 본 발명의 일 실시예는 채색적으로 서브샘플링된 포맷들에 의해 표현된 이미지들의 디더링(dithering)에 관한 것이다.
본 명세서에서 이용된 바와 같이, 용어 '디더링'은 정지 또는 이동하는 이미지들 또는 사진들에 적용된 비트-깊이 변환들로 인한 양자화 에러를 랜덤화하기 위해 잡음을 고의적으로 부가하는 프로세스를 나타낸다. 디더링은, 신호의 비트-깊이를 감소시킬 때 양자화된 출력 신호의 평균 로컬 값들이 입력과 같은 비트-깊이를 갖도록 적용된다.
이미징 애플리케이션들에 대해, N-비트 이미지들이 P-비트 이미지들로 변환될 때(여기서, P는 N보다 낮다), 시각 시스템은 평균화 프로세스로서의 역할을 한다. 예를 들면, 디더링은, 다중-비트-깊이 신호(예로서, N=8)로부터 이진 신호(예로서, P=2)까지 이동할 때 이용될 수 있다. 이 경우는 또한, 하프토닝(halftoning)으로서 언급된다. 디스플레이 기술에서, 디더링은 타겟 디스플레이의 더 적은 비트-깊이(예로서, 8 비트들)를 매칭(matching)시키기 위해 입력의 비트-깊이(예로서, 10 비트들)를 낮추기 위해 적용될 수 있다.
본 명세서에서 이용된 바와 같이, 용어 '동적 범위(DR)'는 이미지에서의 세기(예로서, 휘도(luminance, luma))의 범위 예를 들면, 가장 어두운 어둠들로부터 가장 밝은 밝음들까지를 감지하기 위한 인간 비주얼 시스템(human visual system; HVS)의 능력에 관한 것일 수 있다. 이 의미에서, DR은 '장면-참조(scene-referred)' 세기에 관한 것이다. DR은 또한, 특정한 폭의 세기 범위를 적절하게 또는 대략적으로 렌더링(rendering)하기 위한 디스플레이 디바이스의 능력에 관한 것일 수 있다. 이 의미에서, DR은 '디스플레이-참조' 세기에 관한 것이다. 특정한 의미가 본 명세서에서의 설명의 임의의 지점에서 특정한 중요성을 갖도록 명백하게 규정되지 않으면, 용어가 둘 중 하나의 의미로 예를 들면, 상호교환가능하게 이용될 수 있음이 추론되어야 한다.
본 명세서에서 이용된 바와 같이, 용어 고 동적 범위(HDR)는 HVS의 14 내지 15의 상당한 자릿수(order of magnitude)들에 걸치는 DR 폭에 관한 것이다. 예를 들면, 본질적으로 정상 시력을 갖는 잘 적응된 인간들(예로서, 통계적, 생체 인증 또는 안과학의 의미 중 하나 이상에서)은 약 15 자릿수들에 걸치는 세기 범위(intensity range)를 갖는다. 적응된 인간들은 단지 몇개의 광자들의 흐릿한 광원들을 감지할 수 있다. 여전히, 이들 동일한 인간들은 사막, 바다 또는 눈에서의 정오의 태양의 거의 극도로 눈부신 세기를 감지할 수 있다(또는 심지어 손상을 방지하기 위해 태양을 힐끗 그러나 잠시 볼 수 있다). 이 범위는 하지만 '적응된' 인간들 예를 들면, 재설정되고 조정될 시간 기간을 갖는 HVS를 소유하는 인간들에 이용가능하다.
반대로, DR을 통해서 인간이 세기 범위에서의 확장 폭을 동시에 감지할 수 있게 하는, DR은 HDR과 비교하여 다소 줄어들 수 있다. 본 명세서에서 이용된 바와 같이, 용어 '시각 동적 범위(VDR)' 또는 '증진된 동적 범위(EDR)'는 HVS에 의해 동시에 감지가능한 DR에 관련될 수 있다. 본 명세서에서 이용된 바와 같이, VDR은 5 내지 6 자릿수들에 걸친 DR에 관련될 수 있지만, 임의의 기간(span)의 동적 범위로 제한되도록 의도되지 않고, VDR(또는 EDR)은 HDR보다 더 좁거나 같을 수 있다.
최근까지도, 디스플레이들은 HDR 또는 VDR보다 상당히 좁은 DR을 가졌다. 전형적인 음극선관(CRT), 일정한 형광, 흰색 역광 또는 플라즈마 스크린 기술을 갖는 액정 디스플레이(LCD)를 이용하는 텔레비전(TV) 및 컴퓨터 모니터 장치는 대략 3 자릿수들로 그들의 DR 렌더링 능력에 제한될 수 있다. 이러한 종래의 디스플레이들은 따라서 VDR 또는 HDR과 비교하여, 저 동적 범위(LDR) 또는 표준 동적 범위(SDR)를 정형화한다. 디지털 시네마 시스템들은 다른 디스플레이 디바이스들과 동일한 제한들 중 일부를 보인다. 현재 애플리케이션에서, "시각 동적 범위(VDR)"는 LDR 또는 SDR보다 넓은 임의의 연장된 동적 범위를 나타내도록 의도되고, HDR보다 더 좁거나 같을 수 있다.
실제로, 이미지들은 하나 이상의 컬러 구성요소들(예로서, 휘도(Y) 및 채도(Cb 및 Cr 또는 R, G, 및 B))을 포함하고, 각각의 컬러 구성요소는 픽셀 당 N-비트들(예로서, N=8)의 정밀도에 의해 표현된다. 휘도 동적 범위 및 비트 깊이가 등가의 엔티티(entity)들이 아닐지라도, 그들은 종종 관련된다. N≤8인 이미지들(예로서, 컬러 24-비트 JPEG 이미지들)은 표준 동적 범위의 이미지들로 고려되는 반면에, N>8인 이미지들은 고 동적 범위 능력을 가지는 이미지들로 고려된다. VDR 및 HDR 이미지들은 인더스트리얼 라이트 앤 매직(Industrial Light and Magic)에 의해 개발된 OpenEXR 파일 포맷과 같은, 고-정밀도(예로서, 16-비트) 부동 소수점 포맷들을 이용하여 또한 저장되고 분포될 수 있다.
디스플레이 프로세싱에서의 최근의 발전에도 불구하고, 하드웨어 제한들은 여전히 VDR 이미지들 및 비디오의 프로세싱 파이프라인의 비트 깊이 정밀도를 제한한다. 본 명세서에서의 발명자들에 의해 이해된 바와 같이, 이미지들을 디더링하기 위한 개선된 기술들을 개발하는 것이 바람직하다.
본 섹션에서 설명된 접근법들은 추구될 수 있는 접근법들이지만, 반드시 이전에 고안되었거나 추구된 접근법들은 아니다. 따라서, 다르게 표시되지 않는다면, 본 섹션에서 설명된 접근법들 중 임의의 접근법이 본 섹션으로의 그들의 포함으로 인해 단지 종래 기술로서의 자격을 갖춘다고 가정되어서는 안된다. 유사하게, 하나 이상의 접근법들에 관련하여 식별된 이슈들은 다르게 표시되지 않는다면, 본 섹션에 기초하여 임의의 종래 기술에서 인식되도록 가정하지 않아야 한다.
본 발명의 목적은 채색적으로 서브샘플링된 이미지 포맷들을 위한 디더링을 제공하는 것이다.
본 발명의 일 실시예는 첨부된 도면들의 피겨(figure)들에서, 예로서 도시되고, 제한에 의한 방식으로 도시되지 않으며, 유사한 참조 부호들은 유사한 요소들을 언급한다.
도 1a는 인간 비주얼 시스템의 광학 전달 함수(OTF)의 일례를 묘사한 도면.
도 1b는 인간 비주얼 시스템의 광학 전달 함수의 역의 일례를 묘사한 도면.
도 2a 및 도 2b는 본 발명의 실시예들에 따라 서브샘플링된 이미지들을 채색적으로 디더링하기 위한 예시적인 프로세스들을 묘사한 도면들.
이미지들을 위한 디더링 기술들이 본 명세서에서 설명된다. 인간 비주얼 시스템(HVS)의 광학 전달 함수(OTF)의 모델은 채색적으로 서브샘플링된 비디오 신호의 컬러 구성요소들에 부가되는 잡음을 형상화하기 위해 이용된다. 다음 설명에서, 설명의 목적들을 위해, 많은 특정 상세들이 본 발명의 철저한 이해를 제공하기 위해 제시된다. 그러나, 본 발명이 이들 특정 상세들 없이 실행될 수 있음이 명백해질 것이다. 다른 인스턴스(instance)들에서, 잘 공지된 구조들 및 디바이스들은 본 발명을 불필요하게 모호하게 하는 것을 회피하기 위해, 포괄적인 상세로 설명되지 않는다.
개요
본 명세서에서 설명된 예시적인 실시예들은 이미지들의 디더링에 관한 것이다. 제 1 비트 깊이의 입력 이미지는 휘도 및 하나 이상의 채도 구성요소들로 분리된다. 인간 비주얼 시스템(HVS)의 광학 전달 함수(OTF)의 모델은 잡음 수정된 채도 구성요소들을 생성하기 위해 입력 이미지의 채도 구성요소들에 부가되는 디더 잡음을 생성하기 위해 이용된다. 디더 잡음은 OTF의 역에 기초하는 필터를 이용하여 의사 랜덤 백색 잡음을 필터링(filtering)함으로써 생성되고, 여기서 OTF의 모델은 서브샘플링된 채도 구성요소들의 공간 해상도에 기초하여 결정된 간격들을 뷰잉(viewing)하는 것에 응답하여 적응된다.
하나의 실시예에서, 디더링된 출력 이미지는 입력 휘도 구성요소 및 잡음 수정된 채도 구성요소들을 제 1 비트 깊이보다 낮은 제 2 비트 깊이로 양자화함으로써 생성된다.
또 다른 실시예에서, 입력 휘도 신호 구성요소 및 잡음 수정된 채도 구성요소들은 디더링된 출력 이미지를 생성하기 위해 제 2 비트 깊이로 양자화되기 전에 제 2 컬러 포맷으로 제 2 이미지로 변환된다.
일부 실시예들에서, 입력 이미지 신호는 디더링되기 전에 선형화된 컬러 공간으로 변환된다.
일부 실시예들에서, OTF 모델은 고정 동공 크기에 대한 딜리(Deeley) OTF 모델에 기초한다.
일부 실시예들에서, 필터링된 백색 잡음은 또한, 채도 구성요소들에 부가되기 전에 입력 이미지의 로컬 영역 분석에 따라 조정된다.
OTF 기반 디더링 잡음 생성의 예
P<N 비트들인, P-비트 이미지들로 하향 양자화될 N-비트 입력 이미지들(예로서, N=8비트들)의 시퀀스를 고려하면, 디지털 디더링 동안, 잡음은 더 낮은 비트들이 드롭(drop)되거나 양자화되기 전에 이들 이미지들에 부가된다. 기초 공학 트레이드-오프(trade-off)는 비트 깊이 감소 프로세스를 통해 그와 같은 효과적인 감지 비트들의 보존을 가능하게 하고, 여전히 그 자체로 잡음을 보이지 않게 하기 위해 가능한 한 많은 잡음을 부가하는 것이다. 비가시성은 주로 디스플레이 및 뷰잉 간격 파라미터들에 의존한다. 일 실시예에서, 이미지 디더링에서 이용된 잡음 소스의 잡음 특성들은 인간 비주얼 시스템(HVS)의 광학 전달 함수(OTF)의 모델에 기초하여 결정된다.
이제부터 OTF로서 단순하게 표시될, HVS의 OTF는 엄격하게 저역통과 함수이고, 따라서 HVS의 대비 민감도 함수(contrast sensitivity function; CSF)보다 평균화 프로세스에 대해 양호하게 표현한다. 게다가, OTF는 선형 휘도 도메인에서 선형 시프트-불변(shift-invariant) 필터인 반면에, CSF는 때때로 필터들 및 진폭 비선형성들의 조합 프로세스로서 모델링된, 복합 비선형 프로세스이다. 마지막으로, CSF의 고 주파수 감쇄의 대부분이 OTF에 의해 야기된다.
일 예시적인 실시예에서, 디더 잡음은 그것이 OTF의 역이 되도록 스펙트럼적으로 형상화될 수 있어서, 비주얼 시스템의 OTF의 거동(behavior)이 모든 주파수들에서 같게 보이는, 인지적으로 일정한 잡음을 야기하게 할 것이다. 이것은 임의의 레벨의 가시성에 대해 최대 잡음 분산을 제공할 것이다. 일반적으로, 설계 접근법은 모든 주파수들에 대해 디더 잡음을 동등하게 보이지 않게 유지하는 것이다. 즉, 잡음에 대한 OTF의 효과는 미리 보상되고, 따라서 망막에 도달하는 잡음은 백색 잡음이다.
OTF는 상이한 데이터 세트들로부터 발생하는, 몇몇 함수들로 모델링될 수 있고, 이용된 특정한 버전은 중요하지 않다. 예를 들면, 참조로서 본 명세서에 통합된, Williams 등에 의한, 발명의 명칭이 "눈의 광학 품질의 더블 패스 및 간섭 측정들(Double-pass and interferometric measures of the optical quality of the eye)",인 JOSA A 11.12(1994): 3123-3135는 다음 수학식들을 이용하여 OTF를 설명한다:
Figure 112015104648485-pct00001
(1)
여기서, s는 cy/deg 단위의 비주얼 주파수이고, 수학식 파라미터들은 a=0.1212, w1=0.3481, 및 w2=0.6519이다.
또 다른 공통 OTF 표현은 전체적으로 참조로서 본 명세서에 통합되는, Deeley, Robin J., Neville Drasdo, 및 W. Neil Charman에 의한 발명의 명칭이 "인간 시각 변조 전달 함수의 단순한 파라메트릭 모델(A simple parametric model of the human ocular modulation transfer function)"인, 안과학 및 시각 생리학 11.1(1991): 91-93에서 설명된다.
딜리 모델의 장점은 그것이 동공 크기(d)에 대해 파라미터화된다는 것이다. 이 OTF에 대한 수학식은 다음으로 주어진다:
Figure 112015104648485-pct00002
(2)
여기서, f는 cy/deg(cycles per degrees) 단위의 공간 주파수이고 d는 밀리미터(mm) 단위의 동공 크기이다. 도 1a는 3mm 동공(d=3)에 대한 수학식(2)에 따른 OTF 함수의 일례를 묘사한다. 도 1b는 도 1a의 역(1/OTF)을 묘사한다.
일부 실시예들에서, OTF 함수를 이용하는 대신에, HVS의 주파수 스펙트럼(예로서, 0 내지 60 cy/dec) 내에서 정의된 임의의 저역통과 필터를 적용할 수 있다. 그 다음, 1/OTF 잡음 필터(220)는 HVS의 주파수 스펙트럼 내에서 정의된 임의의 고역통과 필터로 표현될 수 있다.
디지털 이미지 도메인에 OTF를 적용하기 위해 주파수들은 cy/deg로부터 cy/pixel로 변환될 필요가 있다(0.5 cy/pixel은 나이퀴스트 폴딩 주파수(Nyquist folding frequency) 즉, 디지털 이미지에서 보유될 수 있는 최대 가능한 주파수임에 주의한다). 다음 수학식들은 cy/deg 단위로 주어진 비주얼 공간 주파수들 사이에서 cy/mm과 같은, 물리 주파수들, 또는 cy/pixel 단위의 디지털 주파수들로 변환하기 위해 이용될 수 있다:
Figure 112015104648485-pct00003
(3)
Figure 112015104648485-pct00004
(4)
여기서, D는 수학식(3)에서 물리 주파수들과 같은 단위들(예로서, mm 단위) 또는 픽셀 단위(수학식(4) 참조)로 측정된 뷰잉 거리이다. 예를 들면, 풀(full) 고 해상도(HD) 텔레비전(예로서, 1920×1080 픽셀 해상도를 이용하는)을 뷰잉할 때, 공통 3 화상 너비 뷰잉 거리(3H), D=3×1080=3240 픽셀들이다.
채도 서브샘플링에 대한 스펙트럼 형상화
일 예시적인 실시예에서, 디더링은 YCbCr, YUV, Lab, 등과 같은, 비디오 신호의 (휘도/채도(luma/chroma)로서 또한 언급될) 휘도/채도 표현들을 갖는 신호들에 적용된다. 이러한 표현들에서, 휘도 정보의 대부분은 Y 또는 L 신호들에 보유된다. 채도 구성요소 신호들(예로서, CbCr)은 휘도 정보를 아주 조금 보유하고, 대략 등휘도(isoluminant), 또는 의사 등휘도인 것으로서 언급된다.
일 실시예에서, 디더 잡음은 휘도 구성요소가 아닌, Cr 및 Cb와 같은, 의사 등휘도 신호들에 단지 부가된다. 이것은 잡음 및 다른 공간 패턴들의 가시성이 채도 채널들보다 휘도 채널에서 훨씬 높기 때문이다.
일 실시예에서, 잡음의 스펙트럼은 휘도 구성요소의 공간 해상도와 상이할 수 있는 채도 구성요소들의 공간 해상도에 기초하여 형상화된다. 예를 들면, 4:2:2 채도 샘플링을 이용하여, 채도 구성요소들은 수평 방향으로 2의 배수 만큼 서브샘플링된다. 예를 들면, 1920×1080 비디오 신호는 1920×1080 공간 해상도의 휘도 신호 구성요소(예로서, Y) 및 960×1080 공간 해상도의 채도 신호 구성요소들(예로서, Cb 및 Cr)을 포함할 수 있다. 또 다른 예에서, 4:2:0 채도 샘플링을 이용하여, 채도 구성요소들은 수평 및 수직 방향들 둘 모두로 2의 배수 만큼 서브샘플링된다. 그 다음, 1920×1080 비디오 신호는 960×540 공간 해상도의 채도 구성요소들을 포함할 수 있다.
일 실시예에서, 잡음은 서브샘플링된 도메인에서 부가된다. 마지막으로 디스플레이되기 전에, 채색적으로 서브샘플링된 이미지는 (예로서, 4:4:4 표현으로) 디스플레이하기 위해 필요하다면 업샘플링되고 일반적으로, 디스플레이 프라이머리(primary)들을 구동(drive)하기 위해 휘도/채도 표현으로부터 RGB 표현으로 변환된다. 신호에 부가되는 디더 잡음은 또한, 동일한 프로세스를 겪고 그것의 스펙트럼은 채도 업스케일링 프로세스의 형상(geometry)에 의해 변경된다. 따라서, 그것은, 업샘플링 프로세스 후에 원하는 스펙트럼 형상을 갖도록 업스케일링 프로세스에 의해 보상되도록 설계된다. 원하는 스펙트럼 형상은 이전에 설명된 바와 같이 OTF의 역이다.
도 2a는 본 발명의 일 실시예에 따라 채색적으로 서브샘플링된 YCbCr 이미지들을 디더링하기 위한 일 예시적인 프로세스를 묘사한다. 도 2a에 묘사된 바와 같이, 디더링 프로세스는 2개의 부분들로 분할될 수 있다: a) 디더 잡음 생성기를 위한 오프라인 설계 및 b) 잡음이 양자화될 신호들에 부가되는 실시간 디더링 프로세싱.
도 2a에 묘사된 바와 같이, 제한 없이, 디더 잡음 생성 프로세스는 전형적으로, 오프라인으로 수행된다. 일 실시예에서, 채도 구성요소들에 대해 결과로 발생하는 디더 잡음 패턴들은 메모리에 저장된다; 그러나, 충분한 계산 리소스들이 존재한다면, 프로세스의 이 부분은 또한 실시간으로 수행될 수 있다.
도 2a에 묘사된 바와 같이, 디더 잡음 생성 프로세스는 OTF 모델을 확립함으로써 단계(205)에서 시작된다. 일 예시적인 실시예에서, 제한 없이, OTF 모델은 d의 고정 값에 대해 수학식(2)의 딜리 모델일 수 있다. 일 실시예에서, d=3mm이고, 이는 밝은 광을 표현하지만; OTF 함수는 다른 광 상태들에 대해 용이하게 조정될 수 있다. 단계(210)에서, 원래 OTF 모델의 출력은, 그것의 출력이 cy/pixels 단위로 표현되도록 조정될 수 있고, 여기서 수학식(4)에서의 뷰잉 간격(예로서, D)은 관심 있는 공간 방향에서 서브샘플링된 채도 구성요소에 대한 뷰잉 간격을 표현한다. 예를 들면, 수직 주파수들에 대한 OTF 모델에 대해, 4:2:2 포맷으로 프로세싱된, HD 1920×1080 신호들에 대해, DH=3H=3×1080=3,240 픽셀들이다. 유사하게, 수평 주파수들에 대한 OTF 모델에 대해, DW=3Hs=3×(1080/2)=3×540=1620 픽셀들이다.
수학식(2)에 기초하여 수직 및 수평 주파수들(예로서, OTF(fh, d) 및 OTF(fw, d))에 대해 별개의 OTF 모델들을 이용하여, 2-D OTF 모델(예로서, OTF(fh, fw))을 생성할 수 있다. 일부 실시예에서, 2-D 모델은 데카르트(Cartesian) 분리형일 수 있다(예로서, OTF(fh, fw)=OTF(fh, d)*OTF(fw, d)). 일부 다른 실시예들에서, 공동 모델은 극성 분리형일 수 있다.
일반적으로, OTF 함수는 회전적으로 대칭적이고, 따라서 그것은 극성 분리형이지만; 데카르트 모델은 인간들에 걸친 변화들로 인해 또한 효과가 있을 수 있다. 일 예시적인 실시예에서,
Figure 112015104648485-pct00005
(5)로 두면, 수학식(2)의 OTF(fh, fw)=OTF(r, d)이다.
단계(235)는 2차원 백색(예로서, 가우시안) 잡음 생성기를 표현한다. 바람직한 일 실시예에서, 잡음 생성기는 2개의 별개의 의사 랜덤 생성기 시드(seed)들을 이용하여 채도 채널들 각각에 대한 별개의 잡음 출력들(237-A 및 237-B)을 생성한다. 일 예시적인 실시예에서, (0, 255) 범위 내의 잡음 출력에 대해, 잡음 생성기는 σ=30을 갖는 백색 잡음을 생성할 수 있다.
잡음 생성기(235)의 출력들(237-A 및 237-B) 각각은 OTF의 역(즉, 1/OTF)에 기초하여 필터를 이용하여 필터링된다. 필터링은 공간 도메인에서 또는 주파수 도메인에서 수행될 수 있다. OTF(215)가 전형적으로 주파수 도메인에 있기 때문에, 주파수 도메인에서의 필터링은 a) 즉, 고속 푸리에 변환(FFT)을 이용함으로써, 주파수 도메인에서 잡음 생성기의 출력(237)을 변환하는 단계, b) 변환 단계의 출력을 역 OTF와 곱하는 단계, 및 c) 역 FFT와 같은, 역 변환을 이용함으로써 곱을 다시 공간 도메인으로 변환하는 단계를 포함한다. 따라서, 잡음 필터(220)의 출력들(222 및 224)은 디더링될 입력 신호(예로서, 신호(202))의 채도 구성요소들(예로서, 202-Cr 및 202-Cb)에 부가될 2D 디더 잡음 패턴들의 2개의 세트들을 표현한다.
도 2a에 묘사된 바와 같이, 잡음 필터(220)의 출력들은 가중치들(WCb 및 WCr)에 의해 선택적으로 스케일링(scaling)된다. 하나의 실시예에서, 이들 가중치들은 타겟 디스플레이의 특성들(그것의 동적 범위 및 프라이머리들과 같은)에 따라 이미지 독립적이고, 조정될 수 있다. 또 다른 실시예에서, 가중치들은 또한, 매우 포화된 입력 컬러들을 검출하는 경우에 보상하기 위해 입력 이미지(202)의 로컬 영역 분석에 기초하여 추가로 조정될 수 있다. 매우 포화된 컬러 영역들의 경우들에서, 의도된 등휘소 잡음 변조들은 휘도 변조들이 된다. 예를 들면, 순수한 녹색 컬러(RGB=(0, 1, 0))에 관한 의도된 Cr 변조는 휘도 변조로서 나타나는 경향이 있는데, 이는 적색의 작은 도입된 변조들이 검은색인 0 주위에 있기 때문이다. 의도된 음의 R 변조들은 클리핑(clipping)되고 이들 R 서브픽셀들이 완전하게 턴 온(turn on)되는 이웃하는 G 서브픽셀들이기 때문에, 적색의 양의 변조들이 인지되지 않을 것이다. 또한, G가 최대 값에 있기 때문에, 임의의 양의 G 변조들은 클리핑될 것이다. 따라서, 이와 같은 컬러 영역들에서, 다른 채널 예로서, 이 예에서, Cb 채널로 채도 변조를 완전하게 시프트하는 것이 더 양호하다. 채도 잡음 변조들을 재가중하는 다양한 조합들이 적용될 수 있다. 일례로서, 일 실시예에서, 정상 프로세싱 동안 WCb 및 WCr이 이미지 독립 가중치들을 나타낸다고 가정하면, "풀 적색" 범위 내(예로서, R>200, G<10, 및 B<10)에 있는 것으로 결정된 픽셀들에 대해, 로컬 영역 분석 단계(225)는 2개의 가중치들을 다음과 같이 조정할 수 있다:
입력 픽셀이 "풀 적색"이면
WCr=c1* WCr 및 WCb=c2*WCb이다;
여기서, c1 및 c2는 미리 결정된 스케일러들이다(예로서, c1=0 및 c2=2.0).
일부 실시예에서, 로컬 영역 분석(225)은 입력 컬러 도메인(예로서, YCbCr)과 상이한 컬러 도메인(예로서, RGB)에서 동작할 수 있다. 일부 다른 실시예들에서, 로컬 영역 분석(225)은 입력 컬러 도메인(예로서, YCbCr)과 동일한 컬러 도메인에서 동작할 수 있다.
선택적 가중(230-A 및 230-B) 후에, 디더링 잡음은 잡음 수정된 컬러 구성요소들(246-Cb, 246-Cr)을 생성하기 위해 입력 신호(202)의 채도 구성요소들(202-Cb 및 202-Cr)에 부가된다. 디더링 잡음(222 및 224)은 입력 신호 비트 깊이보다 적은 비트 깊이로 표현될 수 있다. 일 실시예에서, 잡음 및 신호는 2개의 신호들의 최하위 비트(the least-significant bit)들을 정렬시킴으로써 부가된다.
디더 잡음의 부가에 이어서, 원래 휘도 신호(202-Y) 및 잡음 수정된 채도 신호들(246-Cb 및 246-Cr)은 직접적으로 양자화될 수 있거나, 그들은 먼저 단계(245)에서 디스플레이 의존 컬러 공간(예로서, RGB)으로 변환될 수 있다. 이 단계는 또한, 휘도 구성요소의 해상도를 매칭시키기 위한 채도 구성요소들의 업샘플링을 포함할 수 있다. (선택적) 컬러 변환(245)에 이어서, 그것의 출력(247)은 출력 디더링된 이미지(249)를 생성하기 위해 본 분야에서 공지된 양자화 방식들 중 임의의 것을 이용하여 각각의 컬러 구성요소에 대한 원하는 비트 깊이(예로서, P<N)로 양자화될 수 있다. 서브샘플링된 채도 구성요소 신호들에 대한 필터링된 잡음의 부가, 원래 RGB에 대한 후속 변환, 및 RGB에서의 비트 깊이의 잘림(truncation)은 도 2의 하반부에서 실시간 프로세스로서 도시된다.
일부 실시예들에서, 디더링될(예로서, 202) 입력 신호는 감마 정정된 도메인에 있을 수 있고, 상기 감마 정정된 도메인은 대략 휘도의 멱함수(예로서, 1/2.2)이다. 일부 실시예들에서, OTF 필터링 프로세스가 선형 휘도 도메인에서 선형 필터와 같이 동작한다는 사실로부터 이용하기 위해, 부가적인 신호 선형화 단계(도시되지 않음)는 잡음 부가 단계들(240-A 및 240-B)에 앞설 수 있다. 이러한 실시예들(도시되지 않음)에서, 신호(202)는 a) 원래 입력 YCbCr 신호를 RGB로 변환함으로써, b) RGB 신호에 역 감마 함수를 적용함으로써, 및 c) 선형 YCbCr(예로서, Y'Cb'Cr')로 다시 변환함으로써 생성될 수 있다. 일부 다른 실시예들에서, 디더 잡음 부가 단계들은 대안적인 선형화된 컬러 공간(예로서, LMS 또는 CIE XYZ)에서 수행될 수 있다. 이러한 실시예들에서, 컬러 변환 단계(245)는 필요하다면 적응될 수 있다(예로서, LMS를 RGB로 또는 XYZ를 RGB로).
도 2b는 본 발명의 또 다른 실시예에 따라 채색적으로 서브샘플링된 YCbCr 이미지들을 디더링하기 위한 일 예시적인 프로세스를 묘사한다. 도 2a 및 도 2b에서 묘사된 실시예들 사이의 주요 차는 도 2b에서 묘사된 시스템에서, 디더 잡음이 Cr 및 Cb와 같은, 의사 등휘도 신호들, 및 휘도 구성요소(Y)(202) 둘 모두에 부가된다는 것이다.
도 2b에서 묘사된 바와 같이, "오프라인 설계"의 부분으로서, 휘도 관련 디더링 신호(226)는 사전에 논의된 바와 같이 채도 관련 디더링 신호들(222 및 224)을 생성하기 위해 이용된 접근법과 유사한 접근법을 이용하여 생성될 수 있다. OTF 모델(205), 및 입력 샘플 도메인에서 산출된 뷰잉 간격들(208-Y)을 고려하면, 입력 OTF 모델은 수학식들((3) 및 (4))을 이용하여 cy/deg로부터 cy/pixel 표현으로 매핑된다. 매핑 함수들((210-C) 및 (210-Y)) 사이의 핵심 차는 210-C에서, 뷰잉 간격들은 서브샘플링된 채도 도메인에서 산출되는 반면에, 210-Y에서, 뷰잉 간격들은 입력, 풀 해상도, 도메인에서 계산된다는 것이다.
필터(220)는 이제, 하나가 각각의 컬러 구성요소를 위한 것인, 3개의 별개의 1/OTF 필터들을 포함하고, 각각의 필터는 사전에 논의된 2D 공간 백색 잡음 생성기(235)에 의해 생성된 백색 잡음을 필터링한다. 잡음 생성기(235)는 이제 3개의 별개의 시드들을 이용할 수 있고, 하나는 컬러 구성요소들 각각을 위한 것이다.
도 2b에서 묘사된 바와 같이, 실시간 프로세싱 단계 동안, 잡음 필터(220)의 휘도 관련 출력(226)은 또한, 가중치(WY)를 이용하여 스케일러(230-C)에 의해 선택적으로 스케일링될 수 있다. 선택적 가중(230-A, 230-B, 230-C) 후에, 디더링 잡음은 잡음 수정된 컬러 구성요소들(246-Cb, 246-Cr, 및 246-Y)을 생성하기 위해 입력 신호(202)의 채도 구성요소들(202-Cb 및 202-Cr) 및 휘도 구성요소(202-Y) 둘 모두에 부가된다.
디더 잡음의 부가에 이어서, 수정된 휘도 신호(246-Y) 및 잡음 수정된 채도 신호들(246-Cb 및 246-Cr)은 출력 디더링된 이미지(252)를 생성하기 위해 본 분야에서 공지된 양자화 방식들 중 임의의 것을 이용하여 원하는 비트 깊이(예로서, P<N)로 양자화기(250)에 의해 양자화된다.
일부 실시예들에서, 양자화(250) 다음에 디더링된 신호(254)를 생성하기 위한 디스플레이 또는 다른 사후 프로세싱을 위해 적합한 컬러 도메인에 대한 선택적 컬러 변환(245)(예로서, YCbCr를 RGB로)이 이어질 수 있다. 이 단계는 또한, 휘도 구성요소의 해상도를 매칭시키기 위한 채도 구성요소들의 업샘플링을 포함할 수 있다.
일부 실시예들에서, 도 2a에서 묘사된 바와 같이, 컬러 변환(245)은 양자화 단계(250)에 앞설 수 있다.
예시적인 컴퓨터 시스템 구현
본 발명의 실시예들은 컴퓨터 시스템, 전자 회로 및 구성요소들로 구성된 시스템들, 마이크로제어기, 필드 프로그래밍가능한 게이트 어레이(FPGA), 또는 또 다른 구성가능하거나 프로그래밍가능한 로직 디바이스(PLD)와 같은 집적 회로(IC) 디바이스, 이산 시간 또는 디지털 신호 프로세서(DSP), 주문형 반도체(ASIC), 및/또는 이러한 시스템들, 디바이스들 또는 구성요소들 중 하나 이상을 포함하는 장치로 구현될 수 있다. 컴퓨터 및/또는 IC는 본 명세서에서 설명된 것들과 같은, 이미지 디더링에 관련된 지시들을 수행하거나, 제어하거나, 실행할 수 있다. 컴퓨터 및/또는 IC는 본 명세서에서 설명된 바와 같이 이미지 디더링에 관한 다양한 파라미터들 또는 값들 중 임의의 것을 계산할 수 있다. 이미지 디더링 실시예들은 하드웨어, 소프트웨어, 펌웨어 및 그의 다양한 조합들로 구현될 수 있다.
본 발명의 특정 구현들은 프로세서들로 하여금 본 발명의 방법을 수행하도록 하는 소프트웨어 지시들을 실행하는 컴퓨터 프로세서들을 포함한다. 예를 들면, 디스플레이, 인코더, 셋 톱 박스, 트랜스코더(transcoder) 등에서의 하나 이상의 프로세서들은 프로세서들에 액세스가능한 프로그램 메모리에서의 소프트웨어 지시들을 실행함으로써 상기 설명된 바와 같이 이미지 디더링을 위한 방법들을 구현할 수 있다. 본 발명은 또한, 프로그램 제품의 형태로 제공될 수 있다. 프로그램 제품은, 데이터 프로세서에 의해 실행될 때 데이터 프로세서로 하여금 본 발명의 방법을 실행하도록 하는 지시들을 포함하는 컴퓨터-판독가능한 신호들의 세트를 지니는 임의의 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 광범위한 형태들 중 임의의 형태일 수 있다. 프로그램 제품은 예를 들면, 플로피 디스켓들, 하드 디스크 드라이브들을 포함하는 자기 데이터 저장 매체들, CD ROM들, DVD들을 포함하는 광학 데이터 저장 매체들, ROM들, 플래시 RAM을 포함하는 전자 데이터 저장 매체들, 등과 같은 물리적 매체들을 포함할 수 있다. 프로그램 제품 상의 컴퓨터-판독가능한 신호들은 선택적으로 압축될 수 있거나 암호화될 수 있다.
구성요소(예로서, 소프트웨어 모듈, 프로세서, 어셈블리, 디바이스, 회로, 등)가 상기 언급되는 경우에, 다르게 표시되지 않는다면, 그 구성요소에 대한 참조("수단"에 대한 참조를 포함하는)는 그 구성요소의 등가물들로서, 본 발명의 도시된 예시적인 실시예들에서 기능을 수행하는 개시된 구조와 구조적으로 동등하지 않은 구성요소들을 포함하는, (예로서, 기능적으로 동등한) 설명된 구성요소의 기능을 수행하는 임의의 구성요소를 포함하는 것으로 해석되어야 한다.
등가물들, 확장들, 대안들 및 기타
이미지 디더링에 관한 예시적인 실시예들이 따라서 설명된다. 상기 명세서에서, 본 발명의 실시예들은 구현 마다 달라질 수 있는 많은 특정 상세들에 관하여 설명되었다. 따라서, 본 발명이 무엇이고, 출원인들에 의해 본 발명인 것으로 의도되는 것에 관한 유일하고 포괄적인 표시자는 임의의 후속 정정을 포함하는, 이러한 청구항들이 공표하는 특정 형태로 본 출원으로부터 공표하는 청구항들의 세트이다. 이러한 청구항들에 포함된 용어들에 대해 본 명세서에 명백하게 제시된 임의의 정의들은 청구항들에서 이용된 바와 같이 이러한 용어들의 의미를 지배할 것이다. 따라서, 청구항에서 명백하게 인용되지 않은 어떠한 제한, 요소, 속성, 특징, 장점 또는 특성도 어떤 방식으로든 이러한 청구항의 범위를 제한해서는 안된다. 명세서 및 도면들은 따라서, 제한적인 의미보다는 오히려 예시적인 것으로 간주되어야 한다.
220: 잡음 필터 235: 잡음 생성기

Claims (24)

  1. 프로세서를 이용하여 이미지들을 디더링(dithering)하기 위한 방법에 있어서:
    제 1 비트 깊이의 입력 이미지를 수신하는 단계로서, 상기 입력 이미지는 휘도 구성요소 및 하나 이상의 채도 구성요소들을 포함하는 제 1 컬러 포맷으로 표현되는, 상기 입력 이미지를 수신하는 단계;
    백색 잡음을 생성하는 단계;
    디더 잡음을 생성하기 위해 인간 비주얼 시스템(human visual system; HVS)의 광학 전달 함수(OTF)의 역에 따라 상기 백색 잡음을 필터링(filtering)하는 단계로서, 상기 OTF는 적어도 수평 뷰잉(viewing) 간격 또는 수직 뷰잉 간격에 응답하여 적응되는, 상기 백색 잡음을 필터링하는 단계; 및
    잡음 수정된 채도 구성요소들을 생성하기 위해 상기 하나 이상의 채도 구성요소들에 상기 디더 잡음을 부가하는 단계를 포함하고,
    상기 백색 잡음은 2개 이상의 별개의 백색 잡음 출력들을 포함하고,
    각각의 잡음 출력은 상이한 시드(seed) 수를 이용하여 생성되는, 이미지들을 디더링하기 위한 방법.
  2. 제 1 항에 있어서,
    잡음 수정된 휘도 구성요소를 생성하기 위해 상기 휘도 구성요소에 상기 디더 잡음을 부가하는 단계를 더 포함하는, 이미지들을 디더링하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 휘도 구성요소 및 상기 잡음 수정된 채도 구성요소들을 제 2 컬러 포맷의 제 2 이미지로 변환하는 단계; 및
    제 2 비트 깊이의 출력 디더링된 이미지를 생성하기 위해 상기 제 2 이미지를 양자화하는 단계를 더 포함하고,
    상기 제 2 비트 깊이는 상기 제 1 비트 깊이보다 낮은, 이미지들을 디더링하기 위한 방법.
  4. 제 2 항에 있어서,
    제 2 비트 깊이의 출력 디더링된 이미지(252)를 생성하기 위해 상기 잡음 수정된 휘도 구성요소 및 상기 하나 이상의 잡음 수정된 채도 구성요소들을 양자화하는 단계를 더 포함하고,
    상기 제 2 비트 깊이는 상기 제 1 비트 깊이보다 낮은, 이미지들을 디더링하기 위한 방법.
  5. 제 1 항에 있어서,
    제 2 비트 깊이의 출력 디더링된 이미지(249)를 생성하기 위해 상기 휘도 구성요소 및 상기 잡음 수정된 채도 구성요소들을 양자화하는 단계를 더 포함하고,
    상기 제 2 비트 깊이는 상기 제 1 비트 깊이보다 낮은, 이미지들을 디더링하기 위한 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 OTF의 모델은 함수
    Figure 112015104648485-pct00006
    를 포함하고,
    여기서, d는 밀리미터(mm) 단위의 인간 동공의 크기를 나타내고 f는 cycles/degrees 단위의 입력 공간 주파수를 포함하는, 이미지들을 디더링하기 위한 방법.
  8. 제 7 항에 있어서,
    d=3mm인, 이미지들을 디더링하기 위한 방법.
  9. 제 7 항에 있어서,
    상기 OTF 모델은 변환 함수
    Figure 112015104648485-pct00007
    를 이용함으로써 cycles/degrees 사이의 주파수들을 cycles/pixel로 변환함으로써 디지털 이미지 도메인에 대해 적응되는, 이미지들을 디더링하기 위한 방법.
  10. 제 1 항에 있어서,
    상기 입력 이미지의 적어도 하나의 채도 구성요소는 상기 입력 이미지의 휘도 구성요소의 공간 해상도보다 낮은 공간 해상도를 포함하는, 이미지들을 디더링하기 위한 방법.
  11. 제 10 항에 있어서,
    상기 입력 이미지의 적어도 하나의 컬러 구성요소의 수평 해상도는 상기 입력 이미지의 휘도 구성요소의 수평 해상도의 절반인, 이미지들을 디더링하기 위한 방법.
  12. 제 1 항에 있어서,
    상기 제 1 컬러 포맷은 4:2:2 또는 4:2:0 YCbCr 컬러 포맷을 포함하는, 이미지들을 디더링하기 위한 방법.
  13. 제 1 항에 있어서,
    상기 수평 또는 상기 수직 뷰잉 간격들 중 적어도 하나는 상기 입력 이미지의 채도 구성요소들 중 하나의 공간 해상도에 기초하여 결정되는, 이미지들을 디더링하기 위한 방법.
  14. 제 1 항에 있어서,
    상기 백색 잡음 출력의 구성요소들 각각은 하나 이상의 디더 잡음 구성요소들을 생성하기 위해 별개로 필터링되는, 이미지들을 디더링하기 위한 방법.
  15. 제 14 항에 있어서,
    제 1 스케일링(scaling)된 디더 잡음 구성요소를 생성하기 위해 제 1 잡음 스케일 인자(factor) 만큼 제 1 디더 잡음 구성요소를 스케일링하는 단계; 및
    제 2 스케일링된 디더 잡음 구성요소를 생성하기 위해 제 2 잡음 스케일 인자 만큼 제 2 디더 잡음 구성요소를 스케일링하는 단계를 더 포함하고,
    상기 제 1 및 제 2 스케일 인자들은 상기 입력 이미지의 로컬 영역 분석에 응답하여 결정되는, 이미지들을 디더링하기 위한 방법.
  16. 제 15 항에 있어서,
    상기 로컬 영역 분석은, 상기 입력 이미지의 적어도 하나의 픽셀이 픽셀 구성요소 값들의 하나 이상의 미리 결정된 경계들 내에 있는지의 여부를 검출하는 것을 포함하는, 이미지들을 디더링하기 위한 방법.
  17. 제 3 항에 있어서,
    상기 휘도 구성요소 및 상기 잡음 수정된 채도 구성요소들을 상기 제 2 컬러 포맷의 제 2 이미지로 변환하기 전에, 상기 잡음 수정된 채도 구성요소들은 상기 휘도 구성요소의 공간 해상도를 매칭(matching)시키기 위해 업스케일링되는, 이미지들을 디더링하기 위한 방법.
  18. 제 1 항에 있어서,
    상기 제 1 컬러 포맷은 선형화된 컬러 포맷인, 이미지들을 디더링하기 위한 방법.
  19. 제 18 항에 있어서,
    상기 선형화된 컬러 포맷은 선형화된 YCbCr, LMS, 또는 CIE XYZ인, 이미지들을 디더링하기 위한 방법.
  20. 제 1 항에 있어서,
    상기 디더 잡음을 생성하기까지의 상기 단계들은 상기 프로세서에 의해 오프라인 계산되는 반면에, 나머지 단계들은 상기 프로세서 또는 제 2 프로세서에 의해 실시간으로 계산되는, 이미지들을 디더링하기 위한 방법.
  21. 프로세서를 이용하여 이미지들을 디더링하기 위한 방법에 있어서:
    제 1 비트 깊이의 입력 이미지를 수신하는 단계로서, 상기 입력 이미지는 제 1 공간 해상도의 휘도 구성요소 및 제 2 공간 해상도의 하나 이상의 채도 구성요소들을 포함하는 제 1 컬러 포맷으로 표현되고, 상기 제 2 공간 해상도는 적어도 수직 또는 수평 방향으로 상기 제 1 공간 해상도보다 낮은, 상기 입력 이미지를 수신하는 단계;
    백색 잡음을 생성하는 단계;
    채도 디더 잡음을 생성하기 위해 제 1 저역통과 필터의 역 응답에 따라 상기 백색 잡음을 필터링하는 단계로서, 상기 제 1 저역통과 필터의 응답은 상기 제 2 공간 해상도에 응답하여 적응되는, 상기 백색 잡음을 필터링하는 단계;
    휘도 디더 잡음을 생성하기 위해 제 2 저역통과 필터의 역 응답에 따라 상기 백색 잡음을 필터링하는 단계로서, 상기 제 2 저역통과 필터의 응답은 상기 제 1 공간 해상도에 응답하여 적응되는, 상기 백색 잡음을 필터링하는 단계;
    잡음 수정된 휘도 구성요소를 생성하기 위해 상기 휘도 구성요소에 상기 휘도 디더 잡음을 부가하는 단계;
    잡음 수정된 채도 구성요소들을 생성하기 위해 상기 하나 이상의 채도 구성요소들에 상기 채도 디더 잡음을 부가하는 단계; 및
    상기 잡음 수정된 휘도 구성요소 및 상기 잡음 수정된 채도 구성요소들을 양자화하는 것에 응답하여 제 2 비트 깊이의 출력 디더링된 이미지를 생성하는 단계를 포함하고,
    상기 제 2 비트 깊이는 상기 제 1 비트 깊이보다 낮은, 이미지들을 디더링하기 위한 방법.
  22. 제 21 항에 있어서,
    상기 제 1 저역통과 필터 및 상기 제 2 저역통과 필터의 응답들은 인간 비주얼 시스템의 광학 전달 함수의 모델의 응답을 매칭시키는, 이미지들을 디더링하기 위한 방법.
  23. 프로세서를 포함하고 제 1 항 내지 제 5 항 및 제 7 항 내지 제 22 항 중 어느 한 항에 따른 방법을 수행하도록 구성된, 장치.
  24. 제 1 항 내지 제 5 항 및 제 7 항 내지 제 22 항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 실행가능한 지시들이 저장된, 비 일시적 컴퓨터 판독가능한 저장 매체.
KR1020157031042A 2013-04-29 2014-04-02 채색적으로 서브샘플링된 이미지 포맷들을 위한 디더링 KR101746491B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361817222P 2013-04-29 2013-04-29
US61/817,222 2013-04-29
US201361830806P 2013-06-04 2013-06-04
US61/830,806 2013-06-04
PCT/US2014/032731 WO2014178989A1 (en) 2013-04-29 2014-04-02 Dithering for chromatically subsampled image formats

Publications (2)

Publication Number Publication Date
KR20150138300A KR20150138300A (ko) 2015-12-09
KR101746491B1 true KR101746491B1 (ko) 2017-06-13

Family

ID=50680192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157031042A KR101746491B1 (ko) 2013-04-29 2014-04-02 채색적으로 서브샘플링된 이미지 포맷들을 위한 디더링

Country Status (7)

Country Link
US (1) US9762876B2 (ko)
EP (1) EP2992671B1 (ko)
JP (1) JP6220960B2 (ko)
KR (1) KR101746491B1 (ko)
CN (1) CN105164996B (ko)
TW (1) TWI546798B (ko)
WO (1) WO2014178989A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723711B (zh) 2013-11-12 2019-05-07 杜比实验室特许公司 高动态范围视频编码中的预抖动方法、装置及存储介质
AU2015275320A1 (en) * 2015-12-23 2017-07-13 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value
CN105635742B (zh) * 2015-12-30 2018-09-07 杭州电子科技大学 面向3d视频编码的基于深度增强的重采样方法
EP3296960B1 (en) * 2016-09-15 2018-08-22 Axis AB A method and an arrangement for pseudo coloring of a digital image
US10070098B2 (en) * 2016-10-06 2018-09-04 Intel Corporation Method and system of adjusting video quality based on viewer distance to a display
IT201700099120A1 (it) * 2017-09-05 2019-03-05 Salvatore Lamanna Sistema di illuminazione per schermo di qualsiasi tipo
WO2019101373A1 (en) 2017-11-24 2019-05-31 Thomson Licensing Method and apparatus for colour correction during hdr to sdr conversion
US11790564B2 (en) * 2020-03-30 2023-10-17 Google Llc Encoders for improved image dithering
US11810494B2 (en) * 2021-09-22 2023-11-07 Apple Inc. Dither enhancement of display gamma DAC systems and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316337A (ja) * 2002-02-01 2003-11-07 Sharp Corp 画像処理方法および画像処理装置
JP2010044446A (ja) 2008-08-08 2010-02-25 Canon Inc 画像処理装置、画像処理方法及びプログラム
WO2011014170A1 (en) * 2009-07-30 2011-02-03 Hewlett-Packard Development Company, L.P. Method for tone mapping an image

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1218015A (en) 1967-03-13 1971-01-06 Nat Res Dev Improvements in or relating to systems for transmitting television signals
US3961134A (en) 1975-05-09 1976-06-01 Bell Telephone Laboratories, Incorporated Bi-level display system
US4758893A (en) 1985-09-23 1988-07-19 Quanticon Inc. Cinematic dithering for television systems
US5309526A (en) 1989-05-04 1994-05-03 At&T Bell Laboratories Image processing system
US5138303A (en) 1989-10-31 1992-08-11 Microsoft Corporation Method and apparatus for displaying color on a computer output device using dithering techniques
JP2894117B2 (ja) 1992-10-20 1999-05-24 富士ゼロックス株式会社 画像信号処理方法及びその装置
JP3396512B2 (ja) * 1993-08-31 2003-04-14 パイオニア株式会社 ディザ生成装置
US5696602A (en) 1995-08-31 1997-12-09 Lexmark International, Inc. Method for halftoning using stochastic dithering with minimum density variance
US6760122B1 (en) 1999-08-24 2004-07-06 Hewlett-Packard Development Company, L.P. Reducing quantization errors in imaging systems
US6671068B1 (en) 1999-09-30 2003-12-30 Sharp Laboratories Of America, Inc. Adaptive error diffusion with improved edge and sharpness perception
US6441867B1 (en) 1999-10-22 2002-08-27 Sharp Laboratories Of America, Incorporated Bit-depth extension of digital displays using noise
JP4496574B2 (ja) 1999-11-15 2010-07-07 セイコーエプソン株式会社 画像処理装置、記憶装置、画像処理システムおよび画像処理方法
US6697169B1 (en) 1999-12-08 2004-02-24 Sharp Laboratories Of America, Inc. Enhanced error diffusion using a correlated chromatic noise pattern
JP3763397B2 (ja) 2000-03-24 2006-04-05 シャープ株式会社 画像処理装置、画像表示装置、パーソナルコンピュータ、画像処理方法
US7221381B2 (en) 2001-05-09 2007-05-22 Clairvoyante, Inc Methods and systems for sub-pixel rendering with gamma adjustment
KR20030023711A (ko) * 2001-05-23 2003-03-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 디더링 방법 및 장치
US7098927B2 (en) 2002-02-01 2006-08-29 Sharp Laboratories Of America, Inc Methods and systems for adaptive dither structures
TWI235000B (en) 2002-09-24 2005-06-21 Mstar Semiconductor Inc Apparatus and method for masking interference noise contained in signal source
US8243093B2 (en) 2003-08-22 2012-08-14 Sharp Laboratories Of America, Inc. Systems and methods for dither structure creation and application for reducing the visibility of contouring artifacts in still and video images
KR20060090979A (ko) 2003-09-23 2006-08-17 톰슨 라이센싱 영상 위로 잡음 추가 방법
US7352373B2 (en) 2003-09-30 2008-04-01 Sharp Laboratories Of America, Inc. Systems and methods for multi-dimensional dither structure creation and application
JP2006229264A (ja) * 2004-02-09 2006-08-31 Sharp Corp 適応型ディザー構造のための方法およびシステム
US7253819B1 (en) * 2004-04-16 2007-08-07 Majesco Holdings, Inc. Apparatus and method for representing visual information for embedded handheld devices
US7590299B2 (en) * 2004-06-10 2009-09-15 Samsung Electronics Co., Ltd. Increasing gamma accuracy in quantized systems
US7474316B2 (en) * 2004-08-17 2009-01-06 Sharp Laboratories Of America, Inc. Bit-depth extension of digital displays via the use of models of the impulse response of the visual system
US7639849B2 (en) * 2005-05-17 2009-12-29 Barco N.V. Methods, apparatus, and devices for noise reduction
JP2007208786A (ja) 2006-02-03 2007-08-16 Seiko Epson Corp ディザマトリックスの生成
US7548177B2 (en) 2006-08-14 2009-06-16 Agilent Technologies, Inc. Multiple FM dither
KR20080066288A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 영상표시장치 및 그 영상표시방법
US7876247B1 (en) 2007-11-29 2011-01-25 Shawn David Hunt Signal dependent dither
US7551341B1 (en) * 2008-01-28 2009-06-23 Dolby Laboratories Licensing Corporation Serial modulation display having binary light modulation stage
JP5206276B2 (ja) 2008-02-01 2013-06-12 ソニー株式会社 階調変換装置、階調変換方法、及び、プログラム
US8451298B2 (en) 2008-02-13 2013-05-28 Qualcomm Mems Technologies, Inc. Multi-level stochastic dithering with noise mitigation via sequential template averaging
EP2099014B1 (en) 2008-03-07 2014-06-18 Barco NV A method and device to enhance image quality in digital video processing systems using dithering
US20110091130A1 (en) 2008-06-09 2011-04-21 Universite De Montreal Method and module for improving image fidelity
WO2010064309A1 (ja) 2008-12-03 2010-06-10 富士通株式会社 表示装置及び表示制御プログラム
US8416256B2 (en) 2009-03-18 2013-04-09 Stmicroelectronics, Inc. Programmable dithering for video displays
EP2485471B1 (en) * 2009-09-28 2017-03-15 Mimaki Engineering Co., Ltd. Program, image processing device, and image processing method
GB2475878A (en) 2009-12-03 2011-06-08 St Microelectronics Obtaining dithered image data word by adding noise contribution
US8766830B2 (en) 2010-04-29 2014-07-01 Agilent Technologies, Inc. Digital waveform synthesizer for NMR phase control
US20120087411A1 (en) 2010-10-12 2012-04-12 Apple Inc. Internal bit depth increase in deblocking filters and ordered dither
JP5685064B2 (ja) * 2010-11-29 2015-03-18 株式会社ジャパンディスプレイ 画像表示装置、画像表示装置の駆動方法及び画像表示プログラム、並びに、階調変換装置
US20120268479A1 (en) * 2011-03-15 2012-10-25 Qualcomm Mems Technologies, Inc. Methods and apparatus for improved dithering on a line multiplied display
US20130046803A1 (en) * 2011-08-18 2013-02-21 Qualcomm Mems Technologies Dither-aware image coding
WO2013158592A2 (en) 2012-04-16 2013-10-24 Magna Electronics, Inc. Vehicle vision system with reduced image color data processing by use of dithering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316337A (ja) * 2002-02-01 2003-11-07 Sharp Corp 画像処理方法および画像処理装置
JP2010044446A (ja) 2008-08-08 2010-02-25 Canon Inc 画像処理装置、画像処理方法及びプログラム
WO2011014170A1 (en) * 2009-07-30 2011-02-03 Hewlett-Packard Development Company, L.P. Method for tone mapping an image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DALY et al " "Bit-depth extension using spatiotemporal microdither based on models of the equivalent input noise of the visual system" SPIE 2003 pages 455-466 (2003.01.01)

Also Published As

Publication number Publication date
JP2016526312A (ja) 2016-09-01
CN105164996B (zh) 2018-06-05
US20160080712A1 (en) 2016-03-17
EP2992671B1 (en) 2018-11-28
EP2992671A1 (en) 2016-03-09
US9762876B2 (en) 2017-09-12
TW201445556A (zh) 2014-12-01
CN105164996A (zh) 2015-12-16
JP6220960B2 (ja) 2017-10-25
TWI546798B (zh) 2016-08-21
WO2014178989A1 (en) 2014-11-06
KR20150138300A (ko) 2015-12-09

Similar Documents

Publication Publication Date Title
KR101746491B1 (ko) 채색적으로 서브샘플링된 이미지 포맷들을 위한 디더링
US10540920B2 (en) Display management for high dynamic range video
KR102117522B1 (ko) 높은 동적 범위 비디오에 대한 디스플레이 관리
US7474316B2 (en) Bit-depth extension of digital displays via the use of models of the impulse response of the visual system
JP4688432B2 (ja) ディスプレイ解像度を改善するためのシステム
CN110691227B (zh) 一种视频信号处理方法及装置
US6775420B2 (en) Methods and systems for improving display resolution using sub-pixel sampling and visual error compensation
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
JP2004524729A (ja) サブピクセルサンプリングと視覚的歪みフィルタリングを用いた表示解像度向上の方法およびそのシステム
US20100201701A1 (en) Image processor, image processing method, display device, program and integrated circuit
Zhang et al. Adaptive local contrast enhancement for the visualization of high dynamic range images
JP2021082069A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9930349B2 (en) Image processing to retain small color/gray differences
US11277543B1 (en) Perceptual dithering for HDR video and images
KR100698627B1 (ko) 영상 콘트라스트 개선 장치 및 그 방법
Daly 65.4: Invited Paper: Key Human Visual System Components as Applied to Display Algorithms
JP2019148777A (ja) 表示装置、表示装置の制御方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant