KR20230038191A - 저조도 조건들에서 캡처된 컬러 색조된 픽셀들의 보정 - Google Patents

저조도 조건들에서 캡처된 컬러 색조된 픽셀들의 보정 Download PDF

Info

Publication number
KR20230038191A
KR20230038191A KR1020237000824A KR20237000824A KR20230038191A KR 20230038191 A KR20230038191 A KR 20230038191A KR 1020237000824 A KR1020237000824 A KR 1020237000824A KR 20237000824 A KR20237000824 A KR 20237000824A KR 20230038191 A KR20230038191 A KR 20230038191A
Authority
KR
South Korea
Prior art keywords
data
image data
current
image
chrominance
Prior art date
Application number
KR1020237000824A
Other languages
English (en)
Inventor
보언 송
커 허
셴더 리우
신펑 장
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20230038191A publication Critical patent/KR20230038191A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G06T5/009—Global, i.e. based on properties of the image as a whole
    • G06T5/73—
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

본 개시의 양태들은 이미지 프로세싱 파이프라인들에서의 컬러 보정에 관한 것이다. 예시적인 방법은 복수의 픽셀들의 각각에 대한 레퍼런스 루미넌스 데이터 및 레퍼런스 크로미넌스 데이터에 대응하는 제 1 이미지 데이터를 수신하는 단계, 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하는 단계, 제 1 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행함으로써 제 2 이미지 데이터를 생성하는 단계로서, 제 2 이미지 데이터는 복수의 픽셀들의 각각에 대한 현재의 루미넌스 데이터 및 현재의 크로미넌스 데이터에 대응하는, 상기 제 2 이미지 데이터를 생성하는 단계, 및 출력 이미지 데이터를 생성하는 단계를 포함할 수도 있다. 복수의 픽셀들의 각각의 픽셀에 대해, 출력 데이터는 현재의 루미넌스 데이터의 대응하는 픽셀의 출력 루미넌스 값, 및 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터 중 선택된 데이터로부터 대응하는 픽셀의 크로미넌스 값들을 포함할 수도 있으며, 그 선택은 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터에 적어도 부분적으로 기초한다.

Description

저조도 조건들에서 캡처된 컬러 색조된 픽셀들의 보정
본 개시는 일반적으로 이미지 캡처를 위한 시스템들 및 방법들에 관한 것으로서, 구체적으로, 캡처된 이미지들의 파이프라인 프로세싱에 관한 것이다.
상보형 금속 산화물 반도체 (CMOS) 이미지 센서들과 같은 이미지 센서들에서의 비정상적인 블랙 레벨들은 이미지의 블랙 영역들에서 가시적인 적색 색조(reddish tint)들을 초래할 수도 있다. 이미지 센서들에서의 컬러 미스매치는 이미지 신호 프로세서 (ISP) 에 의해 증폭될 수도 있다. 예를 들어, ISP 에 의해 수행되는 디지털 이득 또는 동적 이득 압축 (DRC) 은 컬러 미스매치를 증폭시켜, 그러한 적색 색조들을 초래할 수도 있다.
이 개요는, 상세한 설명에서 이하 더 설명되는 개념들의 선택을 단순화된 형태로 도입하도록 제공된다. 이 개요는 청구된 주제의 핵심적인 특징들 또는 본질적인 특징들을 식별하도록 의도되지 않으며, 청구된 주제의 범위를 제한하도록 의도되지도 않는다. 본 개시의 시스템들, 방법들 및 디바이스들 각각은 수개의 혁신적 양태들을 가지며, 이들 양태들 중 어떠한 단일 양태도 본 명세서에 개시된 바람직한 속성들을 유일하게 책임지지 않는다.
본 개시에서 설명된 주제의 하나의 혁신적 양태는 컬러 보정을 위한 방법으로서 구현될 수 있다. 그 방법은 적합한 디바이스에 의해 수행될 수 있으며, 복수의 픽셀들의 각각에 대한 레퍼런스 루미넌스 데이터 및 레퍼런스 크로미넌스 데이터에 대응하는 제 1 이미지 데이터를 수신하는 단계, 제 1 이미지 데이터가 다크 (dark) 환경에서 캡처된 원시 이미지에 대응함을 결정하는 단계, 제 1 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행함으로써 제 2 이미지 데이터를 생성하는 단계로서, 제 2 이미지 데이터는 복수의 픽셀들의 각각에 대한 현재의 루미넌스 데이터 및 현재의 크로미넌스 데이터에 대응하는, 상기 제 2 이미지 데이터를 생성하는 단계, 및 복수의 픽셀들의 각각의 픽셀에 대해, 현재의 루미넌스 데이터의 대응하는 픽셀의 출력 루미넌스 값, 및 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터 중 선택된 데이터로부터 대응하는 픽셀의 크로미넌스 값들을 포함하도록 출력 이미지 데이터를 생성하는 단계로서, 그 선택은 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터에 적어도 부분적으로 기초하는, 상기 출력 이미지 데이터를 생성하는 단계를 포함할 수도 있다.
일부 양태들에서, 제 1 이미지 데이터 및 제 2 이미지 데이터는 YUV 포맷이고, 레퍼런스 크로미넌스 데이터는 레퍼런스 U 데이터 및 레퍼런스 V 데이터를 포함하고, 현재의 크로미넌스 데이터는 현재의 U 데이터 및 현재의 V 데이터를 포함한다. 일부 양태들에서, 복수의 픽셀들의 각각의 픽셀에 대해, 제 1 이미지 데이터의 대응하는 픽셀이 회색으로서 검출되고 제 2 이미지 데이터의 대응하는 픽셀이 컬러 색조된 것으로서 검출될 경우, 출력 이미지 데이터는 현재의 크로미넌스 데이터 대신 레퍼런스 크로미넌스 데이터를 포함한다. 일부 양태들에서, 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하는 것은 레퍼런스 U 데이터와 중간점 U 값 사이의 절대 차이가 레퍼런스 임계치보다 작음을 결정하는 것, 및 레퍼런스 V 데이터와 중간점 V 값 사이의 절대 차이가 레퍼런스 임계치보다 작음을 결정하는 것을 포함한다. 일부 양태들에서, 제 2 이미지 데이터에서의 픽셀이 컬러 색조됨을 검출하는 것은 현재의 U 데이터와 중간점 U 값 사이의, 그리고 현재의 V 데이터와 중간점 V 값 사이의 개별 절대 차이들이 각각 현재의 최소치보다 크고 현재의 최대치보다 작음을 결정하는 것을 포함한다.
일부 양태들에서, 제 2 이미지 데이터를 생성하는 것은 제 1 이미지 데이터에 대해 하나 이상의 감마 보정 동작들 및 하나 이상의 선예도 (sharpness) 향상 동작들을 수행하는 것을 더 포함한다. 일부 양태들에서, 제 1 이미지 데이터는, 원시 이미지와 연관된 자동 노출 제어 (AEC) 이득이 임계 AEC 이득보다 큼을 결정함으로써 다크 환경에서 캡처된 원시 이미지에 대응하는 것으로 결정된다.
본 개시에서 설명된 주제의 다른 혁신적 양태는 메모리 및 하나 이상의 프로세서들을 포함하는 장치에서 구현될 수 있다. 하나 이상의 프로세서들은 복수의 픽셀들의 각각에 대한 레퍼런스 루미넌스 데이터 및 레퍼런스 크로미넌스 데이터에 대응하는 제 1 이미지 데이터를 수신하고, 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하고, 제 1 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행함으로써 제 2 이미지 데이터를 생성하는 것으로서, 제 2 이미지 데이터는 복수의 픽셀들의 각각에 대한 현재의 루미넌스 데이터 및 현재의 크로미넌스 데이터에 대응하는, 상기 제 2 이미지 데이터를 생성하고, 그리고 복수의 픽셀들의 각각의 픽셀에 대해, 현재의 루미넌스 데이터의 대응하는 픽셀의 출력 루미넌스 값, 및 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터 중 선택된 데이터로부터 대응하는 픽셀의 크로미넌스 값들을 포함하도록 출력 이미지 데이터를 생성하는 것으로서, 그 선택은 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터에 적어도 부분적으로 기초하는, 상기 출력 이미지 데이터를 생성하도록 구성된다.
일부 양태들에서, 제 1 이미지 데이터 및 제 2 이미지 데이터는 YUV 포맷이고, 레퍼런스 크로미넌스 데이터는 레퍼런스 U 데이터 및 레퍼런스 V 데이터를 포함하고, 현재의 크로미넌스 데이터는 현재의 U 데이터 및 현재의 V 데이터를 포함한다. 일부 양태들에서, 복수의 픽셀들의 각각의 픽셀에 대해, 제 1 이미지 데이터의 대응하는 픽셀이 회색으로서 검출되고 제 2 이미지 데이터의 대응하는 픽셀이 컬러 색조된 경우, 출력 이미지 데이터는 현재의 크로미넌스 데이터 대신 레퍼런스 크로미넌스 데이터를 포함한다. 일부 양태들에서, 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하는 것은 레퍼런스 U 데이터와 중간점 U 값 사이의 절대 차이가 레퍼런스 임계치보다 작음을 결정하는 것, 및 레퍼런스 V 데이터와 중간점 V 값 사이의 절대 차이가 레퍼런스 임계치보다 작음을 결정하는 것을 포함한다. 일부 양태들에서, 제 2 이미지 데이터에서의 픽셀이 컬러 색조됨을 검출하는 것은 현재의 U 데이터와 중간점 U 값 사이의, 그리고 현재의 V 데이터와 중간점 V 값 사이의 개별 절대 차이들이 각각 현재의 최소치보다 크고 현재의 최대치보다 작음을 결정하는 것을 포함한다.
일부 양태들에서, 제 2 이미지 데이터를 생성하는 것은 제 1 이미지 데이터에 대해 하나 이상의 감마 보정 동작들 및 하나 이상의 선예도 향상 동작들을 수행하는 것을 더 포함한다. 일부 양태들에서, 하나 이상의 프로세서들은, 제 1 이미지 데이터가, 원시 이미지와 연관된 자동 노출 제어 (AEC) 이득이 임계 AEC 이득보다 큼을 결정함으로써 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하도록 구성된다.
본 개시에서 설명된 주제의 다른 혁신적 양태는 이미지 프로세싱 디바이스의 하나 이상의 프로세서들에 의한 실행을 위한 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체에서 구현될 수 있다. 그 명령들의 실행은 이미지 프로세싱 디바이스로 하여금 동작들을 수행하게 하며, 그 동작들은 복수의 픽셀들의 각각에 대한 레퍼런스 루미넌스 데이터 및 레퍼런스 크로미넌스 데이터에 대응하는 제 1 이미지 데이터를 수신하는 것, 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하는 것, 제 1 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행함으로써 제 2 이미지 데이터를 생성하는 것으로서, 제 2 이미지 데이터는 복수의 픽셀들의 각각에 대한 현재의 루미넌스 데이터 및 현재의 크로미넌스 데이터에 대응하는, 상기 제 2 이미지 데이터를 생성하는 것, 및 복수의 픽셀들의 각각의 픽셀에 대해, 현재의 루미넌스 데이터의 대응하는 픽셀의 출력 루미넌스 값, 및 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터 중 선택된 데이터로부터 대응하는 픽셀의 크로미넌스 값들을 포함하도록 출력 이미지 데이터를 생성하는 것으로서, 그 선택은 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터에 적어도 부분적으로 기초하는, 상기 출력 이미지 데이터를 생성하는 것을 포함한다.
일부 양태들에서, 제 1 이미지 데이터 및 제 2 이미지 데이터는 YUV 포맷이고, 레퍼런스 크로미넌스 데이터는 레퍼런스 U 데이터 및 레퍼런스 V 데이터를 포함하고, 현재의 크로미넌스 데이터는 현재의 U 데이터 및 현재의 V 데이터를 포함한다. 일부 양태들에서, 복수의 픽셀들의 각각의 픽셀에 대해, 제 1 이미지 데이터의 대응하는 픽셀이 회색으로서 검출되고 제 2 이미지 데이터의 대응하는 픽셀이 컬러 색조된 것으로서 검출될 경우, 출력 이미지 데이터는 현재의 크로미넌스 데이터 대신 레퍼런스 크로미넌스 데이터를 포함한다. 일부 양태들에서, 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하는 것은 레퍼런스 U 데이터와 중간점 U 값 사이의 절대 차이가 레퍼런스 임계치보다 작음을 결정하는 것, 및 레퍼런스 V 데이터와 중간점 V 값 사이의 절대 차이가 레퍼런스 임계치보다 작음을 결정하는 것을 포함한다. 일부 양태들에서, 제 2 이미지 데이터에서의 픽셀이 컬러 색조됨을 검출하는 것은 현재의 U 데이터와 중간점 U 값 사이의, 그리고 현재의 V 데이터와 중간점 V 값 사이의 개별 절대 차이들이 각각 현재의 최소치보다 크고 현재의 최대치보다 작음을 결정하는 것을 포함한다.
일부 양태들에서, 제 2 이미지 데이터를 생성하는 것은 제 1 이미지 데이터에 대해 하나 이상의 감마 보정 동작들 및 하나 이상의 선예도 향상 동작들을 수행하는 것을 더 포함한다. 일부 양태들에서, 제 1 이미지 데이터는, 원시 이미지와 연관된 자동 노출 제어 (AEC) 이득이 임계 AEC 이득보다 큼을 결정함으로써 다크 환경에서 캡처된 원시 이미지에 대응하는 것으로 결정된다.
본 개시에서 설명된 주제의 다른 혁신적 양태는 이미지 프로세싱 파이프라인에서 구현될 수 있다. 이미지 프로세싱 파이프라인은, 원시 이미지를 수신하고 원시 이미지에 대해 하나 이상의 이미지 프로세싱 동작들을 수행하기 위한 원시 이미지 프로세싱 수단, 프로세싱된 원시 이미지에 대해 하나 이상의 컬러 보정 매트릭스 (CCM) 동작들을 수행하기 위한 CCM 수단, 복수의 픽셀들의 각각에 대한 레퍼런스 루미넌스 데이터 및 레퍼런스 크로미넌스 데이터에 대응하는 제 1 이미지 데이터를 생성하기 위해 CCM 수단의 출력에 대해 하나 이상의 노이즈 제거 동작들을 수행하기 위한 노이즈 제거 수단, 제 1 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행함으로써 제 2 이미지 데이터를 생성하기 위한 톤 맵핑 수단으로서, 제 2 이미지 데이터는 복수의 픽셀들의 각각에 대한 현재의 루미넌스 데이터 및 현재의 크로미넌스 데이터에 대응하는, 상기 톤 맵핑 수단, 및 제 1 이미지 데이터 및 제 2 이미지 데이터를 수신하고, 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하고, 그리고 복수의 픽셀들의 각각의 픽셀에 대해, 현재의 루미넌스 데이터의 대응하는 픽셀의 출력 루미넌스 값, 및 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터 중 선택된 데이터로부터 대응하는 픽셀의 크로미넌스 값들을 포함하는 출력 이미지 데이터를 생성하는 것으로서, 그 선택은 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터에 적어도 부분적으로 기초하는, 상기 출력 이미지 데이터를 생성하도록 구성된 컬러 보정 수단을 포함할 수도 있다.
본 개시의 양태들은 첨부 도면들의 도에 있어서 한정으로서가 아닌 예로서 예시되며, 도면들에 있어서, 동일한 참조부호는 유사한 엘리먼트들을 지칭한다.
도 1 은 일부 구현들에 따른, 컬러 보정을 수행하도록 구성된 예시적인 디바이스의 블록 다이어그램이다.
도 2 는 일부 구현들에 따른, 캡처된 이미지에서 비정상적인 컬러 색조된 픽셀들을 검출하고 보정하기 위한 예시적인 프로세싱 플로우를 도시한다.
도 3 은 일부 구현들에 따른, 컬러 보정 스테이지에서 이미지 데이터를 프로세싱하기 위한 예시적인 동작을 나타낸 예시적인 플로우차트를 도시한다.
도 4 는 일부 구현들에 따른, 이미지 프로세싱 파이프라인에서 컬러 보정을 위한 예시적인 동작을 나타낸 예시적인 플로우차트이다.
본 개시의 양태들은 저조도 조건들 하에서 캡처된 이미지에서 비정상적인 컬러 색조된 픽셀들을 검출하고 보정하기 위해 이용될 수도 있다. 이미지에서의 비정상적인 컬러 색조된 픽셀들은 광이 거의 없음 내지 광이 전혀 없음 (이는 딥 블랙에 의해 표현되도록 의도될 수도 있음) 을 나타내는 이미지 센서로부터의 출력들로부터 기인할 수도 있다. 컬러 색조는 이미지 센서로부터의 출력들을 프로세싱함에 있어서 ISP 에 의해 수행되는 디지털 이득 또는 DRC 에 의해 증폭될 수도 있다. 그러한 비정상적인 컬러 색조들은 가시적인 적색 색조를 포함하는 이미지의 블랙 픽셀을 초래할 수도 있다. 그러한 컬러 색조된 픽셀들을 보정하기 위한 종래의 기법들은 컬러 색조된 픽셀들을 검출함에 있어서 높은 거짓 양성 (false positive) 레이트를 가질 수도 있어서, 컬러 색조된 픽셀들을 포함하지 않는 이미지의 하나 이상의 영역들에서 컬러 열화를 초래할 수도 있다. 그러한 컬러 색조된 픽셀들을 보정하기 위한 종래의 기법들은, 부가적으로 또는 대안적으로, 컬러 색조된 픽셀들을 검출함에 있어서 높은 거짓 음성 (false negative) 레이트를 가질 수도 있어서, 보정되지 않은 적색 색조들을 갖는 픽셀들을 포함하는 최종 이미지를 초래할 수도 있다. 종래의 기법들은 통상적으로, 원시 이미지 데이터를 프로세싱한다. 블랙 레벨 보정을 사용하는 것은 블랙 픽셀들에서 적색 색조들을 효과적으로 억제할 수 없을 수도 있고, 적색 및 녹색 컬러들에 대한 원시 이미지 데이터가 유사할 수도 있으므로, 최종 이미지는 교번하는 적색 및 녹색 색조된 픽셀들을 갖는 하나 이상의 블랙 부분들을 포함할 수도 있다.
본 개시의 예시적인 구현들의 방법들 및 장치들은 저조도 환경들에서 캡처된 이미지의 픽셀들의 그러한 바람직하지 않은 컬러 색조들을 나타내는 픽셀들을 검출하고 보정할 수도 있다. 예를 들어, 장치는, 이미지 프로세싱 파이프라인에서의 스테이지에서 회색 픽셀로부터 컬러 색조된 픽셀로 변환되는 하나 이상의 픽셀들을 검출할 수도 있다. 그러한 픽셀들이 검출될 경우, 컬러 색조는 그러한 픽셀들의 각각을, 이미지 프로세싱 파이프라인에서의 이전 스테이지로부터의 대응하는 픽셀로 교체함으로써 제거될 수도 있다. 예를 들어, 컬러 색조는 이미지 프로세싱 파이프라인에서 하나 이상의 톤 맵핑 동작들에 의해 야기되거나 증폭될 수도 있다. 컬러 색조된 픽셀을 이전 스테이지로부터의 대응하는 회색 픽셀로 교체하는 것은 톤 맵핑된 컬러 색조된 픽셀을, 하나 이상의 톤 맵핑 동작들 이전에 이미지 프로세싱 파이프라인에서의 스테이지로부터의 대응하는 픽셀로 교체하는 것을 포함할 수도 있다.
종래의 컬러 색조 보정 기법들이 원시 이미지 데이터에 대해 동작할 수도 있지만, 본 개시의 일부 예시적인 구현들은 YUV 컬러 공간에서의 이미지 데이터에 대해 동작할 수도 있으며, 여기서, Y 는 루미넌스, U 는 청색 프로젝션 크로미넌스, 및 V 는 적색 프로젝션 크로미넌스를 지칭한다. 다른 구현들이 다른 유사한 루마/크로마 컬러 공간들에서 동작할 수도 있다. 그러한 컬러 공간들을 사용하는 것은 예시적인 구현들이 출력 픽셀들의 루미넌스에 영향을 주지 않고 크로미넌스 상에 직접 컬러 색조 보정을 포커싱하게 한다.
다음의 설명에 있어서, 본 개시의 철저한 이해를 제공하기 위해 특정 컴포넌트들, 회로들, 및 프로세서들의 예들과 같이 다수의 특정 상세들이 기술된다. 본 명세서에서 사용되는 바와 같은 용어 "커플링됨" 은 직접 연결되거나 또는 하나 이상의 개재 컴포넌트들 또는 회로들을 통해 연결됨을 의미한다. 또한, 다음의 설명에 있어서 및 설명의 목적들을 위해, 본 개시의 철저한 이해를 제공하기 위해 특정 명명법이 기재된다. 하지만, 이들 특정 상세들은 본 명세서에 개시된 교시들을 실시하는데 요구되지 않을 수도 있음이 당업자에게 명백할 것이다. 일부 사례들에 있어서, 널리 공지된 회로들 및 디바이스들은 본 개시의 교시들을 불명료하게 하는 것을 회피하기 위해 블록 다이어그램 형태로 도시된다. 다음에 이어지는 상세한 설명들의 일부 부분들은 절차들, 로직 블록들, 프로세싱, 및 컴퓨터 메모리 내에서의 데이터 비트들에 대한 동작들의 다른 심볼 표현들의 관점에서 제시된다. 본 개시에 있어서, 절차, 로직 블록, 프로세스 등은 원하는 결과로 이끄는 단계들 또는 명령들의 자기-일관성있는 시퀀스인 것으로 인식된다. 단계들은 물리량들의 물리적 조작들을 요구하는 것들이다. 필수적인 것은 아니지만 통상적으로, 이들 양들은 컴퓨터 시스템에서 저장되고, 전송되고, 결합되고, 비교되고, 그렇지 아니면 조작되는 것이 가능한 전기적 또는 자기적 신호들의 형태를 취한다.
하지만, 이들 용어 및 유사한 용어 모두는 적절한 물리량들과 연관되어야 하고, 이들 양들에 적용된 단지 편리한 라벨들임을 명심해야 한다. 다음의 논의들로부터 명백한 바와 같이 특별히 달리 서술되지 않으면, 본원 전반에 걸쳐, "액세스하는 것", "수신하는 것", "전송하는 것", "사용하는 것", "선택하는 것", "결정하는 것", "정규화하는 것", "승산하는 것", "평균화하는 것", "모니터링하는 것", "비교하는 것", "적용하는 것", "업데이트하는 것", "측정하는 것", "도출하는 것", “해결하는 것" 등과 같은 용어들을 활용하는 논의들은 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 액션들 및 프로세스들을 지칭함이 인식되며, 이 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스는 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리(전자)량들로서 표현된 데이터를 컴퓨터 시스템의 메모리들 또는 레지스터들 또는 그러한 다른 정보 저장, 송신 또는 디스플레이 디바이스들 내의 물리량들로서 유사하게 표현된 다른 데이터로 조작 및 변환한다.
도면들에 있어서, 단일 블록이 기능 또는 기능들을 수행하는 것으로서 설명될 수도 있지만, 실제 실시에 있어서, 그 블록에 의해 수행된 기능 또는 기능들은 단일 컴포넌트에서 또는 다중의 컴포넌트들에 걸쳐 수행될 수도 있고/있거나 하드웨어를 사용하여, 소프트웨어를 사용하여, 또는 하드웨어와 소프트웨어의 조합을 사용하여 수행될 수도 있다. 하드웨어와 소프트웨어의 이러한 상호교환 가능성을 분명히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 일반적으로 그들의 기능성의 관점에서 하기에서 설명된다. 그러한 기능성이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 전체 시스템에 부과된 설계 제약들 및 특정 어플리케이션에 의존한다. 당업자는 설명된 기능성을 각각의 특정 어플리케이션에 대하여 다양한 방식들로 구현할 수도 있지만, 그러한 구현의 결정들이 본 개시의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다. 또한, 예시적인 디바이스들은, 프로세서, 메모리 등과 같은 널리 공지된 컴포넌트들을 포함하여, 도시된 것들 이외의 컴포넌트들을 포함할 수도 있다.
본 개시의 양태들은, 이미지들 또는 비디오를 캡처하도록 구성되거나 캡처할 수 있는 (하나 이상의 카메라들, 스마트폰들, 태블릿들, 랩탑 컴퓨터들, 디지털 비디오 및/또는 스틸 카메라들, 웹 카메라들 등을 갖는 보안 시스템과 같은) 임의의 적합한 전자 디바이스에 적용가능하다. 하나의 카메라를 갖거나 그에 커플링된 디바이스에 관하여 하기에서 설명되지만, 본 개시의 양태들은 임의의 수의 카메라들을 갖는 디바이스들에 적용가능하고, 따라서, 하나의 카메라를 갖는 디바이스들로 제한되지 않는다. 본 개시의 양태들은 스틸 이미지들을 캡처할 뿐만 아니라 비디오를 캡처하도록 구성된 카메라들에 대해 적용가능하고, 상이한 능력들의 카메라들을 갖거나 그에 커플링된 디바이스들에서 구현될 수도 있다.
용어 "디바이스" 는 (일 스마트폰, 일 카메라 제어기, 일 프로세싱 시스템 등과 같은) 하나 또는 특정 수의 물리적 오브젝트들로 제한되지 않는다. 본 명세서에서 사용되는 바와 같이, 디바이스는 본 개시의 적어도 일부 부분들을 구현할 수도 있는 하나 이상의 부분들을 갖는 임의의 전자 디바이스일 수도 있다. 하기의 설명 및 예들이 본 개시의 다양한 양태들을 설명하기 위해 용어 "디바이스" 를 사용하지만, 용어 "디바이스" 는 오브젝트들의 특정 구성, 타입, 또는 개수로 제한되지 않는다.
도 1 은 본 개시의 일부 구현들에 따른, 컬러 보정을 수행하도록 구성된 예시적인 디바이스 (100) 의 블록 다이어그램이다. 예시적인 디바이스 (100) 는 카메라 (102), 프로세서 (104), 명령들 (108) 을 저장하는 메모리 (106), 및 제어기 (110) 를 포함하거나 그에 커플링될 수도 있다. 일부 구현들에서, 디바이스 (100) 는 디스플레이 (114) 및 다수의 입력/출력 (I/O) 컴포넌트들 (116) 을 포함할 수도 있다 (또는 그에 커플링될 수도 있음). 디바이스 (100) 는 또한, 디바이스 (100) 에 커플링되거나 통합될 수도 있는 전력 공급부 (118) 를 포함할 수도 있다. 디바이스 (100) 는 도시되지 않은 추가적인 피처들 또는 컴포넌트들을 포함할 수도 있다. 예를 들어, 다수의 트랜시버들 및 기저대역 프로세서를 포함할 수도 있는 무선 인터페이스가, 무선 통신 디바이스를 위해 포함될 수도 있다. 다른 예에서, 디바이스 (100) 는 카메라 (102) 이외의 추가적인 카메라들을 포함하거나 그에 커플링될 수도 있다.
카메라 (102) 는 (개별 캡처된 이미지 프레임들과 같이) 스틸 이미지들을 캡처하고/하거나 (일련의 캡처된 이미지 프레임들과 같이) 비디오를 캡처할 수 있는 임의의 적합한 카메라일 수도 있다. 카메라 (102) 는 단일 이미지 센서를 포함할 수도 있거나, 듀얼 카메라 모듈이거나, 또는 하나 이상의 CMOS 이미지 센서들과 같은 하나 이상의 이미지 센서들을 갖는 임의의 다른 적합한 모듈일 수도 있다.
메모리 (106) 는 본 개시에서 설명된 하나 이상의 동작들의 전부 또는 일부분을 수행하기 위한 컴퓨터 실행가능 명령들 (108) 을 저장하는 비일시적 또는 비일시적인 컴퓨터 판독가능 매체일 수도 있다. 프로세서 (104) 는 메모리 (106) 내에 저장된 (명령들 (108) 과 같은) 하나 이상의 소프트웨어 프로그램들의 스크립트들 또는 명령들을 실행 가능한 하나 이상의 적합한 프로세서들일 수도 있다. 일부 양태들에 있어서, 프로세서 (104) 는 디바이스 (100) 로 하여금 임의의 수의 기능들 또는 동작들을 수행하게 하기 위해 명령들 (108) 을 실행하는 하나 이상의 범용 프로세서들일 수도 있다. 부가적인 또는 대안적인 양태들에 있어서, 프로세서 (104) 는 소프트웨어의 사용 없이 기능들 또는 동작들을 수행하기 위한 집적 회로들 또는 다른 하드웨어를 포함할 수도 있다.
도 1 의 예에서 프로세서 (104) 를 통해 서로 커플링되도록 도시되지만, 프로세서 (104), 메모리 (106), 제어기 (110), 옵션적인 디스플레이 (114), 및 옵션적인 I/O 컴포넌트들 (116) 은 다양한 배열들로 서로 커플링될 수도 있다. 예를 들어, 프로세서 (104), 메모리 (106), 제어기 (110), 옵션적인 디스플레이 (114), 및/또는 옵션적인 I/O 컴포넌트들 (116) 은 하나 이상의 로컬 버스들 (간략화를 위해 도시되지 않음) 을 통해 서로 커플링될 수도 있다.
디스플레이 (114) 는, 사용자 상호작용을 허용하고 및/또는 사용자에 의한 뷰잉을 위한 (캡처된 이미지들, 비디오, 또는 프리뷰 이미지와 같은) 아이템들을 제시하기 위한 임의의 적합한 디스플레이 또는 스크린일 수도 있다. 일부 양태들에 있어서, 디스플레이 (114) 는 터치 감응성 디스플레이일 수도 있다. I/O 컴포넌트들 (116) 은, 사용자로부터 (커맨드들과 같은) 입력을 수신하고 사용자에게 출력을 제공하기 위한 임의의 적합한 메커니즘, 인터페이스, 또는 디바이스일 수도 있거나 이를 포함할 수도 있다. 예를 들어, I/O 컴포넌트들 (116) 은 그래픽 사용자 인터페이스, 키보드, 마우스, 마이크로폰, 및 스피커들 등을 포함할 수도 있다 (하지만, 이에 한정되지 않음). 디스플레이 (114) 및/또는 I/O 컴포넌트들 (116) 은 프리뷰 이미지를 사용자에게 제공하고/하거나 카메라 (102) 의 하나 이상의 설정들을 조정하기 위한 사용자 입력을 수신할 수도 있다.
제어기 (110) 는 하나 이상의 제어기들을 포함할 수도 있다. 하나 이상의 제어기들은 카메라 (102) 를 제어하도록 구성될 수도 있다. 제어기 (110) 는, 카메라 (102) 에 의해 제공되는 캡처된 이미지 프레임들 또는 비디오를 프로세싱하기 위한 하나 이상의 이미지 신호 프로세서들일 수도 있는 이미지 신호 프로세서 (ISP) (112) 를 포함할 수도 있다. 일부 양태들에서, 제어기 (110) 또는 ISP (112) 는 (메모리 (106) 로부터의 명령들 (108) 또는 ISP (112) 에 커플링된 별도의 메모리에 저장된 명령들과 같은) 메모리로부터의 명령들을 실행할 수도 있다. 다른 양태들에서, 제어기 (110) 또는 ISP (112) 는 특정 하드웨어를 포함할 수도 있다. 제어기 (110) 또는 ISP (112) 는, 대안적으로 또는 부가적으로, 특정 하드웨어와 소프트웨어 명령들을 실행할 능력과의 조합을 포함할 수도 있다. 예를 들어, ISP (112) 는 이미지 프로세싱 파이프라인의 하나 이상의 스테이지들을 포함하거나 그렇지 않으면 구현하도록 구성될 수도 있다.
도 2 는 본 개시의 일부 구현들에 따른, 캡처된 이미지에서 부정확하게 컬러 색조된 픽셀들을 검출하고 보정하기 위한 예시적인 프로세싱 플로우 (200) 를 도시한다. 일부 양태들에서, 프로세싱 플로우 (200) 는 도 1 에 도시된 디바이스 (100) 에 의해 구현되거나 제어되는 이미지 프로세싱 파이프라인에 포함될 수도 있다. 프로세싱 플로우 (200) 가 디바이스 (100) 에 의해 수행되는 것으로서 설명될 수도 있지만, 프로세싱 플로우 (200) 는 또한, 임의의 다른 적합한 이미지 캡처 디바이스에 의해 수행될 수도 있다.
도 2 에 관하여, 원시 이미지 데이터가 프로세싱 플로우 (200) 에 대한 입력일 수도 있다. 그러한 원시 이미지 데이터는, 예를 들어, 디바이스 (100) 에 포함되거나 커플링된 하나 이상의 이미지 센서들로부터, 또는 디바이스 (100) 의 아날로그 프론트 엔드로부터 수신될 수도 있다. 원시 이미지 프로세싱 스테이지 (202) 에서, 디바이스 (100) 는 (블랙 레벨 보정, 렌즈 쉐이딩 보정 (LSC), 자동 포커스, 자동 노출, 자동 화이트 밸런스 등을 위한 하나 이상의 동작들과 같은) 하나 이상의 동작들을 원시 이미지 데이터에 대해 수행할 수도 있다. 원시 이미지 프로세싱 스테이지 (202) 에서 이미지 데이터를 프로세싱한 이후, 디바이스 (100) 는 컬러 보정 매트릭스 (CCM) 스테이지 (204) 에서 이미지 데이터를 프로세싱할 수도 있다. 프로세싱된 원시 이미지 데이터는 CCM 스테이지 (204) 로 진행하기 전에 적색 녹색 청색 (RGB) 컬러 공간으로 변환될 수도 있다. 대안적으로, 디바이스 (100) 는 CCM 스테이지 (204) 에서 데이터를 RGB 컬러 공간으로 변환할 수도 있다. CCM 스테이지 (204) 에서, 디바이스 (100) 는 (RGB 컬러 공간에서의 컬러 보정을 위한 하나 이상의 동작들과 같은) 하나 이상의 동작들을 RGB 컬러 공간에서의 이미지 데이터에 대해 수행할 수도 있다. 일부 예들에서, 디바이스 (100) 는 컬러 보정 매트릭스에 의해 표현되는 이미지 데이터의 RGB 픽셀 값들을, 정의되고 알려진 컬러 공간으로 변환할 수도 있다. 디바이스 (100) 가 CCM 스테이지 (204) 에서 이미지 데이터를 프로세싱한 이후, 디바이스 (100) 는 이미지 데이터에 대해 하나 이상의 노이즈 제거 동작들을 수행하는 노이즈 제거 스테이지 (206) 에서 이미지 데이터를 프로세싱한다. 일부 구현들에서, 노이즈 제거 스테이지 (206) 는 YUV 컬러 공간에서 이미지 데이터를 프로세싱할 수도 있으며, 예를 들어, 디바이스 (100) 는 노이즈 제거 스테이지 (206) 전에 또는 노이즈 제거 스테이지 (206) 에서 RGB 컬러 공간으로부터의 이미지 데이터를 YUV 컬러 공간으로 변환할 수도 있다. 노이즈 제거 스테이지 (206) 로부터의 출력 이미지 데이터는 레퍼런스 이미지 데이터로서 지칭될 수도 있다. 예를 들어, YUV 컬러 공간에서 이미지 데이터를 나타내는 출력 YUV 이미지 데이터는 이미지 데이터의 루미넌스를 나타내는 레퍼런스 Y 데이터 및 이미지 데이터의 크로미넌스를 나타내는 레퍼런스 U 데이터 및 레퍼런스 V 데이터를 포함할 수도 있다.
노이즈 제거 스테이지 (206) 이후, 프로세싱 플로우 (200) 는 (도 2 에 도시된 상부 플로우 (220) 및 하부 플로우 (230) 와 같이) 다중의 경로들로 분할된다. 먼저 상부 플로우 (220) 를 논의하면, 디바이스 (100) 는 로컬 톤 맵핑 (LTM) 스테이지 (208) 에서 이미지 데이터를 프로세싱한다. LTM 스테이지 (208) 에서, 디바이스 (100) 는 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행할 수도 있다. 일부 양태들에서, LTM 스테이지 (208) 는 RGB 컬러 공간에서의 이미지 데이터에 대해 동작할 수도 있다. 따라서, LTM 스테이지 (208) 이전에 또는 그 부분으로서, 디바이스 (100) 는 이미지 데이터를 RGB 컬러 공간으로 변환할 수도 있다. 톤 맵핑은, 장면의 상이한 영역들 사이의 로컬 콘트라스트를 증가시키기 위하여 이미지 데이터의 상이한 영역들의 밝기를 조정하거나 상이한 노출들을 결합할 수도 있다. 로컬 톤 맵핑은, 전역적 또는 공간적으로 균일한 톤 맵핑과는 대조적으로, 이미지의 피처들 근처에서와 같이, 로컬에 기초하여 주어진 픽셀의 밝기를 조정할 수도 있다. LTM 스테이지 (208) 이후, 디바이스 (100) 는 감마 압축 스테이지 (210) 에서 이미지 데이터를 프로세싱할 수도 있다. 감마 압축 스테이지 (210) 에서, 디바이스 (100) 는 이미지 데이터의 과다 노출된 부분들의 노출을 감소시키면서 이미지 데이터의 과소 노출된 부분들의 노출을 증가시키기 위해 하나 이상의 동작들을 수행할 수도 있다. 일부 양태들에서, 디바이스 (100) 는 감마 함수를 적용할 수도 있다. 예를 들어, 디바이스 (100) 는
Figure pct00001
와 같은 감마 필터를 적용할 수도 있으며, 여기서,
Figure pct00002
이고 A > 0 이다. 감마 함수를 적용함에 있어서, 디바이스 (100) 는
Figure pct00003
의 도메인에서의 입력 루미넌스 (Yin) 를 [0,1] 의 범위에서의 출력 루미넌스 (Yout) 에 맵핑한다. 예시적인 감마 필터에서,
Figure pct00004
는 이미지의 콘트라스트를 조절하도록 조정될 수도 있으며, 더 낮은 값들은 이미지의 과소 노출된 부분들에 대한 증가된 노출 및 더 낮은 콘트라스트에 대응한다. 이미지의 하나 이상의 부분들의 노출이 과다 노출되는 것을 방지하도록 충분히 감소됨을 보장하기 위해 A 는 1 미만으로 설정될 수도 있다.
감마 압축 스테이지 (210) 이후, 디바이스 (100) 는 선예도 스테이지 (212) 에서 이미지 데이터를 프로세싱할 수도 있으며, 이는 이미지 데이터에 대해 하나 이상의 선예도 향상 동작들, 예를 들어, 에지 향상 동작, 디블러링 필터링 동작 등을 수행할 수도 있다. 일부 양태들에서, 디바이스 (100) 는 선예도 스테이지 (212) 에서 YUV 컬러 공간에서의 이미지 데이터를 프로세싱할 수도 있다. 이에 따라, 선예도 스테이지 (212) 이전에 또는 그 부분으로서, 디바이스 (100) 는 이미지 데이터를 YUV 컬러 공간으로 변환할 수도 있다. 선예도 스테이지 (212) 의 출력 이미지 데이터는 현재의 이미지 데이터로서 지칭될 수도 있다. 예를 들어, YUV 컬러 공간에서 이미지 데이터를 나타내는 출력 YUV 이미지 데이터는 이미지 데이터의 루미넌스를 나타내는 현재의 Y 데이터 및 이미지 데이터의 크로미넌스를 나타내는 현재의 U 데이터 및 현재의 V 데이터를 포함할 수도 있다. 현재의 Y 데이터는 결합기 (218) 에 제공될 수도 있다. 현재의 U 데이터 및 현재의 V 데이터는 컬러 보정 스테이지 (216) 에 제공될 수도 있다.
컬러 보정 스테이지 (216) 에서, 디바이스 (100) 는 이미지 데이터의 각각의 픽셀에 대해 레퍼런스 U 데이터 및 레퍼런스 V 데이터 또는 현재의 U 데이터 및 현재의 V 데이터를 선택적으로 출력할 수도 있다. 상기 언급된 바와 같이, 저조도 또는 다크 환경들에서 캡처된 이미지들에 대해, 일부 회색 픽셀들은 이미지 프로세싱 동안 컬러 색조된 픽셀들로 전환될 수도 있으며, 이는 이미지의 블랙 영역들에서 보이는 적색 색조를 초래할 수도 있다. 이는 종종, 톤 맵핑 동작들로부터 기인할 수도 있다. 하기에서 더 상세히 논의되는 바와 같이, 컬러 보정 스테이지 (216) 는 캡처된 이미지가 충분히 다크 환경에서 캡처된 것으로 보일 때를 검출할 수도 있다. 그러한 이미지들에 대해, 디바이스 (100) 는 (예컨대, 레퍼런스 U 및 V 데이터 및 대응하는 현재의 U 및 V 데이터를 비교함으로써) 회색 픽셀이 컬러 색조된 픽셀로 전환될 때를 검출할 수도 있다. 그러한 픽셀들에 대해, 디바이스 (100) 는 현재의 U 및 V 데이터를, 대응하는 레퍼런스 U 및 V 데이터로 교체할 수도 있다. 이러한 방식으로, 비정상적인 컬러 색조를 초래하는 이미지 프로세싱 단계들이 취소될 수도 있다. 컬러 보정 스테이지 (216) 는 보정된 U 데이터 및 보정된 V 데이터를 결합기 (218) 에 출력할 수도 있다. 결합기 (218) 는, 출력 이미지 데이터에 대한 개별 Y, U, 및 V 데이터를 생성하기 위해 현재의 루미넌스 데이터를 보정된 U 데이터 및 보정된 V 데이터와 결합한다. 따라서, 출력 이미지 데이터는 현재의 루미넌스 (Y) 데이터 및 보정된 크로미넌스 (U 및 V) 데이터를 반영한다.
도 3 은 본 개시의 일부 구현들에 따른, 컬러 보정 스테이지에서 이미지 데이터를 프로세싱하기 위한 예시적인 동작 (300) 을 나타낸 예시적인 플로우차트를 도시한다. 일부 양태들에서, 동작 (300) 은 도 2 의 컬러 보정 스테이지 (216) 에서 디바이스 (100) 에 의해 수행될 수도 있다. 노이즈 제거 스테이지 (206) 로부터의 레퍼런스 U 및 V 데이터 및 선예도 스테이지 (212) 로부터의 현재의 U 및 V 데이터가 이미지에 대한 보정된 U 및 V 데이터를 생성하는데 사용될 수도 있다. 상기에서 논의된 바와 같이, 레퍼런스 U 및 V 데이터는, 톤 맵핑이 수행되기 전의 이미지 데이터에 대응할 수도 있다. 현재의 U 및 V 데이터는, 톤 맵핑이 수행된 후의 이미지 데이터에 대응할 수도 있다.
비정상적인 컬러 색조는 통상적으로, 다크 환경에서 캡처된 이미지들에서 발생한다. 이에 따라, 디바이스 (100) 는, 이미지 데이터가 임계 다크니스 (darkness) 레벨을 충족하는지 여부를 임계 결정한다 (302). 예시적인 임계 다크니스 레벨은 자동 노출 보정 이득 임계치를 포함할 수도 있다. 예를 들어, 디바이스 (100) 는, 캡처된 이미지에 대한 총 자동 노출 보정 이득이 자동 노출 보정 이득 임계치를 초과하는지 여부를 결정할 수도 있다. 상기에서 논의된 바와 같이, 그러한 자동 노출 보정은 원시 이미지 프로세싱 스테이지 (202) 의 부분으로서 발생할 수도 있다. 다른 예시적인 임계 다크니스 레벨은 카메라 플래시 인에이블먼트 임계치를 포함할 수도 있다. 예를 들어, 디바이스 (100) 는, 카메라 플래시가 인에이블되기에 환경이 충분히 다크하였지 여부를 결정할 수도 있다. 다른 예시적인 임계 다크니스 레벨은 광 센서 임계치일 수도 있다. 예를 들어, 디바이스 (100) 는, 디바이스 (100) 에 포함되거나 커플링된 광 센서가 임계 광량 미만을 감지하는지 여부를 결정할 수도 있다. 임계 다크니스 레벨이 충족되지 않으면, 동작 (300) 은 현재의 U 데이터 및 현재의 V 데이터를 보정된 U 데이터 및 보정된 V 데이터로서 출력할 수도 있고, 프로세스는 종료할 수도 있다.
임계 다크니스 레벨이 충족되면, 이미지는 하나 이상의 픽셀들의 현재의 U 및 V 데이터를 레퍼런스 U 및 V 데이터로 교체하기 위한 후보 이미지이다. 동작 (300) 은 크로미넌스 교체 단계 (310) 로 진행할 수도 있으며, 여기서, 디바이스 (100) 는 현재 및 레퍼런스 U 및 V 데이터의 각각의 픽셀에 대한 일련의 결정들을 수행할 수도 있다. 각각의 픽셀에 대해, 디바이스 (100) 는, 블록 (311) 에서, 픽셀이 레퍼런스 U 및 V 데이터에서 회색인지 여부를 결정할 수도 있다. 일부 양태들에서, 이러한 결정은, 레퍼런스 U 데이터와 U 의 가능한 값들의 범위에서의 중간점 ("중간점 U 값") 사이의 절대 차이가 레퍼런스 임계치보다 작고 그리고 레퍼런스 V 데이터와 V 의 가능한 값들의 범위에서의 중간점 ("중간점 V 값") 사이의 절대 차이가 또한 레퍼런스 임계치보다 작음을 결정하는 것을 포함할 수도 있다. 따라서, 픽셀은, 그의 U 및 V 값들이, 각각, 중간점 U 값 및 중간점 V 값에 충분히 근접할 때 회색인 것으로 결정된다. 따라서, 픽셀은 (|REF U - MID U| < REF_TH) 및 (|REF V - MID V| < REF_TH) 일 때 회색이며, 여기서, REF U 는 레퍼런스 U 데이터이고 REF V 는 레퍼런스 V 데이터이며, MID U 는 중간점 U 값이고 MID V 는 중간점 V 값이다. 예를 들어, U 및 V 값들의 가능한 범위가 0 과 256 사이이면, 중간점 U 및 V 값들은 각각 128 이다. 픽셀이 회색인지 여부를 결정하는 것은 (|REF U - 128| < REF_TH) 및 (|REF V - 128| < REF_TH) 인지 여부를 결정하는 것을 포함할 수도 있다. 일부 구현들에서, 레퍼런스 임계치는, 0 과 256 사이의 범위들을 갖는 U 및 V 에 대해 단일-디지트 레퍼런스 임계치일 수도 있다. 일 예에 있어서, 레퍼런스 임계치는 4 일 수도 있다. 일부 구현들에서, 레퍼런스 데이터에서의 픽셀이 회색임을 결정하는 것은 또한, 레퍼런스 U 데이터와 레퍼런스 V 데이터 사이의 절대 차이가 레퍼런스 임계치보다 작음을 결정하는 것, 즉 |REF U - REF V| < REF_TH 임을 결정하는 것을 포함할 수도 있다. 이들 절대 차이들의 각각이 레퍼런스 임계치보다 작으면, 픽셀은 회색으로 고려된다. 픽셀이 레퍼런스 U 및 V 데이터에서 회색으로 고려되지 않으면, 현재의 U 및 현재의 V 데이터는 그 픽셀에 대한 보정된 U 및 V 데이터에서 유지된다. 픽셀이 레퍼런스 U 및 V 데이터에서 회색이면, 디바이스 (100) 는, 블록 (312) 에서, 픽셀이 현재의 U 및 V 데이터에서 컬러 색조되는지 여부를 결정할 수도 있다.
일부 구현들에서, 레퍼런스 임계치는 자동 노출 제어 (AEC) 이득 및/또는 동적 범위 압축 (DRC) 이득에 적어도 부분적으로 기초하여 변할 수도 있음을 유의한다. 예를 들어, 더 큰 AEC 이득들 또는 DRC 이득들에 대해, AEC 이득 또는 DRC 이득이 더 낮은 경우에 비하여 더 높은 레퍼런스 임계치가 사용될 수도 있다. AEC 이득 및 DRC 이득은, 디바이스 (100) 에 의해 사용되는 이미지 센서의 특성들에 의존할 수도 있다. 결과적으로, 레퍼런스 임계치는, 동일한 조명 조건들 하에서의 상이한 이미지 센서들에 대해 동일한 조명 조건들 하에서 변할 수도 있다.
블록 (312) 에서, 픽셀이 현재의 U 데이터 및 현재의 V 데이터에서 컬러 색조되는지 여부를 결정하는 것은 현재의 U 데이터 및 현재의 V 데이터의 각각이 중간점 U 값 및 중간점 V 값으로부터 각각 적어도 최소 차이 및 최대 차이 이하를 가짐을 결정하는 것, 즉, 현재의 U 데이터와 중간점 U 값 사이의 절대 차이 및 현재의 V 데이터와 중간점 V 값 사이의 절대 차이가 각각 현재의 최소 값과 현재의 최대 값 미만 사이임을 결정하는 것을 포함할 수도 있다. 따라서, 현재의 U 데이터 및 현재의 V 데이터에서의 픽셀은
Figure pct00005
및
Figure pct00006
인 경우에 컬러 색조되는 것으로 결정될 수도 있으며, 여기서, CUR U 및 CUR V 는 각각 현재의 U 데이터 및 현재의 V 데이터이고, CURMIN 은 현재의 최소 값이고, CURMAX 는 현재의 최대 값이다. 현재의 최소 값은 레퍼런스 임계치 이상일 수도 있다. 일부 구현들에서, 현재의 최소 값은 레퍼런스 임계치와 동일할 수도 있고, 예를 들어, U 및 V 데이터가 0 과 256 사이의 범위일 경우에 4 일 수도 있다. 일부 구현들에서, 현재의 최대 값은 현재의 최소 값의 3배와 같이 현재의 최소 값의 배수가 되도록 선택될 수도 있다. 일 예에서, 현재의 최대 값은 U 및 V 데이터가 0 과 256 사이의 범위일 경우에 12 일 수도 있다. 픽셀이 현재의 U 데이터 및 현재의 V 데이터에서 컬러 색조되는 것으로 결정되지 않으면, 현재의 U 데이터 및 현재의 V 데이터는 보정된 U 데이터 및 보정된 V 데이터에서 유지될 수도 있다. 픽셀이 컬러 색조되는 것으로 결정되면, 픽셀에 대한 보정된 U 데이터 및 보정된 V 데이터는, 현재의 U 데이터 및 현재의 V 데이터보다는, 레퍼런스 U 데이터 및 레퍼런스 V 데이터를 포함할 수도 있다. 따라서, 크로미넌스 교체 단계 (310) 를 사용하여 현재 및 레퍼런스 U 및 V 데이터에서의 각각의 픽셀을 프로세싱하는 것은 임계 다크니스 레벨을 충족하는 이미지들에 대한 보정된 U 데이터 및 보정된 V 데이터를 생성한다.
따라서, 동작 (300) 은 보정된 U 데이터 및 보정된 V 데이터를 생성할 수도 있으며, 이는, 예를 들어, 프로세싱 플로우 (200) 의 출력에서 U 데이터 및 V 데이터로서의 통합을 위해 결합기 (218) 에 출력될 수도 있다.
동작 (300) 이 픽셀 단위 기반으로 보정된 U 데이터 및 보정된 V 데이터를 생성하는 것을 설명하지만, 일부 다른 구현들에서, 보정된 U 데이터 및 보정된 V 데이터는 윈도우 단위 또는 영역 단위 기반으로 결정될 수도 있음을 유의한다. 예를 들어, 레퍼런스 및 현재의 U 및 V 데이터에 대응하는 이미지는 복수의 윈도우들 또는 영역들로 분할될 수도 있으며, 각각의 윈도우 또는 영역에 대해, 보정된 U 및 V 데이터는 레퍼런스 U 및 V 데이터 또는 현재의 U 및 V 데이터를 포함할 수도 있다. 일부 구현들에서, 대표 값이 레퍼런스 U 및 V 데이터 및 현재의 U 및 V 데이터 각각에 대해 선택될 수도 있다. 그러한 대표 값은 중앙 픽셀, 또는 상부 최좌측 픽셀 등과 같이 영역 또는 윈도우의 미리결정된 픽셀일 수도 있거나, 또는 윈도우 또는 영역에서의 픽셀들의 평균 또는 메디안 값과 같은 평균 값일 수도 있다. 일부 예들에서, 도 3 의 크로미넌스 교체 단계 (310) 는, 윈도우 또는 영역에 대한 보정된 U 및 V 데이터가 레퍼런스 U 및 V 데이터 또는 현재의 U 및 V 데이터의 값들을 포함해야 하는지 여부를 결정하기 위해 대표 값에 대해 수행될 수도 있다.
더욱이, 동작 (300) 이 현재의 U 데이터 및 현재의 V 데이터에서의 비정상적으로 컬러 색조된 픽셀들을 레퍼런스 U 데이터 및 레퍼런스 V 데이터의 대응하는 픽셀들로 교체하는 것을 설명하지만, 일부 다른 구현들에서, 현재의 U 데이터 및 현재의 V 데이터에서의 비정상적으로 컬러 색조된 픽셀들은 미리결정된 회색 픽셀 값에 대한 U 및 V 데이터로 교체될 수도 있음을 유의한다. 예를 들어, 블록 (312) 에서, 픽셀이 현재의 U 데이터 및 현재의 V 데이터에서 컬러-색조됨을 결정하는 것에 응답하여, 크로미넌스 교체 단계 (310) 는 현재의 U 데이터 및 현재의 V 데이터를 미리결정된 회색 픽셀 값에 대한 U 및 V 데이터로 교체할 수도 있다. 일부 양태들에서, 그러한 미리결정된 회색 픽셀 값은 중간점 U 값 및 중간점 V 값에 대응하는 U 및 V 데이터를 가질 수도 있다.
도 4 는 본 개시의 일부 구현들에 따른, 이미지 프로세싱 파이프라인에서 컬러 보정을 위한 예시적인 동작 (400) 을 나타낸 예시적인 플로우 차트이다. 동작 (400) 은 이미지 프로세싱 파이프라인을 포함하거나 그에 커플링된 임의의 적합한 디바이스에 의해 수행될 수도 있다. 일부 구현들에서, 동작 (400) 는 도 1 에 도시된 디바이스 (100) 에 의해 수행될 수도 있다. 블록 402 에서, 디바이스 (100) 는 복수의 픽셀들의 각각에 대한 레퍼런스 루미넌스 데이터 및 레퍼런스 크로미넌스 데이터에 대응하는 제 1 이미지 데이터를 수신한다. 블록 404 에서, 디바이스 (100) 는 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정한다. 예를 들어, 이러한 결정은 원시 이미지와 연관된 자동 노출 제어 (AEC) 이득이 임계 AEC 이득보다 큰 것에 적어도 부분적으로 기초할 수도 있다. 블록 406 에서, 디바이스 (100) 는 제 1 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행함으로써 제 2 이미지 데이터를 생성하고, 여기서, 제 2 이미지 데이터는 복수의 픽셀들의 각각에 대한 현재의 루미넌스 데이터 및 현재의 크로미넌스 데이터에 대응한다. 블록 408 에서, 디바이스 (100) 는 복수의 픽셀들의 각각의 픽셀에 대한 출력 이미지 데이터를 생성한다. 복수의 픽셀들의 각각의 픽셀에 대해, 출력 데이터를 생성하는 것은, 현재의 루미넌스 데이터의 대응하는 픽셀의 출력 루미넌스 값을 포함하도록 출력 데이터를 생성하는 것 (408A), 및 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터 중 선택된 데이터로부터 대응하는 픽셀의 크로미넌스 값들을 포함하도록 출력 데이터를 생성하는 것을 포함할 수도 있고, 여기서, 그 선택은 레퍼런스 크로미넌스 데이터 및 현재의 크로미넌스 데이터에 적어도 부분적으로 기초한다 (408B). 일부 양태들에서, 레퍼런스 크로미넌스 데이터는, 제 1 이미지 데이터의 대응하는 픽셀이 회색인 것으로 결정되고 제 2 이미지 데이터의 대응하는 픽셀이 컬러 색조되는 것으로 결정될 경우에 선택될 수도 있다. 일부 양태들에서, 현재의 크로미넌스 데이터는, 제 1 이미지 데이터의 대응하는 픽셀이 회색인 것으로 결정되지 않거나 제 2 이미지 데이터의 대응하는 픽셀이 컬러 색조되는 것으로 결정되지 않을 경우에 선택된다.
본 명세서에서 설명된 기법들은, 특정 방식으로 구현되는 것으로서 구체적으로 기술되지 않으면, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 특징부들은 또한, 집적된 로직 디바이스에서 함께 또는 별개지만 상호운용가능한 로직 디바이스들로서 별도로 구현될 수도 있다. 소프트웨어에서 구현되면, 그 기법들은, 프로세서 (104) (또는 제어기 (110) 또는 ISP (112)) 에 의해 실행될 경우, 디바이스 (100) 로 하여금 상기에서 설명된 방법들 중 하나 이상을 수행하게 하는 명령들 (108) 을 포함하는 (도 1 의 예시적인 디바이스 (100) 에서의 메모리 (106) 와 같은) 비일시적 프로세서 판독가능 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 비일시적 프로세서 판독가능 저장 매체는 컴퓨터 프로그램 제품의 부분을 형성할 수도 있으며, 이는 패키징 재료들을 포함할 수도 있다.
비일시적 프로세서 판독가능 저장 매체는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 플래시 메모리, 다른 공지의 저장 매체들 등을 포함할 수도 있다. 부가적으로 또는 대안적으로, 그 기법들은, 명령들 또는 데이터 구조들의 형태로 코드를 수록하거나 통신하고 컴퓨터 또는 다른 프로세서에 의해 액세스, 판독 및/또는 실행될 수 있는 프로세서 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
본 명세서에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들 및 명령들은 도 1 의 예시적인 디바이스 (100) 에서의 프로세서 (104) 또는 ISP (112) 와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 그러한 프로세서(들)는 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 어플리케이션 특정 집적 회로들 (ASIC들), 어플리케이션 특정 명령 세트 프로세서들 (ASIP들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 또는 다른 등가의 집적된 또는 별도의 로직 회로부를 포함할 수도 있지만 이에 한정되지 않는다. 본 명세서에서 사용된 바와 같은 용어 "프로세서" 는 본 명세서에서 설명된 기법들의 구현에 적합한 전술한 구조들 또는 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 부가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능성은 본 명세서에서 설명된 바와 같이 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에 제공될 수도 있다. 또한, 그 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다. 범용 프로세서는 마이크로프로세서 및/또는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 다중의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 기타 다른 구성물로서 구현될 수도 있다.
본 개시는 예시적인 양태들을 나타내지만, 첨부된 청구항들의 범위로부터 일탈함없이, 다양한 변경들 및 수정들이 본 명세서에서 행해질 수 있음이 주목되어야 한다. 예를 들어, 프로세싱 플로우 (200) 에서의 하나 이상의 프로세싱 단계들이 생략될 수도 있거나, 또는 하나 이상의 추가적인 프로세싱 단계들이 추가될 수도 있다. 부가적으로, 본 명세서에서 설명된 양태들에 따른 방법 청구항들의 기능들, 단계들 또는 액션들은, 달리 명시적으로 서술되지 않으면 임의의 특정 순서로 수행될 필요는 없다. 예를 들어, 디바이스 (100), 제어기 (110), 프로세서 (104), 및/또는 ISP (112) 에 의해 수행되면, 설명된 예시적인 동작들의 단계들은 임의의 순서로 및 임의의 주파수에서 수행될 수도 있다. 더욱이, 비록 엘리먼트들이 단수로 설명되거나 또는 청구될 수도 있지만, 그 단수로의 한정이 명시적으로 서술되지 않으면 복수가 고려된다. 이에 따라, 본 개시는 예시된 예들로 한정되지 않으며, 본 명세서에서 설명된 기능성을 수행하는 임의의 수단들이 본 개시의 양태들에 포함된다.

Claims (30)

  1. 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법으로서,
    복수의 픽셀들의 각각에 대한 레퍼런스 루미넌스 데이터 및 레퍼런스 크로미넌스 데이터에 대응하는 제 1 이미지 데이터를 수신하는 단계;
    상기 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하는 단계;
    상기 제 1 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행함으로써 제 2 이미지 데이터를 생성하는 단계로서, 상기 제 2 이미지 데이터는 상기 복수의 픽셀들의 각각에 대한 현재의 루미넌스 데이터 및 현재의 크로미넌스 데이터에 대응하는, 상기 제 2 이미지 데이터를 생성하는 단계; 및
    상기 복수의 픽셀들의 각각의 픽셀에 대해:
    상기 현재의 루미넌스 데이터의 대응하는 픽셀의 출력 루미넌스 값; 및
    상기 레퍼런스 크로미넌스 데이터 및 상기 현재의 크로미넌스 데이터 중 선택된 데이터로부터 대응하는 픽셀의 크로미넌스 값들
    을 포함하도록 출력 이미지 데이터를 생성하는 단계로서, 상기 선택은 상기 레퍼런스 크로미넌스 데이터 및 상기 현재의 크로미넌스 데이터에 적어도 부분적으로 기초하는, 상기 출력 이미지 데이터를 생성하는 단계를 포함하는, 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법.
  2. 제 1 항에 있어서,
    상기 복수의 픽셀들의 각각의 픽셀에 대해, 상기 제 1 이미지 데이터의 대응하는 픽셀이 회색으로서 검출되고 상기 제 2 이미지 데이터의 대응하는 픽셀이 컬러 색조된 것으로서 검출될 경우, 상기 출력 이미지 데이터는 상기 현재의 크로미넌스 데이터 대신 상기 레퍼런스 크로미넌스 데이터를 포함하는, 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법.
  3. 제 2 항에 있어서,
    상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터는 YUV 포맷이고, 상기 레퍼런스 크로미넌스 데이터는 레퍼런스 U 데이터 및 레퍼런스 V 데이터를 포함하고, 상기 현재의 크로미넌스 데이터는 현재의 U 데이터 및 현재의 V 데이터를 포함하는, 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법.
  4. 제 3 항에 있어서,
    상기 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하는 것은,
    상기 레퍼런스 U 데이터와 중간점 U 값 사이의 절대 차이가 레퍼런스 임계치보다 작음을 결정하는 것을 포함하는, 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법.
  5. 제 4 항에 있어서,
    상기 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하는 것은, 상기 레퍼런스 U 데이터와 상기 레퍼런스 V 데이터 사이의 절대 차이가 상기 레퍼런스 임계치보다 작음을 결정하는 것을 더 포함하는, 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법.
  6. 제 4 항에 있어서,
    상기 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하는 것은, 상기 레퍼런스 V 데이터와 중간점 V 값 사이의 절대 차이가 상기 레퍼런스 임계치보다 작음을 결정하는 것을 더 포함하는, 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법.
  7. 제 6 항에 있어서,
    상기 중간점 U 값 및 상기 중간점 V 값은 각각 128 이고, 상기 YUV 포맷에서의 U 및 V 값들의 개별 범위들은 0 과 256 사이인, 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법.
  8. 제 3 항에 있어서,
    상기 제 2 이미지 데이터에서의 픽셀이 컬러 색조됨을 검출하는 것은,
    상기 현재의 U 데이터와 중간점 U 값 사이의 절대 차이가 현재의 최소치 이상이고 현재의 최대치 이하임을 결정하는 것; 및
    상기 현재의 V 데이터와 중간점 V 값 사이의 절대 차이가 상기 현재의 최소치 이상이고 상기 현재의 최대치 이하임을 결정하는 것을 포함하는, 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법.
  9. 제 1 항에 있어서,
    상기 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하는 단계는 상기 원시 이미지와 연관된 자동 노출 제어 (AEC) 이득이 임계 AEC 이득보다 큼을 결정하는 단계를 포함하는, 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법.
  10. 제 1 항에 있어서,
    상기 제 2 이미지 데이터를 생성하는 단계는 상기 제 1 이미지 데이터에 대해 하나 이상의 감마 보정 동작들 및 하나 이상의 선예도 향상 동작들을 수행하는 단계를 더 포함하는, 이미지 프로세싱 파이프라인에서의 컬러 보정을 위한 방법.
  11. 메모리 및 하나 이상의 프로세서들을 포함하는 장치로서,
    상기 하나 이상의 프로세서들은,
    복수의 픽셀들의 각각에 대한 레퍼런스 루미넌스 데이터 및 레퍼런스 크로미넌스 데이터에 대응하는 제 1 이미지 데이터를 수신하고;
    상기 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하고;
    상기 제 1 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행함으로써 제 2 이미지 데이터를 생성하는 것으로서, 상기 제 2 이미지 데이터는 상기 복수의 픽셀들의 각각에 대한 현재의 루미넌스 데이터 및 현재의 크로미넌스 데이터에 대응하는, 상기 제 2 이미지 데이터를 생성하고; 그리고
    상기 복수의 픽셀들의 각각의 픽셀에 대해:
    상기 현재의 루미넌스 데이터의 대응하는 픽셀의 출력 루미넌스 값; 및
    상기 레퍼런스 크로미넌스 데이터 및 상기 현재의 크로미넌스 데이터 중 선택된 데이터로부터 대응하는 픽셀의 크로미넌스 값들
    을 포함하도록 출력 이미지 데이터를 생성하는 것으로서, 상기 선택은 상기 레퍼런스 크로미넌스 데이터 및 상기 현재의 크로미넌스 데이터에 적어도 부분적으로 기초하는, 상기 출력 이미지 데이터를 생성하도록
    구성되는, 장치.
  12. 제 11 항에 있어서,
    상기 복수의 픽셀들의 각각의 픽셀에 대해, 상기 제 1 이미지 데이터의 대응하는 픽셀이 회색으로서 검출되고 상기 제 2 이미지 데이터의 대응하는 픽셀이 컬러 색조된 것으로서 검출될 경우, 상기 출력 이미지 데이터는 상기 현재의 크로미넌스 데이터 대신 상기 레퍼런스 크로미넌스 데이터를 포함하는, 장치.
  13. 제 12 항에 있어서,
    상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터는 YUV 포맷이고, 상기 레퍼런스 크로미넌스 데이터는 레퍼런스 U 데이터 및 레퍼런스 V 데이터를 포함하고, 상기 현재의 크로미넌스 데이터는 현재의 U 데이터 및 현재의 V 데이터를 포함하는, 장치.
  14. 제 13 항에 있어서,
    상기 하나 이상의 프로세서들은,
    상기 레퍼런스 U 데이터와 중간점 U 값 사이의 절대 차이가 레퍼런스 임계치보다 작음을 결정하는 것에 의해 상기 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하도록 구성되는, 장치.
  15. 제 14 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 상기 레퍼런스 U 데이터와 상기 레퍼런스 V 데이터 사이의 절대 차이가 상기 레퍼런스 임계치보다 작음을 결정하는 것에 의해 상기 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하도록 구성되는, 장치.
  16. 제 14 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 상기 레퍼런스 V 데이터와 중간점 V 값 사이의 절대 차이가 상기 레퍼런스 임계치보다 작음을 결정하는 것에 의해 상기 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하도록 구성되는, 장치.
  17. 제 16 항에 있어서,
    상기 중간점 U 값 및 상기 중간점 V 값은 각각 128 이고, 상기 YUV 포맷에서의 U 및 V 값들의 개별 범위들은 0 과 256 사이인, 장치.
  18. 제 13 항에 있어서,
    상기 하나 이상의 프로세서들은,
    상기 현재의 U 데이터와 중간점 U 값 사이의 절대 차이가 현재의 최소치 이상이고 현재의 최대치 이하임을 결정하는 것; 및
    상기 현재의 V 데이터와 중간점 V 값 사이의 절대 차이가 상기 현재의 최소치 이상이고 상기 현재의 최대치 이하임을 결정하는 것
    에 의해 상기 제 2 이미지 데이터에서의 픽셀이 컬러 색조됨을 검출하도록 구성되는, 장치.
  19. 제 11 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 제 1 이미지 데이터가, 상기 원시 이미지와 연관된 자동 노출 제어 (AEC) 이득이 임계 AEC 이득보다 큼을 결정함으로써 상기 다크 환경에서 캡처된 상기 원시 이미지에 대응함을 결정하도록 구성되는, 장치.
  20. 제 11 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 제 1 이미지 데이터에 대해 하나 이상의 감마 보정 동작들 및 하나 이상의 선예도 향상 동작들을 수행하는 것에 기초하여 상기 제 2 이미지 데이터를 생성하도록 구성되는, 장치.
  21. 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 이미지 프로세싱 디바이스의 하나 이상의 프로세서들에 의해 실행될 경우, 상기 이미지 프로세싱 디바이스로 하여금 동작들을 수행하게 하며,
    상기 동작들은,
    복수의 픽셀들의 각각에 대한 레퍼런스 루미넌스 데이터 및 레퍼런스 크로미넌스 데이터에 대응하는 제 1 이미지 데이터를 수신하는 것;
    상기 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하는 것;
    상기 제 1 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행함으로써 제 2 이미지 데이터를 생성하는 것으로서, 상기 제 2 이미지 데이터는 상기 복수의 픽셀들의 각각에 대한 현재의 루미넌스 데이터 및 현재의 크로미넌스 데이터에 대응하는, 상기 제 2 이미지 데이터를 생성하는 것; 및
    상기 복수의 픽셀들의 각각의 픽셀에 대해:
    상기 현재의 루미넌스 데이터의 대응하는 픽셀의 출력 루미넌스 값; 및
    상기 레퍼런스 크로미넌스 데이터 및 상기 현재의 크로미넌스 데이터 중 선택된 데이터로부터 대응하는 픽셀의 크로미넌스 값들
    을 포함하도록 출력 이미지 데이터를 생성하는 것으로서, 상기 선택은 상기 레퍼런스 크로미넌스 데이터 및 상기 현재의 크로미넌스 데이터에 적어도 부분적으로 기초하는, 상기 출력 이미지 데이터를 생성하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  22. 제 21 항에 있어서,
    상기 복수의 픽셀들의 각각의 픽셀에 대해, 상기 제 1 이미지 데이터의 대응하는 픽셀이 회색으로서 검출되고 상기 제 2 이미지 데이터의 대응하는 픽셀이 컬러 색조된 것으로서 검출될 경우, 상기 출력 이미지 데이터는 상기 현재의 크로미넌스 데이터 대신 상기 레퍼런스 크로미넌스 데이터를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  23. 제 22 항에 있어서,
    상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터는 YUV 포맷이고, 상기 레퍼런스 크로미넌스 데이터는 레퍼런스 U 데이터 및 레퍼런스 V 데이터를 포함하고, 상기 현재의 크로미넌스 데이터는 현재의 U 데이터 및 현재의 V 데이터를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  24. 제 23 항에 있어서,
    상기 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하기 위한 상기 명령들의 실행은 추가로, 상기 이미지 프로세싱 디바이스로 하여금
    상기 레퍼런스 U 데이터와 중간점 U 값 사이의 절대 차이가 레퍼런스 임계치보다 작음을 결정하는 것; 및
    상기 레퍼런스 V 데이터와 중간점 V 값 사이의 절대 차이가 상기 레퍼런스 임계치보다 작음을 결정하는 것
    을 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  25. 제 24 항에 있어서,
    상기 제 1 이미지 데이터에서의 픽셀이 회색임을 검출하기 위한 상기 명령들의 실행은 추가로, 상기 이미지 프로세싱 디바이스로 하여금 상기 레퍼런스 U 데이터와 상기 레퍼런스 V 데이터 사이의 절대 차이가 상기 레퍼런스 임계치보다 작음을 결정하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  26. 제 25 항에 있어서,
    상기 중간점 U 값 및 상기 중간점 V 값은 각각 128 이고, 상기 YUV 포맷에서의 U 및 V 값들의 개별 범위들은 0 과 256 사이인, 비일시적 컴퓨터 판독가능 저장 매체.
  27. 제 23 항에 있어서,
    상기 제 2 이미지 데이터에서의 픽셀이 컬러 색조됨을 검출하기 위한 상기 명령들의 실행은 상기 이미지 프로세싱 디바이스로 하여금
    상기 현재의 U 데이터와 중간점 U 값 사이의 절대 차이가 현재의 최소치 이상이고 현재의 최대치 이하임을 결정하는 것; 및
    상기 현재의 V 데이터와 중간점 V 값 사이의 절대 차이가 상기 현재의 최소치 이상이고 상기 현재의 최대치 이하임을 결정하는 것
    을 더 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  28. 제 21 항에 있어서,
    상기 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하기 위한 상기 명령들의 실행은 상기 이미지 프로세싱 디바이스로 하여금 상기 원시 이미지와 연관된 자동 노출 제어 (AEC) 이득이 임계 AEC 이득보다 큼을 결정하는 것을 더 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  29. 제 21 항에 있어서,
    상기 제 2 이미지 데이터를 생성하기 위한 상기 명령들의 실행은 상기 이미지 프로세싱 디바이스로 하여금 상기 제 1 이미지 데이터에 대해 하나 이상의 감마 보정 동작들 및 하나 이상의 선예도 향상 동작들을 수행하는 것을 더 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  30. 이미지 프로세싱 파이프라인으로서,
    원시 이미지를 수신하고 상기 원시 이미지에 대해 하나 이상의 이미지 프로세싱 동작들을 수행하기 위한 원시 이미지 프로세싱 수단;
    프로세싱된 상기 원시 이미지에 대해 하나 이상의 컬러 보정 매트릭스 (CCM) 동작들을 수행하기 위한 CCM 수단;
    복수의 픽셀들의 각각에 대한 레퍼런스 루미넌스 데이터 및 레퍼런스 크로미넌스 데이터에 대응하는 제 1 이미지 데이터를 생성하기 위해 상기 CCM 수단의 출력에 대해 하나 이상의 노이즈 제거 동작들을 수행하기 위한 노이즈 제거 수단;
    상기 제 1 이미지 데이터에 대해 하나 이상의 톤 맵핑 동작들을 수행함으로써 제 2 이미지 데이터를 생성하기 위한 톤 맵핑 수단으로서, 상기 제 2 이미지 데이터는 상기 복수의 픽셀들의 각각에 대한 현재의 루미넌스 데이터 및 현재의 크로미넌스 데이터에 대응하는, 상기 톤 맵핑 수단; 및
    컬러 보정 수단으로서,
    상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터를 수신하고;
    상기 제 1 이미지 데이터가 다크 환경에서 캡처된 원시 이미지에 대응함을 결정하고; 그리고
    상기 복수의 픽셀들의 각각의 픽셀에 대해:
    상기 현재의 루미넌스 데이터의 대응하는 픽셀의 출력 루미넌스 값; 및
    상기 레퍼런스 크로미넌스 데이터 및 상기 현재의 크로미넌스 데이터 중 선택된 데이터로부터 대응하는 픽셀의 크로미넌스 값들
    을 포함하는 출력 이미지 데이터를 생성하는 것으로서, 상기 선택은 상기 레퍼런스 크로미넌스 데이터 및 상기 현재의 크로미넌스 데이터에 적어도 부분적으로 기초하는, 상기 출력 이미지 데이터를 생성하도록 구성되는, 상기 컬러 보정 수단을 포함하는, 이미지 프로세싱 파이프라인.
KR1020237000824A 2020-07-13 2020-07-13 저조도 조건들에서 캡처된 컬러 색조된 픽셀들의 보정 KR20230038191A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/101650 WO2022011504A1 (en) 2020-07-13 2020-07-13 Correction of color tinted pixels captured in low-light conditions

Publications (1)

Publication Number Publication Date
KR20230038191A true KR20230038191A (ko) 2023-03-17

Family

ID=79556059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237000824A KR20230038191A (ko) 2020-07-13 2020-07-13 저조도 조건들에서 캡처된 컬러 색조된 픽셀들의 보정

Country Status (7)

Country Link
US (1) US20230199133A1 (ko)
EP (1) EP4179721A4 (ko)
KR (1) KR20230038191A (ko)
CN (1) CN115804080A (ko)
BR (1) BR112022026943A2 (ko)
TW (1) TW202218403A (ko)
WO (1) WO2022011504A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115587950B (zh) * 2022-11-03 2023-09-26 昆山腾云达信息咨询技术服务中心(有限合伙) 一种微光增强色彩恢复方法
CN116841066B (zh) * 2023-06-28 2024-02-23 晶源时代(深圳)科技有限公司 一种液晶显示屏的色偏补偿方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221381B2 (en) * 2001-05-09 2007-05-22 Clairvoyante, Inc Methods and systems for sub-pixel rendering with gamma adjustment
US7233705B2 (en) * 2001-07-24 2007-06-19 Hewlett-Packard Development Company, L.P. Method and apparatus for reducing inaccuracies when processing color data with a tone map
KR101538912B1 (ko) * 2010-06-08 2015-07-23 돌비 레버러토리즈 라이쎈싱 코오포레이션 색조 및 색역 맵핑 방법들 및 장치
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
AU2015207825A1 (en) * 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
GB2554669B (en) 2016-09-30 2022-04-06 Apical Ltd Image processing
CN106878634B (zh) * 2017-04-28 2019-11-05 浙江宇视科技有限公司 一种图像中黑电平的补偿方法和装置
KR102408344B1 (ko) * 2017-10-31 2022-06-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
JP7003304B2 (ja) * 2018-06-18 2022-01-20 ドルビー ラボラトリーズ ライセンシング コーポレイション 撮像方法およびシステム

Also Published As

Publication number Publication date
EP4179721A4 (en) 2024-04-17
US20230199133A1 (en) 2023-06-22
CN115804080A (zh) 2023-03-14
EP4179721A1 (en) 2023-05-17
TW202218403A (zh) 2022-05-01
WO2022011504A1 (en) 2022-01-20
BR112022026943A2 (pt) 2023-01-24

Similar Documents

Publication Publication Date Title
US8248483B2 (en) Signal processing apparatus, signal processing method, control program, readable recording medium, solid-state image capturing apparatus, and electronic information device
US7969480B2 (en) Method of controlling auto white balance
JP5223742B2 (ja) エッジ強調画像処理装置
WO2011118071A1 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
US9420197B2 (en) Imaging device, imaging method and imaging program
KR102102740B1 (ko) 이미지 프로세싱 장치 및 이미지 프로세싱 방법
US8593546B2 (en) Image processing apparatus, image processing method, and camera module for detecting and correcting defective pixels based on contrast and illuminance
US8120670B2 (en) Apparatus and method for controlling gain of color signal
US8648937B2 (en) Image processing apparatus, image processing method, and camera module
WO2022011504A1 (en) Correction of color tinted pixels captured in low-light conditions
US20180288336A1 (en) Image processing apparatus
KR101754425B1 (ko) 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법
JP2013157867A (ja) 画像処理装置
KR101854432B1 (ko) 역광 프레임을 검출하고, 보정하는 방법 및 장치
US20200029016A1 (en) Moving object monitoring device and moving object monitoring system
JP5591026B2 (ja) 撮像装置及びその制御方法
KR100915598B1 (ko) 화이트밸런스 자동조정장치 및 방법
KR101131109B1 (ko) 센서 특성을 고려한 화이트 검출에 의한 자동 화이트밸런스 설정방법
JP2006060744A (ja) ノイズリダクション装置
WO2022032666A1 (zh) 处理图像的方法和相关装置
US10469761B2 (en) Image capturing apparatus
JP2012156580A (ja) 画像処理装置
US20210366084A1 (en) Deblurring process for digital image processing
US20230345136A1 (en) Image processing apparatus, image processing method, and storage medium
EP4072119A1 (en) Illumination control device, imaging device, and storage medium