KR20210155743A - 화이트 밸런스를 제어하는 하이 다이나믹 레인지 센서들의 이미지 처리 방법 - Google Patents

화이트 밸런스를 제어하는 하이 다이나믹 레인지 센서들의 이미지 처리 방법 Download PDF

Info

Publication number
KR20210155743A
KR20210155743A KR1020210011891A KR20210011891A KR20210155743A KR 20210155743 A KR20210155743 A KR 20210155743A KR 1020210011891 A KR1020210011891 A KR 1020210011891A KR 20210011891 A KR20210011891 A KR 20210011891A KR 20210155743 A KR20210155743 A KR 20210155743A
Authority
KR
South Korea
Prior art keywords
white balance
image data
exposures
exposure
pixel
Prior art date
Application number
KR1020210011891A
Other languages
English (en)
Inventor
옴리 센디크
로에 스파라디
도론 사보
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20210155743A publication Critical patent/KR20210155743A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G06T5/009—Global, i.e. based on properties of the image as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N5/35536—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

본 발명은 이미지의 화이트 밸런스를 설정하는 시스템들 및 방법들을 제공한다. 시스템들 및 방법들의 실시 예들은 복수의 노출들을 포함하는 이미지 데이터를 수신하고, 노출들의 하이 다이나믹 레인지(HDR; high dynamic range) 병합으로부터 병합 정보를 기반으로 복수의 화이트 밸런스 값들을 생성하고, 화이트 밸런스 값들을 기반으로 이미지 데이터의 각 픽셀의 화이트 밸런스를 조정할 수 있다.

Description

화이트 밸런스를 제어하는 하이 다이나믹 레인지 센서들의 이미지 처리 방법{METHOD FOR IMAGE PROCESSING OF HIGH DYNAMIC RANGE SENSORS FOR HANDLING WHITE BALANCE}
본 발명은 이미지 처리에 관한 것으로, 좀 더 상세하게는, 이미지의 화이트 밸런스를 설정하는 것에 관한 것이다.
화이트 밸런스는 이미지의 컬러 캐스터를 바꾸는 프로세스이다. 예를 들어, 눈에 흰색으로 나타나는 객체들이 이미지에서 흰색으로 렌더링되도록 컬러들이 바뀔 수 있다. 이미지의 화이트 밸런스는 흰색 광의 상대적인 따뜻함 또는 차가움을 지칭하는 광원의 “색 온도(color temperature)”와 연관된다.
일부 경우에서, 디지털 카메라들은 자동 화이트 밸런스(automatic white balancing)를 수행하는데 어려움을 갖는다. 이미지가 적절하게 화이트 밸런스되지 않는 경우, 보기 불편한 블루, 오렌지, 또는 그린 컬러 캐스트들이 생성될 수 있다. 자연광 소스 또는 하나 또는 그 이상의 인공 광 소스들과 같이 복수의 다른 광 소스들에 의해 장면이 비춰질 때, 이러한 문제점이 악화될 수 있다. 즉, 자동 화이트 밸런스 알고리즘의 하나의 목적은 주변광의 색온도를 찾는 것이다. 장면(scene)이 하나 또는 그 이상의 광 소스를 갖는 경우, 각 객체는 다른 광(또는 복수의 광들의 혼합)에 의해 영향을 받을 수 있고, 이는 자동 화이트 밸런스 알고리즘에 간섭을 줄 수 있다. 그러므로, 디지털 이미지에 대한 화이트 밸런스를 수행하는 향상된 시스템들 및 방법들이 본 기술 분야에서 요구된다.
본 발명의 목적은 신뢰성 있는 화이트 밸런스 게인들을 획득할 수 있는 시스템들 및 방법들을 제공하는데 있다.
이지미의 화이트 밸런스를 설정하는 방법, 장치, 및 비-일시적인 컴퓨터 판독 가능한 매체, 및 시스템이 설명된다. 방법, 장치, 및 비-일시적인 컴퓨터 판독 가능한 매체, 및 시스템은 복수의 노출들을 포함하는 이미지 데이터를 수신할 수 있고, 노출들의 HDR(high dynamic range) 병합으로부터의 병합 정보를 기반으로 복수의 화이트 밸런스 값들을 생성할 수 있고, 화이트 밸런스 값들을 기반으로 이미지 데이터의 각 픽셀의 화이트 밸런스를 조절할 수 있다.
본 발명에 따르면, 신뢰성있는 화이트 밸런스 게인들을 획득할 수 있는 시스템들 및 방법들이 제공된다.
도 1은 본 발명의 실시 예에 따른 복수의 광 소스들을 포함하는 이미지의 예를 보여준다.
도 2는 본 발명의 실시 예에 따른 카메라의 예를 보여준다.
도 3은 본 발명의 실시 예에 따른 HDR(high dynamic range) 병합 처리의 예를 보여준다.
도 4는 본 발명의 실시 예에 따른 이미지 처리의 방법의 예를 보여준다.
도 5는 본 발명의 실시 예에 따른 HDR 병합을 기반으로 이미지의 화이트 밸런스를 설정하는 프로세스의 예를 보여준다.
도 6은 본 발명의 실시 예에 따른 이미지의 화이트 밸런스를 설정하는 프로세스의 예를 보여준다.
본 발명의 실시 예는 디지털 이미지들에 대한 화이트 밸런스를 수행하는 것과 연관된다. 본 발명의 실시 예에 따르면, 단일 글로벌 주변 조명(single global ambient illumination)을 추청하여 모든 픽셀들에 동일한 솔루션을 적용하는 것 대신에, 자동-화이트 밸런싱 알고리즘은 이미지에서 다른 픽셀들로 다른 화이트 밸런스 값들을 적용할 수 있다. 본 발명의 실시 예들은 조합된 조명 광과 함께 이미지 장면들을 조정하는데 HDR(High Dynamic Range) 컴포넌트들의 속성들을 사용한다.
화이트 밸런스(white balance)는 이미지에서 컬러들의 비율을 지칭한다. 화이트 밸런싱(white balancing)은 이미지에서 화이트 밸런스를 조정하는 동작을 지칭할 수 있다. 화이트 밸런싱의 처리 도중에, 눈에 흰색으로 나타나는 객체들이 이미지에서 흰색으로 렌더링되도록 컬러들이 바뀔 수 있다. 이미지의 화이트 밸런스는 흰색 광의 상대적인 따뜻함 또는 차가움을 지칭하는 광 소스의 "색 온도(color temperature)"와 연관된다.
본 발명의 실시 예들은 HDR 병합(high dynamic range merge) 동안 생성된 정보를 사용한다. HDR 프로세스는 복수의 조명들을 기반으로 이미지를 분할하여 한번에 동일한 이미지에서 다른 밝기 레벨들을 관리하는 기능을 제공하는 것을 포함할 수 있다. 예를 들어, 복수의 이미지 노출들(multiple image exposures)이 병합될 수 있다. 각 노출은 다른 광 소스들에 의해 밝혀진 이미지의 부분들의 디테일들을 캡쳐할 수 있다. HDR 병합 프로세스의 출력은 조합된 조명 시나리오의 적절한 관리를 위해, 화이트 및 그레이 밸런스 게인들을 탐색하는데 사용될 수 있다.
다른 밝기 레벨들이 다른 조명 소스들로부터 기인할 수 있으나, HDR 프로세스는 다른 광 소스들을 직접 식별할 수 있다. 즉, HDR 프로세스는 밝기 레벨들에만 기반될 수 있다. HDR 프로세스는 다른 노출들에서 동일한 픽셀들의 픽셀 값들의 선형 조합으로서 출력 픽셀 값들을 연산할 수 있다. 다양한 경우들에서, 주어진 픽셀에 대하여, 노출들 중 하나가 지배적(dominant)일 수 있고, 따라서 더 높은 가중치가 할당될 수 있다.
그러므로, 긴 노출은 이미지의 그림자 또는 어두운 부분들에 대한 디테일들을 캡쳐할 수 있고, 짧은 노출은 밝은 부분들을 캡쳐할 수 있다.
자연 이미지들에서, 밝기 레벨과 조명 소스 및 밝기 사이의 상관 관계(예를 들어, 터널의 예에서, 터널의 출구는 햇빛에 의해 밝혀지고, 밝은 반면에, 터널 내부는 터널 램프에 의해 밝혀지고 어두움.)가 존재한다. 밝기 레벨 및 조명 소스 사이의 상관 관계는 화이트 밸런싱에 대한 유용한 분할 정보(segmentation information)을 제공할 수 있다.
본 발명의 시스템들 및 방법들은 실시간으로 수행될 수 있다. 예를 들어, 복수의 장면 영역들은 개별적인 세그먼트들로 자동적으로 분할될 수 있고, 화이트 밸런스 게인들은 세그먼트들을 기반으로 추정될 수 있다. 일부 경우들에서, 하드웨어 가속기는 HDR 병합, 화이트 밸런싱, 또는 둘 모두의 성능을 향상시키는데 사용될 수 있다.
화이트 밸런스(또는 컬러 밸런스)는 이미지의 다양한 컬러들(일반적으로, 레드(red), 그린(green), 및 블루(blue) 주요 컬러들)의 강도의 조정을 가리킬 수 있다. 이는 일반적인 관찰자들에게 좀더 정확하게 보이는 방식으로, 컬러들의 검출을 가능하게 할 수 있다. 다양한 경우들에서, 컬러들은 화이트 객체들이 흰색으로 보이도록 밸런스될 수 있다. 예를 들어, 이는 흰색 또는 회색 객체들을 나타내는 픽셀들의 RGB 값들이 동일해지도록 RGB 값들을 조정하는 것을 의미할 수 있다. 따라서, 컬러 밸런싱 방법들은 그레이 밸런스(gray balance), 뉴트럴 밸런스(neutral balance), 또는 화이트 밸런스(white balance)로 불릴 수 있다.
일부 경우들에서, 컬러 밸런싱 또는 화이트 밸런싱은 이미지에서의 컬러들의 전체 혼합을 바꾼다. 컬러 밸런스의 일반화된 버전은 중간색(neutrals)과 다른 컬러들을 보정하거나 또는 예술 효과(artistic effect)를 위해 컬러들을 의도적으로 바꾸는데 사용될 수 있다.
따라서, 센서들(필름 또는 전자 이미지 센서들 중 하나)에 의해 획득된 이미지 데이터는 획득된 값들로부터 컬러 재생성 또는 디스플레이에 적합한 새로운 값들로 변환될 수 있다. 수집 및 디스플레이 프로세스의 다양한 사상들은 이러한 컬러 보정이 필수적이다.컬러 보정은 수집 센서들이 사람의 눈의 센서들과 매칭되지 않는 점, 디스플레이 매체의 속성들이 고려될 수 있는 점, 획득의 주변 보기 조건들이 디스플레이 보기 조건들과 다른 점을 포함한다.
도 1은 본 발명의 실시 예에 따른 복수의 조명 소스들을 포함하는 이미지(100)의 예를 보여준다. 이미지(100)는 제1 영역(105) 및 제2 영역(115)을 포함할 수 있다. 제1 영역(105)은 제1 조명 소스(110)(즉, 터널 내의 전기 조명과 같은 인공 광 소스)를 포함할 수 있다. 제2 영역(115)은 제2 조명 소스(120)(즉, 햇빛과 같은 자연 광 소스)를 포함할 수 있다.
카메라는 이미지 캡쳐 프로세스로 광 데이터를 수집한다. 광 데이터는 장면의 다양한 객체들의 표면들로부터 반사되고 굴절된다. 예를 들어, 객체들은 빌딩들, 자동차들, 사람들, 동물들 등과 같은 구조화되거나, 자연적이거나, 또는 인공적인 객체들일 수 있다. 더욱이, 객체들은 하늘, 유리, 및 바다와 같은 무정형의 객체들일 수 있으나, 본 발명이 이러한 예시들에 한정되는 것은 아니다.
이미지에서 캡쳐된 객체들의 표현 컬러는 장면의 조명 조건들 및 객체들의 원래 컬러들에 의존할 수 있다. 즉, 객체의 광 흡수 및 방출 스펙트럼들은 휴먼 비주얼 시스템(HVS; Human Visual System)의 구조 및 광 조건과 함께 인지된 컬러를 결정할 수 있다.
예를 들어, 햇빛 조명 조건들에서 장면의 이미지는 해질녘 또는 새벽 동안의 동일한 장면과 비교하여 다르게 나타날 수 있다. 조명들의 온도의 차이는 이러한 차이를 발생시킨다. 더 차가운 색 온도들은 낮 동안에 나타날 수 있고, 더 따뜻한 색 온도들은 해질녘 동안 나타날 수 있다.
광 소스의 색 온도는 그 색의 광을 방출하는 이상적인 흑색 방사체(black-body radiator)의 온도를 가리킨다. 즉 색온도는 특정 흑체의 복사와 가장 근접하게 대응하는 광 소스에 대하여 의미있다. 이는 레드로부터 오렌지, 옐로우, 화이트, 청백색까지의 범위의 광을 포함할 수 있다. 색 온도는 그린 또는 퍼플 광에 적용되지 않을 수 있다. 색 온도는 절대 온도에 대한 측정 단위인 K의 기호를 사용하는 켈빈으로 일반적으로 표현될 수 있다. 예를 들어, 5000K보다 큰 색 온도는 “차가운 컬러(cool color)”로 지칭될 수 있고, 그보다 낮은 색온도들 (2700K~3000K)은 “따뜻한 컬러(warm color)”로 지칭될 수 있다.
본 발명의 일부 실시 예들은 하이 다이내믹 레인지 센서들을 사용하여 특정 둘 또는 그 이상의 조명 타입들을 포함하는 장면들에서 화이트 밸런싱 프로세스를 적용한다. 상술된 바와 같이, 조명들은 동일한 장면에 다른 레벨들의 광을 적용하므로 모순일 수 있다. 이 시나리오들은 도 1에 도시된 터널과 같은 자동차 시나리오에서 일반적일 수 있다.
예를 들어, 자동차가 터널로 진입하거나 진출할 때, 장면은 2개의 소스들에 의해 밝혀질 수 있다. 제1 소스는 인공의 터널 광일 수 있고, 제2 소스는 햇빛 또는 달빛일 수 있다. 이러한 소스들은 매우 다른 색 온도 및 광 특성들을 가질 수 있다. 화이트 밸런스 게인들의 단일 세트가 장면 전체에 적용되는 경우, 선택된 화이트 밸런스는 이러한 다른 소스들의 하나 또는 둘 모두에 의해 주요하게 밝혀진 영역들에 대하여 부적절할 수 있다.
즉, 제1 광 소스(110) 및 제2 광 소스(120)는 다른 밝기 레벨들 및 다른 색 온도들과 같은 매우 다른 특성을 가질 수 있다. 이러한 소스들로부터 반사된 광(즉, 제1 영역(105) 및 제2 영역(115)에서)은 다를 수 있다. 동일한 화이트 밸런싱이 두 영역들 모두에 대하여 사용된 경우, 그 결과는 부자연스럽게 나타날 수 있다. 예를 들어, 인공 광에 의해 밝혀진 제1 영역(105)은 옐로우 캐스트(yellow cast)를 갖도록 나타날 수 있고, 자연 광에 의해 밝혀진 제2 영역(115)은 블루 캐스트(blue cast)를 갖도록 나타날 수 있다. 만약 화이트 밸런싱이 이러한 다른 영역들에 대하여 개별적으로 수행된다면, 결과는 좀 더 자연스럽게 나타날 수 있다.
도 2는 본 발명의 실시 예에 따른 카메라(200)의 예를 보여준다. 카메라(200)는 프로세서 유닛(205), 메모리 유닛(210), 노출 컴포넌트(214), HDR(high dynamic range) 컴포넌트(220), 및 화이트 밸런스 컴포넌트(225)를 포함할 수 있다. 일부 경우들에서, 카메라(220)는 모바일 전자 장치 또는 자동차와 같은 대형 장치와 같은 다른 장치들의 일부일 수 있다. 그러나 본 발명의 범위가 이러한 장치들에 제한되는 것은 아니다. 예를 들어, 일부 경우들에서, 이미지 데이터는 원격 센서들로부터 수신될 수 있고, 클라우드에서 처리될 수 있다.
프로세서 유닛(205)은 지능적인 하드웨어 장치, 예를 들어, 범용 프로세싱 컴포넌트, DSP(digital signal processor), CPU(central processing unit), GPU(graphics processing unit), 마이크로컨트롤러, ASIC(application specific integrated circuit), FPGA(field programmable gate array), 프로그램 가능한 로직 장치, 이산 게이트 또는 트랜지스터 로직 컴포넌트, 이산 하드웨어 컴포넌트, 또는 그것들의 조합일 수 있다. 일부 경우들에서, 프로세서는 메모리 컨트롤러를 사용하여 메모리 어레이를 동작시키도록 구성될 수 있다. 다른 경우들에서, 메모리 컨트롤러는 프로세서에 통합될 수 있다. 프로세서는 메모리에 저장된 컴퓨터-읽기 가능한 명령어들을 실행하여 다양한 기능들을 수행하도록 구성될 수 있다. 일부 예시들에서, 프로세서는 모뎀 프로세싱, 베이스밴드 프로세싱, 디지털 신호 프로세싱, 또는 전송 프로세싱을 위한 특정 목적 컴포넌트들(special purpose components)을 포함할 수 있다. 일부 예들에서, 프로세서는 시스템-온-칩(system-on-chip)을 포함할 수 있다.
메모리 유닛(210)은 컴퓨팅 장치 상의 다양한 프로그램들 및 애플리케이션들에 대한 정보를 저장할 수 있다. 예를 들어, 스토리지는 운영 체제를 구동하기 위한 데이터를 포함할 수 있다. 메모리는 휘발성 메모리 및 불휘발성 메모리 모두를 포함할 수 있다. 휘발성 메모리는 RAM(random access memory)을 포함할 수 있고, 불휘발성 메모리는 ROM(read-only memory), 플래시 메모리, EEPROM(electrically erasable programmable read-only memory), 디지털 테이프, HDD(hard disk drive), 및 SSD(solid state drive)를 포함할 수 있다. 메모리는 읽기 가능한 및/또는 쓰기 가능한 휘발성 메모리들 및/또는 불휘발성 메모리들의 조합과 함께 다른 가능한 스토리지 장치들을 포함할 수 있다.
노출 컴포넌트(215)는 노출들의 세트를 포함하는 이미지 데이터를 포함할 수 있다. 예를 들어, 노출 컴포넌트(215)는 제1 시간 동안 광을 카메라 센서로 노출시켜 제1 노출을 생성할 수 있고, 제1 시간과 다른 제2 시간 동안 광을 카메라 센서(또는 다른 카메라 센서)로 광을 노출시켜 제2 노출을 생성할 수 있다. 일부 경우들에서, 둘 이상의 노출들이 수집된다. 일부 예들에서, 이미지 데이터는 광 소스들의 세트에 기반될 수 있다.
HDR 컴포넌트(220)는 노출들에 대한 HDR 병합을 수행할 수 있다. HDR 프로세스는 다른 광 레벨들을 캡쳐하는 다수의 노출들을 획득하는 것에 기반될 수 있다. 다른 노출들은 이미지의 다른 부분들에 대하여 적절한 밝기 레벨을 캡쳐할 수 있다. 즉, HDR 프로세스에서, 노출들 중 하나(또는 노출들의 조합)가 각 픽셀에 대하여 선택된다. 이는 이미지를 다른 영역들로 필수적으로 분할한다. 노출들의 조합이 각 픽셀에 대하여 사용되는 경우, 영역들은 중첩될 수 있다. HDR 프로세스는 이러한 정보를 사용하여, 각 영역에서의 밝기의 적절한 레벨을 달성한다. 다른 조명 소스들의 다른 밝기 레벨들이 다른 광 소스들에 연관될 수 있기 때문에, 즉, 다른 색 온도를 갖기 때문에, 이 정보는 각 영역에서 적절한 화이트 밸런스를 달성하는데 사용될 수 있다.
하이-다이내믹-레인지 이미징(high-dynamic-range imaging)은 표준 디지털 이미징 또는 포토그래픽 기법들을 사용하여 가능한 것보다 광도의 더 큰 다이내믹 레인지를 재생성하는데 사용될 수 있다. 예를 들어, 표준 기법들은 밝기의 제한된 범위 내에서 파생(differentiation)을 허용할 수 있다. 이 범위 밖에서는, 특징들이 충분히 파생되지 않을 수 있다. 예를 들어, 지나치게 밝은 영역들에서는, 모든 것이 흰색으로 표시되고, 지나치게 어두운 영역들에서는 모든 것이 검은 색으로 표시된다.
그러나, HDR 이미지들은 밝기의 더 넓은 범위를 기록하고 표현할 수 있다. 이는 동일한 장면의 다양한 다른 노출들을 캡쳐하고 조합함으로써 달성될 수 있다. HDR 이미지들은 컴퓨팅 프로세싱을 사용하거나 또는 복수의 이미지들을 수동으로 병합함으로써 생성될 수 있다. HDR 이미지들은 특정 이미지 센서를 사용하여 획득될 수 있다.
HDR 이미지를 디스플레이 장치로 렌더링하는 일부 방법들은 톤 맵핑(tone mapping)으로 지칭될 수 있다. 톤 맵핑(tone mapping)은 HDR 이미지의 전체 대조(contrast)를 감소시킬 수 있으나, 좀 더 자연적이거나 또는 세밀한 이미지들이 장치 상에 디스플레이되도록 할 수 있다.
화이트 밸런스 컴포넌트(225)는 노출들의 HDR 병합으로부터의 병합 정보를 기반으로 화이트 밸런스 값들의 세트를 생성하고, 화이트 밸런스 값들을 기반으로 이미지 데이터의 각 픽셀의 화이트 밸런스를 조정한다. 화이트 밸런스 컴포넌트(225)는 이미지 데이터를 HDR 병합을 기반으로 조명 세그먼트의 세트(a set of illumination segments)로 분할할 수 있다. 화이트 밸런스 값들 각각은 조명 세그먼트들 중 하나에 대응한다. 일부 경우들에서, 조명 세그먼트들은 HDR 병합을 위하여 사용된 것과 동일할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 추가적인 프로세싱은 HDR 프로세서로부터의 세그먼트 정보를 정제(refine), 제한(limit), 또는 다르게 대체(other alter)하는데 사용될 수 있다.
즉, 화이트 밸런스 컴포넌트(225)는 화이트 밸런스 영역들의 세트를 식별할 수 있고, 이미지 데이터의 각 픽셀은 화이트 밸런스 영역들 중 하나에 대응하고, 화이트 밸런스 영역들 각각은 화이트 밸런스 값들 중 하나에 대응하고, 각 픽셀의 화이트 밸런스는 대응하는 화이트 밸런스 영역을 기반으로 조정된다.
일부 경우들에서, 화이트 밸런스 컴포넌트(225)는 HDR 병합을 기반으로 이미지 데이터의 각 픽셀에 대한 노출 정보를 식별할 수 있다. 노출 정보는 픽셀 및 하나 또는 그 이상의 노출들 사이의 대응을 포함할 수 있다. 이미지 데이터는 노출 정보를 기반으로 조명 세그먼트들로 분할될 수 있다. 일부 예들에서, 노출 정보는 픽셀들 각각에 대한 단일 노출을 가리킬 수 있다.
일부 예들에서, 노출 정보는 픽셀들 각각에 대한 노출들의 선형 조합(linear combination)을 가리킨다. 즉, 화이트 밸런스 컴포넌트(225)는 픽셀들 각각에 대한 노출들의 선형 조합을 포함하는 인자(factor)를 식별할 수 있고, 픽셀들 각각에 대한 가장 높은 가중치를 갖는 노출을 선택할 수 있고, 픽셀들 각각에 대한 가장 높은 가중치가 임계 값 이상인지 판별할 수 있다. 이미지 데이터는 판별을 기반으로 조명 세그먼트들로 분할된다. 일부 경우들에서, 세그먼트들 사이의 천이(transition)는 연속될 수 있다. 즉, 픽셀로 적용되는 화이트 밸런스 게인은 결과 이미지에서의 불연속성을 방지하기 위한, 2개의 다른 세그먼트들로부터 화이트 밸런스의 선형 조합일 수 있다.
화이트 밸런스 컴포넌트(225)는 다양한 화이트 밸런싱 기법들을 사용하여 이미지의 하나 또는 그 이상의 영역들에 대한 화이트 밸런스를 판별한다. 예를 들어, GWA(gray world assumption) 방식에서, 화이트 밸런스 컴포넌트(225)는 조명 세그먼트들 각각에서 픽셀들에 대한 평균 RGB 값을 식별할 수 있고, 대응하는 평균 RGB 값을 기반으로 조명 세그먼트들 각각의 픽셀들 각각에 대한 RGB 값으로 하나 또는 그 이상의 게인들을 적용할 수 있고, 이미지 데이터의 각 픽셀의 화이트 밸런스는 적용된 하나 또는 그 이상의 게인들을 기반으로 조정된다.
광 컬러 평가를 위한 다양한 방법들이 사용될 수 있다. GWA 방식은 레드(red), 그린(green), 및 블루(blue) 채널들의 평균을 균등하게 할 수 있다. 특정 컬러가 독점인 상황(예를 들어, 하늘의 파란 빛깔 또는 터널 내부 조명으로 인한 노란색)에서, 컬러 왜곡 없이 GWA 방식을 적용하는 것이 어려울 수 있다.
시각적 색상 불변성의 Retinex 방식으로 알려진 다른 방식은 인지된 화이트 컬러가 최대 컬러 신호들과 연관된다는 이론에 기반될 수 있다. 그러므로, Retinex 방식은 최대 컬러 신호들의 균등화를 시도한다. 그러나, Retinex 방식은 조명 컬러와 비교하여 최대 컬러 신호들이 다른 장면들에서 적절하지 않을 수 있다.
다른 조명 추정 방식들은 상관-기반 방식(correlation-based methods)을 사용하여 장면의 조명을 추정한다. 그러나 이러한 조명 추정 방식들은 계산적으로 집중될 수 있고, 실시간 애플리케이션들에 적당하지 않을 수 있다. 본 발명의 실시 예들에 따르면, 하나 또는 그 이상의 방법들은 HDR 병합 프로세스로부터 수신된 정보를 기반으로 분할된 이미지의 다른 영역들에 적용될 수 있다.
도 3은 본 발명의 사상에 따른 HDR 병합 프로세스의 예를 보여준다. 도시된 예는 제1 노출(300), 제2 노출(315), 및 병합된 이미지(320)를 포함한다. 도 3에 도시된 HDR 병합 프로세스로부터의 이미지 분할 정보와 같은 정보는 다른 영역들에 개별적으로 화이트 밸런싱을 수행하기 위해 이후에 사용될 수 있다.
즉, 제1 노출(300), 제2 노출(315), 및 병합된 이미지(320)는 각각 제1 영역(305)(터널 외부의 자연 광에 의한 영역) 및 제2 영역(310)(즉, 터널 내부의 인공 광에 의한 광)을 보여주나, 다른 노출들에 대한 이미지들은 다른 시간동안 광에 노출될 수 있다.
제1 노출(300)은 상대적으로 작은 노출 시간을 갖는 노출에 대응할 수 있다. 즉, 제1 영역(305)은 광의 적절한 레벨을 갖도록 나타날 수 있으나, 제2 영역(310)은 매우 어둡다. 이러한 이유로, 제2 영역(310)의 디테일을 획득하기 어려울 수 있다. 그러므로, 제2 노출(315)은 더 긴 노출 시간을 가질 수 있다. 제2 노출(315)에서, 제2 영역(310)은 광의 적절한 레벨을 가질 수 있으나, 제1 영역(305)은 과노출로 인해 없어질 수 있다. 그러므로, 제2 노출(315)의 제1 영역(305)으로부터 디테일을 만들기 어려울 수 있다.
HDR 프로세스동안, 각 픽셀은 제1 영역(305), 제2 영역(310), 또는 그것들의 조합들 중 어느 하나로 할당될 수 있다. 픽셀이 제1 영역(305)으로 할당된 경우, 병합된 이미지(320)는 제1 노출(300)로부터의 이미지 데이터를 사용하여 픽셀을 나타낼 수 있다. 유사하게, 픽셀이 제2 영역(310)에 할당된 경우, 병합된 이미지(320)는 제2 노출(315)로부터의 이미지 데이터를 사용할 수 있다.
즉, 이미지 센서들은 개별적인 노출들로 구성된 복수의 최종 프레임들을 제공할 수 있다. 예를 들어, 최종 프레임은 둘 또는 그 이상의 개별적인 노출들로 구성될 수 있다. 각 프레임은 다른 누적 시간들(integration times)로 캡쳐된다. 노출들은 하이 다이내믹 레인지 장면을 캡쳐하는 것을 시도한다. 이미지들을 조합하기 전에 개별적인 노출들을 사용하는 것은 다른 조명 소스들에 의해 비춰진 영역들로의 분할을 제공한다.
예시적인 시나리오에서, 본 발명은 복수의 이미지들을 제공한다. 하나의 이미지는 밝은 부분(highlight) 정보를 포함할 수 있고, 다른 하나는 어두운 부분(lowlight)의 정보를 포함할 수 있다. 이미지들은 밝은 부분 및 어두운 부분 모두의 특성을 갖는 병합된 HDR 프레임으로 조합될 수 있다. 본 발명은 화이트 밸런싱의 다른 타입들을 기반으로 픽셀들 사이를 차별화시킬 수 있다.
본 발명의 시스템들 및 방법들은 입력 이미지를 획득하고, 이미지 노출을 기반으로 분할을 판별할 수 있다. 분할 맵(segmentation map)이 이후에 생성된다. 화이트 밸런싱 문제는 이미지의 각 세그먼트에 대하여 해결된다. 화이트 밸런스 게인들이 이후에 출력된다. 결과 디지털 이미지에서, 컬러들은 좀 더 적절한 균형을 갖도록(즉, 흰색 객체가 흰색으로 보이도록) 나타날 수 있다.
도 4는 본 발명의 사상에 따른 이미지 프로세싱의 방법의 예를 보여준다. 일부 예들에서, 이러한 동작들은 코드들의 세트를 실행하여 장치의 기능 요소들을 제어하는 프로세서를 포함하는 시스템에 의해 수행될 수 있다. 또는, 프로세스들은 특정 목적 하드웨어를 사용하여 수행될 수 있다. 일반적으로, 이러한 동작들은 본 발명의 사상에 따라 기재된 방법들 및 프로세스들에 따라 수행될 수 있다. 예를 들어, 동작들은 다양한 보조 단계들(substeps)로 구성될 수 있거나 또는 본문에 기재된 다른 동작과 함께 수행될 수 있다.
400 동작에서, 시스템은 노출들의 세트를 포함하는 이미지 데이터를 수신한다. 일부 경우들에서, 이 단계의 동작들은 도 2를 참조하여 설명된 노출 컴포넌트에 의해 수행되거나 또는 그것을 참조할 수 있다. 이미지 데이터는 다른 시간 동안 광을 수집함으로써 다른 노출들을 생성하는 하나 또는 그 이상의 카메라 센서들로부터 수신될 수 있다.
405 동작에서, 시스템은 노출들의 HDR 병합으로부터의 병합 정보를 기반으로 화이트 밸런스 값들의 세트를 생성할 수 있다. 일부 경우들에서, 이 단계의 동작들은 도 2를 참조하여 설명된 화이트 밸런스 컴포넌트에 의해 수행되거나 또는 그것을 참조할 수 있다. 예를 들어, 병합 정보는 HDR 병합 동안 각 픽셀에 대하여 어떤 노출(또는 노출들의 조합)이 선택되었는지에 대한 정보를 포함할 수 있다.
410 단계에서, 시스템은 화이트 밸런스 값들을 기반으로 이미지 데이터의 각 픽셀의 화이트 밸런스를 조정한다. 일부 경우들에서, 이 단계의 동작들은 도 2를 참조하여 설명된 화이트 밸런스 컴포넌트에 의해 수행되거나 또는 그것을 참조할 수 있다. 예를 들어, HDR 병합을 기반으로 판별된 이미지의 복수의 세그먼트들 각각에 대하여 다른 화이트 밸런스가 사용될 수 있다. 이는 각 세그먼트에 대한 좀 더 적절한 화이트 밸런싱을 제공할 수 있으며, 화이트 밸런싱이 HDR 병합에 좀 더 일치하게 할 수 있다.
도 5는 본 발명의 사상에 따른 HDR 병합을 기반으로 이미지의 화이트 밸런싱을 설정하는 프로세스의 예를 보여준다. 일부 예들에서, 이러한 동작들은 코드들의 세트를 실행하여 장치의 기능 요소들을 제어하는 프로세서를 포함하는 시스템에 의해 수행될 수 있다. 또는, 프로세스들은 특정 목적 하드웨어를 사용하여 수행될 수 있다. 일반적으로, 이러한 동작들은 본 발명의 사상에 따라 기재된 방법들 및 프로세스들에 따라 수행될 수 있다. 예를 들어, 동작들은 다양한 보조 단계들(substeps)로 구성될 수 있거나 또는 본문에 기재된 다른 동작과 함께 수행될 수 있다.
500 동작에서, 시스템은 노출들의 세트를 포함하는 이미지 데이터를 수신한다. 일부 경우들에서, 이 단계의 동작들은 도 2를 참조하여 설명된 노출 컴포넌트에 의해 수행되거나 또는 그것을 참조할 수 있다.
505 동작에서, 시스템은 노출에 대한 HDR 병합을 수행한다. 일부 경우들에서, 이 단계의 동작은 도 2를 참조하여 설명된 HDR 컴포넌트에 의해 수행되거나 또는 그것을 참조할 수 있다. 예를 들어, HDR 컴포넌트는 이미지의 각 픽셀에 대하여 다른 노출(또는 노출들의 조합)을 선택할 수 있다.
510 동작에서, 시스템은 HDR 병합을 기반으로 이미지 데이터를 조명 세그먼트들의 세트로 분할한다. 화이트 밸런스 값들 각각은 조명 세그먼트들 중 하나에 대응한다. 일부 경우들에서, 이 단계의 동작들은 도 2를 참조하여 설명된 화이트 밸런스 컴포넌트에 의해 수행되거나 또는 그것을 참조할 수 있다. 일부 경우들에서, 조명 세그먼트들은 HDR 병합을 위해 사용되는 세그먼트들과 동일할 수 있다. 그러나 다른 경우들에서, 세그먼트들은 중첩될 수 있거나, 또는 일부 픽셀들이 하나의 노출보다 많은 노출들과 연관된 경우, 픽셀들의 일부만 사용될 수 있다. 예를 들어, 주어진 노출에 대한 값(즉, HDR 병합으로부터의 값)이 임계 값 이상인 경우 각 세그먼트가 선택될 수 있다.
515 동작에서, 시스템은 조명 세그먼트들을 기반으로 화이트 밸런스 값들의 세트를 생성한다. 일부 경우들에서, 이 단계의 동작들은 도 2를 참조하여 설명된 화이트 밸런스 컴포넌트에 의해 수행되거나 또는 그것들을 참조할 수 있다. 화이트 밸런스 값들은, 세그먼트 내에서 평균 RGB 값들을 찾고 평균 RGB 값들을 기반으로 각 컬러에 대한 게인을 식별하는 것과 같은 적절한 화이트 밸런스 알고리즘을 사용하여, 생성된다.
520 단계에서, 시스템은 화이트 밸런스 값들을 기반으로 이미지 데이터의 각 픽셀의 화이트 밸런스를 조정한다. 일부 경우들에서, 이 단계의 동작들은 도 2를 참조하여 설명된 화이트 밸런스 컴포넌트에 의해 수행되거나 또는 그것을 참조할 수 있다. 일부 경우들에서, 각 화이트 밸러스 값이 적용된 세그먼트들은 각 화이트 밸런스 값을 판별하는데 사용되는 세그먼트와 동일하지 않을 수 있다. 예를 들어, 일부 경우들에서, 픽셀들의 일부만 화이트 밸런스 값들을 판별하는데 사용될 수 있으나, 화이트 밸런스 값은 이미지 데이터의 각 픽셀에 대하여 조정될 수 있다.
도 6은 본 발명의 사상에 따른 이미지의 화이트 밸런스를 설정하는 프로세스의 예를 보여준다. 일부 예들에서, 이러한 동작들은 코드들의 세트를 실행하여 장치의 기능적인 요소들을 제어하는 프로세서를 포함하는 시스템에 의해 실행될 수 있다. 또는 프로세스들은 특정 목적 하드웨어를 사용하여 수행될 수 있다. 일반적으로 이러한 동작들은 본 발명의 사상들에 따라 설명된 프로세스들 및 방법들에 따라 수행될 수 있다. 예를 들어 동작들은 다양한 보조 동작들(substeps)로 구성될 수 있거나 본문에 기재된 다른 동작들과 함께 수행될 수 있다.
600 동작에서, 시스템은 픽셀들 각각에 대한 노출들의 선형 조합(linear combination)을 포함하는 인자(factor)를 식별한다. 일부 경우들에서, 이 단계의 동작들은 도 2를 참조하여 설명된 화이트 밸런스 컴포넌트에 의해 수행되거나 또는 그것들을 참조할 수 있다. 예를 들어, 노출들의 선형 조합은 HDR 프로세스의 결과물(product)일 수 있다.
605 동작에서, 시스템은 픽셀들 각각에 대하여 가장 높은 가중치를 갖는 노출을 선택한다. 일부 경우들에서, 이 단계의 동작들은 도 2에 참조된 바와 같은 화이트 밸런스 컴포넌트에 의해 수행되거나 또는 그것을 지칭할 수 있다. 일부 경우들에서, 각 픽셀이 가장 높은 값을 가질 수 있기 때문에, 각 픽셀은 세그먼트에 포함된다. 그러나 일부 경우들에서, 각 영역에 대한 기준 화이트 밸런스(baseline white balance)를 식별하기 위해 모든 픽셀들이 사용되지 않는다.
610 동작에서, 시스템은 픽셀들 각각에 대하여 가장 높은 가중치가 임계 값 이상인지 판별한다. 이미지 데이터는 판별을 기반으로 조명 세그먼트들로 분할된다. 일부 경우들에서, 이 단계의 동작들은 도 2를 참조하여 설명된 화이트 밸런스 컴포넌트에 의해 수행되거나 또는 그것을 참조할 수 있다.
따라서, 본 발명은 이하의 실시 예들을 포함한다.
이미지의 화이트 밸런스를 설정하는 방법이 개시된다. 방법의 실시 예들은 복수의 노출들을 포함하는 이미지 데이터를 수신하는 단계; 노출들의 HDR(high dynamic range) 병합으로부터 병합 정보를 기반으로 복수의 화이트 밸런스 값들을 생성하는 단계; 화이트 밸런스 값들을 기반으로 이미지 데이터의 각 픽셀의 화이트 밸런스를 조정하는 단계를 포함할 수 있다.
이미지 처리를 위한 장치가 개시된다. 장치는 프로세서, 프로세서와 전자적으로 통신하는 메모리, 및 메모리에 저장된 명령어들을 포함할 수 있다. 명령어들은 프로세서에 의해 실행되어, 복수의 노출들을 포함하는 이미지 데이터를 수신하고; 노출들의 HDR(high dynamic range) 병합으로부터 병합 정보를 기반으로 복수의 화이트 밸런스 값들을 생성하고; 화이트 밸런스 값들을 기반으로 이미지 데이터의 각 픽셀의 화이트 밸런스를 조정할 수 있다.
이미지 처리를 위한 코드를 저장하는 비-일시적 컴퓨터 판독 가능한 매체가 개시된다. 일부 예들에서, 코드는 프로세서에 의해 실행되어: 복수의 노출들을 포함하는 이미지 데이터를 수신하고; 노출들의 HDR(high dynamic range) 병합으로부터 병합 정보를 기반으로 복수의 화이트 밸런스 값들을 생성하고; 화이트 밸런스 값들을 기반으로 이미지 데이터의 각 픽셀의 화이트 밸런스를 조정하는 명령어들을 포함한다.
상술된 방법, 장치, 비-일시적 컴퓨터 판독 가능한 매체, 및 시스템의 일부 예들은 노출들에 대한 HDR 병합을 수행하는 것을 더 포함할 수 있다. 일부 예들은 HDR 병합을 기반으로 복수의 조명 세그먼트들로 이미지 데이터를 분할하는 것을 포함하고, 화이트 밸런스 값들 각각은 조명 세그먼트들 중 하나에 대응한다. 상술된 방법, 장치, 비-일시적 컴퓨터 판독 가능한 매체, 및 시스템의 일부 예들은 제1 길이 동안 카메라 센서를 광에 노출시켜 제1 노출을 생성하는 것을 더 포함할 수 있다. 상술된 방법, 장치, 비-일시적 컴퓨터 판독 가능한 매체, 및 시스템의 일부 예들은 제1 길이와 다른 제2 길이 동안 카메라 센서를 광에 노출시켜 제2 노출을 생성하는 것을 더 포함할 수 있다. 노출들은 적어도 제1 노출 및 제2 노출을 포함한다.
상술된 방법, 장치, 비-일시적 컴퓨터 판독 가능한 매체, 및 시스템의 일부 예들은 HDR 병합을 기반으로 이미지 데이터의 각 픽셀에 대한 노출 정보를 식별하는 것을 더 포함할 수 있다. 노출 정보는 픽셀 및 하나 또는 그 이상의 노출들 사이의 대응 관계를 포함한다. 이미지 데이터는 노출 정보를 기반으로 조명 세그먼트들로 분할된다. 일부 예들에서, 노출 정보는 픽셀들 각각에 대한 단일 노출을 가리킨다. 일부 예들에서, 노출 정보는 픽셀들 각각에 대한 노출들의 선형 조합을 가리킨다.
상술된 방법, 장치, 비-일시적 컴퓨터 판독 가능한 매체, 및 시스템의 일부 예들은 픽셀들 각각의 노출들의 선형 조합을 포함하는 인자를 식별하는 것을 더 포함할 수 있다. 일부 예들은 픽셀들 각각에 대하여 가장 높은 가중치를 갖는 노출을 선택하는 것을 더 포함할 수 있다. 일부 예들은 픽셀들 각각에 대하여 가장 높은 가중치가 임계 값 이상인지 판별하는 것을 더 포함할 수 있다. 이미지 데이터는 판별을 기반으로 조명 세그먼트들로 분할된다.
상술된 방법, 장치, 비-일시적 컴퓨터 판독 가능한 매체, 및 시스템의 일부 예들은 조명 세그먼트들 각각에서 픽셀들에 대한 평균 RGB(Red/Green/Blue) 값을 식별하는 것을 더 포함할 수 있다. 일부 예들은 대응하는 평균 RGB 값을 기반으로 조명 세그먼트들 각각에서 픽셀들 각각에 대한 RGB 값으로 하나 또는 그 이상의 게인을 적용하는 것을 더 포함할 수 있다. 이미지 데이터의 각 픽셀의 화이트 밸런스는 적용된 하나 또는 그 이상의 게인들을 기반으로 조정된다.
상술된 방법, 장치, 비-일시적 컴퓨터 판독 가능한 매체, 및 시스템의 일부 예들은 복수의 화이트 밸런스 영역들을 식별하는 것을 더 포함할 수 있다. 이미지 데이터의 각 픽셀은 화이트 밸런스 영역들 중 하나에 대응한다. 화이트 밸런스 영역들 각각은 화이트 밸런스 값들 중 하나에 대응한다. 각 픽셀의 화이트 밸런스는 대응하는 화이트 밸런스 영역을 기반으로 조정된다. 일부 예들에서, 이미지 데이터는 복수의 조명 소스들에 기반된다. 조명 세그먼트들 각각은 조명 소스들 중 하나 또는 그 이상에 대응한다.
즉, 본 발명의 시스템들 및 방법들은 특정 조명 조건들에서 이미지의 강인한 자동 화이트 밸런스를 가능하게 한다. 본 발명의 방법은 강인하며, 세그먼트 알고리즘들의 복잡도로 인한 비싼 비용을 만드는 다른 방법들을 사용하여 하드웨어에서 구현될 수 있다. 본 발명의 시스템들 및 방법들은 다른 방법들(즉, HDR 방법들, 또는 화이트 밸런스 방법들)과 조합되어 좀 더 강인하고 신뢰성있는 화이트 밸런스 게인들을 획득할 수 있다.
본문에 기재된 설명 및 도면들은 예시적인 구성들을 보여주고, 특허청구범위의 범위 내의 모든 구현들을 나타내지 않는다. 예를 들어, 동작들 및 단계들은 다른 방식으로 재정렬되거나, 조합되거나 또는 변형될 수 있다. 또는 구조들 및 장치들은 컴포넌트들 사이의 관계를 표현하고 기재된 사상들의 모포함을 방지하기 위해 블록 다이어그램들의 형태로 표현될 수 있다. 유사한 컴포넌트들 또는 특징들은 동일한 명칭을 가질 수 잇으나, 다른 도면들에 대응하는 다른 참조 번호들을 가질 수 있다.
본 개시의 일부 변형들은 당업자에 의해 용이하게 구현될 수 있고, 본문에 기재된 이론들은 본 발명의 사상으로부터 벗어남없이 다양한 변형들로 적용될 수 있다. 즉, 본 발명은 본문에 기재된 예들 및 설계들에 제한되지 않으며, 본문에 개시된 새로운 특징들 및 이론들에 일치하는 가장 넓은 범위에 따른다.
개시된 방법들은 범용 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array), 또는 다른 로직 장치들, 이산 게이트, 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 그것들의 조합을 포함하는 장치들에 의해 수행될 수 있다. 범용 프로세서는 마이크로프로세서, 일반적인 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수 있다. 프로세서는 컴퓨팅 장치들의 조합(예를 들어, DSP 및 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 또는 그 이상의 마이크로프로세서들 또는 다른 구성들)로서 구현될 수 있다. 즉, 보눔ㄴ에 기재된 기능들은 하드웨어 또는 소프트웨어로 구현될 수 있고, 프로세서, 펌웨어, 또는 그것들의 조합에 의해 실행될 수 있다. 프로세서에 의해 실행되는 소프트웨어로 구현된 경우, 기능들은 컴퓨터-판독 가능한 매체에 코드 또는 명령어들의 형태로 저장될 수 있다.
컴퓨터-판독 가능한 매체는 비-일시적 컴퓨터 스토리지 매체 및 코드 또는 데이터의 전송을 가능하게 하는 매체를 포함하는 통신 매체 모두를 포함한다. 비-일시적 스토리지 매체는 컴퓨터에 의해 액세스될 수 잇는 가능한 매체일 수 있다. 예를 들어, 비-일시적 컴퓨터-판독 가능한 매체는 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD(compact disk) 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 데이터 또는 코드를 저장하고 처리하는 다른 비-일시적 매체를 포함할 수 있다.
또한 연결 컴포넌트들은 컴퓨터-판독 가능한 매체로 적절하게 지칭될 수 있다. 예를 들어, 코드 또는 데이터가 동축 케이블, 파이버 광 케이블, 연선(twisted pair) DSL(digital subscriber) 또는 적외선, 라디오, 또는 마이크로파 신호들과 같은 무선 기술을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송된 경우, 동축 케이블, 파이버 광 케이블, 연선(twisted pair) DSL(digital subscriber) 또는 적외선, 라디오, 또는 마이크로파 신호들과 같은 무선 기술은 매체의 개념에 포함될 수 있다. 매체들의 조합들은 컴퓨터-판독 가능한 매체의 사상에 포함될 수 있다.
상세한 설명 및 이하의 특허청구범위에서, "또는"의 용어는 포함된 리스트를 가리킨다. 예를 들어, X, Y, 또는 Z는 X 또는 Y 또는 Z 또는 XY 또는 XZ 또는 YZ 또는 XYZ를 의미할 수 있다. "기반으로(based on)"의 표현은 폐쇄된 세트의 조건들을 표현하는데 사용되지 않는다. 예를 들어, 조건 A를 기반으로와 같이 기재된 단계는 조건 A 및 조건 B 모두에 기반될 수 있다. 다시 말해서, "기반으로(based on)"의 표현은 "적어도 부분적 기반으로(based at least in part on)"을 의미하는 것으로 이해될 것이다. 또한 단수 용어는 적어도 하나를 가리킨다.

Claims (10)

  1. 이미지 프로세싱 방법에 있어서,
    복수의 노출들을 포함하는 이미지 데이터를 수신하는 단계;
    상기 복수의 노출들의 하이 다이내믹 레인지(HDR; high dynamic range) 병합을 기반으로 이미지 데이터의 각 픽셀에 대한 노출 정보를 식별하고, 상기 노출 정보는 상기 노출들 중 하나 또는 그 이상 및 상기 각 픽셀 사이의 관계를 포함하고, 상기 이미지 데이터는 상기 노출 정보를 기반으로 조명 세그먼트들로 분할되는 단계;
    상기 노출 정보를 기반으로 복수의 화이트 밸런스 값들을 생성하는 단계; 및
    상기 복수의 화이트 밸런스 값들을 기반으로 상기 이미지 데이터의 각 픽셀의 화이트 밸런스를 조정하는 단계를 포함하는 이미지 프로세싱 방법.
  2. 제 1 항에 있어서,
    상기 복수의 노출들에 대한 상기 HDR 병합을 수행하는 단계; 및
    상기 HDR 병합을 기반으로 상기 이미지 데이터를 상기 조명 세그먼트들로 분할하는 단계를 더 포함하고,
    상기 화이트 밸런스 값들 각각은 상기 조명 세그먼트 중 하나에 대응하는 이미지 프로세싱 방법.
  3. 제 1 항에 있어서,
    제1 시간 동안 광을 카메라 센서에 노출시켜 제1 노출을 생성하는 단계;
    상기 제1 시간과 다른 제2 시간 동안 광을 상기 카메라 센서에 노출시켜 제2 노출을 생성하는 단계를 포함하고,
    상기 복수의 노출들은 상기 제1 노출 및 상기 제2 노출 중 적어도 하나를 포함하는 이미지 프로세싱 방법.
  4. 제 1 항에 있어서,
    상기 노출 정보는 상기 픽셀들 각각에 대한 단일 노출을 가리키는 이미지 프로세싱 방법.
  5. 제 1 항에 있어서
    상기 노출 정보는 상기 픽셀들 각각에 대한 상기 복수의 노출들의 선형 조합을 가리키는 이미지 프로세싱 방법.
  6. 제 1 항에 있어서,
    상기 픽셀들 각각에 대한 상기 복수의 노출들의 선형 조합을 포함하는 인자를 식별하는 단계;
    상기 픽셀들 각각에 대한 최고 가중치를 갖는 노출을 선택하는 단계; 및
    상기 픽셀들 각각에 대한 상기 최고 가중치가 임계 값 이상인지 판별하는 단계를 더 포함하고,
    상기 이미지 데이터는 상기 판별을 기반으로 상기 조명 세그먼트들로 분할되는 이미지 프로세싱 방법.
  7. 제 1 항에 있어서,
    상기 조명 세그먼트들 각각에서 픽셀들에 대한 평균 RGB 값을 식별하는 단계; 및
    상기 대응하는 RGB 값을 기반으로 상기 조명 세그먼트들 각각에서 상기 픽셀들 각각에 대한 RGB 값으로 하나 또는 그 이상의 게인들을 적용하는 단계를 더 포함하고,
    상기 이미지 데이터의 각 픽셀의 상기 화이트 밸런스는 상기 적용된 하나 또는 그 이상의 게인들을 기반으로 조정되는 이미지 프로세싱 방법.
  8. 제 1 항에 있어서,
    상기 복수의 화이트 밸런스 영역들을 식별하는 단계를 더 포함하고,
    상기 이미지 데이터의 각 픽셀은 상기 화이트 밸런스 영역들 중 하나에 대응하고,
    상기 화이트 밸런스 영역들 각각은 상기 화이트 밸런스 값들 중 하나에 대응하고,
    상기 각 픽셀의 화이트 밸런스는 상기 대응하는 화이트 밸런스 영역 또는 대응하는 화이트 밸런스 영역들의 조합을 기반으로 조정되는 이미지 프로세싱 방법.
  9. 제 1 항에 있어서,
    상기 이미지 데이터는 복수의 조명 소스들에 기반되고, 복수의 조명 세그먼트들 각각은 상기 복수의 조명 소스들 중 하나 또는 그 이상에 대응하는 이미지 프로세싱 방법.
  10. 이미지 프로세싱 장치에 있어서,
    카메라;
    프로세서; 및
    상기 프로세서와 통신하고, 명령어들을 저장하도록 구성된 메모리를 포함하고,
    상기 프로세서는 상기 명령어들을 실행하여:
    복수의 노출들을 포함하는 이미지 데이터를 수신하고;
    상기 복수의 노출들을 기반으로 HDR 병합을 수행하고;
    상기 HDR 병합을 기반으로 상기 이미지 데이터를 복수의 조명 세그먼트들로 분할하고;
    상기 복수의 조명 세그먼트들을 기반으로 복수의 화이트 밸런스 값들을 생성하고;
    상기 화이트 밸런스 값들을 기반으로 상기 이미지 데이터의 각 픽셀의 화이트 밸런스를 조정하도록 구성된 이미지 프로세싱 장치.
KR1020210011891A 2020-06-15 2021-01-27 화이트 밸런스를 제어하는 하이 다이나믹 레인지 센서들의 이미지 처리 방법 KR20210155743A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/901,152 2020-06-15
US16/901,152 US11445127B2 (en) 2020-06-15 2020-06-15 Leveraging HDR sensors for handling mixed illumination auto white balance

Publications (1)

Publication Number Publication Date
KR20210155743A true KR20210155743A (ko) 2021-12-23

Family

ID=78826180

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210011891A KR20210155743A (ko) 2020-06-15 2021-01-27 화이트 밸런스를 제어하는 하이 다이나믹 레인지 센서들의 이미지 처리 방법

Country Status (2)

Country Link
US (1) US11445127B2 (ko)
KR (1) KR20210155743A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11736804B2 (en) * 2020-09-07 2023-08-22 Mediatek Inc. Method and apparatus for generating high dynamic range frame through white balance compensation that uses white balance gain table generated from combining multiple sets of white balance gain settings
JP2022186166A (ja) * 2021-06-04 2022-12-15 キヤノン株式会社 撮像装置、その制御方法、プログラムおよび記憶媒体
WO2023240651A1 (zh) * 2022-06-17 2023-12-21 北京小米移动软件有限公司 图像处理方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8947555B2 (en) 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
CN104683779B (zh) 2015-03-17 2017-08-29 上海兆芯集成电路有限公司 自动白平衡补偿方法以及使用该方法的装置
JP6521776B2 (ja) 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
JP6675194B2 (ja) * 2015-12-15 2020-04-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体

Also Published As

Publication number Publication date
US20210392274A1 (en) 2021-12-16
US11445127B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
US9996913B2 (en) Contrast based image fusion
KR20210155743A (ko) 화이트 밸런스를 제어하는 하이 다이나믹 레인지 센서들의 이미지 처리 방법
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
CN108024055B (zh) 白平衡处理的方法、装置、移动终端和存储介质
US8902328B2 (en) Method of selecting a subset from an image set for generating high dynamic range image
US8976264B2 (en) Color balance in digital photography
US8503771B2 (en) Method and apparatus for estimating light source
US9460521B2 (en) Digital image analysis
US20050094895A1 (en) Method and apparatus for the removal of flash artifacts
CN111507930B (zh) 图像融合方法、装置、存储介质和计算机设备
US9497433B2 (en) Imaging device with color adjustment function, imaging method using the same, and non-transitory storage medium in which imaging program is stored
WO2021143300A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN110246101B (zh) 图像处理方法和装置
JP2012235377A (ja) 画像処理装置、画像処理方法及びプログラム
CN107454317B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
JP5740147B2 (ja) 光源推定装置及び光源推定方法
KR20220060966A (ko) 센서를 통한 자동 화이트 밸런스를 위한 데이터 사전-처리
CN106507081B (zh) 一种图像处理方法及装置
WO2022067761A1 (zh) 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
US8953063B2 (en) Method for white balance adjustment
JP3466167B2 (ja) 白バランスの光源色推定方法およびその推定方法を用いた撮像装置
WO2017125779A1 (en) A system for immersive video for segmented capture of a scene
JP2019040382A (ja) 画像処理装置
CN117119315A (zh) 图像处理方法及系统、电子设备及可读存储介质
CN117793541A (zh) 环境光线调节方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination