KR102485885B1 - 싱글-샷 hdr 컬러 이미지 센서로부터 hdr 이미지 생성 - Google Patents

싱글-샷 hdr 컬러 이미지 센서로부터 hdr 이미지 생성 Download PDF

Info

Publication number
KR102485885B1
KR102485885B1 KR1020207035214A KR20207035214A KR102485885B1 KR 102485885 B1 KR102485885 B1 KR 102485885B1 KR 1020207035214 A KR1020207035214 A KR 1020207035214A KR 20207035214 A KR20207035214 A KR 20207035214A KR 102485885 B1 KR102485885 B1 KR 102485885B1
Authority
KR
South Korea
Prior art keywords
exposure
time
color
pixel
hdr
Prior art date
Application number
KR1020207035214A
Other languages
English (en)
Other versions
KR20210006443A (ko
Inventor
유에롱 리
존 에스. 맥엘베인
모함마드 토피기
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20210006443A publication Critical patent/KR20210006443A/ko
Application granted granted Critical
Publication of KR102485885B1 publication Critical patent/KR102485885B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Abstract

이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 HDR(high-dynamic-range) 컬러 이미지를 생성하기 위한 방법은, 이미지 센서의 센서 픽셀의 로컬 영역에 의해 생성된 픽셀 값을 획득하는 단계, 제1 색과 연관된 픽셀 값으로부터 로컬 영역에 대한 모션 파라미터를 결정하는 단계, 및 3개의 색 각각에 대해, 이미지 픽셀의 출력 값을 결정하기 위해 로컬 영역의 픽셀 값을 디모자이싱하는 단계를 포함하고, 모션 파라미터에 따라 출력 값에 대한 단-노출-시간 픽셀 및 장-노출-시간 픽셀의 상대 기여도가 가중된다. 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 HDR 컬러 이미지를 생성하기 위한 방법은, 단-노출-시간 및 중간-노출-시간 픽셀 값으로부터 제1 이중-노출-시간 HDR 이미지를 생성하는 단계, 중간-노출-시간 및 장-노출-시간 픽셀 값으로부터 제2 이중-노출-시간 HDR 이미지를 생성하는 단계, 및 제1 및 제2 이중-노출-시간 HDR 이미지로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하는 단계를 포함한다.

Description

싱글-샷 HDR 컬러 이미지 센서로부터 HDR 이미지 생성
관련 출원에 대한 상호 참조
이 출원은 2018년 6월 7일에 출원된 미국 가특허출원 제62/681,789호 및 2018년 6월 7일에 출원된 유럽 특허출원 제18176403.6호 및 2019년 4월 23일에 출원된 미국 가특허출원 제62/837,361호로부터의 우선권의 이익을 주장하며, 이들은 그 전체가 본원에 참조로 포함된다.
본원은 하이-다이나믹-레인지 이미징에 관한 것이다.
스마트폰과 같은 대부분의 핸드헬드 카메라 디바이스는 8비트 또는 어쩌면 10비트의 비트 심도(bit depth)를 갖는 이미지 센서를 활용한다. 많은 장면에 대해, 이 비트 심도는 장면의 가장 밝은 영역과 가장 어두운 영역 양쪽 모두를 캡처하는 데 충분하지 않다. 예를 들어, 역광을 받는 사람의 사진을 찍을 때, 그 사람의 얼굴이 노출 부족으로 나타나거나, 다르게는, 밝은 배경이 노출 과다로 나타날 수 있다.
HDR(High-Dynamic-Range) 이미징 기능은 이 문제의 극복을 추구한다. 전형적인 접근 방식에서, HDR 디지털 카메라는 동일 장면의 두 이미지를 캡처한다: 장면의 밝은 부분에 대한 양호한 이미지 데이터를 얻기 위해 짧은 노출 시간을 가진 하나의 이미지와, 장면의 보다 어두운 부분에 대한 양호한 이미지 데이터를 얻기 위해 보다 긴 노출 시간을 가지는 다른 이미지이다. 이들 두 이미지는 공통 배율로 스케일링되고 결합되어 더 밝은 장면과 더 어두운 장면 부분 양쪽 모두를 적절하게 묘사하는 장면의 단일 HDR 이미지를 생성한다. 이러한 HDR 이미징은 여러 상황에서 양호하게 효과를 발휘하며, HDR 이미징 기능은 스마트폰과 같은 다수의 디바이스에서 표준 기능이 되었다. 그러나 단(short) 노출과 장(long) 노출은 그 사이에 적어도 전체 프레임 판독 프로세스에 의해 서로 다른 시간에 기록되고, 따라서 이미지 결합은 장면이 정적(static)인 것이 아닐 때 원치않는 아티팩트(artifact)를 생성한다. 물체가 단 노출과 장 노출 사이에서 이동하면, HDR 이미지는, 심한 경우 움직이는 물체의 중복 이미지를 오프셋하거나 덜 심각한 경우 움직이는 물체에서 에지 아티팩트를 표시할 수 있다.
HDR 이미지에서 모션-아티팩트를 제거하기 위한 노력의 일환으로, 업계는 싱글-샷으로 더 밝고 어두운 노출을 달성하는 소위 "싱글-샷" HDR 이미지 센서를 개발했다. 한 종류의 싱글-샷 이미지 센서는 동일 픽셀 어레이에 큰 픽셀 및 작은 픽셀를 통합한다. 작은 픽셀은 보다 큰 픽셀보다 적은 광을 집광한다. 따라서, 작은 픽셀과 큰 픽셀 사이의 사이즈 차이는 단-노출-시간과 장-노출-시간을 사용하는 것과 유사한 다이나믹 레인지 혜택을 제공한다. 불운하게도, 이러한 듀얼-사이즈 이미지 센서의 픽셀 레이아웃은 상당한 제조 복잡성을 추가시킨다. 다른 유형의 싱글-샷 HDR 이미지 센서는, 모두 같은 사이즈의 픽셀을 갖지만 일부 픽셀에는 단-노출-시간을 적용하고 다른 픽셀에는 장-노출-시간을 적용한다. 이 설계는 두 서로 다른 유형의 픽셀의 노출이 완전히 분리되지 않고 시간이 지나면서 겹치기 때문에 모션-아티팩트를 크게 줄인다.
그럼에도 불구하고, 두 서로 다른 유형의 픽셀의 노출 시간이 겹친 경우라도 모션이 있으면 기록된 이미지의 품질에 부정적인 영향을 미칠 수 있다. 이때 모션은 예를 들어 이미지 센서의 도움으로 기록된 임의의 이동 물체의 움직임 또는 이미지 센서 자체의 움직임으로 인해 발생할 수 있다. 노출 시간이 긴 픽셀 센서와 노출 시간이 짧은 픽셀 센서가 겹치는 시간 간격 또는 겹치지 않는 시간 간격 동안 기록하는지 여부에 관계없이, 픽셀 센서의 노출 시간이 다르기 때문에 결과 이미지가 다를 수 있다. 따라서, 단-노출 및 장-노출 픽셀 값을 기반으로 이미지를 생성하기 위한 개선된 이미지 생성 방법을 제공하는 것이 본 문서의 목적으로서 간주될 수 있다. 보다 구체적으로, 본 문서의 목적은 이중-노출-시간 싱글-샷 이미지 센서를 위한 개선된 이미지 생성 방법을 제공하는 것이며, 여기서 상기 방법은 모션에 대해 대응력(robust)을 갖는다.
US2015062368(A1)은 단-노출 픽셀 값의 행(row)과 인터리빙된 장-노출 픽셀 값의 행을 갖는 인터리빙된 이미지를 캡처하는 이미지 센서를 구비한 전자 디바이스를 기재하고 있다. 전자 디바이스의 처리 회로는 인터리빙된 이미지를 다수의 빈으로 (공간적으로) 분할할 수 있다. 처리 회로는 각각의 빈에 대한 가중이 부여된 장-노출 픽셀 값 및 각각의 빈에 대한 가중이 부여된 단-노출 픽셀 값을 생성할 수 있다. 각각의 빈의 가중이 부여된 장 노출 값과 단 노출 값을 결합하여 해당 빈에 대한 비닝된(binned) HDR(high-dynamic-range) 픽셀 값을 생성할 수 있다. 처리 회로는 비닝된 HDR 픽셀 값으로부터 형성된 비닝된 HDR 이미지를 추가 이미지 처리 동작을 수행하기 위한 비디오 처리 회로와 같은 추가 회로에 출력할 수 있다. 원하는 경우, 이미지 센서 및 처리 회로는 단일의 비닝된 HDR 픽셀 값을 생성하는 통합 구조로 결합될 수 있으며 다수의 통합 구조가 사용될 수 있다. US2014152694(A1)는 HDR 이미지를 생성하는 방법을 기재하고 있다. 이 방법은 장면의 장 노출 이미지 및 단 노출 이미지를 캡처하고, 픽셀 위치의 픽셀 값과 포화도 임계 값에 기초하여 장 노출 이미지의 각 픽셀 위치에 대한 병합 가중을 계산하고, HDR 이미지의 각 픽셀 위치에 대한 픽셀 값을 장 노출 이미지와 단 노출 이미지에서 대응하는 픽셀 값의 가중 합으로서 계산하는 것을 포함하고, 단 노출 이미지의 픽셀 위치의 픽셀 값에 적용되는 가중치 및 장 노출 이미지의 픽셀 위치의 픽셀 값에 적용되는 가중치는, 픽셀 위치에 대해 계산된 상기 병합 가중치에 기초하여 결정되고 장 노출 이미지와 단 노출 이미지의 장면에서의 모션에 따른다.
일 실시형태에서, 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 모션-보상된 HDR(high-dynamic-range) 컬러 이미지를 생성하기 위한 방법은, 상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 각각의 센서 픽셀의 로컬 영역에 의해 생성된 픽셀 값을 획득하는 단계를 포함한다. 상기 로컬 영역은 상기 모션-보상된 HDR 컬러 이미지의 이미지 픽셀의 위치에 대응한다. 상기 로컬 영역의 상기 센서 픽셀은, 3개의 상이한 색 각각에 대해, 상기 각각의 색에 감응하는 복수의 단-노출-시간 픽셀 및 복수의 장-노출-시간 픽셀을 포함한다. 상기 방법은 (a) 제1 색과 연관된 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀의 상기 픽셀 값으로부터 상기 로컬 영역에 대한 모션 파라미터를 결정하는 단계; 및 (b) 각각의 색에 대해, 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀로부터 상기 이미지 픽셀의 출력 값을 결정하기 위해, 상기 로컬 영역의 상기 픽셀 값을 디모자이싱(demosaicing)하는 단계 - 상기 모션 파라미터에 따라, 상기 출력 값에 대한 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀의 상대 기여도에 가중이 부여됨 - 를 포함한다.
일 실시형태에서, 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 모션-보상된 HDR(high-dynamic-range) 컬러 이미지를 생성하기 위한 제품은, 비일시적 메모리에 인코딩된 기계 판독가능 명령어를 포함한다. 상기 명령어는, 프로세서에 의해 실행될 때, 상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 각각의 센서 픽셀의 로컬 영역에 의해 생성된 픽셀 값을 검색하는 데이터 선택 명령어를 포함한다. 상기 로컬 영역은 상기 모션-보상된 HDR 컬러 이미지의 이미지 픽셀의 위치에 대응한다. 상기 로컬 영역의 상기 센서 픽셀은, 3개의 상이한 색 각각에 대해, 각각의 색에 감응하는 복수의 단-노출-시간 픽셀 및 복수의 장-노출-시간 픽셀을 포함한다. 상기 명령어는, (a) 상기 프로세서에 의해 실행될 때, 제1 색과 연관된 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀의 상기 픽셀 값으로부터 상기 로컬 영역에 대한 모션 파라미터를 결정하는 모션 명령어; 및 (b) 프로세서에 의해 실행될 때, 각각의 색에 대해, 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀로부터 상기 이미지 픽셀의 출력 값을 결정하기 위해 상기 로컬 영역의 상기 픽셀 값을 디모자이싱하는 디모자이싱 명령어 - 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀의 상기 출력 값에 대한 상대 기여도는 상기 모션 파라미터에 따라 가중이 부여됨 - 를 더 포함한다.
일 실시형태에서, 방법은, 복수의 단-노출-시간 픽셀, 복수의 중간-노출-시간 픽셀 및 복수의 장-노출-시간 픽셀을 가지는 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 HDR 컬러 이미지를 생성하도록 구성된다. 상기 방법은, (I) (a) 상기 단-노출-시간 픽셀로부터의 단-노출-시간 픽셀 값 및 (b) 상기 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값의 제1 결합으로부터 제1 이중-노출-시간 HDR 이미지를 생성하는 단계; (II) (a) 상기 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값 및 (b) 상기 장-노출-시간 픽셀로부터의 장-노출-시간 픽셀 값의 제2 결합으로부터 제2 이중-노출-시간 HDR 이미지를 생성하는 단계; 및 (III) 상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하는 단계를 포함한다.
일 실시형태에서, 제품은, 복수의 단-노출-시간 픽셀, 복수의 중간-노출-시간 픽셀 및 복수의 장-노출-시간 픽셀을 갖는 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 HDR(High Dynamic Range) 컬러 이미지를 생성하도록 구성된다. 상기 제품은 비일시적 메모리에 인코딩된 기계 판독가능 명령어를 포함한다. 상기 명령어는, (I) 프로세서에 의해 실행될 때, (a) 상기 단-노출-시간 픽셀로부터의 단-노출-시간 픽셀 값 및 상기 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값의 제1 결합 또는 (b) 상기 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값 및 상기 장-노출-시간 픽셀로부터의 장-노출-시간 픽셀 값의 제2 결합 중 어느 하나로부터 이중-노출-시간 HDR 이미지를 생성하는 이중-노출-시간 명령어; 및 (II) 상기 프로세서에 의해 실행될 때, (a) 상기 제1 결합에 기초하는 상기 이중-노출-시간 HDR 이미지의 제1 인스턴스 및 (b) 상기 제2 결합에 기초하는 상기 이중-노출-시간 HDR 이미지의 제2 인스턴스의 결합으로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하는 이중으로부터 삼중으로의(dual-to-triple) HDR 명령어를 포함한다.
도 1은, 일 실시형태에 따른, 모션-보상된 HDR 이미지를 생성하기 위한 모션-보상된 HDR 카메라를 나타낸다.
도 2는, 일 실시형태에 따른, 도 1의 카메라의 이중-노출-시간 싱글-샷 컬러 HDR 이미지 센서를 보다 상세히 나타낸다.
도 3은, 일 실시형태에 따른, 지그재그 HDR 컬러 이미지 센서를 나타낸다.
도 4는, 일 실시형태에 따른, 확장된-베이어 HDR 컬러 이미지 센서를 나타낸다.
도 5는, 일 실시형태에 따른, 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서에 의해 캡처된 싱글 이미지 프레임에 기초하여 모션-보상된 HDR 컬러 이미지의 이미지 픽셀에 대한 출력 값을 생성하기 위한 방법을 나타낸다.
도 6은, 지그재그 HDR 컬러 이미지 센서에 기초한, 도 5의 방법의 일부의 예를 나타낸다.
도 7은, 확장된-베이어 HDR 컬러 이미지 센서에 기초한, 도 5의 방법의 일부의 예를 나타낸다.
도 8은, 일 실시형태에 따른, 모션-보상된 HDR 컬러 이미지의 하나 이상의 이미지 픽셀에 대한 모션-보상된 HDR 출력 값을 생성하기 위한 모션-보상하는 HDR 이미지 생성기를 나타낸다.
도 9는, 일 실시형태에 따라, 싱글-샷에서 이중-노출-시간 싱글-샷 컬러 HDR 이미지 센서에 의해 생성된 픽셀 값으로부터 모션-보상된 HDR 컬러 이미지를 생성하기 위한 모션-보상하는 HDR 이미지 생성기를 나타낸다.
도 10은, 로컬 영역 정의의 일례를 보여준다.
도 11a 및 11b는, 일 실시형태에 따른, 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서에 의해 캡처된 단일 이미지 프레임으로부터 획득된 픽셀 값에 기초하여 모션-보상된 HDR 컬러 이미지를, 조건부 디모자이싱으로 생성하기 위한 방법을 나타낸다.
도 12는, 일 실시형태에 따른, 단-노출 시간 픽셀과 장-노출 시간 픽셀 사이의 모션 불일치(discrepancy)를 평가하기 위한 방법을 나타낸다.
도 13a 및 13b는, 예시적인 핏(fit) 가중 함수를 나타낸다.
도 14는, 일 실시형태에 따른, HDR 컬러 이미지의 이미지 픽셀과 연관된 로컬 영역의 픽셀 값의 모션-보상하는 디모자이싱을 위한 방법을 나타낸다.
도 15는, 일 실시형태에 따라, 싱글-샷으로 이중-노출-시간 싱글-샷 컬러 HDR 이미지 센서에 의해 생성된 픽셀 값으로부터 모션-보상된 HDR 컬러 이미지를 생성하기 위한 다른 모션-보상하는 HDR 이미지 생성기를 나타낸다.
도 16은, 일 실시형태에 따라, 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 모션-보상된 HDR 컬러 이미지를 생성하기 위한 시스템을 나타낸다.
도 17은, 일 실시형태에 따라, 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 모션-보상된 HDR 컬러 이미지를 생성하기 위한 다른 시스템을 나타낸다.
도 18은, 일 실시형태에 따라, HDR 이미지를 생성하기 위해 단-노출-시간 컬러 이미지와 장-노출-시간 컬러 이미지의 상대 결합 가중을 정의하는 블렌딩 함수의 맵이다.
도 19는, 장-노출-시간 픽셀에 대한 도 18의 블렌딩 함수의 플롯이다.
도 20은, 일 실시형태에 따른, 초월적 블렌딩 함수의 값을 결정하기 위해 1차원 룩업 테이블을 사용하는 방법을 예시한다.
도 21은, 도 20의 방법의 단계에서 픽셀 값 시프팅의 일례를 보여주는 플롯이다.
도 22는, 일 실시형태에 따라, 삼중-노출-시간 HDR 컬러 이미지를 생성하기 위한 HDR 카메라를 나타낸다.
도 23은, 도 22의 시스템의 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서를 보다 상세히 보여준다.
도 24는, 일 실시형태에 따른, 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 HDR 컬러 이미지를 생성하기 위한 방법을 나타낸다.
도 25는, 일 실시형태에 따른, 삼중-노출-시간 HDR 컬러 이미지 센서로부터 이중-노출-시간 HDR 이미지를 생성하기 위한 방법을 나타낸다.
도 26은, 일 실시형태에 따라, 2개의 이중-노출-시간 HDR 이미지로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하기 위한 디스패리티 기반 방법을 나타낸다.
도 27은, 일 실시형태에 따라, 2개의 이중-노출-시간 HDR 이미지로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하기 위한 융합 기반 방법을 나타낸다.
도 28은, 일 실시형태에 따른, 3개의 상이한 노출 시간에 감응하는 픽셀을 각각 포함하는 컬러-특정(color-specific) 쿼드러플릿(quadruplet)으로 배열된 픽셀을 갖는 삼중-노출-시간 HDR 컬러 이미지 센서를 나타낸다.
도 29는, 일 실시형태에 따른, 도 28의 삼중-노출-시간 HDR 컬러 이미지 센서로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하기 위한 방법을 나타낸다.
도 30은, 일 실시형태에 따른, 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하기 위한 시스템을 나타낸다.
도 1은 모션-보상된 HDR 컬러 이미지(180)를 생성하기 위한 하나의 모션-보상된 HDR(high-dynamic-range) 카메라(110)를 나타낸다. HDR 카메라(110)는 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120) 및 모션-보상하는 HDR 이미지 생성기(100)를 포함한다. 이미지 센서(120)는 단-노출 시간으로 그 감광성 픽셀 중 일부를 노출시키고 보다 긴 노출 시간으로 그 감광성 픽셀 중 다른 일부를 노출시키도록 구성된다. 따라서, 이미지 센서(120)에 의해 캡쳐된 각각의 이미지 프레임은 단-노출-시간 이미지 데이터 및 장-노출-시간 이미지 데이터를 모두 포함한다. 그럼에도 불구하고, 보다 짧은 노출 시간과 보다 긴 노출 시간의 상이한 지속 시간으로 인해, 단-노출-시간 이미지 데이터와 장-노출-시간 이미지 데이터는 장면이 모션을 받았을 때 상이한 장면 구성을 나타낼 수 있다. 모션-보상하는 HDR 이미지 생성기(100)는 이미지 센서(120)에 의해 단일 프레임(즉, 싱글 샷)의 기록에 의해 생성된, 단-노출-시간 이미지 데이터와 장-노출-시간 이미지 데이터를 모션-아티팩트를 제거하거나 최소한 줄이도록 장면의 모션을 보상하면서, 단일 HDR 이미지로 결합한다.
HDR 카메라(110)는 이미지 캡처 디바이스(140)에서 구현될 수 있다. 이미지 캡처 디바이스(140)는 예를 들어 스마트폰, 디지털 일안 반사(DSLR; Digital Single Lens Reflex) 카메라 또는 다른 핸드헬드 디바이스이다.
도 1에 도시된 용례 시나리오에서, 이미지 센서(120)는 장면(160)으로부터 빛(168)을 수신한다. HDR 카메라(110) 또는 이미지 캡처 디바이스(140)는 이미지 센서(120) 상에 장면(160)의 이미지를 형성하도록, 예시의 명확성을 위해 도 1에 도시되지는 않은, 렌즈 또는 이미징 대물 렌즈를 포함할 수 있음이 이해된다. 장면(160)은 밝은 영역(예를 들어, 경기장 조명(166))과 어두운 영역(예를 들어, 경기장 조명(166)에 의해 조명되지 않는 관중 영역(165) 및 관중(164))을 모두 갖는다. 장면(160)은 또한 움직이는 물체, 즉 축구 선수(162) 및 공(163)을 포함한다. 모션-보상하는 HDR 이미지 생성기(100)는 모션-보상된 HDR 컬러 이미지(180)를 생성하기 위해 이미지 센서(120)의 단-노출-시간 픽셀 및 장-노출-시간 픽셀 모두에 의해 생성된 픽셀 값(170)을 처리한다. 모션-보상하는 HDR 이미지 생성기(100)는 이미지 센서(120)의 HDR 기능을 이용하여 밝은 경기장 조명(166)과 조명이 없는 관중 영역(165)에서의 관중(164) 양쪽 모두를 정확하게 묘사하는 장면(160)의 모션-보상된 HDR 컬러 이미지(180)를 생성한다. 이미지 센서(120)의 단-노출-시간 픽셀 및 장-노출-시간 픽셀로부터의 픽셀 값(170)을 결합할 때, HDR 이미지 생성기(100)는 모션을 보상하고 결과적인 모션-보상된 HDR 컬러 이미지(180)는 또한 따라서 모션 아티팩트 없이 축구 선수(162)와 공(163)을 보여준다.
대조적으로, 모션-보상된 HDR 이미지 생성기(100)가 모션을 보상하지 않는 종래의 이미지 결합 알고리즘으로 대체되었다면, 결과로서 얻어진 시스템은 대신에 축구 선수(162)와 공(163)의 가장자리에서 (문헌에서 "고스팅(ghosting)"으로 흔히 알려진) 모션-아티팩트(195)를 겪는 HDR 이미지(190)를 생성할 것이다.
도 2는 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)를 보다 상세하게 나타낸다. 이미지 센서(120)는 복수의 동일한 픽셀 그룹(220)을 갖는 픽셀 어레이(210)를 포함한다. 각각의 픽셀 그룹(220)은 단-노출-시간 픽셀(222) 및 장-노출-시간 픽셀(224)을 포함한다. 이미지 센서(120)는 단-노출-시간 픽셀(222)보다 장-노출-시간 픽셀(224)을 오래 노출하도록 구성된다. 단-노출-시간 픽셀(222)은 각각 제1, 제2 및 제3 색의 광(168)에 감응하는 픽셀(232S, 234S 및 236S)을 포함한다. 유사하게, 장-노출-시간 픽셀(224)은 각각 제1, 제2 및 제3 색의 광(168)에 감응하는 픽셀(232L, 234L 및 236L)을 포함한다. 제1, 제2 및 제3 색은 예를 들어 녹색, 적색 및 청색이다.
각각의 픽셀 그룹(220)은 본 명세서의 범위를 벗어나지 않고 하나 이상의 센서 픽셀(232S, 234S, 236S, 232L, 234L, 236L)의 하나 이상의 인스턴스를 포함할 수 있다. 예를 들어, 각 픽셀 그룹(220)은 제1 색에 감응하는 복수의 픽셀(232L) 및 복수의 픽셀(232S)을 포함할 수 있다. 일 구현에서, 제1 색은 녹색이다.
다시 도 1을 참조하면, 모션-보상하는 HDR 이미지 생성기(100)는 모션-보상된 HDR 컬러 이미지(180)를 생성하도록 각 픽셀 그룹(220)의 센서 픽셀(232S, 234S, 236S, 232L, 234L 및 236L)에 의해 생성된 픽셀 값(170)을 처리한다.
모션-보상하는 HDR 이미지 생성기(100)는 프로세서, 및 프로세서에 의해 실행되었을 때, 모션-보상된 HDR 컬러 이미지(180) 또는 그 일부를 생성하도록 이미지 센서(120)로부터의 픽셀 값(170)을 처리하는, 비일시적 메모리에 인코딩된 기계 판독가능 명령어의 형태로 구현될 수 있다. 모션-보상하는 HDR 이미지 생성기(100)의 특정 실시형태는 비일시적 메모리에 인코딩된 기계 판독가능 명령어로서 제공되며, 기계 판독가능 명령어는 모션-보상된 HDR 컬러 이미지(180) 또는 그 일부를 생성하기 위해 이미지 센서(120)로부터의 픽셀 값(170)을 처리하도록 제3자에 의해 제공되는 프로세서와 협력하도록 구성된다.
본 명세서의 범위를 벗어나지 않고, HDR 이미지 생성기(100)는 제3자에 의해 제공된 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)로부터 수신된 픽셀 값(170)으로부터 모션-보상된 HDR 컬러 이미지(180)를 생성하도록 구성된 스탠드-얼론(stand-alone) 제품으로서 제공될 수 있다.
도 3은 지그재그(zig-zag) HDR 컬러 이미지 센서(300)를 나타낸다. 이미지 센서(300)는 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)의 일 실시형태이다. 이미지 센서(300)의 픽셀은 정사각형 픽셀 그룹(310)으로 배열된다. 이미지 센서(300)는 도 3에 도시된 것보다도 많은 픽셀 그룹(310), 예를 들어 수백 또는 수천 개의 픽셀 그룹(310)을 포함할 수 있음이 이해된다. 각각의 픽셀 그룹(310)은 단-노출-시간 픽셀(322)(도 3에서 흰색 배경으로 도시됨) 및 장-노출-시간 픽셀(324)(도 3에서 음영 처리된 배경으로 도시됨)을 포함한다. 각 픽셀 그룹(310)에서, 단-노출-시간 픽셀(322)은 녹색광에 감응하는 4개의 픽셀 "GS", 적색광에 감응하는 2개의 픽셀 "RS", 및 청색광에 감응하는 2개의 픽셀 "BS"를 포함하고, 장-노출-시간 픽셀(324)은 녹색광에 감응하는 4개의 픽셀 "GL", 적색광에 감응하는 2개의 픽셀 "RL", 및 청색광에 감응하는 2개의 픽셀 "BL"을 포함한다. 픽셀 그룹(310)은 교번하는 지그재그 경로를 따라 단-노출-시간 픽셀(322) 및 장-노출-시간 픽셀(324)을 배열한다(도 3에서 흰색 및 음영 처리된 지그재그 경로 참조). 대안으로서, 이미지 센서(300)는 복수의 엇갈린 픽셀 그룹(312)을 포함하는 것으로 보일 수 있다. 각 픽셀 그룹(312)은 2개의 GS 픽셀, 2개의 GL 픽셀, 1개의 RS 픽셀, 1개의 RL 픽셀, 1개의 BS 픽셀 및 1개의 BL 픽셀로 이루어진다. 픽셀 그룹(310) 및 픽셀 그룹(312) 각각은 픽셀 그룹(220)의 일 실시형태이다.
도 4는 확장된-베이어 HDR 컬러 이미지 센서(400)를 나타낸다. 이미지 센서(400)는 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)의 일 실시형태이다. 이미지 센서(400)의 픽셀은 정사각형 픽셀 그룹(410)으로 배열된다. 이미지 센서(400)는 도 4에 도시된 것보다 많은 픽셀 그룹(410), 예를 들어 수백 또는 수천개의 픽셀 그룹(410)의 어레이를 포함할 수 있음이 이해된다. 각 픽셀 그룹(410)은 단-노출-시간 픽셀(322) 및 장-노출-시간 픽셀(324)을 포함한다. 각 픽셀 그룹(410)에서, 단-노출-시간 픽셀(322)은 녹색광에 감응하는 4개의 픽셀 "GS", 적색광에 감응하는 2개의 픽셀 "RS", 및 청색광에 감응하는 2개의 픽셀 "BS"을 포함하고, 장-노출-시간 픽셀(324)은 녹색광에 감응하는 4개의 픽셀 "GL", 적색광에 감응하는 2개의 픽셀 "RL", 및 청색광에 감응하는 2개의 픽셀 "BL"을 포함한다. 각 픽셀 그룹(410)에서, 이들 픽셀은 4개의 베이어형 블록으로 배열된다: 각각 2개의 GS 픽셀, 1개의 RS 픽셀 및 1개의 BS 픽셀을 갖는 2개의 베이어형 블록(414), 및 각각 2개의 GL 픽셀, 1개의 RL 픽셀 및 1개의 BL 픽셀을 갖는 2개의 베이어형 블록(416). 이미지 센서(400)는 하나의 베이어형 블록(414) 및 하나의 베이어형 블록(416)으로 이루어진 복수의 엇갈린 픽셀 그룹(412)을 포함하는 것으로 보일 수 있다.
도 5는 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)에 의해 캡처된 단일 이미지 프레임에 기초하여 모션-보상된 HDR 컬러 이미지(180)의 이미지 픽셀에 대한 출력 값을 생성하기 위한 하나의 방법(500)을 나타낸다. 방법(500)은 모션-보상하는 HDR 이미지 생성기(100)에 의해 수행될 수 있다. 방법(500)은 풀 HDR 컬러 이미지(180)를 채우기 위해 HDR 컬러 이미지(180)의 각각의 이미지 픽셀에 대해 반복될 수 있다.
단계 510에서, 방법(500)은 이미지 센서(120)의 각각의 센서 픽셀의 로컬 영역에 의해 생성된 픽셀 값(170)을 획득한다. 이 로컬 영역은 모션-보상된 HDR 컬러 이미지(180)의 고려된 이미지 픽셀의 위치에 대응하는 픽셀 어레이(210) 내의 위치에 있다. 로컬 영역의 센서 픽셀은, (도 2를 참조하여 위에서 논의된) 제1, 제2 및 제3 색 각각에 대해, 각각의 색에 대해 감응하는 복수의 단-노출-시간 픽셀(222) 및 복수의 장-노출-시간 픽셀(224)을 포함한다. 따라서, 로컬 영역은 복수의 각각의 센서 픽셀(232S, 234S, 236S, 232L, 234L, 236L)을 포함한다.
도 6은 지그재그 HDR 컬러 이미지 센서(300)에 기초한 방법(500)의 단계(510)의 일례를 나타낸다. 이 예에서, 단계(510)는 이미지 센서(300)의 로컬 영역(620)으로부터 픽셀 값(170)을 획득하고, 그에 기초하여 방법(500)의 후속 단계는 모션-보상된 HDR 컬러 이미지(180)의 대응하여 위치된 픽셀(610)에 대한 출력 값을 생성한다. 로컬 영역(620)은 센서 픽셀의 5×5 어레이이며, 동일한 유형의 센서 픽셀이 로컬 영역(620)의 중앙 및 각 코너에서 발견된다. 도 6에 도시된 로컬 영역(620)은 그 중심과 각 코너에 픽셀 GL을 갖는다. 대안적으로, 로컬 영역(620)은 픽셀(GS, RS, RL, BS 또는 BL)의 중심에 있을 수 있다. 로컬 영역(620)은 또한 5×5 센서 픽셀, 예를 들어 7×7 센서 픽셀보다 클 수 있다.
본 발명의 범위를 벗어나지 않으면서, HDR 컬러 이미지(180)가 이미지 센서(300)의 전체 픽셀 어레이를 나타내거나 그 하위 부분만을 나타내도록 로컬 영역(620)과 이미지 픽셀(610)의 위치 사이의 대응이 구성될 수 있다.
도 7은 확장된-베이어 HDR 컬러 이미지 센서(400)에 기초한 방법(500)의 단계(510)의 다른 예를 나타낸다. 도 7의 예는, 이미지 센서(400)에 기초하고 따라서 픽셀(GS, GL, RS, RL, BS 및 BL)의 레이아웃이 상이하다는 점을 제외하고는 도 6의 예와 유사하다. 도 7의 예에서, 단계(510)는 센서 픽셀의 5×5 어레이인 로컬 영역(720)으로부터 픽셀 값(170)을 획득하여, 동일한 유형의 센서 픽셀이 로컬 영역(620)의 중앙 및 각 코너에서 발견되도록 한다. 도 7에 도시된 로컬 영역(720)은 그 중심과 각 코너에 픽셀 GS를 갖는다. 대안으로서, 로컬 영역(720)은 픽셀(GL, RS, RL, BS 또는 BL)의 중심에 있을 수 있다. 또한, 로컬 영역(720)은 5×5 센서 픽셀, 예를 들어 7×7 센서 픽셀보다 클 수 있다.
다시 도 5를 참조하면, 단계(510)의 로컬 영역은 방법(500)의 다수의 반복에 의해 형성된 HDR 컬러 이미지(180)가 픽셀 어레이(210)의 일부(예를 들어, 중심 영역 또는 관심 영역)만을 나타낼 수 있도록 구성될 수 있다. HDR 컬러 이미지(180)는 픽셀 어레이(210)의 센서 픽셀 해상도와 동일하거나 더 낮은 해상도를 가질 수있다.
단계(530)에서, 방법(500)은 제1 색(예를 들어, 녹색)과 연관된 단-노출-시간 픽셀(232S) 및 장-노출-시간 픽셀(232L)의 픽셀 값으로부터 로컬 영역에 대한 모션 파라미터
Figure 112020132507509-pct00001
을 결정한다. 모션 파라미터는 단계(510)가 픽셀 값(170)을 획득하는 로컬 영역에서의 모션의 정도를 나타낸다. 작은 모션 파라미터는 작은 모션을 나타내고 큰 모션 파라미터는 보다 큰 모션을 나타낸다. 일례에서, 단계(530)는, 노출 시간의 차를 보상하기 위해 공통 스케일로 스케일링 된 단-노출-시간 픽셀(232S)과 장-노출-시간 픽셀(232L) 사이의 디스패리티 Δ로부터 모션 파라미터를 결정한다.
일 실시형태에서, 디스패리티 Δ는 이미지 픽셀의 제1 색에 대한 (노출 시간에 있어서의 차를 보상하기 위해 공통 스케일로 스케일링 된) 단-노출-시간 값
Figure 112020132507509-pct00002
과 장-노출-시간 값
Figure 112020132507509-pct00003
사이의 절대차이다:
Figure 112020132507509-pct00004
여기서
Figure 112020132507509-pct00005
은 단 노출 시간에 대한 장 노출 시간의 비율이다. 단계(530)는 단계(510)에서 획득된 단-노출-시간 픽셀(232S)의 픽셀 값(170)으로부터 (a)
Figure 112020132507509-pct00006
를 도출하고, 단계(510)에서 획득된 장-노출-시간 픽셀(232L)의 픽셀 값(170)으로부터 (b)
Figure 112020132507509-pct00007
를 도출한다.
일반적으로, 단-노출-시간 값
Figure 112020132507509-pct00008
및 장-노출-시간 값
Figure 112020132507509-pct00009
은 복수의 상이한 방법으로 공통 스케일로 스케일링될 수 있다. 첫 번째 방법에 따르면, 비율
Figure 112020132507509-pct00010
은 전술한 예에서 설명된 바와 같이 장 노출 시간 대 단 노출 시간의 비로서 결정될 수 있다. 그러면, 이 비율
Figure 112020132507509-pct00011
은 단-노출-시간 값
Figure 112020132507509-pct00012
와 상기 비율
Figure 112020132507509-pct00013
을 곱하여 단-노출-시간 값
Figure 112020132507509-pct00014
을 공통 스케일로 조정하는 데 사용될 수 있다. 대안으로서는, 두 번째 방법에 따르면, 단 노출 시간과 장 노출 시간의 비율로서 제2 비율 r 2 가 결정될 수 있다. 그러면, 이 두 번째 비율 r 2 는 장-노출-시간 값
Figure 112020132507509-pct00015
과 두 번째 비율 r 2 를 곱하여 장-노출-시간 값
Figure 112020132507509-pct00016
을 공통 스케일로 조정하는 데 사용될 수 있다. 다른 대안에 따르면, 스케일링은 (a) 장-노출-시간 값
Figure 112020132507509-pct00017
에 단 노출 시간을 곱하고 (b) 단-노출-시간 값
Figure 112020132507509-pct00018
에 장 노출 시간을 곱함으로써 달성될 수 있다. 따라서, 당업자라면 단-노출-시간 값
Figure 112020132507509-pct00019
및 장-노출-시간 값
Figure 112020132507509-pct00020
을 공통 스케일로 스케일링하기 위한 또 다른 대안을 용이하게 생각해 낼 수 있음은 분명하다.
다른 실시형태에서, 센서 노이즈로부터 유래하는 예상 픽셀 값 베리에이션에 대해 통계적으로 유의한 차이만을 반영하도록 센서 노이즈에 대해 디스패리티
Figure 112020132507509-pct00021
가 보정된다. 이 실시형태에서, 디스패리티
Figure 112020132507509-pct00022
는 노이즈 상회의 디스패리티로 표현될 수 있다:
Figure 112020132507509-pct00023
여기서
Figure 112020132507509-pct00024
는 상수이고,
Figure 112020132507509-pct00025
은 단-노출-시간 픽셀(232S)의 픽셀 값(170)과 장-노출-시간 픽셀(232L)의 픽셀 값(170)의 결합된 노이즈 분산이다.
일 구현에서,
Figure 112020132507509-pct00026
이고, 여기서
Figure 112020132507509-pct00027
는 단-노출-시간 픽셀(232S)의 픽셀 값(170)의 노이즈 분산이고,
Figure 112020132507509-pct00028
은 장-노출-시간 픽셀(232L)의 픽셀 값(170)의 노이즈 분산이다.
Figure 112020132507509-pct00029
및
Figure 112020132507509-pct00030
각각은 이미지 센서(120)의 알려졌거나 가정된 노이즈 특성에 기초하여 미리 결정될 수 있다. 센서 노이즈는 픽셀 값에 의존할 수 있으므로,
Figure 112020132507509-pct00031
및
Figure 112020132507509-pct00032
은 각각
Figure 112020132507509-pct00033
및 장-노출-시간 값
Figure 112020132507509-pct00034
의 함수일 수 있다.
또 다른 실시형태에서, 단계(530)는 센서 노이즈로부터 유래하는 예상 픽셀 값 베리에이션에 대한 상기 노이즈 상회 디스패리티
Figure 112020132507509-pct00035
를 고려한다. 이 실시형태에서, 디스패리티
Figure 112020132507509-pct00036
는 상대적인 노이즈 상회 디스패리티로서 표현될 수 있다.
Figure 112020132507509-pct00037
단계(530)은 모션 파라미터를
Figure 112020132507509-pct00038
,
Figure 112020132507509-pct00039
또는
Figure 112020132507509-pct00040
로서 계산할 수 있으며, 여기서 α 1은 정규화 파라미터이고 디스패리티 Δ는 Δa Δn 및 Δ r 중 어느 하나일 수 있다. 모션 파라미터
Figure 112020132507509-pct00041
의 기능적 매핑은
Figure 112020132507509-pct00042
을 0 내지 1 범위의 값으로 제한하도록 구성된다. 비트 심도가 10비트인 이미지 센서(120)의 예에서, α 1은 5 내지 50 범위에 있을 수 있다.
하나 이상의 장-노출-시간 픽셀(232L)이 포화된 경우, 단계(530)는 그러한 포화된 장-노출-시간 픽셀(232L)을 고려에서 생략할 수 있으므로, 모션 파라미터가 단-노출-시간 픽셀(232S) 및 불포화된 장-노출-시간 픽셀(232L)로부터 결정된다.
단계(540)에서, 방법(500)은 제1, 제2 및 제3 색 각각에 대해 이미지 픽셀의 출력 값을 결정하기 위해 단계(510)에서 획득된 픽셀 값(170)을 디모자이싱한다. 단계(540)의 디모자이싱 프로세스는 HDR 결합과 통합된다. 보다 구체적으로, 각 색에 대해, 단계(540)는 색과 연관된 단-노출-시간 픽셀(222) 및 색과 연관된 장-노출-시간 픽셀(224)로부터 이미지 픽셀의 출력 값을 결정한다. 단계(540)는 단계(530)에서 결정된 모션 파라미터
Figure 112020132507509-pct00043
에 따라 출력 값에 대한 단-노출-시간 픽셀(222) 및 장-노출-시간 픽셀(224)의 상대 기여도에 가중을 부여한다. 각 색에 대해, 이미지 픽셀에 대한 출력 값
Figure 112020132507509-pct00044
은 다음과 같이 표현될 수 있다.
Figure 112020132507509-pct00045
(식 4)
여기서 인덱스
Figure 112020132507509-pct00046
는 1, 2, 3 중 하나의 값을 취하여 각각 제1, 제2 또는 제3 색을 나타내며, 여기서
Figure 112020132507509-pct00047
및
Figure 112020132507509-pct00048
은 각각 고려 하의 이미지 픽셀 및 색에 대한 단-노출-시간 및 장-노출-시간 값이다. 단계(540)는 단계(510)에서 획득된 픽셀 값(170)으로부터
Figure 112020132507509-pct00049
및
Figure 112020132507509-pct00050
을 도출한다. 단계(540)는 고려에서 포화된 장-노출-시간 픽셀(224)을 생략하고 각각의 출력 값의 결정을 단-노출-시간 픽셀(222) 및 불포화된 장-노출-시간 픽셀(224)에 기초할 수 있다.
식 4에서, 모션 파라미터
Figure 112020132507509-pct00051
은 0 내지 1의 범위에 있을 수 있으며, 여기서 작은 모션 파라미터
Figure 112020132507509-pct00052
은 로컬 영역에서 낮은 모션 정도를 나타낼 수 있고, 큰 모션 파라미터
Figure 112020132507509-pct00053
은 로컬 영역에서 높은 정도의 모션을 나타낼 수 있다. 한편, 로컬 영역에 모션이 없는 경우, 모션 파라미터
Figure 112020132507509-pct00054
은 0이 될 수 있고, 이미지 픽셀에 대한 출력 값
Figure 112020132507509-pct00055
는 장-노출-시간 값
Figure 112020132507509-pct00056
에 기초해서만 결정될 수 있다. 한편, 로컬 영역에서의 모션량이 미리 정해진 최대 모션량을 초과하는 경우, 모션 파라미터
Figure 112020132507509-pct00057
은 1이 될 수 있고 이미지 픽셀에 대한 출력 값
Figure 112020132507509-pct00058
가 단-노출-시간 값
Figure 112020132507509-pct00059
만을 기반으로 하여 결정될 수 있다. 즉, 일반적으로 로컬 영역에서의 모션의 정도가 높을수록 단-노출-시간 값
Figure 112020132507509-pct00060
의 가중이 높아지고 장-노출-시간 값
Figure 112020132507509-pct00061
의 가중이 낮아져서 이미지 픽셀에 대한 출력 값
Figure 112020132507509-pct00062
은 단-노출-시간 값
Figure 112020132507509-pct00063
에 의해 지배된다. 반대로, 로컬 영역에서의 모션의 정도가 낮을수록 장-노출-시간 값
Figure 112020132507509-pct00064
의 가중이 높아지고 단-노출-시간 값
Figure 112020132507509-pct00065
의 가중이 낮아져서 이미지 픽셀에 대한 출력 값
Figure 112020132507509-pct00066
이 장-노출-시간 값
Figure 112020132507509-pct00067
에 의해 지배된다.
일 실시형태에서, 단계(540)는, 각각의 색에 대해, 단계(530)에서 미리 결정된 모션 파라미터
Figure 112020132507509-pct00068
으로, 색과 연관된 단-노출-시간 픽셀(222) 및 장-노출-시간 픽셀(224)의 픽셀 값(170)에 식 1을 피팅한다.
다시 단계(530)를 참조하면, 결합된 노이즈 분산
Figure 112020132507509-pct00069
의 대안적인 (그리고 잠재적으로 더 정확한) 결정은 식 3에서 사용되는 상대 결합 가중
Figure 112020132507509-pct00070
및
Figure 112020132507509-pct00071
을 설명하고 결합된 노이즈 분산이 모션 파라미터
Figure 112020132507509-pct00072
에 의존할 수 있음을 고려한다. 이 대안적인 구현에서, 단계(530)는 보다 일반적인 형태의 결합된 노이즈 분산
Figure 112020132507509-pct00073
을 고려한다. 노이즈 상회 디스패리티
Figure 112020132507509-pct00074
은 대신 다음과 같이 표현될 수 있다.
Figure 112020132507509-pct00075
그리고, 상대 노이즈 상회 디스패리티
Figure 112020132507509-pct00076
은 대신 다음과 같이 표현될 수 있다.
Figure 112020132507509-pct00077
노이즈 상회 디스패리티
Figure 112020132507509-pct00078
에 기초한 구현에서, 단계(530)는 상기 모션 파라미터
Figure 112020132507509-pct00079
을 결정하기 위해 다음 초월 방정식 중 하나를 풀 수 있다:
Figure 112020132507509-pct00080
노이즈 상회 디스패리티
Figure 112020132507509-pct00081
에 기초한 구현에서, 단계(530)는 상기 모션 파라미터
Figure 112020132507509-pct00082
을 결정하기 위해 다음 초월 방정식 중 하나를 풀 수 있다:
Figure 112020132507509-pct00083
결합된 노이즈 분산은
Figure 112020132507509-pct00084
Figure 112020132507509-pct00085
로 표현될 수 있다. 상기 열거된 초월 방정식(식 7-12)은, 단-노출-시간 픽셀(232S)의 픽셀 값(170)이 제로(zero)에 접근할 때, 모션 파라미터
Figure 112020132507509-pct00086
을 제로로 강제하는 추가적인 항을 포함하도록 수정될 수 있다. 이 수정은 여기서 식 11에 대해 명시적으로 기재된다.
Figure 112020132507509-pct00087
여기서
Figure 112020132507509-pct00088
는 스케일링 파라미터이다. 각 초월 방정식(식 7-10 및 12)은 유사하게 수정될 수 있다. 초월 방정식(식 7-13) 중 하나를 구현하는 단계(530)의 실시형태는 반복 뉴턴 방법과 같은 수치적 방법을 사용하거나 (도 18-21과 관련하여 더 상세히 논의되는 바와 같이) 룩업 테이블을 사용하여 모션 파라미터
Figure 112020132507509-pct00089
에 대한 초월 방정식을 풀 수 있다.
디스패리티
Figure 112020132507509-pct00090
는 (노출 시간의 차를 보상하기 위해 공통 스케일로 조정된) 단-노출-시간 값
Figure 112020132507509-pct00091
과 장-노출-시간 값
Figure 112020132507509-pct00092
의 차에 의존하기 때문에, 모션 이외의 다른 효과는 모션 파라미터
Figure 112020132507509-pct00093
에 결합될 수 있다. 예를 들어, 단-노출-시간 값
Figure 112020132507509-pct00094
및 장-노출-시간 값
Figure 112020132507509-pct00095
중 하나 또는 둘 모두의 노이즈가 디스패리티
Figure 112020132507509-pct00096
에 기여할 수 있으며 따라서 모션 파라미터
Figure 112020132507509-pct00097
에 영향을 미칠 수 있다. 따라서, 모션 파라미터
Figure 112020132507509-pct00098
은 모션 및 노이즈 중 하나 또는 둘 모두와 같은 하나 이상의 상이한 효과를 설명하는 "블렌딩 함수"로 보다 일반적으로 지칭될 수 있다.
모션-보상이 적절하지 않은 상황이 발생할 수 있다. 예를 들어, 로컬 영역에서 제1 색과 연관된 모든 장-노출-시간 픽셀(232L)이 포화되면, 모션이 있는지 결정할 수 없다. 유사하게, 예를 들어, 제1 색과 연관된 대부분의 장-노출-시간 픽셀(232L)이 포화된 경우, 모션-보상을 보증하기에 충분한 정확도로 모션의 정도를 평가하는 것이 불가능할 수 있다. 이러한 상황에서 HDR 컬러 이미지(180)의 모션-아티팩트를 회피하기 위해, 장-노출-시간 픽셀(222)의 픽셀 값(170)의 사용을 포기하는 것이 바람직할 수 있다. 다른 상황에서, 픽셀 값(170)은 정확한 모션 평가를 허용할 수 있지만, 그러한 모션 평가가 로컬 영역이 모션에 의해 크게 영향을 받지 않는 것으로 밝혀지면, 모션-보상을 포기하고 대신에 단-노출-시간 픽셀(232S) 및 모션을 고려하지 않은 장-노출-시간 픽셀(232L)을 결합하는 것이 연산 상 효율적일 수 있다. 또한, 균일한 장면 부분, 즉 밝기나 색의 베리에이션이 없거나 미미한 장면 부분은 모션에 따라 변하지 않으므로 모션 보상이 필요하지 않다.
방법(500)의 일 실시형태는 적절한 경우에만 모션 보상을 수행함으로써 그러한 상황을 설명한다. 이 실시형태에서, 방법(500)은 단계(520 및 550)를 더 포함한다. 단계(520)는 단계(510) 이후에 그리고 잠재적으로 단계(530)로 진행하기 이전에 수행된다. 단계(520)는 모션 보상이 적절하다면, 제1, 제2 및 제3 색 각각에 대해 평가한다. 단계(520)가 모션 보상이 적절하다고 결정한 각각의 색에 대해, 방법(500)은 단계(530 및 540)에 따라 그 색을 처리하는 것으로 진행한다. 단계(520)가 모션 보상이 적절하지 않다고 결정한 각각의 색에 대해서는, 방법(500)은 대신 단계(550)에 따라 그 색을 처리하는 것으로 진행한다.
단계(550)로 전달된 각각의 색에 대해, 방법(500)은 이미지 픽셀의 출력 값을 결정하기 위해 단계(510)에서 획득된 픽셀 값(170)의 비-모션-보상된 디모자이싱을 수행한다. 보다 구체적으로, 그러한 각각의 색에 대해, 단계(550)는 모션을 보상하지 않고 (a) 색과 연관된 단-노출-시간 픽셀(222) 및 (b) 색과 연관된 장-노출-시간 픽셀(224) 및 단-노출-시간 픽셀(222)의 결합 중 어느 하나로부터 이미지 픽셀의 출력 값을 결정한다.
단계(520)는 단계(522, 524 및 526) 중 하나 이상을 포함할 수 있다. 단계(522)에서, 방법(500)은 단계(510)에서 획득된 장-노출-시간 픽셀(224)의 포화도를 평가한다. 일례에서, 단계(522)는 단계(530)에서의 처리가 기반으로 하는 제1 색과 연관된 장-노출-시간 픽셀(224)의 임계 수보다 많은 것이 포화된 것으로 결정하고, 단계(520)는 모션 보상이 적절하지 않다고 결론 내린다. 다른 예에서, 단계(522)는 제1 색이 아닌 다른 색과 연관된 장-노출-시간 픽셀(224)의 임계 수보다 많은 것이 포화되었다고 결정하고, 이어서 단계(522)는, 이 색과 연관된 장-노출-시간 픽셀(224)로부터 입수가능한 것은 단계(540)의 디모자이싱에서 사용하기에 불충분하기 때문에, 이 색에 대한 모션 보상은 적절하지 않다고 결론 내린다.
단계(524)는 단계(510)에서 획득된 (노출 시간의 차를 보상하기 위해 공통 스케일로 스케일링된) 단-노출-시간 픽셀(232S) 및 장-노출-시간 픽셀(232L)의 픽셀 값(170) 사이의 디스패리티를 평가하여 모션이 중요한 것인지를 결정한다. 단계(524)가 모션이 없거나 미미한 모션만 있다고 결정한다면, 단계(524)는 모션 보상은 적절치 않다고 결론 내린다. 일 구현에서, 단계(524)는 예를 들어 식 1-3, 5 및 6 중 하나에 따라 단계(530)를 참조하여 위에서 논의된 것과 유사한 접근법을 사용하여 디스패리티를 계산한다. 이러한 구현에서, 단계(524)는, 단계(530)에서 결정된 모션 파라미터가 미리 지정된 임계 값 미만인 경우 단계(550)로 다시 라우팅하고, 모션 파라미터가 임계 값을 초과할 경우에만 단계(540)에 따라 처리하는 단계(530)의 일부로서 수행될 수 있다.
각 색에 대해, 단계(526)는 단계(510)에서 획득된 픽셀 값(170)의 분산을 평가한다. 색과 연관된 단-노출-시간 픽셀(222)의 분산과 색과 연관된 장-노출-시간 픽셀(224)의 분산 양쪽 모두, 센서 노이즈로부터 예상되는 것과 같은 임계 분산 미만일 경우, 단계(526)는 모션 보상은 불필요하다고 결정하고, 이후 방법(500)은 단계(550)로 진행한다.
단계(522, 524 및 526) 중 하나 이상을 포함하는 실시형태에서, 단계(522, 524 및 526) 중 하나가 모션 보상이 부적절하거나 불필요하다고 결정하면, 방법(500)은 단계(522, 524 및 526) 중 나머지 것(들)을 수행하지 않고 단계(550)로 진행할 수 있음이 이해된다.
단계(550)는 단계(522)에서 획득된 정보를 활용하여 디모자이싱 프로세스에서 장-노출-시간 픽셀(222)을 포함하는 것이 적절한지 여부를 결정할 수 있다.
본 명세서의 범위를 벗어나지 않고, 제1, 제2 및 제3 색과 각각 연관된 3가지 픽셀 값 클래스를 처리하는 대신, 방법(500)은 대신 이들 색의 선형 조합을 처리할 수 있다. 예를 들어, 픽셀 값 R, G 및 B(각각 적색, 녹색 및 청색 광에 감응하는 센서 픽셀로부터 획득)를 처리하는 대신, 방법(500)은 G, (R-G)/2 및 (B-G)/2를 처리할 수 있다.
일 실시형태에서, 방법(500)은 제1 색을 선택하는 단계(502)를 더 포함한다. 단계(502)는 어떤 색이 모션 평가에 가장 적합한지 결정하기 위해 단계(510)에서 수신된 픽셀 값(170)을 평가할 수 있다. 전형적으로, 이미지 센서(120)의 대부분의 실시형태 및 대부분의 시나리오에서, 대부분의 이미지 센서(120)가 청색 픽셀 또는 적색 픽셀보다 2배 많은 녹색 픽셀을 갖기 때문에 녹색이 제1 색에 대해 선호되는 선택이다. 그러나, 장면 부분이 녹색 채널에서 신호가 거의 없는 경우, 단계(502)는 다른 색을 제1 색으로서 선택할 수 있다. 일 구현에서, 단계(502)는 가장 큰 휘도를 갖는 색을 선택한다.
도 8은 모션-보상되는 HDR 컬러 이미지(180)의 하나 이상의 이미지 픽셀에 대한 모션-보상된 HDR 출력 값(874)을 생성하기 위한 하나의 모션-보상하는 HDR 이미지 생성기(800)를 나타낸다. HDR 이미지 생성기(800)는 모션-보상하는 HDR 이미지 생성기(100)의 일 실시형태이며 방법(500)을 수행할 수 있다. HDR 이미지 생성기(800)는 이미지 센서(120)와 결합되어 모션-보상된 HDR 카메라(802)를 형성할 수 있다. HDR 카메라(802)는 HDR 카메라(110)의 일 실시형태이다.
HDR 이미지 생성기(800)는 데이터 선택기(810), 모션 분석기(820) 및 모션-보상하는 HDR 디모자이싱 모듈(830)을 포함한다. HDR 이미지 생성기(800)는 이미지 센서(120)에 의해 캡처된 단일 이미지 프레임으로부터 픽셀 값(170)들을 획득하고 이들 픽셀 값(170)을 처리하여 모션-보상된 HDR 컬러 이미지(180)의 모션-보상된 HDR 출력 값(874)을 생성한다. HDR 이미지 생성기(800)는 전체 HDR 컬러 이미지(180)를 채우기 위해 픽셀 값(170) 중 서로 다른 것을 처리할 수 있다.
각각의 모션-보상된 HDR 출력 값(874)을 생성하기 위해, HDR 이미지 생성기(800)는 다음에서 논의되는 바와 같이 동작한다. 단계(510)의 일례에서, 데이터 선택기(810)는, 픽셀 값(170)으로부터, 고려 중인 이미지 픽셀과 연관된 로컬 영역에 위치된 로컬 영역 픽셀 값(870)을 선택한다. 단계(530)의 일례에서, 모션 분석기(820)는, 모션 파라미터(872)를 결정하기 위해, 제1 색과 연관된, 로컬 영역 픽셀 값(870)의 서브세트를 처리한다. 단계(540)의 일례에서, 모션-보상하는 HDR 디모자이싱 모듈(830)은 제1, 제2 및 제3 색 각각에 대해 (a) 색과 연관된 로컬 영역 픽셀 값(870)의 서브세트 및 (b) 모션 파라미터(872)로부터 모션-보상된 HDR 출력 값(874)을 결정한다.
일 실시형태에서, HDR 이미지 생성기(800)는 모션 보상이 적절할지 결정하고, 그에 따라 모션-보상된 디모자이싱 또는 비-모션-보상된 디모자이싱을 수행하도록 구성된다. 이 실시형태에서, HDR 이미지 생성기(800)는 평가기(812) 및 비-모션-보상하는 디모자이싱 모듈(832)을 더 포함한다. 단계(520)의 일례에서, 데이터 선택기(810)에 의해 출력된 각 세트의 로컬 영역 픽셀 값(870)에 대해, 평가기(812)는, 제1, 제2 및 제3 색 각각에 대해, 모션 보상이 적절할지 여부를 결정한다. 평가기(812)가 모션 보상이 적절하다고 결정하면, HDR 이미지 생성기(800)는 모션 분석기(820) 및 모션-보상하는 HDR 디모자이싱 모듈(830)을 적용하여 위에서 논의된 바와 같이 모션-보상된 HDR 출력 값(874)을 결정한다. 평가기(812)가 모션 보상이 부적절하다고 결정하는 각각의 이미지 픽셀 및 연관된 색에 대해, (a) HDR 이미지 생성기(800)는 대신 비-모션-보상하는 디모자이싱 모듈(832)을 적용하고, (b) 단계(550)의 일례에서 비-모션-보상하는 디모자이싱 모듈(832)은 로컬 영역 픽셀 값(870)의 연관된 서브세트를 처리하여 이미지 픽셀의 해당 색에 대한 비-모션-보상된 HDR 출력 값(876)을 결정한다.
HDR 이미지 생성기(800)는 프로세서 및 이 프로세서에 의해 실행될 때 이미지 센서(120)로부터 픽셀 값(170)을 처리하여 모션-보상된 HDR 출력 값(874) 및/또는 비-모션-보상된 출력 값(876)을 생성하는, 비일시적 메모리에 인코딩된 기계 판독가능 명령어의 형태로 구현될 수 있다. 데이터 선택기(810), 모션 분석기(820) 및 모션-보상하는 HDR 디모자이싱 모듈(830)은 동일한 프로세서를 공유할 수 있다. 나아가, 데이터 선택기(810), 모션 분석기(820) 및 모션-보상하는 HDR 디모자이싱 모듈(830)과 연관된 기계 판독가능 명령어를 포함하는 비일시적 메모리는, 이미지 센서(120)로부터의 픽셀 값(170)을 처리하여 모션-보상된 HDR 출력 값(874) 및/또는 비-모션-보상된 출력 값(876)을 생성하기 위해 제3자 프로세서와 협력하도록 구성된 스탠드-얼론 제품으로서 제공될 수 있다.
본 명세서의 범위를 벗어나지 않고, 제1, 제2 및 제3 색과 각각 연관된 3가지 종류의 픽셀 값을 처리하는 대신, HDR 이미지 생성기(800)는 대신에 이들 색의 선형 조합을 처리할 수 있다. 예를 들어, HDR 이미지 생성기(800)는, 픽셀 값 R, G, B(적색, 녹색 및 청색 광에 감응하는 센서 픽셀로부터 각각 획득됨)를 처리하는 대신 G, (R-G)/2 및 (B-G)/2를 처리할 수 있다.
도 9는 싱글-샷으로 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)에 의해 생성된 픽셀 값(170)으로부터 모션-보상된 HDR 컬러 이미지(180)를 생성하기 위한 하나의 모션-보상하는 HDR 이미지 생성기(900)를 나타낸다. HDR 이미지 생성기(900)는, 비-모션-보상하는 디모자이싱 모듈(832)을 포함하고 샘플러(942) 및 마스터(940)를 추가로 포함하는 모션-보상하는 HDR 이미지 생성기(800)의 일 실시형태이다. 마스터(940)는 평가기(812)의 하나의 구현이다. HDR 이미지 생성기(900)는 방법(500)을 수행할 수 있다.
HDR 컬러 이미지(180)의 각 이미지 픽셀에 대해, 샘플러(942)는, 데이터 선택기(810)에 의해, 픽셀 값(170)으로부터 대응하는 로컬 영역 픽셀 값(870)의 선택을 제어한다. 샘플러(942) 및 데이터 선택기(810)는 함께 단계(510)의 일례를 수행한다. 샘플러(942)는, HDR 컬러 이미지(180)의 원하는 픽셀 해상도에 따라서 그리고 로컬 영역의 원하는 사이즈에 따라서, 데이터 선택기(810)에 의한, 픽셀 값 선택을 제어하도록 구성된다.
도 10은 샘플러(942)에 의한 로컬 영역 정의의 일레를 보여준다. 도 10은 이미지 센서(120)의 픽셀 어레이(210)를 도시한다. 픽셀 어레이(210)는 복수의 센서 픽셀(1010)을 포함한다. 센서 픽셀(1010)은 픽셀(232S, 232L, 234S, 234L, 236S 및 236L) 중 어느 하나를 총칭한다. 명확한 예시를 위해, 도 10에서는 하나의 센서 픽셀(1010)에만 참조부호가 표시되어 있다. 도 10은 HDR 컬러 이미지(180)의 두 인접 이미지 픽셀에 대해, 데이터 선택기(810)에 의한, 로컬 영역 선택에 대응하는 두 로컬 영역(1020(1) 및 1020(2))을 나타낸다. 각 로컬 영역(1020)은 높이(1030) 및 너비(1032)를 갖는다. 도 10의 예에서, 높이(1030) 및 너비(1032)는 5×5 픽셀 로컬 영역(1020)을 정의한다. 그러나, 샘플러(942)는 상응하게 높이(1030) 및 너비(1032)를 정의함으로써 픽셀 어레이(210)의 더 작거나 더 큰 영역을 샘플링하도록 데이터 선택기(810)에 명령할 수 있다. 도 10은 정사각형인 로컬 영역(1020)을 보여준다. 그러나, 로컬 영역(1020)은 본 발명의 범위를 벗어나지 않으면서, 긴 직사각형과 같은 상이한 형상을 가질 수 있다.
로컬 영역(1020(1) 및 1020(2))은 각각 중심 픽셀(1022(1) 및 1022(2))을 갖는다. 중심 픽셀(1022(1) 및 1022(2))은 센서 픽셀(1010)의 예이다. 로컬 영역(1020(1) 및 1020(2))은 중심 간 간격(1040)을 갖는다. 도 10의 예에서, 중심 간 간격(1040)은 2개의 픽셀(1010)이며, HDR 컬러 이미지(180)의 해상도는 적어도 수평 치수에서 2배수로 다운 샘플링된다. 샘플러(942)는 원하는 해상도를 달성하기 위해 중심 간 간격(1040)을 설정할 수 있다. 예를 들어, 샘플러(942)는 HDR 컬러 이미지(180)에서 픽셀 어레이(210)의 전체 픽셀 해상도를 유지하기 위해 중심 간 간격(1040)을 하나의 픽셀로 설정할 수 있다. 대안적으로, 샘플러(942)는, 수평 및 수직 치수 각각에 있어서 HDR 컬러 이미지(180)의 픽셀 해상도를 예를 들어 2, 4 또는 8배수 또는 최대 10배수로 다운 샘플링하도록 중심 간 간격(1040)을 설정할 수 있다.
다시 도 9를 참조하면, 마스터(940)는, 연관된 이미지 픽셀의 각 색에 대해, 어떤 유형의 모션-보상이 적절할지 결정하기 위해 로컬 영역 픽셀 값(870)을 처리한다. 마스터(940)는 단계(520)의 일례를 수행한다. 결과적인 HDR 컬러 이미지(180)는 모션-보상된 HDR 출력 값(874) 및 비-모션-보상된 출력 값(876)의 결합으로 이루어질 수 있다. 이미지 픽셀의 한 색에 대한 출력 값은 모션-보상된 HDR 출력 값(874)인 반면, 동일 이미지 픽셀의 다른 색에 대한 출력 값은 비-모션-보상된 출력 값(876)인 것도 심지어 가능하다. 마스터(940)는 포화도 평가기(950) 및 디스패리티 평가기(960)를 포함한다.
포화도 평가기(950)는 단계(522)를 참조하여 위에서 논의된 바와 같이, 로컬 영역 픽셀 값(870)의 각 인스턴스의 포화도 레벨을 평가한다. 일 실시형태에서, 포화도 평가기(950)는 포화도-미만 기준(952)을 포함한다. 각 색에 대해, 포화도-미만 기준(952)은, 예를 들어, 이 색과 연관된 특정 수의 로컬 영역 픽셀 값(870)이 불포화되어야 한다는 요구조건이다.
디스패리티 평가기(960)는, 로컬 영역 픽셀 값(870)에 대해, 단계(524)를 참조하여 위에서 논의된 바와 같이, 제1 색과 연관된 장-노출-시간 픽셀과 단-노출-시간 픽셀(노출 시간의 차를 보상하기 위해 공통 스케일로 조정됨) 사이의 디스패리티를 평가한다. 일 실시형태에서, 디스패리티 평가기(960)는 디스패리티 임계 값(966)을 포함한다. 디스패리티가 식 2에 따라 계산되면, 디스패리티 임계 값(966)은 제로 또는 거의 제로일 수 있다. 디스패리티가 식 1에 따라 계산되면, 디스패리티 임계 값(966)은
Figure 112020132507509-pct00099
일 수 있다. 대안적으로, (모션-보상하는 디모자이싱은 일반적으로 비-모션-보상하는 디모자이싱보다 연산상 더 비용이 많이 들기 때문에) 디스패리티 임계 값(966)은 모션 보상과 처리 시간 사이에서 원하는 절충을 달성하도록 정의된다.
특정 실시형태에서, 마스터(940)는, 단계(526)를 참조하여 위에서 논의된 바와 같이, 로컬 영역 픽셀 값(870)의 분산을 평가하는 분산 평가기(968)를 더 포함한다. 마스터(940)는 단계(502)를 수행하도록 더 구성될 수 있다.
HDR 이미지 생성기(900)는, 프로세서, 및 프로세서에 의해 실행되었을 때, 모션-보상된 HDR 출력 값(874) 및/또는 비-모션-보상된 HDR 출력 값(876)을 생성하도록 이미지 센서(120)로부터의 픽셀 값(170)을 처리하는, 비일시적 메모리에 인코딩된 기계 판독가능 명령어의 형태로 구현될 수 있다. 마스터(940), 샘플러(942), 데이터 선택기(810), 모션 분석기(820), 모션-보상하는 HDR 디모자이싱 모듈(830) 및 비-모션-보상하는 디모자이싱 모듈(832)은 동일한 프로세서를 공유할 수 있다. 또한, 마스터(940), 샘플러(942), 데이터 선택기(810), 모션 분석기(820) 및 모션- 보상하는 HDR 디모자이싱 모듈(830) 및 비-모션-보상하는 디모자이싱 모듈(832)과 연관된 그러한 기계 판독가능 명령어를 포함하는 비일시적 메모리는, 이미지 센서(120)로부터의 픽셀 값(170)을 처리하여 모션-보상된 HDR 출력 값(874) 및/또는 비-모션-보상된 출력 값(876)을 생성하기 위해 제3자 프로세서와 협력하도록 구성된 스탠드-얼론 제품으로서 제공될 수 있다.
도 11a 및 11b는, 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)에 의해 캡처된 단일 이미지 프레임으로부터 획득된 픽셀 값에 기초하여, 조건부 디모자이싱을 사용하여 모션-보상된 HDR 컬러 이미지(180)를 생성하기 위한 하나의 방법(1100)을 나타낸다. 방법(1100)은 HDR 컬러 이미지(180)의 각각의 이미지 픽셀 및 각각의 연관된 색에 대해, 상응하여 적절한 유형의 디모자이싱을 적용하기 위해 적어도 포화도 레벨 및 모션 디스패리티를 평가한다. 방법(1100)의 각각의 반복은 HDR 컬러 이미지(180)의 이미지 픽셀의 제1, 제2 및 제3 색 각각에 대한 출력 값을 생성한다. 방법(1100)은 풀 HDR 컬러 이미지(180)를 채우기 위해 HDR 컬러 이미지(180)의 각각의 이미지 픽셀에 대해 반복될 수 있다. 방법(1100)은 방법(500)의 일 실시형태이다. 방법(1100)은, 예를 들어 HDR 이미지 생성기(900)에 의해 수행된다. 도 11a는 방법(1100)의 제1 부분을 나타내고, 도 11b는 방법(1100)의 제2 부분을 나타낸다. 도 11a 및 11b는 다음 설명에서 함께 가장 잘 이해된다.
방법(1100)은 단계(1110, 1120 및 1130)를 포함한다. 단계(1110)는 픽셀 값(170)을 획득한다. 단계(1120)는 데이터 선택 파라미터를 획득한다. 단계(1110 및 1120)의 일례에서, 데이터 선택기(810)는, 샘플러(942)로부터, (a) 이미지 센서(120)로부터의 픽셀 값(170) 및 (b) 높이(1030), 너비(1032) 및 중심 간 간격(1040)과 같은 데이터 선택 파라미터를 수신한다. 단계(1130)는 단계(1110)에서 획득된 픽셀 값(170) 및 단계(1120)에서 획득된 데이터 선택 파라미터에 따라 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 각 센서 픽셀의 로컬 영역에 의해 생성된 픽셀 값(870)을 선택한다. 단계(1130)의 일례에서, 데이터 선택기(810)는 단계(1120)에서 획득된 로컬 영역(1020)의 정의에 따라 이미지 센서(120)에 의해 생성된 픽셀 값(870)을 선택한다. 일 실시형태에서, 방법(1100)은 제1 색을 선택하는 단계(502)를 더 포함한다.
단계(1110, 1120 및 1130) 및 선택적으로 단계(502)의 완료 후, 방법(1100)은 제1 색에 대한 단계의 블록(1102) 및 제2 및 제3 색 각각에 대한 단계의 블록(1104)을 수행하도록 진행한다. 블록(1102)은 결정(1140)으로부터 시작한다. 결정(1140)은 제1 색과 연관된 장-노출-시간 픽셀의 포화도를 평가한다. 제1 색과 연관된 장-노출-시간 픽셀에 대한 픽셀 값(870)이 포화도-미만 기준을 충족하면, 방법(1100)은 다른 결정(1144)으로 진행한다. 그렇지 않으면, 방법(1100)은 단계(1142)에서 (a) 제1 색의 픽셀 값(870)을 처리하고 (b) 단계(1152)에 따라 제2 및 제3 색 각각에 대한 픽셀 값(870)을 처리하는 것으로 진행한다. 결정(1140)의 일례에서, 포화도 평가기(950)는 장-노출-시간 픽셀(232L)의 픽셀 값(870)의 포화 레벨을 포화도-미만 기준(952)과 비교한다. 다음으로, 이 예에서, 장-노출-시간 픽셀(232L)이 포화도-미만 기준(952)을 충족하지 못하면, 마스터(940)는, 이하에서 보다 상세히 논의되는 바와 같이 단계(1142 및 1152)에 따라. 비-모션-보상하는 디모자이싱 모듈(832)에게 제1, 제2 및 제3 색 각각에 대한 픽셀 값(870)을 처리하도록 명령한다. 한편, 장-노출-시간 픽셀(232L)이 포화도-미만 기준(952)을 충족하면, 마스터(940)는, 제1 색과 연관된 픽셀 값(870)에 디스패리티 평가기(960)를 적용하기 위해 진행한다.
제1 색과 연관된 장-노출-시간 픽셀에 대한 픽셀 값(870)이 결정(1140)에서 포화도 기준을 충족하지 못할 때, 장-노출-시간 픽셀의 데이터 품질은 모션 분석에 충분치 못한 것으로 간주된다. 이 경우, 방법(1100)은 모션에 대한 지식을 얻지 못한다. 따라서, 방법(1100)은 픽셀 값(870)의 비-모션-보상된 디모자이싱에 의존한다. 더욱이, 제2 또는 제3 색과 연관된 장-노출-시간 픽셀이 포화도 기준을 충족하더라도, 방법(1100)은 단-노출-시간 픽셀과 장-노출-시간 픽셀 사이의 잠재적인 모션 디스패리티를 알지 못한다. 따라서, 이 경우에, 방법(1100)은 각각의 제1, 제2 및 제3 색에 대해 단-노출-시간 픽셀만을 기초로 하여 비-모션-보상된 디모자이싱을 수행한다. 따라서, 단계(1142)는 제1 색에 대해, 이미지 픽셀의 출력 값을 결정하기 위해 단-노출-시간 픽셀만을 사용하여 비-모션-보상된 디모자이싱을 수행한다. 유사하게, 단계(1152)는 제2 및 제3 색 각각에 대해, 이미지 픽셀의 출력 값을결정하기 위해 단-노출-시간 픽셀만을 사용하여 비-모션-보상된 디모자이싱을 수행한다. 단계(1142 및 1152)의 일례에서, 마스터(940)는 비-모션-보상하는 디모자이싱 모듈(832)에게, 제1, 제2 및 제3 색 각각과 연관된 단-노출-시간 픽셀의 픽셀 값(870)을 처리하여 각 색에 대한 비-모션-보상된 출력 값(876)을 결정하도록 명령한다. 이 예에서, 비-모션-보상하는 디모자이싱 모듈(832)은 (a) 제1 색에 대한 단-노출-시간 픽셀(232S)에 대한 픽셀 값(870)을 디모자이싱하고, (b) 제2 색에 대한 단-노출-시간 픽셀(234S)에 대한 픽셀 값(870)을 디모자이싱하고, (c) 제3 색에 대한 단-노출-시간 픽셀(236S)에 대한 픽셀 값(870)을 디모자이싱한다.
결정(1144)은 제1 색과 연관된 단-노출-시간 픽셀과 장-노출-시간 픽셀(노출 시간의 차를 보상하기 위해 공통 스케일로 조정됨) 사이의 디스패리티를 계산하고, 이 디스패리티를 디스패리티 임계 값과 비교한다. 디스패리티가 디스패리티 임계 값을 초과하는 경우, 방법(1100)은 (a) 단계(530 및 540)에 따라 제1 색과 연관된 픽셀 값(870)을 처리하는 단계(1148)로 진행하여 이미지 픽셀의 제1 색에 대한 모션-보상된 출력 값을 결정하고, (b) 결정(1150)에서 각각의 제2 및 제3 색의 장-노출-시간 픽셀의 포화도 레벨을 평가한다. 한편, 디스패리티가 디스패리티 임계 값을 초과하지 않는 경우, 방법(1100)은 (a) 단계(1146)에 따라 제1 색과 연관된 픽셀 값(870)을 처리하고 (b) 결정(1150)의 다른 인스턴스(1150')에서 제2 및 제3 색 각각의 장-노출-시간 픽셀의 포화도 레벨을 평가하는 것으로 진행한다. 결정(1144)의 일례에서, 디스패리티 평가기(960)는 단-노출-시간 픽셀(232S)의 픽셀 값(870)과 장-노출-시간 픽셀(232L)의 픽셀 값(870)(노출 시간의 차를 보상하기 위해 공통 스케일로 스케일링 됨) 사이의 디스패리티를 계산하고, 도 9를 참조하여 위에서 논의된 바와 같이, 이 디스패리티를 디스패리티 임계 값(966)과 비교한다. 이 예에서, 디스패리티가 디스패리티 임계 값을 초과하는 경우, 마스터(940)는, 비-모션-보상하는 디모자이싱 모듈(832)에게 단계(1146)에서 제1 색과 연관된 픽셀 값(870)을 처리하여 이미지 픽셀의 제1 색에 대한 비-모션-보상된 출력 값(876)을 결정하도록 명령한다. 대신에, 디스패리티가 디스패리티 임계 값 미만이면, 마스터(940)는 결정(1150)에서 제2 및 제3 색과 연관된 장-노출-시간 픽셀의 픽셀 값(870)에 포화도 평가기(950)를 적용하기 위해 진행한다. 디스패리티가 디스패리티 임계 값 미만이고, 그리고 제1 색과 연관된 장-노출-시간 픽셀에 대한 픽셀 값(870)이 포화도 기준을 충족하면(결정(1144)에서의 결과가 "NO(아니오)"에 해당), 방법(1100)은, 이미지 픽셀의 제1 색에 대한 출력 값을 결정하기 위해 단-노출-시간 픽셀 및 장-노출-시간 픽셀 모드를 활용할 수 있다. 그러나, 모션 보상은 불필요한 것으로 간주된다. 따라서, 단계(1146)는 이미지 픽셀의 제1 색에 대한 출력 값을 결정하기 위해 제1 색과 연관된 단-노출-시간 픽셀 및 장-노출-시간 픽셀을 사용하여 비-모션-보상된 디모자이싱을 수행한다. 디스패리티가 디스패리티 임계 값을 초과하고, 그리고 제1 색과 연관된 장-노출-시간 픽셀에 대한 픽셀 값(870)이 포화도 기준을 충족하는 경우(결정(1144)에서의 결과가 "YES(예)"에 해당), 제1 색에 대한 모션-보상된 디모자이싱을 수행하는 것이 적절하다고 간주된다. 따라서, 단계(1148)는 제1 색에 대해 단계(530) 및 단계(540)를 수행하여 제1 색에 대한 이미지 픽셀의 모션-보상된 출력 값을 결정한다. 단계(1146)는 포화된 장-노출-시간 픽셀을 고려에서 생략하고 단-노출-시간 픽셀과 불포화된 장-노출-시간 픽셀에 대한 각 출력 값의 결정을 기반으로 할 수 있다. 단계(1146)의 일례에서, 비-모션-보상하는 디모자이싱 모듈(832)은 단-노출-시간 픽셀(232S)과 불포화 장-노출-시간 픽셀(232L)의 픽셀 값(870)의 조합에 기초하여 제1 색에 대한 비-모션-보상된 출력 값(876)을 결정한다. 단계(1148)의 일례에서, 모션 분석기(820) 및 모션-보상하는 HDR 디모자이싱 모듈(830)은, 제1 색과 연관된 단-노출-시간 픽셀(232S) 및 장-노출-시간 픽셀(232L)의 픽셀 값(870)을 처리하여 이미지 픽셀의 제1 색에 대한 모션-보상된 HDR 출력 값(874)을 결정한다.
결정(1150)은 제1 색 대신 제2 및 제3 색 각각에 적용되는 점을 제외하고 결정(1140)과 유사하다. 결정(1150)이 장-노출-시간 픽셀이 포화도 기준을 충족한다고 결정하면, 방법(1100)은 고려 중인 색과 연관된, 단계(530) 및 단계(540)의 일부를 수행하는 단계(1158)로 진행하여 고려 중인 색에 대한 이미지 픽셀의 모션-보상된 출력 값을 결정한다. 그렇지 않으면, 방법(1100)은 단계(1152)로 진행한다. 단계(1158)는 제2 및/또는 제3 색에 적용되는 것을 제외하고는 단계(1148)와 유사하다. 결정(1150')은 결정(1150)과 동일하지만, 방법(1100)의 결정 프로세스에서 다른 지점에 위치한다. 결정(1150')에 대한 답이 "NO"이면, 방법(1100)은 단계(1152)로 진행한다. 결정(1150')에 대한 대답이 "YES"이면, 방법(1100)은 단계(1156)로 진행한다. 단계(1156)는 제2 및/또는 제3 색에 적용된다는 점을 제외하면 단계(1146)와 유사하다.
일 실시형태에서, 방법(1100)은 최적 유형의 디모자이싱을 결정하기 위해 픽셀 값(870)의 분산을 추가로 고려한다. 방법(1100)의 이 실시형태는 결정(1149 및 1149')을 더 포함한다. 결정(1149)은 결정(1144)으로부터 단계(1148)로의 경로를 가로챈다. 결정(1149)은 단계(526)의 일 실시형태이고 제1 색과 연관된 픽셀 값(870)의 분산이 임계 분산을 초과하는지 평가한다. "YES"이면, 방법(1100)은 단계(1148)로 진행한다. 그렇지 않은 경우 방법(1100)은 대신 단계(1146)로 다시 라우팅한다. 결정(1149')은 결정(1150)으로부터 단계(1158)로의 경로를 가로챈다. 결정(1149')은 단계(526)의 일 실시형태이며, 제2 및 제3 색 각각에 대해, 고려 중인 색과 연관된, 픽셀 값(870)의 분산이 임계 분산을 초과하는지 평가한다. "YES"이면, 방법(1100)은 그 색에 대해 단계(1158)로 진행한다. 그렇지 않은 경우, 방법(1100)은 해당 색에 대해 단계(1156)로 다시 라우팅한다.
도 12는 제1 색과 연관된 단-노출-시간 픽셀과 장-노출-시간 픽셀 사이의 모션 불일치를 평가하기 위한 하나의 방법(1200)을 예시한다. 방법(1200)은 단계(530)의 일 실시형태이며 모션 파라미터
Figure 112020132507509-pct00100
을 결정한다. 방법(1200)은 픽셀 값(870)에 기초하여 모션 파라미터(872)를 결정하기 위해 모션 분석기(820)에 의해 수행될 수 있다. 방법(1200)은 단계(1210, 1220 및 1230)를 포함한다.
단계(1210)는 이미지 픽셀에 대한 단-노출-시간 제1 색 값, 예를 들어, 식 1의
Figure 112020132507509-pct00101
을 결정하기 위해 (제1 색과 연관된) 단-노출-시간 픽셀(232S)의 픽셀 값(870)에 제1 모델을 피팅한다. 이 단-노출-시간 제1 색 값은 이미지 픽셀과 연관된 실제 제1 색 휘도의 최상의 추정치를 나타낸다. 단계(510)를 참조하여 위에서 논의된 바와 같이, 픽셀 값(870)이 획득되는 로컬 영역은 제1 색에 감응하는 복수의 단-노출-시간 픽셀(232S)을 포함하기 때문에, 이미지 픽셀에 대한 단-노출-시간 제1 색 값을 결정하기 위해 복수의 픽셀 값을 입수하여 사용할 수 있다. 로컬 영역의 중심은 단-노출-시간 픽셀(232S)과 일치하거나 일치하지 않을 수 있다. 단계(1210)는 이미지 픽셀에 대한 단-노출-시간 제1 색 값을 보간하기 위해 로컬 영역 내의 모든 단-노출-시간 픽셀(232S)을 고려한다. 심지어 로컬 영역의 중심이 단-노출-시간 픽셀(232S)과 일치하는 경우에도 단계(1210)에서 사용되는 피팅 프로세스는 노이즈를 평균화하는 역할을 할 수 있으므로 단-노출-시간 제1 색의 결정에 견고성을 더할 수 있다.
단계(1220)는 장-노출-시간에 관한 것을 제외하고는 단계(1210)와 유사하다. 단계(1220)는 이미지 픽셀에 대한 장-노출-시간 제1 색 값, 예를 들어 식 1의
Figure 112020132507509-pct00102
을 결정하기 위해 (제1 색과 연관된) 장-노출-시간 픽셀(232L)의 픽셀 값(870)에 제2 모델을 피팅한다.
단계(1210 및 1220)는 노출 시간의 차를 보상하기 위해
Figure 112020132507509-pct00103
및
Figure 112020132507509-pct00104
을 공통 스케일로 스케일링하는 단계를 포함할 수 있다. 대안적으로, 단계(1230)가 이 스케일링을 수행한다.
단계(1230)는 단계(1210)에서 결정된 단-노출-시간 제1 색 값과 단계(1220)에서 결정된 장-노출-시간 제1 색 값 사이의 디스패리티를 계산하여 모션 파라미터를 결정하고, 여기서 단-노출-시간 제1 색 값과 장-노출-시간 제1 색 값은 공통 스케일로 스케일링된다. 단계(1230)는 식 1-3, 5 또는 6을 사용할 수 있다. 일 실시형태에서, 단계(1230)는, 단계(530)를 참조하여 위에서 논의된 바와 같이
Figure 112020132507509-pct00105
,
Figure 112020132507509-pct00106
또는
Figure 112020132507509-pct00107
로서 모션 파라미터를 계산하거나, 또는 식 7-13 중 하나에 따라 모션 파라미터를 계산한다.
일 실시형태에서, 단계(1210)는 단계(1212)를 포함하고 단계(1220)는 단계(1222)를 포함한다. 한편, 단계(1212)는 단계(1210)에 의한 피팅에 사용되는 각 픽셀 값(870)에 핏(fit) 가중을 적용한다. 예를 들어, 단계(1212)는 단-노출-시간 픽셀의 픽셀 값을 상기 핏 가중과 곱함으로써 단-노출-시간 픽셀에 핏 가중을 적용할 수 있다. 단계(1212)의 핏 가중은 픽셀 값(870)의 신호 품질 또는 픽셀 값(870)의 예상 신호 품질의 증가 함수이며, 따라서 보다 양호한 데이터 품질의 픽셀 값(870)은 피팅에서 상대적으로 더 많은 가중이 할당된다. 단계(1212)의 핏 가중은 이미지 센서(120)의 센서 노이즈의 모델로부터 유도될 수 있다. 한편, 단계(1222)는 단계(1220)에 의한 피팅에 사용되는 각 픽셀 값(870)에 핏 가중을 적용한다. 예를 들어, 단계(1222)는 장-노출-시간 픽셀의 픽셀 값을 상기 핏 가중과 곱함으로써 장-노출-시간 픽셀에 핏 가중을 적용할 수 있다. 단계(1222)의 핏 가중 또한, 픽셀 값(870)의 신호 품질 또는 픽셀 값(870)의 예상 신호 품질의 증가하는 함수이다. 단계(1212 및 1222)의 핏 가중은 이미지 센서(120)의 포화도 거동 및/또는 노이즈 특성의 모델에 기초할 수 있다.
도 13a 및 13b는 단계(1212 및 1222)에서 사용될 수 있는 예시적인 핏 가중 함수를 보여준다. 도 13a는 단-노출-시간 픽셀(232S)과 같은 단-노출-시간 픽셀에 적용 가능한 핏 가중 함수(1310)를 나타낸다. 도 13b는 장-노출-시간 픽셀(232L)과 같은 장-노출-시간 픽셀에 적용 가능한 핏 가중 함수(1350)를 나타낸다. 도 13a 및 13b는 다음 설명으로부터 함께 가장 잘 이해될 수 있다. 각각의 도 13a 및 13b는 픽셀 값(1302) 대 핏 가중(1304)으로서 각각의 핏 가중 함수를 플로팅한다.
핏 가중 함수(1310)는 하한 임계 값(1312)과 최대 픽셀 값(1314) 사이의 유니티(unity)이고, 핏 가중 함수(1310)는 픽셀 값이 하한 임계 값(1312)으로부터 제로로 감소할 때 점차적으로 제로로 테이퍼진다. 이 감소는, 센서 노이즈가 픽셀 값에 점점 더 현저한 영향을 미치기 때문에 데이터 품질 저하를 반영한다. 일 실시형태에서, 핏 가중 함수(1310)는 또한 점선(1320)으로 표시된 바와 같이 가장 높은 픽셀 값에서 테이퍼진다. 이 감소는 포화도가 픽셀 값을 제한하기 시작함에 따라 데이터 품질 저하를 반영한다.
핏 가중 함수(1350)는 제로와 상한 임계 값(1352) 사이의 유니티이고, 핏 가중 함수(1350)는 픽셀 값이 상한 임계 값(1352)으로부터 최대 픽셀 값(1354)으로 증가할 때 점차 제로로 테이퍼진다. 이 감소는 포화도가 픽셀 값을 제한하기 시작함에 따라 데이터 품질 저하를 반영한다. 일 구현에서, 최대 픽셀 값(1354)은 이미지 센서가 출력할 수 있는 가장 높은 픽셀 값이다. 다른 구현에서, 최대 픽셀 값(1354)은 이미지 센서가 출력할 수 있는 가장 높은 픽셀 값 미만이고 대신 그 이상의 포화가 허용되지 않는 레벨을 정의한다. 이 구현은 현저히 포화된 픽셀 값을 고려 대상으로부터 제거한다.
일 실시형태에서, 핏 가중 함수(1350)는 또한 점선(1360)으로 표시된 바와 같이 가장 낮은 픽셀 값에서 테이퍼진다. 이 감소는 센서 노이즈가 픽셀 값에 점점 큰 영향을 미침에 따라 데이터 품질 저하를 반영한다.
다시 도 12를 참조하면, 단계 1212는 (테이퍼(1320)가 있거나 없는) 핏 가중 함수(1310)를 활용할 수 있고, 단계 1222는 (테이퍼(1360)가 있거나 없는) 핏 가중 함수(1350)를 활용할 수 있다.
일 실시형태에서, 단계(1210)는 하나의 2차원(2D) 다항식 모델을 사용하는 단계(1214)를 포함하고, 단계(1220)는 다른 2D 다항식 모델을 사용하는 단계(1224)를 포함한다. 단계(1214 및 1224)의 2D 다항식 모델은 동일하거나 서로 다를 수 있다. 각 2D 다항식 모델은 입력 파라미터로서 수평 및 수직 픽셀 좌표를 모두 갖고 출력 파라미터로서 각각의 핏 가중을 갖는 다항식 함수이다. 도 13a 및 13b에 예시된 핏 가중 함수(1310 및 1350)와 유사하게, 다항식 함수는 예를 들어 최대 값 1로 정규화될 수 있다.
단계(1214)에서 적용되는 2D 다항식의 차수(order)는 로컬 영역의 사이즈에 의존할 수 있다. 예를 들어, 도 6 및 도 7에 도시된 바와 같은 5×5 영역은 단-노출-시간 픽셀(232S)의 픽셀 값(870)에 1차 2D 다항식을 강건하게 피팅하는 것을 허용하는 반면, 7×7 영역은 단-노출-시간 픽셀(232S)의 픽셀 값(870)에 2차 또는 3차 2D 다항식을 픽셀에 강건하게 피팅하는 것을 허용할 수 있다. 일반적으로, 더 큰 영역은 고차 다항식의 피팅을 허용한다. 한편, 고차 다항식은 로컬 영역 내의 픽셀 베리에이션에 대한 보다 정확한 피팅을 허용한다. 반면, 더 큰 로컬 영역은 원하는 것보다 많은 블러링(blurring)을 유발할 수 있다. 게다가, 고차 다항식을 큰 로컬 영역에 피팅하는 것은 작은 로컬 영역에 저차 다항식을 피팅하는 것보다 연산 비용이 많이 든다. 일 실시형태에서, 단계(1210)는 예를 들어 처리 시간을 최소화하기 위해 1차 다항식(평면) 또는 0차 다항식(상수)을 활용한다.
단계(1220)는 포화에 더 민감한 장-노출-시간 픽셀(232L)을 처리하기 때문에, 단계(1220)는 포화 픽셀로부터 획득된 픽셀 값(870)을 생략하고 불포화 픽셀 값(870)만을 고려할 수 있다. 따라서, 단계(1220)의 피팅 프로세스에 이용 가능한 픽셀 값(870)의 수는 로컬 영역에서의 장-노출-시간 픽셀(232L)의 수보다 적을 수 있다. 따라서, 단계(1224)에서 적용된 2D 다항식의 차수는 불포화 장-노출-시간 픽셀(232L)의 실제 수에 더 의존할 수 있다.
일 실시형태에서, 단계(1212)의 2D 다항식 모델은 1차, 2차 또는 3차 2D 다항식이고, 단계(1224)의 2D 다항식 모델은 단계(1212)의 2D 다항식 모델보다 1차 또는 2차 더 적다. 예를 들어, 단계(1212)의 2D 다항식 모델은 2차 또는 3차 2D 다항식인데, 단계(1212)의 2D 다항식 모델은 0차 또는 1차 2D 다항식이다. 다른 실시형태에서, 제1 및 제2 모델은 동일한 차수의 2D 다항식이다.
도 14는 HDR 컬러 이미지(180)의 이미지 픽셀과 연관된 로컬 영역의 픽셀 값의 모션-보상하는 디모자이싱을 위한 하나의 방법(1400)을 나타낸다. 방법(1400)은 이미지 픽셀의 하나의 색에 대한 출력 값을 결정한다. 단계(540)는 각각의 색에 대해 방법(1400)을 수행할 수 있다. 모션-보상하는 HDR 디모자이싱 모듈(830)은 픽셀 값(870) 및 모션 파라미터(872)에 기초하여 모션-보상된 HDR 출력 값(874)을 생성하기 위해 방법(1400)을 수행할 수 있다. 방법(1400)은 단계(1410, 1420 및 1430)를 포함한다.
단계(1410)는 고려 중인 색과 연관된, 단-노출-시간 픽셀(222)의 픽셀 값(870)에 제1 모델을 피팅하여 이미지 픽셀의 이 색에 대한 단-노출-시간 값, 예를 들어, 식 4의
Figure 112020132507509-pct00108
을 결정한다. 이 단-노출-시간 값은 이미지 픽셀의 이 색과 관련된 실제 휘도의 최상의 추정치를 나타낸다. 모델을 픽셀 값(870)에 피팅하는 이점은 단계(1210)를 참조하여 위에서 설명한 것과 유사하다.
단계(1420)는 장-노출-시간에 관한 것을 제외하고 단계(1410)와 유사하다. 단계(1420)는 고려 중인 색과 연관된, 장-노출-시간 픽셀(224)의 픽셀 값(870)에 제2 모델을 피팅하여, 이미지 픽셀의 이 색에 대한 장-노출-시간 값, 예를 들어 식 4의
Figure 112020132507509-pct00109
을 결정한다.
단계(1410 및 1420)는 노출 시간의 차를 보상하기 위해
Figure 112020132507509-pct00110
및
Figure 112020132507509-pct00111
을 공통 스케일로 스케일링하는 것을 포함할 수 있다. 대안적으로, 단계(1430)가이 스케일링을 수행한다.
단계(1430)는 고려 중인 색에 대한, 이미지 픽셀에 대한 출력 값을 (a) 단계(1410)에서 결정된 단-노출-시간 값과 (b) 장-노출-시간 값의 가중 평균으로서 계산한다. 가중 평균은 위의 식 4를 참조하여 논의된 바와 같이 모션 파라미터
Figure 112020132507509-pct00112
을 가중으로서 사용한다.
일 실시형태에서, 단계(1410)는 단계(1412)를 포함하고 단계(1420)는 단계(1422)를 포함한다. 각각의 단계(1412 및 1422)는 모델을 각각 연관된 픽셀 값에 피팅한다. 단계(1412)는 제1, 제2 및 제3 색 중 어느 하나에 적용 가능한 것을 제외하고 단계(1210)와 유사하다. 마찬가지로, 단계(1422)는 제1, 제2 및 제3 색 중 어느 하나에 적용 가능한 것을 제외하고는 단계(1220)와 유사하다. 단계(1412)는 단계(1414 및 1416) 중 하나 또는 둘 다를 포함할 수 있고, 단계(1422)는 단계(1424 및 1426) 중 하나 또는 둘 다를 포함할 수 있다. 단계(1414 및 1424)는 각각 단계(1212 및 1222)와 유사하다. 단계(1416)는, 단계(1416)의 2D 다항식의 차수가 고려 중인 색에 의존할 수 있다는 점을 제외하면 단계(1214)와 유사하다. 예를 들어, 단계(1416)는, 단계(1214)에서 제1 색에 적용된 것보다 차수가 낮은 2D 다항식을 제2 및 제3 색에 대해 적용하여, 제1 색보다 적은 제2 및 제3 색 각각에 관련된 픽셀 값(870)을 설명할 수 있다. 유사하게, 단계(1426)는, 단계(1426)의 2D 다항식의 차수가 고려 중인 색에 의존할 수 있다는 점을 제외하면 단계(1224)와 유사하다. 예를 들어, 단계(1426)는, 단계(1224)에서 제1 색에 적용된 것보다 낮은 차수의 제2 및 제3 색에 2D 다항식을 적용할 수 있다.
이제 도 5, 12 및 14를 함께 참조하면, 방법(500)은 방법(1200)을 사용하여 단계(530)를 수행하고 방법(1400)을 사용하여 단계(540)를 수행할 수 있다. 이러한 실시형태에서, 방법(1400)은 방법(1200)을 사용하여 이미 이들 계산을 수행했기 때문에, 방법(1400)은 제1 색에 대해 단계(1410 및 1420)의 계산을 반복할 필요가 없다. 이 실시형태에서, 단계(1410 및 1420)는 고려 중인 색이 제1 색일 때 각각 단계(1418 및 1428)를 구현할 수 있다. 단계(1418)는 제1 색에 대해 단-노출-시간 값을 단계(1210)에서 결정된 단-노출-시간 제1 색 값으로 설정한다. 마찬가지로, 단계(1428)는 제1 색에 대한 장-노출-시간 값을 단계(1220)에서 결정된 장-노출-시간 제1 색 값으로 설정한다.
이제 도 11, 12 및 14를 함께 참조하면, 단계(1148 및 1158) 각각은 방법(1200 및 1400)에 따라 수행될 수 있다. 단계(1146 및 1156) 각각은 방법(1400)에 따라 수행될 수 있으며, 단계(1430)의 가중 평균이 단순 비가중 평균 또는 모션 파라미터를 가중으로서 사용하지 않는 가중 평균으로 대체된다는 한 가지 수정이 있다. 후자의 경우, 가중은 도 13a 및 13b에 도시된 핏 가중의 집합적 고려로부터 도출될 수 있다. 단계(1142 및 1152) 각각은 단계(1410)에 따라 수행될 수 있다. 또한, 결정(1144)은 결정(1144)의 디스패리티를 결정하기 위해 방법(1200)의 적어도 일부를 활용할 수 있다.
도 15는 싱글-샷으로 이중-노출-시간 싱글 샷 HDR 컬러 이미지 센서(120)에 의해 생성된 픽셀 값(170)으로부터 모션-보상된 HDR 컬러 이미지(180)를 생성하기위한 다른 모션-보상하는 HDR 이미지 생성기(1500)를 예시한다. HDR 이미지 생성기(1500)는 방법(1200)을 구현하는 방법(1100) 및 단계(1412 및 1422)를 포함하는 방법(1400)의 일 실시형태를 수행하도록 적응된 모션-보상하는 HDR 이미지 생성기(900)의 일 실시형태이다.
HDR 이미지 생성기(1500)에서, 마스터(940)는 포화도 평가기(950) 및 디스패리티 평가기(960)의 각각의 실시형태로서, 포화도 평가기(1550) 및 디스패리티 평가기(1560)를 구현한다. 포화도 평가기(1550)는 포화도-미만 기준(952)을 포함하고 결정(1140, 1150 및 1150')을 수행하도록 구성된다. 디스패리티 평가기(1560)는 하나 이상의 모델(1562), 및 방법(1200)의 적어도 일부에 따라 디스패리티를 결정하기 위해 결정(1144)에서 사용되도록 구성된 핏 가중(1564)을 포함한다. 핏 가중(1564)은 예를 들어 도 13a 및 13b의 핏 가중이다. 예를 들어, 각 모델(1562)은 2D 다항식이다. 디스패리티 평가기(1560)는 또한 디스패리티 임계 값(966)을 포함한다. HDR 이미지 생성기(1500)에서 구현된 마스터(940)는 결정(1149 및 1149')을 수행하기 위해 분산 평가기(968)를 더 포함할 수 있다.
HDR 이미지 생성기(1500)는 모션 분석기(1520) 및 모션-보상하는 HDR 디모자이싱 모듈(1530), 모션 분석기(820) 및 모션-보상하는 HDR 디모자이싱 모듈(830)의 각각의 실시형태를 포함한다. 모션 분석기(1520)는 하나 이상의 모델(1522), 및 핏 가중(1524)을 포함한다. 모션 분석기(1520)는 단계 1212, 1214, 1222 및 1224를 포함하는 방법(1200)의 일 실시형태를 수행하기 위해 모델(들)(1522) 및 핏 가중(1524)을 활용한다. 모션-보상하는 HDR 디모자이싱 모듈(1530)은 하나 이상의 모델(1532), 및 핏 가중(1534)을 포함한다. 모션-보상하는 HDR 디모자이싱 모듈(1530)은 단계(1414, 1416, 1424 및 1426)를 포함하는 방법(1400)의 일 실시형태를 수행하기 위해 모델(들)(1532) 및 핏 가중(1534)을 활용한다. 예를 들어 각 모델(1522 및 1532)은 2D 다항식이다. 핏 가중(1524 및 1534)은 예를 들어 도 13a 및 도 13b의 핏 가중이다. 모션 분석기(1520) 및 모션-보상하는 HDR 디모자이싱 모듈(1530)은 단계(1148 및 1158)를 수행하도록 구성된다.
HDR 이미지 생성기(1500)는 비-모션-보상하는 디모자이싱 모듈(832)의 일 실시형태인 비-모션-보상하는 디모자이싱 모듈(1540)을 포함한다. 비-모션-보상하는 디모자이싱 모듈(1540)은 하나 이상의 모델(1542), 및 핏 가중(1544)을 포함한다. 비-모션-보상하는 디모자이싱 모듈(1540)은 단계(1142, 1146, 1152 및 1156)를 수행하기 위해 모델(들)(1522) 및 핏 가중(1524)을 활용하도록 구성된다.
일 실시형태에서, 핏 가중(1524, 1534, 1544 및 1564) 중 적어도 일부는 동일하다. 이 실시형태에서, HDR 이미지 생성기(1500)는 동일한 핏 가중의 중복 사본을 포함할 필요가 없지만 대신 그러한 핏 가중의 단지 하나의 인스턴스를 포함할 수 있다는 것이 이해된다. 유사하게, 모델(1522, 1532, 1542, 1562) 중 적어도 일부는 동일할 수 있으며, 이 경우 HDR 이미지 생성기(1500)는 동일한 모델의 중복 사본을 포함할 필요가 없지만 대신 그러한 모델의 단지 하나의 인스턴스를 포함할 수 있다.
HDR 이미지 생성기(1500)는 프로세서 및 당해 프로세서에 의해 실행되었을 때 모션-보상된 HDR 출력 값(874) 및/또는 비-모션-보상된 출력 값(876)을 생성하도록 이미지 센서(120)로부터의 픽셀 값(170)을 처리하는, 비일시적 메모리에 인코딩된 기계 판독가능 명령어의 형태로 구현될 수 있다. 마스터(940), 샘플러(942), 데이터 선택기(810), 모션 분석기(1520), 모션-보상하는 HDR 디모자이싱 모듈(1530), 및 비-모션-보상하는 디모자이싱 모듈(1540)은 동일한 프로세서를 공유할 수 있다. 나아가, 마스터(940), 샘플러(942), 데이터 선택기(810), 모션 분석기(1520), 모션-보상하는 HDR 디모자이싱 모듈(1530) 및 비-모션-보상하는 디모자이싱 모듈(1540)과 연관된 기계 판독가능 명령어를 포함하는 비일시적 메모리는, 모션-보상된 HDR 출력 값(874) 및/또는 비-모션-보상된 출력 값(876)을 생성하기 위해 이미지 센서(120)로부터의 픽셀 값(170)을 처리하도록 제3자 프로세서와 협력하도록 구성된 스탠드-얼론 제품으로서 제공될 수 있다.
도 16은 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)로부터 모션-보상된 HDR 컬러 이미지(180)를 생성하기 위한 하나의 시스템(1600)을 예시한다. 시스템(1600)은 컴퓨터에 의해 구현될 수 있고 방법(500)을 수행하도록 구성된다. 시스템(1600)은 프로세서(1610), 비일시적 메모리(1620) 및 인터페이스(1690)를 포함한다. 프로세서(1610) 및 메모리(1620)(및, 특정 실시형태에서, 인터페이스(1690))는 협력하여 HDR 이미지 생성기(800)의 일 실시형태를 형성한다. 시스템(1600)은 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)를 더 포함할 수 있으며, 이 경우 시스템(1600)은 HDR 카메라(802)의 일 실시형태이다.
메모리(1620)는 기계 판독가능 명령어(1630)를 포함한다. 명령어(1630)는 메모리(1620)의 비휘발성 부분에 인코딩될 수 있다. 명령어(1630)는 데이터 선택 명령어(1632), 모션 명령어(1634), 및 모션-보상하는 HDR 디모자이싱 명령어(1636)를 포함한다. 일 실시형태에서, 메모리(1620)는 인터페이스(1690)를 통해 수신된 데이터 및/또는 프로세서(1610)에 의해 실행될 때 명령어(1630)에 의해 생성된 데이터를 저장하도록 구성된 동적 데이터 저장소(1680)를 더 포함할 수 있다. 다른 실시형태에서, 시스템(1600)은 메모리(1620)를 포함하지 않고 대신 예를 들어 제3자에 의해 제공되는 외부 메모리와 협력하도록 구성된다.
프로세서(1610)에 의해 실행될 때, 데이터 선택 명령어(1632)는 로컬 영역 픽셀 값(870)을 획득한다. 데이터 선택 명령어(1632)는 인터페이스(1690)를 통해 또는 동적 데이터 저장소(1680)로부터 로컬 영역 픽셀 값(870)을 획득하도록 구성될 수 있다. 동적 데이터 저장소(1680)는 이미지 센서(120)에 의해 기록된 프레임의 모든 픽셀 값(170)을 포함할 수 있으며, 따라서 데이터 선택 명령어(1632)는 픽셀 값(170)으로부터 로컬 영역 픽셀 값(870)을 선택하도록 구성될 수 있다. 데이터 선택 명령어(1632) 및 프로세서(1610)는 협력하여 데이터 선택기(810)의 일 실시형태를 형성한다.
프로세서(1610)에 의해 실행될 때, 모션 명령어(1634)는 모션 파라미터(872)를 결정하기 위해 제1 색과 연관된 로컬 영역 픽셀 값(870)의 서브세트를 처리한다. 모션 명령어(1634)는 동적 데이터 저장소(1680)에 모션 파라미터(872)를 저장하도록 구성될 수 있다. 모션 명령어(1634) 및 프로세서(1610)는 협력하여 모션 분석기(820)의 일 실시형태를 형성한다.
프로세서(1610)에 의해 실행될 때, 모션-보상하는 HDR 디모자이싱 명령어(1636)는 제1, 제2 및 제3 색 각각에 대해 (a) 색과 연관된 로컬 영역 픽셀 값(870)의 서브세트 및 (b) 모션 파라미터(872)로부터 모션-보상된 HDR 출력 값(874)을 결정한다. 모션-보상하는 HDR 디모자이싱 명령어(1636)는 (a) 동적 데이터 저장소(1680)로부터 로컬 영역 픽셀 값(870)의 서브세트 및 모션 파라미터(872)를 검색하고 (b) 모션-보상된 HDR 출력 값(874)을 동적 데이터 저장소(1680)에 저장하거나 또는 모션-보상된 HDR 출력 값(874)을 인터페이스(1690)를 통해 출력하도록 구성될 수 있다. 모션-보상 HDR 디모자이싱 명령어(1636)와 프로세서(1610)는 협력하여 모션-보상하는 HDR 디모자이싱 모듈(830)의 일 실시형태를 형성한다.
일 실시형태에서, 명령어(1630)는 평가 명령어(1640) 및 비-모션-보상하는 디모자이싱 명령어(1642)를 더 포함한다. 프로세서(1610)에 의해 실행될 때, 평가 명령어(1640)는 제1, 제2 및 제3 색 각각에 대해 모션 보상이 적절한지 여부를 결정한다. 평가 명령어(1640) 및 프로세서(1610)는 협력하여 평가기(812)의 일 실시형태를 형성한다. 프로세서(1610)에 의한 평가 명령어(1640)의 실행이 모션-보상이 적절하다는 결정으로 이어지는 경우, 프로세서(1610)는 위에서 논의된 바와 같이 모션-보상하는 HDR 디모자이싱 명령어(1636)를 실행한다. 다른 한편, 프로세서(1610)에 의한 평가 명령어(1640)의 실행이 모션-보상이 적절하지 않다는 결정으로 이어지는 경우, 프로세서(1610)는 대신 비-모션-보상하는 디모자이싱 명령어(1642)를 실행한다. 프로세서(1610)에 의해 실행될 때, 비-모션-보상하는 디모자이싱 명령어(1642)는 고려 중인 색과 연관된, 로컬 영역 픽셀 값(870)의 서브세트를 처리하여 이미지 픽셀의 해당 색에 대한 비-모션-보상된 출력 값(876)을 결정한다. 비-모션-보상하는 디모자이싱 명령어(1642)는 (a) 동적 데이터 저장소(1680)로부터 로컬 영역 픽셀 값(870)의 서브세트를 검색하고 (b) 비-모션-보상된 출력 값(876)을 동적 데이터 저장소(1680)에 저장하거나 또는 비-모션-보상된 출력 값(876)을 인터페이스(1690)를 통해 출력하도록 구성될 수 있다. 비-모션-보상하는 디모자이싱 명령어(1642) 및 프로세서(1610)가 협력하여 비-모션-보상하는 디모자이싱 모듈(832)의 일 실시형태를 형성한다.
본 명세서의 범위를 벗어나지 않으면서, 기계 판독가능 명령어(1630)는 (a) 기계 판독가능 명령어(1630)의 저장을 위한 비일시적 메모리 및 (b) 기계 판독가능 명령어(1630)의 실행을 위한 프로세서를 갖는 제3자 컴퓨터 상에서의 구현을 위해 구성된 스탠드-얼론 소프트웨어 제품으로 제공될 수 있다.
도 17은 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)로부터 모션-보상된 HDR 컬러 이미지(180)를 생성하기 위한 다른 시스템(1700)을 예시한다. 시스템(1700)은 컴퓨터에 의해 구현될 수 있으며, 방법(1200)을 구현하는 방법(1100) 및 단계(1412 및 1422)를 포함하는 방법(1400)의 일 실시형태를 수행하도록 구성된다. 시스템(1700)은 프로세서(1610), 비일시적 메모리(1720) 및 인터페이스(1690)를 포함한다. 프로세서(1610) 및 메모리(1720)(및, 특정 실시형태에서, 인터페이스(1690))는 협력하여 HDR 이미지 생성기(1500)의 일 실시형태를 형성한다. 시스템(1700)은 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(120)를 더 포함할 수 있으며, 이 경우 시스템(1700)은 방법(1200)을 구현하는 방법(1100) 및 단계(1412 및 1422)를 포함하는 방법(1400)의 일 실시형태를 수행하도록 구성된 HDR 카메라(802)의 일 실시형태이다. 또한, 시스템(1700)은 시스템(1600)의 일 실시형태이다.
메모리(1720)는 기계 판독가능 명령어(1730) 및 파라미터 저장소(1770)를 포함한다. 명령어(1730)는 메모리(1720)의 비휘발성 부분에 인코딩될 수 있다. 메모리(1720)는 메모리(1620)의 일 실시형태이다. 명령어(1730)는 샘플링 명령어(1732), 피팅 명령어(1750) 및 마스터 명령어(1740)를 더 포함하는 명령어(1630)의 일 실시형태이다. 마스터 명령어(1740)는 평가 명령어(1742)를 포함한다. 평가 명령어(1742)는 포화 평가 명령어(1744) 및 디스패리티 평가 명령어(1746)를 포함하는 평가 명령어(1640)의 일 실시형태이다. 평가 명령어(1742)는 분산 평가 명령어(1748)를 더 포함할 수 있다. 파라미터 저장소(1770)는 하나 이상의 모델(1762), 핏 가중(964), 포화도-미만 기준(952) 및 디스패리티 임계 값(966)을 포함한다. 파라미터 저장소(1770)는 영역 사이즈(1772) 및 스텝 사이즈(1774)를 더 포함할 수 있다.
프로세서(1610)에 의해 실행될 때, 샘플링 명령어(1732)는 프로세서(1610)가 데이터 선택 명령어(1632)를 실행할 때 사용될 로컬 영역 픽셀 값(870)의 선택을 지정한다. 샘플링 명령어(1732)는 파라미터 저장소(1770)로부터 영역 사이즈(1772)(예를 들어, 높이(1030) 및 너비(1032)) 및 스텝 사이즈(1774)(예를 들어, 중심 간 간격(1040))를 검색하거나, 또는 대안적으로, 인터페이스(1690)를 통해 영역 사이즈(1772) 및 스텝 사이즈(1774)를 수신하고, 이어서 영역 사이즈(1772) 및 스텝 사이즈(1774)를 파라미터 저장소(1770) 또는 동적 데이터 저장소(1780)에 저장한다. 샘플링 명령어(1732) 및 프로세서(1610)는 협력하여 샘플러(942)의 일 실시형태를 형성한다.
프로세서(1610)에 의해 실행될 때, 피팅 명령어(1750)는 (a) 파라미터 저장소(1770)로부터 모델(1762) 및 핏 가중(964)을 검색하고 (b) 이 모델(1762)을 핏 가중(964)을 사용하여 특정 로컬 영역 픽셀 값(870)에 피팅하고 단-노출-시간 픽셀 값(1782) 또는 장-노출-시간 픽셀 값(1784)을 결정한다. 피팅 명령어(1750)는 동적 데이터 저장소(1780)에 단-노출-시간 픽셀 값(1782) 및 장-노출-시간 픽셀 값(1784)을 저장하도록 구성될 수 있다.
시스템(1700)에서, 모션-보상하는 HDR 디모자이싱 명령어(1636) 및 비-모션-보상하는 디모자이싱 명령어(1642)는 피팅 명령어(1750)의 실행을 명령하도록 구성된다. 따라서, 시스템(1700)에서 구현되는 바와 같이, 모션-보상하는 HDR 디모자이싱 명령어(1636) 및 비-모션-보상하는 디모자이싱 명령어(1642)는, 각각, 모션-보상하는 HDR 디모자이싱 모듈(1530) 및 비-모션-보상하는 디모자이싱 모듈(1540)의 실시형태를 형성한다. 유사하게, 시스템(1700)에서, 모션 명령어(1634)는 피팅 명령어(1750)의 실행을 명령하도록 구성된다. 따라서, 시스템(1700)에서 구현되는 모션 명령어(1634)는 모션 분석기(1520)의 일 실시형태를 형성한다.
프로세서(1610)에 의해 실행될 때, 포화 평가 명령어(1744)는 로컬 영역 픽셀 값(870)이 파라미터 저장소(1770)로부터 검색된 포화도-미만 기준(952)을 충족하는지 평가한다. 포화도 평가 명령어(1744)는 피팅 명령어(1750)를 활용한다. 포화 평가 명령어(1744)는 동적 데이터 저장소(1780)로부터 로컬 영역 픽셀 값(870)을 검색하도록 구성될 수 있다. 포화도 평가 명령어(1744) 및 프로세서(1610)는 협력하여 포화도 평가기(1550)의 일 실시형태를 형성한다.
프로세서(1610)에 의해 실행될 때, 디스패리티 평가 명령어(1746)는 제1 색과 연관된 장-노출-시간 픽셀 값(870)과 단-노출-시간 픽셀 값(870) 사이의 디스패리티를 파라미터 저장소(1770)로부터 검색된 디스패리티 임계 값(966)과 비교한다. 디스패리티 평가 명령어(1746)는 피팅 명령어(1750)를 활용한다. 디스패리티 평가 명령어(1746)는 동적 데이터 저장소(1780)로부터 로컬 영역 픽셀 값(870)을 검색하도록 구성될 수 있다. 디스패리티 평가 명령어(1746) 및 프로세서(1610)는 협력하여 디스패리티 평가기(1560)의 일 실시형태를 형성한다.
프로세서(1610)에 의해 실행될 때, 분산 평가 명령어(1748)는 픽셀 값(870)의 분산을 평가한다. 분산 평가 명령어(1748)는 동적 데이터 저장소(1780)로부터 로컬 영역 픽셀 값(870)을 검색하도록 구성될 수 있다. 분산 평가 명령어(1748) 및 프로세서(1610)는 협력하여 분산 평가기(968)의 일 실시형태를 형성한다.
프로세서(1610)에 의해 실행되면, 마스터 명령어(1740)는 프로세서(1610)에 의한 (a) 평가 명령어(1742)의 실행을 명령하고, (b) 평가 명령어(1742)의 실행의 결과에 따라 모션-보상하는 HDR 디모자이싱 명령어(1636) 또는 비-모션-보상하는 디모자이싱 명령어(1642)의 실행을 명령한다. 마스터 명령어(1740) 및 프로세서(1610)는 HDR 이미지 생성기(1500)에서 구현되는 바와 같이 마스터(940)의 일 실시형태를 형성하기 위해 협력한다.
본 명세서의 범위를 벗어나지 않고, 기계 판독가능 명령어(1730)는 예를 들어 파라미터 저장소(1770)의 파라미터와 함께 (a) 기계 판독가능 명령어(1730) 및 선택적으로 파라미터 저장소(1770)의 파라미터를 저장하기 위한 비일시적 메모리, (b) 기계 판독가능 명령어(1730)의 실행을 위한 프로세서를 갖는 제3자 컴퓨터 상에서의 구현을 위해 구성된 스탠드-얼론 소프트웨어 제품으로서 제공될 수 있다.
도 18은 HDR 이미지를 생성하기 위해 단-노출-시간 컬러 이미지와 장-노출-시간 컬러 이미지의 상대 결합 가중을 정의하는 일 예시적인 블렌딩 함수 f의 맵(1800)이다. HDR 이미지의 각 픽셀의 픽셀 값
Figure 112020132507509-pct00113
는 다음과 같이 표현될 수 있다.
Figure 112020132507509-pct00114
여기서 인덱스
Figure 112020132507509-pct00115
는 1, 2, 3 중 하나의 값을 취하여 각각 제1, 제2 또는 제3 색을 나타내며, 여기서
Figure 112020132507509-pct00116
및
Figure 112020132507509-pct00117
은 각각 고려 하의 색 및 HDR 이미지 픽셀에 대한 단-노출-시간 및 장-노출-시간 값이고, 여기서
Figure 112020132507509-pct00118
은 장-노출-시간 대 단-노출-시간의 비이다. 식 14는 각 색을 개별적으로 취급하므로 결과 HDR 이미지는 컬러 모자이크의 형태이다. 이 컬러 모자이크는 HDR 컬러 이미지를 생성하기 위해 디모자이싱될 수 있으며, 각 픽셀은 풀 컬러 정보를 가지고 있다. 식 14의 블렌딩 함수 f는 적어도 하나의 색에 대한
Figure 112020132507509-pct00119
및
Figure 112020132507509-pct00120
의 함수이다. 예를 들어, 블렌딩 함수 f는
Figure 112020132507509-pct00121
및
Figure 112020132507509-pct00122
을 기반으로 결정된 다음 공간적으로 같은 위치에 있는 픽셀에 대해
Figure 112020132507509-pct00123
,
Figure 112020132507509-pct00124
,
Figure 112020132507509-pct00125
및
Figure 112020132507509-pct00126
에 적용될 수 있다. 대안으로서, 블렌딩 함수 f는 각 색에 대해 별도로 결정된다. 블렌딩 함수 f는 도 5 및 식 7-13을 참조하여 위에서 논의 된 모션 파라미터
Figure 112020132507509-pct00127
과 동일하거나 유사할 수 있다.
Figure 112020132507509-pct00128
및
Figure 112020132507509-pct00129
은 각각
Figure 112020132507509-pct00130
및
Figure 112020132507509-pct00131
일 수 있다.
맵(1800)은 스케일(1802)에 따라
Figure 112020132507509-pct00132
(수직 축) 및
Figure 112020132507509-pct00133
(수평 축)의 함수인 블렌딩 함수 f의 값을 플로팅한다.
Figure 112020132507509-pct00134
이
Figure 112020132507509-pct00135
와 유사한 영역(1810)을 벗어나면, 블렌딩 함수 f의 값은 1에 근접한다. 블렌딩 함수 f는
Figure 112020132507509-pct00136
이
Figure 112020132507509-pct00137
와 유사한 영역(1810)(맵(1800)에서 어두운 벨트로 보임)에서 제로로 떨어진다(dip).
도 18에 플로팅된 예시적인 블렌딩 함수 f는 식 13에 따른 모션 파라미터
Figure 112020132507509-pct00138
와 동일한 형태이다. 그러므로 이 예시적인 블렌딩 함수 f는 초월 방정식(trancedental equation)에 의해 정의된다.
Figure 112020132507509-pct00139
그러나, 본 명세서의 범위를 벗어나지 않고, 블렌딩 함수 f는 일반적으로 1에 가깝지만
Figure 112020132507509-pct00140
이
Figure 112020132507509-pct00141
와 유사할 때 제로로 떨어지는 다른 초월 함수일 수 있다. 도 18에 나타낸 예에서, 노출 시간 비율
Figure 112020132507509-pct00142
은 8과 같으므로, 블렌딩 함수 f는
Figure 112020132507509-pct00143
주변 영역에서 제로로 떨어진다. 노출 시간 비율
Figure 112020132507509-pct00144
은 본 명세서의 범위를 벗어나지 않고 8과 달라도 된다.
도 19는, 단-노출-시간 값
Figure 112020132507509-pct00145
의 단일 값, 즉
Figure 112020132507509-pct00146
=60에 대한 장-노출-시간 픽셀 값
Figure 112020132507509-pct00147
에 대해 곡선(1910)으로서 플로팅된, 도 18의 블렌딩 함수 f의 플롯(1900)이다. 곡선(1910)은 점선(1890)(
Figure 112020132507509-pct00148
에 의해 정의됨)을 따라 취해진 맵(1800)의 라인 프로파일에 해당한다. 곡선(1910은)
Figure 112020132507509-pct00149
에서 정점을 이루는 딥(1912)에서를 제외하고는 일반적으로 1에 가깝다.
Figure 112020132507509-pct00150
주변 영역에서 딥(1912)은 식 15의 max 함수에 의해 제로로 고정된다(clamped).
예를 들어 뉴턴(Newton)의 반복 방법을 사용하여 HDR 이미지의 각 출력 픽셀 값과 각각 연관된 픽셀 값
Figure 112020132507509-pct00151
및
Figure 112020132507509-pct00152
의 각 세트에 대한 블렌딩 함수 f를 결정하기 위해 수치적으로 식 14를 풀 수 있다. 그러나 요구되는 시간 및/또는 연산 능력은, 특히 비디오 스트림의 각 프레임에 대해 모바일 디바이스(예를 들어, 휴대폰) 상에서 연산이 수행될 경우, 이러한 접근 방식을 덜 매력적으로 만든다. 실시간으로 식 14를 푸는 대안으로서, 맵(1800)은 2차원 룩업 테이블로서 미리 계산되고 인코딩될 수 있다.
도 20은 초월적 블렌딩 함수의 값을 결정하기 위해 1차원(1D) 룩업 테이블을 사용하는 하나의 방법(2000)을 예시한다. 방법(2000)은, 단-노출-시간 값
Figure 112020132507509-pct00153
및 장-노출-시간 픽셀 값
Figure 112020132507509-pct00154
의 값의 임의의 쌍에 대해, 도 18 및 도 19를 참조하여 위에서 논의된, 블렌딩 함수 f의 값을 결정하는데 사용될 수 있다. 방법(2000)은 방법(500)의 단계(530)에서 구현될 수 있다. 방법(2000)은
Figure 112020132507509-pct00155
의 단일 값
Figure 112020132507509-pct00156
에 대해
Figure 112020132507509-pct00157
을 인코딩하는 1차원 룩업 테이블을 활용한다.
도 19의 곡선(1910)은 방법(2000)에 의해 사용되는 1D 룩업 테이블에 인코딩된 값의 일례이다. 보다 일반적으로, 1D 룩업 테이블은 피크를 가지는 함수를 인코딩한다. 아래에서, 피크는 네커티브 피크, 즉 딥인 것으로 간주되지만 피크는 대신 포지티브 피크일 수 있다.
1D 룩업 테이블에서 조회하기 전에
Figure 112020132507509-pct00158
의 값의 조작 및
Figure 112020132507509-pct00159
의 실제 값이
Figure 112020132507509-pct00160
과 어떻게 다른지에 따라, 방법(2000)은
Figure 112020132507509-pct00161
에 대해 유효한 1D 룩업 테이블을 사용하여
Figure 112020132507509-pct00162
과 다른
Figure 112020132507509-pct00163
의 값에 대한 블렌딩 함수의 값을 판독한다. 방법(2000)은 조회(lookup) 단계(2030)를 수행하기 전에
Figure 112020132507509-pct00164
의 값을 조작하기 위한 시프팅 단계(2010) 및 스케일링 단계(2020)를 포함한다. 단계(2010)는
Figure 112020132507509-pct00165
의 값을 시프팅하고 시프팅된 값
Figure 112020132507509-pct00166
을 결정한다.
특정 구현 시나리오에서, 방법(2000)은 블렌딩 함수 f의 값을 결정하기 위해 2D 룩업 테이블을 사용하는 방법보다 현저히 빠를 수 있다. 카메라가 장착된 스마트폰과 같이 메모리 자원이 제한된 모바일 디바이스에서, 방법(2000)에 의해 사용되는 1D 룩업 테이블은 고속 로컬 메모리 캐시에 저장될 수 있으므로 1D 룩업 테이블로부터의 판독은 신속하다. 방법(2000)의 선행하는 작업, 단계(2010 및 2020)는 연산상 비용이 적게 들고 따라서 상대적으로 빠른 승산 및 가산/감산 연산을 사용하여 수행될 수 있다. 비교를 위해, 2D 룩업 테이블은, 전형적인 모바일 카메라 디바이스의 고속 로컬 메모리 캐시의 용량을 초과하는, 수 메가 바이트의 저장 공간을 필요로 할 것이다. 따라서 이러한 디바이스에서, 2D 룩업 테이블은 느린 메모리에 저장되어야 하며, 판독 프로세스는 고속 로컬 메모리 캐시에 저장된 1D 룩업 테이블보다 현저히 느릴 것이다.
도 21은 방법(2000)의 단계(2010)에서 픽셀 값 시프팅의 일례를 보여주는 플롯(2100)이다. 도 21은 곡선(2120 및 2130)과 함께 도 19의 곡선(1910)을 플롯한다. 곡선(1910)은
Figure 112020132507509-pct00167
=60에 대해
Figure 112020132507509-pct00168
을 지정한다. 곡선(2120)은
Figure 112020132507509-pct00169
=20에 대해
Figure 112020132507509-pct00170
을 지정한다. 곡선(2120)은 점선(1892)을 따라 취한 맵(1800)의 라인 프로파일에 해당한다. 곡선(2120)은
Figure 112020132507509-pct00171
Figure 112020132507509-pct00172
8×20=160인 딥(2122)을 가지고 있다. 곡선(2130)은
Figure 112020132507509-pct00173
=100에 대해
Figure 112020132507509-pct00174
을 지정한다. 곡선(2130)은 점선(1894)을 따라 취한 맵(1800)의 라인 프로파일에 해당한다. 곡선(2130)은
Figure 112020132507509-pct00175
Figure 112020132507509-pct00176
8×100=800인 딥(2132)을 가지고 있다.
이제 예를 들어 도 20과 도 21을 조합하여 참조하면, 실제 값
Figure 112020132507509-pct00177
=20일 때, 단계(2010)는 시프트된 값
Figure 112020132507509-pct00178
=
Figure 112020132507509-pct00179
-
Figure 112020132507509-pct00180
=
Figure 112020132507509-pct00181
-8(20-60)=
Figure 112020132507509-pct00182
+320을 계산한다. 예를 들어,
Figure 112020132507509-pct00183
의 실제 값이 160이면 곡선(2120)은 블렌딩 함수 f의 값이 제로이어야 함을 나타낸다. 그러나 1D 룩업 테이블은 곡선(2120)이 아닌 곡선(1910)의 데이터를 포함하고 있다. 단계(2010)는
Figure 112020132507509-pct00184
(즉, 160)의 실제 값을
Figure 112020132507509-pct00185
=160+320=480으로 시프팅하여 이 문제를 부분적으로 수정하며, 이는 블렌딩 함수 f가 실제로 제로인 곡선(1910)의 딥(1912)과 일치한다. 화살표(2124)로 표시된 이 시프팅은 딥(2122)과 딥(1912) 사이의 오프셋을 보상한다. 하나의 문제, 즉 딥(2122)이 딥(1912)보다 좁다는 문제가 남아있다. (딥(2122, 1912, 2132)의 폭으로 표시된 바와 같이, 딥의 폭은
Figure 112020132507509-pct00186
의 값에 따라 증가함) 따라서, 정확하게 블렌딩 함수 f의 값을 결정하기 위해, 딥(2122)의 기울기에 있는
Figure 112020132507509-pct00187
의 실제 값에 대해 추가 보정이 필요하다.
단계(2020)는
Figure 112020132507509-pct00188
과
Figure 112020132507509-pct00189
의 실제 값 사이의 비율에 따라
Figure 112020132507509-pct00190
을 추가로 스케일링한다. 이에 따라 단계(2020)는, 적어도 대략적으로,
Figure 112020132507509-pct00191
의 값에 따라 증가하는 딥 폭의 문제를 수정한다. 단계(2020)는 스케일링된 값
Figure 112020132507509-pct00192
=
Figure 112020132507509-pct00193
+
Figure 112020132507509-pct00194
Figure 112020132507509-pct00195
을 계산하며, 여기서
Figure 112020132507509-pct00196
은
Figure 112020132507509-pct00197
의 딥의 중심 위치이다.
Figure 112020132507509-pct00198
=60(곡선(1910))의 예에서, 중심 위치
Figure 112020132507509-pct00199
=480이다.
Figure 112020132507509-pct00200
=60 및
Figure 112020132507509-pct00201
=20의 예에서, 단계(2020)에서 수행된 스케일링은 팩터
Figure 112020132507509-pct00202
=
Figure 112020132507509-pct00203
=1.73에 의한 딥 폭의 스케일링에 대응한다. 시뮬레이션은 단계(2020)에서 수행된 스케일링이 훌륭한 근사치이며
Figure 112020132507509-pct00204
에 대한 딥 폭 의존성을 적어도 거의 완벽하게 수정하는 것을 보여주었다.
특정 실시 형태에서, 단계(2020)는 1D 스케일링-팩터 룩업 테이블로부터 스케일링 팩터
Figure 112020132507509-pct00205
를 판독하는 단계(2022)를 포함하며, 여기서 1D 스케일링-팩터 룩업 테이블의 각 항목은
Figure 112020132507509-pct00206
의 각 값에 대한 스케일링 팩터
Figure 112020132507509-pct00207
를 열거한다. 1D 스케일링-팩터 룩업 테이블에서 스케일링 팩터
Figure 112020132507509-pct00208
를 판독하는 것이 스케일링 팩터를 계산하는 것보다 빠를 수 있다. 카메라가 장착된 스마트폰과 같이 메모리 리소스가 제한된 모바일 디바이스에서, 단계(2022)에서 사용되는 1D 룩업 테이블은 고속 로컬 메모리 캐시에 저장될 수 있으며 따라서 단계(2022)는 고속 로컬 메모리 캐시에서 단계(2030)의 1D 룩업 테이블을 인코딩하는 방법(2000)의 구현을 참조하여 위에서 논의된 바와 같이 동일한 빠른 판독의 이점을 얻을 수 있다. 본 명세서의 범위를 벗어나지 않고 스케일링 팩터는
Figure 112020132507509-pct00209
보다
Figure 112020132507509-pct00210
의 더 복잡한 함수일 수 있고, 이 경우에 1D 룩업 테이블에서 스케일링 함수의 인코딩은 연산 효율성 측면에서 훨씬 더 유리할 수 있다.
단계(2010 및 2020)에서
Figure 112020132507509-pct00211
을 시프팅 및 스케일링한 후, 단계(2030)는 1D 룩업 테이블의 인덱스
Figure 112020132507509-pct00212
에서 블렌딩 함수 f의 값을 판독한다. 예컨대,
Figure 112020132507509-pct00213
=20 및
Figure 112020132507509-pct00214
=180(도 21에서 곡선(2120)의 오른쪽 기울기 상의 위치(2126)에 대응) 및
Figure 112020132507509-pct00215
=60이면, 단계(2030)는 인덱스
Figure 112020132507509-pct00216
=480+
Figure 112020132507509-pct00217
Figure 112020132507509-pct00218
Figure 112020132507509-pct00219
515에서 1D 룩업 테이블의 항목을 판독한다. 이 인덱스 위치에서, 단계(2030)는 도 21의 위치(2128)에 표시된 곡선(1910)의 값을 판독하고, 이는 곡선(2120) 상의 위치(2126)가 보여주는 값이 올바른 값인 것과 일치한다.
본 명세서의 범위를 벗어나지 않고, 방법(2000)은
Figure 112020132507509-pct00220
및
Figure 112020132507509-pct00221
의 역할을 전환하여 수행될 수 있으며 대신
Figure 112020132507509-pct00222
의 단일 값에 대한
Figure 112020132507509-pct00223
를 열거하는 1D 룩업 테이블을 활용할 수 있다.
방법(2000)은 방법(500)의 단계(530)에서 구현되고 모션 파라미터
Figure 112020132507509-pct00224
(예를 들어, 모션 파라미터(872))를 결정할 수 있다. 방법(200)은 예를 들어, 모션 명령어(1634)의 일부로서 인코딩되거나 동적 데이터 저장소(1680)에 저장되는 1D 룩업 테이블과 함께 시스템(1600)의 모션 명령어(1634)에 인코딩될 수 있다.
도 22는 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성하기 위한 하나의 HDR 카메라(2202)를 나타낸다. HDR 카메라(2202)는 이미지 캡처 디바이스(140)에서 구현될 수 있다. HDR 카메라(2202)는 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(2230) 및 삼중-노출-시간 HDR 이미지 생성기(2200)를 포함한다. 이미지 센서(2230)는 단-노출-시간
Figure 112020132507509-pct00225
에서 그의 감광성 픽셀 중 일부를 노출하고 중간 노출 시간
Figure 112020132507509-pct00226
에서 그의 감광성 픽셀 중 다른 일부를 노출하고, 그리고 장-노출-시간
Figure 112020132507509-pct00227
에서 그의 감광성 픽셀 중 또 다른 일부를 노출하도록 구성되며, 여기서
Figure 112020132507509-pct00228
<
Figure 112020132507509-pct00229
<
Figure 112020132507509-pct00230
이다. 따라서, 이미지 센서(2230)에 의해 캡쳐된 각각의 이미지 프레임은 단-노출-시간 이미지 데이터, 중간-노출-시간 이미지 데이터, 및 장-노출-시간 이미지 데이터를 포함한다. 삼중-노출-시간 HDR 이미지 생성기(2200)는 단-노출-시간 이미지 데이터, 중간-노출-시간 이미지 데이터, 및 장-노출-시간 이미지 데이터를 결합하여 삼중-노출-시간 HDR 컬러 이미지(2290)를 형성한다. 삼중-노출-시간 HDR 이미지 생성기(2200)는 2단계의 프로세스로 이 이미지 데이터 결합을 수행한다. 먼저, 이중-노출-시간 HDR 이미지 생성기(2210)는, (a) 단-노출-시간 픽셀로부터의 단-노출-시간 픽셀 값과 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값의 결합으로부터 이중-노출-시간 HDR 이미지(2280SM), 및 (b) 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값과 장-노출-시간 픽셀로부터의 장-노출-시간 픽셀 값의 결합으로부터 이중-노출-시간 HDR 이미지(2280ML)를 생성한다. 다음으로, 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)는 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)로부터 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성한다.
HDR 카메라(110)와 비교하여, HDR 카메라(2202)는 단지 2개의 상이한 노출 시간과 반대로 3개의 상이한 노출 시간을 사용함으로써 다이나믹 레인지의 추가 확장을 허용한다. 대안적으로, HDR 카메라(2202)는 이미지 센서(120)보다 작은 비트 심도를 특징으로 하는 이미지 센서(2230)의 실시형태를 사용하면서 HDR 카메라(110)와 유사한 다이나믹 레인지를 달성하도록 구성될 수 있다.
단-노출-시간, 중간 노출 시간, 및 장-노출-시간의 지속 시간이 상이하기 때문에, 단-노출-시간 이미지 데이터, 중간-노출-시간 이미지 데이터, 및 장-노출-시간 이미지 데이터는, 장면에 모션이 적용될 때 상이한 장면 조성(composition)을 나타낼 수 있다. 삼중-노출-시간 HDR 이미지 생성기(2200)는 모션-아티팩트를 제거하거나 적어도 감소시키기 위해 장면의 모션을 보상하도록 구성될 수 있다. 이미지 센서(2230)의 비트 심도는 이미지 센서(120)의 비트 심도와 동일하거나, 작거나, 더 클 수 있다.
도 23은 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(2230)를 보다 상세히 나타낸다. 이미지 센서(2230)는 픽셀 어레이(2310)를 포함한다. 픽셀 어레이(2310)는 동일 픽셀 그룹(2320)의 어레이를 포함한다. 각 픽셀 그룹(2320)은 단-노출-시간 픽셀(2322S), 중간-노출-시간 픽셀(2322M), 및 장-노출-시간 픽셀(2322L)을 포함한다. 단-노출-시간 픽셀(2322S)은, 각각, 제1, 제2 및 제3 색의 광에 감응하는 픽셀(2332S, 2334S 및 2336S)을 포함한다. 제1, 제2 및 제3 색은, 각각, 녹색, 적색 및 청색일 수 있다. 중간-노출-시간 픽셀(2322M)은, 각각, 제1, 제2 및 제3 색의 광에 감응하는 픽셀(2332M, 2334M 및 2336M)을 포함한다. 장-노출-시간 픽셀(2322L)은, 각각, 제1, 제2 및 제3 색의 광에 감응하는 픽셀(2332L, 2334L 및 2336L)을 포함한다.
각각의 픽셀 그룹(2320)은, 본 명세서의 범위를 벗어나지 않고, 센서 픽셀(2332S, 2334S, 2336S, 2332M, 2334M, 2336M, 2332L, 2334L 및 2336L)들 중 하나 이상의 인스턴스를 하나보다 많이 포함할 수 있다. 예를 들어, 각 픽셀 그룹(2320)은 제1 색에 감응하는 복수의 픽셀(232L), 복수의 픽셀(2332M) 및 복수의 픽셀(2332S)을 포함할 수 있다. 일 구현에서, 제1 색은 녹색이다.
다시 도 22를 참조하면, 삼중-노출-시간 HDR 이미지 생성기(2200)는 각 픽셀 그룹(2320)의 센서 픽셀(2332S, 2334S, 2336S, 2332M, 2334M, 2336M, 2332L, 2334L 및 2336L)에 의해 생성된 픽셀 값(2270)을 처리하여 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성한다.
삼중-노출-시간 HDR 이미지 생성기(2200)는, 프로세서에 의해 실행될 때, 이미지 센서(2230)로부터의 픽셀 값(2270)을 처리하여 삼중-노출-시간 HDR 컬러 이미지(2200) 또는 그 일부를 생성하는, 비일시적 메모리에 인코딩된 프로세서 및 기계 판독 가능 명령어의 형태로 구현될 수 있다. 삼중-노출-시간 HDR 이미지 생성기(2200)의 특정 실시형태는, 비일시적 메모리에 인코딩된 기계 판독 가능 명령어로서 제공되며, 기계 판독 가능 명령어는 제3자에 의해 제공되는 프로세서와 협력하여 이미지 센서(2230)로부터의 픽셀 값(2270)을 처리하여 삼중-노출-시간 HDR 컬러 이미지(2290) 또는 그 일부를 생성하도록 구성된다.
본 명세서의 범위를 벗어나지 않고, 삼중-노출-시간 HDR 이미지 생성기(2200)는 제3자에 의해 제공되는 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(2230)로부터 수신된 픽셀 값(2270)으로부터 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성하도록 구성된 스탠드-얼론 제품으로서 제공될 수 있다.
도 24는 복수의 단-노출-시간 픽셀, 복수의 중간-노출-시간 픽셀 및 복수의 장-노출-시간 픽셀을 갖는 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 HDR 컬러 이미지를 생성하기 위한 하나의 방법(2400)을 나타낸다. 방법(2400)은 예를 들어 삼중-노출-시간 HDR 이미지 생성기(2200)에 의해 수행된다. 방법(2400)은 단계(2410, 2420 및 2430)를 포함한다.
단계(2410)는 (a) 단-노출-시간 픽셀로부터의 단-노출-시간 픽셀 값과 (b) 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값의 결합으로부터 제1 이중-노출-시간 HDR 이미지를 생성한다. 단계(2410)의 일례에서, 이중-노출-시간 이미지 HDR 생성기(2210)는 (a) 단-노출-시간 픽셀(2322S)로부터의 픽셀 값(2270) 및 (b) 중간-노출-시간 픽셀(2322M)로부터의 픽셀 값(2270)의 결합으로부터 이중-노출-시간 HDR 이미지(2280SM)를 생성한다.
단계(2420)는 (a) 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값과 (b) 장-노출-시간 픽셀로부터의 장-노출-시간 픽셀 값의 결합으로부터 제2 이중-노출-시간 HDR 이미지를 생성한다. 단계(2420)의 일례에서, 이중-노출-시간 HDR 이미지 생성기(2210)는 (a) 중간-노출-시간 픽셀(2322M)로부터의 픽셀 값(2270) 및 (b) 장-노출-시간 픽셀(2322L)로부터의 픽셀 값(2270)의 결합으로부터 이중-노출-시간 HDR 이미지(2280ML)를 생성한다.
단계(2430)는 단계(2410 및 2420)에서 각각 생성된 제1 이중-노출-시간 HDR 이미지 및 제2 이중-노출-시간 HDR 이미지로부터 삼중-노출-시간 HDR 컬러 이미지를 생성한다. 단계(2430)의 일례에서, 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)는 이중-노출-시간 HDR 이미지 생성기(2210)로부터 수신된 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)로부터 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성한다.
일 실시형태에서, 단계(2410 및 2420)에서 형성된 이중-노출-시간 이미지는 풀 컬러 이미지이다. 다른 실시형태에서, 단계(2410 및 2420)에서 형성된 이중-노출-시간 이미지는 컬러 모자이크 이미지이다. 여기서, "풀 컬러 이미지"는 각 픽셀이 풀 컬러 정보를 갖는 이미지를 의미하고, "컬러-모자이크 이미지"는 서로 다른 유형의 컬러-특정 픽셀(예를 들어, 적색, 녹색 및 청색)의 모자이크에 의해 형성된 이미지를 의미한다.
풀 컬러 실시형태에서, 단계(2410 및 2420)는 각각 단계(2412 및 2422)를 구현하고, 단계(2430)는 단계(2432)를 구현한다. 단계(2412 및 2422)는 각각 제1 및 제2 풀 컬러 이미지로서 제1 및 제2 이중-노출-시간 HDR 이미지를 생성한다. 단계(2412 및 2422) 각각은 디모자이싱 단계를 포함한다. 단계(2412 및 2422)의 일례에서, 이중-노출-시간 HDR 이미지 생성기(2210)는 풀 컬러 이미지로서 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)를 생성한다. 이 예에서, 이중-노출-시간 HDR 이미지 생성기(2210)는 방법(500)과 유사한 방법, 즉, HDR 결합에 디모자이싱이 통합된 방법에 따라 이중-노출-시간 HDR 이미지(2280SM 및 2280ML) 각각을 생성할 수 있다. 대안적으로, 이중-노출-시간 HDR 이미지 생성기(2210)는 먼저 각각의 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)를 컬러 모자이크 HDR 이미지로 생성한 다음, 후속하여 컬러 모자이크 HDR 이미지를 디모자이싱하여 HDR 풀 컬러 이미지를 생성할 수 있다. 단계(2432)는 제1 및 제2 컬러 이미지로부터 삼중-노출-시간 HDR 컬러 이미지를 생성한다. 단계(2432)의 일례에서, 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)는 이중-노출-시간 HDR 이미지 생성기(2210)로부터 수신된 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)의 풀 컬러 실시형태로부터 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성한다.
컬러-모자이크 실시형태에서, 단계(2410 및 2420)는 각각 단계(2414 및 2424)를 구현하고, 단계(2430)는 순차적인 단계(2434 및 2436)를 구현한다. 단계(2414 및 2424)는 각각 제1 및 제2 컬러-모자이크 이미지로서 제1 및 제2 이중-노출-시간 HDR 이미지를 생성한다. 단계(2414 및 2424)의 일례에서, 이중-노출-시간 HDR 이미지 생성기(2210)는 컬러-모자이크 이미지로서 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)를 생성한다. 예를 들어, 이중-노출-시간 HDR 이미지 생성기(2210)는 (a) 픽셀(2332S 및 2332M)로부터의 픽셀 값(2270)을 결합하여 이중-노출-시간 HDR 이미지(2280SM)의 제1 색 픽셀 세트를 생성하고, (b) 픽셀(2332M 및 2332L)로부터의 픽셀 값(2270)을 결합하여 이중-노출-시간 HDR 이미지(2280ML)의 제1 색 픽셀 세트를 생성한다. 단계(2434)는, 단계(2414 및 2424)에서 생성된 제1 및 제2 컬러-모자이크 이미지로부터 컬러-모자이크 이미지인 중간 개재(intermediate) 삼중-노출-시간 HDR 이미지를 생성한다. 다음으로, 단계(2436)는 중간 개재 삼중-노출-시간 HDR 이미지를 디모자이싱하여 HDR 풀 컬러 이미지를 생성한다. 단계(2434 및 2436)의 일례에서, 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)는 (단계 2434에서) 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)의 컬러-모자이크 실시형태를 결합하여 컬러-모자이크 삼중-노출-시간 HDR 이미지를 형성하고, 이어서 (단계(2436)에서) 컬러-모자이크 삼중-노출-시간 HDR 이미지를 디모자이싱하여 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성한다.
도 25는 삼중-노출-시간 HDR 컬러 이미지 센서로부터 제1 이중-노출-시간 HDR 이미지를 생성하기 위한 하나의 방법(2500)을 나타낸다. 방법(2500)은 방법(2400)의 단계(2410)의 일 실시형태이며 이중-노출-시간 HDR 이미지 생성기(2210)에 의해 수행될 수 있다. 방법(2500)은 방법(2400)의 풀 컬러 실시형태 및 방법(2400)의 컬러-모자이크 실시형태 중 하나에서 구현될 수 있다.
방법(2500)은 제1 결합에 대한 단-노출-시간 픽셀 값 및 중간-노출-시간 픽셀 값의 상대적 기여도를 국부적으로 가중하는 단계(2520)를 포함한다. 단계(2520)는 (a) 단-노출-시간 픽셀 값과 중간-노출-시간 픽셀 값 사이의 디스패리티의 정도(예를 들어, 도 5를 참조하여 위에서 논의된
Figure 112020132507509-pct00231
,
Figure 112020132507509-pct00232
및
Figure 112020132507509-pct00233
중 어느 하나) 및 (b) 중간-노출-시간 픽셀 값의 포화도에 기초하여 적어도 부분적으로 상대적 기여도에 가중을 부여한다. 단계(2520)의 일례에서, 이중-노출-시간 HDR 이미지 생성기(2210)는, (a) 단-노출-시간 픽셀(2322S)과 중간-노출-시간 픽셀(2322M) 사이의 디스패리티의 정도 및 (b) 중간-노출-시간 픽셀(2322M)의 포화도에 기초하여 적어도 부분적으로, 이중-노출-시간 HDR 이미지(2280SM)에 대해, 단-노출-시간 픽셀(2322S)의 픽셀 값(2270)의 기여도 대 중간-노출-시간 픽셀(2322M)의 픽셀 값(2270)의 기여도에 국부적으로 가중을 부여한다.
단계(2520)는, 각각의 색에 대해, 대응하는 단-노출-시간 픽셀 값 및 대응하는 중간-노출-시간 픽셀 값의 선형 결합으로서 제1 이중-노출-시간 HDR 이미지의 각 픽셀의 픽셀 값을 계산하는 단계(2522)를 포함할 수 있다. 단계(2522)에서, 상대 결합 가중은 단-노출-시간 픽셀 값과 중간-노출-시간 픽셀 값에 의존하는 블렌딩 함수에 의해 정의된다. 방법(2400)의 컬러-모자이크 실시형태에 관한 단계(2522)의 일례에서, 이중-노출-시간 HDR 이미지 생성기(2210)는 식 14에 따라 이중-노출-시간 HDR 이미지(2280SM)의 각 픽셀의 픽셀 값을 계산한다. 방법(2400)의 풀-컬러 실시형태에 관한 단계(2522)의 다른 예에서, 이중-노출-시간 HDR 이미지 생성기(2210)는 방법(500)에 따라 이중-노출-시간 HDR 이미지(2280SM)의 각 픽셀의 픽셀 값을 계산한다.
단계(2520)는 단계(2524 및 2526)를 포함할 수 있다. 단계(2524)는 중간-노출-시간 픽셀 값을 포화도-미만 기준과 비교한다. 단계(2524)의 일례에서, 이중-노출-시간 HDR 이미지 생성기(2210)는 중간-노출-시간 픽셀(2322M)을 포화도-미만 기준(952)과 비교한다. 단계(2526)는, 단계(2524)에서 수행된 비교를 사용하여, 하나 이상의 중간-노출-시간 픽셀 값이 포화도-미만 기준을 충족하지 못하는 것을 특징으로 하는 로컬 영역에서 단계(2520)가 단-노출-시간 픽셀 값 단독으로부터 제1 이중-노출-시간 HDR 이미지를 생성하는지 확인한다. 단계(2526)의 일례에서, 이중-노출-시간 HDR 이미지 생성기(2210)는, 어느 로컬 영역에서 중간-노출-시간 픽셀(2322M)이 포화도-미만 기준(952)을 충족하고 어느 로컬 영역에서 중간-노출-시간 픽셀(2322M)이 포화도-미만 기준(952)을 충족하지 못하는지에 대한 정보를 사용한다. 단계(2526)는 제1 이중-노출-시간 HDR 이미지의 픽셀 값의 계산에 이 정보를 부과한다: 중간-노출-시간 픽셀(2322M)이 포화도-미만 기준(952)을 충족하지 못하는 영역의 경우, 단계(2526)는, 이중-노출-시간 HDR 이미지 생성기(2210)가 단-노출-시간 픽셀(2322S)의 픽셀 값(2270)으로부터 배타적으로(exclusively) 이중-노출-시간 HDR 이미지(2280SM)를 생성함을 보장한다.
방법(2500)은 단계(2520)에 선행하는 단계(2510)를 포함할 수 있다. 단계(2510)는 단계(2520)에서 HDR 결합 이전에 단-노출-시간 픽셀 값 및 중간-노출-시간 픽셀 값으로부터 노이즈를 제거한다. 단계(2510)는 중간-노출-시간 픽셀 값보다 단-노출-시간 픽셀 값에 대해 더 공격적인 노이즈 제거를 적용할 수 있는데, 이는 단계(2520)에서 이들 픽셀 값을 결합할 때 단-노출-시간 픽셀 값이 중간-노출-시간 픽셀 값에 비해 확대(scaled up)되기 때문이다. 따라서, 단-노출-시간 픽셀 값의 임의의 잔류 노이즈는 중간-노출-시간 픽셀 값의 임의의 잔류 노이즈보다 단계(2520)의 정확도에 더 큰 영향을 미칠 가능성이 있다. 단계(2520)의 일례에서, 이중-노출-시간 HDR 이미지 생성기(2210)는 단-노출-시간 픽셀(2322S) 및 중간-노출-시간 픽셀(2322M)의 픽셀 값(2270)으로부터 노이즈를 제거한다. 단계(2520)는 당업계에 알려진 하나 이상의 노이즈 제거 방법을 사용할 수 있다.
방법(2500)은 단계(2410) 대신에 방법(2400)의 단계(2420)의 일 실시형태를 형성하는 상응하는 방법을 갖는다. 이 상응하는 방법은, 제1 이중-노출-시간 HDR 이미지 대신에 제2 이중-노출-시간 HDR 이미지를 생성하도록, 단-노출-시간 픽셀 값 및 중간-노출-시간 픽셀 값 대신에, 각각, 중간-노출-시간 픽셀 값 및 장-노출-시간 픽셀 값을 처리하는 것을 제외하고는 방법(2500)과 유사하다. 특정 실시형태에서, 하나의 추가적인 차이가 적용된다: 상응하는 방법은 포화도-미만 기준을 충족하지 못하는 중간-노출-시간 픽셀 값을 특징으로 하는 로컬 영역에서 제2 이중-노출-시간 HDR 이미지의 픽셀 값의 계산을 건너뛸 수 있다.
도 26은 2개의 이중-노출-시간 HDR 이미지로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하기 위한 하나의 디스패리티 기반의 방법(2600)을 나타낸다. 방법(2600)은 방법(2400)의 단계(2430)의 일 실시형태이고 방법(2400)의 풀-컬러 및 컬러-모자이크 실시형태 중 하나에서 구현될 수 있다. 방법(2600)은 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)에 의해 수행될 수 있다.
방법(2600)은 제1 및 제2 이중-노출-시간 HDR 이미지의 삼중-노출-시간 HDR 컬러 이미지에 대한 상대적 기여도를 국부적으로 가중하는 단계(2610)를 포함한다. 단계(2610)는 (a) 단-노출-시간과 중간-노출-시간 픽셀 값 사이의 디스패리티의 정도(이하, "단-중간 디스패리티"라 함) 및/또는 (b) 중간-노출-시간과 장-노출-시간 픽셀 값 사이의 디스패리티의 정도(이하, "중간-장 디스패리티"라 함)에 적어도 부분적으로 기초하여 적어도 부분적으로 이들 상대 기여도를 가중한다. 예를 들어, 단-중간 디스패리티 및 중간-장 디스패리티가 모두 로컬 영역에 대해 중요한 경우, 이는 로컬 영역이 모션에 의해 영향을 받는 것을 나타낼 수 있으며, 단계(2610)는 제1 이중-노출-시간 HDR 이미지에 더 큰 가중을 할당할 수 있다. 로컬 영역에 대해 중간-장 디스패리티가 중요하고 단-중간 디스패리티를 초과하는 경우, 이것은 또한 모션의 표시일 수 있으며, 단계(2610)는 제1 이중-노출-시간 HDR 이미지에 더 큰 가중을 할당할 수 있다. 반대로, 단-중간 디스패리티가 중간-장 디스패리티를 크게 초과하는 경우, 이는 제1 이중-노출-시간 HDR 이미지에서의 과도한 노이즈의 결과일 수 있으며, 단계(2610)는 제2 이중-노출-시간 HDR 이미지에 더 큰 가중을 할당할 수 있다. 단계(2610)의 일례에서, 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)는 (a) 방법(2500)의 단계(2520)에서 결정된 단-노출-시간 픽셀(2322S)과 중간-노출-시간 픽셀(2322M) 사이의 디스패리티의 정도 및/또는 (b) 제2 이중-노출-시간 HDR 이미지의 생성에 관한 단계(2520)의 상응하는 방법에서 결정된 중간-노출-시간 픽셀(2322M)과 장-노출-시간 픽셀(2322L) 사이의 디스패리티의 정도에 적어도 부분적으로 기초하여 삼중-노출-시간 HDR 컬러 이미지(2290)에 대한 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)의 상대적 기여도를 국부적으로 가중한다.
단계(2610)는 단계(2612)를 포함할 수 있다. 단계(2612)는, 하나 이상의 장-노출-시간 픽셀 값이 포화도-미만 기준을 충족하지 못하는 것을 특징으로 하는 로컬 영역에서, 단계(2610)가 제1 이중-노출-시간 HDR 이미지로부터만 삼중-노출-시간 HDR 이미지를 생성하도록 부과한다. 단계(2612)의 일례에서, 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)는, 장-노출-시간 픽셀(2322L)이 포화도-미만 기준(예를 들어, 포화도-미만 기준(952))을 충족하지 못하는 것을 특징으로 하는 로컬 영역에서, 대응하는 픽셀 값이 이중-노출-시간 HDR 이미지(2280SM)만을 기반으로 하도록, 삼중-노출-시간 HDR 컬러 이미지를 생성한다.
도 27은 2개의 이중-노출-시간 HDR 이미지로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하기 위한 하나의 융합 기반(fusion-based) 방법(2700)을 나타낸다. 방법(2700)은 방법(2400)의 단계(2430)의 일 실시형태이다. 방법(2700)은 방법(2600)의 대안이며 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)에 의해 수행될 수 있다. 방법(2600)은, 방법(2600)에 대한 입력 이미지가 생성되는 데이터에 대한 지식에 적어도 부분적으로 기초하여 (방법(2400)의 단계(2410 및 2420)에서 생성된) 제1 및 제2 이중-노출-시간 이미지를 후향적으로 바라보고(look backwards) 결합하는 반면, 방법(2700)은 방법(2700)에 의해 생성되는 출력 이미지의 바람직한 품질의 최적화에 따라 제1 및 제2 이중-노출-시간 이미지를 전향적으로 바라보고(look forward) 결합한다.
방법(2700)은 삼중-노출-시간 HDR 컬러 이미지의 하나 이상의 품질 측정치(measures)의 로컬 최적화에 따라 2개의 이중-노출-시간 HDR 이미지를 융합하는 단계(2710)를 포함한다. 따라서, 단계(2710)는, 위치 감응적 방식으로, 삼중-노출-시간 HDR 컬러 이미지의 하나 이상의 품질 측정치를 최적화하도록, 위치-감응적(position-sensitive) 결합 가중을 제1 및 제2 이중-노출-시간 이미지에 적용한다. 단계(2710)의 일례에서, 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)는, 삼중-노출-시간 HDR 컬러 이미지(2290)의 하나 이상의 품질 측정치의 로컬 최적화에 따라 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)를 융합함으로써 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성한다.
일 실시형태에서, 단계(2710)는 배타적으로 로컬 최적화에 따라 제1 및 제2 이중-노출-시간 HDR 이미지의 삼중-노출-시간 HDR 컬러 이미지에 대한 상대적 기여도를 설정하는 단계(2712)를 구현한다. 방법(2600)의 접근 방식과는 달리, 단계(2712)는, (a) 단-노출-시간과 중간-노출-시간 픽셀 값 사이의 디스패리티의 정도 및 (b) 중간-노출-시간과 장-노출-시간 픽셀 값 사이의 디스패리티의 정도 중 하나를 고려하지 않고 이들 상대적 기여도를 설정한다. 이 실시형태의 일례에서, 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)는 픽셀 값(2270)으로부터 기원하는 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)에 공급되는 유일한 데이터이다.
단계(2710)는 삼중-노출-시간 HDR 컬러 이미지의 콘트라스트, 포화도(saturation) 및 양호한 노출 중 적어도 하나를 최적화하는 단계(2714)를 구현할 수 있다. 단계(2714)는, Mertens, T., Kautz, J. and Van Reeth, F., 2007, October, "Exposure fusion", in Computer Graphics and Applications, 2007, PG'07, 15th Pacific Conference, 382-390페이지, IEEE(본 경우에는, 톤 매핑이 없는 입력 이미지보다 다이나믹 레인지가 더 높은 출력 이미지에 대해 최적화가 적용되는 반면, "Mertens 외"의 논문은 입력 이미지와 동일한 다이나믹 레인지를 갖는 톤 매핑된 출력 이미지를 형성하기 위한 입력 이미지의 결합에 관한 것임)에서 논의된 것과 유사한 방식으로 이들 파라미터를 최적화할 수 있다.
특정 실시형태에서, 단계(2710)는 단계(2716 및 2718)를 포함한다. 단계(2716)는 제1 및 제2 이중-노출-시간 HDR 이미지 중 적어도 하나를 스케일링하여 제1 및 제2 이중-노출-시간 HDR 이미지를 공통 스케일로 배치한다. 단계(2716)의 일례에서, 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)는 이중-노출-시간 HDR 이미지(2280SM 및 2280ML) 중 적어도 하나를 스케일링하여 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)를 공통 스케일로 배치한다. 예를 들어, 이중-노출-시간 HDR 이미지(2280SM)는 초기에 중간 노출 시간을 반영하는 스케일로 있을 수 있고 이중-노출-시간 HDR 이미지(2280ML)는 초기에 장-노출-시간을 반영하는 스케일로 있을 수 있다. 단계(2718)는 제1 및 제2 이중-노출-시간 HDR 이미지 각각의 다이나믹 레인지를 포괄하는 다이나믹 레인지를 갖는 삼중-노출-시간 HDR 컬러 이미지를 생성한다. 단계(2718)의 일례에서, 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)는 이중-노출-시간 HDR 이미지(2280SM 및 2280ML) 각각의 다이나믹 레인지를 포괄하는 다이나믹 레인지를 갖는 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성한다. 예를 들어, 삼중-노출-시간 HDR 컬러 이미지 센서(2230)의 비트 심도가 10비트이고 식
Figure 112020132507509-pct00234
=8*
Figure 112020132507509-pct00235
및
Figure 112020132507509-pct00236
=8*
Figure 112020132507509-pct00237
에 따라 노출 시간이 관련되는 시나리오를 고려한다. 이 시나리오에서, 이중-노출-시간 HDR 이미지(2280SM 및 2280ML) 각각의 비트 심도가 13비트일 수 있으므로, (a) 이중-노출-시간 HDR 이미지(2280SM)는 단-노출-시간 픽셀(2322S) 및 중간-노출-시간 픽셀(2322M)의 결합된 다아나믹 레인지를 포괄하고, 그리고 (b) 이중-노출-시간 HDR 이미지(2280ML)는 중간-노출-시간 픽셀(2322M) 및 장-노출-시간 픽셀(2322L)의 결합된 다이나믹 레인지를 포괄한다. 또한, 이 시나리오에서, 삼중-노출-시간 HDR 컬러 이미지(2290)의 비트 심도는 16비트일 수 있으며, 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)의 결합된 다이나믹 레인지를 포괄하고, 따라서 또한 단-노출-시간 픽셀(2322S), 중간-노출-시간 픽셀(2322M) 및 장-노출-시간 픽셀(2322L)의 결합된 다이나믹 레인지를 포괄할 수 있다.
수정된 실시형태에서, 단계(2710)는 단계(2718)를 포함하지만 단계(2716)는 생략한다. 방법(2700)의 이 실시형태는 방법(2700)에 의해 수신될 때 제1 및 제2 이중-노출-시간 이미지가 이미 동일한 스케일로 있을 때 유용할 수 있다.
방법(2700)은 제1 및 제2 이중-노출-시간 이미지를 융합할 때 각각의 색을 개별적으로 최적화할 수 있다. 대안적으로, 방법(2700)은 상호 의존적인 방식으로 상이한 색(예를 들어, 적색, 녹색 및 청색)을 최적화하거나, 색들 중 하나(예를 들어, 녹색)만을 최적화할 수 있다.
도 28은 3개의 상이한 노출 시간에 감응하는 픽셀을 각각 포함하는 컬러-특정 쿼드러플릿으로 배열된 픽셀을 갖는 하나의 삼중-노출-시간 HDR 컬러 이미지 센서(2800)를 나타낸다. 이미지 센서(2800)는 이미지 센서(2230)의 일 실시형태이다. 이미지 센서(2800)는 동일한 4×4 픽셀 블록(2810)의 어레이를 포함한다. 예시의 명확성을 위해, 도 28은 4개의 4×4 픽셀 블록(2810)만을 도시한다. 이미지 센서(2800)는 수백, 수천 또는 수백만 개의 4×4 픽셀 블록(2810)을 포함할 수 있음이 이해된다. 각각의 4×4 픽셀 블록(2810)은 4개의 컬러-특정 쿼드러플릿, 즉 제1 색(예를 들어, 녹색)에 감응하는 2개의 2×2 픽셀 그룹(2812), 제2 색(예를 들어, 적색)에 감응하는 1개의 2×2 픽셀 그룹(2814), 및 제3 색(예를 들어, 청색)에 감응하는 1개의 2×2 픽셀 그룹(2816)을 포함한다. 2×2 픽셀 그룹(2812, 2814, 1816) 각각은 1개의 단-노출-시간 픽셀(2822S), 2개의 중간-노출-시간 픽셀(2822M) 및 1개의 장-노출-시간 픽셀(2822L)을 포함한다.
도 28에 도시된 특정 예에서, 이미지 센서(2800)는 특히 적색, 녹색 및 청색 색에 감응한다. 이 예에서, 각각의 2×2 픽셀 그룹(2812)은 녹색광에 감응하며 "GS"로 표시된(labeled) 1개의 단-노출-시간 픽셀(2822S), "GM"으로 표시된 2개의 중간-노출-시간 픽셀(2822M), 및 "GL"로 표시된 1개의 장-노출-시간 픽셀(2822L)을 포함한다. 유사하게, 각각의 2×2 픽셀 그룹(2814)은 적색광에 감응하며 "RS"로 표시된 1개의 단-노출-시간 픽셀(2822S), "RM"으로 표시된 2개의 중간-노출-시간 픽셀(2822M), 및 "RL"로 표시된 1개의 장-노출-시간 픽셀(2822L)을 포함한다; 각각의 2×2 픽셀 그룹(2816)은 청색광에 감응하고 "BS"로 표시된 1개의 단-노출-시간 픽셀(2822S), "BM"으로 표시된 2개의 중간-노출-시간 픽셀(2822M), 및 "BL"로 표시된 1개의 장-노출-시간 픽셀(2822L)을 포함한다.
도 29는 삼중-노출-시간 HDR 컬러 이미지 센서(2800)로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하기 위한 하나의 방법(2900)을 나타낸다. 방법(2900)은 방법(2400)의 컬러-모자이크 실시형태의 일례이다. 방법(2900)은 삼중-노출-시간 HDR 이미지 생성기(2200)에 의해 수행될 수 있다.
방법(2900)에 대한 입력은 복수의 4×4 픽셀 값 블록(2910)이다. 설명을 명확하게 하기 위해, 단일의 블록(2910)만이 도 29에 도시되어 있다. 각각의 4×4 픽셀 값 블록(2910)은 이미지 센서(2800)의 대응하는 4×4 픽셀 블록(2810)의 픽셀 값을 포함한다. 각각의 4×4 픽셀 값 블록(2910)은 이미지 센서(2800)의 2개의 대응하는 2×2 픽셀 그룹(2812)의 픽셀 값을 포함하는 2개의 2×2 픽셀 값 그룹(2912)을 포함한다. 따라서 각각의 2×2 픽셀 값 그룹(2912)은, 이미지 센서(2800)의 대응하는 픽셀들(GS, GM 및 GL)로부터 획득되는 하나의 픽셀 값(GS), 두 개의 픽셀 값(GM) 및 하나의 픽셀 값(GL)을 포함한다. 각각의 2×2 픽셀 값 그룹(2914)은, 이미지 센서(2800)의 대응하는 픽셀들(RS, RM 및 RL)로부터 획득되는 하나의 픽셀 값(RS), 두 개의 픽셀 값(RM) 및 하나의 픽셀 값(RL)을 포함한다. 각각의 2×2 픽셀 값 그룹(2916)은, 이미지 센서(2800)의 대응하는 픽셀들(BS, BM 및 BL)로부터 획득되는 하나의 픽셀 값(BS), 두 개의 픽셀 값(BM) 및 하나의 픽셀 값(BL)을 포함한다.
방법(2900)은 단계(2901, 2902, 2903, 2904, 2906 및 2908)를 포함한다. 단계(2901 및 2903)는 방법(2400)의 단계(2410)의 일 실시형태를 형성한다. 단계(2902 및 2904)는 방법(2400)의 단계(2420)의 일 실시형태를 형성한다. 단계(2906 및 2908)는, 각각, 방법(2400)의 단계(2434 및 2436)의 실시형태이다. 단계(2901, 2902, 2903 및 2904)는 이중-노출-시간 HDR 이미지 생성기(2210)에 의해 수행될 수 있다. 단계(2906 및 2908)는 이중으로부터 삼중으로의(dual-to-triple) HDR 이미지 생성기(2220)에 의해 수행될 수 있다.
단계(2901)는 각각의 4×4 픽셀 값 블록(2910)으로부터 단-노출-시간 픽셀 값 및 중간-노출-시간 픽셀을 추출한다. 각각의 픽셀 값 블록(2910)에 대해, 단계(2901)는 따라서 (a) 2개의 2×2 픽셀 그룹(2912SM) 각각에, 하나의 픽셀 값(GS) 및 2개의 픽셀 값(GM), (b) 2×2 픽셀 그룹(2914SM)에, 하나의 픽셀 값(RS) 및 2개의 픽셀 값(RM), 및 (c) 2×2 픽셀 그룹(2916SM)에, 하나의 픽셀 값(BS) 및 2개의 픽셀 값(BM)을 포함하는 픽셀 블록(2910SM)을 획득한다.
이어서 단계(2903)는 2×2 픽셀 그룹(2912SM, 2914SM 및 2916SM) 각각 내에서 HDR 결합을 수행한다. 단계(2903)는 방법(2500)에 따라 단-노출-시간 픽셀 값과 중간-노출-시간 픽셀을 결합할 수 있다. 단계(2903)의 출력은, 녹색 채널(G)과 관련된 두 개의 이중-노출-시간 HDR 픽셀 값(2922SM), 적색 채널(R)과 관련된 하나의 이중-노출-시간 HDR 픽셀 값(2924SM) 및 청색 채널(B)과 관련된 하나의 이중-노출-시간 HDR 픽셀 값(2926SM)을 포함하는 2×2 HDR 픽셀 블록(2920SM)이다. 단계(2903)에서 형성된 복수의 2×2 픽셀 블록(2920SM)은, 함께 이중-노출-시간 HDR 이미지(2280SM)의 컬러-모자이크 실시형태의 일례를 형성한다. 이중-노출-시간 이미지(2280SM)의 이 예는 이미지 센서(2800)의 해상도와 비교할 때, 각각의 수직 및 수평 치수에서 절반의 해상도를 갖는다. 예를 들어, 이미지 센서(2800)가 4000×3000 픽셀을 갖는 경우, 이 시나리오에서, 단계(2903)에서 형성된 이중-노출-시간 HDR 이미지는 2000×1500 픽셀을 갖는다.
일 구현에서, 단계(2903)는 단계(2522)를 포함하여, 그리고 선택적으로는 또한 단계(2524 및 2526)를 포함하여 방법(2500)의 컬러-모자이크 실시형태를 수행한다. 이 구현에서, 단계(2522)는, 각 4×4 픽셀 블록(2910SM)의 각각의 2×2 픽셀 그룹(2912SM, 2914SM 및 2916SM) 내의 단-노출-시간 픽셀 및 중간-노출-시간 픽셀의 상대 결합 가중을 설정하기 위해, 식 14의 블렌딩 함수 f를 활용할 수 있다. 단계(2913)는 각각의 2×2 픽셀 그룹(2912SM, 2914SM 및 2916SM)에 대해 블렌딩 함수 f의 개별 결정이 이루어지도록 각각의 색에 대한 블렌딩 f를 개별적으로 결정할 수 있다. 대안적으로, 단계(2913)는, 각각의 4×4 픽셀 블록(2910SM)에 대해, 미리 규정된 색(예를 들어, 2개의 2×2 픽셀 그룹(2912SM)의 픽셀 값에 기초한 녹색)에 대한 블렌딩 함수 f의 하나의 결정을 행하고, 이어서 그 4×4 픽셀 블록(2910SM) 내의 모든 2×2 픽셀 그룹(2912SM, 2914SM 및 2916SM)에 그 블렌딩 함수 f의 값을 적용할 수 있다. 단계(2903)는 블렌딩 함수 f의 값을 결정하기 위해 방법(2000)을 활용할 수 있다.
단계(2902 및 2904)는 중간-노출-시간 및 장-노출-시간 픽셀 값의 결합과 관련된 것을 제외하고는 각각 단계(2901 및 2903)와 유사하다. 단계(2902)는 각각의 4×4 픽셀 값 블록(2910)으로부터 중간-노출-시간 픽셀 값 및 장-노출-시간 픽셀을 추출한다. 각각의 픽셀 값 블록(2910)에 대해, 단계(2902)는 따라서, (a) 2개의 2×2 픽셀 그룹(2912ML) 각각에, 하나의 픽셀 값(GL) 및 2개의 픽셀 값(GM), (b) 2×2 픽셀 그룹(2914ML)에서, 하나의 픽셀 값(RL) 및 두 개의 픽셀 값(RM), 및 (c) 2×2 픽셀 그룹(2916ML)에서, 하나의 픽셀 값(BL) 및 두 개의 픽셀 값(BM)을 포함하는 픽셀 값 블록(2910ML)을 획득한다.
이어서 단계(2904)는 단계(2903)에 대해 위에서 설명한 것과 유사한 방식으로 2×2 픽셀 그룹(2912ML, 2914ML 및 2916ML) 각각 내에서 HDR 결합을 수행한다.
단계(2904)의 출력은, 녹색 채널(G)과 관련된 두 개의 이중-노출-시간 HDR 픽셀 값(2922ML), 적색 채널(R)과 관련된 하나의 이중-노출-시간 HDR 픽셀 값(2924ML) 및 청색 채널(B)과 관련된 하나의 이중-노출-시간 HDR 픽셀 값(2926ML)을 포함하는 2×2 HDR 픽셀 블록(2920ML)이다. 단계(2904)에서 형성된 복수의 2×2 픽셀 블록(2920ML)은, 함께 이중-노출-시간 HDR 이미지(2280ML)의 컬러-모자이크 실시형태의 일례를 형성한다.
특정 실시형태에서, 각각의 단계(2903 및 2904)는 노이즈 제거를 적용한다. 이러한 일 실시형태에서, 단계(2903)는 2×2 픽셀 블록(2920SM)의 잔류 노이즈가 후속 단계(2906)에서 2×2 픽셀 블록(2920ML)의 잔류 노이즈에 비해 스케일 업될 것이기 때문에 단계(2904)보다 더 공격적인 노이즈 제거를 적용한다. 단계(2903)는 또한, 중간-노출-시간 픽셀 값보다 단-노출-시간 픽셀 값에 더 공격적인 노이즈 제거를 적용할 수 있는데, 그 이유는 단계(2903)는 단-노출-시간 픽셀 값의 잔류 노이즈를 중간-노출-시간 픽셀 값의 잔류 노이즈에 비해 스케일 업하기 때문이다. 유사한 이유로, 단계(2904)는 장-노출-시간 픽셀 값보다 중간-노출-시간 픽셀 값에 더 공격적인 노이즈 제거를 적용할 수 있다.
단계(2906)는 2×2 픽셀 블록(2920SM 및 2920ML)의 대응하는 쌍을 결합하여 각 색에 대한 삼중-노출-시간 HDR 픽셀 값을 개별적으로 얻는다. 보다 구체적으로, 단계(2906)는 중간 개재 2×2 픽셀 블록(2930)을 생성하기 위해 각각의 2×2 픽셀 블록(2920SM)의 컬러 모자이크를 대응하는 2×2 픽셀 블록(2920ML)의 컬러 모자이크와 결합한다. 각각의 2×2 픽셀 블록(2930)은 녹색 채널(G)에 관련하는 두 개의 삼중-노출-시간 HDR 픽셀 값(2932SML), 적색 채널(R)에 관련하는 하나의 삼중-노출-시간 HDR 픽셀 값(2934SML) 및 청색 채널(B)에 관련하는 하나의 삼중-노출-시간 HDR 픽셀 값(2936SML)을 포함한다. 단계(2906)는, 예를 들어 방법(2600 또는 2700)에 따라, 대응하는 공동 배치된 이중-노출-시간 HDR 픽셀 값(2922SM 및 2922ML)의 쌍으로부터 각각의 삼중-노출-시간 HDR 픽셀 값(2932SML)을 형성한다. 단계(2906)는, 예를 들어 방법(2600 또는 2700)에 따라, 대응하는 공동 배치된 이중-노출-시간 HDR 픽셀 값(2924SM 및 2924ML)의 쌍으로부터 각각의 삼중-노출-시간 HDR 픽셀 값(2934SML)을 형성한다. 단계(2906)는, 예를 들어 방법(2600 또는 2700)에 따라, 대응하는 공동 배치된 이중-노출-시간 HDR 픽셀 값(2926SM 및 2926ML)의 쌍으로부터 각각의 삼중-노출-시간 HDR 픽셀 값(2936SML)을 형성한다. 단계(2906)에서 형성된 복수의 중간 개재 2×2 픽셀 블록(2930)은 협력하여 컬러-모자이크 삼중-노출-시간 HDR 이미지를 형성하고, 여기서 각 픽셀은 컬러-특정 정보를 갖는다.
단계(2908)는 각각의 중간 개재 2×2 픽셀 블록(2930)을 디모자이싱하여 각각의 풀-컬러, 삼중-노출-시간 HDR(2940)을 형성한다. 단계(2908)는 당업계에 알려진 디모자이싱 방법을 사용할 수 있다. 복수의 삼중-노출-시간 HDR(2940)은 협력하여 삼중-노출-시간 HDR 컬러 이미지(2290)의 일 실시형태를 형성한다.
도 30은 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(2230)로부터 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성하기 위한 하나의 시스템(3000)을 나타낸다. 시스템(3000)은 컴퓨터에 의해 구현될 수 있으며 방법(2400)을 수행하도록 구성된다. 시스템(3000)은 프로세서(3010), 비일시적 메모리(3020) 및 인터페이스(3090)를 포함한다. 프로세서(3010) 및 메모리(3020)(및, 특정 실시형태에서 인터페이스(3090))는 협력하여 삼중-노출-시간 HDR 이미지 생성기(2200)의 실시형태를 형성한다. 시스템(3000)은 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서(2230)를 더 포함할 수 있으며, 이 경우에 시스템(3000)은 HDR 카메라(2202)의 실시형태이다.
메모리(3020)는 기계 판독가능 명령어(3030)를 포함한다. 명령어(3030)는 메모리(3020)의 비휘발성 부분에 인코딩될 수 있다. 명령어(3030)는 이중-노출-시간 명령어(3032) 및 이중으로부터 삼중으로의(dual-to-triple) HDR 명령어(3040)를 포함한다. 일 실시형태에서, 메모리(3020)는, 인터페이스(3090)를 통해 수신된 데이터 및/또는 프로세서(3010)에 의해 실행될 때 명령어(3030)에 의해 생성된 데이터를 저장하도록 구성된 동적 데이터 저장소(3080)를 더 포함한다. 다른 실시형태에서, 시스템(3000)은 메모리(3020)를 포함하지 않고 대신에 예를 들어 제3자에 의해 제공되는 외부 메모리와 협력하도록 구성된다. 또한, 메모리(3020)는 파라미터 저장소(3070)를 포함할 수 있다.
프로세서(3010)에 의해 실행되면, 이중-노출-시간 명령어(3032)는 이미지 센서(2230)로부터 또는 동적 데이터 저장소(3080)로부터 픽셀 값(2270)을 획득하고, (a) 이중-노출-시간 HDR 이미지(2280SM)를 생성하도록 방법(2400)의 단계(2410) 및/또는 (b) 이중-노출-시간 HDR 이미지(2280ML)를 생성하도록 방법(2400)의 단계(2420)를 수행한다. 이중-노출-시간 명령어(3032)는 프로세서(3010)에게 이중-노출-시간 HDR 이미지(2280SM 및/또는 2280ML)를 동적 데이터 저장소(3080)에 저장하도록 명령할 수 있다.
일 실시형태에서, 이중-노출-시간 명령어(3032)는 방법(2500)에 따라 단계(2410)를 수행하고 또한 (도 25를 참조하여 위에서 논의된) 방법(2500)의 대응하는 상응 방법에 따라 단계(2420)를 수행하도록 구성된다. 이 실시형태에서, 이중-노출-시간 명령어(3032)는 디스패리티 평가 명령어(3034), 포화도 평가 명령어(3036) 및 블렌딩 함수 평가 명령어(3038) 중 하나 이상을 포함할 수 있다. 프로세서(3010)에 의해 실행되면, 디스패리티 평가 명령어(3034)는 방법(2500)의 단계(2520)를 수행한다. 디스패리티 평가 명령어(3034)는 방법(2500)의 단계(2524 및 2526)를 수행하기 위해 포화도 평가 명령어(3036)를 호출하도록 구성될 수 있다. 포화도 평가 명령어(3036)는 파라미터 저장소(3070)로부터 포화도-미만 기준(3052)을 검색하도록 프로세서(3010)에 명령하도록 구성될 수 있다. 포화도-미만 기준(3052)은 포화도-미만 기준(952)의 일례이다. 디스패리티 평가 명령어(3034)는 또한 방법(2500)의 단계(2524)를 수행하기 위해 블렌딩 함수 평가 명령어(3038)를 호출하도록 구성될 수 있다. 일 구현에서, 블렌딩 함수 평가 명령어(3038)는 방법(2000)을 수행하도록 구성된다. 이 구현에서, 블렌딩 함수 평가 명령어(3038)는 프로세서(3010)에게 파라미터 저장소(3070)로부터 블렌딩 함수 룩업 테이블(3054)에 액세스하도록 명령할 수 있다. 블렌딩 함수 평가 명령어(3038)는, 프로세서(3010)에게, 블렌딩 함수 값(3082)을 동적 데이터 저장소(3080)에 저장하고 필요할 때 동적 데이터 저장소(3080)로부터 블렌딩 함수 값(3082)을 검색하도록 명령할 수 있다.
프로세서(3010)에 의해 실행되면, 이중으로부터 삼중으로의(dual-to-triple) HDR 명령어(3040)는 동적 데이터 저장소(3080)로부터 이중-노출-시간 HDR 이미지(2280SM 및 2280ML)를 획득하고, 삼중-노출-시간 HDR 컬러 이미지(2290)를 생성하도록 방법(2400)의 단계(2430)를 수행한다. 이중으로부터 삼중으로의(dual-to-triple) HDR 명령어(3040)는 프로세서(3010)에게 삼중-노출-시간 HDR 컬러 이미지(2290)를 동적 데이터 저장소(3080)에 저장하거나 인터페이스(3090)를 통해 삼중-노출-시간 HDR 컬러 이미지(2290)를 출력하도록 명령할 수 있다. 일 실시형태에서, 이중으로부터 삼중으로의(dual-to-triple) HDR 명령어(3040)는 프로세서(3010)에 의해 실행될 때 방법(2600)을 수행하는 디스패리티-기반의 이중으로부터 삼중으로의 명령어(3042)를 포함한다. 다른 실시형태에서, 이중으로부터 삼중으로의 HDR 명령어(3040)는 프로세서(3010)에 의해 실행될 때 방법(2700)을 수행하는 융합-기반의 이중으로부터 삼중으로의 명령어(3044)를 포함한다.
본 명세서의 범위를 벗어나지 않으면서, 기계 판독가능 명령어(3030)는 (a) 기계 판독가능 명령어(3030)의 저장을 위한 비일시적 메모리 및 (b) 기계 판독가능 명령어(3030)의 실행을 위한 프로세서를 갖는 제3자 컴퓨터에서의 구현을 위해 구성된 스탠드-얼론 소프트웨어 제품으로서 제공될 수 있다.
위의 디바이스, 시스템 및 방법은 본 명세서의 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 위의 설명에 포함되고 첨부 도면에 도시된 사항은 제한적인 의미가 아니라 예시적인 것으로 해석되어야 함에 유의해야 한다. 다음 청구범위는 여기에 설명된 일반적 특징 및 특정 특징뿐만 아니라 언어의 문제로서 그 사이에 속한다고 할 수 있는, 본 디바이스, 시스템 및 방법의 범위에 대한 모든 설명을 아우르도록 의도된다.

Claims (54)

  1. 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 모션-보상된 HDR(high-dynamic-range) 컬러 이미지를 생성하기 위한 방법으로서:
    상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 각각의 센서 픽셀의 로컬 영역에 의해 생성된 픽셀 값을 획득하는 단계 - 상기 로컬 영역은 상기 모션-보상된 HDR 컬러 이미지의 이미지 픽셀의 위치에 대응하고, 상기 로컬 영역의 상기 센서 픽셀은, 3개의 상이한 색 각각에 대해, 상기 각각의 색에 감응하는 복수의 단-노출-시간 픽셀 및 복수의 장-노출-시간 픽셀을 포함함 - ;
    상기 로컬 영역에서의 각각의 색의 휘도 평가에 기초하여 제1 색을 선택하는 단계;
    상기 제1 색과 연관된 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀의 상기 픽셀 값으로부터 상기 로컬 영역에 대한 모션 파라미터를 결정하는 단계; 및
    각각의 색에 대해, 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀로부터 상기 이미지 픽셀의 출력 값을 결정하기 위해, 상기 로컬 영역의 상기 픽셀 값을 디모자이싱(demosaicing)하는 단계 - 상기 모션 파라미터에 따라, 상기 출력 값에 대한 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀의 상대 기여도에 가중이 부여됨 -
    를 포함하는, 방법.
  2. 제1항에 있어서,
    생성될 상기 모션-보상된 HDR 컬러 이미지의 각각의 이미지 픽셀에 대해:
    상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 각각의 센서 픽셀의 로컬 영역에 의해 생성된 픽셀 값을 취득한 후에,

    각각의 색에 대해:
    모션 보상이 가능 및/또는 필요한지 평가하는 단계, 및
    상기 색과 연관된 상기 이미지 픽셀에 대한 출력 값을 생성하는 단계를 더 포함하고, 상기 생성하는 단계는:
    (i) 모션 보상이 가능 및/또는 필요한 경우, 상기 모션 파라미터를 결정하는 단계 및 상기 색에 대해, 상기 이미지 픽셀의 상기 출력 값을 모션-보상을 갖고 결정하기 위해 디모자이싱하는 단계를 수행하는 단계, 및
    (ii) 모션 보상이 불가능 및/또는 불필요한 경우, 상기 색에 대해, 상기 이미지 픽셀의 상기 출력 값을 결정하기 위해 비-모션-보상된 디모자이싱하는 단계를 수행하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서,
    상기 모션 보상이 가능 및/또는 필요한지 평가하는 단계는:
    (a) 상기 색과 연관된, 상기 로컬 영역의 상기 장-노출-시간 픽셀의 상기 픽셀 값이 포화도-미만 기준을 충족;
    (b) 상기 색이 상기 제1 색과 상이한 경우, 상기 제1 색과 연관된, 상기 로컬 영역의 상기 장-노출-시간 픽셀의 상기 픽셀 값이 상기 포화도-미만 기준을 충족; 또는
    (c) 상기 제1 색과 연관된, 상기 로컬 영역의 상기 장-노출-시간 픽셀의 상기 픽셀 값이 상기 포화도-미만 기준을 충족하고, 상기 제1 색과 연관된, 상기 로컬 영역의 상기 단-노출-시간 픽셀과 장-노출-시간 픽셀 사이의 디스패리티가 센서-노이즈-관련의 픽셀 값 베리에이션과 연관된 디스패리티 임계 값 초과일 때만,
    그 모션 보상이 가능 및/또는 필요하다고 결정하는 단계를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 모션 보상이 가능 및/또는 필요한지 평가하는 단계는:
    상기 이미지 픽셀에 대한 단-노출-시간 제1 색 값을 결정하기 위해 제1 모델에 따른 각각의 제1 핏 가중과 상기 제1 색과 연관된 상기 단-노출-시간 픽셀의 상기 픽셀 값을 곱하는 단계;
    상기 이미지 픽셀에 대한 장-노출-시간 제1 색 값을 결정하기 위해 제2 모델에 따른 각각의 제2 핏 가중과 상기 제1 색과 연관된 상기 장-노출 시간 픽셀 중 불포화된 픽셀의 픽셀 값을 곱하는 단계; 및
    공통 스케일로 스케일링된 상기 단-노출-시간 제1 색 값과 상기 장-노출-시간 제1 색 값 사이의 차의 절대값으로서 상기 디스패리티를 계산하는 단계
    를 더 포함하는, 방법.
  5. 제3항에 있어서,
    상기 모션 보상이 가능 및/또는 필요한지 평가하는 단계는:
    상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서에 대한 노이즈 모델에 기초하여, 상기 이미지 픽셀 및 상기 제1 색과 연관된, 픽셀 값 베리에이션의 예상 값을 추정하는 단계; 및
    상기 예상 값으로부터 상기 디스패리티 임계 값을 계산하는 단계
    를 더 포함하는, 방법.
  6. 제2항에 있어서,
    상기 획득하는 단계는, 상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서에 비해 다운-샘플링된 해상도로 상기 모션-보상된 HDR 컬러 이미지를 생성하도록 상기 로컬 영역을 선택하는 단계를 포함하는, 방법.
  7. 제2항에 있어서,
    상기 획득하는 단계는, 상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서와 동일 해상도로 상기 모션-보상된 HDR 컬러 이미지를 생성하도록 상기 로컬 영역을 선택하는 단계를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 모션 파라미터는 상기 로컬 영역에서의 모션의 정도에 비례하여 0 내지 1의 범위의 값을 가지는, 방법.
  9. 제1항에 있어서,
    상기 모션 파라미터를 결정하는 단계는:
    상기 이미지 픽셀에 대한 단-노출-시간 제1 색 값을 결정하기 위해 제1 모델에 따른 각각의 제1 핏 가중과 상기 제1 색과 연관된 상기 단-노출-시간 픽셀의 상기 픽셀 값을 곱하는 단계;
    상기 이미지 픽셀에 대한 장-노출-시간 제1 색 값을 결정하기 위해 제2 모델에 따른 각각의 제2 핏 가중과 상기 제1 색과 연관된 상기 장-노출 시간 픽셀 중 불포화된 픽셀의 픽셀 값을 곱하는 단계; 및
    상기 모션 파라미터를 결정하기 위해 상기 단-노출-시간 제1 색 값과 상기 장-노출-시간 제1 색 값 사이의 디스패리티를 계산하는 단계를 포함하고,
    상기 제1 및 제2 모델은 상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 노이즈 특성 및/또는 포화 거동의 모델인, 방법.
  10. 제9항에 있어서,
    상기 핏 가중은 상기 픽셀 값의 예상 신호 품질에 따라 증가하는 값인, 방법.
  11. 제1항에 있어서,
    상기 모션 파라미터를 결정하는 단계는:
    상기 이미지 픽셀에 대한 단-노출-시간 제1 색 값을 결정하기 위해 상기 제1 색과 연관된 상기 단-노출-시간 픽셀의 상기 픽셀 값을 제1 모델에 따른 각각의 제1 핏 가중과 곱하는 단계;
    상기 이미지 픽셀에 대한 장-노출-시간 제1 색 값을 결정하기 위해 제1 색과 연관된 상기 장-노출-시간 픽셀 중 불포화된 픽셀의 픽셀 값을 제2 모델에 따른 각각의 제2 핏 가중과 곱하는 단계; 및
    상기 모션 파라미터를 결정하기 위해 상기 단-노출-시간 제1 색 값과 상기 장-노출-시간 제1 색 값 사이의 디스패리티를 계산하는 단계를 포함하고,
    상기 제1 모델 및 상기 제2 모델 각각은, 센서 픽셀 위치의 2차원 다항식 함수이고, 상기 2차원 다항식 함수는 입력 파라미터로서 상기 센서 픽셀 위치의 수평 및 수직 픽셀 좌표를 갖고, 출력 파라미터로서 각각 상기 제1 핏 가중 또는 상기 제2 핏 가중을 갖는 다항식 함수인, 방법.
  12. 제11항에 있어서,
    상기 2차원 다항식 함수는 1차 2차원 다항식, 2차 2차원 다항식 또는 3차 2차원 다항식인, 방법.
  13. 제1항에 있어서,
    상기 디모자이싱하는 단계는:
    상기 색과 연관된 상기 단-노출-시간 픽셀에 기초하여 상기 이미지 픽셀에 대한 단-노출-시간 값을 결정하는 단계;
    상기 색과 연관된 상기 장-노출-시간 픽셀 중 불포화된 픽셀에 기초하여 상기 이미지 픽셀에 대한 장-노출-시간 값을 결정하는 단계; 및
    상기 모션 파라미터를 가중으로서 사용하여, 상기 단-노출-시간 값 및 상기 장-노출-시간 값의 가중 평균(weighted average)으로서 상기 출력 값을 계산하는 단계
    를 포함하는, 방법.
  14. 제13항에 있어서,
    상기 모션 파라미터를 결정하는 단계에서:
    (a) 상기 제1 색의 상기 단-노출-시간 픽셀에 기초하여 상기 이미지 픽셀에 대한 단-노출-시간 제1 색 값을 결정하는 단계,
    (b) 상기 장-노출-시간 픽셀에 기초하여 상기 이미지 픽셀에 대한 장-노출-시간 제1 색 값을 결정하는 단계, 및
    (c) 상기 모션 파라미터를 결정하기 위해 상기 단-노출-시간 제1 색 값과 상기 장-노출-시간 제1 색 값 사이의 디스패리티를 계산하는 단계, 및
    상기 디모자이싱하는 단계에서, 상기 제1 색에 대해, 상기 제1 색에 대한 상기 단-노출-시간 값을 상기 단-노출-시간 제1 색 값으로 설정하고, 상기 제1 색에 대한 상기 장-노출-시간 값을 상기 장-노출-시간 제1 색 값으로 설정하는 단계
    를 포함하는, 방법.
  15. 제13항에 있어서,
    상기 단-노출-시간 값을 결정하는 단계에서, 상기 단-노출-시간 값을 결정하기 위해, 상기 색과 연관된, 상기 단-노출-시간 픽셀의 픽셀 값에 제1 모델에 따른 각각의 제1 핏 가중을 곱하는 단계; 및
    상기 장-노출-시간 값을 결정하는 단계에서, 상기 장-노출-시간 값을 결정하기 위해, 상기 색과 연관된, 상기 장-노출-시간 픽셀 중 불포화된 픽셀의 픽셀 값에 제2 모델에 따른 각각의 제2 핏 가중을 곱하는 단계를 포함하고,
    상기 제1 및 제2 모델은 상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 노이즈 특성 및/또는 포화 거동의 모델인, 방법.
  16. 제13항에 있어서,
    상기 단-노출-시간 값을 결정하는 단계에서, 상기 단-노출-시간 값을 결정하기 위해 상기 색과 연관된 상기 단-노출-시간 픽셀의 상기 픽셀 값을 제1 모델에 따른 각각의 제1 핏 가중과 곱하는 단계; 및
    상기 장-노출-시간 값을 결정하는 단계에서, 상기 장-노출-시간 값을 결정하기 위해 상기 색과 연관된 상기 장-노출-시간 픽셀 중 불포화된 픽셀의 픽셀 값을 제2 모델에 따른 각각의 제2 핏 가중과 곱하는 단계를 포함하고, 상기 제1 모델 및 상기 제2 모델 각각은 센서 픽셀 위치의 2차원 다항식 함수이고, 상기 2차원 다항식 함수는 입력 파라미터로서 상기 센서 픽셀 위치의 수평 및 수직 픽셀 좌표를 갖고, 출력 파라미터로서 각각 상기 제1 핏 가중 또는 상기 제2 핏 가중을 갖는 다항식 함수인, 방법.
  17. 제16항에 있어서,
    상기 제1 색에 대해, 상기 2차원 다항식 함수는 1차 2차원 다항식, 2차 2차원 다항식 또는 3차 2차원 다항식이고;
    상기 제1 색과 상이한 색 각각에 대한 2차원 다항식 함수는 상기 제1 색에 대해 사용된 2차원 다항식보다 차수가 낮은, 방법.
  18. 제1항에 있어서,
    상기 모션 파라미터를 결정하는 단계는, 상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 가장 많은 수의 센서 픽셀과 연관된 색을, 상기 제1 색으로서 사용하는 단계를 포함하는, 방법.
  19. 제18항에 있어서,
    상기 3개의 색은 적색, 녹색 및 청색이고, 상기 제1 색은 녹색인, 방법.
  20. 제18항에 있어서,
    상기 제1 색은 녹색이고, 상기 3개의 색 중 나머지 2개의 색은 적색, 녹색 및 청색의 상이한 각각의 선형 조합인, 방법.
  21. 제18항에 있어서,
    상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서는 지그재그(zig-zag) HDR 이미지 센서인, 방법.
  22. 삭제
  23. 제1항에 있어서,
    적어도 5×5 인접 센서 픽셀에 의해 정의되는 상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 정사각형 섹션을 상기 로컬 영역으로서 사용하는 단계를 더 포함하는, 방법.
  24. 제23항에 있어서,
    상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로서 지그재그 HDR 이미지 센서를 사용하는 단계를 더 포함하는, 방법.
  25. 제1항에 있어서,
    상기 모션-보상된 HDR 컬러 이미지의 각각의 이미지 픽셀에 대해:
    상기 획득하는 단계를 수행하는 단계; 및
    상기 3개의 상이한 색 각각에 대한 출력 값을 생성하는 단계를 더 포함하고, 상기 생성하는 단계는:
    (i) 상기 제1 색에 대해:
    (a) 상기 제1 색과 연관된 상기 장-노출-시간 픽셀이 포화도-미만 기준을 충족하는 경우:
    (1) 상기 제1 색과 연관된, 상기 로컬 영역의 단-노출-시간 픽셀과 장-노출-시간 픽셀 사이의 디스패리티를 계산하는 단계,
    (2) 상기 이미지 픽셀 및 상기 제1 색과 연관된 픽셀 값 베리에이션의 예상 값으로부터 디스패리티 임계 값을 계산하는 단계,
    (3) 상기 디스패리티가 상기 디스패리티 임계 값을 초과하는 경우, 상기 모션 파라미터를 결정하는 단계 및 상기 제1 색과 연관된 상기 이미지 픽셀의 상기 출력 값을, 모션-보상을 통해, 결정하기 위해 상기 제1 색에 대해 디모자이싱하는 단계를 수행하는 단계, 및
    (4) 상기 디스패리티가 상기 디스패리티 임계 값을 초과하지 않는 경우, 상기 제1 색과 연관된 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀의 결합으로부터 상기 색과 연관된 상기 이미지 픽셀의 상기 출력 값을 결정하기 위해 상기 제1 색에 대해 비-모션-보상된 HDR 디모자이싱을 수행하는 단계를 포함하고, 그리고,
    (b) 상기 제1 색과 연관된 상기 장-노출-시간 픽셀이 상기 포화도-미만 기준을 충족하지 않는 경우, 상기 제1 색과 연관된 상기 단-노출-시간 픽셀로부터만 상기 제1 색과 연관된 상기 이미지 픽셀에 대한 상기 출력 값을 결정하기 위해 상기 제1 색에 대해 비-모션 보상된 디모자이싱을 수행하는 단계를 포함하고,
    (ii) 상기 제1 색과 상이한 각각의 색에 대해:
    (a) 상기 색 및 상기 제1 색과 연관된 상기 장-노출-시간 픽셀이 상기 포화도-미만 기준을 충족하고 상기 디스패리티가 상기 디스패리티 임계 값을 초과하는 경우, 상기 색과 연관된 상기 이미지 픽셀의 상기 출력 값을, 모션-보상을 통해, 결정하기 위해 상기 색에 대해 디모자이싱을 수행하는 단계,
    (b) 상기 색 및 상기 제1 색과 연관된 상기 장-노출-시간 픽셀이 상기 포화도-미만 기준을 충족하고 상기 디스패리티가 상기 디스패리티 임계 값을 초과하지 않는 경우, 상기 색과 연관된 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀의 결합으로부터 상기 색과 연관된 상기 이미지 픽셀의 상기 출력 값을 결정하기 위해 상기 색에 대해 비-모션-보상된 디모자이싱을 수행하는 단계, 및
    (c) 상기 색과 연관된 상기 장-노출-시간 픽셀이 상기 포화도-미만 기준을 충족하거나 또는 상기 제1 색과 연관된 상기 장-노출-시간 픽셀이 상기 포화도-미만 기준을 충족하지 않는 경우, 상기 색과 연관된 상기 단-노출-시간 픽셀로부터만 상기 색과 연관된 상기 이미지 픽셀에 대한 상기 출력 값을 결정하기 위해 상기 색에 대해 비-모션-보상된 디모자이싱을 수행하는 단계를 포함하는, 방법.
  26. 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 모션-보상된 HDR(high-dynamic-range) 컬러 이미지를 생성하기 위한 기계 판독가능 명령어가 인코딩된 비일시적 메모리로서, 상기 명령어는:
    프로세서에 의해 실행될 때, 상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 각각의 센서 픽셀의 로컬 영역에 의해 생성된 픽셀 값을 검색하는 데이터 선택 명령어 - 상기 로컬 영역은 상기 모션-보상된 HDR 컬러 이미지의 이미지 픽셀의 위치에 대응하고, 상기 로컬 영역의 상기 센서 픽셀은, 3개의 상이한 색 각각에 대해, 각각의 색에 감응하는 복수의 단-노출-시간 픽셀 및 복수의 장-노출-시간 픽셀을 포함함 - ;
    상기 프로세서에 의해 실행될 때, 상기 로컬 영역에서의 각각의 색의 휘도 평가에 기초하여 제1 색을 선택하고, 상기 제1 색과 연관된 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀의 상기 픽셀 값으로부터 상기 로컬 영역에 대한 모션 파라미터를 결정하는 모션 명령어; 및
    상기 프로세서에 의해 실행될 때, 각각의 색에 대해, 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀로부터 상기 이미지 픽셀의 출력 값을 결정하기 위해 상기 로컬 영역의 상기 픽셀 값을 디모자이싱하는 디모자이싱 명령어 - 상기 단-노출-시간 픽셀 및 상기 장-노출-시간 픽셀의 상기 출력 값에 대한 상대 기여도는 상기 모션 파라미터에 따라 가중이 부여됨 - ;
    를 포함하는, 비일시적 메모리.
  27. 제26항에 있어서,
    상기 로컬 영역 내의 센서 노이즈에 기인한 픽셀 값 베리에이션에 대한 모델;
    상기 픽셀 값의 신호 품질과 핏 가중에 대한 핏 가중 함수로서, 상기 핏 가중은 상기 픽셀 값의 신호 품질에 따라 증가함; 및
    상기 모션 명령어에 있어서:
    상기 프로세서가 상기 모션 명령어를 실행할 때 호출되는 피팅 명령어로서, 상기 이미지 픽셀에 대해, 단-노출-시간 제1 색 값 및 장-노출-시간 제1 색 값을 결정하기 위해 상기 제1 색과 연관된 상기 로컬 영역의 픽셀 값에, 상기 픽셀 값 베리에이션에 대한 모델에서 파생된, 상기 핏 가중 함수로부터의 핏 가중을 적용하기 위한 상기 피팅 명령어, 및
    상기 프로세서가 상기 모션 명령어를 실행할 때 호출되는 디스패리티 명령어로서, 상기 모션 파라미터를 결정하기 위해 상기 단-노출-시간 제1 색 값과 상기 장-노출-시간 제1 색 값 사이의 디스패리티를 계산하기 위한 상기 디스패리티 명령어
    를 더 포함하는, 비일시적 메모리.
  28. 제27항에 있어서,
    상기 디모자이싱 명령어는 상기 프로세서에 의해 실행될 때:
    상기 제1 색과는 상이한 각각의 색에 대해, 상기 색과 연관된 상기 단-노출-시간 픽셀에 기초하여 상기 이미지 픽셀에 대한 단-노출-시간 값을 결정하고, 상기 색과 연관된 상기 장-노출-시간 픽셀 중 불포화된 픽셀에 기초하여 상기 이미지 픽셀에 대한 장-노출-시간 값을 결정하고;
    상기 제1 색에 대해, 상기 제1 색에 대한 상기 단-노출-시간 값을 상기 단-노출-시간 제1 색 값으로 설정하고, 상기 제1 색에 대한 상기 장-노출-시간 값을 상기 장-노출-시간 제1 색 값으로 설정하고; 그리고,
    각각의 색에 대해, 상기 모션 파라미터를 가중으로 사용하여, 상기 단-노출-시간 값과 상기 장-노출-시간 값의 가중 평균으로서 상기 출력 값을 계산하도록 구성되는, 비일시적 메모리.
  29. 제26항에 있어서,
    비일시적 메모리에 인코딩된 파라미터 저장소를 더 포함하고, 상기 파라미터 저장소는:
    영역 사이즈; 및
    스텝 사이즈를 포함하고; 그리고
    상기 명령어에서,
    상기 프로세서에 의해 실행될 때, (i) 상기 영역 사이즈에 따라 사이즈가 조정된 상기 로컬 영역 및 (ii) 상기 스텝 사이즈에 따라 설정된, 인접 이미지 픽셀에 대응하는, 로컬 영역 사이의 중심간 거리에 의해 상기 모션-보상된 HDR 컬러 이미지의 각각의 이미지 픽셀에 대한 데이터 선택 명령어의, 프로세서에 의한, 실행을 명령하는 샘플링 명령어, 및
    상기 프로세서에 의해 실행될 때, 상기 샘플링 명령어에 따라 처리된 각각의 이미지 픽셀에 대해, 각각의 상기 색에 대한 출력 값을 생성하는 마스터 명령어 - 상기 마스터 명령어는 모션과 연관된 이미지 픽셀 및 포화도-미만 기준을 충족하는 장-노출-시간 픽셀에 대해 상기 모션 명령어 및 디모자이싱 명령어를 적용하도록 구성됨 -
    를 더 포함하는, 비일시적 메모리.
  30. 제26항에 있어서,
    상기 명령어는:
    상기 프로세서에 의해 실행될 때, 상기 모션-보상된 HDR 컬러 이미지의 이미지 픽셀에 대한 출력 값 및 관련 색을 결정하기 위해 비-모션-보상된 디모자이싱을 수행하는 비-모션-보상된 디모자이싱 명령어; 및
    상기 프로세서에 의해 실행될 때, 상기 모션-보상된 HDR 컬러 이미지의 각각의 이미지 픽셀에 대해:
    상기 데이터 선택 명령어의 상기 프로세서에 의한 실행을 명령하고;
    상기 이미지 픽셀과 연관된 각각의 색에 대해 모션 보상이 가능 및/또는 필요한지 평가하고,
    모션 보상이 가능 및/또는 필요한 경우, 모션 보상으로 상기 색에 대해, 상기 이미지 픽셀의 상기 출력 값을 결정하기 위해 상기 모션 명령어 및 상기 디모자이싱 명령어의 상기 프로세서에 의한 실행을 명령하고,
    모션 보상이 불가능 및/또는 불필요한 경우, 상기 이미지 픽셀의 상기 출력 값을, 상기 색에 대해 결정하기 위해, 상기 비-모션-보상된 디모자이싱 명령어의 상기 프로세서에 의한 실행을 명령하는, 마스터 명령어를 더 포함하는, 비일시적 메모리.
  31. 제30항에 있어서,
    비일시적 메모리에 인코딩된 파라미터 저장소를 더 포함하고, 상기 파라미터 저장소는:
    장-노출-시간 픽셀의 픽셀 값에 대한 상한 허용 한계를 규정하는 포화도-미만 기준, 및
    센서-노이즈-관련 픽셀 값 베리에이션과 연관되고 모션에 대한 최소 임계 값을 규정하는 디스패리티 임계 값을 포함하고, 그리고
    상기 마스터 명령어에 있어서, 상기 프로세서에 의해 실행될 때, 모션 보상이 가능 및/또는 필요한지 결정하기 위해, 각각의 이미지 픽셀 및 색에 대해, 상기 포화도-미만 기준 및 상기 디스패리티 임계 값에 대해 상기 로컬 영역의 픽셀 값을 평가하는 평가 명령어를 더 포함하는, 비일시적 메모리.
  32. 프로세서에 연결된, 제26항의 비일시적 메모리; 및
    상기 프로세서에 의해 처리되는 상기 픽셀 값을 생성하기 위한 상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서를 포함하는, 모션-보상된 HDR(High Dynamic Range) 카메라.
  33. 제32항에 있어서,
    상기 이중-노출-시간 싱글-샷 HDR 컬러 이미지 센서는 지그재그 HDR 이미지 센서인, 모션-보상된 HDR 카메라.
  34. 제32항의 모션-보상된 HDR 카메라를 포함하는, 휴대폰.
  35. 복수의 단-노출-시간 픽셀, 복수의 중간-노출-시간 픽셀 및 복수의 장-노출-시간 픽셀을 가지는 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 HDR 컬러 이미지를 생성하기 위한 방법으로서,
    (a) 상기 단-노출-시간 픽셀로부터의 단-노출-시간 픽셀 값 및 (b) 상기 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값의 제1 결합으로부터, 상기 제1 결합에 대한 상기 단-노출-시간 픽셀 값 및 상기 중간-노출-시간 픽셀 값의 상대 기여도를, 그들 사이의 디스패리티의 정도 및 상기 중간-노출-시간 픽셀 값의 포화의 정도에 적어도 부분적으로 기초하여 국부적으로 가중함으로써, 제1 이중-노출-시간 HDR 이미지를 생성하는 단계;
    (a) 상기 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값 및 (b) 상기 장-노출-시간 픽셀로부터의 장-노출-시간 픽셀 값의 제2 결합으로부터, 상기 제2 결합에 대한 상기 중간-노출-시간 픽셀 값 및 상기 장-노출-시간 픽셀 값의 상대 기여도를, 그들 사이의 디스패리티의 정도 및 상기 장-노출-시간 픽셀 값의 포화의 정도에 적어도 부분적으로 기초하여 국부적으로 가중함으로써, 제2 이중-노출-시간 HDR 이미지를 생성하는 단계; 및
    상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하는 단계
    를 포함하는, 방법.
  36. 삭제
  37. 제35항에 있어서,
    상기 삼중-노출-시간 HDR 컬러 이미지를 생성하는 단계는, (i) 상기 단-노출-시간 픽셀 값과 상기 중간-노출-시간 픽셀 값 사이의 디스패리티의 정도 및 (ii) 상기 중간-노출-시간 픽셀 값과 상기 장-노출-시간 픽셀 값 사이의 디스패리티의 정도 중 적어도 하나에 적어도 부분적으로 기초하여, 상기 삼중-노출-시간 HDR 컬러 이미지에 대한 상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지의 상대 기여도에 국부적으로 가중을 부여하는 단계를 포함하는, 방법.
  38. 제35항에 있어서,
    상기 삼중-노출-시간 HDR 컬러 이미지를 생성하는 단계는, 상기 삼중-노출-시간 HDR 컬러 이미지의 하나 이상의 품질 측정치의 로컬 최적화에 따라, 상기 제1 이중-노출-시간 HDR 이미지와 상기 제2 이중-노출-시간 HDR 이미지를 융합하는 단계를 포함하는, 방법.
  39. 제38항에 있어서,
    상기 국부적으로 융합하는 단계는, (i) 상기 단-노출-시간 픽셀 값과 상기 중간-노출-시간 픽셀 값 사이의 디스패리티의 정도 및 (ii) 상기 중간-노출-시간 픽셀 값과 상기 장-노출-시간 픽셀 값 사이의 디스패리티의 정도 중 어느 하나의 고려없이, 상기 로컬 최적화에 따라 배타적으로, 상기 삼중-노출-시간 HDR 컬러 이미지에 대한 상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지의 상대 기여도를 설정하는 단계를 포함하는, 방법.
  40. 제38항에 있어서,
    상기 국부적으로 융합하는 단계는:
    상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지를 공통 스케일로 두기 위해 상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지 중 적어도 하나를 스케일링하는 단계; 및
    상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지 각각의 다이나믹 레인지(dynamic range)를 포괄하는 다이나믹 레인지를 갖는 상기 삼중-노출-시간 HDR 컬러 이미지를 생성하는 단계
    를 포함하는, 방법.
  41. 제38항에 있어서,
    상기 하나 이상의 품질 측정치는 콘트라스트, 포화도 및 양호한 노출 중 적어도 하나를 포함하는, 방법.
  42. 제35항에 있어서,
    상기 제1 이중-노출-시간 HDR 이미지를 생성하는 단계 및 그 안에 포함된 상대 기여도를 국부적으로 가중하는 단계 이전에, 상기 단-노출-시간 픽셀 값 및 상기 중간-노출-시간 픽셀 값에서 노이즈를 제거하는 단계; 및
    상기 제2 이중-노출-시간 HDR 이미지를 생성하는 단계 및 그 안에 포함된 상대 기여도를 국부적으로 가중하는 단계 이전에, 상기 중간-노출-시간 픽셀 값 및 상기 장-노출-시간 픽셀 값에서 노이즈를 제거하는 단계를 더 포함하는, 방법.
  43. 제35항에 있어서,
    상기 중간-노출-시간 픽셀 값 및 상기 장-노출-시간 픽셀 값을 포화도-미만 기준과 비교하는 단계를 더 포함하고;
    로컬 영역이 하나 이상의 중간-노출-시간 픽셀 값이 상기 포화도-미만 기준을 충족하지 못하는 것으로 특징지어지는 경우에:
    (i) 상기 제1 이중-노출-시간 HDR 이미지를 생성하는 단계에서, 상기 로컬 영역에 대해 상기 제1 이중-노출-시간 HDR 이미지는 상기 단-노출-시간 픽셀 값으로부터만 생성되고,
    (ii) 상기 삼중-노출-시간 HDR 컬러 이미지를 생성하는 단계에서, 상기 로컬 영역에 대해 상기 삼중-노출-시간 HDR 컬러 이미지는 상기 제1 이중-노출-시간 HDR 이미지로부터만 생성되고,
    로컬 영역이 하나 이상의 장-노출-시간 픽셀 값이 상기 포화도-미만 기준을 충족하지 못하고 상기 로컬 영역의 각각의 중간-노출-시간 픽셀 값이 상기 포화도-미만 기준을 충족하는 것으로 특징지어지는 경우에:
    (i) 상기 제2 이중-노출-시간 HDR 이미지를 생성하는 단계에서, 상기 로컬 영역에 대해 상기 제2 이중-노출-시간 HDR 이미지는 상기 중간-노출-시간 픽셀 값으로부터만 생성되는, 방법.
  44. 제35항에 있어서,
    상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지 각각은 적어도 3개의 상이한 색과 연관된 이중-HDR 픽셀 값의 모자이크로 이루어지며, 상기 삼중-노출-시간 HDR 컬러 이미지를 생성하는 단계는:
    상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지로부터 상기 적어도 3개의 상이한 색과 연관된 삼중-HDR 픽셀 값의 모자이크로 이루어진 중간 개재 삼중-노출-시간 HDR 이미지를 생성하는 단계; 및
    상기 삼중-노출-시간 HDR 컬러 이미지를 생성하기 위해 상기 중간 개재 삼중-노출-시간 HDR 이미지를 디모자이싱하는 단계를 포함하는, 방법.
  45. 제35항에 있어서,
    상기 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서는 동일 4×4 픽셀 블록의 어레이를 포함하고, 각각의 4×4 픽셀 블록은 제1 색의 빛에 감응하는 1개의 제1 색 2×2 픽셀 그룹, 제2 색의 빛에 감응하는 2개의 제2 색 녹색 2×2 픽셀 그룹, 및 제3 색의 빛에 감응하는 1개의 제3 색 2×2 픽셀 그룹으로 이루어지고, 상기 2×2 픽셀 그룹 각각은 상기 단-노출-시간 픽셀의 1개, 상기 중간-노출-시간 픽셀의 두 개, 및 상기 장-노출-시간 픽셀의 1개를 포함하고,
    상기 방법은:
    (i) 상기 2×2 픽셀 그룹 각각이 상기 제1 이중-노출-시간 HDR 이미지의 정확히 하나의 픽셀 값에 의해 표현되고 (ii) 상기 제1 이중-노출-시간 HDR 이미지는 상기 제1 색과 연관된 1개의 픽셀 값, 상기 제2 색과 연관된 2개의 픽셀 값 및 상기 제3 색과 연관된 1개의 픽셀 값을 갖는 2×2 픽셀 블록으로 이루어지도록, 상기 제1 이중-노출-시간 HDR 이미지를 생성하는 단계를 수행하는 단계; 및
    적어도 상기 중간-노출-시간 픽셀이 포화도-미만 기준을 충족하는 경우, (i) 상기 2×2 픽셀 그룹 각각이 상기 제2 이중-노출-시간 HDR 이미지의 정확히 하나의 픽셀 값에 의해 표현되고 (ii) 상기 제2 이중-노출-시간 HDR 이미지는 상기 제1 색과 연관된 1개의 픽셀 값, 상기 제2 색과 연관된 2개의 픽셀 값 및 상기 제3 색과 연관된 1개의 픽셀을 갖는 2×2 픽셀 블록으로 이루어지도록, 상기 제2 이중-노출-시간 HDR 이미지를 생성하는 단계를 수행하는 단계를 포함하는, 방법.
  46. 제45항에 있어서,
    상기 삼중-노출-시간 HDR 컬러 이미지를 생성하는 단계는:
    상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지를 공통 스케일로 두도록, 상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지 중 적어도 하나를 스케일링하는 단계;
    상기 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 상기 4×4 픽셀 블록 각각에 대해 2×2 픽셀 블록을 포함하는 삼중-노출-시간 HDR 이미지를 생성하기 위해 상기 제1 이중-노출-시간 HDR 이미지 및 상기 제2 이중-노출-시간 HDR 이미지를 처리하는 단계 - 상기 삼중-노출-시간 HDR 이미지의 각각의 2×2 픽셀 블록은 상기 제1 색과 연관된 1개의 픽셀 값, 상기 제2 색과 연관된 2개의 픽셀 값 및 상기 제3 색과 연관된 1개의 픽셀 값으로 이루어짐 - ; 및
    상기 삼중-노출-시간 HDR 컬러 이미지를 생성하기 위해 상기 삼중-노출-시간 HDR 이미지를 디모자이싱하는 단계 - 상기 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서의 상기 4×4 픽셀 블록 각각은 상기 삼중-노출-시간 HDR 컬러 이미지의 단일의 풀-컬러 HDR 픽셀 값에 의해 표현됨 - 를 포함하는, 방법.
  47. 제35항에 있어서,
    상기 제1 이중-노출-시간 HDR 이미지를 생성하는 단계는, 적어도 상기 중간-노출-시간 픽셀이 포화도-미만 기준을 충족하는 경우, 상기 제1 이중-노출-시간 HDR 이미지의 각각의 출력 픽셀 값 V out 에 대해, 식 V out =(1-f)V M +fV S 에 따라 단-노출-시간 픽셀 값 V S 와 중간-노출-시간 픽셀 값 V M 의 선형 결합으로서 상기 출력 픽셀 값 V out 을 계산하는 단계 - 여기서 f는 상기 단-노출-시간 픽셀 값 V S 와 중간-노출-시간 픽셀 값 V M 사이의 노이즈 상회의(above-noise) 디스패리티에 적어도 부분적으로 의존하는 블렌딩 함수이며, 상기 노이즈 상회의 디스패리티는 상기 단-노출-시간 픽셀 값 V S , 상기 중간-노출-시간 픽셀 값 V M 및 상기 출력 픽셀 값 V out 의 노이즈 레벨의 함수이고, 상기 노이즈 레벨은 상기 블렌딩 함수 f의 함수임 - 를 포함하는, 방법.
  48. 제47항에 있어서,
    상기 블렌딩 함수 f는 상기 단-노출-시간 픽셀 값 V S 가 제로에 접근할 때 상기 블렌딩 함수 f를 제로를 향해 강제하는 항을 포함하는, 방법.
  49. 제47항에 있어서,
    상기 출력 픽셀 값 V out 을 계산하는 단계는, 제2 파라미터의 단일 값만에 대한 제1 파라미터의 함수로서 상기 블렌딩 함수 f를 열거하는 1차원 룩업 테이블로부터 상기 블렌딩 함수 f의 값을 추론하는 단계 - 상기 제1 파라미터는 상기 단-노출-시간 픽셀 값 V S 및 중간-노출-시간 픽셀 값 V M 중 하나를 나타내고, 상기 제2 파라미터는 상기 단-노출-시간 픽셀 값 V S 및 중간-노출-시간 픽셀 값 V M 중 다른 하나를 나타냄 - 를 포함하는, 방법.
  50. 제49항에 있어서,
    상기 블렌딩 함수 f는 상기 제1 파라미터 및 상기 제2 파라미터가 동등한 딥(dip)을 나타내며, 상기 추론하는 단계는:
    상기 제2 파라미터의 상기 단일 값과 실제 값 사이의 차만큼 상기 제1 파라미터를 시프팅하는 단계 - 상기 차는 상기 제1 파라미터와 연관된 상기 노출 시간에 맞춰서 스케일링 됨 -;
    상기 시프팅하는 단계 후에, 상기 제2 파라미터의 상기 단일 값과 상기 실제 값 사이의 비에 따라, 시프팅된 상기 제1 파라미터를 추가로 스케일링하는 단계; 및
    상기 스케일링 단계 후, 시프팅되고 스케일링된 상기 제1 파라미터에 대응하는 상기 룩업 테이블의 인덱스에서 상기 블렌딩 함수 f의 값을 판독하는 단계를 포함하는, 방법.
  51. 복수의 단-노출-시간 픽셀, 복수의 중간-노출-시간 픽셀 및 복수의 장-노출-시간 픽셀을 갖는 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서로부터 HDR(High Dynamic Range) 컬러 이미지를 생성하기 위한 기계 판독가능 명령어가 인코딩된 비일시적 메모리로서, 상기 명령어는,
    프로세서에 의해 실행될 때, (a) 상기 단-노출-시간 픽셀로부터의 단-노출-시간 픽셀 값 및 상기 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값의 제1 결합 또는 (b) 상기 중간-노출-시간 픽셀로부터의 중간-노출-시간 픽셀 값 및 상기 장-노출-시간 픽셀로부터의 장-노출-시간 픽셀 값의 제2 결합 중 어느 하나로부터 이중-노출-시간 HDR 이미지를 생성하는 이중-노출-시간 명령어; 및
    상기 프로세서에 의해 실행될 때, (a) 상기 제1 결합에 기초하는 상기 이중-노출-시간 HDR 이미지의 제1 인스턴스 및 (b) 상기 제2 결합에 기초하는 상기 이중-노출-시간 HDR 이미지의 제2 인스턴스의 결합으로부터 삼중-노출-시간 HDR 컬러 이미지를 생성하는 이중으로부터 삼중으로의(dual-to-triple) HDR 명령어
    를 포함하고,
    상기 이중-노출-시간 HDR 이미지의 제1 인스턴스는, 상기 제1 결합에 대한 상기 단-노출-시간 픽셀 값 및 상기 중간-노출-시간 픽셀 값의 상대 기여도를, 그들 사이의 디스패리티의 정도 및 상기 중간-노출-시간 픽셀 값의 포화의 정도에 적어도 부분적으로 기초하여 국부적으로 가중함으로써 생성되고,
    상기 이중-노출-시간 HDR 이미지의 제2 인스턴스는, 상기 제2 결합에 대한 상기 중간-노출-시간 픽셀 값 및 상기 장-노출-시간 픽셀 값의 상대 기여도를, 그들 사이의 디스패리티의 정도 및 상기 장-노출-시간 픽셀 값의 포화의 정도에 적어도 부분적으로 기초하여 국부적으로 가중함으로써 생성되는, 비일시적 메모리.
  52. 제51항의 비일시적 메모리; 및
    상기 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서를 포함하는, HDR 카메라.
  53. 제52항에 있어서,
    상기 삼중-노출-시간 싱글-샷 HDR 컬러 이미지 센서는 동일 4×4 픽셀 블록의 어레이를 포함하고,
    4×4 픽셀 블록 각각은 제1 색의 빛에 감응하는 1개의 제1 색 2×2 픽셀 그룹, 제2 색의 빛에 감응하는 2개의 제2 색 녹색 2×2 픽셀 그룹, 및 제3 색의 빛에 감응하는 1개의 제3 색 2×2 픽셀 그룹으로 이루어지고,
    상기 2×2 픽셀 그룹 각각은 상기 단-노출-시간 픽셀의 1개, 상기 중간-노출-시간 픽셀의 2개 및 상기 장-노출-시간 픽셀의 1개를 포함하는, HDR 카메라.
  54. 제52항의 HDR 카메라를 포함하는, 휴대폰.
KR1020207035214A 2018-06-07 2019-06-04 싱글-샷 hdr 컬러 이미지 센서로부터 hdr 이미지 생성 KR102485885B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862681789P 2018-06-07 2018-06-07
EP18176403.6 2018-06-07
EP18176403 2018-06-07
US62/681,789 2018-06-07
US201962837361P 2019-04-23 2019-04-23
US62/837,361 2019-04-23
PCT/US2019/035454 WO2019236626A2 (en) 2018-06-07 2019-06-04 Hdr image generation from single-shot hdr color image sensors

Publications (2)

Publication Number Publication Date
KR20210006443A KR20210006443A (ko) 2021-01-18
KR102485885B1 true KR102485885B1 (ko) 2023-01-09

Family

ID=67403001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035214A KR102485885B1 (ko) 2018-06-07 2019-06-04 싱글-샷 hdr 컬러 이미지 센서로부터 hdr 이미지 생성

Country Status (6)

Country Link
US (1) US11922639B2 (ko)
EP (2) EP3804294B1 (ko)
JP (1) JP7130777B2 (ko)
KR (1) KR102485885B1 (ko)
CN (2) CN113691738B (ko)
WO (1) WO2019236626A2 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110114803B (zh) * 2016-12-28 2023-06-27 松下电器（美国）知识产权公司 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
JP6840860B2 (ja) * 2017-10-23 2021-03-10 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法及びプログラム
JP6959277B2 (ja) * 2019-02-27 2021-11-02 ファナック株式会社 ３次元撮影装置および３次元撮影条件調整方法
EP3953896A1 (en) 2019-04-11 2022-02-16 Dolby Laboratories Licensing Corporation High-dynamic-range image generation with pre-combination denoising
CN112367458B (zh) * 2020-09-18 2022-04-22 格科微电子（上海）有限公司 Hdr图像的生成方法及装置、存储介质、图像处理设备
KR20220085542A (ko) * 2020-12-15 2022-06-22 에스케이하이닉스 주식회사 이미지 센싱 장치
KR20220101452A (ko) * 2021-01-11 2022-07-19 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
US11836889B2 (en) 2021-02-10 2023-12-05 Apple Inc. Dual-mode image fusion architecture
US11373281B1 (en) * 2021-02-23 2022-06-28 Qualcomm Incorporated Techniques for anchor frame switching
KR20220132128A (ko) * 2021-03-23 2022-09-30 에스케이하이닉스 주식회사 이미지 센싱 장치
CN115134508A (zh) * 2021-03-27 2022-09-30 影石创新科技股份有限公司 图像处理方法、拍摄装置、图像处理装置及可读存储介质
US11843868B2 (en) 2021-07-13 2023-12-12 SK Hynix Inc. Electronic apparatus based on multiple exposure image and operating method thereof
CN113676635B (zh) * 2021-08-16 2023-05-05 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质
CN113674193A (zh) * 2021-09-03 2021-11-19 上海肇观电子科技有限公司 图像融合方法、电子设备和存储介质
CN116210229A (zh) * 2021-09-28 2023-06-02 迪克创新科技有限公司 曝光控制电路及相关图像传感器及电子装置
CN117135471A (zh) * 2023-02-27 2023-11-28 荣耀终端有限公司 一种图像处理方法和电子设备
CN116055847B (zh) * 2023-03-28 2023-08-11 荣耀终端有限公司 图像增强处理方法和电子设备
CN117014729B (zh) * 2023-09-27 2023-12-05 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150062368A1 (en) * 2013-08-27 2015-03-05 Aptina Imaging Corporation Imaging systems and methods for generating binned high-dynamic-range images
WO2015163145A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056573A (ja) * 2002-07-22 2004-02-19 Sony Corp 映像信号処理方法、処理回路、及び撮像装置の駆動方法
US7412107B2 (en) 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
US8059174B2 (en) 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
JP2009152669A (ja) * 2007-12-18 2009-07-09 Sony Corp 撮像装置、撮像処理方法及び撮像制御プログラム
KR101391432B1 (ko) * 2008-01-22 2014-05-07 삼성전기주식회사 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법
JP4661922B2 (ja) 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
US8073246B2 (en) 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
CN101764959A (zh) * 2008-12-25 2010-06-30 昆山锐芯微电子有限公司 图像拾取系统及图像处理方法
CN101867727B (zh) * 2009-04-16 2011-12-07 华为技术有限公司 一种视频处理方法及装置
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
US8368771B2 (en) 2009-12-21 2013-02-05 Olympus Imaging Corp. Generating a synthesized image from a plurality of images
DE102010028746B4 (de) * 2010-05-07 2012-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und Verfahren zum Aufnehmen eines Bildes
WO2012027290A1 (en) * 2010-08-23 2012-03-01 Red. Com, Inc. High dynamic range video
US8994843B2 (en) * 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
US8462221B2 (en) 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
GB2488769A (en) 2011-03-07 2012-09-12 Sony Corp Image Sensor Including an Array of Primary Colour Sensitive Photosensors Being Read in Line Subsets
US9077910B2 (en) * 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
US9055178B2 (en) * 2011-08-30 2015-06-09 University Of Dayton Single-shot high dynamic range imaging
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
CN202535464U (zh) * 2012-02-27 2012-11-14 徐辰 成像装置
CN202856877U (zh) * 2012-04-18 2013-04-03 格科微电子（上海）有限公司 图像传感器
US9040892B2 (en) 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9076224B1 (en) * 2012-08-08 2015-07-07 Dolby Laboratories Licensing Corporation Image processing for HDR images
US9160936B1 (en) * 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US20140063300A1 (en) 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
US9131172B2 (en) * 2012-11-30 2015-09-08 Hanwha Techwin Co., Ltd. Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
US10255888B2 (en) * 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
US9071765B2 (en) * 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
KR101871945B1 (ko) * 2013-01-17 2018-08-02 한화에어로스페이스 주식회사 영상 처리 장치 및 방법
JP6173027B2 (ja) * 2013-05-10 2017-08-02 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
JP6121234B2 (ja) * 2013-05-10 2017-04-26 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
US9413992B2 (en) * 2013-05-20 2016-08-09 Omnivision Technologies, Inc. High dynamic range image sensor with full resolution recovery
TWI464526B (zh) * 2013-08-08 2014-12-11 Quanta Comp Inc 高動態範圍影像曝光時間控制方法
US9578223B2 (en) 2013-08-21 2017-02-21 Qualcomm Incorporated System and method for capturing images with multiple image sensing elements
JP6227935B2 (ja) * 2013-08-23 2017-11-08 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
JP6184290B2 (ja) * 2013-10-21 2017-08-23 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
CN104639920B (zh) * 2013-11-13 2018-01-26 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
JP6408372B2 (ja) 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
CN103973989B (zh) 2014-04-15 2017-04-05 北京理工大学 获取高动态图像的方法及系统
US20160037043A1 (en) * 2014-08-01 2016-02-04 Omnivision Technologies, Inc. High dynamic range (hdr) images free of motion artifacts
US9832388B2 (en) 2014-08-04 2017-11-28 Nvidia Corporation Deinterleaving interleaved high dynamic range image by using YUV interpolation
US9344639B2 (en) 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
EP3007431A1 (en) * 2014-10-10 2016-04-13 Thomson Licensing Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
GB201509384D0 (en) * 2015-06-01 2015-07-15 Apical Ltd Reducing bandwidth for HDR storage
US9813635B2 (en) 2015-08-24 2017-11-07 Motorola Mobility Llc Method and apparatus for auto exposure value detection for high dynamic range imaging
JP6603557B2 (ja) * 2015-11-25 2019-11-06 ハンファテクウィン株式会社 画像処理装置および画像処理方法
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US20170264831A1 (en) * 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method
US10148888B2 (en) * 2016-05-18 2018-12-04 Texas Instruments Incorporated Image data processing for multi-exposure wide dynamic range image data
CN107395998A (zh) 2017-08-24 2017-11-24 维沃移动通信有限公司 一种图像拍摄方法及移动终端
US11075234B2 (en) * 2018-04-02 2021-07-27 Microsoft Technology Licensing, Llc Multiplexed exposure sensor for HDR imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150062368A1 (en) * 2013-08-27 2015-03-05 Aptina Imaging Corporation Imaging systems and methods for generating binned high-dynamic-range images
WO2015163145A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム

Also Published As

Publication number Publication date
WO2019236626A2 (en) 2019-12-12
CN113691738B (zh) 2023-04-18
KR20210006443A (ko) 2021-01-18
WO2019236626A3 (en) 2020-02-06
CN112219391B (zh) 2022-05-10
EP4274250A2 (en) 2023-11-08
CN113691738A (zh) 2021-11-23
EP3804294B1 (en) 2023-08-30
EP3804294A2 (en) 2021-04-14
US11922639B2 (en) 2024-03-05
EP4274250A3 (en) 2024-01-03
JP2021526248A (ja) 2021-09-30
US20210248758A1 (en) 2021-08-12
CN112219391A (zh) 2021-01-12
JP7130777B2 (ja) 2022-09-05

Similar Documents

Publication Publication Date Title
KR102485885B1 (ko) 싱글-샷 hdr 컬러 이미지 센서로부터 hdr 이미지 생성
US7548689B2 (en) Image processing method
US8150201B2 (en) Image processing apparatus, method, and computer program with pixel brightness-change detection and value correction
JP4921591B2 (ja) 奥行きマップの計算
KR101136506B1 (ko) 화상 생성 방법, 장치 및 그 프로그램 및 프로그램을 기록한 기록매체
US8982251B2 (en) Image processing apparatus, image processing method, photographic imaging apparatus, and recording device recording image processing program
US20130308012A1 (en) Image processing apparatus, image processing method, photographic imaging apparatus, and recording device recording image processing program
CN101816171A (zh) 用于增强图像动态范围的多重曝光模式
JP6312487B2 (ja) 画像処理装置及びその制御方法、並びに、プログラム
US8615132B2 (en) Device and method for processing digital images captured by a binary image sensor
JP7253634B2 (ja) 結合前ノイズ除去による高ダイナミックレンジ画像生成
JP2016058993A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
CN110996015A (zh) 空间多重曝光
JP2008219230A (ja) 撮像装置及び画像処理方法
CN113473028A (zh) 图像处理方法、装置、摄像头组件、电子设备及介质
JP3697464B2 (ja) 文書画像処理装置、撮像装置及び文書画像処理プログラム
JP7379438B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2007325199A (ja) 撮像装置および信号処理装置
Pillman et al. Image quality in consumer digital cameras
Wu et al. A novel multiple cues based image fusing algorithm for high dynamic range image generation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant