KR101537182B1 - 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화 - Google Patents

높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화 Download PDF

Info

Publication number
KR101537182B1
KR101537182B1 KR1020137030168A KR20137030168A KR101537182B1 KR 101537182 B1 KR101537182 B1 KR 101537182B1 KR 1020137030168 A KR1020137030168 A KR 1020137030168A KR 20137030168 A KR20137030168 A KR 20137030168A KR 101537182 B1 KR101537182 B1 KR 101537182B1
Authority
KR
South Korea
Prior art keywords
image
pixels
threshold
filtered
reference point
Prior art date
Application number
KR1020137030168A
Other languages
English (en)
Other versions
KR20130138340A (ko
Inventor
루벤 엠 벨라르데
칼린 엠 아타나소브
세포 로버트 훙
량 량
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130138340A publication Critical patent/KR20130138340A/ko
Application granted granted Critical
Publication of KR101537182B1 publication Critical patent/KR101537182B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Abstract

높은 다이나믹 레인지 이미지의 화이트 밸런스를 개선시키기 위한 시스템들 및 방법들이 개시된다. 특정 실시예에서, 이미징 디바이스는 카메라 센서 및 프로세서를 포함하며, 프로세서는 장면의 보다 환한 이미지 및 보다 어두운 이미지를 캡쳐하도록 구성된다. 프로세서는 그 다음에 이미지의 보다 환한 영역들에 기초하여 보다 환한 이미지를 화이트 밸런싱하고, 이미지의 보다 어두운 영역들에 기초하여 보다 어두운 이미지를 화이트 밸런싱하도록 구성된다. 2 개의 이미지들은 그 다음에 최종 이미지를 생성하도록 결합될 수 있다.

Description

높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화{WHITE BALANCE OPTIMIZATION WITH HIGH DYNAMIC RANGE IMAGES}
본 개시물은 일반적으로 이미지들의 화이트 밸런싱에 관한 것이다. 좀더 구체적으로, 본 개시물은 높은 다이나믹 레인지 이미지들을 화이트 밸런싱하는 시스템들 및 방법들에 관한 것이다.
기술에서의 진보들은 보다 작고 보다 강력한 컴퓨팅 디바이스들을 초래했다. 예를 들어, 작고, 가볍고, 사용자들이 가지고 다니기 쉬운 휴대용 무선 전화기들, 개인 휴대 정보 단말기 (PDA) 들, 및 페이징 디바이스들과 같은 무선 컴퓨팅 디바이스들을 포함하여 다양한 휴대용 개인 컴퓨팅 디바이스들이 현재 존재한다. 좀더 구체적으로, 셀룰러 전화기들 및 인터넷 (IP) 전화기들과 같은 휴대용 무선 전화기들은 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 또한, 많은 이러한 무선 전화기들은 이에 포함되는 다른 유형의 디바이스들을 포함한다. 예를 들어, 무선 전화기는 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 재생기를 또한 포함할 수 있다. 또한, 이러한 무선 전화기들은 인터넷에 액세스하는데 이용될 수 있는 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션들을 포함하여 실행가능한 명령들을 프로세싱할 수 있다. 이와 같이, 이러한 무선 전화기들은 상당한 컴퓨팅 능력들을 포함할 수 있다.
디지털 카메라들을 포함하거나 디지털 카메라에 의해 캡쳐된 이미지 또는 비디오 데이터를 디스플레이하는 휴대용 개인 컴퓨팅 디바이스들에 디지털 신호 프로세서 (DSP) 들, 이미지 프로세서들, 및 다른 프로세싱 디바이스들이 자주 이용된다. 이러한 프로세싱 디바이스들은 비디오 및 오디오 기능들을 제공하고, 캡쳐된 이미지 데이터와 같은 수신된 데이터를 프로세싱하는데 이용될 수 있다.
디지털 카메라에 의해 캡쳐된 이미지 데이터 또는 비디오 데이터의 다이나믹 레인지는 정확하게 분해될 수 있는 가장 높은 광 레벨과 가장 낮은 광 레벨 사이의 비율을 나타낸다. 이미지의 다이나믹 레인지는 이미지의 노출 시간에 따라 달라질 수도 있다. 일부 경우들에서, 이미지는 2 개의 상이한 미리 설정된 노출 시간들을 이용하여 캡쳐될 수도 있다. 예를 들어, 장면의 제 1 노출이 촬영되고, 그 다음에 노출 시간의 1/2, 1/3, 또는, 1/4 에서 장면의 제 2 노출이 캡쳐된다. 제 1 노출은 보다 어두운 이미지 구역들을 제공하는데 이용되고, 제 2 노출, 보다 단기 노출은 보다 환한 이미지 구역들을 제공하는데 이용된다. 결과로 초래된 2 개의 노출들이 그 다음에 결합되어 이미지의 환한 구역 및 어두운 구역에서 적정한 노출을 갖는 높은 다이나믹 레인지 (HDR) 이미지를 형성한다. 그러나, 이러한 방법이 고정된 노출 시간들을 이용하기 때문에, 제 1 프레임의 노출의 퍼센트에 따라 제 2 프레임이 항상 캡쳐되기 때문에, 환한 구역 및 어두운 구역을 캡쳐한다는 점에서 융통성을 제공하지 않는다.
또한, 종래의 화이트 밸런스 알고리즘들은 특정 이미지에 대한 화이트 밸런스 이득들의 단일 세트를 이용한다. 이러한 종래의 기법들이 높은 다이나믹 레인지 이미지에 적용되는 경우, 복합 이미지의 2 개 이상의 이미지 구역들의 달라지는 조도가 부적정한 화이트 밸런스를 강요하고 결과로 초래된 이미지의 품질을 손상시킬 수 있다.
개시된 기법은 위에서 설명된 문제점들을 해결한다. 먼저, 높은 다이나믹 레인지 (high dynamic range) 를 형성하기 위해 결합될 각각의 소스 이미지의 노출이 특정 조명원에 대해 최적화된다. 예를 들어, 일 소스 이미지가 노출되어 장면의 어두운 영역에 대해 최적화되는 반면, 제 2 소스 이미지의 노출 파라미터들은 장면의 밝은 영역에 대해 최적화된다. 이러한 기법은 선행 기술 중 일부와 관련하여 위에서 설명된 고정된 노출 브라켓팅 (bracketing) 으로부터 기인하는 차선의 노출들을 제거한다.
다음으로, 이미지의 노출이 최적화된 영역에 기초하여 각각의 소스 이미지가 화이트 밸런싱된다. 예를 들어, 제 1 소스 이미지의 노출이 제 1 소스 이미지의 밝은 영역에 대해 최적화된 경우, 제 1 소스 이미지의 화이트 밸런스는 오직 바로 그 밝은 영역으로부터의 데이터에만 기초한다. 유사하게, 어두운 영역을 캡쳐하도록 최적화된 노출을 갖는 이미지가 그 다음에 그 어두운 영역에 기초하여 밸런싱된다. 이미지들 양자 모두의 화이트 밸런스 방법은 노출 파라미터들의 고려에 의해 더 개선된다.
특성 실시예에서, 적어도 하나의 센서로부터 장면의 제 1 이미지를 캡쳐하는 단계를 포함하는 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법이 개시되는데, 여기서 제 1 이미지는 밝은 영역 및 어두운 영역을 가지고, 여기서 밝은 영역에 기초한 제 1 노출 설정을 이용하여 제 1 이미지가 캡쳐되고 여기서 제 1 이미지의 화이트 밸런스는 밝은 영역에 의해 결정된다. 방법은 적어도 하나의 센서로부터 장면의 제 2 이미지를 캡쳐하는 단계 (여기서 어두운 영역에 기초한 제 2 노출 설정을 이용하여 제 2 이미지가 캡쳐되고, 여기서 제 2 이미지의 화이트 밸런스는 어두운 영역에 의해 결정된다), 및 제 1 이미지와 제 2 이미지를 결합함으로써 높은 다이나믹 레인지 디지털 이미지를 발생시키는 단계를 포함한다.
방법의 일 실시예에서, 높은 다이나믹 레인지 디지털 이미지는 제 1 이미지의 밝은 영역을 제 2 이미지의 어두운 영역과 결합함으로써 생성된다. 다른 실시예에서, 제 1 영역의 화이트 밸런스는 또한 제 1 노출 설정에 기초하여 결정되고, 제 2 영역의 화이트 밸런스는 또한 제 2 노출 설정에 기초하여 결정된다. 일부 실시예들에서, 화이트 밸런스는 오직 제 1 이미지의 밝은 영역 및 제 2 이미지의 어두운 영역에만 적용된다. 다른 실시예들에서, 제 1 이미지의 제 1 휘도 히스토그램을 형성하며, 제 1 휘도 히스토그램으로부터 임계치를 식별하고, 임계치에 기초하여 밝은 영역을 결정함으로써 제 1 노출 설정이 결정된다. 일부 실시예들에서는, 오직 하나의 센서만이 있다. 다른 실시예들에서는, 적어도 2 개의 센서들이 있고, 제 1 센서에 의해 제 1 이미지가 캡쳐되고 제 2 센서에 의해 제 2 이미지가 캡쳐된다.
다른 실시예들은 카메라 센서를 포함하는 이미징 디바이스, 및 적어도 하나의 센서로부터 장면의 제 1 이미지를 캡쳐하도록 구성되는 프로세서를 포함하는데, 여기서 제 1 이미지는 밝은 영역 및 어두운 영역을 가지고, 여기서 제 1 이미지는 밝은 영역에 기초한 제 1 노출 설정을 이용하여 캡쳐되고 여기서 제 1 이미지의 화이트 밸런스는 밝은 영역에 의해 결정된다. 프로세서는 적어도 하나의 카메라 센서로부터 장면의 제 2 이미지를 캡쳐하도록 더 구성되는데, 여기서 제 2 이미지는 어두운 영역에 기초한 제 2 노출 설정을 이용하여 캡쳐되고 여기서 제 2 이미지의 화이트 밸런스는 어두운 영역에 의해 결정된다. 프로세서는 또한 제 1 이미지와 제 2 이미지를 결합하여 최종 이미지를 생성하도록 구성된다. 실시예의 디바이스는 또한 최종 이미지를 저장하기 위한 저장부를 포함한다.
디바이스의 일부 실시예들에서, 제 1 이미지의 제 1 휘도 히스토그램을 형성하며, 제 1 휘도 히스토그램으로부터 임계치를 식별하고, 임계치에 기초하여 밝은 영역을 결정함으로써 제 1 노출 설정이 결정된다. 다른 실시예들에서, 디바이스는 제 2 카메라 센서를 더 포함하는데, 여기서 적어도 하나의 센서는 제 1 카메라 센서 및 제 2 카메라 센서를 포함하는 2 개의 센서들이다. 일부 실시예들에서, 최종 이미지는 스냅샷이다. 일부 실시예들에서 이미징 디바이스의 프로세서는 제 1 노출 설정에 기초하여 제 1 영역의 화이트 밸런스를 결정하고 제 2 노츨 설정에 기초하여 제 2 영역의 화이트 밸런스를 결정하도록 더 구성된다. 일부 실시예들에서, 이미징 디바이스의 프로세서는 반복하여 그의 단계들을 수행하도록 구성된다. 이미징 디바이스의 일부 실시예들에서, 프로세서는 제 1 노출 설정에 기초하여 제 1 영역의 화이트 밸런스를 결정하고 제 2 노출 설정에 기초하여 제 2 영역의 화이트 밸런스를 결정하도록 더 구성된다. 이미징 디바이스의 다른 실시예들에서, 프로세서는 제 1 노출 설정에 기초하여 제 1 영역의 화이트 밸런스를 결정하고 제 2 노출 설정에 기초하여 제 2 영역의 화이트 밸런스를 결정하도록 더 구성된다.
일부 실시예들은 프로세서로 하여금 적어도 하나의 센서로부터 장면의 제 1 이미지를 캡쳐하고, (여기서 제 1 이미지는 밝은 영역 및 어두운 영역을 가지고, 여기서 제 1 이미지는 밝은 영역에 기초한 제 1 노출 설정을 이용하여 캡쳐되고 제 1 이미지의 화이트 밸런스는 밝은 영역에 의해 결정된다), 적어도 하나의 센서로부터 장면의 제 2 이미지를 캡쳐하고 (여기서 제 2 이미지는 어두운 영역에 기초한 제 2 노출 설정을 이용하여 캡쳐되고, 여기서 제 2 이미지의 화이트 밸런스는 어두운 영역에 의해 결정된다), 제 1 이미지와 제 2 이미지가 결합하여 최종 이미지를 생성하도록 동작가능한 프로세서 실행가능 제 1 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체를 포함한다. 일부 실시예들에서, 제 1 이미지의 제 1 휘도 히스토그램을 형성하며, 제 1 휘도 히스토그램으로부터 광 임계치를 식별하고, 광 임계치에 기초하여 밝은 영역을 결정함으로써 제 1 노출 설정이 결정된다. 다른 실시예들은 또한 프로세서로 하여금 반복하여 제 1 명령들을 실행하도록 동작가능한 제 2 명령들을 포함한다.
높은 다이나믹 레인지 이미지를 결합하기 위한 개선된 화이트 밸런스의 실시예들에 의해 제공된 일 특정 이점은 최종 이미지를 구성하는데 이용되는 달라지는 노출 시간들에도 불구하고 실제 이미지 조도의 보다 정확한 표현이다.
본 개시물의 다른 양상들, 이점들, 및 특징부들은, 다음의 섹션들: 도면의 간단한 설명, 발명의 상세한 설명, 및 청구항들을 포함하여, 전체 출원서의 검토 후에 자명해질 것이다.
도 1 은 높은 다이나믹 레인지 (high dynamic range; HDR) 결합 모듈 및 HDR 압축 모듈을 갖는 이미지 프로세싱 시스템을 포함하는 일 시스템의 특정 예시적인 실시예의 블록 다이어그램이다.
도 2 는 자동 노출 제어 시스템의 일 예시적인 실시예의 데이터 흐름 다이어그램이다.
도 3 은 영역 식별 모듈 및 자동 화이트 밸런스 모듈을 포함하는 높은 다이나믹 레인지 이미지 결합 시스템의 일 예시적인 실시예의 블록 다이어그램이다.
도 4a 및 도 4c 는 2 개의 이미지들이다. 도 4a 는 짧은 노출로 촬영되고, 도 4c 는 긴 노출로 촬영된다. 도 4b 및 도 4d 는 화이트 밸런스 동작을 최적화하는데 적합한 각각의 이미지 내의 영역들의 식별을 도시한다.
도 5 는 영역 식별 모듈의 일 예시적인 실시예의 플로우 차트이다.
도 6 은 환한 영역 및 어두운 영역을 갖는 휘도 히스토그램에 대한 임계치들을 보여주는 그래프이다.
도 7 은 높은 다이나믹 레인지 이미지 결합 방법의 제 1 예시적인 실시예의 플로우 다이어그램이다.
도 8 은 디지털 이미지를 자동적으로 화이트 밸런싱하는 방법의 일 예시적인 실시예의 플로우 차트이다.
도 9 는 자동 화이트 밸런싱 프로세스의 일부분으로서 프레임 통계치들을 수집하는 방법의 일 예시적인 실시예의 플로우 차트이다.
도 10 은 자동 화이트 밸런싱 방법의 일부분으로서 참조 광원을 결정하기 위해 프레임 통계치들을 분석하는 방법의 일 예시적인 실시예의 플로우 차트이다.
도 11 은 높은 다이나믹 레인지 결합 모듈을 포함하는 디바이스의 특정 실시예의 블록 다이어그램이다.
도 12 는 높은 다이나믹 레인지 결합 모듈을 포함하는 무선 통신 디바이스의 블록 다이어그램이다.
본원에 개시된 구현예들은 높은 다이나믹 레인지 이미지를 화이트 밸런싱하는 시스템들, 방법들, 및 장치들을 제공한다. 특히, 본 실시예들은 장면의 어두운 영역 또는 밝은 영역 중 어느 일방에 기초하여 장면의 이미지를 캡쳐하는 것을 고려한다. 실시예들은 밝은 영역 또는 어두운 영역 중 어느 일방에 기초하여 이미지를 화이트 밸런싱하는 것을 더 고려한다. 이러한 실시예들은 하드웨어, 소프트웨어, 펌웨어, 또는 이의 임의의 조합으로 구현될 수도 있음을 당업자는 인식할 것이다.
다음의 설명에서, 예들에 대한 완전한 이해를 제공하기 위해 특정 세부사항들이 주어진다. 그러나, 예들은 이러한 특정 세부사항들이 없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들어, 불필요한 세부사항으로 예들을 모호하게 하지 않기 위해 전기 컴포넌트들/디바이스들은 블록 다이어그램들로 도시될 수도 있다. 다른 사례들에서, 이러한 컴포넌트들, 다른 구조들, 및 기법들이 상세히 도시되어 예들을 추가적으로 설명할 수도 있다.
예들은 프로세스로서 설명될 수도 있으며, 프로세스는 플로우차트, 플로우 다이어그램, 유한 상태 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로 도시됨에 또한 유의한다. 플로우차트가 동작들을 순차적인 프로세스로 설명할지라도, 동작들 중 많은 동작들은 병렬로, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 프로세스의 동작들이 완료되는 경우 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 기능에 대응하는 경우, 프로세스의 종료는 호 함수 또는 메인 함수로의 함수의 반환에 대응한다.
당업자라면, 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 사용하여 표현될 수도 있음을 이해할 것이다. 예를 들어, 위의 설명을 통해 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기 장들 혹은 자기 입자들, 광학 필드들 혹은 광 입자들, 또는 이의 임의의 조합으로 표현될 수도 있다.
도 1 은 높은 다이나믹 레인지 (HDR) 결합 모듈 (116), 및 지역 및 전역 맵핑을 이용하는 HDR 압축 모듈 (118) 을 갖는 이미지 프로세싱 시스템 (130) 을 포함하는 시스템의 특정 예시적인 실시예의 블록 다이어그램이다. 시스템 (100) 은 이미지 프로세싱 시스템 (130) 에 커플링된 이미지 캡쳐 디바이스 (101) 를 포함한다. 이미지 프로세싱 시스템 (130) 은 이미지 저장 디바이스 (140) 및 디스플레이 디바이스 (170) 에 커플링된다. 이미지 프로세싱 시스템 (130) 은 상이한 노출 시간들을 이용하여 이미지 캡쳐 디바이스 (101) 로부터 다수의 세트의 이미지 데이터 (109) 를 수신하고, 낮은 다이나믹 레인지 (low dynamic range; LDR) 전송, 저장, 및 디스플레이 메커니즘들과 호환가능한 HDR 이미지를 형성하도록 구성된다. 일반적으로, 시스템 (100) 은 상대적으로 제한된 프로세싱 자원들을 이용하여 실시간 이미지 프로세싱을 수행하도록 구성되는 전자 디바이스에 구현될 수도 있다.
특정 실시예에서, 이미지 캡쳐 디바이스 (101) 는 비디오 카메라 또는 스틸 (still) 카메라와 같은 카메라이다. 이미지 캡쳐 디바이스 (101) 는 초점 모듈 (104) 및 노출 모듈 (106) 에 응답하는 렌즈 (102) 를 포함한다. 이미지 센서 (108) 는 렌즈 (102) 를 통해 광을 수신하고, 렌즈 (102) 를 통해 수신된 이미지에 응답하여 이미지 데이터 (109) 를 발생시키도록 커플링된다. 초점 모듈 (104) 은 센서 (108) 에 응답할 수도 있고, 렌즈 (102) 의 초점을 자동적으로 제어하도록 구성될 수도 있다. 노출 모듈 (106) 은 또한 센서 (108) 에 응답할 수도 있고, 이미지의 노출을 제어하고 HDR 이미지로 결합될 다수의 이미지들의 노출들을 달리하도록 구성될 수도 있다. 특정 실시예에서, 센서 (108) 는 다수의 검출기들, 또는 인접한 검출기들이 광의 상이한 색상들을 검출하도록 배열되는 픽셀 웰 (pixel well) 들을 포함한다. 예를 들어, 수신된 광은 각각의 검출기가 빨간색, 녹색, 또는 파란색의 입사 광을 수신하도록 필터링된다.
일부 실시예들, 특히 모바일 디바이스들에서 구현된 것들에서는, 센서가 노출 시간 및 이득 설정들을 포함하는 것이 흔하다. 이러한 실시예들에서, 자동 노출 모듈 (106) 은 노출 및 이득 제어를 위해 렌즈 (102) 뿐만 아니라, 조리개 (aperture) 및 셔터 제어를 위해 센서 (108) 도 제어할 것이다. 기계식 셔터 및 조리개 제어는 고급의, 보다 비싼 실시예들에서를 제외하고는 이러한 디바이스들에서는 일반적으로 이용되지 않는다.
이미지 캡쳐 디바이스 (101) 는 이미지 프로세싱 시스템 (130) 에 이미지 데이터 (109) 를 제공하도록 커플링된다. 이미지 프로세싱 시스템 (130) 은 센서 (108) 로부터 수신된 이미지 데이터 (109) 에 대해 디모자이크 동작을 수행하는 디모자이크 (demosaic) 모듈 (110) 을 포함한다. 색상 및 감마 정정 모듈 (112) 은 디모자이크된 이미지 데이터에 대해 색상 정정을 수행하고 감마 정정된 이미지 데이터를 발생시키도록 구성된다. 색상 변환 모듈 (114) 은 감마 정정된 이미지 데이터에 색상 공간 변환을 수행하도록 커플링된다.
이미지 프로세싱 시스템 (130) 은 또한 높은 다이나믹 레인지 (HDR) 결합 모듈 (116), 및 지역 및 전역 맵핑을 이용하는 HDR 압축 모듈 (118) 을 포함한다. HDR 결합 모듈 (116) 은 단축된 노출 시간을 이용하여 캡쳐되는 제 1 낮은 다이나믹 레인지 이미지 (160) 를 보다 장기 노출 시간을 이용하여 캡쳐되는 제 2 낮은 다이나믹 레인지 이미지 (162) 와 결합하도록 구성된다. 낮은 다이나믹 레인지 (LDR) 이미지들 (160 및 162) 은 높은 다이나믹 레인지 이미지 (164) 를 형성하도록 결합된다. 지역 및 전역 맵핑을 이용하는 HDR 압축 모듈 (118) 은 JPEG (Joint Photographic Experts Group) 인코딩과 같은 전송 계층, 또는 디스플레이 디바이스 (170) 와 같은 디스플레이 디바이스와 호환가능한 비트 범위로 높은 다이나믹 레인지 이미지 (164) 를 압축하도록 구성된다.
압축 및 저장 모듈 (120) 은 HDR 압축 모듈 (118) 의 출력을 수신하여, 압축된 HDR 파일 (166) 로서 이미지 저장 디바이스 (140) 에 출력 데이터를 저장하도록 커플링된다. 예를 들어, 압축 및 저장 모듈 (120) 은 JPEG 인코딩을 이용하여 저장될 HDR 압축 모듈 (118) 의 출력물을 인코딩하도록 구성될 수도 있다. 이미지 저장 디바이스 (140) 는 하나 이상의 디스플레이 버퍼들, 레지스터들, 캐시들, 플래시 메모리 소자들, 하드 디스크들, 임의의 다른 저장 디바이스, 또는 이들의 임의의 조합과 같은 임의의 유형의 저장 매체를 포함할 수도 있다. 이미지 저장 디바이스 (140) 는 디스플레이 디바이스 (170) 에서 HDR 이미지 (168) 로서 디스플레이하기 위해 압축된 HDR 파일 (166) 이 검색가능하도록 디스플레이 디바이스 (170) 가 접근가능할 수도 있다.
동작 중에, 시스템 (100) 은 대표 이미지 (150) 의 적어도 2 개의 이미지의 캡쳐 동작들을 수행할 수도 있다. 이미지 (150) 는 태양으로 도시된 밝은 영역, 뿐만 아니라 나무의 그림자로 도시된 어두운 영역을 포함한다. 낮은 다이나믹 레인지 이미지 (160) 는 센서 (108) 에서 단축된 노출 시간에 응답하여 캡쳐되는 이미지 데이터를 포함할 수도 있다. 단축된 노출 시간은 센서 (108) 가 이미지 (150) 의 보다 밝은 영역들 내의 세부사항들을 캡쳐하는 것을 가능하게 할 수도 있다. 예를 들어, 단축된 노출 시간은 나무의 그림자와 같은 보다 어두운 구역들의 세부사항이 캡쳐되지 않을 수도 있는 결과 태양의 영역에서 센서 픽셀들의 포화를 방지할 수도 있다. 다시 말해, 제 2 낮은 다이나믹 레인지 이미지 (162) 는 이미지 (160) 의 노출 시간의 2 배와 같은 보다 장기 노출 시간에서 센서 (108) 에 의해 캡쳐된 이미지 데이터를 포함할 수도 있다. 보다 장기 노출 시간은 센서 (108) 가 이미지 (150) 의 보다 어두운 부분들의 세부사항을 캡쳐하는 것을 가능하게 하나, 밝은 영역들의 부근에서 센서 (108) 의 픽셀들이 포화되게 한다.
이미지 프로세싱 시스템 (130) 내에서, 제 1 LDR 이미지 (160) 는 밝은 구역들 사이의 대비 (contrast) 를 제공하나 보다 어두운 구역들 사이의 대비는 제공하지 않는 반면, 제 2 LDR 이미지 (162) 는 보다 어두운 구역들에서의 대비를 제공할 수도 있으나, 밝은 구역들은 없어지거나 또렷하지 않은 것으로 보일 수도 있다. 낮은 다이나믹 레인지 이미지들 (160 및 162) 을 결합하여 높은 다이나믹 레인지 이미지 (164) 를 형성함으로써, 이미지 프로세싱 시스템 (130) 은 이미지 데이터가 태양 주위의 밝은 구역들 및 또한 나무의 그림자 주위의 보다 어두운 구역들에서의 세부사항들을 포함하는 것을 가능하게 한다. 그러나, 그 결과로 생긴 HDR 이미지 (164) 는 JPEG 계층과 같은 전송 계층, 또는 디스플레이 디바이스 (170) 와 같은 디스플레이 디바이스에 의해 지원될 수 있는 것보다 상당히 많은 정보를 요구할 수도 있다. 낮은 다이나믹 레인지 이미지들 (160 및 162) 의 양자 모두가, 예를 들어, 0-255 의 범위를 갖는 8 비트 값들로 픽셀 휘도 값들을 표현할 수도 있는 경우, HDR 이미지 (164) 는, 예를 들어, 0-65,535 의 범위를 수용하기 위해 16 비트 값을 이용하여 픽셀 휘도 값들을 표현할 수도 있다. 그러나, 디스플레이 디바이스 (170) 는 오직 픽셀당 8 비트 휘도 값만을 지원할 수도 있다. 따라서, HDR 이미지 (164) 의 16 비트 휘도 값들은 디스플레이 디바이스 (170) 에서 디스플레이가능하도록 8 비트 값들로 압축된다.
HDR 압축 모듈 (118) 은 지역 톤 맵핑 및 전역 톤 맵핑 양자 모두를 이용하여 HDR 이미지 (164) 를 압축한다. 예를 들어, 전역 톤 맵핑은 전체 HDR 이미지 (164) 에 걸친 휘도 값들의 분포에 기초하여 높은 다이나믹 레인지 이미지의 많은 수의 휘도 값들을 보다 적은 수의 휘도 값들로 감소시키는데 이용될 수도 있다. 그러나, 전역 톤 맵핑이 HDR 이미지 (164) 의 임의의 특정 영역에는 차선일 수도 있다. 예를 들어, 전역 톤 맵핑은 태양 주위의 밝은 구역 및 나무의 밑동에서의 음영진 구역 양자 모두에 대해 충분히 큰 다이나믹 레인지를 제공하지 않을 수도 있다. 이에 반해, 지역 톤 맵핑은 높은 다이나믹 레인지 이미지를 다수의 영역들로 지역적으로 나누고, 영역별 기준 (region-by-region basis) 으로 휘도 값들의 감소된 범위에 픽셀 휘도 값들을 선택적으로 맵핑할 수도 있다. 따라서, 지역 톤 맵핑은 휘도 값들의 감소된 범위로의 다이나믹 레인지의 보다 지역적으로 효과적인 맵핑을 가능하게 할 수도 있으나, 이미지의 다수의 영역들에 걸친 균일성의 손실을 초래할 수도 있다.
HDR 압축 모듈 (118) 은 수신된 HDR 이미지 데이터에 기초하여 전역 톤 맵핑 및 또한 지역 톤 맵핑을 수행하고, 픽셀별 기준으로, 지역 톤 맵핑, 전역 톤 맵핑, 또는 지역 톤 맵핑과 전역 톤 맵핑의 가중된 결합을 선택할 수도 있다. 예를 들어, 고려 중인 픽셀이 휘도 값들의 높은 변동의 구역에 있는 경우, HDR 압축 모듈 (118) 은 로컬 맵핑의 보다 큰 가중치를 선택하여 픽셀의 영역에서 휘도 값들의 보다 큰 다이나믹 레인지를 제공할 수 있다. 그에 반해서, 특정 픽셀의 이웃에서 상당한 양의 휘도 변동이 없는 경우, HDR 압축 모듈 (118) 은 이미지에 걸친 보다 좋은 균일성을 위해 전역 톤 맵핑의 보다 큰 가중치를 선택할 수도 있다.
상이한 노출 값들을 이용하여 하나 이상의 낮은 다이나믹 레인지 이미지들 (160, 162) 을 결합하고, 그 다음에 지역 톤 맵핑 및 전역 톤 맵핑을 이용하여 결과로 초래된 HDR 이미지 (164) 를 압축함으로써, 시스템 (100) 은 보다 낮은 다이나믹 레인지 기술들과의 호환성을 유지하면서 관심 영역들에서 효과적으로 보다 큰 다이나믹 레인지를 제공하는 이미지 생성을 가능하게 한다. 또한, 지역 톤 맵핑된 픽셀 값들과 전역 톤 맵핑된 픽셀 값들을 선택적으로 결합하여 HDR 이미지 (164) 를 보다 적은 범위의 휘도 값들로 압축함으로써, 특정 이미지 특성들에 기초하여 알맞은 맵핑 기법 또는 맵핑 기법들의 혼합이 선택될 수 있고, 맵핑 기법들의 선택은 이미지 특성들이 달라짐에 따라 이미지에 걸쳐 달라질 수도 있다.
비록 도 1 에 도시된 특성 실시예에서 이미지 캡쳐 디바이스 (102) 는 단일 센서 (108) 를 갖는 것으로 도시되나, 다른 실시예들에서 이미지 캡쳐 디바이스 (102) 는 다수의 센서들을 가질 수도 있다. 예를 들어, 이미지 캡쳐 디바이스 (102) 는 상이한 노출 설정들을 이용해 특정 장면의 다수의 동시 이미지 캡쳐들을 수행하여 LDR 이미지들 (160 및 162) 을 제공하도록 구성된 2 개 이상의 센서들을 가질 수도 있다. 다수의 센서들을 갖는 일 실시예에서, 센서들은 동일할 필요가 없고 대신에 상이한 속성들을 가질 수도 있다.
다른 실시예들은 다수의 센서들을 다수의 이미지 프로세싱 시스템들 (130) 과 커플링할 수도 있다. 각각의 센서에 대한 별도의 이미지 프로세싱 시스템 (130) 을 포함함으로써, 각각의 센서의 데이터의 프로세싱 속도가 증가될 수 있는데, 2 개의 센서들 사이에 이미지 프로세싱 시스템 (130) 을 공유할 필요가 없기 때문이다. 이러한 실시예들은 소정의 비디오 애플리케이션들과 같은 최소의 프로세싱 지연과 함께 높은 프레임 레이트들이 요구되는 경우에 유용할 수도 있다.
도 2 를 참조하면, 자동 노출 제어의 일 예시적인 실시예의 데이터 흐름이 도시되고 일반적으로 200 으로 지명된다. 데이트 흐름은 2 세트의 제어 파라미터들 (205 및 215) 중 하나에 기초하여 이미지 데이터를 캡쳐하는 이미징 센서 (210) 에서 시작한다. 이미지 데이터는 그 다음에 게이트 (280) 로 흘러간다. 게이트 (280) 의 포지션에 따라, 이미지 데이터는 그 다음에 상부 경로 및 모듈 (220), 또는 하부 경로 및 모듈 (230) 중 어느 일방으로 흘러간다. 게이트 (280) 의 포지션은 이미징 센서 (210) 가 장기 노출 설정들 (205) 또는 단기 노출 설정들 (215) 을 이용하여 이미지를 캡쳐했는지의 여부에 의해 결정된다. 일 실시예에서, 이미징 센서 (210) 는 2 세트의 설정들 사이를 교번하여, 게이트가 또한 대응하는 상부 데이터 경로와 하부 데이터 경로 사이를 교번하도록 한다. 모듈 (220) 로의 상부 데이터 경로 다음으로, 모듈 (220) 은 이미지의 밝은 영역들 상의 통계치들을 수집한다. 이러한 통계치들은 추후에 논의되는 오프 페이지 참조 (off-page reference) (225) 를 통해 자동 화이트 밸런스 모듈에 전송된다. 통계치들은 또한 모듈 (240) 로 이동하여, 명도 목표에 대해 비교하여 이미지의 전체 명도의 결정을 가능하게 한다. 다음으로, 이미지의 전체 명도가 모듈 (250) 로 전송되는데, 여기서 다음의 단기 노출 이미지를 캡쳐하기 위한 준비에서 노출 파라미터들이 업데이트된다. 이러한 새로운 노출 파라미터들은 그 다음에 이미징 센서 (210) 의 명도 설정들 (215) 로 흘러간다.
게이트 (280) 로부터 하부 브랜치에 뒤이어, 이미지 데이터는 모듈 (230) 로 흘러가는데, 여기서 이미지 데이터의 어두운 영역에 대한 영역 통계치들이 계산된다. 이러한 통계치들은 하기에서 논의되는 오프 페이지 참조 (235) 를 통해 자동 화이트 밸런스 모듈로 또한 전송된다. 통계치들은 또한 모듈 (260) 로 전송되는데, 여기서 이미지의 전체 명도가 어두운 이미지의 목표 명도와 비교된다. 이러한 계산의 결과들은 모듈 (270) 로 전송되는데, 여기서 이미징 센서에 의해 캡쳐될 다음 장기 노출 이미지를 위한 준비에서, 임의의 필요한 노출 제어 파라미터들이 조정되어 암도 설정들 (205) 로 전송된다.
다수의 이미징 센서들을 이용하는 실시예들에서는, 게이트 (280) 에 대한 필요성이 없어짐에 유의한다. 대신에, 제 1 이미징 센서는 밝은 영역 통계치 파싱 모듈 (220) 에 직접적으로 이미지 데이터를 전송한다. 제 1 이미징 센서는 명도 설정들 모듈 (215) 로부터 그것의 설정들을 판독한다. 제 2 이미징 센서는 어두운 영역 통계치 파싱 모듈 (230) 에 직접적으로 이미지 데이터를 전송하여, 암도 설정들 모듈 (205) 로부터 그것의 설정들을 판독한다.
따라서, 자동 노출 제어 루프라고도 알려진, 도 2 로 도시된 시스템은 적어도 하나의 센서로부터 장면의 이미지를 캡쳐하는 일 수단을 표현하는데, 여기서 이미지는 밝은 영역 및 어두운 영역을 갖는다. 이미징 센서가 명도 설정들 모듈 (215) 로부터 그것의 설정들을 판독하고, 게이트 (280) 가 모듈 (220) 로 데이터가 흐르도록 허용하는 경우, 도 2 로 도시된 시스템은 밝은 영역에 기초한 노출 설정을 이용하여 캡쳐될 이미지에 대한 수단을 표현한다. 이미징 센서는 암도 설정들 모듈 (205) 로부터 그것의 설정들을 판독하고, 게이트 (280) 는 모듈 (230) 로 데이터가 흐르도록 허용하는 경우, 도 2 로 도시된 시스템은 어두운 영역에 기초한 노출 설정을 이용하여 캡쳐될 이미지에 대한 수단을 표현한다.
도 3 을 참조하면, 높은 다이나믹 레인지 (HDR) 이미지 결합 시스템의 일 예시적인 실시예가 도시되고, 일반적으로 300 으로 지명된다. 시스템 (300) 은 이미지 등록 모듈 (302), 이미지 스케일링 모듈 (304), 영역 식별 모듈 (306), 자동 화이트 밸런드 모듈 (308), 및 이미지 결합 모듈 (310), 그리고 가중 함수 (350) 를 포함한다. 시스템 (300) 은 제 1 이미지 데이터 (312) 와 제 2 이미지 데이터 (314) 를 결합하여 HDR 이미지 데이터 (316) 를 생성시킨다. 일 예시적인 실시예에서, 시스템 (300) 은 도 1 의 HDR 결합 모듈 (116) 내에 포함될 수도 있다.
제 1 이미지 데이터 (312) 는 제 1 노출 시간을 이용하는 이미지에 대응하는 이미지 센서의 출력을 포함할 수도 있는 반면, 제 2 이미지 데이터 (314) 는 제 2 노출 시간을 이용하는 이미지에 대응하는 동일한 이미지 센서 (또는 다른 이미지 센서) 의 출력을 포함할 수도 있다. 예를 들어, 제 1 이미지 데이터 (312) 는 N 의 노출 시간을 이용하여 노출될 수도 있는 반면, 제 2 이미지 데이터 (314) 는 1.5N, 2N, 4N, 또는 N 의 임의의 다른 정수나 비정수 배수의 노출 시간을 이용하여 노출될 수도 있다.
특정 실시예에서, 이미지 등록 모듈 (302) 은 제 1 이미지 데이터 (312) 및 제 2 이미지 데이터 (314) 를 수신하는 명령들을 포함하도록 구성된다. 이미지 등록 모듈 (302) 은 이미지들의 정확한 등록을 가능하게 하기 위해 제 1 이미지 데이터 (312) 및 제 2 이미지 데이터 (314) 에 대한 하나 이상의 오프셋들을 결정하여 제 1 정렬된 이미지 데이터 (318) 및 제 2 정렬된 이미지 데이터 (330) 를 발생시키도록 하기 위한 명령들로 구성될 수도 있다. 예를 들어, 예를 들어, 제 1 이미지 데이터 (312) 는 손 떨림이나 다른 카메라 모션과 같은 카메라의 이동, 또는 이미지 내의 오브젝트들의 이동으로 인해 제 2 이미지 데이터 (314) 로부터 오프셋될 수도 있다. 이미지 등록 모듈 (302) 은 이미지 데이터 (312 및 314) 의 영역들 또는 픽셀들에 대응하는 하나 이상의 모션 벡터들을 결정하는 명령들을 포함할 수도 있다. 모션 벡터들은 각각의 이미지의 대응하는 부분들이 제 1 정렬된 이미지 데이터 (318) 및 제 2 정렬된 이미지 데이터 (330) 에서 각각의 이미지의 실질적으로 동일한 픽셀 위치들에 위치되도록 제 1 이미지 데이터 (312) 및 제 2 이미지 데이터 (314) 중 적어도 하나의 이미지 데이터가 조정되는 것을 가능하게 한다.
이미지 스케일링 모듈 (304) 은 정렬된 이미지 데이터 (318 및 320) 중 하나 이상의 정렬된 이미지 데이터의 다양한 픽셀 레벨들의 강도를 수정하여 제 1 스케일링된 이미지 데이터 (322) 및 제 2 스케일링된 이미지 데이터 (334) 를 발생시키는 명령들을 포함하도록 구성된다. 예를 들어, 제 2 정렬된 이미지 데이터 (320) 가 제 1 정렬된 이미지 데이터 (318) 의 노출 시간의 2 배와 같은 노출 시간을 갖는 경우, 제 1 정렬된 이미지 데이터 (318) 의 각각의 픽셀에 대응하는 휘도 값들은 제 2 정렬된 이미지 데이터 (320) 와 동일한 시간의 양 동안 노출되었을 때 픽셀이 수신했었을 대략적인 광의 양을 보상하도록 조정될 수도 있다. 또한, 휘도 값들의 스케일링은 즉시 (on the fly) 모듈 (304) 내의 명령들에 의해 추정될 수도 있다. 특정 실시예에서, 제 1 정렬된 이미지 데이터 (318) 의 휘도 값들의 스케일링의 일 결과는 제 1 정렬된 이미지 데이터 (318) 의 스케일링된 휘도 값들의 범위가 낮은 다이나믹 레인지 이미지 데이터 포맷에서 이용가능한 수의 휘도 값들을 초과할 수도 있는 것이다. 따라서, 제 1 스케일링된 이미지 데이터 (322) 는 제 1 이미지 데이터 (312) 보다 각각의 픽셀에 대해 보다 큰 수의 데이터 비트들을 이용하여 표현될 수도 있다.
특정 실시예에서, 이미지 스케일링 모듈 (304) 은 제 1 이미지 및 제 2 이미지의 상대적 노출 시간들에 기초하여 제 1 정렬된 이미지 데이터 (318) 또는 제 2 정렬된 이미지 데이터 (320) 중 오직 하나의 정렬된 이미지 데이터만을 스케일링하여 제 1 스케일링된 이미지 데이터 (322) 및 제 2 스케일링된 이미지 데이터 (334) 를 발생시키기 위한 명령들로 구성된다. 그러나, 다른 실시예들에서, 명령들은 제 1 정렬된 이미지 데이터 (318) 및 제 2 정렬된 이미지 데이터 (320) 중 하나 또는 양자 모두를 조정할 수도 있다.
특정 실시예에서, 영역 식별 모듈 (306) 은 이미지 스케일링 모듈 (304) 로부터 스케일링된 이미지 데이터 (322 및 334) 를 수신하기 위한 명령들로 구성될 수도 있다. 특정 실시예에서, 영역 식별 모듈 (306) 에서의 명령들은 이미지 스케일링 모듈 (304) 에 의해 스케일링되는 이미지 데이터 (312) 와 같은 보다 단기 노출 시간에 대응하는 제 1 스케일링된 이미지 데이터 (322) 를 수신할 수도 있다. 영역 식별 모듈 내의 명령들은 그 다음에 스케일링된 이미지 데이터 (322) 로부터 하나 이상의 밝은 영역들을 식별한다.
대안으로, 영역 식별 모듈 (306) 내의 명령들은 이미지 스케일링 모듈 (304) 에 의해 스케일링되는 이미지 데이터 (314) 와 같은 보다 장기 노출 시간에 대응하는 제 2 스케일링된 이미지 데이터 (334) 를 수신할 수도 있다. 영역 식별 모듈 내의 명령들은 그 다음에 스케일링된 이미지 데이터 (334) 로부터 하나 이상의 어두운 영역들을 식별한다.
특정 실시예에서, 자동 화이트 밸런스 모듈 (308) 은 영역 식별 모듈로부터 이미지 데이터 (328 및 330) 를 수신하기 위한 명령들로 구성될 수도 있다. 자동 화이트 밸런스 모듈은 또한 영역 식별 모듈로부터 보다 단기 노출 시간 이미지에 대한 영역 정보 (329) 및 장기 노출 이미지에 대한 영역 정보 (331) 를 수신하기 위한 명령들을 포함한다. 영역 정보는 최종 이미지에서 이용될 각각의 이미지 데이터 (328 및 330) 의 부분들을 식별한다. 자동 화이트 밸런스 모듈은 또한 각각의 이미지 데이터와 연관된 노출 정보 (335 및 380) 를 수신하기 위한 명령들을 포함한다. 자동 화이트 밸런스 모듈 내의 명령들은 그 다음에 각각의 이미지 데이터 (328 및 330) 에 대해 화이트 밸런스 동작을 수행한다.
특정 실시예에서, 이미지 결합 모듈 (310) 은 자동 화이트 밸런스 모듈 (308) 로부터 화이트 밸런싱된 데이터 (340 및 345) 를 수신하기 위한 명령들, 및 수신된 이미지 데이터를 결합하여 높은 다이나믹 레인지 이미지 데이터 (316) 를 생성하기 위한 명령들로 구성될 수도 있다. 특정 실시예에서, 이미지 결합 모듈 (310) 내의 명령들은 이미지 스케일링 모듈 (304) 에 의해 스케일링되고 자동 화이트 밸런스 모듈 (308) 에 의해 화이트 밸런싱되는 이미지 데이터 (312) 와 같은 보다 단기 노출 시간에 대응하는 제 1 화이트 밸런싱된 이미지 데이터 (340) 를 수신할 수도 있다. 또한, 이미지 결합 모듈 (310) 내의 명령들은 이미지 스케일링 모듈 (304) 에 의해 스케일링되고 자동 화이트 밸런스 모듈 (308) 에 의해 화이트 밸런싱되는 이미지 데이터 (314) 와 같은, 보다 장기 노출 시간에 대응하는, 제 2 화이트 밸런싱된 이미지 데이터 (345) 를 수신할 수도 있다. 이미지 결합 모듈 (310) 은 제 1 스케일링된 이미지 데이터 (340), 제 2 스케일링된 이미지 데이터 (345), 또는 이들 양자의 조합에 대응하는 값들을 포함시킬지 여부를 HDR 이미지 데이터 (316) 의 각각의 특정 픽셀에 대해 결정하기 위한 명령들, 내부 로직, 또는 다른 결정 회로부를 포함할 수도 있다.
특정 실시예에서, 이미지 결합 모듈 (310) 은 가중 함수 (350) 로부터 하나 이상의 값들을 수신하기 위한 명령들로 구성된다. 가중 함수 (350) 는 이미지 결합 모듈 (310) 내의 명령들이 제 1 화이트 밸런싱된 이미지 데이터 (340) 와 제 2 화이트 밸런싱된 이미지 데이터 (345) 를 선택적으로 결합하는 것을 가능하게 하여 HDR 이미지 데이터 (316) 를 생성하기 위한 하나 이상의 조건들 또는 값들을 포함할 수도 있다. 예를 들어, 제 1 화이트 밸런싱된 이미지 데이터 (340) 및 제 2 화이트 밸런싱된 이미지 데이터 (345) 로부터 HDR 이미지 데이터 (316) 의 픽셀 값들을 혼합하거나, 구별하거나, 그렇지 않으면 결정하거나 선택하기 위해 가중 함수 (350) 는 하나 이상의 계단 함수들, 하나 이상의 시그모이드 (sigmoid) 함수들, 또는 하나 이상의 다른 함수들의 표현을 포함할 수도 있다. 예로서, 픽셀의 영역 내의 휘도 변동과 같은 메트릭은 화이트 밸런싱된 이미지 데이터 (340 및/또는 345) 로부터 결정되어 가중 함수 (350) 에 제공될 수도 있다. 가중 함수 (350) 는, HDR 이미지 데이터 (316) 에서의 픽셀 값을 발생시키기 위해 제 1 스케일링된 이미지 데이터 (340) 에서의 픽셀의 값을 제 2 스케일링된 이미지 데이터 (345) 에서의 픽셀의 값에 가산하기 전에, 제 1 화이트 밸런싱된 이미지 데이터 (340) 에서의 픽셀 값 및/또는 제 2 화이트 밸런싱된 이미지 데이터 (345) 에서의 픽셀의 값에 적용될 스케일링 인자를 나타내는 값을 반환할 수도 있다.
따라서, 도 3 에 도시된 HDR 이미지 결합 시스템은 제 1 이미지와 제 2 이미지를 결합함으로써 높은 다이나믹 레인지 디지털 이미지를 발생시키는 일 수단을 표현한다. 좀더 일반적으로, 이미지 등록 모듈, 이미지 스케일링 모듈, 영역 식별 모듈, 자동 화이트 밸런스 모듈, 및 이미지 결합 모듈을 포함하는 이미지 파이프라인은 제 1 이미지와 제 2 이미지를 결합함으로써 높은 다이나믹 레인지 디지털 이미지를 발생시키는 다른 수단을 표현한다.
도 4a 내지 도 4d 는 이미지 내의 어두운 영역 및 이미지의 환한 영역에 대한 노출의 최적화를 도시한다. 도 4a 는 단기 노출의 이용에 의한 밝은 영역에 대해 최적화된 이미지를 시뮬레이션한다. 인형이 앉아 있는 창틀 뒤의 하늘 및 배경이 훌륭한 세부사항들을 지니며 잘 노출된다. 그에 반해서, 전경 이미지는 어둡고 세부사항들이 구별될 수 없다. 단기 노출은 이러한 구역들에서 세부사항을 구별하기 위해 필요한 센서에 대한 광의 양을 제공하지 않는다. 일 실시예에서, 도 4a 의 화이트 밸런스는 오직 도 4b 의 음영진 부분에 대응하는 것으로부터의 이미지 데이터에 기초할 것이다. 대안적인 실시예들은 화이트 밸런스에 대한 기준으로서 전체 이미지를 이용할 수도 있다. 그러나, 노출이 부족한 영역들은 이러한 실시예들에서 차선의 화이트 밸런스 결과를 초래할 수도 있다. 도 4c 는 동일한 이미지의 전경 부분에 대해 최적화된 노출의 결과들을 시뮬레이션한다. 인형, 장난감 기관차, 및 창틀이 잘 드러나고 선명하다. 배경 하늘 및 구름들은 도 4c 에서 과도하게 노출되어, 이러한 구역들에서 이미지 센서 포화로 인해 세부사항의 손실을 초래한다. 화이트 밸런스 최적화 알고리즘의 일 실시예는 도 4d 의 음영진 부분에 대응하는 도 4c 의 구역들을 이용하여 도 4c 에 대한 화이트 밸런스 이득들을 계산할 것이다.
도 5 는 영역 식별 모듈 (306) 의 일 실시예 내에서 구동하는 프로세스 (500) 를 도시하는 플로우 차트이다. 일 실시예에서, 영역 식별 모듈 (306) 은 시작 상태 (510) 에서 프로세스 (500) 를 개시한 다음에 명령들이 휘도 히스토그램을 발생시키는 상태 (520) 로 이동하는 명령들을 포함한다. 프로세스 (500) 는 그 다음에 상태 (530) 로 이동한다. 단계 530 에서, 프로세스 (500) 는 이미지의 어두운 영역을 결정하는데 이용되는 임계치를 결정한다.
일 실시예에서, 어두운 영역에 대한 임계치는 소정의 레벨 아래의 값들을 갖는 픽셀들의 수에 비례한다. 예를 들어, 8 비트의 픽셀 폭이라면, 우선 4 (명확히는 픽셀 비트 2-7) 보다 적은 값들을 갖는 픽셀들의 수를 식별함으로써 암도 임계치들이 결정될 수도 있다. 그 다음에 픽셀들의 전체 수로 4 아래의 픽셀들의 수가 나누어져 4 아래의 픽셀들에 의해 표현되는 이미지 구역의 비율을 찾아낸다. 다른 실시예들은 그들 개개의 설계 고려사항들에 기초하여 상이한 임계치를 선택할 수도 있다.
일부 실시예들은 추가적인 임계치들을 식별하여 다수의 영역들을 형성할 수도 있다. 예를 들어, 보다 많은 프로세싱 파워를 갖는 실시예들에서, 영역들의 개수가 증가될 수 있으며, 각각 개개의 영역은 보다 정확함을 제공하기 위해 보다 작게 이루어진다.
일부 실시예들에서, 그 다음에 이러한 값에 상수 (kdark) 를 곱함으로써 암도 임계치가 결정되고, 그 다음에 offsetdark 가 가산된다. Kdark 는 암도 임계치를 결정할 시에 이미지의 가장 어두운 영역들이 얼마만큼의 바이어스 또는 영향을 가질 것인지를 결정하는데 이용된다. Offsetdark 는, 하기에서 추후 논의되는, 임계치에 대한 시작 포인트, 예를 들어, 어두운 영역 임계치에 있어서 0 으로부터의 오프셋, 또는 명도 임계치에 있어서 (8 비트 픽셀들로) 255 부터의 거리를 결정한다. Offsetdark 는 또한 암도 임계치들의 결정에 융통성을 더한다. 암도 임계치를 계산하는데 이용되는 방법의 정형화된 표현은:
Figure 112013103537816-pct00001
이다.
어두운 영역들에 대한 임계치가 결정된 후에, 프로세스 (500) 는 단계 (540) 로 이동하는데, 여기서 밝은 영역들에 대한 임계치가 결정된다. 밝은 영역들에 대한 임계치는 암도 임계치와 유사한 방식으로 결정된다. 예를 들어, 먼저 특정 값보다 위의 픽셀들의 수가 결정된다. 예시를 위해, 252 (OxFC) 값보다 위의 8 비트 픽셀들의 수가 이용될 수도 있다 (1 로 설정된 비트들 3-7). 암도 임계치와 유사하게, 일 실시예에서, 그 다음에, 이러한 값에 상수 (Kbright) 를 곱함으로써 명도 임계치가 결정되고, offsetbright 가 가산된다. 이러한 결정은 다음의 식:
Figure 112013103537816-pct00002
에 의해 표현된다.
명도 임계치가 결정된 후에, 프로세스 (500) 는 단계 (550) 로 이동하여 밝은 영역들을 결정한다. 일 실시예에서, 밝은 영역들은 명도 임계치 이상인 영역 명도 평균을 갖는 그러한 영역들이다. 이러한 영역들을 식별하기 위한 기법들이 공지되어 있다. 예를 들어, 미국 특허 출원 제 2006/0262363 호, Rendering of High Dynamic Range Images, para. 10 (2005 년 5 월 23 일 출원), 및 미국 특허 제 6,177,958 호, System and Method for the Automatic Capture of Salient Still Images, col. 8, 1. 5 (1998 년 3 월 11 일 출원) 을 참조한다. 밝은 영역들이 결정된 후에, 프로세스 (500) 는 상태 (560) 로 이동하는데, 여기서 어두운 영역들이 식별된다. 일 실시예에서, 어두운 영역들은 암도 임계치보다 낮은 영역 명도 평균을 갖는 그러한 영역들을 구성한다. 단계 (560) 가 암도 임계치를 결정한 후에, 프로세스 (500) 는 종료한다.
도 6 은 일반적인 휘도 히스토그램의 그래프이다. 2 개의 임계치들, TH_DARK 및 TH_BRIGHT 가 도시된다. TH_BRIGHT 임계치 위의 픽셀 값들의 세트가 녹색 선의 왼쪽에서 관측가능하다. 이러한 픽셀들은 이미지의 밝은 영역을 표현한다. TH_DARK 선의 오른쪽에 대한 픽셀 값들은 이미지의 어두운 영역을 표현한다. 선들 사이의 그러한 픽셀들은 어두운 영역 부분도 밝은 영역의 부분도 아니다.
TH_DARK 와 TH_BRIGHT 가 중첩하는 경우, 다수의 이미지들 사이의 노출 구분이 일반적으로 덜 필요하다. 대안으로, 장면은 상대적으로 작은 다이나믹 레인지를 가질 수도 있고, 따라서 밝은 영역 및 어두운 영역 양자 모두에 대해 유사한 노출들이 이용될 수 있다. 그러나, TH_DARK 및 TH_BRIGHT 큰 구분을 갖는 경우, 이는 2 개의 영역들 사이의 노출들에서의 보다 큰 구분이 요구됨을 나타낸다.
도 7 은 높은 다이나믹 레인지 이미지 결합 방법의 일 예시적인 실시예의 플로우 다이어그램이다. 특정 실시예에서, 방법 (700) 은 도 1 - 도 3, 혹은 도 11 - 도 12, 또는 이들의 임의의 조합의 시스템에 의해 수행된다. 프로세스 (700) 는 시작 단계 (703) 에서 개시한 다음에 단계 (705) 로 이동하는데, 여기서 제 1 이미지 데이터가 이미지 센서로부터 수신된다. 제 1 이미지 데이터는 제 1 노출 시간을 이용하여 발생된다. 프로세스 (700) 는 그 다음에 단계 (710) 으로 이동하는데, 여기서 제 2 이미지 데이터가 이미지 센서로부터 수신된다. 제 2 이미지 데이터는 제 1 노출 시간보다 큰 제 2 노출 시간을 이용하여 발생된다.
프로세스 (700) 는 그 다음에 단계 (715) 로 이동하는데, 여기서 제 1 이미지 데이터의 휘도 값들이 제 1 노출 시간에 대한 제 2 노출 시간의 비율에 기초하여 스케일링되어 스케일링된 제 1 이미지 데이터를 형성한다. 프로세스 (700) 는 그 다음에 단계 (720) 로 이동하는데, 여기서 제 1 이미지 데이터 및 제 2 이미지 데이터의 어두운 영역 및 밝은 영역이 식별된다. 프로세스 (700) 는 그 다음에 단계 (725) 로 이동하는데, 여기서 제 1 이미지 및 제 2 이미지에 대한 영역 정보 및 노출 설정들에 따라 제 1 이미지 데이터 및 제 2 이미지 데이터가 화이트 밸런싱된다. 단계 (725) 는 프로세스 (800) 에서 더 상세히 설명된다.
프로세스 (700) 는 그 다음에 단계 (730) 로 이동하는데, 여기서 스케일링된 제 1 이미지 데이터의 제 1 유효 다이나믹 레인지 및 제 2 이미지 데이터의 제 2 유효 다이나믹 레인지 사이의 중첩에 기초하여 스케일링된 제 1 이미지 데이터 및 제 2 이미지 데이터가 선택적으로 결합되어 높은 다이나믹 레인지 (HDR) 이미지를 생성시킨다. 제 1 유효 다이나믹 레인지는 제 1 이미지 데이터의 제 1 포화 레벨, 제 1 암도 레벨, 및 제 1 노이즈 플로어 (noise floor) 에 기초하여 결정될 수도 있다. 제 2 유효 다이나믹 레인지는 제 2 이미지 데이터의 제 2 포화 레벨, 제 2 암도 레벨, 및 제 2 노이즈 플로어에 기초하여 결정될 수도 있다. 스케일링된 제 1 이미지 데이터 및 제 2 이미지 데이터는 제 1 노이즈 플로어에서 실질적으로 중심에 있는 제 1 시그모이드 함수, 및 '제 2 포화 레벨 - (minus) 제 2 암도 레벨' 에서 실질적으로 중심에 있는 제 2 시그모이드 함수를 이용하여 선택적으로 결합된다.
735 로 이동하면, 톤 맵핑이 생성되어 HDR 이미지의 다이나믹 레인지가 압축된다. 톤 맵핑을 발생시키는 것은 각각의 픽셀의 이웃 내에서의 휘도 변동에 기초하여 전역 톤 맵핑 값 및 지역 톤 맵핑 값의 픽셀별 가중치를 결정하는 것을 포함한다. 예를 들어, 압축된 다이나믹 레인지는 8 비트 범위일 수도 있다. 740 으로 계속하면, 압축된 다이나믹 레인지를 갖는 톤 맵핑된 이미지가 디스플레이 디바이스에서 디스플레이되도록 제공된다. 프로세스 (700) 는 그 다음에 종료 상태 (750) 로 이행한다.
도 8 은 자동 화이트 밸런싱의 방법의 일 예시적인 실시예의 플로우 다이어그램이다. 프로세스 (800) 를 구현하는 명령들은 프로세스 (700) 의 단계 (725) 를 구현하는 명령들의 세트에 포함될 수도 있다. 자동 화이트 밸런스 모듈 (308) 내의 명령들이 또한 프로세스 (800) 를 구현할 수도 있다. 대안으로, 프로세스 (800) 는 도 1 - 도 3, 또는 도 11 - 도 12 에 도시된 모듈들 또는 컴포넌트들 중 임의의 것에 의해 구현될 수도 있다. 프로세스 (800) 는 시작 상태 (805) 에서 개시하고 나서 단계 (810) 로 이동하는데, 여기서 참조 광 조건들이 수립된다. 주어진 센서 모듈에 대한 특성화 프로세스는 일반적으로 오프라인에서 일어난다. 일 실시예에서, 다양한 발광체들 하에서 그레이 차트의 영상들이 시뮬레이션되고 영상들이 촬영된다. 이러한 발광체들은 D90, D65, D75, TL84, 형광등, 수평, 백열, 및 맞춤 형광등을 포함할 수도 있다. 이러한 참조 포인트들이 공지되어 있다. 이러한 광 조건들 하에서 그레이 오브젝트들의 R/G 및 B/G 비율들이 기록된다. R/G 및 B/G 비율들의 스케일을 결정한 후에, 이러한 참조 포인트들은 격좌식 좌표로 주어진다. 상이한 참조 포인트들 사이를 적정히 구별하는데 격자 거리가 이용될 수 있는 방식으로 스케일이 결정된다. 프로세스 (800) 는 자동 화이트 밸런싱의 프로세스의 완전한 설명을 제공하기 위해 통합된 단계 (810) 와 함께 도시된다. 그러나, 다른 실시예들은 오프라인 별도 태스크로서 단계 (810) 를 구현할 것이며, 프로세스 (800) 는 단순히 참조 광 데이터를 이용한다.
참조 조명 조건들이 알려진 후에, 프로세스 (800) 는 단계 (820) 로 이동하는데, 여기서 픽셀 통계치들이 수집되어 잇따라서 오는 자동 화이트 밸런스 동작을 지원한다. 이러한 단계는 도 9 에서 더 상세히 설명된다. 다음으로, 프로세스 (800) 는 단계 (830) 로 이동하는데, 여기서 수집된 자동 화이트 밸런스 통계치들이 분석된다. 이러한 단계는 도 10 에서 보다 상세히 설명된다. 다음으로, 프로세스 (800) 는 단계 (840) 로 이동하는데, 여기서 자동 화이트 밸런스 이득들이 계산되어 적용된다. 단계 (840) 에서 이용되는 기법들은 공지되어 있다. 예를 들어, 단계 (840) 의 일 실시예는 단순한 그레이 월드 (grey world) 기법을 이용할 수도 있는 한편, 다른 실시예는 고급 그레이 월드 접근법을 이용할 수도 있다. 상관관계에 의한 화이트 밸런스가 또한 일부 실시예들에서 이용될 수도 있는데, 여기서 이미지 장면의 색상 응답은 상이한 광원들과 상관된다. 자동 화이트 밸런스 이득들이 적용된 후에, 프로세스 (800) 는 종료 상태 (850) 로 이동한다.
도 9 는 자동 화이트 밸런스 통계치들을 수집하는 방법의 일 예시적인 실시예의 플로우 다이어그램이다. 프로세스 (900) 를 구현하는 명령들은 도 8 의 프로세스 (800) 의 단계 (820) 를 구현하는 명령들의 세트 내에서 구동할 수도 있다. 프로세스 (900) 는 또한 도 1 - 도 3 이나 도 11 - 도 12 의 실시예들이나 방법들 중 임의의 것, 또는 이들의 임의의 조합에 따라 동작할 수도 있다. 프로세스 (900) 는 시작 상태 (910) 에서 개시하고 나서 단계 (920) 로 이동하는데, 여기서 이미지로부터 제 1 영역이 획득된다. 다음으로, 프로세스 (900) 는 결정 단계 (930) 로 이동하는데, 여기서 프로세스 (900) 는 화이트 밸런스가 장기 노출 이미지에 대해 수행되는지 여부를 결정한다. 장기 노출 이미지에 대한 화이트 밸런스가 수행되는 경우, 프로세스 (900) 는 단계 (935) 로 이동한다. 단계 (935) 에서, 앞서 설명된, 프로세스 (500) 에서 계산된 TH_DARK 임계치에 대해 현재 영역의 명도가 평가된다. 영역의 명도가 TH_DARK 아래인 경우, 프로세스 (900) 는 단계 (960) 로 이동하는데, 여기서 그레이 픽셀들의 Y, Cb, 및 Cr 컴포넌트들의 합이 누적된다. 영역의 명도가 TH_DARK 아래가 아닌 경우, 프로세스 (900) 는 결정 단계 (950) 로 이동하며, 이는 하기에서 논의된다.
프로세스 (900) 가 단기 노출 이미지를 화이트 밸런싱하는 경우, 프로세스 (900) 는 결정 단계 (930) 로부터 결정 단계 (940) 로 이동한다. 결정 단계 (940) 에서, 프로세스 (900) 는 현재 영역의 명도가 앞서 설명된 프로세스 (500) 에서 계산된 TH_BRIGHT 임계치 위인지 여부를 결정한다. 영역의 명도가 TH_BRIGHT 위인 경우, 프로세스 (900) 는 단계 (960) 로 이동하는데, 여기서 다시 그레이 픽셀들의 Y, Cb, 및 CR 컴포넌트들의 합이 누적된다. 프로세스 (900) 는 그 다음에 단계 (950) 로 이동한다.
결정 단계 (950) 는 평가될 보다 많은 영역들이 있는지를 결정한다. 보다 많은 영역들이 이용가능할 경우, 프로세스 (900) 는 단계 (925) 로 이동하는데, 여기서 다음 영역이 획득된다. 프로세스 (900) 는 그 다음에 결정 단계 (930) 로 돌아간다. 더 이상 영역들이 이용가능하지 않다고 결정 단계 (950) 가 결정하는 경우, 프로세스 (900) 는 단계 (970) 로 이동하는데, 여기서 전역 통계치들이 누적된다.
프로세스 (900) 의 일 실시예에서, 전역 화이트 밸런스 통계치들은 소정의 Ymin 와 Ymax 사이의 Y 값들을 갖는 픽셀들에 대한 Y, Cb, 및 Cr 컴포넌트들을 포함한다. 이는 전역 통계치들이 너무 어둡거나 너무 밝은 픽셀들을 포함하지 않으며, 따라서 노이즈 및 포화 문제들을 감소시키는 것을 보장한다. 프로세스 (900) 는 그 다음에 종료 상태 (980) 로 이동한다.
프로세스 (900) 는, 프로세스 (700) 와 결합하여, 이미지의 어두운 영역에 적어도 부분적으로 기초하여 장기 노출 이미지의 화이트 밸런스를 결정하는 일 수단을 표현한다. 프로세스 (900) 는, 프로세스 (700) 와 결합하여, 이미지의 밝은 영역에 적어도 부분적으로 기초하여 단기 노출 이미지의 화이트 밸런스를 결정하는 일 수단을 또한 표현한다.
도 10 은 자동 화이트 밸런스 통계치들을 분석하는 방법의 일 예시적인 실시예의 플로우 다이어그램이다. 프로세스 (1000) 를 구현하는 명령들은 프로세스 (800) 의 단계 (830) 를 구현하는 명령들의 세트 내에 포함될 수도 있다. 대안으로, 프로세스 (1000) 는 도 1 - 도 3, 또는 도 11 - 도 12 에 도시된 모듈들 또는 컴포넌트들 중 임의의 것 내에서 수행될 수도 있다. 프로세스 (1000) 는 시작 상태 (1010) 에서 개시하고 나서 단계 (1015) 로 이동하는데, 여기서 프로세스 (900) 에서 수집된 데이터 포인트들이 격자식 좌표로 변환된다. 프로세스 (1000) 의 단계 (1015) 의 일 실시예에서, 영역에 대한 각각의 합을 그 영역 내에 누적된 픽셀들의 수로 나눔으로써 각각의 영역에 대한 Y, Cb, 및 Cr 값들의 합들의 평균을 알게된다. 평균 Y, Cb, 및 Cr 값들이 그 다음에 다시 R, G, 및 B 값들로 변환될 수 있다. 그 다음에 각각의 영역에 대해 R/G 및 B/G 비율들이 계산되고, 비율들은 그 다음에 격자식 좌표로 변환된다.
다음으로, 프로세스 (1000) 는 단계 (1017) 로 이동하는데, 여기서 제 1 데이터 포인트가 획득된다. 프로세스 (1000) 는 그 다음에 단계 (1020) 로 이동하는데, 여기서 데이터 포인트로부터 일련의 참조 포인트들로의 거리가 계산된다. 예를 들어, 일 실시예에서, 일련의 참조 포인트들은, 수평선, 백열, TL84, 쿨 화이트 (cool white), D65, 및 음영을 포함할 수 있다. 이러한 색상 참조들은 공지되어 있다. 각각의 참조 포인트에 대한 거리가 계산되면, 프로세스 (1000) 는 단계 (1025) 로 이동하는데, 여기서 참조 포인트에 대한 가장 짧은 거리가 임계 값과 비교된다. 가장 가까운 참조 포인트가 임계 값보다 먼 경우, 포인트는 이상치 (outlier) 로 여겨지고, 프로세스 (1000) 는 결정 단계 (1025) 로부터 단계 (1060) 로 이동하며 여기서 데이터 포인트는 폐기된다. 참조 포인트들의 각각으로부터 멀리 떨어진 데이터 포인트는 아마도 그레이 오브젝트가 아닐 것이다. 이러한 관측치들은 일 실시예에서는 폐기되는데, 이러한 관측치들이 전체 거리 비교에 부정적인 영향을 줄 수 있기 때문이다. 그러나, 적어도 하나의 참조 포인트가 임계 거리 내에 있는 경우에는, 프로세스 (1000) 가 단계 (1027) 로 이동하는데, 여기서 복합 포인트가 형성되는 경우 단계 (1040) 에서의 추후 이용을 위해 데이터 포인트가 저장된다. 프로세스 (1000) 는 그 다음에 더 많은 데이터 포인트들이 평가되어야할지 여부를 결정하는 결정 단계 (1030) 로 이동한다. 평가해야할 더 많은 포인트들이 있는 경우, 프로세스 (1000) 는 결정 단계 (1030) 로부터 단계 (1065) 로 이동하며 여기서 데이터 포인트가 획득된다. 프로세스 (1000) 는 그 다음에 단계 (1020) 로 돌아간다.
평가를 위해 남아 있는 데이터 포인트들이 없다고 결정 단계 (1030) 가 결정하는 경우, 프로세스 (1000) 는 결정 단계 (1030) 로부터 결정 단계 (1035) 로 이동하며, 여기서 적어도 하나의 데이터 포인트가 비 이상치가 되도록 참조 포인트에 충분히 가까운지가 결정된다. 참조 포인트로부터 임계 값보다 가까운 데이터 포인트들이 없는 경우, 프로세스 (1000) 는 결정 단계 (1035) 로부터 결정 단계 (1050) 로 이동한다. 단계 (1050) 에서, 프레임을 캡쳐하는데 이용된 노출 인덱스가 고려된다. 노출 인덱스는 일반적으로 셔터 속도와 조리개의 결합이다. 이미지 캡쳐 중에 강한 조명이 수신되었다고 노출 인덱스가 나타내는 경우, 프로세스 (1000) 는 단계 (1055) 로 이동하며, 여기서 실외 조명에 대응하는 참조 포인트가 택해진다. 예를 들어, 단계 (1055) 의 일 실시예에서 D50 이 택해질 수도 있다. 노출 인덱스가 강한 조명을 나타내지 않는 경우, 프로세스 (1000) 는 결정 단계 (1050) 로부터 단계 (1045) 로 전이하며, 여기서 실내 조명에 대응하는 참조 포인트가 이용된다. 예를 들어, 일 실시예에서, TL 84 및 쿨 화이트의 평균이 참조로서 이용될 수도 있다.
적어도 하나의 데이터 포인트가 참조 포인트로부터 임계 거리 내에 있다고 결정 단계 (1035) 가 결정하는 경우, 프로세스 (1000) 는 단계 (1040) 로 이동한다. 단계 (1040) 에서, 복합 샘플 포인트가 발생된다. 복합 샘플 포인트를 발생시키기 위해, 모든 비 이상치 포인트들에 대한 R/G 및 B/G 비율들의 평균이 계산된다. 프로세스 (1000) 는 그 다음에 단계 (1042) 로 이동하며, 여기서 복합 포인트에 가장 가까운 참조 포인트가 결정된다. 가장 가까운 참조 포인트가 프레임에 대한 조명 조건으로 여겨진다. 프로세스 (1000) 는 그 다음에 단계 (1042, 1045, 또는 1055) 로부터 종료 상태 (1070) 로 이동한다.
도 11 은 높은 다이나믹 레인지 (HDR) 결합 및 압축 모듈을 포함하는 시스템의 특정 실시예의 블록 다이어그램이다. 시스템 (1100) 은 렌즈 (1168) 에 커플링되고, 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (1170) 에도 커플링되는 이미지 센서 디바이스 (1122) 를 포함한다. 이미지 센서 디바이스 (1122) 는 자동 노출 제어 및 자동 화이트 밸런스 파라미터들을 추정하기 위한 자동 노출 제어 및 자동 화이트 밸런스 추정 모듈 (1150), 및 도 1 - 도 3 의 모듈들 또는 시스템들 중 하나 이상을 구현하는 명령들을 포함할 수도 있거나, 도 5 또는 도 7 - 도 10 의 실시예들이나 방법들 중 임의의 것, 또는 이들의 임의의 조합에 따라 동작하도록 하는 명령들을 포함할 수도 있는 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1164) 을 포함한다.
자동 노출 제어 및 자동 화이트 밸런드 추정 모듈 (1150) 은, 예컨대, 이미지 어레이 (1166) 의 출력을 수신하고 자동 노출 제어 및 자동 화이트 밸런스 추정 모듈 (1150) 에 이미지 데이터를 제공하도록 커플링되는 아날로그-디지털 변환기 (1126) 를 통해, 이미지 어레이 (1166) 로부터 이미지 데이터를 수신하도록 커플링된다.
지역 및 전역 맵핑을 이용하는 HDR 모듈 (1164) 은 자동 노출 및 자동 화이트 밸런스 추정 모듈 (1150) 로부터 이미지 데이터를 수신하도록 커플링된다. 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1164) 은 이미지 어레이 (1166) 에서 캡쳐된 다수의 이미지들로부터 HDR 이미지 데이터를 생성시켜 보통의 이미지 어레이 (1166) 로 HDR 기능성을 가능하게 할 수도 있다. 또한, 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1164) 은 연속성을 보장하고 아티팩트들을 도입하지 않으면서 지역 톤 맵핑 및 전역 톤 맵핑 양자 모두의 결합을 이용하여 보다 낮은 해상도 전송 및 저장 매커니즘들과 호환가능하도록 결과로 초래된 이미지를 압축할 수도 있다.
예를 들어, 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1164) 은, 이미지의 영역 내의 제 1 전역적으로 맵핑된 휘도 값들을 발생시키도록 구성된 전역 맵핑 모듈, 이미지의 영역 내의 제 2 지역적으로 맵핑된 휘도 값들을 발생시키도록 구성된 지역 맵핑 모듈, 및 제 1 전역적으로 맵핑된 휘도 값들과 제 2 지역적으로 맵핑된 휘도 값들의 가중된 합을 이용하여 출력 이미지의 대응하는 영역 내의 휘도 값들을 결정하도록 구성된 결합 모듈을 포함할 수도 있다. 가중된 합의 가중치는 이미지의 영역 내의 휘도 변동에 적어도 부분적으로 기초한다. 예를 들어, 가중치는 영역 내의 픽셀별 기준으로 결정될 수도 있다.
지역 및 전역 맵핑을 이용하는 HDR 모듈 (1164) 은 또한 이미지의 부분에 대응하는 평면 맵을 발생시키도록 구성될 수도 있다. 평면 맵은 이미지의 영역 내의 휘도 변동을 나타낼 수도 있다. HDR 모듈은 영역 내의 특정 픽셀의 이웃 내의 휘도 변동을 결정하도록 구성될 수도 있다. 특정 픽셀에 대응하는 평면 맵의 엔트리는 특정 픽셀의 이웃 내의 휘도 평균에 대한 특정 픽셀의 이웃 내의 휘도 변동의 비율에 비례할 수도 있다.
이미지 센서 디바이스 (1122) 는 또한 프로세서 (1110) 를 포함할 수도 있다. 특정 실시예에서, 프로세서 (1110) 는 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1164) 을 구현하도록 구성된다. 예를 들어, 프로세서 (1110) 는 프로세서 판독가능 매체로부터 명령들을 판독하고 HDR 모듈 (1164) 을 구현하기 위한 명령들을 실행하도록 구성될 수도 있다. 다른 실시예에서, 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1164) 은 이미지 프로세싱 회로부로서 구현된다.
다른 특정 실시예에서, 프로세서 (1110) 는 자동 노출 제어 및 자동 화이트 밸런스 추정 모듈 (1150) 을 구현하도록 구성된다. 다른 실시예에서, 자동 노출 제어 및 자동 화이트 밸런스 추정 모듈 (1150) 은 이미지 프로세싱 회로부로서 구현된다.
프로세서 (1110) 는 또한 도 1 의 모듈들 (110-120) 에 의해 수행되는 동작들 중 하나 이상의 동작들과 같은 추가적인 이미지 프로세싱 동작들을 수행하도록 구성될 수도 있다. 프로세서 (1110) 는 추가적인 프로세싱, 송신, 저장, 디스플레이, 또는 이들의 임의의 조합을 위해 애플리케이션 프로세서 칩셋 (1170) 에 프로세싱된 이미지 데이터를 제공할 수도 있다.
도 12 는 자동 노출 제어 및 자동 화이트 밸런스 추정 모듈 (1250), 및 HDR 결합 및 압축 모듈 (1264) 을 포함하는 시스템의 특정 실시예의 블록 다이어그램이다. 시스템 (1200) 은 휴대용 무선 전자 디바이스에서 구현될 수도 있고, 메모리 (1232) 에 커플링되는, 디지털 신호 프로세서 (DSP) 와 같은 프로세서 (1210) 를 포함한다. 시스템 (1200) 은 자동 노출 제어 및 자동 화이트 밸런스 추정 모듈 (1250) 을 포함한다. 자동 노출 제어 및 자동 화이트 밸런스 추정 모듈 (1250) 은 신호 프로세서 (1210) 에 있을 수도 있거나, 하드웨어 이미지 프로세싱 파이프라인 (미도시) 과 함께 별도의 디바이스 또는 회로부일 수도 있다. 자동 노출 제어 및 자동 화이트 밸런스 추정 모듈 (1250) 은 자동 노출을 제어하는 수단 (1298) 및 자동 화이트 밸런스를 제어하는 수단 (1299) 을 포함하다. 자동 노출을 제어하는 수단 (1298) 및 자동 화이트 밸런스를 제어하는 수단 (1299) 은 하드웨어 회로부, 펌웨어, 코드를 실행하는 프로세서나 제어기, 필드 프로그램가능 어레이, 또는 이들의 임의의 조합을 포함할 수도 있다.
시스템 (1200) 은 또한 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1264) 을 포함한다. 일 예시적인 예에서, 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1264) 은 도 1 - 도 3 의 모듈들 또는 시스템들 중 하나 이상을 포함하거나, 도 5 나 도 7 - 도 10 의 실시예들이나 방법들 중 임의의 것, 또는 이들의 조합에 따라 동작한다. 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1264) 은 프로세서 (1210) 내에 있을 수도 있거나, 별도의 디바이스일 수도 있다.
카메라 인터페이스 (1268) 는 프로세서 (1210) 에 커플링되고, 또한 비디오 카메라나 스틸 카메라 (1270) 와 같은 카메라에 커플링된다. 디스플레이 제어기 (1226) 는 프로세서 (1210) 및 디스플레이 디바이스 (1228) 에 커플링된다. 코더/디코더 (CODEC) (1234) 가 또한 프로세서 (1210) 에 커플링될 수 있다. 스피커 (1236) 및 마이크 (1238) 가 CODEC (1234) 에 커플링될 수 있다. 무선 인터페이스 (1240) 는 프로세서 (1210) 및 무선 안테나 (1242) 에 커플링될 수 있다.
특정 실시예에서, 프로세서 (1210) 는 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1264) 을 포함하고, 카메라 (1270) 에 의해 캡쳐된 다수의 이미지들로부터 HDR 이미지 데이터를 생성시켜 보통의 카메라 (1270) 로 HDR 기능성을 가능하게 하도록 구성된다. 또한, 지역 및 전역 맵핑을 이용하는 HDR 모듈 (1164) 은 연속성을 보장하고 아티팩트들을 도입하지 않으면서 지역 톤 맵핑 및 전역 톤 맵핑 양자 모두의 결합을 이용하여 보다 낮은 해상도 전송 및 저장 매커니즘들과 호환가능하도록 결과로 초래된 이미지를 압축할 수도 있다.
프로세서 (1210) 는 또한 다양한 소스들로부터 수신될 수도 있는 이미지 데이터의 다수의 세트들로부터 HDR 이미지 데이터를 생성시켜 압축하도록 구성될 수도 있다. 예를 들어, 이미지 데이터는, 예시적인 제한하지 않는 예들로서, 카메라 (1270) 로부터의 비디오 데이터나 스틸 이미지, 무선 인터페이스 (1240) 를 통한 무선 송신으로부터, 또는 범용 직렬 버스 (USB) 인터페이스 (미도시) 를 통해 커플링된 외부 디바이스와 같은 다른 소스들로부의 이미지 데이터를 포함할 수도 있다.
특정 실시예에서, 프로세서 (1210) 는 특정 픽셀의 이웃 내의 휘도 변동에 기초하여 이미지 데이터의 복수의 픽셀들의 각각의 특정 픽셀의 톤 맵핑된 픽셀 값을 포함하여 톤 맵핑된 이미지 데이터를 발생시키고, 디스플레이 디바이스 (1228) 에서 디스플레이하기 위해 톤 맵핑된 이미지 데이터를 제공하도록 구성된다. 예를 들어, 톤 맵핑된 데이터는 도 3 의 출력된 이미지 데이터 (316) 일 수도 있다. 또한, 프로세서 (1210) 는 메모리 (1232) 에 톤 맵핑된 이미지 데이터를 저장하거나, 무선 인터페이스 (1240) 를 통해 통신되게 톤 맵핑된 이미지 데이터를 제공하도록 더 구성될 수도 있다.
이미지 데이터는 제 1 노출 시간을 이용하여 카메라 (1270) 로부터 수신된 이미지 데이터의 제 1 세트와 제 2 노출 시간을 이용하여 카메라 (1270) 로부터 수신된 이미지 데이터의 제 2 세트를 결합하여 발생되는 높은 다이나믹 레인지 (HDR) 이미지 데이터일 수도 있다. 이미지 데이터의 제 1 및 제 2 세트는 카메라 (1270) 의 단일 센서에서 순차적으로 캡쳐될 수도 있거나, 상이한 노출 조건들을 이용하여 카메라 (1270) 의 다수의 센서들에서 동시에 캡쳐될 수도 있다. 이미지 데이터의 제 1 세트의 휘도 값들은 제 1 노출 시간에 대한 제 2 노출 시간의 비율에 기초하여 스케일링될 수도 있다. 이미지 데이터의 제 1 및 제 2 세트 양자 모두는 그 다음에 이미지 데이터의 어두운 영역 또는 밝은 영역 중 어느 일방에 기초하여 화이트 밸런싱될 수도 있다. 제 1 이미지 데이터는 그 다음에 스케일링된 휘도 값들의 제 1 유효 다이나믹 레인지와 이미지 데이터의 제 2 세트의 제 2 유효 다이나믹 레인지 사이의 중첩에 기초하여 이미지 데이터의 제 2 세트와 선택적으로 결합되어 도 6 에 대하여 설명된 바와 같은 HDR 이미지 데이터를 생성시킨다. 프로세서 (1210) 는 HDR 이미지 데이터를 프로세싱하여 특정 픽셀의 이웃 내의 휘도 변동을 나타내는 평면 맵을 발생시키고, 전역적으로 맵핑된 이미지 데이터와 지역적으로 맵핑된 이미지 데이터의 가중된 합을 이용하여 특정 픽셀의 톤 맵핑된 픽셀 값을 결정하도록 더 구성될 수도 있다. 가중된 합의 가중치는 특정 픽셀의 이웃 내의 휘도 변동에 기초하여 결정될 수도 있다.
디스플레이 제어기 (1226) 는 프로세싱된 이미지 데이터를 수신하여 디스플레이 디바이스 (1228) 에 프로세싱된 이미지 데이터를 제공하기 위한 명령들로 구성된다. 또한, 메모리 (1232) 는 프로세싱된 이미지 데이터를 수신하여 저장하도록 구성될 수도 있고, 무선 인터페이스 (1240) 는 안테나 (1242) 를 통한 송신을 위해 프로세싱된 이미지 데이터를 수신하도록 구성될 수도 있다.
특정 실시예에서, 신호 프로세서 (1210), 디스플레이 제어기 (1226), 메모리 (1232), CODEC (1234), 무선 인터페이스 (1240), 및 카메라 인터페이스 (1268) 는 시스템 인 패키지 또는 시스템 온 칩 디바이스 (1222) 에 포함된다. 특정 실시예에서, 입력 디바이스 (1230) 및 전력 공급기 (1244) 가 시스템 온 칩 디바이스 (1222) 에 커플링된다. 또한, 특정 실시예에서는, 도 12 에 도시된 바와 같이, 디스플레이 (1228), 입력 디바이스 (1230), 스피커 (1236), 마이크 (1238), 무선 안테나 (1242), 비디오 카메라 (1270), 전력 공급기 (1244) 는 시스템 온 칩 디바이스 (1222) 외부에 있다. 그러나, 디스플레이 디바이스 (1228), 입력 디바이스 (1230), 스피커 (1236), 마이크 (1238), 무선 안테나 (1242), 비디오 카메라 (1270), 및 전력 공급기 (1244) 의 각각은 인터페이스 또는 제어기와 같은 시스템 온 칩 디바이스 (1222) 의 컴포넌트에 커플링될 수 있다.
당업자들이라면, 본원에서 개시된 실시예들과 연계하여 설명된 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자 모두의 조합들로서 구현될 수도 있음을 또한 알 수 있을 것이다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들은 그들의 기능성의 관점에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자들은 각각의 특정 애플리케이션에 대해 다양한 방식들로 설명된 기능성을 구현할 수도 있으나, 이러한 구현 결정들이 본 개시물의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.
본원에서 개시된 실시예들과 연계하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 둘의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그램가능 판독 전용 메모리 (PROM), 삭제가능한 프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 삭제가능한 프로그램가능 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 이동식 디스크, 컴팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되어, 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로 (ASIC) 내에 상주할 수도 있다. ASIC 는 컴퓨팅 디바이스 또는 사용자 단말 내에 상주할 수도 있다. 대안에서, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말에서 이산 컴포넌트들로서 상주할 수도 있다.
개시된 실시예들에 대한 앞서의 설명은 당업자가 개시된 실시예들을 실시하거나 이용하는 것을 가능하게 하기 위해 제공된다. 이러한 실시예들에 대한 다양한 수정예들이 당업자들에게는 자명할 것이고, 본원에서 정의된 원칙들은 본 개시물의 범위를 벗어나지 않으면서 다른 실시예들에 적용될 수도 있다. 따라서, 본 개시물은 본원에서 보여진 실시예들로 제한되도록 의도된 것이 아니고, 다음의 청구항들에 의해 정의된 원리들 및 신규한 특징들과 일치하는 가능한 가장 넓은 범위를 따르고자 한다.

Claims (20)

  1. 제 1 노출 설정을 결정하는 단계;
    상기 제 1 노출 설정에 기초하여, 적어도 하나의 센서로부터 장면의 제 1 이미지를 캡쳐하는 단계;
    밝은 임계치를 결정하는 단계;
    상기 밝은 임계치에 기초하여 상기 제 1 이미지의 하나 이상의 밝은 영역들을 결정하는 단계;
    일 세트의 참조 포인트들에 대한 각 픽셀의 거리에 기초하여, 상기 하나 이상의 밝은 영역들 내의 제 1 픽셀들을 필터링하는 단계;
    필터링된 제 1 픽셀들의 수가 필터링된 픽셀들 임계치 미만인 경우, 상기 제 1 이미지를 캡쳐하도록 사용된, 조리개 (aperture) 및 셔터 속도에 적어도 부분적으로 기초하여 제 1 참조 포인트를 선택하고, 필터링된 제 1 픽셀들의 수가 상기 필터링된 픽셀들 임계치 이상인 경우, 상기 필터링된 제 1 픽셀들에 기초하여 복합 포인트를 결정하고, 상기 복합 포인트에 대한 상기 참조 포인트의 거리에 기초하여 상기 제 1 참조 포인트를 선택하는 단계;
    상기 선택된 제 1 참조 포인트에 기초하여 상기 제 1 이미지를 화이트 밸런싱하는 단계;
    제 2 노출 설정을 결정하는 단계;
    상기 제 2 노출 설정을 사용하여 상기 적어도 하나의 센서로부터 상기 장면의 제 2 이미지를 캡쳐하는 단계;
    어두운 임계치를 결정하는 단계;
    상기 어두운 임계치에 기초하여 상기 제 2 이미지의 하나 이상의 어두운 영역들을 결정하는 단계;
    일 세트의 참조 포인트들에 대한 각 픽셀의 거리에 기초하여, 상기 하나 이상의 어두운 영역들 내의 제 2 픽셀들을 필터링하는 단계;
    필터링된 제 2 픽셀들의 수가 상기 필터링된 픽셀들 임계치 미만인 경우, 상기 제 2 이미지를 캡쳐하도록 사용된, 조리개 및 셔터 속도에 적어도 부분적으로 기초하여 제 2 참조 포인트를 선택하고, 필터링된 제 2 픽셀들의 수가 상기 필터링된 픽셀들 임계치 이상인 경우, 상기 필터링된 제 2 픽셀들에 기초하여 복합 포인트를 결정하고, 상기 복합 포인트에 대한 상기 참조 포인트의 거리에 기초하여 상기 제 2 참조 포인트를 선택하는 단계;
    상기 선택된 제 2 참조 포인트에 기초하여 상기 제 2 이미지를 화이트 밸런싱하는 단계; 및
    상기 화이트 밸런싱된 제 1 이미지와 상기 화이트 밸런싱된 제 2 이미지를 결합함으로써 높은 다이나믹 레인지 (high dynamic range) 디지털 이미지를 발생시키는 단계를 포함하는, 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법.
  2. 제 1 항에 있어서,
    상기 높은 다이나믹 레인지 디지털 이미지는 적어도 상기 제 1 이미지의 밝은 영역을 상기 제 2 이미지의 어두운 영역과 결합함으로써 발생되는, 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법.
  3. 제 1 항에 있어서,
    상기 제 1 이미지의 화이트 밸런스는 또한 상기 제 1 노출 설정에 기초하여 결정되거나, 상기 제 2 이미지의 화이트 밸런스는 또한 상기 제 2 노출 설정에 기초하여 결정되는, 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법.
  4. 제 1 항에 있어서,
    상기 높은 다이나믹 레인지 디지털 이미지는 상기 제 1 이미지의 밝은 영역에 적용되는 화이트 밸런스, 및 상기 제 2 이미지의 어두운 영역에 적용되는 화이트 밸런스를 포함하는, 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법.
  5. 제 1 항에 있어서,
    상기 제 1 노출 설정은,
    상기 제 1 이미지의 제 1 휘도 히스토그램을 형성하고;
    상기 제 1 휘도 히스토그램으로부터 임계치를 결정하며;
    상기 임계치에 기초하여 상기 밝은 영역을 결정함으로써 결정되는, 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 센서는 1 개의 센서인, 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 센서는 2 개의 센서들이고, 상기 제 1 이미지는 제 1 센서로부터 캡쳐되고 상기 제 2 이미지는 제 2 센서로부터 캡쳐되는, 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법.
  8. 제 1 항에 있어서,
    상기 높은 다이나믹 레인지 디지털 이미지는 스냅샷인, 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법.
  9. 제 1 항에 있어서,
    상기 높은 다이나믹 레인지 디지털 이미지는 비디오의 일 프레임인, 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법.
  10. 제 1 항에 있어서,
    상기 단계들은 반복하여 수행되는, 높은 다이나믹 레인지 디지털 이미지를 발생시키는 방법.
  11. 이미징 디바이스로서,
    적어도 하나의 카메라 센서;
    프로세서로서,
    제 1 노출 설정을 결정하고;
    상기 제 1 노출 설정을 사용하여 적어도 하나의 카메라 센서로부터 장면의 제 1 이미지를 캡쳐하고;
    밝은 임계치를 결정하고;
    상기 밝은 임계치에 기초하여 상기 제 1 이미지의 하나 이상의 밝은 영역들을 결정하고;
    일 세트의 참조 포인트들에 대한 각 픽셀의 거리에 기초하여, 상기 하나 이상의 밝은 영역들 내의 제 1 픽셀들을 필터링하고;
    필터링된 제 1 픽셀들의 수가 필터링된 픽셀들 임계치 미만인 경우, 상기 제 1 이미지를 캡쳐하도록 사용된, 조리개 및 셔터 속도에 적어도 부분적으로 기초하여 제 1 참조 포인트를 선택하고, 필터링된 제 1 픽셀들의 수가 상기 필터링된 픽셀들 임계치 이상인 경우, 상기 필터링된 제 1 픽셀들에 기초하여 복합 포인트를 결정하고, 상기 복합 포인트에 대한 상기 제 1 참조 포인트의 거리에 기초하여 상기 제1 참조 포인트를 선택하고;
    상기 선택된 제 1 참조 포인트에 기초하여 상기 제 1 이미지를 화이트 밸런싱하고;
    제 2 노출 설정을 결정하고;
    상기 제 2 노출 설정을 사용하여 상기 적어도 하나의 카메라 센서로부터 상기 장면의 제 2 이미지를 캡쳐하고;
    어두운 임계치를 결정하고;
    상기 어두운 임계치에 기초하여 상기 제 2 이미지의 하나 이상의 어두운 영역들을 결정하고;
    일 세트의 참조 포인트들에 대한 각 픽셀의 거리에 기초하여, 상기 하나 이상의 어두운 영역들 내의 제 2 픽셀들을 필터링하고;
    필터링된 제 2 픽셀들의 수가 상기 필터링된 픽셀들 임계치 미만인 경우, 상기 제 2 이미지를 캡쳐하도록 사용된, 조리개 및 셔터 속도에 적어도 부분적으로 기초하여 제 2 참조 포인트를 선택하고, 필터링된 제 2 픽셀들의 수가 상기 필터링된 픽셀들 임계치 이상인 경우, 상기 필터링된 제 2 픽셀들에 기초하여 제 2 복합 포인트를 결정하고, 상기 제 2 복합 포인트에 대한 상기 제 2 참조 포인트의 거리에 기초하여 상기 제 2 참조 포인트를 선택하고;
    상기 선택된 제 2 참조 포인트에 기초하여 상기 제 2 이미지를 화이트 밸런싱하고; 그리고
    상기 화이트 밸런싱된 제 1 이미지와 상기 화이트 밸런싱된 제 2 이미지를 결합하여 최종 이미지를 생성하는 동작들을 수행하도록 구성되는, 상기 프로세서; 및
    상기 최종 이미지를 저장하는 저장부를 포함하는, 이미징 디바이스.
  12. 제 11 항에 있어서,
    상기 제 1 노출 설정은,
    상기 제 1 이미지의 제 1 휘도 히스토그램을 형성하고;
    상기 제 1 휘도 히스토그램으로부터 임계치를 결정하며;
    상기 임계치에 기초하여 상기 밝은 영역을 결정함으로써 결정되는, 이미징 디바이스.
  13. 제 11 항에 있어서,
    제 2 카메라 센서를 더 포함하고, 상기 적어도 하나의 센서는 제 1 카메라 센서 및 제 2 카메라 센서를 포함하는 2 개의 센서들인, 이미징 디바이스.
  14. 제 11 항에 있어서,
    상기 최종 이미지는 스냅샷인, 이미징 디바이스.
  15. 제 11 항에 있어서,
    상기 프로세서는 상기 동작들을 반복하여 수행하도록 구성되는, 이미징 디바이스.
  16. 제 11 항에 있어서,
    상기 프로세서는 상기 제 1 노출 설정에 기초하여 제 1 영역의 화이트 밸런스를 조건적으로 결정하고, 상기 제 2 노출 설정에 기초하여 상기 제 2 영역의 화이트 밸런스를 조건적으로 결정하도록 더 구성되는, 이미징 디바이스.
  17. 프로세서 실행가능 제 1 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로세서 실행가능 제 1 명령들은 프로세서로 하여금,
    제 1 노출 설정을 결정하고;
    적어도 하나의 센서로부터 장면의 제 1 이미지를 캡쳐하되, 상기 제 1 이미지는 상기 제 1 노출 설정을 사용하여 캡쳐되고;
    밝은 임계치를 결정하고;
    상기 밝은 임계치에 기초하여 상기 제 1 이미지의 하나 이상의 밝은 영역들을 결정하고;
    일 세트의 참조 포인트들에 대한 각 픽셀의 거리에 기초하여, 상기 하나 이상의 밝은 영역들 내의 제 1 픽셀들을 필터링하고;
    필터링된 제 1 픽셀들의 수가 필터링된 픽셀들 임계치 미만인 경우, 상기 제 1 이미지를 캡쳐하도록 사용된, 조리개 및 셔터 속도에 적어도 부분적으로 기초하여 제 1 참조 포인트를 선택하고, 필터링된 제 1 픽셀들의 수가 상기 필터링된 픽셀들 임계치 이상인 경우, 상기 필터링된 제 1 픽셀들에 기초하여 복합 포인트를 결정하고, 상기 복합 포인트에 대한 상기 참조 포인트의 거리에 기초하여 상기 제 1 참조 포인트를 선택하고;
    상기 선택된 제 1 참조 포인트에 기초하여 상기 제 1 이미지를 화이트 밸런싱하고;
    제 2 노출 설정을 결정하고;
    상기 제 2 노출 설정을 사용하여 상기 적어도 하나의 센서로부터 상기 장면의 제 2 이미지를 캡쳐하고;
    어두운 임계치를 결정하고;
    상기 어두운 임계치에 기초하여 상기 제 2 이미지의 하나 이상의 어두운 영역들을 결정하고;
    일 세트의 참조 포인트들에 대한 각 픽셀의 거리에 기초하여, 상기 하나 이상의 어두운 영역들 내의 제 2 픽셀들을 필터링하고;
    필터링된 제 2 픽셀들의 수가 상기 필터링된 픽셀들 임계치 미만인 경우, 상기 제 2 이미지를 캡쳐하도록 사용된, 조리개 및 셔터 스피드에 적어도 부분적으로 기초하여 제 2 참조 포인트를 선택하고, 필터링된 제 2 픽셀들의 수가 상기 필터링된 픽셀들 임계치 이상인 경우, 상기 필터링된 제 2 픽셀들에 기초하여 제 2 복합 포인트를 결정하고, 상기 제 2 복합 포인트에 대한 상기 제 2 참조 포인트의 거리에 기초하여 상기 제 2 참조 포인트를 선택하고;
    상기 선택된 제 2 참조 포인트에 기초하여 상기 제 2 이미지를 화이트 밸런싱하고; 그리고
    상기 화이트 밸런싱된 제 1 이미지와 상기 화이트 밸런싱된 제 2 이미지를 결합하도록 하는, 비일시적 컴퓨터 판독가능 매체.
  18. 제 17 항에 있어서,
    상기 제 1 노출 설정은,
    상기 제 1 이미지의 제 1 휘도 히스토그램을 형성하고;
    상기 제 1 휘도 히스토그램으로부터 광 임계치를 식별하며;
    상기 광 임계치에 기초하여 상기 밝은 영역을 결정함으로써 결정되는, 비일시적 컴퓨터 판독가능 매체.
  19. 제 17 항에 있어서,
    상기 프로세서로 하여금 반복하여 상기 제 1 명령들을 실행하게 하도록 동작가능한 제 2 명령들을 또한 포함하는, 비일시적 컴퓨터 판독가능 매체.
  20. 제 1 노출 설정을 사용하여 적어도 하나의 센서로부터 장면의 제 1 이미지를 캡쳐하는 수단;
    밝은 임계치를 결정하는 수단;
    상기 밝은 임계치에 기초하여 상기 제 1 이미지의 하나 이상의 밝은 영역들을 결정하는 수단;
    일 세트의 참조 포인트들에 대한 각 픽셀의 거리에 기초하여, 상기 하나 이상의 밝은 영역들 내의 제 1 픽셀들을 필터링하는 수단;
    필터링된 제 1 픽셀들의 수가 필터링된 픽셀들 임계치 미만인 경우, 상기 제 1 이미지를 캡쳐하도록 사용된, 조리개 및 셔터 속도에 적어도 부분적으로 기초하여 제 1 참조 포인트를 선택하는 수단;
    필터링된 제 1 픽셀들의 수가 상기 필터링된 픽셀들 임계치 이상인 경우, 상기 필터링된 제 1 픽셀들에 기초하여 복합 포인트를 결정하는 수단;
    필터링된 제 1 픽셀들의 수가 상기 필터링된 픽셀들 임계치 이상인 경우, 상기 복합 포인트에 대한 상기 제 1 참조 포인트의 거리에 기초하여 상기 제 1 참조 포인트를 선택하는 수단;
    상기 선택된 제 1 참조 포인트에 기초하여 상기 제 1 이미지를 화이트 밸런싱하는 수단;
    제 2 노출 설정을 결정하는 수단;
    상기 제 2 노출 설정을 사용하여 상기 적어도 하나의 센서로부터 상기 장면의 제 2 이미지를 캡쳐하는 수단;
    어두운 임계치를 결정하는 수단;
    상기 어두운 임계치에 기초하여 상기 제 2 이미지의 하나 이상의 어두운 영역들을 결정하는 수단;
    일 세트의 참조 포인트들에 대한 각 픽셀의 거리에 기초하여, 상기 하나 이상의 어두운 영역들 내의 제 2 픽셀들을 필터링하는 수단;
    필터링된 제 2 픽셀들의 수가 상기 필터링된 픽셀들 임계치 미만인 경우, 상기 제 2 이미지를 캡쳐하도록 사용된, 조리개 및 셔터 속도에 적어도 부분적으로 기초하여 제 2 참조 포인트를 선택하는 수단;
    필터링된 제 2 픽셀들의 수가 상기 필터링된 픽셀들 임계치 이상인 경우, 상기 필터링된 제 2 픽셀들에 기초하여 제 2 복합 포인트를 결정하는 수단;
    필터링된 제 2 픽셀들의 수가 상기 필터링된 픽셀들 임계치 이상인 경우, 상기 제 2 복합 포인트에 대한 상기 제 2 참조 포인트의 거리에 기초하여 상기 제 2 참조 포인트를 선택하는 수단;
    상기 선택된 제 2 참조 포인트에 기초하여 상기 제 2 이미지를 화이트 밸런싱하는 수단; 및
    상기 화이트 밸런싱된 제 1 이미지와 상기 화이트 밸런싱된 제 2 이미지를 결합함으로써 높은 다이나믹 레인지 디지털 이미지를 발생시키는 수단을 포함하는, 이미징 장치.
KR1020137030168A 2011-04-18 2012-04-18 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화 KR101537182B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/088,936 2011-04-18
US13/088,936 US8947555B2 (en) 2011-04-18 2011-04-18 White balance optimization with high dynamic range images
PCT/US2012/034105 WO2012145415A1 (en) 2011-04-18 2012-04-18 White balance optimization with high dynamic range images

Publications (2)

Publication Number Publication Date
KR20130138340A KR20130138340A (ko) 2013-12-18
KR101537182B1 true KR101537182B1 (ko) 2015-07-16

Family

ID=46022709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137030168A KR101537182B1 (ko) 2011-04-18 2012-04-18 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화

Country Status (6)

Country Link
US (1) US8947555B2 (ko)
EP (1) EP2700053A1 (ko)
JP (1) JP5964409B2 (ko)
KR (1) KR101537182B1 (ko)
CN (1) CN103518223B (ko)
WO (1) WO2012145415A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057926A1 (ko) * 2015-09-30 2017-04-06 삼성전자 주식회사 디스플레이 장치 및 이의 제어 방법

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11381757B2 (en) * 2019-06-13 2022-07-05 Motherson Innovations Company Limited Imaging system and method
US9584733B2 (en) * 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
KR20120114899A (ko) * 2011-04-08 2012-10-17 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
EP2702766B1 (en) * 2011-04-28 2017-06-14 Koninklijke Philips N.V. Apparatuses and methods for hdr image encoding and decoding
US9406028B2 (en) * 2012-08-31 2016-08-02 Christian Humann Expert system for prediction of changes to local environment
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US9179062B1 (en) * 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9137455B1 (en) 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US9143673B2 (en) * 2012-09-19 2015-09-22 Google Inc. Imaging device with a plurality of pixel arrays
US9129388B2 (en) 2012-11-21 2015-09-08 Apple Inc. Global approximation to spatially varying tone mapping operators
US10255888B2 (en) * 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
US9071765B2 (en) * 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
KR101805629B1 (ko) * 2013-05-07 2017-12-07 삼성전자주식회사 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치
US9305223B1 (en) * 2013-06-26 2016-04-05 Google Inc. Vision-based indicator signal detection using spatiotemporal filtering
TWI501639B (zh) * 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法
US9654738B1 (en) * 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles
KR20150051085A (ko) * 2013-11-01 2015-05-11 삼성전자주식회사 하이 다이나믹 레인지 영상을 표시하는 방법 및 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치.
JP5911518B2 (ja) 2014-01-29 2016-04-27 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
TWI505233B (zh) * 2014-02-20 2015-10-21 Asustek Comp Inc 影像處理方法及影像處理裝置
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
JP6598479B2 (ja) * 2014-03-31 2019-10-30 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
GB2526067B (en) * 2014-05-01 2019-02-27 Imagination Tech Ltd Noise enhanced histograms
KR20150128168A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 화이트 밸런싱 장치 및 이의 구동 방법
US9424628B2 (en) 2014-06-19 2016-08-23 Microsoft Technology Licensing, Llc Identifying gray regions for auto white balancing
CN105338338B (zh) * 2014-07-17 2018-01-02 诺基亚技术有限公司 用于成像条件检测的方法和装置
JP6343200B2 (ja) * 2014-07-31 2018-06-13 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
TWI498848B (zh) * 2014-10-13 2015-09-01 Quanta Comp Inc 多重曝光成像系統及其白平衡方法
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
JP6533050B2 (ja) 2014-11-13 2019-06-19 クラリオン株式会社 車載カメラシステム
US9704269B2 (en) * 2014-11-21 2017-07-11 Texas Instruments Incorporated Efficient methodology to process wide dynamic range images
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
CN104683779B (zh) * 2015-03-17 2017-08-29 上海兆芯集成电路有限公司 自动白平衡补偿方法以及使用该方法的装置
CN104954687B (zh) * 2015-06-26 2018-11-16 魅族科技（中国）有限公司 一种图像生成方法及装置
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
JP6674255B2 (ja) * 2015-12-28 2020-04-01 キヤノン株式会社 固体撮像素子及び撮像装置
US9871965B2 (en) * 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
US9787909B1 (en) * 2016-03-31 2017-10-10 Stmicroelectronics (Research & Development) Limited Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging
US10148888B2 (en) * 2016-05-18 2018-12-04 Texas Instruments Incorporated Image data processing for multi-exposure wide dynamic range image data
US10366478B2 (en) * 2016-05-18 2019-07-30 Interdigital Ce Patent Holdings Method and device for obtaining a HDR image by graph signal processing
US10129485B2 (en) 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
US10313605B2 (en) * 2016-06-15 2019-06-04 Canon Kabushiki Kaisha Image processing apparatus and control method thereof for generating high dynamic range image data
CN106204662B (zh) * 2016-06-24 2018-11-20 电子科技大学 一种多光源环境下的图像颜色恒常方法
CN109792478B (zh) 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10284823B1 (en) * 2016-10-12 2019-05-07 Google Llc Capturing photographs based on rotation of device
EP3319013A1 (en) * 2016-11-03 2018-05-09 Thomson Licensing Method and device for estimating cast shadow regions and/or highlight regions in images
JP6740866B2 (ja) * 2016-11-07 2020-08-19 株式会社デンソー 画像出力装置
JP6910704B2 (ja) 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像素子の製造方法、プラズモンフィルタ、及び、電子機器
KR20180078961A (ko) 2016-12-30 2018-07-10 삼성전자주식회사 이미지 촬상 장치 및 이의 구동 방법
US11238281B1 (en) * 2017-02-27 2022-02-01 Amazon Technologies, Inc. Light source detection in field of view
JP6887853B2 (ja) * 2017-04-03 2021-06-16 キヤノン株式会社 撮像装置、その制御方法、プログラム
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
KR20190017303A (ko) * 2017-08-10 2019-02-20 엘지전자 주식회사 이동 단말기
JP6789904B2 (ja) 2017-09-20 2020-11-25 株式会社東芝 ダイナミックレンジ圧縮装置及び画像処理装置
US10497104B2 (en) * 2017-10-24 2019-12-03 Adobe Inc. Empirical exposure normalization
JP7135299B2 (ja) * 2017-10-27 2022-09-13 株式会社リコー 画像処理装置、表示装置、画像処理方法、プログラム
US10498971B2 (en) * 2017-11-03 2019-12-03 Qualcomm Incorporated Systems and methods for high-dynamic range imaging
JP6946966B2 (ja) * 2017-11-22 2021-10-13 富士通株式会社 画像生成装置及び方法
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
EP3493150A1 (en) * 2017-11-30 2019-06-05 InterDigital VC Holdings, Inc. Tone mapping adaptation for saturation control
JP6895404B2 (ja) * 2018-03-20 2021-06-30 株式会社東芝 画像処理装置、運転支援装置、及び画像処理方法
JP6833751B2 (ja) 2018-03-20 2021-02-24 株式会社東芝 撮像制御装置、撮像装置、及び撮像制御方法
GB2572571B (en) * 2018-04-03 2021-09-01 Apical Ltd Image processing
CN110458860A (zh) * 2018-05-08 2019-11-15 华晶科技股份有限公司 图像处理方法及图像处理装置
JP7192279B2 (ja) * 2018-07-13 2022-12-20 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN108989700B (zh) * 2018-08-13 2020-05-15 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
JP6726324B1 (ja) * 2019-01-17 2020-07-22 オリンパス株式会社 撮像装置、画像合成方法、及び画像合成プログラム
CN110035237B (zh) * 2019-04-09 2021-08-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
TWI700929B (zh) 2019-06-11 2020-08-01 晶睿通訊股份有限公司 曝光補償方法及其攝影設備
CN110177221B (zh) * 2019-06-25 2021-02-26 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置
CN110445986B (zh) * 2019-07-30 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
KR20210053377A (ko) * 2019-11-01 2021-05-12 삼성전자주식회사 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법
CN111526298B (zh) * 2020-03-24 2021-10-19 深圳英飞拓智能技术有限公司 一种改善宽动态多场景适应性的方法
US11445127B2 (en) 2020-06-15 2022-09-13 Samsung Electronics Co., Ltd. Leveraging HDR sensors for handling mixed illumination auto white balance
US11736804B2 (en) * 2020-09-07 2023-08-22 Mediatek Inc. Method and apparatus for generating high dynamic range frame through white balance compensation that uses white balance gain table generated from combining multiple sets of white balance gain settings
US11595589B2 (en) 2021-07-22 2023-02-28 Arthrex, Inc. Surgical camera system with high dynamic range
CN115226054B (zh) * 2022-03-22 2024-04-12 广州汽车集团股份有限公司 一种数据采集方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345509A (ja) * 2005-05-23 2006-12-21 Canon Inc 画像処理方法及び装置
US20080187235A1 (en) * 2006-10-19 2008-08-07 Sony Corporation Image processing apparatus, imaging apparatus, imaging processing method, and computer program
US20100271512A1 (en) * 2009-04-23 2010-10-28 Haim Garten Multiple exposure high dynamic range image capture
US20110050950A1 (en) * 2008-09-03 2011-03-03 Kenichiroh Nomura Image device and imaging method

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4647975A (en) * 1985-10-30 1987-03-03 Polaroid Corporation Exposure control system for an electronic imaging camera having increased dynamic range
JPH07212645A (ja) * 1994-01-25 1995-08-11 Hitachi Denshi Ltd テレビジョンカメラ
US6177958B1 (en) * 1998-03-11 2001-01-23 Flashpoint Technology, Inc. System and method for the automatic capture of salient still images
US6850249B1 (en) * 1998-04-03 2005-02-01 Da Vinci Systems, Inc. Automatic region of interest tracking for a color correction system
JP3841584B2 (ja) * 1999-04-01 2006-11-01 松下電器産業株式会社 撮像装置
KR100363826B1 (ko) * 1999-06-07 2002-12-06 히다치덴시 가부시키가이샤 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법
JP2000350220A (ja) * 1999-06-07 2000-12-15 Hitachi Denshi Ltd テレビジョンカメラ
WO2000079326A1 (en) * 1999-06-18 2000-12-28 Genomic Solutions Inc. An automated, ccd-based microarray imaging system
US7084907B2 (en) * 2001-01-15 2006-08-01 Nikon Corporation Image-capturing device
JP3801126B2 (ja) 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP4043928B2 (ja) * 2002-12-02 2008-02-06 富士フイルム株式会社 デジタルカメラ
JP4378141B2 (ja) 2003-09-29 2009-12-02 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP4835593B2 (ja) 2005-03-15 2011-12-14 オムロン株式会社 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
US7636496B2 (en) 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping
US8049789B2 (en) * 2006-12-15 2011-11-01 ON Semiconductor Trading, Ltd White balance correction using illuminant estimation
JP4306750B2 (ja) 2007-03-14 2009-08-05 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
JP2009038412A (ja) * 2007-07-10 2009-02-19 Rohm Co Ltd 画像処理回路、半導体装置、画像処理装置
US8073234B2 (en) 2007-08-27 2011-12-06 Acushnet Company Method and apparatus for inspecting objects using multiple images having varying optical properties
JP5299282B2 (ja) * 2007-11-13 2013-09-25 富士通株式会社 画像補正装置
KR101257942B1 (ko) 2008-04-23 2013-04-23 고려대학교 산학협력단 광역 역광보정 영상처리에서의 전처리 방법 및 장치
JP2009284136A (ja) * 2008-05-21 2009-12-03 Nikon Corp 電子カメラ
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP2010219624A (ja) 2009-03-13 2010-09-30 Toshiba Corp 画像信号処理装置及び画像信号処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345509A (ja) * 2005-05-23 2006-12-21 Canon Inc 画像処理方法及び装置
US20080187235A1 (en) * 2006-10-19 2008-08-07 Sony Corporation Image processing apparatus, imaging apparatus, imaging processing method, and computer program
US20110050950A1 (en) * 2008-09-03 2011-03-03 Kenichiroh Nomura Image device and imaging method
US20100271512A1 (en) * 2009-04-23 2010-10-28 Haim Garten Multiple exposure high dynamic range image capture

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057926A1 (ko) * 2015-09-30 2017-04-06 삼성전자 주식회사 디스플레이 장치 및 이의 제어 방법
US10542242B2 (en) 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Display device and method for controlling same

Also Published As

Publication number Publication date
EP2700053A1 (en) 2014-02-26
CN103518223B (zh) 2016-11-02
US8947555B2 (en) 2015-02-03
WO2012145415A1 (en) 2012-10-26
JP2014519218A (ja) 2014-08-07
JP5964409B2 (ja) 2016-08-03
CN103518223A (zh) 2014-01-15
KR20130138340A (ko) 2013-12-18
US20120262600A1 (en) 2012-10-18

Similar Documents

Publication Publication Date Title
KR101537182B1 (ko) 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화
CN110445988B (zh) 图像处理方法、装置、存储介质及电子设备
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
JP6423625B2 (ja) 画像処理装置および画像処理方法
JP5226794B2 (ja) 動き支援されたイメージセンサコンフィギュレーション
CN106797453B (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
JP4986747B2 (ja) 撮像装置及び撮像方法
CN106358030B (zh) 图像处理装置和图像处理方法
CN110213502B (zh) 图像处理方法、装置、存储介质及电子设备
WO2017101561A1 (zh) 高动态范围图像的生成方法、拍照装置和终端、成像方法
JP2008104010A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR20110105831A (ko) 고 명암비 이미지 합성
JP2012523799A (ja) 自動バックライト検出
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN111586312B (zh) 自动曝光的控制方法及装置、终端、存储介质
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
WO2019064753A1 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム
JP2013157904A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN110572585B (zh) 图像处理方法、装置、存储介质及电子设备
KR101337667B1 (ko) 휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작
JP5274686B2 (ja) 撮像装置及び撮像方法
CN114125311A (zh) 一种宽动态模式的自动切换方法及装置
JP6701299B2 (ja) 画像処理装置および画像処理方法
JP2017034536A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 5