KR101664158B1 - 지능형 계산 촬영 시스템 - Google Patents

지능형 계산 촬영 시스템 Download PDF

Info

Publication number
KR101664158B1
KR101664158B1 KR1020147021608A KR20147021608A KR101664158B1 KR 101664158 B1 KR101664158 B1 KR 101664158B1 KR 1020147021608 A KR1020147021608 A KR 1020147021608A KR 20147021608 A KR20147021608 A KR 20147021608A KR 101664158 B1 KR101664158 B1 KR 101664158B1
Authority
KR
South Korea
Prior art keywords
image
scene
images
frames
logic
Prior art date
Application number
KR1020147021608A
Other languages
English (en)
Other versions
KR20140114002A (ko
Inventor
칼파나 세샤드리나단
성 리 박
오스카 네스타레스
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20140114002A publication Critical patent/KR20140114002A/ko
Application granted granted Critical
Publication of KR101664158B1 publication Critical patent/KR101664158B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Abstract

일부 실시예들에서, 영상 캡처 장치 및 영상 캡처 장치로부터 제1 세트의 입력 프레임들을 수신하고, 상기 제1 세트의 입력 프레임들을 분석하여 다중 영상 처리가 실시되어야 하는지를 결정하고, 다중 영상 처리가 실시되어야 한다는 결정에 응답하여, 장면의 다이내믹 레인지를 캡처하는 데 필요한 영상 프레임들의 수를 결정하고, 적어도 상기 수의 영상 프레임들을 캡처하고, 상기 수의 영상들을 정렬시키고, 상기 수의 영상들을 병합 영상으로 병합하는 로직을 포함하는 전자 장치가 개시된다. 기타 실시예들이 기술될 수 있다.

Description

지능형 계산 촬영 시스템{INTELLIGENT COMPUTATIONAL IMAGING SYSTEM}
본 명세서에 기술된 내용은 일반적으로 촬영 및 영상 처리의 분야에 관한 것으로, 더 상세하게는, 하이 다이내믹 레인지(high dynamic range) 장면들의 영상들을 획득하거나 저조도(low light) 조건하에 장면을 촬영하는 시스템들 및 방법들에 관한 것이다.
휴대폰(mobile phones), PDA(personal digital assistants), 휴대용 컴퓨터 등과 같은 전자 장치들은 디지털 영상들을 캡처하기 위한 카메라를 포함할 수 있다. 예로서, 휴대폰은 디지털 영상들을 캡처하기 위한 하나 이상의 카메라를 포함할 수 있다. 전자 장치들은 카메라에 의해 수집된 영상들을 캡처하고, 그 영상들을 처리하여 그 영상들을 메모리에 저장하고/거나 그 영상들을 표시하기 위한 영상 신호 처리 파이프라인을 갖추고 있을 수 있다.
일부 경우에 자연 장면들의 다이내믹 레인지는 카메라 획득 시스템의 다이내믹 레인지를 초과할 수 있고, 그 결과 영상의 특정 영역들에서 최종 영상의 디테일(detail)이 손실될 수 있다. 유사하게, 저조도 조건하에, 카메라 영상들은 장면 캡처의 충실도에 영향을 미치는 상당한 잡음을 겪을 수 있다.
디지털 사진술에서 다이내믹 레인지 문제들에 부응하는 기법들은 다이내믹 레인지를 확장하거나 잡음을 줄이기 위해 영상 스택들을 처리하는 것을 포함하는데, 이러한 영상 스택들을 획득하는 최적의 방법들을 결정하는 데는 훨씬 덜 주의가 기울여졌다. 그러나, 문헌 중의 많은 연구는 장면의 특징들이 이미 알려져 있다고 가정하고, 충분하고도 남을 수 있는 미리 정해진 수의 영상을 캡처한다. 다중 영상 접근법은 캡처된 영상들 사이의 모션에 민감하므로, 더 많은 프레임들을 불필요하게 캡처하는 것은 더욱 열악한 병합 결함(merging artifacts)을 야기할 수 있고 상이한 영상들 사이의 모션 및 정렬 불량을 처리하는 데 더 비싼 재구성 알고리즘이 필요할 수 있다. 따라서, 영상 스택 내의 영상의 수를 선택하는 기법들은 디지털 사진술에서, 특히 핸드헬드 모바일 기기와 같은 리소스 제한적 시스템(resource-constrained system)들에서 유용할 수 있다.
상세한 설명은 첨부 도면들을 참조하여 설명된다.
도 1은 일부 실시예들에 따른, 계산 촬영 시스템에 사용되는 전자 장치의 개략도이다.
도 2는 실시예들에 따른, 계산 촬영 시스템에 사용되는 장치의 구성요소들의 개략도이다.
도 3은 일부 실시예들에 따른 영상 신호 프로세서에서의 다중화를 보여주는 순서도이다.
본 명세서에서는 계산 촬영을 위한 예시적인 시스템들 및 방법들이 설명된다. 하기의 설명에서는, 다양한 실시예들에 대한 철저한 이해를 제공하기 위해 많은 특정한 세부 사항들이 기술된다. 그러나, 숙련된 당업자들은 이 특정한 세부 사항들이 없이도 다양한 실시예들이 실시될 수 있다는 것을 이해할 것이다. 다른 사례들에서, 특정한 실시예들을 모호하게 하지 않기 위하여 잘 알려진 방법들, 절차들, 구성요소들, 및 회로들은 예시되거나 설명되지 않았다.
일부 실시예들에서, 본 명세서에 기술된 내용은 전자 장치가 하나 이상의 영상 캡처 장치들, 예컨대, 카메라들, 및 계산 촬영을 위한 영상 처리 기법들을 갖출 수 있게 해준다. 본 명세서에 기술된 시스템들 및 방법은 전자 장치가 장면의 개선된 표현을 제공하는 단일 영상을 생성하기 위해 다수의 영상을 캡처하고 효율적으로 처리할 수 있게 해준다. 영상 신호들은 메모리에 저장되고/거나 디스플레이 장치에 표시될 수 있다.
도 1은 일부 실시예들에 따른, 계산 촬영 시스템에 사용되는 전자 장치의 개략도이다. 도 1을 참조하면, 일부 실시예들에서 전자 장치(110)는 휴대폰, PDA(personal digital assistant) 등으로 구현될 수 있다. 전자 장치(110)는 RF 신호들을 송수신하는 RF 트랜시버(150) 및 RF 트랜시버(150)에 의해 수신된 신호들을 처리하는 신호 처리 모듈(152)을 포함할 수 있다.
RF 트랜시버는, 예컨대, 블루투스 또는 802.11X 등의 프로토콜을 통해 로컬 무선 연결을 구현할 수 있다. 무선 인터페이스의 하나의 예는 IEEE 802.11a, b 또는 g-호환(compliant) 인터페이스이다(예컨대, IEEE Standard for IT-Telecommunications and information exchange between systems LAN/MAN--Part II: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) specifications Amendment 4: Further Higher Data Rate Extension in the 2.4 GHz Band, 802.11G-2003 참조). 무선 인터페이스의 다른 예는 일반 패킷 무선 서비스(general packet radio service; GPRS) 인터페이스이다(예컨대, Guidelines on GPRS Handset Requirements, Global System for Mobile Communications/GSM Association, Ver. 3.0.1, December 2002 참조).
전자 장치(110)는 하나 이상의 프로세서(154) 및 메모리 모듈(156)을 더 포함할 수 있다. 본 명세서에서 사용될 때, 용어 "프로세서"는 마이크로프로세서, 마이크로컨트롤러, CISC(complex instruction set computing) 마이크로프로세서, RISC(reduced instruction set computing) 마이크로프로세서, VLIW(very long instruction word) 마이크로프로세서, 또는 임의의 다른 유형의 프로세서 또는 프로세싱 회로와 같은(이들에 제한되지는 않음) 임의의 유형의 계산 요소를 의미한다. 일부 실시예들에서, 프로세서(154)는 Intel® 계열의 하나 이상의 프로세서일 수 있다. 또한, 다른 제조사들로부터의 하나 이상의 프로세서가 이용될 수도 있다. 더욱이, 프로세서들은 싱글 또는 멀티 코어 설계를 가질 수 있다. 일부 실시예들에서, 메모리 모듈(156)은 RAM(random access memory)을 포함하지만, 메모리 모듈(156)은 DRAM(dynamic RAM), SDRAM(synchronous DRAM) 등과 같은 다른 메모리 타입들을 이용하여 구현될 수도 있다. 전자 장치(110)는, 예컨대, 키패드(158) 및 하나 이상의 디스플레이(160)와 같은 하나 이상의 입력/출력 인터페이스를 더 포함할 수 있다.
일부 실시예들에서 전자 장치(110)는 둘 이상의 카메라(162) 및 영상 신호 처리 모듈(164)을 포함한다. 제한이 아니라 예로서, 제1 카메라(162)가 전자 장치(110)의 정면에 또는 배면에 위치해 있을 수 있다. 일부 실시예들에서 전자 장치(110)는 제2 또는 추가 카메라를 포함할 수 있다. 영상 신호 처리 모듈(164)은 영상 캡처 모듈(166), 영상 정렬 모듈(168), 및 톤맵(tonemap) 모듈(170)을 포함한다.
영상 신호 프로세서(164) 및 연관된 영상 처리 파이프라인의 양태들은 도 2-3을 참조하여 더 상세히 설명될 것이다.
도 2는 실시예들에 따른, 계산 촬영 시스템에 사용되는 장치(210)의 구성요소들의 개략도이다. 도 2를 참조하면, 일부 실시예들에서 장치(210)는 집적 회로 또는 그의 구성요소로서, 칩셋으로서, 또는 시스템 온 칩(System On a Chip, SOC) 내의 모듈로서 구현될 수 있다. 대안의 실시예들에서 장치(210)는 프로그램 가능한 장치, 예컨대, FPGA(field programmable gate array)에 인코딩된 로직으로서 또는 범용 프로세서 상의 논리 명령들, 또는 DSP(Digital Signal Processor) 또는 SIMD(Single Instruction Multiple Data) 벡터 프로세서 등의 특수 프로세서 상의 논리 명령들로서 구현될 수 있다.
도 2에 도시된 실시예에서, 장치(210)는 영상 신호 처리(ISP) 모듈(164)을 포함하는데, 이는 전술한 바와 같이 영상 캡처 모듈(166), 영상 정렬 모듈(168), 및 톤맵 모듈(170)을 포함한다. 장치(210)는 수신기(222), 직접 메모리 액세스(direct memory access; DMA) 엔진(226) 및 메모리 관리 유닛(memory management unit; MMU)(228)을 더 포함할 수 있다. ISP 모듈(164)은 메모리 모듈(156)에 결합되어 있다. 메모리 모듈(156)은 하나 이상의 레지스터(230) 및 하나 이상의 프레임 버퍼(240)를 유지할 수 있다.
전자 장치의 동작들이 도 2-3을 참조하여 설명될 것이다. 일부 실시예들에서 카메라(162)에 의해 촬영된 장면으로부터의 영상들이 수신기(222)에 입력된다(동작 310). 일부 실시예들에서 카메라(162)는 영상 캡처 장치, 예컨대, 전하 결합 소자(charge coupled device; CCD)에 결합된 광학 배열, 예컨대, 하나 이상의 렌즈를 포함할 수 있다. 전하 결합 소자의 출력은 베이어 프레임(Bayer frame)의 포맷일 수 있다. CCD 또는 CMOS 소자로부터 출력된 베이어 프레임들을 시간에 맞춰(in time) 샘플링하여 일련의 베이어 프레임들을 생성할 수 있고, 이것들은 하나 이상의 수신기(222)에 보내진다. 이들 미처리된 영상 프레임들은 때때로 본 명세서에서 원시 영상 프레임들이라고 불릴 수 있다. 숙련된 당업자는 원시 영상 프레임들이 데이터 값들의 어레이 또는 행렬로서 구현될 수 있다는 것을 알 것이다. 원시 프레임들은 프레임 버퍼들(240)에 저장될 수 있다. 일부 실시예들에서 직접 메모리 액세스 엔진(226)은 수신기(222)로부터 영상 프레임을 검색하고 이 영상 프레임을 프레임 버퍼(240)에 저장한다.
동작 315에서는 장면의 하나 이상의 원시 영상 프레임을 분석하여, 영상 내의 시각적 잡음을 최소화하면서 장면의 풀 다이내믹 레인지를 캡처하기 위해 장면의 다수의 원시 영상들이 처리되어야 하는지를 결정한다. 예로서 일부 실시예들에서 영상 캡처 모듈(166)은 장면을 캡처하는 데 필요한 영상 프레임들의 최소수 및 이들 영상 프레임들 각각에 대한 대응하는 캡처 파라미터들(예컨대, 노출 시간 및 ISO 설정들)을 결정한다(동작 320). 캡처 충실도를 측정하는 데 이용되는 기준은 영상의 평균 신호 대 잡음비(SNR)를 포함할 수 있는데, 이것은 카메라 잡음 모델에 기초하여 추정된다.
일부 실시예들에서는 센서의 다이내믹 레인지를 초과할 수 있는, 장면의 다이내믹 레인지 및 히스토그램을 포함하는 장면 통계들을 계산하기 위해 하나 이상의 원시 영상을 분석한다. 시스템의 센서 모델의 분석과 함께, 이러한 통계들은 전체 SNR 또는 사용자가 설계한 다른 목표들을 최대화하는 노출 파라미터들을 자동으로 결정하는 데 이용될 수 있다. 파라미터들은 실시간으로 설정될 수 있으며, 따라서 사용자가 셔터 버튼을 누를 때 즉시 모든 추정된 노출 파라미터들이 적용될 수 있다.
디지털 카메라 센서들은 암전류(dark current), 광자 산탄 잡음(photon shot noise), 판독 잡음(readout noise) 및 아날로그-디지털 변환(ADC)으로부터의 잡음 등의 상이한 잡음원들에 민감하다. 일부 실시예들에서는 그러한 잡음원들로부터 도입된 오류들을 모델링하기 위해 잡음 모델이 적용될 수 있다.
예로서, Ij가 단위 시간당 센서 상의 픽셀 위치 j에서 생성된 전자의 수 - 이는 입사 스펙트럼 조도(incident spectral irradiance)에 비례함 - 를 나타낸다면, 노출 시간 t 동안에 Ij개 전자들이 생성된다. 픽셀 값 Xj는 정규 확률 변수(normal random variable)로서 모델링될 수 있다:
Figure 112014072833721-pct00001
Figure 112014072833721-pct00002
Figure 112014072833721-pct00003
여기서
Figure 112014072833721-pct00004
은 평균
Figure 112014072833721-pct00005
와 분산
Figure 112014072833721-pct00006
을 가진 정규 분포를 나타낸다. Sj는 픽셀 위치 j에서 수집된 전자의 수를 나타내는 확률 변수이고, 이는 전형적으로 암전류
Figure 112014072833721-pct00007
및 생성된 전자의 수에 의해 그 평균이 결정되는 포아송 분포(Poisson distribution)를 이용하여 모델링된다. 포아송 분포는 많은 수의 전자에 대해 합리적인 정규 분포를 이용하여 근사화될 수 있고,
Figure 112014072833721-pct00008
는 센서 위치에서의 암전류를 나타낸다. 암전류는 센서의 온도 및 노출 시간에 의존한다. 그러나, 일부 실시예들에서 야외 사진술에 대한 전형적인 노출 시간들을 이용하여 추정된 상수 값을 가정하는 것이 적절할 수 있다. R은 판독 잡음을 나타내고 Q는 아날로그-디지털 변환기(ADC)로부터의 잡음을 나타내고, 이들 모두는 수학식 3에서 가우시안 확률 변수(Gaussian random variable)들로서 모델링될 수 있다. 변수 g는 센서에 적용된 명시적(explicit) ISO 설정을 나타내고
Figure 112014072833721-pct00009
는 전자당 수치값(digital number per electron)의 단위로 아날로그 증폭기와 카메라 회로의 조합 이득을 나타낸다.
신호 대 잡음비(SNR)의 제곱은 다음과 같이 정의된다:
Figure 112014072833721-pct00010
Figure 112014072833721-pct00011
를 이용하여 표시된 모델 파라미터들의 추정에 대해 아래에 논의된다. 일부 실시예들에서
Figure 112014072833721-pct00012
는 다음과 같이 xj로서 표시된 위치 j에서의 픽셀 값으로부터 추정될 수 있다:
Figure 112014072833721-pct00013
장면의 다이내믹 레인지는 영상 센서의 다이내믹 레인지보다 클 수 있고 장면의 밝은 영역들을 나타내는 짧은 노출 (tmin, gmin) 및 장면의 어두운 영역들을 나타내는 긴 노출 (tmax, gmax)을 결정하기 위해 센서로부터 영상들을 연속적으로 스트리밍함으로써 결정될 수 있다. H가 센서의 비트 깊이에 의해 결정되는 레인지 [hmin, hmax]에서 계산되는 센서로부터의 영상 스트리밍의 히스토그램을 나타낸다고 하자. 파라미터들 (tmin, gmin)은 영상 내의 픽셀들의 대략 P1%가 어둡고 히스토그램 레인지의 Q1% 안에 포함되는 노출로서 정의될 수 있다. (tmin, gmin)를 결정하기 위해, 첫 번째 반복에 대해 (tini, gini)의 초기 노출이 설정될 수 있다. 그 후 결과적인 히스토그램의 정규화된 P1-백분위 값
Figure 112014072833721-pct00014
- 여기서 h는 P1-백분위 값을 나타냄 - 이 결정될 수 있다.
Figure 112014072833721-pct00015
[(P - 0.5)/100, (P + 0.5)/100]이라면, 노출 시간과 이득의 곱인 총 노출은 다음 반복에 대해 인수
Figure 112014072833721-pct00016
만큼 변할 수 있다. 이러한 절차는 고정된 수의 반복에 대해 또는 수렴 기준이 충족될 때까지 계속될 수 있다.
유사한 절차가 (tmax, gmax)를 결정하는 데 이용될 수 있고, 이는 영상 내의 픽셀들의 대략 P2%가 밝고 히스토그램 레인지의 Q2% 위에 포함되는 노출로서 결정된다. 마지막으로, 모션 블러를 방지하기 위해, 일부 실시예들에서 60ms로 설정될 수 있는, 노출 시간에 대한 최댓값이 구현될 수 있다. 총 노출은 이 한계에 도달할 때까지 노출 시간을 증가시킴으로써 수정될 수 있고, 그 시점에 이득은 센서 잡음 모델과 일치할 때까지 증가될 수 있다.
장면으로부터의 입사 스펙트럼 조도에 비례하는, I에 대해 장면 히스토그램이 추정될 수 있다. 일부 실시예들에서 전술한 파라미터들 (tmin, gmin) 및 (tmax, gmax)을 이용하여, 2개의 원시 영상 xmin 및 xmax가 캡처될 수 있다. xmin 및 xmax는 상이한 노출들을 이용하여 획득된 I의 2개의 상이한 추정치들이고 I의 추정치를 생성하는 데 이용될 수 있으며, 그 후 I의 히스토그램이 산출될 수 있다는 점에 유의한다. 그러나, 이 노출들은 핸드헬드 카메라로 인해 정렬되어 있지 않을 수 있고 정렬(alignment)은 계산상 비용이 많이 드는 오퍼레이션이다. 따라서 I는 xmin 및 xmax를 따로따로 이용하여 그리고 결과의 히스토그램들을 조합하여 추정될 수 있다. HI로 표시되는 I의 히스토그램은 겹치는 영역들 내에서는 2개의 히스토그램을 평균하고 겹치지 않는 영역들에서는 이용가능 노출의 히스토그램을 이용하여 생성된다. 레인지
Figure 112014072833721-pct00017
에서 256개 빈을 이용하여 I의 히스토그램을 계산함으로써 만족스러운 결과들이 얻어질 수 있다.
Figure 112014072833721-pct00018
는 다음 수학식을 이용하여 xmin으로부터 추정될 수 있다:
Figure 112014072833721-pct00019
2개의 프레임 xmin 및 xmax를 이용하여 구성된 히스토그램은 I의 히스토그램에 대한 합리적인 근사치를 제공하는 것으로 가정된다. 이러한 가정은 센서의 이용 가능한 다이내믹 레인지의 2배를 초과하는 극도로 높은 다이내믹 레인지를 가진 장면들에 대해서는 위반될 수 있다. 실제로는, 대부분의 장면들이 전형적인 영상 센서들이 제공하는 10- 또는 12-비트 원시 영상들에 대해 이러한 가정을 위반하지 않는다. 이러한 가정의 위반은 장면 히스토그램의 중간 레인지들에서 오류(inaccuracies)를 야기할 수 있다.
Figure 112014072833721-pct00020
(
Figure 112014072833721-pct00021
)를 추정한 후에 샷의 수 및 각 샷의 노출들에 대하여 다음 수학식을 이용하여 공동 최적화(joint optimization)가 수행될 수 있다:
Figure 112014072833721-pct00022
수학식 7a 및 7b는 개개의 SNR들의 합으로서 병합된 샷의 SNR을 표현한다. 또한, 비율(fraction)
Figure 112014072833721-pct00023
보다 더 많은 픽셀들이 SNR에서 T dB의 임계치보다 높을 필요가 있다.
이러한 최적화를 분석적으로 해결하는 데에 있어서의 어려움으로 인해, 그것을 수행하기 위해 반복적 절차가 실시될 수 있다. 샷의 수는 1로 초기화될 수 있고 대응하는 파라미터들은
Figure 112014072833721-pct00024
로 초기화될 수 있다. 수학식 7a를 최대화하는 값을 결정하기 위해 (1/8,1/4,1/2,2,4,8)의 인수들과 곱함으로써 총 노출 값에 관해 대강의 검색(coarse search)이 수행될 수 있다. 그 후 로컬 최댓값(local maximum)이 결정될 때까지 반복적으로 20.25와 곱함으로써 이 최댓값 주위에서 미세 검색(fine search)이 수행될 수 있다. 그 후 이 조건을 테스트하여 수학식 7이 만족되는지를 결정할 수 있다. 만족되지 않는다면, 다른 샷을 최적화에 추가하고 각 샷에 대하여 위의 절차를 반복할 수 있다. N = 2에 대해, 초기 조건들은
Figure 112014072833721-pct00025
로 선택될 수 있다. N = 3에 대해, 초기 조건들은
Figure 112014072833721-pct00026
로 선택될 수 있다. 일부 실시예들에서는 모션 블러를 방지하기 위해 60ms의 최대 노출 시간이 추정될 수 있고 이 한계에 도달할 때까지 노출 시간을 증가시킴으로써 총 노출이 수정되고, 한계 이후에 ISO 이득이 증가된다.
이 섹션은 잡음 모델의 상이한 파라미터들에 대한 추정 절차를 기술한다. 먼저, 영상 센서에 의해 허용되는 모든 상이한 ISO 설정들 g(k)를 이용하여 카메라의 렌즈를 완전히 커버함으로써 다수의 원시(베이어 도메인) 암(dark) 프레임 D(k)가 캡처될 수 있다. 여기서, i는 허용되는 ISO 설정들에 걸쳐 다양하고 많은 모바일 카메라들은 16개 또는 32개의 상이한 설정들을 허용한다. 암 프레임 획득을 위한 노출 시간은 t0 = 1/30초로 설정될 수 있는데, 이는 야외 사진술에서 사용되는 전형적인 노출 시간들의 대략 상한이다. 그 후 암 프레임들 각각의 샘플 평균
Figure 112014072833721-pct00027
및 분산
Figure 112014072833721-pct00028
가 계산될 수 있다. 수학식 1에서 암 프레임들에 대해 I = 0을 설정하면, 다음을 확인하는 것은 간단하다:
Figure 112014072833721-pct00029
Figure 112014072833721-pct00030
수학식 8은 최소 제곱 추정(least squares estimation)을 이용하여 추정될 수 있는 2개의 미지의 변수
Figure 112014072833721-pct00031
및
Figure 112014072833721-pct00032
를 가진 g(k)의 선형 함수로서 취급될 수 있다. 유사하게, 수학식 9의 미지의 파라미터들
Figure 112014072833721-pct00033
및
Figure 112014072833721-pct00034
는 최소 제곱 추정을 이용하여 추정될 수 있다.
Figure 112014072833721-pct00035
를 추정하기 위해, 플랫 필드 영상들(flat field images)이 LCD 모니터 상에 상이한 밝기 레벨들로 표시될 수 있고 어두운 주위 조건들에서 상이한 노출 시간들 및 이득들을 이용하여 카메라 센서로 이를 촬영한다. 균일 광원 박스 또는 균일 반사 카드들에 배치된 ND(neutral density) 필터들이 더 정확한 캘리브레이션을 제공하기는 하지만, 이 간단한 방법을 이용하여 합리적인 플랫 필드 영상들 및 캘리브레이션 정확도가 달성될 수 있다. F(k)가 조도(illumination level) I(k), 노출 시간 t(k) 및 ISO 설정 g(k)를 이용하여 획득된 플랫 필드 원시 영상이라고 하자. 4개의 상이한 노출 시간, 4개의 ISO 설정 및 5개의 조도를 이용하여 한 세트의 영상들을 획득한다.
Figure 112014072833721-pct00036
Figure 112014072833721-pct00037
일부 실시예들에서
Figure 112014072833721-pct00038
및
Figure 112014072833721-pct00039
는 1% 미만의 비네팅 왜곡(vignetting distortion)을 겪은 프레임의 중앙 영역에서 F(k)의 샘플 평균 및 분산을 이용하여 추정될 수 있다. 이전에 추정된
Figure 112014072833721-pct00040
의 값들을 이용하여 최소 제곱 적합(least squares fitting) 절차가
Figure 112014072833721-pct00041
를 추정하는 데 이용될 수 있다.
동작 325에서, 분석이 장면의 풀 다이내믹 레인지를 적절히 캡처하고 영상에서 시각적 잡음을 최소화하기 위해 다수의 영상 프레임들이 필요하지 않다고 결정하면; 제어는 동작 330으로 넘어가고 종래의 카메라 영상 캡처 루틴이 실시될 수 있다.
이와 대조적으로, 동작 325에서 분석이 시각적 잡음을 최소화하면서 장면의 풀 다이내믹 레인지를 적절히 캡처하기 위해 다수의 영상 프레임들이 필요하다고 결정하면; 제어는 동작 335로 넘어가고 결정된 파라미터들을 이용하여 최소수의 영상 프레임들이 캡처된다. 예로서, 일부 실시예들에서 영상 캡처 모듈(166)은 DMA 엔진(226)에게 수신기로부터 적어도 최소수의 영상 프레임들을 캡처하라고 지시할 수 있다. 동작 340에서 캡처 영상 프레임들은 메모리에, 예컨대, 메모리(156)의 레지스터들(230) 중 하나 이상에 저장된다.
동작 345에서는 획득된 영상들이 정렬된다. 일부 실시예들에서 카메라(162)로 캡처된 영상 프레임들은 획득 중의 카메라 움직임을 보상하기 위한 추가의 처리 전에 정렬될 필요가 있을 수 있다. 일부 실시예들에서는 영상 프레임들을 정렬시키기 위해 3D 카메라 회전 모델을 이용하는 다중 해상도, 기울기 기반의 레지스트레이션 알고리즘(multi-resolution, gradient-based registration algorithm)이 구현될 수 있다. 노출 시간 및 이득에 의해 (선형인 것으로 가정되는) 원시 강도들을 정규화하는 강도 보존(intensity conservation)이 달성된다. 작은 각 근사(small angle approximation)를 투영 방정식(projective equation) 및 기울기 제약(gradient constraint)과 조합하면 작은 각들에 대한 다음과 같은 선형 제약이 생긴다:
Figure 112014072833721-pct00042
여기서
Figure 112014072833721-pct00043
는 회전 벡터이고,
Figure 112014072833721-pct00044
는 영상 좌표들이고,
Figure 112014072833721-pct00045
및
Figure 112014072833721-pct00046
는 초점거리들이고,
Figure 112014072833721-pct00047
는 공간 기울기이고
Figure 112014072833721-pct00048
는 영상 차이이다. 회전 벡터는 다수의 픽셀들로부터의 제약들을 모아서 추정될 수 있다. 일부 실시예들에서는 800 내지 1000개의 감소된 수의 픽셀들을 이용하여 처리 비용을 감소시킬 수 있다. 결과적인 과다 결정된(over-determined) 선형 시스템은 모델 위반들(예컨대, 독립적으로 움직이는 객체들) 및 국소 조명 변화들로 인한 외딴 관찰들의 영향을 최소화하는 강건한 M-추정기를 이용하여 해결된다.
일단 영상들 간의 정렬이 추정되면 영상들은 공통 참조 프레임(common frame of reference)으로 워핑될(warped) 수 있다. 일부 실시예들에서 가능한 베이어 패턴들 중 하나로 배열된 원시 영상 프레임들을 직접 이용하는 역방향 보간 워핑 방법(backwards interpolation warping method)이 구현될 수 있다. 이는 영상들이 이용 가능한 디모자이킹(demosaicing) 기법들 중 임의의 것을 이용하여 보간되지 않아도 되기 때문에 계산상 절약을 제공하며; 더욱이 350에서의 병합 동작은 X3(3배) 더 많은 데이터를 수반하는 풀 RGB 영상들 대신에 원시 워핑된 영상들에 적용된다. 더 상세하게는, 시프트된 선형 보간 방법이 실시될 수 있다. 이 보간 방법은 정규의 샘플링 그리드를 필요로 하는 분리 가능한 IIR 필터(또는 2D에서의 그의 등가물)를 이용하여 영상의 전처리를 시작한다. 적색(R) 및 청색(B) 채널들은 베이어 패턴 내의 누락 샘플들을 무시하고 직접 처리될 수 있다. 녹색(G) 채널에 대해서는 45도 회전된 샘플링 그리드를 이용하여 정규의 그리드를 제공하는 적당한 스캐닝 전략이 달성될 수 있다. 다음으로 시프트된 변위들을 가진 정규의 이중 선형 보간법이 R 및 B 채널들에 직접 적용될 수 있는 반면, G 채널은 보간에 필요한 가장 가까운 이웃들을 선택하기 위해 45도 회전될 수 있다.
동작 350에서는 정렬된 영상 프레임들이 병합 영상으로 병합된다. 일부 실시예들에서는 전술한 알고리즘의 최적화 단계에서 추정된 파라미터들을 이용하여 획득되는 원시 영상들을 병합하고 처리한다.
Figure 112014072833721-pct00049
이 각각
Figure 112014072833721-pct00050
으로서 최적화 중에 계산된 노출 파라미터들을 이용하여 센서로부터 획득되는 영상들을 나타낸다고 하자. 섹션 2.1에 기술된 잡음 모델에 기초하여, x(k)는 다음과 같이 주어진 평균 및 분산을 가진 가우시안 분포로부터의 샘플들에 대응한다:
Figure 112014072833721-pct00051
Figure 112014072833721-pct00052
수학식 2의 잡음 모델에서 포아송 샷 잡음 및 암 잡음(dark noise)은 가우시안 분포의 평균과 분산 간의 의존성을 도입하고, 이는 x(k)에 기초한 I의 최대 우도 추정(maximum likelihood estimation)(ML)에 대한 폐쇄형 해(closed-form solution)를 구하는 것을 어렵게 만든다. 이러한 추정을 위해 반복적 절차들이 이용될 수 있기는 하지만, 일부 실시예들에서
Figure 112014072833721-pct00053
의 추정은 계산상 비용을 감소시키기 위해 픽셀 값을 이용하여 이루어질 수 있다.
Figure 112014072833721-pct00054
Figure 112014072833721-pct00055
를 Ij의 함수로서 고려하면, HDR 장면 I의 최대 우도(ML) 추정은 다음과 같이 주어진다.
Figure 112014072833721-pct00056
일부 실시예들에서 병합 동안 포화되는 픽셀들을 방지하는 메커니즘이 적용될 수 있다. 이를 위해, 캘리브레이션 동안 센서가 포화되는 값이 결정될 수 있고 베이어 4-팩 내의 4개의 모든 픽셀 중 어떤 것이라도 포화되면 그 픽셀들에 대해 가중치를 0으로 설정한다. 이는 상이한 색 채널들이 상이한 레벨들에서 포화되는 센서들에서의 색 결함(color artifacts)을 생성하는 것을 방지하고 모든 노출들이 포화되는 코너 케이스(corner case)를 다루는 것이 잡음 플로어(noise floor) 아래가 아닌 한은 항상 가장 어두운 노출이 병합에 이용되는 것을 보증한다. 일부 실시예들에서, HDR 영상은 레인지 [0, hmax/
Figure 112014072833721-pct00057
mink{g(k)t(k)}] 내의 값들을 이 레인지로 선형적으로 리스케일링(rescaling)함으로써 16-비트 정수 포맷으로 저장된다. 정수 표현은 모바일 기기들에서 영상 신호 프로세서(ISP)에서 이들 영상의 처리를 위해 필요하고 또한 HDR 영상들의 소프트웨어 처리를 더욱 고속화한다.
그 후 HDR 영상은 가장 가까운 이웃 보간을 이용한 이중 선형 디모자이킹 및 톤맵핑과, 이어서 SRGB 감마 변환으로 이루어지는 단순 카메라 파이프라인을 이용하여 처리될 수 있다. 계산상 효율의 이유로 글로벌 톤맵핑 방법은 시그모이드 함수(sigmoid function)를 이용하여 톤 곡선을 생성한다. L(I)가 I의 휘도(luminance)를 나타낸다고 하자. 그러면 톤맵핑된 영상 H는 H = IL(H)/L(I)를 통해 얻어지며, 여기서:
Figure 112014072833721-pct00058
Figure 112014072833721-pct00059
동작 355에서는 병합된 영상이 디스플레이 장치에서의 표시를 위해 처리될 수 있다. 예를 들어, 병합된 영상은 전자 장치상의 디스플레이(160), 또는 전자 장치(160)에 결합된 별개의 디스플레이 상에 표시될 수 있다. 그리고 동작 360에서는 병합된 영상이 메모리에 저장될 수 있다.
본 명세서에서 언급된 "논리 명령들"이라는 용어는 하나 이상의 논리 연산을 수행하기 위해 하나 이상의 기계에 의해 이해될 수 있는 표현들과 관련된다. 예를 들어, 논리 명령들은 하나 이상의 데이터 객체에 대한 하나 이상의 연산을 실행하기 위해 프로세서 컴파일러에 의해 해석 가능한 명령들을 포함할 수 있다. 그러나, 이것은 기계 판독가능 명령들의 일례에 불과하고 실시예들은 이에 관하여 제한되지 않는다.
본 명세서에서 언급된 "컴퓨터 판독가능 매체"라는 용어는 하나 이상의 기계에 의해 인지 가능한 표현들을 유지할 수 있는 매체와 관련된다. 예를 들어, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령들 또는 데이터를 저장하기 위한 하나 이상의 기억 장치를 포함할 수 있다. 그러한 기억 장치는 예를 들어 광학, 자기 또는 반도체 기억 매체와 같은 기억 매체를 포함할 수 있다. 그러나, 이것은 컴퓨터 판독가능 매체의 일례에 불과하고 실시예들은 이에 관하여 제한되지 않는다.
본 명세서에서 언급된 "로직"이라는 용어는 하나 이상의 논리 연산을 수행하기 위한 구조와 관련된다. 예를 들어, 로직은 하나 이상의 입력 신호에 기초하여 하나 이상의 출력 신호를 제공하는 회로를 포함할 수 있다. 이러한 회로는 디지털 입력을 수신하고 디지털 출력을 제공하는 유한 상태 기계, 또는 하나 이상의 아날로그 입력 신호에 응답하여 하나 이상의 출력 신호를 제공하는 회로를 포함할 수 있다. 이러한 회로는 ASIC(application specific integrated circuit) 또는 FPGA(field programmable gate array)로 제공될 수 있다. 또한, 로직은 기계 판독가능 명령들을 실행하기 위해 처리 회로와 조합하여 메모리에 저장된 이러한 기계 판독가능 명령들을 포함할 수 있다. 그러나, 이것들은 로직을 제공할 수 있는 구조들의 예들에 불과하고 실시예들은 이에 관하여 제한되지 않는다.
본 명세서에 기술된 방법들 중 일부는 컴퓨터 판독가능 매체 상의 논리 명령들로서 구현될 수 있다. 이 논리 명령들은, 프로세서에서 실행될 때, 프로세서가 기술된 방법들을 실시하는 특수 목적 기계로서 프로그램되게 한다. 프로세서는, 본 명세서에 기술된 방법들을 실행하도록 논리 명령들에 의해 구성될 때, 기술된 방법들을 수행하기 위한 구조를 이룬다. 대안적으로, 본 명세서에 기술된 방법들은, 예컨대, FPGA(field programmable gate array), ASIC(application specific integrated circuit) 또는 기타 유사한 것 상의 로직으로 환원될 수 있다.
이 설명 및 청구항들에서, 결합된 및 연결된이라는 용어가 이들의 파생어들과 함께 사용될 수 있다. 특정 실시예들에서, 연결된은 둘 이상의 요소가 서로 직접 물리적으로 또는 전기적으로 접촉하고 있는 것을 나타내기 위해 사용될 수 있다. 결합된은 둘 이상의 요소가 직접 물리적으로 또는 전기적으로 접촉하고 있는 것을 의미할 수 있다. 그러나, 결합된은 또한 둘 이상의 요소가 서로 직접 접촉하고 있지 않을 수 있지만, 그럼에도 여전히 서로 협력하거나 상호 작용할 수 있는 것을 의미할 수 있다.
본 명세서에서 "일 실시예" 또는 "실시예"를 언급하는 것은 그 실시예와 관련하여 기술된 특정 특징, 구조, 또는 특성이 적어도 하나의 구현에 포함된다는 것을 의미한다. 본 명세서의 여러 곳에서 "일 실시예에서"라는 구절이 나타나는 것은 모두 동일한 실시예를 언급하거나 그렇지 않을 수 있다.
구조적 특징들 및/또는 방법론적 행위들에 특유한 표현으로 실시예들이 기술되었지만, 청구된 내용은 기술된 특정한 특징들 또는 행위들로 제한되지 않을 수 있다는 것을 이해해야 한다. 오히려, 특정한 특징들 및 행위들은 청구된 내용을 구현하는 샘플 형태들로서 개시되어 있다.

Claims (31)

  1. 전자 장치 내의 프로세서에 의해 실행될 때, 지능형 계산 촬영 동작(intelligent computational imaging operation)들을 실시하도록 상기 프로세서를 구성하는, 논리 명령들을 포함하는 컴퓨터 판독가능한 기록 매체로서,
    상기 동작들은,
    영상 캡처 장치(image capture device)로부터 제1 세트의 입력 프레임들을 수신하는 것;
    상기 제1 세트의 입력 프레임들을 분석하여 다중 영상 처리(multi-image processing)가 실시되어야 하는지를 결정하고, 다중 영상 처리가 실시되어야 한다는 결정에 응답하여,
    장면의 다이내믹 레인지(dynamic range)를 캡처하기 위한 영상 프레임들의 수를 결정하는 것;
    적어도 상기 수의 영상 프레임들을 캡처하는 것;
    상기 수의 영상들을 정렬(aligning)시키는 것; 및
    상기 수의 영상들을 병합 영상(merged image)으로 병합하는 것
    을 포함하고,
    장면을 캡처하는 데 필요한 영상 프레임들의 최소수를 결정하는 것은,
    상기 제1 세트의 입력 프레임들의 신호 대 잡음비(SNR)를 추정하는 것;
    상기 장면의 다이내믹 레인지를 추정하는 것;
    상기 영상 캡처 장치에 의해 캡처된 스펙트럼 조도(spectral irradiance)의 히스토그램을 추정하는 것; 및
    캡처된 픽셀들의 SNR의 합을 최대화하기 위해 샘플 내의 영상 프레임들의 수를 점증적으로(incrementally) 증가시키는 것을 포함하는 컴퓨터 판독가능한 기록 매체.
  2. 제1항에 있어서, 전자 장치 내의 프로세서에 의해 실행될 때, 디스플레이 장치 상에 표시하기 위해 상기 병합 영상을 처리하도록 상기 프로세서를 구성하는, 논리 명령들을 더 포함하는 컴퓨터 판독가능한 기록 매체.
  3. 제1항에 있어서, 전자 장치 내의 프로세서에 의해 실행될 때, 상기 병합 영상을 메모리 모듈에 저장하도록 상기 프로세서를 구성하는, 논리 명령들을 더 포함하는 컴퓨터 판독가능한 기록 매체.
  4. 제1항에 있어서, 상기 제1 세트의 입력 프레임들을 분석하여 다중 영상 처리가 실시되어야 하는지를 결정하는 것은 상기 장면의 전체 다이내믹 레인지가 단일 노출을 이용하여 캡처될 수 있는지를 결정하는 것을 포함하는 컴퓨터 판독가능한 기록 매체.
  5. 삭제
  6. 제1항에 있어서, 상기 장면의 다이내믹 레인지를 추정하는 것은,
    임계 수의 픽셀들이 미리 정해진 히스토그램 레인지 안에 포함될 때까지 노출 레벨을 반복적으로 변경함으로써 상기 장면의 밝은 영역들을 나타내는 짧은 노출을 결정하는 것; 및
    임계 수의 픽셀들이 미리 정해진 히스토그램 레인지 안에 포함될 때까지 상기 영상의 노출 레벨을 반복적으로 변경함으로써 상기 장면의 어두운 영역들을 나타내는 긴 노출을 결정하는 것을 포함하는 컴퓨터 판독가능한 기록 매체.
  7. 제1항에 있어서, 상기 수의 영상들을 정렬시키는 것은,
    영상들 간의 회전 벡터를 추정하는 것; 및
    상기 영상들을 공통 참조 프레임(common frame of reference)으로 워핑(warping)하는 것을 포함하는 컴퓨터 판독가능한 기록 매체.
  8. 제7항에 있어서, 상기 영상들을 공통 참조 프레임으로 워핑하는 것은, 적색 및 청색 채널들은 원시 영상 프레임들로부터 직접 처리되는 반면, 녹색 채널들은 45도 회전된 그리드 상에서 보간되는 역방향 보간 방법(backwards interpolation method)을 상기 영상 프레임들에 적용하는 것을 포함하는 컴퓨터 판독가능한 기록 매체.
  9. 제1항에 있어서, 상기 수의 영상들을 병합 영상으로 병합하는 것은, 최대 우도 조합(maximum likelihood combination)을 이용하는 컴퓨터 판독가능한 기록 매체.
  10. 제1항에 있어서, 전자 장치 내의 프로세서에 의해 실행될 때, 상기 병합 영상을 이중 선형 디모자이킹(bilinear demosaicing)하고 톤맵핑(tonemapping)하도록 상기 프로세서를 구성하는, 논리 명령들을 더 포함하는 컴퓨터 판독가능한 기록 매체.
  11. 전자 장치로서,
    영상 캡처 장치; 및
    영상 캡처 장치로부터 제1 세트의 입력 프레임들을 수신하고;
    상기 제1 세트의 입력 프레임들을 분석하여 다중 영상 처리가 실시되어야 하는지를 결정하고, 다중 영상 처리가 실시되어야 한다는 결정에 응답하여,
    장면의 다이내믹 레인지를 캡처하는 데 필요한 영상 프레임들의 수를 결정하고;
    적어도 상기 수의 영상 프레임들을 캡처하고;
    상기 수의 영상들을 정렬시키고;
    상기 영상들을 병합 영상으로 병합하고;
    상기 영상 캡처 장치에 대한 신호 대 잡음비(SNR)를 추정하고;
    상기 장면의 다이내믹 레인지를 추정하고;
    상기 영상 캡처 장치에 의해 캡처된 스펙트럼 조도의 히스토그램을 추정하고;
    캡처된 모든 픽셀들의 SNR의 합을 최대화하기 위해 샘플 내의 영상 프레임들의 수를 점증적으로 증가시키는
    로직
    을 포함하는 전자 장치.
  12. 제11항에 있어서, 상기 장면의 전체 다이내믹 레인지가 단일 노출을 이용하여 캡처될 수 있는지를 결정하는 로직을 더 포함하는 전자 장치.
  13. 삭제
  14. 제11항에 있어서,
    상기 장면의 밝은 영역들을 나타내는 짧은 노출을 결정하고;
    상기 장면의 어두운 영역들을 나타내는 긴 노출을 결정하고;
    임계 수의 픽셀들이 미리 정해진 히스토그램 레인지 안에 포함될 때까지 상기 영상의 노출 레벨을 반복적으로 증가시키는 로직을 더 포함하는 전자 장치.
  15. 제11항에 있어서,
    영상들 간의 회전 벡터를 추정하고;
    상기 영상들을 공통 참조 프레임으로 워핑하는 로직을 더 포함하는 전자 장치.
  16. 제11항에 있어서, 적색 및 청색 채널들은 원시 영상 프레임들로부터 직접 처리되는 반면, 녹색 채널들은 45도 회전된 그리드 상에서 보간되는 역방향 보간 방법을 상기 원시 영상 프레임들에 적용하는 로직을 더 포함하는 전자 장치.
  17. 제11항에 있어서, 최대 우도 조합을 이용하여 상기 수의 영상들을 병합 영상으로 병합하는 로직을 더 포함하는 전자 장치.
  18. 영상 캡처 장치로부터 제1 세트의 입력 프레임들을 수신하는 단계;
    상기 제1 세트의 입력 프레임들을 분석하여 다중 영상 처리가 실시되어야 하는지를 결정하고, 다중 영상 처리가 실시되어야 한다는 결정에 응답하여,
    장면의 다이내믹 레인지를 캡처하기 위한 영상 프레임들의 수를 결정하는 단계;
    적어도 상기 수의 영상 프레임들을 캡처하는 단계;
    상기 수의 영상들을 정렬시키는 단계; 및
    상기 수의 영상들을 병합 영상으로 병합하는 단계
    를 포함하고,
    장면을 캡처하는 데 필요한 영상 프레임들의 최소수를 결정하는 단계는,
    상기 제1 세트의 입력 프레임들의 신호 대 잡음비(SNR)를 추정하는 단계;
    상기 장면의 다이내믹 레인지를 추정하는 단계;
    상기 영상 캡처 장치에 의해 캡처된 스펙트럼 조도의 히스토그램을 추정하는 단계; 및
    캡처된 픽셀들의 SNR의 합을 최대화하기 위해 샘플 내의 영상 프레임들의 수를 점증적으로 증가시키는 단계를 포함하는 방법.
  19. 삭제
  20. 제18항에 있어서, 상기 장면의 다이내믹 레인지를 추정하는 단계는,
    임계 수의 픽셀들이 미리 정해진 히스토그램 레인지 안에 포함될 때까지 노출 레벨을 반복적으로 변경함으로써 상기 장면의 밝은 영역들을 나타내는 짧은 노출을 결정하는 단계;
    임계 수의 픽셀들이 미리 정해진 히스토그램 레인지 안에 포함될 때까지 상기 영상의 노출 레벨을 반복적으로 변경함으로써 상기 장면의 어두운 영역들을 나타내는 긴 노출을 결정하는 단계를 포함하는 방법.
  21. 장치로서,
    영상 캡처 장치로부터 제1 세트의 입력 프레임들을 수신하고;
    상기 제1 세트의 입력 프레임들을 분석하여 다중 영상 처리가 실시되어야 하는지를 결정하고, 다중 영상 처리가 실시되어야 한다는 결정에 응답하여,
    장면의 풀 다이내믹 레인지(full dynamic range)를 캡처하는 데 필요한 영상 프레임들의 수를 결정하고;
    적어도 상기 수의 영상 프레임들을 캡처하고;
    상기 수의 영상들을 정렬시키고;
    상기 수의 영상들을 병합 영상으로 병합하고;
    상기 영상 캡처 장치에 대한 신호 대 잡음비(SNR)를 추정하고;
    상기 장면의 다이내믹 레인지를 추정하고;
    상기 영상 캡처 장치에 의해 캡처된 스펙트럼 조도의 히스토그램을 추정하고;
    캡처된 모든 픽셀들의 SNR의 합을 최대화하기 위해 샘플 내의 영상 프레임들의 수를 점증적으로 증가시키는
    로직을 포함하는 장치.
  22. 제21항에 있어서, 디스플레이 장치 상에 표시하기 위해 상기 병합 영상을 처리하는 로직을 더 포함하는 장치.
  23. 제21항에 있어서, 병합 영상을 메모리 모듈에 저장하는 로직을 더 포함하는 장치.
  24. 제21항에 있어서, 상기 장면의 전체 다이내믹 레인지가 단일 노출을 이용하여 최소 시각적 잡음으로 캡처될 수 있는지를 결정하는 로직을 더 포함하는 장치.
  25. 삭제
  26. 제21항에 있어서,
    상기 장면의 밝은 영역들을 나타내는 짧은 노출을 결정하고;
    상기 장면의 어두운 영역들을 나타내는 긴 노출을 결정하고;
    임계 수의 픽셀들이 미리 정해진 히스토그램 레인지 안에 포함될 때까지 상기 영상의 노출 레벨을 반복적으로 증가시키는 로직을 더 포함하는 장치.
  27. 제21항에 있어서,
    영상들 간의 회전 벡터를 추정하고;
    상기 영상들을 공통 참조 프레임으로 워핑하는 로직을 더 포함하는 장치.
  28. 제27항에 있어서, 적색 및 청색 채널들은 원시 영상 프레임들로부터 직접 처리되는 반면, 녹색 채널들은 45도 회전된 그리드 상에서 보간되는 역방향 보간 방법을 상기 원시 영상 프레임들에 적용하는 로직을 더 포함하는 장치.
  29. 제21항에 있어서, 최대 우도 조합을 이용하여 상기 수의 영상들을 병합 영상으로 병합하는 로직을 더 포함하는 장치.
  30. 제21항에 있어서, 상기 병합 영상을 이중 선형 디모자이킹하고 톤맵핑하는 로직을 더 포함하는 장치.
  31. 삭제
KR1020147021608A 2012-01-18 2012-01-18 지능형 계산 촬영 시스템 KR101664158B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/021660 WO2013109261A1 (en) 2012-01-18 2012-01-18 Intelligent computational imaging system

Publications (2)

Publication Number Publication Date
KR20140114002A KR20140114002A (ko) 2014-09-25
KR101664158B1 true KR101664158B1 (ko) 2016-10-11

Family

ID=48799538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147021608A KR101664158B1 (ko) 2012-01-18 2012-01-18 지능형 계산 촬영 시스템

Country Status (4)

Country Link
US (1) US9313420B2 (ko)
KR (1) KR101664158B1 (ko)
CN (1) CN104067608B (ko)
WO (1) WO2013109261A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011253779A1 (en) * 2011-12-01 2013-06-20 Canon Kabushiki Kaisha Estimation of shift and small image distortion
CN104067608B (zh) 2012-01-18 2017-10-24 英特尔公司 智能计算成像系统
JP2016518747A (ja) 2013-03-15 2016-06-23 イェール ユニバーシティーＹａｌｅ Ｕｎｉｖｅｒｓｉｔｙ センサー依存性ノイズを有する画像化データを処理するための技術
EP3046319A1 (en) * 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
RU2713399C2 (ru) * 2015-04-27 2020-02-05 Филипс Лайтинг Холдинг Б.В. Модуль управления освещением, система освещения, его использующая, и способ настройки уровня димминга
FR3037756B1 (fr) * 2015-06-18 2020-06-19 Lens Correction Technologies Procede et dispositif de production d'une image numerique
KR20180036464A (ko) 2016-09-30 2018-04-09 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2018085426A1 (en) 2016-11-01 2018-05-11 Snap Inc. Systems and methods for fast video capture and sensor adjustment
US10334141B2 (en) * 2017-05-25 2019-06-25 Denso International America, Inc. Vehicle camera system
CN107809591B (zh) * 2017-11-13 2019-09-10 Oppo广东移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
CN110475072B (zh) * 2017-11-13 2021-03-09 Oppo广东移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
US10672098B1 (en) * 2018-04-05 2020-06-02 Xilinx, Inc. Synchronizing access to buffered data in a shared buffer
CN115412669B (zh) * 2022-08-26 2023-06-06 清华大学 基于图像信噪比分析的雾天成像方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053357A1 (en) 2008-08-29 2010-03-04 Canon Kabushiki Kaisha Image processing apparatus, control method therefor, and program
US20110115980A1 (en) 2009-11-17 2011-05-19 Shmueli Yaron Automatic control of visual parameters in video processing
US20110193990A1 (en) * 2010-02-08 2011-08-11 Pillman Bruce H Capture condition selection from brightness and motion

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ289099A0 (en) * 1999-09-16 1999-10-07 Silverbrook Research Pty Ltd Method and apparatus for manipulating a bayer image
US6961384B2 (en) * 1999-12-22 2005-11-01 General Instrument Corporation Still picture processing for MPEG-2 video
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
JP5306317B2 (ja) * 2007-04-04 2013-10-02 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ベクトルを使用する画像処理
KR20110063778A (ko) 2008-08-29 2011-06-14 톰슨 라이센싱 발견적 뷰 블렌딩을 이용한 뷰 합성
US8531504B2 (en) 2010-06-11 2013-09-10 Intel Corporation System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
CN104067608B (zh) 2012-01-18 2017-10-24 英特尔公司 智能计算成像系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053357A1 (en) 2008-08-29 2010-03-04 Canon Kabushiki Kaisha Image processing apparatus, control method therefor, and program
US20110115980A1 (en) 2009-11-17 2011-05-19 Shmueli Yaron Automatic control of visual parameters in video processing
US20110193990A1 (en) * 2010-02-08 2011-08-11 Pillman Bruce H Capture condition selection from brightness and motion

Also Published As

Publication number Publication date
US20140240549A1 (en) 2014-08-28
CN104067608A (zh) 2014-09-24
KR20140114002A (ko) 2014-09-25
US9313420B2 (en) 2016-04-12
CN104067608B (zh) 2017-10-24
WO2013109261A1 (en) 2013-07-25

Similar Documents

Publication Publication Date Title
KR101664158B1 (ko) 지능형 계산 촬영 시스템
US9774789B2 (en) Systems and methods for high dynamic range imaging using array cameras
US9549123B2 (en) Multi-field CCD capture for HDR imaging
US9210391B1 (en) Sensor data rescaler with chroma reduction
US9756266B2 (en) Sensor data rescaler for image signal processing
CN102892008B (zh) 双图像捕获处理
JP5140766B2 (ja) 不完全色および全色性ｃｆａ画像の改善
JP2022184923A (ja) 高ダイナミックレンジ（ｈｄｒ）画素ストリームを生成するためのシステムおよび方法
US8482618B2 (en) Reduction of motion-induced blur in images
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
US20160093029A1 (en) High Dynamic Range Image Composition Using Multiple Images
US8737755B2 (en) Method for creating high dynamic range image
TWI615027B (zh) 高動態範圍圖像的生成方法、拍照裝置和終端裝置、成像方法
CN105611185B (zh) 图像生成方法、装置及终端设备
CN112118388B (zh) 图像处理方法、装置、计算机设备和存储介质
EP1924966A2 (en) Adaptive exposure control
WO2009064537A1 (en) Method and system for noise management for spatial processing in digital image/video capture systems
WO2010104551A1 (en) Cfa image with synthetic panchromatic image
Hirakawa et al. Single-shot high dynamic range imaging with conventional camera hardware
Gevrekci et al. Superresolution under photometric diversity of images
CN110266965A (zh) 图像处理方法、装置、存储介质及电子设备
CN116055891A (zh) 图像处理方法及其装置
KR20220156242A (ko) 이미지 처리 장치
CN114331893A (zh) 一种获取图像噪声的方法、介质和电子设备
Seshadrinathan et al. Noise and dynamic range optimal computational imaging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant