KR102142641B1 - 멀티스코픽 노이즈 감소 및 hdr을 위한 시스템 및 방법 - Google Patents

멀티스코픽 노이즈 감소 및 hdr을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102142641B1
KR102142641B1 KR1020197017009A KR20197017009A KR102142641B1 KR 102142641 B1 KR102142641 B1 KR 102142641B1 KR 1020197017009 A KR1020197017009 A KR 1020197017009A KR 20197017009 A KR20197017009 A KR 20197017009A KR 102142641 B1 KR102142641 B1 KR 102142641B1
Authority
KR
South Korea
Prior art keywords
image
image data
burst
image capture
capture system
Prior art date
Application number
KR1020197017009A
Other languages
English (en)
Other versions
KR20190071011A (ko
Inventor
조나단 틸튼 바론
스테판 조셉 디버디
라이언 게이스
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190071011A publication Critical patent/KR20190071011A/ko
Application granted granted Critical
Publication of KR102142641B1 publication Critical patent/KR102142641B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G06T5/70—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Abstract

본 발명은 멀티스코픽(multiscopic) 이미지 캡처 시스템들을 사용하여 캡처된 이미지들을 개선하고 및/또는 수정할 수 있는 방법들 및 시스템들과 관련된다. 예시적 실시예에서, 버스트 이미지 데이터는 멀티스코픽 이미지 캡처 시스템을 통해 캡처된다. 버스트 이미지 데이터는 적어도 하나의 이미지 쌍을 포함한다. 적어도 하나의 이미지 쌍은 적어도 하나의 호모그래피 교정 함수에 기초하여 정렬된다. 적어도 하나의 정렬된 이미지 쌍은 이미지 쌍의 각각의 이미지들 사이의 스테레오 불일치에 기초하여 워핑된다. 그 후 워핑되고 정렬된 이미지들은 쌓여지고 디노이징 알고리즘이 적용된다. 선택적으로, HDR 알고리즘이 상기 정렬되고, 워핑되고 디노이징된 이미지들의 적어도 하나의 출력 이미지에 적용될 수 있다.

Description

멀티스코픽 노이즈 감소 및 HDR을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR MULTISCOPIC NOISE REDUCTION AND HIGH-DYNAMIC RANGE}
관련 기술의 상호 참조
본 출원은 2015년 12월 7일에 출원된 미국 특허 출원 14/961,102호에 대해 우선권을 주장하며, 상기 출원은 본 명세서에 그 전체가 참조로서 통합된다.
멀티스코픽 이미징 시스템들은 장면의 다수의 이미지들을 캡처하도록 동작가능하다. 일부 경우들에서, 캡처된 이미지들은 상이한 관점들로부터, 상이한 시야 각들로부터 및/또는 상이한 시간의 기간들을 통해 이미징된 것으로서의 장면으로부터 공통 엘리먼트들을 포함할 수 있다. 추가로, 이미지 보정이 캡처된 이미지들로부터의 공통 엘리먼트들에 기초하여 다수의 이미지들 중 적어도 하나에 적용될 수 있다.
본 발명의 실시예들은 스테레오스코픽에서 더 일반적으로, 멀티스코픽 이미징 시스템에서 이미지 품질을 개선하기 위한 방법들 및 시스템들과 관련된다. 스테리오스코픽 이미징 시스템으로부터의 이미지 쌍(image pair)들은 이미지 시차(parallax)를 보정하기 위해 공간적으로 정렬되고 워핑(warp)된다. 상기 정렬되고 워핑된 이미지 쌍들은 “쌓여진다(stacked).” 노이즈 감소 알고리즘들이 상기 쌓여진 이미지들에 적용될 수 있다. HDR 알고리즘들이 하나 이상의 디노이징된(denoised) 이미지들에 적용될 수 있다.
동시적으로 캡처된 이미지 쌍에 적용된 견고한 버스트 디노이징 및 HDR 프로세싱과 스테레오 불일치의 고속, 고해상도 추정의 결합은 고해상도, 낮은 노이즈 이미지들을 단일 카메라로부터의 버스트를 사용하여 가능한 것보다 적은 시간에 제공할 수 있다.
일 양태에서, 방법이 제공된다. 방법은 컴퓨팅 시스템에 의해, 버스트 이미지 데이터(burst image data)를 수신하는 단계를 포함하며, 상기 버스트 이미지 데이터는 제1 이미지 캡처 시스템에 의해 생성된 제1 이미지 데이터와 제2 이미지 캡처 시스템에 의해 생성된 제2 이미지 데이터를 포함하며, 상기 제1 및 제2 이미지 캡처 시스템들의 각각의 광학 축들은 베이스라인 거리(baseline distance)에 의해 분리되며, 상기 제1 이미지 데이터와 상기 제2 이미지 데이터는 적어도 하나의 이미지 쌍을 포함한다. 방법은 상기 컴퓨팅 시스템에 의해, 상기 베이스라인 거리에 적어도 기초하여 상기 버스트 이미지 데이터의 스테레오 불일치(stereo disparity)를 결정하는 단계와 워핑된 이미지 스택(warped image stack)을 제공하기 위해 상기 결정된 스테레오 불일치에 따라 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 적어도 하나를 조정하는 단계를 포함한다. 방법은 버스트 디노이징 알고리즘(burst denoising algorithm)에 따라 적어도 하나의 출력 이미지를 생성하는 단계를 포함하며, 상기 버스트 디노이징 알고리즘은 상기 워핑된 이미지 스택의 가중 평균(weighted average)를 결정하는 것을 포함한다. 방법은 상기 컴퓨팅 시스템에 의해, 적어도 하나의 호모그래피 교정 함수(rectifying homography function)를 결정하는 단계를 선택적으로 포함할 수 있고, 상기 적어도 하나의 호모그래피 교정 함수는 상기 복수의 이미지 쌍들의 각각의 이미지 쌍들을 정렬하도록 구성되며; 및 상기 적어도 하나의 호모그래피 교정 함수에 따라 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 적어도 하나를 조정하는 단계를 포함할 수 있다. 선택적으로, 상기 제1 및 제2 이미지 캡처 시스템들의 상기 각각의 광학 축들은 실질적으로 동일한 방향으로 배향된다.
일 양태에서, 시스템이 제공된다. 시스템은 복수의 이미지 캡처 시스템들을 포함하며, 상기 복수의 이미지 캡처 시스템들은 적어도 제1 이미지 캡처 시스템 및 제2 이미지 캡처 시스템을 포함하며, 상기 제1 이미지 캡처 시스템은 제1 이미지 데이터를 캡처하도록 동작가능하고 상기 제2 이미지 캡처 시스템은 제2 이미지 데이터를 캡처하도록 동작가능하며, 상기 제1 및 제2 이미지 캡처 시스템들의 각각의 광학 축들은 베이스라인 거리에 의해 분리되며, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터는 적어도 하나의 이미지 쌍을 가지는 버스트 이미지 데이터를 포함한다. 시스템은 메모리 및 프로세서를 포함하는 컨트롤러를 더 포함하며, 상기 메모리는 명령어들을 포함하도록 구성되며, 상기 프로세서는 방법을 제공하는 상기 양태에 따른 방법을 수행하기 위한 상기 명령어들을 실행하도록 구성된다.
일 양태에서, 시스템이 제공된다. 시스템은 복수의 이미지 캡처 시스템들을 포함한다. 복수의 이미지 캡처 시스템들은 적어도 제1 이미지 캡처 시스템과 제2 이미지 캡처 시스템을 포함한다. 상기 제1 이미지 캡처 시스템은 제1 이미지 데이터를 캡처하도록 동작가능하고 상기 제2 이미지 캡처 시스템은 제2 이미지 데이터를 캡처하도록 동작가능하다. 상기 제1 및 제2 이미지 캡처 시스템들의 각각의 광학 축들은 베이스라인 거리에 의해 분리된다. 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터는 적어도 하나의 이미지 쌍을 가지는 버스트 이미지 데이터를 포함한다. 또한 시스템은 컨트롤러를 포함한다. 컨트롤러는 메모리와 프로세서를 포함한다. 메모리는 명령어들을 포함하도록 구성되며, 프로세서는 동작들을 수행하기 위한 명령어들을 실행하도록 구성된다. 상기 동작들은 상기 복수의 이미지 캡처 시스템들로부터 상기 버스트 이미지 데이터를 수신하는 동작을 포함한다. 또한 상기 동작들은 상기 베이스라인 거리에 적어도 기초하여 상기 버스트 이미지 데이터의 스테레오 불일치를 결정하는 동작을 포함한다. 상기 동작들은 워핑된 이미지 스택을 제공하기 위해 상기 결정된 스테레오 불일치에 따라 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 적어도 하나를 조정하는 동작을 포함한다. 또한 상기 동작들은 버스트 디노이징 알고리즘에 따라 적어도 하나의 출력 이미지를 생성하는 동작을 포함한다. 상기 버스트 디노이징 알고리즘은 상기 워핑된 이미지 스택의 가중 평균을 결정하는 동작을 포함한다. 상기 동작들은 상기 컴퓨팅 시스템에 의해 적어도 하나의 호모그래피 교정 함수를 결정하는 동작을 선택적으로 포함하며, 상기 적어도 하나의 호모그래피 교정 함수는 상기 복수의 이미지 쌍들의 각각의 이미지 쌍들을 정렬하도록 구성되며, 그리고 상기 적어도 하나의 호모그래피 교정 함수에 따라 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 적어도 하나를 조정하는 동작을 포함한다.
일 양태에서, 방법이 제공된다. 방법은 컴퓨팅 시스템에 의해 버스트 이미지 데이터를 수신하는 단계를 포함한다. 상기 버스트 이미지 데이터는 제1 이미지 캡처 시스템에 의해 생성된 제1 이미지 데이터와 제2 이미지 캡처 시스템에 의해 생성된 제2 이미지 데이터를 포함한다. 상기 제1 및 제2 이미지 캡처 시스템들의 각각의 광학 축들은 베이스라인 거리에 의해 분리되며 실질적으로 동일한 방향으로 배향된다. 상기 제1 이미지 데이터와 상기 제2 이미지 데이터는 적어도 하나의 이미지 쌍을 포함한다. 방법은 상기 컴퓨팅 시스템에 의해, 적어도 하나의 호모그래피 교정 함수를 결정하는 단계를 포함한다. 상기 적어도 하나의 호모그래피 교정 함수는 상기 복수의 이미지 쌍들의 각각의 이미지 쌍들을 정렬하도록 구성된다. 또한 방법은 상기 적어도 하나의 호모그래피 교정 함수에 따라 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터를 조정하는 단계를 포함한다. 또한 방법은 상기 컴퓨팅 시스템에 의해, 상기 베이스라인 거리에 적어도 기초하여 상기 버스트 이미지 데이터의 스테레오 불일치를 결정하는 단계를 더 포함한다. 방법은 워핑된 이미지 스택을 제공하기 위해 상기 결정된 스테레오 불일치에 따라 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 적어도 하나를 조정하는 단계를 추가적으로 포함한다. 방법은 버스트 디노이징 알고리즘에 따라 적어도 하나의 출력 이미지를 생성하는 단계를 포함한다. 버스트 디노이징 알고리즘은 상기 워핑된 이미지 스택의 가중 평균을 결정하는 단계를 포함한다.
각 양태는 다음의 선택적 구성들을 포함할 수 있다. 상기 적어도 하나의 호모그래피 교정 함수는 지오메트릭 픽셀 보정 함수(geometric pixel correction function) 및 포토메트릭 픽셀 보정 함수(photometric pixel correction function)를 포함할 수 있다. 상기 버스트 이미지 데이터의 상기 스테레오 불일치를 결정하는 단계는 상기 제1 이미지 데이터, 상기 제2 이미지 데이터 및 상기 베이스라인 거리에 기초하여 시차 함수(parallax function)를 추정하는 것을 포함한다. 상기 결정된 스테레오 불일치에 따라 상기 제1 이미지 데이터 또는 제2 이미지 데이터 중 적어도 하나를 조정하는 단계는 상기 추정된 시차 함수의 역을 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 적어도 하나에 적용하는 것을 포함할 수 있다. 상기 가중 평균은 상기 워핑된 이미지 스택의 대응하는 픽셀들의 픽셀당 평균을 포함할 수 있다. 방법은 적어도 하나의 HDR(High Dynamic Range) 출력 이미지를 제공하기 위해 상기 적어도 하나의 출력 이미지에 HDR 함수를 적용하는 단계를 더 포함할 수 있다. 상기 제1 이미지 캡처 시스템은 컬러 필터 어레이(color filter array)에 광학적으로 결합된 이미지 센서를 포함하며, 상기 제2 이미지 캡처 시스템은 컬러 필터 어레이가 없는 이미지 센서를 포함할 수 있다. 상기 버스트 이미지 데이터는 로우(raw) 이미지 포맷, WebP 이미지 포맷, JPEG 이미지 포맷 중 적어도 하나에 따라 포맷된 이미지들을 포함할 수 있고, 상기 버스트 이미지 데이터는 2개에서 100개 사이의 이미지들일 수 있다. 상기 제1 이미지 캡처 시스템은 저역 통과 필터(low pass filter)에 광학적으로 결합된 이미지 센서를 포함하며, 상기 제2 이미지 캡처 시스템은 저역 통과 필터가 없는 이미지 센서를 포함할 수 있다. 상기 제1 이미지 캡처 시스템은 제1 초점 거리를 가지는 광학체들에 광학적으로 결합된 이미지 센서를 포함하며, 상기 제2 이미지 캡처 시스템은 제2 초점 거리를 가지는 광학체들에 광학적으로 결합된 이미지 센서를 포함할 수 있으며, 상기 제1 초점 거리와 상기 제2 초점 거리는 상이하다. 상기 복수의 이미지 캡처 시스템들은 형상의 경계를 따라 배열되며, 상기 형상은 링(ring), 디스크(disk) 또는 구(sphere) 중 하나를 포함할 수 있다. 상기 컴퓨팅 시스템은 적어도 하나의 프로그래머블 ICSP(in-circuit serial programming) 마이크로컨트롤러를 포함하는 컨트롤러를 포함할 수 있다.
일 양태에서, 프로세서 실행가능 명령어들을 포함하는 컴퓨터 판독가능 매체가 제공되어, 실행될 때 컴퓨터로 하여금 본 명세서에 기술된 양태들 중 임의의 것에 따른 동작들을 수행하게 한다.
상기 양태들은 이미지 캡처 시스템들에서 노이즈 감소와 관련된 문제들을 해결하기 위한 방안을 모색한다.
다른 양태들, 실시예들 및 구현예들은 적절한 첨부 도면들을 참조하여 다음의 상세한 설명을 읽음으로써 통상의 기술자에게 명백해질 것이다.
도 1a는 예시적 실시예에 따르는 시스템을 도시한다.
도 1b는 예시적 실시예에 따르는 시스템을 도시한다.
도 2a는 예시적 실시예에 따르는 이미지 캡처 시나리오를 도시한다.
도 2b는 예시적 실시예에 따르는 이미지 캡처 시나리오를 도시한다.
도 2c는 예시적 실시예에 따르는 이미지 캡처 시나리오를 도시한다.
도 3은 예시적 실시예에 따르는 흐름도를 도시한다.
도 4는 예시적 실시예에 따르는 방법을 도시한다.
I. 개요
본 발명은 스테레오스코픽 및 멀티스코픽 카메라 시스템들에서 노이즈 감소 및 HDR을 제공하는 방법들 및 시스템들과 관련된다.
특히 휴대폰 카메라와 같은 소비자 디바이스들에 대한 디지털 사진 품질은 작은 센서 및 조리개 크기에 의해 제한될 수 있다. 상기 특징들은 캡처될 수 있는 광자들의 수를 제한할 수 있으며, “샷 노이즈” 또는 센서 픽셀에 의해 흡수되는 광자들의 수에서 랜덤 분산(random variance)을 비율적으로 증가시킨다. 셔터 길이를 증가시키는 것은 이 노이즈를 감소시키지만, 모션 블러(motion blur)가 증가될 수 있다.
다른 제한은 휴대폰 카메라 이미지들의 낮은 동적 범위(low dynamic range)이다. 매우 밝고 매우 어두운 물체들이 동일한 장면에 제시될 때, 센서 픽셀들의 동적 범위가 밝고 어두운 이미지 영역들에서 세부 묘사(detail)를 적절히 캡처할 수 없어, 과도하거나 연한(undersaturated) 픽셀들이 될 수 있다. 고화질 카메라들은 보다 큰 비트 심도의 이미지(bit depth image)들을 판독할 수 있는 센서를 사용하지만 여전히 제한적이다.
이들 문제들에 대한 가능한 해결책은 단일의 사진을 찍는 대신에 카메라가 빠르게 N장의 사진들을 촬영하는 버스트 촬영이다. 그 후 이들 N장의 이미지들은 다양한 알고리즘들 중 하나를 사용하여 병합되며, 노이즈 더 낮아지고 픽셀 당 동적 범위가 더 커진다. 문제는 N 장의 사진이 한 장의 사진만큼 N 배 걸리므로, 사용자 환경에 부정적인 영향을 미칠 수 있으며 캡처하는 동안 장면의 움직임의 양도 증가한다는 것이다.
본 명세서에 기술된 바와 같이, 버스트 촬영은 스테레오스코픽 또는 멀티스코픽 카메라 시스템에 의해 수행될 수 있다. 버스트 이미지 데이터는 교정되고, 워핑되고 디노이징되어 보다 고품질 출력 이미지를 제공한다. 상기 시나리오에서, 고해상도, 저 노이즈 이미지들은 단일 이미지 센서 버스트의 절반의(또는 더 적은) 시간에 생성될 수 있다.
예시적 실시예에서, 스테레오스코픽 카메라 시스템은 버스트 이미지 데이터를 캡처할 수 있다. 이미지 "버스트(burst)"는 카메라의 각 이미지 센서에 의해 빠르게 캡처된 1-10개의 이미지들을 포함할 수 있다. 즉, 버스트 이미지 데이터는 복수의 이미지 쌍들을 포함하는 (예를 들어, 제1 이미지 센서로부터의) 제1 이미지 데이터 및 (예를 들어, 제2 이미지 센서로부터의) 제2 이미지 데이터를 포함할 수 있다. 이미지 쌍들은 제1 및 제2 이미지 센서들에 의해 순서대로 실질적으로 동시에 캡처된 제1 및 제2 이미지 데이터로부터의 대응하는 이미지를 포함할 수 있다. 버스트 이미지 데이터는 RAW 이미지 포맷, WebP 이미지 포맷, JPEG 이미지 포맷 또는 다른 유형의 이미지 포맷에 따라 포맷된 이미지들을 포함할 수 있다. 또한, 일부 실시예들에서, 버스트 이미지 데이터는 2 내지 100 개의 이미지들을 포함할 수 있다.
각 이미지 쌍에 대해, 적어도 하나의 호모그래피 교정 함수가 시스템의 컨트롤러에 의해 결정될 수 있다. 호모그래피 교정 함수(들)은 이미지 쌍의 두 이미지들이 공간적으로 정렬되도록 이미지 쌍의 이미지 중 하나 또는 둘 모두를 조정하도록 결정될 수 있다. 호모그래피 교정 함수(들)은 카메라 "팩토리" 보정에 기초하여 결정될 수 있다. 추가적으로 또는 대안적으로, 호모그래피 교정 함수(들)은 다른 유형의 보정에 기초하여 결정될 수 있다. 예시적 실시예에서, 호모그래피 교정 함수(들)은 지오메트릭 픽셀 보정 함수 및 포토메트릭 픽셀 보정 함수를 포함할 수 있다.
일부 실시예들에서, 적어도 하나의 호모그래피 교정 함수의 결정 및 호모그래피 교정 함수에 기초하여 이미지(들)를 조정하는 것은 필요가 없다. 예를 들어, 이미지 쌍의 두 이미지들은 다른 기법들을 통해 정렬되거나 정합(registration)될 수 있다. 다른 이미지 정렬/정합 기술은 병진 정렬(예: X 및 Y 만 변환) 또는 유사 정렬을 포함할 수 있지만, 이에 한정되는 것은 아니다. 또한, 본 명세서에 개시된 정렬 기법들은 선형 변환(예를 들어, 회전, 스케일링, 변환 등) 및/또는 비-강체 변환(non-rigid transformations)(예를 들어, 기준 이미지와 정렬하기 위한 이미지의 국지적 워핑)을 포함할 수 있다. 이러한 비-강체 변환은 "옵티컬 플로우" 변환을 포함할 수 있다.
컨트롤러는 적어도 베이스라인 거리에 기초하여 버스트 이미지 데이터의 스테레오 불일치를 결정하도록 구성될 수 있다. 스테레오 불일치는 3 차원 이미지 프로세싱 방법의 일부로서 결정될 수 있다. 예시적 실시예에서, 상기 스테레오 불일치의 결정은 상기 제 1 이미지 데이터, 상기 제 2 이미지 데이터 및 상기 베이스라인 거리에 기초하여 시차 함수를 추정하는 것을 포함할 수 있다.
컨트롤러는 결정된 스테레오 불일치에 따라 각 이미지 쌍 중 적어도 하나의 이미지를 워핑할 수 있다. 즉, 컨트롤러는 이미지 쌍의 대응하는 이미지와 실질적으로 일치하도록 각 이미지 쌍 중 적어도 하나의 이미지를 조정할 수 있다. 예시적 실시예에서, 컨트롤러는 이미지 쌍 또는 더 일반적으로는 버스트 이미지 데이터로부터 기본 이미지를 선택할 수 있다. 상기 시나리오에서, 컨트롤러는 버스트 이미지 데이터 내의 모든 또는 적어도 일부의 이미지를 기본 이미지와 실질적으로 일치하도록 조정할 수 있다. 즉, 버스트 이미지 데이터의 서로 다른 이미지는 기본 이미지와 일치하도록 조정될 수 있다. 또한, 기본 이미지와 관련하여, 버스트 이미지 데이터의 서로 다른 이미지는 1) 동일한 시점에 상이한 이미지 캡처 시스템으로 캡처된 것; 2) 상이한 시점에서 동일한 이미지 캡처 시스템으로 캡처된 것; 또는 3) 상이한 시점에서 상이한 이미지 캡처 시스템으로 캡처된 것일 수 있다.
일부 예시들에서, 상기 이미지 조정들은 추정된 시차 함수의 역을 제1 이미지 데이터 또는 제2 이미지 데이터 중 적어도 하나에 적용하는 것을 포함할 수 있다. 본 명세서의 다른 곳에서 기술된 바와 같이, 이미지 조정들은 이미지 캡처 시스템들의 에피폴라 지오메트리(epipolar geometry)에 관한 정보에 기초하여 버스트 이미지 데이터의 하나 이상의 이미지들을 워핑하는 것을 포함할 수 있다. 상기 버스트 이미지 데이터의 조정 및/또는 워핑은 워핑된 이미지 스택을 형성할 수 있다.
예시적 실시예에서, 컨트롤러는 워핑된 이미지 스택의 픽셀 당 가중 평균에 기초하여 적어도 하나의 출력 이미지를 생성할 수 있다. 일부 실시예들에서, 제어기는 워핑된 이미지 스택으로부터의 픽셀들을 각각의 이미지 타일(image tile)들로 함께 그룹화할 수 있다. 상기 시나리오에서, 컨트롤러는 각각의 이미지 타일들의 가중 평균에 기초하여 적어도 하나의 출력 이미지를 생성할 수 있다. 일부 실시예들에서, 각각의 이미지 타일들은 다른 이미지 타일과 오버랩될 수 있고 그렇지 않을 수도 있다. 복수의 유사한 이미지들에 기초한 다른 디노이징 기법들이 본 명세서에서 고려된다.
컨트롤러는 적어도 하나의 HDR 출력 이미지들 제공하기 위해 HDR 함수를 적어도 하나의 출력 이미지에 더 적용할 수 있다.
본 명세서에서 고려되는 시스템들 및 방법들은 다양한 상이한 멀티스코픽 이미징 시스템을 포함할 수 있다. 예를 들어, 이미징 시스템은 컬러 필터 어레이(예를 들어, Bayer 필터)에 광학적으로 결합된 이미지 센서를 가지는 제1 이미지 캡처 시스템 및 이러한 컬러 필터 어레이가 없는 이미지 센서를 가지는 제2 이미지 캡처 시스템을 포함할 수 있다. 대안적으로 또는 추가적으로, 제1 이미지 캡처 시스템은 저역 통과 필터에 광학적으로 결합된 이미지 센서를 포함할 수 있고, 제2 이미지 포착 시스템은 그러한 저역 통과 필터가 없는 이미지 센서를 포함할 수 있다.
일부 예시들에서, 본 명세서에서 고려되는 시스템들은 상이한 초점 거리들을 갖는 광학체들을 구비한 이미지 캡처 시스템을 포함할 수 있다. 즉, 제1 이미지 데이터는 제1 초점 거리로 캡처되고 제2 이미지 데이터는 제2 초점 거리로 캡처되어, 주어진 장면의 상이한 "줌"레벨을 제공할 수 있다.
예시적인 실시예에서, 복수의 이미지 캡처 시스템들은 다양한 방식들로 배열될 수 있다. 예를 들어, 이미지 캡처 시스템들은 대부분의 스테레오스코픽 이미징 시스템들과 같이 선을 따라 배열될 수 있다. 대안적으로 또는 추가적으로, 이미지 캡처 시스템들은 형상의 경계를 따라 배열될 수 있다. 예를 들어, 상기 형상은 링 또는 구를 포함할 수 있다. 상기 시나리오에서, 이미지 캡처 시스템들은 360도 시야를 캡처하도록 동작할 수 있다. 다른 유형의 멀티스코픽 이미지 캡처 시스템이 고려된다.
본 명세서에서 기술된 컨트롤러는 적어도 하나의 프로그래머블 ICSP(in-circuit serial programming) 마이크로컨트롤러를 포함할 수 있다. 추가적으로 또는 대안적으로, GPU(graphical processing unit)와 같은 다른 유형들의 마이크로프로세서들도 본 명세서에서 고려된다.
II. 예시적 시스템들
도 1a는 예시적 실시예에 따른 시스템(100)을 도시한다. 시스템(100)은 제1 이미지 캡처 시스템(110) 및 제2 이미지 캡처 시스템(120)을 포함한다. 이와 같이, 일부 실시예들에서, 시스템(100)은 스테레오스코픽 이미징 시스템으로 고려될 수 있다. 추가적으로 또는 대안적으로, 시스템(100)은 추가적 이미지 캡처 시스템(130)을 포함할 수 있다. 상기 시나리오에서, 시스템(100)은 멀티스코픽 이미징 시스템으로 고려될 수 있다.
이미지 캡처 시스템들(110 및 120)은 CCD(charge-coupled device) 또는 MOS(metal-oxide semiconductor) 센서와 같은 이미지 센서를 각각 포함할 수 있다. 각각의 이미지 센서들은 수백만 개의 개별적 광센서들 또는 픽셀들을 포함할 수 있다. 예시적 실시예에서, 각각의 이미지 센서들은 3:2 종횡비(aspect ratio)로 배열될 수 있고, 3,872 × 2,592 픽셀, 또는 약 1,000 만 픽셀들을 각각 포함할 수 있다. 그러나, 상이한 종횡비 및 더 많거나 적은 픽셀을 갖는 많은 다른 이미지 센서들도 고려된다.
이미지 캡처 시스템들(110 및 120)은 디지털 사진 및/또는 디지털 비디오 정보를 제공하도록 동작할 수 있다. 즉, 이미지 캡처 시스템들(110 및 120)은 스테레오스코픽 또는 멀티스코픽 디지털 스틸 카메라들 및/또는 디지털 비디오 카메라들로 구성될 수 있다. 이미지 캡처 시스템들(110 및 120)은 조리개, 셔터, 기록 표면(예를 들어, 하나 이상의 이미지 센서들), 및/또는 렌즈를 포함하는 다양한 엘리먼트들을 포함할 수 있지만, 이에 제한되지는 않는다.
복수의 이미지 캡처 시스템들은 상이한 배향들로 배열될 수 있다. 예를 들어, 스테레오스코픽 이미징 시스템의 시나리오에서, 이미지 캡처 시스템(110 및 120)은 베이스라인 거리 및 평행 광축들에 의해 분리될 수 있다. 대안적으로 또는 추가적으로, 멀티스코픽 이미징 시스템의 경우에, 복수의 이미지 캡처 시스템들은 형상의 경계를 따라 배열될 수 있다. 예를 들어, 형상은 링, 디스크 또는 구를 포함할 수 있다. 시스템(100)의 복수의 이미지 캡처 시스템들의 다른 형상 및/또는 배열도 가능하다.
시스템(100)은 사용자 인터페이스(140)를 포함할 수 있다. 사용자 인터페이스(140)는 디스플레이(142) 및 컨트롤들(144)을 포함할 수 있다. 사용자 인터페이스(140)는 스피커, 스피커 잭, 오디오 출력 포트, 오디오 출력 디바이스, 이어폰들 및/또는 기타 유사한 디바이스들을 통해 청각적 출력(들)을 생성하도록 구성될 수 있다.
예시적 실시예에서, 디스플레이(142)는 시스템(100)에 관한 정보를 제공하도록 구성된 뷰파인더 및/또는 다른 디스플레이를 포함할 수 있다. 디스플레이(142)는 LED 디스플레이, LCD 디스플레이, 플라즈마 디스플레이 또는 다른 유형의 디스플레이일 수 있다. 일 실시예에서, 디스플레이(142)는 터치스크린일 수 있다. 상기 시나리오에서, 시스템(100)의 사용자는 디스플레이(142)와 인터렉팅함으로써 시스템(100)의 세팅을 조정할 수 있다.
컨트롤들(144)은 사용자가 인터렉션할 수 있는 버튼들, 스위치들, 다이얼들 또는 기타 유형들의 컨트롤들을 포함할 수 있다. 특히, 컨트롤들(144)은 셔터 버튼 및 많은 다른 가능한 것들 중에서도, 초점, 시야, 줌, 셔터 속도, 조리개 및/또는 ISO를 조정하도록 동작가능한 컨트롤을 포함할 수 있다. 예시적 실시예에서, 셔터 버튼은 하나의 이미지 프레임이 이미지 쌍을 형성하도록 이미지 캡처 시스템들(110 및 120) 각각에 의해 캡처되는 이미지 캡처 프로세스를 트리거(trigger)하도록 동작할 수 있다. 대안적으로 또는 추가적으로, 셔터 버튼은 복수의 스틸 이미지들 또는 비디오 스트림을 트리거하도록 동작할 수 있다. 또한, 일부 실시예는 다른 컨트롤들을 통해 또는 컨트롤러(150)를 통해 이미지 캡처 프로세스를 트리거링하는 것을 포함할 수 있다. 예를 들어, 이미지 캡처 프로세스는 타이머 또는 원격 트리거를 통해 트리거될 수 있다.
캡처된 디지털 이미지들은 1차원, 2차원 또는 다차원 어레이의 픽셀들로 표현될 수 있다. 각각의 픽셀은 각각의 픽셀의 컬러 및/또는 밝기를 인코딩할 수 있는 하나 이상의 값들로 표현될 수 있다. 예를 들어, 하나의 가능한 인코딩은 YCbCr 컬러 모델을 사용한다. 이 컬러 모델에서, Y 채널은 픽셀의 밝기를 표현할 수 있고, Cb 및 Cr 채널들은 각각 픽셀의 청색 색차 및 적색 색차를 표현할 수 있다. 예를 들어, 이들 채널들 각각은 0에서 255까지의 값을 취할 수 있다. 따라서, 픽셀의 밝기는 픽셀이 흑색이거나 흑색에 가까울 경우 0 또는 0에 가까운 값으로, 픽셀이 백색이거나 백색에 가까울 경우 255 또는 255에 가까운 값으로 표현될 수 있다. 그러나 255의 값은 비-한정적인 기준점이며, 일부 구현예들은 다른 최대 값(예:1023, 4095 등)을 사용할 수 있다.
RGB 컬러 모델 또는 CMYK와 같은 다른 컬러 모델들이 본 명세서의 실시예와 함께 이용될 수 있다. 또한, 이미지 내의 픽셀들은 RAW(비압축) 포맷, 또는 JPEG (Joint Photographic Experts Group), PNG (Portable Network Graphics), GIF(Graphics Interchange Format) 등과 같은 압축된 포맷을 포함하는 다양한 파일 포맷들 표현될 수 있다.
예시적 실시예에서, 이미지 캡처 시스템들(110 및 120)은 초당 30 프레임(FPS)의 레이트로 이미지 프레임들을 캡처하도록 구성될 수 있다. 그러나, 더 크거나 더 작은 프레임 레이트들을 갖는 이미지 캡처 시스템도 가능하다.
추가적으로 또는 대안적으로, 이미지 캡처 시스템들(110 및 120)은 버스트 프레임 레이트를 갖는 "버스트" 캡처 모드를 포함할 수 있다. 버스트 프레임 레이트는 짧은 시간 동안 보통보다 더 빠른 캡처 프레임 레이트를 포함할 수 있다. 예를 들어, 이미지 캡처 시스템들(110 및 120)이 30 FPS의 "보통의" 프레임 레이트를 갖는 시나리오에서, 이미지 캡처 시스템들(110 및 120)은 60 FPS에서 연속적으로 캡처된 10개의 이미지 프레임의 2개의 세트들을 포함하는(각 이미지 캡처 시스템으로부터 1개의 세트) 버스트 이미지 데이터를 제공하도록 각각 동작할 수 있다. 다른 버스트 이미지 프레임 양과 다른 버스트 프레임 레이트도 가능하다.
예시적 실시예에서, 이미지 캡처 시스템들(110 및 120)은 조화(coordinated)된 이미지 캡처를 제공하도록 통신적으로 및/또는 기계적으로 결합될 수 있다. 즉, 각각의 이미지 프레임들은 이미지 캡처 시스템들(110 및 120)에 의해 실질적으로 동시에(예를 들어, 동시성으로) 캡처될 수 있다. 실질적으로 동시에 캡처된 각각의 이미지 프레임들은 이미지 쌍으로 지칭될 수 있다.
일부 실시예에서, 본 명세서의 다른 곳에서 기술된 바와 같이, 각각의 이미지 프레임들은 제1 이미지 캡처 시스템(110) 및 제2 이미지 캡처 시스템(120)에 의해 동시에 캡처될 필요는 없다. 그러나, 각각의 이미지 프레임들 사이의 상대적 캡처 시간은 보다 쉽게 상관시키고 및/또는 본 명세서에 기술된 다양한 이미지 조정들을 결정하기 위해 측정되고, 기록되고 그리고 사용될 수 있다.
일부 실시예에서, 이미지 캡처 시스템(110 및 120)은 물리적 위치 및 /또는 배향만 상이할 뿐, 실질적으로 유사할 수 있다. 그러나, 다른 실시예에서, 이미지 캡처 시스템들(110 및 120)은 다른 방식으로 다를 수 있다. 예를 들어, 제1 이미지 캡처 시스템(110)은 컬러 필터 어레이에 광학적으로 결합된 이미지 센서를 포함할 수 있고, 제2 이미지 캡처 시스템(120)은 컬러 필터 어레이가 없는 이미지 센서를 포함할 수 있다(또는 그 반대). 컬러 필터 어레이는 Bayer 컬러 필터 또는 그 파장에 기초하여 선택적으로 광을 흡수하도록 구성된 다른 유형의 필터를 포함할 수 있다.
예시적 실시예에서, 제1 이미지 캡처 시스템(110)은 저역 통과 필터에 광학적으로 결합된 이미지 센서를 포함할 수 있고, 제2 이미지 캡처 시스템(120)은 저역 통과 필터가 없는 이미지 센서를 포함할 수 있다(또는 그 반대).
추가적으로 또는 대안적으로, 제1 이미지 캡처 시스템(110)은 제1 초점 거리(예를 들어, 35mm)를 갖는 광학체들에 광학적으로 결합된 이미지 센서를 포함할 수 있고, 제2 이미지 캡처 시스템은 제2 초점 거리(예: 105mm)를 갖는 광학체들에 광학적으로 결합될 수 있거나 또는 그 반대일 수 있다. 상기 시나리오에서, 본 명세서에 기술된 이미지 프로세싱 동작들의 일부 또는 전부는 이미지 프레임의 일부분과 관련될 수 있다. 즉, 이미지 교정, 워핑, 디노이징 및 HDR 프로세싱은 이미지 캡처 시스템들의 각각의 시야들이 중첩되는 이미지 프레임들의 "오버랩"되는 부분에 적용될 수 있다.
예시적 실시예에서, 제1 이미지 캡처 시스템(110) 및 제2 이미지 캡처 시스템(120)은 스테레오스코픽 또는 쌍안 이미징 시스템의 "좌측" 및 "우측" 이미지 센서들(또는 그 반대)로서 각각 동작가능할 수 있다. 즉, 제1 이미지 캡처 시스템(110)과 제2 이미지 캡처 시스템(120)의 조합은 장면에 관한 스테레오스코픽 이미징 정보를 제공하도록 구성될 수 있다. 일부 실시예들에서, 이미지 캡처 시스템들(110 및 120)의 조합은 시각 깊이 인식을 제공하는데 유용한 3차원적 깊이 및/또는 정보를 표시하는 정보를 제공할 수 있다.
대안적으로 또는 추가적으로, 이미지 캡처 시스템들(110, 120 및/또는 130)은 착용가능한 카메라들을 포함할 수 있다. 또한, 임의의 수의 이미지 캡처 시스템들(110, 120 및/또는 130)이 다른 이미지 캡처 시스템으로부터 물리적으로 분리될 수 있다. 즉, 본 명세서에서 고려되는 이미지 캡처 시스템들은 상이한 위치들에 위치될 수 있다. 예를 들어, 본 명세서에서 고려되는 이미지 캡처 시스템들은 상이한 위치들에 위치되고 복수의 사용자에 의해 동작되는 복수의 스마트폰 카메라들을 포함할 수 있다. 추가 적으로 또는 대안적으로, 하나 이상의 이미지 캡처 시스템들은 고정된 위치에 있을 수 있고(예를 들어, 삼각대에 안정화될 수 있음), 하나 또는 다른 이미지 캡처 시스템들은 모바일이거나 이동가능할 수 있다. 복수의 이미지 캡처 시스템들의 다른 조합, 배향 및 배열도 가능하다.
시스템(100)은 또한 컨트롤러(150)를 포함한다. 컨트롤러(150)는 하나 이상의 프로세서들(152) 및 메모리(154)를 포함할 수 있다. 예시적 실시예에서, 컨트롤러(150)는 적어도 하나의 프로그램머블 ICSP(in-circuit serial programming) 마이크로컨트롤러를 포함한다. 추가적으로 또는 대안적으로, 하나 이상의 프로세서들(152)은 하나 이상의 범용 프로세서(예컨대, 마이크로프로세서들) 및/또는 하나 이상의 전용 프로세서, 예를 들어 디지털 신호 프로세서(DSP), 그래픽 처리 장치(GPU), FPU (Floating Point Unit), 네트워크 프로세서들 또는 ASIC(Application Specific Integrated Circuit)들을 포함할 수 있다. 메모리(154)는 컴퓨터 판독가능 프로그램 명령어들을 저장하도록 구성될 수 있다. 메모리(154)는 하나 이상의 프로세서들(152)이 전체 또는 일부에 통합될 수 있는 광학, 자기, 유기 또는 다른 메모리 또는 디스크 스토리지와 같은 휘발성 및/또는 비휘발성 스토리지 컴포넌트를 포함할 수 있다. 일부 실시예에서, 메모리(154)는 단일의 물리적 디바이스(예를 들어, 하나의 광학, 자기, 유기 또는 다른 메모리 또는 디스크 스토리지)를 사용하여 구현될 수 있는 반면, 다른 실시 예에서는 메모리(154)가 둘 이상의 물리적 디바이스들을 사용하여 구현될 수 있다.
하나 이상의 프로세서들(152)은 동작들을 수행하기 위해 명령어들을 실행하도록 구성될 수 있다. 일부 실시예에서, 동작들은 이미지 캡처 시스템(110, 120 및/또는 130)에 의해 캡처된 하나 이상의 이미지들에 대한 조정 및/또는 개선을 포함할 수 있다.
컨트롤러(150)는 통신 인터페이스를 통해 제1 이미지 캡처 시스템(110), 제2 이미지 캡처 시스템(120) 및/또는 다른 이미지 캡처 시스템(130)과 통신적으로 결합될 수 있다. 통신 인터페이스는 컨트롤러(150)가 하나 이상의 네트워크들을 통해 시스템(100)의 다른 엘리먼트들와 통신하게 하는 하나 이상의 무선 인터페이스들 및/또는 하나 이상의 유선 인터페이스들을 포함할 수 있다. 예시적 실시예에서, 무선 인터페이스들은 블루투스, WiFi(예를 들어, IEEE 802.11 프로토콜), LTE(Long-Term Evolution), WiMAX(예를 들어, IEEE 802.16 표준), 무선 주파수 ID (RFID) 프로토콜, 근거리 통신(NFC) 및/또는 다른 무선 통신 프로토콜들과 같은 하나 이상의 무선 통신 프로토콜들 하에서 통신을 제공할 수 있다. 유선 인터페이스들은 유선, 꼬인 쌍선, 동축 케이블, 광 링크, 광섬유 링크 또는 다른 유형의 물리적 연결을 통해 통신하기 위한 이더넷 인터페이스, USB(Universal Serial Bus) 인터페이스 또는 유사한 인터페이스를 포함할 수 있다. 또한, 통신 인터페이스의 적어도 일부를 구성하는 하나 이상의 라우터들, 스위치들 및/또는 다른 디바이스들 또는 네트워크들이 있을 수 있다.
도 1a는 컨트롤러(150)가 제1 이미지 캡처 시스템(110) 및 제2 이미지 캡처 시스템(120)으로부터 도식적으로 떨어져 있는 것으로 도시하고 있지만, 컨트롤러(150)는 시스템(100)의 하나 이상의 엘리먼트들에 물리적으로 위치되거나 그 안에 통합될 수 있다. 또한, 컨트롤러(150)는 제1 이미지 캡처 시스템(110)에 통합될 수 있다. 대안적으로, 컨트롤러(150)는 제2 이미지 캡처 시스템(120)에 통합될 수 있다. 또한, 컨트롤러(150)는 이미지 캡처 시스템(110)과 제2 이미지 캡처 시스템(120) 중에 분산될 수 있다. 다른 실시예에서, 컨트롤러(150)는 분산 컴퓨팅 네트워크 및/또는 클라우드 컴퓨팅 네트워크를 포함할 수 있다.
도 1b는 예시적 실시예에 따른 시스템(160)의 측면도 및 상면도(top view)를 도시한다. 시스템(160)은 도 1a를 참조하여 도시되고 기술된 바와 같이 시스템(100)의 일부 또는 모든 엘리먼트들을 포함할 수 있다. 예를 들어, 시스템(160)은 제1 이미지 캡처 시스템(110) 및 제2 이미지 캡처 시스템(120)을 포함할 수 있다.
이미지 캡처 시스템들의 조합은 장면을 보기 위해 배열될 수 있다. 특히, 시스템(160)은 장면에 기초하여 이미지들(예를 들어, 디지털 이미지 정보)를 제공하도록 구성될 수 있다.
예시적 실시예에서, 제1 이미지 캡처 시스템(110) 및 제2 이미지 캡처 시스템(120)은 베이스라인 분리(162) 또는 베이스라인 거리에서 서로 떨어져 배열될 수 있다. 일부 실시예에서, 베이스라인 분리(162)는 제1 이미지 캡처 시스템(110)과 제2 이미지 캡처 시스템(120)의 각각의 광축들 사이의 거리에 기초할 수 있다. 제1 이미지 캡처 시스템(110) 및 제2 이미지 캡처 시스템(120)은 평행할 수 있다. 그러나, 일부 실시예에서, 광축들은 평행할 필요는 없다. 또한, 광축들 중 적어도 하나는 조정가능할 수 있다.
일부 실시예에서, 장면은 오브젝트(164)를 포함할 수 있다. 상기 시나리오에서, 제1 이미지 캡처 시스템(110) 및 제2 이미지 캡처 시스템(120)은 각각의 이미지 데이터(114 및 124)를 제공할 수 있다. 이미지 데이터(114 및 124)는 장면 및 오브젝트(164)에 대한 이미지 정보를 포함할 수 있다. 이미지 데이터(114 및 124)는 적어도 제1 이미지 캡처 시스템(110) 및 제2 이미지 캡처 시스템(120)의 상이한 물리적 위치 때문에 서로 다를 수 있다. 예를 들어, 이미지 프레임들(112 및 122)에 도시된 바와 같이, 오브젝트(164)의 상대적 위치는 이미지 프레임들(112 및 122) 내에서 상이할 수 있다. 즉, 오브젝트(164)는 이미지 프레임들(112 및 122) 둘 다에 포함될 수 있다. 그러나, 오브젝트(164)는 이미지 프레임들(112 및 122)에서 상이한 상대적 위치에 나타날 수 있다. 오브젝트(164)의 상대적 위치의 차이는 그 특정 이미지 피처에 대한 스테레오 불일치로 고려될 수 있다. 각각의 이미지 캡처 시스템들으로부터의 다른 거리들 및/또는 위치들에 대응하는 다른 이미지 피처들(features)은 다른 값의 스테레오 불일치와 관련될 수 있다.
도 1b는 오브젝트(164)만을 포함하는 장면을 포함하지만, 설명의 목적으로만 단순한 설명이 제공된다고 이해된다. 이미지 캡처 시스템들(110 및 120)은 보다 복잡한 장면들을 캡처하도록 구성될 수 있다. 예를 들어, 시스템(160)은 임의의 수의 오브젝트들 또는 피처들(또는 그러한 오브젝트 또는 피처의 부족)을 포함할 수 있는 다양한 상이한 장면들을 이미징하도록 구성될 수 있다.
도 2a, 2b 및 2c는 본 명세서의 범위 내에서 고려되는 다양한 이미지 캡처 시나리오들을 도시한다.
도 2a는 예시적 실시예에 따른 이미지 캡처 시나리오(200)를 도시한다. 이미지 캡처 시나리오(200)는 도 1a 및 도 1b를 참조하여 도시되고 기술된 이미지 캡처 시스템들(110 및 120)과 유사하거나 동일할 수 있는 제1 이미지 캡처 시스템 및 제2 이미지 캡처 시스템을 포함한다. 시간 t0에서, 제1 이미지 캡처 시스템은 이미지 프레임(210)의 캡처를 시작할 수 있다. 즉, 제1 이미지 캡처 시스템의 이미지 센서는 t0과 t1 사이의 노출 지속기간(202) 동안 장면으로부터 광자들을 수집할 수 있다. 또한, 시간 t0에서, 제2 이미지 캡처 시스템은 이미지 프레임(220)의 캡처를 시작할 수 있다. 제1 이미지 캡처 시스템과 유사하게, 제2 이미지 캡처 시스템은 t0와 t1 사이의 노출 지속기간(202) 동안 장면으로부터 광자들을 수집할 수 있다. 이미지 프레임(210)과 이미지 프레임(220)의 조합은 이미지 쌍(1)으로 고려될 수 있다.
후속하는 이미지 쌍들은 복수의 이미지 캡처 시스템에 의해 캡처될 수 있다. 즉, 이미지 프레임들(212 및 222)을 포함하는 이미지 쌍(2)은 t1과 t2 사이의 노출 지속기간(204)에 걸쳐 캡처될 수 있다. 또한, 이미지 프레임들(214 및 224)을 포함하는 이미지 쌍(3)은 t2와 t3 사이의 노출 지속기간(206)에 걸쳐 캡처될 수 있다. 특정 타이밍 시퀀스 및 노출 지속기간은 달라질 수 있음을 이해해야 한다.
도 2b는 예시적 실시예에 따른 이미지 캡처 시나리오(230)를 도시한다. 상기 시나리오에서, 각각의 이미지 쌍들의 이미지 프레임들은 동일한 노출 지속기간으로 캡처될 필요가 없다. 예를 들어, 이미지 프레임(232)은 t0에서 t1까지의 노출 지속기간에 걸쳐 제1 이미지 캡처 시스템에 의해 캡처될 수 있다. 그러나, 이미지 프레임(238)은 더 짧은 노출 지속기간에 걸쳐 캡처될 수 있다. 그럼에도 불구하고, 이미지 프레임들(232 및 238)은 본 개시의 목적상 이미지 쌍(1)으로 고려될 수 있다. 예를 들어, 각각의 이미지 쌍으로부터의 하나 이상의 이미지는 베이스 또는 기준 이미지에 대해 상이한 밝기를 가질 수 있다. 상기 시나리오에서, 아날로그 및/또는 디지털 게인(gain)이 각각의 이미지 센서에서 선택적으로 적용될 수 있거나, 디지털 게인이 각각의 이미지(들)에 적용되어, 기본 이미지의 그것과 유사한 “전체 노출”(예를 들어, 노출 시간 및 게인의 생산물)을 제공한다. 이와 같이, 다양한 이미지 프레임들은 보다 쉽게 비교되고 및/또는 결합될 수 있고, 이미지 교정, 스테레오 워핑 및 디노이징은 여전히 구성 이미지 프레임들에 적용될 수 있다. 유사하게, 이미지 프레임들(240, 242)은 대응하는 이미지 프레임들(234, 236)과 비해 상이한 노출 지속기간을 가질 수 있다.
도 2c는 예시적인 실시예에 따른 이미지 캡처 시나리오(250)를 도시한다. 도시된 바와 같이, 이미지 프레임들(258, 260 및 262)은 대응하는 이미지 프레임들(252, 254, 및 254)에 비해 상이한 노출 지속기간을 가질 수 있고 및/또는 시간적으로 상이할 수 있다(예를 들어, 각각의 이미지들은 상이한 시간에 개시되고 및/또는 종료될 수 있음). 그럼에도 불구하고 이미지 프레임들(252 및 258), (254 및 260) 및 (256 및 262)는 본 발명의 범위 내에서 이미지 쌍들으로 고려될 수 있다.
도 3은 예시적 실시예에 따른 흐름도(300)를 도시한다. 본 명세서에서 기술된 바와 같이, 컨트롤러(150)는 다양한 동작들을 수행하도록 구성될 수 있다. 흐름도(300)의 다양한 블록들은 그러한 동작의 일부 또는 전부를 도시할 수 있다. 또한, 흐름도(300)의 블록들은 도 1a 및 도 1b와 관련하여 도시되고 설명된 시스템(100 및/또는 160)의 엘리먼트들을 포함할 수 있는 동작들을 도시하고 설명한다. 흐름도(300)의 블록들이 특정 순서를 갖는 것으로 도시되어 있지만, 하나 이상의 블록들은 제거, 추가, 반복, 다른 블록과 동시에 완료, 및/또는 순서에 따르지 않고 완료될 수 있다.
블록(302)에 도시된 바와 같이, 컨트롤러(150)는 이미지 캡처 시스템들(110 및 120)으로부터 버스트 이미지 데이터를 수신하도록 동작할 수 있다. 버스트 이미지 데이터는 제1 이미지 캡처 시스템(110)으로부터의 제1 이미지 데이터 및 제2 이미지 캡처 시스템(120)으로부터의 제2 이미지 데이터를 수신할 수 있다. 버스트 이미지 데이터는 적어도 하나의 이미지 쌍을 포함할 수 있다. 추가적으로 또는 대안적으로, 버스트 이미지 데이터는 복수의 이미지 쌍들(예를 들어, 10개의 이미지 쌍들) 및/또는 비디오 스트림을 포함할 수 있다.
블록(304)에 도시된 바와 같이, 컨트롤러(150)는 버스트 이미지 데이터에 기초하여 적어도 하나의 호모그래피 교정 함수를 결정하도록 구성될 수 있다. 적어도 하나의 호모그래피 교정 함수는 적어도 하나의 이미지 쌍에 대응하는 이미지 부분들을 정렬하도록 구성될 수 있다. 적어도 하나의 호모그래피 교정 함수는 보통의 사용 전에 보정 절차에 기초하여 결정될 수 있다. 예를 들어, 보정 절차는 이미지 캡쳐 시스템들(110 및 120) 간의 기하학적 관계를 기술할 수 있는 필수 매트릭스를 제공할 수 있다.
추가적으로 또는 대안적으로, 보정 절차는 이미지 캡처 시스템들(110 및 120)의 에피폴라 지오메트리(epipolar geometry)에 관한 정보를 제공할 수 있다. 예를 들어, 이러한 정보는 이미지 캡처 시스템들(110 및 120)의 대응하는 에피폴라 선을 포함할 수 있다. 에피폴라 지오메트리에 관한 정보는
에피폴라 선들의 지식이 타겟 이미지를 기준 이미지와 정렬하려고 할 때(예를 들어, 2D 영역 내에서 대 1D선을 따라 대응하는 오브젝트/피처에 대한 검색) 가능한 검색 파라미터들을 감소시킬 수 있기 때문에 적어도 이미지 처리 효율을 향상시킬 수 있다.
대안적으로 또는 추가적으로, 적어도 하나의 호모그래피 교정 함수는 예를 들어, 이미지 쌍의 두 프레임들 내의 대응하는 피처와 같은 이미지 쌍의 프레임들 사이의 비교에 기초하여, "즉석으로(on the fly)" 결정될 수 있다. 상기 시나리오에서, 2개의 카메라들 사이의 하나 이상의 기본 매트릭스들은 이미지 쌍의 대응하는 피처들에 기초하여 결정될 수 있다. 일 예시로서, 기본 매트릭스들은 이미지 쌍의 수평 축 상의 대응하는 점들의 불일치 또는 최소 제곱 차이를 최소화하는 것에 기초하여 결정될 수 있다.
호모그래피 교정 함수(들)은 선형 변환을 포함할 수 있다. 선형 변환은 회전 변환, 스케일링 변환 및/또는 이미지 기울기(skew) 변환을 포함할 수 있다. 예를 들어, 회전 변환은 제2 이미지 프레임에 대해 제1 이미지 프레임을 회전시키는 것, 또는 그 반대를 포함할 수 있다. 스케일링 변환은 제2 이미지 프레임에 대해 제1 이미지 프레임을 확대 또는 축소하거나 또는 그 반대로 하는 것을 포함할 수 있다. 이미지 기울기 변환은 z-축 틸트(tilt)에 대한 이미지 조정을 포함할 수 있다. 다른 유형의 이미지 변환들도 일반적으로 이미지 쌍 및/또는 버스트 이미지 데이터의 프레임들을 정렬하거나 또는 보정하기 위해 고려된다.
블록(306)에 도시된 바와 같이, 컨트롤러(150)는 결정된 적어도 하나의 호모그래피 교정 함수에 따라 제1 이미지 데이터 또는 제2 이미지 데이터 중 적어도 하나를 조정하도록 동작할 수 있다. 즉, 컨트롤러(150)는 상대적인 회전, 기울기, 스케일 등을 조절함으로써 제1 이미지 데이터와 제2 이미지 데이터를 정렬할 수 있다. 일부 실시예들에서, 제1 이미지 데이터 또는 제2 이미지 데이터 중 하나는 적어도 하나의 호모그래피 교정 함수에 따라 수정될 수 있다. 일부 다른 실시예들에서, 제1 이미지 데이터 및 제2 이미지 데이터 둘 다는 적어도 하나의 호모그래피 교정 함수에 따라 수정된다.
예시적 실시예에서, 적어도 하나의 호모그래피 교정 함수에 따라 제1 및/또는 제2 이미지 데이터를 조정하는 것은 광학적 흐름 또는 다른 이미지 프로세싱 알고리즘들에 따라 이미지 데이터를 더 조정하기 전에, 이미지 데이터의 "대략적인 정렬"을 제공할 수 있다.
블록(308)에 도시된 바와 같이, 컨트롤러(150)는 버스트 이미지 데이터의 스테레오 불일치의 결정을 수행하도록 동작할 수 있다. 스테레오 불일치는 스테레오 이미지 쌍의 "좌" 및 "우" 이미지에서 2개의 대응하는 포인트들 사이의 거리를 포함할 수 있다. 일 실시예에서, 스테레오 불일치는 적어도 베이스라인 거리에 기초하여 컨트롤러에 의해 결정될 수 있다. 다른 실시예에서, 스테레오 불일치는 스테레오 이미지 쌍의 좌 및 우 이미지들 간의 비교에 기초하여 결정될 수 있다. 일 실시예에서, 상기 스테레오 불일치의 결정은 제1 이미지 데이터, 제2 이미지 데이터 및 베이스라인 거리에 기초하여 시차 함수를 추정하는 것을 포함할 수 있다. 즉, 스테레오 불일치는 3차원적 이미지 프로세싱 방법의 일부로서 결정될 수 있다.
일부 실시예들에서, 컨트롤러(150)는 스테레오 이미지 쌍의 좌 및 우 이미지 사이의 비교에 기초하여 불일치 이미지를 제공하도록 구성될 수 있다. 일 실시예에서, 불일치 이미지는 스테레오 이미지 쌍의 좌 및 우 이미지 프레임 내의 대응하는 피처들 사이의 기하학적 불일치에 기초한 픽셀 밝기 레벨을 갖는 이미지 프레임을 포함할 수 있다. 추가적으로 또는 대안적으로, 컨트롤러(150)는 스테레오 이미지 쌍의 이미지 프레임들간의 비교에 기초하여 불일치 지도를 제공하도록 구성될 수 있다.
스테레오 불일치의 결정을 돕기 위해 다른 정보가 획득되고 및/또는 수신될 수 있다. 예를 들어, 컨트롤러(150)는 LIDAR, RADAR, 초음파 센서 또는 다른 유형의 거리 측정 시스템을 통해 범위 데이터를 수신할 수 있다. 컨트롤러(150)는 이 범위 데이터를 활용하여 적어도 부분적으로 스테레오 불일치를 결정할 수 있다.
블록(310)에 도시된 바와 같이, 컨트롤러(150)는 결정된 스테레오 불일치에 따라 각 이미지 쌍의 적어도 하나의 이미지를 "워프(warp)" 또는 이와 다르게 수정하도록 동작할 수 있다. 즉, 컨트롤러(150)는 이미지 쌍의 대응하는 이미지와 실질적으로 일치하도록 각 이미지 쌍의 적어도 하나의 이미지를 조정할 수 있다. 일부 예시에서, 상기 이미지 조정들은 결정된 스테레오 불일치 및/또는 추정된 시차 함수의 역을 제1 이미지 데이터 또는 제2 이미지 데이터 중 적어도 하나에 적용하는 것을 포함할 수 있다. 상기 버스트 이미지 데이터의 워핑은 워핑된 이미지 스택을 형성할 수 있다. 일부 실시예에서, 워핑된 이미지 스택은 오브젝트 모션, 카메라 모션 및/또는 이미지 노이즈의 가능한 예외를 서로 실질적으로 유사한 이미지 프레임을 포함할 수 있다.
대안적으로 또는 추가적으로, 이미지 조정들은 기준 이미지의 대응 위치(예를 들어, 정확하게 정렬된 픽셀들)에 기초하여 타겟 이미지의 하나 이상의 픽셀을 이동시키는 것을 포함할 수 있다. 2개의 이미지가 상이한 관점으로부터 동시에 캡쳐되는 시나리오에서, 장면의 광학적 플로우 맵이 제공될 수 있다. 광학적 플로우 맵은, 예를 들어, 기준 이미지 내의 대응하는 정확하게 정렬된 픽셀들에 기초하여 타겟 이미지에서 이동된 각각의 픽셀에 대한 상대적 거리 및/또는 방향을 포함할 수 있다. 광학적 플로우 맵은 장면의 깊이 맵을 제공하는데 사용될 수 있다. 예를 들어, 깊이 맵은 이미지 캡처 시스템(들)의 베이스라인 거리 및/또는 시야(field of view)에 기초할 수 있다.
블록(312)에 도시된 바와 같이, 컨트롤러(150)는 워핑된 이미지 스택으로부터 노이즈를 제거하도록 구성될 수 있다. 즉, 컨트롤러(150)는 적어도 하나의 출력 이미지를 생성하기 위해 버스트 디노이징 알고리즘을 워핑된 이미지 스택에 적용할 수 있다. 적어도 하나의 출력 이미지는 적은 샷 노이즈 또는 다른 유형의 이미지 노이즈를 포함할 수 있다.
예시적 실시예에서, 버스트 디노이징 알고리즘은 워핑된 이미지 스택의 가중 평균을 결정하는 것을 포함할 수 있다. 상기 시나리오에서, 가중 평균은 워핑된 이미지 스택의 대응 픽셀들의 픽셀 당 평균을 포함할 수 있다. 가중 평균은 다른 가능성 중에서도 대응하는 픽셀 강도, 컬러 및/또는 광도에 기초할 수 있다. 대안적으로 또는 추가적으로, 버스트 디노이징 알고리즘은 저역 통과 필터 및/또는 고속 푸리에 변환(FFT)을 포함 할 수 있다. 또한, 다른 실시 예들은 유사한 픽셀 영역들을 식별하고(예를 들어, 컬러, 밝기 등에 기초하여), 이들 영역들에 필터링 및/또는 평균화를 적용하는 버스트 디노이징 알고리즘을 포함할 수 있다.
일부 실시예들에서, 위너(Wiener) 필터는 워핑된 이미지 스택으로부터의 바람직하지 않은 노이즈를 필터링하는데 사용될 수 있다. 상기 시나리오에서, 위너 필터는 추정된 랜덤 프로세스(예를 들어, 샷 노이즈)와 원하는 이미지 사이의 평균 제곱 에러를 감소시키거나 최소화할 수 있다. 추가적으로 또는 대안적으로, 블럭-매칭 및 3D 필터링(BM3D) 또는 비-로컬 평균(non-local means)과 같은 다른 유형의 이미지 디노이징 필터들도 가능하다. 다양한 다른 디노이징 기법들 및 알고리즘들도 가능하며 본 명세서에서 고려될 수 있음이 이해된다.
일부 픽셀 인코딩은 각 픽셀의 밝기를 표현하기 위해 8비트를 사용한다. 이를 LDR(Low Dynamic Range) 이미징이라고 한다. 그 결과, 256단계의 밝기만 지원될 수 있다. 그러나 실제 장면은 종종 LDR이미징에서 의해 합리적으로 표현될 수 있는 것보다 더 넓은 동적 범위의 밝기를 나타낸다. 예를 들어, 창문 앞의 어두운 방에 서있는 개인의 장면에는 극도로 밝은 영역과 매우 어두운 영역이 모두 포함될 수 있다. 그러나 상기 장면의 이미지를 캡처하기 위해 LDR 이미징을 사용하면 이미지가 캡처된 노출 길이를 기초로 밝은 영역 및/또는 어두운 영역의 세부 묘사가 손실될 수 있다.
짧은 노출 길이는 장면의 밝은 영역을 합리적으로 정확하게 표현하지 만 어두운 영역을 과소 노출시킬 수 있다. 반대로, 긴 노출 길이는 어두운 영역을 합리적으로 정확하게 표현할 수 있지만 밝은 영역을 과다 노출시킬 수 있다. 예시적 장면에서, 만약 노출 길이가 너무 길면, 실내의 피처가 제대로 노출된 것처럼 보일 수 있지만, 창 외부의 피처들은 흰색으로 나타날 수 있다. 그러나 만약 노출 길이가 너무 짧으면, 창 외부의 피처는 정상적으로 나타나지만 실내의 피처가 어두워 보일 수 있다. 이러한 결과들은 모두 바람직하지 않다. 일부 장면의 경우, 밝은 영역과 어두운 영역의 세부 묘사를 표현하는 캡처된 이미지가 받아들일만한 세부 묘사로 표현되는 단일의 노출 길이는 없을 수 있다.
창문 앞의 어두운 방에 서있는 개인의 시나리오에서, 제1 이미지 프레임은 장면의 하늘 및 구름의 구름 부분은 적절하게 노출시킬 수 있지만, 사람 및 방 주위를 부적절하게 노출시키는 (예를 들어, 과소 노출) 제1 노출 길이로 캡처될 수 있다. 제2 이미지 프레임은 사람과 방 주위를 적절히 노출시킬 수 있지만, 장면의 하늘과 구름 부분은 부적절하게 노출(예를 들어, 과다 노출)시킬 수 있는 제2 노출 길이로 캡처될 수 있다.
선택적으로, 블록(314)에 도시된 바와 같이, 컨트롤러(150)는 워핑된 이미지 스택 및/또는 하나 이상의 출력 이미지들에 HDR 프로세싱을 적용하도록 동작할 수 있다. 전술한 예시를 사용하면, 이미지 스택의 제1 이미지 프레임의 적절히 노출된 픽셀들은 제1 이미지 프레임의 부적절하게 노출된 픽셀들에 대응하는 이미지 스택의 제2 이미지 프레임의 픽셀과 결합될 수 있다. 예를 들어, 제1 이미지 프레임의 적절하게 노출된 하늘 및 구름 부분은 제2 이미지 프레임의 적절하게 노출된 사람 및 방 부분과 결합될 수 있다. 결과적인 합성 이미지는 장면의 밝고 어두운 영역의 세부 묘사를 합리적으로 잘 재현할 수 있다.
합성 이미지를 형성하기 위해 캡처된 이미지로부터의 픽셀을 결합하는 것은 다수의 방식으로 달성될 수 있다. 예를 들어, 이미지들의 픽셀-바이-픽셀 조합은, 예를 들어 픽셀들의 밝기에 따라 각 이미지의 픽셀들에 가중치를 할당함으로써 형성될 수 있다. 그 후, 가중치에 따라, 특정 픽셀이 최종 이미지에 포함되거나 제외될 수 있다. 대안적으로, 둘 이상의 LDR 이미지들이 HDR 이미지로 결합될 수 있고, 그 후 HDR 이미지는 그 밝기가 종래의 비디오 출력 디바이스들의 디스플레이 능력에 상응하는 범위 내에 있도록 톤 매핑(tone mapping)될 수 있다. 그러나, 캡처된 이미지들로부터 픽셀들을 결합하는 다른 방법이 본 명세서의 실시예 대신에 사용될 수 있다.
일부 실시예에서, HDR 프로세싱은 AEB(automatic exposure bracketing)을 사용하여 캡처된 이미지 프레임들에 기초하여 수행될 수 있다. 즉, 워핑된 이미지 스택은 노출 지속기간의 범위를 갖는 이미지 프레임을 포함할 수 있다. 따라서, HDR 출력 이미지는 워핑된 이미지 스택 내의 복수의 이미지 프레임들로부터 적절하게 노출된 영역에 기초하여 제공될 수 있다. 일부 실시예에서, 버스트 이미지 데이터는 18개의 노출값(EV, exposure value)에 걸쳐 캡처된 이미지 프레임들을 포함할 수 있다. 다른 노출 브라케팅 범위도 가능하다.
HDR 출력 이미지를 제공하기 위해 워핑된 이미지 스택 및/또는 출력 이미지(들)에 HDR 또는 "HDR 유사" 프로세싱을 적용하는 다른 방법들도 가능하다. 예를 들어, 과다 노출 및 과소 노출 영역을 줄이기 위해 노출, 밝기, 감마, 컬러 또는 출력 이미지의 다른 양태들을 조정할 수 있다. 상기 시나리오에서, 출력 이미지의 음영이 향상될 수 있고, 출력 이미지의 하이라이트가 감소될 수 있다.
추가적으로 또는 대안적으로, 하나 이상의 출력 이미지들은 국부화된 콘트라스트를 유지하면서 출력 이미지의 다이나믹 레인지 또는 콘트라스트 비를 감소시키기 위해 톤-매핑될 수 있다. 이미지 세부 묘사를 유지하면서 이미지의 과다 및 과소 노출 영역들을 감소시키기 위한 다른 방법들도 본 명세서에서 고려된다.
예시적 실시예에서, 컨트롤러(150)는 유사한 특성들을 갖는 이미지 픽셀들을 갖는 "타일(tile)"들에 따라 각 이미지 프레임 내의 픽셀들을 그룹화, 지정 및/또는 분리하기 위해 이미지 데이터를 분석하도록 동작가능할 수 있다. 예시로서, 이미지 프레임은 픽셀 밝기, 컬러, 톤, 형상, 에지 등과 같은 하나 이상의 이미지 특성들에 따라 유사한 타일들 또는 영역들을 결정하기 위해 분석될 수 있다. 예를 들어, 높은 밝기를 갖는 픽셀 영역(예를 들어, 하늘)은 제1 타일과 연관될 수 있고, 더 낮은 밝기(예를 들어, 지면)를 갖는 픽셀 영역은 제2 타일과 연관될 수 있다. 일부 실시예들에서, 단일 이미지 프레임은 수십, 수백, 수천 또는 그 이상의 타일들을 포함할 수 있다.
버스트 이미지 데이터는 전술한 것과 유사한 방식으로 타일링될 수 있다. 이와 같이, 버스트 이미지 데이터는 각각의 이미지 프레임들 내에 유사한 형상 및 위치를 갖는 타일들을 갖는 이미지 프레임들을 포함할 수 있다. 각각의 이미지 프레임들 간의 대응하는 타일들을 매칭시키는 것은 픽셀들의 전체 개수에 걸쳐 검색하는 것보다 실질적으로 빠를 수 있다.
따라서, 본 명세서에 기술된 임의의 이미지 프로세싱 동작들은 타일 단위로 수행될 수 있다. 즉, 적어도 하나의 호모그래피 교정 함수는 적어도 하나의 이미지 쌍에서 대응하는 타일들을 정렬하는 것에 기초하여 결정될 수 있다. 또한, 스테레오 불일치는 스테레오 이미지 쌍(들)의 이미지 프레임들 내의 유사한 타일들의 상대 위치를 비교함으로써 결정될 수 있다. 추가적으로, 버스트 디노이징 알고리즘은 워핑된 이미지 스택의 각 이미지 프레임의 대응하는 타일들을 비교함으로써 수행될 수 있다. 또한, HDR 프로세싱은 워핑된 이미지 스택의 다양한 이미지 프레임들으로부터 정확하게 노출된 타일들을 결합하는 것을 포함할 수 있다.
일부 실시예에서, 타일들을 핸들링하는 것에 기초한 이미지 프로세싱은 픽셀 단위의 이미지 프로세싱보다 속도 및 이미지 품질의 향상을 제공할 수 있다. 예를 들어, 타일링된 이미지 프로세싱은 타일 경계들의 에지들에서 "고스팅(ghosting)", 흐릿한 이미지 아티팩트들 및/또는 아티팩트들를 감소시키거나 제거할 수 있다.
III. 예시적 방법들
도 4는 예시적 실시예에 따른 방법(400)을 도시한다. 방법(400)은 다양한 블록들 또는 단계들을 포함할 수 있다. 블록들 또는 단계들은 개별적으로 또는 조합하여 수행될 수 있다. 블록들 또는 단계들은 임의의 순서로 및/또는 직렬 또는 병렬로 수행될 수 있다. 또한, 블록들 또는 단계들은 생략되거나 방법(400)에 추가될 수 있다.
방법(400)의 일부 또는 모든 블록은 도 1a 및 도 1b를 참조하여 도시되고 기술된 바와 같이 시스템(100) 및/또는 시스템(160)의 엘리먼트들을 포함할 수 있다. 또한, 방법(400)의 다양한 블록들은 도 3의 흐름도(300)를 참조하여 도시되고 기술된 동작들과 유사하거나 동일할 수 있다.
블록(402)은 컴퓨팅 시스템에 의해 버스트 이미지 데이터를 수신하는 것을 포함한다. 컴퓨팅 시스템은 도 1a와 관련하여 도시되고 기술된 컨트롤러(150)와 유사하거나 동일할 수 있다. 버스트 이미지 데이터는 제1 이미지 캡처 시스템에 의해 생성된 제1 이미지 데이터와 제2 이미지 캡처 시스템에 의해 생성된 제2 이미지 데이터를 포함한다. 제1 및 제2 이미지 캡처 시스템들의 각각의 광축은 베이스라인 거리에 의해 분리되고 실질적으로 동일한 방향으로 배향될 수 있다. 제1 이미지 데이터 및 제2 이미지 데이터는 적어도 하나의 이미지 쌍을 포함한다.
블록(404)은 컴퓨팅 시스템에 의해 적어도 하나의 호모그래피 교정 함수를 결정하는 것을 포함한다. 적어도 하나의 호모그래피 교정 함수는 복수의 이미지 쌍들의 각각의 이미지 쌍들을 정렬하도록 구성된다. 예시적 실시예에서, 적어도 하나의 호모그래피 교정 함수는 지오메트릭 픽셀 보정 함수 및 포토메트릭 픽셀 보정 함수를 포함한다.
블록(406)은 적어도 하나의 호모그래피 교정 함수에 따라 제1 이미지 데이터 또는 제2 이미지 데이터 중 적어도 하나를 조정하는 것을 포함한다.
블록(408)은 컴퓨팅 시스템에 의해 적어도 베이스라인 거리에 기초하여 버스트 이미지 데이터의 스테레오 불일치를 결정하는 것을 포함한다. 예시적 실시예에서, 버스트 이미지 데이터의 스테레오 불일치를 결정하는 것은 제1 이미지 데이터, 제2 이미지 데이터 및 베이스라인 거리에 기초하여 시차 함수를 추정하는 것을 포함한다.
블록(410)은 워핑된 이미지 스택을 제공하기 위해 결정된 스테레오 불일치에 따라 제1 이미지 데이터 또는 제2 이미지 데이터 중 적어도 하나를 조정하는 것을 포함한다. 예시적 실시예에서, 상기 결정된 스테레오 불일치에 따라 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 적어도 하나를 조정하는 것은 상기 추정된 시차 함수의 역을 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 적어도 하나에 적용하는 것을 포함한다.
블록(412)은 버스트 디노이징 알고리즘에 따라 적어도 하나의 출력 이미지를 생성하는 것을 포함한다. 버스트 디노이징 알고리즘은 워핑된 이미지 스택의 가중 평균을 결정하는 것을 포함한다. 예를 들어, 일부 실시 예에서, 가중 평균은 워핑된 이미지 스택의 대응 픽셀들의 픽셀 당 평균을 포함한다.
선택적으로, 상기 방법은 적어도 하나의 HDR 출력 이미지를 제공하기 위해 상기 적어도 하나의 출력 이미지에 HDR 함수를 적용하는 것을 포함할 수 있다.
일부 실시예들에서, 제1 이미지 캡처 시스템 및 제2 이미지 캡처 시스템은 예를 들어 상이한 이미지 센서, 광학적 경로, 광학 전달 함수(OTF), 및/또는 시야를 가지는 이미지 캡처 시스템들에 기초하여 각각의 상이한 이미지들을 제공할 수 있다. 그러한 경우에, 본 명세서에 기술된 방법들 및 프로세스들이 여전히 적용될 수 있다. 예를 들어, 이미지 정렬, 워핑 및 디노이징 프로세스는 각각의 이미지 캡처 시스템들으로부터의 이미지들 사이의 상대적 차이(들)에 대한 보상에 따라 버스트 이미지 데이터에 적용될 수 있다.
예시로서, 제1 이미지 캡처 시스템은 컬러 필터 어레이에 광학적으로 결합된 이미지 센서를 포함할 수 있고, 제2 이미지 캡처 시스템은 컬러 필터 어레이가 없는 이미지 센서를 포함할 수 있다. 선택적인 이미지 보상 블록 또는 단계는, 예를 들어 컬러 필터 어레이의 파장 종속적 광학 전달 함수에 기초하여 하나 또는 두 개의 이미지 캡처 시스템들로부터의 이미지 프레임들의 적어도 몇몇 픽셀들의 밝기 레벨을 조정하는 것을 포함할 수 있다.
다른 시나리오에서, 제1 이미지 캡처 시스템은 저역 통과 필터에 광학적으로 결합된 이미지 센서를 포함할 수 있고, 제2 이미지 캡처 시스템은 저역 통과 필터가 없는 이미지 센서를 포함할 수 있다. 이러한 예에서, 선택적 이미지 보상 블록 또는 단계는 저역 통과 필터의 파장 종속적 광학 전달 함수에 기초하여 이미지 프레임의 밝기 레벨 또는 이미지 정보의 다른 양태를 조정하는 것을 포함할 수 있다.
또한, 다른 실시예에서, 제1 이미지 캡처 시스템은 예를 들어 제1 초점 거리를 갖는 광학체들에 광학적으로 결합된 이미지 센서를 포함할 수 있고, 제2 이미지 캡처 시스템은 제1 초점 거리와 상이한 제2 초점 거리를 갖는 광학체들에 광학적으로 결합된 이미지 센서를 포함할 수 있다. 상기 시나리오에서, 선택적인 이미지 보상 블록 또는 단계는 각각의 이미지 캡처 디바이스들 내의 광학체들의 차이에 기초하여 이미지 데이터의 하나 또는 두 세트를 조정하는 것을 포함할 수 있다. 비 제한적인 예시로서, 이미지 데이터는 서로 다른 시야, 비네팅, 왜곡(예를 들어, 배럴, 핀 쿠션 또는 콧수염 왜곡) 및 두 개의 상이한 광학체들 세트 간의 색수차를 보상하는 것에 기초하여 조정될 수 있다. 예를 들어 배럴 왜곡의 차이는 Brown-Conrady 왜곡 보정 알고리즘을 사용하여 보상될 수 있다. 상기 기술된 상이한 광학 시나리오들을 보상하기 위해 다양한 다른 이미지 보정 알고리즘이 구현될 수 있음을 이해해야 한다. 이러한 모든 다른 이미지 보정 알고리즘은 본 개시의 범위 내에서 고려된다.
도면들에 도시된 특정 배치들은 제한으로 간주되어서는 아니된다. 다른 실시예들은 주어진 도면에 도시된 각 엘리먼트를 더 또는 적게 포함할 수 있음을 이해해야 한다. 또한, 도시된 엘리먼트 중 일부는 결합되거나 생략될 수 있다. 또한, 예시적 실시예는 도면들에 도시되지 않은 엘리먼트들을 포함할 수 있다.
정보의 프로세싱을 표현하는 단계 또는 블록은 본 명세서에 기술된 방법 또는 기법의 특정 논리적 기능들을 수행하도록 구성될 수 있는 회로에 대응할 수 있다. 대안적으로 또는 추가적으로, 정보 프로세싱을 표현하는 단계 또는 블록은 (관련 데이터를 포함하는) 프로그램 코드의 모듈, 세그먼트 또는 일부에 대응할 수 있다. 프로그램 코드는 방법 또는 기법에서 특정 논리 기능들 또는 동작들을 구현하기 위해 프로세서에 의해 실행가능한 하나 이상의 명령어들을 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 디스크, 하드 드라이브 또는 다른 저장 매체를 포함하는 저장 디바이스와 같은 임의의 유형의 컴퓨터 판독가능 매체에 저장될 수 있다.
컴퓨터 판독가능 매체는 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(RAM)와 같이 단기간 동안 데이터를 저장하는 컴퓨터 판독가능 매체와 같은 비일시적 컴퓨터 판독가능 매체를 또한 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 보다 긴 시간 동안 프로그램 코드 및/또는 데이터를 저장하는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 따라서, 컴퓨터 판독가능 매체는 예를 들어, 읽기 전용 메모리(ROM), 광학 또는 자기 디스크, CD-ROM과 같은 2차적 또는 영구 장기 저장장치를 포함할 수 있다. 컴퓨터 판독가능 매체는 또한 임의의 다른 휘발성 또는 비휘발성 저장 시스템들일 수 있다. 컴퓨터 판독가능 매체는 예를 들어 컴퓨터 판독가능 저장 매체 또는 유형적 저장 디바이스로 고려될 수 있다.
다양한 예시들 및 실시예들이 개시되었지만, 다른 예시들 및 실시예들도 통상의 기술자에게 자명할 것이다. 다양한 개시된 예시들 및 실시예들은 다음의 청구범위에 의해 지시되는 진정한 범위 및 사상과 함께 설명의 목적을 위한 것이며 제한하려고 의도되지 않았다.

Claims (20)

  1. 시스템으로서,
    복수의 이미지 캡처 시스템들, 상기 복수의 이미지 캡처 시스템들은 적어도 제1 이미지 캡처 시스템 및 제2 이미지 캡처 시스템을 포함하며, 상기 제1 및 제2 이미지 캡처 시스템들의 각각의 광학 축들은 베이스라인 거리에 의해 분리되며, 상기 제1 및 제2 이미지 캡처 시스템들은 버스트(burst) 이미지 데이터를 캡처하도록 집합적으로 동작가능하며; 그리고
    메모리 및 프로세서를 포함하는 컨트롤러를 포함하며, 상기 메모리는 명령어들을 포함하도록 구성되며, 상기 프로세서는 동작들을 수행하기 위해 상기 명령어들을 실행하도록 구성되며, 상기 동작들은:
    상기 복수의 이미지 캡처 시스템들로부터 버스트 이미지 데이터를 수신하는 동작;
    워핑된 이미지 스택(warped image stack)을 제공하기 위해 상기 수신된 버스트 이미지 데이터를 조정하는 동작; 및
    버스트 디노이징 알고리즘(burst denoising algorithm)에 따라 적어도 하나의 출력 이미지를 생성하는 동작을 포함하며, 상기 버스트 디노이징 알고리즘은 상기 워핑된 이미지 스택의 가중 평균(weighted average)을 결정하는 것을 포함하는 것을 특징으로 하는 시스템.
  2. 청구항 1에 있어서,
    상기 버스트 이미지 데이터는 적어도 하나의 이미지 쌍을 포함하며, 상기 적어도 하나의 이미지 쌍은 제1 이미지 및 제2 이미지를 포함하는 것을 특징으로 하는 시스템.
  3. 청구항 2에 있어서,
    상기 적어도 하나의 이미지 쌍의 상기 제1 이미지는 상기 제1 이미지 캡처 시스템에 의해 캡처되며, 상기 적어도 하나의 이미지 쌍의 상기 제2 이미지는 상기 제2 이미지 캡처 시스템에 의해 캡처되는 것을 특징으로 하는 시스템.
  4. 청구항 3에 있어서,
    상기 적어도 하나의 이미지 쌍의 상기 제1 이미지는 제1 노출 지속기간 동안 상기 제1 이미지 캡처 시스템에 의해 캡처되며, 상기 적어도 하나의 이미지 쌍의 상기 제2 이미지는 제2 노출 지속기간 동안 상기 제2 이미지 캡처 시스템에 의해 캡처되며, 그리고 상기 제1 노출 지속기간은 상기 제2 노출 지속기간과 상이한 것을 특징으로 하는 시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    상기 워핑된 이미지 스택을 제공하기 위해 상기 수신된 버스트 이미지 데이터를 조정하는 동작은:
    상기 버스트 이미지 데이터의 둘 이상의 상이한 이미지들에서 캡처된 오브젝트의 상이한 상대적 위치들에 적어도 기초하여, 상기 수신된 버스트 이미지 데이터의 스테레오 불일치를 결정하는 것; 그리고
    상기 결정된 스테레오 불일치에 따라 상기 수신된 버스트 이미지 데이터를 조정하는 것을 포함하는 것을 특징으로 하는 시스템.
  9. 청구항 1에 있어서,
    적어도 하나의 호모그래피 함수(homography function)를 결정하는 동작, 상기 적어도 하나의 호모그래피 함수는 상기 버스트 이미지 데이터의 둘 이상의 이미지들의 대응하는 이미지 부분들을 정렬하도록 구성되며; 및
    상기 적어도 하나의 호모그래피 함수에 따라 상기 버스트 이미지 데이터의 상기 둘 이상의 이미지들 중 적어도 하나를 조정하는 동작을 더 포함하는 것을 특징으로 하는 시스템.
  10. 청구항 1에 있어서,
    상기 버스트 이미지 데이터는 기준 총 노출(reference total exposure)을 가지는 기준 이미지(reference image) 및 적어도 하나의 비-기준 이미(non-reference image)를 포함하며, 그리고 상기 워핑된 이미지 스택을 제공하기 위해 상기 수신된 버스트 이미지 데이터를 조정하는 동작은:
    상기 적어도 하나의 비-기준 이미지를 상기 기준 이미지와 비교하는 것; 그리고
    상기 비교에 기초하여, 각 비-기준 이미지가 상기 기준 총 노출과 유사한 총 노출을 가지도록, 게인(gain)을 각 비-기준 이미지에 적용하는 동작을 포함하는 것을 특징으로 하는 시스템.
  11. 청구항 1에 있어서,
    상기 제1 이미지 캡처 시스템은 제1 광학체들에 광학적으로 결합된 제1 이미지 센서를 포함하며, 상기 제1 이미지 센서 및 상기 제1 광학체들은 제1 초점 거리와 연관되며, 상기 제2 이미지 캡처 시스템은 제2 광학체들에 광학적으로 결합된 제2 이미지 센서를 포함하며, 상기 제2 이미지 센서 및 상기 제2 광학체들은 제2 초점 거리와 연관되며, 그리고 상기 제1 초점 거리는 상기 제2 초점 거리와 상이한 것을 특징으로 하는 시스템.
  12. 청구항 11에 있어서,
    상기 제1 초점 거리는 35mm이고, 상기 제2 초점 거리는 105mm인 것을 특징으로 하는 시스템.
  13. 시스템으로서,
    복수의 이미지 캡처 시스템들, 상기 복수의 이미지 캡처 시스템들은:
    제1 이미지 데이터를 캡처하도록 동작가능한 제1 이미지 캡처 시스템, 상기 제1 이미지 캡처 시스템은 제1 광학체들에 광학적으로 결합된 제1 이미지 센서를 포함하며, 상기 제1 이미지 센서 및 상기 제1 광학체들은 제1 초점 거리와 연관되며; 및
    제2 이미지 데이터를 캡처하도록 동작가능한 제2 이미지 캡처 시스템, 상기 제2 이미지 캡처 시스템은 제2 광학체들에 광학적으로 결합된 제2 이미지 센서를 포함하며, 상기 제2 이미지 센서 및 상기 제2 광학체들은 제2 초점 거리와 연관되며;
    상기 제1 초점 거리는 상기 제2 초점 거리와 상이하며, 상기 제1 이미지 캡처 시스템과 상기 제2 이미지 캡처 시스템의 각각의 광학 축들은 베이스라인 거리에 의해 분리되며, 상기 제1 이미지 데이터와 상기 제2 이미지 데이터는 적어도 하나의 이미지 쌍을 포함하는 버스트 이미지 데이터를 포함하며, 그리고 상기 적어도 하나의 이미지 쌍은 오브젝트를 포함하는 장면과 연관된 이미지 정보를 포함하며; 및
    메모리 및 프로세서를 포함하는 컨트롤러를 포함하며, 상기 메모리는 명령어들을 포함하도록 구성되며, 상기 프로세서는 동작들을 수행하기 위해 상기 명령어들을 실행하도록 구성되며, 상기 동작들은:
    상기 복수의 이미지 캡처 시스템들로부터 버스트 이미지 데이터를 수신하는 동작, 상기 버스트 이미지 데이터는 오브젝트 부분과 나머지 부분을 포함하며;
    상기 베이스라인 거리에 기초하여, 상기 수신된 버스트 이미지 데이터와 연관된 깊이 맵(depth map)을 결정하는 동작; 및
    상기 결정된 깊이 맵에 적어도 부분적으로 기초하여 적어도 하나의 출력 이미지를 생성하는 동작을 포함하며, 상기 적어도 하나의 출력 이미지를 생성하는 동작은 상기 버스트 이미지 데이터의 상기 오브젝트 부분을 상기 버스트 이미지 데이터의 상기 나머지 부분과 상이하게 프로세싱하는 것을 포함하는 것을 특징으로 하는 시스템.
  14. 청구항 13에 있어서,
    상기 버스트 이미지 데이터의 상기 오브젝트 부분을 상기 버스트 이미지 데이터의 상기 나머지 부분과 상이하게 프로세싱하는 것은, HDR(high dynamic range) 함수를 상기 버스트 이미지 데이터에 적용하는 것을 포함하는 것을 특징으로 하는 시스템.
  15. 청구항 13에 있어서,
    상기 버스트 이미지 데이터의 상기 오브젝트 부분을 상기 버스트 이미지 데이터의 상기 나머지 부분과 상이하게 프로세싱하는 것은, 제1 노출 시간 동안 노출된 제1 이미지로부터의 이미지 데이터와 제2 노출 시간 동안 노출된 제2 이미지로부터의 이미지 데이터를 결합하는 것을 포함하며, 상기 제1 노출 시간은 상기 제2 노출 시간과 상이하며, 상기 제1 이미지로부터의 이미지 데이터는 상기 버스트 이미지 데이터의 상기 오브젝트 부분에 대응하며, 상기 제2 이미지로부터의 이미지 데이터는 상기 버스트 이미지 데이터의 상기 나머지 부분에 대응하는 것을 특징으로 하는 시스템.
  16. 청구항 13에 있어서,
    상기 버스트 이미지 데이터의 상기 오브젝트 부분을 상기 버스트 이미지 데이터의 상기 나머지 부분과 상이하게 프로세싱하는 것은, 상기 버스트 이미지 데이터의 상기 오브젝트 부분을 하나 이상의 이미지 타일들과 연관시키는 것 및 상기 버스트 이미지 데이터의 상기 나머지 부분을 하나 이상의 상이한 이미지 타일들과 연관시키는 것을 포함하는 것을 특징으로 하는 시스템.
  17. 청구항 13에 있어서,
    상기 버스트 이미지 데이터의 상기 오브젝트 부분은 오브젝트 거리와 연관되며, 상기 버스트 이미지 데이터의 상기 오브젝트 부분을 상기 버스트 이미지 데이터의 상기 나머지 부분과 상이하게 프로세싱하는 것은, 상기 오브젝트 거리에 기초하여 상기 버스트 이미지 데이터의 상기 오브젝트 부분을 프로세싱하는 것을 포함하는 것을 특징으로 하는 시스템.
  18. 시스템으로서,
    복수의 이미지 캡처 시스템들, 상기 복수의 이미지 캡처 시스템들은:
    제1 이미지 데이터를 캡처하도록 동작가능한 제1 이미지 캡처 시스템, 상기 제1 이미지 캡처 시스템은 제1 광학체들에 광학적으로 결합된 제1 이미지 센서를 포함하며, 상기 제1 이미지 센서 및 상기 제1 광학체들은 제1 초점 거리와 연관되며; 및
    제2 이미지 데이터를 캡처하도록 동작가능한 제2 이미지 캡처 시스템, 상기 제2 이미지 캡처 시스템은 제2 광학체들에 광학적으로 결합된 제2 이미지 센서를 포함하며, 상기 제2 이미지 센서 및 상기 제2 광학체들은 제2 초점 거리와 연관되며;
    상기 제1 초점 거리는 상기 제2 초점 거리와 상이하며, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터는 적어도 하나의 이미지 쌍을 가지는 버스트 이미지 데이터를 포함하며; 및
    메모리 및 프로세서를 포함하는 컨트롤러를 포함하며, 상기 메모리는 명령어들을 포함하도록 구성되며, 상기 프로세서는 동작들을 수행하기 위해 상기 명령어들을 실행하도록 구성되며, 상기 동작들은:
    원하는 이미지 특성을 수신하는 동작, 상기 원하는 이미지 특성은 원하는 시야 또는 원하는 줌 레벨 중 적어도 하나를 포함하며;
    상기 복수의 이미지 캡처 시스템들로부터 버스트 이미지 데이터를 수신하는 동작;
    상기 원하는 이미지 특성에 기초하여 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 적어도 하나를 조정하는 동작;
    상기 조정된 제1 이미지 데이터 또는 상기 조정된 제2 이미지 데이터에 기초하여 적어도 하나의 출력 이미지를 생성하는 동작을 포함하는 것을 특징으로 하는 시스템.
  19. 청구항 18에 있어서,
    상기 제1 초점 거리는 상기 제2 초점 거리와 상이하여, 상기 제1 이미지 캡처 시스템이 상기 제2 이미지 캡처 시스템과 상이한 줌 레벨을 제공하도록 하는 것을 특징으로 하는 시스템.
  20. 청구항 18에 있어서,
    상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 적어도 하나를 조정하는 동작은, 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터로부터 이미지를 선택하는 것, 그리고 상기 선택된 이미지가 캡처된 이미지 캡처 시스템과 연관된 시야에 기초하여 상기 선택된 이미지를 수정하는 것을 포함하는 것을 특징으로 하는 시스템.
KR1020197017009A 2015-12-07 2016-11-30 멀티스코픽 노이즈 감소 및 hdr을 위한 시스템 및 방법 KR102142641B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/961,102 US9762893B2 (en) 2015-12-07 2015-12-07 Systems and methods for multiscopic noise reduction and high-dynamic range
US14/961,102 2015-12-07
PCT/US2016/064290 WO2017100061A1 (en) 2015-12-07 2016-11-30 Systems and methods for multiscopic noise reduction and high-dynamic range

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187007208A Division KR101991474B1 (ko) 2015-12-07 2016-11-30 멀티스코픽 노이즈 감소 및 hdr을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190071011A KR20190071011A (ko) 2019-06-21
KR102142641B1 true KR102142641B1 (ko) 2020-08-07

Family

ID=58800470

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187007208A KR101991474B1 (ko) 2015-12-07 2016-11-30 멀티스코픽 노이즈 감소 및 hdr을 위한 시스템 및 방법
KR1020197017009A KR102142641B1 (ko) 2015-12-07 2016-11-30 멀티스코픽 노이즈 감소 및 hdr을 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187007208A KR101991474B1 (ko) 2015-12-07 2016-11-30 멀티스코픽 노이즈 감소 및 hdr을 위한 시스템 및 방법

Country Status (6)

Country Link
US (4) US9762893B2 (ko)
EP (1) EP3335420A4 (ko)
JP (2) JP6818015B2 (ko)
KR (2) KR101991474B1 (ko)
CN (2) CN107925751B (ko)
WO (1) WO2017100061A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
WO2018048838A1 (en) * 2016-09-06 2018-03-15 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
US10499042B2 (en) * 2017-04-01 2019-12-03 Intel Corporation Barreling and compositing of images
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
CN107730464B (zh) * 2017-10-09 2021-03-30 四川大学 基于块匹配的图像降噪并行算法
US11074752B2 (en) * 2018-02-23 2021-07-27 Sony Group Corporation Methods, devices and computer program products for gradient based depth reconstructions with robust statistics
US11128854B2 (en) * 2018-03-13 2021-09-21 Magic Leap, Inc. Image-enhanced depth sensing via depth sensor control
CN108717690B (zh) * 2018-05-21 2022-03-04 电子科技大学 一种高动态范围图片的合成方法
US11216923B2 (en) 2018-05-23 2022-01-04 Samsung Electronics Co., Ltd. Apparatus and method for successive multi-frame image denoising
CN108924434B (zh) * 2018-06-29 2020-08-18 宁波大学 一种基于曝光变换的立体高动态范围图像合成方法
US10902556B2 (en) 2018-07-16 2021-01-26 Nvidia Corporation Compensating for disparity variation when viewing captured multi video image streams
KR102525000B1 (ko) 2018-08-08 2023-04-24 삼성전자 주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
WO2020065995A1 (ja) * 2018-09-28 2020-04-02 株式会社Pfu 画像処理装置、制御方法及び制御プログラム
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
GB2588616B (en) * 2019-10-29 2021-10-27 Visidon Oy Image processing method and apparatus
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
CN112288646A (zh) * 2020-01-07 2021-01-29 影石创新科技股份有限公司 堆叠降噪方法、装置、电子设备及存储介质
WO2021234515A1 (en) * 2020-05-17 2021-11-25 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
KR20220013183A (ko) 2020-07-24 2022-02-04 삼성전자주식회사 영상 복원 장치 및 방법
US20230013884A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope with synthetic aperture multispectral camera array

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000035330A (ja) 1998-07-17 2000-02-02 Victor Co Of Japan Ltd ３次元画像処理装置
JP2010147812A (ja) 2008-12-18 2010-07-01 Fujifilm Corp 複眼カメラ及び画像処理方法
US20120038797A1 (en) 2010-08-16 2012-02-16 Industry-University Cooperation Foundation Sogang University Image processing method and image processing apparatus
US20120147139A1 (en) 2010-03-19 2012-06-14 Bo Li Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
JP2013090129A (ja) 2011-10-18 2013-05-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101991474B1 (ko) * 2015-12-07 2019-06-20 구글 엘엘씨 멀티스코픽 노이즈 감소 및 hdr을 위한 시스템 및 방법

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3769850B2 (ja) * 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
JP3733359B2 (ja) * 1996-04-05 2006-01-11 松下電器産業株式会社 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置
JP2000102040A (ja) * 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004120527A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd ２眼式デジタルカメラ
JP4017579B2 (ja) * 2003-09-19 2007-12-05 株式会社ソニー・コンピュータエンタテインメント 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
JP2006093860A (ja) * 2004-09-21 2006-04-06 Olympus Corp ２眼撮像系を搭載したカメラ
US7587099B2 (en) 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
JP4665781B2 (ja) * 2006-02-02 2011-04-06 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP4748398B2 (ja) * 2007-06-15 2011-08-17 富士フイルム株式会社 撮像装置、撮像方法及びプログラム
JP4828506B2 (ja) * 2007-11-05 2011-11-30 日本電信電話株式会社 仮想視点画像生成装置、プログラムおよび記録媒体
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2009284188A (ja) * 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
JP5444651B2 (ja) * 2008-07-16 2014-03-19 カシオ計算機株式会社 カメラ装置、その撮影方法と撮影制御プログラム
US8090251B2 (en) * 2009-10-13 2012-01-03 James Cameron Frame linked 2D/3D camera system
CN110708466B (zh) 2010-02-19 2022-02-18 株式会社尼康 电子设备及电子设备的摄像方法
US8588551B2 (en) * 2010-03-01 2013-11-19 Microsoft Corp. Multi-image sharpening and denoising using lucky imaging
CN102812712B (zh) * 2010-03-24 2015-04-08 富士胶片株式会社 图像处理设备和图像处理方法
JP2012216939A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 画像処理装置、画像処理方法及びプログラム
JP5863280B2 (ja) * 2011-05-24 2016-02-16 キヤノン株式会社 撮像装置、画像処理方法及びプログラム
JP5917054B2 (ja) * 2011-09-12 2016-05-11 キヤノン株式会社 撮像装置、画像データ処理方法、およびプログラム
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
JP6031670B2 (ja) 2011-12-09 2016-11-24 パナソニックＩｐマネジメント株式会社 撮像装置
JP2013162272A (ja) 2012-02-03 2013-08-19 Olympus Imaging Corp 撮像装置
JP5992184B2 (ja) * 2012-03-09 2016-09-14 株式会社トプコン 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
US20140009462A1 (en) * 2012-04-17 2014-01-09 3Dmedia Corporation Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
US9526069B2 (en) 2012-04-20 2016-12-20 Qualcomm Incorporated Early initiation of dormancy of a radio connection
EP2845167A4 (en) * 2012-05-01 2016-01-13 Pelican Imaging Corp MODULES OF SHOOTING DEVICES CONSISTING OF PI FILTER GROUPS
JP2014022806A (ja) * 2012-07-13 2014-02-03 Sharp Corp 撮像装置および撮像装置制御方法
EP3869797B1 (en) * 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US9633442B2 (en) * 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
JP5887303B2 (ja) * 2013-06-19 2016-03-16 株式会社 日立産業制御ソリューションズ 画像信号処理装置，撮像装置および画像処理プログラム
US9615012B2 (en) * 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
EP2887642A3 (en) * 2013-12-23 2015-07-01 Nokia Corporation Method, apparatus and computer program product for image refocusing for light-field images
JP5974250B2 (ja) * 2014-02-07 2016-08-23 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN105556935B (zh) 2014-05-15 2019-04-19 华为技术有限公司 用于多帧降噪的方法和终端
JP2015144475A (ja) 2015-03-11 2015-08-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
US10284835B2 (en) 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks
US10237473B2 (en) 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000035330A (ja) 1998-07-17 2000-02-02 Victor Co Of Japan Ltd ３次元画像処理装置
JP2010147812A (ja) 2008-12-18 2010-07-01 Fujifilm Corp 複眼カメラ及び画像処理方法
US20120147139A1 (en) 2010-03-19 2012-06-14 Bo Li Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
US20120038797A1 (en) 2010-08-16 2012-02-16 Industry-University Cooperation Foundation Sogang University Image processing method and image processing apparatus
JP2013090129A (ja) 2011-10-18 2013-05-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101991474B1 (ko) * 2015-12-07 2019-06-20 구글 엘엘씨 멀티스코픽 노이즈 감소 및 hdr을 위한 시스템 및 방법

Also Published As

Publication number Publication date
US10897609B2 (en) 2021-01-19
CN107925751B (zh) 2019-06-04
US20190124319A1 (en) 2019-04-25
US20170347088A1 (en) 2017-11-30
JP6818015B2 (ja) 2021-01-20
CN107925751A (zh) 2018-04-17
KR20180030727A (ko) 2018-03-23
JP2019165506A (ja) 2019-09-26
KR101991474B1 (ko) 2019-06-20
US9762893B2 (en) 2017-09-12
US10187628B2 (en) 2019-01-22
US10477185B2 (en) 2019-11-12
US20170163966A1 (en) 2017-06-08
CN110225330A (zh) 2019-09-10
US20200084429A1 (en) 2020-03-12
WO2017100061A1 (en) 2017-06-15
KR20190071011A (ko) 2019-06-21
JP7186672B2 (ja) 2022-12-09
EP3335420A4 (en) 2019-07-03
JP2019500762A (ja) 2019-01-10
EP3335420A1 (en) 2018-06-20

Similar Documents

Publication Publication Date Title
KR102142641B1 (ko) 멀티스코픽 노이즈 감소 및 hdr을 위한 시스템 및 방법
US10547772B2 (en) Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
CN111164647B (zh) 使用单个相机估算深度
US9918065B2 (en) Depth-assisted focus in multi-camera systems
EP3053332B1 (en) Using a second camera to adjust settings of first camera
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
US9100640B2 (en) Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information
US20140267243A1 (en) Systems and Methods for Synthesizing Images from Image Data Captured by an Array Camera Using Restricted Depth of Field Depth Maps in which Depth Estimation Precision Varies
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
US9743015B2 (en) Image capturing apparatus and method of controlling the same
CN116324882A (zh) 多相机系统中的图像信号处理
US9860456B1 (en) Bayer-clear image fusion for dual camera
CN111866369B (zh) 图像处理方法及装置
WO2018078222A1 (en) Multiple view colour reconstruction
WO2024076363A1 (en) Field of view correction techniques for shutterless camera systems

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant