KR101879161B1 - 결함있는 이미지 센서 요소들의 교정 - Google Patents

결함있는 이미지 센서 요소들의 교정 Download PDF

Info

Publication number
KR101879161B1
KR101879161B1 KR1020187007075A KR20187007075A KR101879161B1 KR 101879161 B1 KR101879161 B1 KR 101879161B1 KR 1020187007075 A KR1020187007075 A KR 1020187007075A KR 20187007075 A KR20187007075 A KR 20187007075A KR 101879161 B1 KR101879161 B1 KR 101879161B1
Authority
KR
South Korea
Prior art keywords
image
images
sensor
adjusting
pixels
Prior art date
Application number
KR1020187007075A
Other languages
English (en)
Other versions
KR20180030718A (ko
Inventor
마크 스튜어트 르보이
로만 류코우
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20180030718A publication Critical patent/KR20180030718A/ko
Application granted granted Critical
Publication of KR101879161B1 publication Critical patent/KR101879161B1/ko

Links

Images

Classifications

    • H04N5/3415—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H04N5/23212—
    • H04N5/23238—
    • H04N5/2352—
    • H04N5/2355—
    • H04N5/355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

본 개시내용은 광학 이미징 시스템들에서 결함 있는 센서 요소들로 인한 픽셀 노이즈를 감소시킬 수 있는 방법들 및 시스템들에 관한 것이다. 즉, 카메라는 광학 요소의 초점 거리 설정을 조정하는 동안 이미지 센서로 이미지들의 버스트를 캡처할 수 있다. 예를 들어, 이미지 버스트는 자동 초점 프로세스 동안 캡처될 수 있다. 복수의 이미지들은 단일의 집합 이미지 프레임을 제공하기 위해 평균화되거나 또는 다른 방식으로 병합될 수 있다. 그러한 집합 이미지 프레임은 흐릿하게 나타날 수 있다. 그러한 시나리오에서, "핫" 픽셀들, "데드" 픽셀들, 또는 다른 방식으로 결함 있는 픽셀들은 더 쉽게 인식 및/또는 정정될 수 있다. 예로서, 결함 있는 픽셀은 목표 이미지로부터 제거되거나 또는 다른 방식으로 결함 있는 픽셀의 값을 이웃 픽셀들의 평균값으로 대체시킴으로써 정정될 수 있다.

Description

결함있는 이미지 센서 요소들의 교정
관련 출원에 대한 상호 참조
본 출원은 2015년 12월 16일자로 출원된 미국 특허 출원 제14/972,075호에 대한 우선권을 주장하고, 이 미국 특허 출원은 이로써 그 전체가 참조로 포함된다.
광학 이미징 시스템들은 독립형 하드웨어 디바이스들로서 채용되거나 또는 다른 타입들의 디바이스들에 통합될 수 있다. 예를 들어, 스틸 및 비디오 카메라들은 무선 컴퓨팅 디바이스들(예를 들어, 스마트폰들 및 태블릿들), 랩톱 컴퓨터들, 비디오 게임 인터페이스들, 홈 오토메이션 디바이스들, 그리고 심지어 자동차들 및 다른 타입들의 차량들에 이제 정식으로 포함된다.
광학 이미징 시스템들은 수백만 개의 센서 요소, 또는 그 이상을 이용할 수 있는 이미지 센서들을 포함한다. 센서 요소들은 제조 불완전성들 또는 다른 요인들로 인해 오동작할 수 있다. 예를 들어, 일부 센서 요소들은 광학 이미징 시스템을 통해 이들에 부딪치는 광과는 독립적으로 영구적 또는 간헐적인 높은, 낮은, 또는 고정된 값들을 제공할 수 있다. 일부 센서 요소들은, 입사광에 비례하지만 노출 시간 동안 요소에의 과도한 레벨들의 광-독립적인 신호 축적에 의해 변질된 값들을 보고할 수 있다. 게다가, 센서 요소들은, 예를 들어, 먼지 입자에 의해 폐색될 수 있다. 그러한 센서 요소들의 출력은 광학 이미징 시스템에 의해 캡처된 이미지들 내의 대응하는 "데드(dead)", "스턱(stuck)", "핫(hot)", 또는 장애 픽셀들을 초래할 수 있다.
그러한 비정상적인 센서 요소들을 식별하여 그러한 이미지 저하 작용들의 영향을 감소 또는 제거할 수 있게 하도록 이미지 교정 프로세스들이 수행될 수 있다. 예를 들어, 카메라 교정 프로세스는 어두운 배경 이미지로부터 "핫" 픽셀들을 더 쉽게 식별하기 위해 광학 경로 위에 렌즈 캡으로 이미지를 캡처하는 것을 포함할 수 있다. 그러나, 그러한 교정 프로세스들은 공장 시험으로 제한될 수 있거나, 사용자의 상호작용을 요구할 수 있거나 및/또는 핫 픽셀들의 식별로만 제한될 수 있다.
본 명세서에 개시된 시스템들 및 방법들은 광범위한 센서 요소 문제점들을 보상하기 위해 적용될 수 있는 교정 기법에 관한 것이다.
일 양태에서, 방법이 제공된다. 방법은 이미지 센서를 통해 복수의 이미지들을 캡처하는 단계를 포함한다. 이미지 센서는 복수의 센서 요소들을 포함한다. 센서 요소들은 캡처된 복수의 이미지들 내의 각자의 픽셀들을 표현하도록 구성된다. 복수의 이미지들은 광학 요소의 적어도 하나의 특성에 대한 상이한 각자의 값들로 캡처된다. 광학 요소는 이미지 센서에 커플링된다. 방법은 복수의 이미지들을 집합 이미지(aggregate image)로 결합(combining)하는 단계 및, 집합 이미지에 기초하여, 복수의 센서 요소들 중 특정 센서 요소의 상태를 결정하는 단계를 더 포함한다. 방법은, 페이로드 이미지에서, 특정 센서 요소와 연관되는 특정 픽셀의 값을 조정하는 단계를 더욱더 포함한다. 임의로, 복수의 이미지들은 광학 요소에 의해 정의된 상이한 각자의 초점 거리 설정들로 캡처된다.
일 양태에서, 광학 이미징 시스템이 제공된다. 이 시스템은 캡처된 이미지들 내의 각자의 픽셀들을 표현하도록 구성되는 복수의 센서 요소들을 포함하는 이미지 센서를 포함한다. 이 시스템은 이미지 센서에 커플링되고 캡처된 이미지들의 초점 거리 설정을 정의하도록 구성되는 광학 요소를 더 포함한다. 이 시스템은 메모리 및 적어도 하나의 프로세서를 포함하는 제어기를 더 포함하고, 프로세서는 방법을 제공하는 상기 양태에 따른 방법을 수행하기 위해 메모리에 저장된 명령어들을 실행하도록 구성된다.
일 양태에서, 광학 이미징 시스템이 제공된다. 광학 이미지 시스템은 이미지 센서, 광학 요소, 및 제어기를 포함한다. 이미지 센서는 복수의 센서 요소들을 포함한다. 센서 요소들은 캡처된 이미지들 내의 각자의 픽셀들을 표현하도록 구성된다. 광학 요소는 이미지 센서에 커플링되고 캡처된 이미지들의 초점 거리 설정을 정의하도록 구성된다. 제어기는 메모리 및 적어도 하나의 프로세서를 포함한다. 프로세서는 동작들을 수행하기 위해 메모리에 저장된 명령어들을 실행하도록 구성된다. 동작들은 이미지 센서로 하여금 복수의 이미지들을 캡처하게 하는 것을 포함한다. 이미지들은 광학 요소에 의해 정의된 상이한 각자의 초점 거리 설정들로 캡처된다. 동작들은 복수의 이미지들을 집합 이미지로 결합하는 것 및, 집합 이미지에 기초하여, 복수의 센서 요소들 중 특정 센서 요소의 상태를 결정하는 것을 포함한다. 동작들은 이미지 센서로 하여금 페이로드 이미지를 캡처하게 하는 것을 또한 포함한다. 동작들은, 페이로드 이미지에서, 특정 센서 요소와 연관되는 특정 픽셀의 값을 조정하는 것을 더욱더 포함한다.
일 양태에서, 방법이 제공된다. 방법은 이미지 센서를 통해 복수의 이미지들을 캡처하는 단계를 포함한다. 이미지 센서는 복수의 센서 요소들을 포함한다. 센서 요소들은 캡처된 복수의 이미지들 내의 각자의 픽셀들을 표현하도록 구성된다. 방법은, 복수의 이미지들을 캡처하는 동안, 광학 요소의 적어도 하나의 특성을 조정하는 단계를 또한 포함한다. 광학 요소는 이미지 센서에 커플링된다. 방법은 복수의 이미지들을 집합 이미지로 결합하는 단계 및, 집합 이미지에 기초하여, 복수의 센서 요소들 중 특정 센서 요소의 상태를 결정하는 단계를 더 포함한다. 방법은, 페이로드 이미지에서, 특정 센서 요소와 연관되는 특정 픽셀의 값을 조정하는 단계를 더욱더 포함한다. 임의로, 복수의 이미지들은 광학 요소에 의해 정의된 상이한 각자의 초점 거리 설정들로 캡처된다.
각각의 양태는 다음의 임의적인 피처(feature)들을 포함할 수 있다. 광학 요소의 적어도 하나의 특성을 조정하는 것은, 광학 요소의 시야를 조정하는 것, 광학 요소의 줌 설정을 조정하는 것, 광학 요소의 애퍼처 설정을 조정하는 것, 또는 광학 요소의 포지션을 조정하는 것 중 적어도 하나를 포함할 수 있다. 동작들 및 방법은 이미지 센서의 시야를 미터링(metering)하는 것 및, 미터링하는 것에 기초하여, 복수의 이미지들을 캡처할 이미지 센서의 감도 및 셔터 속도를 선택하는 것을 더 포함할 수 있다. 동작들 및 방법은 결정된 상태를 센서 요소 상태 맵에 맵핑시키는 것을 더 포함할 수 있고, 특정 픽셀의 값을 조정하는 것은 센서 요소 상태 맵에 기초한다. 동작들 및 방법은 센서 요소 상태 맵을 시간과 연관시키는 것, 및 대응하는 복수의 상이한 시간들과 연관된 복수의 센서 요소 상태 맵들의 이력 레코드를 제공하는 것을 더 포함할 수 있고, 특정 픽셀의 값을 조정하는 것은 이력 레코드에 추가로 기초한다. 광학 요소의 적어도 하나의 특성을 조정하는 것은, 광학 요소로 하여금 자동 초점 프로세스를 수행하게 하는 것을 포함할 수 있고, 자동 초점 프로세스는 이미지 센서에 대해 광학 요소의 포지션을 조정하여 각각의 각자의 이미지에 대한 상이한 각자의 초점 거리 설정들을 제공하는 것을 포함한다. 복수의 이미지들을 집합 이미지로 결합하는 것은, 복수의 이미지들의 연관된 픽셀 값들을 평균화하는 것을 포함할 수 있다. 특정 센서 요소의 상태를 결정하는 것은, 각자의 픽셀의 값을 집합 이미지 내의 적어도 하나의 이웃 픽셀의 값과 비교하는 것; 및 비교에 기초하여, 각자의 픽셀과 적어도 하나의 이웃 픽셀 사이의 차이가 미리 결정된 임계치보다 높다는 것을 결정하는 것을 포함할 수 있다. 결정된 상태는 결함 없는 센서 요소, 핫 센서 요소, 어두운 센서 요소, 또는 폐색된 센서 요소 중 적어도 하나를 포함한다. 특정 픽셀의 값을 조정하는 것은, 특정 픽셀의 값을 적어도 하나의 이웃 픽셀의 대응하는 값으로 설정하는 것을 포함할 수 있다. 특정 픽셀의 값을 조정하는 것은, 특정 픽셀의 값을 복수의 이웃 픽셀들의 대응하는 평균값으로 설정하는 것을 포함할 수 있다.
일 양태에서, 시스템은 본 명세서에서 설명되는 다른 각자의 양태들의 동작들을 수행하기 위한 다양한 수단을 포함할 수 있다.
일 양태에서, 컴퓨터 판독가능 매체는, 실행될 때, 컴퓨터로 하여금 본 명세서에서 설명되는 다른 각자의 양태들의 동작들을 수행하게 하는 프로세서 실행가능 명령어들을 포함한다.
상기 양태들은 결함 있는 이미지 센서 요소들을 식별하고 이미지 캡처 시스템들에서 결함 있는 이미지 센서 요소들의 영향을 감소시키는 것과 연관된 문제점들을 해결하고자 한다.
이러한 그리고 다른 실시예들, 양태들, 이점들, 및 대안들은 적절한 경우 첨부 도면들을 참조하여 다음의 상세한 설명을 판독함으로써 본 기술분야의 통상의 기술자에게 명백해질 것이다. 추가로, 본 명세서에 제공된 이러한 개요 및 다른 설명들 및 도면들은 단지 예로서 실시예들을 예시하려고 의도된 것이고, 그에 따라, 수많은 변형들이 가능하다는 것을 이해해야 한다. 예를 들어, 구조적 요소들 및 프로세스 단계들은 청구된 바와 같은 실시예들의 범주 내에 있으면서, 재배열, 결합, 분배, 제거, 또는 다른 방식으로 변경될 수 있다.
도 1은 예시적인 실시예에 따른 광학 이미징 시스템을 예시한다.
도 2a는 예시적인 실시예들에 따른 디지털 카메라 디바이스의 전방 및 우측면 뷰들을 예시한다.
도 2b는 예시적인 실시예들에 따른 디지털 카메라 디바이스의 후방 뷰를 예시한다.
도 3a는 예시적인 실시예에 따른 이미지 캡처 시나리오를 예시한다.
도 3b는 예시적인 실시예에 따른 복수의 이미지들을 예시한다.
도 3c는 예시적인 실시예에 따른 집합 이미지를 예시한다.
도 3d는 예시적인 실시예에 따른 센서 요소 상태 맵을 예시한다.
도 3e는 예시적인 실시예에 따른 이미지 캡처 시나리오를 예시한다.
도 4는 예시적인 실시예에 따른 방법을 예시한다.
도 5a는 예시적인 실시예에 따른 디지털 카메라 디바이스에 의해 캡처된 이미지를 예시한다.
도 5b는 예시적인 실시예에 따른 디지털 카메라 디바이스에 의해 캡처된 이미지를 예시한다.
도 5c는 예시적인 실시예에 따른 디지털 카메라 디바이스에 의해 캡처된 이미지를 예시한다.
도 5d는 예시적인 실시예에 따른 디지털 카메라 디바이스에 의해 캡처된 장면의 집합 이미지를 예시한다.
도 5e는 예시적인 실시예에 따른 디지털 카메라 디바이스에 의해 캡처된 페이로드 이미지를 예시한다.
도 5f는 예시적인 실시예에 따른 정정된 페이로드 이미지를 예시한다.
Ⅰ. 개관
예시적인 방법들, 디바이스들, 및 시스템들이 본 명세서에서 설명된다. "예" 및 "예시적"이라는 단어들은 본 명세서에서 "예, 경우, 또는 예시로서 기능하는" 것을 의미하기 위해 사용된다는 것을 이해해야 한다. 본 명세서에서 "예" 또는 "예시적"인 것으로서 설명되는 임의의 실시예 또는 피처는 반드시 다른 실시예들 또는 피처들보다 선호되거나 또는 유리한 것으로 해석될 필요는 없다. 본 명세서에 제시된 요지의 범주로부터 벗어남이 없이, 다른 실시예들이 이용될 수 있고, 다른 변경들이 행해질 수 있다.
따라서, 본 명세서에서 설명되는 예시적인 실시예들은 제한하려는 것으로 의도된 것이 아니다. 일반적으로 본 명세서에서 설명되고 도면들에 예시되는 바와 같은, 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 결합, 분리, 및 설계될 수 있고, 그 모두가 본 명세서에서 고려된다.
추가로, 문맥에 달리 제시되어 있지 않는 한, 도면들 각각에 예시된 피처들은 서로 조합하여 사용될 수 있다. 따라서, 모든 예시된 피처들이 각각의 실시예에 필요하지 않다는 것을 이해하면서, 도면들은 하나 이상의 전체 실시예들의 컴포넌트 양태들로서 일반적으로 간주되어야 한다.
본 개시내용은 캡처된 이미지들 내의 결함들을 검출 및 정정하기 위한 방법들 및 시스템들에 관한 것이다. 그러한 결함들은 이미지 센서 요소들의 불완전성들로부터 발생할 수 있다. 예를 들어, "핫" 픽셀들은 이미지 센서들에 공통적인 구조적 및/또는 전기적 결함들의 부류이다. 핫 픽셀들은 이미지 센서들의 기본 재료들 내의 불순물들뿐만 아니라 제조 프로세스 동안 도입된 불완전성들에 의해 야기된다. 불순물들 및 불완전성들은 광검출기에서 증가된 암전류 누설을 초래할 수 있다. 핫 픽셀들은 조명되지 않을 때에도 비정상적인 레벨들의 광검출기 전류, 예를 들어, 높은 암전류를 갖는 센서 요소들로서 나타난다. 이러한 센서 요소들은 주변의 정상 픽셀들보다 더 밝게 보이는 캡처된 이미지 내의 픽셀들에 대응할 수 있다. 유사하게, 데드 픽셀들은, 조명될 때에도, 제로 또는 비정상적으로 낮은 광검출기 전류를 갖는 센서 요소들로서 나타난다. 그러한 센서 요소들은 주변의 정상 픽셀들보다 더 어둡게 보이는 캡처된 이미지 내의 픽셀들에 대응할 수 있다. 일부 경우들에서, 결함 있는 센서 요소들은 높은(백색), 낮은(흑색), 또는 중간(회색) 레벨로 영구적으로 또는 간헐적으로 고착될 수 있다.
결함 있는 센서 요소들은 캡처된 이미지 품질을 저하시킨다. 그러나, 그러한 결함들의 영향들은 전형적으로 결함 있는 센서 요소에 대응하는 픽셀의 값을 이웃 픽셀들의 추정된 또는 평균화된 값으로 대체시킴으로써 이미지 프로세싱 동안 정정될 수 있다. 그러한 정정들을 수행하기 위해, 이러한 결함 있는 픽셀들의 위치들이 확인될 필요가 있다.
이미지로부터 결함 있는 센서 요소들을 검출하는 하나의 방식은 (누설되는 센서 요소들의 축적된 전하를 최대화시키도록 하는) 긴 노출 시간들에서, (누설 전류를 증가시키고 축적된 전하를 다시 최대화시키도록 하는) 종종 상승된 디바이스 온도에서, (입사 조명으로부터의 광전류를 낮은 레벨들로 유지하여 어두운) 어두운 이미지를 캡처하는 것이다. 어두운 이미지를 캡처하는 것은 전형적으로 렌즈를 통해 들어오는 광을 차단하는 능력(예를 들어, 광학 셔터)을 요구한다. 그러나, 물리적인 셔터들은 일반적으로 공간 및 비용 제한들로 인해 모바일 디바이스 카메라들에서 이용가능하지 않다.
다른 가능한 접근법은 임의의 장면 피처들을 흐려지게 하고 비정상적인 픽셀들을 돋보이게 하도록 렌즈가 제거된(또는 확산 요소가 이미징 렌즈의 전방에 배치된) 상태에서 조명된 이미지를 캡처하는 것이다. 그러나, 이러한 방법은 일반적으로 제거될 수 없는 고정된 렌즈들을 갖는 모바일 디바이스들에서는 비실용적이다.
대안적으로, 핫 픽셀들은 제조 시험들 동안 식별될 수 있고, 주어진 이미지 센서에 대한 교정 데이터로서 저장될 수 있다. 그러나, 센서 요소 거동이 시간이 지남에 따라 변경되는 것으로 알려져 있으므로(예를 들어, 센서 요소들이 시간이 지남에 따라 고장날 수 있거나 또는 이들의 특성들을 간헐적으로 변경시킬 수 있으므로), 디바이스가 사용자에게 출하된 후에 핫 픽셀들의 필드 교정(field calibration)을 수행하는 것이 또한 바람직하다. 이와 같이, 종래의 모바일 디바이스 카메라들은 광학 경로 내의 광학 셔터의 결여로 인해 필드에서 그러한 재교정을 수행하기 위한 만족스러운 방법을 제공하지 못한다.
개시된 시스템들 및 방법들은 핫 픽셀들 및 다른 외관 결함들을 식별 및 보상하기 위한 대안적인 방식을 제공한다. 일련의 이미지들이 캡처될 수 있고, 이들의 각각의 이미지는 렌즈의 상이한 초점 거리 설정에서 캡처된다. 예를 들어, 이러한 이미지 "버스트(burst)"는 자동 초점(AF) 스윕 동안 편리하게 수행될 수 있다. 일부 실시예들에서, 이미지 버스트는 주어진 장면의 포화 및/또는 노출 부족(underexposure)을 방지하도록 선택된 이미지 캡처 설정들(예를 들어, 노출 시간, ISO, 이득 등)을 제공할 수 있는 자동 노출(AE) 프로세스 후에 발생할 수 있다.
일련의 이미지들은 집합 이미지를 제공하기 위해 평균화되거나 또는 다른 방식으로 결합될 수 있다. 상이한 초점 거리 설정에서의 시야 스케일링, 그리고 또한 이미지들 각각이 상이한 초점 설정에서 캡처된다는 것으로 인해, 집합 이미지는 흐릿하고 선명한 피처들이 없을 가능성이 있다. 그러한 시나리오에서, 렌즈 흐려짐을 겪지 않는 핫 픽셀들 및 다른 비정상적인 픽셀들은 흐릿한 집합 이미지에 대해 선명하게 정의된 상태로 유지될 것이다. 이와 같이, 에지 검출 알고리즘 또는 다른 타입의 콘트라스트 감응성 피처 인식 알고리즘은 추후의 정정을 위해 비정상적인 센서 요소들을 더 효과적으로 식별하고 맵핑시킬 수 있다. 개시된 시스템들 및 방법들은 AF 프로세스 동안 캡처된 이미지들의 세트를 효율적으로 사용함으로써 필드에서의 이미지 센서의 외관 결함들의 자동 재교정을 가능하게 한다. 재교정이 (통상적으로 AF 스윕 동안의 경우인 것처럼) 충분히 조명된 장면들에 대해 수행될 때, 핫 픽셀들 이외의 다른 타입들의 외관 결함들(예를 들어, 어두운 픽셀들, 먼지 입자들)이 또한 검출될 수 있다.
본 명세서에 개시된 프로세스가 명시적인 사용자 동작에 좌우될 필요는 없다. 예를 들어, 재교정 프로세스는 각각의 AF 스윕 동안 자동으로 또는 주기적으로(예를 들어, 10번째 AF 스윕마다 또는 카메라를 파워 온시킨 후에) 발생할 수 있다. 추가적으로 또는 대안적으로, 사용자는 커맨드에 따라(예를 들어, 메뉴, 소프트키, 및/또는 셔터 버튼을 통해) 이러한 재교정을 수행할 수 있다. 이러한 교정 방법은 버스트 캡처 및 버스트 프로세싱에 기초하는 계산 이미징 기법들을 활용할 수 있고, 모바일 디바이스 카메라들로부터의 이미지 품질의 개선들을 제공할 수 있다.
Ⅱ. 예시적인 광학 이미징 시스템들
도 1은 예시적인 실시예에 따른 광학 이미징 시스템(100)을 예시한다. 카메라로 또한 간주될 수 있는 광학 이미징 시스템(100)은 적어도 하나의 이미지 센서(110), 적어도 하나의 광학 요소(120), 사용자 인터페이스(130), 통신 인터페이스(140), 및 제어기(150)를 포함한다.
본 명세서에서 사용되는 바와 같이, "카메라"는, 사용 문맥에 따라, 개별 이미지 캡처 컴포넌트, 또는 하나 이상의 이미지 캡처 컴포넌트들을 포함하는 디바이스를 지칭할 수 있다.
이미지 센서(110)는 각각의 센서 요소 위치에서 수신된 광에 기초하여 이미지들을 캡처하기 위한 복수의 센서 요소들을 포함할 수 있다. 이와 같이, 센서 요소들은 캡처된 이미지들 내의 각자의 픽셀들을 표현하도록 구성될 수 있다. 본 명세서에서 설명된 바와 같이, 이미지 센서(110)는 전자 이미지 센서(예를 들어, 전하 결합 디바이스(charge coupled device)(CCD) 또는 상보형 금속 산화물 반도체(complementary metal-oxide-semiconductor)(CMOS) 센서)를 포함할 수 있다. 이와 같이, 이미지 센서(110)는 수백만 개의 개별 광센서 또는 센서 요소를 포함할 수 있다. 예시적인 실시예에서, 이미지 센서(110)는 3:2 종횡비로 배열될 수 있고, 3,872×2,592개의 센서 요소, 또는 대략 수천만 개의 센서 요소를 포함할 수 있다. 그러나, 상이한 종횡비들 및 더 많거나 또는 더 적은 센서 요소를 갖는 많은 다른 이미지 센서들이 고려된다. 그러한 이미지 센서는 데이터 스토리지 유닛(data storage unit)(예를 들어, 메모리(154))에 캡처된 이미지들을 전송 및/또는 저장하도록 동작가능할 수 있다.
광학 요소(들)(120)는 이미지 센서(110)에 광학적으로 커플링될 수 있는 하나 이상의 렌즈들을 포함할 수 있다. 하나 이상의 렌즈들은 이미지 센서(110)의 시야에서 초점 거리 설정을 정의하도록 구성될 수 있다. 다시 말해, 하나 이상의 렌즈들은 이미지 센서(110)에 의해 캡처된 이미지들의 초점 거리 설정을 정의하도록 조정가능할 수 있다.
추가적으로 또는 대안적으로, 광학 요소(들)(120)는 광이 입사하게 하는 하나 이상의 애퍼처들 및/또는 이미지의 적어도 일부를 이미지 센서(110) 상으로 초점을 맞추기 위해 각각의 애퍼처의 전방에 포지셔닝된 하나 이상의 렌즈들을 포함할 수 있다. 애퍼처들은 고정된 크기이거나 또는 조정가능할 수 있다.
추가적으로 또는 대안적으로, 광학 요소(들)(120)는 렌즈들 또는 이미지 센서(110)에 커플링되거나 또는 그 인근에 있을 수 있는 하나 이상의 셔터들을 포함할 수 있다. 각각의 셔터는 광이 이미지 센서에 도달하는 것을 차단하는 폐쇄된 포지션, 또는 광이 이미지 센서에 도달하도록 허용되는 개방 포지션에 있을 수 있다. 각각의 셔터의 포지션은 셔터 버튼에 의해 제어될 수 있다. 예를 들어, 셔터는 디폴트로 폐쇄된 포지션에 있을 수 있다. 셔터가 (예를 들어, 셔터 버튼을 가압함으로써) 트리거될 때, 셔터는 셔터 사이클로서 알려져 있는 기간 동안 폐쇄된 포지션으로부터 개방 포지션으로 변경될 수 있다. 셔터 사이클 동안, 이미지가 이미지 센서로부터 캡처될 수 있다. 셔터 사이클의 끝에서, 셔터는 폐쇄된 포지션으로 다시 변경될 수 있다.
대안적으로, 셔터링 프로세스는 전자적일 수 있다. 예를 들어, CCD 이미지 센서의 전자 셔터가 "개방"되기 전에, 센서는 그의 포토다이오드들에서 임의의 잔류 신호를 제거하도록 리셋될 수 있다. 전자 셔터가 "개방" 상태로 있는 동안, 포토다이오드들은 전하를 축적할 수 있다. 셔터가 "폐쇄"될 때 또는 그 후에, 축적된 전하들이 판독되어 결과들이 장기 데이터 스토리지로 전송될 수 있다. 기계적 및 전자적 셔터링의 조합들이 또한 가능할 수 있다.
타입에 관계없이, 셔터는 셔터 버튼 이외의 것에 의해 활성화 및/또는 제어될 수 있다. 예를 들어, 소프트키, 타이머, 또는 일부 다른 트리거에 의해 셔터가 활성화될 수 있다. 본 명세서에서, "이미지 캡처"라는 용어는, 셔터링 프로세스가 트리거 또는 제어되는 방법에 관계없이, 하나 이상의 이미지들이 레코딩되게 할 수 있는 임의의 기계적 및/또는 전자적 셔터링 프로세스를 지칭할 수 있다.
예시적인 실시예에서, 사용자 인터페이스(130)는 광학 이미징 시스템(100)이 사용자로부터 입력을 수신하게 하고 출력을 사용자에게 제공하게 하는 것과 같이 인간 또는 비인간 사용자와 상호작용하게 하도록 기능할 수 있다. 따라서, 사용자 인터페이스(130)는 키패드, 키보드, 터치 감응성 또는 존재 감응성 패널, 컴퓨터 마우스, 트랙볼, 조이스틱, 마이크로폰 등과 같은 입력 컴포넌트들을 포함할 수 있다. 사용자 인터페이스(130)는 다중 요소 터치스크린 디스플레이일 수 있는 디스플레이(132)와 같은 하나 이상의 출력 컴포넌트들을 또한 포함할 수 있다. 다른 타입들의 디스플레이들이 가능하고 본 명세서에서 고려된다. 디스플레이(132)는 음극선관(CRT), 발광 다이오드(LED), 액정(LCD), 플라즈마, 또는 임의의 다른 타입의 디스플레이 기술들, 또는 현재 알려져 있거나 또는 추후에 개발될 다른 기술들에 기초할 수 있다. 사용자 인터페이스(130)는 또한 스피커, 스피커 잭, 오디오 출력 포트, 오디오 출력 디바이스, 이어폰들, 바이브레이터들, 및/또는 다른 유사한 디바이스들을 통해 가청 및/또는 촉각 출력(들)을 생성하도록 구성될 수 있다.
일부 실시예들에서, 사용자 인터페이스(130)는 광학 이미징 시스템(100)에 의해 지원되는 스틸 카메라 및/또는 비디오 카메라 기능들을 위한 뷰파인더로서 기능하는 디스플레이를 포함할 수 있다. 추가적으로, 사용자 인터페이스(130)는 카메라 기능의 구성 및 초점조정 그리고 이미지들의 캡처(예를 들어, 사진 촬영)를 용이하게 하는 하나 이상의 버튼들, 스위치들, 노브들, 소프트키들, 및/또는 다이얼들을 포함할 수 있는 제어부들(134)을 포함할 수 있다. 이러한 버튼들, 스위치들, 노브들, 소프트키들, 및/또는 다이얼들의 일부 또는 전부가 터치스크린 인터페이스 또는 존재 감응성 패널에 의해 구현되는 것이 가능할 수 있다. 구체적으로는, 제어부들(144)은, 많은 다른 가능성들 중에서도, 초점, 시야, 줌, 셔터 속도, 애퍼처, 및/또는 ISO를 조정하도록 동작가능한 제어부들 및 셔터 버튼을 포함할 수 있다.
캡처된 이미지의 노출은 애퍼처의 크기, 애퍼처에 입사하는 광의 밝기, 및 셔터 사이클의 길이(셔터 속도 또는 노출 길이라고도 또한 지칭됨)의 조합에 의해 결정될 수 있다. 예시적인 실시예에서, 노출은 광학 이미징 시스템(100)의 사용자에 의해 제어될 수 있다. 추가적으로 또는 대안적으로, AE 프로세스는 장면 내의 조명 레벨들에 관한 정보를 제공할 수 있다. AE 프로세스의 결과들에 기초하여, 일부 또는 전부의 이미지 캡처 설정들(예를 들어, 애퍼처, 셔터 속도, 및/또는 ISO)이 자동으로 선택될 수 있다. 더욱더, 광학 이미징 시스템(100)은 하나 이상의 노출 모드들을 포함할 수 있다. 그러한 노출 모드들은 사용자가 하나 이상의 노출 파라미터들을 선택하게 하는 동안 AE 프로세스의 결과에 기초하여 노출 파라미터들의 주어진 세트의 자동 제어를 가능하게 할 수 있다. 예를 들어, 광학 이미징 시스템(100)은 특정 조명 및/또는 대상 상태들 하에서의 이미지 캡처를 위해 애퍼처 우선순위, 셔터 우선순위, 및/또는 다른 "프로그램" 모드들을 포함할 수 있다.
추가적으로, 이미지 센서의 센서 요소들 및/또는 이미지에 디지털 및/또는 아날로그 이득이 적용되어, 그에 의해 노출에 영향을 줄 수 있다. 이미지 센서의 감도를 조정하는 것은 이미지 캡처 디바이스의 ISO를 변경함으로써 표현될 수 있다.
스틸 카메라는 이미지 캡처가 트리거될 때마다 하나 이상의 이미지들을 캡처할 수 있다. 비디오 카메라는 이미지 캡처가 트리거된 상태로 있는 한(예를 들어, 셔터 버튼을 누르고 있는 동안) 특정 비율(예를 들어, 초 당 30개의 이미지 - 또는 프레임 -)로 이미지들을 연속적으로 캡처할 수 있다.
카메라들은 애퍼처 크기, 노출 시간, 이득 등과 같은 하나 이상의 카메라 기능들 및/또는 설정들을 제어하기 위한 소프트웨어를 포함할 수 있다. 추가적으로, 일부 카메라들은 이러한 이미지들이 캡처되는 동안 또는 그 때 이후에 이미지들을 디지털로 프로세싱하는 소프트웨어를 포함할 수 있다.
통신 인터페이스(140)는 광학 이미징 시스템(100)이 아날로그 또는 디지털 변조를 사용하여 다른 디바이스들, 액세스 네트워크들, 및/또는 전송 네트워크들과 통신하게 할 수 있다. 따라서, 통신 인터페이스(140)는 기존 전화 서비스(plain old telephone service)(POTS) 통신 및/또는 인터넷 프로토콜(IP) 또는 다른 패킷화된 통신과 같은 회선 교환 및/또는 패킷 교환 통신을 용이하게 할 수 있다. 예를 들어, 통신 인터페이스(140)는 무선 액세스 네트워크 또는 액세스 포인트와의 무선 통신을 위해 배열된 칩셋 및 안테나를 포함할 수 있다. 또한, 통신 인터페이스(140)는 이더넷, 범용 직렬 버스(USB), 또는 고선명 멀티미디어 인터페이스(HDMI) 포트와 같은 유선 인터페이스의 형태를 취하거나 또는 이를 포함할 수 있다. 통신 인터페이스(140)는 또한 Wifi, 블루투스®, 글로벌 포지셔닝 시스템(GPS), 또는 광역 무선 인터페이스(예를 들어, WiMAX 또는 3GPP 롱 텀 에볼루션(LTE))와 같은 무선 인터페이스의 형태를 취하거나 또는 이를 포함할 수 있다. 그러나, 다른 형태들의 물리 계층 인터페이스들 및 다른 타입들의 표준 또는 사유 통신 프로토콜들이 통신 인터페이스(140)를 통해 사용될 수 있다. 게다가, 통신 인터페이스(140)는 다수의 물리적 통신 인터페이스들(예를 들어, Wifi 인터페이스, 블루투스® 인터페이스, 및 광역 무선 인터페이스)을 포함할 수 있다.
제어기(150)는 프로세서(152) 및 메모리(154)를 포함할 수 있다. 프로세서(152)는 하나 이상의 범용 프로세서들 - 예를 들어, 마이크로프로세서들 - 및/또는 하나 이상의 특수 목적 프로세서들 - 예를 들어, 이미지 신호 프로세서(ISP)들, 디지털 신호 프로세서(DSP)들, 그래픽 프로세싱 유닛(GPU)들, 부동 소수점 유닛(FPU)들, 네트워크 프로세서들, 또는 주문형 집적 회로(ASIC)들 - 을 포함할 수 있다. 추가적으로 또는 대안적으로, 프로세서(152)는 적어도 하나의 프로그래밍가능 ICSP(in-circuit serial programming) 마이크로제어기를 포함할 수 있다. 일부 경우들에서, 특수 목적 프로세서들은, 다른 가능성들 중에서도, 이미지 프로세싱, 이미지 정렬, 및 이미지들의 병합이 가능할 수 있다. 메모리(154)는 자기, 광학, 플래시, 또는 유기 스토리지와 같은 하나 이상의 휘발성 및/또는 비휘발성 스토리지 컴포넌트들을 포함할 수 있고, 프로세서(152)와 전체적으로 또는 부분적으로 통합될 수 있다. 메모리(154)는 착탈식 및/또는 비착탈식 컴포넌트들을 포함할 수 있다.
프로세서(152)는 메모리(154)에 저장된 프로그램 명령어들(예를 들어, 컴파일된 또는 비컴파일된 프로그램 로직 및/또는 머신 코드)을 실행하여 본 명세서에서 설명되는 다양한 기능들을 수행하는 것이 가능할 수 있다. 그에 따라, 메모리(154)는, 광학 이미징 시스템(100)에 의한 실행 시에, 광학 이미징 시스템(100)으로 하여금 본 명세서 및/또는 첨부 도면들에 개시된 방법들, 프로세스들, 또는 동작들 중 임의의 것을 수행하게 하는 프로그램 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 프로세서(152)에 의한 프로그램 명령어들의 실행은 프로세서(152)가 광학 이미징 시스템(100)의 다양한 다른 요소들에 의해 제공된 데이터를 사용하게 할 수 있다. 구체적으로는, 제어기(150) 및 프로세서(152)는 이미지 센서(110)를 통해 캡처된 이미지 데이터에 대한 동작들을 수행할 수 있다. 도 1은 제어기(150)가 개략적으로 광학 이미징 시스템(100)의 다른 요소들과는 떨어져 있는 것으로서 예시하지만, 제어기(150)는 광학 이미징 시스템(100)의 하나 이상의 요소들에 물리적으로 위치되거나 또는 이들에 통합될 수 있다. 예를 들어, 일 실시예에서, 제어기(150)는 분산 컴퓨팅 네트워크 및/또는 클라우드 컴퓨팅 네트워크를 포함할 수 있다.
제어기(150)는 본 명세서에서 설명된 바와 같은 다양한 동작들을 수행하도록 동작가능할 수 있다. 예를 들어, 제어기(150)는 복수의 이미지들을 캡처할 적절한 셔터 속도 및 이미지 센서 감도를 결정 및 선택하도록 AE, 또는 미터링, 프로세스를 수행하도록 동작가능할 수 있다.
추가적으로, 제어기(150)는 이미지 센서로 하여금 복수의 이미지들을 캡처하게 할 수 있다. 구체적으로는, 이미지들은 광학 요소(120)(예를 들어, 렌즈)의 각자의 위치들에 의해 정의된 상이한 각자의 초점 거리 설정들로 캡처될 수 있다.
일부 실시예들에서, 이미지들은 광학 이미징 시스템(100)으로 AF 동작을 수행하는 동안 캡처될 수 있다. AF는 사용자로부터의 지원이 거의 없이 또는 전혀 없이 이미지 캡처 컴포넌트에 초점을 맞추는 데 사용되는 방법론이다. AF는 초점을 맞출 장면의 영역을 자동으로 선택할 수 있거나, 또는 장면의 미리 선택된 영역에 초점을 맞출 수 있다. AF 소프트웨어는 그것이 이미지 캡처 컴포넌트가 물체에 충분히 잘 초점이 맞춰진다고 결정할 때까지 이미지 캡처 컴포넌트의 렌즈 포지션을 자동으로 조정할 수 있다.
예시적인 AF 방법론이 하기에 설명된다. 그러나, 이러한 예는 단지 AF를 달성하는 하나의 방식이고, 다른 기법들이 본 개시내용의 범주 내에서 사용될 수 있다.
콘트라스트 기반 AF에서, 이미지 센서로부터의 이미지 또는 복수의 이미지들이 디지털로 분석될 수 있다. 특히, 픽셀들 사이의 밝기의 콘트라스트(예를 들어, 가장 밝은 픽셀의 밝기와 가장 적게 밝은 픽셀의 밝기 사이의 차이)가 결정된다. 일반적으로, 이러한 콘트라스트가 높을수록, 이미지가 더 양호하게 초점이 맞는다. 콘트라스트를 결정한 후에, 렌즈 포지션이 조정되고, 콘트라스트가 다시 측정된다. 이러한 프로세스는 콘트라스트가 적어도 일부 미리 정의된 값이 될 때까지 반복된다. 일단 이러한 미리 정의된 값이 달성된다면, 장면의 이미지가 캡처 및 저장된다.
추가적으로 또는 대안적으로, 다수의 AF 반복들이 적용될 수 있다. 즉, 초점 포지션들이 넓게 이격된 초기 AF 스캔은 "양호한" 초점 포지션의 개략적인 추정을 제공할 수 있다. 그러나, 초점 포지션의 차이들이 보다 미세한 후속 스캔들이 적용되어 전체로서 또는 초점 스폿에서/그 근처에서 이미지 내의 훨씬 더 높은 콘트라스트 값들을 찾으려고 시도함으로써 "더 양호한" 또는 "가장 양호한" 초점 포지션으로 반복할 수 있다.
이미지 센서(110)로부터의 이미지 데이터는 복수의 캡처된 이미지들로 프로세싱될 수 있다. 예시적인 실시예에서, 캡처된 디지털 이미지는 픽셀들의 1차원, 2차원, 또는 다차원 어레이로 표현될 수 있다. 각각의 픽셀은 각자의 픽셀의 컬러 및/또는 밝기를 인코딩할 수 있는 하나 이상의 값들로 표현될 수 있다. 예를 들어, 하나의 가능한 인코딩은 YCbCr 컬러 모델을 사용한다. 이러한 컬러 모델에서, Y 채널은 픽셀의 밝기를 표현할 수 있고, Cb 및 Cr 채널들은 각각 픽셀의 청색 크로미넌스 및 적색 크로미넌스를 표현할 수 있다. 예를 들어, 이러한 채널들 각각은 0에서부터 255까지의 값들을 가질 수 있다. 따라서, 픽셀의 밝기는 픽셀이 흑색이거나 또는 흑색에 가까운 경우 0 또는 제로에 가까운 값으로, 그리고 픽셀이 백색이거나 또는 백색에 가까운 경우 255 또는 255에 가까운 값으로 표현될 수 있다. 그러나, 255의 값은 비제한적인 기준점이고, 일부 구현들은 상이한 최대 값들(예를 들어, 1023, 4095 등)을 사용할 수 있다.
적색-녹색-청색(RGB) 컬러 모델 또는 시안-마젠타-옐로우(CMY)와 같은 다른 컬러 모델들이 본 명세서의 실시예들에서 채용될 수 있다. 추가로, 이미지 내의 픽셀들은 원시(비압축) 포맷들, 또는 공동 영상 전문가 그룹(Joint Photographic Experts Group)(JPEG), 이동성 네트워크 그래픽(Portable Network Graphics)(PNG), 그래픽 인터체인지 포맷(Graphics Interchange Format)(GIF) 등과 같은 압축 포맷들을 포함하는 다양한 파일 포맷들로 표현될 수 있다.
예시적인 실시예에서, 광학 이미징 시스템(100)은 30 FPS(frames per second)의 레이트로 이미지 프레임들을 캡처하도록 구성될 수 있다. 그러나, 더 크거나 또는 더 작은 프레임 레이트들을 갖는 광학 이미징 시스템들이 가능하다.
추가적으로 또는 대안적으로, 광학 이미징 시스템(100)은 버스트 프레임 레이트를 갖는 "버스트" 캡처 모드를 포함할 수 있다. 버스트 프레임 레이트는 짧은 기간에 걸쳐 정상보다 더 빠른 캡처 프레임 레이트를 포함할 수 있다. 예를 들어, 광학 이미징 시스템(100)이 30 FPS의 "정상" 프레임 레이트를 갖는 시나리오에서, 광학 이미징 시스템(100)은 버스트 이미지 데이터를 제공하도록 동작가능할 수 있는데, 이 버스트 이미지 데이터는 60 FPS에서 연속적으로 캡처된 10개의 이미지 프레임의 2개의 세트(하나의 세트가 각각의 이미지 캡처 시스템으로부터의 것임)를 포함할 수 있다. 다른 버스트 이미지 프레임 양들 및 다른 버스트 프레임 레이트들이 가능하다.
제어기(150)는 복수의 이미지들을 집합 이미지로 결합하도록 구성될 수 있다. 즉, 복수의 이미지들은 단일의 집합 이미지로 병합될 수 있다. 추가적으로 또는 대안적으로, 각각의 컬러 채널에 대해 집합 이미지가 생성될 수 있다. 예시적인 실시예에서, 집합 이미지는 복수의 캡처된 이미지들 내의 연관된 픽셀 값들의 평균을 포함할 수 있다. 예를 들어, 집합 이미지 내의 모든 (x, y) 좌표들에 대해, 집합 이미지 내의 위치 (x, y)에서의 픽셀은 모든 캡처된 이미지들 내의 위치 (x, y)에서의 픽셀들의 평균값을 할당받을 수 있다. 본 명세서의 다른 곳에서 설명되는 바와 같이, a) 다수의 이미지 캡처 동안 초점 거리 설정을 조정하는 것; 및 b) 광학 이미징 시스템(100)의 시야를 약간 수정하고 광학 요소의 상이한 초점 설정들에서 레코딩된 이미지들 내의 장면 피처들의 위치들을 약간 시프트시키는 시야 스케일링 또는 이미지 "브리딩(breathing)"으로 인해, 집합 이미지는 흐릿해질 수 있다.
집합 이미지에 기초하여, 제어기(150)는 복수의 센서 요소들 중 특정 센서 요소의 상태를 결정하도록 동작가능할 수 있다. 다시 말해, 제어기는 특정 핫, 데드, 스턱, 또는 폐색된 센서 요소들을 결정하도록 동작가능할 수 있다. 이러한 결정은, 입사 조명보다는, 센서 요소 특성들로 인한 픽셀 값의 로컬 편차를 나타내는, 특정 픽셀 위치에서의 로컬 콘트라스트(선명도)의 존재를 검출하는 것에 기초할 수 있다. 임의로, 센서 요소 상태 맵은 이러한 정보에 기초하여 생성 및/또는 업데이트될 수 있다. 그러한 시나리오에서, 센서 요소 상태 맵은 현재 시간과 연관될(예를 들어, 타임스탬핑될) 수 있다. 이와 같이, 센서 요소들의 상태의 이력 레코드는 본 명세서에서 설명되는 교정 프로세스들을 수행하는 것에 기초하여 유지 및/또는 주기적으로 업데이트될 수 있다.
제어기(150)는 이미지 센서로 하여금 페이로드 이미지를 캡처하게 하도록 동작가능할 수 있다. 페이로드 이미지는 AF 프로세스 동안 캡처된 복수의 이미지들 중 하나일 수도 있거나 또는 그렇지 않을 수도 있다. 일부 실시예들에서, 페이로드 이미지는 AF 프로세스를 완료한 것에 후속하여(예를 들어, 카메라가 초점에 맞추어져 있는 동안) 캡처될 수 있다. 페이로드 이미지는 단일 이미지, 일련의 연속된 이미지들(버스트), 또는 비디오 스트림일 수 있다.
제어기(150)는 특정 핫, 데드, 스턱, 및/또는 폐색된 센서 요소들과 연관된 페이로드 이미지 내의 픽셀 또는 픽셀들의 값(예를 들어, 밝기, 컬러 값 등)을 조정하도록 동작가능할 수 있다. 즉, 제어기(150)는 결함 있거나 또는 오동작하는 것으로서 이전에 맵핑된 페이로드 이미지로부터의 픽셀들을 조정할 수 있다.
특정 픽셀의 값의 조정은 결함 있는 픽셀의 값을 적어도 하나의 이웃 픽셀의 값들의 평균으로 대체하는 것을 포함할 수 있다.
광학 이미징 시스템(100)은 다른 시스템들 또는 디바이스들에 통합될 수 있다. 예로서, 도 2a 및 도 2b는 디지털 카메라 디바이스(200)의 다양한 뷰들을 예시한다. 예를 들어, 도 2a는 예시적인 실시예들에 따른 디지털 카메라 디바이스(200)의 전방 및 우측면 뷰들을 예시한다. 디지털 카메라 디바이스(200)는, 예를 들어, 모바일폰, 스마트폰, 태블릿 컴퓨터, 또는 웨어러블 컴퓨팅 디바이스일 수 있다. 그러나, 다른 실시예들이 가능하다. 예시적인 실시예에서, 디지털 카메라 디바이스(200)는 도 1과 관련하여 예시 및 설명된 바와 같이 광학 이미징 시스템(100)의 요소들 중 일부 또는 전부를 포함할 수 있다.
디지털 카메라 디바이스(200)는 몸체(202), 전방 대향 카메라(204), 다중 요소 디스플레이(206), 셔터 버튼(208), 및 다른 버튼들(210)과 같은 다양한 요소들을 포함할 수 있다. 전방 대향 카메라(204)는 전형적으로 동작 동안 사용자에 대향하는 몸체(202)의 면 상에, 또는 다중 요소 디스플레이(206)와 동일한 면 상에 포지셔닝될 수 있다.
도 2b는 예시적인 실시예들에 따른 디지털 카메라 디바이스(200)의 후방 뷰(201C)를 예시한다. 도 2b에 도시된 바와 같이, 디지털 카메라 디바이스(200)는 후방 대향 카메라(212)를 더 포함할 수 있다. 그러한 시나리오에서, 후방 대향 카메라(212)는 전방 대향 카메라(204)의 반대측의 몸체(202)의 면 상에 포지셔닝될 수 있다. 다른 배열들이 가능하다. 또한, 전방 대향 또는 후방 대향으로서 카메라들을 지칭하는 것은 임의적이고, 디지털 카메라 디바이스(200)는 몸체(202)의 다양한 면들 상에 포지셔닝된 다수의 카메라들을 포함할 수 있다.
다중 요소 디스플레이(206)는 CRT 디스플레이, LED 디스플레이, LCD, 플라즈마 디스플레이, 또는 임의의 다른 타입의 디스플레이를 표현할 수 있다. 일부 실시예들에서, 다중 요소 디스플레이(206)는 전방 대향 카메라(204) 및/또는 후방 대향 카메라(212)에 의해 캡처되는 현재 이미지, 또는 이러한 카메라들 중 임의의 하나 이상의 카메라에 의해 최근에 캡처되었거나 또는 캡처될 수 있는 이미지의 디지털 표현을 디스플레이할 수 있다. 따라서, 다중 요소 디스플레이(206)는 카메라들을 위한 뷰파인더로서 기능할 수 있다. 다중 요소 디스플레이(206)는 디지털 카메라 디바이스(200)의 임의의 양태의 설정들 및/또는 구성을 조정하는 것이 가능할 수 있는 터치스크린 및/또는 존재 감응성 기능들을 또한 지원할 수 있다.
전방 대향 카메라(204)는 이미지 센서 및 렌즈들과 같은 연관된 광학 요소들을 포함할 수 있다. 전방 대향 카메라(204)는 줌 능력들을 제공할 수 있거나 또는 고정된 초점 길이를 가질 수 있다. 다른 실시예들에서, 교환 렌즈(interchangeable lens)들이 전방 대향 카메라(204)에서 사용될 수 있다. 전방 대향 카메라(204)는 가변적인 기계적 애퍼처 및 기계적 및/또는 전자적 셔터를 가질 수 있다. 전방 대향 카메라(204)는 또한 스틸 이미지들, 비디오 이미지들, 또는 양측 모두를 캡처하도록 구성될 수 있다.
전방 대향 카메라(204) 및 후방 대향 카메라(212) 중 어느 하나 또는 양측 모두는 목표 물체를 조명하기 위해 입사광을 제공하는 조명 컴포넌트를 포함하거나 또는 그와 연관될 수 있다. 예를 들어, 조명 컴포넌트는 목표 물체의 플래시 또는 일정한 조명을 제공할 수 있다. 조명 컴포넌트는 구조화된 광, 편광된 광, 및 특정 스펙트럼 함량을 갖는 광 중 하나 이상을 포함하는 조명을 제공하도록 또한 구성될 수 있다. 물체로부터 3D 모델들을 복구하는 것으로 알려져 있고 복구하기 위해 사용되는 다른 타입들의 조명 형태들이 본 명세서의 실시예들의 문맥 내에서 가능하다.
전방 대향 카메라(204) 및/또는 후방 대향 카메라(212) 중 하나 이상은 카메라가 캡처할 수 있는 장면의 주변 밝기를 연속적으로 또는 때때로 결정할 수 있는 주변 광 센서를 포함하거나 또는 그와 연관될 수 있다. 일부 디바이스들에서, 주변 광 센서는 카메라와 연관된 스크린(예를 들어, 뷰파인더)의 디스플레이 밝기를 조정하는 데 사용될 수 있다. 결정된 주변 밝기가 높을 때, 스크린의 밝기 레벨이 증가되어 스크린을 보다 보기 쉽게 할 수 있다. 결정된 주변 밝기가 낮을 때, 스크린의 밝기 레벨이 감소되어, 또한 스크린을 보다 보기 쉽게 할 뿐만 아니라 잠재적으로 전력을 절약하게 할 수 있다. 주변 광 센서는 또한 이미지 캡처를 위한 노출 시간들을 결정하는 데 사용될 수 있다. 예를 들어, 주변 광 센서는 셔터 속도, 애퍼처, 및/또는 이미지 센서 감도를 결정하도록 장면을 "미터링"하도록 동작가능할 수 있다.
디지털 카메라 디바이스(200)는 다중 요소 디스플레이(206) 및 전방 대향 카메라(204) 또는 후방 대향 카메라(212) 중 어느 하나를 사용하여 목표 물체의 이미지들을 캡처하도록 구성될 수 있다. 예를 들어, 다중 요소 디스플레이(206)는 캡처될 이미지의 프리뷰를 제공할 뿐만 아니라, 노출 설정들을 선택하게 하고 이미지 캡처를 트리거하게 하는 것 등을 할 사용자 인터페이스를 제공할 수 있다. 추가적으로 또는 대안적으로, 다중 요소 디스플레이(206)는 이미지 캡처 동안 조명을 제공할 수 있다. 캡처된 이미지들은 복수의 스틸 이미지들 또는 비디오 스트림일 수 있다. 이미지 캡처는 셔터 버튼(208)을 활성화시키는 것, 다중 요소 디스플레이(206) 상의 소프트키를 가압하는 것에 의해, 또는 일부 다른 메커니즘에 의해 트리거될 수 있다. 구현에 따라, 이미지들은 특정 시간 간격으로, 예를 들어, 셔터 버튼(208)을 가압할 때, 목표 물체의 적절한 조명 상태들에 의해, 디지털 카메라 디바이스(200)를 미리 결정된 거리로 이동시킬 때, 또는 미리 결정된 캡처 스케줄에 따라, 자동으로 캡처될 수 있다.
상기 언급된 바와 같이, 디지털 카메라 디바이스(200) - 또는 다른 타입의 디지털 카메라 - 의 기능들은 무선 컴퓨팅 디바이스, 셀 폰, 태블릿 컴퓨터, 랩톱 컴퓨터 등과 같은 컴퓨팅 디바이스에 통합될 수 있다. 게다가, 도 2a 및 도 2b는 단일의 전방 대향 카메라(204) 및 단일의 후방 대향 카메라(212)를 예시하지만, 대안적인 카메라 배열들이 가능하다. 예를 들어, 멀티스코픽(multiscopic) 이미징 시스템들이 가능하고 본 명세서에서 고려된다. 예시적인 실시예에서, 복수의 후방 대향 카메라들은 멀티스코픽 어레이(예를 들어, 스테레오스코픽 쌍)로서 배열될 수 있다. 이러한 카메라들 각각은, 애퍼처, 렌즈, 이미지 센서, 및 셔터를 포함하는, 구별되는, 독립적으로 제어가능한 이미지 캡처 컴포넌트일 수 있다. 그러한 시나리오에서, 디지털 카메라 디바이스(200)는 후방 대향 카메라들에게 장면의 각자의 모노스코픽 이미지들을 동시에 캡처하도록 명령할 수 있고, 그 후에 이러한 모노스코픽 이미지들의 결합(combination)을 사용하여 깊이를 갖는 스테레오 이미지를 형성할 수 있다.
도 3a 내지 도 3e는 예시적인 실시예에 따른 광학 이미징 시스템의 다양한 동작 양태들을 예시한다. 예를 들어, 도 3a는 예시적인 실시예에 따른 이미지 캡처 시나리오(300)의 측면 및 상면 뷰들을 예시한다. 이미지 캡처 시나리오(300)는, 도 1과 관련하여 예시 및 설명된 바와 같이 광학 이미징 시스템(100)과 같은 카메라와 관련하여, 가까운 위치, 중간 위치, 및 원거리 위치 각각에서의 물체들(302, 304, 및 306)을 포함할 수 있다. 게다가, 물체들(302, 304, 및 306)은 광학 이미징 시스템(100)의 광축(308)과 관련하여 좌측, 중심, 및 우측 위치들에 각각 배열될 수 있다.
도 3a는 물체들(302, 304, 및 306)만을 포함하는 장면을 포함하지만, 간략화 및 설명 목적들을 위해 그러한 단순한 설명이 제공된다는 것을 이해한다. 광학 이미징 시스템(100)은 더 복잡한 장면들을 캡처하도록 구성될 수 있다. 예를 들어, 광학 이미징 시스템(100)은 임의의 수의 물체들 또는 피처들(또는 그러한 물체들 또는 피처들의 결여)을 포함할 수 있는 다양한 상이한 장면들을 이미징하도록 구성될 수 있다.
도 3b는 예시적인 실시예에 따른 광학 이미징 시스템(100)에 의해 캡처된 복수의 이미지들을 예시한다. 캡처된 이미지들은 도 3a와 관련하여 예시 및 설명된 바와 같이 이미지 캡처 시나리오(300)에서 캡처된 이미지 프레임들을 표현할 수 있다. 예시적인 실시예에서, 광학 이미징 시스템(100)이 AF 프로세스를 수행하고 있는 동안 상이한 초점 거리 설정들에서 광학 요소로 복수의 이미지들 또는 이미지 버스트가 캡처될 수 있다. 복수의 이미지들의 각각의 이미지는 결함 있거나 및/또는 폐색된 센서 요소들을 포함할 수 있다. 그러나, 그러한 센서 요소들은 단일 이미지로부터의 픽셀 값들에 기초하여 식별하기 어려울 수 있다. 그러한 시나리오에서, AF 프로세스는 초점 거리 설정을 근거리 초점 거리로부터 원거리 초점 거리로 조정하는 동안 몇몇 이미지들을 캡처하는 것을 포함할 수 있다. 예를 들어, 제1 프레임(310)을 캡처하는 동안, 광학 요소(예를 들어, 적어도 하나의 렌즈)의 초점 거리 설정은 근거리 초점 포지션에 대응할 수 있다. 이와 같이, 물체(302)(광학 이미징 시스템(100)에 가장 가까운 물체)는 제1 프레임(310)에서 초점이 맞는 물체(312)로서 표현될 수 있는 한편, 물체들(304 및 306)은 제1 프레임(310)에서 초점이 맞지 않는 물체들(314 및 316)로서 각각 표현될 수 있다. 제1 프레임(310)은 초점 거리 설정이 근거리 초점 포지션인 것에 기초하여 제1 시야를 가질 수 있다.
제2 프레임(320)을 캡처하는 동안, 광학 요소의 초점 포지션은 중앙, 또는 중간 거리의, 초점 포지션에 대응할 수 있다. 이와 같이, 물체(304)(중간 거리 물체)는 제2 프레임(320)에서 초점이 맞는 물체(324)로서 표현될 수 있는 한편, 물체들(302 및 306)은 제2 프레임(320)에서 초점이 맞지 않는 물체들(322 및 326)로서 각각 표현될 수 있다. 제2 프레임(320)은 초점 거리 설정이 중간 거리 포지션인 것에 기초하여 제2 시야를 가질 수 있다.
제3 프레임(330)을 캡처하는 동안, 광학 요소의 초점 포지션은 원거리, 또는 무한의, 초점 포지션에 대응할 수 있다. 이와 같이, 물체(306)(원거리 물체)는 제3 프레임(330)에서 초점이 맞는 물체(336)로서 표현될 수 있는 한편, 물체들(302 및 304)은 제3 프레임(330)에서 초점이 맞지 않는 물체들(332 및 334)로서 각각 표현될 수 있다. 제3 프레임(330)은 초점 거리 설정이 원거리 포지션인 것에 기초하여 제3 시야를 가질 수 있다.
추가적으로, 도 3b에 예시된 바와 같이, 광학 요소(120)에 의해 가정된 초점 포지션들 각각은 상이한 광학 배율 인수를 생성하여, 각각의 초점 포지션에서 상이한 시야를 유발한다. 이러한 현상은 통상적으로 "초점 브리딩"이라고 지칭된다. 이러한 거동의 결과는 광학 요소에 의해 이미지 센서 상에 투영된 장면 물체들(302, 304, 306)의 미세한 피처들이 초점 설정에 따라 캡처된 이미지 내의 이들의 위치를 변경시킨다는 것이다. (추후에, 이러한 캡처된 이미지들이 함께 결합(예를 들어, 평균화)될 때, 미세한 피처들의 이러한 오정렬은 집합 이미지(340)에서 이러한 피처들의 흐려짐을 초래한다.
이미지 프레임들(310, 320, 및 330)은 예시 목적들을 위해서만 제공되고 본 명세서에서 설명되는 시스템들 및 방법들에 따라 더 많거나 또는 더 적은 이미지 프레임들이 캡처될 수 있다는 것을 이해한다. 게다가, 캡처된 이미지 프레임들은 시야 내에 어떠한 초점이 맞는 물체들도 포함할 필요가 없다. 즉, 캡처된 이미지 프레임들은 전체적으로 또는 부분적으로 초점이 맞을 필요가 없다.
도 3c는 예시적인 실시예에 따른 집합 이미지(340)를 예시한다. 집합 이미지(340)는 복수의 이미지들(예를 들어, 제1 이미지(310), 제2 이미지(320), 및 제3 이미지(330))로부터의 대응하는 픽셀들을 결합함으로써 형성될 수 있다. 복수의 이미지들로부터의 픽셀들을 결합하는 것은 이미지들의 픽셀 단위 결합을 포함할 수 있다. 추가적으로 또는 대안적으로, 각자의 이미지들의 대응하는 타일 또는 그리드 부분들이 더해지거나, 곱해지거나, 및/또는 평균화되어 집합 이미지(340)를 제공할 수 있다. 다른 방법들이 복수의 캡처된 이미지들로부터의 픽셀들을 결합 또는 집합시키기 위해 사용될 수 있다.
예시적인 실시예에서, 집합 이미지(340)는 흐릿한 피처들을 포함할 수 있다. AF 스윕을 실행하는 동안 캡처된 이미지들을 집합시킴으로써 장면 피처들에 도입된 흐려짐은 적어도: a) 초점을 변화시키는 동안 시야가 이미지를 약간 스케일링(예를 들어, "브리딩")하게 하는 것; 및 b) 초점 포지션 및 물체 깊이에 기초하여 장면에서 초점이 흐려진 물체들을 캡처하는 것으로 인한 것일 수 있다. 이러한 영향들 양측 모두는, 복수의 이미지들의 일부 각자의 이미지 프레임들에서 일부 물체들이 초점이 맞는 경우에도, 초점 포지션을 조정하는 동안 복수의 이미지들이 캡처되는 경우 집합된 이미지 피처들을 흐려지게 할 수 있다.
예시적인 실시예에서, 흐릿한 물체들(342, 344, 및 346)이 집합 이미지(340)에서 보일 수 있는데, 이 흐릿한 물체들은 각각 물체들(302, 304, 및 306)의 흐려진 표현들일 수 있다. 추가적으로, 일부 선명한(예를 들어, 흐릿하지 않거나 또는, 적어도, 덜 흐릿한) 물체들이 장면에서 눈에 띄게 될 수 있다. 예를 들어, 이미지 피처(348)는 핫 픽셀을 야기하는 결함 있는 센서 요소에 관련될 수 있다. 이미지 피처(350)는 이미지 센서의 표면 바로 위의 먼지 입자를 포함할 수 있다. 다시 말해, 먼지 입자가 하나 이상의 센서 요소들을 폐색시킬 수 있고, 이는 어두워 보이는 형상을 초래할 수 있다. 형상은 먼지(예를 들어, 섬유 또는 다른 타입의 인식가능한 입자)와 유사할 수 있고, 먼지가 실제로 커플링 또는 부착되는 광학 요소가 어떠한 것인지에 따라 선명하게(예를 들어, 초점이 맞게) 보일 수 있다. 이미지 피처(352)는 데드 또는 어두운 픽셀을 야기하는 결함 있는 센서 요소를 포함할 수 있다. 게다가, 이미지 피처(354)는 "스턱" 또는 영구적 회색 레벨의 픽셀을 야기하는 결함 있는 센서 요소를 포함할 수 있다.
이미지 피처들(348, 350, 352, 및 354)은, 적어도 집합 이미지(340)에의 이들의 포함이 광학 요소의 초점 포지션에 실질적으로 기초하지 않는다는 이유로, 선명하거나, 또는 초점이 맞게 보일 수 있다. 즉, 이미지 피처들(348, 350, 352, 및 354)은 센서 요소 레벨 결함들 또는 폐색으로 인한 것일 수 있다. 그러한 결함들은 오초점으로 인한 광학적 흐려짐을 겪지 않게 되고 광학 배율 변경("브리딩")으로 인한 개별 이미지들 내에서의 이들의 포지션이 변경되지 않는다. 이와 같이, 그러한 이미지 피처들의 픽셀 레벨 표현은 집합 이미지(340)에서 실질적으로 초점이 맞게 보일 수 있다.
각자의 이미지 피처들은 에지 검출 알고리즘, 콘트라스트 검출 알고리즘, 또는 다른 형상/이미지 인식 알고리즘에 기초하여 결정될 수 있다. 예시적인 실시예에서, 선명한 이미지 피처들은 검색 기반 및/또는 제로 크로싱 에지 검출 방법들을 통해 검출될 수 있다. 게다가, 캐니(Canny) 에지 검출, 차분 에지 검출, 및 캐니-데리체(Canny-Deriche) 에지 검출 알고리즘들이 모두 구체적으로 본 명세서에서 고려된다.
일반적으로, 이미지 인식 알고리즘은 이웃 픽셀들의 밝기 레벨로부터 유의미한 방식으로 벗어난 밝기 레벨(또는 집단적 밝기 레벨)을 갖는 픽셀들, 또는 픽셀들의 클러스터를 집합 이미지(340)에서 식별하도록 동작가능할 수 있다. 예를 들어, 이미지 피처들은, 이웃 픽셀들의 밝기 레벨에 비해, 임계 레벨보다 더 많이 상이한, 밝기 레벨의 차이에 기초하여 식별될 수 있다. 예시적인 실시예에서, 밝기 임계 레벨은 주어진 컬러 채널에서 밝기의 50 레벨들일 수 있다. 이와 같이, 집합 이미지(340) 내의 주어진 픽셀이 인접 및/또는 이웃 픽셀들보다 더 밝거나 또는 더 어두운 50 밝기 레벨들 이상인 경우, 주어진 픽셀 및 대응하는 센서 요소는 결함 있거나 및/또는 폐색된 것으로서 식별될 수 있다. 다른 임계 레벨들이 가능하다는 것을 이해한다. 예를 들어, 임계 레벨은 25 밝기 레벨들, 또는 250 밝기 레벨들일 수 있다. 보다 낮은 임계 값들은 센서 요소들의 증가 부분을 포함할 수 있다. 이에 따라, 일부 경우들에서, 이미지 선명도는 센서 요소들의 과잉 포함에 의해 부정적인 영향을 받을 수 있다. 이에 따라, 일부 실시예들에서, 임계 레벨은 원하는 또는 선택된 보상 레벨에 기초하여 조정가능할 수 있다. 추가로, 다양한 컬러 채널들과 연관된 센서 요소들을 보상하도록 복수의 임계 레벨들이 조정가능할 수 있다. 일부 실시예들에서, 주어진 픽셀에 대한 임계 레벨은 이웃 픽셀들의 노이즈 레벨들, 및/또는 센서 요소 노이즈 모델에 기초하여 달라질 수 있다.
예를 들어, 주어진 픽셀은 200의 밝기 레벨을 가질 수 있고, 그의 8개의 가장 가까운 이웃 픽셀 각각은 150 이하의 밝기 레벨을 갖는다. 50 밝기 레벨들의 임계 레벨을 갖는 상기 시나리오에서, 주어진 픽셀은 상대적 밝기 레벨들의 차이가 임계 레벨 차이 이상인 것에 기초하여 핫 또는 스턱 픽셀인 것으로서 식별될 수 있다.
본 명세서에서 사용되는 바와 같이, "이웃" 픽셀들은 "가장 가까운 이웃"(예를 들어, 바로 인접한) 픽셀들을 포함할 수 있다. 추가적으로 또는 대안적으로, 이웃 픽셀들은 데드, 핫, 스턱, 및/또는 폐색된 것으로 결정된 픽셀 또는 픽셀들로부터 유한 거리 내에 있는(예를 들어, 2개 내지 5개의 픽셀로부터 떨어진 곳의) 하나 이상의 픽셀을 포함할 수 있다.
일부 실시예들에서, 결함 있는/폐색된 센서 요소들의 성질은 AE 시리즈 동안 주어진 센서 요소의 출력을 관측함으로써 추가로 조사될 수 있다. 예를 들어, 주어진 센서 요소의 출력은 센서 요소가 데드 요소인지, 핫 요소인지, 또는 결함 없는 요소인지 여부를 나타내는 정보를 제공할 수 있다. 즉, 센서 요소가 이웃 요소들과 유사하게 광에 반응하지 않는 경우, 그것은 데드 센서 요소로 간주될 수 있다.
도 3d는 예시적인 실시예에 따른 센서 요소 상태 맵(360)을 예시한다. 센서 요소 상태 맵(360)은 이미지 센서의 결함 있거나 및/또는 폐색된 센서 요소들의 위치들 및 대응하는 상태들을 나타내는 정보를 포함할 수 있다. 즉, 각자의 센서 요소의 상태(예를 들어, 데드, 핫, 스턱, 및/또는 폐색)를 결정한 결과로서, 그 상태가 센서 요소 상태 맵(360)에 추가될 수 있는데, 이 센서 요소 상태 맵은 이미지 센서 상의 센서 요소들의 일부 또는 전부의 센서 요소의 상태의 실시간 및/또는 이력 맵일 수 있다.
도 3e는 예시적인 실시예에 따른 이미지 캡처 시나리오(370)를 예시한다. 이미지 캡처 시나리오(370)는 도 3a 내지 도 3d와 관련하여 예시 및 설명된 이벤트들의 일부 또는 전부에 대한 부분적 타임라인을 제공할 수 있다. 예를 들어, 이미지 캡처 시나리오(370)는 t0과 t1 사이에서 발생할 수 있는 AE 프로세스(372)를 포함할 수 있다. AE 프로세스(372)의 결과로서, 일부 또는 전부의 노출 설정들이 광 상태들, 사용자 설정들, 및/또는 카메라 설정들에 기초하여 선택될 수 있다.
이미지 캡처 시나리오(370)는 t1과 t2 사이에서 발생할 수 있는 AF 프로세스(374)를 포함할 수 있다. AF 프로세스(374) 동안, 광학 요소(예를 들어, 렌즈)를 이동시키는 동안 복수의 이미지들(예를 들어, 제1 프레임(310), 제2 프레임(320), 및 제3 프레임(330))이 캡처될 수 있다. 이에 따라, 복수의 이미지들 각각은 상이한 초점 거리 설정에서 캡처될 수 있다. AF 프로세스(374) 후에, 카메라는 주어진 초점 스폿 및/또는 장면에 대해 "초점이 맞는" 것으로 간주될 수 있다.
복수의 이미지들을 캡처한 것에 후속하여, 집합 이미지(340)가 이미지들로부터 프로세싱될 수 있다. 집합 이미지(340)는 집합 이미지(340) 내의 대응하는 픽셀들에 기초하여 결함 있는 센서 요소들의 위치들을 식별하도록 추가로 프로세싱될 수 있다. 결함 있는 센서 요소들의 위치들에 관한 그러한 정보는 센서 요소 상태 맵(360)을 생성 또는 업데이트하는 데 사용될 수 있다. 예시적인 실시예에서, 집합 이미지(340) 및 센서 요소 상태 맵(360)은 프로세서에 의해 병렬로 프로세싱될 수 있다.
광학 이미징 시스템이, 예를 들어, t2에서 시작하여 초점이 맞는 동안, 페이로드 이미지(380)가 캡처될 수 있다. 페이로드 이미지(380)는 단일 이미지, 일련의 이미지들(버스트), 또는 비디오 스트림일 수 있다. 페이로드 이미지(380) 캡처는 (예를 들어, 셔터 버튼을 누름으로써) 사용자에 의해 트리거될 수 있거나, 또는 그것은 자동으로 트리거될 수 있다. 예시적인 실시예에서, 페이로드 이미지(380)는 셔터 지연을 최소화시키도록 AF 프로세스의 종료 직후에 캡처될 수 있다. 도 3e에 예시된 바와 같이, 집합 이미지(340) 및 센서 요소 상태 맵(360)이 여전히 프로세싱되고 있는 동안 페이로드 이미지(380)가 캡처될 수 있다. 그러나, 페이로드 이미지(380)는 대안적으로 다른 시간들에서 캡처될 수 있다.
페이로드 이미지(380)가 캡처되는 것 그리고 센서 요소 상태 맵(360)이 프로세싱되는 것에 후속하여, 페이로드 이미지(380)는 정정되어 정정된 페이로드 이미지(382)를 제공할 수 있다. 예시적인 실시예에서, 페이로드 이미지(380)는 센서 요소 상태 맵(360)에 기초하여 조정될 수 있다. 예를 들어, 센서 요소 상태 맵(360) 내의 결함 있는 센서 요소들에 대응하는 페이로드 이미지 내의 픽셀들의 값들은 이웃 픽셀들의 값들의 평균으로 대체될 수 있다. 다시 말해, 결함 있는 센서 요소들로부터의 신호를 표현하는 페이로드 이미지(380) 내의 픽셀들의 밝기 값은 페이로드 이미지(380) 내의 주변 및/또는 인접 픽셀들의 평균값으로 대체될 수 있다. 예로서, 대체 값은 4개의 가장 가까운 이웃 픽셀(예를 들어, 결함 있는 센서 요소에 대응하는 픽셀에 대해 바로 우측, 좌측, 상측, 및 하측에 있는 픽셀들)의 값의 평균일 수 있다. 추가적으로 또는 대안적으로, 대체 값은 8개의 가장 가까운 이웃 픽셀(예를 들어, 좌측 상단, 우측 상단, 좌측 하단, 및 우측 하단에 대한 "코너" 픽셀들을 더 포함하는 픽셀들)의 값의 평균일 수 있다. 이웃 픽셀들의 다른 대체 픽셀 값들 및 세트들이 가능하다.
예시적인 실시예에서, 정정된 페이로드 이미지(382)는 광학 이미지 시스템의 다중 요소 디스플레이를 통해 디스플레이될 수 있다. 추가적으로 또는 대안적으로, 정정된 페이로드 이미지(382)는 메모리에 저장되거나 및/또는 다른 디바이스에 송신될 수 있다.
도 3e는 본 명세서에서 설명되는 다양한 동작들의 특정 순서 및 배열을 예시하지만, 특정 타이밍 시퀀스들 및 노출 지속기간들이 달라질 수 있다는 것을 이해한다. 게다가, 일부 동작들은 생략되거나, 추가되거나, 및/또는 다른 동작들과 병렬로 수행될 수 있다.
Ⅲ. 예시적인 방법들
도 4는 예시적인 실시예에 따른 방법(400)을 예시한다. 방법(400)은 다양한 블록들 또는 단계들을 포함할 수 있다. 블록들 또는 단계들은 개별적으로 또는 조합하여 수행될 수 있다. 블록들 또는 단계들은 임의의 순서로 및/또는 직렬로 또는 병렬로 수행될 수 있다. 추가로, 블록들 또는 단계들은 생략되거나 또는 방법(400)에 추가될 수 있다.
방법(400)의 일부 또는 전부의 블록들은 도 1, 도 2a, 및 도 2b를 참조하여 예시 및 설명된 바와 같이 광학 이미징 시스템(100) 또는 디지털 카메라 디바이스(200)의 요소들을 수반할 수 있다. 예를 들어, 방법(400)의 일부 또는 전부의 블록들은 제어기(150) 및/또는 프로세서(152) 및 메모리(154)에 의해 수행될 수 있다. 게다가, 방법(400)의 일부 또는 전부의 블록들은 도 3a 내지 도 3e와 관련하여 예시 및 설명된 동작들과 유사하거나 또는 동일할 수 있다.
블록 402는 이미지 센서를 통해 복수의 이미지들을 캡처하는 것을 포함한다. 이미지 센서는 복수의 센서 요소들을 포함하고, 센서 요소들은 캡처된 복수의 이미지들 내의 각자의 픽셀들을 표현하도록 구성된다.
임의로, 방법은 복수의 이미지들을 캡처하기 전에 또는 캡처하는 동안 이미지 센서의 시야를 미터링하는 것을 포함할 수 있다. 미터링하는 것에 기초하여, 복수의 이미지들을 캡처할 이미지 센서의 감도 및 셔터 속도가 선택될 수 있다.
블록 404는, 복수의 이미지들을 캡처하는 동안, 광학 요소의 적어도 하나의 특성을 조정하는 것을 포함한다. 광학 요소는 이미지 센서에 커플링된다. 일부 실시예들에서, 광학 요소를 조정하는 것은, 광학 요소의 시야를 조정하는 것, 광학 요소의 줌 설정을 조정하는 것, 광학 요소의 애퍼처 설정을 조정하는 것, 또는 광학 요소의 초점 포지션을 조정하는 것 중 하나 이상을 포함할 수 있다.
본 명세서의 다른 곳에서 설명되는 바와 같이, 광학 요소를 조정하는 것은 AF 프로세스 동안 수행될 수 있다. 즉, 광학 요소의 포지션은 복수의 캡처된 이미지들의 각각의 이미지에 대한 상이한 초점 거리 설정을 달성하도록 이미지 센서에 대해 조정될 수 있다.
블록 406은 복수의 이미지들을 집합 이미지로 결합하는 것을 포함한다. 예시적인 실시예에서, 복수의 이미지들을 집합 이미지로 결합하는 것은, 복수의 이미지들의 대응하는 픽셀 값들을 평균화하는 것을 포함할 수 있다. 일반적으로, 집합 및/또는 평균화의 프로세스는 개별 이미지들 중 임의의 것에 비해 집합 이미지 내의 랜덤 노이즈의 감소를 제공하였다. 게다가, 집합 이미지로의 복수의 이미지들의 결합은 결함 있는/폐색된 센서 요소들의 검출을 더 신뢰성 있게 만든다.
블록 408은, 집합 이미지에 기초하여, 복수의 센서 요소들 중 특정 센서 요소의 상태를 결정하는 것을 포함한다. 예를 들어, 결정된 상태는 가동되는 센서 요소, 핫 센서 요소, 어두운 센서 요소, 또는 폐색된 센서 요소 중 하나 이상을 포함할 수 있다.
예시적인 실시예에서, 특정 센서 요소의 상태를 결정하는 것은 각자의 픽셀의 값을 집합 이미지 내의 적어도 하나의 이웃 픽셀의 값과 비교하는 것을 포함할 수 있다. 추가적으로, 그 결정은, 비교에 기초하여, 각자의 픽셀과 적어도 하나의 이웃 픽셀 사이의 차이가 미리 결정된 임계치보다 높다는 것을 결정하는 것을 포함할 수 있다.
임의로, 방법은 결정된 상태를 센서 요소 상태 맵에 맵핑시키는 것을 또한 포함할 수 있다. 즉, 결함이 있거나 또는 폐색된 센서 요소의 식별 시에, 그 센서 요소의 상태는 이미지 센서 상의 유사한 결함 있는/폐색된 센서 요소들을 나타내는 정보를 포함하는 맵 내의 대응하는 위치와 연관될 수 있다. 캡처된 이미지들은 센서 요소 상태 맵에서 결함 있는/폐색된 센서 요소들에 대응하는 픽셀들의 값을 조정함으로써 정정될 수 있다.
블록 410은, 페이로드 이미지에서, 특정 센서 요소와 연관되는 특정 픽셀의 값을 조정하는 것을 포함한다. 예시적인 실시예에서, 특정 픽셀의 값을 조정하는 것은, 특정 픽셀의 값을 적어도 하나의 이웃 픽셀의 대응하는 값으로 설정하는 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 특정 픽셀의 값을 조정하는 것은, 특정 픽셀의 값을 복수의 이웃 픽셀들의 대응하는 평균값으로 설정하는 것을 포함할 수 있다.
도 5a는 예시적인 실시예에 따른 디지털 카메라 디바이스에 의해 캡처된 이미지(510)를 예시한다. 이미지(510)는 비교적 높은 ISO를 사용하여 캡처되었을 수 있다. 게다가, 이미지(510)는 다수의 핫 픽셀들 그리고 가능하다면 콜드(cold) 또는 폐색된 픽셀들을 포함한다.
도 5b는 예시적인 실시예에 따른 디지털 카메라 디바이스에 의해 캡처된 이미지(520)를 예시한다. 이미지(520)는 어두운 환경에서 비교적 높은 ISO를 사용하여 캡처되었을 수 있다. 이와 같이, 이미지(520)는 상당한 노이즈를 포함하고, 그것은 밝기 레벨들의 차이들에 기초하여 결함 있거나 또는 폐색된 픽셀들을 식별하는 것이 어렵다는 것을 입증할 수 있다.
도 5c는 예시적인 실시예에 따른 디지털 카메라 디바이스에 의해 캡처된 이미지(530)를 예시한다. 이미지(530)는 긴 노출 시간 및/또는 비교적 낮은 ISO로 어두운 환경에서 캡처되었을 수 있다. 이에 따라, 노이즈 레벨은 이미지(520)의 노이즈 레벨보다 훨씬 더 작다. 이와 같이, 핫/데드/스턱 픽셀들을 식별하는 것이 훨씬 더 쉬워진다. 그러나, 어두운 환경을 생성하기(예를 들어, 렌즈 캡을 끼우기) 위한 사용자 상호작용 및/또는 긴 노출 시간들 양측 모두는 바람직하지 않다.
도 5d는 예시적인 실시예에 따른 디지털 카메라 디바이스에 의해 캡처된 장면의 집합 이미지(540)를 예시한다. 집합 이미지(540)는 도 4와 관련하여 예시 및 설명된 방법 블록들 중 적어도 일부를 사용하여 캡처되었을 수 있다. 예를 들어, 집합 이미지(540)는 AF 프로세스 동안 캡처된 복수의 이미지들로부터 병합되었을 수 있다.
도 5e는 예시적인 실시예에 따른 디지털 카메라 디바이스에 의해 캡처된 페이로드 이미지(550)를 예시한다. 페이로드 이미지(550)는 AF 프로세스에 후속하여 캡처될 수 있거나 또는 AF 프로세스 동안 캡처된 복수의 이미지들 중 하나일 수 있다. 도 5e에서 관측될 수 있는 바와 같이, 페이로드 이미지(550)는 핫 픽셀들로 인해 상당한 양의 결함들을 (백색 스폿들의 형태로) 포함한다.
도 5f는 예시적인 실시예에 따른 정정된 페이로드 이미지(560)를 예시한다. 정정된 페이로드 이미지(560)는 집합 이미지(540)로부터 결함 있는/폐색된 센서 요소들을 식별하는 것으로부터 생성된 센서 요소 상태 맵에 기초하여 정정될 수 있다. 센서 요소 상태 맵에서 결함 있는/폐색된 센서 요소들에 대응하는 페이로드 이미지(550) 내의 픽셀들은 정정된 페이로드 이미지(560)를 형성하기 위해 이들의 각자의 값들을 이웃 픽셀의 값 및/또는 이웃 픽셀들의 평균값으로 대체시킴으로써 조정될 수 있다.
도면들에 도시된 특정 배열들은 제한하는 것으로서 간주되어서는 안된다. 다른 실시예들은 주어진 도면에 도시된 각각의 요소를 더 많거나 또는 더 적게 포함할 수 있다는 것을 이해해야 한다. 추가로, 예시된 요소들 중 일부는 결합 또는 생략될 수 있다. 더욱더, 예시적인 실시예는 도면들에 예시되지 않은 요소들을 포함할 수 있다.
정보의 프로세싱을 표현하는 단계 또는 블록은 본 명세서에서 설명되는 방법 또는 기법의 특정 논리 기능들을 수행하도록 구성될 수 있는 회로부에 대응할 수 있다. 대안적으로 또는 추가적으로, 정보의 프로세싱을 표현하는 단계 또는 블록은 (관련 데이터를 포함하는) 프로그램 코드의 일부, 세그먼트, 또는 모듈에 대응할 수 있다. 프로그램 코드는 방법 또는 기법에서 특정 논리 기능들 또는 동작들을 구현하기 위해 프로세서에 의해 실행가능한 하나 이상의 명령어들을 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 디스크, 하드 드라이브, 또는 다른 스토리지 매체를 포함하는 스토리지 디바이스와 같은 임의의 타입의 컴퓨터 판독가능 매체 상에 저장될 수 있다.
컴퓨터 판독가능 매체는 레지스터 메모리, 프로세서 캐시, 및 랜덤 액세스 메모리(RAM)와 같이 짧은 기간들 동안 데이터를 저장하는 컴퓨터 판독가능 매체들과 같은 비일시적 컴퓨터 판독가능 매체들을 또한 포함할 수 있다. 컴퓨터 판독가능 매체들은 보다 긴 기간들 동안 프로그램 코드 및/또는 데이터를 저장하는 비일시적 컴퓨터 판독가능 매체들을 또한 포함할 수 있다. 따라서, 컴퓨터 판독가능 매체들은, 예를 들어, 판독 전용 메모리(ROM), 광학 또는 자기 디스크들, 콤팩트-디스크 판독 전용 메모리(CD-ROM)와 같은 2차 또는 영구 장기 스토리지를 포함할 수 있다. 컴퓨터 판독가능 매체들은 또한 임의의 다른 휘발성 또는 비휘발성 스토리지 시스템들일 수 있다. 컴퓨터 판독가능 매체는, 예를 들어, 컴퓨터 판독가능 스토리지 매체, 또는 유형(tangible)의 스토리지 디바이스로 간주될 수 있다.
다양한 예들 및 실시예들이 개시되었지만, 다른 예들 및 실시예들이 본 기술분야의 통상의 기술자에게 명백할 것이다. 다양한 개시된 예들 및 실시예들은 예시의 목적들을 위한 것이고 제한하려는 것으로 의도된 것이 아니며, 진정한 범주는 다음의 청구범위에 의해 나타내어진다.

Claims (14)

  1. 결함있는 이미지 센서 요소들을 교정하는 방법으로서,
    이미지 센서를 통해 복수의 이미지들을 캡처하는 단계 - 상기 이미지 센서는 복수의 센서 요소들을 포함하고, 상기 복수의 센서 요소들은 상기 캡처된 복수의 이미지들 내의 각자의 픽셀들을 표현하도록 구성됨 -;
    상기 복수의 이미지들을 캡처하는 단계 동안에, 광학 요소의 적어도 하나의 특성을 조정하는 단계 - 상기 광학 요소는 상기 이미지 센서에 커플링됨 -;
    상기 복수의 이미지들을 집합 이미지(aggregate image)로 결합(combining)하는 단계;
    상기 집합 이미지에 기초하여, 상기 복수의 센서 요소들 중 특정 센서 요소의 상태를 결정하는 단계; 및
    페이로드 이미지에서, 상기 특정 센서 요소와 연관되는 특정 픽셀의 값을 조정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 복수의 이미지들은 상기 광학 요소에 의해 정의된 상이한 각자의 초점 거리 설정들로 캡처되는 방법.
  3. 제1항에 있어서,
    상기 광학 요소의 적어도 하나의 특성을 조정하는 단계는, 상기 광학 요소의 시야(field of view)를 조정하는 단계, 상기 광학 요소의 줌 설정(zoom setting)을 조정하는 단계, 상기 광학 요소의 애퍼처 설정(aperture setting)을 조정하는 단계, 또는 상기 광학 요소의 포지션(position)을 조정하는 단계 중 적어도 하나를 포함하는 방법.
  4. 제1항에 있어서,
    상기 이미지 센서의 시야를 미터링(metering)하는 단계, 및 상기 미터링하는 단계에 기초하여, 상기 복수의 이미지들을 캡처할 상기 이미지 센서의 감도 및 셔터 속도를 선택하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 결정된 상태를 센서 요소 상태 맵에 맵핑시키는 단계를 더 포함하고, 상기 특정 픽셀의 값을 조정하는 단계는 상기 센서 요소 상태 맵에 기초하는 방법.
  6. 제5항에 있어서,
    상기 센서 요소 상태 맵을 시간과 연관시키는 단계 및 대응하는 복수의 상이한 시간들과 연관된 복수의 센서 요소 상태 맵들의 이력 레코드(historical record)를 제공하는 단계를 더 포함하고, 상기 특정 픽셀의 값을 조정하는 단계는 상기 이력 레코드에 추가로 기초하는 방법.
  7. 제1항에 있어서,
    상기 광학 요소의 적어도 하나의 특성을 조정하는 단계는, 상기 광학 요소로 하여금 자동 초점 프로세스(autofocus process)를 수행하게 하는 단계를 포함하고, 상기 자동 초점 프로세스는 상기 이미지 센서에 대해 상기 광학 요소의 포지션을 조정하여 각각의 각자의 이미지(each respective image)에 대한 상이한 각자의 초점 거리 설정들을 제공하는 것을 포함하는 방법.
  8. 제1항에 있어서,
    상기 복수의 이미지들을 집합 이미지로 결합하는 단계는, 상기 복수의 이미지들의 연관된 픽셀 값들을 평균화하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 특정 센서 요소의 상태를 결정하는 단계는,
    상기 각자의 픽셀의 값을 상기 집합 이미지 내의 적어도 하나의 이웃 픽셀의 값과 비교하는 단계; 및
    상기 비교에 기초하여, 상기 각자의 픽셀과 상기 적어도 하나의 이웃 픽셀 사이의 차이가 미리 결정된 임계치보다 높다는 것을 결정하는 단계
    를 포함하는 방법.
  10. 제1항에 있어서,
    상기 결정된 상태는 결함 없는 센서 요소(non-defective sensor element), 핫 센서 요소(hot sensor element), 어두운 센서 요소(dark sensor element), 또는 폐색된 센서 요소(occluded sensor element) 중 적어도 하나를 포함하는 방법.
  11. 제1항에 있어서,
    상기 특정 픽셀의 값을 조정하는 단계는, 상기 특정 픽셀의 값을 적어도 하나의 이웃 픽셀의 대응하는 값으로 설정하는 단계를 포함하는 방법.
  12. 제1항에 있어서,
    상기 특정 픽셀의 값을 조정하는 단계는, 상기 특정 픽셀의 값을 복수의 이웃 픽셀들의 대응하는 평균값으로 설정하는 단계를 포함하는 방법.
  13. 광학 이미징 시스템으로서,
    복수의 센서 요소들을 포함하는 이미지 센서 - 상기 복수의 센서 요소들은 캡처된 이미지들 내의 각자의 픽셀들을 표현하도록 구성됨 -;
    상기 이미지 센서에 커플링되고 상기 캡처된 이미지들의 초점 거리 설정을 정의하도록 구성되는 광학 요소; 및
    메모리 및 적어도 하나의 프로세서를 포함하는 제어기
    를 포함하고,
    상기 적어도 하나의 프로세서는 제1항 내지 제12항 중 어느 한 항에 따른 결함있는 이미지 센서 요소들을 교정하는 방법을 수행하기 위해 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 광학 이미징 시스템.
  14. 실행될 때, 컴퓨터로 하여금 제1항 내지 제12항 중 어느 한 항에 따른 결함있는 이미지 센서 요소들을 교정하는 방법을 수행하게 하는 프로세서 실행가능 명령어들을 포함하는 컴퓨터 판독가능 매체.
KR1020187007075A 2015-12-16 2016-11-30 결함있는 이미지 센서 요소들의 교정 KR101879161B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/972,075 US9854188B2 (en) 2015-12-16 2015-12-16 Calibration of defective image sensor elements
US14/972,075 2015-12-16
PCT/US2016/064293 WO2017105846A1 (en) 2015-12-16 2016-11-30 Calibration of defective image sensor elements

Publications (2)

Publication Number Publication Date
KR20180030718A KR20180030718A (ko) 2018-03-23
KR101879161B1 true KR101879161B1 (ko) 2018-07-16

Family

ID=59057282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187007075A KR101879161B1 (ko) 2015-12-16 2016-11-30 결함있는 이미지 센서 요소들의 교정

Country Status (8)

Country Link
US (1) US9854188B2 (ko)
EP (1) EP3308537B1 (ko)
JP (1) JP6717858B2 (ko)
KR (1) KR101879161B1 (ko)
CN (1) CN108028895B (ko)
AU (1) AU2016373981B2 (ko)
CA (1) CA2996751C (ko)
WO (1) WO2017105846A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489662B2 (en) * 2016-07-27 2019-11-26 Ford Global Technologies, Llc Vehicle boundary detection
US20180205890A1 (en) * 2017-01-18 2018-07-19 Jerry L. Conway, Sr. Single camera dynamic imaging systems and methods of capturing dynamic images
DE102018122049A1 (de) * 2017-09-11 2019-03-14 Vuereal Inc. Anzeigeoptimierungstechniken für mikro-led-vorrichtungen und -arrays
KR102655949B1 (ko) * 2018-05-30 2024-04-09 삼성전자주식회사 3d 영상 기반의 얼굴 인증 방법 및 장치
GB201812446D0 (en) 2018-07-31 2018-09-12 Barco Nv Method and system for mapping the non-uniformity of an image sensor
JP7218516B2 (ja) * 2018-08-30 2023-02-07 株式会社リコー 画像形成装置
US11172192B2 (en) * 2018-12-27 2021-11-09 Waymo Llc Identifying defects in optical detector systems based on extent of stray light
GB2581977B (en) * 2019-03-05 2023-03-29 Advanced Risc Mach Ltd Pixel Correction
KR20200129388A (ko) * 2019-05-08 2020-11-18 엘지이노텍 주식회사 카메라 모듈
EP3993389A4 (en) * 2019-06-28 2022-08-17 Sony Semiconductor Solutions Corporation TRANSMITTER, RECEIVER AND TRANSPORT SYSTEM
CN110493545A (zh) * 2019-09-03 2019-11-22 河海大学常州校区 一种具有热像素校正功能的cmos图像传感器
EP3832537A1 (en) 2019-12-05 2021-06-09 Axis AB Thermal camera health monitoring
EP3832538B1 (en) * 2019-12-05 2022-05-11 Axis AB Automatic malfunction detection in a thermal camera
KR20220043611A (ko) * 2020-09-29 2022-04-05 엘지전자 주식회사 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법
WO2023077426A1 (en) * 2021-11-05 2023-05-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing device, imaging device, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090045305A (ko) * 2006-08-29 2009-05-07 레이던 컴퍼니 초점면 어레이에 대한 적응적 비-균일성 보상을 위한 시스템 및 방법
KR20150023907A (ko) * 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0647064B1 (en) 1993-10-04 2000-11-08 Raytheon Company Optical system including focal plane array compensation technique
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
US6330371B1 (en) 1998-10-19 2001-12-11 Raytheon Company Adaptive non-uniformity compensation using feedforward shunting and min-mean filter
US6693668B1 (en) * 1999-06-04 2004-02-17 Canon Kabushiki Kaisha Self-diagnostic image sensor
JP2001086411A (ja) * 1999-09-13 2001-03-30 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2002354340A (ja) * 2001-05-24 2002-12-06 Olympus Optical Co Ltd 撮像装置
JP3784675B2 (ja) * 2001-08-01 2006-06-14 松下電器産業株式会社 撮像装置、撮像方法、およびプログラム
JP4017874B2 (ja) * 2002-01-28 2007-12-05 株式会社ニコンシステム 電子カメラ
US20030179418A1 (en) 2002-03-19 2003-09-25 Eastman Kodak Company Producing a defective pixel map from defective cluster pixels in an area array image sensor
JP3826878B2 (ja) * 2002-11-19 2006-09-27 コニカミノルタフォトイメージング株式会社 撮像装置
US7372484B2 (en) * 2003-06-26 2008-05-13 Micron Technology, Inc. Method and apparatus for reducing effects of dark current and defective pixels in an imaging device
US7295233B2 (en) 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
US7590305B2 (en) 2003-09-30 2009-09-15 Fotonation Vision Limited Digital camera with built-in lens calibration table
US8369650B2 (en) 2003-09-30 2013-02-05 DigitalOptics Corporation Europe Limited Image defect map creation using batches of digital images
KR100581514B1 (ko) 2004-03-16 2006-05-22 엠텍비젼 주식회사 가중치 값을 이용한 결함 픽셀 보정 장치 및 방법
JP4480147B2 (ja) * 2004-09-13 2010-06-16 キヤノン株式会社 撮像装置およびその制御方法
US7711259B2 (en) * 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
US20080055434A1 (en) 2006-08-31 2008-03-06 Micron Technology, Inc. Image sensor defect identification using blurring techniques
JP4695571B2 (ja) * 2006-09-14 2011-06-08 三星電子株式会社 撮像装置および撮像方法
KR101354669B1 (ko) * 2007-03-27 2014-01-27 삼성전자주식회사 이미지 센서의 불량 화소 검출 방법 및 장치, 이미지센서로부터의 이미지 획득 방법 및 장치
JP4985124B2 (ja) * 2007-06-08 2012-07-25 カシオ計算機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20100141810A1 (en) 2008-12-04 2010-06-10 Proimage Technology Bad Pixel Detection and Correction
US10091439B2 (en) * 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9706138B2 (en) * 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
CN103106927A (zh) * 2011-11-15 2013-05-15 恒景科技股份有限公司 坏点修正方法与装置
US9195899B2 (en) 2012-01-13 2015-11-24 Carestream Health, Inc. Self correcting portable digital radiography detector, methods and systems for same
JP2015080152A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置、その制御方法及びプログラム
KR102149463B1 (ko) 2014-02-19 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090045305A (ko) * 2006-08-29 2009-05-07 레이던 컴퍼니 초점면 어레이에 대한 적응적 비-균일성 보상을 위한 시스템 및 방법
KR20150023907A (ko) * 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들

Also Published As

Publication number Publication date
WO2017105846A1 (en) 2017-06-22
KR20180030718A (ko) 2018-03-23
EP3308537A1 (en) 2018-04-18
AU2016373981A1 (en) 2018-01-04
AU2016373981B2 (en) 2019-05-09
JP6717858B2 (ja) 2020-07-08
JP2019500761A (ja) 2019-01-10
US9854188B2 (en) 2017-12-26
EP3308537A4 (en) 2018-12-05
EP3308537B1 (en) 2022-03-09
CN108028895B (zh) 2020-10-13
US20170180659A1 (en) 2017-06-22
CA2996751A1 (en) 2017-06-22
CA2996751C (en) 2018-12-18
CN108028895A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
KR101879161B1 (ko) 결함있는 이미지 센서 요소들의 교정
US10070042B2 (en) Method and system of self-calibration for phase detection autofocus
CN112492170B (zh) 一种用于选择图像数据的方法、装置及计算机可读介质
US9253375B2 (en) Camera obstruction detection
US20180146182A1 (en) Video frame processing method
US10033950B2 (en) Apparatus and method for controlling a focus detectable image sensor
US20130113888A1 (en) Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display
CN103918249B (zh) 成像装置和成像方法
CN111630837B (zh) 图像处理装置、输出信息控制方法以及程序
US20140354847A1 (en) Imaging apparatus, method of detecting flicker, and information processing unit
US20110043674A1 (en) Photographing apparatus and method
KR20180016385A (ko) 자동 화이트 밸런스를 위한 동적 프레임 스킵
US11201999B2 (en) Imaging device, information acquisition method, and information acquisition program
US20230033956A1 (en) Estimating depth based on iris size
JP2017130106A (ja) データ処理装置、撮像装置、およびデータ処理方法
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
JP2017223865A (ja) 撮像装置及び自動焦点調節方法
JP2018186363A (ja) 撮像装置
JP6415106B2 (ja) 撮像装置及びその制御方法、並びに、プログラム
US9936158B2 (en) Image processing apparatus, method and program
WO2024076363A1 (en) Field of view correction techniques for shutterless camera systems
JP4886473B2 (ja) 撮像装置および撮像方法
CN114125408A (zh) 图像处理方法及装置、终端和可读存储介质
JP2014039100A (ja) 画像処理装置、撮像装置、および画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant