KR101361331B1 - Ｈｄｒ 캡처 능력을 갖는 이미지 센서 - Google Patents

Ｈｄｒ 캡처 능력을 갖는 이미지 센서 Download PDF

Info

Publication number
KR101361331B1
KR101361331B1 KR1020120062155A KR20120062155A KR101361331B1 KR 101361331 B1 KR101361331 B1 KR 101361331B1 KR 1020120062155 A KR1020120062155 A KR 1020120062155A KR 20120062155 A KR20120062155 A KR 20120062155A KR 101361331 B1 KR101361331 B1 KR 101361331B1
Authority
KR
South Korea
Prior art keywords
image
data
image sensor
buffer
signal processor
Prior art date
Application number
KR1020120062155A
Other languages
English (en)
Other versions
KR20130000325A (ko
Inventor
마이클 프랭크
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20130000325A publication Critical patent/KR20130000325A/ko
Application granted granted Critical
Publication of KR101361331B1 publication Critical patent/KR101361331B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 HDRI(high dynamic range image)를 생성하는 시스템 및 방법에 관한 것이다. 이미지 센서(30)의 한 번의 리셋 후에, 데이터를 검색하기 위한 2회 이상의 센서(30)의 판독이 행해진다. 이러한 이미지 센서(30)의 판독은 다음의 센서(30)의 리셋 이전에 행해질 수 있다. 이러한 판독은 또한 서로에 대해 미리 정해진 시간에 달성될 수 있다. 이러한 스캔 동안의 데이터 판독은 이미지 신호 프로세서에 의해 디인터리빙되어 HDRI로 결합될 수 있다.

Description

ＨＤＲ 캡처 능력을 갖는 이미지 센서{IMAGE SENSOR HAVING HDR CAPTURE CAPABILITY}
본 발명은 일반적으로 이미지 캡처 시스템 및 기법에 관한 것이다.
이 섹션은 아래에 설명되고 그리고/또는 청구되는 본 발명의 다양한 양태들과 연관될 수 있는 본 기술분야의 다양한 양태들을 독자에게 소개하도록 의도된다. 이 논의는 본 발명의 다양한 양태들에 대한 더 나은 이해를 용이하게 하기 위한 배경 정보를 독자에게 제공하는데 유용하다고 생각된다. 따라서, 이 주장들은 종래 기술의 인정으로서가 아니라, 이러한 관점에서 읽어야 한다는 것을 이해해야 한다.
HDR(high dynamic range) 이미징은 일반적으로 표준 디지털 이미징 기법들보다 이미지의 가장 밝은 영역들과 가장 어두운 영역 사이의 더 큰 동적 범위의 휘도의 캡처 및 표현을 허용하는 이미징 기법들의 세트와 연관된다. 더 넓은 동적 범위는 HDR 이미지들로 하여금 실제 장면들에서 볼 수 있는 넓은 범위의 강도 레벨을 더 정확하게 표현하도록 허용한다. HDR 이미지를 캡처하기 위한 한 방법은 복수의 독립적으로 캡처된 사진들을 통합하는 단계를 포함한다. 예를 들어, 이 프로세스는 상이한 노출에서 연속으로 복수의 이미지들을 캡처한 후, 그것들을 처리하여 합성 HDR 이미지를 생성하는 것을 포함할 수 있다.
그러나, 복수의 독립적으로 캡처된 이미지들로부터 HDR 이미지를 생성하는 프로세스에는 단점들이 존재한다. 예를 들어, 이미지들이 연속적으로 캡처될 때 변화들이 발생하여, 그것들로부터 생성된 합성 HDR 이미지가 완전히 정렬이 되지 않을 수 있다. 이는 합성 HDR 이미지 내에 모션 부산물들(motion artifacts)을 생성할 수 있다. 게다가, 이미지들은 이미지 장면 내의 로컬 모션, 예컨대, 바람에 흔들리는 나무, 약간 움직이는 사람들 및 얼굴들 등에 의해 영향을 받을 수 있다. 추가적으로, HDR 이미지가 처리되는 데 요구되는 시간은 캡처될 이미지들에 기초하여 지연될 수 있다. 따라서, HDR 이미지들이 생성될 수 있는 속도 및 연속성을 증가시키기 위한 기법들 및 시스템들이 바람직하다.
본원에 개시된 특정 실시예들의 요약이 아래에 제시된다. 이 양태들은 이러한 특정 실시예들의 간략한 요약을 독자에게 제공하기 위해 제시될 뿐이며, 이 양태들은 본 발명의 범위를 제한하도록 의도되지 않는다는 것을 이해해야 한다. 실제로, 본 발명은 아래에 제시되지 않을 수 있는 다양한 양태들을 포함할 수 있다.
본 발명의 실시예들은 특히 HDR 이미징 어플리케이션에서의 이미지들의 생성에 관한 것이다. 예를 들어, 일 실시예에서, 카메라와 같은 이미지 캡처 디바이스에 의해 하나의 이미지가 캡처될 수 있다. 이 캡처된 이미지는 이미지 캡처 디바이스의 이미지 센서에 의해 전기 신호들(예컨대, 전압)로 변환된 광 에너지의 결과일 수 있다. 제1 판독은 캡처될 이미지의 노출 부족인 표현에 대응하고 제2 판독은 캡처될 이미지의 노출 과다인 표현에 대응하도록, 이미지 센서의 복수의 스캔(즉, 판독들)이 행해질 수 있다. 이 판독 데이터는 하나의 경로를 따라 이미지 처리 회로에 송신될 수 있으며, 여기서 이미지 신호 프로세서가 제1 및 제2 스캔으로부터의 데이터를 분리시킨다. 이 분리된 데이터는 전자 디바이스의 디스플레이 상에서 표시되도록 송신될 수 있는 HDR 이미지를 생성하기 위해 독립적으로 저장되고 이미지 신호 프로세서에 의해 재결합될 수 있다.
위에 언급된 특징들의 다양한 개선물들이 본 발명의 다양한 양태들과 연관되어 존재할 수 있다. 추가적인 특징들은 이러한 다양한 양태들 내에도 통합될 수 있다. 이 개선물들 및 추가적인 특징들은 독립적으로 또는 임의의 조합으로 존재할 수 있다. 예컨대, 예시된 실시예들 중 하나 이상에 관해 아래에 논의되는 다양한 특징들은 본 발명의 선술한 양태들 중 임의의 것에 단독으로 또는 임의의 조합으로 통합될 수 있다. 다시, 위에 제시된 간략한 요약은 청구된 주제에 대한 제한 없이 단지 독자에게 본 발명의 실시예들의 특정 양태들 및 맥락들을 숙지시키도록 의도된다.
본 발명의 다양한 양태들은 뒤따르는 상세한 설명을 읽고 도면들을 참조함으로써 더 잘 이해될 수 있다.
도 1은 본 발명에 제시되는 양태들에 따른, HDR 이미지 처리 기법을 구현하도록 구성되는 이미지 캡처 디바이스 및 이미지 신호 처리 서브시스템을 포함하는 전자 디바이스의 예의 컴포넌트들을 도시하는 간략화된 블록도이다.
도 2는 도 1의 전자 디바이스의 이미지 캡처 디바이스 내에 구현될 수 있는 베이어(Bayer) 색 필터 어레이의 2x2 픽셀 블록의 그래픽 표현이다.
도 3은 본 발명의 양태들에 따른, 핸드헬드 휴대용 전자 디바이스의 형태의 도 1의 전자 디바이스의 전면도이다.
도 4는 도 3에 도시된 핸드헬드 전자 디바이스의 후면도이다.
도 5는 도 1의 전자 디바이스를 통해 캡처될 이미지의 예를 도시한다.
도 6은 도 1의 전자 디바이스의 이미지 캡처 디바이스 및 이미지 신호 처리 서브시스템의 블록도이다.
도 7은 도 6의 이미지 신호 처리 서브시스템의 이미지 신호 프로세서의 동작을 예시하는 흐름도이다.
본 발명의 하나 이상의 구체적인 실시예들이 아래 설명될 것이다. 이 설명되는 실시예들은 현재 개시되는 기법들의 예들일 뿐이다. 추가적으로, 이 실시예들의 간결한 설명을 제공하기 위해, 실제 구현의 모든 특징들이 명세서에 설명되지 않을 수 있다. 임의의 공학 또는 설계 프로젝트에서와 같은 임의의 그러한 실제 구현의 개발에서, 구현마다 다를 수 있는 시스템 연관 및 비즈니스 연관 제약들의 준수와 같은 개발자의 특정 목표들을 달성하기 위해 다수의 구현 특정 결정들이 행해져야 한다. 또한, 그러한 개발 노력은 복잡하고 시간 소모적이지만, 그럼에도 불구하고, 본 개시내용의 이점을 갖는 당업자에게는 설계, 조립, 및 제조의 일상적인 일임을 이해해야 한다.
본 개시내용의 다양한 실시예들의 구성요소들을 언급할 때, 단수 명사들은 하나 이상의 구성요소들이 존재하는 것을 의미하도록 의도된다. "포함하는(comprising, including)" 및 "갖는(having)"이라는 용어들은 포괄적인 것으로 의도되며, 열거된 구성요소들 이외에도 추가적인 구성요소들이 있을 수 있다는 것을 의미한다. 추가적으로, 본 개시내용의 "일 실시예" 또는 "실시예"에 대한 언급은, 인용된 피처들을 또한 포함하는 추가적인 실시예들의 존재를 배제하는 것으로 해석되도록 의도되어서는 아니 된다는 것이 이해되어야 한다.
이하에 설명되는 바와 같이, 본 개시내용은 일반적으로 디지털 이미지 센서를 이용하는 HDR 이미지 생성 및 단일의 노출 동안의 이미지 캡처들을 병합하기 위한 다양한 기법들을 제공한다. 도 1은 본 개시내용의 실시예들에 따라 디지털 이미지들의 생성을 제공할 수 있는 전자 디바이스(10)의 예를 예시하는 블록도이다. 전자 디바이스(10)는, 하나 이상의 이미지 센싱 디바이스를 이용하여 획득된 데이터와 같은 이미지 데이터를 수신하고 프로세싱할 수 있는, 랩톱 또는 데스크톱 컴퓨터, 모바일 폰, 디지털 미디어 플레이어 등과 같은 임의의 유형의 전자 디바이스일 수 있다. 단지 예로써, 전자 디바이스(10)는 캘리포니아주 쿠퍼티노의 Apple Inc.로부터 이용가능한 iPod® 또는 iPhone®의 모델과 같은 휴대형 전자 디바이스일 수 있다. 추가적으로, 전자 디바이스(10)는 Apple Inc.로부터 이용가능한 MacBook®, MacBook® Pro, MacBook Air®, iMac®, Mac® Mini, Mac Pro®, 또는 iPad®의 모델과 같은 데스크톱, 랩톱, 또는 태블릿 컴퓨터일 수 있다. 다른 실시예들에서, 전자 디바이스(10)는 또한, 이미지 데이터를 획득하고 프로세싱할 수 있는 다른 제조사로부터의 전자 디바이스의 모델일 수 있다.
전자 디바이스는, 디바이스(10)의 기능에 기여하는 다양한 내부 및/또는 외부 컴포넌트들을 포함할 수 있다. 본 기술분야의 당업자는 도 1에 도시된 다양한 기능 블록들이 (회로를 포함하는) 하드웨어 구성요소들, (컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 코드를 포함하는) 소프트웨어 구성요소들 또는 하드웨어 및 소프트웨어 구성요소들 둘 다의 조합을 포함할 수 있음을 이해할 것이다. 예를 들어, 현재 예시된 실시예에서, 전자 디바이스(10)는 입력/출력(I/O) 포트들(12), 입력 구조물들(14), 하나 이상의 프로세서들(16), 메모리 디바이스(18), 비휘발성 저장소(20), 확장 카드(들)(22), 네트워킹 디바이스(24), 전원(26) 및 디스플레이(28)를 포함할 수 있다. 추가적으로, 전자 디바이스(10)는 디지털 카메라, 및 이미지 프로세싱 회로(ISP 서브시스템)(32)과 같은 하나 이상의 이미징 디바이스(30)를 포함할 수 있다. 이하에 더 상세하게 설명되는 바와 같이, 이미지 프로세싱 회로(32)는, 이미지 데이터를 프로세싱하여 합성(composite) HDR 이미지들을 생성하기 위한 이미지 프로세싱 기법들을 구현할 수 있다.
프로세서(들)(16)은 디바이스(10)의 일반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(들)(16)은 전자 디바이스(10)의 운영 체제, 프로그램들, 사용자 및 어플리케이션 인터페이스들, 및 임의의 그외의 기능들을 실행하는 프로세싱 능력을 제공할 수 있다. 프로세서(들)(16)은 하나 이상의 "범용(general-purpose)" 마이크로프로세서들, 하나 이상의 특수 목적(special-purpose) 마이크로프로세서들과 같은 마이크로프로세서들 및/또는 ASIC들(application-specific microprocessors), 또는 그러한 프로세싱 컴포넌트들의 조합을 포함할 수 있다. 예를 들어, 프로세서(들)(16)은 하나 이상의 프로세싱 엔진(예를 들어, RISC 또는 CISC 프로세서들, 그래픽 프로세서들(GPU), 비디오 프로세서들, 및/또는 관련 칩세트들)을 포함할 수 있다. 이해될 수 있는 바와 같이, 프로세서(들)(16)은 디바이스(10)의 다양한 컴포넌트들 사이에서 데이터 및 명령어들을 전달하기 위한 하나 이상의 데이터 버스에 연결될 수 있다. 특정 실시예들에서, 프로세서(들)(16)은, Apple Inc.로부터 이용가능한 Photo Booth®, Apertuer®, iPhoto®, 또는 Preview®, 또는 Apple Inc.에 의해 제공되며 iPhone®의 모델들 상에서 이용가능한 "카메라" 및/또는 "포토" 어플리케이션들과 같은 이미징 어플리케이션들을 전자 디바이스(10) 상에서 실행하는 프로세싱 능력을 제공할 수 있다. 일 실시예에서, 프로세서(들)(16)은 또한 Apple Inc.로부터 이용가능한 FaceTime®과 같은 비디오 회의 어플리케이션을 디바이스(10)상에서 실행하는 능력을 제공할 수 있다.
프로세서(들)(16)에 의해 프로세싱되는 명령어들 또는 데이터는, 메모리 디바이스(18)와 같은 컴퓨터 판독가능한 매체에 저장될 수 있다. 메모리 디바이스(18)는, RAM(random access memory)과 같은 휘발성 메모리로서 또는 ROM(read-only memory)와 같은 비휘발성 메모리로서, 또는 하나 이상의 RAM 및 ROM 디바이스들의 조합으로서 제공될 수 있다. 메모리(18)는 다양한 정보를 저장할 수 있고 다양한 목적을 위해 이용될 수 있다. 예를 들어, 메모리(18)는, BIOS(basic input/output system), 운영 체제, 다양한 프로그램들, 어플리케이션들, 또는 사용자 인터페이스 기능들, 프로세서 기능들 등을 포함하는, 전자 디바이스(10) 상에서 실행될 수 있는 기타 그외의 루틴들과 같은 전자 디바이스(10)를 위한 펌웨어를 저장할 수 있다. 또한, 메모리(18)는 전자 디바이스(10)의 동작 동안 버퍼링 또는 캐싱을 위해 이용될 수 있다. 예를 들면, 일 실시예에서, 메모리(18)는, 그것이 디스플레이(28)에 출력하고 있는 것과 같은 비디오 데이터를 버퍼링하기 위한 하나 이상의 프레임 버퍼를 포함할 수 있다.
메모리 디바이스(18) 외에도, 전자 디바이스(10)는 데이터 및/또는 명령어들의 영구적 저장을 위한 비휘발성 저장소(20)를 더 포함할 수 있다. 비휘발성 저장소(20)는 플래시 메모리, 하드 드라이브 또는 임의의 그외의 광학, 자기, 및/또는 고체 상태 저장 매체, 또는 그의 일부 조합을 포함할 수 있다. 따라서, 명확성을 위해 도 1에 단일 디바이스로서 도시되었지만, 비휘발성 저장 장치(들)(20)는 프로세서(들)(16)와 함께 동작하는 위에 열거한 저장 디바이스들 중 하나 이상의 조합을 포함할 수 있다는 것이 이해되어야 한다. 비휘발성 저장소(20)는 펌웨어, 데이터 파일들, 이미지 데이터, 소프트웨어 프로그램들 및 어플리케이션들, 무선 접속 정보, 개인 정보, 사용자 선호도들, 및 임의의 그외의 적합한 데이터를 저장하는 데에 이용될 수 있다. 본 개시물의 양태들에 따라, 비휘발성 저장소(20) 및/또는 메모리 디바이스(18)에 저장된 이미지 데이터는 디스플레이 상에 출력되기 전에 이미지 프로세싱 회로(32)에 의해 프로세싱될 수 있다.
디스플레이(28)는 디바이스(10)에 의해 생성된 다양한 이미지들, 예를 들면, 이후에 더욱 상세히 설명될 바와 같은, 운영 체제의 GUI, 또는 이미지 프로세싱 회로(32)에 의해 프로세싱되는 (정적 이미지들 및 비디오 데이터를 포함하는) 이미지 데이터를 디스플레이하는 데에 이용될 수 있다. 전술한 바와 같이, 이미지 데이터는 이미지 디바이스(30)를 이용하여 획득된 이미지 데이터 또는 메모리(18) 및/또는 비휘발성 저장소(20)로부터 검색된 이미지 데이터를 포함할 수 있다. 디스플레이(28)는, 예를 들면, 액정 디스플레이(LCD), 플라즈마 디스플레이, 또는 유기 발광 다이오드(OLED) 디스플레이와 같은 임의의 적합한 유형의 디스플레이일 수 있다. 일 실시예에서, 디스플레이는 Apple Inc.로부터 이용가능한, Retina Display®와 같은, 인치당 300 또는 더 많은 픽셀을 갖는 고해상도 LCD 디스플레이일 수 있다. 또한, 일부 실시예들에서, 디스플레이(28)는 전자 디바이스(10)를 위한 입력 구조물(14)로서 기능할 수 있는 전술한 터치 감응 메커니즘(예를 들면, 터치 스크린)과 함께 제공될 수 있다.
전술한 바와 같이, 전자 디바이스(10)는, 정적 이미지들 및 동적 이미지들(예를 들면, 비디오) 양쪽 모두를 획득하도록 구성된 디지털 카메라로서 제공될 수 있는 이미징 디바이스(들)(30)를 포함할 수 있다. 카메라(30)는 광을 캡쳐하고 이를 전기 신호들로 변환하기 위한 하나 이상의 이미지 센서 및 렌즈를 포함할 수 있다. 예시만을 위한 것으로서, 이미지 센서는 CMOS 이미지 센서(예를 들면, CMOS APS(active-pixel sensor)) 또는 CCD(charge-coupled device) 센서를 포함할 수 있다. 일반적으로, 카메라(30) 내의 이미지 센서는 픽셀들의 어레이를 갖는 집적 회로를 포함하며, 여기에서 각각의 픽셀은 이미지 장면으로부터의 광을 감지하기 위한 광검출기(photodetector)를 포함한다. 이미지 센서는 센서 인터페이스를 통해 ISP 서브-시스템(32)에 결합될 수 있는데, 센서 인터페이스는 SMIA(Standard Mobile Imaging Architecture) 인터페이스 또는 임의의 그외의 적합한 직렬 또는 병렬 이미지 센서 인터페이스, 또는 그러한 인터페이스들의 조합을 이용할 수 있다.
본 기술 분야에 숙련된 자들이 알 수 있는 바와 같이, 센서의 이미징 픽셀들 내의 광검출기들은 일반적으로 카메라 렌즈들을 통해 캡쳐된 광의 강도를 검출한다. 그러나, 광검출기들은, 그들 스스로에 의해, 캡쳐된 광의 파장을 일반적으로 검출하지 못할 수 있고, 따라서, 색상 정보를 결정하지 못할 수 있다. 따라서, 이미지 센서는 색상 정보를 캡쳐하기 위한 이미지 센서의 픽셀 어레이와 겹치거나 또는 그 위에 배치될 수 있는 칼라 필터 어레이(CFA)를 더 포함할 수 있다. 칼라 필터 어레이는 작은 칼라 필터들의 어레이를 포함할 수 있는데, 이들 각각은 이미지 센서의 각자의 픽셀과 겹칠 수 있고 캡쳐된 광을 파장에 의해 필터링할 수 있다. 따라서, 함께 이용될 때, 칼라 필터 어레이 및 이미지 센서는, 캡쳐된 이미지를 나타낼 수 있는, 카메라를 통해 캡쳐된 광에 관한 파장 및 강도 정보 양쪽 모두를 제공할 수 있다.
일 실시예에서, 칼라 필터 어레이는 50% 녹색 엘리먼트들, 25% 적색 엘리먼트들, 및 25% 청색 엘리먼트들인 칼라 패턴을 제공하는 베이어(Bayer) 칼라 필터 어레이를 포함할 수 있다. 도 2는 두개의 녹색 엘리먼트들(Gr 및 Gb로 칭해짐), 하나의 적색 엘리먼트(R), 및 하나의 청색 엘리먼트(B)를 포함하는 베이어 CFA의 2×2 픽셀 블록을 도시한다. 따라서, 베이어 칼라 필터 어레이를 이용하는 이미지 센서는 녹색, 적색, 및 청색 파장들에서 카메라(30)에 의해 수신된 광의 강도에 관한 정보를 제공할 수 있어, 이에 의해 각 이미지 픽셀이 세 가지 색상들 중 하나(적색, 녹색 또는 청색) 만을 기록한다. "미처리 이미지 데이터"로서 칭해질 수 있는 이러한 정보는 그 후, 일반적으로 각 픽셀에 대한 적색, 녹색 및 청색 값들의 세트를 보간함으로써, 미처리 이미지 데이터를 풀 칼라 이미지로 변환하는 하나 이상의 디모자이크(demosaicing) 기법들을 이용하여 프로세싱될 수 있다. 그러한 디모자이크 기법들은 ISP 서브-시스템(32)에 의해 수행될 수 있다.
도 3 및 4를 계속 참조하면, 전자 디바이스(10)는, Apple Inc.로부터 이용가능한 iPod®, 예를 들면, iPod Touch®, 또는 iPhone®의 모델일 수 있는, 휴대용 핸드헬드 전자 디바이스(50)의 형태로 도시된다. 핸드헬드 디바이스(50)는 인클로져(enclosure)(52)를 포함하여, 이는 물리적 손상으로부터 내부 컴포넌트들을 보호하고, 전자기 간섭(EMI)로부터 그들을 차폐하도록 기능할 수 있다. 인클로저(52)는 플라스틱, 금속, 합금, 또는 합성 재료와 같은, 임의의 적합한 재료 또는 재료들의 조합으로 형성될 수 있고, 무선 네트워킹(예를 들면, 802.11 a/b/g/n 네트워킹) 및/또는 전화통신 신호들(예를 들면, GPRS, EDGE, 3G, LTE, 등)과 같은, 전자기 방사선의 특정 주파수가 도 3에 나타난 바와 같이, 인클로저(52) 내에 배치될 수 있는 무선 통신 회로(예를 들면, 네트워크 디바이스(24))를 거쳐가게 할 수 있다.
인클로저(52)는 사용자가 핸드헬드 디바이스(50)와 인터페이스할 수 있는 다양한 사용자 입력 구조들(14)을 포함할 수 있다. 예를 들면, 각각의 입력 구조(14)는 눌려지거나 활성화되었을 때 하나 이상의 각각의 디바이스를 제어할 수 있다. 예를 들면, 하나 이상의 입력 구조(14)는 슬립, 웨이크, 또는 파워 온/오프 모드 사이에서 토글링하고, 셀룰러 폰 어플리케이션을 위한 벨소리를 묵음하고, 볼륨 출력을 증가 또는 감소 하는 등의 "홈" 스크린 또는 메뉴 버튼이 디스플레이되게 한다. 예시된 입력 구조들(14)은 단지 설명을 위한 것이며, 핸드헬드 디바이스(50)는 버튼, 스위치, 키, 노브, 스크롤 휠 등을 포함하는 다양한 형태로 존재하는 많은 적합한 사용자 입력 구조를 포함할 수 있다는 것이 이해되어야 한다.
핸드헬드 디바이스(50)는 다양한 I/O 포트(12)를 포함할 수 있다. 예를 들면, 도시된 I/O 포트(12)는 데이터를 전송 및 수신하고 파워 소스(26)를 충전하기 위한 등록 연결 포트(12a)(예를 들면, Apple Inc.에서 사용가능한 30-핀 독-커넥터)를 포함할 수 있고, 이는 하나 이상의 이동식, 충전식, 및/또는 교환식 배터리를 포함할 수 있다. I/O 포트는 또한 오디오 출력 디바이스(예를 들면, 헤드폰들 또는 스피커들)에 디바이스(50)를 연결하기 위한 오디오 연결 포트(12b)를 포함할 수 있다. 또한, 핸드헬드 디바이스(50)가 이동 전화 기능을 제공하는 실시예들에서, I/O 포트(12c)는 가입자 식별 모듈(SIM) 카드(예를 들면, 확장 카드(22))를 수용하기 위해 제공될 수 있다.
LCD, OLED, 또는 임의의 적합한 디스플레이 유형일 수 있는, 디스플레이(28)는 핸드헬드 디바이스(50)에 의해 생성되는 다양한 이미지를 디스플레이할 수 있다. 예를 들면, 디스플레이(28)는 파워 상태, 신호 세기, 외부 디바이스 연결, 등과 같은 핸드헬드 디바이스(50)의 하나 이상의 상태에 관하여 사용자에게 피드백을 제공하기 위해 다양한 시스템 지시자들(54)을 디스플레이할 수 있다. 디스플레이(28)는 또한 사용자가 디바이스(50)와 상호작용하게 하는 그래픽 사용자 인터페이스(GUI)(56)를 디스플레이할 수 있다. 특정 실시예들에서, GUI(56)의 현재 디스플레이된 스크린 이미지는 디바이스(50) 상에서 실행되는 Apple Inc.로부터 사용가능한 Mac OS® 또는 iOS®(이전에는 iPhone OS®) 운영 시스템의 버전일 수 있는 운영 시스템의 홈-스크린을 나타낼 수 있다.
GUI(56)는 사용자 선택(예를 들면, 특정 아이콘(58)의 선택에 대응하는 사용자 입력을 수신)에 따라 열리거나 실행될 수 있는 다양한 어플리케이션에 대응할 수 있는 아이콘들(58)과 같이, 다양한 그래픽 구성요소를 포함할 수 있다. 일부 실시예들에서, 아이콘(58)의 선택은 아이콘(58)의 선택이 스크린으로 이어지거나 하나 이상의 추가 아이콘 또는 다른 GUI 구성요소들을 포함하는 다른 그래픽 윈도우를 열도록 계층 내비게이션 프로세스로 이어질 수 있다. 예시된 실시예에서, 아이콘들 중 하나(58)는 이미지를 획득하기 위해 디바이스(50)의 전면상에 위치한 제1 전방 카메라(30a) 및 디바이스(50)의 후면 상의 (도 3에서 점선으로 도시된) 제2 후방 카메라(30b) 중 하나 또는 둘 다와 함께 사용될 수 있는 카메라 어플리케이션(66)을 나타낼 수 있다. 도 4를 간단히 참조하면, 핸드헬드 디바이스(50)의 후면도는 하우징(52)과 통합되고 핸드헬드 디바이스(50)의 뒷면에 위치한 후방 카메라(30b)를 도시하는 것으로 예시되어 있다. 예시된 실시예에서, 핸드헬드 디바이스(50)의 후면은 후방 카메라(30b)를 사용하여 캡쳐된 이미지 장면을 비추는데 사용될 수 있는 플래시 모듈(또는 스트로브로도 지칭됨)(64)을 포함할 수 있다. 예를 들면, 플래시 모듈(64)은 제논 광 디바이스 및/또는 발광 다이오드(LED)를 포함할 수 있다. 일 실시예에서, 전방 및 후방 카메라들(30a 및 30b)은 Apple Inc.로부터 사용가능한 FaceTime®에 기초한 화상-회의 어플리케이션의 사용을 통해서와 같이, 화상-회의 능력을 제공하는 데에 이용될 수 있다.
또한, 핸드헬드 디바이스(50)는 다양한 오디오 입력 및 출력 구성요소를 포함할 수 있다. 예를 들면, 오디오 입력/출력 구성요소(70)는 마이크와 같은 입력 수신기를 포함할 수 있다. 따라서, 핸드헬드 디바이스(50)가 이동 전화 기능을 포함하는 실시예들에서, 입력 수신기들은 사용자의 음성과 같은 사용자 오디오 입력을 수신할 수 있다. 또한, 오디오 입력/출력 구성요소(70)는 미디어 플레이어 어플리케이션(72)을 사용하여 음악 데이터의 재생 동안과 같이, 사용자에게 오디오 신호를 전송하게 기능하는 하나 이상의 스피커를 포함할 수 있는 하나 이상의 출력 전송기들을 포함할 수 있다. 이동 전화 실시예에서, 추가 오디오 출력 전송기(74)는 도 3에 도시된 바와 같이 제공될 수 있다. 오디오 입력/출력 구성요소(70)의 출력 전송기와 같이, 출력 전송기(74)는 전화 통화동안 수신되는 음성 데이터와 같은, 사용자에게 오디오 신호를 전송하는 하나 이상의 스피커를 또한 포함할 수 있다. 따라서, 이동 전화 실시예에서, 오디오 입력/출력 구성요소들(70 및 74)은 전체적으로 전화기의 오디오 수신 및 전송 구성요소로서 기능할 수 있다.
이제, 전자 디바이스(10)가 가질 수 있는 일부 폼 팩터와 관련된 일부 컨텍스트가 제공되었으므로, 본 발명에 개시된 실시예들에 따른 전자 디바이스(10) 상에서 구현될 수 있는 특정 HDR 이미징 기법들이 이하 상세히 논의될 것이다. 예를 들어, 이미지 프로세싱 회로(32)는 캡처된 이미지들의 이미지 병합을 수행하여 복합 HDR 이미지를 생성할 수 있다. 일 실시예에서, HDR 이미징에서, 카메라(30)는 단일 노출 동안에 저 노출 레벨(노출 부족)에서의 하나 이상의 이미지 및 고 노출 레벨(노출 과잉)에서의 하나 이상의 이미지를 포함하는 복수의 이미지를 획득할 수 있으며, 이는 이미지 프로세싱 회로(32)에 의해 단일의 복합 HDR 이미지를 생성하는 데 이용될 수 있다. 대안으로, 카메라(30)는 저 노출 레벨(노출 부족)에서의 적어도 하나의 이미지, 정상 노출 레벨에서의 적어도 하나의 이미지, 및 고 노출 레벨(노출 과잉)에서의 적어도 하나의 이미지를 획득할 수 있다. 이미지 프로세싱 회로(32)는 이들 이미지를 처리하여 복합 HDR 이미지를 생성할 수 있다.
도 5는 카메라(30)의 이미지 센서에 의해 캡처되는 이미지(76)의 일례를 도시한다. 이미지(76)는 이미지 획득(즉, 픽셀들이 노출이 개시되게 하는 라인 스캔 리셋 및 라인 스캔 획득)의 롤링 셔터 방식을 이용한 처리를 통해 카메라(30)에 의해 캡처될 수 있다. 즉, 카메라(30)는 단일 시점에서의 단일 스냅샷으로부터가 아니라, 이미지 영역(프레임) 모두를 동시에 노출시키는 대신 카메라(30)의 이미지 센서의 노출 가능한 영역에 걸쳐 셔터를 롤링(즉, 이동)함으로써 이미지를 기록할 수 있다. 따라서, (수직으로 배향되어 있든 수평으로 배향되어 있든) 카메라(30)의 이미지 센서 내의 행(row) 픽셀들에 의해 정보의 프레임이 캡처되기 때문에, 재생 중에 이미지(76)의 전체가 디스플레이를 위해 단일 이미지(76)로서 재구성될 수 있음에도 불구하고, 이미지(76)의 모든 부분들이 정확히 동시에 기록되지는 않는다. 다른 실시예들에서, 이미지 센서에 대해 전체 프레임이 동시에 노출되는 이미지 획득의 글로벌 셔터 방식이 이용될 수 있다.
도 5에 도시된 바와 같이, 이미지(76)에 대한 스캔 방향이 라인(78)에 의해 표현될 수 있다. 즉, 롤링 셔터 리셋(80)은 이미지(76)의 최상부(82)로부터 이미지(76)의 최하부(84)까지 이동하여 이미지 센서 내의 픽셀들을 리셋할 수 있다. 이미지 센서의 픽셀들이 롤링 셔터 리셋(80)에 의해 리셋되는 경우, 리셋 픽셀들은 이미지(76)의 일부에 대응하는 광을 수집하기 시작할 수 있다. 즉, 카메라(30) 내의 이미지 센서의 픽셀들은 광에 노출될 수 있으며, 이 광은 이미지(76)를 생성하기 위해 수집되고 이용될 것이다. 일 실시예에서, 롤링 셔터 리셋(80)은 고정량의 시간 "t" (즉, 프레임 시간) 동안에 이미지(76)의 부분(82)으로부터 부분(84)으로 (즉, 전체 프레임에 걸쳐) 이동할 수 있다. 예를 들어, 이 고정량의 시간 t는 1/15초, 1/30초, 1/60초, 1/125초, 1/250초, 1/500초, 1/1000초, 1/5000초, 1/10000초, 또는 다른 양의 시간일 수 있다. 이 고정량의 시간 t는 또한, 예컨대 Apple Inc.로부터 이용가능한 Photo Booth®, Aperture®, iPhoto®, 또는 Preview® 등의 전자 디바이스(10) 상의 이미징 애플리케이션들, 또는 Apple Inc.에 의해 제공되고, iPhone® 모델에서 이용가능한 "Camera" 및/또는 "Photo" 애플리케이션들을 실행하는 프로세서(들)(16)에 의해 자동으로 조정되거나, 또는 예컨대 전술한 이미지 애플리케이션들 중 하나와 상호 작용하는 동안에 사용자에 의해 조정될 수 있다.
프레임의 단일 노출 동안(즉, 롤링 셔터 리셋(80)이 프레임에 걸쳐 이동하는 고정량의 시간 t)에 HDR 이미지를 생성하기 위해, 이미지 센서의 픽셀들의 동일한 행에 대한 다중 판독이 발생할 수 있다. 예를 들어, 픽셀들의 행(row)에 저장된 데이터의 제1 데이터 판독(86)은 시간 n에서 착수될 수 있으며, 여기서 n은 시간 t의 고정된 분수 시간(fractional time)이다. 이 시간 n은 예를 들어, 1/2, 1/3, 1/4, 1/5, 1/10, 1/20 또는 프레임 시간 t의 다른 값일 수 있다. 이 시간 n은 도 5의 라인(88)으로서 표현될 수 있다. 즉, 제1 데이터 판독(86)은 롤링 셔터 리셋(80)에 의한 픽셀들의 행의 리셋에 이어서 시간 n에서 발생할 수 있다. 따라서, 롤링 셔터 리셋(80)이 라인(78)을 따라 하향 진행함에 따라, 제1 데이터 판독(86)이 시간 n만큼 롤링 셔터 리셋(80)을 따라갈(trail) 수 있다. 이러한 방식으로, 프레임의 각각의 행에 대한 픽셀들에 저장된 데이터는 픽셀들의 그 행의 롤링 셔터 리셋(80) 다음의 시간 n에서 판독될 수 있다. 따라서, 제1 데이터 판독(86)이 이미지 센서를 통과함에 따라 판독된 픽셀들의 각각의 행은 동일한 시간 n동안 광에 노출될 것이며, 이는 노출 시간 또는 인터그레이션 시간(integration time)으로 지칭될 수 있다.
단, 이 제1 데이터 판독(86)은 (노출이 부족한(underexposed)) 낮은 노출 레벨에서의 사진의 생성에 대응할 수 있음에 유의하도록 한다. 즉, 제1 데이터 판독(86)은 이미지(76)의 그림자 영역들(shadowed areas)은 불완전하게(poorly) 렌더링되지만 사진의 밝은 영역들은 명확하게 렌더링된다는 점에서 사진을 생성하는 데에 유용할 수 있다. 즉, 제1 데이터 판독(86)에 대응하는 데이터는 HDR 이미지의 밝은 부분들을 렌더링하는 데에 유용할 수 있다.
제1 데이터 판독(86)에 후속하여, 제2 데이터 판독(90)이 예를 들어, 이미지 센서의 픽셀들의 행에 저장된 데이터 상에서 수행될 수 있다. 이 제2 데이터 판독(90)은 도 5의 라인(92)에 의해 표현된 시간 m에서 있을 수 있다. 이 시간 m은 시간 n의 배수일 수 있다. 예를 들어, 시간 m은 n, n의 1.5배, n의 2배, n의 2.5배, n의 3배, n의 3.5배, n의 4배 또는 n의 다른 배수와 동일할 수 있다. 일 실시예에서, 라인(92)을 따라 표현된 시간 m은 제2 데이터 판독(90)이 시간 n의 4배인(즉, 4n) 총 시간에서 수행될 수 있도록 n의 3배일 수 있다. 즉, 제2 데이터 판독(90)은 롤링 셔터 리셋(80)에 의한 픽셀들의 행의 리셋에 후속하여 시간 4n에서 발생할 수 있다. 따라서, 롤링 셔터 리셋(80)이 라인(78)을 따라 하향 진행함에 따라, 제2 데이터 판독(90)은 시간 4n만큼 롤링 셔터 리셋(80)을 따라갈 수 있다. 이러한 방식으로, 프레임의 각각의 행에 대한 픽셀들에 저장된 데이터가 픽셀들의 그 행의 롤링 셔터 리셋(80) 다음의 시간 4n에서 판독될 수 있다. 따라서, 제2 데이터 판독(90)이 이미지 센서를 통과함에 따라 판독된 픽셀들의 각각의 행은 동일한 시간 4n동안 광에 노출될 것이다. 이러한 방식으로, 복수의 노출들(예를 들어, 노출 시간이 n인 것과 노출 시간이 4n인 것)이 단일 프레임 캡쳐 동안에 달성될 수 있다.
단, 제2 데이터 판독(90)이 (지나치게 노출된(overexposed)) 높은 노출 레벨에서의 사진의 생성에 대응할 수 있음에 유의하도록 한다. 즉, 제2 데이터 판독(90)은 이미지(76)의 그림자 영역들은 명백하게 렌더링되지만 사진의 밝은 영역들은 제거(wash out)될 수 있다는 점에서 사진을 생성하는 데에 유용할 수 있다. 즉, 제2 데이터 판독(90)에 대응하는 데이터는 HDR 이미지의 어두운 부분들을 렌더링하는 데에 유용할 수 있다. 이러한 방식으로, 합성 HDR 이미지가 개선된 동적 범위를 가질 수 있도록 제1 데이터 판독(86)으로부터의 데이터는 HDR 이미지의 밝은 부분들을 생성하는 데에 사용될 수 있고, 제2 데이터 판독(90)으로부터의 데이터는 HDR 이미지의 어두운 부분들을 생성하는 데에 사용될 수 있어서, 제1 데이터 판독(86) 또는 제2 데이터 판독(90) 중 어느 하나의 데이터로부터 렌더링된 사진보다 시각적으로 훨씬 끌릴 수 있다(appealing). 또한, 다른 데이터 판독들이 제1 데이터 판독(86) 및 제2 데이터 판독(90)에 더하여 착수될 수 있다. 예를 들어, 제3 데이터 판독이 "정상의" 노출에 대응하도록 제3 데이터 판독은 제1 데이터 판독(86)과 제2 데이터 판독(90) 사이의 시간에(예를 들어, 제1 데이터 판독(86)이 시간 n에 있었고, 제2 데이터 판독이 시간 4n에 있었다면, 시간 2n에서) 행해질 수 있다. 이 제3 데이터 판독은 합성 HDR 이미지를 생성하기 위해 제1 데이터 판독(86)과 제2 데이터 판독(90)으로부터의 데이터와 결합될 수 있다.
부가적으로, 전자 디바이스(10) 상에서 이미징 애플리케이션을 실행하는 프로세서(들)(16)는 판독 시간 n과 임의의 후속하는 다수의 판독 시간뿐만 아니라 전체 데이터 판독의 회수를 변경할 수 있다. 이런 변경은 찍혀야 할 피사체의 밝기, 카메라의 노출 지수, 노이즈와 같은 인자들 또는 다른 인자들에 관한 피드백에 기초하여 수행될 수 있다. 예를 들어, 더 많은 데이터 판독이 더 늦은 프레임 속도로 발생할 수 있고, 지연된 판독 시간들 n은 더 낮은 밝기 레벨로 발생할 수 있다. 데이터 판독들의 판독 시간들(예를 들어, 데이터 판독(86, 90))의 변경 내내, 노출 시간은 생성될 HDR 이미지에 대한 수정을 허용하도록 조정될 수 있다.
도 6은 카메라(30)의 요소들의 블럭도 및 HDR 이미지를 발생시키는데 이용될 수 있는 이미지 프로세싱 회로(32)를 도시한다. 카메라(30)는 광을 캡처하여, 전기 신호로 변환시키기 위한 이미지 센서(94)를 포함한다. 이미지 센서(94)는, 예를 들어, CMOS 이미지 센서(예를 들어, CMOS APS(active-pixel sensor)) 또는 CCD(charge-coupled device) 센서일 수 있다. 일반적으로, 카메라(30)의 이미지 센서(94)는 픽셀들의 배열을 갖는 집적 회로를 포함하며, 각각의 픽셀은 이미지(76)로부터의 광을 감지하기 위한 광 검출기를 포함한다. 픽셀들은 도 5에 관해 위에서 설명된 롤링 셔터 리셋(80)을 통해 리셋될 수 있고, 제1 데이터 판독(86), 제2 데이터 판독(90), 또는 다른 데이터 판독 중에 캡쳐된 광 값들을 전기 신호로서 판독하도록 동작할 수 있다. 예를 들어, 노출 부족 사진에 대응하는 데이터를 생성하기 위해 제1 데이터 판독(86)이 위에서 논의된 시간 n에서 발생할 수 있으며, 노출 과다 사진에 대응하는 데이터를 생성하기 위해 제2 데이터 판독(90)이 시간 4n에서 발생할 수 있고, 평균(즉, 정상) 노출 사진에 대응하는 데이터를 생성하기 위해 제3 데이터 판독이 시간 2n에서 발생할 수 있다.
롤링 셔터 리셋(80), 제1 데이터 판독(86), 제2 데이터 판독(90), 및 임의의 다른 데이터 판독은 스캔 회로(95)에 의해 수행될 수 있다. 스캔 회로(95)는, 예를 들어, 프로세서(들)(16)로부터 하나 이상의 활성화 신호들을 수신할 수 있고, 데이터 판독 신호들을 이미지 센서(94)의 다양한 픽셀들에 전송하도록 동작할 수 있다. 예를 들어, 스캔 회로(95)는 데이터가 픽셀들의 활성화된 행으로부터 전송되도록 하기 위해 제1 데이터 판독(86) 중에(예를 들면, 시간 n에서) 픽셀들의 행에 활성화 신호들을 전송할 수 있다. 다음으로 스캔 회로(95)는 데이터가 픽셀들의 활성화된 행으로부터 전송되도록 하기 위해 제2 데이터 판독(90)(예를 들어, 시간 4n에서) 중에 그 동일한 픽셀들의 행에 활성화 신호들을 전송할 수 있다. 이러한 방식으로, 스캔 회로(95)는 셔터 리셋에 수 배 앞서 데이터가 이미지 센서(94)로부터 판독되게 할 수 있다.
이미지 센서(94)의 데이터 판독은 A/D(analog to digital) 변환기(96)로 전송될 수 있다. A/D 변환기(96)는, 예를 들어, 이미지 센서(94)와 동일한 칩 또는 회로 상에 있을 수 있고, 또는 A/D 변환기(96)는 이미지 센서에 전기적으로 결합될 수 있다. A/D 변환기(96)는, 예를 들어, 파이프라인 A/D 변환기 또는 컬럼 A/D 변환기일 수 있다. A/D 변환기(96)는, 예를 들어, 제1 데이터 판독(86) 중에 이미지 센서(94)로부터 데이터 판독을 수신할 수 있고, 그 수신된 데이터를 수신된 데이터 값들에 대응하는 디지털 신호들(디지털 데이터)로 변환할 수 있다. 그런 다음, 이 디지털 데이터는 경로(98)를 따라 이미지 프로세싱 회로(32)로 전송될 수 있다. 경로(98)는 MIPI CSI(Mobile Industry Processor Interface Camera Serial Interface), SMIA(standard mobile industry architecture) 인터페이스, 또는 임의의 다른 적합한 병렬 또는 직렬 인터페이스를 포함할 수 있다. 따라서, 일 실시예에 있어서, 데이터는 직렬 방식으로 이미지 프로세싱 회로(32)로 전송될 수 있다.
그러나, 전술한 바와 같이, 이미지 센서(94)의 다수의 데이터 판독들은 단일 노출 중에 발생할 수 있다(예를 들어, 제1 데이터 판독(86), 제2 데이터 판독(90) 및/또는 다른 데이터 판독들). 따라서, 이들 판독들 각각을 통해 수신된 데이터는 경로(98)를 공유해야 한다. 이를 달성하기 위해서, 이미지 센서(94)의 스태거형 판독들이 수행될 수 있다. 즉, 제1 데이터 판독(86)으로부터의 데이터는, 제2 판독(90)이 개시되는 시간까지 A/D 변환기로 전송될 수 있다. 이 때, 데이터는 먼저 제1 데이터 판독(86)에 대응하는 행을 따라 그리고 다음에 제2 데이터 판독(90)에 대응하는 행을 따라 이미지 센서(94)로부터 판독될 수 있다. 이 프로세스는, 2개의 판독들이 수행되고 있는 시간이 중복되는 한 (예를 들어, 인터리빙 방식으로) 반복될 수 있다. 또한, 제3 판독 또는 그 이상의 판독이 도입되는 경우, 마찬가지로 이는 각각의 판독이 스태거형 방식으로 A/D 변환기(96)로 데이터를 전송하도록 다른 모든 판독들과 스태거될 수 있다. 이러한 방식으로, A/D 변환기(96)가 이 변환기로 제공된 데이터를 이 데이터가 수신되면 디지털 형태로 변환함에 따라, 경로(98)를 따라 전송되는 디지털 데이터는 예를 들어 제1 데이터 판독(86)으로부터 판독된 데이터, 제2 데이터 판독(90)으로부터 판독된 데이터뿐만 아니라 임의의 부가적인 데이터 판독들로부터 판독된 데이터를 포함할 수 있다.
일 실시예에 있어서, 버퍼(97)는 이미지 센서(94)와 동일한 칩 또는 회로 상의 라인 버퍼(즉, 판독 데이터 행에 대응하는 데이터를 저장하는 메모리)로서 구현될 수 있다. 이 버퍼(97)는 데이터 판독(예를 들어, 제1 데이터 판독(86))으로부터 수신된 데이터를 저장하여, 이 데이터가 A/D 변환기(96)에 의한 변환 이전에 비닝되게 할 수 있다(예를 들어, 4x4 비닝). 즉, 픽셀들의 클러스터로부터의 데이터는 단일 픽셀 값과 결합될 수 있고, 그에 따라 이미지 센서(94)로부터 판독된 데이터에 부여되는 판독 잡음의 영향을 감소시킬 수 있다. 일 실시예에 있어서, 노출과다 픽셀 및 노출부족 픽셀 모두에 관련된 데이터는 비닝되어, 인터페이스를 통해 전송되는 데이터의 양을 감소시킬 수 있다.
부가적으로 또는 대안적으로, 다수의 데이터 판독들에 대한 데이터의 스트림들을 정렬시키기 위해서 버퍼(97)가 이용될 수 있다. 즉, 버퍼(97)는, 전송을 위해 하나의 데이터 판독(예를 들어, 제2 데이터 판독(90)) 전체를 저장할 수 있는 프레임 버퍼일 수 있다. 즉, 데이터 판독들이 스태거될 수 있는 동시에, 제2 데이터 판독(예를 들어, 제1 데이터 판독(86))은 저장 없이 전송되는 경로(98)를 따라 전송되는 데이터는, 제1 데이터 판독(86)으로부터 판독된 데이터 전부 및 다음에 제2 데이터 판독(90)으로부터 판독된(그리고 버퍼(97)로부터 전송된) 데이터 전부를 포함할 수 있다. 이러한 방식으로 버퍼(97)를 이용하는 것은 데이터 경로(98)로부터 데이터를 분리하는데 있어서 감소된 복잡도를 허용할 수 있다(즉, 데이터 경로(98) 상의 데이터는 인터리빙되지 않을 것이다).
이미지 프로세싱 회로(32)에서 경로(98)를 통하는 디지털 데이터가 수신될 수 있다. 앞서 언급한 바와 같이, 이 디지털 데이터는 이미지 센서(94)의 1회 초과 판독으로부터의 데이터(즉, 서로 다른 익스포저 타임에 관련된 데이터)를 포함할 수 있다. 따라서, 일 실시예에서, 제1 데이터 판독(86), 제2 데이터 판독(90), 또는 임의의 다른 데이터 판독에 대응하는 디지털 데이터는, 수신된 데이터가 특정 데이터 판독(예를 들어, 제1 데이터 판독(86))에 속하는 것으로서 식별될 수 있도록 하나 이상의 ID(identification) 비트 등의 식별자를 포함할 수 있다. 이런 식으로, 디지털 데이터는, 예컨데, ISP(image signal processor; 100)에 의해 판독된 특정 데이터에 관련된 것으로서의 수신된 디지털 데이터의 올바른 범주화(categorization)가 이루어질 수 있도록 태그될(tagged) 수 있다. 또한, ISP(100)는 리드아웃 타임(예를 들면, 데이터 판독이 수행되는 때)을 조절하는 데에 이용될 수 있음을 유의한다. 예를 들어, ISP(100)는 이미징 디바이스(30)의 포커스(focus), 화이트 밸런스(white balance), 및 익스포저(exposure)와 같은 인자들에 관련하는 통계적 데이터를 생성하는 데에 이용될 수 있다. 이러한 데이터는 이미징 디바이스(30)의 리드아웃 타임을 조절하는 데에 이용될 수 있으므로, HDR이미지 조절에 이용될 수 있다.
앞서 언급한 바와 같이, ISP(100)는 디지털 데이터를 수신하고 경로(98)로부터 수신된 데이터를 각각의 익스포저로 분리하도록 동작할 수 있다. 예를 들면, ISP(100)는 제1 데이터 판독(86)에서 판독된 데이터를 분리할 수 있고 이 분리된 데이터를 메모리 영역일 수 있는 버퍼(102)에 저장할 수 있다. 마찬가지로, ISP(100)는 경로(98)를 통하는 수신된 데이터로부터의 제2 데이터 판독(90)에서 판독된 데이터를 분리할 수 있고 이 분리된 데이터를 메모리 영역일 수 있는 버퍼(104)에 저장할 수 있다. 일부 실시예에서, 버퍼(102 및 104)는 하나의 물리적 메모리 회로의 위치들과는 별개일 수 있다. 다른 실시예에서, 버퍼(102 및 104)는 다른 메모리 회로들에 위치될 수 있다. 또한, ISP(100)는 이미지 센서(94)로부터 읽어들인 만큼의 개수로 데이터 영역을 분리하도록 동작할 수 있는데, 예를 들면, 판독이 수행된 추가적인 데이터 각각에 대응하는 추가적인 버퍼를 포함할 수 있다.
일단, 예를 들어, 제1 데이터 판독(86) 및 제2 데이터 판독(90)에 관련된 모든 데이터가 분리되면, 버퍼(102 및 104)는 각각 HDR 이미지를 형성하는 데에 이용될 수 있는 완전한 데이터 세트를 포함할 수 있다. 따라서, ISP(100)는 버퍼(102 및 104)에 저장된 데이터를 결합시켜 합성 HDR 이미지를 생성할 수 있고, 이 합성 HDR 이미지는 프로세서(들)(16)에 의한 검색을 위해 버퍼(106)로 송신될 수 있다. 일 실시예에서, HDR 이미지는 버퍼(102 및 104)에 저장된 데이터보다는 높은 비트 뎁스(depth)를 포함할 수 있다. 예를 들어, 버퍼(106)에 저장된 HDR 이미지는 버퍼(102 및 104)에 저장된 데이터에 관련된 부가 정보를 1비트, 2비트, 3비트, 또는 그 이상의 비트로 포함할 수 있다. 이렇게 HDR의 높은 비트 뎁스는 생성될 화상이 보다 뚜렷하고/거나 보다 시각적으로 끌릴 수 있게 해준다.
도 7은 ISP(100)의 동작의 일 실시예를 상세하게 보여주는 플로우차트(108)를 도시한다. 단계 110에서, ISP(100)는 경로(98)로부터 디지털 데이터를 수신할 수 있다. 단계 112에서 ISP(100)는 경로(98)로부터 수신된 데이터를 각각의 익스포저로 분리할 수 있다. 이러한 분리는 수신된 데이터와 연관된 식별자(즉, 데이터 등에 첨부된 하나 이상의 ID 비트)를 분석함으로써 주어진 데이터 세트가 어떤 데이터 판독과 대응하는지를 결정함으로써 수행되어 수신된 데이터가 특정 데이터 판독(예를 들어, 제1 데이터 판독(86))에 속하는 것으로 분류될 수 있다.
수신된 이미지 데이터가 일단 분리되면, 단계 114에서 ISP(100)가 그 분리된 데이터를 저장할 수 있다. 예를 들어, 제1 데이터 판독(86)으로부터의 데이터는 버퍼(102)에 저장될 수 있으며, 이는 메모리 위치가 될 수 있다. 마찬가지로, 제2 데이터 판독(90)으로부터의 데이터는 버퍼(104)에 저장될 수 있으며, 이는 버퍼(102)로부터 분리된 메모리 위치가 될 수 있다. 부가적으로, 임의의 추가의 데이터 판독으로부터의 데이터는 ISP(100)에 의해 추가의 버퍼들에 저장될 수 있다.
이들 데이터 판독들과 관련된 모든 데이터가 저장되면, 단계 116에서 ISP(100)는 HDR 이미지를 생성할 수 있다. 즉, 이용된 각각의 버퍼들(102, 104) 뿐만 아니라 임의의 추가의 버퍼들도 HDR 이미지를 형성하는데 이용될 수 있는 데이터의 풀 세트를 포함할 수 있다. ISP(100)는 합성 HDR 이미지를 생성하기 위해 버퍼들에 저장된 데이터를 결합할 수 있으며, 이는 단계 118에서 프로세서(들)(16)로의 전송을 위해 버퍼(106)에 전송될 수 있다. 이 방식에서, ISP(100)는 이미지 캡처 디바이스(30)의 단일의 롤링 셔터 리셋(80)으로부터 HDR 이미지를 생성하는데 이용될 수 있다.
이해될 것처럼, 상술되고 HDR 이미징에 관련하는 다양한 기술들이 단지 예로서 본 명세서에 제공된다. 따라서, 본 명세서가 제공된 예로만 제한되는 것으로 해석되어서는 안됨을 이해해야 한다. 또한, HDR 이미징 기술들은, 하드웨어(적절하게는 회로로 구성됨), 소프트웨어(예컨대, 하나 이상의 유형의 컴퓨터 판독가능 매체 상에 저장된 실행가능 코드를 포함하는 컴퓨터 프로그램을 통해), 또는 하드웨어 요소 및 소프트웨어 요소 모두의 조합을 이용하는 것을 포함하는 임의의 적절한 방식으로 구현될 수 있음을 이해해야 한다.
상술된 특정 실시예들은 예로서 도시되었으며, 이러한 실시예들은 여러가지 변경들 및 대안의 형태가 가능함을 이해해야 한다. 또한, 청구항들은 설명된 특정 형태들로 제한되도록 의도된 것이 아니라, 본 발명의 사상 및 범위 내에 있는 모든 변경들, 등가물들 및 대안들을 포함하도록 의도된 것임을 이해해야 한다.

Claims (20)

  1. 이미지 처리 회로로서,
    이미지 센서;
    단일 이미지의 다수 노출들에 관련된 이미지 데이터를 전송하도록 구성된 데이터 경로;
    셔터 리셋 전에 상기 이미지 센서로부터 데이터가 복수 회(multiple times) 판독될 수 있도록 프로세서로부터 복수의 활성화 신호들을 수신하도록 구성된 스캔 회로 - 판독들의 횟수 및 빈도는 피드백 인자들에 기초하여 상기 프로세서에 의해 결정되고, 상기 피드백 인자들은 상기 단일 이미지에 대한 캡쳐 메트릭스(capture metrics)와 관련됨 - ;
    상기 데이터 경로에 결합된 이미지 신호 프로세서 - 상기 이미지 신호 프로세서는 상기 이미지 데이터를 수신하고, 상기 이미지 데이터를 상기 복수의 판독들 중 어느 판독에서 상기 이미지 데이터가 얻어졌는지에 기초하여 적어도 2개의 카테고리로 분리하도록 구성됨 - ; 및
    상기 이미지 신호 프로세서에 결합되고 상기 카테고리들 중 적어도 하나로부터의 데이터를 저장하도록 구성된 제1 버퍼
    를 포함하는 이미지 처리 회로.
  2. 제1항에 있어서,
    상기 이미지 신호 프로세서에 결합되고 상기 카테고리들 중 제2의 카테고리로부터의 데이터를 저장하도록 구성된 제2 버퍼를 포함하는 이미지 처리 회로.
  3. 제2항에 있어서,
    상기 이미지 신호 프로세서는 상기 제1 버퍼 및 제2 버퍼 각각에 저장된 데이터를 검색하고 그 검색된 데이터를 활용하여 높은 동적 범위(high dynamic range: HDR) 이미지를 생성하도록 구성되고,
    상기 이미지 처리 회로는, 상기 이미지 신호 프로세서에 결합되고 상기 높은 동적 범위 이미지를 저장하도록 구성된 제3 버퍼를 포함하는 이미지 처리 회로.
  4. 삭제
  5. 제1항에 있어서,
    상기 적어도 2개의 카테고리는 노출부족(underexposed) 이미지 데이터 카테고리와 과다노출(overexposed) 이미지 데이터 카테고리를 포함하는 이미지 처리 회로.
  6. 고화질(high definition) 이미지를 생성하는 방법으로서,
    단일 이미지에 대한 이미지 캡쳐 메트릭스(image capture metrics)와 관련된 피드백 인자들을 결정하는 단계;
    상기 피드백 인자들에 기초하여 상기 단일 이미지에 대하여 이미지 센서로 보낼 복수의 판독 요청들의 횟수 및 빈도를 결정하는 단계 - 상기 횟수와 빈도를 결정하는 단계는 제1 프로세서에 의해 수행됨 - ;
    이미지 신호 프로세서에서 상기 복수의 판독 요청들에 관련된 이미지 데이터를 수신하는 단계;
    상기 이미지 신호 프로세서에서 상기 이미지 데이터를 상기 복수의 판독 요청들 중 어느 판독 요청이 상기 이미지 데이터에 대응하는지에 기초하여 적어도 2개의 카테고리로 분리하는 단계; 및
    상기 카테고리들 중 적어도 하나로부터의 데이터를 제1 버퍼에 저장하는 단계
    를 포함하는 방법.
  7. 제6항에 있어서,
    상기 카테고리들 중 제2의 카테고리로부터의 데이터를 제2 버퍼에 저장하는 단계를 포함하는 방법.
  8. 제7항에 있어서,
    상기 제1 버퍼 및 제2 버퍼 각각에 저장된 데이터를 검색하고 그 검색된 데이터에 기초하여 높은 동적 범위 이미지를 생성하는 단계를 포함하는 방법.
  9. 제7항에 있어서,
    상기 카테고리들 중 제3의 카테고리로부터의 데이터를 제3 버퍼에 저장하고, 상기 제1 버퍼, 제2 버퍼, 및 제3 버퍼 각각에 저장된 데이터를 검색하여 그 검색된 데이터에 기초하여 높은 동적 범위 이미지를 생성하는 단계를 포함하는 방법.
  10. 제6항에 있어서,
    상기 이미지 데이터를 적어도 2개의 카테고리로 분리하는 단계는 상기 이미지 데이터를 노출부족(underexposed) 이미지 데이터 카테고리와 과다노출(overexposed) 이미지 데이터 카테고리로 분리하는 단계를 포함하는 방법.
  11. 이미지 캡처 장치로서,
    단일 이미지의 캡처에 대응하는 광을 수신하도록 구성된 렌즈;
    상기 렌즈에 결합된 이미지 센서 - 상기 이미지 센서는 상기 렌즈로부터 상기 단일 이미지에 대응하는 광을 수신하고 상기 이미지 센서 내의 픽셀 위치들에서 수신된 광에 대응하는 데이터 값들을 생성하도록 구성됨 - ; 및
    피드백 인자들에 기초하여 상기 단일 이미지에 대하여 이미지 센서로 보낼 복수의 판독 요청들의 횟수 및 빈도를 결정하도록 구성된 프로세서 - 상기 결정된 횟수 및 빈도는 상기 피드백 인자들에 기초함 - ;
    상기 이미지 센서에 결합된 스캔 회로 - 상기 스캔 회로는 상기 복수의 판독 요청들 각각에 대하여 상기 이미지 센서 내의 픽셀 위치들의 행으로부터의 수신된 광에 대응하는 데이터 값들의 복수의 세트들을 판독하도록 구성되며, 상기 복수의 판독 요청들 각각은 상기 픽셀 위치들의 단일 셔터 리셋 전에 발생함 -
    를 포함하는 이미지 캡처 장치.
  12. 제11항에 있어서,
    상기 스캔 회로에 의한 제1 판독 중에 상기 이미지 센서의 모든 픽셀 위치들로부터 판독된 데이터 신호들 전체를 수신하고 저장하도록 구성된 라인 버퍼를 더 포함하는 이미지 캡처 장치.
  13. 이미지 센서 - 상기 이미지 센서는 단일 이미지에 대응하는 광을 수신하고 상기 이미지 센서 내의 픽셀 위치들에서 수신된 광에 대응하는 데이터 값들을 생성하도록 구성됨 - ;
    피드백 인자들에 기초하여 상기 단일 이미지에 대하여 상기 이미지 센서로 보낼 복수의 판독 요청들의 횟수 및 빈도를 결정하도록 구성된 프로세서 - 상기 횟수 및 빈도는 상기 피드백 인자들에 기초하여 결정되며, 상기 피드백 인자들은 상기 수신된 광에 기초함 - ;
    상기 이미지 센서에 결합된 스캔 회로 - 상기 스캔 회로는 상기 복수의 판독 요청들 각각에 대하여 상기 이미지 센서 내의 픽셀 위치들의 행으로부터의 수신된 광에 대응하는 데이터 값들의 복수의 세트들을 판독하도록 구성되며, 상기 복수의 판독 요청들 각각은 상기 픽셀 위치들의 공통 리셋 전에 발생함 - ;
    상기 이미지 센서에 결합된 아날로그-디지털 변환기 - 상기 아날로그-디지털 변환기는 상기 데이터 값들의 복수의 세트들을 수신하고 상기 데이터 값들의 복수의 세트들을 이미지 데이터로 변환함 - ;
    상기 이미지 데이터를 수신하고 상기 이미지 데이터를 대응하는 데이터 판독 시간에 기초하여 적어도 2개의 카테고리로 분리하도록 구성된 이미지 신호 프로세서; 및
    상기 이미지 신호 프로세서에 결합된 제1 버퍼 - 상기 제1 버퍼는 상기 카테고리들 중 적어도 하나로부터의 데이터를 저장하도록 구성됨 -
    를 포함하는 전자 장치.
  14. 제13항에 있어서,
    상기 아날로그-디지털 변환기와 상기 이미지 센서와 상기 이미지 신호 프로세서를 연결하는 데이터 경로를 더 포함하며, 상기 데이터 경로는 시리얼 데이터 라인을 포함하는 전자 장치.
  15. 제13항에 있어서,
    상기 이미지 센서에 결합되고, 상기 스캔 회로에 의한 제1 판독 중에 상기 이미지 센서의 픽셀 위치들로부터 판독된 데이터 신호들을 저장하도록 구성된 제2 버퍼를 더 포함하는 전자 장치.
  16. 제13항에 있어서,
    상기 전자 장치는, 상기 이미지 신호 프로세서에 결합되고 상기 카테고리들 중 제2의 카테고리로부터의 데이터를 저장하도록 구성된 제2 버퍼를 더 포함하고,
    상기 이미지 신호 프로세서는 상기 제1 버퍼 및 상기 제2 버퍼 각각에 저장된 데이터를 검색하고, 그 검색된 데이터를 활용하여 높은 동적 범위 이미지를 생성하도록 구성된 전자 장치.
  17. 삭제
  18. 단일 이미지에 대응하는 광을 수신하고 그 수신된 광에 대응하는 전자 신호들을 생성하도록 구성된 이미지 센서;
    복수의 스캔들 동안에 상기 이미지 센서의 픽셀들의 행으로부터 상기 전자 신호들을 검색함으로써, 상기 픽셀들의 행을 스캔하도록 구성된 이미지 스캐너 - 상기 복수의 스캔들 각각은 단일 프레임 중에 캡쳐된 상기 단일 이미지의 수신된 광에 대응함 - ; 및
    상기 단일 이미지에 대응하는 상기 이미지 스캐너에 의해 수행되는 상기 복수의 스캔들의 빈도 및 횟수를 제어하도록 구성된 프로세서 - 상기 빈도 및 횟수는 가변적이고 상기 단일 이미지에 관련된 피드백 인자들에 기초함 -
    를 포함하는 전자 장치.
  19. 제18항에 있어서,
    디지털 이미지 데이터를 수신하고 상기 디지털 이미지 데이터를 상기 복수의 스캔들 중 어느 스캔이 상기 디지털 이미지 데이터에 대응하는지에 기초하여 적어도 2개의 카테고리로 분리하여 저장하도록 구성된 이미지 신호 프로세서를 더 포함하는 전자 장치.
  20. 제19항에 있어서,
    상기 이미지 신호 프로세서는 상기 분리되고 저장된 디지털 이미지 데이터로부터의 데이터를 결합하는 것에 기초하여 높은 동적 범위 이미지를 생성하도록 구성되는 전자 장치.
KR1020120062155A 2011-06-09 2012-06-11 Ｈｄｒ 캡처 능력을 갖는 이미지 센서 KR101361331B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/157,090 2011-06-09
US13/157,090 US9077917B2 (en) 2011-06-09 2011-06-09 Image sensor having HDR capture capability

Publications (2)

Publication Number Publication Date
KR20130000325A KR20130000325A (ko) 2013-01-02
KR101361331B1 true KR101361331B1 (ko) 2014-02-10

Family

ID=46798978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120062155A KR101361331B1 (ko) 2011-06-09 2012-06-11 Ｈｄｒ 캡처 능력을 갖는 이미지 센서

Country Status (7)

Country Link
US (1) US9077917B2 (ko)
EP (1) EP2533520B1 (ko)
JP (1) JP5531054B2 (ko)
KR (1) KR101361331B1 (ko)
CN (1) CN102857712B (ko)
TW (1) TWI511558B (ko)
WO (1) WO2012170717A1 (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788348B2 (en) 2011-12-20 2014-07-22 Wikipad, Inc. Combination game controller and point of sale input device
KR101938381B1 (ko) * 2012-07-10 2019-01-14 삼성전자주식회사 촬상 장치 및 촬상 방법
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US9137455B1 (en) 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US8446481B1 (en) * 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
KR101948692B1 (ko) 2012-10-09 2019-04-25 삼성전자주식회사 촬영 장치 및 이미지 합성 방법
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
WO2014133557A1 (en) * 2013-02-28 2014-09-04 Wikipad, Inc. Combination game controller and point of sale input device
US20140240469A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
TWI502990B (zh) * 2013-06-27 2015-10-01 Altek Semiconductor Corp 產生高動態範圍影像的方法及其影像感測器
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
WO2015084991A1 (en) 2013-12-04 2015-06-11 Rambus Inc. High dynamic-range image sensor
JP6090820B2 (ja) 2014-06-27 2017-03-08 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
TWI558204B (zh) * 2014-11-25 2016-11-11 Trans Electric Co Ltd Image capture system
TWI558193B (zh) * 2015-05-11 2016-11-11 Trans Electric Co Ltd Film production method
US20170142313A1 (en) * 2015-11-16 2017-05-18 Microsoft Corporation Image sensor system
US9743025B2 (en) * 2015-12-30 2017-08-22 Omnivision Technologies, Inc. Method and system of implementing an uneven timing gap between each image capture in an image sensor
CN106961557B (zh) 2016-01-08 2020-01-31 中强光电股份有限公司 光场相机及其影像处理方法
US10742390B2 (en) * 2016-07-13 2020-08-11 Novatek Microelectronics Corp. Method of improving clock recovery and related device
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10187584B2 (en) * 2016-12-20 2019-01-22 Microsoft Technology Licensing, Llc Dynamic range extension to produce high dynamic range images
TW201822709A (zh) * 2016-12-30 2018-07-01 曦威科技股份有限公司 即時心跳偵測方法及即時心跳偵測系統
CN107066987B (zh) * 2017-04-26 2020-12-15 胡明建 摄像头数据直接传给gpu处理的方法
CN109104584B (zh) * 2017-06-21 2020-07-10 比亚迪股份有限公司 图像传感器及其高动态范围图像的获取方法
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
CN111344624B (zh) * 2017-10-18 2022-07-15 珀金埃尔默健康科学有限公司 用电荷耦合器件(ccd)相机进行快速、高动态范围图像获取
JP7278750B2 (ja) * 2018-11-14 2023-05-22 キヤノン株式会社 撮像装置
TWI739431B (zh) * 2019-12-09 2021-09-11 大陸商廣州印芯半導體技術有限公司 資料傳輸系統及其資料傳輸方法
CN115379092A (zh) * 2022-08-17 2022-11-22 中南大学 一种高动态范围视频获取方法、系统及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022804A (ko) * 2004-09-08 2006-03-13 매그나칩 반도체 유한회사 이미지 센서 검출회로
US20080291313A1 (en) * 2004-08-27 2008-11-27 Alexander Krymski High dynamic range imager with a rolling shutter
US20110122287A1 (en) * 2009-11-25 2011-05-26 Keiji Kunishige Imaging device and imaging device control method

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309243A (en) * 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
WO1997017800A1 (en) 1995-11-07 1997-05-15 California Institute Of Technology An image sensor with high dynamic range linear output
US6707499B1 (en) 1998-12-08 2004-03-16 Industrial Technology Research Institute Technique to increase dynamic range of a CCD image sensor
JP3615454B2 (ja) 2000-03-27 2005-02-02 三洋電機株式会社 ディジタルカメラ
US6927796B2 (en) 2001-09-24 2005-08-09 The Board Of Trustees Of The Leland Stanford Junior University CMOS image sensor system with self-reset digital pixel architecture for improving SNR and dynamic range
JP2003319250A (ja) * 2002-04-22 2003-11-07 Toshiba Lsi System Support Kk 撮像装置および撮像方法
US7382407B2 (en) 2002-08-29 2008-06-03 Micron Technology, Inc. High intrascene dynamic range NTSC and PAL imager
US6894264B2 (en) 2002-10-15 2005-05-17 Applera Corporation System and methods for dynamic range extension using variable length integration time sampling
WO2006049098A1 (ja) * 2004-11-02 2006-05-11 Matsushita Electric Industrial Co., Ltd. イメージセンサ
JP4379408B2 (ja) 2004-12-07 2009-12-09 セイコーエプソン株式会社 信号処理部および撮像装置
US7714903B2 (en) * 2006-08-29 2010-05-11 Zoran Corporation Wide dynamic range image capturing system method and apparatus
US7990451B2 (en) * 2006-11-20 2011-08-02 Ben Gurion University Of The Negev Research And Development Authority Optical pixel and image sensor
WO2008075136A1 (en) * 2006-12-20 2008-06-26 Nokia Corporation Exposure control based on image sensor cost function
US7808538B2 (en) * 2007-01-22 2010-10-05 Omnivision Technologies, Inc. Image sensors with blooming reduction mechanisms
US7616243B2 (en) * 2007-03-07 2009-11-10 Altasens, Inc. Method and apparatus for improving and controlling dynamic range in an image sensor
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8542315B2 (en) * 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
JP2010004240A (ja) * 2008-06-19 2010-01-07 Yamaha Corp Ｃｍｏｓ固体撮像装置
JP2011010108A (ja) * 2009-06-26 2011-01-13 Seiko Epson Corp 撮像制御装置、撮像装置及び撮像制御方法
US8279328B2 (en) * 2009-07-15 2012-10-02 Tower Semiconductor Ltd. CMOS image sensor with wide (intra-scene) dynamic range
JP5445235B2 (ja) * 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080291313A1 (en) * 2004-08-27 2008-11-27 Alexander Krymski High dynamic range imager with a rolling shutter
KR20060022804A (ko) * 2004-09-08 2006-03-13 매그나칩 반도체 유한회사 이미지 센서 검출회로
US20110122287A1 (en) * 2009-11-25 2011-05-26 Keiji Kunishige Imaging device and imaging device control method

Also Published As

Publication number Publication date
KR20130000325A (ko) 2013-01-02
WO2012170717A1 (en) 2012-12-13
US20120314100A1 (en) 2012-12-13
TWI511558B (zh) 2015-12-01
JP5531054B2 (ja) 2014-06-25
EP2533520B1 (en) 2016-10-12
CN102857712A (zh) 2013-01-02
US9077917B2 (en) 2015-07-07
EP2533520A3 (en) 2013-07-24
EP2533520A2 (en) 2012-12-12
JP2013059017A (ja) 2013-03-28
TW201301883A (zh) 2013-01-01
CN102857712B (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
KR101361331B1 (ko) Ｈｄｒ 캡처 능력을 갖는 이미지 센서
US11206353B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor
US11637970B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
RU2542928C2 (ru) Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки
JP5937767B2 (ja) 撮像装置及び撮像方法
JP5946970B2 (ja) 撮像装置及び撮像方法
TWI615027B (zh) 高動態範圍圖像的生成方法、拍照裝置和終端裝置、成像方法
KR20190073518A (ko) 광학 촬영 방법 및 장치
US20110122252A1 (en) Digital image processing apparatus and photographing method of digital image processing apparatus
US20220070383A1 (en) Imaging apparatus with phase difference detecting element
KR20130046174A (ko) 비전 인식 장치 및 방법
WO2023160285A1 (zh) 视频处理方法和装置
CN116055890A (zh) 生成高动态范围视频的方法和电子设备
CN110278375B (zh) 图像处理方法、装置、存储介质及电子设备
CN110012227B (zh) 图像处理方法、装置、存储介质及电子设备
CN111095912B (zh) 摄像装置、摄像方法及记录介质
US8934042B2 (en) Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
JP2008072501A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
CN117692799A (zh) 一种拍摄方法及相关设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 7