KR101689665B1 - 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치 - Google Patents

이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치 Download PDF

Info

Publication number
KR101689665B1
KR101689665B1 KR1020140083901A KR20140083901A KR101689665B1 KR 101689665 B1 KR101689665 B1 KR 101689665B1 KR 1020140083901 A KR1020140083901 A KR 1020140083901A KR 20140083901 A KR20140083901 A KR 20140083901A KR 101689665 B1 KR101689665 B1 KR 101689665B1
Authority
KR
South Korea
Prior art keywords
pixel
exposure time
sampling
image sensor
fps
Prior art date
Application number
KR1020140083901A
Other languages
English (en)
Other versions
KR20160004827A (ko
Inventor
민동기
일리 오브시아니코프
리롱 쉬
김태찬
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020140083901A priority Critical patent/KR101689665B1/ko
Priority to US14/790,359 priority patent/US9635277B2/en
Publication of KR20160004827A publication Critical patent/KR20160004827A/ko
Application granted granted Critical
Publication of KR101689665B1 publication Critical patent/KR101689665B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일실시예에 따른 이미지 센서는 제1 샘플링 횟수로 설정된 샘플링 횟수, 제1 FPS(frame per second)로 설정된 초당 프레임수 및 제1 픽셀 노출시간으로 설정된 픽셀의 노출시간을 기반으로 동작하며, 피사체에 반사되는 가시광선을 픽셀 신호로 변환하는 적어도 하나 이상의 픽셀들을 포함하는 픽셀 어레이, 상기 픽셀 신호에서 조도 정보를 추출하고, 상기 조도 정보가 제1 범위내인 경우에 저조도 상태정보신호를 생성하는 조도 상태 검출부, 상기 저조도 상태정보신호에 응답하여, 상기 제1 샘플링 횟수 및 제1 FPS(frame per second) 중 적어도 하나를 각각 제2 샘플링 횟수 또는 제2 FPS(frame per second)로 변경하는 샘플링 제어부 및 상기 저조도 상태정보신호에 응답하여, 상기 제1 픽셀 노출시간을 제2 픽셀 노출시간으로 변경하는 노출시간 제어부를 포함하는 것을 특징으로 한다.

Description

이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치 {Image sensor, image sensing method, and image photographing apparatus including the image sensor}
본 발명은 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 이미지 촬영 장치에 관한 것으로, 특히 저조도 조건에서 SNR(signal to noise ratio)을 향상시킬 수 있는 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 이미지 촬영 장치에 관한 것이다.
이미지 장치 및 이미지 촬영 방법에 대한 기술이 빠른 속도로 진화하고 있다. 다만 픽셀의 크기가 작아지면서 FWC(full well capacity)의 제약을 해결하고 WDR(wide dynamic range)를 확보할 수 있는 기술로서 바이너리 센서 기술 또는 멀티 비트 오버 샘플링 센서 기술이 중요시 되고 있다. 다만, 저조도 조건시에 일반적으로 SNR이 열화되는 문제가 발생하고 있는 실정이다.
본 발명이 해결하고자 하는 기술적 과제는 피사체에 대한 조도 조건을 검출하여, 저조도 조건에서 SNR을 향상시킬 수 있는 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 이미지 촬영 장치를 제공하는 것이다.
본 발명의 일실시예에 따른 이미지 센서는, 제1 샘플링 횟수로 설정된 샘플링 횟수, 제1 FPS(frame per second)로 설정된 초당 프레임수 및 제1 픽셀 노출시간으로 설정된 픽셀의 노출시간을 기반으로 동작하는 이미지 센서에 있어서, 피사체에 반사되는 가시광선을 픽셀 신호로 변환하는 적어도 하나 이상의 픽셀들을 포함하는 픽셀 어레이, 상기 픽셀 신호에서 조도 정보를 추출하고, 상기 조도 정보가 제1 범위내인 경우에 저조도 상태정보신호를 생성하는 조도 상태 검출부, 상기 저조도 상태정보신호에 응답하여, 상기 제1 샘플링 횟수 및 제1 FPS(frame per second) 중 적어도 하나를 각각 제2 샘플링 횟수 또는 제2 FPS(frame per second)로 변경하는 샘플링 제어부 및 상기 저조도 상태정보신호에 응답하여, 상기 제1 픽셀 노출시간을 제2 픽셀 노출시간으로 변경하는 노출시간 제어부를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 조도 상태 검출부는, 상기 조도 정보가 제2 범위내인 경우에는 고조도 상태정보신호를 생성하며, 상기 샘플링 제어부는, 상기 고조도 상태정보신호에 응답하여, 상기 제2 샘플링 횟수 및 상기 제2 FPS(frame per second)중 적어도 하나를 각각 제1 샘플링 횟수 또는 제1 FPS(frame per second)로 변경하고, 상기 노출시간 제어부는, 상기 고조도 상태정보신호에 응답하여, 상기 제2 픽셀 노출시간을 상기 제1 픽셀 노출시간으로 변경하는 것을 특징으로 한다.
또한 바람직하게는, 상기 픽셀 어레이의 로우(row) 단위로 상기 리셋 동작 및 상기 독출을 수행하는 롤링 셔터(rolling shutter) 방식인 것을 특징으로 한다.
또한 바람직하게는, 상기 이미지 센서는, 상기 샘플링 제어부로부터 수신한 상기 샘플링 횟수 및 상기 초당 프레임수 중 적어도 하나에 관한 제어신호에 기반하여, 샘플링을 수행하는 샘플링 모듈을 더 포함하고, 상기 샘플링 제어부는, 상기 샘플링 모듈을 제어하여, 상기 제1 샘플링 횟수 및 상기 제1 FPS 중 적어도 하나를 각각 제2 샘플링 횟수 또는 제2 FPS로 변경하는 것을 특징으로 한다.
또한 바람직하게는, 상기 제2 샘플링 횟수는, 상기 제1 샘플링 횟수보다 작은 것을 특징으로 하며, 상기 제2 FPS는, 상기 제1 FPS 보다 작은 것을 특징으로 한다.
또한 바람직하게는, 상기 이미지 센서는, 상기 픽셀 어레이의 상기 각 픽셀을 상기 픽셀의 노출시간 단위로 리셋(reset)하고 상기 픽셀의 노출시간 단위로 독출(read)하여 픽셀 신호를 센싱하는 셔터링부(SHUT)를 더 포함하고, 상기 셔터링부는, 상기 픽셀의 리셋 타이밍을 제어하여, 상기 픽셀의 노출시간을 변경하는 것을 특징으로 한다.
또한 바람직하게는, 상기 노출시간 제어부는, 상기 셔터링부를 제어하여, 상기 셔터링부가 상기 리셋 타이밍을 조절하여, 상기 제1 픽셀 노출시간을 제2 픽셀 노출시간으로 변경하는 것을 특징으로 한다.
또한 바람직하게는, 제1 항에 있어서, 상기 제2 픽셀 노출시간은, 상기 제1 픽셀 노출시간보다 더 큰 것을 특징으로 한다.
또한 바람직하게는, 상기 샘플링 제어부에 의하여, 변경된 제2 샘플링 횟수 및 제2 FPS 중 적어도 하나에 관련 데이터를 제1 데이터로서 저장하고, 상기 노출시간 제어부에 의하여, 변경된 제2 픽셀 노출시간 관련 데이터를 제2 데이터로서 저장하는 레지스터부를 더 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 샘플링 제어부는, 상기 레지스터부에 제1 데이터 및 제2 데이터가 저장된 후에 활성되는 저조도 상태정보신호에 응답하여, 제1 샘플링 횟수 및 상기 제1 FPS 중 적어도 하나를 각각 상기 제2 샘플링 횟수 또는 상기 제2 FPS로 변경할 때, 상기 제1 데이터를 참조하며, 상기 노출시간 제어부는, 상기 제1 픽셀 노출시간을 상기 제2 픽셀 노출시간으로 변경할 때, 상기 제2 데이터를 참조하는 것을 특징으로 한다.
한편, 본 발명의 일실시예에 따른 영상 촬영 장치는, 영상 촬영 장치에 있어서, 피사체에 반사되는 가시광선을 수신하는 렌즈, 상기 렌즈로부터 전달되는 상기 가시광선으로부터 상기 피사체에 대한 영상 정보를 센싱하는 이미지 센서 및 상기 이미지 센서를 제어하고 상기 이미지 센서로부터 전송된 상기 영상 정보를 신호 처리하는 프로세서를 구비하고, 상기 이미지 센서는, 제1 샘플링 횟수로 설정된 샘플링 횟수, 제1 FPS(frame per second)로 설정된 초당 프레임수 및 제1 픽셀 노출시간으로 설정된 픽셀의 노출시간을 기반으로 동작하고, 상기 피사체에 반사되는 가시광선을 픽셀 신호로 변환하는 적어도 하나 이상의 픽셀들을 포함하는 픽셀 어레이, 상기 픽셀 신호에서 조도 정보를 추출하고, 상기 조도 정보가 제1 범위내인 경우에 저조도 상태정보신호를 생성하는 조도 상태 검출부, 상기 저조도 상태정보신호에 응답하여, 상기 제1 샘플링 횟수 및 제1 FPS(frame per second) 중 적어도 하나를 각각 제2 샘플링 횟수 또는 제2 FPS(frame per second)로 변경하는 샘플링 제어부 및 상기 저조도 상태정보신호에 응답하여, 상기 제1 픽셀 노출시간을 제2 픽셀 노출시간으로 변경하는 노출시간 제어부를 포함한다.
바람직하게는, 상기 조도 상태 검출부는, 상기 조도 정보가 제2 범위내인 경우에는 고조도 상태정보신호를 생성하며, 상기 샘플링 제어부는, 상기 고조도 상태정보신호에 응답하여, 상기 제2 샘플링 횟수 및 상기 제2 FPS(frame per second)중 적어도 하나를 각각 제1 샘플링 횟수 또는 제1 FPS(frame per second)로 변경하고, 상기 노출시간 제어부는, 상기 고조도 상태정보신호에 응답하여, 상기 제2 픽셀 노출시간을 상기 제1 픽셀 노출시간으로 변경하는 것을 특징으로 한다.
또한 바람직하게는, 상기 이미지 센서는, 상기 샘플링 제어부로부터 수신한 상기 샘플링 횟수 및 상기 초당 프레임수 중 적어도 하나에 관한 제어신호에 기반하여, 샘플링을 수행하는 샘플링 모듈을 더 포함하고, 상기 샘플링 제어부는,
상기 샘플링 모듈을 제어하여, 상기 제1 샘플링 횟수 및 상기 제1 FPS 중 적어도 하나를 각각 제2 샘플링 횟수 또는 제2 FPS로 변경하는 것을 특징으로 한다.
또한 바람직하게는, 상기 이미지 센서는, 상기 픽셀 어레이의 상기 각 픽셀을 상기 픽셀의 노출시간 단위로 리셋(reset)하고 상기 픽셀의 노출시간 단위로 독출(read)하여 픽셀 신호를 센싱하는 셔터링부(SHUT)를 더 포함하고, 상기 셔터링부는, 상기 픽셀의 리셋 타이밍을 제어하여, 상기 픽셀의 노출시간을 변경하는 것을 특징으로 한다.
또한 바람직하게는, 상기 제2 샘플링 횟수는, 상기 제1 샘플링 횟수보다 작고, 상기 제2 FPS는, 상기 제1 FPS 보다 작으며, 상기 제2 픽셀 노출시간은, 상기 제1 픽셀 노출시간보다 더 큰 것을 특징으로 한다.
본 발명에 따른 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 이미지 촬영 장치에 의하면, 피사체에 대한 조도 조건을 검출하여, 저조도 조건에서 샘플링의 횟수, 픽셀의 노출시간 등의 샘플링 방식을 달리함으로써, 저조도 조건에서도 SNR을 향상시킬 수 있는 장점이 있다. 따라서, 본 발명에 따른 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 영상 촬영 장치에 의하면, 저조도 조건에서 센싱된 이미지의 퀄리티를 향상시킬 수 있는 장점이 있다.
도1 은 본 발명의 실시예에 따른 이미지 센서를 나타내는 블록도이다.
도2 는 본 발명의 실시예에 따른 이미지 센서를 구체적으로 나타낸 블록도이다.
도3 은 본 발명의 일실시예에 따른 저조도 상태정보신호(LLI)를 기반으로, 조도 크기를 판단하는 방법을 나타낸 도면이다.
도4 는 본 발명의 일실시예에 따른 레지스터부가 더 포함된 이미지 센서(ISEN)의 블록도를 나타낸 도면이다.
도5a 및 도5b 는 샘플링 제어부(SC)에서 샘플링 횟수를 제어하였을 때를 나타내는 도면이다.
도6a 및 도6b 은 노출시간 제어부(ETC)에서 샘플링 모듈(SM)의 FPS(frame per second)를 제어하였을 때를 나타내는 도면이다.
도7a 및 도7b 는 노출시간 제어부(ETC)에서 셔터링부(SHUT)의 리셋 타이밍을 제어하였을 때를 나타내는 도면이다.
도8 은 이미지 센서(ISEN)의 동작 방법을 나타내는 순서도이다.
도 9는 본 발명의 실시예에 따른 이미지 촬영 장치를 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 영상 처리 및 시각화 시스템을 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 컴퓨팅 시스템 장치를 나타내는 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다. 본 발명의 실시 예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나 축소하여 도시한 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도1 은 본 발명의 실시예에 따른 이미지 센서(ISEN)를 나타내는 블록도이다.
도1 을 참조하면, 본 발명의 실시예에 따른 이미지 센서(ISEN)는, 조도 상태 검출부(light condition detector, LCD), 샘플링 제어부(sampling controller, SC) 및 노출시간 제어부(exposure time controller, ETC)를 포함할 수 있다. 본 발명의 실시예에 따른 이미지 센서(ISEN)는 피사체에 대한 영상 정보를 센싱할 수 있고, 더 나아가, TOF(time of flight) 이미지 센서일 수 있다.
본 발명의 실시예에 따른 이미지 센서(ISEN)의 동작에 대하여 서술하면, 먼저 이미지 센서는, 한 프레임당 픽셀 데이터를 독출(read)하여 픽셀 신호를 센싱하는 샘플링 동작과 관련하여, 샘플링 횟수는 제1 샘플링 횟수로, 초당 프레임수(frame per second)는 제1 FPS로, 픽셀의 노출시간은 제1 픽셀 노출시간으로 설정된 기본 모드에서 동작할 수 있다. 상기 기본 모드는 고조도 상태를 기준으로 설정된 것일 수 있다. 또한, 조도 상태 검출부(LCD)는 조도 정보(LI)를 수신한 픽셀 신호(POUT)로부터 추출할 수 있으며, 상기 픽셀 신호(POUT)는 이미지 센서(ISEN)내에 구비될 수 있는 아날로그-디지털 변환기(ADC, 미도시)에서 디지털 데이터로 변환된 비트 단위 신호일 수 있다. 조도 상태 검출부(LCD)는 조도 정보(LI)를 추출하여, 각각 조도 정보(LI)에 대응하는 고조도 상태정보신호(HLI) 및 저조도 상태정보신호(LLI)를 샘플링 제어부(SC) 및 노출시간 제어부(ETC)에 제공할 수 있다. 발명의 일실시예로, 고조도 상태정보신호(HLI) 및 저조도 상태정보신호(LLI)는 히스토그램(histogram) 분석 방법 등을 통하여, 생성할 수 있으며, 아날로그-디지털 변환기(ADC)에서 변환된 비트 단위 신호인 픽셀 신호의 비트 값의 범위가 제1 범위내인 경우에는 저조도 상태로 판단될 수 있다. 또한, 제2 범위내인 경우에는 고조도 상태로 판단될 수 있다. 예를 들면, 조도 정보(LI)가 4비트 디지털 신호로서, 0000~0011의 범위를 가지면 제1 범위내인 것으로써, 저조도 상태로 판단되며, 0000~1111의 범위를 가지면 제2 범위내인 것으로써, 고조도 상태로 판단될 수 있다. 상기 고조도 상태 및 저조도 상태에 대응하여 각각 고조도 상태정보신호(HLI) 및 저조도 상태정보신호(LLI)를 샘플링 제어부(SC) 및 노출시간 제어부(ETC)에 제공할 수 있다.
샘플링 제어부(SC)는 저조도 상태정보신호(LLI)를 수신한 경우, 샘플링 제어부(SC)는 제1 샘플링 횟수를 저조도 상태에 맞는 제2 샘플링 횟수로 변경하기 위하여, 제1 제어신호(CS1)를 샘플링 모듈(미도시)에 제공할 수 있다. 또한, 샘플링 제어부(SC)는 제1 FPS를 저조도 상태에 맞는 제2 FPS로 변경하기 위하여, 제2 제어신호(CS2)를 샘플링 모듈(미도시)에 제공할 수 있다. 일실시예로, 샘플링 모듈(미도시)은 제1 제어신호(CS1) 또는 제2 제어신호(CS2)에 응답하여, 샘플링 횟수를 제1 샘플링 횟수에서 제2 샘플링 횟수로 변경할 수 있으며, 초당 프레임수를 제1 FPS에서 제2 FPS로 변경할 수 있다. 일실시예로서, 제2 샘플링 횟수는 제1 샘플링 횟수보다 더 적은 샘플링 횟수를 가질 수 있다. 그 결과, 저조도 상태에서 샘플링 횟수가 적어지게 됨으로써, 그만큼 픽셀의 노출시간을 늘릴 수 있는 범위가 넓어지게 된다.
또한, 다른 실시예로서, 제2 FPS는 제1 FPS보다 더 적은 초당 프레임수를 가질 수 있다. 의 관계를 가지므로, 저조도 상태에서 프레임 타임이 종전보다 길어지게 됨으로써, 그 결과 그만큼 픽셀의 노출시간을 늘릴 수 있는 범위가 넓어지게 된다. 다만, 샘플링 제어부(SC)에서 저조도 상태의 정도를 판단할 수 있고, 다시 말해, 저조도 상태정보신호(LLI)를 기반으로, 조도의 크기에 따라서, 제2 샘플링 횟수 및 제2 FPS를 계산하여, 설정할 수 있다. 예를 들면, 조도의 크기가 작아질수록 제2 샘플링 횟수 또는 제2 FPS를 작게 설정할 수 있다.
본 발명의 일실시예로, 샘플링 제어부(SC)가 고조도 상태정보신호(HLI)를 수신한 경우, 샘플링 제어부(SC)는 제2 샘플링 횟수를 고조도 상태에 맞는 제1 샘플링 횟수로 변경하는 것을 제어하기 위하여, 제1 제어신호(CS1)를 샘플링 모듈(미도시)에 제공할 수 있다. 또한, 샘플링 제어부(SC)는 제2 FPS를 고조도 상태에 맞는 제1 FPS로 변경하는 것을 제어하기 위하여, 제2 제어신호(CS2)를 샘플링 모듈(미도시)에 제공할 수 있다. 일실시예로, 샘플링 모듈(미도시)은 제1 제어신호(CS1) 또는 제2 제어신호(CS2)에 응답하여, 샘플링 횟수를 제2 샘플링 횟수에서 제1 샘플링 횟수로 변경할 수 있으며, 초당 프레임수를 제2 FPS에서 제1 FPS로 변경할 수 있다. 제1 샘플링 횟수 및 제1 FPS 는 데이터로서, 레지스터부에 저장될 수 있으며, 상기 변경 동작을 수행할 때, 샘플링 제어부(SC)가 상기 레지스터부를 참조하여 변경할 수 있다.
본 발명의 일실시예로, 노출시간 제어부(ETC)는 저조도 상태정보신호(LLI)를 수신한 경우, 노출시간 제어부(ETC)는 제1 픽셀 노출시간을 저조도 상태에 맞는 제2 픽셀 노출시간으로 변경하는 것을 제어하기 위하여, 제3 제어신호(CS3)를 셔터링부(미도시)에 제공할 수 있다. 셔터링부(미도시)는 제3 제어신호(CS3)에 응답하여, 픽셀의 노출시간을 제1 픽셀 노출시간에서 제2 픽셀 노출시간으로 변경할 수 있다. 또한, 셔터링부(미도시)는 픽셀 어레이의 로우(Row) 단위의 픽셀들의 리셋 타이밍을 제어할 수 있는데, 리셋 타이밍은 픽셀들이 리셋되는 시간의 간격을 의미한다. 셔터링부(미도시)의 리셋타이밍을 전보다 길게함으로써, 제1 픽셀 노출시간을 제2 픽셀 노출시간으로 변경할 수 있다. 따라서, 제2 픽셀 노출시간은 제1 픽셀 노출시간보다 더 긴 노출시간을 가질 수 있다. 그 결과, 저조도 상태에서 픽셀의 노출시간이 늘어남에 따라, SNR(signal to noise ratio)이 개선될 수 있다. 일실시예로, 노출시간 제어부(ETC)는 저조도 상태의 정도를 판단할 수 있고, 저조도 상태정보신호(LLI)를 기반으로, 조도의 크기에 따라서, 제2 픽셀 노출시간을 계산하여, 설정할 수 있다. 이에 관한 자세한 설명은 후술한다.
본 발명의 일실시예로, 노출시간 제어부(ETC)가 고조도 상태정보신호(HLI)를 수신한 경우, 노출시간 제어부(ETC)는 제2 픽셀 노출시간을 고조도 상태에 맞는 제1 픽셀 노출시간으로 변경하기 위하여, 제3 제어신호(CS3)를 셔터링부(미도시)에 제공할 수 있다. 셔터링부(미도시)는 이에 응답하여, 픽셀의 노출시간을 제2 픽셀 노출시간에서 제1 픽셀 노출시간으로 변경할 수 있다. 제1 픽셀 노출시간은 데이터로서, 레지스터부에 저장될 수 있으며, 상기 변경 동작을 수행할 때, 노출시간 제어부(ETC)가 레지스터부를 참조하여 변경할 수 있다.
본 발명의 일실시예로, 샘플링 횟수, FPS 및 픽셀의 노출시간을 제어신호를 통하여, 샘플링 횟수, FPS 및 픽셀의 노출시간을 동시에 변경할 수 있으나, 더 나아가, 샘플링 횟수, FPS중 변경할 샘플링 요소만 선택하여, 저조도 상태 또는 고조도 상태에서 변경할 수 있을 것이다. 상기 선택은 샘플링 제어부(SC)에서 제1 제어신호(CS1) 및 제2 제어신호(CS2)의 전송 여부를 선택함으로써, 수행될 수 있을 것이다. 또한, 조도 상태 검출부(LCD), 샘플링 제어부(SC) 및 노출시간 제어부(ETC)는 하나의 모듈로 통합될 수 있다. 그리고, 이미지 센서(ISEN)는 타이밍 생성기(Timing Generater, 미도시)를 더 구비하여, 제1, 제2 및 제3 제어신호(CS1~3) 중 적어도 하나를 수신하여, 샘플링 횟수, FPS 및 픽셀의 노출시간을 제어할 수 있다.
도2 는 본 발명의 실시예에 따른 이미지 센서(ISEN)를 구체적으로 나타낸 블록도이다.
도2 를 참조하면, 본 발명의 실시예에 따른 이미지 센서(ISEN)는, 도1 의 이미지 센서(ISEN)과 비교하여, 픽셀 어레이(PA), 로우 디코더(RD), 샘플링 모듈(SM), 아날로그-디지털 변환기(ADC) 및 셔터링부(SHUT)를 더 구비할 수 있다. 픽셀 어레이(PA)는 행들 및 열들의 교차점에 배열되는 복수의 픽셀(PX)들을 구비한다. 픽셀(PX)들은 각각, 가시광선(VLIG)에 대응되는 전기적 변화를 야기하는 광전 변환 소자(미도시)를 구비할 수 있다. 광전 변환 소자는 포토 다이오드, 포토 트랜지스터, 포토 게이트 또는 핀드 포토 다이오드 등으로 구현될 수 있다. 픽셀(PX)들은 또한, 광전 변환 소자와 연결되어 광전 변환 소자를 제어하거나 광전 변환 소자의 전기적 변화를 제1 픽셀 신호(POUT1)로 출력하는 전달 트랜지스터, 드라이브 트랜지스터, 선택 트랜지스터 및 리셋 트랜지스터를 포함할 수 있다. 픽셀(PX)들에 포함되는 각 트랜지스터들은 각 픽셀(PX)들의 광전 변환 소자가 수신하는 가시광선에 대응하는 전압(제1 픽셀 신호/POUT1)으로 출력할 수 있다.
샘플링 모듈(SM)은 제1 픽셀 신호(POUT1)를 픽셀(PX)들로부터 샘플링하고, 제1 픽셀 신호(POUT1)를 아날로그-디지털 변환기(ADC)로 전송할 수 있다. 아날로그-디지털 변환기(ADC)는 각각 아날로그 전압 값을 갖는 제1 픽셀 신호(POUT1)를 디지털 데이터로 변환할 수 있다. 아날로그-디지털 변환기(ADC)는 디지털 데이터로 변환된 제2 픽셀 신호(POUT2)를 조도 상태 검출부(LCD)에 제공할 수 있다. 조도 상태 검출부(LCD)는 디지털 데이터로 변환된 비트 단위의 제2 픽셀 신호(POUT2)를 수신하여, 조도 정보(LI)를 추출하고, 조도 정보(LI)를 기반으로, 저조도 상태정보신호(LLI) 또는 고조도 상태정보신호(HLI)를 샘플링 제어부(SC) 및 노출시간 제어부(ETC)에 제공할 수 있다. 제1 픽셀 신호(POUT1)과 제2 픽셀 신호(POUT2)는 복수의 신호를 포함할 수 있다. 일실시예로서, 전술한 히스토그램 분석 방법등을 이용하여, 상기 상태정보신호를 생성할 수 있다.
샘플링 제어부(SC) 및 노출시간 제어부(ETC)의 동작은 도1 에서 서술한바 자세한 서술은 생략한다. 본 발명의 실시예에 따른 셔터링부(SHUT)는 롤링 셔터(rolling shutter) 방식으로 동작할 수 있다. 셔터링부(SHUT)는 로우 디코더(RD)로 리셋 신호(XRST)를 전송할 수 있다. 로우 디코더(RD)는 리셋 신호(XRST)에 응답하여 픽셀 어레이(PA)에 대하여 로우(row) 단위로 제1 로우(R1)에서 마지막 로우(Rn)까지 순차적으로 리셋시킬 수 있다.
본 발명의 일실시예에 따른 셔터링부(SHUT)는 노출시간 제어부(ETC)으로부터 제3 제어신호(CS3)를 수신하고, 이에 응답하여, 리셋 신호(XRST)를 전송하는 리셋 타이밍을 제어할 수 있다. 셔터링부(SHUT)는 적어도 하나 이상의 리셋부를 구비할 수 있다. 일실시예로, 제1 리셋부(SHUT1) 및 제2 리셋부(SHUT2)를 구비할 수 있으며, 제1 리셋부(SHUT1)가 픽셀 어레이(PA)에 대하여 로우(row) 단위로 첫번째 로우(row)를 리셋시킨 경우, 그 다음 두번째 로우(row)를 제2 리셋부(SHUT2)가 리셋을 하고, 다시 세번째 로우(row)를 제1 리셋부(SHUT1)가 리셋을 하여, 더 빠른 리셋 신호(XRST)를 전송할 수 있다.
본 발명의 일실시예로, 샘플링 제어부(SC) 및 노출시간 제어부(ETC)는 저조도 상태정보신호(LLI)를 기반으로하여, 저조도 상태에서도 조도 크기를 판단하여, 각 조도 크기에 따라, 최적의 샘플링 횟수, FPS 및 픽셀의 노출시간을 계산하고, 변경할 수 있다. 이는 일실시예로, 이에 국한되지 않으며, 조도 상태 검출부(LCD)에서 조도 크기에 따른, 다양한 저조도 상태정보신호(LLI)를 샘플링 제어부(SC) 및 노출시간 제어부(ETC)에 제공할 수 있으며, 이에 응답하여, 샘플링 제어부(SC) 및 노출시간 제어부(ETC)는 최적의 샘플링 횟수, FPS 및 픽셀의 노출시간을 계산하고, 변경할 수 있다.
도3 은 본 발명의 일실시예에 따른 저조도 상태정보신호(LLI)를 기반으로, 조도 크기를 판단하는 방법을 나타낸 도면이다.
도3 을 참조하면, 저조도 상태정보신호(LLI)는 디지털 데이터(digital data)에 해당될 수 있다.. 이때, 상기 디지털 데이터가 가질 수 있는 값의 범위를 기준으로 조도의 크기를 판단할 수 있다. 즉, (a)의 제1 저조도 상태정보신호(LLI1)는 000~001의 값의 범위를 가지고, (b)의 제2 저조도 상태정보신호(LLI2)는 000~010의 값의 범위를 가진다. 또한 (c)의 제3 저조도 상태정보신호(LLI3)는 000~011의 값의 범위를 가지게 되는바, 제3 저조도 상태정보신호(LLI3)의 조도 크기가 제일 크고, 제1 저조도 상태정보신호(LLI1)의 조도 크기가 제일 작게 판단된다. 이렇게 판단된 조도 크기를 기반으로, 샘플링 제어부(SC) 및 노출시간 제어부(ETC)는 각각의 저조도 상태에서, 적합한 제2 샘플링 횟수, 제2 FPS, 제2 픽셀 노출시간을 계산하여, 설정할 수 있다. 예를 들면, 제1 저조도 상태정보신호(LLI1)을 수신하였을 때, 제2 및 제3 저조도 상태정보신호(LLI2,3) 보다 제2 픽셀 노출시간을 더 크게 계산하여 설정할 수 있을 것이다. 이에, 조도의 크기가 다른 저조도 상태에 맞춰, 이상적인 SNR 향상을 얻을 수 있다.
도4 는 본 발명의 일실시예에 따른 레지스터부가 더 포함된 이미지 센서(ISEN)의 블록도를 나타낸 도면이다.
도4 을 참조하면, 이미지 센서(ISEN)는 도1 에 도시된 이미지 센서(ISEN)에서 샘플링 데이터 레지스터(SDR)을 더 포함할 수 있다. 샘플링 데이터 레지스터(SDR)는 설정된 제1 샘플링 횟수, 제1 FPS 및 제1 픽셀 노출시간에 관한 데이터를 제3 데이터(3rd data)로서 저장할 수 있다. 저조도 상테에 따라, 설정된 제2 샘플링 횟수 및 제2 FPS 중 적어도 하나에 관한 데이터를 제1 데이터(1st data)로서 저장할 수 있다. 또한, 저조도 상태에 따라, 설정된 제2 픽셀 노출시간을 제2 데이터(2nd data)로서 저장할 수 있다. 일실시예로, 고조도 상태에서 저조도 상태로 검출되어, 미리 설정된 제1 샘플링 횟수, 제1 FPS 및 제1 픽셀 노출시간을 제어신호를 통하여 새롭게 설정할 수 있다. 이때, 미리 설정된 제1 샘플링 횟수, 제1 FPS 및 제1 픽셀 노출시간에 대한 데이터를 샘플링 데이터 레지스터(SDR)에 제3 데이터(3rd data)로서 미리 저장할 수 있다. 이후, 고조도 조건으로 조도 조건이 검출된 때, 샘플링 데이터 레지스터(SDR)에 저장된 제1 데이터(1st data)를 이용하여, 제1 샘플링 횟수, 제1 FPS 및 제1 픽셀 노출시간을 다시 설정할 수 있다. 또한, 저조도 상태에서 새롭게 설정한, 제2 샘플링 횟수 및 제2 FPS 중 적어도 하나에 관한 데이터를 제1 데이터(1st data), 제2 픽셀 노출시간에 관한 데이터를 제2 데이터(2nd data)로서 저장할 수 있다. 이후, 동일 또는 비슷한 저조도 상태가 검출되어, 활성화된 저조도 상태정보신호를 수신한때, 샘플링 데이터 레지스터(SDR)에 저장된 제1 및 제2 데이터(1st data, 2nd data)를 참조하여, 제2 샘플링 횟수, 제2 FPS 및 제2 픽셀 노출시간으로 변경할 수 있다. 다만, 이는 발명의 일실시예로써, 이에 국한되지 않고, 상기 각각의 샘플링 횟수, 픽셀 노출시간 및 FPS 정보를 하나의 데이터로서 저장할 수 있을 것이다. 또한, 도3 에 언급하였던, 제1 저조도 상태정보신호(LLI1), 제2 저조도 상태정보신호(LLI2) 및 제3 저조도 상태정보신호(LLI3)에 응답하여, 각각 다르게 계산된 제2 샘플링 횟수, 제2 FPS 및 제2 픽셀 노출시간 관련 데이터를 모두 샘플링 데이터 레지스터(SDR)에 저장될 수 있다.
도5a 및 5b는 샘플링 제어부(SC)에서 샘플링 횟수를 제어하였을 때를 나타내는 도면이다.
도5a 와 도5b 를 참조하면, 도5a 는, 고조도 상태에서의 이미지 센서(ISEN)의 동작을 나타낸다. 먼저이미지 센서(ISEN)는 이미지를 생성하기 위하여, 멀팅 샘플링 방법(Multi-sampling)을 이용하여, 생성된 다수의 이미지를 합성하여 완성된 이미지를 생성할 수 있다. 이때, 샘플링을 한번 하는데 걸리는 시간을 서브 프레임 타임(sub frame time)이라 하며, 멀티 샘플링 방법(Multi-sampling)을 모두 수행하는데 걸리는 시간을 프레임 타임(frame time)이라 하며, 이는 샘플링 주기에 해당된다. 샘플링 클록(VSYNC)이 하이레벨이 된 경우에 샘플링 모듈(SM)에서 샘플링을 수행하고, 로우 레벨에서는 샘플링을 중단하는 것으로써, 샘플링 타이밍을 나타낸다. 일실시예로, 고조도 조건에서 샘플링 횟수를 4회할 수 있다. 다만, 샘플링 횟수를 다수로 하는 경우, 프레임 타임(frame time)은 고정되어 있어, 그만큼 서브 프레임 타임(sub frame time)이 줄어들게 된다. 서브 프레임 타임(sub frame time)은 픽셀을 노출하는 최대 시간(A)을 나타내므로, 픽셀을 노출하는 최대 시간(A)가 줄어들게 되므로써, 저조도 조건에서는, 빛의 세기가 부족하여, 멀티 샘플링시에SNR이 열화되는 문제가 발생한다.
도5b 는 저조도 상태에서의 이미지 센서(ISEN)의 동작을 나타낸다. 일실시예로, 샘플링 제어부(SC)는 조도 상태 검출부(LCD)로부터 저조도 상태정보신호(LLI)를 수신하면, 제1 제어신호(CS1)를 샘플링 모듈(SM)에 제공하여, 제2 샘플링 횟수로 변경하는 것을 제어할 수 있다. 샘플링 모듈(SM)에서 샘플링 횟수를 제2 샘플링 횟수로 변경할 수 있다. 도5b 는 샘플링 횟수를 4회에서 1회로 변경한 것을 나타낸다. 그 결과, 제2 서브 프레임 타임(sub frame time_2)이 제1 서프 프레임 타임(sub frame time_1)보다 길게되어, 픽셀의 최대 노출시간(A)을 더 늘릴 수 있다. 노출시간 제어부(ETC)를 이용하여, 픽셀의 노출시간을 늘리도록 제어함으로써, 저조도 조건에서의 SNR의 열화를 방지할 수 있다. 또 다른 실시예로써, 타이밍 생성기(TG)가 제1 제어신호(CS1)를 수신하여, 샘플링 횟수를 새롭게 설정하여, 샘플링 모듈(SM)의 샘플링 횟수를 변경할 수 있다. 더 나아가, 타이밍 생성기(TG)는 샘플링 모듈(SM) 내에 존재할 수 있다.
도6a 및 6b는 노출시간 제어부(ETC)에서 샘플링 모듈(SM)의 FPS(frame per second)를 제어하였을 때를 나타내는 도면이다.
도6a 는 도5a 에서 서술한 이미지 센서(ISEN)의 동작과 동일하므로 생략하도록 한다. 다만 도5a 에서 서술한 방법으로 제1 프레임 타임(frame time_1)의 값을 크게 설정할 수 없다. 즉, 픽셀의 노출시간을 늘리는데 한계가 존재하게 된다. 따라서, 도6b 는 상기의 한계를 개선하기 위하여, 도6b 의 제2 프레임 타임(frame time_2)과 같이 프레임 타임 값을 크게 설정할 수 있도록 제어한 것을 나타낸다. 일실시예로, 샘플링 제어부(SC)로부터 저조도 상태정보신호(LLI)를 수신하면, 제2 제어신호(CS2)를 샘플링 모듈(SM)에 제공하여, 제1 FPS를 제2 FPS로 변경하는 것을 제어할 수 있다. 일실시예로, 로 나타낼 수 있으며, FPS를 낮춰서 제2 프레임 타임(frame time_2)을 도6a 의 제1 프레임 타임(frame time_1)보다 크게할 수 있다. 그 결과, 제2 프레임 타임(frame time_2)이 도6b 에 도시된 것처럼 기존보다 커짐에 따라, 도6b 의 제2 서브 프레임 타임(sub frame time_2)을 제1 서프 프레임 타임(sub frame time_1)보다 더 크게할 수 있고, 그 결과, 노출시간 제어부(ETC)를 이용하여, 픽셀의 최대 노출시간을 더 늘릴 수 있다. 따라서, 저조도 조건에서의 SNR의 열화를 방지할 수 있다. 또 다른 실시예로써, 타이밍 생성기(TG)가 제2 제어신호(CS2)를 수신하여, FPS를 새롭게 설정하여, 샘플링 모듈(SM)의 FPS(frame per second)을 변경할 수 있다. 더 나아가, 타이밍 생성기(TG)는 샘플링 모듈(SM) 내에 존재할 수 있다.
도7a 및 7b 는 노출시간 제어부(ETC)에서 셔터링부(SHUT)의 리셋 타이밍을 제어하였을 때를 나타내는 도면이다.
도7a 는 고조도 상태에서의 이미지 센서(ISEN)의 동작을 나타낸다.도7a 는 셔터링부(SHUT)는 제1 리셋부(STX1) 및 제2 리셋부(STX2)로 구현될 수 있으며, 각각 번갈아가면서 픽셀 어레이(PA)의 로우(row) 단위로 리셋을 수행할 수 있다. 픽셀의 노출시간(t1, t2, t3, t4)을 각각 달리하여, 픽셀의 다이나믹 레인지(dynamic range)를 넒힐 수 있고, 고조도시에 이미지의 퀄리티를 향상시킬 수 있다. 다만, 도7a 의 방법은 t1, t2, t3와 같이 픽셀의 노출시간이 짧아 저조도 조건에서는 SNR이 열화되는 현상이 발생한다.
도7b를 참조하면, 저조도 상태에서의 이미지 센서(ISEN)의 동작을 나타낸다. 일실시예로, 샘플링 제어부(SC)로부터 저조도 상태정보신호(LLI)를 수신하면, 제3 제어신호(CS3)를 셔터링부(SHUT)에 제공하여 제1 픽셀 노출시간을 제2 픽셀 노출시간으로 변경하는 것을 제어할 수 있다. 이렇게 하여, 서터링부(SHUT)는 제3 제어신호(CS3)에 의하여, 리셋 타이밍의 변경을 통하여 픽셀의 노출시간을 변경할 수 있다. 일실시예로, 도7a 의 제1 리셋 타이밍(B1) 및 제2 리셋 타이밍(B2) 보다 도7b 의 제1 리셋 타이밍(B3) 및 제2 리셋 타이밍(B4)을 줄여 도7a의 픽셀의 노출시간(t1, t2, t3) 보다 저조도 상태에서 픽셀의 노출시간(t'1, t'2, t'3)을 늘릴 수 있다. 그 결과, 저조도 상태에서의 SNR의 열화를 방지할 수 있다. 또 다른 실시예로써, 타이밍 생성기(TG)가 제3 제어신호(CS3)를 수신하여, 픽셀의 노출시간을 새롭게 설정하여, 셔터링부(SHUT)의 리셋 타이밍을 변경하여 픽셀의 노출시간을 변경할 수 있다. 더 나아가, 타이밍 생성기(TG)는 셔터링부(SHUT) 내에 존재할 수 있다.
도8 은 이미지 센서(ISEN)의 동작 방법을 나타내는 순서도이다.
도8 을 참조하면, 먼저, 피사체의 가시광선(VLIG)이 이미지 센서(ISEN)의 렌즈(LENS)에 입사하였을 때, 이미지 센서(ISEN)의 동작이 시작하는 단계(S100)을 거친다. 이후, 일실시예로, 히스토그램(histogram) 분석 방법으로 조도 조건을 검출하는 단계(S200)을 거친다. 이때, 조도 정보(LI)는 아날로그-디지털 변환기(ADC)에 의하여, 비트 단위의 디지털 데이터로 변환된 조도 정보(LI)일 수 있다. 조도 정보(LI)를 기반으로, 피사체의 조도 상태가 저조도 상태인지 여부를 판단하는 단계(S300)을 거친다. 이때, 디지털 데이터로 변환된 조도 정보(LI)를 기반으로, 조도 정보(LI)의 비트 값의 범위를 계산하여, 고조도 상태정보신호(HLI) 및 저조도 상태정보신호(LLI)를 생성하는 단계를 포함할 수 있다. 저조도 상태에 해당되는 경우에는, 샘플링하는 단계(S400)를 거친다. 이때, 지금 설정된 샘플링 횟수, FPS 및 픽셀의 노출시간이 저조도 상태에서 알맞게 설정되어 있는지 판단하는 단계(S500)을 거친다. 더 나아가, 알맞게 설정되지 않은 경우, 샘플링 데이터 레지스터(SDR)를 참조하여, 상기 저조도 상태에 알맞은 제2 샘플링 횟수, 제2 FPS 및 제2 픽셀 노출시간 관련 데이터가 있는지 확인하는 단계를 더 포함할 수 있다. 상기 데이터가 존재하는 경우, 상기 데이터를 이용하여, 제2 샘플링 횟수, 제2 FPS 및 제2 픽셀 노출시간으로 설정할 수 있으며, 상기 데이터가 없는 경우, 상기 저조도 조건에 알맞은 제2 샘플링 횟수, 제2 FPS 및 제2 픽셀 노출시간을 계산하여, 설정하는 업데이트 단계(S600)를 거친다. 이후, 샘플링 횟수, FPS 및 픽셀 노출시간을 설정한 제2 샘플링 횟수, 제2 FPS 및 제2 픽셀 노출시간으로 변경하는 단계를 포함할 수 있다. 다만, 지금 설정된 샘플링 횟수, FPS 및 픽셀의 노출시간이 저조도 상태에서 알맞게 설정된 경우에는, 바로 샘플링 단계(S700)을 거친다.
고조도 상태에 해당되는 경우, 고조도 샘플링 단계(S800)을 거친다. 이때, 저조도 상태에서 설정된 제2 샘플링 횟수, 제2 FPS 및 제2 픽셀 노출시간을 고조도를 전제로하여 미리 설정된 제1 샘플링 횟수, 제1 FPS 및 제1 픽셀 노출시간으로 변경하는 단계를 포함할 수 있다. 더 나아가, 샘플링 데이터 레지스터(SDR)를 참조하여, 여기에 저장된 제1 샘플링 횟수, 제1 FPS 및 제1 픽셀 노출시간 관련 데이터를 이용할 수 있다.
도 9는 본 발명의 실시예에 따른 이미지 촬영 장치를 나타내는 도면이다.
도 1 및 도 9를 참조하면, 본 발명의 실시예에 따른 이미지 촬영 장치(CMR)는 광원(LS)으로부터 출력되는 출력광(OLIG)이 피사체(OBJ)에 반사되는 반사광(RLIG)을 렌즈(LE)를 통해 수신하여, 피사체에 대한 영상 정보(IMG)로 센싱하는 도 1의 이미지 센서(ISEN)를 포함할 수 있다. 광원(LS)는 가시광선 및 적외선을 모두 발산할 수 있다. 본 발명의 실시예에 따른 이미지 촬영 장치(CMR)는 또한, 제어 신호(XCON)를 통해 이미지 센서(ISEN)를 제어하는 컨트롤러(CNT) 및 이미지 센서(ISEN)에 의해 센싱된 영상 정보(IMG)에 대한 신호 처리를 수행하는 신호 처리 회로(ISP)를 구비하는 프로세서(PRO)를 더 구비할 수 있다.
도 10은 본 발명의 실시예에 따른 영상 처리 및 시각화 시스템을 나타내는 도면이다.
도 10을 참조하면, 본 발명의 실시예에 따른 영상 처리 및 시각화 시스템을 (ICVS)은 도 9의 이미지 촬영 장치(CMR) 및 이미지 촬영 장치(CMR)로부터 수신되는 영상을 디스플레이하는 표시 장치를 구비할 수 있다. 이를 위해, 도 9의 프로세서(PRO)는 이미지 센서(ISEN)로부터 수신되는 영상 정보(IMG)를 표시 장치(DIS)로 전송하는 인터페이스(IF)를 더 구비할 수 있다.
도 11은 본 발명의 실시예에 따른 컴퓨팅 시스템 장치를 나타내는 블럭도이다.
도 11을 참조하면, 본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)은 버스(BS)에 전기적으로 연결된 중앙 처리 장치(CPU), 사용자 인터페이스(UI) 및 이미지 촬영 장치(CMR)를 구비한다. 이미지 촬영 장치(CMR)는 전술한 바와 같이, 본 발명의 실시예에 따른 이미지 센서(ISEN) 및 프로세서(PRO)를 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)는 파워 공급 장치(PS)를 더 구비할 수 있다. 또한, 본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)는 이미지 촬영 장치(CMR)로부터 전송되는 영상 정보(IMG)를 저장하는 저장 장치(RAM)를 더 구비할 수 있다.
본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)가 모바일 장치인 경우, 컴퓨팅 시스템의 동작 전압을 공급하기 위한 배터리 및 베이스밴드 칩셋(baseband chipset)과 같은 모뎀이 추가적으로 제공될 수 있다. 또한, 본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)에는 응용 칩셋(application chipset), 모바일 디램, 등이 더 제공될 수 있음은 이 분야의 통상적인 지식을 습득한 자들에게 자명한 사항인 바, 더 자세한 설명은 생략한다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 예를 들어, 이상에서는 연속되는 이미지들에 대한 위상 지연을 구하는 방법에 한하여 설명하였다. 그러나 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

  1. 제1 샘플링 횟수로 설정된 샘플링 횟수, 제 1 FPS(frame per second)로 설정된 초당 프레임 수 및 제1 픽셀 노출시간으로 설정된 픽셀의 노출시간을 기반으로 동작하는 이미지 센서에 있어서,
    히스토그램 분석 방법을 이용하여 픽셀 어레이의 픽셀들로부터 수신받은 픽셀 신호의 데이터 값의 범위가 제1 범위인 경우에 저조도 상태정보신호를 생성하는 조도 상태 검출부;
    상기 저조도 상태정보신호에 응답하여, 상기 픽셀의 최대 노출시간을 변경하기 위해 선택적으로 상기 제1 샘플링 횟수를 제2 샘플링 횟수로 변경하여 프레임 타임 내의 서브 프레임 타임 개수를 변경하거나, 상기 제 1 FPS를 상기 제 2 FPS로 변경하여 상기 프레임 타임의 길이를 변경하는 샘플링 제어부; 및
    상기 저조도 상태정보신호에 응답하여, 변경된 상기 픽셀의 최대 노출시간을 기반으로 상기 제1 픽셀 노출시간을 제2 픽셀 노출시간으로 변경하는 노출시간 제어부를 포함하는 이미지 센서.
  2. 제1 항에 있어서,
    상기 조도 상태 검출부는,
    상기 저조도 상태정보신호를 생성한 후에,
    상기 픽셀 신호의 데이터 값의 범위가 제2 범위인 경우에는 고조도 상태정보신호를 생성하며,
    상기 샘플링 제어부는,
    상기 고조도 상태정보신호에 응답하여, 상기 픽셀의 최대 노출시간을 변경하기 위해 선택적으로 상기 제2 샘플링 횟수를 상기 제1 샘플링 횟수로 변경하거나, 상기 제 2 FPS를 상기 제 1 FPS로 변경하고,
    상기 노출시간 제어부는,
    상기 고조도 상태정보신호에 응답하여, 변경된 상기 픽셀의 최대 노출시간을 기반으로 상기 제2 픽셀 노출시간을 상기 제1 픽셀 노출시간으로 변경하는 것을 특징으로 하는 이미지 센서.
  3. 제 1 항에 있어서,
    상기 이미지 센서는,
    상기 픽셀들에 대한 리셋을 수행하는 동안 상기 노출시간 제어부에서 제공된 제어신호에 기반하여 롤링 셔터 방식으로 동작하는 셔터링부를 더 포함하는 것을 특징으로 하는 이미지 센서.
  4. 제1 항에 있어서,
    상기 이미지 센서는,
    상기 샘플링 제어부로부터 수신한 상기 제1 샘플링 횟수 및 상기 제 2 샘플링 횟수 중 적어도 하나에 관한 제어신호에 기반하여, 샘플링을 수행하는 샘플링 모듈을 더 포함하는 것을 특징으로 하는 이미지 센서.
  5. 삭제
  6. 제1 항에 있어서,
    상기 이미지 센서는,
    상기 제 1 픽셀 노출시간 및 상기 제 2 픽셀 노출시간 중 적어도 하나에 기반하여, 상기 픽셀들에 대한 리셋을 수행하는 셔터링부를 더 포함하는 것을 특징으로 하는 이미지 센서.
  7. 제 6항에 있어서,
    상기 노출시간 제어부는,
    상기 셔터링부가 리셋 타이밍을 조절하여, 상기 제 1 픽셀 노출시간에서 상기 제 2 픽셀 노출시간으로 변경하는 것을 특징으로 하는 이미지 센서.
  8. 제 1 항에 있어서,
    상기 제 2 픽셀 노출시간은,
    상기 제 1 픽셀 노출시간보다 더 큰 것을 특징으로 하는 이미지 센서.
  9. 제1 항에 있어서,
    상기 이미지 센서는,
    상기 제 1 샘플링 횟수, 상기 제 2 샘플링 횟수, 상기 제 1 FPS 및 상기 제 2 FPS에 관한 데이터를 제 1 데이터로 저장하고, 상기 제1 픽셀 노출시간 및 상기 제2 픽셀 노출시간 관련 데이터를 제 2 데이터로 저장하는 레지스터부를 더 포함하는 것을 특징으로 하는 이미지 센서.
  10. 제9 항에 있어서,
    상기 샘플링 제어부는,
    상기 레지스터부에 상기 제 1 데이터 및 상기 제 2 데이터가 저장된 후에, 상기 제1 샘플링 횟수를 상기 제 2 샘플링 횟수로 변경하거나, 상기 제 1 FPS를 상기 제 2 FPS로 변경할 때에, 상기 제 1 데이터를 참조하는 것을 특징으로 하는 이미지 센서.
  11. 영상 촬영 장치에 있어서,
    피사체에 반사되는 가시광선을 수신하는 렌즈;
    상기 렌즈로부터 전달되는 상기 가시광선으로부터 상기 피사체에 대한 영상 정보를 센싱하는 이미지 센서; 및
    상기 이미지 센서를 제어하고 상기 이미지 센서로부터 전송된 상기 영상 정보를 신호 처리하는 프로세서를 구비하고,
    상기 이미지 센서는,
    제1 샘플링 횟수로 설정된 샘플링 횟수, 제 1 FSP(frame per second)로 설정된 초당 프레임 수 및 제1 픽셀 노출시간으로 설정된 픽셀의 노출시간을 기반으로 동작하고,
    픽셀 어레이의 픽셀들로부터 수신받은 픽셀 신호의 데이터 값의 범위가 제1 범위인 경우에 저조도 상태정보신호를 생성하는 조도 상태 검출부;
    상기 저조도 상태정보신호에 응답하여, 상기 픽셀의 최대 노출시간을 변경하기 위해 선택적으로 상기 제1 샘플링 횟수를 제2 샘플링 횟수로 변경하여 프레임 타임 내의 서브 프레임 타임 개수를 변경하고, 상기 제 1 FPS 를 유지하여 상기 프레임 타임 길이를 유지하는 샘플링 제어부; 및
    상기 저조도 상태정보신호에 응답하여, 변경된 상기 픽셀의 최대 노출시간을 기반으로 상기 제1 픽셀 노출시간을 제2 픽셀 노출시간으로 변경하는 노출시간 제어부를 포함하는 영상 촬영 장치.
  12. 제 11항에 있어서,
    상기 조도 상태 검출부는,
    상기 저조도 상태정보신호를 생성한 후에,
    상기 픽셀 신호의 데이터 값의 범위가 제2 범위인 경우에는 고조도 상태정보신호를 생성하며,
    상기 샘플링 제어부는,
    상기 고조도 상태정보신호에 응답하여, 상기 픽셀의 최대 노출시간을 변경하기 위해 상기 제2 샘플링 횟수를 상기 제1 샘플링 횟수로 변경하여 상기 프레임 타임 내의 상기 서브 프레임 타임 개수를 변경하고,
    상기 노출시간 제어부는,
    상기 고조도 상태정보신호에 응답하여, 변경된 상기 픽셀의 최대 노출시간을 기반으로 상기 제2 픽셀 노출시간을 상기 제1 픽셀 노출시간으로 변경하는 것을 특징으로 하는 영상 촬영 장치.
  13. 삭제
  14. 제 11 항에 있어서,
    상기 이미지 센서는,
    상기 픽셀들에 리셋 동작을 수행하는 동안 상기 노출시간 제어부에서 제공된 제어신호에 기반하여, 롤링 셔터 방식으로 동작하는 셔터링부를 더 포함하는 것을 특징으로 하는 영상 촬영 장치.
  15. 삭제
  16. 복수의 픽셀들을 포함하는 이미지 센서의 동작 방법에 있어서,
    상기 이미지 센서로부터 수신한 픽셀 신호에 대한 히스토그램을 계산하여 계산 결과를 기반으로 상기 이미지 센서가 저조도 상태에서 동작하는지 여부를 결정하는 단계;
    상기 이미지 센서가 상기 저조도 상태에서 동작하는 때에, 제 1 FPS 및 제 1 픽셀 노출시간을 기반으로 동작을 수행하는 단계; 및
    상기 이미지 센서가 상기 저조도 상태에서 동작하지 않는 때에, 상기 계산 결과에 기반하여 상기 픽셀의 최대 노출시간을 변경하기 위해, 상기 제 1 FPS와 상이한 제 2 FPS으로 변경하여 프레임 타임의 길이를 변경하고, 변경된 상기 픽셀의 최대 노출시간을 기반으로 상기 픽셀 노출시간을 변경하기 위하여, 상기 제 1 픽셀 노출시간과 상이한 제 2 픽셀 노출시간으로 변경하는 단계; 및
    상기 이미지 센서가 상기 제 2 FPS 및 상기 제 2 픽셀 노출시간을 기반으로 동작하는 단계를 포함하는 이미지 센서의 동작 방법.
  17. 삭제
  18. 삭제
  19. 제 16항에 있어서,
    상기 이미지 센서의 동작 방법은,
    픽셀 어레이의 픽셀들로부터 수신한 픽셀 신호의 데이터 값의 범위가 제 1 범위인 경우에 저조도 상태정보신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 이미지 센서의 동작 방법.
  20. 제 19항에 있어서,
    상기 이미지 센서의 동작 방법은,
    상기 저조도 상태정보신호에 응답하여, 상기 제 1 샘플링 횟수를 상기 제 2 샘플링 횟수로 변경하거나, 상기 제 1 FPS를 상기 제 2 FPS로 변경하는 단계; 및
    상기 저조도 상태정보신호에 응답하여, 상기 제 1 픽셀 노출시간을 상기 제 2 픽셀 노출시간으로 변경하는 단계를 더 포함하는 이미지 센서의 동작 방법.
KR1020140083901A 2014-07-04 2014-07-04 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치 KR101689665B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140083901A KR101689665B1 (ko) 2014-07-04 2014-07-04 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
US14/790,359 US9635277B2 (en) 2014-07-04 2015-07-02 Image sensor, image sensing method, and image photographing apparatus including image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140083901A KR101689665B1 (ko) 2014-07-04 2014-07-04 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치

Publications (2)

Publication Number Publication Date
KR20160004827A KR20160004827A (ko) 2016-01-13
KR101689665B1 true KR101689665B1 (ko) 2016-12-26

Family

ID=55172711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140083901A KR101689665B1 (ko) 2014-07-04 2014-07-04 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치

Country Status (2)

Country Link
US (1) US9635277B2 (ko)
KR (1) KR101689665B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017095549A2 (en) * 2015-10-21 2017-06-08 Massachusetts Institute Of Technology Methods and apparatus for true high dynamic range (thdr) time-delay-and-integrate (tdi) imaging
KR102615738B1 (ko) 2016-10-06 2023-12-19 한화비전 주식회사 영상 처리 장치 및 방법
CN109509441B (zh) * 2018-11-20 2021-02-19 深圳市恩兴实业有限公司 调光成像方法、装置及系统
CN110086959A (zh) * 2019-04-30 2019-08-02 吉林省智宸光电技术有限公司 一种多通道航拍相机自动曝光方法及装置
CN113225485B (zh) * 2021-03-19 2023-02-28 浙江大华技术股份有限公司 图像采集组件、融合方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087630A (ja) * 2001-09-07 2003-03-20 Hitachi Kokusai Electric Inc 動画像撮像装置
WO2013089036A1 (ja) * 2011-12-16 2013-06-20 ソニー株式会社 撮像装置
JP2014053838A (ja) * 2012-09-10 2014-03-20 Konica Minolta Inc 固体撮像装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238000A (ja) 2001-02-09 2002-08-23 Sony Corp 撮像装置及び撮像方法
US20070024741A1 (en) 2004-08-30 2007-02-01 Matsushita Electric Indrstrial Co., Ltd Image processing device
JP4390274B2 (ja) * 2004-12-27 2009-12-24 キヤノン株式会社 撮像装置及び制御方法
JP4485371B2 (ja) 2005-01-06 2010-06-23 パナソニック株式会社 固体撮像装置
KR100658367B1 (ko) 2005-11-07 2006-12-15 플래닛팔이 주식회사 이미지 센서 및 이미지 데이터 처리 방법
JP2007133159A (ja) 2005-11-10 2007-05-31 Sharp Corp 表示装置、及びその輝度調節方法
EP2018048A4 (en) * 2006-05-09 2011-07-20 Sharp Kk PICTURE SETUP
US8063866B2 (en) 2007-11-15 2011-11-22 Toshiba Matsushita Display Technology Co., Ltd. Display device capable of measuring an illuminance and widening a dynamic range of the measured illuminance
TW200930066A (en) * 2007-12-21 2009-07-01 Altek Corp Digital photogrphic camera with brightness compensation and compensation method thereof
JP5620693B2 (ja) 2010-02-26 2014-11-05 パナソニック株式会社 固体撮像装置およびその駆動方法、カメラ
FR2973161B1 (fr) 2011-03-23 2013-03-29 E2V Semiconductors Capteur d'image a double temps d'integration et selection conditionnelle
KR101822655B1 (ko) * 2011-06-21 2018-01-29 삼성전자주식회사 카메라를 이용한 물체 인식 방법 및 이를 위한 카메라 시스템
JP5887827B2 (ja) 2011-10-20 2016-03-16 ソニー株式会社 固体撮像素子およびカメラシステム
US9521338B2 (en) 2011-11-08 2016-12-13 Rambus Inc. Image sensor sampled at non-uniform intervals
WO2013070932A1 (en) 2011-11-08 2013-05-16 Rambus Inc. Conditional-reset, temporally oversampled image sensor
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
US9648249B2 (en) * 2013-11-20 2017-05-09 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, and storage medium
JP2015103958A (ja) * 2013-11-25 2015-06-04 ルネサスエレクトロニクス株式会社 撮像装置
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087630A (ja) * 2001-09-07 2003-03-20 Hitachi Kokusai Electric Inc 動画像撮像装置
WO2013089036A1 (ja) * 2011-12-16 2013-06-20 ソニー株式会社 撮像装置
JP2014053838A (ja) * 2012-09-10 2014-03-20 Konica Minolta Inc 固体撮像装置

Also Published As

Publication number Publication date
US9635277B2 (en) 2017-04-25
US20160065822A1 (en) 2016-03-03
KR20160004827A (ko) 2016-01-13

Similar Documents

Publication Publication Date Title
KR101689665B1 (ko) 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
US11165982B1 (en) Spatial derivative pixel array with adaptive quantization
TWI424742B (zh) 用於像素單元之高動態運作之方法及裝置
US7986363B2 (en) High dynamic range imager with a rolling shutter
JP3976754B2 (ja) 選択読取りによる広ダイナミックレンジ撮像デバイス
TWI555402B (zh) 用於行類比數位轉換器（ａｄｃ）之晶片測試模式之影像處理系統
US20210075979A1 (en) Information processing device and information processing method
US20110267495A1 (en) Automatic Pixel Binning
US10785423B2 (en) Image sensor, image capturing apparatus, and image capturing method
US20170208231A1 (en) Image Sensor Having Multiple Output Ports
CN104704812A (zh) 有条件重置、多位读出图像传感器
TWI511557B (zh) 固態成像器件及其驅動方法，以及使用該固態成像器件之電子裝置
KR102247564B1 (ko) 화소 처리 장치, 이를 포함하는 이미지 신호 처리 장치, 및 이를 포함하는 이미지 처리 시스템
US20150109515A1 (en) Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
US9413995B2 (en) Radiographic apparatus and method for controlling radiographic apparatus
TWI578788B (zh) 具有非破壞性讀出之影像感測器像素單元
JP6087541B2 (ja) 放射線撮像装置、その駆動方法、および放射線撮像システム
US10051216B2 (en) Imaging apparatus and imaging method thereof using correlated double sampling
US20150172570A1 (en) Image sensor capable of adjusting number of oversamplings, method of operating the same, and image data processing system including the same
JP2021044623A (ja) 撮像装置及びその制御方法
KR20130082047A (ko) 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
US9900531B2 (en) Photographing apparatus and method for the light leakage correction
US20230105329A1 (en) Image signal processor and image sensor including the image signal processor
US20160044258A1 (en) Imaging apparatus and imaging method thereof
JP2008118361A (ja) 撮像装置及び固体撮像素子の制御方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant