KR101950431B1 - 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법 - Google Patents

프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법 Download PDF

Info

Publication number
KR101950431B1
KR101950431B1 KR1020170135944A KR20170135944A KR101950431B1 KR 101950431 B1 KR101950431 B1 KR 101950431B1 KR 1020170135944 A KR1020170135944 A KR 1020170135944A KR 20170135944 A KR20170135944 A KR 20170135944A KR 101950431 B1 KR101950431 B1 KR 101950431B1
Authority
KR
South Korea
Prior art keywords
compression sensing
compression
data
image sensor
pixel
Prior art date
Application number
KR1020170135944A
Other languages
English (en)
Inventor
이현근
이병근
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020170135944A priority Critical patent/KR101950431B1/ko
Priority to US16/757,360 priority patent/US11223785B2/en
Priority to PCT/KR2018/010212 priority patent/WO2019078483A1/ko
Application granted granted Critical
Publication of KR101950431B1 publication Critical patent/KR101950431B1/ko

Links

Images

Classifications

    • H04N5/378—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N5/37455—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시 예에 따른 압축 센싱 이미지 센서는, 복수의 픽셀들을 포함하는 픽셀 어레이; 및 상기 복수의 픽셀들로부터, 촬영된 이미지에 대한 아날로그 형태의 픽셀 데이터를 수신하여 처리하는 리드아웃 회로를 포함하고, 상기 픽셀 어레이는, 각각 복수의 픽셀을 갖고, 어레이 형태로 배열되는 복수의 블록들을 포함하고, 상기 리드아웃 회로는, 상기 복수의 블록들 중 대응하는 블록으로부터 출력된 복수의 픽셀 데이터가 입력되는 압축 센싱 멀티플렉서; 상기 압축 센싱 멀티플렉서로 입력된 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 임의로 선택하는 LFSR; 및 상기 LFSR에 의해 선택된 적어도 하나의 픽셀 데이터를 수신하고, 수신된 적어도 하나의 픽셀 데이터를 델타-시그마 변조하여, 상기 촬영된 이미지 중 상기 대응하는 블록의 이미지의 복원을 위한 압축 센싱 데이터를 생성하는 델타-시그마 ADC를 포함한다.

Description

프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법{COMPRESSIVE SENSING IMAGE SENSOR CAPABLE OF ENHANCING FRAME RATE AND METHOD OF OPERATING THEREOF}
본 발명은 이미지 센서에 관한 것으로서, 특히 블록 기반의 압축 센싱 방식과 델타-시그마 아날로그-디지털 컨버터를 이용하여, 고화소를 갖는 이미지 센서에 의해 촬영되는 영상의 프레임 레이트를 향상시킬 수 있는 이미지 센서 및 그의 동작 방법에 관한 것이다.
최근 CMOS 이미지 센서의 고화소, 고해상도 및 고속도에 대한 시장의 요구가 계속 증가하고 있다. CMOS 이미지 센서는 CMOS 기술을 사용하여 광학 신호를 전기 신호로 변환하는 소자로서 이동 통신 단말기, 디지털 카메라, 웨어러블 디바이스, 의료 제품 등 다양한 분야에 사용되고 있다.
이미지 센서의 가장 대표적 성능 지표는 화소수와 프레임 레이트일 수 있고, 이 중 화소수는 이미지의 해상도와 관련된 지표로서, 이미지의 해상도를 향상시키기 위해서는 화소(픽셀; Pixel)의 수가 증가되어야 한다. 이에 따라, 한정된 크기를 갖는 이미지 센서에 보다 많은 수의 픽셀을 넣기 위해, 픽셀의 크기가 계속 작아지는 방향으로 이미지 센서 공정이 개발되어 왔다.
그러나, 픽셀의 크기가 작아짐에 따라 하나의 픽셀이 흡수하는 빛의 양도 감소하고, 이는 픽셀의 동작 전압 영역 역시 감소함을 의미한다. 따라서 작은 전압 범위를 정확히 디지털 정보로 구분할 수 있는 고해상도를 갖는 아날로그-디지털 컨버터(Analog-to-Digital Converter, ADC)가 요구된다.
기존의 CMOS 이미지 센서에는, 전력 소모가 적은 싱글-슬로프 (single slope(SS)) ADC와 델타-시그마 (Delta-sigma(ΔΣ)) ADC가 주로 사용되었다. 싱글-슬로프 ADC는 ADC 종류 중 크기가 가장 작으나 고해상도로 가면 변환시간이 길어지는 단점이 있고, 델타-시그마 ADC는 싱글-슬로프 ADC에 비하여 빠른 속도로 동작하지만 상대적으로 싱글-슬로프 ADC보다 크기가 크다는 단점이 있다.
일반적인 CMOS 이미지 센서 동작 방식에서는 롤링 셔터(Rolling shutter) 방식을 가장 많이 채택하고 있다. 롤링 셔터 방식은 한번에 한 행(row)에 위치한 픽셀 값들을 아날로그-디지털 변환하여 처리하고, 다음 행을 순차적으로 처리하는 방식으로 동작한다. 롤링 셔터 방식에서 가장 효과적으로 프레임 레이트를 향상시키기 위해, 픽셀의 모든 열에 ADC를 배치시켜 픽셀의 한 행을 처리할 때 각각 모든 ADC가 연결되어 픽셀 데이터를 처리함으로써 프레임 레이트를 최대화할 수 있는 방법이 사용되고 있다. 이를 열-병렬(Column-Parallel) 동작 방식이라고 정의하고, 이러한 방식의 CMOS 이미지 센서가 국내등록특허(10-1448918호)에 개시된 바 있다.
도 1의 (a) 를 참조하면, 픽셀의 크기가 소정 크기 이상인 경우에는 싱글-슬로프 ADC와 델타-시그마 ADC를 선택적으로 채택할 수 있었다. 그러나, 고화소의 CMOS 이미지 센서의 구현을 위해 픽셀의 크기가 작아짐에 따라, 도 1의 (b)에 도시된 바와 같이 일반적인 사이즈의 델타-시그마 ADC를 이용하여 열-병렬 동작방식의 이미지 센서를 구현할 수 없으므로, CMOS 이미지 센서에서는 대부분 싱글-슬로프 ADC를 채택 할 수 밖에 없었다. CMOS 이미지 센서의 화소수가 증가함에 따라, 처리해야 하는 데이터의 양 및 처리 시간이 증가할 수 있다. 이에 따라, 이미지 센서의 프레임 레이트에 제한이 존재하게 된다. 특히, 이미지 센서의 프레임 레이트를 결정하는데 가장 많은 부분을 차지하는 시간은 ADC의 동작 시간에 해당한다. 도 2에 도시된 바와 같이, 싱글-슬로프 ADC의 동작 시간은 ADC의 해상도와 반비례하므로, 고해상도의 싱글-슬로프 ADC를 사용할 경우 ADC의 동작 시간이 델타-시그마 ADC에 비해 크게 증가하고, 이는 필연적으로 프레임 레이트의 감소를 초래한다. 즉, 이미지 센서의 화소수는 증가하였으나 프레임 레이트가 감소하게 되므로, 이미지 센서의 전체적인 성능 향상을 기대하기 어려울 수 있다.
1. 한국등록특허공보 제10-1448918호 (2014.10.01. 등록)
본 발명이 해결하고자 하는 과제는, 고화소 이미지 센서에 델타-시그마 ADC를 적용함으로써 프레임 레이트를 향상시킬 수 있는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 압축 센싱 방식이 적용된 고화소 이미지 센서의 비디오 촬영 시, 높은 압축비를 유지하면서도 프레임 레이트를 향상시킬 수 있는 방법을 제공하는 것이다.
본 발명의 실시 예에 따른 압축 센싱 이미지 센서는, 복수의 픽셀들을 포함하는 픽셀 어레이; 및 상기 복수의 픽셀들로부터, 촬영된 이미지에 대한 아날로그 형태의 픽셀 데이터를 수신하여 처리하는 리드아웃 회로를 포함하고, 상기 픽셀 어레이는, 각각 복수의 픽셀을 갖고, 어레이 형태로 배열되는 복수의 블록들을 포함하고, 상기 리드아웃 회로는, 상기 복수의 블록들 중 대응하는 블록으로부터 출력된 복수의 픽셀 데이터가 입력되는 압축 센싱 멀티플렉서; 상기 압축 센싱 멀티플렉서로 입력된 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 임의로 선택하는 LFSR; 및 상기 LFSR에 의해 선택된 적어도 하나의 픽셀 데이터를 수신하고, 수신된 적어도 하나의 픽셀 데이터를 델타-시그마 변조하여, 상기 촬영된 이미지 중 상기 대응하는 블록의 이미지의 복원을 위한 압축 센싱 데이터를 생성하는 델타-시그마 ADC를 포함한다.
실시 예에 따라, 상기 압축 센싱 데이터는, 복수의 압축 센싱 데이터를 포함하고, 상기 복수의 압축 센싱 데이터의 수는, 설정된 압축비에 기초하여 변경될 수 있다.
실시 예에 따라, 상기 복수의 압축 센싱 데이터의 수는, 상기 설정된 압축비가 높을수록 증가할 수 있다.
실시 예에 따라, 상기 복수의 압축 센싱 데이터의 수는, 상기 대응하는 블록에 포함된 픽셀의 수 및 상기 압축비에 기초하여 변경될 수 있다.
실시 예에 따라, 상기 압축 센싱 이미지 센서가 비디오 영상을 촬영하는 경우, 상기 리드아웃 회로는, 상기 비디오 영상의 현재 프레임으로부터 획득되는 적어도 하나의 압축 센싱 데이터와, 기 획득된 이전 프레임의 적어도 하나의 압축 센싱 데이터를 상기 현재 프레임의 복원을 위한 데이터로서 출력할 수 있다.
실시 예에 따라, 상기 압축 센싱 멀티플렉서에는, 상기 복수의 블록들 중 대응하는 블록 열에 포함된 복수의 블록들 각각으로부터 출력되는 복수의 픽셀 데이터가 입력될 수 있다.
상기 LFSR은 의사-난수 생성 방식을 적용하여 상기 복수의 픽셀 데이터 중 상기 적어도 하나의 픽셀 데이터를 임의로 선택할 수 있다.
상기 델타-시그마 ADC는 델타-시그마 변조기와 데시메이션 필터를 포함하고, 상기 델타-시그마 변조기는 2차 델타-시그마 변조기일 수 있다.
본 발명의 실시 예에 따른 비디오 영상을 촬영하는 압축 센싱 이미지 센서의 동작 방법은, 복수의 픽셀을 갖는 블록으로부터, 상기 비디오 영상의 제1 프레임에 대한 복수의 픽셀 데이터를 획득하는 단계; 획득된 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 포함하는 일 그룹의 픽셀 데이터를 선택하는 단계; 및 상기 블록에 대응하는 ADC를 이용하여, 선택된 픽셀 데이터 그룹에 대한 델타-시그마 변조를 수행하여, 상기 블록의 상기 제1 프레임을 복원하기 위한 제1 압축 센싱 데이터를 획득하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 이미지 센서는 블록 기반의 압축 센싱 방식을 적용하여 필요한 ADC의 수를 줄임으로써, 고해상도의 ADC가 필요한 고화소 이미지 센서에 빠른 처리속도를 갖는 델타-시그마 ADC를 사용할 수 있다. 이에 따라, 고해상도 ADC의 처리속도 지연을 최소화함으로써, 고화소 이미지 센서에 의해 촬영되는 영상의 프레임 레이트를 향상시킬 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 이미지 센서는 비디오 영상의 촬영 시, 기 획득된 이전 프레임에 대한 압축 센싱 데이터와 현재 프레임에 대한 압축 센싱 데이터를, 현재 프레임의 복원을 위한 데이터로서 제공할 수 있다. 즉, 현재 프레임에 대한 압축 센싱 데이터 획득 과정이 1회만 수행되더라도 현재 프레임의 복원을 위한 데이터가 획득될 수 있으므로, 비디오 영상에 대한 높은 압축비를 유지하면서 동시에 프레임 레이트 또한 향상시킬 수 있다. 따라서, 복원된 비디오 영상의 품질 측면과, 프레임 레이트 측면 각각에서의 성능 만족도를 높일 수 있다.
도 1은 종래의 이미지 센서의 열-병렬 처리를 위한 픽셀 어레이와 ADC의 개략적인 블록도이다.
도 2는 ADC의 해상도에 따른 싱글-슬로프 ADC와 델타-시그마 ADC의 요구 샘플링 횟수를 나타내는 표이다.
도 3은 본 발명의 일 실시 예에 따른 이미지 센서의 개략적인 블록도이다.
도 4는 본 발명의 실시 예에 따른 이미지 센서의 픽셀 어레이, 압축 센싱 멀티플렉서, 및 델타-시그마 ADC를 보다 구체적으로 설명하기 위한 도면이다.
도 5와 도 6은 종래의 롤링 셔터 비디오 코딩 방식과 본 발명의 실시 예에 따른 블록 기반의 압축 센싱 방식 간의 차이를 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 블록 기반의 압축 센싱 방식이 적용될 때, 압축비에 따라 표시되는 이미지를 비교하여 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 블록 기반의 압축 센싱 방식이 적용된 이미지 센서의 동작 방법을 설명하기 위한 플로우차트이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 3은 본 발명의 일 실시 예에 따른 이미지 센서의 개략적인 블록도이다.
도 3을 참조하면, 이미지 센서(10)는 CMOS (complementary metal-oxide semiconductor) 이미지 센서로 구현될 수 있으나, 반드시 그러한 것은 아니다. 또한, 이미지 센서(10)는 후술할 바와 같이 압축 센싱 방식이 적용된 압축 센싱 이미지 센서로 구현될 수 있다.
이러한 이미지 센서(10)는 픽셀 어레이(pixel array; 20), 레퍼런스&바이어스 회로(reference and bias circuit; 30), 타이밍 컨트롤 로직(timing control logic; 40), 로우 픽셀 선택기(row pixel selectors; 50), 및 리드아웃 회로(readout circuit; 60)를 포함할 수 있다. 도 3에 도시된 이미지 센서(10)는 설명의 편의를 위한 것으로서, 실시 예에 따라 이미지 센서(10)는 보다 많거나 적은 구성 요소를 포함할 수도 있다.
픽셀 어레이(20)는 복수의 픽셀들이 횡방향과 종방향으로 연장되어, 어레이를 이루는 구조로 이루어질 수 있다. 복수의 픽셀들 각각은 포토다이오드 또는 포토 트랜지스터 등의 광전 변환 소자와, 상기 광전 변환 소자로부터 출력되는 아날로그 전압(또는 아날로그 신호)을 리드아웃 회로(60) 또는 픽셀 어레이(20)의 외부로 전송하기 위한 복수의 트랜지스터들을 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서(10)는, 일반적으로 사용되는 롤링 셔터 방식이 아닌, 블록 기반의 압축 센싱 방식이 적용될 수 있다. 이에 따라, 픽셀 어레이(20)는 복수의 블록들로 구분될 수 있고, 블록들 각각은 적어도 하나의 픽셀들을 갖는 어레이로 구성될 수 있다. 이 때, 복수의 블록들 또한 일종의 어레이(복수의 블록 행들과 복수의 블록 열들)로 픽셀 어레이(20) 내에 배열될 수 있다.
본 명세서에서는 하나의 블록(21)이 4X4 픽셀 구조의 어레이로 구성되어, 하나의 블록(21)에 16개의 픽셀들이 포함되는 것으로 가정하여 설명하나, 블록(21)의 구성은 실시 예에 따라 자유롭게 변경될 수 있다.
레퍼런스&바이어스 회로(30)는, 픽셀 어레이(20)의 픽셀들, 및 리드아웃 회로(60) 등의 동작에 필요한 바이어스 전압을 제공할 수 있다. 타이밍 컨트롤 로직(40)은 각각의 구성 요소(20, 50, 60)의 동작을 제어하기 위하여 필요한 다양한 타이밍 신호들을 생성하고, 생성된 타이밍 신호들을 각각의 구성 요소로 출력할 수 있다.
로우 픽셀 선택기(50)는, 픽셀 어레이(20)에 포함된 복수의 픽셀 행들을 순차적으로 활성화시킬 수 있다. 특정 픽셀 행이 활성화되는 경우, 해당 픽셀 행에 포함된 픽셀들 각각으로부터 픽셀 데이터가 출력될 수 있다.
리드아웃 회로(60)는 픽셀 어레이(20)의 픽셀들로부터 출력되는 아날로그 전압 또는 신호(픽셀 데이터)를 처리하여 디지털 코드로 변환시킬 수 있다. 특히, 본 발명의 실시 예에 따른 리드아웃 회로(60)는, 압축 센싱 멀티플렉싱 블록(compressive sensing multiplexing block; 61), 델타-시그마 변조 블록(delta-sigma modulation block; 63), 데시메이션 필터 블록(decimation filter block; 64), 컬럼 시프트 레지스터(column shift register; 65), 및 복수의 LFSRs(linear feedback shift registers; 66)을 포함할 수 있다. 여기서, 델타-시그마 변조 블록(63)과 데시메이션 필터 블록(64)을 포괄하여 델타-시그마 ADC 블록(delta-sigma ADC block; 62)이라 정의할 수 있다.
압축 센싱 멀티플렉싱 블록(61)은 복수의 압축 센싱 멀티플렉서들(compressive sensing MUXs)을 포함할 수 있다. 복수의 압축 센싱 멀티플렉서들 각각에는, 픽셀 어레이(20)의 복수의 블록들 중 대응하는 블록에 대한 복수의 픽셀 데이터가 입력되고, 입력된 복수의 픽셀 데이터 중 LFSR(66)에 의해 임의로 선택되는 적어도 하나의 픽셀 데이터를 델타-시그마 ADC(62)로 출력할 수 있다. 실시 예에 따라, 하나의 압축 센싱 멀티플렉서에는 동일한 블록 열에 포함된 복수의 블록들이 대응할 수도 있다. 또한, 실시 예에 따라, 하나의 블록에 복수의 압축 센싱 멀티플렉서들이 대응할 수도 있다.
복수의 LFSRs(66) 각각은, 대응하는 압축 센싱 멀티플렉서로 입력되는 복수의 픽셀 데이터 중, 임의로 선택되는 적어도 하나의 픽셀 데이터를 델타-시그마 ADC(62)로 출력하도록 함으로써, 블록(21)에 대한 압축 센싱을 가능하게 한다. 추후 압축 센싱 데이터의 복원을 위해, LFSR(66)은 의사-난수(Pseudo-random number) 생성 방식을 적용하여 상기 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 임의로 선택할 수 있다.
델타-시그마 변조 블록(63)은 복수의 델타-시그마 변조기들을 포함하고, 데시메이션 필터 블록(64)은 복수의 데시메이션 필터들을 포함할 수 있다. 복수의 델타-시그마 변조기들 각각과 복수의 데시메이션 필터들 각각은, 대응하는 압축 센싱 멀티플렉서 및 LFSR(66)에 의해 선택되어 출력되는 적어도 하나의 픽셀 데이터(아날로그 전압)를 수신하고, 수신된 픽셀 데이터를 델타-시그마 변조하여 디지털 코드를 생성할 수 있다. 생성된 디지털 코드는 압축 센싱 데이터에 해당할 수 있다. 한편, 델타-시그마 변조기는 2차 델타-시그마 변조기로 구현될 수 있으나, 이에 한정되는 것만은 아니다. 또한, 델타-시그마 ADC는 델타-시그마 변조기와 데시메이션 필터로 구성될 수 있다.
컬럼 시프트 레지스터(65)는 델타-시그마 ADC(62)에서 생성되는 압축 센싱 데이터를 이미지 센서(10)의 외부로 전송할 수 있다. 예컨대, 이미지 센서(10)가 스마트폰, 태블릿 PC 등의 이동 단말기에 구현되는 경우, 압축 센싱 데이터는 이동 단말기의 메모리로 전송되거나, 이동 단말기의 디스플레이부로 전송될 수 있다. 이동 단말기의 제어부는, LFSR(66)의 의사-난수 생성 방식에 대한 정보에 기초하여 압축 센싱 데이터를 복원할 수 있다. 복원 결과에 따라 제어부는 압축 센싱 이미지를 획득하고, 획득된 압축 센싱 이미지를 디스플레이부를 통해 표시할 수도 있다. 압축 센싱 이미지의 품질은 압축비에 따라 달라질 수 있고, 상기 압축비에 따라 블록 당 압축 센싱 데이터의 수 또는 양이 달라질 수 있다. 압축비가 높을수록 상기 압축 센싱 데이터의 수 또는 양이 증가하고, 압축 센싱 이미지의 품질이 높아질 수 있다. 반면, 압축비가 낮을수록 상기 압축 센싱 데이터의 수 또는 양이 감소하고, 압축 센싱 이미지의 품질이 낮아질 수 있다.
도 4는 본 발명의 실시 예에 따른 이미지 센서의 픽셀 어레이, 압축 센싱 멀티플렉서, 및 델타-시그마 ADC를 보다 구체적으로 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 이미지 센서(10)는 블록 기반 압축 센싱 방식을 사용함으로써, 종래와 같이 픽셀 어레이(20)의 픽셀 열들(columns) 각각마다 하나의 ADC가 연결되지 않을 수 있다. 즉, 본 발명의 경우, ADC는 블록 열들 각각에 적어도 하나가 연결되어 블록 기반 압축 센싱 방식을 수행하는 바, 이미지 센서(10)에 구비되는 ADC의 수를 줄일 수 있다. 따라서, 고해상도의 ADC를 필요로 하는 고화소의 이미지 센서(10)에서, 싱글-슬로프 ADC에 비해 동작 속도가 빠른 델타-시그마 ADC를 사용할 수 있다.
상술한 바와 같이, 픽셀 어레이(20)에 포함되는 복수의 블록들은 어레이 형태로 배열될 수 있다. 이 경우, 복수의 블록 열들 각각은 압축 센싱 멀티플렉싱 블록(61)에 포함된 복수의 압축 센싱 멀티플렉서들 중 적어도 하나와 대응되고, 델타-시그마 ADC 블록(62)의 복수의 델타-시그마 ADC들 중 적어도 하나와 대응될 수 있다.
예컨대, 도 4에 도시된 바와 같이 제1 블록(21)이 포함되는 제1 블록 열(BC1)은, 압축 센싱 멀티플렉싱 블록(61)의 제1 압축 센싱 멀티플렉서(611)와 대응되고, 델타-시그마 ADC 블록(62)의 제1 델타-시그마 ADC(621)와 대응될 수 있다.
제1 블록(21)의 픽셀 데이터로부터 압축 센싱 데이터를 획득하는 과정을 간략히 설명하면 다음과 같다.
제1 블록(21)의 제1 행(ROW1) 내지 제4 행(ROW4)은 로우 픽셀 선택기(50)에 의해 순차적으로 활성화될 수 있다. 제1 행(ROW1) 내지 제4 행(ROW4)이 순차적으로 활성화됨에 따라, 제1 블록(21)의 제1 픽셀(P1) 내지 제16 픽셀(P16) 각각의 픽셀 데이터는 제1 압축 센싱 멀티플렉서(611)를 통해 제1 델타-시그마 ADC(621)로 출력될 수 있다. 이 때, LFSR(66)은 제1 픽셀(P1) 내지 제16 픽셀(P16) 각각의 픽셀 데이터 중, 의사-난수 생성 방식에 기초하여 일 그룹의 픽셀 데이터를 임의로 선택하여 제1 델타-시그마 ADC(621)로 출력하도록 한다. 상기 일 그룹의 픽셀 데이터는, 제1 픽셀(P1) 내지 제16 픽셀(P16) 중 적어도 하나의 픽셀 각각으로부터 출력된 적어도 하나의 픽셀 데이터를 의미할 수 있다.
제1 델타-시그마 ADC(621)는 제1 압축 센싱 멀티플렉서(611) 및 LFSR(66)을 통해 출력되는 픽셀 데이터 그룹에 대한 델타-시그마 변조를 수행할 수 있다. 상기 델타-시그마 변조 결과, 이미지 센서(10)는 디지털 코드 형식을 갖는 압축 센싱 데이터를 획득할 수 있다. 획득된 압축 센싱 데이터는 이미지 센서(10)의 외부로 출력될 수 있다. 이미지 센서(10)를 포함하는 각종 전자 기기의 제어부나 화상처리장치 (image signal processor(ISP))는, 상기 압축 센싱 데이터를 복원하여 압축 센싱 이미지를 획득할 수 있다. 상기 실시 예와 같이 제1 블록(21)에 포함된 16개의 픽셀들(P1~P16)에 대해 하나의 압축 센싱 데이터가 획득되는 경우의 압축비는 1/16에 해당할 수 있다.
추후 도 6에서 후술할 바와 같이, 특정 블록에 대응하는 압축 센싱 멀티플렉서와 델타-시그마 ADC가 복수 개인 경우, 해당 블록으로부터 복수의 압축 센싱 데이터가 획득될 수 있다. 예컨대, 제1 블록(21)에 대응하는 압축 센싱 멀티플렉서와 델타-시그마 ADC가 4개인 경우, ADC들은 서로 병렬적으로 동작할 수 있다. 각 ADC가 1회 동작하면 총 4개의 압축 센싱 데이터가 획득되고, 이 때의 압축비는 1/4에 해당할 수 있다. 한편, 각 ADC가 4회 동작하는 경우 총 16개의 압축 센싱 데이터가 획득되고, 압축비는 1이므로, 원본 이미지와 동일한 품질의 압축 센싱 이미지가 획득될 수 있고, 이는 4개의 ADC를 이용한 롤링-셔터 방식과 동작시간이 실질적으로 동일할 수 있다.
즉, 각 ADC가 1회 동작하는 것만으로도, 1/4의 압축비를 갖는 압축 센싱 이미지가 획득될 수 있으므로, 영상의 화질은 약간 감소할 수 있으나 보다 향상된 프레임 레이트를 제공할 수 있다.상기 압축 센싱 데이터 획득 과정은, 제1 블록(21)에 포함된 픽셀들 중 LFSR(66)에 의해 선택되는 일부의 픽셀들의 픽셀 데이터만을 이용하는 것이므로, 추후 적어도 하나의 압축 센싱 데이터를 복원함에 따라 획득되는 압축 센싱 이미지의 품질은, 원본 이미지의 품질보다 낮을 수 있다. 이 경우, 제1 블록(21)에 대한 상기 압축 센싱 데이터 획득 과정이 반복 수행되면, 복수의 압축 센싱 데이터로부터 획득되는 압축 센싱 이미지의 품질이 향상될 수 있으나, 롤링-셔터 방식 대비 프레임 레이트의 향상을 기대하기는 어려울 수 있다.
이와 관련하여, 본 발명의 실시 예에 따른 이미지 센서(10)는, 비디오 영상의 촬영 시, 기 획득된 압축 센싱 데이터와 현재 프레임에 대해 획득된 압축 센싱 데이터를 이용하여 현재 프레임에 대한 압축 센싱 이미지를 생성할 수 있도록 하고, 특히 현재 프레임에 대한 압축 센싱 데이터 획득 과정을 1회만 수행함으로써, 높은 압축비를 유지하면서도 프레임 레이트를 향상시킬 수 있다. 이에 대해서는 이후 도 6 내지 도 8을 참조하여 설명하기로 한다.
도 5와 도 6은 종래의 롤링 셔터 비디오 코딩 방식과 본 발명의 실시 예에 따른 압축 센싱 비디오 코딩 방식 간의 차이를 설명하기 위한 도면이다.
도 5와 도 6에서, 제1 이미지 프레임(F1)은 이미지 센서(10)에 의해 촬영되는 비디오 영상의 시작 프레임인 것으로 정의하고, 제2 이미지 프레임(F2)은 제1 이미지 프레임(F1)의 다음 프레임에 해당하는 것으로 정의한다.
도 5와 도 6에서는, 각 이미지 프레임(F1, F2)에 대해 4개의 ADC가 연결되어 있는 것으로 가정하여 설명한다. 도 5의 경우, 4개의 픽셀 열들 각각에 하나의 ADC가 연결될 수 있고, 도 6의 경우 이미지 프레임(F1, F2)의 블록 자체에 4개의 ADC가 연결될 수 있다.
도 5를 참조하면, 롤링 셔터 비디오 코딩 방식의 경우, 하나의 이미지 프레임(예컨대, 제1 이미지 프레임(F1))을 구성하는 데 있어서, 제1 행(Row1)부터 시작하여 제4 행(Row4)까지의 픽셀 데이터를 모두 처리한 후에 하나의 이미지 프레임이 생성될 수 있다. 하나의 행을 처리하는데 걸리는 시간의 대부분은 리드아웃 시간이므로, 롤링 셔터 비디오 코딩 방식의 경우 리드아웃 시간에 의해 프레임 레이트가 제한될 수 있다. 도 5의 실시 예에서는, 각 이미지 프레임에 대해 총 16개의 픽셀 데이터가 4개의 ADC에 의해 처리될 수 있다. 각 ADC는 제1 행(Row1) 내지 제4 행(Row4)에 대해 4회 동작할 수 있다. 특히, 종래의 롤링 셔터 비디오 코딩 방식의 경우, 각 이미지 프레임 마다 상술한 과정이 수행되어야 하므로, 도 5에 도시된 바와 같이 제2 이미지 프레임(F2)에 대해서도 각 ADC가 4회씩 동작하게 된다.
반면, 도 6을 참조하면, 본 발명의 실시 예에 따른 압축 센싱 비디오 코딩 방식의 경우, 특정 블록의 프레임에 대해 복수의 압축 센싱 데이터를 획득하여 하나의 이미지 프레임을 구성하는 방식으로서, 각 ADC가 1회만 동작하더라도 압축비가 낮을 뿐 하나의 이미지 프레임을 구성하기 위한 데이터는 충분히 획득될 수 있다. 따라서, 롤링 셔터 비디오 코딩 방식에 비해 하나의 이미지 프레임을 획득하는 데 걸리는 시간이 감소할 수 있다.
예컨대 도 6의 실시 예에서는 압축비가 1인 경우, 즉 상기 압축 센싱 비디오 코딩 방식을 이용하여 원본 이미지 프레임과 동일한 품질의 압축 센싱 이미지 프레임을 획득하기 위해, 원본 이미지 프레임으로부터 16개의 압축 센싱 데이터를 획득하는 것으로 가정한다. 이 경우, 이미지 센서(10)는 제1 이미지 프레임(F1)에 대해, 제1 압축 센싱 데이터 내지 제16 압축 센싱 데이터(CSF1~CSF16)를 획득하고, 획득된 16개의 압축 센싱 데이터를 제1 이미지 프레임(F1)의 복원을 위한 데이터로서 이미지 센서(10)의 외부로 출력할 수 있다. 이를 위해, ADC들 각각은 4회씩 동작하므로, 도 5의 롤링 셔터 비디오 코딩 방식과의 동작 시간이 실질적으로 동일할 수 있다.
이후, 이미지 센서(10)는 제2 이미지 프레임(F2)으로부터 제17 압축 센싱 데이터 내지 제20 압축 센싱 데이터(CSF17~CSF20)를 획득하고, 기 획득된 제5 압축 센싱 데이터 내지 제16 압축 센싱 데이터(CSF5~CSF16)와 상기 제17 압축 센싱 데이터 내지 제20 압축 센싱 데이터(CSF17~CSF20)를 이용하여 제2 압축 센싱 이미지 프레임을 획득할 수 있다. 즉, 제2 이미지 프레임(F2)에 대해서는, 제17 압축 센싱 데이터 내지 제20 압축 센싱 데이터(CSF17~CSF20)의 획득을 위해 각 ADC가 1회만 동작하게 되므로, 도 5에 도시된 실시 예에 비해 제2 이미지 프레임(F2)의 처리 속도가 4배 향상될 수 있고, 압축비 또한 1로 유지되므로 제2 이미지 프레임(F2)과 실질적으로 동일한 품질의 제2 압축 센싱 이미지 프레임이 획득될 수 있다.
또한, 고해상도의 싱글-슬로프 ADC를 사용하는 종래의 방식에 비해 델타-시그마 ADC를 사용함으로써 이미지 센서의 프레임 레이트를 추가적으로 향상시킬 수 있다.
한편, 설정된 압축비에 따라, 하나의 압축 센싱 이미지 프레임의 획득을 위해 필요한 압축 센싱 데이터의 수 또는 양이 변경될 수 있다. 상술한 바와 같이 압축비가 1인 경우 16개의 압축 센싱 데이터를 획득하는 것으로 가정하면, 압축비가 1/2인 경우에는 8개의 압축 센싱 데이터를 획득하여 압축 센싱 이미지 프레임을 획득할 수 있다.
도 7은 본 발명의 실시 예에 따른 압축 센싱 비디오 코딩 방식이 적용될 때, 압축비에 따라 표시되는 이미지를 비교하여 나타내는 도면이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 블록 기반 압축 센싱 방식이 적용되는 경우, 압축비(CR)가 높을수록 이미지의 화질이 높은 것을 알 수 있다. 예컨대, 압축비(CR)가 1인 경우의 이미지의 PSNR은 약 88dB이나, 압축비(CR)가 1/4인 경우의 이미지의 PSNR은 약 29dB일 수 있다. 즉, 정지 이미지의 경우 압축비(CR)에 따라 압축 센싱 이미지의 품질이 다소 저하될 수도 있다.
그러나, 비디오 영상 이미지의 촬영 시, 본 발명의 실시 예에 따른 이미지 센서(10)는 복수의 압축 센싱 데이터를 획득하여 압축 센싱 이미지 프레임을 생성하고, 특히 시작 프레임을 제외한 나머지프레임에 대해서는 압축 센싱 데이터 획득 과정을 1회만 수행할 수 있다. 따라서, 하나의 프레임에 대한 리드아웃 회로(60)의 동작 시간이 감소하므로 프레임 레이트를 향상시킬 수 있고, 아울러 높은 압축비를 유지할 수 있어, 추후 복원되는 압축 센싱 이미지 프레임의 품질 또한 극대화할 수 있다.
도 8은 본 발명의 실시 예에 따른 이미지 센서의 동작 방법을 설명하기 위한 플로우차트이다.
도 8에 도시된 실시 예는, 픽셀 어레이(20)의 블록들 중 어느 하나의 블록(21)으로부터의 압축 센싱 데이터 획득 과정을 설명하고 있으나, 해당 실시 예는 픽셀 어레이(20)의 모든 블록들에 대해서도 마찬가지로 수행될 수 있다.
도 8을 참조하면, 이미지 센서(10)는 설정된 압축비에 기초하여, 픽셀 어레이(20)의 제1 블록으로부터, 제1 프레임에 대한 m개의 제1 압축 센싱 데이터를 획득할 수 있다(S100).
여기서, 제1 프레임은 이미지 센서(10)의 비디오 영상 촬영 시의 시작 프레임인 것으로 정의한다.
제1 압축 센싱 데이터의 개수 m은, 제1 블록의 픽셀 수 및 상기 압축비와 관련될 수 있다. 예컨대, 상기 m은 제1 블록의 픽셀 수와 상기 압축비의 곱에 해당할 수 있다. 예컨대, 픽셀 수가 16이고 압축비가 1인 경우, m은 16에 해당한다. 한편, 픽셀 수가 16이고 압축비가 1/2인 경우, m은 8에 해당할 수 있다.
이미지 센서(10)는, 획득된 m개의 제1 압축 센싱 데이터를, 제1 프레임의 복원을 위한 데이터로서 출력할 수 있다(S110).
획득된 m개의 제1 압축 센싱 데이터는 이미지 센서(10)의 외부로 출력될 수 있다. 예컨대, 이미지 센서(10)가 스마트폰, 태블릿 PC 등의 이동 단말기에 구현되는 경우, 제1 압축 센싱 데이터는 이동 단말기의 메모리로 전송되거나, 이동 단말기의 디스플레이부로 전송될 수 있다. 이동 단말기의 제어부 또는 ISP는, LFSR(66)의 의사-난수 생성 방식에 대한 정보를 이용하여, 제1 압축 센싱 데이터를 복원하여 제1 압축 센싱 이미지 프레임을 획득할 수 있다.
이미지 센서(10)는, 제1 블록으로부터 제2 프레임에 대한 n개의 제2 압축 센싱 데이터를 획득할 수 있다(S120). 제2 프레임은 제1 프레임의 다음 프레임에 해당할 수 있다.
제2 압축 센싱 데이터의 개수 n은 m 이하이고, 제1 블록에 대응하는 ADC의 수와 동일할 수 있다. 즉, 제2 프레임에 대해, 제1 블록에 대응하는 n개의 ADC는 각각 1회만 동작하고, 그 결과 n개의 제2 압축 센싱 데이터가 획득될 수 있다.
이미지 센서(10)는, m개의 제1 압축 센싱 데이터 중 적어도 하나와, 상기 n개의 제2 압축 센싱 데이터를 포함하는 m개의 압축 센싱 데이터를, 상기 제2 프레임의 복원을 위한 데이터로서 출력할 수 있다(S130).
즉, 제2 프레임의 복원을 위한 데이터는, m-n개의 제1 압축 센싱 데이터와 n개의 제2 압축 센싱 데이터를 포함할 수 있다. 상술한 바와 같이, 제2 프레임에 대해 n개의 ADC가 1회만 동작하므로, 이미지 센서(10)의 프레임 레이트가 향상될 수 있다.
실시 예에 따라, 이미지 센서(10)는 n개의 제2 압축 센싱 데이터만을 상기 제2 프레임의 복원을 위한 데이터로서 출력할 수도 있다. 이 경우, 전자 기기의 제어부 또는 ISP는, 획득된 n개의 제2 압축 센싱 데이터와, 기 획득된 m-n개의 제1 압축 센싱 데이터를 이용하여, 제2 프레임에 대응하는 제2 압축 센싱 이미지 프레임을 복원할 수 있다.
본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 복수의 픽셀들을 포함하는 픽셀 어레이; 및
    상기 복수의 픽셀들로부터, 촬영된 이미지에 대한 아날로그 형태의 픽셀 데이터를 수신하여 처리하는 리드아웃 회로를 포함하고,
    상기 픽셀 어레이는,
    각각 복수의 픽셀을 갖고, 어레이 형태로 배열되는 복수의 블록들을 포함하고,
    상기 리드아웃 회로는,
    상기 복수의 블록들 중 대응하는 블록으로부터 출력된 복수의 픽셀 데이터가 입력되는 압축 센싱 멀티플렉서;
    상기 압축 센싱 멀티플렉서로 입력된 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 임의로 선택하는 LFSR(linear feedback shift register); 및
    상기 LFSR에 의해 선택된 적어도 하나의 픽셀 데이터를 수신하고, 수신된 적어도 하나의 픽셀 데이터를 델타-시그마 변조하여, 상기 촬영된 이미지 중 상기 대응하는 블록의 이미지의 복원을 위한 압축 센싱 데이터를 생성하는 델타-시그마 ADC(analog-to-digital converter)를 포함하고,
    상기 촬영된 이미지가 비디오 영상인 경우,
    상기 리드아웃 회로는,
    상기 비디오 영상의 현재 프레임으로부터 획득되는 적어도 하나의 압축 센싱 데이터와, 기 획득된 이전 프레임의 적어도 하나의 압축 센싱 데이터를 상기 현재 프레임의 복원을 위한 데이터로서 출력하는
    압축 센싱 이미지 센서.
  2. 제1항에 있어서,
    상기 압축 센싱 데이터는,
    복수의 압축 센싱 데이터를 포함하고,
    상기 복수의 압축 센싱 데이터의 수는, 설정된 압축비에 기초하여 변경되는
    압축 센싱 이미지 센서.
  3. 제2항에 있어서,
    상기 복수의 압축 센싱 데이터의 수는,
    상기 설정된 압축비가 높을수록 증가하는
    압축 센싱 이미지 센서.
  4. 제2항에 있어서,
    상기 복수의 압축 센싱 데이터의 수는,
    상기 대응하는 블록에 포함된 픽셀의 수 및 상기 압축비에 기초하여 변경되는
    압축 센싱 이미지 센서.
  5. 삭제
  6. 제1항에 있어서,
    상기 압축 센싱 멀티플렉서에는,
    상기 복수의 블록들 중 대응하는 블록 열에 포함된 복수의 블록들 각각으로부터 출력되는 복수의 픽셀 데이터가 입력되는
    압축 센싱 이미지 센서.
  7. 제1항에 있어서,
    상기 LFSR은 의사-난수(pseudo-random number) 생성 방식을 적용하여 상기 복수의 픽셀 데이터 중 상기 적어도 하나의 픽셀 데이터를 임의로 선택하는
    압축 센싱 이미지 센서.
  8. 제1항에 있어서,
    상기 델타-시그마 ADC는 델타-시그마 변조기와 데시메이션 필터를 포함하고,
    상기 델타-시그마 변조기는 2차 델타-시그마 변조기인
    압축 센싱 이미지 센서.
  9. 비디오 영상을 촬영하는 압축 센싱 이미지 센서의 동작 방법에 있어서,
    (a) 복수의 픽셀을 갖는 블록으로부터, 상기 비디오 영상의 제1 프레임에 대한 복수의 픽셀 데이터를 획득하는 단계;
    (b) 획득된 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 포함하는 일 그룹의 픽셀 데이터를 선택하는 단계; 및
    (c) 상기 블록에 대응하는 ADC를 이용하여, 선택된 픽셀 데이터 그룹에 대한 델타-시그마 변조를 수행함으로써, 상기 블록의 상기 제1 프레임을 복원하기 위한 제1 압축 센싱 데이터를 획득하는 단계를 포함하고,
    상기 (a) 단계와 상기 (b) 단계는 적어도 일 회 수행되고,
    상기 제1 압축 센싱 데이터는 M개의 제1 압축 센싱 데이터를 포함하고,
    상기 M은 상기 블록의 픽셀 수, 및 설정된 압축비에 기초하여 결정되고, 1 이상의 값을 갖고,
    상기 동작 방법은,
    상기 블록으로부터, 상기 제1 프레임의 다음 프레임인 제2 프레임에 대한 N개의 제2 압축 센싱 데이터를 획득하는 단계를 더 포함하고,
    상기 제2 프레임의 복원을 위한 압축 센싱 데이터는, M-N개의 제1 압축 센싱 데이터와, 상기 N개의 제2 압축 센싱 데이터를 포함하고,
    상기 N은 M 이하의 값을 갖는
    압축 센싱 이미지 센서의 동작 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 M은 상기 설정된 압축비가 높을수록 증가하는
    압축 센싱 이미지 센서의 동작 방법.
  12. 삭제
  13. 제9항에 있어서,
    상기 N은 상기 블록에 대응하는 ADC의 개수이고,
    상기 N개의 제2 압축 센싱 데이터를 획득하는 단계는,
    N개의 ADC 각각에 대해 1회 수행되는
    압축 센싱 이미지 센서의 동작 방법.
  14. 제9항에 있어서,
    상기 일 그룹의 픽셀 데이터를 선택하는 단계는,
    상기 복수의 픽셀 데이터 중, 의사-난수 생성 방식을 적용하여 상기 일 그룹의 픽셀 데이터를 임의로 선택하는
    압축 센싱 이미지 센서의 동작 방법.
KR1020170135944A 2017-10-19 2017-10-19 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법 KR101950431B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170135944A KR101950431B1 (ko) 2017-10-19 2017-10-19 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법
US16/757,360 US11223785B2 (en) 2017-10-19 2018-09-03 Compressive sensing image sensor for enhancing frame rate and operating method thereof
PCT/KR2018/010212 WO2019078483A1 (ko) 2017-10-19 2018-09-03 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170135944A KR101950431B1 (ko) 2017-10-19 2017-10-19 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR101950431B1 true KR101950431B1 (ko) 2019-02-20

Family

ID=65562144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170135944A KR101950431B1 (ko) 2017-10-19 2017-10-19 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법

Country Status (1)

Country Link
KR (1) KR101950431B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11647309B2 (en) 2021-09-13 2023-05-09 SK Hynix Inc. Operation method of image sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448918B1 (ko) 2007-12-18 2014-10-15 삼성전자주식회사 픽셀 데이터의 고속 출력이 가능한 ｃｍｏｓ 이미지 센서
KR101741754B1 (ko) * 2016-03-07 2017-05-31 광주과학기술원 압축 센싱 이미지 센서의 화질 개선 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448918B1 (ko) 2007-12-18 2014-10-15 삼성전자주식회사 픽셀 데이터의 고속 출력이 가능한 ｃｍｏｓ 이미지 센서
KR101741754B1 (ko) * 2016-03-07 2017-05-31 광주과학기술원 압축 센싱 이미지 센서의 화질 개선 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yusuke Oike et al., "CMOS Image Sensor With Per-Column sigma delta ADC and Programmable Compressed Sensing", IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 48, NO. 1, pp. 318-328, 2013.01.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11647309B2 (en) 2021-09-13 2023-05-09 SK Hynix Inc. Operation method of image sensor

Similar Documents

Publication Publication Date Title
Oike et al. CMOS image sensor with per-column ΣΔ ADC and programmable compressed sensing
US9521416B1 (en) Systems and methods for image data compression
US9191026B2 (en) Image sensor and imaging method with single shot compressed sensing
Oike et al. A 256× 256 CMOS image sensor with ΔΣ-based single-shot compressed sensing
TW200541328A (en) Solid-state image pickup device and method for driving the same
KR100477318B1 (ko) 이미지 센싱 장치 내의 이미지 데이터의 고유의 처리를위한 방법 및 회로
US10326953B2 (en) Signal processing device and method, imaging element, and electronic device
US9866779B2 (en) Imaging apparatus, imaging system, reconstruction apparatus, imaging method, and recording medium
JP2009543454A (ja) 高ダイナミック・レンジ読み出し用のアナログおよびデジタル混成ピクセル
US10021325B2 (en) Image sensor and image capturing apparatus
JP6606504B2 (ja) 撮像装置、撮像素子および撮像装置の制御方法
KR102046635B1 (ko) 이미지 센서, 제어 방법 및 전자 장치
CN102625059A (zh) 用于移动式应用的cmos图像传感器的动态范围扩展
US20150312503A1 (en) Imaging system, imaging apparatus, and imaging method
US8792036B2 (en) Image sensor and image capture apparatus
JP2015056902A (ja) Ｃｍｏｓ固体撮像素子及び圧縮センシング方法
US11223785B2 (en) Compressive sensing image sensor for enhancing frame rate and operating method thereof
JP2011091535A (ja) 撮像装置
KR101950431B1 (ko) 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법
US9595081B2 (en) Imaging device with multiple sampling unit and imaging method using multiple sampling
WO2014192223A1 (ja) 撮像装置および撮像方法
US7602427B2 (en) Image sensor that provides raw output comprising compressed data
JP7321741B2 (ja) 撮像装置およびその制御方法
Gupta et al. Programmable compressed sensing using simple deterministic sensing matrices
JP2006067390A (ja) 撮像装置および再生装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant