KR20150121510A - 연산 메모리 장치, 이를 포함하는 이미지 센서 및 그 연산 메모리 장치의 동작 방법 - Google Patents

연산 메모리 장치, 이를 포함하는 이미지 센서 및 그 연산 메모리 장치의 동작 방법 Download PDF

Info

Publication number
KR20150121510A
KR20150121510A KR1020140047462A KR20140047462A KR20150121510A KR 20150121510 A KR20150121510 A KR 20150121510A KR 1020140047462 A KR1020140047462 A KR 1020140047462A KR 20140047462 A KR20140047462 A KR 20140047462A KR 20150121510 A KR20150121510 A KR 20150121510A
Authority
KR
South Korea
Prior art keywords
signal
multiplexer
pixel
unit
unit cell
Prior art date
Application number
KR1020140047462A
Other languages
English (en)
Other versions
KR102196713B1 (ko
Inventor
김종부
권오경
김윤정
Original Assignee
삼성전자주식회사
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한양대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020140047462A priority Critical patent/KR102196713B1/ko
Priority to US14/640,273 priority patent/US9554013B2/en
Publication of KR20150121510A publication Critical patent/KR20150121510A/ko
Application granted granted Critical
Publication of KR102196713B1 publication Critical patent/KR102196713B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

연산 메모리 장치, 이를 포함하는 이미지 센서 및 그 연산 메모리 장치의 동작 방법이 제공된다. 상기 연산 메모리 모듈 장치는, 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호가 입력되는 입력부 및 픽셀 리셋 신호와 픽셀 이미지 신호 사이의 차이를 나타내는 디지털 차이 신호를 생성하는 복수의 유닛셀을 포함하고, 입력부는, 픽셀 리셋 신호 및 픽셀 이미지 신호가 입력되는 제1 및 제2 멀티플렉서와 제1 멀티플렉서와 연결된 인버터를 포함하고, 복수의 유닛셀은, 입력부와 연결된 제1 유닛셀과, 제1 유닛셀과 연속적으로 연결된 제2 내지 제N 유닛셀(N은 2이상인 자연수)을 포함하고, 제1 유닛셀은, 제1 멀티플렉서와 연결된 제3 및 제4 멀티플렉서와, 제3 멀티플렉서와 연결된 제1 플립/플롭과, 제4 멀티플렉서와 연결된 제1 AND 게이트를 포함한다.

Description

연산 메모리 장치, 이를 포함하는 이미지 센서 및 그 연산 메모리 장치의 동작 방법{Arithmetic memory device, Image sensor comprising the same and method for operating the arithmetic memory device}
본 발명은 연산 메모리 장치, 이를 포함하는 이미지 센서 및 그 연산 메모리 장치의 동작 방법에 관한 것이다.
이미지 센서(image sensor)는 광학 영상을 전기 신호로 변환시키는 소자이다. 최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 디지털 카메라, 캠코더, PCS(Personal Communication System), 게임 기기, 경비용 카메라, 의료용 마이크로 카메라, 로보트 등 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대되고 있다.
본 발명이 해결하려는 과제는, 회로 구조를 단순화시켜, 설계면적 및 전력 소모량을 줄일 수 있는 연산 메모리 장치를 제공하는 것이다.
본 발명이 해결하려는 다른 과제는, 회로 구조를 단순화시켜, 설계면적 및 전력 소모량을 줄일 수 있는 이미지 센서를 제공하는 것이다.
본 발명이 해결하려는 또 다른 과제는, 회로 구조를 단순화시켜, 설계면적 및 전력 소모량을 줄일 수 있는 연산 메모리 장치의 동작 방법을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 연산 메모리 모듈 장치의 일 실시예는, 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호가 입력되는 입력부 및 픽셀 리셋 신호와 픽셀 이미지 신호 사이의 차이를 나타내는 디지털 차이 신호를 생성하는 복수의 유닛셀을 포함하고, 입력부는, 픽셀 리셋 신호 및 픽셀 이미지 신호가 입력되는 제1 및 제2 멀티플렉서와 제1 멀티플렉서와 연결된 인버터를 포함하고, 복수의 유닛셀은, 입력부와 연결된 제1 유닛셀과, 제1 유닛셀과 연속적으로 연결된 제2 내지 제N 유닛셀(N은 2이상인 자연수)을 포함하고, 제1 유닛셀은, 제1 멀티플렉서와 연결된 제3 및 제4 멀티플렉서와, 제3 멀티플렉서와 연결된 제1 플립/플롭과, 제4 멀티플렉서와 연결된 제1 AND 게이트를 포함한다.
상기 입력부로 입력되는 픽셀 리셋 신호와 픽셀 이미지 신호는, 각각 M비트(M은 자연수)의 신호를 포함하고, 복수의 유닛셀에서 수행되는 오버샘플링을 통해 픽셀 리셋 신호와 픽셀 이미지 신호는 각각 N-1비트(N-1은 M보다 큰 자연수)의 신호로 변환될 수 있다.
상기 복수의 유닛셀은, 입력부로 입력되는 픽셀 리셋 신호를 2^P(P는 자연수)번 샘플링(sampling)하며 더하고, 입력부로 입력되는 픽셀 이미지 신호를 2^P번 샘플링(sampling)하며 빼는 동작을 수행하고, P는, N-1과 M 사이의 차와 동일할 수 있다.
상기 제1 내지 제N 유닛셀 중 P개의 유닛셀은, 오버샘플링으로 인해 추가되는 P개의 비트를 위한 유닛셀이고, 제1 내지 제N 유닛셀 중 어느 하나의 유닛셀은, 부호 비트(sign bit)를 위한 유닛셀일 수 있다.
상기 오버샘플링으로 인해 추가되는 P개의 비트를 위한 유닛셀은, 픽셀 리셋 신호의 입력 전에 0으로 셋팅되고, 부호 비트를 저장하기 위한 유닛셀은, 픽셀 리셋 신호의 입력 전에 1로 셋팅될 수 있다.
상기 AND 게이트는, 제2 멀티플렉서의 출력을 제공받을 수 있다.
상기 제2 유닛셀은, 제1 유닛셀의 플립/플롭과 연결된 제5 및 제6 멀티플렉서와, 제5 멀티플렉서와 연결된 제2 플립/플롭과, 제6 멀티플렉서와 연결된 제2 AND 게이트를 포함할 수 있다.
상기 복수의 유닛셀 중 제3 내지 제N-1 유닛셀은, 제2 유닛셀과 동일한 구조를 포함할 수 있다.
상기 복수의 유닛셀 중 제N 유닛셀은, 제N-1 유닛셀의 플립/플록과 연결된 제7 멀티플렉서와, 제7 멀티플렉서와 연결된 제3 플립/플롭을 포함하고, 제3 플립/플롭의 출력은, 제1 멀티플렉서로 피드백 입력될 수 있다.
상기 제4 및 제6 멀티플렉서는, 각각 연산 신호를 입력받고, 연산 신호가 로우 상태(low state)일 때, 픽셀 리셋 신호에 대한 덧셈 연산이 수행되고, 연산 신호가 하이 상태(high state)일 때, 픽셀 이미지 신호에 대한 뺄셈 연산이 수행될 수 있다.
상기 제2 AND 게이트는, 제1 AND 게이트의 출력을 제공받을 수 있다.
상기 제1 멀티플렉서는, 쉬프트 신호를 입력받고, 쉬프트 신호는, 제1 멀티플렉서로 처음으로 입력되는 픽셀 리셋 신호를 복수의 유닛셀에 덧셈/뺄셈 동작 없이 최상위비트부터 입력되도록 할 수 있다.
상기 제2 멀티플렉서는, 캐리/바로우 제어 신호를 입력받고, 캐리/바로우 제어신호가 하이 상태일 때, 캐리/바로우가 발생하지 않고, 캐리/바로우 제어신호가 로우 상태일 때, 캐리/바로우의 발생이 가능할 수 있다.
상기 과제를 해결하기 위한 본 발명의 연산 메모리 모듈 장치의 다른 실시예는, 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호가 입력되는 입력부 및 픽셀 리셋 신호와 픽셀 이미지 신호 사이의 차이를 나타내는 디지털 차이 신호를 생성하는 복수의 유닛셀을 포함하고, 입력부는, 픽셀 리셋 신호와 픽셀 이미지 신호가 입력되는 제1 멀티플렉서를 포함하고, 복수의 유닛셀은, 입력부와 연결된 제1 유닛셀과, 제1 유닛셀과 연속적으로 연결된 제2 내지 제N 유닛셀(N은 2이상인 자연수)을 포함하고, 제1 유닛셀은, 제N 유닛셀의 피드백 신호를 입력받고, 인버터와 연결된 제1 및 제2 멀티플렉서와, 제1 멀티플렉서와 연결된 플립/플롭과, 제2 멀티플렉서와 연결된 AND 게이트를 포함한다.
상기 제1 내지 제N 유닛셀 중, 부호 비트를 저장하기 위한 유닛셀은 픽셀 리셋 신호의 입력 전에 1로 셋팅되고, 나머지 유닛셀은, 픽셀 리셋 신호의 입력 전에 0으로 셋팅될 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 이미저(imager)의 일 실시예는, 픽셀 리셋 신호와 픽셀 이미지 신호를 제공하는 복수의 픽셀을 포함하는 픽셀 어레이 및 픽셀 어레이와 접속된 디지털 상관 이중 샘플링 모듈을 포함하고, 디지털 상관 이중 샘플링 모듈은, 픽셀 리셋 신호와 픽셀 이미지 신호를 아날로그 신호에서 디지털 신호로 변환하는 SA ADC 변환 모듈(successive approximation analog-to-digital conversion module)과, 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호 사이의 차이를 나타내는 디지털 차이 신호를 생성하는 연산 메모리 모듈(arithmetic memory module)을 포함하되, 연산 메모리 모듈은, 픽셀 리셋 신호와 픽셀 이미지 신호를 입력받고, 상호 연결된 제1 멀티플렉서와 인버터를 포함하는 입력부와, 디지털 차이 신호의 비트를 저장하고, 제2 멀티플렉서 및 상기 제2 멀티플렉서와 연결된, AND 게이트와 플립/플롭을 포함하는 복수의 유닛셀을 포함한다.
상기 제1 멀티플렉서는, 픽셀 리셋 신호와 픽셀 이미지 신호가 입력되는 제3 및 제4 멀티플렉서를 포함하고, 제3 멀티플렉서는, 인버터와 연결될 수 있다.
상기 제2 멀티플렉서는, 인버터와 연결된, 제5 및 제6 멀티플렉서를 포함하고, 제5 멀티플렉서는 플립/플롭과 연결되고, 제6 멀티플렉서는 AND 게이트와 연결될 수 있다.
상기 또 다른 과제를 해결하기 위한 본 발명의 연산 메모리 모듈 장치의 동작 방법의 일 실시예는, 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호를 입력하고, 픽셀 리셋 신호와 픽셀 이미지 신호 간의 차이를 나타내는 디지털 차이 신호를 생성하는 것을 포함하고, 디지털 차이 신호를 생성하는 것은, 복수의 유닛셀 중 오버샘플링을 위한 유닛셀을 0으로 셋팅하고, 복수의 유닛셀 중 부호 비트를 위한 유닛셀을 1로 셋팅하고, 쉬프트 신호를 인가하여, 처음 샘플링되는 픽셀 리셋 신호를 복수의 유닛셀에 덧셈/뺄셈 동작 없이 최상위비트부터 입력되도록하고, 연산 신호를 로우 상태로 인가하여, 픽셀 리셋 신호를 오버샘플링하며 더하고, 연산 신호를 하이 상태로 인가하여, 픽셀 이미지 신호를 오버샘플링하며 빼는 것을 포함하고, 복수의 유닛셀은, 덧셈/뺄셈 동작을 수행하고, 복수의 멀티플렉서 및 복수의 멀티플렉서와 연결된, 플립/플롭과 AND 게이트를 포함한다.
상기 덧셈/뺄셈 동작시, 캐리/바로우 제어 신호를 인가하는 것을 더 포함하고, 캐리/바로우 제어신호가 하이 상태일 때, 캐리/바로우가 발생하지 않고, 캐리/바로우 제어신호가 로우 상태일 때, 캐리/바로우의 발생이 가능할 수 있다.
상기 또 다른 과제를 해결하기 위한 본 발명의 연산 메모리 모듈 장치의 동작 방법의 다른 실시예는, 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호를 입력하고, 픽셀 리셋 신호와 픽셀 이미지 신호 간의 차이를 나타내는 디지털 차이 신호를 생성하는 것을 포함하고, 디지털 차이 신호를 생성하는 것은, 복수의 유닛셀 중, 부호 비트를 위한 유닛셀을 1로 셋팅하고, 나머지 유닛셀은 0으로 셋팅하고, 연산 신호를 로우 상태로 인가하여, 픽셀 리셋 신호를 오버샘플링하며 더하고, 연산 신호를 하이 상태로 인가하여, 픽셀 이미지 신호를 오버샘플링하며 빼는 것을 포함하고, 복수의 유닛셀은, 덧셈/뺄셈 동작을 수행하고, 복수의 멀티플렉서 및 복수의 멀티플렉서와 연결된, 플립/플롭과 AND 게이트를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
도 2는 도 1의 연산 메모리 장치를 설명하기 위한 블록도이다.
도 3은 도 2의 연산 메모리 장치의 일 실시예를 설명하기 위한 개념도이다.
도 4는 도 3의 연산 메모리 장치의 타이밍 다이어그램을 도시한 도면이다.
도 5는 도 3의 2번 구간에서의 클럭에 따른 샘플링을 설명하기 위한 도면이다.
도 6a 및 도 6b는 도 4의 1번 구간에서의 연산 메모리 장치의 동작 방법을 설명하기 위한 도면들이다.
도 6c 내지 도 6f는 도 4의 2번 구간에서의 연산 메모리 장치의 동작 방법을 설명하기 위한 도면들이다.
도 7a 내지 도 7c는 도 4의 5번 구간에서의 연산 메모리 장치의 동작 방법을 설명하기 위한 도면들이다.
도 8은 도 2의 연산 메모리 장치의 다른 실시예를 설명하기 위한 개념도이다.
도 9는 도 8의 연산 메모리 장치의 타이밍 다이어그램을 도시한 도면이다.
도 10은 본 발명의 이미지 센서 예컨대, 이미지 센서를 디지털 카메라에 응용한 예를 나타내는 블록도이다.
도 11은 본 발명의 이미지 센서 예컨대, 이미지 센서를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 12는 도 11의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
하나의 소자(elements)가 다른 소자와 "접속된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 "직접 접속된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1을 참조하여, 본 발명의 일 실시예에 따른 이미지 센서를 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 센서(1)는, 픽셀 어레이(PIXEL ARRAY)(110), 로우 드라이버(ROW DRIVER)(104), 컬럼 드라이버(COLUMN DRIVER)(108) 제어 모듈(CONTROL MODULE)(112), 디지털 상관 이중 샘플링 모듈(DIGITAL CORRELATED DOUBLE SAMPLING MODULE)(124), 이미지 프로세서(IMAGE PROCESSOR)(122)를 포함한다.
픽셀 어레이(110)는 기결정된 수의 로우/컬럼(row/column)으로 배열된 복수개의 픽셀을 가진다.
구체적으로, 픽셀 어레이(110)의 로우에 위치한 픽셀들은 로우 선택 라인에 의해 동시에 켜지고, 각 컬럼의 픽셀 시그널들은 컬럼 선택 라인에 의해 출력 라인으로 선택적으로 제공될 수 있다. 복수의 로우/컬럼 선택 라인들은 전체 픽셀 어레이(110)를 위해 제공될 수 있다.
로우 드라이버(104)는 로우 어드레스 디코더(ROW ADDRESS DECODER)(102)에 응하여 로우 라인들을 선택적으로 활성화시킨다. 또한 컬럼 드라이버(108)는 컬럼 어드레스 디코더(COLUMN ADDRESS DECODER)(106)에 응하여 컬럼 선택 라인들을 선택적으로 활성화시킨다. 따라서, 로우/컬럼 어드레스는 픽셀 어레이(110)의 각 픽셀들로 제공될 수 있다.
제어 모듈(112)은 픽셀 판독을 위해 적절한 로우/컬럼 선택 라인들을 선택하는 로우 어드레스 디코더(102) 및 컬럼 어드레스 디코더(106)를 제어한다.
구체적으로, 제어 모듈(112)은 선택된 로우/컬럼 선택 라인들의 각 드라이브 트랜지스터로 드라이빙 전압을 가하는 로우 드라이버(104)와 컬럼 드라이버(108)를 제어할 수 있다.
디지털 상관 이중 샘플링 모듈(124)은 픽셀 어레이(110)의 각 컬럼의 선택된 픽셀들에 대한 픽셀 리셋 신호와 픽셀 이미지 신호를 이용하여 디지털 상관 이중 샘플링 공정을 수행한다.
디지털 상관 이중 샘플링 모듈(124)은 S/H(sample and hold) 모듈(114), 증폭기(AMP) 모듈(116), 축차근사형 아날로그-디지털 컨버터(SA-ADC; successive approximation analog-to-digital converter) 모듈(118) 및 연산 메모리(ARITHMETIC MEMORY) 모듈(120)을 포함할 수 있다.
S/H 모듈(114)은 컬럼 드라이버(108)와 관련되고, n개의 S/H 장치를 포함할 수 있다. 또한 각 S/H 장치는 픽셀 어레이(110)의 선택된 픽셀들을 위해 픽셀 리셋 신호 및 픽셀 이미지 신호를 샘플(sample) 및 홀드(hold)할 수 있다. 여기에서, n은 정수를 포함할 수 있고, 컬럼들의 수 또는 그 일부를 표현할 수 있다.
증폭기 모듈(116)은 n개의 증폭기들을 포함하고, 샘플 및 홀드된 픽셀 리셋 신호 및 픽셀 이미지 신호를 증폭시킬 수 있다.
축차근사형 아날로그-디지털 컨버터 모듈(118)은 n개의 축차근사형 아날로그-디지털 컨버터를 포함하고, 각각의 축차근사형 아날로그-디지털 컨버터는 증폭된 픽셀 리셋 신호와 픽셀 이미지 신호를 디지털 신호로 변환할 수 있다.
연산 메모리 모듈(120)은 n개의 연산 메모리 장치(Arithmetic memory)들을 포함하고, 각각의 연산 메모리 장치(Arithmetic memory)는, MSB 우선 계산(Most-significant-bit-first calculation)을 이용하여 디지털 픽셀 리셋 신호와 디지털 픽셀 이미지 신호 간의 차를 효과적으로 구하여, 디지털 차이 신호를 발생시킬 수 있다. 여기에서, MSB 우선 계산은 이진수 연산을 포함하는 덧셈 또는 뺄셈 연산을 포함할 수 있다.
연산 메모리 장치(Arithmetic memory)에 대한 구체적인 설명은 후술하도록 한다.
이미지 프로세서(122)는 연산 메모리 모듈(120)로부터 제공받은 디지털 차이 신호를 처리하여, 픽셀 어레이(110)의 복수의 픽셀들에 의해 캡쳐된 이미지의 출력 이미지 컬러 리프로덕션(output image color reproduction)을 제공한다.
구체적으로, 이미지 프로세서(122)는 다양한 동작을 수행하고, 이러한 다양한 동작은 예를 들어, 위치상 이득 조절(positional gain adjustment), 결함 수정, 노이즈 감소, 옵티컬 크로스톡 감소(optical crosstalk reduction), 디모자익(demosaicing), 리사이징(resizing), 샤프닝(sharpening) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이하에서는, 도 2를 참조하여, 도 1의 연산 메모리 장치에 대해 설명하도록 한다.
도 2는 도 1의 연산 메모리 장치를 설명하기 위한 블록도이다.
도 2를 참조하면, 연산 메모리 장치(120a)는 입력부(INPUT BLOCK)(200)와 복수의 유닛셀(300)을 포함할 수 있다. 여기에서, 설명의 편의를 위해 도 1의 연산 메모리 모듈(120)에 포함되는 복수개의 연산 메모리 장치들 중 하나(연산 메모리 장치(120a))를 예로 들어 설명하도록 한다. 즉, 다른 나머지 연산 메모리 장치들 역시, 연산 메모리 장치(120a)와 동일한 구조 및 특성을 가질 수 있다.
구체적으로, 입력부(200)는 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호를 입력받을 수 있다. 또한 입력부(200)의 출력은 복수의 유닛셀(300)로 입력될 수 있으며, 복수의 유닛셀(300)의 출력이 피드백되어 입력부(200)로 입력될 수 있다.
복수의 유닛셀(300)은 픽셀 리셋 신호와 픽셀 이미지 신호 간의 차이를 나타내는 디지털 차이 신호의 비트를 저장할 수 있다.
구체적으로, 복수의 유닛셀(300)은 아래에 도시된 바와 같이, 입력부와 연결된 제1 유닛셀(UNIT CELL 1)과 제1 유닛셀(UNIT CELL 1)과 연속적으로 연결된 제2 내지 제M 유닛셀(UNIT CELL 2 ~ UNIT CELL M)(M은 2이상인 자연수)을 포함할 수 있다. 여기에서, 제1 유닛셀(UNIT CELL 1)은 최하위비트(Least-Significant-Bit; LSB)가 저장되고, 제M-1 유닛셀(UNIT CELL M-1)에는 최상위비트(Most-Significant-Bit; MSB)가 저장되고, 제M 유닛셀(UNIT CELL M)에는 부호 비트(SIGN)가 저장될 수 있다. 즉, 복수의 유닛셀(300)에는 입력부(200)와 연결된 곳에 최하위비트(LSB)가 저장되고, 그 후부터 순차적으로 높은 비트가 저장되어, 제M-1 유닛셀(UNIT CELL M-1)에는 최상위비트(MSB)가 저장되고, 가장 마지막 유닛셀(UNIT CELL M)에는 부호 비트(SIGN)가 저장된다는 것을 알 수 있다. 또한 복수의 유닛셀(300)은 연산 신호(ADD/SUB)를 제공받아, 입력부(200)를 통해 입력되는 픽셀 리셋 신호 및 픽셀 이미지 신호에 대한 덧셈/뺄셈 연산을 수행할 수 있다.
이하에서는, 도 3 내지 도 7c를 참조하여, 도 2의 연산 메모리 장치의 일 실시예를 설명하도록 한다.
도 3은 도 2의 연산 메모리 장치의 일 실시예를 설명하기 위한 개념도이다. 도 4는 도 3의 연산 메모리 장치의 타이밍 다이어그램을 도시한 도면이다. 도 5는 도 3의 2번 구간에서의 클럭에 따른 샘플링을 설명하기 위한 도면이다. 도 6a 및 도 6b는 도 4의 1번 구간에서의 연산 메모리 장치의 동작 방법을 설명하기 위한 도면들이다. 도 6c 내지 도 6f는 도 4의 2번 구간에서의 연산 메모리 장치의 동작 방법을 설명하기 위한 도면들이다. 도 7a 내지 도 7c는 도 4의 5번 구간에서의 연산 메모리 장치의 동작 방법을 설명하기 위한 도면들이다.
도 3을 참조하면, 연산 메모리 장치(120a_1)는 입력부(200)와 복수의 유닛셀(300)을 포함할 수 있다.
입력부(200)는 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 픽셀 리셋 신호와 픽셀 이미지 신호를 입력받을 수 있다.
구체적으로, 입력부(200)는 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 픽셀 리셋 신호와 픽셀 이미지 신호를 입력받는 제1 멀티플렉서(210) 및 제2 멀티플렉서(220)와, 제1 멀티플렉서와 연결된 인버터(230)를 포함할 수 있다.
제1 멀티플렉서(210)는 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 픽셀 리셋 신호와 픽셀 이미지 신호를 입력받고, 복수의 유닛셀(300) 중 제M 유닛셀(300_m)로부터 피드백 신호를 입력받고, 외부로부터 쉬프트 신호(SHIFT)를 입력받을 수 있다. 외부는 예를 들어, 사용자 또는 일종의 메모리 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한 제1 멀티플렉서(210)의 출력은, 제1 유닛셀(300_1)의 제3 멀티플렉서(310_1) 및 제4 멀티플렉서(320_1)로 제공될 수 있으며, 인버터(230)를 통해 그 출력이 인버팅(inverting)되어, 제3 멀티플렉서(310_1) 및 제4 멀티플렉서(320_1)로 제공될 수 있다.
제2 멀티플렉서(220)는 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 픽셀 리셋 신호와 픽셀 이미지 신호를 입력받고, 외부로부터 캐리/바로우 제어 신호(CB-CTL)를 입력받을 수 있다. 외부는 예를 들어, 사용자 또는 일종의 메모리 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한 제2 멀티플렉서(220)의 출력은, 제1 유닛셀(300_1)의 제3 멀티플렉서(310_1) 및 제1 AND 게이트(330_1)로 제공될 수 있다.
인버터(230)는 제1 멀티플렉서(210)의 출력을 인버팅시켜, 제3 멀티플렉서(310_1) 및 제4 멀티플렉서(320_1)로 제공할 수 있다.
입력부(200)의 구체적인 동작에 대한 설명은 후술하기로 한다.
복수의 유닛셀(300)은 입력부(200)와 연결된 제1 유닛셀(300_1) 및 제1 유닛셀(300_1)과 연속적으로 연결된 제2 내지 제M 유닛셀(300_m)을 포함할 수 있다.
제1 유닛셀(300_1)은 제1 멀티플렉서(210)와 연결된 제3 멀티플렉서(310_1) 및 제4 멀티플렉서(320_1), 제3 멀티플렉서(310_1)와 연결된 제1 플립/플롭(340_1)과, 제4 멀티플렉서(320_1)와 연결된 제1 AND 게이트(330_1)를 포함할 수 있다.
제3 멀티플렉서(310_1)는 제1 멀티플렉서(210)의 출력 및 인버터(230)에 의해 인버팅된 제1 멀티플렉서(210)의 출력과, 제2 멀티플렉서(220)의 출력을 제공받을 수 있다. 또한 제3 멀티플렉서(310_1)의 출력은 제1 플립/플롭(340_1)으로 제공될 수 있다.
제4 멀티플렉서(320_1)는 제1 멀티플렉서(210)의 출력 및 인버터(230)에 의해 인버팅된 제1 멀티플렉서(210)의 출력과, 연산 신호(ADD/SUB)를 제공받을 수 있다. 또한 제4 멀티플렉서(320_1)의 출력은 제1 AND 게이트(330_1)로 제공될 수 있다.
제1 플립/플롭(340_1)은 제3 멀티플렉서(310_1)의 출력을 제공받고, 제1 유닛셀(300_1)로 제공되는 픽셀 리셋 신호 또는 픽셀 이미지 신호의 비트를 저장할 수 있다. 또한 제1 플립/플롭(340_1)의 출력은 제2 유닛셀(300_2)의 제5 멀티플렉서(310_2) 및 제6 멀티플렉서(320_2)로 제공될 수 있다.
제1 AND 게이트(330_1)는 제2 멀티플렉서(220)의 출력 및 제4 멀티플렉서(320_1)의 출력을 제공받을 수 있다. 또한 제1 AND 게이트(330_1)의 출력은 제2 유닛셀(300_2)의 제5 멀티플렉서(310_2) 및 제2 AND 게이트(330_2)로 제공될 수 있다.
제2 유닛셀(300_2)은 제1 플립/플롭(340_1)과 연결된 제5 멀티플렉서(310_2) 및 제6 멀티플렉서, 제5 멀티플렉서(310_2)와 연결된 제2 플립/플롭(340_2)과, 제6 멀티플렉서(320_2)와 연결된 제2 AND 게이트(330_2)를 포함할 수 있다.
제5 멀티플렉서(310_2)는 제1 플립/플롭(340_1)의 출력과, 제1 AND 게이트(330_1)의 출력을 제공받을 수 있다. 또한 제5 멀티플렉서(310_2)의 출력은 제2 플립/플롭(340_2)으로 제공될 수 있다.
제6 멀티플렉서(320_2)는 제1 플립/플롭(340_1)의 출력과 연산 신호(ADD/SUB)를 제공받을 수 있다. 또한 제6 멀티플렉서(320_2)의 출력은 제2 AND 게이트(330_2)로 제공될 수 있다.
제2 플립/플롭(340_2)은 제5 멀티플렉서(310_2)의 출력을 제공받고, 제2 유닛셀(300_2)로 제공되는 픽셀 리셋 신호 또는 픽셀 이미지 신호의 비트를 저장할 수 있다. 또한 제2 플립/플롭(340_2)의 출력은 제3 유닛셀(300_3)의 멀티플렉서들(미도시)로 제공될 수 있다.
제2 AND 게이트(330_2)는 제6 멀티플렉서(320_2)의 출력 및 제1 AND 게이트(330_1)의 출력을 제공받을 수 있다. 또한 제2 AND 게이트(330_2)의 출력은 제3 유닛셀(300_3)의 멀티플렉서(미도시) 및 AND 게이트(미도시)로 제공될 수 있다.
제2 유닛셀(300_2)의 구조 및 연결관계는 제3 내지 제M-1 유닛셀(300_3~300_m-1)과 동일한바, 제3 내지 제M-1 유닛셀(300_3~300_m-1)에 대한 설명은 생략하도록 한다.
제M 유닛셀(300_m)은 제M-1 유닛셀(300_m-1)의 플립/플롭(미도시)과 연결된 제7 멀티플렉서(310_m)와, 제7 멀티플렉서(310_m)와 연결된 제3 플립/플롭(340_m)을 포함할 수 있다.
제7 멀티플렉서(310_m)는 제M-1 유닛셀(300_m-1)의 플립/플롭의 출력과 AND 게이트의 출력을 제공받을 수 있다. 또한 제7 멀티플렉서(310_m)의 출력은, 제3 플립/플롭(340_m)으로 제공될 수 있다.
제3 플립/플롭(340_m)은 제7 멀티플렉서(310_m)의 출력을 제공받을 수 있다. 또한 제3 플립/플롭(340_m)의 출력은 피드백되어, 입력부(200)의 제1 멀티플렉서(210)로 제공될 수 있다.
도 4를 참조하면, 도 3의 연산 메모리 장치(120a_1)의 타이밍 다이어그램을 알 수 있다. 타이밍 다이어그램을 설명하기에 앞서서, 입력부(200)로 입력되는 픽셀 리셋 신호와 픽셀 이미지 신호는 12bit이고, 오버샘플링을 통해 추가하고자 하는 비트수는 2bit이고, 이에 따라 픽셀 리셋 신호 및 픽셀 이미지 신호 각각에 대한 오버샘플링 횟수는 4번이라고 가정한다. 또한 픽셀 리셋 신호가 먼저 순차적으로 4번 샘플링된 후, 픽셀 이미지 신호가 순차적으로 4번 샘플링된다고 가정한다. 이러한 가정은 설명의 편의를 위해 설정한 것으로, 본 발명이 이에 한정되는 것은 아니다.
먼저, 리셋 신호(RESET)가 로우 상태(low state)일 때, 제1 및 제2 유닛셀(300_2)은 0으로 셋팅되고, 제3 유닛셀(300_3)은 1로 셋팅될 수 있다. 이 경우, 나머지 유닛셀은 0 또는 1 중 어느 하나로 셋팅이 될 수 있다. 즉, 부호 비트를 위해 제3 유닛셀(300_3)은 1로 셋팅되고, 오버샘플링으로 인해 추가되는 2bit를 위해 제1 및 제2 유닛셀(300_2)은 0으로 셋팅하는 것이다.
1번 구간에서, 쉬프트 신호(SHIFT)가 로우 상태가 되면, 픽셀 리셋 신호의 첫 샘플링 값은, 덧셈/뺄셈 연산 없이 최상위비트부터 복수의 유닛셀(300)에 입력될 수 있다. 그 후, 쉬프트 신호(SHIFT)가 하이 상태(high state)가 되면, 복수의 유닛셀(300) 중 제13 내지 제15 유닛셀(300_13~300_15)에 셋팅된 비트가 쉬프트 되어, 제1 내지 제3 유닛셀(300_1~300_3)로 셋팅되고, 나머지 유닛셀에 셋팅된 비트들도 순차적으로, 쉬프트되어 셋팅될 수 있다. 즉, 제1 및 제2 유닛셀(300_2)은 0으로 셋팅되고, 제3 유닛셀(300_3)은 1로 셋팅될 수 있다. 또한 제4 내지 제15 유닛셀(300_4~300_15)에는 픽셀 리셋 신호의 최하위비트부터 최상위비트 순으로 순차적으로 셋팅될 수 있다.
2번 구간 내지 4번 구간에서는, 연산 신호(ADD/SUB)가 로우 상태이기에, 픽셀 리셋 신호를 3번 더 오버샘플링하며, 더하는 연산이 수행되고, 5번 내지 8번 구간에서는, 연산 신호(ADD/SUB)가 하이 상태이기에, 픽셀 이미지 신호를 4번 오버샘플링하며, 빼는 연산이 수행될 수 있다. 이러한 덧셈/뺄셈 동작시, 캐리와 바로우를 제어하기 위한 캐리/바로우 제어 신호(CB-CTL)가 인가될 수 있다. 타이밍 다이어그램에 대한 보다 구체적인 설명은 후술하도록 한다.
도 5를 참조하면, 제2 구간의 캐리/바로우 제어 신호(CB-CTL)와 클럭에 따른 샘플링에 대한 타이밍 다이어그램이 도시되어 있다. 제3 및 제4 구간의 경우, 제2 구간과 동일하게 동작하고, 제5 내지 제8 구간의 경우, 픽셀 리셋 신호가 아닌 픽셀 이미지 신호라는 점, 연산 신호(ADD/SUB)가 로우 상태가 아닌 하이 상태라는 점을 제외하고는 제2 구간과 동일하게 동작한다고 볼 수 있다.
캐리/바로우 제어 신호(CB-CTL)가 로우 상태일 때, 12번의 사이클(cycle)동안 클럭에 의해 픽셀 리셋 신호가 샘플링된다는 것을 알 수 있다. 또한 (2+1)번의 사이클동안 클럭에 의해 픽셀 리셋 신호가 쉬프트된다는 것을 알 수 있다. 이는 입력부(200)로 입력되는 픽셀 리셋 신호가 12bit이기에 12사이클동안 샘플링되는 것이고, 추가하고자하는 비트수가 2bit이고, 부호 비트가 1bit 필요하기에, 총 3bit만큼 쉬프트되는 것이다.
즉, 픽셀 리셋 신호 12bit가 샘플링되어 각 유닛셀에 셋팅되고, 3bit만큼 쉬프트시켜줌으로써, 다음 샘플링 주기 때, 이미 입력된 픽셀 리셋 신호의 최상위비트와 새로 입력되는 픽셀 리셋 신호의 최상위비트부터 순차적으로 덧셈 연산을 해줄 수 있는 것이다.
도 6a를 참조하면, 도 4의 1번 구간에서의 연산 메모리 장치의 동작 흐름을 알 수 있다.
먼저, 쉬프트 신호(SHIFT)가 로우 상태가 되어, 제1 멀티플렉서(210)로 0이 인가되면, 제1 멀티플렉서(210)는 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 아닌 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 입력되는 신호를 출력으로 선택할 수 있다. 또한 캐리/바로우 제어 신호(CB-CTL)가 하이 상태가 되어, 제2 멀티플렉서(220)로 1이 인가되기에, 제2 멀티플렉서(220)의 출력은 0이 되고, 결과적으로, 제1 멀티플렉서(210)의 출력과 상관없이, 제1 AND 게이트(330_1)의 출력은 0이 된다. 또한 제3 멀티플렉서(310_1)에 0이 인가되기에, 제3 멀티플렉서(310_1)의 출력은 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 입력되는 신호를 제1 플립/플롭(340_1)으로 제공하게 된다.
이러한 과정은 쉬프트 신호(SHIFT)가 하이 상태가 되기 전까지 각 유닛셀마다 순차적으로 발생하게 되기에, 제1 내지 제12 유닛셀(300_1~300_12)에는 픽셀 리셋 신호가 최하위비트부터 최상위비트 순으로 셋팅되게 된다.
도 6b를 참조하면, 쉬프트 신호(SHIFT)가 하이 상태가 되어, 제1 멀티플렉서(210)로 1이 인가되면, 제1 멀티플렉서(210)는 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 입력되는 신호가 아닌 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호를 출력으로 선택할 수 있다. 캐리/바로우 제어 신호(CB-CTL)의 경우, 계속 하이 상태를 유지하기에, 여전히 제1 AND 게이트(330_1)의 출력은 0이 된다. 또한 제3 멀티플렉서(310_1)에 0이 인가되기에, 제3 멀티플렉서(310_1)는 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호를 제1 플립/플롭(340_1)으로 제공하게 된다. 이 때, 제1 구간에서 쉬프트 신호(SHIFT)가 하이 상태로 유지되는 시간은, 제13 내지 제15 유닛셀(300_13~300_15)에 셋팅된 0, 0, 1의 비트가 제1 내지 제3 유닛셀(300_1~300_3)로 각각 쉬프팅되어 입력되는 시간일 수 있다.
따라서, 도 6b에 도시된 연산 메모리 장치(120a_1)의 동작 결과, 제1 내지 제3 유닛셀(300_1~300_3)에는 0, 0, 1의 비트가 각각 셋팅되고, 제4 내지 제15 유닛셀(300_4~300_15)에는 도 6a에서 설명된 픽셀 리셋 신호의 12bit가 셋팅될 수 있다.
도 6c 내지 도 6f를 참조하면, 도 4의 2번 구간에서의 연산 메모리 장치의 다양한 동작 흐름을 알 수 있다. 도 4의 3, 4번 구간은 2번 구간과 동일하게 동작하는바, 이에 대한 설명은 생략하도록 한다.
먼저 도 6c에는, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 0이고, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 1 or 0인 경우가 도시되어 있다. 또한 쉬프트 신호(SHIFT)는 하이 상태, 연산 신호(ADD/SUB)는 로우 상태, 캐리/바로우 제어 신호(CB-CTL)도 로우 상태인 경우를 가정한다. 이하에서, 캐리/바로우 제어 신호(CB-CTL)가 로우 상태를 유지하는 시간은, 픽셀 리셋 신호가 12사이클동안 샘플링되는 시간으로 가정한다. 즉, 제1 내지 제12 유닛셀(300_1~300_12)에 픽셀 리셋 신호의 12비트들이 순차적으로 입력되는 시간을 의미한다.
쉬프트 신호(SHIFT)가 하이 상태이기에, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 제1 멀티플렉서(210)의 출력으로 선택되고, 캐리/바로우 제어 신호(CB-CTL)가 로우 상태이기에, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 제2 멀티플렉서(220)의 출력으로 선택될 수 있다. 제2 멀티플렉서(220)의 출력이 0이기에, 제1 AND 게이트(330_1)의 출력은, 제4 멀티플렉서(320_1)의 출력과 상관없이 0이 될 수 있다. 또한 제3 멀티플렉서(310_1)로 0이 인가되기에, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호 즉, 1 or 0이 제3 멀티플렉서(310_1)의 출력으로써, 제1 플립/플롭(340_1)으로 제공될 수 있다. 이 경우, 제1 AND 게이트(330_1) 뿐만 아니라 다른 유닛셀의 AND 게이트의 출력도 0이 되기에, 캐리의 발생없이 각 유닛셀에 셋팅된 비트들이 다음 유닛셀로 쉬프팅될 수 있다.
도 6d에는, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 1이고, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 0인 경우가 도시되어 있다. 또한 쉬프트 신호(SHIFT)는 하이 상태, 연산 신호(ADD/SUB)는 로우 상태, 캐리/바로우 제어 신호(CB-CTL)도 로우 상태인 경우를 가정한다.
쉬프트 신호(SHIFT)가 하이 상태이기에, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 제1 멀티플렉서(210)의 출력으로 선택되고, 캐리/바로우 제어 신호(CB-CTL)가 로우 상태이기에, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 제2 멀티플렉서(220)의 출력으로 선택될 수 있다. 연산 신호(ADD/SUB)가 로우 상태이기에, 제4 멀티플렉서(320_1)로 0이 인가되고, 제4 멀티플렉서(320_1)는 제1 멀티플렉서(210)의 출력 중 인버팅되지 않은 0을 출력으로 선택할 수 있다. 또한 제2 멀티플렉서(220)의 출력이 1이고, 제4 멀티플렉서(320_1)의 출력이 0이기에, 제1 AND 게이트(330_1)의 출력은, 0이 될 수 있다. 또한 제3 멀티플렉서(310_1)로 1이 인가되기에, 제1 멀티플렉서(210)의 출력 중 인버터(230)에 의해 인버팅된 신호가 제3 멀티플렉서(310_1)의 출력으로 선택되고, 여기에서는, 1이 제3 멀티플렉서(310_1)의 출력으로 선택될 수 있다. 따라서, 제3 멀티플렉서(310_1)의 출력으로써 1이 제1 플립/플롭(340_1)으로 제공될 수 있고, 제1 AND 게이트(330_1)의 출력이 0이기에, 캐리가 발생하지 않을 수 있다.
이 경우, 제1 AND 게이트(330_1) 뿐만 아니라 다른 유닛셀의 AND 게이트의 출력도 0이 되기에, 캐리의 발생없이 각 유닛셀에 셋팅된 비트들이 다음 유닛셀로 쉬프팅될 수 있다.
도 6e에는, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 1이고, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 1인 경우가 도시되어 있다. 또한 쉬프트 신호(SHIFT)는 하이 상태, 연산 신호(ADD/SUB)는 로우 상태, 캐리/바로우 제어 신호(CB-CTL)도 로우 상태인 경우를 가정한다.
쉬프트 신호(SHIFT)가 하이 상태이기에, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 제1 멀티플렉서(210)의 출력으로 선택되고, 캐리/바로우 제어 신호(CB-CTL)가 로우 상태이기에, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 제2 멀티플렉서(220)의 출력으로 선택될 수 있다. 연산 신호(ADD/SUB)가 로우 상태이기에, 제4 멀티플렉서(320_1)로 0이 인가되고, 제4 멀티플렉서(320_1)는 제1 멀티플렉서(210)의 출력 중 인버팅되지 않은 1을 출력으로 선택할 수 있다. 또한 제2 멀티플렉서(220)의 출력이 1이고, 제4 멀티플렉서(320_1)의 출력이 1이기에, 제1 AND 게이트(330_1)의 출력은, 1이 될 수 있다. 또한 제3 멀티플렉서(310_1)로 1이 인가되기에, 제1 멀티플렉서(210)의 출력 중 인버터(230)에 의해 인버팅된 신호가 제3 멀티플렉서(310_1)의 출력으로 선택되고, 여기에서는, 0이 제3 멀티플렉서(310_1)의 출력으로 선택될 수 있다. 따라서, 제3 멀티플렉서(310_1)의 출력으로써 0이 제1 플립/플롭(340_1)으로 제공될 수 있고, 제1 AND 게이트(330_1)의 출력이 1이기에, 캐리가 발생할 수 있다.
이 경우, 제1 AND 게이트(330_1)의 출력이 1이기에, 캐리가 발생하지 않는 유닛셀까지 연속적으로 덧셈 연산이 수행될 수 있다.
도 6f에는, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 1 or 0인 경우가 도시되어 있다. 또한 쉬프트 신호(SHIFT)는 하이 상태, 연산 신호(ADD/SUB)는 로우 상태, 캐리/바로우 제어 신호(CB-CTL)는 하이 상태인 경우를 가정한다.
쉬프트 신호(SHIFT)가 하이 상태이기에, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 제1 멀티플렉서(210)의 출력으로 선택될 수 있다. 다만, 캐리/바로우 제어 신호(CB-CTL)가 하이 상태이기에, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력과 상관없이 제2 멀티플렉서(220)의 출력은 0이 되고, 제1 AND 게이트(330_1)의 출력 역시 0이 될 수 있다. 또한 제3 멀티플렉서(310_1)에 0이 인가되기에, 제3 멀티플렉서(310_1)는 인버팅되지 않은 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호를 제1 플립/플롭(340_1)으로 제공하게 된다. 이 때, 제2 구간에서 캐리/바로우 제어 신호(CB-CTL)가 하이 상태로 유지되는 시간은, 제13 내지 제15 유닛셀(300_15)에 셋팅된 비트들이 제1 내지 제3 유닛셀(300_3)로 각각 쉬프팅되어 입력되는 시간일 수 있다.
또한 제1 AND 게이트(330_1)의 출력이 0이기에, 캐리의 발생없이 각 유닛셀에 셋팅된 비트들이 다음 유닛셀로 쉬프팅될 수 있다.
도 7a 내지 도 7c를 참조하면, 도 4의 5번 구간에서의 연산 메모리 장치의 다양한 동작 흐름을 알 수 있다. 도 4의 6 내지 8번 구간은, 5번 구간과 동일하게 동작하는바, 이에 대한 설명은 생략하도록 한다.
먼저, 도 7a를 참조하면, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 0이고, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 1 or 0인 경우가 도시되어 있다. 또한 쉬프트 신호(SHIFT)는 하이 상태, 연산 신호(ADD/SUB)도 하이 상태, 캐리/바로우 제어 신호(CB-CTL)는 로우 상태인 경우를 가정한다. 이하에서, 캐리/바로우 제어 신호(CB-CTL)가 로우 상태를 유지하는 시간은, 픽셀 이미지 신호가 12사이클동안 샘플링되는 시간으로 가정한다. 즉, 제1 내지 제12 유닛셀(300_1~300_12)에 픽셀 이미지 신호의 12비트들이 순차적으로 입력되는 시간을 의미한다.
쉬프트 신호(SHIFT)가 하이 상태이기에, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 제1 멀티플렉서(210)의 출력으로 선택되고, 캐리/바로우 제어 신호(CB-CTL)가 로우 상태이기에, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 제2 멀티플렉서(220)의 출력으로 선택될 수 있다. 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 0이기에, 제1 AND 게이트(330_1)의 출력은, 제4 멀티플렉서(320_1)의 출력과 상관없이 0이 될 수 있다. 또한 제3 멀티플렉서(310_1)로 0이 인가되기에, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호 즉, 1 or 0이 제3 멀티플렉서(310_1)의 출력으로써, 제1 플립/플롭(340_1)으로 제공될 수 있다. 이 경우, 제1 AND 게이트(330_1) 뿐만 아니라 다른 유닛셀의 AND 게이트의 출력도 0이 되기에, 캐리의 발생없이 각 유닛셀에 셋팅된 비트들이 다음 유닛셀로 쉬프팅될 수 있다.
도 7b를 참조하면, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 1이고, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 0인 경우가 도시되어 있다. 또한 쉬프트 신호(SHIFT)는 하이 상태, 연산 신호(ADD/SUB)도 하이 상태, 캐리/바로우 제어 신호(CB-CTL)는 로우 상태인 경우를 가정한다.
쉬프트 신호(SHIFT)가 하이 상태이기에, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 제1 멀티플렉서(210)의 출력으로 선택되고, 캐리/바로우 제어 신호(CB-CTL)가 로우 상태이기에, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 제2 멀티플렉서(220)의 출력으로 선택될 수 있다. 연산 신호(ADD/SUB)가 하이 상태이기에, 제4 멀티플렉서(320_1)로 1이 인가되고, 제4 멀티플렉서(320_1)는 제1 멀티플렉서(210)의 출력 중 인버팅된 1을 출력으로 선택할 수 있다. 또한 제2 멀티플렉서(220)의 출력이 1이고, 제4 멀티플렉서(320_1)의 출력이 1이기에, 제1 AND 게이트(330_1)의 출력은, 1이 될 수 있다. 또한 제3 멀티플렉서(310_1)로 1이 인가되기에, 제1 멀티플렉서(210)의 출력 중 인버터(230)에 의해 인버팅된 신호가 제3 멀티플렉서(310_1)의 출력으로 선택되고, 여기에서는, 1이 제3 멀티플렉서(310_1)의 출력으로 선택될 수 있다. 따라서, 제3 멀티플렉서(310_1)의 출력으로써 1이 제1 플립/플롭(340_1)으로 제공될 수 있고, 제1 AND 게이트(330_1)의 출력이 1이기에, 바로우가 발생할 수 있다.
이 경우, 이 경우, 제1 AND 게이트(330_1)의 출력이 1이기에, 바로우가 발생하지 않는 유닛셀까지 연속적으로 뺄셈 연산이 수행될 수 있다.
도 7c에는, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 1이고, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 1인 경우가 도시되어 있다. 또한 쉬프트 신호(SHIFT)는 하이 상태, 연산 신호(ADD/SUB)도 하이 상태, 캐리/바로우 제어 신호(CB-CTL)는 로우 상태인 경우를 가정한다.
쉬프트 신호(SHIFT)가 하이 상태이기에, 제15 유닛셀(300_15)로부터 피드백되어 들어오는 신호가 제1 멀티플렉서(210)의 출력으로 선택되고, 캐리/바로우 제어 신호(CB-CTL)가 로우 상태이기에, 축차근사형 아날로그-디지털 컨버터(SA-ADC)의 출력이 제2 멀티플렉서(220)의 출력으로 선택될 수 있다. 연산 신호(ADD/SUB)가 하이 상태이기에, 제4 멀티플렉서(320_1)로 1이 인가되고, 제4 멀티플렉서(320_1)는 제1 멀티플렉서(210)의 출력 중 인버팅된 0을 출력으로 선택할 수 있다. 또한 제2 멀티플렉서(220)의 출력이 1이고, 제4 멀티플렉서(320_1)의 출력이 0이기에, 제1 AND 게이트(330_1)의 출력은, 0이 될 수 있다. 또한 제3 멀티플렉서(310_1)로 1이 인가되기에, 제1 멀티플렉서(210)의 출력 중 인버터(230)에 의해 인버팅된 신호가 제3 멀티플렉서(310_1)의 출력으로 선택되고, 여기에서는, 0이 제3 멀티플렉서(310_1)의 출력으로 선택될 수 있다. 따라서, 제3 멀티플렉서(310_1)의 출력으로써 0이 제1 플립/플롭(340_1)으로 제공될 수 있고, 제1 AND 게이트(330_1)의 출력이 0이기에, 바로우가 발생하지 않을 수 있다.
제5 내지 제8 구간의 경우, 도 6f에서 설명된 바와 같이, 캐리/바로우 제어 신호(CB-CTL)가 하이 상태로 변하게 되면, 제13 내지 제15 유닛셀(300_15)에 셋팅된 비트들이 제1 내지 제3 유닛셀(300_3)로 각각 쉬프팅되어 입력될 수 있다.
또한 캐리/바로우 제어 신호(CB-CTL)가 하이 상태면, 제1 AND 게이트(330_1)의 출력이 0이 되기에, 바로우의 발생없이 각 유닛셀에 셋팅된 비트들이 다음 유닛셀로 쉬프팅될 수 있다.
도 3에 도시된 연산 메모리 장치(120a_1)는 쉬프트 신호(SHIFT)를 인가함으로써, 처음 리셋시, 복수의 유닛셀(300) 중 3개의 유닛셀(즉, 부호 비트를 위한 유닛셀 1개와 오버샘플링을 위해 필요한 유닛셀 2개)에 저장되는 비트만 셋팅해도 된다는 특징이 있다. 또한 연산 메모리 장치(120a_1)는 픽셀 리셋 신호 및 픽셀 이미지 신호를 오버샘플링하는 동안 바로 덧셈/뺄셈 연산 동작을 수행하기에, 샘플링된 픽셀 리셋 신호 및 픽셀 이미지 신호를 위한 추가적인 데이터 저장 공간이 필요하지 않다. 뿐만 아니라 픽셀 리셋 신호가 픽셀 이미지 신호보다 작아져서 음수가 발생하는 경우에도, 부호 비트를 추가함으로써, 이전 값이 변경되는 것을 막기 위한 블록킹 신호(blocking signal) 없이도 음수 값을 획득할 수 있다. 또한 부호 비트를 추가함으로써, 캐리/바로우 패스(carry/borrow path)를 위한 추가적인 신호 없이(즉, AND 게이트의 입력 단자가 2개임) 캐리/바로우를 간단하게 선택할 수 있다는 특징이 있다.
이하에서는, 도 8 및 도 9를 참조하여, 도 2의 연산 메모리 장치의 다른 실시예를 설명하도록 한다. 앞서 설명한 도 3 내지 도 7c의 연산 메모리 장치의 일 실시예와 중복되는 내용은 생략하도록 한다.
도 8은 도 2의 연산 메모리 장치의 다른 실시예를 설명하기 위한 개념도이다. 도 9는 도 8의 연산 메모리 장치의 타이밍 다이어그램을 도시한 도면이다.
도 8을 참조하면, 도 3의 연산 메모리 장치(120a_2)는 입력부(400)와 복수의 유닛셀(500)을 포함할 수 있다.
입력부(400)는 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 픽셀 리셋 신호와 픽셀 이미지 신호를 입력받을 수 있다.
구체적으로, 입력부(400)는 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 픽셀 리셋 신호와 픽셀 이미지 신호를 입력받는 제1 멀티플렉서(410)를 포함할 수 있다.
제1 멀티플렉서(410)는 축차근사형 아날로그-디지털 컨버터(SA-ADC)로부터 픽셀 리셋 신호와 픽셀 이미지 신호를 입력받고, 외부로부터 캐리/바로우 제어 신호(CB-CTL)를 입력받을 수 있다. 외부는 예를 들어, 사용자 또는 일종의 메모리 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한 제1 멀티플렉서(410)의 출력은, 제1 유닛셀(500_1)의 제2 멀티플렉서(510_1) 및 제1 AND 게이트(530_1)로 제공될 수 있다.
즉, 도 8의 입력부(400)는 도 3의 입력부(200)와 달리, 멀티플렉서가 1개이고, 인버터를 포함하지 않는다. 또한 입력부(400)로 처음으로 입력되는 픽셀 리셋 신호를 덧셈/뺄셈 연산 없이 최상위비트부터 복수의 유닛셀(500)에 입력되도록 하는 쉬프트 신호(SHIFT)를 인가받지 않는 다는 것을 알 수 있다. 이에 대한 자세한 설명은 후술하도록 한다.
복수의 유닛셀(500)은 입력부(400)와 연결된 제1 유닛셀(500_1) 및 제1 유닛셀(500_1)과 연속적으로 연결된 제2 내지 제M 유닛셀(500_2~500_m)을 포함할 수 있다.
제1 유닛셀(500_1)은 제M 유닛셀(500_m)의 피드백 신호를 입력받고, 인버터(505)와 연결된 제2 멀티플렉서(510_1) 및 제3 멀티플렉서(520_1), 제2 멀티플렉서(520_1)와 연결된 제1 플립/플롭(540_1)과, 제3 멀티플렉서(520_1)와 연결된 제1 AND 게이트(530_1)를 포함할 수 있다.
제2 멀티플렉서(510_1)는 제1 멀티플렉서(410)의 출력 및 인버터(505)에 의해 인버팅된 제M 유닛셀(500_m)의 피드백 신호와, 인버팅되지 않은 제M 유닛셀(500_m)의 피드백 신호를 제공받을 수 있다. 또한 제2 멀티플렉서(510_1)의 출력은 제1 플립/플롭(540_1)으로 제공될 수 있다.
제3 멀티플렉서(520_1)는 인버터(505)에 의해 인버팅된 제M 유닛셀(500_m)의 피드백 신호와, 인버팅되지 않은 제M 유닛셀(500_m)의 피드백 신호과, 연산 신호(ADD/SUB)를 제공받을 수 있다. 또한 제3 멀티플렉서(520_1)의 출력은 제1 AND 게이트(530_1)로 제공될 수 있다.
제1 플립/플롭(540_1)은 제2 멀티플렉서(510_1)의 출력을 제공받고, 제1 유닛셀(500_1)로 제공되는 픽셀 리셋 신호 또는 픽셀 이미지 신호의 비트를 저장할 수 있다. 또한 제1 플립/플롭(540_1)의 출력은 제2 유닛셀(500_2)의 제4 멀티플렉서(510_2) 및 제5 멀티플렉서(520_2)로 제공될 수 있다.
제1 AND 게이트(530_1)는 제1 멀티플렉서(410)의 출력 및 제3 멀티플렉서(520_1)의 출력을 제공받을 수 있다. 또한 제1 AND 게이트(530_1)의 출력은 제2 유닛셀(500_2)의 제4 멀티플렉서(510_2) 및 제2 AND 게이트(530_2)로 제공될 수 있다.
즉, 도 8의 제1 유닛셀(500_1)의 경우, 도 3의 제1 유니셀(500_1)과 달리, 제M 유닛셀(500_m)의 피드백 신호를 입력부(400)를 거치지 않고 바로 제2 멀티플렉서(510_1) 및 제3 멀티플렉서(520_1)로 입력받을 수 있다. 또한, 인버터(505)가 입력부(400)가 아닌 제1 유닛셀(500_1)에 포함된다는 것을 알 수 있다.
제2 유닛셀(500_2)은 제1 플립/플롭(540_1)과 연결된 제4 멀티플렉서(510_2) 및 제5 멀티플렉서, 제4 멀티플렉서(510_2)와 연결된 제2 플립/플롭(540_2)과, 제5 멀티플렉서(520_2)와 연결된 제2 AND 게이트(530_2)를 포함할 수 있다.
제4 멀티플렉서(510_2)는 제1 플립/플롭(540_1)의 출력과, 제1 AND 게이트(530_1)의 출력을 제공받을 수 있다. 또한 제4 멀티플렉서(510_2)의 출력은 제2 플립/플롭(540_2)으로 제공될 수 있다.
제5 멀티플렉서(520_2)는 제1 플립/플롭(540_1)의 출력과 연산 신호(ADD/SUB)를 제공받을 수 있다. 또한 제5 멀티플렉서(520_2)의 출력은 제2 AND 게이트(530_2)로 제공될 수 있다.
제2 플립/플롭(540_2)은 제4 멀티플렉서(510_2)의 출력을 제공받고, 제2 유닛셀(500_2)로 제공되는 픽셀 리셋 신호 또는 픽셀 이미지 신호의 비트를 저장할 수 있다. 또한 제2 플립/플롭(540_2)의 출력은 제3 유닛셀(500_3)의 멀티플렉서들(미도시)로 제공될 수 있다.
제2 AND 게이트(530_2)는 제5 멀티플렉서(520_2)의 출력 및 제1 AND 게이트(530_1)의 출력을 제공받을 수 있다. 또한 제2 AND 게이트(530_2)의 출력은 제3 유닛셀(500_3)의 멀티플렉서(미도시) 및 AND 게이트(미도시)로 제공될 수 있다.
제2 유닛셀(500_2)의 구조 및 연결관계는 제3 내지 제M-1 유닛셀(500_3~500_m-1)과 동일한바, 제3 내지 제M-1 유닛셀(500_3~500_m-1)에 대한 설명은 생략하도록 한다.
제M 유닛셀(500_m)은 제M-1 유닛셀(500_m-1)의 플립/플롭(미도시)과 연결된 제6 멀티플렉서(510_m)와, 제6 멀티플렉서(510_m)와 연결된 제3 플립/플롭(540_m)을 포함할 수 있다.
제6 멀티플렉서(510_m)는 제M-1 유닛셀(500_m-1)의 플립/플롭의 출력과 AND 게이트의 출력을 제공받을 수 있다. 또한 제6 멀티플렉서(510_m)의 출력은, 제3 플립/플롭(540_m)으로 제공될 수 있다.
제3 플립/플롭(540_m)은 제6 멀티플렉서(510_m)의 출력을 제공받을 수 있다. 또한 제3 플립/플롭(540_m)의 출력은 피드백되어, 제1 유닛셀(500_1)의 제2 멀티플렉서(510_1) 및 제3 멀티플렉서(520_1)로 제공될 수 있다.
즉, 도 8의 제M 유닛셀(500_m)의 경우, 도 3의 제M 유니셀(500_m)과 달리, 제M 유닛셀(500_m)의 피드백 신호를 입력부(400)를 거치지 않고 바로 제2 멀티플렉서(510_1) 및 제3 멀티플렉서(520_1)로 제공할 수 있다.
도 9를 참조하면, 도 8의 연산 메모리 장치(120a_2)의 타이밍 다이어그램을 알 수 있다. 도 4의 타이밍 다이어그램과 중복되는 설명은 생략하도록 한다. 또한 도 4의 타이밍 다이어그램에 적용된 가정과 동일한 가정을 적용하도록 한다.
먼저, 리셋 신호(RESET)가 로우 상태(low state)일 때, 제3 유닛셀(500_3)은 1로 셋팅하고, 나머지 유닛셀들은 0으로 셋팅될 수 있다.
즉, 도 8의 연산 메모리 장치(120a_1)는 도 3의 연산 메모리 장치(120a_1)와 달리, 픽셀 리셋 신호의 첫 샘플링 값을 최상위비트부터 복수의 유닛셀(500)에 바로 입력되도록 하는 쉬프트 신호(SHIFT)를 인가받지 않고, 바로 픽셀 리셋 신호의 덧셈 연산을 시작할 수 있다.
즉, 리셋 신호(RESET)가 하이 상태가 되면, 1번 구간에서, 캐리/바로우 제어 신호(CB-CTL)가 로우 상태가 되고, 도 4의 2번 구간에서 수행된 덧셈 동작이 바로 수행될 수 있다.
즉, 도 9의 1 내지 4번 구간은, 도 4의 2 내지 4번 구간과 동일한 동작을 수행하고, 도 9의 5 내지 8번 구간은, 도 4의 5번 내지 8번 구간과 동일한 동작을 수행할 수 있다.
도 8에 도시된 연산 메모리 장치(120a_2)는 입력부(400)의 구성요소를 간단히 하고, 쉬프트 신호(SHIFT)를 제거함으로써, 회로의 설계 면적 및 소모 전력을 줄일 수 있다는 특징이 있다. 또한 연산 메모리 장치(120a_2)는 픽셀 리셋 신호 및 픽셀 이미지 신호를 오버샘플링하는 동안 바로 덧셈/뺄셈 연산 동작을 수행하기에, 샘플링된 픽셀 리셋 신호 및 픽셀 이미지 신호를 위한 추가적인 데이터 저장 공간이 필요하지 않다. 뿐만 아니라 픽셀 리셋 신호가 픽셀 이미지 신호보다 작아져서 음수가 발생하는 경우에도, 부호 비트를 추가함으로써, 이전 값이 변경되는 것을 막기 위한 블록킹 신호(blocking signal) 없이도 음수 값을 획득할 수 있다. 또한 부호 비트를 추가함으로써, 캐리/바로우 패스(carry/borrow path)를 위한 추가적인 신호 없이(즉, AND 게이트의 입력 단자가 2개임) 캐리/바로우를 간단하게 선택할 수 있다는 특징이 있다.
도 10은 본 발명의 이미지 센서 예컨대, 이미지 센서를 디지털 카메라에 응용한 예를 나타내는 블록도이다.
도 10을 참조하면, 디지털 카메라(800)는 렌즈(810), 이미지 센서(820), 모터부(830), 및 엔진부(840)를 포함할 수 있다. 이미지 센서(820)는 전술한 오프셋 보상된 기준 전압을 ADC 변환 시 기준 전압으로 사용하는 이미지 센서를 포함한다.
렌즈(810)는 이미지 센서(820)의 수광 영역으로 입사광을 집광시킨다. 이미지 센서(820)는 렌즈(810)를 통하여 입사된 광에 기초하여 베이어 패턴(Bayer pattern)의 RGB 데이터(RGB)를 생성할 수 있다. 이미지 센서(820)는 클럭 신호 (CLK)에 기초하여 RGB 데이터(RGB)를 제공할 수 있다.
실시예에 따라, 이미지 센서(820)는 MIPI(Mobile Industry Processor Interface) 및/또는 CSI(Camera Serial Interface)를 통하여 엔진부(840)와 인터페이싱할 수 있다.
모터부(830)는 엔진부(840)로부터 수신된 제어 신호(CTRL)에 응답하여 렌즈 (810)의 포커스를 조절하거나, 셔터링(Shuttering)을 수행할 수 있다. 엔진부(840)는 이미지 센서(820) 및 모터부(830)를 제어한다. 또한, 엔진부(840)는 이미지 센서(820)로부터 수신된 RGB 데이터(RGB)에 기초하여 휘도 성분, 상기 휘도 성분과 청색성분의 차, 및 상기 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터(YUV)를 생성하거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다.
엔진부(840)는 호스트/어플리케이션(850)에 연결될 수 있으며, 엔진부(840)는 마스터 클럭(MCLK)에 기초하여YUV 데이터(YUV) 또는 JPEG 데이터를 호스트/어플리케이션(850)에 제공할 수 있다. 또한, 엔진부(840)는 SPI(Serial Peripheral Interface) 및/또는 I2C(Inter Integrated Circuit)를 통하여 호스트/어플리케이션(850)과 인터페이싱할 수 있다.
도 11은 본 발명의 이미지 센서 예컨대, 이미지 센서를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 11을 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 메모리 장치 (1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050), 및 이미지 센서(1060)를 포함한다.
이미지 센서(1060)는 전술한 오프셋 보상된 기준 전압을 ADC 변환 시 기준 전압으로 사용하는 이미지 센서를 포함한다. 한편, 도 11에는 도시되지 않았지만, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다.
프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030) 및 입출력 장치(1040)와 통신을 수행할 수 있다.
실시예에 따라, 프로세서(1010)는 주변 구성요소 상호 연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다.
예를 들어, 메모리 장치(1020)는 DRAM, 모바일 DRAM, SRAM, PRAM, FRAM, RRAM 및/또는 MRAM으로 구현될 수 있다. 저장 장치(1030)는 솔리드 스테이트 드라이브(Solid State Drive(SSD)), 하드 디스크 드라이브(Hard Disk Drive(HDD)), CD-ROM 등을 포함할 수 있다.
입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단, 및 프린터와 디스플레이 등과 같은 출력수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.
이미지 센서(1060)는 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 상술한 바와 같이, 이미지 센서(1060)는 기준 전압에 대해 오프셋을 보상함으로써 정밀한 이미지 데이터를 생성할 수 있다. 이미지 센서(1060)는 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른칩에 각각 집적될 수도 있다.
한편, 컴퓨팅 시스템(1000)은 이미지 센서를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 디지털 카메라, 이동 전화기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 스마트폰(Smart Phone), 태블릿 PC 등을 포함할 수 있다.
도 12는 도 11의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 12를 참조하면, 컴퓨팅 시스템(1100)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(1110), 이미지 센서(1140) 및 디스플레이(1150) 등을 포함할 수 있다.
어플리케이션 프로세서(1110)의 CSI 호스트(1112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 이미지 센서(1140)의 CSI 장치(1141)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, CSI 호스트(1112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(1141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서 (1110)의 DSI 호스트(1111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(1150)의 DSI 장치(1151)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, DSI 호스트(1111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템 (1100)은 어플리케이션 프로세서(1110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(1160)을 더 포함할 수 있다. 컴퓨팅 시스템(1100)의 PHY(1113)와 RF 칩(1160)의 PHY(1161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다.
또한, 어플리케이션 프로세서(1110)는 PHY(1161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(1114)를 더 포함할 수 있다. 한편, 컴퓨팅 시스템(1100)은 지피에스(Global Positioning System; GPS)(1120), 스토리지(1170), 마이크(1180), 디램(Dynamic Random Access Memory; DRAM)(1185) 및 스피커(1190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(1100)은 초광대역(Ultra WideBand; UWB)(1210), 무선 랜(Wireless Local Area Network; WLAN)(1220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(1230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(1100)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
104: 로우 드라이버 108: 컬럼 드라이버
110: 픽셀 어레이 112: 제어 모듈
122: 이미지 프로세서 124: 디지털 상관 이중 샘플링 모듈

Claims (10)

  1. 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호가 입력되는 입력부; 및
    상기 픽셀 리셋 신호와 상기 픽셀 이미지 신호 사이의 차이를 나타내는 디지털 차이 신호를 생성하는 복수의 유닛셀을 포함하고,
    상기 입력부는, 상기 픽셀 리셋 신호 및 상기 픽셀 이미지 신호가 입력되는 제1 및 제2 멀티플렉서와 상기 제1 멀티플렉서와 연결된 인버터를 포함하고,
    상기 복수의 유닛셀은,
    상기 입력부와 연결된 제1 유닛셀과,
    상기 제1 유닛셀과 연속적으로 연결된 제2 내지 제N 유닛셀(N은 2이상인 자연수)을 포함하고,
    상기 제1 유닛셀은,
    상기 제1 멀티플렉서와 연결된 제3 및 제4 멀티플렉서와,
    상기 제3 멀티플렉서와 연결된 제1 플립/플롭과,
    상기 제4 멀티플렉서와 연결된 제1 AND 게이트를 포함하는 연산 메모리 모듈 장치.
  2. 제 1항에 있어서,
    상기 입력부로 입력되는 상기 픽셀 리셋 신호와 상기 픽셀 이미지 신호는, 각각 M비트(M은 자연수)의 신호를 포함하고,
    상기 복수의 유닛셀에서 수행되는 오버샘플링을 통해 상기 픽셀 리셋 신호와 상기 픽셀 이미지 신호는 각각 N-1비트(N-1은 M보다 큰 자연수)의 신호로 변환되는 연산 메모리 모듈 장치.
  3. 제 2항에 있어서,
    상기 복수의 유닛셀은, 상기 입력부로 입력되는 픽셀 리셋 신호를 2^P(P는 자연수)번 샘플링(sampling)하며 더하고, 상기 입력부로 입력되는 픽셀 이미지 신호를 2^P번 샘플링(sampling)하며 빼는 동작을 수행하고,
    상기 P는, 상기 N-1과 상기 M 사이의 차와 동일한 연산 메모리 모듈 장치.
  4. 제 3항에 있어서,
    상기 제1 내지 제N 유닛셀 중 P개의 유닛셀은, 상기 오버샘플링으로 인해 추가되는 P개의 비트를 위한 유닛셀이고,
    상기 제1 내지 제N 유닛셀 중 어느 하나의 유닛셀은, 부호 비트(sign bit)를 위한 유닛셀인 연산 메모리 모듈 장치.
  5. 제 4항에 있어서,
    상기 오버샘플링으로 인해 추가되는 P개의 비트를 위한 유닛셀은, 상기 픽셀 리셋 신호의 입력 전에 0으로 셋팅되고,
    상기 부호 비트를 저장하기 위한 유닛셀은, 상기 픽셀 리셋 신호의 입력 전에 1로 셋팅되는 연산 메모리 모듈 장치.
  6. 제 1항에 있어서,
    상기 제2 유닛셀은,
    상기 제1 유닛셀의 플립/플롭과 연결된 제5 및 제6 멀티플렉서와,
    상기 제5 멀티플렉서와 연결된 제2 플립/플롭과,
    상기 제6 멀티플렉서와 연결된 제2 AND 게이트를 포함하는 연산 메모리 모듈 장치.
  7. 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호가 입력되는 입력부; 및
    상기 픽셀 리셋 신호와 상기 픽셀 이미지 신호 사이의 차이를 나타내는 디지털 차이 신호를 생성하는 복수의 유닛셀을 포함하고,
    상기 입력부는, 상기 픽셀 리셋 신호와 상기 픽셀 이미지 신호가 입력되는 제1 멀티플렉서를 포함하고,
    상기 복수의 유닛셀은,
    상기 입력부와 연결된 제1 유닛셀과,
    상기 제1 유닛셀과 연속적으로 연결된 제2 내지 제N 유닛셀(N은 2이상인 자연수)을 포함하고,
    상기 제1 유닛셀은,
    상기 제N 유닛셀의 피드백 신호를 입력받고, 인버터와 연결된 제1 및 제2 멀티플렉서와,
    상기 제1 멀티플렉서와 연결된 플립/플롭과,
    상기 제2 멀티플렉서와 연결된 AND 게이트를 포함하는 연산 메모리 모듈 장치.
  8. 픽셀 리셋 신호와 픽셀 이미지 신호를 제공하는 복수의 픽셀을 포함하는 픽셀 어레이; 및
    상기 픽셀 어레이와 접속된 디지털 상관 이중 샘플링 모듈을 포함하고,
    상기 디지털 상관 이중 샘플링 모듈은,
    상기 픽셀 리셋 신호와 상기 픽셀 이미지 신호를 아날로그 신호에서 디지털 신호로 변환하는 SA ADC 변환 모듈(successive approximation analog-to-digital conversion module)과,
    상기 디지털 신호로 변환된 상기 픽셀 리셋 신호와 상기 픽셀 이미지 신호 사이의 차이를 나타내는 디지털 차이 신호를 생성하는 연산 메모리 모듈(arithmetic memory module)을 포함하되,
    상기 연산 메모리 모듈은,
    상기 픽셀 리셋 신호와 상기 픽셀 이미지 신호를 입력받고, 상호 연결된 제1 멀티플렉서와 인버터를 포함하는 입력부와,
    상기 디지털 차이 신호의 비트를 저장하고, 제2 멀티플렉서 및 상기 제2 멀티플렉서와 연결된, AND 게이트와 플립/플롭을 포함하는 복수의 유닛셀을 포함하는 이미저(imager).
  9. 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호를 입력하고,
    상기 픽셀 리셋 신호와 상기 픽셀 이미지 신호 간의 차이를 나타내는 디지털 차이 신호를 생성하는 것을 포함하고,
    상기 디지털 차이 신호를 생성하는 것은,
    복수의 유닛셀 중 오버샘플링을 위한 유닛셀을 0으로 셋팅하고,
    상기 복수의 유닛셀 중 부호 비트를 위한 유닛셀을 1로 셋팅하고,
    쉬프트 신호를 인가하여, 처음 샘플링되는 픽셀 리셋 신호를 상기 복수의 유닛셀에 덧셈/뺄셈 동작 없이 최상위비트부터 입력되도록하고,
    연산 신호를 로우 상태로 인가하여, 상기 픽셀 리셋 신호를 오버샘플링하며 더하고,
    상기 연산 신호를 하이 상태로 인가하여, 상기 픽셀 이미지 신호를 오버샘플링하며 빼는 것을 포함하고,
    상기 복수의 유닛셀은, 상기 덧셈/뺄셈 동작을 수행하고, 복수의 멀티플렉서 및 상기 복수의 멀티플렉서와 연결된, 플립/플롭과 AND 게이트를 포함하는 연산 메모리 모듈 장치의 동작 방법.
  10. 디지털 신호로 변환된 픽셀 리셋 신호와 픽셀 이미지 신호를 입력하고,
    상기 픽셀 리셋 신호와 상기 픽셀 이미지 신호 간의 차이를 나타내는 디지털 차이 신호를 생성하는 것을 포함하고,
    상기 디지털 차이 신호를 생성하는 것은,
    복수의 유닛셀 중,
    부호 비트를 위한 유닛셀을 1로 셋팅하고,
    나머지 유닛셀은 0으로 셋팅하고,
    연산 신호를 로우 상태로 인가하여, 상기 픽셀 리셋 신호를 오버샘플링하며 더하고,
    상기 연산 신호를 하이 상태로 인가하여, 상기 픽셀 이미지 신호를 오버샘플링하며 빼는 것을 포함하고,
    상기 복수의 유닛셀은, 상기 덧셈/뺄셈 동작을 수행하고, 복수의 멀티플렉서 및 상기 복수의 멀티플렉서와 연결된, 플립/플롭과 AND 게이트를 포함하는 연산 메모리 모듈 장치의 동작 방법.
KR1020140047462A 2014-04-21 2014-04-21 연산 메모리 장치, 이를 포함하는 이미지 센서 및 그 연산 메모리 장치의 동작 방법 KR102196713B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140047462A KR102196713B1 (ko) 2014-04-21 2014-04-21 연산 메모리 장치, 이를 포함하는 이미지 센서 및 그 연산 메모리 장치의 동작 방법
US14/640,273 US9554013B2 (en) 2014-04-21 2015-03-06 Arithmetic memories, image sensors including the same, and methods of operating the arithmetic memories

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140047462A KR102196713B1 (ko) 2014-04-21 2014-04-21 연산 메모리 장치, 이를 포함하는 이미지 센서 및 그 연산 메모리 장치의 동작 방법

Publications (2)

Publication Number Publication Date
KR20150121510A true KR20150121510A (ko) 2015-10-29
KR102196713B1 KR102196713B1 (ko) 2020-12-30

Family

ID=54323045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140047462A KR102196713B1 (ko) 2014-04-21 2014-04-21 연산 메모리 장치, 이를 포함하는 이미지 센서 및 그 연산 메모리 장치의 동작 방법

Country Status (2)

Country Link
US (1) US9554013B2 (ko)
KR (1) KR102196713B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102519712B1 (ko) 2019-01-18 2023-04-06 삼성전자주식회사 이미지 센서
DE102020127129A1 (de) 2020-10-15 2022-04-21 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildwandler

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244334A1 (en) * 2008-03-31 2009-10-01 Micron Technology, Inc. Systems and methods to perform digital correlated double sampling using successive approximation analog to digital conversion techniques

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8169517B2 (en) 2001-03-26 2012-05-01 Panavision Imaging Llc Image sensor ADC and CDS per column with oversampling
KR100513387B1 (ko) 2003-07-25 2005-09-07 삼성전자주식회사 증폭기 및 그 증폭방법과 이를 이용한 아날로그 처리회로및 이미지 픽업회로
JP3785175B2 (ja) 2004-03-30 2006-06-14 株式会社東芝 多入力a/d変換装置及びこれを用いた無線受信機
JP4655500B2 (ja) 2004-04-12 2011-03-23 ソニー株式会社 Ad変換装置並びに物理量分布検知の半導体装置および電子機器
JP2005312025A (ja) 2004-04-21 2005-11-04 Magnachip Semiconductor Ltd 高速アナログ信号処理可能なcmosイメージセンサ
KR100826513B1 (ko) 2006-09-08 2008-05-02 삼성전자주식회사 멀티플 샘플링을 이용한 cds 및 adc 장치 및 방법
KR100830582B1 (ko) 2006-11-13 2008-05-22 삼성전자주식회사 디지털 더블 샘플링 방법 및 그것을 수행하는 씨모스이미지 센서 그리고 그것을 포함하는 디지털 카메라
US20090091648A1 (en) 2007-10-09 2009-04-09 Shengmin Lin Multi-resolution Image Sensor Array with High Image Quality Pixel Readout Circuitry
US8059173B2 (en) 2008-09-26 2011-11-15 On Semiconductor Trading Ltd. Correlated double sampling pixel and method
KR20110021426A (ko) 2009-08-26 2011-03-04 삼성전자주식회사 아날로그-디지털 컨버터, 및 이를 포함하는 이미지 처리 장치
KR101111638B1 (ko) 2011-06-10 2012-02-14 동국대학교 산학협력단 Cds를 이용한 adc 및 이를 이용한 ad 변환방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244334A1 (en) * 2008-03-31 2009-10-01 Micron Technology, Inc. Systems and methods to perform digital correlated double sampling using successive approximation analog to digital conversion techniques

Also Published As

Publication number Publication date
KR102196713B1 (ko) 2020-12-30
US9554013B2 (en) 2017-01-24
US20150304519A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
US9712772B2 (en) Image sensor and analog to digital converter and analog to digital converting method thereof
US9762821B2 (en) Unit pixel of image sensor, image sensor, and computing system having the same
US11076118B2 (en) Image sensor supporting various operating modes and operating method thereof
US8810676B2 (en) Analog to digital converters, image sensor systems, and methods of operating the same
US9380246B2 (en) Digital correlated double sampling circuit and image sensor including the same
US8749415B2 (en) Analog-to-digital converter and image sensor including the same
KR102195409B1 (ko) 램프 신호 보정 장치와 방법 및 이를 포함하는 이미지 센서
US9083368B2 (en) Image sensor using offset code for counting
KR102292137B1 (ko) 이미지 센서와 이를 포함하는 이미지 처리 시스템
US11272079B2 (en) Image sensors including ripple voltage compensation
US9148600B2 (en) Programmable gain amplifier and devices including the same
US9191555B2 (en) Image capture device and signal compensating method of image capture device
US9509932B2 (en) Image sensors, methods of operating the same, and image processing systems including the same
US20190098234A1 (en) Digital correlated double sampling circuits and image sensors including the same
US8982259B2 (en) Analog-to-digital converters and related image sensors
US20160366359A1 (en) Image sensor for distributing output peak current and image processing system including the same
KR102170658B1 (ko) 축차근사형 아날로그-디지털 변환 장치 및 그 아날로그-디지털 변환 방법
KR102196713B1 (ko) 연산 메모리 장치, 이를 포함하는 이미지 센서 및 그 연산 메모리 장치의 동작 방법
KR102074948B1 (ko) 아날로그 디지털 컨버터 및 이를 포함하는 이미지 센서
US9300868B2 (en) Image processing device and system operable in a high-quality imaging mode and a power saving mode
US11445142B2 (en) Digital correlated double sampling circuit and image sensor including the same
US20200077042A1 (en) Image sensors and image processing systems using multilevel signaling techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant