KR102598514B1 - 시간 종속 이미지 데이터를 검출하는 이미지 센서 및 센서 장치 - Google Patents

시간 종속 이미지 데이터를 검출하는 이미지 센서 및 센서 장치 Download PDF

Info

Publication number
KR102598514B1
KR102598514B1 KR1020217006092A KR20217006092A KR102598514B1 KR 102598514 B1 KR102598514 B1 KR 102598514B1 KR 1020217006092 A KR1020217006092 A KR 1020217006092A KR 20217006092 A KR20217006092 A KR 20217006092A KR 102598514 B1 KR102598514 B1 KR 102598514B1
Authority
KR
South Korea
Prior art keywords
electronic
converter
photovoltaic
converters
switching elements
Prior art date
Application number
KR1020217006092A
Other languages
English (en)
Other versions
KR20210033045A (ko
Inventor
쳉한 리
Original Assignee
이니베이션 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이니베이션 아게 filed Critical 이니베이션 아게
Publication of KR20210033045A publication Critical patent/KR20210033045A/ko
Application granted granted Critical
Publication of KR102598514B1 publication Critical patent/KR102598514B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

어레이들 내 배열되고, 스위칭 소자들(tx1, tx2, ...)에 의해 연결된 다수의 광전지 변환기들(1) 및 다수의 전자 변환기들(2)을 포함하는 시간 종속 이미지 데이터를 검출하는 이미지 센서에 관한 것이다. 상기 광전지 변환기들(1) 각각은 상기 전자 변환기들(2) 중 하나는 쌍을 이루고 상기 광전지 변환기(1)의 광 세기에 따른 디지털 정보를 생성하고, 상기 스위칭 소자들(tx1, tx2, ...)은 상기 광전지 변환기들(1) 중 적어도 두 개와 상기 전자 변환기들(2) 중 하나와, 상기 전자 변환기들(2) 중 적어도 두 개와 상기 광전지 변환기들(1) 중 하나를 연결한다. 또한, 상기 이미지 센서와 상기 스위칭 소자들을 제어하기 위한 스위치 제어기를 포함하는 센서 장치, 및 이득 불일치에 대해 보상된 이미지 데이터를 획득하는 방법에 관한 것이다.

Description

시간 종속 이미지 데이터를 검출하는 이미지 센서 및 센서 장치
본 발명은 시간 종속 이미지 데이터를 검출하는 이미지 센서 및 센서 장치에 관한 것이다.
최신 이미지 센서는 일반적으로 전자 변환기에 연결된 광전지 변환기 배열로 구성된다. 광전지 변환기가 입사광을 해당 아날로그 전기 신호로 변환하는 동안 전자 변환기는 이러한 아날로그 신호를 이후 인코더라고 하는 아날로그-디지털 변환기의 도움을 받아 디지털 신호로 변환한다.
포토 센서로 캡처 한 장면의 시간적 시각적 대비를 인코딩하는 이미지 센서의 한 유형이 US 7,728,269 B2에 제안되었다. 시간 대비를 인코딩하면, 이미지 센서 출력 데이터의 시간 중복성이 거의 제거되어, ON/OFF 이벤트 형식의 활동 기반 희소 데이터가 생성된다. 즉, 각 이벤트는 부호 ON/OFF와 픽셀 좌표로 구성된다. 그러나, US 7,728,269 B2에서 제안된 장치는 일시적으로 정적인 장면 정보를 캡처할 수 없다.
일시적으로 정적 장면 정보를 캡처하는 문제를 해결하기 위해, 고정 장면을 선형으로 인코딩하는 2차 스트림(second stream) 출력을 생성하는 보조 전용 세기 측정 회로에 의해 캡처되는 정적 장면 정보를 설명하는 US9631974 또는 비동기 시간 기반 이미지 센서(Asynchronous Time-Based Image Sensor, ATIS, Posch et al. 2010)으로 전환한다. 이러한 이류 접근(two-stream approach)은 센서에 복잡성을 추가하고, 서로 거의 유사하지 않은 두 개의 출력을 생성한다: 하나의 출력은 입사광 세기의 로그 값의 시간적 차이를 인코딩하고 따라서 시간적 시각적 대비를 인코딩하고, 다른 출력은 절대 입사광 세기를 선형으로 인코딩한다.
대수적으로 인코딩되는 정적 장면을 설명하는 알려진 기술이 있다. 예컨대, "온-칩 보정 기능이 있는 로그 응답 CMOS 이미지 센서"(Kavidias et al. 2000)에 따르면, 각 포토다이오드에서 생성된 광전류가 임계 값 미만의 트랜지스터 물리학을 활용하여 대수적으로 전압으로 변환된다. 그런 다음 로그 전압이 측정된다. 그러나 로그 변환 정확도는 교정 후에도 트랜지스터 불일치로 인해 어려움을 겪다. US 8363140에 따르면, 로그 디지털 카운터와 픽셀 내 단일 슬로프 아날로그-디지털 변환기를 결합하여, 로그 변환을 수행한다. 그러나, 이 디자인에서, 픽셀이 너무 복잡해서 시간 대비 픽셀에 통합될 수 없다.
정적 장면을 로컬 공간 대비로 인코딩하는 개념은 US6828540에서 제안되었으며, 기계식 진동 광학 장치를 사용하여 장면의 공간 대비를 픽셀에 대한 입사광의 시간적 분산으로 변환하고 펄스 밀도 변조 기반 방식을 사용하여 이러한 시간적 분산을 인코딩하는 이미지 센서 시스템이 설명되었다. 그러나, 기계식 진동 광학 장치에는 오늘날의 최첨단 이미지 센서 시스템에서 널리 사용되지 않는 추가 기계 부품이 필요하다. 기계식 진동 광학 장치에는 정확한 위치 지정 및 타이밍 제어를 제공하기 위해 추가 구성 소자가 필요하다. 기계식 진동으로 인해 각 픽셀이 원형 스캔 패턴을 가지게 되는데, 이는 직교 픽셀 배열과 일치하지 않으므로 이미지의 후 처리 정확도가 떨어진다.
US 7170043 및 "내장형 535 GOPS/W 256x256 SIMD 프로세서 어레이가 있는 100,000 fps 비전 센서"(Carey et al. 2013)에 설명된 센서로도 로컬 공간 대비를 감지할 수 있다. 그러나 이 두 픽셀 디자인 모두 로컬 공간 대비를 계산하기 위해 상대적으로 복잡한 픽셀 내 회로가 필요하므로, 시간 대비 픽셀에 통합하는 데 적합하지 않다.
마지막으로, US 2016/0093273 A1은 이미지 센서에 대해 설명하되, 여기서 각각이 포토다이오드와 변환기로 구성된 NxN 광수용체 클러스터는 아날로그-디지털 인코딩 회로인 클러스터별 미분기를 공유한다. US 2016/0093273 A1의 목적은 서로 다른 광수용체와 인코더 사이의 연결을 시간 다중화하여 인코더 회로 영역을 늘리지 않고 칩의 포토다이오드 밀도를 증가시키는 것이다. US 2016/0093273에 설명된 센서는 정적 장면을 인코딩하지 않는다.
본 발명의 목적은 장면의 시간적 및 공간적 시각적 대비를 모두 얻을 수 있을 뿐만 아니라, 자원, 특히 칩 영역의 사용을 감소시킬 수 있는 장치를 제공한다. 본 발명의 또 다른 목적은 이미지 신호의 후 처리에서 이득 및 오프셋 불일치 제거를 지원하기 위해 보다 정확한 위치 결정 및 타이밍 제어를 제공하는 것이다.
이러한 목적은 청구항 1의 특징을 갖는 이미지 센서, 청구항 14의 특징을 갖는 센서 장치, 및 청구항 15의 특징을 갖는 방법을 제공함으로써 본 발명에 따라 충족된다. 본 발명의 추가 유리한 실시 예는 하위 청구항들에 개시된다.
장면의 시간적 및 공간적 시각적 대비를 모두 얻을 수 있을 뿐만 아니라, 자원, 특히 칩 영역의 사용을 감소시킬 수 있는 장치를 제공한다. 또한, 이미지 신호의 후 처리에서 이득 및 오프셋 불일치 제거를 지원하기 위해 보다 정확한 위치 결정 및 타이밍 제어를 제공하는 것이다.
본 발명의 실시 예의 일부 예는 첨부된 개략적인 도면을 참조하여 다음의 설명에서 더 상세히 설명될 것이다:
도 1은 바람직한 일 실시 예에 따른 전자 변환기 및 광전지 변환기를 포함하는 이미지 센서의 픽셀의 개략적인 단면도를 도시한다;
도 2는 바람직한 일 실시 예에 따른 대응하는 스위칭 소자에 의해 4 개의 광전지 변환기에 연결된 신호 변환기의 개략도를 도시한다;
도 3은 바람직한 일 실시 예에 따른 신호 변환기 및 인코더의 개략적인 회로도를 도시한다;
도 4는 바람직한 일 실시 예에 따른 일련의 스위칭 신호에 따른 예시적인 인코더 출력의 타이밍 다이어그램를 도시한다;
도 5는 바람직한 일 실시 예에 따른 반도체 다이 상의 스위칭 소자에 의해 연결된 광전지 변환기 어레이 및 신호 변환기 어레이의 개략적인 레이아웃을 도시한다;
도 6은 상호 연결을 통해 도 5에 도시된 다이에 연결될 수 있는 추가 반도체 다이 상의 전자 변환기 어레이의 개략적인 레이아웃을 도시한다;
도 7은 바람직한 일 실시 예에 따른 이득 불일치를 보상하기 위해 이미지 센서에 의해 생성된 신호의 후 처리를 설명하기위한 다이어그램을 도시한다;
도 8은 신호 변환기와 함께 광전지 변환기 어레이 및 그들을 연결하고 반도체 다이 상에서 동시 이중 인코팅 방식에 따라 배열 및 구동되는 스위칭 소자의 계략적인 레이아웃을 도시한다;
도 9는 신호 변환기와 함께 광전지 변환기 어레이 및 그들을 연결하고 반도체 다이 상에서 공간 배열 인코팅 방식에 따라 배열 및 구동되는 스위칭 소자의 계략적인 레이아웃을 도시한다.
본 발명의 일 측면에 따르면, 이미지 센서는 다중 광전지 변환기 및 다중 전자 변환기를 포함한다. 광전지 변환기는 어레이로 배열되고 전자 변환기는 어레이로 배열된다. 이러한 각 어레이는 예를 들어 1 차원 배열 또는 모든 형태의 2 차원 배열, 특히 정사각형, 육각형 또는 삼각형 배열일 수 있다. 광전지 변환기와 전자 변환기는 스위칭 소자로 연결되며, 스위칭 소자는 광전지 변환기와 전자 변환기를 선택적으로 연결하도록 구성된다.
이하에서, 스위칭 소자가 특정 광전지 변환기를 특정 전자 변환기에 선택적으로 연결하도록 배열되고 구성된다는 사실은, 특정 광전지 변환기가 스위칭 소자에 의해 연결되거나 스위칭 소자를 통해 특정 전자 변환기에 연결 또는 연결될 수 있는 것으로 표현될 수 있다. 따라서, 본 발명에 따르면, 각각의 광전지 변환기는 스위칭 소자에 의해 전자 변환기에 연결되어, 광전지 변환기에 충돌하는 광의 세기에 따라 디지털 정보를 생성하는 쌍을 형성한다. 이 이미지 센서에서, 적어도 두 개의 광전지 변환기들은 스위칭 소자에 의해 일 전자 변환기에 연결된다. 더욱이, 적어도 두 개의 전자 변환기들은 스위칭 소자에 의해 일 광전지 변환기에 연결된다. 스위칭 소자에 의해 전자 변환기가 광전지 변환기에 연결되어 있거나 광전지 변환기가 전자 변환기에 연결되어 있다는 것은 스위칭 소자의 스위칭 상태에 따라 광전지 변환기에 의해 생성된 신호가 전자 변환기에 도달하거나 도달하지 않는다는 것을 의미한다. 전자의 경우, 광전지 변환기는 스위칭 소자를 통해 전자 변환기에 연결되었다고 한다.
본문에서 연결은 전도성 연결이 있음을 의미한다. 두 개의 광전지 변환기가 스위칭 소자를 통해 일 전자 변환기에 연결되거나 연결될 수 있다는 것은, 스위칭 소자의 구성에 따라 두 개의 광전지 변환기의 하나 또는 다른 하나에서 전자 변환기로의 신호를 의미한다. 마찬가지로, 두 개의 광전지 변환기가 스위칭 소자를 통해 일 전자 변환기에 연결되거나 연결될 수 있다는 것은, 스위칭 소자의 구성에 따라 광전지 변환기의 신호가 두 개의 전자 변환기 중 하나 또는 다른 하나로 향한다는 것을 의미한다.
위에서 설명한 것처럼, US 7,728,269 B2에 설명된 이미지 센서는 시청된 이미지의 시간적 대비를 인코딩할 수 있다. 스위칭 소자를 적절하게 구동함으로써, 예를 들어, 서로 다른 광전지 변환기의 신호가 하나의 전자 변환기에 연속적으로 도달하도록 함으로써, 공간 대비를 시간 대비로 변환할 수 있어, 이미지의 공간 대비를 얻을 수 있다. 즉, 스위칭 소자의 정확한 제어에 따라, 이미지 센서는 시간적 이미지 대비 또는 공간적 이미지 대비를 출력할 수 있다.
전술한 바와 같이, US 2016/0093273 A1에 설명된 이미지 센서는 클러스터별 인코딩 회로를 공유하는 NxN 광수용체 클러스터를 포함한다. 따라서, 광수용체와 인코더 사이에는 NxN 대 1 매핑(NxN-to-one mapping)이 있다. 인코더는 클러스터 특이적(cluster-specific)이며, 이는 클러스터가 인코더와의 연결 측면에서 겹치지 않다는 의미이다. 언제든지, 총 포토다이오드 수의 일부만 작동, 즉, 인코딩된다. 반대로, 본 발명에 따른 이미지 센서에서, 다중 광전지 변환기는 스위칭 소자에 의해 다중 전자 변환기에 연결된다. 모든 전자 변환기가 서로 다른 광전지 변환기의 신호를 "보거나(look at)" 수신할 수 있도록 하여, 전환 중에 공간 대비를 인코딩할 수 있도록 하는 것을 목적으로 한다. 다중 광전지 변환기 중 하나만이 전자 변환기 중 하나에 능동적으로 연결되는 동안, 다른 광전지 변환기는 다른 전자 변환기에 연결될 수 있다. 더 중요한 것은, 시간이 지남에 따라 각 전자 변환기의 "시계(field of view)"가 서로 겹치므로, 전체 장면의 공간 대비가 간격 없이 연속적으로 인코딩될 수 있다는 것이다. 이 연속성 가정은 반도체 제조 공정의 피할 수 없는 물리적 한계로 인한 변환기 쌍의 불균일성을 식별하고 보상하는데도 사용되어, 이미지화된 장면의 더 나은 재구성을 가능하게 한다.
광전지 변환기는 광자에서 전자로의 변환을 수행하는 변환기이다. 광전지 변환기는 광 다이오드, 특히 핀드 광 다이오드(pinned photodiode, PPD)일 수 있다. 광전지 변환기에 충돌하는 광의 세기에 의존적인, 특히, 선형적 의존적이거나 비례하는, 전류 및 광전류를 생성되도록 구성될 수 있다. 그에 반해서, 전자 변환기는 서로 다른 전자 신호 간의 변환 또는 전자에서 전자로의 변환만을 수행하기 때문에 이와 같이 명명된다. 이하의 설명에서, 광전지 변환기가 아닌 전자 변환기를 픽셀이라고 할 수 있다. 특히, 전자 변환기가 신호 변환기와 인코더를 포함한다면, 각 신호 변환기/인코더 쌍은 이미지 센서의 픽셀로 간주될 수 있다.
광전지 변환기는 전류-전류, 전류-전압, 전압-전류, 또는 전압-전압 변환기일 수 있는 추가 전자 신호 변환기를 더 포함할 수 있다. 신호 변환기의 출력은 선형적으로, 대수적으로, 또는 다른 기능에 따라, 입력 신호의 출력에 의존할 수 있다. 따라서, 이 경우 광전지 변환기의 출력은 광세기 입력 신호에 선형적으로, 대수적으로 또는 다른 기능에 따라, 달라진다. 이 함수는 특히 훨씬 더 넓은 범위의 입력(예를 들면, 60 데크의 광세기에 해당)을 비교적 작은 전자 신호 범위(예를 들면, 100mV)로 압축할 수 있도록 하기 위해, 로그 함수와 같은 압축 함수일 수 있다.
대안적으로 또는 누적적으로, 전자 신호 변환기 또는 추가 전자 신호 변환기는 전자 변환기의 일부일 수 있다. 이 실시 예에서, 전자 신호 변환기의 출력은 선형적으로, 대수적으로, 또는 일부 다른 함수에 따라, 광전지 변환기의 출력에 의존한다. 따라서, 유리한 실시 예에서, 한 쌍의 전자 변환기는 전자 신호 변환기를 더 포함하되, 전자 신호 변환기는 한 쌍의 광전지 변환기와 결합하여 광전지 변환기 상의 광세기에 의존하는 아날로그 전자 신호를 생성한다. 예를 들어, 광전지 변환기는 광자에서 전자로 변환하여 전류를 생성한다. 이 전류는 전자 변환기의 일부인 대수 전류-전압 변환기에서 전압으로 변환된다. 그런 다음, 입사광에 대수적으로 의존하는 이 아날로그 전압 신호는, 전자 변환기의 일부인 인코더를 사용하여 디지털 신호로 변환된다.
두 개의 광전지 변환기의 일부인 두 개의 신호 변환기를 인코더(즉, 아날로그-디지털 변환기)를 포함하는 단일 전자 변환기에 연속적으로 연결할 수 있지만, 이 실시 예에는 다음과 같은 단점이 있다: 각 신호 변환기 소음이 발생한다. 신호 변환기는 일반적으로 동일하지 않아, 이득 및 오프셋 불일치를 나타낸다. 따라서, 다른 신호 변환기가 하나의 인코더에 연속적으로 연결되면, 디지털 인코더 신호에 인코딩된 공간 대비에는 더 이상 디지털 신호에서 제거할 수 없는 이득 및 오프셋 불일치가 포함된다. 신호 변환기를 전자 변환기 내부에 배치할 때의 장점은, 두 개의 광전지 변환기의 두 신호가 신호 변환기와 인코더를 모두 포함하는 단일 전자 변환기로 연속적으로 전송된다는 것이다. 이제, 인코딩된 공간 대비에 신호 변환기의 이득 불일치가 여전히 포함되어 있지만, 인접한 두 개의 신호 변환기가 공통 상대적 공간 차이를 변환했기 때문에, 이득 불일치를 나중에 보상할 수 있다. 또한, 두 광전지 변환기 간의 상대적 공간 차이가 동일한 신호 변환기에서 비롯되기 때문에, 더 이상 오프셋 불일치가 없다.
유리한 실시 예에 따르면, 전자 변환기의 인코더는 펄스 밀도 변조를 사용하여 아날로그 전자 신호를 디지털 신호로 변환하도록 구성된다. 펄스 밀도 변조 기반 아날로그-디지털 인코더는 픽셀 병렬 방식으로 구현될 수 있을 만큼 충분히 콤팩트하여, 각 픽셀이 하나의 아날로그-디지털 인코더 소자를 포함할 수 있다는 장점이 있다.
바람직한 실시 예에 따르면, 이미지 센서는 두 개의 반도체 다이로 구성되며, 두 개의 반도체 다이는 개별적으로 제조되고 상호 연결을 통해 결합된다. 특히, 광전지 변환기의 일부이거나 전자 변환기의 일부일 수 있는 신호 변환기와 전자 변환기의 일부인 인코더는, 제조 중에 두 개의 개별 반도체 다이에 배치된 다음 두 개의 반도체 다이 사이의 상호 연결을 통해 전기적으로 연결될 수 있다.
바람직하게는, 스위칭 소자는 광전지 변환기를 전자 변환기의 입력으로 시간 다중화하도록 배열되고 구성된다. 즉, 제1 시간 간격 동안 하나의 광전지 변환기의 출력 신호가 전자 변환기의 입력으로 전송되고, 연속된 제2 시간 간격 동안 다른 광전지 변환기의 출력 신호가 전자 변환기의 입력으로 전송된다. 두 개 이상의 광전지 변환기가 3 개, 4 개 또는 그 이상과 같은 적절한 수의 스위칭 소자에 의해 하나의 전자 변환기에 연결된 경우, 시간 다중화는 스위칭 소자를 구동하여, 광전지 변환기가 차례로 전자 변환기로 전환되도록 작동할 것이다. 스위칭 소자를 통한 시간 다중화는 주기적으로 수행될 수 있다.
바람직하게는, 동일한 수의 제1 광전지 변환기를 대응하는 전자 변환기에 연결하는 다수의 제1 스위칭 소자 및 동일한 수의 제 2 광전지 변환기를 전자 변환기에 연결하는 다수의 제2 스위칭 소자 등이 있다. 제 1 광전지 변환기로부터의 출력 신호가 대응하는 전자 변환기에 도달할 수 있도록 하기 위해, 제 1 스위칭 소자가 동시에 구동될 수 있고, 이어서 모든 제 2 스위칭 소자가 동시에 구동될 수 있다.
스위칭 소자에 대한 구동 신호는 이미지 센서에 연결된 스위치 제어기에 의해 생성될 수 있다. 따라서, 본 발명의 또 다른 측면에서, 시간에 따른 이미지 데이터를 감지하며 센서 장치가 제안되고, 센서 장치는 본문에 기술된 이미지 센서와, 이미지 센서의 스위칭 소자에 연결되고 스위칭 소자를 제어하기 위한 스위칭 신호를 생성하도록 구성된 스위칭 제어기를 포함한다. 스위칭 신호를 생성하는 스위치 제어기는 마이크로 제어기거나 이미지 센서와 동일한 칩에 구현된 로직 블록일 수 있다. 그러나, 스위치 제어기는 광전지 변환기 어레이 외부에 있다.
이미지 센서와 관련하여 언급된 모든 기능은 센서 장치와 관련하여 똑같이 유리하다. 즉, 이미지 센서 또는 그 구성 소자가 특정 방식으로 작동하거나 특정 신호를 생성하도록 구성되었다고 언급되는 경우, 이것은 스위치 제어기가 이런 일이 발생하도록 허용 또는 보장을 위해 적절하게 프로그래밍이 되었음을 의미할 수도 있다. 예를 들어, 스위치 제어기가 시간 다중화를 수행하기 위해 스위칭 소자를 구동하는 적절한 스위칭 신호를 생성하도록 구성된 경우, 스위칭 소자가 광전지 변환기를 전자 변환기의 입력으로 시간 다중화하도록 배열되고 구성되는 특징이 센서 장치에 동일하게 적용될 수 있다.
유리한 실시 예에 따르면, 전자 변환기는 스위칭 소자에 의해 전자 변환기에 연결된 두 개의 광전지 변환기의 광세기 사이의 상대적인 차이 또는 불일치에 따라 디지털 정보를 생성하도록 구성된다. 즉, 디지털 정보는 제1 세기 및 제2 세기의 상대적 차이에 따라 달라지며, 여기서 제1 세기는 제1 광전지 변환기에서의 광의 세기이고, 제2 세기는 제2 광전지 변환기에서의 광의 세기이다. 이러한 방식으로, 이미지 센서는 감지된 이미지의 공간 대비 정보를 얻을 수 있다. 전자 변환기의 입력이 제1 광전지 변환기에서 제2 광전지 변환기로 전환되면, 인코더 출력은 제2 세기에 대응하는 신호 변환기 출력과 제1 세기에 대응하는 신호 변환기 출력 사이의 디지털 신호 차이일 것이다. 후술되는 바와 같이, 신호 변환기 출력이 입사광에 대수적으로 의존하는 경우, 이 신호 변환기 출력 차이는 명암비에 비례하거나, 세기 차이가 절대 세기에 비해 작으면 상대 세기 차이에 비례한다.
유리하게는, 스위칭 소자에 의해 일 전자 변환기에 연결된 적어도 두 개의 광전지 변환기는 어레이에서 서로 인접하게 배열된다. 또한, 이는 두 개 이상의 광전지 변환기가 스위칭 소자에 의해 일 전자 변환기에 연결될 때 적용될 수 있다. 특히, 2 차원 정사각형 배열에서는, 정사각형에 인접한 4 개의 광전지 변환기가 스위칭 소자에 의해 일 전자 변환기에 연결된다. 따라서, 육각형 또는 삼각형 배열에서, 스위칭 소자에 의해 전자 변환기에 연결된 인접한 광전지 변환기는 그 자체가 육각형 또는 삼각형으로 배열될 수 있다.
유리하게는, 전자 변환기에 인접하게 배치된 인접한 전자 변환기는, 전자 변환기 및 인접한 전자 변환기 모두와 스위칭 소자에 의해 연결된 동일한 두 개의 광전지 변환기에서 광 세기 사이의 상대적인 차이 또는 불일치에 따라 적어도 하나의 디지털 정보를 생성하도록 구성된다.
스위칭 소자를 통한 광전지 변환기와 전자 변환기 사이의 시간 다중화의 공간적 순서는 다른 방식으로 구현될 수 있다. 두 가지 방식이 여기서 논의될 것이며, 아래에서 더 자세히 설명할 것이고, 하나는 동시 이중 인코딩 방식(simultaneous double encoding scheme)으로, 다른 하나는 공간 배열 방식(spatially arranged scheme)으로 지칭될 것이다. 이미지 센서는 이러한 방식을 지원하도록 구성되어야 할 것이고, 스위치 제어기는 이미지 센서의 스위칭 소자를 적절히 구동하기 위해 적절한 스위칭 신호를 생성하도록 구성되어야 할 것이다. 그러나 이미지 센서는 별도로 제작 및 판매될 수 있다.
동시 이중 인코딩 방식에 따르면, 전자 변환기 및 인접한 전자 변환기는 두 쌍의 스위칭 소자에 의해 두 개의 광전지 변환기에 연결되고, 이에 의해 각각의 스위칭 소자 쌍은 동일한 방식으로 스위칭되도록 구성된다. 즉, 두 개의 인접한 광전지 변환기에서 광 사이의 상대적인 세기 차이와 그에 따른 상대적인 공간적 차이는 두 개의 인전합 인코더에 의해 동시에 인코딩된다. 이 방식을 사용하면, 인코딩된 디지털 정보의 후 처리 중에 동잡음(motion artifact)의 효과를 줄일 수 있다. 보다 구체적으로, 두 쌍의 스위칭 소자는 광전지 변환기 및 인접한 광전지 변환기를 전자 변환기 및 인접한 전자 변환기에 선택적으로 연결하도록 배열 구성될 수 있어, 스위칭 이벤트 전에는, 광전지 변환기는 전자 변환기에 연결되고 인접한 광전지 변환기는 인접한 전자 변환기에 연결되고, 스위칭 이벤트 후에는 광전지 변환기는 인접한 전자 변환기에 연결되고 인접한 광전지 변환기는 전자 변환기에 연결된다.
공간 배열 방식에 따르면, 제1 광전지 변환기가 제1 능동 스위칭 소자를 통해 제1 전자 변환기에 연결되고 제2 광전지 변환기가 제2 능동 스위칭 소자를 통해 제2 전자 변환기에 연결될 때, 언제나 제1 광전지 변환기 및 제2 광전지 변환기는 제1 전자 변환기 및 제2 전자 변환기와 동일한 상대적 거리를 가지도록 광전지 변환기 어레이, 전자 변환기 어레이, 및 스위칭 소자를 구성한다. 이 방식은 공간적으로 상관된 인코딩을 허용하며, 즉, 모든 전자 변환기, 또는 픽셀 및 연결된 광전지 변환기가 모든 스위칭 모드에서 동일한 상대적 공간 위치를 갖는다. 이 방식은 이미지 센서 출력에 대한 후 처리 기반 공간 상관 관계를 지원할 수 있다.
유리하게는, 광전지 변환기의 수는 전자 변환기의 수와 실질적으로 동일하다. 즉, 두 개 이상의 광전지 변환기가 스위칭 소자에 의해 하나의 전자 변환기에 연결되고, 이러한 두 개 이상의 광전지 변환기 각각은 차례로 동일한 수의 전자 변환기에 연결된다. 다시 말해, 일 전자 변환기의 시계는 다른 전자 변환기, 특히 인접한 전자 변환기의 시계와 겹칠 수 있다. 바람직하게는, 임의의 주어진 시간에, 각각의 광전지 변환기의 출력 신호는 하나의 대응하는 전자 변환기로 전송된다. 배열의 가장자리에서만 이것은 사실이 아닐 수 있다.
여기서, "실질적으로" 어구는 이미지 센서의 기하학적 한계 또는 기타 이유로 인해 광전지 변환기의 수와 전자 변환기의 수가 약간 다를 수 있음을 의미한다. 특히, 불일치는 2 %, 5 %, 또는 10 % 미만일 수 있다. 이러한 불일치의 이유는 어레이의 가장자리에 있는 광전지 변환기가 어레이 내의 광전지 변환기와 동일한 수의 전자 변환기를 연결할 수 없기 때문일 수 있다. 특히, 광전지 변환기의 개수가 N2 인 경우, 2/N 정도의 차이가 있을 수 있다.
대안적으로, 광전지 변환기의 수는 전자 변환기의 배수일 수 있다. 예를 들어, N2 광전지 변환기는 단일 전자 변환기와 연관될 수 있다. 이 경우, 여기에 설명된 스위칭 방식 및 이득 불일치 보상을 구현할 수 있으려면, 인접한 전자 변환기가 하나 이상의 공유 광전지 변환기 쌍을 공유해야 한다. 즉, 공유 광전지 변환기는 스위칭 소자를 통해 인접한 두 전자 변환기에 연결된다. 두 개의 인접한 전자 변환기의 시계가 적어도 한 쌍의 광전지 변환기에 의해 중첩된다고 말할 수 있다.
본 발명의 또 다른 측면에 따르면, 이득 불일치에 대해 보상된 이미지 데이터를 획득하는 방법이 제공된다. 이 보상 방법은 다음 단계를 포함한다: 첫 번째 단계에서 제1 디지털 정보는 제1 전자 변환기로부터 획득된다. 이제 1 디지털 정보는 특히 스위칭 소자에 의해 제 1 전자 변환기에 연결된 두 개의 광전지 변환기로부터의 인코딩된 이미지 데이터일 수 있다. 제 1 디지털 정보는 두 개의 광전지 변환기 상의 광세기의 상대적인 차이 또는 불일치에 의존하는 제 1 기준 정보를 포함한다. 더욱이, 제 2 디지털 정보는 제 2 전자 변환기로부터 획득된다. 제 1 디지털 정보와 유사하게, 제 2 디지털 정보는 특히, 스위칭 소자에 의해 제 2 전자 변환기에 연결된 두 개의 광전지 변환기로부터의 인코딩된 이미지 데이터일 수 있다. 이제 2 디지털 정보는 제 2 기준 정보를 포함하며, 이는 또한 두 개의 광전지 변환기 상의 광세기의 차이에 의존한다.
상술한 동시 이중 인코딩 방식에서는 제 1 및 제 2 디지털 정보를 동시에 획득할 수 있는 반면, 공간 배열 방식에서는 제 2 디지털 정보를 제 1 디지털 정보와 다른 시점에 획득할 수 있다.
제 1 기준 정보와 제 2 기준 정보는 둘 다 동일한 두 광전지 변환기에서 상대적인 광세기 차이를 인코딩하여 얻어지며 아마도 다른 부호를 가지고 있되, 제 1 및 제 2 전자 변환기 간의 이득 불일치로 인해 다를 수 있다. 따라서, 하나는 제 1 기준 정보 및 제 2 기준 정보로부터 조정 인자를 획득하고 이를 사용하여 제 1 및 제 2 디지털 정보에서 이러한 이득 불일치를 보상할 수 있다. 이것은 제 1 전자 변환기를 기준으로 하고 조정 계수로 제 2 디지털 정보를 조정함으로써, 또는 제 2 전자 변환기를 기준으로 하고 제 1 디지털 정보를 조정 계수로 조정함으로써 수행될 수 있다.
특히, 조정 인자는 제 1 기준 정보와 제 2 기준 정보의 몫으로 취해질 수 있다. 이 보상 방법의 예는 아래 도 7과 관련하여 설명된다.
다음에 설명되는 실시 예에 따른 이미지 센서는 입사광 세기를 아날로그 전압 신호로 대수적으로 변환하는 광 다이오드 및 변환기 소자의 2 차원 직사각형 어레이 및 아날로그 전압 신호를 디지털 신호로 인코딩하는 아날로그-디지털 인코더 소자의 2 차원 직사각형 어레이를 포함한다. 따라서, 각 광전지 변환기는 광 다이오드, 특히 PPD로 형성되고, 각 전자 변환기에는 다음에서 변환기라고 하는 대수 전류-전압 신호 변환기와 인코더라고 하며 아날로그 전압 레벨을 디지털 정보로 변환하는 아날로그-디지털 변환기를 갖는다.
이미지 센서는 4 개의 인접한 포토다이오드를 하나의 변환기의 입력에 전자적으로 시간 다중화하여 정적 장면 공간 대비를 인코딩하여, 정적 장면 공간 대비를 변환기 소자 입력의 시간적 변동으로 변환한다. 따라서, 변환된 아날로그 신호의 시간적 변동이 발생한다. 그 다음 인코더는 펄스 밀도 변조 기반 방식을 사용하여 시간적 변화를 인코딩한다.
입사광 세기의 대수 차이와 공간 대비의 수학적 관계는 공식으로 설명되는데,
△[k·log(I)]
Figure 112021023616027-pct00001
k · ∂log(I)/∂I · △I = k·△I/I, △I가 작고,
여기서, I는 입사광 세기고 k는 일정한 이득이다. 이 공식은 입사광 세기(△I)의 작은 공간적 차이에 대해, 공간 대비(△I/I)는 입사광 세기(log(I))의 로그 값의 공간적 차이로 근사할 수 있음을 보여준다.
센서가 포토다이오드와 변환기 사이의 시간 다중화 작업을 중지하면, 변환된 아날로그 신호의 시간적 변화가 장면의 시간적 대비에 직접 대응한다. 따라서, 시간 다중화 없이 센서는 장면의 시간 대비만 인코딩한다.
도 1은 포토다이오드(1), 변환기(3), 및 인코더(4)의 관념적 단면도를 보여준다. 도 1에서 "3"으로 표시된 참조 괄호가 포토다이오드(1) 포함하더라도 포토다이오드(1)는 변환기(3)의 일부가 아니다. 이 센서는 PPD(pinned photodiodes)를 사용한다. PPD의 사용은, 서로 다른 다중화 시간 윈도우 사이에서 변환기(3) 및 인코더(4)에 대한 입력의 암신호(dark signal) 차이를 최소화할 수 있다. PPD(1) 및 변환기(3)의 어레이는 이미지 센서 프로세스 실리콘 다이에서 제조된다. 인코더(4) 어레이는 혼합 신호 프로세스 실리콘 다이 상에 제조된다. 두 개의 다이는 변환기-인코더 쌍당 하나의 상호 연결(50)을 통해 결합된다. 앞서 언급했듯이, 다음에서, 시간 다중화 프로세스 중 다른 순간에 서로 다른 PPD가 동일한 픽셀에 연결되기 때문에, 하나의 변환기-인코더 쌍은 PPD를 포함하지 않는 하나의 픽셀이라고 한다. 현재, 도시되고 논의된 실시 예에서, 두 개의 다이 사이의 상호 연결이 변환기를 인코더에 연결하지만, 하나 또는 두 개의 다이에 회로를 분배하는 다른 방법이 있다. 예를 들어, 상호 연결은 인코더를 위한 회로 내에 배치될 수 있다.
또한, 도 1에는 이미지 센서 프로세스 실리콘 다이의 실리콘 기판(51) 및 금속층(52)뿐만 아니라 혼합 신호 센서 프로세스 실리콘 다이의 실리콘 기판(54) 및 금속층(53)이 표시된다.
도 2는 스위칭 소자(tx1, tx2, tx3, tx4)에 의해 연결된 하나의 변환기(3) 및 4 개의 PPD(1)의 회로도를 도시한다. 각각의 PPD(1)은 도 2에 도시되지 않은 스위칭 소자에 의해 3 개의 다른 전자 변환기에 추가로 연결된다.
변환기(3)의 출력인 아날로그 전압 신호(vsf)는, 일대일 상호 연결(50)을 통해 적층된 혼합 신호 다이의 해당 인코더 입력으로 전송된다. 각 변환기(3)는, 스위칭 신호에 의해 제어되는 전송 게이트로 구현되며 각 PPD(1)는 동일한 방식으로 4 개의 인접한 변환기(3)에 연결된 4 개의 인접한 PPD(1)에 연결된다. 스위칭 신호는 도면 표시되지 않은 스위치 제어기에 의해 제공되어야 한다. 이들 스위칭 신호는 아래에서 도 4와 관련하여 더 설명될 것이다. 동일한 참조 번호를 가진 스위칭 소자는 동일한 스위칭 신호를 수신하거나 구동한다는 점에 유의해야 한다. 예를 들어, "tx1"로 표시된 스위칭 소자는 모두 동일한 스위칭 신호를 수신하며, tx1로도 표시될 수 있다.
그런 다음 인코더는 변환기(3) 출력, 즉 아날로그 신호(vsf)를 디지털 신호로 변환한다. 인코더 소자가 픽셀 병렬 방식으로 구현될 수 있도록 충분히 콤팩트해야 한다는 점을 고려하면(즉, 각 픽셀에는 이러한 아날로그-디지털 인코더 소자가 하나 포함됨), 아날로그-디지털 인코더에 기반한 펄스 밀도 변조는 적절한 선택이다. 펄스 밀도 변조(델타 변조) 기반 인코더는 종래 기술 US 7,728,269 B2, US9631974, 및 ATIS(Posch et al. 2010)에서 구현된다. 도 3은 US 7,728,269 B2에 설명된 장치를 수정하여 얻은 인코더의 예시적인 개략도를 보여준다. 도 3의 상단 회로도는 US 7,728,269 B2에서 가져온 포토 어레이 셀의 회로도이다. 이는 포토다이오드(D)와, 두 개의 트랜지스터 (T5a, T5b)로 구성된 전압 버퍼를 통해 인코더에 연결되는 로그 증폭기를 형성하는 4 개의 트랜지스터(T1-T4)를 포함한다. 도 3의 하단 회로도는 인코더(4)를 유지하면서 포토다이오드(D), 증폭기(T1-T4), 및 전압 버퍼(T5a, T5b, 점선 상자 A로 표시됨)를 도 2에 변환기(3)에서 vfd에 연결된 트랜지스터(6)를 갖는 전압 버퍼를 형성하는 트랜지스터로 교체한 US 7,728,269 B2에서 가져온 단순화된 회로를 보여준다.
언제든지, 하나의 스위칭 소자(tx1,…, tx4)만 켜지거나 활성화된다. 이 하나의 스위칭 소자(tx1,…, tx4)를 통해, 하나의 변환기-인코더 쌍(3, 4)은 하나의 PPD에만 연결되고 하나의 PPD는 하나의 변환기-인코더 쌍(3, 4)에만 연결된다. 특정 시점에서 변환기-인코더 쌍에 연결되지 않을 수 있는 2D 어레이의 가장자리에서 PPD에 대한 예외가 있을 수 있다. 따라서 스위칭 신호(tx1,…, tx4)가 일정하게 유지되면, 이미지 센서는 US 7,728,269 B2에 설명된 장치와 유사하게 장면의 시간 대비만 인코딩한다.
도 4는 시간 다중화를 수행하기 위한 스위칭 신호(tx1,..., tw4)의 타이밍 다이어그램을 도시한다. 시간 다중화 동안 PPD(1)과 변환기-인코더 쌍(3, 4) 사이의 일대일 연결이 유지된다. 시간 다중화 동안, 인코더(4) 출력은 인접한 PPD(1) 사이의 광전류의 로그 차이를 나타내는 로그 전압(vsf)의 변화에 대한 인코딩된 신호이므로 공간 대비가 된다. 즉, 한 번의 스위칭 이벤트 후, 제2 스위칭 소자가 꺼지고 제1 스위칭 소자가 켜질 때, 인코더 출력은 제2 스위칭 소자를 통해 연결된 PPD의 대수 신호와 제1 스위칭 소자를 통해 연결된 PPD 대수 신호 사이의 차이에 해당한다.
하나의 스위칭 소자에서 다음 스위칭 소자로 전환하기 위한 스위칭 간격은 조정 가능하며 인코딩된 공간 대비의 비트 깊이를 결정한다. 예를 들어, 픽셀 당 최대 1 개의 펄스를 허용하는 짧은 스위칭 간격이 선택되면, 인코딩된 공간 대비는 하나의 그래디언트 레벨만 갖는다. 반면, 스위칭 간격이 픽셀 당 최대 100 개의 펄스를 허용하는 경우, 인코딩된 공간 대비는 100 개의 가능한 그라디언트 레벨을 갖는다.
스위칭 소자(tx1,…, tx4)의 활성 또는 온 모드가 4 번 이동하는 일 시간 다중화 주기 내에서, 인접한 두 개의 포토다이오드(1) 사이의 상대적 공간 차이가 두 개의 인접한 변환기-인코더 쌍에 의해 변환되고 인코딩되고, 인접한 두 변환기-인코더 쌍마다 동일한 두 개의 인접한 포토다이오드(1) 사이에 하나의 상대적 공간 차이를 인코딩한다.
도 5는 반도체 다이, 즉 이미지 센서 프로세스 다이 상의 소자(tx1,…, tx4)를 스위칭함으로써, PPD(1) 어레이의 일부 및 PPD(1)에 연결된 변환기(3) 어레이의 개략적인 레이아웃을 도시한다. 변환기(3) 회로에 의해 도입된 접합 누설 전류는 시간 다중화 기간 동안 일정하게 유지된다. 그리고, PPD(1)의 낮은 암전류로 인해, 서로 다른 PPD(1) 간의 다중화는 암신호의 차이로 인해 발생하는 최소 오프셋 노이즈를 도입한다. 따라서, 각 변환기의 3 개 출력의 시간적 변화는 시간 다중화 프로세스 동안 최소 오프셋 노이즈로 PPD(1) 어레이에서 정확한 공간 대비를 나타낼 수 있다. 절대 신호 레벨 대신 PPD(1) 어레이의 공간 대비만 인코딩되기 때문에 변환기(3) 단계에서도 오프셋 불일치가 없다.
도 6은 추가 반도체 다이, 즉 혼합 신호 프로세스 다이 상의 전자 변환기 어레이의 개략적인 레이아웃을 도시한다. 인코더(4)는 도 5에 도시된 이미지 센서 프로세스 다이 상의 변환기(3)의 피치와 일치하는 2D 어레이에 배치된다. 도 5 및 도 6에서 점선 원은 두 다이 사이의 상호 연결 위치를 나타낸다. 일반적으로 혼합 신호 프로세스 다이는 이미지 센서 프로세스 다이보다 훨씬 작은 노드 크기를 채택하므로, 혼합 신호 프로세스 다이의 동일한 영역에 더 많은 회로가 포함될 수 있다. 인코더(4)로부터 출력되는 최종 픽셀은 변환기 로그 변환에서의 이득 불일치 및 인코더 양자화 임계 값 변동으로 인한 이득 불일치로 인한 고정 패턴 노이즈를 포함한다. 이러한 이득 불일치는 후 처리에서 제거할 수 있다.
도 7은 이득 불일치를 보상하기 위해 이미지 센서에 의해 생성된 신호의 후 처리를 설명하기 위한 다이어그램을 보여준다. 이 단순화된 예는 2행 및 3열의 PPD(1)과 두 개의 인접한 픽셀, 즉 변환기-인코더 쌍만을 기반으로 한다. 도 7과 다음 도 8과 도 9의 개별 PPD와 픽셀은 각각의 배열 내에서 좌표(행, 열)로 식별된다. 따라서, 지금까지 사용된 참조 번호는 시각적 명확성을 위해 생략되었다.
하나의 완전한 시간 다중화 주기 후에, PPD(0,1)와 PPD(1,1) 사이의 동일한 공간 대비가 픽셀(0,0)에 의해 -1로, 픽셀(0,1)에 의해 2로 인코딩된다(기호는 스위칭 방향을 나타냄). 따라서, PPD(0,1)와 PPD(1,1) 간의 이득 불일치는 1 : 2로 유도될 수 있다. 이 정보를 사용하여, pixel(0,0)을 기준으로 사용하면, pixel(0,1)에서 출력되는 공간 대비가 0.5로 조정되므로, 전체 배열의 공간 대비는 pixel(0,1)을 기준으로 계산할 수 있다. 그리고, PPD(0,0)이 값 0을 가정하면, 전체 배열의 값은 스케일된 공간 대비를 기반으로 계산될 수 있으며, 이는 장면의 로그 압축 이미지를 생성한다.
PPD와 변환기 사이의 시간 다중화 동안, 스위칭 소자(tx1,…, tx4)의 공간 순서를 정렬하는 두 가지 가능한 방식이 있다: 도 8에 표시된 동시 이중 인코딩 방식과 도 9에 표시된 공간 배열 인코딩 방식.
도 8은 신호 변환기와 함께 광전지 변환기 어레이와 그들을 연결하고 동시 이중 인코딩 방식에 따라 배열 및 구동되는 스위칭 소자의 개략적인 레이아웃을 보여준다. 이것은 도 5에 표시된 것과 동일한 방식이다. 1st, 2nd, 3rd 및 4th로 표시된 화살표가 도입되어, 스위칭 소자의 온-모드 전환 순서를 나타낸다. 도 8과 도 9 모두에서 스위칭 순서는 도 4에 표시된 다이어그램을 따른다. 즉, 먼저 tx1로 표시된 스위칭 소자가 온-모드에 있고, 다음으로 tx2로 표시된 스위칭 소자가 된다.
동시 이중 인코딩은 동일한 두 개의 인접한 PPD 간의 상대적 공간 차이가 반대 방향으로 동시에 두 개의 픽셀로 인코딩됨을 의미한다. 예를 들어, 모드 전환(tx4에서 tx1으로)의 네 번째 스위칭 소자에서, pixel(x, y)는 공간 대비를 PPD(x, y-1)에서 PPD(x, y)로 인코팅하고, pixel(x-1)는 공간 대비를 PPD(x, y)에서 PPD(x, y-1)로 인코딩한다. 이 방식은 포스트 프로세싱 이득 불일치 제거에서 동잡음의 효과를 줄인다.
도 8의 관점에서, 동시 이중 인코딩 모드의 스위칭 프로세스를 설명하는 또 다른 방법은 두 개의 PPD와 두 개의 변환기, 및 이들을 선택적으로 연결하는 스위칭 소자 쌍에 초점을 맞추는 것이다. 예를 들어, 변환기(pixel(x, y))와 인접 변환기(pixel(x))와 두 쌍의 스위칭 소자(tx1 및 tx2로 표시됨)에 연결된 PPD(PPD(x, y)) 및 인접한 PPD(PPD(x + 1, y))을 볼 수 있다. 이러한 스위칭 소자의 각 쌍은 화살표("1st"로 표시됨)로 표시되어, 제1("1st") 스위칭 이벤트를 나타내며 제1 스위칭 이벤트 전에, tx1로 표시된 스위칭 소자가 켜져 있고 tx2로 표시된 스위칭 소자는 꺼져 있다. 또한, 제1 스위칭 이벤트 후에, tx2로 표시된 스위칭 소자는 켜지고 tx1로 표시된 스위칭 소자는 커진다. 따라서, 제1 스위칭 이벤트 전에, PPD(PPD (x, y))는 변환기(pixel (x, y))에 연결되고, 인접 PPD(PPD (x + 1, y))는 인접 변환기(pixel(x,y+1))에 연결된다. 그리고 나서, 제1 스위칭 이벤트 후, 연결이 반전된다: 이제, PPD(PPD (x, y))는 인접 변환기(pixel(x,y+1))에 연결되고, 인접 PPD(PPD (x + 1, y))는 PPD(PPD (x, y))에 연결된다.
도 9는 신호 변환기와 함께 광전지 변환기 어레이 및 그들을 연결하고 반도체 다이 상에서 공간 배열 인코팅 방식에 따라 배열 및 구동되는 스위칭 소자의 계략적인 레이아웃을 도시한다. 공간 배열 인코딩은 모든 픽셀과 연결된 PPD가 시간 다중화를 통해 동일한 상대적 공간 위치를 갖는다는 것을 의미한다. 예를 들어, 모드 전환(tx1에서 tx2로)의 제1 스위칭 소자 전에, pixel(x-1, y)는 PPD(x-1, y)에 연결되고 pixel(x, y)는 PPD(x, y)에 연결된다. 여기서, pixel(x-1, y)는 pixel(x, y)의 왼쪽 인접 픽셀이고 PPD(x-1, y)는 PPD(x, y)의 왼쪽 인접 PPD이다. 모드 전환의 제1 스위칭 소자 후에, pixel(x-1, y)는 PPD(x, y)에 연결되고 pixel(x, y)는 PPD(x + 1, y)에 연결된다. 여기서 PPD(x, y)는 여전히 PPD(x + 1, y)의 왼쪽 인접 PPD이며 pixel(x-1, y) 및 pixel(x, y)와 동일한 상대적 공간 위치를 유지한다. 픽셀 어레이에 의해 인코딩된 공간 대비의 상대적 공간 위치는 시간 다중화 동안 일정하기 때문에 이 방식은 픽셀 어레이 출력에 대한 후 처리 기반 공간 상관을 지원할 수 있다.
1: 광전지 변환기, 포토다이오드, PPD 2: 전자 변환기
3: 신호 변환기, 변환기 4: 아날로그-디지털 변환기, 인코더
5: 상호 연결 6: 출력 트랜지스터
51, 54: 실리콘 기판 52, 53: 금속층
tx1, tx2, tx3, tx4: 스위칭 소자, 전송 게이트, 스위칭 신호

Claims (15)

  1. 어레이들 내 배열되고, 스위칭 소자들(tx1, tx2, ...)에 의해 연결된 다수의 광전지 변환기(1) 및 다수의 전자 변환기(2)를 포함하되,
    상기 다수의 광전지 변환기(1) 각각은 상기 다수의 전자 변환기(2) 중 하나와 쌍을 이루고 상기 광전지 변환기(1)의 광 세기에 따라 디지털 정보를 생성하고,
    상기 스위칭 소자들(tx1, tx2, ...)은 상기 광전지 변환기(1) 중 적어도 두 개와 상기 전자 변환기(2) 중 하나를, 상기 전자 변환기(2) 중 적어도 두 개와 상기 광전지 변환기(1) 중 하나를 선택적으로 연결하도록 구성되고,
    3개, 4개 또는 그 이상의 광전지 변환기(1)가 상기 스위칭 소자들(tx1, tx2, ...)에 의해 상기 전자 변환기(2) 중 하나에 연결되고, 시간 다중화 프로세스에 따라 상기 스위칭 소자들(tx1, tx2, ...)이 구동되어 상기 광전지 변환기(1)가 상기 스위칭 소자들(tx1, tx2, ...)에 의해 차례로 상기 전자 변환기(2)로 연결되는, 이미지 센서.
  2. 제 1 항에 있어서, 상기 스위칭 소자들(tx1, tx2, ...)은 상기 광전지 변환기(1)의 신호가 상기 전자 변환기(2) 중 하나 또는 다른 하나로 향하는 방식으로 적어도 2개의 상기 전자 변환기(2)를 상기 광전지 변환기(1) 중 하나에 선택적으로 연결하도록 구성되는 것을 특징으로 하는 이미지 센서.
  3. 제 2 항에 있어서, 상기 스위칭 소자들(tx1, tx2, ...)는 상기 광전지 변환기(1)를 상기 전자 변환기(2)의 입력으로 시간 다중화하도록 구성되어, 제1 시간 간격 동안 하나의 광전지 변환기의 출력 신호가 상기 전자 변환기(2)의 입력으로 전송되고, 연속된 제2 시간 간격 동안 다른 광전지 변환기의 출력 신호가 상기 전자 변환기(2)의 입력으로 전송되는 것을 특징으로 하는 이미지 센서.
  4. 삭제
  5. 제 1 항에 있어서, 상기 스위칭 소자들(tx1, tx2, ...)은, 상기 다수의 광전지 변환기들 중 하나만이 상기 전자 변환기들 중 하나에 연결되는 동안 다른 광전지 변환기들은 다른 전자 변환기들에 연결되도록 구성되는 것을 특징으로 하는 이미지 센서.
  6. 제 1 항에 있어서, 상기 광전지 변환기와 전자 변환기의 쌍에서 상기 전자 변환기(2)는 전자 신호 변환기(3)를 포함하고, 상기 전자 신호 변환기(3)는 상기 쌍의 상기 광전지 변환기(1)와 결합하여 상기 광전지 변환기(1)에 대한 광 세기에 따라 아날로그 전자 신호를 생성하도록 구성되고, 상기 전자 신호 변환기(3)는 상기 생성된 아날로그 전자 신호가 상기 광전지 변환기(1)의 광세기에 대수적으로 의존하도록 구성되는 것을 특징으로 하는 이미지 센서.
  7. 제 1 항에 있어서, 상기 전자 변환기(2)는 상기 광전지 변환기(1) 중 두 개의 광 세기 간의 상대적인 차이 또는 불일치에 따라 디지털 정보를 생성하도록 구성되는 것을 특징으로 하는 이미지 센서.
  8. 제 7 항에 있어서, 상기 전자 변환기(2)에 인접하게 배치된 인접한 전자 변환기(2)는, 상기 스위칭 소자들(tx1, tx2,…)에 의해 상기 전자 변환기(2)와 상기 인접한 전자 변환기(2) 모두에 연결된 동일한 두 개의 광전지 변환기(1)의 광 세기 간의 상대적 차이 또는 불일치에 따른 적어도 하나의 디지털 정보를 생성하도록 구성되는 것을 특징으로 하는 이미지 센서.
  9. 제 8 항에 있어서, 두 쌍의 스위칭 소자들(tx1, tx2,…)이 상기 광전지 변환기(1) 및 상기 인접한 광전지 변환기(1)를 상기 전자 변환기(2) 및 상기 인접한 전자 변환기(2)에 선택적으로 연결하도록 배열 및 구성되어, 스위칭 이벤트 전에, 상기 광전지 변환기(1)는 상기 전자 변환기(2)에 연결되고, 상기 인접한 광전지 변환기(1)는 상기 인접한 전자 변환기(2)에 연결되며, 상기 스위칭 이벤트 후, 상기 광전지 변환기(1)는 상기 인접한 전자 변환기(2)에 연결되고, 상기 인접한 광전지 변환기(1)는 상기 전자 변환기(2)에 연결되는 것을 특징으로 하는 이미지 센서.
  10. 제 8 항에 있어서, 제1 광전지 변환기(1)가 제1 활성 스위칭 소자들(tx1, tx2,…)를 통해 제1 전자 변환기(2)와 연결되고 제2 광전지 변환기(1)가 제2 활성 스위칭 소자들(tx1, tx2,…)를 통해 제2 전자 변환기(2)와 연결될 때, 상기 제1 광전지 변환기(1) 및 상기 제2 광전지 변환기(1)는 언제나 상기 제1 전자 변환기(2) 및 상기 제2 전자 변환기(2)와 동일한 상대 거리를 갖도록, 상기 광전지 변환기(1) 어레이, 상기 전자 변환기(2) 어레이 및 상기 스위칭 소자들(tx1, tx2,…)이 구성되는 것을 특징으로하는 이미지 센서.
  11. 제 10 항에 있어서, 상기 광전지 변환기(1)의 개수는 상기 전자 변환기(2)의 수와 동일하거나 또는 상기 전자 변환기(2)의 개수의 배수인 것인 것을 특징으로 하는 이미지 센서.
  12. 제 1 항 내지 제3항, 제5항 내지 제 11 항 중 어느 한 항에 따른 이미지 센서; 및
    상기 이미지 센서의 상기 스위칭 소자들(tx1, tx2,…)에 연결되고 상기 스위칭 소자들(tx1, tx2,…)를 제어하는 스위칭 신호들을 생성하도록 구성된 스위치 제어부를 포함하는, 시간 종속 이미지 데이터를 검출하는 센서 장치.
  13. 시간 종속 이미지 데이터를 검출하는 이미지 센서의 제어방법에 있어서,
    상기 이미지 센서는,
    어레이들 내 배열되고, 스위칭 소자들(tx1, tx2, ...)에 의해 연결된 다수의 광전지 변환기(1) 및 다수의 전자 변환기(2)를 포함하되,
    상기 다수의 광전지 변환기(1) 각각은 상기 다수의 전자 변환기(2) 중 하나와 쌍을 이루고 상기 광전지 변환기(1)의 광 세기에 따라 디지털 정보를 생성하고,
    상기 스위칭 소자들(tx1, tx2, ...)은 상기 광전지 변환기(1) 중 하나로부터 또는 다른 하나로부터의 신호가 상기 전자 변환기(2)로 전달되는 방식으로 상기 광전지 변환기(1) 중 적어도 2개와 상기 전자 변환기(2) 중 하나를 선택적으로 연결하고, 상기 전자 변환기(2) 중 적어도 두 개와 상기 광전지 변환기(1) 중 하나를 선택적으로 연결하도록 구성되고,
    3개, 4개 또는 그 이상의 광전지 변환기(1)가 상기 스위칭 소자들(tx1, tx2, ...)에 의해 상기 전자 변환기(2) 중 하나에 연결되고, 시간 다중화 프로세스에 따라 상기 스위칭 소자들(tx1, tx2, ...)이 구동되어 상기 광전지 변환기(1)가 상기 스위칭 소자들(tx1, tx2, ...)에 의해 차례로 상기 전자 변환기(2)로 연결되는, 이미지 센서의 제어방법.
  14. 제 13 항에 있어서,
    상기 전자 변환기(2) 어레이 중 제1 전자 변환기(2)로부터, 상기 광전지 변환기(1) 어레이 중 두 광전지 변환기(1)의 광 세기의 상대적인 차이에 따른 제1 기준 정보를 포함하는 제1 디지털 정보를 획득하고,
    상기 전자 변환기(2) 어레이 중 제2 전자 변환기(2)로부터, 상기 두 광전지 변환기(1)의 광 세기의 상대적인 차이에 따른 제2 기준 정보를 포함하는 제2 디지털 정보를 획득하고, 및
    상기 제1 기준 정보 및 상기 제2 기준 정보로부터 획득한 조정 계수를 가지고, 상기 제1 디지털 정보 및 상기 제2 디지털 정보를 조정하여, 상기 제1 및 제2 디지털 정보에서, 상기 제1 전자 변환기(2) 및 상기 제2 전자 변환기(2) 사이 이득 불일치를 보상하여, 이득 불일치에 대해 보상된 이미지 데이터를 획득하도록 하는, 이미지 센서의 제어방법.
  15. 삭제
KR1020217006092A 2018-09-18 2019-08-02 시간 종속 이미지 데이터를 검출하는 이미지 센서 및 센서 장치 KR102598514B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18195192.2A EP3627830A1 (en) 2018-09-18 2018-09-18 Image sensor and sensor device for imaging temporal and spatial contrast
EP18195192.2 2018-09-18
PCT/EP2019/070919 WO2020057846A1 (en) 2018-09-18 2019-08-02 Image sensor and sensor device for imaging temporal and spatial contrast

Publications (2)

Publication Number Publication Date
KR20210033045A KR20210033045A (ko) 2021-03-25
KR102598514B1 true KR102598514B1 (ko) 2023-11-03

Family

ID=63794275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217006092A KR102598514B1 (ko) 2018-09-18 2019-08-02 시간 종속 이미지 데이터를 검출하는 이미지 센서 및 센서 장치

Country Status (6)

Country Link
US (1) US11546543B2 (ko)
EP (1) EP3627830A1 (ko)
JP (1) JP7175051B2 (ko)
KR (1) KR102598514B1 (ko)
CN (1) CN112740655A (ko)
WO (1) WO2020057846A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140145288A1 (en) * 2011-02-08 2014-05-29 Sony Corporation Solid-state imaging device, manufacturing method thereof, and electronic apparatus
US20170018593A1 (en) * 2015-07-18 2017-01-19 Cista System Corp. System, method, and apparatus for generating a ramp signal with a changing slope
WO2017174579A1 (en) * 2016-04-04 2017-10-12 Chronocam Sample and hold based temporal contrast vision sensor

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4704632A (en) * 1986-03-20 1987-11-03 Terminal Data Corporation Electronic camera for digital processing of CCD data
US6828540B2 (en) 2000-07-06 2004-12-07 California Institute Of Technology Image sensor system operating with small amplitude scanning
FR2844129B1 (fr) 2002-09-03 2004-10-29 Suisse Electronique Microtech Procede et capteur pour determiner le contraste local d'une scene observee, par detection de la luminance emanant de cette scene
KR101331982B1 (ko) 2005-06-03 2013-11-25 우니페르지타에트 취리히 시간 의존적 이미지 데이터를 검출하기 위한 광 어레이
EP2093996A1 (fr) 2008-02-22 2009-08-26 CSEM Centre Suisse d'Electronique et de Microtechnique SA Recherche et Développement Capteur de vision pour la mésure d'invariants tels les contrastes et méthode pour effecture une telle mésure
JP2013090139A (ja) * 2011-10-18 2013-05-13 Sony Corp 撮像素子およびカメラシステム
US9631974B2 (en) 2011-12-19 2017-04-25 Universität Zürich Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
JP5984018B2 (ja) 2013-02-21 2016-09-06 ソニー株式会社 固体撮像素子、および撮像装置
US20140347442A1 (en) 2013-05-23 2014-11-27 Yibing M. WANG Rgbz pixel arrays, imaging devices, controllers & methods
US9247109B2 (en) * 2013-03-15 2016-01-26 Samsung Electronics Co., Ltd. Performing spatial and temporal image contrast detection in pixel array
CN105706439B (zh) * 2013-09-16 2019-06-28 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法
US20160093273A1 (en) 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
WO2017009944A1 (ja) * 2015-07-14 2017-01-19 オリンパス株式会社 固体撮像装置
US9509332B1 (en) * 2015-11-06 2016-11-29 Freescale Semiconductor, Inc. Dual sigma-delta analog-to-digital converter
JP6789678B2 (ja) 2016-06-06 2020-11-25 キヤノン株式会社 撮像装置、撮像システム
WO2019078483A1 (ko) * 2017-10-19 2019-04-25 광주과학기술원 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법
US11330218B2 (en) * 2018-08-22 2022-05-10 Gigajot Technology, Inc. Split-readout image sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140145288A1 (en) * 2011-02-08 2014-05-29 Sony Corporation Solid-state imaging device, manufacturing method thereof, and electronic apparatus
US20170018593A1 (en) * 2015-07-18 2017-01-19 Cista System Corp. System, method, and apparatus for generating a ramp signal with a changing slope
WO2017174579A1 (en) * 2016-04-04 2017-10-12 Chronocam Sample and hold based temporal contrast vision sensor

Also Published As

Publication number Publication date
EP3627830A1 (en) 2020-03-25
US11546543B2 (en) 2023-01-03
JP2022500974A (ja) 2022-01-04
US20210352238A1 (en) 2021-11-11
KR20210033045A (ko) 2021-03-25
CN112740655A (zh) 2021-04-30
WO2020057846A1 (en) 2020-03-26
JP7175051B2 (ja) 2022-11-18

Similar Documents

Publication Publication Date Title
US11165982B1 (en) Spatial derivative pixel array with adaptive quantization
US10931905B2 (en) Pixel array included in three-dimensional image sensor and method of operating three-dimensional image sensor
KR101508410B1 (ko) 거리 화상 센서, 및 촬상 신호를 비행시간법에 의해 생성하는 방법
CN106068562B (zh) 固态成像器件及成像装置
CN104272723A (zh) 特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列
KR102708582B1 (ko) 촬상 소자, 촬상 소자의 제어 방법, 및 전자기기
US20200358971A1 (en) Image sensor with pixels including photodiodes sharing floating diffusion region
US11810941B2 (en) 3D image sensor
US20090184237A1 (en) Photodetector
KR20100135705A (ko) 고체 촬상 장치 및 ｘ선 검사 시스템
US20230261025A1 (en) Image sensor and electronic camera
KR20110005770A (ko) 고체 촬상 장치 및 ｘ선 검사 시스템
JP2019514307A (ja) 撮像センサおよび画像情報を読み出すための方法
JP2016092738A (ja) 撮像素子および撮像装置
CN108495064A (zh) 像素电路及图像传感器装置
KR102598514B1 (ko) 시간 종속 이미지 데이터를 검출하는 이미지 센서 및 센서 장치
EP2385555B1 (en) Solid-state imaging device
JP7176917B2 (ja) 固体撮像装置及び撮像装置
JP2015008343A (ja) 撮像装置および撮像画像の形成方法
WO2021161791A1 (ja) 固体撮像装置および撮像装置
CN113906733A (zh) 摄像装置和摄像装置的驱动方法
Li Two-stream vision sensors
US20120292484A1 (en) Image sensor
WO2024203289A1 (ja) 固体撮像装置
US12126924B2 (en) Solid-state imaging device and imaging device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant