KR20230111754A - Spad 어레이를 이용하는 이미지 센서 - Google Patents

Spad 어레이를 이용하는 이미지 센서 Download PDF

Info

Publication number
KR20230111754A
KR20230111754A KR1020220007607A KR20220007607A KR20230111754A KR 20230111754 A KR20230111754 A KR 20230111754A KR 1020220007607 A KR1020220007607 A KR 1020220007607A KR 20220007607 A KR20220007607 A KR 20220007607A KR 20230111754 A KR20230111754 A KR 20230111754A
Authority
KR
South Korea
Prior art keywords
counter
spad
image sensor
signal
mode
Prior art date
Application number
KR1020220007607A
Other languages
English (en)
Other versions
KR102632064B1 (ko
Inventor
채영철
박병철
나윤덕
안병욱
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020220007607A priority Critical patent/KR102632064B1/ko
Priority to PCT/KR2022/016320 priority patent/WO2023140471A1/ko
Publication of KR20230111754A publication Critical patent/KR20230111754A/ko
Application granted granted Critical
Publication of KR102632064B1 publication Critical patent/KR102632064B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H01L31/02016—Circuit arrangements of general character for the devices
    • H01L31/02019—Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier
    • H01L31/02027—Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier for devices working in avalanche mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명의 이미지 센서는 하나 이상의 SPAD 소자를 포함하는 SPAD 어레이; 상기 SPAD 어레이로부터 출력된 신호를 수신하는 먹스; 상기 먹스에 모드 설정 신호를 전송하는 컨트롤러; 및 상기 SPAD 어레이로부터 출력된 신호에 기초하여 디지털 신호를 출력하는 제1 카운터 및 제2 카운터를 포함하고, 상기 먹스는 상기 모드 설정 신호에 따라 상기 제1 카운터 및 상기 제2 카운터의 연결 관계를 변경할 수 있다.

Description

SPAD 어레이를 이용하는 이미지 센서{IMAGE SENSOR USING SPAD ARRAY}
본 발명은 SPAD 어레이를 이용하는 이미지 센서에 관한 것으로, 보다 상세하게는, 모드 전환이 가능하여 이미지의 퀄리티를 향상시킬 수 있는 이미지 센서에 관한 것이다.
이미지 센서는 광을 통해 이미지를 구현하는 장치로서, 광을 감지할 수 있는 다양한 소자가 포함될 수 있다. 광을 감지할 수 있는 소자 중 SPAD 소자는 아발란치 현상을 통해 단일 광자를 검출할 수 있는 소자로서, 최근 SPAD 소자를 사용하는 이미지 센서에 대한 연구가 활발히 진행되고 있다.
이미지 센서는 모드에 따라 다양하게 광을 감지한다. 각 모드마다 장점과 단점이 동시에 존재하는데, 감지하는 대상체에 따라 각 모드를 선택할 필요가 있다. 또한, 각 모드의 문제점을 해결할 수 있는 새로운 구조의 이미지 센서가 필요하다.
본 발명의 일 과제는 2 이상의 카운터를 사용하여 각 모드의 단점을 보완하기 위한 이미지 센서에 관한 것이다.
일 실시예에 따른 이미지 센서는 하나 이상의 SPAD 소자를 포함하는 SPAD 어레이; 상기 SPAD 어레이로부터 출력된 신호를 수신하는 먹스; 상기 먹스에 모드 설정 신호를 전송하는 컨트롤러; 및 상기 SPAD 어레이로부터 출력된 신호에 기초하여 디지털 신호를 출력하는 제1 카운터 및 제2 카운터를 포함하고, 상기 먹스는 상기 모드 설정 신호에 따라 상기 제1 카운터 및 상기 제2 카운터의 연결 관계를 변경할 수 있다.
여기서, 상기 모드 설정 신호는, 상기 제1 카운터의 광자 축적 기간 및 상기 제2 카운터의 광자 축적(integration) 기간이 오버랩되지 않는 모드인 제1 모드에 대응되는 제1 신호; 및 상기 제1 카운터의 동작 이후 상기 제2 카운터의 동작이 수행되는 모드인 제2 모드에 대응되는 제2 신호를 포함할 수 있다.
여기서, 상기 제1 모드는 상기 제1 카운터 및 상기 제2 카운터 중 어느 하나가 광자 축적 기간인 경우 다른 하나는 리드 아웃(read out) 기간인 모드이고, 상기 제2 모드는 상기 제1 카운터의 상기 SPAD 어레이에 포함된 제1 SPAD 소자에 대응되는 광자 축적 기간 및 상기 SPAD 어레이에 포함된 제2 SPAD 소자에 대응되는 광자 축적 기간이 오버랩되는 모드일 수 있다.
여기서, 상기 먹스는, 상기 컨트롤러부터 상기 제1 신호를 획득한 경우, 상기 제1 카운터 및 상기 제2 카운터에 상기 SPAD 어레이로부터 출력된 신호를 전송하고, 상기 컨트롤러로부터 상기 제2 신호를 획득한 경우, 상기 제1 카운터에만 직접적으로 상기 SPAD 어레이로부터 출력된 신호를 전송할 수 있다.
여기서, 상기 먹스가 상기 제1 신호를 획득한 경우, 상기 제1 카운터 및 상기 제2 카운터는 병렬로 연결되고, 상기 제2 카운터는 상기 먹스로부터 상기 SPAD 어레이로부터 출력된 신호를 획득할 수 있다.
여기서, 상기 먹스가 상기 제2 신호를 획득한 경우, 상기 제1 카운터 및 상기 제2 카운터는 직렬로 연결되고, 상기 제2 카운터는 상기 제1 카운터로부터 상기 SPAD 어레이로부터 출력된 신호를 획득할 수 있다.
여기서, 상기 제1 SPAD 소자 및 상기 제2 SPAD 소자는 상기 SPAD 어레이 상에서 서로 상이한 행(row)에 존재할 수 있다.
여기서, 상기 SPAD 어레이는 상기 제1 카운터 및 상기 제2 카운터가 배치되는 제1 웨이퍼와 상이한 제2 웨이퍼 상에 배치될 수 있다.
여기서, 상기 컨트롤러는 상기 제1 카운터로부터 출력된 제1 결과 신호 및 상기 제2 카운터로부터 출력된 제2 결과 신호에 기초하여 상기 SPAD 어레이로 광을 반사시킨 대상체의 이미지를 생성할 수 있다.
여기서, 상기 컨트롤러는 제1 시점에서의 상기 대상체의 제1 이미지 및 제2 시점에서의 상기 대상체의 제2 이미지에 기초하여, 상기 모드 설정 신호를 변경할 수 있다.
본 발명의 일 실시예에 따르면 각 모드의 단점을 보완하기 위해 2 이상의 카운터를 사용하는 이미지 센서가 제공될 수 있다.
도 1은 종래의 SPAD를 사용한 이미지 센서의 구성을 나타낸 도면이다.
도 2는 종래 이미지 센서의 글로벌 셔터 모드에서의 카운터 동작 및 구현 이미지를 나타낸 도면이다.
도 3은 종래 이미지 센서의 롤링 셔터 모드에서의 카운터 동작 및 구현 이미지를 나타낸 도면이다.
도 4는 본원 발명의 일 실시예에 따른 이미지 센서의 구성을 나타낸 도면이다.
도 5는 본원 발명의 일 실시예에 따른 제1 모드에서의 이미지 센서의 구성을 나타낸 도면이다.
도 6은 제1 모드에서의 카운터 동작을 설명하기 위한 도면이다.
도 7은 본원 발명의 일 실시예에 따른 제2 모드에서의 이미지 센서의 구성을 나타낸 도면이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 판례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
도 1은 종래의 SPAD를 사용한 이미지 센서의 구성을 나타낸 도면이다.
도 1을 참조하면, 단광자 애벌런치 다이오드(SPAD: Single photon avalanche diode)를 사용한 종래의 이미지 센서는 하나 이상의 SPAD 소자를 포함한 SPAD 어레이 및 SPAD 어레이의 결과 신호를 수신하여 광자를 카운팅하는 카운터를 포함할 수 있다.
종래의 이미지 센서는 글로벌 셔터 모드 및 롤링 셔터 모드 중 하나의 모드로 고정되고, 하나의 카운터를 사용했기 때문에 여러 문제가 발생하였다. 아래 도 2 및 도 3을 참조하여, 종래의 이미지 센서의 문제에 대해서 설명한다.
도 2는 종래 이미지 센서의 글로벌 셔터 모드에서의 카운터 동작 및 구현 이미지를 나타낸 도면이다.
도 2를 참조하면, 종래의 이미지 센서는 하나의 카운터를 사용했기 때문에, 글로벌 셔터 모드에서 카운터가 리드 아웃할 때, 광자를 축적하지 못하는 문제가 발생했다.
구체적으로, 도 2(a)를 참조하면, 카운터에서는 광자를 축적하는 광자 축적(integration) 기간(T_INT) 및 축적한 광자를 읽어드리는 리드 아웃(read out) 기간(T_READ)이 번갈아 반복된다.
예를 들어, 도 2(a)에서, 30fps일 때, 0s에서 16.5ms는 광자 축적 기간(T_INT)이고, 광자 축적 기간(T_INT) 이후 16.5ms에서 33ms는 리드 아웃 기간(33ms)일 수 있다. 16.5ms에서 33ms까지의 리드 아웃 기간 이후, 33ms에서 49.5ms까지 다시 광자 축적 기간(T_INT)이 시작된다. 이처럼, 글로벌 모드에서 카운터의 광자 축적 기간과 리드 아웃 기간은 번갈아 반복될 수 있다.
도 2(b)는 글로벌 셔터 모드에서 카운터의 카운팅 결과에 기초하여 생성된 이미지를 나타낸 것이다. 도 2(b)는 도 3에 대한 설명에서 도 3(b)와 비교하여 이하에서 설명한다.
카운터의 리드 아웃 기간 동안 광자를 축적하지 못하기 때문에, 이미지 센서가 하나의 이미지 프레임을 생성하기 위해서는 많은 시간이 소요되는 문제가 발생했다. 즉, 이미지 센서가 글로벌 셔터 모드에서 동작할 경우, 프레임 레이트가 낮은 문제가 발생했다. 이와 같은 글로벌 셔터 모드의 문제를 해결하기 위해, 롤링 셔터 모드가 도입되었다.
도 3은 종래 이미지 센서의 롤링 셔터 모드에서의 카운터 동작 및 구현 이미지를 나타낸 도면이다.
도 3을 참조하면, 글로벌 셔터 모드에서의 낮은 프레임 레이트를 해결하기 위해, SPAD 어레이의 행마다 광자 축적 및 리드 아웃을 수행하는 롤링 셔터 모드에서의 카운터 동작 및 생성되는 이미지를 확인할 수 있다.
구체적으로, 도 3(a)를 참조하면, 카운터는 SPAD 어레이에서 SPAD 소자를 행마다 구별하여 각각에 대해 광자 축적 및 리드 아웃을 수행할 수 있다.
예를 들어, 30fps인 경우, 카운터는 제1 행에 대하여 33ms 중 일부인 제1 기간을 광자 축적 기간(T_INT)으로 할당하고, 33ms 중 제1 기간을 제외한 나머지 기간인 제2 기간을 리드 아웃 기간(T_READ)으로 할당할 수 있다. 또한, 카운터는 제2 행에 대하여 33ms 중 일부인 제3 기간을 광자 축적 기간(T_INT)으로 할당하고, 33ms 중 제3 기간을 제외한 나머지 기간인 제4 기간을 리드 아웃 기간(T_READ)으로 할당할 수 있다.
이때, 각 행마다의 리드 아웃 기간을 겹치지 않도록 설정할 수 있다. 즉, 카운터가 제1 행에 대하여 리드 아웃을 수행할 때, 제1 행에 대하여는 광자를 축적할 수 없으나, 제2 행에 대하여는 광자를 축적할 수 있으므로, 글로벌 셔터에서 문제가 됐던 리드 아웃 기간 중 광자를 축적할 수 없는 문제를 일부 해결할 수 있다.
롤링 셔터 모드에서, 카운터는 각 행별로 광자 축적 및 리드 아웃을 수행하기 때문에, 글로벌 셔터 모드보다 시간 손실이 작다. 그러나, 롤링 셔터 모드에서 이미지 센서가 생성한 이미지는 각 행별로 센싱한 시간이 다르다는 문제가 발생할 수 있다. 즉, 움직임 아티팩트(motion artifact) 및 젤로 현상(jello effect)가 발생할 수 있다. 따라서, 이미지 구현의 대상체가 움직일 경우, 이미지가 왜곡되는 문제점이 발생할 수 있다.
구체적으로, 도 2(b) 및 도 3(b)를 비교하면, 이들의 대상체는 모두 움직이는 팬(fan)이다. 움직이는 대상체에 대하여, 글로벌 셔터 모드에서 동작한 이미지 센서는 팬이 움직이더라도, 팬 날개의 크기 등을 고려했을 때, 이미지 왜곡이 발생하지 않은 것을 알 수 있다. 이는 글로벌 셔터 모드는 SPAD 어레이에 포함된 모든 SPAD 소자가 동일한 시점에서 센싱한 결과를 기초로 이미지를 생성하기 때문이다.
반면, 롤링 셔터 모드에서 동작한 이미지 센서는 도 3(b)의 이미지와 같이 팬의 크기 등을 고려했을 때, 이미지 왜곡이 발생한 것을 알 수 있다. 이는 롤링 셔터 모드는 SPAD 어레이에 포함된 SPAD 소자를 행별로 구분하여, 각 행마다 광을 센싱한 시점이 다르기 때문이다.
위에서 설명한 바와 같이, 글로벌 셔터 모드 및 롤링 셔터 모드는 각각 문제점을 가지고 있기 때문에, 하나의 모드에 고정되어서 동작하는 이미지 센서는 높은 퀄리티의 이미지를 구현하기 어려울 수 있다. 또한, 글로벌 셔터 모드에서 이미지 센서가 하나의 카운터를 사용하는 것은 낮은 프레임 레이트를 유발할 수 있다. 따라서, 본원 발명의 이미지 센서는 아래에서 위 문제점을 해결하기 위한 방안을 제안한다.
도 4는 본원 발명의 일 실시예에 따른 이미지 센서의 구성을 나타낸 도면이다.
도 4를 참조하면, 본원 발명의 일 실시예에 따른 이미지 센서는 SPAD 어레이(100), 먹스(MUX: Multiplexer), 제1 카운터(300) 및 제2 카운터(400)를 포함할 수 있다.
SPAD 어레이(100)는 하나 이상의 SPAD 소자를 포함할 수 있다. SPAD 어레이(100)는 매트릭스로 구성된 복수의 SPAD 소자를 포함할 수 있다. 예를 들어, SPAD 어레이(100)는 8X8, 64X64, 100X100, 1024X1024, 4000X4000 등의 형태로 구성된 SPAD 매트릭스일 수 있으나, 이에 한정되지 않고 원형, 타원형, 허니콤 구조 등 다양한 형태로 구현이 가능하다.
SPAD 어레이(100)는 N개의 SPAD 소자로 이루어진 하나 이상의 서브 어레이를 포함할 수 있다. 예를 들어, SPAD 어레이(100)는 4X4의 매트릭스 형태의 SPAD 소자들이 구성하는 서브 어레이를 복수개 포함할 수 있다.
SPAD 어레이(100)에 광이 입사되면, 아발란치(avalanche) 현상에 의해 광자를 디텍팅(detecting)할 수 있다. SPAD 어레이(100)는 광자 디텍팅에 따른 결과 신호를 출력할 수 있다. 상기 결과 신호는 아날로그 형태의 펄스일 수 있다. 이에 따라, 상기 아날로그 형태의 펄스에 기초하여 광자를 카운팅할 수 있는 카운터가 필요하다.
먹스(200)는 SPAD 어레이(100)에 연결되어, SPAD 어레이(100)로부터 출력된 신호를 수신할 수 있다. 이때, SPAD 어레이(100)로부터 출력된 신호는 광자 디텍팅에 따른 결과 신호이며, 상기 결과 신호는 위에서 설명한 아날로그 형태의 펄스일 수 있다.
먹스(200)는 컨트롤러(도시되지 않음)에 의해 모드 설정 신호(500)를 수신할 수 있다. 컨트롤러는 이미지 센서의 전체적인 제어를 수행할 수 있다. 또한, 컨트롤러는 SPAD 어레이(100)의 결과 신호에 기초하여 이미지를 생성하는 MCU일 수 있다.
먹스(200)는 SPAD 어레이(100)로부터 수신한 신호를 카운터(300, 400)로 전달할 수 있다. 이때, 카운터(300, 400)로 신호를 전달하는 것은 모드 설정 신호(500)에 따라 달라질 수 있다. 모드 설정 신호에 대해서는 이하에서 컨트롤러에 대한 설명과 함께 서술한다.
먹스(200)는 모드 설정 신호(500)에 따라 카운터들(300, 400)의 연결 관계를 변경할 수 있다. 구체적으로, 먹스(200)는 모드 설정 신호(500)에 따라 제1 카운터(300) 및 제2 카운터(400)의 연결 관계를 직렬 또는 병렬로 변경할 수 있다. 또는 먹스(200)는 제2 카운터(400)로 인가되는 신호를 변경할 수 있다. 또는 먹스(200)는 제2 카운터(400)로 신호를 입력시키는 주체를 변경할 수 있다.
예를 들어, 먹스(200)는 모드 설정 신호가 제1 신호일 경우, 제1 카운터(300) 및 제2 카운터(400)가 서로 병렬로 연결되도록 카운터들의 연결 관계를 설정할 수 있다. 이때, 제2 카운터(400)는 먹스(200)를 통해 SPAD 어레이(100)로부터 출력되는 신호를 전송받을 수 있다. 즉, 제2 카운터(400)로 신호를 입력시키는 주체는 먹스(200)일 수 있다.
구체적으로, 먹스(200)는 입력(IN)을 SPAD 어레이(100)와 연결된 단자로 설정하고, 출력(OUT)을 제1 카운터(300) 및 제2 카운터(400)와 연결된 2개의 단자로 설정하여, 제1 카운터(300) 및 제2 카운터(400)가 병렬로 연결되도록 연결 관계를 설정할 수 있다.
또한 예를 들어, 먹스(200)는 모드 설정 신호가 제2 신호일 경우, 제1 카운터(300) 및 제2 카운터(400)가 직렬로 연결되도록 카운터들의 연결 관계를 설정할 수 있다. 이때, 제2 카운터(400)는 제1 카운터(300)와 직렬로 연결되어, 제1 카운터(300)를 통해 SPAD 어레이(100)로부터 출력되는 신호를 획득할 수 있다. 즉, 제2 카운터(400)로 신호를 입력시키는 주체는 제1 카운터(300)일 수 있다.
구체적으로, 먹스(200)는 입력(IN)을 SPAD 어레이(100)와 연결된 단자로 설정하고, 출력(OUT)을 제1 카운터(300)와 연결된 단자로 설정하여, SPAD 어레이(100)로부터 출력된 신호를 제1 카운터(300)에만 직접적으로 전송할 수 있다. 이때, 제1 카운터(300)의 출력 단자는 제2 카운터(400)의 입력 단자로 연결되어, 제2 카운터(400)가 SPAD 어레이(100)로부터 출력된 신호를 간접적으로 획득할 수 있다.
모드 설정 신호(500)에 따른 먹스(200)의 동작은 도 5 내지 도 7을 참조하여 이하에서 설명한다.
제1 카운터(300) 및 제2 카운터(400)는 SPAD 어레이(100)로부터 출력된 신호에 기초하여 광자를 카운팅하고, 이에 대한 디지털 신호를 출력할 수 있다. 제1 카운터(300) 및 제2 카운터(400)는 2의 N승까지 카운팅할 수 있는 N-bit 카운터(N은 1 이상의 정수)일 수 있다. 제1 카운터(300) 및 제2 카운터(400)가 직렬로 연결될 경우, 2N-bit 카운터로서 동작할 수 있다.
본 명세서에서는 이미지 센서가 2개의 카운터를 포함하는 것을 예시로 설명하였으나, 이에 한정되지 않고, 이미지 센서는 복수개의 카운터를 포함할 수 있다. 이때, 2개의 카운터가 한 개의 쌍을 이루어 동작할 수 있다. 즉, 2개의 카운터가 한 개의 쌍으로서, 모드 설정 신호에 따라 직렬 또는 병렬 연결될 수 있다.
이미지 센서는 모드 설정 신호(500)를 출력하는 컨트롤러를 포함할 수 있다. 모드 설정 신호(500)는 글로벌 셔터 모드에 대응되는 제1 신호 및 롤링 셔터 모드에 대응되는 제2 신호를 포함할 수 있다.
글로벌 셔터 모드는 하나의 프레임을 생성하기 위해 SPAD 어레이(100)에 포함된 전체 SPAD 소자에 대해서 동일한 시점에 광자 축적 및 리드 아웃을 수행하는 모드일 수 있다. 즉, 글로벌 셔터 모드는 카운터의 광자 축적(integration) 기간과 리드 아웃(read out) 기간이 번갈아 반복적으로 수행되는 모드일 수 있다.
롤링 셔터 모드는 하나의 프레임을 생성하기 위해 SPAD 어레이(100)에 포함된 SPAD 소자들에 대하여 각 행별로 광자 축적 및 리드 아웃을 수행하는 모드일 수 있다. 즉, 롤링 셔터 모드는 SPAD 어레이(100)에 포함된 제1 행의 SPAD 소자의 광자 축적 기간이 제2 행의 SPAD 소자의 광자 축적 기간과 일부 오버랩되는 모드일 수 있다.
컨트롤러는 카운터의 출력 신호에 기초하여 감지하고자 하는 대상인 대상체에 대한 이미지를 생성할 수 있다. 이때, 컨트롤러는 대상체의 움직임에 따라 모드 설정 신호(500)를 판단 및/또는 설정할 수 있다.
예를 들어, 컨트롤러는 대상체가 동적인 경우 모드 설정 신호(500)를 글로벌 셔터 모드에 대응되는 제1 신호로 설정하여, 동적인 움직임에 대한 움직임 아티팩트 및 젤로 현상을 최소화할 수 있다.
또한 예를 들어, 컨트롤러는 대상체가 정적인 경우 모드 설정 신호(500)를 롤링 셔터 모드에 대응되는 제2 신호로 설정하여, 프레임 레이트를 높여 이미지를 생성할 수 있다.
이처럼, 컨트롤러는 대상체의 움직임을 판단하여, 대상체에 최적화된 모드를 설정 또는 변경할 수 있다. 컨트롤러가 대상체의 움직임을 판단하는 방법은 다양할 수 있다.
예를 들어, 컨트롤러는 광을 이용한 대상체의 거리를 감지하여, 대상체의 거리 변동이 일정 수준을 초과할 경우, 상기 대상체의 움직임을 동적인 것으로 판단할 수 있다. 구체적으로, 이미지 센서는 거리 감지를 위한 별도의 SPAD 소자를 포함하여, 상기 별도의 SPAD 소자를 통해 대상체의 거리를 감지할 수 있다. 그러나 이에 한정되지 않고, 별도의 SPAD 소자를 배치하지 않고 SPAD 어레이(100)에 포함된 SPAD 소자 중 하나 이상의 SPAD 소자를 대상체의 거리 감지용으로 사용할 수도 있다.
또한 예를 들어, 컨트롤러는 제1 시점에서 생성한 제1 이미지와 제2 시점에서 생성한 제2 이미지의 픽셀값 차이에 기초하여 대상체의 움직임을 판단할 수 있다. 구체적으로, 제1 시점에서 생성한 제1 이미지에 포함된 제1 위치의 픽셀값과 제2 시점에서 생성한 제2 이미지에 포함된 상기 제1 위치의 픽셀값을 비교하여, 상기 픽셀값 변동이 일정 수준을 초과할 경우, 컨트롤러는 대상체의 움직임을 동적인 것으로 판단할 수 있다.
이미지 센서는 하나 이상의 웨이퍼를 통해 구현될 수 있다. 이는 SPAD 어레이(100)와 카운터(300, 400)의 배치 관계에 따라 달라질 수 있다.
일 실시예에 따르면, SPAD 어레이(100)와 카운터(300, 400)는 하나의 웨이퍼 상에 배치될 수 있다. 이때, SPAD 어레이(100)에 포함된 SPAD 소자 하나당 2개의 카운터가 연결될 수 있다. 그러나, 이에 한정되지 않고, SPAD 어레이(100)에 포함된 서브 어레이 하나당 2개의 카운터가 연결될 수도 있다.
다른 일 실시예에 따르면, SPAD 어레이(100)와 카운터(300, 400)는 각각 상이한 웨이퍼 상에 배치될 수 있다. 이때, SPAD 어레이(100)가 배치되는 제1 웨이퍼는 카운터(300, 400)가 배치되는 제2 웨이퍼보다 상부에 위치할 수 있다.
SPAD 어레이(100)와 카운터(300, 400)가 상이한 웨이퍼에 배치되는 이유는 SPAD 소자의 수광 영역을 확보하기 위한 것일 수 있다. 즉, SPAD 어레이(100)에 포함된 SPAD 소자들 사이에 카운터(300, 400)가 배치될 경우, 카운터가 배치되는 영역에 입사되는 광을 감지하지 못하므로, 광손실이 발생할 수 있다. 따라서, SPAD 어레이(100)가 광을 감지할 수 있는 영역과 카운터가 회로적인 동작을 수행할 수 있는 영역을 상이한 웨이퍼를 이용하여 분리할 수도 있다.
도 5는 본원 발명의 일 실시예에 따른 제1 모드에서의 이미지 센서의 구성을 나타낸 도면이다.
도 5를 참조하면, 컨트롤러는 이미지 센서를 제1 모드로 설정하기 위해 모드 설정 신호(500)를 제1 신호(510)로 설정할 수 있다. 이때, 제1 모드는 글로벌 셔터 모드에 대응되는 모드일 수 있다.
먹스(200)는 컨트롤러로부터 제1 신호(510)를 수신할 수 있다. 먹스(200)는 제1 신호(510)에 기초하여, 제1 카운터(300) 및 제2 카운터(400)의 연결 관계를 변경할 수 있다. 먹스(200)는 제1 카운터(300) 및 제2 카운터(400)를 병렬로 연결하여, SPAD 어레이(100)로부터 출력된 신호를 제1 카운터(300) 및 제2 카운터(400)에 직접적으로 전송할 수 있다.
제1 모드에서 제1 카운터(300) 및 제2 카운터(400)는 SPAD 어레이(100)의 출력 신호에 대하여 광자 축적 및 리드 아웃 과정을 서로 번갈아 수행할 수 있다. 2개의 카운터를 사용하기 때문에, 리드 아웃 기간동안 광자 축적을 하지 못하는 글로벌 셔터 모드의 문제점을 해결할 수 있다.
제1 카운터(300) 및 제2 카운터(400)의 동작 방법은 도 6을 통해 설명한다.
도 6은 제1 모드에서의 카운터 동작을 설명하기 위한 도면이다.
도 6을 참조하면, 제1 카운터(300) 및 제2 카운터(400)는 광자 축적 및 리드 아웃을 번갈아 수행할 수 있다. 즉, 제1 카운터(300)가 광자 축적을 할 동안 제2 카운터(400)가 리드 아웃을 수행하고, 제1 카운터(300)가 리드 아웃을 수행할 동안 제2 카운터(400)가 광자를 축적할 수 있다. 따라서, 제1 카운터(300)의 광자 축적 기간과 제2 카운터(400)의 광자 축적 기간은 서로 오버랩되지 않을 수 있다.
예를 들어, 도 6과 같이 프레임 레이트가 30fps인 경우, 0초 내지 16.5ms인 제1 구간을, 제1 카운터(300)는 광자 축적 기간(T_INT)으로 하여 광자를 축적하고, 제2 카운터(400)는 리드 아웃 기간(T_READ)으로 하여 제1 구간 이전에 수행한 광자 축적에 대한 결과를 리드 아웃할 수 있다.
또한, 16.5ms 내지 33ms인 제2 구간을, 제1 카운터(300)는 제1 카운터(300)는 리드 아웃 기간(T_INT)으로 하여 제1 구간에 수행한 광자 축적에 대한 결과를 리드 아웃 하고, 제2 카운터(400)는 광자 축적 기간(T_INT)으로 하여 광자를 축적할 수 있다.
본원 발명의 이미지 센서는 카운터를 2개 사용하므로, 글로벌 셔터 모드에 대응되는 제1 모드에서 카운터의 리드 아웃을 번갈아 수행할 수 있어 종래의 낮은 프레임 레이트 문제를 해결할 수 있다. 즉, 카운터를 1개 사용했을 때보다 이미지를 생성하기 위한 시간이 단축될 수 있다.
도 7은 본원 발명의 일 실시예에 따른 제2 모드에서의 이미지 센서의 구성을 나타낸 도면이다.
도 7을 참조하면, 컨트롤러는 이미지 센서를 제2 모드로 설정하기 위해 모드 설정 신호(500)를 제2 신호(520)로 설정할 수 있다. 이때, 제2 모드는 롤링 셔터 모드에 대응되는 모드일 수 있다.
먹스(200)는 컨트롤러로부터 제2 신호(520)를 수신할 수 있다. 먹스(200)는 제2 신호(520)에 기초하여, 제1 카운터(300) 및 제2 카운터(400)의 연결 관계를 변경할 수 있다. 먹스(200)는 제1 카운터(300) 및 제2 카운터(400)를 직렬로 연결하여, SPAD 어레이(100)로부터 출력된 신호를 제1 카운터(300)에는 직접적으로 전송하고, 제2 카운터(400)에는 제1 카운터(300)를 통해 간접적으로 전송할 수 있다.
제2 카운터(400)는 제1 카운터(300)로부터 입력 신호를 수신하기 때문에, 제1 카운터(300)의 카운팅 동작이 수행된 이후에 제2 카운터(400)의 카운팅 동작이 수행될 수 있다. 즉, 제1 카운터(300)의 동작과 제2 카운터(400)의 동작이 동시에 수행되지 않고, 제2 카운터(300)의 동작은 제1 카운터(300)의 동작 이후에 수행될 수 있다.
제2 모드에서 제1 카운터(300) 및 제2 카운터(400)는 직렬로 연결되어 2N-bit 카운터로서 동작할 수 있다. 2개의 카운터를 사용하여 2의 2N승개 카운팅을 수행할 수 있으므로, 이미지 센서의 동적 범위(Dynamic Range)를 증가시킬 수 있다. 따라서, 이미지 센서는 롤링 셔터 모드에서의 높은 프레임 레이트를 유지할 수 있고, 움직임 아티팩트도 최소화하여 이미지의 퀄리티를 향상시킬 수 있다.
제1 카운터(300) 및 제2 카운터(400)는 도 3에 도시된 바와 같이, 각 행별로 광자 축적 및 리드 아웃을 수행할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 하나 이상의 SPAD 소자를 포함하는 SPAD 어레이;
    상기 SPAD 어레이로부터 출력된 신호를 수신하는 먹스;
    상기 먹스에 모드 설정 신호를 전송하는 컨트롤러; 및
    상기 SPAD 어레이로부터 출력된 신호에 기초하여 디지털 신호를 출력하는 제1 카운터 및 제2 카운터를 포함하고,
    상기 먹스는 상기 모드 설정 신호에 따라 상기 제1 카운터 및 상기 제2 카운터의 연결 관계를 변경하는
    이미지 센서.
  2. 제1항에 있어서,
    상기 모드 설정 신호는,
    상기 제1 카운터의 광자 축적 기간 및 상기 제2 카운터의 광자 축적(integration) 기간이 오버랩되지 않는 모드인 제1 모드에 대응되는 제1 신호; 및
    상기 제1 카운터의 동작 이후 상기 제2 카운터의 동작이 수행되는 모드인 제2 모드에 대응되는 제2 신호를 포함하는
    이미지 센서.
  3. 제2항에 있어서,
    상기 제1 모드는 상기 제1 카운터 및 상기 제2 카운터 중 어느 하나가 광자 축적 기간인 경우 다른 하나는 리드 아웃(read out) 기간인 모드이고,
    상기 제2 모드는 상기 제1 카운터의 상기 SPAD 어레이에 포함된 제1 SPAD 소자에 대응되는 광자 축적 기간 및 상기 SPAD 어레이에 포함된 제2 SPAD 소자에 대응되는 광자 축적 기간이 오버랩되는 모드인
    이미지 센서.
  4. 제2항에 있어서,
    상기 먹스는,
    상기 컨트롤러부터 상기 제1 신호를 획득한 경우, 상기 제1 카운터 및 상기 제2 카운터에 상기 SPAD 어레이로부터 출력된 신호를 전송하고,
    상기 컨트롤러로부터 상기 제2 신호를 획득한 경우, 상기 제1 카운터에만 직접적으로 상기 SPAD 어레이로부터 출력된 신호를 전송하는
    이미지 센서.
  5. 제4항에 있어서,
    상기 먹스가 상기 제1 신호를 획득한 경우,
    상기 제1 카운터 및 상기 제2 카운터는 병렬로 연결되고,
    상기 제2 카운터는 상기 먹스로부터 상기 SPAD 어레이로부터 출력된 신호를 획득하는
    이미지 센서.
  6. 제4항에 있어서,
    상기 먹스가 상기 제2 신호를 획득한 경우,
    상기 제1 카운터 및 상기 제2 카운터는 직렬로 연결되고,
    상기 제2 카운터는 상기 제1 카운터로부터 상기 SPAD 어레이로부터 출력된 신호를 획득하는
    이미지 센서.
  7. 제3항에 있어서,
    상기 제1 SPAD 소자 및 상기 제2 SPAD 소자는 상기 SPAD 어레이 상에서 서로 상이한 행(row)에 존재하는
    이미지 센서.
  8. 제1항에 있어서,
    상기 SPAD 어레이는 상기 제1 카운터 및 상기 제2 카운터가 배치되는 제1 웨이퍼와 상이한 제2 웨이퍼 상에 배치되는
    이미지 센서.
  9. 제1항에 있어서,
    상기 컨트롤러는 상기 제1 카운터로부터 출력된 제1 결과 신호 및 상기 제2 카운터로부터 출력된 제2 결과 신호에 기초하여 상기 SPAD 어레이로 광을 반사시킨 대상체의 이미지를 생성하는
    이미지 센서.
  10. 제9항에 있어서,
    상기 컨트롤러는 제1 시점에서의 상기 대상체의 제1 이미지 및 제2 시점에서의 상기 대상체의 제2 이미지에 기초하여, 상기 모드 설정 신호를 변경하는
    이미지 센서.
KR1020220007607A 2022-01-19 2022-01-19 Spad 어레이를 이용하는 이미지 센서 KR102632064B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220007607A KR102632064B1 (ko) 2022-01-19 2022-01-19 Spad 어레이를 이용하는 이미지 센서
PCT/KR2022/016320 WO2023140471A1 (ko) 2022-01-19 2022-10-25 Spad 어레이를 이용하는 이미지 센서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220007607A KR102632064B1 (ko) 2022-01-19 2022-01-19 Spad 어레이를 이용하는 이미지 센서

Publications (2)

Publication Number Publication Date
KR20230111754A true KR20230111754A (ko) 2023-07-26
KR102632064B1 KR102632064B1 (ko) 2024-01-31

Family

ID=87348907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220007607A KR102632064B1 (ko) 2022-01-19 2022-01-19 Spad 어레이를 이용하는 이미지 센서

Country Status (2)

Country Link
KR (1) KR102632064B1 (ko)
WO (1) WO2023140471A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133955A1 (en) * 2010-11-30 2012-05-31 Stmicroelectronics (Research & Development) Limited Application using a single photon avalanche diode (spad)
KR20180027527A (ko) * 2015-07-08 2018-03-14 오스트레일리아 연방 Spad 어레이 구조 및 동작 방법
JP2020022136A (ja) * 2018-08-03 2020-02-06 キヤノン株式会社 撮像装置、撮像システム、移動体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9502458B2 (en) * 2015-03-10 2016-11-22 Stmicroelectronics (Research & Development) Limited Circuit for generating direct timing histogram data in response to photon detection
TWI801572B (zh) * 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133955A1 (en) * 2010-11-30 2012-05-31 Stmicroelectronics (Research & Development) Limited Application using a single photon avalanche diode (spad)
KR20180027527A (ko) * 2015-07-08 2018-03-14 오스트레일리아 연방 Spad 어레이 구조 및 동작 방법
JP2020022136A (ja) * 2018-08-03 2020-02-06 キヤノン株式会社 撮像装置、撮像システム、移動体

Also Published As

Publication number Publication date
WO2023140471A1 (ko) 2023-07-27
KR102632064B1 (ko) 2024-01-31

Similar Documents

Publication Publication Date Title
US9854195B2 (en) Image capturing apparatus, control method for the same, and storage medium
US9762840B2 (en) Imaging device and method of driving the same
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
JP5188080B2 (ja) 撮像装置、撮像装置の駆動方法、及び読み出し装置
US9332202B2 (en) Solid-state imaging apparatus and imaging system
JP5850680B2 (ja) 撮像装置及びその制御方法
US10666875B2 (en) Solid-state imaging device
US9398206B2 (en) Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus including focus adjustment apparatus
US20140232913A1 (en) Solid-state imaging device and driving method of same
US20180184033A1 (en) Imaging apparatus, method of driving imaging apparatus, and apparatus using the imaging apparatus
US9544512B2 (en) Image capturing apparatus and method of reading out pixel signals from an image sensor
EP2704422A1 (en) Image capture apparatus
US10033951B2 (en) Image sensor that performs different readout operations and image capturing apparatus including image sensor
US8830379B2 (en) Image pickup apparatus with inter-frame addition components
US9883096B2 (en) Focus detection apparatus and control method thereof
JP2019186910A5 (ja) 撮像装置及びその制御方法
CN105407299A (zh) 摄像装置及控制摄像装置的方法
US10257430B2 (en) Image processing apparatus for detecting flicker, method of controlling the same, and non-transitory storage medium
KR102632064B1 (ko) Spad 어레이를 이용하는 이미지 센서
JP7339779B2 (ja) 撮像装置
US20190289213A1 (en) Image sensor and electronic device having the same
JP6574653B2 (ja) 撮像装置及び撮像システム
US11122213B2 (en) Imaging apparatus
JP2020028115A (ja) 撮像装置
US8836831B2 (en) Image sensor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant