KR20240008121A - 다단계 바이너리 이미징 판독 방법 및 이를 실행하는 시스템 - Google Patents

Abstract

본 발명은 다단계 바이너리 이미징 판독 시스템에 관한 것으로, 교류(AC) 커플링 커패시터(CSN)를 통해 싱글 슬로프(SS) 아날로그 디지털컨버터(ADC)의 어느 하나의 입력 노드(VINN)에 연결되는 픽셀 출력 노드, 아날로그/디지털 기준 신호(VRAMP)를 제공하며 CSP노드를 통해 모든 열의 다른 입력 노드(VINP)에 연결되는 램프 발생 노드, 다단계 바이너리 이미지의 추출 작성을 위한 열 재설정 작업과 동기화되며 바이너리 발생 노드에 의해 발생된 바이너리 레퍼런스(VBR)를 다른 입력 노드(VINP) 노드에 제공하는 스위치, 상기 어느 하나의 입력 노드(VINN)을 통해 픽셀 출력 노드로부터 수신되는 픽셀 출력(Vpx) 및 다른 입력 노드(VINP)를 통해 램프 발생 노드 및 바이너리 발생 노드로부터 수신된 바이너리 레퍼런스(VBR)를 비교하여 출력 신호(VCOMP)를 출력하는 비교기를 포함한다.

Description

다단계 바이너리 이미징 판독 방법 및 이를 실행하는 시스템{METHOD OF EXTRACTING MULTILEVEL BINARY IMAGING AND SYSTEM PERFORMING THEREOF}

본 발명은 다단계 바이너리 이미징 판독 방법 및 이를 실행하는 시스템에 관한 것으로, 보다 구체적으로 컬럼 재설정 주기 동안 아날로그/디지털 기준 신호를 바이너리 레퍼런스로 사용하여 단항 단계에서 전체 아날로그/디지털 기준 범위를 순차적으로 재설정하여 바이너리 이미징를 판독할 수 있도록 하는 다단계 바이너리 이미징 판독 방법 및 이를 실행하는 시스템에 관한 것이다.

CMOS 기술의 급속한 성장과 함께 CMOS 이미지 센서(CIS)는 휴대용 장치, 감시 및 모니터링, 머신 비전과 같은 다양한 애플리케이션에서 광범위하게 구현되었습니다.

특히 컴퓨터 비전 기반 지능형 시스템에서 CIS는 시각적 이미지 입력에서 의미 있는 정보를 도출하는 데 중요한 역할을 한다. 특히, 이미지 센서를 통해 사용자는 대상 객체를 관찰하고 정보를 기반으로 특정 작업을 수행할 수 있습니다. 따라서 이미지 센서에 대한 수요는 컴퓨터 비전 애플리케이션과 관련하여 증가하고 있다.

객체를 식별하기 위한 다양한 응용 프로그램에서 이진 이미지는 상대적으로 간단한 처리와 빠른 논리 연산으로 인해 주로 사용된다.

여러 비트로 표현되는 그레이스케일 이미지와 비교하여 이진 이미지는 0과 1(각각 흑백)로 표시되거나 그 반대로 표시된다. 일반적으로 이진 이미지는 임계값을 적용하여 그레이스케일 이미지에서 얻을 수 있다.

특히, 임계치 이상의 강도를 가진 모든 픽셀은 다른 모든 픽셀은 "0"으로 설정된다. 이렇게 하면 검은색 배경에 흰색 물체가 생성되는데, 이는 두 물체 사이의 회색 값의 상대적 차이에 따라 달라진다.

임계값 지정은 이미지의 관심 부분만 선택하고 나머지 부분은 무시하는 데 자주 사용되는 이미지 분할 기술의 한 유형이다. 그러나 이미지 속성은 일반적으로 픽셀에서 물체 주위의 밝기를 포함하기 때문에 모든 조명 조건에 적절한 임계값을 선택하기는 어렵다. 예를 들어, 임계값이 높은 값으로 설정되면 낮은 조도에서 대상 물체에 대한 정보를 얻기 어렵다.

그러나 임계값이 낮은 값으로 설정된 경우 고조도 주변의 객체 정보는 이진 영상에 표시되지 않습니다. 이 문제는 이진 이미징의 임계값이 각 대상 개체의 조명 조건에 최적화되지 않았기 때문에 발생한다.

적절한 임계값을 결정하는 방법에는 캡처된 이미지의 그레이스케일 히스토그램의 추출과 대상 객체 또는 해당 배경에 해당하는 그레이스케일 범위의 식별이 포함된다.

그레이스케일 히스토그램은 각 그레이스케일 값의 발생 빈도를 나타냅니다. 이는 그레이스케일 히스토그램의 모양이 이모달인 경우에 유용할 수 있습니다.

그러나 대부분의 이미지가 널리 분포된 히스토그램 모양을 가지고 있기 때문에 개체 모양과 배경을 히스토그램과 구별하는 정확한 임계값을 결정하기 어렵다. 게다가, 물체와 배경의 값이 가까울 때, 그들은 소음의 영향에 더 민감하게 반응하기 때문에 물체의 이미지가 불분명해진다. 특정 영상 조건의 임계값에 대한 다양한 연구가 수행되었지만, 모든 영상 조건에 대한 최적의 임계값을 얻기 위한 명확한 방법은 제공되지 않았다.

이진 이미지 추출이 대부분의 경우 출력 그레이스케일 이미지에서 진행된다는 점을 고려할 때, 임계값 문제는 이미지 추출 프로세스와 그 회로 측면에서 고려될 수 있다. 실시간 이진 영상을 위한 다양한 이미지 센서가 보고되었다. 그러나 고정 수준 임계치 때문에 정확도가 제한되었다.

더욱이, 그들은 추가적인 읽기 회로와 기존 상용 픽셀 구조(4T APS[17])에 대한 수정이 필요하며, 이는 가격 경쟁력 및 기존 이미지 센서 시스템과의 호환성 측면에서 불이익을 초래한다.

그러나 사후 이미지 처리 기술의 도움으로 고정 레벨 임계값에서도 배경 감산 알고리듬을 내장하여 객체 감지 속도를 향상시킬 수 있다. 그러나 픽셀 해상도가 증가함에 따라 필요한 데이터 계산량의 증가로 인해 실시간 이미징의 복잡성도 증가한다. 확장 관점에서 실시간으로 광 강도에 따라 다단계 임계값이 채택될 수 있다면 전체 이미지 센서 영상 범위에 대해 이진 이미지의 의미 있는 객체 특징을 추출할 수 있다.

대상 객체는 광도에 따라 이진 영상에서 다르게 나타난다. 따라서 고정된 기준 값으로는 객체의 윤곽 정보를 실시간으로 추출하기 어렵다. 따라서 CMOS 이미저의 이진 이미징 솔루션으로서, 이 연구는 임계값 문제를 완화하여 향상된 객체 감지 속도를 제공하는 최초의 실시간 이진 이미징 CIS를 제시한다. 제안된 이진 이미징 체계는 전체 CIS 이미징 범위를 (조단계 크기와 동일) 여러 하위 범위로 나누고, 이진 이미징을 위한 첫 번째 임계값은 가장 낮은 하위 범위 내에서 수행된다.

그 후, 대략적인 단계 크기에서 임계값이 순차적으로 시프트되는 동안, 각 서브 레인지의 이진 이미지는 광도의 순서로 획득된다. 이를 통해, 전체 이미지 센서 영상 범위 내의 광도와 관련하여 이진 영상에 포함된 정보를 추출할 수 있습니다.

일반적인 이미지 센서 읽기 체계와 구조적 특징에 대한 자세한 검사를 기반으로, 기존의 상용 픽셀 구조를 수정하지 않고, 제안된 이진 이미징은 일반 이미징 동안 발생하는 여유 시간에 수행된다. 따라서 제안된 이진 이미징 체계는 기존 상용 이미지 센서 시스템에 적용 가능하며 구조적 이점을 보존한다.

본 발명은 주어진 프레임률을 유지하면서 하나의 추가 이진 참조만 효과적으로 사용하여 실시간으로 다단계 이진 이미징을 가능하도록 하는 다단계 바이너리 이미징 판독 방법 및 이를 실행하는 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 에지 컴퓨팅 개념 중 하나로 객체 특징 추출을 위한 광도에 따른 적절한 이진 이미징을 통해 전반적인 시스템 효율성 향상에 기여할 수 있도록 하는 다단계 바이너리 이미징 판독 방법 및 이를 실행하는 시스템을 제공하는 다단계 바이너리 이미징 판독 방법 및 이를 실행하는 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 이미지 센서가 빛 영역에 대한 이진 이미지의 특성 변화를 최소화하는 이진 이미징에 대한 임계값 방법의 단점을 완화할 수 있도록 하는 다단계 바이너리 이미징 판독 방법 및 이를 실행하는 시스템을 제공하는 것을 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

이러한 목적을 달성하기 위한 다단계 바이너리 이미징 판독 시스템은 교류(AC) 커플링 커패시터(CSN)를 통해 싱글 슬로프(SS) 아날로그 디지털컨버터(ADC)의 어느 하나의 입력 노드(VINN)에 연결되는 픽셀 출력 노드, 아날로그/디지털 기준 신호(VRAMP)를 제공하며 CSP노드를 통해 모든 열의 다른 입력 노드(VINP)에 연결되는 램프 발생 노드, 다단계 바이너리 이미지의 추출 작성을 위한 열 재설정 작업과 동기화되며 바이너리 발생 노드에 의해 발생된 바이너리 레퍼런스(VBR)를 다른 입력 노드(VINP) 노드에 제공하는 스위치, 상기 어느 하나의 입력 노드(VINN)을 통해 픽셀 출력 노드로부터 수신되는 픽셀 출력(Vpx) 및 다른 입력 노드(VINP)를 통해 램프 발생 노드 및 바이너리 발생 노드로부터 수신된 바이너리 레퍼런스(VBR)를 비교하여 출력 신호(VCOMP)를 출력하는 비교기를 포함한다.

또한, 이러한 목적을 달성하기 위한 다단계 바이너리 이미징 판독 방법은교류(AC) 커플링 커패시터(CSN)를 통해 싱글 슬로프(SS) 아날로그 디지털컨버터(ADC)의 어느 하나의 입력 노드(VINN)에 연결되는 픽셀 출력 노드가 픽셀 출력(Vpx)을 출력하는 단계, 아날로그/디지털 기준 신호(VRAMP)를 제공하며 CSP노드를 통해 모든 열의 다른 입력 노드(VINP)에 연결되는 램프 발생 노드가 바이너리 레퍼런스(VBR)를 출력하는 단계, 다단계 바이너리 이미지의 추출 작성을 위한 열 재설정 작업과 동기화되는 스위치가 바이너리 발생 노드에 의해 발생된 바이너리 레퍼런스(VBR)를 다른 입력 노드(VINP) 노드에 제공하는 단계 및 비교기가 상기 어느 하나의 입력 노드(VINN)을 통해 픽셀 출력 노드로부터 수신되는 픽셀 출력(Vpx) 및 다른 입력 노드(VINP)를 통해 램프 발생 노드 및 바이너리 발생 노드로부터 수신된 바이너리 레퍼런스(VBR)를 비교하여 출력 신호(VCOMP)를 출력하는 단계를 포함한다.

전술한 바와 같은 본 발명에 의하면, 주어진 프레임률을 유지하면서 하나의 추가 이진 참조만 효과적으로 사용하여 실시간으로 다단계 이진 이미징을 가능하도록 하다는 장점이 있다.

또한 본 발명에 의하면, 에지 컴퓨팅 개념 중 하나로 객체 특징 추출을 위한 광도에 따른 적절한 이진 이미징을 통해 전반적인 시스템 효율성 향상에 기여할 수 있다는 장점이 있다.

또한 본 발명에 의하면, 이미지 센서가 빛 영역에 대한 이진 이미지의 특성 변화를 최소화하는 이진 이미징에 대한 임계값 방법의 단점을 완화할 수 있다는 장점이 있다.

도 1은 광도와 관련된 그레이스케일 영상의 변화 및 VTH의 변화와 관련된 이진 이미징 결과를 설명하기 위한 도면이다.
도 2는 실시간 바이너리 이미징 기능을 통해 일반적인 이미지 센서 읽기 회로를 설명하기 위한 도면이다.
도 3은 단순화된 동작 타이밍 다이어그램 및 파형을 설명하기 위한 도면이다.
도 4는 컬럼 리셋 기간에서의 추가적인 바이너리 이미징에 대한 작동 원리를 설명하기 위한 도면이다.
도 5는 전형적인 SS ADC 구조를 기반으로 한 듀얼 이미징 방식을 적용한 본 발명의 일 실시예에 따른 SS ADC의 간략화된 모식도를 나타낸다.
도 6은 본 발명에 따른 이중 이미징 판독 방식의 작동 원리를 명확히 하기 위해 타이밍 다이어그램과 해당 파형을 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 이중 이미징 판독 방식이 기둥 재설정 기간 동안 읽기 계획을 수행하는 작동 원리를 설명하기 위한 도면이다.
도 8은 이미지 센서 프로토타입의 전체 블록 다이어그램을 나타내는 도면이다.
도 9는 픽셀 출력(Vpx)에서 입력 노드(VINN)으로 가는 입력 네트워크의 간략화된 도면이다.
도 10에는 종래의 SS ADC와 유사한 방식으로 설계된 두 개의 1단계 비교기의 간략화된 모식도를 나타내는 도면이다.
도 11는 램프 발생기 및 I-Cell용 래치 기반 스위칭 회로를 설명하기 위한 도면이다.
도 12는 시제품 칩의 현미경 사진을 나타낸다.
도 13은 60fps에서 이미지 센서 시제품의 측정된 광전 변환 특성을 나타낸다.
도 15는 기존 및 제안된 이미지 센서 사례에서 이진 이미징을 위한 비트 해상도와 관련하여 필요한 변환 수를 나타내는 도면이다.
도 16은 본 발명의 일 실시예에 따른 프로토타입 이미지 센서의 캡처된 이미지를 설명하기 위한 도면이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.

도 1은 광도와 관련된 그레이스케일 영상의 변화 및 VTH의 변화와 관련된 이진 이미징 결과를 설명하기 위한 도면이다.

도 1을 참조하면, 그림 1(a)은 대상 물체의 광강도에 따른 샘플 이미지의 변화된 패턴을 나타낸다. 여기서 샘플 이미지는 8비트 그레이스케일 값을 가진 비디오 그래픽 어레이(VGA) 해상도를 가지고 있다. 중간 광도의 경우와는 대조적으로, 샘플 이미지의 주요 특징과 윤곽은 낮은 광도와 높은 광도에서 상대적으로 흐릿하다. 그러나 이미지 정보가 손실되지 않기 때문에 구별할 수 있다. 특히 회색조 이미지에서 알 수 있듯이 대상 물체의 선명도는 빛의 강도에 따라 달라진다.

그러나 이진 이미지의 경우 이미징 대상 주변의 광도에 따라 객체 특징을 추출하기 위한 적절한 임계값이 있다. 그림 1(a)의 샘플 이미지의 경우, 그림 1(b)은 255 LSB의 전체 기준 스케일에서 60 LSB, 130 LSB, 220 LSB의 각 임계값(VTH)에 대한 이진 이미지 결과를 나타낸다.

낮은 조명 조건에서 대부분의 픽셀의 낮은 값으로 인해 이진 이미지의 이미지 특징과 윤곽은 60 LSB의 VTH에서 적절하게 추출된다. 그러나 VTH를 130 LSB 또는 220 LSB로 설정하면 이미지 정보가 손실되어 검은 이미지로 표현될 수 있다.

픽셀 값은 임계값 지정 방법을 사용하여 "0" 및 "1"로 단순화됩니다. 또한 이진 이미지 추출에 적합한 VTH는 중조도 조건의 경우 120 LSB이고 고조도 조건의 경우 220 LSB이다. VTH의 다른 값들은 전체 흰색 또는 검은색 이미지로 표현될 수 있다. 이러한 차이는 이미지 추출 방법에 따른 이미지 해상도로 인해 이항 이미징에 대한 모든 제한이 발생한다. 따라서 각 광도에 대한 VTH 값을 최적화하는 범위를 넘어서, 이진 이미지에 대한 효과적인 그레이 스케일링 방법을 사용하면 고유한 기술적 한계를 극복할 수 있으므로 적용 범위가 넓어진다.

도 2는 실시간 바이너리 이미징 기능을 통해 일반적인 이미지 센서 읽기 회로를 설명하기 위한 도면이다.

도 2를 참조하면, 도 2는 픽셀, 읽기 아날로그-디지털 변환기(ADC) 및 그 아날로그/디지털(A/D) 참조로 구성된 실시간 바이너리 이미징과 함께 일반적인 이미지 센서 읽기 회로의 단순화된 도식을 보여준다.

픽셀 신호를 효과적으로 추출하기 위해, 이 구성은 인픽셀 또는 열-병렬 구조의 형태로 통합될 수 있으며, 대상 이미징 애플리케이션에 따라 다양한 유형의 ADC를 적용할 수 있다.

일반적인 이미지 센서 읽기 구조의 예로서 이중 상관 이중 샘플링(CDS)을 적용한 기둥-병렬 단일 기울기 ADC 구조가 더 자세히 설명되어 있다

도 3은 단순화된 동작 타이밍 다이어그램 및 파형을 설명하기 위한 도면이다.

도 3을 참조하면, 기존의 영상 체계에서 주목할 만한 특징으로서, 컬럼 재설정 주기는 후속 픽셀 판독을 위해 재설정되는 추가 사용 가능한 작동 타이밍으로 초점을 맞췄다. 그러나 픽셀 출력(Vpx)는 후속 행의 ΔRX가 트리거될 때까지 유지된다. 여기서 VRAMP는 VREFN-VREF에서 다시 확장된다. 이 기간 VRAMP와 픽셀 출력(Vpx)의 두 신호를 재비교할 수 있다는 점에서 추가 픽셀 정보를 추출하는 데 활용할 수 있다. 따라서 본 발명에서는 이진 이미징을 위해 열 재설정 기간을 활용하는 이중 이미징 읽기 방식을 제안한다.

본 발명의 일 실시예에 따른 이중 이미징 읽기 방식은 VRAMP를 바이너리 레퍼런스(VBR)로 사용하여 단항 단계에서 전체 A/D 기준 범위를 순차적으로 재설정한다. 이에 따라, 추가 회로 없이도 그레이스케일과 이진 이미지를 효과적으로 추출할 수 있다.

도 4는 컬럼 리셋 기간에서의 추가적인 바이너리 이미징에 대한 작동 원리를 설명하기 위한 도면이다.

도 4를 참조하면, 전체 A/D 기준 범위는 순차적 재설정 작동을 위해 각 광도에 대한 하위 범위(ΔVSR)로 구분된다.

간단한 예로, 세 가지 하위 범위, 즉 고조도 범위(ΔHIR), 중조도 범위(ΔMIR), 저조도 범위(ΔLIR)를 가정해보자. 첫째, 바이너리 레퍼런스(VBR)은 ΔHIR에서만 설정되며, ΔBR1 동안 바이너리 이미징이 수행되므로 최적화된 하이라이트 조건을 위해 DBR1이 생성된다. 그 후, ΔR1에서 VRAMP는 바이너리 레퍼런스(VBR)을 ΔMIR로 이동하면서 VSR 단계에 의한 재설정 동작을 시작한다.

따라서, 바이너리 레퍼런스(VBR)은 ΔMIR의 임계값으로 바이너리 레퍼런스(VBR) + VSR로 업데이트되고 ΔBR2의 경우 중간 조명 조건에 최적화된 이진 이미징 결과를 DBR2로 추출할 수 있다. 마찬가지로 ΔLIR의 경우 이진 이미징 결과가 DBR3로 추출된다. 마지막으로, ΔRR3에서, VRAMP가 VREF에 도달한 후 후속 픽셀 읽기에 대한 열 재설정 작업이 완료된다.

이러한 방식으로, 기둥 재설정을 위한 여유 시간 동안, 기둥 재설정을 위한 여유 시간 동안 본 발명의 일 실시예에 따른 읽기 체계는 픽셀 출력(Vpx)에 해당하는 각 광도에 대해 추가로 다단계 이진 이미지를 얻었다.

도 5는 전형적인 SS ADC 구조를 기반으로 한 듀얼 이미징 방식을 적용한 본 발명의 일 실시예에 따른 SS ADC의 간략화된 모식도를 나타낸다. 도 6은 본 발명에 따른 이중 이미징 판독 방식의 작동 원리를 명확히 하기 위해 타이밍 다이어그램과 해당 파형을 나타내는 그래프이다.

도 5 및 도 6을 참조하면, ΔBR0의 추가 스위치 하나는 VINP 노드에 연결되어 바이너리 레퍼런스(VBR)을 적용하였고, 이진 이미징 정보를 저장하기 위한 추가 4비트 메모리가 로컬 카운터에 추가되었다.

본 발명에 따른 이중 이미징 판독 방식의 작동 원리를 명확히 하기 위해 타이밍 다이어그램과 해당 파형이 도 6에 도시되어 있다. 4T-APS는 유사한 표준 CMOS 공정으로 제작된 3T-APS와 비교하여 추가 제작 단계가 필요하기 때문이다.

가격 경쟁력을 고려할 때 3T-APS의 낮은 공정 비용은 패턴 매칭, 객체 기능 감지, 이벤트 감지 등 이진 이미지 추출을 기반으로 한 저가형 머신 비전 애플리케이션에 적합하다. 본 발명의 일 실시예에 따른 체계를 3T-APS 구조에 적용하여 검증하였다.

4T-APS 구조에도 동일하게 적용할 수 있습니다. 픽셀 구조에 관계없이 후속 판독을 위해서는 픽셀 재설정 작업이 필요하다는 점에 유의해야 한다. 일반적인 그레이스케일 이미징 방식과 유사하게 ΔNC의 변환 기간 동안, 본 발명의 일 실시예에 따른 SSADC는 픽셀 출력(Vpx)를 변환한다. 특히 카운터는 VCOMP가 래칭 중일 때 카운트를 중지하고 카운트 번호를 로컬 카운터에 DNC로 저장한다.

ΔBC의 변환 기간 동안, 본 발명의 일 실시예에 따른 SSADC는 VRAMP를 재설정하는 동안 이진 이미징을 수행한다.

도 7은 본 발명의 일 실시예에 따른 이중 이미징 판독 방식이 기둥 재설정 기간 동안 읽기 계획을 수행하는 작동 원리를 설명하기 위한 도면이다.

도 7을 참조하면, 바이너리 레퍼런스(VBR)은 ΔB0 동안 CSP에서 샘플링된다. 여기서, 바이너리 레퍼런스(VBR)은 이진 이미징 기준(즉, ΔHIR)의 1/4 내에서 정의된다.

VCOMP에 따라 DBR0의 이진 이미징 결과가 ΔHIR에 대해 "1"로 추출된다. 그 후, ΔB1,2,3,4 동안 VRAMP는 ΔVRR 스텝 크기로 순차적으로 재설정되기 시작한다. ΔVR이 CSP를 통해 VINP 노드에 결합되면 순차적 재설정 작업에 따라 바이너리 레퍼런스(VBR)이 각 광도 영역에 대해 최적화된 임계값으로 업데이트 된다. 따라서 VINP 노드는 ΔB1에서 VBR + ΔVR1, ΔB2에서 VBR + ΔVR2, ΔB3에서 VBR + ΔVR3가 된다.

무화과를 고려했을 때, 예를 들어, ΔB2 동안 VCOMP의 래칭으로 인해 DBR1,2,3의 바이너리 이미징 결과는 ΔMIR2의 경우 "1", ΔMIR1의 경우 "0", ΔLIR의 경우 "0"으로 추출된다.

DBR0, 1, 2, 3의 결과는 추가 4비트 메모리에 저장된다. 또한 바이너스레퍼런스(ΔVBR)의 경우 ΔB4에서 재설정 작업이 완료됩니다. 마지막으로, ΔRX 및 ΔAZ 동안 SS ADC는 아날로그 CDS를 수행하여 후속 픽셀을 읽는다.

DBR0, 1, 2, 3의 결과는 추가 4비트 메모리에 저장된다. 또한 바이너스 레퍼런스(ΔVBR)의 경우 ΔB4에서 재설정 작업이 완료된다. 마지막으로, ΔRX 및 ΔAZ 동안 SS ADC는 아날로그 CDS를 수행하여 후속 픽셀을 읽는다.

이러한 방식으로, 추가적인 스위치, ΔBR0, VBR을 바이너리 이미징을 위한 VINP 노드에 효과적으로 제공할 수 있으며, 이는 본 발명의 일 실시예에 따른 다단계 바이너리 이미지 추출 작업을 가능하게 하기 위해 컬럼 재설정 작업과 동기화될 수 있다.

이중 이미징 읽기 체계를 갖춘 본 발명의 일 실시예에 따른 SS ADC는 몇 가지 상업적 이점을 제공하며, 주로 일반적인 읽기 아키텍처와 유사하다. 기존 이미지 센서 애플리케이션 시스템과의 호환성을 고려할 때 다음 사항에 유의해야 한다. 본 발명에 따른 SS ADC는 이진 이미징을 위한 추가 스위치와 기준 전압이 있는 기존의 SS ADC를 기반으로 한다.

또한, 본 발명의 일 실시예에 따른 체계는 주어진 프레임률을 유지하면서 하나의 추가 이진 참조만 효과적으로 사용하여 실시간으로 다단계 이진 이미징을 가능하게 한다.

설계 복잡성은 이진법 마지의 수의 증가에 따라 증가한다는 점에 유의해야 한다. 마지막으로, 본 발명의 일 실시예에 따른 이미지 센서는 머신 비전에 적합한 그레이스케일과 같은 이진 이미지를 실현하여 이진법의 장점을 극대화한다.

도 8은 이미지 센서 프로토타입의 전체 블록 다이어그램을 나타내는 도면이다. 도 9는 픽셀 출력(Vpx)에서 입력 노드(VINN)으로 가는 입력 네트워크의 간략화된 도면이다.

도 8 및 도 9를 참조하면, 이미지 센서 프로토타입은 수직 스캐너(V-스캐너), 바이어스 및 타이밍 회로, 램프 발생기, 듀얼 이미지 판독 방식을 적용한 열 병렬 제안 SSADC, 감지 증폭기가 있는 수평 스캐너(H-스캐너)를 갖춘 480(H) × 200(V) 픽셀로 구성된다.

본 발명의 일 실시예에 따른 이미지 센서가 기존 이미징 구조를 유지한다는 점을 감안할 때 기존 구조의 장점을 그대로 유지하고 추가적인 이진 이미지 정보를 추출한다. 본 연구에서는 p-n 접합 다이오드에 기반한 3T-APS 구조를 사용하였다.

픽셀 고정 패턴 노이즈(FPN)를 완화하기 위해 광학 검은색 픽셀(OBP)이 픽셀 어레이의 각 측면에 배치되었다. 상기 픽셀 출력(Vpx) 범위는 약 3μA의 픽셀 바이어스 전류로 1.4 V~0.5 V(ΔVPX = 0.9 V)로 정의하다.

읽을 화소가 순차적으로 행 대 행 방식으로 선택되는 것을 고려할 때, 도 6과 같이 화소 전류원(MPX)은 ΔSEL이 오프인 기간 동안 오프 상태가 될 수 있다.

또한, 픽셀 출력(Vpx) 종속 설정 오류는 후속 행에서 픽셀 출력(Vpx)를 설정하기 위한 시간이 부족하기 때문에 발생한다. 따라서 랜덤 노이즈(RN)가 발생한다.

이러한 문제를 완화하기 위해 도 9와 같이 MDC 및 MSB를 통한 추가 전류 블리딩 경로가 픽셀 출력(Vpx) 노드에서 입력 네트워크에 채택되었습니다. 도 9는 픽셀 출력(Vpx)에서 입력 노드(VINN)으로 가는 입력 네트워크의 간략화된 도면이다.

ΔSELB가 켜져 있을 때 픽셀 출력(Vpx) 노드는 일정 전압 레벨에 도달하여 픽셀 출력(Vpx) 노드의 변동을 감소시켰다. 또한 3T-APS는 픽셀의 불균일성으로 인해 픽셀 고정 패턴 노이즈(FPN)에 취약하다. 픽셀 출력(Vpx) 스윙 레인지(ΔVPX)를 정의하기 위해 MEN과 MPC를 통해 픽셀 출력(Vpx) 노드에 픽셀 출력(Vpx) 클램퍼가 추가되었다.

픽셀 출력(Vpx) 클램퍼는 MEN에 의해 활성화되었으며 최대 픽셀 출력(Vpx)를 VPC - VTH, PC로 제한했다. 본 발명에서 VPC는 MPX의 포화 마진을 초과하도록 설정될 수 있다.

도 10에는 종래의 SS ADC와 유사한 방식으로 설계된 두 개의 1단계 비교기의 간략화된 모식도를 나타내는 도면이다.

도 10을 참조하면, 1단계 비교기의 노이즈가 주 소음원이다. 1단계 비교기의 소음 요구사항은 10비트 기준 눈금에서 LSB의 1/3 미만으로 설정하였다. A/D 변환 시 인접 기둥으로부터의 커플링 노이즈는 주로 1단계 비교기의 공유 바이어스 라인을 통해 유도된다.

따라서 커플링 노이즈를 완화하기 위해 1단계 비교기에 컬럼 바이어스 샘플링(CBS) 회로가 채택되었다. 1단계의 바이어스 전압이 A/D 변환 전 컬럼 바이어스 샘플링(CBS)에서 샘플링된 것을 감안하면 A/D 변환 중 변동으로부터 분리될 수 있었다. 비교기의 게인과 3dB 대역폭은 각각 약 90dB와 420kHz로 설계되었다.

도 11는 램프 발생기 및 단위 전류 셀(I-Cells)용 래치 기반 스위칭 회로를 설명하기 위한 도면이다. 도 12는 시제품 칩의 현미경 사진을 나타낸다.

도 11을 참조하면, 도 11(a)은 전류 조향 DAC(Digital-to-Analog Converter) 구조에 기반한 램프 발생기의 간략화된 모식도를 나타낸다. 전류 조향 DAC(Digital-to-Analog Converter) 구조에 기반한 램프 발생기는 단위 전류 셀(I-Cells), RLoad 및 RDummy의 부하 저항기, 바이어스 회로, 전류 래치 및 제어 로직으로 구성된다.

단위 전류 셀(I-Cells)를 순차적으로 RLoad에 인가하여 출력 전압 VDAC(= → ICELL × RLoad)가 A/D 기준신호로 생성되며 MSB의 I-Cell 스위치에 의해 제어된다. 단위 전류 셀(I-Cells)의 래치 기반 스위칭 회로(전류 래치)는 도 11(b)에 나타내었다.

제어 신호 쌍(ΔRSEL 및 ΔRSELB)은 스위칭 노이즈를 줄이기 위해 I-Cell 스위치에 역방향으로 켜진다. 메모리 셀 어레이와 유사하게, 단위 전류 셀(I-Cells)이 있는 전류 래치는 2차원으로 배치되며, ΔROW와 ΔCOL을 순차적으로 선택하여 단위 전류 셀(I-Cells)을 가능하게 한다.

본 발명에 따른 이미지 센서는 열 재설정 기간을 효과적으로 활용하여(도 6에 강조 표시된 ΔBC 기간 동안), 주어진 1행 시간 동안 그레이스케일 이미지를 추출하면서 실시간 다단계 이진 이미지를 얻는다.

본 발명의 일 실시예에 따른 작업을 구현하기 위해 MR2의 추가 재설정 스위치는 ΔVBR 단계로 순차 재설정 작업 전용이며, 이는 재설정 단계 수에 해당하는 ΔBC와 그룹화된다.

입력 및 출력 연결 열 버퍼는 VDAC 노드를 공유하는 각 열에 의해 유도되는 커플링 노이즈를 최소화하는 VRAMP로 각 열에 대한 램프 발생기 출력(VDAC)을 구동한다.

또한 바이어스 회로에는 샘플링 스위치 ΔBS의 바이어스 샘플링 네트워크와 홀딩 커패시터 CBS를 추가하여 램핑 동작으로 인한 커플링 노이즈를 최소화하였다.

램프 발생기에는 프리엠퍼시시스를 위한 32단계와 10비트 해상도를 얻기 위한 1024단계로 구성된 1056개의 단위 전류 셀(I-Cells)이 필요하며, 96개의 단위 전류 셀(I-Cells)이 예비 LSB용으로 추가로 배열되어 있다.

프로토타입 듀얼 이미징 이미지 센서는 0.18 μm 1-폴리 6-메탈 (1P6M) CMOS 기술을 사용하여 제작되었다. 칩의 현미경 사진은 도 12에 나와 있습니다. 이 칩은 480 × 200 픽셀 어레이의 6 μm 피치 3T-APS 픽셀, 본 발명의 일 실시예에 따른 컬럼 병렬 SS ADC 및 주변 블록을 포함하는 4 × 2 mm2의 면적을 차지한다.

5개의 추가 광학 블록 더미 픽셀이 픽셀 어레이의 각 면에 배치되었다. 광학 블록 픽셀의 정보를 기반으로 오프칩 디지털 보정을 사용하여 픽셀 FPN을 제거했다. 프로토타입 이미지 센서는 클럭 주파수가 100 MHz인 360 fps의 프레임 속도를 보여주며, 이는 34.56 Mp/s의 픽셀 데이터 속도에 해당한다.

SS ADC의 모든 샘플링 캐패시터는 금속-산화물-금속(MOM) 캐패시터로 설계되었다. CSN과 CSP의 총 캐패시턴스는 약 2.9 pF였으며, CON과 COP의 캐패시턴스는 1.1 pF였다. 다양한 임계값으로 추가 평가를 위해 VBR은 평가판에 장착된 외부 14비트 DAC를 통해 제공되다. VBR은 전체 A/D 기준 범위의 ΔHIR 내에 배치되었다는 점에 유의해야 한다.

도 13은 60fps에서 이미지 센서 시제품의 측정된 광전 변환 특성을 나타내는 도면이다.

도 13을 참조하면, 광학 특성은 LB-8601 광원이 있는 어두운 챔버에서 측정되었으며, 이는 점차적으로 칩의 광도를 증가시켰다. 이미지 센서 프로토타입은 입사광 강도에 대한 출력 전압의 선형 응답을 나타내었으며, 비선형성은 0.022% 미만이었다. 본 발명에서는 선형근사선에서 편차를 추출하여 비선형성을 계산하였다. 시제품 이미지 센서의 감도는 디지털 출력의 기울기에서 약 54 mV/l x·s로 측정되었다.

도 13은 60fps에서 이미지 센서 시제품의 측정된 광전 변환 특성을 나타낸다. 광학 특성은 LB-8601 광원이 있는 어두운 챔버에서 측정되었으며, 이는 점차적으로 칩의 광도를 증가시켰다. 이미지 센서 프로토타입은 입사광 강도에 대한 출력 전압의 선형 응답을 나타내었으며, 비선형성은 0.022% 미만이었다. 본 발명에서는 선형근사선에서 편차를 추출하여 비선형성을 계산하였다.

도 2를 참조하면, 종래의 SS ADC 구조로부터 실시간 바이너리 영상을 획득하기 위해서는 추가적인 바이 레벨 검출기가 필요하며, 이는 더 많은 면적과 전력 소비로 이어진다. 기존 한 행 읽기 시간 내에 한 개의 이진 이미지만 추출됩니다. 그러나 이 작업의 구조는 추가 스위치가 있는 기존의 SS ADC와 유사하다.

본 발명의 일 실시예에 따른 이중 이미징 읽기 체계는 전체 A/D 기준 척도의 각 광도 영역에 대해 4개의 이진 이미지를 추출할 수 있기 때문에 이진 이미징에 대한 임계 방법의 한계를 완화할 수 있다.

이진 이미징 측면에서 본 발명의 일 실시예에 따른 읽기 방식의 이점을 명확히 하기 위해, 도 15는 기존 및 본 발명의 일 실시예에 따른 이미지 센서 사례에서 이진 이미징을 위한 비트 해상도와 관련하여 필요한 변환 수를 제시한다. 객관적인 비교를 보장하기 위해, 종래의 구조와 본 발명의 일 실시예에 따른 구조 모두 열 재설정 기간 동안 한 번만 이진 이미징을 수행한다고 가정했다.

본 발명의 일 실시예에 따른 읽기 방식은 전체 이진 이미징 참조(ΔVBR)를 4개의 동일한 범위(ΔHIR, ΔMIR1, ΔMIR2, ΔLIR)로 효율적으로 나누고, 각 기준 범위의 순차적 재설정 연산을 수행하므로 기존 방법보다 빠른 실시간 다단계 이진 이미징을 4배수로 실현한다. 게다가, 비트 해상도가 증가할수록, 바이너리 이미징에 필요한 변환 횟수가 증가했다는 점을 고려하면, 절대 절약 변환 횟수는 증가하였다.

게다가, 비트 해상도가 증가할수록, 바이너리 이미징에 필요한 변환 횟수가 증가했다는 점을 고려하면, 절대 절약 변환 횟수는 증가하였다.

도 16은 본 발명의 일 실시예에 따른 프로토타입 이미지 센서의 캡처된 이미지를 설명하기 위한 도면이다.

도 16을 참조하면, 프로토타입 이미지 센서의 캡처된 이미지를 보여준다. 모두 이미지 센서 칩에 의해 생성되었으며 필요하지 않다. 추가 오프 칩 계산 개념 증명을 위해 임계값이 VBR1에 대해 약 992 LSB로 설정되다.

포착된 정상 이미지(a)의 경우, 각 광도 범위에서 4개의 서로 다른 이진 이미지(b)를 취했는데, 이는 VBR1(ΔHIR) = 896 LSB, VBR1(ΔMIR1) = 640 LSB, VBR1(ΔMIR2) = 384 LSB, VBR(1128 L) = 128 LSB)를 나타낸다. 도 16(c)는 도 16(b)의 합성 이미지를 단순 가중치 합계에 의해 나타낸 것이다.

노란색으로 강조된 영역이 있는 도 16(b)에 나타난 바와 같이, 본 발명의 일 실시예에 따른 이미지 센서에 의해 얻어진 이진 이미지는 대상 객체의 지각 가능한 특징을 추출하여 이진 이미지의 능력을 크게 향상시켰다.

또한, 본 발명의 일 실시예에 따른 이미지 센서가 의미 있는 이진 이미지로 실시간 특징 추출을 위한 데이터 계산의 양을 줄일 수 있다는 점을 고려할 때, 본 발명의 일 실시예에 따른 방법은 에지 컴퓨팅과 관련하여 가격 경쟁력이 더 높다. 따라서 본 발명의 일 실시예에 따른 듀얼 이미징 이미지 센서는 머신 비전 분야에서 실시간 객체 인식 애플리케이션에 기여할 수 있다.

한 가지 문제는 본 발명의 일 실시예에 따른 읽기 방식의 다중 재설정 작업이 기존 열 재설정 시간에 비해 필요한 열 재설정 시간을 증가시킬 수 있다는 것이다. 사후 시뮬레이션을 기준으로 열 재설정 기간에는 기존과 비교하여 총 8개의 클럭이 추가로 할당된다.

그러나 전체 1열 판독에 필요한 총 클럭과 비교하면 사소한 문제이다. 또한, 본 발명의 일 실시예에 따른 읽기 스킴은 On/Off 기능을 적용할 수 있기 때문에 출력 성능의 단점 없이 SS ADC의 구조적 장점을 보존한다.

본 발명의 일 실시예에 따른 이미지 센서는 동적 범위를 효과적으로 네 개의 영역으로 나누고 각 영역을 나타내는 이진 이미지를 동시에 획득하여 이진 이미징을 위한 임계값 방법의 단점을 완화한다.

본 발명의 일 실시예에 따른 다단계 바이너리 이미징의 효과를 검증하기 위해, 도 17과 같이 구조유사지수맵(SSIM)을 기반으로 영상유사성 평가를 수행하였다. 고정된 임계값과 사례의 비교는 인식 가능한 빛 영역(이미지 센서 동적 범위 내)에 대해 본 발명의 일 실시예에 따른 이미지 센서의 이진 이미지의 대표성을 보여주었다.

도 17에서 수직축은 각 임계값에 해당하는 이진 이미지와의 정규화된 이미지 유사성을 나타내며, 수평축은 10비트 분해능에서 LSB 단위의 이진 이미징을 위한 임계값을 나타낸다. 고정된 임계값을 고려할 때, VBR1 = 128 LSB, 384 LSB, 640 LSB 및 896 LSB의 각 경우에 대해, 대략 VBR1에서 영상 유사도가 급격히 감소하였다.

그러나 본 발명의 일 실시예에 따른 이미지 센서가 4개의 VBR과 동일한 효과를 나타냈다는 점을 고려할 때, 각 VBR 간 이미지 유사도는 감소했지만 전체 이미지 유사도는 최소 0.75로 유지되었다. 이 결과는 본 발명의 일 실시예에 따른 이미지 센서가 빛 영역에 대한 이진 이미지의 특성 변화를 최소화하는 이진 이미징에 대한 임계값 방법의 단점을 완화한다는 것을 나타낸다.

즉, 본 발명의 일 실시예에 따른 이미지 센서는 모든 광도 영역에 대해 이진 이미지를 추출하는 유사한 효과를 보여 객체 특징 추출률이 향상된다. 에지 컴퓨팅 개념 중 하나로 객체 특징 추출을 위한 광도에 따른 적절한 이진 이미징을 통해 전반적인 시스템 효율성 향상에 기여할 수 있다.

[표 1]는 SS ADC 를 사용하는 정상 이미지 센서와 실시간 이진 이미지를 얻기 위한 전용 이미지 센서를 포함하여 이전 연구에서 본 발명의 일 실시예에 따른 방법과 프로토타입 이미지 센서의 성능 비교를 제시한다.

[표 1]

공정한 성능 평가를 위해 다양한 장점 수치(FoM)를 계산하였으며, 여기서 FoM1 및 FoM2는 CMOS 이미저의 성능을 나타내고, FoM3 및 FoM4는 판독된 ADC의 성능을 나타낸다.

프로토타입 이미지 센서는 3T-APS 구조를 사용했음에도 불구하고 960μV·pJ의 FoM1과 0.93μV·pJ/step의 FoM2를 보여주었는데, 이는 본 발명의 일 실시예에 따른 읽기 방식이 기존의 읽기 구조와 호환됨을 나타낸다.

한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (6)

1. 교류(AC) 커플링 커패시터(CSN)를 통해 싱글 슬로프(SS) 아날로그 디지털컨버터(ADC)의 어느 하나의 입력 노드(VINN)에 연결되는 픽셀 출력 노드;
   아날로그/디지털 기준 신호(VRAMP)를 제공하며 CSP노드를 통해 모든 열의 다른 입력 노드(VINP)에 연결되는 램프 발생 노드;
   다단계 바이너리 이미지의 추출 작성을 위한 열 재설정 작업과 동기화되며 바이너리 발생 노드에 의해 발생된 바이너리 레퍼런스(VBR)를 다른 입력 노드(VINP) 노드에 제공하는 스위치;
   상기 어느 하나의 입력 노드(VINN)을 통해 픽셀 출력 노드로부터 수신되는 픽셀 출력(Vpx) 및 다른 입력 노드(VINP)를 통해 램프 발생 노드 및 바이너리 발생 노드로부터 수신된 바이너리 레퍼런스(VBR)를 비교하여 출력 신호(VCOMP)를 출력하는 비교기를 포함하는 것을 특징으로 하는
   다단계 바이너리 이미징 판독 시스템.
   
2. 제1항에 있어서,
   상기 바이너리 레퍼런스(VBR)는
   미리 결정된 스텝 크기(ΔVRR)에 따라 재설정되어 각 광도 영역에 대해 최적화된 임계값으로 업데이트되는 것을 특징으로 하는
   다단계 바이너리 이미징 판독 시스템.
   
3. 제1항에 있어서,
   상기 비교기의 출력 신호(VCOMP)의 래칭 여부에 따라 카운트를 중지하고 현재 카 운트 번호를 메모리에 저장하는 로컬 카운트를 포함하는 것을 특징으로 하는
   다단계 바이너리 이미징 판독 시스템.
   
4. 교류(AC) 커플링 커패시터(CSN)를 통해 싱글 슬로프(SS) 아날로그 디지털컨버터(ADC)의 어느 하나의 입력 노드(VINN)에 연결되는 픽셀 출력 노드가 픽셀 출력(Vpx)을 출력하는 단계;
   아날로그/디지털 기준 신호(VRAMP)를 제공하며 CSP노드를 통해 모든 열의 다른 입력 노드(VINP)에 연결되는 램프 발생 노드가 바이너리 레퍼런스(VBR)를 출력하는 단계;
   다단계 바이너리 이미지의 추출 작성을 위한 열 재설정 작업과 동기화되는 스위치가 바이너리 발생 노드에 의해 발생된 바이너리 레퍼런스(VBR)를 다른 입력 노드(VINP) 노드에 제공하는 단계;
   비교기가 상기 어느 하나의 입력 노드(VINN)을 통해 픽셀 출력 노드로부터 수신되는 픽셀 출력(Vpx) 및 다른 입력 노드(VINP)를 통해 램프 발생 노드 및 바이너리 발생 노드로부터 수신된 바이너리 레퍼런스(VBR)를 비교하여 출력 신호(VCOMP)를 출력하는 단계를 포함하는 것을 특징으로 하는
   다단계 바이너리 이미징 판독 방법.
   
5. 제4항에 있어서,
   상기 바이너리 레퍼런스(VBR)는
   미리 결정된 스텝 크기(ΔVRR)에 따라 재설정되어 각 광도 영역에 대해 최적화된 임계값으로 업데이트되는 것을 특징으로 하는
   다단계 바이너리 이미징 판독 방법.
   
6. 제4항에 있어서,
   상기 비교기의 출력 신호(VCOMP)의 래칭 여부에 따라 카운트를 중지하고 현재 카 운트 번호를 메모리에 저장하는 로컬 카운트를 포함하는 것을 특징으로 하는
   다단계 바이너리 이미징 판독 방법.