KR101653622B1

KR101653622B1 - 엣지 정보 추출을 위한 이미지 센서

Info

Publication number: KR101653622B1
Application number: KR1020150063957A
Authority: KR
Inventors: 김용신; 김정석
Original assignee: 고려대학교 산학협력단
Priority date: 2015-05-07
Filing date: 2015-05-07
Publication date: 2016-09-05
Also published as: US10554919B2; US20160330393A1

Abstract

이미지 센서가 개시된다. 상기 이미지 센서는 피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 데이터로 변환하는 복수의 픽셀들을 포함하는 픽셀 어레이, 상기 복수의 픽셀들 각각을 제어하기 위한 복수의 제어 신호들을 출력하기 위한 드라이버, 인접하는 두 개의 픽셀들로부터 출력되는 데이터를 비교하여, 비교 결과를 출력하는 비교부, 및 상기 비교부의 출력 신호를 수신하고, 프레임 데이터를 출력하기 위한 버퍼를 포함한다.

Description

엣지 정보 추출을 위한 이미지 센서{IMAGE SENSOR FOR EXTRACTING EDGE INFORMATION}

본 발명의 개념에 따른 실시 예는 이미지 센서에 관한 것으로, 특히 아날로그-디지털 변환 과정을 거치지 않는 프레임 데이터를 출력하는, 엣지 정보 추출을 위한 이미지 센서에 관한 것이다.

종래의 이미지 센서의 경우 이미지 데이터를 추출하기 위하여 픽셀 어레이에 포함된 복수의 픽셀들을 열(column) 단위로 접근하거나 행(row) 단위로 접근하여 데이터를 추출한다. 또한, 종래의 엣지 추출을 위한 이미지 센서는 복수의 픽셀들을 포함하는 픽셀 어레이, 로우 어드레스에 응답하여 픽셀 어레이의 로우를 구동하기 위한 로우 구동부, 선택된 로우의 아날로그 픽셀 데이터를 입력받아 디지털로 변환하기 위한 아날로그-디지털 변환부 및 아날로그-디지털 변화부로부터 출력되는 디지털 픽셀 데이터를 입력받아 컬럼 어드레스에 응답하여 픽셀 데이터를 출력하기 위한 어드레스 지정이 가능한 버퍼 메모리로 구성된다.

그러나, 이와 같은 이미지 센서를 이용하는 경우 이미지 센서에서 추출된 데이터를 그대로 디스플레이하는 경우에는 효율적일 수 있지만 엣지 정보를 추출하기 위해서는 인접하고 있는 픽셀 간의 신호 값을 비교하여야 하기 때문에 비효율적일 수 있다. 즉, 기존의 이미지 센서의 구조를 채택하고 있는 한 많은 소자와 동작을 필요로 하기 때문에 이미지 센서의 전력 소모가 크고, 반응 시간이 길다는 단점이 있다.

대한민국 공개특허 제2014-0028064호 대한민국 공개특허 제2012-0052610호 대한민국 공개특허 제2011-0064106호

본 발명이 이루고자 하는 기술적인 과제는 아날로그-디지털 변환 과정을 거치지 않고 용이하게 엣지 정보를 추출할 수 있는 프레임 데이터를 출력하는, 엣지 정보 추출을 위한 이미지 센서를 제공하는 것이다.

본 발명의 일 실시 예에 의한 이미지 센서는, 피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 데이터로 변환하는 복수의 픽셀들을 포함하는 픽셀 어레이, 상기 복수의 픽셀들 각각을 제어하기 위한 복수의 제어 신호들을 출력하기 위한 드라이버, 인접하는 두 개의 픽셀들로부터 출력되는 데이터를 비교하여, 비교 결과를 출력하는 비교부, 및 상기 비교부의 출력 신호를 수신하고, 프레임 데이터를 출력하기 위한 버퍼를 포함한다.

본 발명의 실시 예에 따른 이미지 센서는 아날로그-디지털 변환 과정 없이 용이하게 엣지 정보를 추출할 수 있는 프레임 데이터를 생성할 수 있는 효과가 있다.

또한, 본 발명의 실시 예에 따른 이미지 센서는 아날로그-디지털 변환기를 포함하고 있지 않으며, 하나의 광원과 하나의 이미지 센서로 구현이 가능하므로, 이미지 센서의 소비 전력을 획기적으로 감소시킬 수 있으며, 반응 속도 또한 향상시킬 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템의 블럭도이다.
도 2는 도 1에 도시된 이미지 센서의 기능 블럭도이다.
도 3은 도 2에 도시된 비교부를 도시한다.
도 4는 도 2에 도시된 버퍼를 도시한다.
도 5는 도 1에 도시된 이미지 센서로부터 출력된 프레임 데이터의 일 예를 도시한다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템의 블럭도이다.

도 1을 참조하면, 엣지 정보 추출 시스템으로 불릴 수도 있는 이미지 처리 시스템(1)은 이미지 센서(image sensor; 10) 및 이미지 신호 프로세서(image signal processor; 30)를 포함한다.

이미지 센서(10), 예컨대 CMOS(Complementary Metal Oxide Semiconductro) 이미지 센서는 피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 신호(또는 전기적인 이미지 데이터)로 변환하고 상기 전기적인 이미지 신호, 즉 프레임 데이터(frame data; FDATA)를 출력할 수 있다.

또한, 이미지 센서(10)는 이미지 신호 프로세서(30)로부터 출력되는 제어 신호(CTRL)에 응답하여 프레임 데이터(FDATA)를 생성하고, 생성된 프레임 데이터(FDATA)를 출력할 수 있다.

이미지 신호 프로세서(30)는 프레임 데이터(FDATA)를 수신하고, 프레임 데이터(FDATA) 내의 엣지(edge) 정보를 추출할 수 있다.

실시 예에 따라, 이미지 신호 프로세서(30)와 이미지 센서(10)는 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package)로 패키징될 수 있다.

이미지 처리 시스템(1)은 디지털 카메라, DSLR 카메라(digital single-lens reflex camera), 이동 전화기(mobile phone), 스마트폰(smart phone), 태블릿(tablet) 컴퓨터, 핸드헬드 장치(handheld device) 등과 같은 전자 장치로 구현될 수 있다. 또한, 이미지 처리 시스템(1)은 스마트 와치(smart watch), 스마트 글라스(smart glass) 등과 같은 웨어러블 디바이스(wearabel device) 등으로 구현될 수도 있다.

도 2는 도 1에 도시된 이미지 센서의 기능 블럭도이다.

도 1 및 도 2를 참조하면, 이미지 센서(10)는 픽셀 어레이(100), 로우 드라이버(300), 비교부(500), 및 버퍼(700)를 포함한다. 실시 예에 따라, 이미지 센서(10)는 상관 이중 샘플링(Correlated Double Sampling; CDS) 회로(200) 및/또는 PGA(Programmable Gain Amplifier) 회로(400)를 더 포함할 수도 있다.

픽셀 어레이(100)는 매트릭스 형태로 배열된 복수의 픽셀들을 포함한다. 상기 복수의 픽셀들 각각은 특정 스펙트럼(spectrum) 영역의 빛을 전기 신호로 변환할 수 있다. 상기 특정 스펙트럼 영역은 적외 영역을 의미할 수 있으나, 본 발명이 이에 제한되는 것은 아니다.

로우 드라이버(300)는, 도시되지는 않았으나 이미지 센서(10)에 포함될 수 있는 타이밍 생성기의 제어에 따라, 복수의 픽셀들 각각의 광 감지 동작을 제어하기 위한 복수의 제어 신호들을 생성할 수 있다. 로우 드라이버(300)는 로우(row) 단위로 픽셀들을 구동할 수 있다.

상관 이중 샘플링 회로(200)는 픽셀 어레이(100)의 출력되는 아날로그 픽셀 신호에 대하여 상관 이중 샘플링 동작을 수행할 수 있다. 상관 이중 샘플링 회로(200)의 상관 이중 샘플링 동작으로 인하여 픽셀간의 오프셋(offset)이 제거될 수 있다.

PGA 회로(400)는 상광 이중 샘플링 회로(200)에 의해 샘플링된 신호를 미리 설정된 이득(gain)으로 증폭할 수 있다. PGA 회로(400)로 인하여 SNR(Signal-to-Noise Ratio) 특성이 개선될 수 있다.

비교부(500)는 복수의 비교기들을 포함하며, 인접하는 두 개의 컬럼 데이터 라인이 상기 복수의 비교기들 각각의 입력단과 접속된다. 따라서, 비교부(500)는 인접한 두 개의 픽셀의 데이터를 비교하고 비교 결과를 출력할 수 있다. 실시 예에 따라, 상관 이중 샘플링 회로(200)의 출력 라인 또는 PGA 회로(400)의 출력 라인이 상기 복수의 비교기들 각각의 입력단과 접속되어, 비교부(500)는 인접한 두 개의 픽셀의 데이터를 비교하고 비교 결과를 출력할 수 있다.

버퍼(700)는 비교부(500)로부터 출력된 디지털 신호를 임시 저장한 후 상기 디지털 신호를 감지 증폭하여 출력한다.

상기 타이밍 생성기는 각 구성 요소(300, 200, 400, 500 및 700)의 동작을 제어하기 위한 제어 신호들을 출력할 수 있다.

또한, 이미지 센서(10)는 특정 파장의 빛을 피사체에 조사하는 광원을 더 포함할 수 있다. 상기 광원은 적외 대역의 파장의 빛을 조사할 수 있는 LED(Light Emitting Diode)로 구현될 수 있다.

도 3은 도 2에 도시된 비교부를 도시한다. 도 1 내지 도 3을 참조하면, 비교부(500)는 복수의 비교기들(510)을 포함한다.

인접한 두 개의 컬럼 데이터 라인은 상기 복수의 비교기들 각각의 입력과 접속되어 있다. 따라서, 비교기(510)는 인접한 두 개의 픽셀의 데이터를 비교하고 비교 결과를 출력할 수 있다. 다만, 이미지 센서(10)가 CDS 회로(200)를 포함할 경우 CDS 회로(200)의 출력 라인이 상기 복수의 비교기들 각각의 입력과 접속될 수 있고, 이미지 센서(10)가 PGA 회로(400)를 포함할 경우 PGA 회로(400)의 출력 라인이 상기 복수의 비교기들 각각의 입력과 접속될 수 있다.

이때, 비교기(510)는 인접한 두 개의 픽셀 데이터가 동일할 경우 "0"과 "1" 중 어느 하나(예컨대, "0")를 출력하고, 인접한 두 개의 픽셀 데이터가 동일하지 않는 경우 "0"과 "1" 중 다른 하나(예컨대, "1")를 출력할 수 있다.

실시 예에 따라, 비교기(510)은 두 개의 픽셀 데이터의 차이가 미리 정해진 값보다 작은 경우 "0"과 "1" 중 어느 하나를 출력하고, 인접한 두 개의 픽셀 데이터의 차이가 미리 정해진 값보다 큰 경우 "0"과 "1" 중 다른 하나를 출력할 수 있다.

도 4는 도 2에 도시된 버퍼를 도시한다. 도 1 내지 도 4를 참조하면, 버퍼(700)는 컬럼 메모리 블럭(710) 및 감지 증폭기(730)를 포함하고, 컬럼 메모리 블럭(710)은 복수의 메모리들(711)을 포함한다.

복수의 메모리들(711) 각각은 타이밍 생성기로부터 생성된 제어 신호에 기초하여 컬럼 메모리 블럭(710)의 내부 또는 상기 타이밍 생성기의 내부에 위치한 메모리 컨트롤러(미도시)에 의해 생성된 메모리 제어 신호에 따라 동작할 수 있다. 복수의 메모리들(711) 각각은 SRAM(Static Random Access Memory)으로 구현될 수 있다.

컬럼 메모리 블럭(710)은 상기 메모리 제어 신호에 따라 복수의 비교기들 각각으로부터 출력된 디지털 신호를 임시 저장한 후 감지 증폭기(730)로 출력하며, 감지 증폭기(730)는 상기 디지털 신호를 감지 증폭하여 출력한다. 이때, 출력되는 디지털 신호는 프레임 데이터(FDATA)일 수 있다.

도 5는 도 1에 도시된 이미지 센서로부터 출력된 프레임 데이터의 일 예를 도시한다.

도 5a를 참조하면, 프레임 데이터에 포함된 모든 픽셀 데이터가 "0"으로 구성되어 있다. 이는 인접 셀들이 모두 동일한 값을 갖거나, 유사한 값을 갖는 경우에 나타날 수 있는 프레임 데이터임을 알 수 있다. 따라서, 상기 프레임 데이터 상에서 엣지는 추출될 수 없다.

도 5b를 참조하면, 프레임 데이터에 포함된 픽셀 데이터가 "0" 또는 "1"로 구성되어 있다. 인접 셀들이 상이한 값을 가지거나, 미리 정해진 차이를 벗어나는 경우의 픽셀 데이터가 "1"이므로, 이미지 신호 프로세서(30)는 소정의 알고리즘을 이용하여 엣지(50)를 추출할 수 있다.

도 1 내지 도 5를 통하여 설명된 이미지 센서(10)는 픽셀 어레이(100)에 포함된 복수의 픽셀들을 행 단위로 선택하는 로우 드라이버(300)를 구비하고, 픽셀 어레이(100)는 행 단위의 픽셀 데이터를 출력한다.

그러나, 본 발명이 이에 제한되는 것이 아님은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다. 즉, 이미지 센서(10)는 픽셀 어레이(100)에 포함된 복수의 픽셀들을 열 단위로 선택하는 컬럼 드라이버를 구비하고, 픽셀 어레이는 열 단위의 픽셀 데이터를 출력할 수도 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

1 : 이미지 처리 시스템
10 : 이미지 센서
30 : 이미지 처리 프로세서
50 : 엣지
100 : 픽셀 어레이
200 : CDS 회로
300 : 로우 드라이버
400 : PGA 회로
500 : 비교부
510 : 비교기
700 : 버퍼
710 : 컬럼 메모리 블럭
711 : 메모리
730 : 감지 증폭기

Claims

피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 데이터로 변환하는 복수의 픽셀들을 포함하는 픽셀 어레이;
상기 복수의 픽셀들 각각을 제어하기 위한 복수의 제어 신호들을 출력하기 위한 드라이버;
인접하는 두 개의 픽셀들로부터 출력되는 데이터를 비교하여, 비교 결과를 출력하는 비교부; 및
상기 비교부의 출력 신호를 수신하고, 프레임 데이터를 출력하기 위한 버퍼를 포함하고,
상기 드라이버는 상기 복수의 픽셀들을 행(row) 단위 또는 열(column) 단위로 선택하고,
상기 비교부는 복수의 비교기들을 포함하고,
상기 복수의 비교기들 각각은 행 단위로 출력되는 데이터 중 인접하는 두 개의 픽셀들로부터 출력되는 데이터를 비교하는,
이미지 센서.
제1항에 있어서,
상기 이미지 센서는 적외 대역의 파장을 갖는 광을 상기 피사체로 조사하는 광원을 더 포함하고,
상기 복수의 픽셀들 각각은 상기 적외 대역의 파장을 갖는 광을 전기적인 이미지 데이터로 변환하는, 이미지 센서.
제1항에 있어서,
상기 드라이버는 상기 복수의 픽셀들을 행(row) 단위로 선택하는 로우 드라이버인, 이미지 센서.
제1항에 있어서,
상기 드라이버는 상기 복수의 픽셀들을 열(column) 단위로 선택하는 컬럼 드라이버인, 이미지 센서.
제1항에 있어서,
상기 비교부는 인접하는 두 개의 픽셀들의 데이터가 동일한 경우 "0"과 "1" 중 어느 하나를 출력하고, 인접하는 두 개의 픽셀들의 데이터가 동일하지 않은 경우 "0"과 "1" 중 다른 하나를 출력하는, 이미지 센서.
제1항에 있어서,
상기 비교부는 인접하는 두 개의 픽셀들의 데이터의 차이가 미리 정해진 범위내인 경우 "0"과 "1" 중 어느 하나를 출력하고, 인접하는 두 개의 픽셀들의 데이터의 차이가 상기 미리 정해진 범위밖인 경우 "0"과 "1"중 다른 하나를 출력하는, 이미지 센서.
제1항에 있어서,
상기 이미지 센서는 상기 픽셀 어레이로부터 출력되는 픽셀 신호에 대하여 상관 이중 샘플링을 수행하는 CDS(Correlated Double Sampling) 회로를 더 포함하고,
상기 비교부는 상기 CDS 회로로부터 출력되는 데이터를 비교하는,
이미지 센서.