KR101741754B1 - 압축 센싱 이미지 센서의 화질 개선 방법 - Google Patents

Abstract

실시예는 압축센싱 이미지 센서의 화질 개선 방법으로, 압축센싱 이미지 센서에 배열된 픽셀 어레이에서 일부 픽셀을 선택하는 단계, 선택된 픽셀에 포함된 아날로그 전압값을 변환하기 위해 1차 오버 샘플링을 수행하는 단계, 상기 1차 오버 샘플링에서 선택된 픽셀을 역방향으로 하여 2차 오버 샘플링을 수행하는 단계, 2차 델타 시그마 변조기로 디지털 코드를 획득하는 단계 및 데시메이션 필터로 상기 디지털 코드의 개수를 기설정된 갯수로 줄이는 단계를 포함할 수 있으며, 1차 델타-시그마 변조기를 사용한 경우에 비해 해상도를 높일 수 있다.

Description

압축 센싱 이미지 센서의 화질 개선 방법{Method for Enhancing Image Quality of Compressive Sensing Image Sensor}

본 발명은 압축 센싱 이미지 센서의 화질 개선 방법에 관한 것으로서, 보다 상세하게는 압축 센싱 이미지 센서에 2차 델타-시그마 변조기를 적용하여 이미지 화질을 개선할 수 있는 방법에 관한 것이다.

압축 센싱은 만약 신호가 희소한 특성을 가진다면 샤넌-나이퀴스트의 이론보다 적게 샘플링해도 원신호로 복원이 가능하다는 원리를 나타내며, 대부분의 일반적 신호들은 특정 도메인에서 신호 계수의 도메인이 0에 가깝고 의미있는 계수 값은 매우 적은 신호로 표현이 가능하기 때문이다.

신호 처리에 압축 센싱 방법이 도입되는 이유는 입력 데이터를 압축함으로써, 방대한 양의 데이터를 줄여 전송 효율을 높일 수 있고 추후 어플리케이션이 맞게 필요한 데이터 양으로 줄일 수 있기 때문에 어플리케이션에 따라서 저전력과 고효율의 구조를 구현할 수 있기 때문이다.

즉, 압축 센싱은 랜덤하게 선택한 값들을 더하는 과정을 이미지 센서에 구현하는 것으로써 CMOS 이미지 센서에 압축 센싱을 수행하는 하드웨어가 개발되고 있다.

이러한 압축 센싱을 수행하는 CMOS 이미지 센서가 미국공개특허 2014/0231620 A1에 개시된 바 있다. 이 특허에서는 픽셀 회로에서 생성되는 아날로그 신호를 디지털 신호로 변환하는 ADC로써 1차 델타-시그마 변조기를 사용하였다. 델타-시그마 변조기의 구조는 자연스럽게 신호의 선형 랜덤 합이 구현된다는 특징으로 인해 다른 변조기에 비해 디지털 출력 코드를 획득하는데 유리한 면이 있으나, 1차 델타-시그마 구조일 경우에 ADC 해상도에는 한계를 가지는 문제점이 있다.

또한, 델타-시그마 변조기에서 생성된 많은 양의 데이터를 적합하게 줄여주기 위한 데시메이션(decimation) 필터가 구비되는데, 만약 데시메이션 필터의 계수가 2차 이상이 될 경우에는 데이터를 읽어오는 순서에 따라 가중 인자(Weighting factor)가 달라지기 때문에 기존의 압축 센싱 이미지 센서에서는 2차 이상의 델타-시그마 변조기를 적용할 수 없었다.

실시예는 압축 센싱 이미지 센서에 2차 델타-시그마 구조의 변조기를 적용하기 위한 방법을 제공하는데 그 목적이 있다.

실시예는 압축센싱 이미지 센서의 화질 개선 방법으로 압축센싱 이미지 센서에 배열된 픽셀 어레이에서 일부 픽셀을 선택하는 단계; 선택된 픽셀에 포함된 아날로그 전압값을 변환하기 위해 1차 오버 샘플링을 수행하는 단계; 상기 1차 오버 샘플링에서 선택된 픽셀을 역방향으로 하여 2차 오버 샘플링을 수행하는 단계; 2차 델타 시그마 변조기로 디지털 코드를 획득하는 단계; 및 데시메이션 필터로 상기 디지털 코드의 개수를 기설정된 갯수로 줄이는 단계;를 포함할 수 있다.

그리고, 상기 1차 및 2차 오버 샘플링을 수행한 후에 각각의 샘플링 차수에 해당하는 픽셀의 전압을 순차적으로 합산하여 디지털 코드를 출력하는 것을 특징으로 한다.

그리고, 상기 2차 델타 시그마 변조기는 상기 1차 오버 샘플링에서 샘플링 차수가 증가함에 따라 선형적으로 감소하는 가중치를 가지며, 상기 2차 오버 샘플링에서 역방향의 샘플링을 수행할시 샘플링 차수가 증가함에 따라 선형적으로 증가하는 가중치를 가질 수 있다.

그리고, 상기 1차 오버 샘플링을 수행하는 단계는, 상기 압축센싱 이미지 센서에 구성된 픽셀 어레이에 구성된 픽셀들의 전압값들을 순차적으로 델타 시그마 변조기의 입력으로 넣어주는 것을 특징으로 한다.

그리고, 상기 2차 오버 샘플링을 수행하는 단계는, 상기 1차 오버 샘플링시에 순차적으로 입력된 픽셀들의 전압값을 역방향으로 샘플링하여 이를 델타 시그마 변조기의 입력으로 넣어주는 것을 특징으로 한다.

그리고, 상기 데시메이션 필터는 상기 델타 시그마 변조기와 동일하게 NTF(Noise Transfer Function)가 2차 특성을 갖는 구조로 형성될 수 있다.

본 발명의 실시예에 따르면, 1차 델타-시그마 변조기를 사용한 경우에 비해 해상도를 높일 수 있어 출력되는 이미지 화질을 개선할 수 있다.

도 1은 실시예에 따른 압축 센서 이미지 센서의 개략적인 구성을 나타낸 블록도
도 2는 NTF 차수 변화에 따른 데시메이션 필터의 가중값 함수를 나타낸 그래프
도 3은 실시예에 따른 2차 델타 시그마 변조기의 적용방법을 나타낸 도면
도 4는 압축센싱부의 동작을 나타낸 도면
도 5는 실시예에 따른 2차 델타 시그마 변조기의 구조를 나타낸 도면
도 6은 2차 델타 시그마 변조기를 사용한 경우에 실시예의 샘플링 방법을 적용 여부에 따른 이미지 화질을 비교한 도면
도 7은 1차 델타 시그마 변조기 및 2차 델타 시그마 변조기를 사용한 경우의 이미지 화질을 비교한 도면

이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세하게 설명하지만, 본 발명의 실시예에 의해 제한되거나 한정되는 것은 아니다. 본 발명을 설명함에 있어서, 공지된 기능 혹은 구성에 대해 구체적인 설명은 본 발명의 요지를 명료하게 하기 위해 생략될 수 있다.

도 1은 실시예에 따른 압축 센서 이미지 센서의 개략적인 구성을 나타낸 블록도이다.

도 1을 참조하면, 압축센싱 이미지 센서(100)는 Reference & Bias Circuit(10), Timing control logic(20), Row shift Registor(30), CMOS Control logic(40), Readout circuit(50) 및 픽셀 어레이(60)로 구성될 수 있다.

픽셀 어레이(60)는 다수개의 픽셀들이 횡방향과 종방향으로 연장되어 어레이를 이루는 구조로 이루어질 수 있다.

Reference & Bias(10)는 Readout circuit(50)과 픽셀의 동작에 필요한 바이어스 전압을 생성하며, Timing control logic(20)은 칩의 동작에 필요한 제어 신호를 생성한다.

Readout circuit(50)는 픽셀에서 생성된 아날로그 전압을 디지털 코드로 변환시키기 위한 구성으로, 픽셀 어레이의 가로방향을 따라 한 개씩의 ADC가 배치될 수 있다. shift Registor(30)는 픽셀 어레이(60)에 마련된 열을 하나씩 순차적으로 활성화시켜주는 역할을 한다.

Readout circuit(50)은 압축센싱부(51), 2차 델타 시그마 변조기(52), 데시메이션 필터(53) 및 Column shift Registor(54)를 포함하여 구성될 수 있다.

이미지 센서에 압축센싱을 구현하기 위해서 압축센싱부(51)가 마련되며, 압축센싱부(51)는 CS-MUX(compressed sensing mux)와 LFSR(Linear Feedback Shift Register)을 포함할 수 있다. 기존의 이미지 센서 구조에서는 픽셀의 각 열마다 하나의 ADC가 대응되었으나, 압축센싱 이미지 센서에서는 상기 CS-MUX를 이용하여 복수개의 픽셀에 해당되는 열에 대해서 하나의 ADC를 선택하여 대응시킬 수 있다.

LFSR(Linear Feedback Shift Register)는 픽셀을 랜덤하게 선택할지에 대한 여부를 결정하는 회로로서, 추후 복원을 위해 랜덤하게 선택된 값을 알아야 하기 때문에 의사-난수(Pseudo-random) 생성 방식이 사용될 수 있다.

실시예에서는 기존의 압축센싱 이미지 센서와는 달리, 2차 델타 시그마 변조기(52)를 적용하며, 이를 적용하기 위한 방법을 하기에 설명한다. 실시예의 설명에서 1차 델타 시그마 변조기는 NTF(Noise Transfer Function)가 1차 특성을 갖는 변조기이며, 2차 델타 시그마 변조기는 NTF(Noise Transfer Function)가 2차 특성을 갖는 변조기를 나타내는 것으로 정의한다.

Column shift register(54)는 델타 시그마 변조기(ADC)에서 생성된 디지털 코드를 칩 외부로 전송하는 역할을 한다.

도 2는 NTF 차수 변화에 따른 데시메이션 필터의 가중값 함수를 나타낸 그래프이다. 도 2를 참조하면, 델타 시그마 변조기의 NTF(Noise Transfer Function)가 1차 특성을 갖는 경우 가중치값(w1)이 모든 샘플링값에 대해 동일하게 나타나는 반면, 2차 특성을 갖는 경우에는 가중치값(w2)이 초기값을 기준으로 선형적으로 감소하는 경향을 나타낸다.

델타 시그마 변조기의 NTF가 3차 특성을 갖는 경우에는 가중치값(w3)이 초기값을 기준으로 감소폭이 점차 증가하는 경향을 나타낸다. 이는, 2차 이상의 특성을 갖는 델타 시그마 변조기를 적용한 압축센싱 이미지 센서는 랜덤 선택된 신호를 선형적으로 합산할 경우 가중치의 상이함으로 인해 출력되는 디지털 신호에 왜곡이 생기게 됨을 의미한다.

따라서, 본 실시예는 압축센싱 이미지 센서에 2차 특성을 갖는 델타 시그마 변조기를 적용하기 위해서 역방향 샘플링을 재차 수행함에 그 특징이 있다.

도 3은 실시예에 따른 2차 델타 시그마 변조기의 적용방법을 나타낸 도면이다. 도 3을 참조하면, 2차 델타 시그마 변조기는 샘플링값이 1부터 1000까지 증가함에 따라 가중치값이 초기값으로부터 선형적으로 감소하는 제1 그래프(Y₁)를 가지므로, 샘플링을 역방향으로 실시한다면 샘플링값이 1000부터 1까지 감소함에 따라 가중치값이 선형적으로 감소하는 제2 그래프(Y₂)를 가지게 될 것이다. 즉, 제1 그래프와 제2 그래프는 중심 샘플링값인 500을 기준으로 대칭을 이루는 상태가 된다.

예를 들어, 정방향의 출력 전압을 V_A, 역방향의 출력 전압을 V_B라 하였을 때, V_A= 8×V₁+7×V₂+6×V₃+5×V₄+4×V₅+3×V₆+2×V₇+1×V₈ 과 같이 표현될 수 있으며, V_B= 8×V₈+7×V₇+6×V₆+5×V₅+4×V₄+3×V₃+2×V₂+1×V₈ 과 같이 표현될 수 있을 것이다.

즉, 정방향의 출력 전압(V_A)과 역방향의 출력 전압(V_B)을 합하면, [9×(V₁+V₂+V₃+V₄+V₅+V₆+V₇+V₈)]와 같이 표현될 수 있으며, 이로 인해 모든 샘플링값에 해당되는 가중치값이 동일해짐을 알 수 있다.

도 4는 압축센싱부의 동작을 나타낸 도면이다. 도 4의 (a)를 참조하면, 정방향의 샘플링시에는 가로방향으로 특정한 열의 픽셀 어레이를 선택하는 제어 신호(ROW_CLK)에 의해 랜덤한 4개의 픽셀들이 선택된다. 선택된 픽셀들은 해당되는 전압값에 대응되는 디지털 코드를 출력한다. (b)의 경우 역방향의 샘플링시에는 이전에 선택되었던 랜덤한 4개의 픽셀들을 역순으로 선택하는 제어신호를 통해 이에 대한 디지털 코드를 출력하게 된다.

도 5는 압축센싱부의 동작을 나타낸 도면이다. 도 1을 참조하면, 픽셀 어레이를 이루는 하나의 블록(Block)은 4 shared 구조로 이루어진 픽셀들이 가로 세로 방향으로 8개씩 64개의 픽셀로 구성될 수 있다. 도 5와 같이, 압축센싱부는 첫번째 줄에 해당하는 4×4로 이루어진 픽셀 어레이에서 동일한 위치에 해당하는 픽셀들의 값을 받아 Row1을 구성한다. 마지막 줄에 해당하는 픽셀 어레이에서 픽셀들의 값을 받아 Row4를 구성하면 64개의 픽셀값이 순차적으로 델타 시그마 변조기의 입력으로 들어갈 수 있다.

또한, 압축센싱부는 랜덤하게 픽셀들의 전압값 또는 특정 레퍼런스값을 선택하여 델타 시그마 변조기의 입력으로 들어갈 수 있도록 한다.

즉, 4×4로 이루어진 픽셀 어레이에서 랜덤 선택된 픽셀들에 의해 델타 시그마 변조기에는 64개의 샘플링값 또는 특정 레퍼런스값이 순차적으로 입력된다. 이어서, 이전에 랜덤하게 선택된 픽셀의 순서를 역순으로 하여 64개의 샘플링값 또는 특정 레퍼런스값을 델타 시그마 변조기의 입력으로 넣어주는 과정이 수행될 수 있다.

본 발명에 따른 압축센싱 이미지 센서의 화질 개선 방법을 다시 설명하면 다음과 같다. 우선 압축센싱 이미지 센서에 배열된 픽셀 어레이에서 일부 픽셀을 선택하는 단계를 수행한다. 그리고, 선택된 픽셀에 포함된 아날로그 전압값을 변환하기 위해 1차 오버 샘플링을 수행하는 단계를 수행하고 상기 1차 오버 샘플링에서 선택된 픽셀을 역방향으로 하여 2차 오버 샘플링을 수행하는 단계를 수행한다.

실시예에서는 상술한 2번의 오버 샘플링 과정을 통해 종래 1차 특성의 델타 시그마 변조기를 사용한 것과는 달리 2차 델타 시그마 변조기로 디지털 코드를 획득할 수 있다. 그리고, 데시메이션 필터로 상기 디지털 코드의 개수를 기설정된 갯수로 줄이는 단계를 포함할 수 있다.

실시예는 상기 1차 및 2차 오버 샘플링을 수행한 후에 각각의 샘플링 차수에 해당하는 픽셀의 전압을 순차적으로 합산하여 디지털 코드를 출력하기 때문에 가중치 값을 선형적으로 합산할 수 있다.

이는, 상기 2차 특성의 델타 시그마 변조기는 상기 1차 오버 샘플링에서 샘플링 차수가 증가함에 따라 선형적으로 감소하는 가중치를 가지며, 상기 2차 오버 샘플링에서 역방향의 샘플링을 수행할시 샘플링 차수가 증가함에 따라 선형적으로 증가하는 가중치를 가지기 때문이다.

상기 1차 오버 샘플링을 수행하는 단계는, 상기 압축센싱 이미지 센서에 구성된 픽셀 어레이의 가로 방향으로 배열된 열을 일정한 갯수만큼 랜덤하게 선택될 수 있다. 그리고, 상기 데시메이션 필터는 상기 델타 시그마 변조기와 동일하게 2차 특성을 갖는 구조로 형성될 수 있다.

도 6은 2차 델타 시그마 변조기를 사용한 경우에 실시예의 샘플링 방법을 적용 여부에 따른 이미지 화질을 비교한 도면이다.

도 6을 참조하면, (a)는 원본 이미지이며 (b)는 종래의 방법으로 2차 델타 시그마 변조기를 사용한 압축센싱 이미지 센서에서 얻어진 이미지이고, (c)는 실시예와 같은 방법을 적용하여 2차 델타 시그마 변조기를 구비한 압축센싱 이미지 센서에서 얻어진 이미지이다.

(b)를 참조하면, 종래의 압축센싱 이미지 센서에서는 2차 델타 시그마 변조기를 적용시 가중치값을 선형적으로 합산되지 않아, 각 픽셀의 화소값에 왜곡이 발생함을 확인할 수 있었으나, (c)와 같이 실시예의 방법을 적용한 압축센싱 이미지 센서에서 도출된 이미지는 가중치값을 보상함으로써 원본 이미지와 유사하게 이미지의 화질이 개선되었음을 확인할 수 있다.

도 7은 1차 델타 시그마 변조기 및 2차 델타 시그마 변조기를 사용한 경우의 이미지 화질을 비교한 도면이다.

도 7에서 (a)는 원본 이미지이며, (b)는 1차 델타 시그마를 사용한 압축센싱 이미지 센서를 통한 이미지이고 (c)는 실시예와 같은 방법을 적용하여 2차 델타 시그마 변조기를 사용한 압축센싱 이미지 센서에서의 이미지를 나타낸다.

도 7의 (b)는 압축센싱후 압축비가 1/2인 경우이고, (c)는 압축센싱후 압축비가 1/2인 경우를 나타낸다. 도 8의 (b)와 (c)를 비교하면, 실시예와 같은 (c)의 이미지의 화질이 PSNR가 6dB 가량 높게 나타났으며, 원본 이미지와 유사하게 화질이 개선되었음을 확인할 수 있다.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

100: 압축센싱 이미지 센서
10: Reference & Bias Circuit
20: Timing control logic
30: Row shift Registor
40: CMOS Control logic
50: Readout circuit
55: LFSRs
60: 픽셀 어레이

Claims (6)

1. NTF(Noise Transfer Function)가 2차 특성을 가지며 아날로그 신호를 디지털 신호로 변환하는 ADC인 2차 델타 시그마 변조기를 사용하는 압축센싱 이미지 센서에 배열된 픽셀 어레이에서 일부 픽셀을 랜덤하게 선택하는 단계;
   선택된 픽셀에 포함된 아날로그 전압값을 변환하기 위해 상기 선택된 픽셀의 전압값에 대해 1차 오버 샘플링을 수행하는 단계;
   상기 1차 오버 샘플링이 수행된 픽셀의 순서를 반대로 하여 상기 1차 오버 샘플링이 수행된 픽셀의 전압값에 대해 2차 오버 샘플링을 수행하는 단계;
   샘플링 차수가 증가함에 따라 선형적으로 감소하는 가중치를 가지는 2차 델타 시그마 변조기를 통해 1차 오버 샘플링을 수행한 후 얻어진 픽셀의 전압값과, 1차 오버 샘플링의 순번과 반대 순번으로 2차 오버 샘플링을 수행하여 얻어지며 1차 오버 샘플링과 동일한 순번으로 샘플링된 픽셀의 전압값을 합하여 디지털 코드를 획득하는 단계; 및
   데시메이션 필터로 상기 디지털 코드의 개수를 기설정된 갯수로 줄이는 단계;를 포함하는 압축센싱 이미지 센서의 화질 개선 방법.
2. 제 1항에 있어서,
   상기 1차 및 2차 오버 샘플링을 수행한 후에 각각의 샘플링이 수행되는 동일한 순번 해당하는 픽셀의 전압을 순차적으로 합산하여 디지털 코드를 출력하는 압축센싱 이미지 센서의 화질 개선 방법.
3. 제 1항에 있어서,
   상기 2차 델타 시그마 변조기는 상기 1차 오버 샘플링에서 샘플링이 수행되는 동일한 순번이 증가함에 따라 선형적으로 감소하는 가중치를 가지며, 상기 2차 오버 샘플링에서는 샘플링이 수행되는 동일한 순번이 증가함에 따라 선형적으로 증가하는 가중치를 가져 1차 및 2차 오버 샘플링 후에 동일한 순번에 해당되는 픽셀의 전압값을 합산시에 동일한 가중치를 갖는 압축센싱 이미지 센서의 화질 개선 방법.
4. 제 1항에 있어서,
   상기 1차 오버 샘플링을 수행하는 단계는, 상기 압축센싱 이미지 센서에 구성된 픽셀 어레이에 구성된 픽셀들의 전압값들을 순차적으로 상기 2차 델타 시그마 변조기의 입력으로 넣어주는 압축센싱 이미지 센서의 화질 개선 방법.
5. 제 1항에 있어서,
   상기 2차 오버 샘플링을 수행하는 단계는, 상기 1차 오버 샘플링시에 순차적으로 입력된 픽셀들의 전압값을 역방향으로 샘플링하여 이를 상기 2차 델타 시그마 변조기의 입력으로 넣어주는 압축센싱 이미지 센서의 화질 개선 방법.
6. 제 1항에 있어서,
   상기 데시메이션 필터는 상기 2차 델타 시그마 변조기와 동일하게 NTF(Noise Transfer Function)가 2차 특성을 갖는 구조로 형성되는 압축센싱 이미지 센서의 화질 개선 방법.

Images