KR102378468B1 - 고차 델타-시그마 구조를 사용한 이미지 센서 및 이미지 센서의 압축센싱 방법 - Google Patents

Abstract

실시 예는 고차 델타-시그마 변조기를 압축센싱 이미지 센서에 적용하는 방법으로, 이미지 센서에 배열에서 측정행렬을 기반으로 일련의 픽셀 그룹을 선택하는 단계, 선택된 그룹 내의 개별 픽셀이 델타-시그마 변조기에 입력되는 순서를 결정하기 위해 분할 문제의 해를 도출하고 이것을 적용하여 샘플링 순서을 도출하는 단계, 상기 분할 알고리즘을 사용하여 도출한 샘플링 순서에 따라서 오버 샘플링을 수행하는 단계를 포함할 수 있으며, 높은 차수의 델타-시그마 변조기를 사용할수록 샘플링 속도를 높일 수 있다.

Description

고차 델타-시그마 구조를 사용한 이미지 센서 및 이미지 센서의 압축센싱 방법 {Method for Compressive sensing using high-order sigma-delta modulator for Image sensor and an Image sensor using high-order sigma-delta modulator}

본 발명은 2차 이상의 델타-시그마 구조를 이용한 압축 센싱 방법 관한 것으로서, 보다 상세하게는 압축 센싱를 2차 이상의 델타-시그마 변조기를 적용하여 센싱 속도를 개선할 수 있는 방법에 관한 것이다.

최근 CMOS 이미지 센서 시장에서 고화소, 고해상도 및 고속도 성능에 대한 요구가 증가하고 있다. 기술의 사용범위가 넓어지면서 이러한 요구는 더 증가할 것으로 예측된다. 대표적인 예로서 HDR 카메라, 차량용 이미지 센서, 감시용 드론 이미지 센서, 의료 장비(MRI, CT) 등이 있다. 하지만 고화소와 고해상도에 대한 요구에 따라 이미지 센서가 처리하는 데이터의 양과 시간이 함께 증가하기 때문에 프레임 레이트에 대한 제한이 문제가 되고 있다. 이렇게 이미지 센서의 고화소, 고해상도의 요구와 고속도에 대한 요구가 서로 상충되는 관계를 보이는 이유는 다음과 같다. 기존 이미지 센서에서 동작 시간은 ADC의 하드웨어 적인 특성에 의해서 결정된다. 이미지 센서에는 고화소 성능에 대한 요구에 따라 한정된 크기에 더 많은 픽셀을 넣기 위해 화소의 크기가 점점 감소되어 왔다. 따라서 기존의 CMOS 이미지 센서에는 한정된 크기에 설계가 용이하고 전력 소모가 적은 싱글-슬로프 (single slope) ADC와 델타-시그마 (Delta-sigma) ADC를 주로 사용하였다. 하지만 상기 ADC의 경우 크기가 작으나 고해상도로 가면 데이터를 변환하는데 필요한 시간이 급격하게 증가한다. 또한 도 8에 도시된 바와 같이 싱글-슬로프 ADC의 경우데이터를 변환하는데 필요한 시간이 해상도 커짐에 따라 급격하게 증가한다. 이는 이미지 센서의 곧 프레임 레이트의 감소를 초래한다.

이러한 구조적 특징을 극복하고 데이터를 변환하는데 속도를 단축하기 위해서 압축센싱에 대한 연구가 활발히 진행되고 있다. 압축센싱이란 만약 신호가 희소한 특성을 가진다면 기존의 샤넌-나이퀴스트의 이론보다 적은 신호를 샘플링해도 원신호에 가깝게 신호를 복원할 수 있다는 원리이다. 이에 따르면 방대한 양의 원본 데이터를 측정행렬을 기반으로 압축하여 데이터를 변환하는 시간을 크게 단축할 수 있다. 따라서 이미지 센서에서 구조적 특성에서 발생하는 속도의 제한을 신호처리 방식으로 증가 시킬 수 있기 때문에 높은 프레임 레이트를 필요로 하는 CMOS 이미지 센서에 압축 센싱을 수행하는 하드웨어가 개발되고 있다.

종래 기술로서 압축 센싱을 수행하는 CMOS 이미지 센서는 미국공개특허 2014/0231620 A1에 개시된 바 있다. 본 특허에서는 델타-시그마 변조기의 샘플링 방식이 압축 센성에서 요구하는 방식에 적용되기에 효율적인 구조임을 나타낸다. 델타 시그마 구조의 경우 입력에 대하여 가중 인자(Weighting factor)를 지니는데 일차 델타 시그마의 경우 가중인자가 일정하기 때문에 원본 데이터로부터 선형 합을 도출하기 용이하다. 그러나 1차 델타-시그마의 경우 도 8에 도시된 바와 같이 높은 해상도에서 데이터를 변환하는데 많인 시간이 필요하다는 한계를 가진다. 이러한 문제는 고차 델타 시그마를 통해 해결할 수 있지만 고차 델타-시그마의 경우 데이터를 읽어오는 순서에 따라 가중 인자가 선형적으로 혹은 비선형적으로 감소하는 문제를 지닌다. 변조기가 선형합을 도출하기 위해서는 선형합을 구성하는 데이터들이 모두 동일한 가중인자를 지녀야 하기 때문에 기존의 압축 센싱 이미지 센서에서 2차 이상의 계수를 갖는 델타-시그마 변조기를 적용할 수 없었다.

두 번째 종래 기술로서 1020160027257 (2016.03.07)에서는 상기 2014/0231620 A1에서 일차 델타시그마 구조가 가진 속도의 문제를 해결하기 위해서 이차 델타시그마를 사용한 압축 센싱 방법을 제안했다. 상기 이차 델타시그마를 이용한 발명에서는 이차 델타시그마의 가중인자가 선형적으로 감소한다는 특성을 이용하여 특정 픽셀에 대하여 순방향 샘플링 과정과 역방향 샘플링 과정을 포함한다. 각 픽셀에 대하여 순방향 샘플링 과정에서는 선형적으로 감소하며 역방향 샘플링 과정에서는 가중치가 선형적으로 증가한다. 따라서 두 샘플링 과정을 모두 거치면 모든 픽셀이 동일한 가중치를 얻게 되는 원리이다. 하지만 상기 발명에서는 3차 델타-시그마 변조기 구조에서는 사용하지 못하는 한계를 지닌다.

최근에는 HDR 기술에 대한 요구가 증가하면서 넓은 다이나믹 레이지를 구현하기 위해 고해상도 ADC이 적용된 센서에 대한 요구도 함께 증가하고 있다. 하지만 도 8에 도시된 바와 같이 싱글-슬로프 ADC나 1차 델타시그마의 경우 해상도가 높아지면 필요한 사이클 수가 지수적으로 증가하기 때문에 프레임 레이트에 대한 제한이 크다. 따라서 고해상도에 대한 요구와 프레임 레이트에 대한 요구가 서로 상충되는 관계임을 확인할 수 있다. 하지만 도 8에 도시된 바와 같이 고차 델타시그마를 적용할 경우 고해상도에서도 필요한 사이클의 수가 급격하게 감소하며 이는 프레임 레이트의 증가를 의미한다. 따라서 고해상도와 고속도 이미지 센서에 대한 시장의 두 가지 요구를 모두 충족할 수 있는 구조라고 할 수 있다. 하지만 기존의 보편적인 이진 측정행렬(Binary measurement matrix) 기반의 압축센싱에서는 기존 센싱 방법과 다르게 원 신호의 선형합을 도출해야 한다. 기존 종래 기술에서 일차 델타시그마를 사용한 이유는 일차 델타시그마의 경우 입력의 순서에 상관 없이 일정한 가중치를 입력에 부여하기 때문에 선형합을 도출하는데 문제가 없었다. 하지만 고차 델타시그마는 입력에 순서에 따라 감소하는 가중치 함수를 지니기 때문에 순차적으로 데이터를 입력시키면 각 데이터들에 할당되는 가중치도 감소하므로 선형합을 도출하는데 어려움이 있다. 따라서 본 발명에서는 고차 델타시그마를 사용했을 때 원 신호가 ADC 출력에서 일정한 가중치 합을 지닐 수 있는 샘플링 방식을 제안하며 고차 델타시그마가 가지는 빠른 센싱 속도를 압축센싱에 이용할 수 있음을 보여준다.

실시예는 압축 센싱 이미지 센서에 2차 이상의 고차 델타-시그마 구조의 변조기를 적용하기 위한 방법을 제공하는데 그 목적이 있다.

본 발명의 일 실시 예에 따른 이미지 센서에서의 압축 센싱 방법은 이미지 센서에 배열에서 측정행렬을 기반으로 일련의 픽셀 그룹을 선택하는 단계, 선택된 그룹 내의 개별 픽셀이 델타-시그마 변조기에 입력되는 순서를 결정하기 위해 분할 문제의 해를 도출하고 이것을 적용하여 샘플링 순서을 도출하는 단계, 상기 분할 문제의 해를 사용하여 도출한 샘플링 순서에 따라서 오버 샘플링을 수행하는 단계를 포함한다.

본 발명의 실시 예에 따르면, 2차 이상의 델타-시그마 변조기를 사용하여 더 낮은 차수의 변조기를 사용한 경우에 비교해 센싱 속도를 높일 수 있다.

도 1은 압축률이 1/4인 경우 측정행렬의 예시를 나타낸 도면
도 2은 4-분할 문제의 해를 도출할 수 있는 경우의 3차 델타-시그마 변조기의 가중치 집합의 예시를 나타낸 그래프
도 3는 4-분할 문제의 해를 사용하여 도2에 대하여 합이 같은 4개의 부분집합으로 분할한 예시를 나타낸 도면
도 4은 4-분할 문제의 해를 도출할 수 없는 3차 델타-시그마 변조기의 가중치 집합의 예시를 나타낸 그래프
도 5 도4에 대하여 특정 가중치를 제외하면 는 4-분할 문제의 해를 사용하여 합이 같은 부분집합으로 나눌 수 있음을 보여준 예시를 나타낸 도면
도 6는 압축센싱부의 동작을 나타낸 도면
도 7는 2차와 4차 델타 시그마 변조기를 사용한 경우에 사이클 수에 따른 이미지 화질을 비교한 도면
도 8은 기존 Mathworks에서 제공하는 델타-시그마 툴박스를 기반으로 디자인된 1차부터 4차 델타-시그마 변조기가 각 해상도를 얻기 위해 필요한 사이클 수를 비교해주는 그래프

이하 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세하게 설명하지만, 본 발명의 실시 예에 의해 제한되거나 한정되는 것은 아니다. 본 발명을 설명함에 있어서, 공지된 기능 혹은 구성에 대해 구체적인 설명은 본 발명의 요지를 명료하게 하기 위해 생략될 수 있다.

도 1은 센싱 방식을 결정하는 압축률이 1/4인 경우의 본 발명에서 사용 하는 측정행렬(Simple deterministic measurement matrix)의 예시를 나타낸다.

도 1을 참조하면, 측정행렬에서 행렬의 한 행을 구성하는 '1'의 개수는 압축률의 역수와 동일하다. 또한 이는 데이터의 선형합을 통해 도출한 하나의 측정값(Measurement value)에 포함된 데이터의 수와 동일하다.

도 2는 3차 델타-시그마 변조기의 가중치 함수를 1부터 10 사이클에 대한 예시를 나타낸다.

도 2에 도시된 바와 같이, 고차 델타-시그마 변조기는 입력 사이클마다 다른 웨이트(가중치)를 가짐을 알 수 있다.

도 3은 도 3차 델타-시그마 변조기의 가중치 함수로부터 얻은 가중치를 전체 집합으로 가정했을 때, 4-분할 문제에 적용하여 이것을 합이 같은 4개의 부분 집합으로 분할이 가능한 경우의 예시를 나타낸다.

도 3은 상기 도 2에 제시된 3차 델타-시그마 변조기의 가중치를 합이 같은 4개의 부분집합으로 분할한 결과를 나타낸다.

도 4는 3차 델타-시그마 변조기의 가중치 함수를 1부터 14 사이클에 대한 예시를 나타낸다.

도 5는 도 3차 델타-시그마 변조기의 가중치 함수로부터 얻은 가중치를 전체 집합으로 가정했을 때, 4-분할 문제에 적용하여 이것을 합이 같은 4개의 부분 집합으로 분할이 불가능한 예시를 나타낸다.

도 5는 도 4에 제시된 3차 델타-시그마 변조기의 가중치를 합이 같은 4개의 부분집합으로 분할되지 않기 때문에 임의로 선택한 사이클 (11, 12번째)를 제외하고 나머지에 대해서 4-분할 문제에 적용하여 합이 같은 4개의 집합으로 분할한 예시를 나타낸다. 이때 제외되는 사이클에는 0 또는 특정 직류 전압을 입력시킨다.

도 6은 센싱부의 동작을 나타낸 도면이다.

도 6에 도시된 바와 같이, 이미지 센서의 센싱부(100)는 압축 센싱 멀티플렉서(Compressed Sensing Multiplexer, CS-MUX)(110) 및 고차 델타-시그마 변조기(120)을 포함한다.

도 2를 참조하면, 3차 델타-시그마 변조기의 경우에는 가중치가 초기값을 기준으로 비선형적으로 점차 감소하는 경향을 나타낸다. 델타-시그마 변조기의 경우 입력신호가 순차적으로 입력되면 가중치 함수에 따라서 가중치가 적용된다. 따라서 2차 이상의 델타 시그마 변조기의 경우 순차적으로 입력되는 신호에 서로 상이한 가중치가 적용되기 때문에 선형합을 도출하는데 문제가 발생한다.

도1을 참조하면 선형합을 도출하기 위해서는 컨버전이 종료되는 시점에 변조기 출력에서 선형합을 구성하는 픽셀들이 모두 같은 가중치를 가져야 한다. 본 발명에 따른 2차 이상에서 선형합을 도출하기 위한 센싱부(100)의 동작은 다음과 같다.

우선 선형합을 구성할 픽셀의 수에 해당하는 픽셀이 압축 센싱 멀티플렉서(110)에 입력된다. 이 때 입력되는 픽셀 수는 측정행렬의 형태에 의해서 결정된다. 도 6에 도시된 실시 예는 도 1에 도시된 것과 같이 압축률이 4인 경우를 나타낸다. 따라서 도 1에 따르면 선형합이 4개의 픽셀들로 구성되는 것을 알 수 있다. 도 6에 따르면 이렇게 특정 수의 픽셀을 동시에 입력 받은 압축 센싱 멀티플렉서(110) 앞서 본 발명에서 제안하는 바와 같이 부분집합 문제의 해를 활용하여 도출한 입력 순서에 따라서 픽셀을 고차 델타-시그마 변조기(120)에 입력한다.

다시 말해서, 도 6의 경우 압축률이 1/4 일 때의 예시를 나타내며, 고차 델타-시그마 변조기에 입력되는 픽셀의 순서는 도 2에 도시된 것과 같이 분할 문제의 해로부터 도출한 입력순서와 동일한 순서인 것을 확인 할 수 있다.

따라서 위와 같은 순서로 델타-시그마 변조기에 픽셀들을 입력시키면 컨버전이 종료되는 시점에서 모든 픽셀은 같은 가중치 합을 가지게 된다. 따라서 모든 픽셀이 같은 가중치를 가지는 선형합을 도출할 수 있는 원리이다.

도 7은 본 발명의 일 실시 예에 따른 이미지 센서에서의 압축 센싱 방법을 나타내는 흐름도이다.

본 발명의 일 실시 예에 따른 압축 센싱 방법은(구체적으로 2차 이상의 고차 델타-시그마 변조기를 사용하여 자연적인 이미지신호를 압축센싱하는 방법)은 이미지 센서에 배열에서 측정행렬에 따라서 일련의 픽셀 그룹을 선택하는 단계(S101), 선택된 그룹 내의 개별 픽셀이 델타-시그마 변조기에 입력되는 순서를 결정하기 위해 분할 문제의 해를 적용하여 샘플링 순서를 도출하는 단계(S103), 상기 분할 문제의 해를 적용하여 도출한 샘플링 순서에 따라서 오버 샘플링을 수행하는 단계(S105), 및 오버 샘플링을 수행한 후에 각각의 샘플링 차수에 해당하는 픽셀의 전압을 순차적으로 합산하여 디지털 코드를 출력하는 단계를 포함한다.

이때, 2차 이상의 시그마 델타 변조기는 사용되는 변조기의 차수에 따라서 서로 다른 가중치 함수를 가진다.

그리고, 상기 측정행렬에 따라서 픽셀의 그룹을 선택하는 단계에서는 압축률에 따라서 측정행렬과 선택되는 픽셀의 수가 결정된다.

여기에서, 델타-시그마 변조기에 픽셀이 입력되는 순서를 결정하기 위한 단계는 주어진 샘플링 사이클과 사용되는 델타-시그마 변조기의 가중치 함수를 고려해서 전체 사이클 동안 각각의 사이클이 가지는 가중치의 전체 집합을 도출하는 단계. 도출한 가중치의 전체 집합에 대하여 분할 문제의 해를 이용해 합이 같은 여러 개의 부분 집합으로 분할하는 단계 및 분할된 집합을 바탕으로 델타-시그마 변조기의 출력에서 개별 픽셀이 가지는 가중치가 모두 동일하도록 샘플링 순서를 도출하는 단계를 더 포함한다.

여기에서, 오버 샘플링을 수행하는 단계는 상기 측정행렬에 따라서 도출한 픽셀 그룹의 개별 픽셀들이 상기 도출한 샘플링 순서에 따라서 델타-시그마 변조기에 입력하는 단계를 포함한다.

도 8은 2차와 4차 델타 시그마 변조기를 사용한 경우 실시예의 샘플링 방법을 적용하여 사이클 수에 따른 복원 이미지 화질을 비교한 도면이다. 2차 방식과 비교해서 4차를 사용하면 샘플링 속도가 증가함을 나타낸다.

도 9는 기존 Mathworks에서 제공하는 델타-시그마 툴박스를 기반으로 디자인한 1차부터 4차 델타시그마가 각 해상도를 지니기 위한 사이클 수를 비교해주는 그래프이다. 차수가 증가함에 따라서 필요한 사이클 수가 급격하게 감소함을 나타낸다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (6)

1. 선형합을 구성할 픽셀의 수에 해당하는 픽셀을 입력 받아, 분할 문제의 해를 활용하여 델타-시그마 변조기에 입력할 픽셀의 순서를 결정하는 압축 센싱 멀티플렉서; 및
   결정된 순서에 따라 픽셀을 입력받아 컨버전을 수행하는 델타-시그마 변조기를 포함하고,
   상기 델타-시그마 변조기는, 상기 컨버전이 종료되는 시점에서 상기 선형합을 구성하는 모든 픽셀이 같은 가중치를 갖도록 변조를 수행하고,
   상기 델타-시그마 변조기에 입력되는 픽셀의 순서는, 상기 분할 문제의 해로부터 도출한 입력순서와 동일한 순서인
   이미지 센서.
2. 제 1 항에 있어서,
   상기 델타-시그마 변조기는 2차 이상의 델타-시그마 변조기인
   이미지 센서.
3. 제 1 항에 있어서,
   입력되는 픽셀의 수는 측정행렬의 형태에 의해서 결정되는
   이미지 센서.
4. 삭제
5. 측정행렬에 따라 일련의 픽셀 그룹을 선택하는 단계;
   선택된 그룹 내의 개별 픽셀이 델타-시그마 변조기에 입력되는 순서를 결정하는 단계;
   결정된 순서에 따라 오버 샘플링을 수행하는 단계;
   상기 오버 샘플링을 수행한 후 각각의 샘플링 차수에 해당하는 픽셀의 전압을 순차적으로 합산하여 디지털 코드를 출력하는 단계를 포함하고,
   상기 델타-시그마 변조기에 픽셀이 입력되는 순서를 결정하는 단계는,
   기 설정된 샘플링 사이클과 델타-시그마 변조기의 가중치 함수를 고려하여 전체 사이클 동안 각각의 사이클이 갖는 가중치의 전체 집합을 도출하는 단계;
   도출한 가중치의 전체 집합에 대하여 분할 문제의 해를 이용하여 합이 같은 여러 개의 부분 집합으로 분할하는 단계; 및
   분할된 집합을 바탕으로 델타-시그마 변조기의 출력에서 개별 픽셀이 갖는 가중치가 모두 동일하도록 샘플링 순서를 도출하는 단계를 포함하는
   이미지 센서에서의 압축 센싱 방법.
6. 삭제

Images