KR102094275B1 - 이미지 센서 및 이미지 센서를 활용하는 이미지인식장치 - Google Patents

Abstract

본 발명에 따른 이미지 센서에는, 픽셀들; 상기 픽셀들의 출력값을 아날로그 멀티플렉서를 이용하여 선택하고 그 값들을 델타-시그마 ADC를 이용하여 합성곱 연산과 디지털 신호로의 변환을 동시에 수행하는 아날로그 디지털 변환기가 포함된다. 본 발명에 따른 처리되는 데이터의 용량이 줄어들고, 전력소모를 줄일 수 있어서, 휴대용 기기에 더욱 적합한 장점을 얻을 수 있다.

Description

이미지 센서 및 이미지 센서를 활용하는 이미지인식장치{Image sensor and image recognition apparatus using the same}

본 발명은 이미지 센서 및 이미지 센서를 활용하는 이미지인식장치에 관한 것이다.

이미지 센서는 화소 단위로 이미지를 획득하는 장치이다.

근래 들어, 상기 이미지 센서는 일반 필름 카메라를 대신하는 디지털 카메라로서의 사용처를 넘어서 다양한 곳으로 까지 확장되고 있다. 예를 들어, 이미지 센서에서 촬영되는 이미지를 인식하는 이미지 인식(image classification)은, 자율 주행 카메라, 블랙박스, 및 감시 카메라와 같은 여러 산업분야에서 중요한 기술 요소가 되고 있다.

이러한 기술 융복합의 요구에 따라 뉴럴 네트워크(neural network)와 이미지 센서를 하나의 하드웨어로 구성하려는 연구가 진행되고 있다. 상기 뉴럴 네트워크와 이미지 센서가 통합되는 이미지 인식 하드웨어를 설계할 때에는, 방대한 데이터를 신속하게 처리해야 할 필요가 있다.

이들 처리 데이터에는, 첫째 이미지 센서로부터의 출력 데이터와, 둘째 뉴럴 네트워크 내부의 연산에서 발생하는 데이터로 나눌 수 있다. 상기 뉴럴 네트워크 부분에서 발생하는 데이터 처리는, 웨이트(Weight)의 정확도를 이진화(Binarized)하여 연산하는 이진 뉴럴 네트워크(BNN: Binarized neural network) 구조를 도입함으로써, 네트워크 내부의 연산량 및 메모리의 용량을 줄일 수 있었다. 예를 들어, 공개번호 10-2017-0004379 '이진 파라미터를 갖는 컨볼루션 신경망 시스템 및 그것의 동작방법'에는 그에 대한 장점이 기술되어 있다.

상기 이미지 인식 하드웨어에서 뉴럴 네트워크 부분을 이진 뉴럴 네트워크로 구성하더라도, 이미지 센서에서 출력되는 이미지 데이터의 출력량은 변하지 않는다. 따라서, 상기 이미지 센서와 상기 뉴럴 네트워크 사이 인터페이스에서 데이터 량의 증가는, 이진 뉴럴 네트워크의 입력단의 크기를 증가시키고 그에 따른 연산량증가와 요청되는 메모리 용량이 증가하는 문제가 있다.

이들 문제는 포터블 기기와 같은 소모 전력이 제한된 애플리케이션에 적용하는데 더 큰 문제점으로 작용하고 있다.

공개번호 10-2017-0004379 '이진 파라미터를 갖는 컨볼루션 신경망 시스템 및 그것의 동작방법'

본 발명은 상기되는 배경에서 제안되는 것으로서, 뉴럴 네트워크로 입력되는 데이터의 양을 줄이는 이미지 센서 및 이미지 센서를 활용하는 이미지인식장치를 제안한다.

본 발명은 이미지 센서에서 출력되는 데이터의 양을 줄여 시스템의 부하와 소모 에너지를 줄이는 이미지 센서 및 이미지 센서를 활용하는 이미지인식장치를 제안한다.

본 발명에 따른 이미지 센서에는, 픽셀들; 상기 픽셀들의 아날로그 신호를 합성곱하는 아날로그 멀티플렉서; 및 상기 아날로그 멀티플렉서에서 출력되는 아날로그 신호를 덧셈연산 및 디지털 신호로 변환하여 출력하는 아날로그 디지털 변환기가 포함된다. 본 발명에 따르면, 출력 데이터의 용량이 줄어들 수 있다.

상기 아날로그 멀티플렉서는 스위치 메트릭스 형태로 구현됨으로써, 이미지 센서에서 소모되는 에너지 소모량이 거의 없고, 따라서, 휴대용 기기에 더욱 적합하게 사용할 수 있다. 상기 아날로그 디지털 변환기는, 상기 픽셀들의 출력값 중에서 아날로그 멀티플렉서를 이용하여 선택된 값들을, 델타-시그마 ADC를 이용하여 합성곱 연산과 디지털 신호로의 변환을 동시에 수행할 수 있다.

상기 아날로그 디지털 변환기는, 델타-시그마 ADC가 사용되고, 상기 델타-시그마 ADC에는, 상기 제 1 스테이지; 상기 제 1 스테이지의 출력신호를 추가처리하는 제 2 스테이지; 출력단에 제공되는 데시메이션 필터; 및 상기 제 2 스테이지의 동작여부를 결정하는 모드 스위치가 포함된다. 이에 따르면, 단일의 이미지 센서에서 출력되는 이미지의 모드를 조절할 수 있다. 상기 모드에는, 상기 제 2 스테이지를 동작시키는 일반촬영모드; 및 상기 제 2 스테이지를 동작시키지 않는 BNN모드가 포함될 수 있다. 이로써, 단일의 센서로 두 개의 센서처리에 대한 효과를 얻을 수 있다.

본 발명에 따른 이미지 인식장치에는, 아날로그 영역에서 픽셀의 출력값에 합성곱 처리가 수행되는 이미지 센서; 및 상기 이미지 센서에서 출력되는 디지털 신호를 처리하는 이진 뉴럴 네트워크가 포함된다. 이에 따르면, 데이터 처리량을 줄일 수 있고, 나아가서, 휴대용 기기에 적합할 수 있도록 에너지 소비량을 줄일 수 있는 장점이 있다.

본 발명에 따르면, 이미지 센서에 이진 뉴럴 네트워크의 합성곱 기능이 추가되어 이미지 센서에서 출력되는 데이터의 양이 줄어든다. 따라서, 이진 뉴럴 네트워크에서 처리되는 연산량 및 메모리의 양도 줄어든다.

본 발명에 따르면, 이진 뉴럴 네트워크의 가중치는 1과 -1로 구성될 수 있기 때문에, 이미지 센서 내에서 합성곱 연산은 아날로그 멀티플렉서(Analog Mulitiplexer, MUX)와 델타-시그마 ADC를 이용하여 소모 전력이 거의 없이 간단하게 구현할 수 있다.

본 발명에 따르면, 기존의 이미지 센서와 뉴럴 네트워크는 이미지의 생산과 합성곱 연산 각각에서 전력소모가 발생하지만, 아날로그 멀티플렉서와 델타-시그마 ADC의 조합은 아날로그 영역에서 합성곱 연산을 수행하고 가중치의 곱과 합을 아날로그 디지털 변환과 동시에 진행하기 때문에, 기존의 이미지 센서가 이미지를 생산하는 에너지만으로 합성곱 연산을 할 수 있어 전력 효율면에서 기존의 이미지 센서를 사용한 하드웨어 보다 월등하다.

본 발명에 따르면, 아날로그 멀티플렉서를 제어하여 이진 뉴럴 네트워크 모드(BNN 모드)와 일반 촬영 모드로의 전환이 가능하다. 따라서 단일의 기기를 이용하여 두 개의 이미지 센서를 사용하는 효과를 얻을 수 있다.

도 1은 이미지센서와 뉴럴 네트워크의 결합의 개념도.
도 2은 이진화된 가중치와 픽셀값과의 곱과 델타-시그마 아날로그 디지털 변환기를 활용한 합성곱(Convolution) 연산의 개념도.
도 3은 이진화된 가중치의 적용을 위한 아날로그 멀티플렉서의 상세한 동작을 설명하는 도면.
도 4은 델타-시그마 ADC의 블록도.
도 5은 -1의 가중치 연산을 위한 데시메인션 필터의 블록도.
도 6은 아날로그 디지털 변환기 및 데시메인션 필터를 동작시키는 타이밍도.
도 7은 본 발명의 연산 효율에 대한 비교하는 도표.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 이하의 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.

도 1은 이미지 센서를 활용하는 이미지 인식장치의 개념도로서, 도 1a는 종래 이미지 센서와 이진 뉴럴 네트워크(BNN: Binarized neural network)를 결합한 개념도이고, 도 1b는 본 발명의 실시예에 따른 이미지 센서를 이용한 개념도이다.

도 1a를 참조하면, 이미지 센서로부터의 출력 데이터 량(N bit)이 많기 때문에 이진 뉴럴 네트워크의 계산량이 많음을 알 수 있다.

이에 반하여 도 1b를 참조하면, 이미지 센서(100)의 내부에서 합성곱(Convoution) 연산을 진행하여 줄어든 데이터(M bit, N>M)를 출력하여 이진 뉴럴 네트워크의 계산량 또한 감소하는 것을 볼 수 있다.

더 구체적으로, 실시예에 따른 이미지 센서를 활용하는 이미지인식장치에는, 이미지 센서(100), 및 이진 뉴럴 네트워크(200)가 포함된다. 이 외에 판별기, 통보기, 메모리 등의 다른 장치가 더 포함될 수 있고, 이들 부품은 널리 알려지는 다른 기기가 적용될 수 있다.

상기 이미지 센서(100)에는, 촬상 장치에 제공되는 픽셀들(10)로부터 획득되는 아날로그 정보를 합성곱 연산을 수행하는 아날로그 멀티플렉서(20), 및 아날로그 멀티플렉서에서 출력되는 아날로그 신호를 디지털 신호로 변환하는 델타-시그마 ADC(30)가 포함된다.

상기 이미지 센서(100)의 동작 개념을 도 2를 참조하여 설명한다.

도 2는 이미지 센서 내부에서 하드웨어 장치로 수행되는 합성곱의 개념을 보이고 있다. 본 도면에서는 3 x 3 픽셀과 3 x 3 가중치에 대하여 아날로그 멀티플렉서와 델타-시그마 ADC를 이용하는 합성곱의 개념을 예시한다.

도 2를 참조하면, 델타-시그마 ADC의 출력은 가중치 행렬(90)의 가중치와 픽셀들(10)의 값의 곱들이 합하여지는 값으로 출력되는 것을 확인할 수 있다. 상기 가중치는 1, -1의 값으로 주어질 수 있다. 따라서 아날로그 회로로 가중치를 구현할 수 있다.

상기 가중치 행렬의 각 가중치는 직렬 및 병렬로 나열되는 다수의 아날로그 스위치, 즉 스위치 메트릭스에 의해서 구현될 수 있고, 베럴 쉬프터(barrel shifter)에 기반하는 구조로 제공될 수 있다. 다시 말하면, 상기 아날로그 멀티플렉서(20)는 상기 스위치 메트릭스로 구성될 수 있다.

상기 가중치 행렬은 이미지 인식장치의 종류에 따라서 미리 정하여질 수 있다. 예를 들어, 자율주행에서 차량인식에 사용되는 장치라면 차량인식에 적합한 가중치 행렬을 위한 스위치 메트릭스가 제공될 수 있다.

도 3은 도 2의 개념을 더 상세하게 설명하는 도면으로서, 스위치를 사용하여, 픽셀들과 3*3 가중치의 합성곱 연산을 델타-시그마 아날로그 디지털 변환기를 이용하여 수행하는 과정을 설명한다. 여기서, 소문자 x는 각 픽셀의 값, 대문자 X는 아날로그 멀티플렉서(20)의 출력으로서 델타-시그마 ADC(30)에서 샘플하는 값, Y는 델타-시그마 ADC(30)에서 출력되는 값, Φ1, Φ2은 아날로그 멀티플렉서(20)를 컨트롤하기 위한 신호를 나타낸다.

도 3에서 (a), (b), 및 (c)는 시간 순으로 나열되어 있고, (d)는 시간에 따른 각 지점(Node)의 전압을 나타낸다. 가중치는 아날로그 멀티플렉서로 구성되며 0일때 왼쪽 컬럼을 선택하고, 1일때 오른쪽 컬럼을 선택할 수 있다.

먼저, 도 3(a)는 Φ1, Φ2 의 신호가 각각 0, 0의 상황으로서 가중치 1을 적용하며, 각 지점의 값은 아날로그 멀티플렉서 출력값이 X1 = x1, X2 = x2이고, 디지털 출력값 Y1 = x1, Y2 = x2이 된다.

다음으로, 도 3(b)는 Φ1, Φ2 의 신호가 각각 1, 0 상황으로서 가중치 -1을 적용하며, 각 지점의 값은 아날로그 멀티플렉서 출력값이 X1 = x2, X2 = x3이고, 디지털 출력값 Y1 = x1-x2, Y2 = x2-x3이 된다.

다음으로, 도 3(c)는 Φ1, Φ2 의 신호가 각각 0, 1 상황으로서 가중치 1을 적용하며, 각 지점의 값은 아날로그 멀티플렉서 출력값이 X1 = x3, X2 = x4이고, 디지털 출력값 Y1 = x1-x2+x3, Y2 = x2-x3+x4 이 된다.

도 3의 나머지 가중치 들은 상기 설명된 방법이 마찬가지로 적용되고, 다른 조합의 가중치 또한 적용 가능하다. 한편, 음의 가중치(-1)에 대한 연산 방법은 도5에서 설명한다.

도 4는 실시예에 따른 델타-시그마 ADC의 블록다이어그램이다.

도 4를 참조하면, 실시예에 따른 델타-시그마 ADC는 저전력 동작을 위해 Self-bias를 이용한 Amp sharing 방식의 델타-시그마 ADC로서, 제 1 스테이지(31)와 제 2 스테이지(32)와 제 2 스테이지(32)의 동작을 결정하는 모드 스위치(33)와 데시메이션 필터(40)가 포함된다.

상기 델타-시그마 ADC(30)는, 상기 모드 스위치(33)의 제어상태에 따라서 1st 또는 2nd order로 동작한다. 상기 모드 스위치(33)는 외부의 제어신호(NN_MODE신호)에 의해서 조작될 수 있다. 본 제어신호에 의해서 이진 뉴럴 네트워크 모드(BNN 모드)와 일반촬영모드로의 전환이 가능하다. 이를 위하여, 상기 NN_MODE신호는 제 1 스테이지(31)의 출력을 데시메이션 필터(40)로 입력하는 역할, 및 제 2 스테이지(32)의 활성화 및 비활성화를 수행할 수 있다.

상기 델타-시그마 ADC(30)는, 상기 이진 뉴럴 네트워크 모드에서는 합성곱 연산을 위해 1차 델타-시그마 ADC로 동작한다. 그 이유는, 2차 델타-시그마 ADC는 변환 과정에서 고유의 가중치가 발생하기 때문에 합성곱 연산에 적용하는 것은 부적합하기 때문이다.

상기 델타-시그마 ADC(30)는, 상기 일반촬영모드에서는 고해상 이미지를 획득하기 위해 2차 델타-시그마 아날로그-디지털변환기로 동작할 수 있다. 이를 위하여 ADC의 오버샘플링값(OSR: Over Sampling Rate)을 조절할 수 있다.

도 5는 이미지 센서의 동작모드에 따라 차수가 달라지는 아날로그 디지털 변환기의 동작과 -1의 가중치 적용을 위한 데시메이션 필터(Decimation filter)의 블록도이다.

도 5를 참조하면, 상기 델타-시그마 ADC(30)는 이진 뉴럴 네트워크 모드(BNN 모드)에서 1차로 동작하기 때문에 데시메이션 필터(40)의 제 2 단(42)의 덧셈기(43)는 모드신호에 의해서 0을 더하여 제 1 단(41)의 결과를 그대로 출력한다. 여기서, 음수 가중치(-1)는 데시메이션 필터(40)의 제 1 단(41)을 상승/하강 가산기로 함으로써 구현할 수 있다.

도 6은 델타-시그마 ADC의 촬영모드에 따른 컨트롤 신호를 나타낸다.

설명된 바와 같이 실시예의 이미지 센서는 두 개의 모드로 동작할 수 있고, 상기 NN_MODE 신호에 따라 일반촬영모드(NN_MODE = “0”)와 이진 뉴럴 네트워크 모드(NN_MODE = “1”)로 구분할 수 있다.

상기 일반촬영모드에서는 일반적인 이미지 센서와 같이 픽셀의 출력 전압을 정교하게 디지털변환 하기 위해서 2차로 동작할 수 있다.

상기 이진 뉴럴 네트워크 모드에서는, ADC의 샘플된 신호를 단순히 합하는 특성이 필요하기 때문에 제 2 스테이지(32)를 비활성화 할 필요가 있다. 따라서, 신호 S2_PH1, S2_PH2는 일정한 값으로 고정된다.

상기 이진 뉴럴 네트워크 모드에서는 EXT_RST에 의해서 아날로그 디지털 변환기의 초기화를 컨트롤 할 수 있다.

도 7은 실시예의 연산 효율을 나타내는 표로서, 소모전력을 고려하여 200만번의 합성곱 연산에 대하여 CPU, GPU, FPGA, 및 실시예의 효율을 비교하였다. 도 7을 참조하면, 본 발명은 CPU, GPU, FPGA 보다 소모 전력 대비 연산 능력이 우수한 것을 확인할 수 있다.

상기 상세한 설명에서 본 바와 같이, 기존의 이미지 센서에서는 이미지 센서와 뉴럴 네트워크 기능 칩을 각각 개발하여 통합하는 방식으로 설계를 구현하였기 때문에, 또한, 웨이트 가중치 조절을 디지털 방식에서 진행하여 아날로그 영역에서는 전력 소모를 줄일 수 없었다.

본 발명에서는 델타 시그마 ADC와 커널 합성곱 메트릭스를 이용하여, 1~N bit까지 쉽게 가변 가능한 뉴럴 네트워크 이미지 센서를 구현하였다.

본 발명은 BNN용의 이미지 센서로 적용됨으로써, 저전력 및 고속 동작이 가능하게 되었다. 뿐만 아니라, NN 모드와 일반 모드를 쉽게 변경하여 NN 어플리케이션 뿐만 아니라 일반 고해상도 이미지도 얻을 수 있다.

본 발명은 패턴 인식(Pattern Classification), IoT, 및 자율 주행용 비전 센서 등과 같은 다양한 응용분야에 활용될 수 있고, 기존의 구조에서 약간의 변경으로 구현이 가능한 장점이 있다.

본 발명의 이미지 센서 및 이미지 인식장치는, 모바일, 자동차, 영상감시 분야 등과 같이, 이미지 인식기능에 적용할 수 있고, 특히, 작은 양의 에너지 소비가 요구되는 이동기기의 경우에 더 바람직하게 적용될 수 있다.

20: 아날로그 멀티플렉서
30: 델타-시그마 ADC
100: 이미지 센서
200: 이진 뉴럴 네트워크

Claims (7)

1. 픽셀들;
   상기 픽셀들의 아날로그 출력 신호를 선택하는 아날로그 멀티플렉서; 및
   상기 아날로그 멀티플렉서에서 출력되는 아날로그 신호를 디지털 신호로 변환하여 출력하는 아날로그 디지털 변환기가 포함되고,
   상기 아날로그 멀티플렉서는,
   직렬 및 병렬로 나열되는 다수의 아날로그 스위치로 구현된 가중치 행렬을 이용하여 합성곱 연산을 수행하려는 픽셀을 선택하고,
   상기 아날로그 디지털 변환기는 상기 가중치 행렬의 각 가중치에 대응하는 픽셀의 값의 곱들의 합을 출력하는,
   이미지 센서.
2. 삭제
3. 제 1 항에 있어서,
   상기 아날로그 디지털 변환기는, 델타-시그마 ADC인 이미지 센서.
4. 제 3 항에 있어서,
   상기 델타-시그마 ADC에는,
   제 1 스테이지;
   상기 제 1 스테이지의 출력신호를 추가처리하는 제 2 스테이지;
   출력단에 제공되어 가중치를 적용하는 역할을 수행하는 데시메이션 필터; 및
   상기 제 2 스테이지의 동작여부를 결정하는 모드 스위치가 포함되는 이미지 센서.
5. 제 4 항에 있어서,
   상기 아날로그 멀티플렉서와 상기 델타-시그마 ADC와 상기 데시메이션 필터가 조합하여 합성곱 연산을 수행할 수 있는 이미지 센서.
6. 제 4 항에 있어서,
   상기 모드 스위치는,
   상기 제 2 스테이지를 동작시키는 일반촬영모드; 및
   상기 제 2 스테이지를 동작시키지 않는 BNN모드를 절환할 수 있는 이미지 센서.
7. 제 1 항 및 3항 내지 제 6 항 중의 어느 하나의 이미지 센서; 및
   상기 이미지 센서에서 출력되는 디지털 신호를 처리하는 이진 뉴럴 네트워크가 포함되는 이미지 센서를 활용하는 이미지인식장치.

Images