KR20220029237A - 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 - Google Patents
이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 Download PDFInfo
- Publication number
- KR20220029237A KR20220029237A KR1020200111303A KR20200111303A KR20220029237A KR 20220029237 A KR20220029237 A KR 20220029237A KR 1020200111303 A KR1020200111303 A KR 1020200111303A KR 20200111303 A KR20200111303 A KR 20200111303A KR 20220029237 A KR20220029237 A KR 20220029237A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- exposure time
- image sensor
- pixel
- weight
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- H04N5/35536—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H04N5/369—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Algebra (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
본 발명에 따른 이미지 센서에는, 가중치가 저장되는 가중치 저장소; 상기 가중치에 따라서 적어도 두 개의 픽셀의 노출시간을 조절하는 픽셀노출시간조절기;및 상기 노출시간에 따라서 입사광량이 조절되는 상기 적어도 두 개의 픽셀을 포함하고, 특징이미지를 출력하는 픽셀어레이가 포함된다.
Description
본 발명은 이미지 센서 및 이미지 센서를 활용하는 이미지인식장치에 관한 것이다.
발명자는 이미지 센서의 하드웨어를 이용하여 고속으로 이미지를 인식하는 장치를 연구하고 있다. 그 일환으로 발명자는 특허등록번호 10-2094275호, 이미지 센서 및 이미지 센서를 활용하는 이미지 인식장치를 발명하였다.
상기 등록특허는, 이미지 센서에 가중치에 대한 합성곱(컨벌루션) 연산이 가능한 블럭을 제공한다. 상기 이미지 센서는 구현되는 특정한 목적에 적합하도록 이미지 센서가 동작하도록 한다. 상기 등록특허에 따르면, 이미지 센서가 커지고, 이미지 센서의 동작에 에너지가 소모되는 단점이 있다.
한편, 근래에는 위 등록특허와 같이 합성곱을 이용하여 이미지 센서를 구현하는 기술이 소개되고 있다. 다만 2D 합성곱은 하드웨어 구현이 복잡하다. 이 때문에 SFA(Separable Filter Approximation) 방식을 이용하는 기술이 비특허문헌으로 소개된 바가 있다. 상기 SFA방식을 이용하여 1차원으로 복잡도를 감소시킬 수 있는 장점은 있다. 그러나, 상기 SFA방식의 경우에는 1D 합성곱을 어떻게 구현하는 가는 중요한 문제이다.
'A Low-Power Convolutional Neural Network Face Recognition Processor and a CIS Integrated With Always-on Face Detector' K. Bong, Sungpill Choi, +2 authors H. Yoo Published 2018 Computer Science IEEE Journal of Solid-State Circuits
본 발명은 상기되는 배경에서 제안되는 것으로서, 이미지센서 내부에서 합성곱을 구현할 수 있는 저규모 및 저전력의 방안을 제공하는 이미지 센서 및 이미지인식장치를 제공한다.
본 발명은 SFA의 1D를 구현할 수 있는 바람직한 방법을 제안한다.
본 발명에 따른 이미지 센서에는, 가중치가 저장되는 가중치 저장소; 상기 가중치에 따라서 적어도 두 개의 픽셀의 노출시간을 조절하는 픽셀노출시간조절기;및 상기 노출시간에 따라서 입사광량이 조절되는 상기 적어도 두 개의 픽셀을 포함하고, 특징이미지를 출력하는 픽셀어레이가 포함된다.
본 발명에 따르면, 이미지센서내부, 즉, 하드웨어를 이용하여 고속의 합성곱연산을 제공할 수 있다.
이미지센서의 크기 및 에너지 소모를 줄이면서도, 특정한 이미지에 적합한 이미지 센서를 제공할 수 있다. 이를 통하여 이미지인식장치의 성능을 향상시킬 수 있다.
도 1은 실시예에 따른 이미지인식장치의 구성도.
도 2는 예시적으로 상기 픽셀노출시간조절기의 구성을 설명하는 도면.
도 3은 픽셀노출시간조절기의 작용을 설명하는 도면.
도 4는 예시적인 픽셀어레이의 동작을 보이는 도면.
도 5는 종래기술에 본 발명의 사상이 적용된 예를 보이는 도면.
도 6은 이상적인 2D 합성곱을 수행하는 경우(a)와, 픽셀의 노출시간을 조절하여 상기 SFA방식에 적용한 경우(b)를 비교하는 도면.
도 7은 본 발명의 효과를 보이는 도면.
도 2는 예시적으로 상기 픽셀노출시간조절기의 구성을 설명하는 도면.
도 3은 픽셀노출시간조절기의 작용을 설명하는 도면.
도 4는 예시적인 픽셀어레이의 동작을 보이는 도면.
도 5는 종래기술에 본 발명의 사상이 적용된 예를 보이는 도면.
도 6은 이상적인 2D 합성곱을 수행하는 경우(a)와, 픽셀의 노출시간을 조절하여 상기 SFA방식에 적용한 경우(b)를 비교하는 도면.
도 7은 본 발명의 효과를 보이는 도면.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 이하에 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
도 1은 실시예에 따른 이미지인식장치의 구성도이다.
도 1을 참조하면, 이미지 인식장치에는, 이미지센서(100), 및 인공지능인식시스템(200)가 포함될 수 있다.
상기 인공지능인식시스템은 이진 뉴럴 네트워크가 포함될 수 있다. 상기 인공지능인식시스템은 상기 이미지센서(100)에서 출력되는 특징 이미지를 이용하여 이미지는 식별할 수 있다. 상기 인공지능인식시스템은, 판별기, 통보기, 메모리 등의 다른 장치가 더 포함될 수 있고, 이들 부품은 널리 알려지는 다른 기기가 적용될 수 있다.
상기 인공지능인식시스템(200)은, 특정한 목적을 위하여 특정한 이미지의 인식을 위하여 특화될 수 있다. 예를 들어, 상기 인공지능인식시스템은, 사람의 얼굴인식, 차선인식, 또는 표지판인식 등을 위하여 특화될 수 있다.
상기 인공지능인식시스템은, 자신의 특화된 목적에 맞는 상기 특징 이미지를 입력받을 수 있다. 이를 위하여 상기 인공지능인식시스템은 가중치를 출력하여 이미지센서로 전달할 수 있다. 예를 들어, 상기 인공지능인식시스템이 얼굴인식에 특화된 목적으로 설정되는 경우에는, 얼굴인식에 특화되는 상기 특징 이미지를 상기 인공지능인식시스템으로 출력할 수 있다. 이때, 상기 특징 이미지를 얻을 수 있는 가중치행렬은 상기 인공지능인식시스템이 출력할 수 있다. 물론, 상기 가중치는 각 픽셀에 대응하는 행렬인 가중치 행렬로서 초기 설정에 의해서 상기 이미지센서에 저장되어 있을 수도 있다.
상기 이미지센서(100)에는, 상기 가중치가 저장되는 가중치 저장소(110), 상기 가중치에 따라서 각 픽셀의 노출시간을 조절하는 픽셀노출시간조절기(120), 및 상기 픽셀노출시간조절기에 의해서 노출시간이 조절되는 각 픽셀의 집합인 픽셀어레이(130)가 포함될 수 있다.
상기 픽셀어레이는 상기 가중치에 대응하여 동작하여 상기 특징이미지를 출력할 수 있다. 상기 특징이미지는 상기 인공지능인식시스템(200)으로 전달되어 특화되는 이미지의 인식에 사용될 수 있다.
상기 픽셀은 상기 가중치에 대응하여 픽셀의 노출시간이 조절될 수 있다. 예를 들어, a픽셀의 가중치는 1이고, b픽셀의 가중치가 2인 경우에는, a픽셀은 1초동안 노출되고, b픽셀은 2초동안 노출될 수 있다. 다시 말하면, b픽셀은 a픽셀보다 두배 많은 노출시간으로 동작할 수 있는 것이다. 상기 픽셀은 노출시간이 조절되는 것에 의해서 상기 가중치의 정보를 반영할 수 있다. 상기 픽셀은 상기 노출시간에 따라서 입사광량이 조절될 수 있다. 상기 입사광량은 가중치를 반영할 수 있다.
도 2는 예시적으로 상기 픽셀노출시간조절기의 구성을 설명하는 도면이다.
도 2를 참조하면, 광전소자의 노출시간을 조절하는 노출시간조절스위치에 의해서 구현될 수 있다.
상기 노출시간조절스위치는, 상기 이미지센서의 동작과는 별개로 노출시간을 상기 가중치에 대응하여 조절하는 목적으로 별도로 마련하는 제 1 노출시간조절스위치(102)를 포함할 수 있다. 상기 노출시간조절스위치는, 상기 이미지센서의 동작에 필요한 것으로서, 광전소자(101)와 전원단자(104)를 연결하여, 광전소자(101)에 전원을 인가하는 작용을 수행하는 제 2 노출시간조절스위치(103)를 포함할 수 있다.
상기 노출시간조절스위치는, 상기 광전소자(101)의 노출시간을 제어할 수 있는 그 어떤 스위치라도 무방할 수 있다.
도 3은 상기 픽셀노출시간조절기의 작용을 설명하는 도면이다.
도 3을 참조하면, 리셋을 한 후에, 가중치에 따라서 누출시간 및 광전소자의 전류량의 변화를 볼 수 있다. 먼저, 가중치가 1인 경우에는 노출시간이 Δt이고, 가중치가 2인 경우에는 노출시간이 2Δt이고, 가중치가 4인 경우에는 노출시간이 4Δt가 된다. 마찬가지로, 노출시간이 늘어나기 때문에, 광전소자의 전류와 노출시간은 비례할 수 있다. 여기서 비례관계는 100% 완전일치가 아닐 수 있다. 시간차에 대한 광량의 변화 등도 있을 수 있기 때문이다. 그러나, 공학적인 범위 내에서는 짧은 시간 간격이기 때문에 비례관계를 보일 수 있다.
도 2 및 도 3에 따르면, 픽셀의 노출시간을 이용하여 합성곱을 위한 가중치 정보를 손쉽게 포함할 수 있는 것을 알 수 있다. 다시 말하면, 픽셀의 동작을 위하여 반드시 필요한 광전소자의 온오프 작용을 이용하여, 가중치의 합성곱을 함께 수행할 수 있다.
도 4는 예시적인 픽셀어레이의 동작을 보이는 도면이다.
도 4를 참조하면, 상기 픽셀어레이(130)에는 다수의 픽셀이 마련된다. 상기 각 픽셀에 노출시간을 조절하는 픽셀노출시간조절기(120)가 마련된다. 상기 픽셀노출시간조절기는(120) 각 상기 스위치(102 및/또는 103)로 인가되는 시간을 조절할 수 있다. 이를 통하여 가중치가 반영된 상태의 정보를 독출회로(140)로 독출될 수 있다. 상기 독출회로의 출력정보는 상기 특징 이미지의 정보를 포함할 수 있다.
도 5는 발명자의 종래기술인 특허등록번호 10-2094275호에 본 발명의 사상이 적용된 예를 보이는 도면이다.
도 5를 참조하면, 상기 이미지 센서(100)에는, 촬상 장치에 제공되는 픽셀들(10)로부터 획득되는 아날로그 정보를 합성곱 연산을 수행하는 아날로그 멀티플렉서(20)를 포함할 수 있다. 물론, 도면에는 없지만, 아날로그 멀티플렉서에서 출력되는 아날로그 신호를 디지털 신호로 변환하는 델타-시그마 ADC(30)를 포함할 수 있다.
실시예에서는 가중치행렬(90)에는 픽셀의 노출시간과 대응하는 정보가 저장될 수 있다. 이에 따라서, 적은 크기의 하드웨어를 가지고, 저 전력으로 이미지 센서가 동작할 수 있다.
도 6은 이상적인 2D 합성곱을 수행하는 경우(a)와, 픽셀의 노출시간을 조절하여 상기 SFA방식에 적용한 경우(b)를 비교하는 도면이다.
도 6을 참조하면, 분리정확도가 크게 떨어지지 않는 것을 확인할 수 있다.
도 7은 본 발명의 효과를 보이는 도면이다.
도 7을 참조하면, 상기 SFA방식을 수행하는데 있어서, 본 발명과 픽셀의 노출시간을 조절하는 경우에는, 소프트웨어파워를 이용하는 경우에 비하여, 첫째, 이미지센서의 소모파워는 5mW로 약간량 증가하지만, 둘째, 뉴럴 네트워크의 소모파워는 104mW감소하는 것을 알 수 있다.
이 결과에 따르면, 이미지센서의 노출시간을 조절하는 것에 의해서, 더 작은 전력소모량을 이용하더라도 이미지인식장치를 구동시킬 수 있다. 이에 따르면, 휴대용장비의 경우에 더 바람직하게 본 발명을 적용할 수 있다.
본 발명에 따르면, 이미지인식장치가 저전력으로 동작할 수 있다.
100: 이미지센서
110: 가중치저장소
120: 픽셀노출시간조절기
130: 픽셀어레이
110: 가중치저장소
120: 픽셀노출시간조절기
130: 픽셀어레이
Claims (6)
- 가중치가 저장되는 가중치 저장소;
상기 가중치에 따라서 적어도 두 개의 픽셀의 노출시간을 조절하는 픽셀노출시간조절기; 및
상기 노출시간에 따라서 입사광량이 조절되는 상기 적어도 두 개의 픽셀을 포함하고, 특징이미지를 출력하는 픽셀어레이가 포함되는 이미지 센서. - 제 1 항에 있어서,
상기 픽셀은 광전소자를 포함하고,
상기 광전소자는 상기 노출시간에 대응하여 생성하는 전류량을 다른 이미지센서. - 제 2 항에 있어서,
상기 가중치와 상기 전류량은 비례하는 이미지센서. - 제 1 항 내지 제 3 항 중의 어느 한 항의 이미지센서; 및
상기 특징이미지를 입력받아 자신에게 특화되는 이미지는 식별하는 인공지능인식시스템을 포함하는 이미지인식장치. - 제 4 항에 있어서,
상기 이미지인식시스템은 상기 가중치를 업데이트하는 이미지인식장치. - 제 4 항에 있어서,
상기 특징이미지와 상기 가중치는 서로 대응하는 이미지인식장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200111303A KR102418536B1 (ko) | 2020-09-01 | 2020-09-01 | 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200111303A KR102418536B1 (ko) | 2020-09-01 | 2020-09-01 | 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220029237A true KR20220029237A (ko) | 2022-03-08 |
| KR102418536B1 KR102418536B1 (ko) | 2022-07-08 |
Family
ID=80813246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200111303A KR102418536B1 (ko) | 2020-09-01 | 2020-09-01 | 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102418536B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150099263A (ko) * | 2014-02-21 | 2015-08-31 | 삼성전자주식회사 | 이미지를 획득하기 위한 전자 장치 및 방법 |
| KR101585978B1 (ko) * | 2014-07-29 | 2016-01-15 | 주식회사 동부하이텍 | 이미지 센서 |
| KR102094275B1 (ko) | 2018-11-20 | 2020-03-30 | 광주과학기술원 | 이미지 센서 및 이미지 센서를 활용하는 이미지인식장치 |
| KR20200058440A (ko) * | 2017-10-11 | 2020-05-27 | 퀄컴 인코포레이티드 | 이미지들을 프로세싱하기 위한 이미지 신호 프로세서 |
-
2020
- 2020-09-01 KR KR1020200111303A patent/KR102418536B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150099263A (ko) * | 2014-02-21 | 2015-08-31 | 삼성전자주식회사 | 이미지를 획득하기 위한 전자 장치 및 방법 |
| KR101585978B1 (ko) * | 2014-07-29 | 2016-01-15 | 주식회사 동부하이텍 | 이미지 센서 |
| KR20200058440A (ko) * | 2017-10-11 | 2020-05-27 | 퀄컴 인코포레이티드 | 이미지들을 프로세싱하기 위한 이미지 신호 프로세서 |
| KR102094275B1 (ko) | 2018-11-20 | 2020-03-30 | 광주과학기술원 | 이미지 센서 및 이미지 센서를 활용하는 이미지인식장치 |
Non-Patent Citations (1)
| Title |
|---|
| 'A Low-Power Convolutional Neural Network Face Recognition Processor and a CIS Integrated With Always-on Face Detector' K. Bong, Sungpill Choi, +2 authors H. Yoo Published 2018 Computer Science IEEE Journal of Solid-State Circuits |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102418536B1 (ko) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Pulse-modulation imaging—Review and performance analysis | |
| Posch et al. | A QVGA 143 dB dynamic range frame-free PWM image sensor with lossless pixel-level video compression and time-domain CDS | |
| US7843554B2 (en) | High dynamic range sensor system and method | |
| CN109792478B (zh) | 基于焦点目标信息调整焦点的装置和方法 | |
| Huang et al. | A dynamic vision sensor with direct logarithmic output and full-frame picture-on-demand | |
| US20140078360A1 (en) | Imagers with improved analog-to-digital converters | |
| US20230060498A1 (en) | Imaging device, imaging system, vehicle running control system, and image processing device | |
| Vargas-Sierra et al. | A 151 dB high dynamic range CMOS image sensor chip architecture with tone mapping compression embedded in-pixel | |
| GB2577353A (en) | A pixel unit, image sensor and camera | |
| US8643769B2 (en) | Method for capturing wide dynamic range image in a 16 bit floating point format | |
| US9621829B1 (en) | Imaging system unit cell and methods for dynamic range imaging | |
| Zhang et al. | A closed-loop, all-electronic pixel-wise adaptive imaging system for high dynamic range videography | |
| CN112596069A (zh) | 距离测量方法及系统、计算机可读介质和电子设备 | |
| CN114125334B (zh) | 可输出时间信号及进行模拟运算的像素电路 | |
| CN116349242A (zh) | 固态成像设备和电子设备 | |
| KR102418536B1 (ko) | 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 | |
| CN109584278B (zh) | 一种目标识别装置及方法 | |
| Fernández-Berni et al. | Single-exposure HDR technique based on tunable balance between local and global adaptation | |
| CN115410063A (zh) | 图像处理装置及方法、电子设备、介质 | |
| US20170208285A1 (en) | Image sensor and imaging device | |
| Ding et al. | A Multi-mode Neuromorphic Vision Sensor With Improved Brightness Measurement Performance by Pulse Coding Method | |
| Kłosowski et al. | A high-efficient measurement system with optimization feature for prototype CMOS image sensors | |
| Oi et al. | Wide dynamic range imaging by sensitivity adjustable CMOS image sensor | |
| Wu et al. | A single-slope PWM imaging method for multi-mode dynamic vision sensor | |
| US20220141405A1 (en) | Digital pixel sensor with adaptive noise reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |