KR102418536B1 - 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 - Google Patents
이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 Download PDFInfo
- Publication number
- KR102418536B1 KR102418536B1 KR1020200111303A KR20200111303A KR102418536B1 KR 102418536 B1 KR102418536 B1 KR 102418536B1 KR 1020200111303 A KR1020200111303 A KR 1020200111303A KR 20200111303 A KR20200111303 A KR 20200111303A KR 102418536 B1 KR102418536 B1 KR 102418536B1
- Authority
- KR
- South Korea
- Prior art keywords
- exposure time
- image
- weight
- image sensor
- pixel
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- H04N5/35536—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H04N5/369—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
본 발명에 따른 이미지 센서에는, 가중치가 저장되는 가중치 저장소; 상기 가중치에 따라서 적어도 두 개의 픽셀의 노출시간을 조절하는 픽셀노출시간조절기;및 상기 노출시간에 따라서 입사광량이 조절되는 상기 적어도 두 개의 픽셀을 포함하고, 특징이미지를 출력하는 픽셀어레이가 포함된다.
Description
본 발명은 이미지 센서 및 이미지 센서를 활용하는 이미지인식장치에 관한 것이다.
발명자는 이미지 센서의 하드웨어를 이용하여 고속으로 이미지를 인식하는 장치를 연구하고 있다. 그 일환으로 발명자는 특허등록번호 10-2094275호, 이미지 센서 및 이미지 센서를 활용하는 이미지 인식장치를 발명하였다.
상기 등록특허는, 이미지 센서에 가중치에 대한 합성곱(컨벌루션) 연산이 가능한 블럭을 제공한다. 상기 이미지 센서는 구현되는 특정한 목적에 적합하도록 이미지 센서가 동작하도록 한다. 상기 등록특허에 따르면, 이미지 센서가 커지고, 이미지 센서의 동작에 에너지가 소모되는 단점이 있다.
한편, 근래에는 위 등록특허와 같이 합성곱을 이용하여 이미지 센서를 구현하는 기술이 소개되고 있다. 다만 2D 합성곱은 하드웨어 구현이 복잡하다. 이 때문에 SFA(Separable Filter Approximation) 방식을 이용하는 기술이 비특허문헌으로 소개된 바가 있다. 상기 SFA방식을 이용하여 1차원으로 복잡도를 감소시킬 수 있는 장점은 있다. 그러나, 상기 SFA방식의 경우에는 1D 합성곱을 어떻게 구현하는 가는 중요한 문제이다.
'A Low-Power Convolutional Neural Network Face Recognition Processor and a CIS Integrated With Always-on Face Detector' K. Bong, Sungpill Choi, +2 authors H. Yoo Published 2018 Computer Science IEEE Journal of Solid-State Circuits
본 발명은 상기되는 배경에서 제안되는 것으로서, 이미지센서 내부에서 합성곱을 구현할 수 있는 저규모 및 저전력의 방안을 제공하는 이미지 센서 및 이미지인식장치를 제공한다.
본 발명은 SFA의 1D를 구현할 수 있는 바람직한 방법을 제안한다.
본 발명에 따른 이미지 센서에는, 가중치가 저장되는 가중치 저장소; 상기 가중치에 따라서 적어도 두 개의 픽셀의 노출시간을 조절하는 픽셀노출시간조절기;및 상기 노출시간에 따라서 입사광량이 조절되는 상기 적어도 두 개의 픽셀을 포함하고, 특징이미지를 출력하는 픽셀어레이가 포함된다.
본 발명에 따르면, 이미지센서내부, 즉, 하드웨어를 이용하여 고속의 합성곱연산을 제공할 수 있다.
이미지센서의 크기 및 에너지 소모를 줄이면서도, 특정한 이미지에 적합한 이미지 센서를 제공할 수 있다. 이를 통하여 이미지인식장치의 성능을 향상시킬 수 있다.
도 1은 실시예에 따른 이미지인식장치의 구성도.
도 2는 예시적으로 상기 픽셀노출시간조절기의 구성을 설명하는 도면.
도 3은 픽셀노출시간조절기의 작용을 설명하는 도면.
도 4는 예시적인 픽셀어레이의 동작을 보이는 도면.
도 5는 종래기술에 본 발명의 사상이 적용된 예를 보이는 도면.
도 6은 이상적인 2D 합성곱을 수행하는 경우(a)와, 픽셀의 노출시간을 조절하여 상기 SFA방식에 적용한 경우(b)를 비교하는 도면.
도 7은 본 발명의 효과를 보이는 도면.
도 2는 예시적으로 상기 픽셀노출시간조절기의 구성을 설명하는 도면.
도 3은 픽셀노출시간조절기의 작용을 설명하는 도면.
도 4는 예시적인 픽셀어레이의 동작을 보이는 도면.
도 5는 종래기술에 본 발명의 사상이 적용된 예를 보이는 도면.
도 6은 이상적인 2D 합성곱을 수행하는 경우(a)와, 픽셀의 노출시간을 조절하여 상기 SFA방식에 적용한 경우(b)를 비교하는 도면.
도 7은 본 발명의 효과를 보이는 도면.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 이하에 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
도 1은 실시예에 따른 이미지인식장치의 구성도이다.
도 1을 참조하면, 이미지 인식장치에는, 이미지센서(100), 및 인공지능인식시스템(200)가 포함될 수 있다.
상기 인공지능인식시스템은 이진 뉴럴 네트워크가 포함될 수 있다. 상기 인공지능인식시스템은 상기 이미지센서(100)에서 출력되는 특징 이미지를 이용하여 이미지는 식별할 수 있다. 상기 인공지능인식시스템은, 판별기, 통보기, 메모리 등의 다른 장치가 더 포함될 수 있고, 이들 부품은 널리 알려지는 다른 기기가 적용될 수 있다.
상기 인공지능인식시스템(200)은, 특정한 목적을 위하여 특정한 이미지의 인식을 위하여 특화될 수 있다. 예를 들어, 상기 인공지능인식시스템은, 사람의 얼굴인식, 차선인식, 또는 표지판인식 등을 위하여 특화될 수 있다.
상기 인공지능인식시스템은, 자신의 특화된 목적에 맞는 상기 특징 이미지를 입력받을 수 있다. 이를 위하여 상기 인공지능인식시스템은 가중치를 출력하여 이미지센서로 전달할 수 있다. 예를 들어, 상기 인공지능인식시스템이 얼굴인식에 특화된 목적으로 설정되는 경우에는, 얼굴인식에 특화되는 상기 특징 이미지를 상기 인공지능인식시스템으로 출력할 수 있다. 이때, 상기 특징 이미지를 얻을 수 있는 가중치행렬은 상기 인공지능인식시스템이 출력할 수 있다. 물론, 상기 가중치는 각 픽셀에 대응하는 행렬인 가중치 행렬로서 초기 설정에 의해서 상기 이미지센서에 저장되어 있을 수도 있다.
상기 이미지센서(100)에는, 상기 가중치가 저장되는 가중치 저장소(110), 상기 가중치에 따라서 각 픽셀의 노출시간을 조절하는 픽셀노출시간조절기(120), 및 상기 픽셀노출시간조절기에 의해서 노출시간이 조절되는 각 픽셀의 집합인 픽셀어레이(130)가 포함될 수 있다.
상기 픽셀어레이는 상기 가중치에 대응하여 동작하여 상기 특징이미지를 출력할 수 있다. 상기 특징이미지는 상기 인공지능인식시스템(200)으로 전달되어 특화되는 이미지의 인식에 사용될 수 있다.
상기 픽셀은 상기 가중치에 대응하여 픽셀의 노출시간이 조절될 수 있다. 예를 들어, a픽셀의 가중치는 1이고, b픽셀의 가중치가 2인 경우에는, a픽셀은 1초동안 노출되고, b픽셀은 2초동안 노출될 수 있다. 다시 말하면, b픽셀은 a픽셀보다 두배 많은 노출시간으로 동작할 수 있는 것이다. 상기 픽셀은 노출시간이 조절되는 것에 의해서 상기 가중치의 정보를 반영할 수 있다. 상기 픽셀은 상기 노출시간에 따라서 입사광량이 조절될 수 있다. 상기 입사광량은 가중치를 반영할 수 있다.
도 2는 예시적으로 상기 픽셀노출시간조절기의 구성을 설명하는 도면이다.
도 2를 참조하면, 광전소자의 노출시간을 조절하는 노출시간조절스위치에 의해서 구현될 수 있다.
상기 노출시간조절스위치는, 상기 이미지센서의 동작과는 별개로 노출시간을 상기 가중치에 대응하여 조절하는 목적으로 별도로 마련하는 제 1 노출시간조절스위치(102)를 포함할 수 있다. 상기 노출시간조절스위치는, 상기 이미지센서의 동작에 필요한 것으로서, 광전소자(101)와 전원단자(104)를 연결하여, 광전소자(101)에 전원을 인가하는 작용을 수행하는 제 2 노출시간조절스위치(103)를 포함할 수 있다.
상기 노출시간조절스위치는, 상기 광전소자(101)의 노출시간을 제어할 수 있는 그 어떤 스위치라도 무방할 수 있다.
도 3은 상기 픽셀노출시간조절기의 작용을 설명하는 도면이다.
도 3을 참조하면, 리셋을 한 후에, 가중치에 따라서 누출시간 및 광전소자의 전류량의 변화를 볼 수 있다. 먼저, 가중치가 1인 경우에는 노출시간이 Δt이고, 가중치가 2인 경우에는 노출시간이 2Δt이고, 가중치가 4인 경우에는 노출시간이 4Δt가 된다. 마찬가지로, 노출시간이 늘어나기 때문에, 광전소자의 전류와 노출시간은 비례할 수 있다. 여기서 비례관계는 100% 완전일치가 아닐 수 있다. 시간차에 대한 광량의 변화 등도 있을 수 있기 때문이다. 그러나, 공학적인 범위 내에서는 짧은 시간 간격이기 때문에 비례관계를 보일 수 있다.
도 2 및 도 3에 따르면, 픽셀의 노출시간을 이용하여 합성곱을 위한 가중치 정보를 손쉽게 포함할 수 있는 것을 알 수 있다. 다시 말하면, 픽셀의 동작을 위하여 반드시 필요한 광전소자의 온오프 작용을 이용하여, 가중치의 합성곱을 함께 수행할 수 있다.
도 4는 예시적인 픽셀어레이의 동작을 보이는 도면이다.
도 4를 참조하면, 상기 픽셀어레이(130)에는 다수의 픽셀이 마련된다. 상기 각 픽셀에 노출시간을 조절하는 픽셀노출시간조절기(120)가 마련된다. 상기 픽셀노출시간조절기는(120) 각 상기 스위치(102 및/또는 103)로 인가되는 시간을 조절할 수 있다. 이를 통하여 가중치가 반영된 상태의 정보를 독출회로(140)로 독출될 수 있다. 상기 독출회로의 출력정보는 상기 특징 이미지의 정보를 포함할 수 있다.
도 5는 발명자의 종래기술인 특허등록번호 10-2094275호에 본 발명의 사상이 적용된 예를 보이는 도면이다.
도 5를 참조하면, 상기 이미지 센서(100)에는, 촬상 장치에 제공되는 픽셀들(10)로부터 획득되는 아날로그 정보를 합성곱 연산을 수행하는 아날로그 멀티플렉서(20)를 포함할 수 있다. 물론, 도면에는 없지만, 아날로그 멀티플렉서에서 출력되는 아날로그 신호를 디지털 신호로 변환하는 델타-시그마 ADC(30)를 포함할 수 있다.
실시예에서는 가중치행렬(90)에는 픽셀의 노출시간과 대응하는 정보가 저장될 수 있다. 이에 따라서, 적은 크기의 하드웨어를 가지고, 저 전력으로 이미지 센서가 동작할 수 있다.
도 6은 이상적인 2D 합성곱을 수행하는 경우(a)와, 픽셀의 노출시간을 조절하여 상기 SFA방식에 적용한 경우(b)를 비교하는 도면이다.
도 6을 참조하면, 분리정확도가 크게 떨어지지 않는 것을 확인할 수 있다.
도 7은 본 발명의 효과를 보이는 도면이다.
도 7을 참조하면, 상기 SFA방식을 수행하는데 있어서, 본 발명과 픽셀의 노출시간을 조절하는 경우에는, 소프트웨어파워를 이용하는 경우에 비하여, 첫째, 이미지센서의 소모파워는 5mW로 약간량 증가하지만, 둘째, 뉴럴 네트워크의 소모파워는 104mW감소하는 것을 알 수 있다.
이 결과에 따르면, 이미지센서의 노출시간을 조절하는 것에 의해서, 더 작은 전력소모량을 이용하더라도 이미지인식장치를 구동시킬 수 있다. 이에 따르면, 휴대용장비의 경우에 더 바람직하게 본 발명을 적용할 수 있다.
본 발명에 따르면, 이미지인식장치가 저전력으로 동작할 수 있다.
100: 이미지센서
110: 가중치저장소
120: 픽셀노출시간조절기
130: 픽셀어레이
110: 가중치저장소
120: 픽셀노출시간조절기
130: 픽셀어레이
Claims (6)
- 가중치가 저장되는 가중치 저장소;
상기 가중치에 따라서 적어도 두 개의 픽셀의 노출시간을 조절하는 픽셀노출시간조절기; 및
상기 노출시간에 따라서 입사광량이 조절되는 상기 적어도 두 개의 픽셀을 포함하고, 특징이미지를 출력하는 픽셀어레이가 포함되고,
상기 적어도 두 개의 픽셀은, 상기 노출시간에 대응하여 생성하는 전류량이 다른 광전소자를 포함하며,
상기 픽셀노출시간조절기는,
상기 노출시간을 상기 가중치에 대응하여 조절하기 위해 마련되는 제1노출시간조절스위치; 및
상기 광전소자와 전원단자를 연결하여 상기 광전소자에 전원을 인가하기 위해 마련되는 제2노출시간조절스위치를 포함하는 것을 특징으로 하는 이미지 센서. - 삭제
- 제 1 항에 있어서,
상기 가중치와 상기 전류량은 비례하는 것을 특징으로 하는 이미지 센서. - 제 1 항 및 제 3 항 중의 어느 한 항의 이미지 센서; 및
상기 이미지 센서에서 출력되는 특징 이미지를 이용하여 자신에게 특화되는 이미지를 식별하는 인공지능 인식 시스템을 포함하는 것을 특징으로 하는 이미지 인식장치. - 제 4 항에 있어서,
상기 인공지능 인식 시스템은 상기 가중치를 업데이트하는 것을 특징으로 하는 이미지 인식장치. - 제 4 항에 있어서,
상기 특징 이미지와 상기 가중치는 서로 대응하는 것을 특징으로 하는 이미지 인식장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200111303A KR102418536B1 (ko) | 2020-09-01 | 2020-09-01 | 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200111303A KR102418536B1 (ko) | 2020-09-01 | 2020-09-01 | 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220029237A KR20220029237A (ko) | 2022-03-08 |
| KR102418536B1 true KR102418536B1 (ko) | 2022-07-08 |
Family
ID=80813246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200111303A KR102418536B1 (ko) | 2020-09-01 | 2020-09-01 | 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102418536B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101585978B1 (ko) * | 2014-07-29 | 2016-01-15 | 주식회사 동부하이텍 | 이미지 센서 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102149453B1 (ko) * | 2014-02-21 | 2020-08-28 | 삼성전자주식회사 | 이미지를 획득하기 위한 전자 장치 및 방법 |
| US10643306B2 (en) * | 2017-10-11 | 2020-05-05 | Qualcomm Incoporated | Image signal processor for processing images |
| KR102094275B1 (ko) | 2018-11-20 | 2020-03-30 | 광주과학기술원 | 이미지 센서 및 이미지 센서를 활용하는 이미지인식장치 |
-
2020
- 2020-09-01 KR KR1020200111303A patent/KR102418536B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101585978B1 (ko) * | 2014-07-29 | 2016-01-15 | 주식회사 동부하이텍 | 이미지 센서 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220029237A (ko) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Pulse-modulation imaging—Review and performance analysis | |
| Posch et al. | A QVGA 143 dB dynamic range frame-free PWM image sensor with lossless pixel-level video compression and time-domain CDS | |
| US8854244B2 (en) | Imagers with improved analog-to-digital converters | |
| US7843554B2 (en) | High dynamic range sensor system and method | |
| Chi et al. | CMOS camera with in-pixel temporal change detection and ADC | |
| Huang et al. | A dynamic vision sensor with direct logarithmic output and full-frame picture-on-demand | |
| US20230060498A1 (en) | Imaging device, imaging system, vehicle running control system, and image processing device | |
| GB2577353A (en) | A pixel unit, image sensor and camera | |
| EP3354012B1 (en) | Imaging system unit cell and methods for dynamic range imaging | |
| US8643769B2 (en) | Method for capturing wide dynamic range image in a 16 bit floating point format | |
| Zhang et al. | A closed-loop, all-electronic pixel-wise adaptive imaging system for high dynamic range videography | |
| KR20170124668A (ko) | 비교 장치 및 그 동작 방법과 그를 이용한 씨모스 이미지 센서 | |
| KR102418536B1 (ko) | 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 | |
| KR20180031842A (ko) | 비교 장치 및 그 동작 방법과 그를 이용한 씨모스 이미지 센서 | |
| KR20170089208A (ko) | 램프 그라운드 노이즈 제거를 위한 픽셀 바이어스 장치 및 그에 따른 씨모스 이미지 센서 | |
| JP7164579B2 (ja) | 画像センサー及び電子デバイス | |
| US8305460B2 (en) | Detection device and image capture system using the same | |
| CN115410063A (zh) | 图像处理装置及方法、电子设备、介质 | |
| US20170208285A1 (en) | Image sensor and imaging device | |
| KR101621048B1 (ko) | 가변 해상도를 갖는 저전력 cmos 이미지 센서 | |
| Belenky et al. | A snapshot CMOS image sensor with extended dynamic range | |
| Mughal et al. | On threshold comparing biomorphic image sensors | |
| Oi et al. | Wide dynamic range imaging by sensitivity adjustable CMOS image sensor | |
| Kłosowski et al. | A high-efficient measurement system with optimization feature for prototype CMOS image sensors | |
| Aziz et al. | Design and simulation of a CMOS image sensor with a built-in edge detection for tactile vision sensory substitution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |