KR20210079282A - 신경망을 이용한 사진 노출 부족 보정 - Google Patents
신경망을 이용한 사진 노출 부족 보정 Download PDFInfo
- Publication number
- KR20210079282A KR20210079282A KR1020217010652A KR20217010652A KR20210079282A KR 20210079282 A KR20210079282 A KR 20210079282A KR 1020217010652 A KR1020217010652 A KR 1020217010652A KR 20217010652 A KR20217010652 A KR 20217010652A KR 20210079282 A KR20210079282 A KR 20210079282A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- neural network
- sensor
- underexposure
- data
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000033001 locomotion Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 22
- 230000003321 amplification Effects 0.000 claims description 19
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 19
- 230000006641 stabilisation Effects 0.000 claims description 7
- 238000011105 stabilization Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 230000007774 longterm Effects 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000002829 reductive effect Effects 0.000 abstract description 9
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 206010034960 Photophobia Diseases 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H04N5/2353—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G06K9/6256—
-
- G06T5/002—
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H04N5/217—
-
- H04N5/2352—
-
- H04N5/2355—
-
- H04N5/238—
-
- H04N5/243—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10084—Hybrid tomography; Concurrent acquisition with multiple different tomographic modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
이미지 캡처 방법은 노출 범위를 결정하는 단계, 및 상기 노출 범위 밖의 노출 부족 이미지를 캡처하기 위해 적어도 하나의 카메라 파라미터를 설정하는 단계를 포함한다. 상기 노출 부족 이미지는 이미지 세부 사항을 복구하기 위해 신경망을 이용하여 처리된다. 카메라 또는 물체 움직임 블러로 인한 이미지 결함을 줄일 수 있다.
Description
관련 출원
본 출원은, 전체 내용이 모든 목적을 위해 본 명세서에 병합된, 2018년 9월 13일에 출원된 미국 임시출원 번호 62/730,799 및 2019년 5월 7일에 출원된 미국 임시출원 번호 62/844,496의 이익을 주장한다.
기술 분야
본 발명은 컨볼루션 신경망을 이용하여 노출 부족 사진 이미지를 개선하기 위한 시스템에 관한 것이다. 보다 상세하게는, 이미지 품질의 손실을 최소화하면서 필요한 개방 셔터 시간을 줄이거나, 필요한 조리개 크기를 줄이거나, 또는 센서 감도를 낮추는 방법이 설명된다.
저조도 환경은 종종 카메라 센서를 적절히 노출시켜 사용 가능한 이미지를 제공할 만큼 충분한 이용 가능한 광을 제공하지 않는다. 이러한 저조도 사진은 센서 광 감도를 높이거나, 조리개 크기를 넓히거나, 노출 시간을 늘리거나, 플래시 또는 기타 인공 조명을 제공함으로써 개선될 수 있다. 안타깝게도 이들 솔루션 각각에는 잘 알려진 문제가 있다. 센서 감도를 높이면 센서 노이즈가 증폭된다. 조리개 크기가 증가되면 크고 무겁고 값 비싼 렌즈가 필요할 수 있다. 노출 시간을 연장시키면 카메라 흔들림으로 인한 움직임 블러(motion blur), 롤링 셔터 시스템의 전단 아티팩트(shearing artifact), 및 물체 움직임 블러가 발생할 수 있다. 플래시 조명은 비용이 많이 들고 배치하기 어려울 수 있으며, 종종 사람이나 물체가 부자연스럽게 보이는 과다 노출을 초래한다.
저조도 이미지의 외관을 개선하기 위해 다양한 컴퓨터 처리 기술이 적용되었다. 예를 들어, 히스토그램 등화 및 감마 보정과 같은 간단한 기술은 종종 밝은 영역에는 제한적 영향을 미치면서 어두운 영역의 밝기를 증가시킬 수 있다. 노이즈 제거 및 블러 제거를 사용하여 각각 노이즈 및 움직임 아티팩트를 줄일 수 있다. 예를 들어 이미지 헤이즈 제거(dehazing), 웨이블릿 변환 처리, 또는 조명 맵(map) 추정을 위해 역 다크 채널 지식을 사용하여 화상 레벨 분석 및 처리는 모두 저조도 이미지를 개선할 수 있다.
또한 기계 지능의 후처리를 사용하여 만족스럽지 않거나 불량한 저조도 카메라 이미지를 구제하려는 다양한 시도가 있었다. 예를 들어, 문헌(The Conference on Computer Vision and Pattern Recognition (CVPR 2018), arXiv: 1805.01934 [cs.CV] (4 May 2018)에서 공개된 Chen Chen, Qifeng Chen, Jia Xu, Vladlen Koltun, "Learning to See in the Dark")은 저조도 이미지를 직접 단일 이미지로 처리하기 위한 완전 컨볼루션 신경망을 이용하는 것을 설명한다.
보다 복잡한 기계 지능 처리의 예를 들면, 문헌(Yuki Endo, Yoshihiro Kanamori, and Jun Mitani, "Deep Reverse Tone Mapping," ACM Transactions on Graphics (Proc. of SIGGRAPH ASIA 2017), 36, 6, Article 177 (November 2017))은 노출 과다 또는 노출 부족 및 신경망을 이용하여 처리된 낮은 동적 범위 이미지를 사용하여 자연스러워 보이는 높은 동적 범위 이미지를 합성하는 것을 설명한다. 마찬가지로 문헌(Xin Yang et al, "Image Correction via Deep Reciprocating HDR Transformation", arXiv: 1804.04371 [cs.CV], 12 Apr 2018 공개)은 이중 신경망 시스템을 사용하여 카메라 노출 부족/노출 과다 보정을 통해 노출 부족 이미지를 재구성하는 것을 설명한다.
이미지 캡처를 위한 방법은 노출 범위를 결정하는 단계, 및 상기 노출 범위 밖의 노출 부족 이미지를 캡처하기 위해 적어도 하나의 카메라 파라미터를 설정하는 단계를 포함한다. 상기 노출 부족 이미지는 이미지 세부 사항을 복구하기 위해 신경망을 이용하여 처리된다. 카메라 또는 물체 움직임 블러로 인한 이미지 결함을 줄일 수 있다.
다른 실시예는 센서를 갖는 센서 시스템에 대한 아날로그 설정을 결정하는 단계, 및 상기 센서를 사용하여 데이터를 캡처하는 단계를 포함하는 이미지 개선 방법이다. 상기 센서에 의해 제공된 이전 데이터로 훈련된 신경망을 이용하면 노이즈를 줄이고 캡처된 이미지 데이터로부터 이미지 세부 사항을 복구할 수 있다.
일 실시예에서, 아날로그 설정은 신경망 훈련 응답을 개선하기 위해 조정된다.
일 실시예에서, 아날로그 설정은 이미지를 부족하게 노출하도록 조정된다.
일 실시예에서, 이미지는 신경망으로 처리한 후에 압축된다.
일 실시예에서, 결합된 아날로그 및 디지털 시스템에서 전체 시스템의 이득을 개선하기 위한 시스템은 이미지 데이터를 캡처하도록 구성된 센서를 갖는 센서 시스템을 포함하고, 상기 이미지 데이터는 순차적인 아날로그 및 디지털 절차로 처리된다. 신경망은 상기 센서 또는 센서 유형에 의해 제공된 이전 데이터로 훈련되어, 아날로그 증폭 후 캡처된 이미지 데이터로부터 노이즈를 줄이고 이미지 세부 사항을 복구할 수 있다. 일부 실시예에서, 신경망 처리는 디지털 증폭 전에 발생할 수 있고, 또는 대안적으로 아날로그 증폭 및 일부 디지털 증폭 후에 발생할 수 있다.
본 발명의 비-제한적이고 비-포괄적인 실시예가 이하 도면을 참조하여 설명되고, 여기서 동일한 참조 부호는 달리 명시되지 않는 한 다양한 도면에 걸쳐 동일한 부분을 지칭한다.
도 1은 카메라 이미지 캡처 기능을 개선하기 위한 방법을 도시한다.
도 2는 신경망 처리를 도시한다.
도 3은 다른 신경망 처리 실시예를 도시한다.
도 4a 내지 도 4d는 선택된 신경망이 데이터 세트에서 노이즈를 제거하는 것을 도시한다.
도 5는 카메라 센서 처리 절차의 일 실시예를 도시한다.
도 6은 제어, 이미징 및 디스플레이 서브시스템을 갖는 시스템을 도시한다.
도 7은 신경망 훈련 절차의 일 실시예를 도시한다.
도 8은 일 실시예에 대한 신호 대 노이즈비 대 전체 시스템의 이득을 나타내는 그래프이다.
도 1은 카메라 이미지 캡처 기능을 개선하기 위한 방법을 도시한다.
도 2는 신경망 처리를 도시한다.
도 3은 다른 신경망 처리 실시예를 도시한다.
도 4a 내지 도 4d는 선택된 신경망이 데이터 세트에서 노이즈를 제거하는 것을 도시한다.
도 5는 카메라 센서 처리 절차의 일 실시예를 도시한다.
도 6은 제어, 이미징 및 디스플레이 서브시스템을 갖는 시스템을 도시한다.
도 7은 신경망 훈련 절차의 일 실시예를 도시한다.
도 8은 일 실시예에 대한 신호 대 노이즈비 대 전체 시스템의 이득을 나타내는 그래프이다.
모든 이미지 감지 시스템 및 센서는 일반적인 동작 동안 생성되는 일부 관련 노이즈를 가진다. 저조도 환경(예를 들어, 낮은 환경 럭스, 빠른 셔터 또는 작은 조리개)에서 일반적인 노이즈성 환경에서 이 노이즈는 디지털화된 신호의 지배적인 부분이 된다. 안타깝게도 많은 기존 및 현대 컴퓨터 비전 알고리즘(예를 들어, 물체 또는 얼굴 식별, 시각적 오도미트리(visual odometry), 시각적 SLAM 또는 이미지 안정화)은 노이즈가 많은 환경에서 실패할 수 있다. 일반적으로 실패할 수 있는 환경에서 알고리즘이 작동할 수 있게 하려면 이미지 노이즈를 줄이고 이미지 세부 사항을 복구하는 알고리즘과 시스템이 필요하다.
또한, 노이즈를 줄이면 기계 지능에 기초하여 이미지를 처리하는 데 도움을 줄 수 있다. 현대 학습 기반 알고리즘은 훈련된 데이터 분배 세트에 대해 예외적으로 잘 작동한다. 분포를 벗어난 데이터가 기계 학습 알고리즘에 제공될 때 또는 대립적인 예를 사용할 때 이러한 알고리즘의 정확성, 속도 및 다른 성능 척도가 저하될 수 있다. 이미지 또는 데이터 세트에서 이미지 센서 노이즈를 크게 줄일 수 있는 경우 이미지 또는 데이터 세트를 처리하는 학습 알고리즘은 더 적은 성능 저하를 받는다.
노이즈에 따른 또 다른 문제는 노이즈는 거의 압축할 수 없는 높은 엔트로피 정보라는 것이다. 이것은, 노이즈성 환경이나 상태를 캡처하는 이미지에서 주어진 시스템 또는 센서 저장 매체의 압축비가 크게 감소한다는 것을 의미한다. 압축된 파일 크기는 일반적으로 정상 동작 상태 하에서 캡처된 것과 동등한 신호보다 훨씬 더 크게 될 것이다.
노이즈를 줄이고, 정상 조도 또는 저조도 상태에서 이미지 정확도 및 세부 사항 복구를 개선하고, 압축비를 개선하기 위해 신경망을 이용하면 기본 신호를 복구할 수 있다. 실제로, 본 명세서에 개시된 시스템 및 신경망으로 전처리된 매체는 이미지 품질이 개선되고 더 큰 정도로 압축될 수 있어서, 이에 파일 크기가 더 작아지고 저장 매체 또는 대역폭 사용량이 감소한다. 유리하게도, 올바르게 노출된 이미지조차도 이 전처리 단계의 이점을 누릴 수 있다.
도 1에 도시된 바와 같이, 일 실시예에서 카메라 이미지 캡처 저조도 능력을 개선하고 신경망 처리를 사용하여 노이즈를 감소시키기 위한 시스템 및 방법(100)은 먼저 이상적인 노출 또는 노출 범위를 결정하는 것에 의존한다(단계 110). 제2 단계(112)에서, 적어도 하나의 의도적으로 노출 부족 이미지가 캡처된다. 제3 단계(114)에서, 이 이미지는 전체 시스템 품질을 개선하기 위해 신경망 또는 다른 기계 지능 시스템을 사용하여 처리된다. 마지막으로, 단계(116)에서 실제 또는 추정된 이미지 품질에 기초하여, 다른 카메라 동작은 기능 파라미터를 조정하는 것일 수 있다. 예를 들어, 전통적으로 저조도 상태와 관련된 높은 ISO 설정 대신 낮은 ISO 설정을 사용할 수 있다. 또 다른 예로서, 비디오에 응용할 경우에는 프레임 속도를 높일 수 있다.
광범위한 정지 화상 또는 비디오 카메라는 시스템 및 방법(100)의 사용으로부터 이점을 누릴 수 있다. 카메라 유형은 정지 화상 또는 비디오 기능을 갖는 종래의 DSLR, 스마트 폰, 태블릿 카메라 또는 랩톱 카메라, 전용 비디오 카메라, 웹캠 또는 보안 카메라를 포함할 수 있지만 이들로 제한되지는 않는다. 일부 실시예에서, 적외선 카메라, 열 이미저, 밀리미터파 이미징 시스템, X-선 또는 다른 방사선 이미저와 같은 특수 카메라가 사용될 수 있다. 실시예는 또한 초분광 이미지 처리를 허용하기 위해 적외선, 자외선 또는 기타 파장을 검출할 수 있는 센서를 갖는 카메라를 포함할 수 있다.
카메라는 독립형, 휴대형 또는 고정형 시스템일 수 있다. 일반적으로 카메라는 프로세서, 메모리, 이미지 센서, 통신 인터페이스, 카메라 광학 및 액추에이터 시스템, 메모리 저장 매체를 포함한다. 프로세서는 카메라 광학 및 센서 시스템 동작 및 이용 가능한 통신 인터페이스와 같은 카메라의 전체적인 동작을 제어한다. 카메라 광학 및 센서 시스템은 이미지 센서에서 캡처된 이미지에 대한 노출 제어와 같은 카메라의 동작을 제어한다. 카메라 광학 및 센서 시스템은 고정 렌즈 시스템 또는 조정 가능한 렌즈 시스템(예를 들어, 줌 및 자동 초점 기능)을 포함할 수 있다. 카메라는 이동식 메모리 카드, 유선 USB 또는 무선 데이터 전송 시스템과 같은 메모리 저장 시스템을 지원할 수 있다.
일부 실시예에서, 신경망 처리는 전용 신경망 처리 시스템, 랩톱, PC, 서버 또는 클라우드를 포함하는 원격 계산 자원으로 이미지 데이터를 전송한 후에 발생할 수 있다. 다른 실시예에서, 신경망 처리는 최적화된 소프트웨어, 신경 처리 칩 또는 전용 FPGA 시스템을 사용하여 카메라 내에서 발생할 수 있다.
일부 실시예에서, 신경망 처리의 결과는 물체 인식, 패턴 인식, 얼굴 식별, 이미지 안정화, 로봇 또는 차량 오도미트리 및 위치 파악 또는 추적 또는 표적 애플리케이션을 위해 개발된 것을 포함하여 다른 기계 학습 또는 신경망 시스템에 입력으로 사용될 수 있다. 유리하게는, 이러한 신경망 처리 이미지 정규화는 예를 들어 노이즈가 많은 환경에서 컴퓨터 비전 알고리즘 실패를 감소시켜, 노이즈와 관련된 특성 신뢰도(feature confidence)의 감소로 인해 일반적으로 실패할 수 있는 환경에서 이러한 알고리즘이 작동할 수 있게 한다. 일반적으로 이것은 저조도 환경, 뿌였거나, 먼지가 많거나, 헤이즈 환경, 또는 광 번쩍임 또는 눈부심이 있는 환경을 포함할 수 있지만 이들로 제한되지는 않는다. 실제로 이미지 센서 노이즈가 신경망 처리에 의해 제거되어 이에 나중에 학습하는 알고리즘은 감소된 성능 저하를 갖는다.
특정 실시예에서, 다수의 이미지 센서는 예를 들어, 높은 동적 범위 이미지를 제공하기 위해 함께 작동하는 상이한 광 감도를 갖는 센서를 사용하여 동작 및 검출 포락선(envelopes)을 더 넓히기 위해 설명된 신경망 처리와 함께 집합적으로 작동할 수 있다. 다른 실시예에서, 별개의 신경망 처리 노드를 갖는 광학 또는 알고리즘 이미징 시스템의 체인은 함께 결합될 수 있다. 또 다른 실시예에서, 신경망 시스템의 훈련은 전체적으로 이미징 시스템으로부터 분리되어, 특정 이미저와 관련된 내장된 구성 요소로서 동작할 수 있다.
노출은 센서의 전자 우물(electron well)에서 수집된 광자의 수와 센서의 양자 효율의 함수로서 정의될 수 있다. 수집된 광자의 수는 주로 장면 조명, 광학 경로의 조리개 및 노출 시간에 의해 영향을 받는다. 양호한 노출은 아날로그-디지털 신호 범위의 중간에 가까운 것으로 정의되었다. 특정 노출 또는 노출 범위를 결정하는 것은 수동으로, 수동 입력과 함께 반자동으로, 또는 자동으로 수행될 수 있다. 일반적으로 노출은 조리개, ISO 또는 셔터 속도 중 하나 이상을 설정하는 것에 의해 결정되지만, 중성 또는 편광 필터의 삽입과 같이 노출 시간에 영향을 미치는 다른 수정도 가능하다. 이상적인 또는 노출 설정 범위가 결정되거나 설정되면 카메라 입력(예를 들어, 조리개, ISO 또는 셔터 속도)이 이미지 센서의 노출 부족을 위해 의도적으로 조정된다. 노출 부족은 조리개 감소, ISO 감소 또는 셔터 속도 증가를 포함할 수 있다. 다른 노출 관련 설정이 일정하게 유지된다고 가정하면 조리개 제어 노출 부족은 f-값(f-stop)을 2 이상씩 증가시키는 것을 포함하고, ISO 노출 부족은 이상적인 설정의 절반 이하로 설정되고(예를 들어, ISO 3000을 ISO 100으로 설정), 셔터 속도는 두 배 이상이 될 수 있다(예를 들어, 1/60초를 1/1000초로 설정). 이해되는 바와 같이, 이러한 설정의 다양한 조합이 동시에 조정될 수 있다.
반복적 신경망, 생산적 대립 신경망 또는 딥 컨볼루션 신경망을 포함하는 다양한 유형의 신경망이 사용될 수 있다. 컨볼루션 신경망은 본 명세서에 설명된 이미지 처리 응용에 특히 유용하다. 도 2에 도시된 바와 같이, 컨벌루션 신경망(200)은 노출이 부족한 단일 RGB 이미지(210)를 입력으로 수신할 수 있다. RAW 형식이 선호되지만, 압축된 JPG 이미지는 품질이 약간 떨어진채로 사용될 수 있다. 이미지는 종래의 픽셀 연산으로 전처리될 수 있고 또는 바람직하게는 훈련된 컨볼루션 신경망(200)에 최소의 수정과 함께 공급될 수 있다.
처리는 하나 이상의 컨볼루션 층(212), 풀링 층(pooling layer)(214), 완전히 연결된 층(216)을 통해 진행되고, 개선된 이미지의 RGB 출력(218)으로 종료된다. 동작 중에 하나 이상의 컨볼루션 층은 RGB 입력에 컨볼루션 연산을 적용하여 결과를 다음 층(들)으로 전달한다. 컨볼루션 후 로컬 또는 전체 풀링 층은 출력을 다음 층의 단일 또는 적은 수의 노드로 결합할 수 있다. 반복된 컨볼루션 또는 컨볼루션/풀링 쌍도 가능하다. 출력 전에, 완전히 연결된 층(216)은 하나의 층의 모든 노드를 다른 층의 모든 노드에 연결한다.
특정 유틸리티의 하나의 신경망 실시예는 완전 컨볼루션 신경망이다. 완전 컨볼루션 신경망은 일반적으로 네트워크 끝에서 발견되는 완전히 연결된 층이 없는 컨볼루션 층으로 구성된다. 유리하게는, 완전 컨볼루션 신경망은 이미지 크기에 독립적이며, 임의의 크기의 이미지도 훈련을 위해 입력으로 허용된다. 완전 컨볼루션 네트워크(300)의 일례는 도 3과 관련하여 도시된다. 데이터는, 2개의 3x3 컨볼루션(패딩되지 않은 컨볼루션)을 반복 적용한 후 각각에 후속하여 정류 선형 유닛(rectified linear unit: ReLU), 및 하향 샘플링에 대해 스트라이드(stride) 2를 갖고 2x2 최대 풀링 동작(max pooling operation)을 수행하는 것을 포함하는 수축 경로에서 처리될 수 있다. 각 하향 샘플링 단계에서 특징 채널(feature channel)의 수는 두 배가 된다. 확장 경로(expansive path)에서 모든 단계는 특징 맵(feature map)을 상향 샘플링하고 나서 특징 채널의 수를 절반으로 줄이는 2x2 컨볼루션(상향 컨볼루션)하고, 수축 경로로부터 대응하여 잘린 특징 맵과의 연결을 제공하며, 두 개의 3x3 컨볼루션을 적용하고 각각에 후속하여 ReLU를 수행하는 것을 포함하는 것으로 구성된다. 특징 맵 자르기는 모든 컨볼루션에서 가장자리 픽셀의 손실을 보상한다. 최종 층에서 1x1 컨볼루션을 사용하여 각 64-성분 특징 벡터(feature vector)를 원하는 수의 클래스에 매핑한다. 설명된 네트워크는 23개의 컨볼루션 층을 갖지만, 다른 실시예에서 더 많거나 더 적은 컨볼루션 층이 사용될 수 있다. 훈련은 확률적 구배 하강 기법을 사용하여 대응하는 분할 맵을 사용하여 입력 이미지를 처리하는 것을 포함할 수 있다.
신경망 처리에 의존하는 시스템 및 방법의 다른 실시예도 사용될 수 있다. 도 4a와 관련하여 볼 수 있는 바와 같이, 절차(400)는 특정 센서 또는 센서 유형에 특유할 수 있는 베이어(Bayer) 이미지 데이터(402)를 사용하는 것을 포함한다. 신경망 처리(404)는 데이터(402)에서 노이즈를 제거하고, 노이즈가 제거된 베이어 이미지(406)를 제공하는 데 사용된다. 이해되는 바와 같이, 신경망 처리의 훈련 및 동작은 또한 데이터(402)를 생성하는 데 사용되는 특정 센서 또는 센서 유형에 특유할 수 있다.
도 4b와 관련하여 본 다른 실시예에서, 절차(410)는 특정 센서 또는 센서 유형에 특유할 수 있는 베이어 이미지 데이터(412)를 사용하는 것을 포함한다. 신경망 처리(414)는 데이터(412)에서 노이즈를 제거하고, 노이즈가 제거된 RGB 이미지(416)를 제공하는 데 사용된다. 이해되는 바와 같이, 신경망 처리의 훈련 및 동작은 또한 데이터(402)를 생성하는데 사용되는 특정 센서 또는 센서의 유형에 특유할 수 있다.
도 4c와 관련하여 본 다른 실시예에서, 절차(420)는 특정 센서 또는 센서 유형에 특유할 수 있는 RGB 이미지 데이터(422)를 사용하는 것을 포함한다. 신경망 처리(424)는 데이터(422)에서 노이즈를 제거하고, 노이즈가 제거된 RGB 이미지(426)를 제공하는 데 사용된다. 이해되는 바와 같이, 신경망 처리의 훈련 및 동작은 또한 데이터(422)를 생성하는 데 사용되는 특정 센서 또는 센서 유형에 특유할 수 있다.
도 4d와 관련하여 본 다른 실시예에서, 절차(430)는 특정 센서 또는 센서 유형에 특유할 수 있는 텐서 데이터(432)를 사용하는 것을 포함한다. 신경망 처리(434)는 데이터(432)에서 노이즈를 제거하고, 노이즈가 제거된 텐서 데이터(436)를 제공하는 데 사용된다. 이해되는 바와 같이, 신경망 처리의 훈련 및 동작은 또한 데이터(432)를 생성하는 데 사용되는 특정 센서 또는 센서 유형에 특유할 수 있다. 일부 실시예에서, 밀리미터 레이더 시스템, 매핑 압력 센서, 또는 텐서 데이터 세트를 제공하는 다른 적절한 센서를 포함하는 비-광학 센서 또는 시스템이 사용될 수 있다.
도 5는 이미지 데이터를 개선하기 위한 이미징 파이프라인(500)의 일 실시예를 도시한다. 이미지의 아날로그 처리에 영향을 미치는 인자는 장면 조명(502), 광학 경로 및 조리개(504), 및 이미지 센서(506)의 특징을 포함한다. 이러한 인자 중 많은 부분은 나중에 신경망 처리의 효율을 개선시킬 인자에 유리하도록 자동으로 조정되거나 조정될 수 있다. 예를 들어 플래시 또는 기타 장면 조명은 강도, 지속 시간이 증가하거나 또는 방향 전환될 수 있다. 필터를 광학 경로에서 제거하거나 조리개를 더 넓게 열거나 셔터 속도를 줄일 수 있다. 이미지 센서 효율 또는 증폭은 ISO 선택으로 조정될 수 있다.
일 실시예에서, 저조도 이미지는 아날로그-디지털 변환 이전에 이들 아날로그 인자 중 하나 이상을 증가시킴으로써 캡처될 수 있다. 노이즈 또는 다른 원치 않는 아티팩트는 아날로그-디지털 변환(508) 및 베이어 유도, RGB, RAW, TIFF, JPG 등과 같은 적절한 데이터 구조(510)로의 변환 후에 나중에 신경망 처리(512)에 의해 제거될 수 있다. 예를 들어, 베이어 유도된 데이터 구조는 색상 채널(color channel)을 깊이 방향으로 적층하여 최종 치수가 공간적으로 절반이 되고, 깊이 방향으로 4배가 되도록 정해질 수 있다.
이미지 신호 프로세서(514)를 사용하는 이미지 신호 처리는 추가적인 디지털 스케일링, 톤 매핑, 픽셀 보정, 모자이크 제거, 헤이즈 제거 등을 포함할 수 있다. 일부 실시예에서, 신경망 처리는 이미지 신호 프로세서(514)에서 실행될 수 있는 반면, 다른 실시예에서는 별도의 처리 구성 요소가 사용될 수 있다. 처리된 이미지는 저장, 전송, 디스플레이, 분류, 인코딩, 또는 임의의 다른 적절한 중간 또는 최종 사용을 위해 제공될 수 있다(518).
도 6은 각각의 제어 신호를 이미징 시스템(604) 및 디스플레이 시스템(606)에 전송할 수 있는 제어 및 저장 모듈(602)을 포함하는 신경망을 훈련하기 위한 시스템(600)을 도시한다. 이미징 시스템(604)은 처리된 이미지 데이터를 제어 및 저장 모듈(602)에 공급하면서도 디스플레이 시스템(606)으로부터 프로파일 데이터를 수신할 수 있다.
지도(supervised) 또는 반-지도(semi-supervised) 방식으로 신경망을 훈련시키는 것은 고품질 훈련 데이터를 필요로 한다. 이러한 데이터를 얻기 위해, 시스템(600)은 자동화된 이미징 시스템 프로파일을 제공한다. 제어 및 저장 모듈(602)은 디스플레이 시스템(606)으로 전송될 교정 및 원시 프로파일 데이터를 포함한다. 교정 데이터는 해상도, 초점 또는 동적 범위를 평가하기 위한 타깃을 포함할 수 있지만 이들로 제한되지 않는다. 원시 프로파일 데이터는 고품질 이미징 시스템(참조 시스템)으로부터 캡처된 자연 및 인공 장면과, 절차적으로 생성된 장면(수학적으로 도출된 장면)을 포함할 수 있지만 이들로 제한되지는 않는다.
디스플레이 시스템(606)의 일례는 고품질 전자 디스플레이이다. 디스플레이는 밝기를 조정하거나 또는 중성 밀도 필터와 같은 물리적 필터링 요소를 사용하여 확대될 수 있다. 대안적인 디스플레이 시스템은 전방 또는 후방 조명 광원과 함께 사용되는 고품질 참조 인쇄 또는 필터링 요소를 포함할 수 있다. 어쨌든 디스플레이 시스템의 목적은 이미징 시스템으로 전송될 다양한 이미지 또는 이미지 시퀀스를 생성하는 것이다.
프로파일링되는 이미징 시스템은, 제어 및 저장 컴퓨터에 의해 프로그래밍 방식으로 제어될 수 있고 디스플레이 시스템의 출력을 이미징할 수 있도록 프로파일링 시스템에 통합된다. 조리개, 노출 시간 및 아날로그 이득과 같은 카메라 파라미터는 다양하며, 단일 디스플레이된 이미지는 다중 노출로 취해진다. 결과적인 노출은 제어 및 저장 컴퓨터로 전송되고 훈련 목적으로 보유된다.
전체 시스템은 프로파일링 동안 광자 "노이즈 플로어(noise floor)"를 알기 위해 제어된 조명 환경에 놓인다.
전체 시스템은 해상도 제한 인자가 이미징 시스템이도록 설정된다. 이는 이미징 시스템 센서 픽셀 피치, 디스플레이 시스템 픽셀 치수, 이미징 시스템 초점 거리, 이미징 시스템 동작 f-수, 센서 픽셀 수(수평 및 수직), 디스플레이 시스템 픽셀 수(수직 및 수평)를 포함하지만 이들로 제한되지 않는 파라미터를 고려하는 수학적 모델로 달성된다. 실제로 특정 센서, 센서 제조업체 또는 유형 또는 센서 클래스를 프로파일링하면 개별 센서 또는 센서 모델에 정확히 맞는 고품질 훈련 데이터를 생성할 수 있다.
도 7은 파라미터를 조작하여 입력 세트에 대해 바람직한 출력을 생성하고 이전에 설명된 것과 같은 노이즈 또는 저조도 이미지 데이터에 대한 이미징 품질을 개선할 수 있는 신경망 시스템(700)의 일 실시예를 도시한다. 네트워크 파라미터를 조작하는 하나의 방식은 '지도 훈련'이다. 지도 훈련에서, 오퍼레이터(operator)는 소스/타깃 쌍(710 및 702)을 네트워크에 제공하고, 목적 함수와 결합될 때 일부 방식(예를 들어, 역 전파)에 따라 네트워크 시스템(700)의 일부 또는 모든 파라미터를 수정할 수 있다.
도 7의 설명된 실시예에서, 프로파일링 시스템, 수학적 모델 및 공개적으로 이용 가능한 데이터 세트와 같은 다양한 소스로부터의 고품질 훈련 데이터(소스(710)와 타깃(702) 쌍)가 네트워크 시스템(700)에 입력하기 위해 준비된다. 이 방법은 타깃(704)과 소스(712)를 데이터 패키징하는 단계, 및 타깃(706)과 소스(714)를 람다(lambda) 전처리하는 단계를 포함한다.
데이터 패키징은 하나 이상의 훈련 데이터 샘플(들)을 취하고, 이를 결정된 방식에 따라 정규화하고, 텐서에서 네트워크에 입력할 데이터를 배열한다. 훈련 데이터 샘플은 시퀀스 또는 시간 데이터를 포함할 수 있다.
람다 전처리를 하면 오퍼레이터가 신경망 또는 목적 함수에 입력하기 전에 소스 입력 또는 타깃 데이터를 수정할 수 있다. 이는 데이터를 늘리거나, 일부 방식에 따라 텐서를 거부하거나, 텐서에 합성 노이즈를 추가하거나, 정렬 목적으로 데이터에 왜곡 및 변형을 수행하거나, 또는 이미지 데이터로부터 데이터 라벨로 변환하는 것일 수 있다.
훈련되는 네트워크(716)는 적어도 하나의 입력 및 출력(718)을 갖지만, 실제로는 자체 목적 함수를 각각 갖는 다수의 출력은 시너지 효과를 가질 수 있음이 밝혀졌다. 예를 들어 시스템의 전체 목적은 이미지 노이즈를 줄이는 것이지만 텐서에서 물체를 분류하는 목적을 갖는 "분류기 헤드" 출력을 통해 노이즈 감소 성능을 개선시킬 수 있다. 타깃 출력 데이터(708), 소스 출력 데이터(718) 및 목적 함수(720)는 최소화될 네트워크의 손실을 함께 정의하고, 그 값은 추가 훈련 또는 데이터 세트 처리에 의해 개선될 수 있다.
도 8은 일 실시예에 따라 신호 대 노이즈비 대 전체 시스템의 이득을 도시하는 그래프(800)이다. 그래프(800)로부터 명백한 바와 같이, 전체 시스템의 이득 또는 증폭은 노이즈를 증가시키고 신호 대 노이즈비를 감소시키는 대가로 증가될 수 있다. 신호 증폭은 아날로그 증폭(또는 이득) 또는 디지털 증폭에 의해 발생할 수 있다. 그래프(800)에서, 아날로그 증폭에 이어 디지털 증폭이 후속하는 세 가지 다른 경우(i, ii 및 iii)가 표시된다. 경우(i)는 제한된 아날로그 증폭에 이어 디지털 증폭이 후속하는 것을 보여준다. 경우(ii)는 아날로그 증폭의 증가를 보여주는 반면, 경우(iii)는 디지털 증폭만 및 훨씬 더 큰 아날로그 증폭의 증가를 보여준다. 달성 가능한 아날로그 이득을 최대화한 다음 디지털 이득만을 제공하는 것에 의해 최상의 전체 시스템의 이득이 제공된다. 이것은 먼저 아날로그 이득을 증가시키거나 또는 최대화하고 나서 신경망 처리 및 디지털 이득을 개선함으로써 전체 시스템의 이득을 개선하는 본 발명의 일 실시예를 지원한다.
설명된 방법 및 시스템은 다음을 포함하는 많은 응용에서 다양한 이점을 제공할 수 있다:
움직임 또는 물체 블러 감소 - 움직임 블러는 셔터가 열려 있는 시간 동안 카메라 또는 타깃 물체의 움직임에 의해 발생한다. 설명된 방법을 사용하면 셔터 개방 시간을 크게 줄일 수 있다.
장기간 이미지 캡처 - 셔터가 열려 있는 시간 동안 카메라의 움직임은 이미지 품질을 저하시킨다. 장기간 또는 핸드헬드 카메라 이미징의 경우 카메라 움직임으로 인한 블러가 핵심 제한 요소이다. 설명된 방법을 사용하면 장기간 이미징 카메라 움직임 블러를 크게 줄일 수 있거나 또는 무거운 삼각대 마운트가 필요한 응용은 가벼운 삼각대, 전자식, 광학식 또는 회전식으로 안정화된 카메라 시스템을 사용하거나 핸드헬드 카메라를 사용하여 안정화로 변환될 수 있다.
프레임 속도 증가 - 짧은 노출 시간은 더 빠른 프레임 속도를 허용한다. 더 빠른 프레임 속도는 더 작은 장치와 조리개로 "느린 움직임"(빠른 프레임 속도) 이미징을 가능하게 한다.
버스트 모드 캡처 - 더 많은 이미지가 연속적으로 캡처될 수 있다. 이는 카메라에 따른 문제 또는 적층된 높은 동적 범위 이미지가 직면한 물체 움직임 문제를 줄이는 데 사용될 수 있다.
슈퍼 이미지 안정화 - 빠른 프레임 속도와 결합된 빠른 노출 시간은 슈퍼 이미지 안정화를 가능하게 한다. 슈퍼 이미지 안정화는 이미지 세트를 안정화하는 계산 기술이다. 이미지의 각 픽셀은 타깃 장면의 표현으로 매핑되고, 다양한 계산 기술을 통해 유효 해상도를 높일 수 있다.
증가된 동적 범위 이미징 - 노출 부족이 픽셀 포화도 문제를 감소시키기 때문에 이미지의 동적 범위가 증가될 수 있다. 이 응용은 특히 실외 또는 고휘도 대비 이미징에 유용하다.
조도 감소 - 노출 부족은 플래시 밝기 레벨 및 플래시 지속 시간을 감소시킬 수 있게 한다.
방사선 감소 - 노출 부족은 지향성 X-선 또는 밀리미터파 방사선 레벨의 지속 시간을 감소시킬 수 있다.
파일 압축 - 노이즈는 높은 엔트로피 정보이며 순수 압축할 수 없는 것으로 고려될 수 있다. 주어진 센서에는 약간의 노이즈가 있으며 저조도 환경(낮은 환경 럭스, 빠른 셔터, 작은 조리개)에서는 이 노이즈가 디지털화된 신호의 지배적인 부분이 된다. 이 경우, 주어진 매체에 대한 압축비는 결과적으로 압축된 파일 크기가 정상적인 동작 상태에서 캡처된 동등한 신호보다 커지는 것을 겪기 시작한다. 그러나 설명된 신경망 처리가 기본 신호를 복구하기 때문에 노이즈가 감소하고 전체 신호 대 노이즈비가 개선된다. 실제로 신경망 처리 데이터를 더 많이 압축할 수 있고, 이에 파일 크기를 줄이고/줄이거나 대역폭 사용량을 줄일 수 있다. 유리하게도 파일 크기 압축은 (저조도 이미지뿐만 아니라) 정상적으로 노출된 이미지에서도 발생하는 것으로 밝혀졌으며, 구름이나 하늘과 같이 비슷한 색상의 구역이 넓게 펼쳐진 사진에 특히 유용하다.
이해되는 바와 같이, 본 명세서에 설명된 카메라 시스템 및 방법은 서버, 데스크톱 컴퓨터, 랩톱, 태블릿 또는 스마트 폰과 같은 장치와의 상호 작용을 위해 유선 또는 무선 연결 서브시스템과 연결을 통해 로컬로 또는 내부에서 동작할 수 있다. 데이터 및 제어 신호는 무선 네트워크, 개인 영역 네트워크, 셀룰러 네트워크, 인터넷 또는 클라우드 매개 데이터 소스를 포함한 다양한 외부 데이터 소스 간에 수신, 생성 또는 전송될 수 있다. 또한 로컬 데이터 소스(예를 들어, 하드 드라이브, 솔리드 스테이트 드라이브, 플래시 메모리, 또는 SRAM 또는 DRAM과 같은 동적 메모리를 포함한 임의의 다른 적절한 메모리)는 사용자 지정된 선호도 또는 프로토콜을 로컬 데이터로 저장할 수 있다. 하나의 특정 실시예에서, 다수의 통신 시스템이 제공될 수 있다. 예를 들어 직접 Wi-Fi 연결(802.1lb/g/n)뿐만 아니라 별도의 4G 셀룰러 연결을 사용할 수 있다.
원격 서버 실시예와의 연결은 또한 클라우드 컴퓨팅 환경에서 구현될 수 있다. 클라우드 컴퓨팅은, 가상화를 통해 빠르게 프로비저닝되고 최소의 관리 노력이나 서비스 제공자와의 상호 작용으로 출시되고 그에 따라 확장될 수 있는 구성 가능한 컴퓨팅 자원(예를 들어, 네트워크, 서버, 저장 매체, 애플리케이션 및 서비스)의 공유 풀에 유비쿼터스하고 편리한 온디맨드 네트워크 액세스를 가능하게 하는 모델로 정의될 수 있다. 클라우드 모델은 다양한 특성(예를 들어, 온디맨드 셀프 서비스, 광범위한 네트워크 액세스, 자원 풀링, 빠른 탄력성, 측정된 서비스 등), 서비스 모델(예를 들어, 서비스로서의 소프트웨어(Software as a Service: "SaaS"), 서비스로서의 플랫폼(Platform as a Service: "PaaS"), 서비스로서의 인프라(Infrastructure as a Service: "IaaS") 및 배치 모델(예를 들어, 프라이빗 클라우드, 커뮤니티 클라우드, 퍼블릭 클라우드, 하이브리드 클라우드 등)로 구성될 수 있다.
본 발명의 많은 수정 및 다른 실시예는 전술한 설명 및 관련 도면에 제시된 내용의 이점을 갖는 이 기술 분야에 통상의 지식을 가진 자에게는 명백할 것이다. 따라서, 본 발명은 개시된 특정 실시예로 제한되지 않으며, 수정 및 실시예는 첨부된 청구 범위의 범위 내에 포함되도록 의도된 것으로 이해된다. 또한, 본 발명의 다른 실시예는 본 명세서에 구체적으로 개시되지 않은 요소/단계 없이 실시될 수 있는 것으로 이해된다.
Claims (20)
- 이미지 캡처 방법으로서,
노출 범위를 결정하는 단계;
상기 노출 범위 밖의 노출 부족 이미지를 캡처하기 위해 적어도 하나의 카메라 파라미터를 설정하는 단계; 및
신경망을 이용하여 상기 노출 부족 이미지를 처리하여 이미지 세부 사항을 복구하는 단계를 포함하는, 이미지 캡처 방법. - 제1항에 있어서, 상기 카메라 파라미터는 조리개인, 이미지 캡처 방법.
- 제1항에 있어서, 상기 카메라 파라미터는 이미지 센서 감도인, 이미지 캡처 방법.
- 제1항에 있어서, 상기 카메라 파라미터는 셔터 속도인, 이미지 캡처 방법.
- 제1항에 있어서, 노출 부족은 움직임 또는 물체 블러의 감소를 제공하는, 이미지 캡처 방법.
- 제1항에 있어서, 노출 부족은 개선된 장기간 이미지 캡처를 제공하는, 이미지 캡처 방법.
- 제1항에 있어서, 노출 부족은 프레임 속도 증가를 제공하는, 이미지 캡처 방법.
- 제1항에 있어서, 노출 부족은 개선된 버스트 모드 캡처를 제공하는, 이미지 캡처 방법.
- 제1항에 있어서, 노출 부족은 슈퍼 이미지 안정화를 제공하는, 이미지 캡처 방법.
- 제1항에 있어서, 노출 부족은 증가된 동적 범위 이미징을 제공하는, 이미지 캡처 방법.
- 제1항에 있어서, 노출 부족은 광 레벨 감소를 제공하는, 이미지 캡처 방법.
- 제1항에 있어서, 노출 부족은 방사선 감소를 제공하는, 이미지 캡처 방법.
- 이미지 개선 방법으로서,
센서를 갖는 센서 시스템에 대한 아날로그 설정을 결정하는 단계;
상기 센서로 데이터를 캡처하는 단계; 및
상기 센서에서 제공한 이전 데이터로 훈련된 신경망을 이용하여 상기 캡처된 이미지 데이터에서 노이즈를 줄이고 이미지 세부 사항을 복구하는 단계를 포함하는, 이미지 개선 방법. - 제13항에 있어서, 신경망 훈련 응답을 개선하기 위해 아날로그 설정을 조정하는, 이미지 개선 방법.
- 제13항에 있어서, 이미지를 부족하게 노출하도록 아날로그 설정을 조정하는, 이미지 개선 방법.
- 제13항에 있어서, 이미지는 상기 신경망으로 처리한 후에 압축되는, 이미지 개선 방법.
- 결합된 아날로그 및 디지털 시스템에서 전체 시스템의 이득을 개선하기 위한 시스템으로서,
이미지 데이터를 캡처하도록 구성된 센서를 갖는 센서 시스템으로서, 상기 이미지 데이터는 순차적인 아날로그 및 디지털 절차로 처리되는, 상기 센서 시스템; 및
아날로그 증폭 후 캡처된 이미지 데이터에서 노이즈를 줄이고 이미지 세부 사항을 복구하기 위해 상기 센서 또는 센서 유형에 의해 제공된 이전 데이터로 훈련된 신경망을 포함하는, 전체 시스템의 이득을 개선하기 위한 시스템. - 제17항에 있어서, 신경망 훈련 응답을 개선하기 위해 아날로그 증폭 설정이 조정되는, 전체 시스템의 이득을 개선하기 위한 시스템.
- 제17항에 있어서, 이미지를 부족하게 노출하도록 아날로그 증폭 설정이 조정되는, 전체 시스템의 이득을 개선하기 위한 시스템.
- 제17항에 있어서, 상기 이미지 데이터는 상기 신경망으로 처리한 후에 압축되는, 전체 시스템의 이득을 개선하기 위한 시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862730799P | 2018-09-13 | 2018-09-13 | |
| US62/730,799 | 2018-09-13 | ||
| US201962844496P | 2019-05-07 | 2019-05-07 | |
| US62/844,496 | 2019-05-07 | ||
| PCT/IB2019/057753 WO2020053837A1 (en) | 2018-09-13 | 2019-09-13 | Photographic underexposure correction using a neural network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210079282A true KR20210079282A (ko) | 2021-06-29 |
Family
ID=69773485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217010652A KR20210079282A (ko) | 2018-09-13 | 2019-09-13 | 신경망을 이용한 사진 노출 부족 보정 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11076103B2 (ko) |
| EP (1) | EP3850423A4 (ko) |
| JP (1) | JP2022501982A (ko) |
| KR (1) | KR20210079282A (ko) |
| CN (1) | CN113170030A (ko) |
| CA (1) | CA3112247A1 (ko) |
| WO (1) | WO2020053837A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023234674A1 (ko) * | 2022-05-30 | 2023-12-07 | 삼성전자 주식회사 | 신경망 모델을 이용한 영상 신호 처리 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230007425A (ko) * | 2020-04-24 | 2023-01-12 | 스펙트럼 옵틱스 아이엔씨. | 신경망 지원 카메라 이미지 또는 비디오 처리 파이프라인 |
| EP3913572A1 (en) * | 2020-05-21 | 2021-11-24 | The Provost, Fellows, Scholars and other Members of Board of Trinity College Dublin | Loss function for image reconstruction |
| TW202223834A (zh) * | 2020-08-28 | 2022-06-16 | 加拿大商光譜優化股份有限公司 | 神經嵌入之攝影機影像視訊處理管道及神經網路訓練系統 |
| TWI768517B (zh) * | 2020-10-21 | 2022-06-21 | 國立政治大學 | 影像品質提昇方法及使用該方法的影像處理裝置 |
| CN112381716B (zh) * | 2020-11-18 | 2023-08-18 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
| US11587528B2 (en) * | 2021-02-12 | 2023-02-21 | Microsoft Technology Licensing, Llc | Optimized facial illumination from adaptive screen content |
| CN113658060B (zh) * | 2021-07-27 | 2024-09-27 | 中科方寸知微(南京)科技有限公司 | 基于分布学习的联合去噪去马赛克方法及系统 |
| US11967047B2 (en) * | 2021-09-30 | 2024-04-23 | Kwai Inc. | Methods and devices for joint sensor and pixel domain denoising |
| WO2023055817A1 (en) * | 2021-09-30 | 2023-04-06 | Snap Inc. | Customized image reprocessing system |
| US11770621B2 (en) | 2021-09-30 | 2023-09-26 | Snap Inc. | Customized image reprocessing system using a machine learning model |
| CN114077887A (zh) * | 2021-11-05 | 2022-02-22 | 厦门凌阳华芯科技有限公司 | 显示屏逐点校正前的处理方法、装置、设备及存储介质 |
| JP7351889B2 (ja) * | 2021-12-02 | 2023-09-27 | 財団法人車輌研究測試中心 | 車室内監視・状況理解感知方法及びそのシステム |
| US11889033B2 (en) | 2022-05-11 | 2024-01-30 | Samsung Electronics Co., Ltd. | Flare mitigation via deconvolution using high dynamic range imaging |
| JP7387104B1 (ja) * | 2022-10-31 | 2023-11-28 | ＬｅａｐＭｉｎｄ株式会社 | 撮像装置および撮像装置の制御方法 |
| US12175638B1 (en) * | 2024-04-01 | 2024-12-24 | Atombeam Technologies Inc | System and methods for low-light image enhancement utilizing denoising preprocessing with wavelet decomposition |
| CN118972701B (zh) * | 2024-09-27 | 2024-12-27 | 上海泽帧智能科技有限公司 | 一种工业相机采集的处理方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7576797B2 (en) * | 2001-06-25 | 2009-08-18 | Texas Instruments Incorporated | Automatic white balancing via illuminant scoring autoexposure by neural network mapping |
| JP3804617B2 (ja) * | 2003-02-14 | 2006-08-02 | コニカミノルタフォトイメージング株式会社 | 画像処理装置及び方法 |
| JP4798446B2 (ja) * | 2006-08-31 | 2011-10-19 | Ｎｋワークス株式会社 | 撮影画像補正方法及び撮影画像補正モジュール |
| JP6223028B2 (ja) * | 2013-07-11 | 2017-11-01 | キヤノン株式会社 | 撮像装置、制御方法及びそのプログラム |
| TWI545523B (zh) * | 2013-08-30 | 2016-08-11 | 國立中央大學 | 影像形狀校正方法以及應用影像形狀校正方法之影像形狀校正裝置 |
| EP3186753B1 (en) * | 2014-08-29 | 2021-04-28 | Google LLC | Processing images using deep neural networks |
| CN107637064A (zh) * | 2015-06-08 | 2018-01-26 | 深圳市大疆创新科技有限公司 | 用于图像处理的方法和设备 |
| CN113079324A (zh) * | 2015-07-10 | 2021-07-06 | 松下知识产权经营株式会社 | 摄像装置 |
| US10043243B2 (en) * | 2016-01-22 | 2018-08-07 | Siemens Healthcare Gmbh | Deep unfolding algorithm for efficient image denoising under varying noise conditions |
| CN107767343B (zh) * | 2017-11-09 | 2021-08-31 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置和处理设备 |
| KR102314703B1 (ko) * | 2017-12-26 | 2021-10-18 | 에스케이하이닉스 주식회사 | 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법 |
| CN108447036A (zh) | 2018-03-23 | 2018-08-24 | 北京大学 | 一种基于卷积神经网络的低光照图像增强方法 |
| US10949951B2 (en) * | 2018-08-23 | 2021-03-16 | General Electric Company | Patient-specific deep learning image denoising methods and systems |
-
2019
- 2019-09-13 CN CN201980059793.5A patent/CN113170030A/zh active Pending
- 2019-09-13 US US16/570,537 patent/US11076103B2/en active Active
- 2019-09-13 CA CA3112247A patent/CA3112247A1/en active Pending
- 2019-09-13 WO PCT/IB2019/057753 patent/WO2020053837A1/en unknown
- 2019-09-13 JP JP2021539684A patent/JP2022501982A/ja active Pending
- 2019-09-13 EP EP19860000.9A patent/EP3850423A4/en active Pending
- 2019-09-13 KR KR1020217010652A patent/KR20210079282A/ko not_active Application Discontinuation
-
2021
- 2021-06-22 US US17/354,926 patent/US11854167B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023234674A1 (ko) * | 2022-05-30 | 2023-12-07 | 삼성전자 주식회사 | 신경망 모델을 이용한 영상 신호 처리 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020053837A1 (en) | 2020-03-19 |
| US11854167B2 (en) | 2023-12-26 |
| EP3850423A4 (en) | 2022-06-29 |
| US20210392258A1 (en) | 2021-12-16 |
| JP2022501982A (ja) | 2022-01-06 |
| CN113170030A (zh) | 2021-07-23 |
| EP3850423A1 (en) | 2021-07-21 |
| CA3112247A1 (en) | 2020-03-19 |
| US20200092453A1 (en) | 2020-03-19 |
| US11076103B2 (en) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11854167B2 (en) | Photographic underexposure correction using a neural network | |
| US11704775B2 (en) | Bright spot removal using a neural network | |
| JP7443366B2 (ja) | 画像強調のための人工知能技法 | |
| CN110619593B (zh) | 一种基于动态场景的双曝光视频成像系统 | |
| US9344636B2 (en) | Scene motion correction in fused image systems | |
| JP5468930B2 (ja) | 画像処理装置及び画像処理プログラム | |
| CN117916765A (zh) | 用于去噪和低精度图像处理的非线性图像强度变换的系统和方法 | |
| US11889175B2 (en) | Neural network supported camera image or video processing pipelines | |
| US20230132230A1 (en) | Efficient Video Execution Method and System | |
| US20230125040A1 (en) | Temporally Consistent Neural Network Processing System | |
| Manne et al. | Asymmetric wide tele camera fusion for high fidelity digital zoom | |
| Takeuchi et al. | Low-light scene color imaging based on luminance estimation from near-infrared flash image | |
| Pal et al. | Glancing Inside the Smartphone Camera: A Deep Insight into Image Signal Processing Pipeline | |
| Koskiranta | Improving automatic imaging algorithms with dual camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20210409 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20220831 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240620 Patent event code: PE09021S01D |
|
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20240827 Comment text: Decision to Refuse Application Patent event code: PE06012S01D |