KR20210139450A - 이미지 디스플레이 방법 및 디바이스 - Google Patents
이미지 디스플레이 방법 및 디바이스 Download PDFInfo
- Publication number
- KR20210139450A KR20210139450A KR1020217034592A KR20217034592A KR20210139450A KR 20210139450 A KR20210139450 A KR 20210139450A KR 1020217034592 A KR1020217034592 A KR 1020217034592A KR 20217034592 A KR20217034592 A KR 20217034592A KR 20210139450 A KR20210139450 A KR 20210139450A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- channel
- images
- frames
- processing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 176
- 238000012545 processing Methods 0.000 claims abstract description 227
- 238000003062 neural network model Methods 0.000 claims abstract description 130
- 230000008569 process Effects 0.000 claims abstract description 65
- 230000009471 action Effects 0.000 claims abstract description 38
- 230000004044 response Effects 0.000 claims abstract description 27
- 238000012805 post-processing Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 16
- 238000013528 artificial neural network Methods 0.000 description 85
- 238000012549 training Methods 0.000 description 44
- 238000013527 convolutional neural network Methods 0.000 description 38
- 239000011159 matrix material Substances 0.000 description 35
- 238000011176 pooling Methods 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 28
- 210000002569 neuron Anatomy 0.000 description 22
- 238000007781 pre-processing Methods 0.000 description 21
- 239000013598 vector Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 206010034972 Photosensitivity reaction Diseases 0.000 description 11
- 230000036211 photosensitivity Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 238000003672 processing method Methods 0.000 description 8
- 230000001010 compromised effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 230000002730 additional effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000001939 inductive effect Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H04N5/232935—
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/60—
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H04N5/23216—
-
- H04N5/23222—
-
- H04N5/23229—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
본 출원은 이미지 디스플레이 방법 및 디바이스를 제공한다. 이 방법은 디스플레이 스크린 및 카메라를 갖는 전자 디바이스에 적용된다. 방법은: 사용자에 의해 카메라를 턴온하는 제1 동작을 검출하는 단계; 제1 동작에 응답하여 디스플레이 스크린 상에 촬영 인터페이스를 디스플레이하는 단계- 촬영 인터페이스는 뷰파인더 프레임을 포함하고, 뷰파인더 프레임은 제1 이미지를 포함함 -; 사용자에 의해 지시되는 카메라의 제2 동작을 검출하는 단계; 및 제2 동작에 응답하여 뷰파인더 프레임에 제2 이미지를 디스플레이하는 단계- 제2 이미지는 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지임 -를 포함하고; 신경망 모델은 처리 프로세스에 적용되고, 신경망 모델은 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용하고; N은 2 이상의 정수이다. 본 출원은 이미지 노이즈 제거 효과를 개선시킬 수 있다.
Description
본 출원은 2019년 3월 25일자로 중국 특허청에 출원되고 발명의 명칭이 "이미지 디스플레이 방법 및 디바이스(IMAGE DISPLAY METHOD AND DEVICE)"인 중국 특허 출원 제201910229696.8호에 대한 우선권을 주장하며, 그 전체가 본 명세서에 참고로 포함된다.
기술 분야
본 출원은 이미지 처리 분야에 관한 것으로, 특히, 이미지 디스플레이 방법 및 디바이스에 관한 것이다.
현재, 스마트 단말 기술들이 개발됨에 따라, 단말 디바이스들은 더 널리 보급되고 있다. 단말 디바이스들의 점점 더 강화된 처리 능력들 및 카메라 기술들의 개발로, 사람들은 단말 디바이스들의 촬영 품질에 대한 더 높은 요구를 부과한다. 현재, 단말 디바이스들은 0.3 이상의 조명을 갖는 시나리오에서, 예를 들어, 주간에 더 양호한 이미지 품질을 획득할 수 있다.
그러나, 낮은 조명 시나리오에서, 예를 들어, 0.3 이하의 조도를 갖는 시나리오에서, 단말 디바이스들의 카메라들의 감광도는 카메라 센서의 작은 크기 및 작은 조리개와 같은 인자들로 인해 열악하다. 그 결과, 촬영된 이미지들에 노이즈가 도입되어, 이미지가 블러링(blur)되고 불명확해진다. 따라서, 매우 낮은 조명 시나리오에서 이미지 노이즈 제거 효과를 개선시키는 방법이 해결되어야 할 긴급한 문제가 된다.
본 출원은 낮은 조명 환경에서 이미지 노이즈 제거 효과를 개선하기 위한 이미지 디스플레이 방법 및 디바이스를 제공한다.
제1 양태에 따르면, 기술적 해결책은 이미지 디스플레이 방법을 제공한다. 이 방법은 디스플레이 스크린(예를 들어, 터치스크린, 플렉시블(flexible) 스크린, 및 곡면(curved) 스크린) 및 카메라를 갖는 전자 디바이스에 적용된다. 방법은: 사용자에 의해 카메라를 턴온하는 제1 동작을 검출하는 단계; 제1 동작에 응답하여 디스플레이 스크린 상에 촬영 인터페이스를 디스플레이하는 단계- 촬영 인터페이스는 뷰파인더 프레임을 포함하고, 뷰파인더 프레임은 제1 이미지를 포함함 -; 사용자에 의해 지시되는 카메라의 제2 동작을 검출하는 단계; 및 제2 동작에 응답하여 뷰파인더 프레임에 제2 이미지를 디스플레이하는 단계- 제2 이미지는 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지임 -를 포함하고; 신경망 모델(줄여서 신경망이라고도 지칭함)이 처리 프로세스에 적용되고, 신경망 모델은 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용하고; N은 2 이상의 정수이다.
본 출원에서, 사용자에 의해 카메라를 턴온하는 제1 동작이 검출되고, 사용자에 의해 카메라를 지시하는 제2 동작이 검출되고, 제2 동작에 응답하여 디스플레이 스크린의 뷰파인더 프레임에 제2 이미지가 디스플레이되며, 제2 이미지는 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지이다. 원시 이미지는 ISP에 의해 또는 가속기의 알고리즘에 따라 처리되지 않는 이미지이기 때문에, 원시 이미지에서의 노이즈의 형태는 손상되지 않는다. 본 출원에서, 노이즈 제거 처리는 낮은 조명 환경에서 이미지 노이즈 제거 효과를 개선하기 위해 N개의 프레임의 원시 이미지들을 획득함으로써 수행된다.
선택적으로, 가능한 구현에서, 제2 이미지는 신경망 모델에 의해 출력된 YUV 이미지이다.
선택적으로, 다른 가능한 구현에서, 제2 이미지는 YUV 이미지이고, YUV 이미지는 신경망 모델에 의해 출력된 원시 이미지를 후처리함으로써 획득된 YUV 이미지이다.
선택적으로, 다른 가능한 구현에서, 제2 이미지는 신경망 모델에 의해 출력된 원시 이미지이다. 본 출원에서, N개의 프레임의 원시 raw 이미지들은 카메라에 의해 캡처된 이미지들이다. 예를 들어, 카메라는 센서 및 렌즈를 포함하는 모듈이다. N개의 프레임의 원시 raw 이미지들은 센서에 의해 생성된 원시 이미지들, 가속기 예를 들어, 신경망 처리 유닛(neural-network processing unit, NPU), 그래픽 처리 유닛(graphics processing unit, GPU), 디지털 신호 프로세서(digital signal processor, DSP), 또는 다른 프로세서에 의해 알고리즘에 따라 가속되지 않는 원시 이미지들, 및 이미지 신호 프로세서(image signal processor, ISP)에 의해 처리되지 않는 원시 이미지들을 획득하는 것일 수 있다. 따라서, 원시 이미지에서의 노이즈의 원래의 형태는 알고리즘의 처리에 의해 손상되지 않는다. 즉, 원시 이미지에서의 노이즈는 실제 노이즈가 사용자에 의해 사용되는 전자 디바이스에 도입되는 시나리오에 가장 가깝다.
원시 raw 이미지는 YUV 이미지와 상이하다는 점에 유의해야 한다. 원시 이미지는 캡처된 광원 신호를 센서에 의해 디지털 신호로 전환함으로써 획득된 원시 데이터이다. YUV 이미지는 원시 이미지를 후처리함으로써 획득된 이미지이고, 여기서 후처리는 예를 들어, 가속기 및 ISP에 의한 처리를 통해 원시 이미지를 YUV 이미지로 전환할 수 있다.
신경망은 미리 훈련되거나 미리 구성된 신경망일 수 있다는 것을 이해해야 한다. 신경망의 훈련 데이터는 원시 이미지 및 노이즈가 원시 이미지에 추가된 후에 획득된 노이즈 이미지를 포함할 수 있다. 원시 이미지는 노이즈가 거의 없는 이미지일 수 있고, 예를 들어, 노이즈가 타깃 임계값보다 낮은 원시 이미지일 수 있다.
예를 들어, 가능한 구현에서, 신경망 모델은 노이즈가 타깃 임계값보다 낮은 원시 이미지를 출력 목표로서 사용한다.
본 출원에서, 전자 디바이스는 디스플레이 스크린을 갖는다는 점에 유의해야 한다. 디스플레이 스크린은 터치스크린, 플렉시블 스크린, 곡면 스크린, 또는 다른 형태의 스크린일 수 있다. 전자 디바이스의 디스플레이 스크린은 이미지를 디스플레이하는 기능을 갖는다. 디스플레이 스크린의 특정 재료 및 형상은 본 출원에서 제한되지 않는다.
제1 이미지는 매우 낮은 조명 시나리오에서의 미리보기 이미지라는 것을 추가로 이해해야 한다. 예를 들어, 제1 이미지는 야간 시나리오의 미리보기 이미지일 수 있고, 더 구체적으로는, 조명이 0.3 룩스 미만인 시나리오에서의 미리보기 이미지일 수 있다. 제1 이미지 및 제2 이미지는 동일하거나 실질적으로 동일한 디스플레이 콘텐츠를 갖는다. 제2 이미지의 이미지 품질은 제1 이미지의 이미지 품질보다 양호하다. 예를 들어, 제2 이미지에서의 컬러, 휘도, 디테일, 및 노이즈는 제1 이미지에서의 것들보다 더 양호하다.
본 출원에서, 전자 디바이스는 원시 raw 이미지를 획득하고, 원시 raw 이미지에 대해 노이즈 제거 처리를 수행한다. 원시 raw 이미지는 ISP에 의해 또는 가속기의 알고리즘에 따라 처리되지 않는다. 따라서, 노이즈의 형태가 손상되지 않고, 이는 낮은 조명 환경에서 이미지 노이즈 제거 효과를 개선시킨다.
제1 양태를 참조하면, 제1 양태의 일부 구현들에서, 사용자에 의해 제1 처리 모드를 지시하는 제2 동작이 검출된다.
예를 들어, 제1 처리 모드는 전문가 촬영 모드, 야간 촬영 모드, 또는 다른 모드일 수 있다. 예를 들어, 사용자에 의해 전문가 촬영 모드 또는 야간 촬영 모드를 선택하는 제2 동작이 검출될 수 있다. 사용자에 의해 전문가 촬영 모드 또는 야간 촬영 모드를 선택하는 제2 동작에 응답하여, 전자 디바이스는 센서의 감광도 ISO 값을 타깃 범위 내에 있도록 구성하고, 예를 들어, 전자 디바이스의 센서의 ISO 값을 12800보다 크도록 설정한다.
제1 양태를 참조하면, 제1 양태의 일부 구현들에서, 사용자에 의해 촬영을 지시하는 제2 동작이 검출되고, 여기서, 제2 동작은 낮은 조명 환경에서 촬영을 지시하기 위해 사용되는 동작이다.
예를 들어, 전자 디바이스가 센서를 호출하고 낮은 조명 시나리오, 예를 들어, 0.3 룩스 미만의 조명을 갖는 시나리오를 검출할 때, 제2 동작은 사용자에 의해 촬영을 지시하는 것일 수 있다. 촬영을 지시하는 제2 동작은 사용자에 의해 전자 디바이스 내의 촬영 버튼을 누르는 것일 수 있거나, 음성을 통해, 사용자 장비에 의해 촬영할 전자 디바이스를 지시하는 것일 수 있거나, 사용자에 의해 촬영할 전자 디바이스를 지시하는 다른 액션을 추가로 포함할 수 있다.
또한, 전자 디바이스가 센서를 호출하고 전자 디바이스가 현재 0.3 룩스 미만의 조명을 갖는 시나리오에 있음을 검출할 때, 전자 디바이스는 센서의 감광도 ISO 값을 타깃 범위 내에 있도록 구성할 수 있다.
예를 들어, 타깃 범위는 ISO 값이 6400보다 크거나 ISO 값이 12800보다 큰 것일 수 있다. 본 출원이 이에 제한되는 것은 아니다.
가능한 구현에서, N개의 프레임의 원시 raw 이미지들은 참조 프레임 이미지 및 m개의 프레임의 처리될 이미지들을 포함한다. 처리 프로세스는: 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득하는 것; 및 이미지 세트 및 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 것- 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함하고, 출력 이미지는 제2 이미지임 -을 포함한다.
구체적으로, 가능한 구현에서, 신경망 모델에 의해 출력된 출력 이미지는 제2 이미지인데, 즉, 신경망에 의해 출력된 이미지는 YUV 이미지일 수 있다. YUV 이미지는 디스플레이 스크린의 뷰파인더 프레임에 디스플레이된다.
가능한 구현에서, N개의 프레임의 원시 raw 이미지들은 참조 프레임 이미지 및 m개의 프레임의 처리될 이미지들을 포함한다. 처리 프로세스는: 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득하는 것; 및 이미지 세트 및 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 것- 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함하고, 제2 이미지는 후처리된 출력 이미지임 -을 포함한다.
구체적으로, 가능한 구현에서, 신경망 모델에 의해 출력된 출력 이미지는 원시 이미지이고, 원시 이미지는 후처리된다. 예를 들어, 출력된 원시 이미지는 가속기 및 ISP에 의해 처리되어 YUV 이미지를 획득하고, YUV 이미지는 디스플레이 스크린의 뷰파인더 프레임에 디스플레이된다.
가능한 구현에서, N개의 프레임의 원시 raw 이미지들이 획득되고, N개의 프레임의 원시 raw 이미지들은 참조 프레임 이미지 및 m개의 프레임의 처리될 이미지들을 포함하고, N은 2 이상의 정수이고, m은 N 미만의 양의 정수이다. 등록 처리가 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들에 대해 수행되어, m개의 프레임의 등록된 이미지들을 획득한다. 노이즈 제거된 출력 이미지는 이미지 세트 및 신경망 모델에 기초하여 획득되고, 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함하고, 신경망은 노이즈 모델이 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용한다.
본 출원에서, N개의 프레임의 원시 이미지들이 획득될 수 있고, 참조 프레임 이미지에 기초하여 N개의 프레임의 원시 이미지들에서 m개의 프레임의 처리될 이미지들에 대해 등록 처리가 수행되어, m개의 프레임의 등록된 이미지들을 획득할 수 있다. 노이즈 제거된 출력 이미지는 이미지 세트 및 신경망 모델에 기초하여 획득될 수 있으며, 이미지 세트는 등록된 이미지들 m개의 프레임 및 참조 프레임 이미지를 포함하고, 신경망은 노이즈 모델이 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용한다. 본 출원에서, 원시 이미지는 ISP에 의해 또는 가속기의 알고리즘에 따라 처리되지 않는 이미지이기 때문에, 원시 이미지에서의 노이즈의 형태는 손상되지 않는다. 본 출원에서, 노이즈 제거 처리는 낮은 조명 환경에서 이미지 노이즈 제거 효과를 개선하기 위해 N개의 프레임의 원시 이미지들을 획득함으로써 수행된다.
가능한 구현에서, N개의 프레임의 원시 raw 이미지들이 획득되고, N개의 프레임의 원시 이미지들에서 m개의 프레임의 처리될 이미지들 및 참조 프레임 이미지가 N개의 프레임의 원시 raw 이미지들의 콘트라스트에 기초하여 결정된다. 참조 프레임 이미지는 이미지들의 획득된 N개의 프레임에서 더 양호한 이미지 품질을 갖는 이미지일 수 있고, 예를 들어, N개의 프레임의 원시 이미지들에서 선명한 이미지일 수 있다.
가능한 구현에서, 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득하는 것은: 광학 흐름(optical flow) 방법을 사용하여 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들 각각에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득하는 것을 포함한다.
제1 양태를 참조하면, 제1 양태의 일부 구현들에서, 이미지 세트 및 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 것은 다음을 포함한다: 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 것- 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함하고, 채널 이미지는 제1 채널 이미지, 제2 채널 이미지 및 제3 채널 이미지를 포함함 -; 신경망 모델을 사용하여, 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 것- 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -; 연관 데이터에 기초하여 각각의 프레임의 이미지의 타깃 채널 이미지를 획득하는 것- 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및 타깃 채널 이미지에서의 채널들을 조합하여 노이즈 제거된 출력 이미지를 획득하는 것.
노이즈 제거된 출력 이미지는 원시 이미지일 수 있다는 것을 이해해야 한다.
가능한 구현에서, 이미지 세트는 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하기 위해 전처리된다. 전처리 프로세스는 다음을 포함한다: 컬러 채널들을 분리하는 것- 이미지 세트는 m개의 프레임의 등록된 이미지들과 참조 프레임 이미지를 포함하고, 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -; 이미지 세트에서의 각각의 프레임의 이미지에 대응하는 채널 이미지를 입력 데이터로서 신경망 모델에 입력하여, 타깃 채널 이미지를 신경망 모델의 출력 데이터로서 획득하는 것- 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및 타깃 채널 이미지를 후처리하여 노이즈 제거된 출력 이미지를 획득하는 것- 후처리는 채널 조합 처리, DRC 처리, AWB 처리, 및 ISP 처리를 포함함 -.
가능한 설계에서, 전처리 및 후처리 프로세스들 중 어느 하나 또는 둘 다가 신경망 모델에서 수행될 수 있다는 것을 이해해야 한다. 대안적으로, 다른 가능한 구현에서, 전처리 및 후처리 프로세스들 중 어느 하나가 신경망 모델에서 수행되지 않을 수 있다. 이는 이 출원에서 제한되지 않는다.
선택적으로, 후처리 프로세스가 신경망 모델에서 수행될 때, 신경망에 의해 출력된 이미지는 YUV 이미지일 수 있다.
선택적으로, 후처리 프로세스가 신경망 모델에서 수행되지 않을 때, 신경망에 의해 출력된 이미지는 원시 이미지일 수 있다.
노이즈 이미지는 신경망 모델을 사용하여 추정된 노이즈 이미지라는 것을 이해해야 한다. 즉, 노이즈 이미지는 신경망에 의한 처리를 통해 획득된 추정된 노이즈 이미지, 즉 노이즈 추정 이미지일 수 있다.
가능한 구현에서, m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 및 신경망에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 것은 다음을 포함한다: 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 것- 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -; 채널 이미지를 입력 데이터로서 사용하고 신경망 모델을 사용하여 각각의 프레임의 이미지의 타깃 채널 이미지를 획득하는 것- 타깃 채널 이미지는 제1 채널의 노이즈 추정 이미지, 제2 채널의 노이즈 추정 이미지, 및 제3 채널의 노이즈 추정 이미지를 포함함 -; 및 타깃 채널 이미지에서의 채널들을 조합하여 노이즈 제거된 출력 이미지를 획득하는 것.
본 출원에서, m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지에서의 컬러 채널들은 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하기 위해 분리될 수 있다. 신경망은 더 많은 연관 정보에 기초하여, 예를 들어, 상이한 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보에 기초하여 학습하여, 낮은 조명 환경에서 이미지 노이즈 제거 효과를 개선할 수 있다.
상이한 채널들이 이미지의 하나의 프레임에서의 대응하는 채널 이미지들일 수 있거나, 상이한 이미지 프레임들에서의 채널들 간의 연관 정보일 수 있다는 것을 이해해야 한다. 또한, 프레임들 간의 연관 정보는 이미지들의 상이한 프레임들에서의 동일한 특징점들 간의 연관 정보일 수 있고, 예를 들어, 이미지들의 상이한 프레임들에서의 하나의 특징점 A 간의 연관 정보, 또는 이미지들의 상이한 프레임들에서의 특징점들 A의 픽셀 값들 간의 연관 정보일 수 있다. 예를 들어, 연관 정보는 상이한 이미지들 간의 휘도, 텍스처, 노이즈, 및 디테일들과 같은 정보의 상관일 수 있다. 채널들 간의 연관 정보는 채널들 간의 휘도, 텍스처 및 노이즈와 같은 정보의 상관일 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현들에서, 이미지 세트는 고스트 이미지를 추가로 포함하고, 고스트 이미지는 m개의 프레임의 등록된 이미지들과 참조 프레임 이미지 사이의 차이로부터 획득된다.
가능한 구현에서, 고스트 이미지가 m개의 등록 프레임 이미지 및 참조 프레임 이미지들에 기초하여 획득되는 것은:
제i 등록된 이미지를 획득하고, 제i 이미지의 이미지 특징과 참조 프레임 이미지의 이미지 특징 사이의 차이를 계산하는 것을 포함한다. 이 단계를 반복하여 차이 계산에 의해 획득된 제m 이미지를 획득한다. 이미지 특징들이 융합되어 고스트 이미지를 획득한다.
신경망에 입력되는 이미지 세트가 고스트 이미지를 포함할 때, 획득된 출력 이미지는 노이즈 제거되고 고스트 제거된(denoised and deghosted) 출력 이미지일 수 있다는 것을 이해해야 한다.
본 출원에서, 신경망에 입력되는 이미지 세트가 고스트 이미지를 포함할 때, 노이즈 제거된 출력 이미지가 획득될 수 있을 뿐만 아니라, 고스트 이미지가 출력 이미지로부터 제거될 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현들에서, 이미지 세트 및 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 것은 다음을 포함한다: 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 것- 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -; 신경망을 사용하여, 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 것- 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -; 연관 데이터에 기초하여 각각의 프레임의 이미지의 제1 타깃 채널 이미지를 획득하는 것- 제1 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; m개의 프레임의 등록된 이미지들의 이미지 특징들을 융합하고 평균 값을 계산하여 평균 이미지를 획득하는 것; 평균 이미지에서의 컬러 채널들을 분리하여 채널 평균 이미지를 획득하는 것- 채널 평균 이미지는 제1 채널의 평균 이미지, 제2 채널의 평균 이미지, 및 제3 채널의 평균 이미지를 포함함 -; 채널 평균 이미지 및 대응하는 제1 타깃 채널 이미지의 특징들을 중첩하여 제2 타깃 채널 이미지를 획득하는 것; 및 제2 타깃 채널 이미지에서의 채널들을 조합하여 노이즈 제거된 출력 이미지를 획득하는 것.
이미지 채널 세트가 m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 및 고스트 이미지를 포함할 때, 연관 데이터는 이미지 프레임들 간의 연관 정보일 수 있고, 예를 들어, m개의 프레임의 등록된 이미지들과 참조 이미지 사이의 연관 정보일 수 있거나, m개의 프레임의 등록된 이미지들과 고스트 이미지 사이의 연관 정보일 수 있거나, m개의 프레임의 등록된 이미지들과, 고스트 이미지와 참조 프레임 이미지 사이의 연관 정보일 수 있다는 것을 이해해야 한다. 연관 데이터는 대안적으로 이미지 프레임에서의 상이한 채널들 간의 연관 정보일 수 있다. 연관 데이터는 대안적으로 상이한 이미지 프레임들에서의 채널들 간의 연관 정보일 수 있다. 채널들 간의 연관 정보는 채널들 간의 휘도, 텍스처 및 노이즈와 같은 정보의 상관일 수 있다.
제1 양태를 참조하여, 제1 양태의 일부 구현들에서, 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지는 R 채널 이미지, Y 채널 이미지, 및 B 채널 이미지를 포함하고, 여기서 Y 채널 이미지는 Yb 채널 이미지 및 Yr 채널 이미지를 포함한다.
R 채널 이미지는 이미지에서의 적색 채널 이미지를 지시할 수 있고, Y 채널 이미지는 RGB의 합과 동등한 전체 채널을 지시할 수 있다.
제1 양태를 참조하여, 제1 양태의 일부 구현들에서, 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지는 R 채널 이미지, G 채널 이미지, 및 B 채널 이미지를 포함하고, G 채널 이미지는 Gb 채널 이미지 및 Gr 채널 이미지를 포함한다.
R 채널 이미지는 이미지에서의 적색 채널 이미지를 지시할 수 있고, G 채널 이미지는 이미지에서의 녹색 채널 이미지를 지시할 수 있으며, B 채널 이미지는 이미지에서의 청색 채널 이미지를 지시할 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현들에서, N개의 프레임의 원시 이미지들은 베이어(Bayer) 포맷 이미지들이다.
제1 양태를 참조하면, 제1 양태의 일부 구현들에서, 후처리는 다음을 포함한다: 출력 이미지에 대해 동적 범위 압축 DRC 처리를 수행하여 고도의 동적 특징 이미지(highly dynamic feature image)를 획득하는 것; 고도의 동적 특징 이미지에 대해 화이트 밸런스 AWB 처리를 수행하여 컬러 보정된 이미지를 획득하는 것; 및 컬러 보정된 이미지에 대해 이미지 신호 처리를 수행하여 제2 이미지를 획득하는 것.
구체적으로, 신경망 모델에 의해 출력된 출력 이미지가 원시 이미지일 때, 원시 이미지는 추가로 후처리된다. 예를 들어, 출력된 원시 이미지를 후처리하는 것은 제2 이미지를 획득하기 위해 DRC 처리, AWB 처리, 및 이미지 신호 처리를 포함할 수 있고, 여기서 제2 이미지는 YUV 이미지이다. 즉, 출력된 원시 이미지는 YUV 이미지를 획득하기 위해 후처리된다.
제2 양태에 따르면, 이 기술적 해결책은 이미지 디스플레이 디바이스를 제공하며, 이 이미지 디스플레이 디바이스는 다음을 포함한다: 사용자에 의해 카메라를 턴온하는 제1 동작을 검출하도록 구성된 검출 유닛; 및 제1 동작에 응답하여 디스플레이 스크린 상에 촬영 인터페이스를 디스플레이하도록 구성되는 처리 유닛- 촬영 인터페이스는 뷰파인더 프레임을 포함하고, 뷰파인더 프레임은 제1 이미지를 포함함 -. 검출 유닛은 사용자에 의해 카메라를 지시하는 제2 동작을 검출하도록 추가로 구성된다. 처리 유닛은 제2 동작에 응답하여 뷰파인더 프레임에 제2 이미지를 디스플레이하도록 추가로 구성되고, 제2 이미지는 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지이다. 신경망 모델이 처리 프로세스에 적용된다. 신경망 모델은 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용한다. N은 2 이상의 정수이다.
본 출원에서, 사용자에 의해 카메라를 턴온하는 제1 동작이 검출되고, 사용자에 의해 카메라를 지시하는 제2 동작이 검출되고, 제2 동작에 응답하여 디스플레이 스크린의 뷰파인더 프레임에 제2 이미지가 디스플레이되며, 제2 이미지는 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지이다. 원시 이미지는 ISP에 의해 또는 가속기의 알고리즘에 따라 처리되지 않는 이미지이기 때문에, 원시 이미지에서의 노이즈의 형태는 손상되지 않는다. 본 출원에서, 노이즈 제거 처리는 낮은 조명 환경에서 이미지 노이즈 제거 효과를 개선하기 위해 N개의 프레임의 원시 이미지들을 획득함으로써 수행된다.
선택적으로, 가능한 구현에서, 제2 이미지는 신경망 모델에 의해 출력된 YUV 이미지이다.
선택적으로, 다른 가능한 구현에서, 제2 이미지는 YUV 이미지이고, YUV 이미지는 신경망 모델에 의해 출력된 원시 이미지를 후처리함으로써 획득된 YUV 이미지이다.
선택적으로, 다른 가능한 구현에서, 제2 이미지는 신경망 모델에 의해 출력된 원시 이미지이다.
N개의 프레임의 원시 raw 이미지들은 카메라에 의해 캡처된 이미지들이다. 카메라는 센서 및 렌즈를 포함하는 모듈이다. N개의 프레임의 원시 raw 이미지들은 예를 들어, 센서에 의해 생성된 원시 이미지들, 가속기 예를 들어, 신경망 처리 유닛(neural-network processing unit, NPU), 그래픽 처리 유닛(graphics processing unit, GPU), 디지털 신호 프로세서(digital signal processor, DSP), 또는 다른 프로세서에 의해 알고리즘에 따라 가속되지 않는 원시 이미지들, 및 이미지 신호 프로세서(image signal processor, ISP)에 의해 처리되지 않는 원시 이미지들을 획득하는 것일 수 있다. 따라서, 원시 이미지에서의 노이즈의 원래의 형태는 알고리즘의 처리에 의해 손상되지 않는다. 즉, 원시 이미지에서의 노이즈는 실제 노이즈가 사용자에 의해 사용되는 전자 디바이스에 도입되는 시나리오에 가장 가깝다.
원시 이미지는 YUV 이미지와 상이하다는 점에 유의해야 한다. 원시 이미지는 캡처된 광원 신호를 센서에 의해 디지털 신호로 전환함으로써 획득된 원시 데이터이다. YUV 이미지는 원시 이미지를 후처리함으로써 획득된 이미지이다. 후처리는, 예를 들어, 가속기 및 ISP에 의한 처리를 통해, 원시 이미지를 YUV 이미지로 전환할 수 있다.
신경망 모델은 미리 훈련되거나 미리 구성된 신경망일 수 있다는 것을 이해해야 한다. 신경망의 훈련 데이터는 원시 이미지 및 노이즈가 원시 이미지에 추가된 후에 획득된 노이즈 이미지를 포함할 수 있다. 원시 이미지는 노이즈가 거의 없는 이미지일 수 있고, 예를 들어, 노이즈가 타깃 임계값보다 낮은 원시 이미지일 수 있다.
선택적으로, 가능한 구현에서, 신경망 모델은 노이즈가 타깃 임계값보다 낮은 원시 이미지를 출력 목표로서 사용한다.
제1 이미지는 매우 낮은 조명 시나리오에서의 미리보기 이미지라는 것을 추가로 이해해야 한다. 예를 들어, 제1 이미지는 야간 시나리오의 미리보기 이미지일 수 있고, 더 구체적으로는, 조명이 0.3 룩스 미만인 시나리오에서의 미리보기 이미지일 수 있다. 제1 이미지 및 제2 이미지는 동일하거나 실질적으로 동일한 디스플레이 콘텐츠를 갖는다. 제2 이미지의 이미지 품질은 제1 이미지의 이미지 품질보다 양호하다. 예를 들어, 제2 이미지에서의 컬러, 휘도, 디테일, 및 노이즈는 제1 이미지에서의 것들보다 더 양호하다.
제2 양태를 참조하면, 제2 양태의 일부 구현들에서, 검출 유닛은 구체적으로, 사용자에 의해 제1 처리 모드를 지시하는 제2 동작을 검출하도록 구성된다.
예를 들어, 제1 처리 모드는 전문가 촬영 모드, 야간 촬영 모드, 또는 다른 모드일 수 있다. 예를 들어, 사용자에 의해 전문가 촬영 모드 또는 야간 촬영 모드를 선택하는 제2 동작이 검출될 수 있다. 사용자에 의해 전문가 촬영 모드 또는 야간 촬영 모드를 선택하는 제2 동작에 응답하여, 전자 디바이스는 센서의 감광도 ISO 값을 타깃 범위 내에 있도록 구성하고, 예를 들어, 전자 디바이스의 센서의 ISO 값을 12800보다 크도록 설정한다. 제2 양태를 참조하면, 제2 양태의 일부 구현들에서, 검출 유닛은 사용자에 의해 촬영하도록 지시하는 제2 동작을 검출하도록 구체적으로 구성되고, 제2 동작은 낮은 조명 환경에서 촬영하도록 지시하기 위해 사용되는 동작이다.
예를 들어, 전자 디바이스가 센서를 호출하고 낮은 조명 시나리오, 예를 들어, 0.3 룩스 미만의 조명을 갖는 시나리오를 검출할 때, 제2 동작은 사용자에 의해 촬영을 지시하는 것일 수 있다. 촬영을 지시하는 제2 동작은 사용자에 의해 전자 디바이스 내의 촬영 버튼을 누르는 것일 수 있거나, 음성을 통해, 사용자 장비에 의해 촬영할 전자 디바이스를 지시하는 것일 수 있거나, 사용자에 의해 촬영할 전자 디바이스를 지시하는 다른 액션을 추가로 포함할 수 있다.
또한, 전자 디바이스가 센서를 호출하고 전자 디바이스가 현재 0.3 룩스 미만의 조명을 갖는 시나리오에 있음을 검출할 때, 전자 디바이스는 센서의 감광도 ISO 값을 타깃 범위 내에 있도록 구성할 수 있다. 이는 이 출원에서 제한되지 않는다.
제2 양태를 참조하면, 제2 양태의 일부 구현들에서, 처리 유닛은 구체적으로 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여 m개의 프레임의 등록된 이미지들을 획득하고; 이미지 세트 및 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하도록 구성되고, 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함하고, 출력 이미지는 제2 이미지이다.
구체적으로, 가능한 구현에서, 신경망 모델에 의해 출력된 출력 이미지는 제2 이미지인데, 즉, 신경망에 의해 출력된 이미지는 YUV 이미지일 수 있다. YUV 이미지는 디스플레이 스크린의 뷰파인더 프레임에 디스플레이된다.
가능한 구현에서, 처리 유닛은 구체적으로 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여 m개의 프레임의 등록된 이미지들을 획득하고; 이미지 세트 및 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하도록 구성되고, 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함하고, 제2 이미지는 후처리된 출력 이미지이다.
구체적으로, 가능한 구현에서, 신경망 모델에 의해 출력된 출력 이미지는 원시 이미지이고, 원시 이미지는 전자 디바이스 내부에서 후처리된다. 예를 들어, 출력된 원시 이미지는 가속기 및 ISP에 의해 처리되어 YUV 이미지를 획득하고, YUV 이미지는 디스플레이 스크린의 뷰파인더 프레임에 디스플레이된다.
가능한 구현에서, 검출 유닛은 N개의 프레임의 원시 raw 이미지들을 획득하도록 구성되고, N개의 프레임의 원시 raw 이미지들은 참조 프레임 이미지 및 m개의 프레임의 처리될 이미지들을 포함하고, N은 2 이상의 정수이고, m은 N 미만의 양의 정수이다. 처리 유닛은 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여 m개의 프레임의 등록된 이미지들을 획득하도록 구성된다. 처리 유닛은 m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 및 신경망에 기초하여, 노이즈 제거된 출력 이미지를 획득하도록 추가로 구성되고, 신경망 모델은 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용한다.
본 출원에서, N개의 프레임의 원시 이미지들이 획득될 수 있고, 참조 프레임 이미지에 기초하여 N개의 프레임의 원시 이미지들에서 m개의 프레임의 처리될 이미지들에 대해 등록 처리가 수행되어, m개의 프레임의 등록된 이미지들을 획득할 수 있다. 노이즈 제거된 출력 이미지는 이미지 세트 및 신경망 모델에 기초하여 획득될 수 있다. 본 출원에서, 원시 이미지는 ISP에 의해 또는 가속기의 알고리즘에 따라 처리되지 않는 이미지이기 때문에, 원시 이미지에서의 노이즈의 형태는 손상되지 않는다. 본 출원에서, 노이즈 제거 처리는 낮은 조명 환경에서 이미지 노이즈 제거 효과를 개선하기 위해 N개의 프레임의 원시 이미지들을 획득함으로써 수행된다.
가능한 구현에서, 처리 유닛은 구체적으로 N개의 프레임의 원시 이미지들의 콘트라스트에 기초하여 N개의 프레임의 원시 이미지들에서 m개의 프레임의 처리될 이미지들 및 참조 프레임 이미지를 결정하도록 구성된다. 참조 프레임 이미지는 이미지들의 획득된 N개의 프레임에서 더 양호한 이미지 품질을 갖는 이미지일 수 있고, 예를 들어, N개의 프레임의 원시 이미지들에서 선명한 이미지일 수 있다.
가능한 구현에서, 처리 유닛은 구체적으로 광학 흐름 방법을 사용함으로써 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들 각각에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득하도록 구성된다.
제2 양태를 참조하면, 제2 양태의 일부 구현들에서, 처리 유닛은 구체적으로 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하고- 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함하고, 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -; 신경망 모델을 사용하여, 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하고- 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -; 연관 데이터에 기초하여 각각의 프레임의 이미지의 타깃 채널 이미지를 획득하고- 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 타깃 채널 이미지에서의 채널들을 조합하여 노이즈 제거된 출력 이미지를 획득하도록 구성된다.
가능한 구현에서, 처리 유닛은 구체적으로 이미지 세트를 전처리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하도록 구성된다. 전처리는 다음을 포함한다: 컬러 채널들을 분리하는 것- 이미지 세트는 m개의 프레임의 등록된 이미지들과 참조 프레임 이미지를 포함하고, 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -; 이미지 세트에서의 각각의 프레임의 이미지에 대응하는 채널 이미지를 입력 데이터로서 신경망 모델에 입력하여, 타깃 채널 이미지를 신경망 모델의 출력 데이터로서 획득하는 것- 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및 타깃 채널 이미지를 후처리하여 노이즈 제거된 출력 이미지를 획득하는 것- 후처리는 채널 조합 처리, DRC 처리, AWB 처리, 및 ISP 처리를 포함함 -.
가능한 구현에서, 전처리 및 후처리 프로세스들 중 어느 하나가 신경망 모델에서 수행될 수 있다는 것을 이해해야 한다. 대안적으로, 다른 가능한 구현에서, 전처리 및 후처리 프로세스들 중 어느 하나가 신경망 모델에서 수행되지 않을 수 있다.
노이즈 이미지는 신경망 모델을 사용하여 추정된 노이즈 이미지라는 것을 이해해야 한다. 즉, 노이즈 이미지는 신경망에 의한 처리를 통해 획득된 추정된 노이즈 이미지, 즉 노이즈 추정 이미지일 수 있다.
본 출원에서, m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지에서의 컬러 채널들은 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하기 위해 분리될 수 있다. 신경망은 더 많은 연관 정보에 기초하여, 예를 들어, 상이한 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보에 기초하여 학습하여, 낮은 조명 환경에서 이미지 노이즈 제거 효과를 개선할 수 있다.
상이한 채널들이 하나의 이미지에서의 대응하는 채널 이미지들일 수 있거나, 상이한 이미지들에서의 채널들 간의 연관 정보일 수 있다는 것을 이해해야 한다. 또한, 이미지들 간의 연관 정보는 상이한 이미지들에서의 동일한 특징점들 간의 연관 정보, 예를 들어, 상이한 이미지들에서의 하나의 특징점 A 간의 연관 정보, 또는 상이한 이미지들에서의 특징점 A의 픽셀 값들 간의 연관 정보일 수 있다. 예를 들어, 연관 정보는 이미지들의 상이한 프레임들 간의 휘도, 텍스처, 노이즈, 및 디테일들과 같은 정보의 상관일 수 있다. 채널들 간의 연관 정보는 채널들 간의 휘도, 텍스처 및 노이즈와 같은 정보의 상관일 수 있다.
제2 양태를 참조하여, 제2 양태의 일부 구현들에서, 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지는 R 채널 이미지, Y 채널 이미지, 및 B 채널 이미지를 포함하고, 여기서 Y 채널 이미지는 Yb 채널 이미지 및 Yr 채널 이미지를 포함한다.
제2 양태를 참조하여, 제2 양태의 일부 구현들에서, 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지는 R 채널 이미지, G 채널 이미지, 및 B 채널 이미지를 포함하고, G 채널 이미지는 Gb 채널 이미지 및 Gr 채널 이미지를 포함한다.
제2 양태를 참조하면, 제2 양태의 일부 구현들에서, 처리 유닛이 구체적으로 m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 및 신경망에 기초하여, 노이즈 제거된 출력 이미지를 획득하도록 구성되는 것은: m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 고스트 이미지, 및 신경망에 기초하여 출력 이미지를 획득하는 것을 포함한다.
가능한 구현에서, 고스트 이미지가 m개의 등록 프레임 이미지 및 참조 프레임 이미지들에 기초하여 획득되는 것은:
제i 등록된 이미지를 획득하고, 제i 이미지의 이미지 특징과 참조 프레임 이미지의 이미지 특징 사이의 차이를 계산하는 것을 포함한다. 이 단계를 반복하여 차이 계산에 의해 획득된 제m 이미지를 획득한다. 이미지 특징들이 융합되어 고스트 이미지를 획득한다.
신경망에 입력되는 이미지 세트가 고스트 이미지를 포함할 때, 획득된 출력 이미지는 노이즈 제거되고 고스트 제거된(denoised and deghosted) 출력 이미지일 수 있다는 것을 이해해야 한다.
본 출원에서, 신경망에 입력되는 이미지 세트가 고스트 이미지를 포함할 때, 노이즈 제거된 출력 이미지가 획득될 수 있을 뿐만 아니라, 고스트 이미지가 출력 이미지로부터 제거될 수 있다.
제2 양태를 참조하면, 제2 양태의 일부 구현들에서, 처리 유닛은 구체적으로 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하고- 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -; 신경망을 사용하여, 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하고- 연관 데이터는 프레임들 간의 연관 정보, 프레임에서의 상이한 채널들 간의 연관 정보, 및 상이한 프레임들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -; 연관 데이터에 기초하여 각각의 프레임의 이미지의 제1 타깃 채널 이미지를 획득하고- 제1 타깃 채널 이미지는 제1 채널의 추정된 노이즈 이미지, 제2 채널의 추정된 노이즈 이미지, 및 제3 채널의 추정된 노이즈 이미지를 포함함 -; m개의 프레임의 등록된 이미지들의 이미지 특징들을 융합하고 평균 값을 계산하여, 평균 이미지를 획득하고; 채널 평균 이미지를 획득하기 위해 평균 이미지에서 컬러 채널들을 분리하고- 채널 평균 이미지는 제1 채널의 평균 이미지, 제2 채널의 평균 이미지, 및 제3 채널의 평균 이미지를 포함함 -; 채널 평균 이미지와 대응하는 제1 타깃 채널 이미지의 특징들을 중첩하여 제2 타깃 채널 이미지를 획득하고; 제2 타깃 채널 이미지에서의 채널들을 조합하여 노이즈 제거된 출력 이미지를 획득하도록 구성된다.
이미지 채널 세트가 m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 및 고스트 이미지를 포함할 때, 연관 데이터는 프레임들 간의 연관 정보일 수 있고, 예를 들어, m개의 프레임의 등록된 이미지들과 참조 이미지 사이의 연관 정보일 수 있거나, m개의 프레임의 등록된 이미지들과 고스트 이미지 사이의 연관 정보일 수 있거나, m개의 프레임의 등록된 이미지들과, 고스트 이미지와 참조 프레임 이미지 사이의 연관 정보일 수 있다는 것을 이해해야 한다. 연관 데이터는 대안적으로 프레임에서의 상이한 채널들 간의 연관 정보, 또는 상이한 프레임들에서의 채널들 간의 연관 정보일 수 있다. 채널들 간의 연관 정보는 채널들 간의 휘도, 텍스처 및 노이즈와 같은 정보의 상관일 수 있다.
가능한 구현에서, 예를 들어, 이미지 세트에서의 각각의 프레임의 이미지에서의 컬러 채널들은 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하기 위해 분리된다. 이미지 세트는 m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 및 고스트 이미지를 포함할 수 있다. 채널 이미지는 R 채널 이미지, Yr 채널 이미지, Yb 채널 이미지, 및 B 채널 이미지를 포함할 수 있다.
가능한 구현에서, 예를 들어, 이미지 세트에서의 각각의 프레임의 이미지에서의 컬러 채널들은 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하기 위해 분리된다. 이미지 세트는 m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 및 고스트 이미지를 포함할 수 있다. 채널 이미지는 R 채널 이미지, Gr 채널 이미지, Gb 채널 이미지, 및 B 채널 이미지를 포함할 수 있다.
이미지 채널 세트가 m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 및 고스트 이미지를 포함할 때, 연관 데이터는 프레임들 간의 연관 정보일 수 있고, 예를 들어, m개의 프레임의 등록된 이미지들과 참조 이미지 사이의 연관 정보일 수 있거나, m개의 프레임의 등록된 이미지들과 고스트 이미지 사이의 연관 정보일 수 있거나, m개의 프레임의 등록된 이미지들과, 고스트 이미지와 참조 프레임 이미지 사이의 연관 정보일 수 있다는 것을 이해해야 한다. 연관 데이터는 대안적으로 프레임에서의 상이한 채널들 간의 연관 정보, 또는 상이한 프레임들에서의 채널들 간의 연관 정보일 수 있다. 채널들 간의 연관 정보는 채널들 간의 휘도, 텍스처 및 노이즈와 같은 정보의 상관일 수 있다.
제2 양태를 참조하면, 제2 양태의 일부 구현들에서, N개의 프레임의 원시 이미지들은 베이어 포맷 이미지들이다.
제2 양태를 참조하면, 제2 양태의 일부 구현들에서, 처리 유닛은 구체적으로 출력 이미지에 대해 동적 범위 압축 DRC 처리를 수행하여 고도의 동적 특징 이미지를 획득하고; 고도의 동적 특징 이미지에 대해 화이트 밸런스 AWB 처리를 수행하여 컬러 보정된 이미지를 획득하고; 컬러 보정된 이미지에 대해 이미지 신호 처리를 수행하여 제2 이미지를 획득하도록 구성된다.
구체적으로, 신경망 모델에 의해 출력된 출력 이미지가 원시 이미지일 때, 원시 이미지는 전자 디바이스 내부에서 추가로 후처리된다. 예를 들어, 출력된 원시 이미지를 후처리하는 것은 제2 이미지를 획득하기 위해 DRC 처리, AWB 처리, 및 이미지 신호 처리를 포함할 수 있고, 여기서 제2 이미지는 YUV 이미지이다. 즉, 출력된 원시 이미지는 YUV 이미지를 획득하기 위해 후처리된다.
제3 양태에 따르면, 이 기술적 해결책은 디스플레이 스크린, 카메라, 하나 이상의 프로세서, 메모리, 복수의 애플리케이션 프로그램, 및 하나 이상의 컴퓨터 프로그램을 포함하는 이미지 디스플레이 디바이스를 제공한다. 하나 이상의 컴퓨터 프로그램은 메모리에 저장되고, 하나 이상의 컴퓨터 프로그램은 명령어들을 포함한다. 명령어들이 디바이스에 의해 실행될 때, 디바이스는 전술한 양태들 중 어느 하나의 임의의 가능한 구현에서 이미지 디스플레이 방법을 수행한다.
본 출원에서, 전자 디바이스는 디스플레이 스크린을 갖는다는 점에 유의해야 한다. 디스플레이 스크린은 터치스크린, 플렉시블 스크린, 곡면 스크린, 또는 다른 형태의 스크린일 수 있다. 전자 디바이스의 디스플레이 스크린은 이미지를 디스플레이하는 기능을 갖는다. 디스플레이 스크린의 특정 재료 및 형상은 본 출원에서 제한되지 않는다.
제4 양태에 따르면, 이미지 디스플레이 디바이스가 제공된다. 장치는 저장 매체 및 중앙 처리 유닛을 포함한다. 저장 매체는 비휘발성 저장 매체일 수 있고, 저장 매체는 컴퓨터 실행가능 프로그램을 저장한다. 중앙 처리 유닛은 비휘발성 저장 매체에 연결되고, 컴퓨터 실행가능 프로그램을 실행하여 제1 양태 또는 제1 양태의 가능한 구현들 중 어느 하나에 따른 방법을 구현한다.
제5 양태에 따르면, 칩이 제공된다. 칩은 프로세서 및 데이터 인터페이스를 포함한다. 프로세서는, 데이터 인터페이스를 통해, 메모리에 저장된 명령어들을 판독하여, 제1 양태 또는 제1 양태의 가능한 구현들 중 어느 하나에 따른 방법을 수행한다.
선택적으로, 구현에서, 칩은 메모리를 추가로 포함할 수 있다. 메모리는 명령어들을 저장한다. 프로세서는 메모리에 저장된 명령어들을 실행하도록 구성된다. 명령어들이 실행될 때, 프로세서는 제1 양태 또는 제1 양태의 가능한 구현들 중 어느 하나에 따른 방법을 수행하도록 구성된다.
제6 양태에 따르면, 컴퓨터 판독가능 저장 매체가 제공된다. 컴퓨터 판독가능 저장 매체는 디바이스에 의해 실행될 프로그램 코드를 저장한다. 프로그램 코드는 제1 양태 또는 제1 양태의 가능한 구현들 중 어느 하나에 따른 방법을 수행하기 위한 명령어들을 포함한다.
도 1은 본 출원의 실시예에 따른 시스템 아키텍처의 개략도이다.
도 2는 본 출원의 실시예에 따른 CNN 모델에 기초한 이미지 노이즈 제거의 개략도이다.
도 3은 본 출원의 실시예에 따른 칩의 하드웨어 구조의 개략도이다.
도 4는 본 출원의 실시예에 따른 이미지 디스플레이 방법의 개략적인 흐름도이다.
도 5a 및 도 5b는 본 출원의 실시예에 따른 디스플레이 인터페이스들의 그룹의 개략도들이다.
도 6a 및 도 6b는 본 출원의 실시예에 따른 디스플레이 인터페이스들의 다른 그룹의 개략도들이다.
도 7은 본 출원의 실시예에 따른 디스플레이 인터페이스들의 다른 그룹의 개략도이다.
도 8은 본 출원의 실시예에 따른 디스플레이 인터페이스들의 다른 그룹의 개략도이다.
도 9는 본 출원의 실시예에 따른 이미지 디스플레이 방법의 개략적인 흐름도이다.
도 10은 본 출원의 실시예에 따른 이미지 등록 처리 방법의 개략적인 흐름도이다.
도 11은 본 출원의 실시예에 따른 이미지 포맷의 개략도이다.
도 12는 본 출원의 실시예에 따른 이미지 디스플레이 방법의 개략적인 흐름도이다.
도 13은 본 출원의 실시예에 따른 신경망 모델의 구조의 개략도이다.
도 14a 및 도 14b는 본 출원의 실시예에 따른 동적 범위 압축 처리 방법의 개략적인 흐름도이다.
도 15는 본 출원의 실시예에 따른 이미지 디스플레이 방법의 개략적인 흐름도이다.
도 16은 본 출원의 실시예에 따른 이미지 디스플레이 방법을 사용하여 획득된 이미지의 개략도이다.
도 17은 본 출원의 실시예에 따른 이미지 디스플레이 방법을 사용하여 획득된 이미지의 개략도이다.
도 18은 본 출원의 실시예에 따른 이미지 디스플레이 디바이스의 구조의 개략도이다.
도 19는 본 출원의 실시예에 따른 이미지 디스플레이 디바이스의 구조의 개략도이다.
도 2는 본 출원의 실시예에 따른 CNN 모델에 기초한 이미지 노이즈 제거의 개략도이다.
도 3은 본 출원의 실시예에 따른 칩의 하드웨어 구조의 개략도이다.
도 4는 본 출원의 실시예에 따른 이미지 디스플레이 방법의 개략적인 흐름도이다.
도 5a 및 도 5b는 본 출원의 실시예에 따른 디스플레이 인터페이스들의 그룹의 개략도들이다.
도 6a 및 도 6b는 본 출원의 실시예에 따른 디스플레이 인터페이스들의 다른 그룹의 개략도들이다.
도 7은 본 출원의 실시예에 따른 디스플레이 인터페이스들의 다른 그룹의 개략도이다.
도 8은 본 출원의 실시예에 따른 디스플레이 인터페이스들의 다른 그룹의 개략도이다.
도 9는 본 출원의 실시예에 따른 이미지 디스플레이 방법의 개략적인 흐름도이다.
도 10은 본 출원의 실시예에 따른 이미지 등록 처리 방법의 개략적인 흐름도이다.
도 11은 본 출원의 실시예에 따른 이미지 포맷의 개략도이다.
도 12는 본 출원의 실시예에 따른 이미지 디스플레이 방법의 개략적인 흐름도이다.
도 13은 본 출원의 실시예에 따른 신경망 모델의 구조의 개략도이다.
도 14a 및 도 14b는 본 출원의 실시예에 따른 동적 범위 압축 처리 방법의 개략적인 흐름도이다.
도 15는 본 출원의 실시예에 따른 이미지 디스플레이 방법의 개략적인 흐름도이다.
도 16은 본 출원의 실시예에 따른 이미지 디스플레이 방법을 사용하여 획득된 이미지의 개략도이다.
도 17은 본 출원의 실시예에 따른 이미지 디스플레이 방법을 사용하여 획득된 이미지의 개략도이다.
도 18은 본 출원의 실시예에 따른 이미지 디스플레이 디바이스의 구조의 개략도이다.
도 19는 본 출원의 실시예에 따른 이미지 디스플레이 디바이스의 구조의 개략도이다.
다음은 첨부 도면들을 참조하여 본 출원의 기술적 해결책들을 설명한다.
본 출원의 실시예들에서 제공되는 이미지 디스플레이 방법은 촬영, 비디오 녹화, 안전 도시, 자율 주행, 인간-머신(human-machine) 상호작용, 및 이미지가 처리 및 디스플레이될 필요가 있고, 이미지에 대해 로우-레벨(low-level) 또는 하이-레벨(high-level) 시각 처리가 수행될 필요가 있는 다른 시나리오들에 적용될 수 있다. 예를 들어, 로우-레벨 또는 하이-레벨 시각적 처리는 이미지 인식, 이미지 분류, 시맨틱 세그멘테이션, 비디오 시맨틱 분석, 비디오 거동 인식 등을 포함한다.
구체적으로, 본 출원의 실시예들에서의 이미지 디스플레이 방법은 이미지 및 비디오에 기초하는 촬영 시나리오 및 비주얼 컴퓨팅 시나리오에 적용될 수 있다. 다음은 촬영 시나리오 및 이미지 인식 시나리오를 개별적으로 간략하게 설명한다.
촬영 시나리오:
카메라, 단말 디바이스, 또는 다른 지능형 전자 디바이스를 사용하여 촬영이 수행되어, 더 양호한 품질로 이미지를 지시할 때, 촬영된 이미지에서의 노이즈는 촬영 동안 또는 촬영 후에 본 출원의 실시예들에서의 이미지 디스플레이 방법을 사용하여 제거될 수 있다. 본 출원의 실시예들에서의 이미지 디스플레이 방법은 이미지 품질을 개선할 수 있고, 이미지 디스플레이 효과 및 이미지 기반 시각적 알고리즘의 정확도를 개선할 수 있다.
이미지 인식 시나리오:
인공 지능 기술이 더 널리 보급됨에 따라, 많은 경우에, 이미지에서의 콘텐츠가 인식될 필요가 있다. 이미지가 인식될 때, 이미지에서의 노이즈는 이미지 인식 효과에 어느 정도 영향을 미친다. 본 출원의 실시예들에서의 이미지 디스플레이 방법은 이미지 인식 프로세스에서 또는 이미지 인식이 시작되기 전에 이미지에 대한 노이즈 제거 처리를 수행하여, 이미지 품질 및 후속 이미지 인식 효과를 개선하기 위해 사용된다.
본 출원의 실시예들은 다량의 신경망의 적용에 관한 것이다. 따라서, 이해의 편의를 위해, 본 출원의 실시예들에서 신경망과 같은 관련 용어들 및 관련 개념들이 먼저 아래에 설명된다.
(1) 신경망
신경망은 뉴런을 포함할 수 있다. 뉴런은 xs 및 절편 b를 입력으로서 사용하는 연산 유닛일 수 있고, 여기서 연산 유닛의 출력은 다음과 같을 수 있다:
여기서, s = 1, 2, ..., 또는 n이고, n은 1보다 큰 자연수이고, Ws는 xs의 가중치이고, b는 뉴런의 바이어스이고, f는 뉴런에서의 입력 신호를 출력 신호로 전환하기 위해, 신경망 내에 비선형 특징을 도입하기 위해 사용되는 뉴런의 활성화 함수(activation functions)이다. 활성화 함수의 출력 신호는 다음 합성곱 계층의 입력으로서 사용될 수 있다. 활성화 함수는 시그모이드(sigmoid) 함수일 수 있다. 신경망은 많은 단일 뉴런들을 함께 연결함으로써 형성된 네트워크이다. 구체적으로, 뉴런의 출력은 다른 뉴런의 입력일 수 있다. 각각의 뉴런의 입력은 로컬 수용 필드의 특징을 추출하기 위해 이전 계층의 로컬 수용 필드에 연결될 수 있다. 로컬 수용 필드는 여러 뉴런들을 포함하는 영역일 수 있다.
(2) 딥 신경망
딥 신경망(deep neural network, DNN)은 또한 다중-계층 신경망으로 지칭되고, 많은 은닉 계층들을 갖는 신경망으로 이해될 수 있다. 본 명세서에서 "다수"에 대한 특별한 측정 기준은 없다. DNN은 상이한 계층들의 위치들에 기초하여 분할되고, DNN 내의 신경망은 3개의 타입: 입력 계층, 은닉 계층, 및 출력 계층으로 분류될 수 있다. 일반적으로, 제1 계층은 입력 계층이고, 마지막 계층은 출력 계층이고, 중간 계층은 은닉 계층이다. 예를 들어, 완전 연결(fully connected) 신경망에서, 계층들은 완전 연결된다. 즉, 제i 계층에 있는 임의의 뉴런은 제(i+1) 계층에 있는 임의의 뉴런에 연결될 필요가 있다. DNN은 복잡한 것으로 보이지만, 그것은 각각의 계층에 대해 복잡하지 않다. 간단히 말하면, DNN은 다음의 선형 관계식: 
이고, 
는 입력 벡터이고, 
는 출력 벡터이고, 
는 오프셋 벡터이고, 
는 가중치 행렬(계수라고도 지칭함)이고, 
는 활성화 함수이다. 각각의 계층에서, 출력 벡터 
는 입력 벡터 
에 대해 그러한 간단한 연산을 수행함으로써 획득된다. DNN에는 많은 계층들이 있기 때문에, 또한 많은 계수들 
및 바이어스 벡터들 
가 있다. DNN에서의 이러한 파라미터들의 정의들은 다음과 같다: 계수 
가 예로서 사용된다. 3개의 계층을 갖는 DNN에서, 제2 계층에서의 제4 뉴런으로부터 제3 계층에서의 제2 뉴런까지의 선형 계수는 
로서 정의된다고 가정된다. 위첨자 3은 계수 
가 위치하는 계층을 나타내고, 아래첨자는 출력 제3 계층 인덱스 2 및 입력 제2 계층 인덱스 4에 대응한다. 결론적으로, 제(L-1) 계층에서의 제k 뉴런으로부터 제L 계층에서의 제j 뉴런까지의 계수는 
로서 정의된다. 입력 계층에서 파라미터 
가 없다는 점에 유의해야 한다. 딥 신경망에서, 더 많은 은닉 계층들은 네트워크가 실세계에서의 복잡한 경우를 더 설명할 수 있게 한다. 이론적으로, 더 많은 파라미터들을 갖는 모델은 더 높은 복잡성 및 더 큰 "용량"을 지시하고, 모델이 더 복잡한 학습 태스크를 완료하기 위해 사용될 수 있음을 지시한다. 딥 신경망을 훈련하는 것은 가중치 행렬을 학습하는 프로세스이고, 훈련의 최종 목표는 훈련된 딥 신경망의 모든 계층들의 가중치 행렬(많은 계층들에서 벡터들 W에 의해 형성된 가중치 행렬)을 획득하는 것이다.
(3) 합성곱 신경망
합성곱 신경망(convolutional neuron network, CNN)은 합성곱 구조를 갖는 딥 신경망이다. 합성곱 신경망은 합성곱 계층 및 서브샘플링 계층을 포함하는 특징 추출기를 포함한다. 특징 추출기는 필터로서 간주될 수 있다. 합성곱 프로세스는 입력 이미지 또는 합성곱 특징 맵(feature map)에 대해 합성곱을 수행하기 위해 훈련가능한 필터를 사용하는 것으로서 고려될 수 있다. 합성곱 계층은 합성곱 신경망 내에 있고 합성곱 처리가 입력 신호에 대해 수행되는 뉴런 계층이다. 합성곱 신경망의 합성곱 계층에서, 하나의 뉴런은 일부 인접 계층 뉴런들에만 연결될 수 있다. 하나의 합성곱 계층은 일반적으로 여러 특징 평면들을 포함하고, 각각의 특징 평면은 직사각형 형태로 배열된 일부 뉴런들을 포함할 수 있다. 동일한 특징 평면 상의 뉴런들은 가중치를 공유하며, 공유된 가중치는 합성곱 커널이다. 가중치 공유는 이미지 정보 추출 방식이 위치와 무관하다는 것으로서 이해될 수 있다. 여기서 암시되는 원리들은 이미지의 일부의 통계 정보가 다른 부분의 통계 정보와 동일하다는 것이다. 즉, 일부에 대해 학습된 이미지 정보는 다른 일부들에 대해서도 사용될 수 있다. 따라서, 동일한 학습된 이미지 정보가 이미지에서의 모든 위치들에 대해 사용될 수 있다. 동일한 합성곱 계층에서, 복수의 합성곱 커널을 사용하여 상이한 이미지 정보를 추출할 수 있다. 일반적으로, 더 많은 수량의 합성곱 커널은 합성곱 연산에서 반영된 더 풍부한 이미지 정보를 지시한다.
합성곱 커널은 랜덤-크기 행렬의 형태로 초기화될 수 있다. 합성곱 신경망을 훈련하는 프로세스에서, 합성곱 커널은 학습을 통해 적절한 가중치를 획득할 수 있다. 또한, 가중치 공유에 의해 야기되는 직접적인 이점은, 합성곱 신경망의 계층들 간의 연결들이 감소되고 오버피팅 위험이 낮아진다는 것이다.
(4) 순환 신경망(recurrent neural network, RNN)이 시퀀스 데이터를 처리하기 위해 사용된다. 종래의 신경망 모델에서, 입력 계층으로부터 은닉 계층으로 그리고 이어서 출력 계층으로, 계층들이 완전 연결되고, 각각의 계층에서의 노드들은 연결되지 않는다. 이러한 공통 신경망은 많은 어려운 문제들을 해결하지만, 여전히 많은 다른 문제들을 해결할 수 없다. 예를 들어, 문장 내의 단어가 예측되어야 하는 경우, 문장 내의 인접한 단어들이 독립적이지 않기 때문에, 이전의 단어가 일반적으로 사용될 필요가 있다. RNN이 순환 신경망으로 지칭되는 이유는 시퀀스의 현재 출력이 또한 시퀀스의 이전 출력과 관련되기 때문이다. 구체적인 표현 형태는 네트워크가 이전 정보를 기억하고 이전 정보를 현재 출력의 계산에 적용하는 것이다. 구체적으로, 은닉 계층에서의 노드들이 연결되고, 은닉 계층의 입력은 입력 계층의 출력을 포함할 뿐만 아니라, 이전 순간에서의 은닉 계층의 출력을 포함한다. 이론적으로, RNN은 임의의 길이의 시퀀스 데이터를 처리할 수 있다. RNN에 대한 훈련은 종래의 CNN 또는 DNN에 대한 훈련과 동일하다. 에러 역전파(error back propagation) 알고리즘이 또한 사용되지만, 차이가 있다: RNN이 확장되는 경우, RNN의 W와 같은 파라미터가 공유된다. 이것은 전술한 예에서 설명된 종래의 신경망과 상이하다. 또한, 기울기 하강 알고리즘의 사용 동안, 각각의 단계에서의 출력은 현재 단계에서의 네트워크뿐만 아니라, 몇몇 이전 단계들에서의 네트워크 상태에 의존한다. 학습 알고리즘은 시간을 통한 역전파(backpropagation through time, BPTT) 알고리즘으로 지칭된다.
이제 합성곱 신경망이 존재하는데, 왜 순환 신경망이 요구되는가? 그 이유는 간단하다. 합성곱 신경망에서, 요소들은 서로 독립적이고, 고양이 및 개와 같이 입력 및 출력도 독립적이라고 가정된다. 그러나, 실세계에서, 많은 요소들이 상호연결된다. 예를 들어, 주식은 시간에 따라 변한다. 다른 예를 들면, 사람은 다음과 같이 말한다: "나는 여행을 좋아하고, 내가 좋아하는 장소는 Yunnan입니다. 나는 기회가 있다면 갈 것입니다". 여기서, 사람은 "Yunnan"이 채워져 있음을 알아야 한다. 그 이유는 사람이 컨텍스트의 콘텐츠에 기초하여 답변을 추론할 수 있기 때문이다. 그러나, 머신이 이를 어떻게 할 수 있는가? RNN이 출현한다. RNN은 머신이 인간처럼 기억할 수 있게 하도록 의도된다. 따라서, RNN의 출력은 현재 입력 정보 및 이력적 기억(historical memorized) 정보에 의존할 필요가 있다.
(5) 손실 함수
딥 신경망을 훈련하는 프로세스에서, 딥 신경망의 출력이 실제로 예상되는 예측 값에 가능한 한 많이 근접할 것으로 예상되기 때문에, 현재 네트워크의 예측 값과 실제로 예상되는 타깃 값이 비교될 수 있고, 그 후 신경망의 각각의 계층의 가중치 벡터가 예측 값과 타깃 값 사이의 차이에 기초하여 업데이트된다(물론, 일반적으로, 제1 업데이트 전에 초기화 프로세스가 존재하고, 구체적으로, 파라미터들은 딥 신경망의 모든 계층들에 대해 미리 구성된다). 예를 들어, 네트워크의 예측 값이 큰 경우, 예측 값을 감소시키기 위해 가중치 벡터가 조정되고, 딥 신경망이 실제로 예상되는 타깃 값 또는 실제로 예상되는 타깃 값에 매우 가까운 값을 예측할 수 있을 때까지, 조정이 계속 수행된다. 따라서, "예측 값과 타깃 값 사이의 차이를 비교를 통해 구하는 방법"은 미리 정의될 필요가 있다. 이는 손실 함수(loss function) 또는 목표 함수(objective function)이다. 손실 함수 및 목표 함수는 예측 값과 타깃 값 사이의 차이를 측정하기 위해 사용되는 중요한 방정식들이다. 손실 함수가 예로서 사용된다. 손실 함수의 더 높은 출력 값(loss)은 더 큰 차이를 지시한다. 따라서, 딥 신경망의 훈련은 손실을 가능한 한 많이 최소화하는 프로세스이다.
(6) 픽셀 값
이미지의 픽셀 값은 적색 녹색 청색(RGB) 컬러 값일 수 있고, 픽셀 값은 컬러를 나타내는 긴 정수일 수 있다. 예를 들어, 픽셀 값은 256 x red + 100 x green + 76 x blue이고, 여기서 blue는 청색 성분을 나타내고, green은 녹색 성분을 나타내고, red는 적색 성분을 나타낸다. 각각의 컬러 성분에 대해, 더 작은 값은 더 낮은 휘도를 지시하고, 더 큰 값은 더 높은 휘도를 지시한다. 그레이스케일 이미지의 경우, 픽셀 값은 그레이스케일 값일 수 있다.
(7) 이미지 등록
이미지 등록(Image registration)은 공간 위치들에서의 동일한 객체의 2개 이상의 이미지의 정렬이다. 이미지 등록 프로세스는 또한 이미지 매칭 또는 이미지 상관으로 지칭될 수 있다.
예를 들어, 등록 기술의 절차는 다음과 같을 수 있다: 먼저 2개의 이미지의 특징들을 추출하여 특징 포인트들을 획득하는 것; 유사성 측정을 통해 매칭된 특징점 쌍을 찾는 것; 이어서, 매칭된 특징점 쌍에 기초하여 이미지들의 공간 좌표 변환 파라미터들을 획득하는 것; 마지막으로, 좌표 변환 파라미터들에 기초하여 이미지 등록을 수행하는 것. 특징 추출은 등록 기술의 핵심이다. 정확한 특징 추출은 성공적인 특징 매칭을 보장한다.
(8) 감광도
ISO 값으로도 지칭되는 감광도는 광에 대한 필름의 감도의 측정이고, 감도 측정에 기초하여 그리고 여러 값들을 측정함으로써 결정된다.
(9) 이미지 노이즈
이미지 노이즈(image noise)는 이미지들에서의 밝기 또는 컬러 정보의 무작위 변동이다(촬영된 객체에는 무작위 변동이 없다). 이는 일반적으로 전자 노이즈의 양태이다. 그것은 일반적으로 스캐너 또는 디지털 카메라의 센서 및 회로에 의해 생성된다. 이미지 노이즈는 또한 필름 그레인(film grain)에서 그리고 이상적인 광자 검출기의 불가피한 샷 노이즈에서 유래할 수 있다. 이미지 노이즈는 원하는 정보를 모호하게 하는 이미지 캡처의 바람직하지 않은 부산물이다.
(10) 고스팅
획득된 소스의 노출 레벨 시퀀스는 움직이는 객체 또는 카메라, 및 손 흔들기를 포함하는 동적 시나리오들에서의 동적 정보를 포함한다. 상이한 노출 레벨들에서의 이미지들 간의 작은 시프트들은 결국 융합된 이미지에서의 고스팅을 초래한다. 고스팅은 이미지들이 융합될 때 생성되는 아웃-오브-포커스 블러(out-of-focus blur)로서 나타날 수 있다.
도 1에 도시된 바와 같이, 본 출원의 실시예는 시스템 아키텍처(100)를 제공한다. 도 1에서, 데이터 수집 디바이스(160)는 훈련 데이터를 수집하도록 구성된다. 본 출원의 이 실시예에서, 훈련 데이터는 원시 raw 이미지(본 명세서에서의 원시 이미지는 노이즈를 거의 포함하지 않는 이미지일 수 있고, 예를 들어, 노이즈가 타깃 임계값보다 낮은 원시 이미지일 수 있음) 및 노이즈가 원시 이미지에 추가된 후에 획득되는 노이즈 이미지를 포함한다.
훈련 데이터를 수집한 후에, 데이터 수집 디바이스(160)는 데이터베이스(130)에 훈련 데이터를 저장하고, 훈련 디바이스(120)는 데이터베이스(130)에 유지된 훈련 데이터에 기초하여 훈련을 통해 타깃 모델/규칙(101)을 획득한다.
다음은 훈련 디바이스(120)가 훈련 데이터에 기초하여 타깃 모델/규칙(101)을 획득하는 방법을 설명한다. 훈련 디바이스(120)는 입력된 원시 이미지를 처리하고, 훈련 디바이스(120)에 의해 출력된 이미지와 원시 이미지 사이의 차이가 특정 임계값보다 작을 때까지 출력 이미지를 원시 이미지와 비교한다. 타깃 모델/규칙(101)의 훈련이 완료된다.
타깃 모델/규칙(101)은 본 출원의 이 실시예에서의 이미지 디스플레이 방법을 구현하기 위해 사용될 수 있다. 구체적으로, 처리될 이미지가 전처리 후에 타깃 모델/규칙(101)에 입력되어, 노이즈 제거된 이미지를 획득한다. 본 출원의 이 실시예에서의 타깃 모델/규칙(101)은 구체적으로 신경망일 수 있다. 실제 응용에서, 데이터베이스(130)에 유지되는 훈련 데이터는 반드시 데이터 수집 디바이스(160)에 의해 모두 캡처되는 것은 아니며, 다른 디바이스로부터 수신될 수 있다는 점에 유의해야 한다. 또한, 훈련 디바이스(120)는 타깃 모델/규칙(101)을 획득하기 위해 데이터베이스(130)에 유지된 훈련 데이터에 완전히 기초하여 훈련을 반드시 수행할 필요는 없고, 모델 훈련을 수행하기 위해 클라우드 또는 다른 장소로부터 훈련 데이터를 획득할 수 있다는 점에 유의해야 한다. 전술한 설명은 본 출원의 이 실시예에 대한 어떠한 제한도 구성하지 않을 것이다.
훈련 디바이스(120)에 의한 훈련을 통해 획득된 타깃 모델/규칙(101)은 상이한 시스템들 또는 디바이스들, 예를 들어, 도 1에 도시된 실행 디바이스(110)에 적용될 수 있다. 실행 디바이스(110)는 단말기, 예를 들어, 모바일 폰 단말기, 태블릿 컴퓨터, 랩톱 컴퓨터, 증강 현실(augmented reality, AR)/가상 현실(virtual reality, VR), 또는 차량-장착형 단말기일 수 있거나, 서버, 클라우드 등일 수 있다. 도 1에서, 실행 디바이스(110)는 입력/출력(input/output, I/O) 인터페이스(112)를 구비하고, 외부 디바이스와 데이터를 교환하도록 구성된다. 사용자는 클라이언트 디바이스(140)를 사용하여 I/O 인터페이스(112)에 데이터를 입력할 수 있다. 본 출원의 이 실시예에서의 입력 데이터는 클라이언트 디바이스를 사용하여 입력된 처리될 이미지를 포함할 수 있다.
전처리 모듈(113) 및 전처리 모듈(114)은 I/O 인터페이스(112)에 의해 수신된 입력 데이터(예를 들어, 처리될 이미지)에 기초하여 전처리를 수행하도록 구성된다. 본 출원의 이 실시예에서, 전처리 모듈(113) 및 전처리 모듈(114)은 존재하지 않을 수 있다(또는 하나만 존재한다). 계산 모듈(111)은 입력 데이터를 처리하기 위해 직접 사용된다.
실행 디바이스(110)가 입력 데이터를 전처리하는 프로세스에서, 또는 실행 디바이스(110)의 컴퓨팅 모듈(111)이 컴퓨팅을 수행하는 프로세스에서, 실행 디바이스(110)는 대응하는 처리를 위해 데이터 저장 시스템(150)에서 데이터, 코드 등을 호출할 수 있고, 대응하는 처리를 통해 획득되는 데이터, 명령어들 등을 데이터 저장 시스템(150)에 추가로 저장할 수 있다.
마지막으로, I/O 인터페이스(112)는 처리 결과, 예를 들어, 노이즈 제거된 출력 이미지를 클라이언트 디바이스(140)에 반환하여, 노이즈 제거된 출력 이미지를 사용자에게 제공한다.
훈련 디바이스(120)는 상이한 목적들 또는 상이한 태스크들에 대한 상이한 훈련 데이터에 기초하여 대응하는 타깃 모델/규칙(101)을 생성할 수 있다는 점에 유의해야 한다. 대응하는 타깃 모델/규칙(101)은 사용자에게 요구되는 결과를 제공하기 위해, 목표들을 구현하거나 태스크들을 완료하기 위해 사용될 수 있다. 예를 들어, 노이즈 제거된 출력 이미지는 본 출원에서 사용자에게 제공될 수 있다.
도 1에 도시된 바와 같이, 타깃 모델/규칙(101)은 훈련 디바이스(120)에 의한 훈련을 통해 획득된다. 본 출원의 이 실시예에서의 타깃 모델/규칙(101)은 본 출원에서의 신경망일 수 있다. 구체적으로, 본 출원의 이 실시예에서 제공되는 신경망은 CNN, 딥 합성곱 신경망(deep convolutional neural network, DCNN), 순환 신경망(recurrent neural network, RNNS) 등일 수 있다.
CNN은 공통 신경망이기 때문에, 이하에서는 주로 도 2를 참조하여 CNN의 구조를 상세히 설명한다. 전술한 기본 개념들에서 설명된 바와 같이, 합성곱 신경망은 합성곱 구조를 갖는 딥 신경망이고, 딥 러닝(deep learning) 아키텍처이다. 딥 러닝 아키텍처에서, 머신 러닝 알고리즘을 사용하여 상이한 추상 레벨들에서 다중-계층 러닝이 수행된다. 딥 러닝 아키텍처로서, CNN은 피드-포워드(feed-forward) 인공 신경망이다. 피드-포워드 인공 신경망 내의 뉴런들은 입력 이미지에 응답할 수 있다.
도 2에 도시된 바와 같이, 합성곱 신경망(CNN)(200)은 입력 계층(210), 합성곱 계층/풀링 계층(220)(풀링 계층은 선택적임), 및 신경망 계층(230)을 포함할 수 있다. 다음은 계층들을 상세히 설명한다.
합성곱 계층/풀링 계층(220):
합성곱 계층:
도 2에 도시된 바와 같이, 합성곱 계층/풀링 계층(220)은 계층들(221 내지 226)을 포함할 수 있다. 예를 들어, 일 구현에서, 계층(221)은 합성곱 계층이고, 계층(222)은 풀링 계층이고, 계층(223)은 합성곱 계층이고, 계층(224)은 풀링 계층이고, 계층(225)은 합성곱 계층이고, 계층(226)은 풀링 계층이다. 다른 구현에서, 계층들(221 및 222)은 합성곱 계층들이고, 계층(223)은 풀링 계층이고, 계층들(224 및 225)은 합성곱 계층들이고, 계층(226)은 풀링 계층이다. 구체적으로, 합성곱 계층의 출력은 후속 풀링 계층의 입력으로서 사용될 수 있거나, 합성곱 연산을 계속 수행하기 위해 다른 합성곱 계층의 입력으로서 사용될 수 있다.
다음은 하나의 합성곱 계층의 내부 작동 원리를 설명하기 위해 합성곱 계층(221)을 예로서 사용한다.
합성곱 계층(221)은 복수의 합성곱 연산자를 포함할 수 있다. 합성곱 연산자는 또한 커널이라고도 지칭된다. 이미지 처리에서, 합성곱 연산자는 입력 이미지의 행렬로부터 특정 정보를 추출하는 필터로서 기능한다. 합성곱 연산자는 본질적으로 가중치 행렬일 수 있고, 가중치 행렬은 일반적으로 미리 정의된다. 이미지에 대해 합성곱 연산을 수행하는 프로세스에서, 가중치 행렬은 일반적으로 입력 이미지에서 수평 방향으로 1 픽셀(또는 스트라이드 stride의 값에 따라 2 픽셀)의 입도 레벨로 픽셀들을 처리하여, 이미지로부터 특정 특징을 추출한다. 가중치 행렬의 크기는 이미지의 크기와 관련된다.
가중치 행렬의 깊이 차원(depth dimension)은 입력 이미지의 깊이 차원과 동일하다는 점에 유의해야 한다. 합성곱 연산 프로세스에서, 가중치 행렬은 입력 이미지의 전체 깊이까지 확장된다. 따라서, 단일 깊이 차원의 합성곱 출력은 단일 가중치 행렬과의 합성곱을 통해 생성된다. 그러나, 대부분의 경우에, 단일 가중치 행렬이 사용되지 않지만, 동일한 크기(행 x 열)를 갖는 복수의 가중치 행렬, 즉 복수의 동일 타입 행렬이 적용된다. 가중치 행렬들의 출력들은 합성곱 이미지의 깊이 차원을 형성하도록 적층된다. 본 명세서에서 차원은 전술한 "복수"에 기초하여 결정되는 것으로 이해될 수 있다.
이미지로부터 상이한 특징들을 추출하기 위해 상이한 가중치 행렬들이 사용될 수 있다. 예를 들어, 하나의 가중치 행렬은 이미지의 에지 정보를 추출하기 위해 사용되고, 다른 가중치 행렬은 이미지의 특정 컬러를 추출하기 위해 사용되고, 또 다른 가중치 행렬은 이미지에서 불필요한 노이즈를 블러링하기 위해 사용된다. 복수의 가중치 행렬(행 x 열)은 동일한 크기를 가진다. 동일한 크기를 갖는 복수의 가중치 행렬로부터 추출된 특징 맵들은 또한 동일한 크기를 갖고, 그 후 동일한 크기를 갖는 복수의 추출된 특징 맵은 조합되어 합성곱 연산의 출력을 형성한다.
이들 가중치 행렬에서의 가중치 값들은 실제 응용에서 많은 훈련을 통해 획득될 필요가 있다. 훈련을 통해 획득된 가중치 값들을 사용하여 형성된 각각의 가중치 행렬은 입력 이미지로부터 정보를 추출하여, 합성곱 신경망(200)이 정확한 예측을 수행할 수 있게 하기 위해 사용될 수 있다.
합성곱 신경망(200)이 복수의 합성곱 계층을 가질 때, 비교적 많은 수량의 일반적인 특징들이 일반적으로 초기 합성곱 계층(예를 들어, 221)에서 추출된다. 일반적인 특징은 로우-레벨 특징이라고도 지칭될 수 있다. 합성곱 신경망(200)의 깊이가 증가함에 따라, 후속 합성곱 계층(예를 들어, 226)에서 추출된 특징, 예를 들어, 하이-레벨 시맨틱 특징은 더 복잡해진다. 더 높은 시맨틱을 갖는 특징은 해결되어야 할 문제에 더 적용가능하다.
풀링 계층:
훈련 파라미터들의 수량은 종종 감소될 필요가 있다. 따라서, 풀링 계층은 종종 합성곱 계층 이후에 주기적으로 도입될 필요가 있다. 도 2의 220에 도시된 계층들(221 내지 226)에 대해, 하나의 합성곱 계층에 이어서 하나의 풀링 계층이 후속될 수 있거나, 복수의 합성곱 계층에 이어서 하나 이상의 풀링 계층이 후속될 수 있다. 이미지 처리 동안, 풀링 계층은 이미지의 공간 크기를 감소시키기 위해서만 사용된다. 풀링 계층은 입력 이미지에 대해 샘플링을 수행하여 비교적 작은 크기를 갖는 이미지를 획득하기 위해 평균 풀링 연산자 및/또는 최대 풀링 연산자를 포함할 수 있다. 평균 풀링 연산자는 특정 범위 내의 이미지에서의 픽셀 값들을 계산하여 평균 값들을 생성하기 위해 사용될 수 있다. 평균 값은 평균 풀링 결과로서 사용된다. 최대 풀링 연산자는 최대 풀링 결과로서 특정 범위 내의 최대 값을 갖는 픽셀을 선택하기 위해 사용될 수 있다. 또한, 합성곱 계층에서의 가중치 행렬의 크기가 이미지의 크기와 관련될 필요가 있는 것과 유사하게, 풀링 계층에서의 연산자는 또한 이미지의 크기와 관련될 필요가 있다. 풀링 계층으로부터 출력되는 처리된 이미지의 크기는 풀링 계층에 입력되는 이미지의 크기보다 작을 수 있다. 풀링 계층으로부터 출력되는 이미지에서의 각각의 픽셀은 풀링 계층에 입력되는 이미지의 대응하는 서브-영역의 평균 값 또는 최대 값을 나타낸다.
신경망 계층(230):
합성곱 계층/풀링 계층(220)에서 수행된 처리 후에, 합성곱 신경망(200)은 요구되는 출력 정보를 출력할 준비가 되어 있지 않다. 전술한 바와 같이, 합성곱 계층/풀링 계층(220)에서, 특징만이 추출되고, 입력 이미지로부터 생기는 파라미터들이 감소된다. 그러나, 최종 출력 정보(요구되는 클래스 정보 또는 다른 관련 정보)를 생성하기 위해, 합성곱 신경망(200)은 하나의 요구되는 클래스의 출력 또는 요구되는 클래스들의 그룹의 출력들을 생성하기 위해 신경망 계층(230)을 사용할 필요가 있다. 따라서, 신경망 계층(230)은 복수의 은닉 계층(도 2에 도시된 231, 232, ..., 및 23n) 및 출력 계층(240)을 포함할 수 있다. 복수의 은닉 계층에 포함된 파라미터들은 특정 태스크 타입의 관련 훈련 데이터에 기초한 사전 훈련을 통해 획득될 수 있다. 예를 들어, 태스크 타입은 이미지 인식, 이미지 카테고리화, 및 초해상도 이미지 재구성을 포함할 수 있다.
신경망 계층(230)에서, 복수의 은닉 계층 다음에 출력 계층(240), 즉 전체 합성곱 신경망(200)의 마지막 계층이 이어진다. 출력 계층(240)은 분류적 크로스 엔트로피와 유사한 손실 함수를 갖고, 손실 함수는 구체적으로 예측 에러를 계산하기 위해 사용된다. 일단 전체 합성곱 신경망(200)의 순방향 전파(도 2에 도시된 바와 같이, 210으로부터 240으로의 방향으로의 전파)가 완료되면, 역방향 전파(도 2에 도시된 바와 같이, 240으로부터 210으로의 방향으로의 전파)가 시작되어 전술된 각각의 계층의 가중치 값 및 편차를 업데이트하여, 이상적인 결과와 출력 계층을 사용하여 합성곱 신경망(200)에 의해 출력된 결과 사이의 에러 및 합성곱 신경망(200)의 손실을 감소시킨다.
도 2에 도시된 합성곱 신경망(200)은 단지 예시적인 합성곱 신경망이라는 점에 유의해야 한다. 특정 응용에서, 합성곱 신경망은 대안적으로 다른 네트워크 모델의 형태로 존재할 수 있다.
도 3은 본 출원의 실시예에 따른 칩의 하드웨어 구조를 도시한다. 칩은 신경 처리 유닛(neural-network processing unit)(30)을 포함한다. 칩은 도 1에 도시된 실행 디바이스(110)에 배치되어, 계산 모듈(111)의 계산을 완료할 수 있다. 칩은 대안적으로 도 1에 도시된 훈련 디바이스(120)에 배치되어, 훈련 디바이스(120)의 훈련을 완료하고 타깃 모델/규칙(101)을 출력할 수 있다. 도 2에 도시된 합성곱 신경망 내의 계층들의 모든 알고리즘은 도 3에 도시된 칩에서 구현될 수 있다.
신경망 처리 유닛(NPU)(50)은 코프로세서로서 호스트 중앙 처리 유닛(central processing unit, CPU)에 장착되고, 호스트 CPU는 태스크를 할당한다. NPU의 코어 부분은 연산 회로(303)이고, 제어기(304)는 입력 메모리(301) 또는 가중치 메모리(302)에서 데이터를 추출하고, 연산을 수행하도록 연산 회로(303)를 제어한다.
일부 구현들에서, 연산 회로(303)는 복수의 처리 엔진(process engine, PE)을 내부에 포함한다. 일부 구현들에서, 연산 회로(303)는 2차원 시스톨릭(systolic) 어레이일 수 있다. 연산 회로(303)는 대안적으로 1차원 시스톨릭 어레이 또는 승산 및 가산과 같은 수학적 연산들을 수행할 수 있는 다른 전자 회로일 수 있다.
일부 구현들에서, 연산 회로(303)는 범용 매트릭스 프로세서이다.
예를 들어, 입력 행렬 A, 가중치 행렬 B, 및 출력 행렬 C가 있다고 가정한다. 연산 회로(303)는 행렬 B에 대응하는 데이터를 가중치 메모리(302)로부터 페치하고, 연산 회로의 각각의 PE에 데이터를 버퍼링한다. 연산 회로(303)는 입력 메모리(301)로부터 행렬 A의 데이터를 페치하여, 행렬 A 및 행렬 B의 데이터에 대해 행렬 연산을 수행하고, 행렬의 획득된 부분 결과 또는 획득된 최종 결과를 누산기(accumulator)(308)에 저장한다.
벡터 계산 유닛(307)은 연산 회로(303)의 출력에 대해 벡터 승산, 벡터 가산, 지수 연산, 로그 연산, 또는 값 비교와 같은 추가 처리를 수행할 수 있다. 예를 들어, 벡터 계산 유닛(307)은, 신경망의 비-합성곱/비-FC 계층에서, 풀링(pooling), 배치 정규화(batch normalization), 또는 로컬 응답 정규화(local response normalization) 등의 네트워크 계산을 수행하도록 구성될 수 있다.
일부 구현들에서, 벡터 계산 유닛(307)은 처리된 출력 벡터를 통합 캐시(306)에 저장할 수 있다. 예를 들어, 벡터 계산 유닛(307)은 연산 회로(303)의 출력에 비선형 함수를 적용할 수 있다. 예를 들어, 비선형 함수가 누산 값의 벡터에 적용되어 활성화 값을 생성한다.
일부 구현들에서, 벡터 계산 유닛(307)은 정규화된 값, 조합된 값, 또는 둘 다를 생성한다.
일부 구현들에서, 처리된 출력 벡터는 연산 회로(303)에 대한 활성화 입력으로서 사용될 수 있고, 예를 들어, 처리된 출력 벡터는 신경망의 후속 계층에서 사용될 수 있다.
통합 메모리(306)는 입력 데이터 및 출력 데이터를 저장하도록 구성된다.
가중치 데이터의 경우, 직접 메모리 액세스 제어기(direct memory access controller, DMAC)(305)는 외부 메모리 내의 입력 데이터를 입력 메모리(301) 및/또는 통합 메모리(306)에 전송하고, 외부 메모리 내의 가중치 데이터를 가중치 메모리(302)에 저장하고, 통합 메모리(306) 내의 데이터를 외부 메모리에 저장한다.
버스 인터페이스 유닛(bus interface unit, BIU)(310)은 버스를 사용하여 호스트 CPU, DMAC, 및 명령어 페치 버퍼(309) 사이의 상호작용을 구현하도록 구성된다.
제어기(304)에 연결된 명령어 인출 버퍼(instruction fetch buffer)(309)는 제어기(504)에 의해 사용되는 명령어들을 저장하도록 구성된다. 제어기(304)는 버퍼(309)에 버퍼링된 명령어들을 호출하여, 연산 가속기의 작동 프로세스를 제어하도록 구성된다.
일반적으로, 통합 메모리(306), 입력 메모리(301), 가중치 메모리(302), 및 명령어 인출 버퍼(309)는 각각 온-칩(On-Chip) 메모리이다. 외부 메모리는 NPU 외부의 메모리이다. 외부 메모리는 더블 데이터 레이트 동기식 동적 랜덤 액세스 메모리(double data rate synchronous dynamic random access memory, DDR SDRAM), 고 대역폭 메모리(high bandwidth memory, HBM), 또는 다른 판독가능 및 기입가능 메모리일 수 있다.
도 2에 도시된 합성곱 신경망의 다양한 계층들에서의 연산들은 연산 회로(303) 또는 벡터 계산 유닛(307)에 의해 수행될 수 있다.
전술한 도 1의 실행 디바이스(110)는 본 출원의 이 실시예에서의 이미지 디스플레이 방법의 단계들을 수행할 수 있다. 도 2에 도시된 CNN 모델 및 도 3에 도시된 칩은 또한 본 출원의 이 실시예에서의 이미지 디스플레이 방법의 단계들을 수행하도록 구성될 수 있다.
본 출원의 실시예들에서, "제1", "제2", "제3" 등은 단지 상이한 대상들을 나타내도록 의도되고, 지시된 대상들에 대한 다른 제한들을 나타내지 않는다는 점이 추가로 이해되어야 한다.
이하에서는 본 출원의 이 실시예에서의 이미지 디스플레이 방법을 도 4를 참조하여 상세히 설명한다. 이미지 디스플레이 디바이스는 이미지를 디스플레이하는 기능을 갖는 전자 디바이스일 수 있고, 전자 디바이스는 디스플레이 스크린 및 카메라를 포함할 수 있다. 전자 디바이스는 모바일 단말기(예를 들어, 스마트폰), 컴퓨터, 개인 휴대 정보 단말기, 웨어러블 디바이스, 차량-장착형 디바이스, 사물 인터넷 디바이스, 또는 이미지를 디스플레이할 수 있는 다른 디바이스일 수 있다.
도 4에 도시된 방법은 단계들 410 내지 440을 포함한다. 다음은 이러한 단계들을 상세히 설명한다.
410: 사용자에 의해 카메라를 턴온하는 제1 동작을 검출한다.
420: 제1 동작에 응답하여, 디스플레이 스크린 상에 촬영 인터페이스를 디스플레이하며, 촬영 인터페이스는 뷰파인더 프레임을 포함하고, 뷰파인더 프레임은 제1 이미지를 포함한다.
일 예에서, 사용자의 촬영 거동은 사용자에 의해 카메라를 턴온하는 제1 동작을 포함할 수 있다. 제1 동작에 응답하여, 촬영 인터페이스가 디스플레이 스크린 상에 디스플레이된다.
도 5a는 모바일 폰의 그래픽 사용자 인터페이스(graphical user interface, GUI)를 도시한다. GUI는 모바일 폰의 홈 스크린(510)이다. 사용자가 홈 스크린(510) 상의 카메라 애플리케이션(application, APP)의 아이콘(520)을 탭핑하는 동작을 검출할 때, 모바일 폰은 카메라 애플리케이션을 시작하고, 도 5b에 도시된 다른 GUI를 디스플레이할 수 있다. GUI는 캡처 스크린(530)으로 지칭될 수 있다. 캡처 스크린(530)은 뷰파인더 프레임(540)을 포함할 수 있다. 미리보기 상태에서, 뷰파인더 프레임(540)은 미리보기 이미지를 실시간으로 디스플레이할 수 있다.
예를 들어, 도 5b에서, 전자 디바이스가 카메라를 턴온한 후에, 제1 이미지가 뷰파인더 프레임(540)에 디스플레이될 수 있다. 제1 이미지는 컬러 이미지이다. 촬영 인터페이스는 촬영 모드 및 다른 촬영 제어를 지시하도록 구성되는 제어(550)를 추가로 포함할 수 있다. 본 출원의 이 실시예에서, 컬러 이미지 부분은 컬러 이미지 부분을 그레이스케일 이미지 부분과 구별하기 위해 파선들로 채워진다는 점에 유의해야 한다.
일 예에서, 사용자의 촬영 거동은 사용자에 의해 카메라를 턴온하는 제1 동작을 포함할 수 있다. 제1 동작에 응답하여, 촬영 인터페이스가 디스플레이 스크린 상에 디스플레이된다. 예를 들어, 사용자가 홈 스크린 상의 카메라 애플리케이션(application, APP)의 아이콘을 탭핑하는 제1 동작을 검출한 후에, 전자 디바이스는 촬영 인터페이스를 디스플레이하기 위해 카메라 애플리케이션을 시작할 수 있다. 촬영 인터페이스는 뷰파인더 프레임을 포함할 수 있다. 뷰파인더 프레임은 촬영 모드 및 기록 모드에서 상이한 크기들을 가질 수 있다는 것을 이해할 수 있다. 예를 들어, 뷰파인더 프레임은 촬영 모드에서의 뷰파인더 프레임일 수 있다. 기록 모드에서의 뷰파인더 프레임은 전체 터치스크린일 수 있다. 미리보기 이미지는 사용자가 카메라를 턴온한 후에 그리고 사용자가 촬영/기록 버튼을 누르기 전에 미리보기 상태에서 뷰파인더 프레임에서 실시간으로 디스플레이될 수 있다.
일 예에서, 미리보기 이미지는 컬러 이미지일 수 있다. 현재 전자 디바이스가 위치하는 환경의 조도는 미리보기 이미지에 기초하여 결정될 수 있다. 예를 들어, 현재의 미리보기 이미지의 휘도가 비교적 낮은 경우, 그것은 현재의 전자 디바이스가 낮은 조명 환경에 있다는 것을 지시한다. 낮은 조명 환경은 0.3 룩스 이하의 조명을 갖는 시나리오일 수 있다.
430: 사용자에 의해 카메라를 지시하는 제2 동작을 검출한다.
예를 들어, 사용자에 의해 제1 처리 모드를 지시하는 제2 동작이 검출될 수 있다. 제1 처리 모드는 전문가 촬영 모드일 수 있거나, 제1 처리 모드는 야간 촬영 모드일 수 있다. 도 6a를 참조한다. 촬영 인터페이스는 촬영 옵션(560)을 포함한다. 전자 디바이스가 사용자가 촬영 옵션(560)을 탭핑하는 것을 검출한 후에, 전자 디바이스는 도 6b에 도시된 촬영 모드 인터페이스를 디스플레이한다. 전자 디바이스가 사용자가 촬영 모드 인터페이스에서 전문가 촬영 모드(561)를 탭핑하는 것을 검출한 후, 모바일 폰은 전문가 촬영 모드에 진입한다.
예를 들어, 사용자가 촬영하도록 지시하는 제2 동작이 검출될 수 있다. 제2 동작은 낮은 조명에서 촬영하도록 지시하기 위해 사용되는 동작이다. 도 7을 참조한다. 낮은 조명 환경에서, 전자 디바이스는 사용자에 의해 촬영하도록 지시하는 제2 동작(570)을 검출한다.
사용자에 의한 촬영 거동을 지시하는 제2 동작은 전자 디바이스의 카메라의 촬영 버튼을 누르는 것을 포함할 수 있거나, 음성을 통해 사용자 장비에 의해, 촬영 거동을 수행하도록 전자 디바이스에 지시하는 것을 포함할 수 있거나, 또는 사용자에 의해, 촬영 거동을 수행하도록 다른 전자 디바이스에 지시하는 것을 추가로 포함할 수 있다는 점이 이해되어야 한다. 전술한 설명들은 예들이며, 본 출원에 대한 어떠한 제한도 구성하지 않는다.
440: 제2 동작에 응답하여, 뷰파인더 프레임에 제2 이미지를 디스플레이하고, 제2 이미지는 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지이고; 신경망 모델은 처리 프로세스에 적용되고, 신경망 모델은 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용하고; N은 2 이상의 정수이다.
예를 들어, 신경망 모델은 노이즈가 타깃 임계값보다 낮은 원시 이미지를 출력 목표로서 사용할 수 있다.
본 출원에서, 사용자에 의해 카메라를 턴온하는 제1 동작이 검출되고, 사용자에 의해 카메라를 지시하는 제2 동작이 검출되고, 제2 동작에 응답하여 디스플레이 스크린의 뷰파인더 프레임에 제2 이미지가 디스플레이되며, 제2 이미지는 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지이다. 원시 이미지는 ISP에 의해 또는 가속기의 알고리즘에 따라 처리되지 않는 이미지이기 때문에, 원시 이미지에서의 노이즈의 형태는 손상되지 않는다. 본 출원에서, 노이즈 제거 처리는 낮은 조명 환경에서 이미지 노이즈 제거 효과를 개선하기 위해 N개의 프레임의 원시 이미지들을 획득함으로써 수행된다.
선택적으로, 가능한 구현에서, 제2 이미지는 신경망 모델에 의해 출력된 YVU 이미지이다.
선택적으로, 가능한 구현에서, 제2 이미지는 YUV 이미지이고, YUV 이미지는 신경망 모델에 의해 출력된 원시 이미지를 후처리함으로써 획득된 YUV 이미지이다. 후처리는 원시 이미지를 YUV 이미지로 전환할 수 있는데, 예를 들어, DRC 처리, AWB 처리, 및 ISP 처리를 포함할 수 있다.
선택적으로, 가능한 구현에서, 제2 이미지는 신경망 모델에 의해 출력된 원시 이미지이다.
도 8을 참조한다. 제2 이미지는 도 8의 뷰파인더 프레임에 디스플레이된다. 제2 이미지 및 제1 이미지는 동일하거나 실질적으로 동일한 콘텐츠를 갖는다. 그러나, 제2 이미지의 이미지 품질은 제1 이미지의 이미지 품질보다 양호하다.
예를 들어, 가능한 구현에서, 제2 이미지는 신경망 모델의 출력 이미지이고, 제2 이미지는 YUV 이미지이다.
예를 들어, 다른 가능한 구현에서, 제2 이미지는 신경망 모델의 출력 이미지(예를 들어, 원시 이미지)를 후처리함으로써 획득된 YUV 이미지이다.
예를 들어, 후처리는 다음을 포함할 수 있다: 출력 이미지에 대해 동적 범위 압축 DRC 처리를 수행하여 고도의 동적 특징 이미지를 획득하는 것; 고도의 동적 특징 이미지에 대해 화이트 밸런스 AWB 처리를 수행하여 컬러 보정된 이미지를 획득하는 것; 및 컬러 보정된 이미지에 대해 이미지 신호 처리를 수행하여 제2 이미지를 획득하는 것.
구체적으로, 신경망 모델에 의해 출력된 출력 이미지가 원시 이미지일 때, 원시 이미지는 전자 디바이스 내부에서 추가로 후처리된다. 예를 들어, 출력된 원시 이미지를 후처리하는 것은 제2 이미지를 획득하기 위해 DRC 처리, AWB 처리, 및 이미지 신호 처리를 포함할 수 있고, 여기서 제2 이미지는 YUV 이미지이다. 즉, 출력된 원시 이미지는 YUV 이미지를 획득하기 위해 후처리된다.
제1 이미지는 매우 낮은 조명 시나리오에서의 미리보기 이미지라는 것을 이해해야 한다. 예를 들어, 제1 이미지는 야간 시나리오의 미리보기 이미지일 수 있고, 더 구체적으로는, 조명이 0.3 룩스 미만인 시나리오에서의 미리보기 이미지일 수 있다. 제2 이미지의 이미지 품질은 제1 이미지의 이미지 품질보다 양호하다. 예를 들어, 제2 이미지에서의 컬러, 휘도, 디테일, 및 노이즈는 제1 이미지에서의 것들보다 더 양호하다.
본 출원에서, 전자 디바이스는 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리한다. 원시 raw 이미지는 YUV 이미지와 상이하다. 원시 이미지는 캡처된 광원 신호를 센서에 의해 디지털 신호로 전환함으로써 획득된 원시 데이터이다. YUV 이미지는 원시 이미지를 후처리함으로써 획득된 이미지이다. 후처리는 가속기 및 ISP에 의한 처리를 포함한다. 환언하면, 원시 raw 이미지에서의 노이즈는 사용자에 의해 사용되는 전자 디바이스의 실제 노이즈를 갖는 시나리오와 가장 유사하다.
본 출원에서, 단계 440에서의 제2 이미지는 전자 디바이스 내의 신경망 모델에 의해 처리된 출력 이미지이고, 제2 이미지는 YUV 이미지이다. 도 9를 참조하여, 다음은 단계들(121 내지 123)에서 신경망 모델에 의해 출력 이미지를 획득하는 프로세스를 상세히 설명한다.
단계 121: N개의 프레임의 원시 raw 이미지들을 획득하며, N개의 프레임의 원시 raw 이미지들은 참조 프레임 이미지 및 m개의 프레임의 처리될 이미지들을 포함하고, N은 2 이상의 정수이고, m은 N 미만의 양의 정수이다.
원시 raw 이미지들의 획득된 N개의 프레임은 단계 440에서 전자 디바이스의 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들일 수 있다는 것을 이해해야 한다.
예를 들어, 카메라는 센서 및 렌즈를 포함하는 모듈이다. N개의 프레임의 원시 raw 이미지들을 획득하는 것은 센서에 의해 생성된 원시 이미지들을 획득하는 것일 수 있다. 원시 이미지들은 가속기에 의해 알고리즘에 따라 가속되지 않는 원시 이미지들, 예를 들어, 신경망 처리 유닛(neural-network processing unit, NPU), 그래픽 처리 유닛(graphics processing unit, GPU), 디지털 신호 프로세서(digital signal processor, DSP), 또는 다른 프로세서, 및 이미지 신호 프로세서(image signal processor, ISP)에 의해 처리되지 않는 원시 이미지들일 수 있다. 따라서, 원시 이미지에서의 노이즈의 원래의 형태는 알고리즘의 처리에 의해 손상되지 않는다. 즉, 원시 이미지에서의 노이즈는 실제 노이즈가 사용자에 의해 사용되는 전자 디바이스에 도입되는 시나리오에 가장 가깝다.
본 출원의 이러한 실시예에서, 전자 디바이스가 미리 설정된 조건을 충족시키는 것은 촬영 동안의 전자 디바이스가 낮은 조명 환경에 있는 것일 수 있다. 즉, 디스플레이 스크린 상에 디스플레이되는 촬영 인터페이스의 휘도 값은 타깃 휘도 값보다 낮을 수 있고, 예를 들어, 80일 수 있다. 대안적으로, 전자 디바이스가 미리 설정된 조건을 충족시키는 것은 전자 디바이스의 ISO 값이 타깃 범위 내에 있을 수 있는 것일 수 있다. 예를 들어, 타깃 범위는 ISO 값이 12800보다 큰 것일 수 있고, 전자 디바이스의 ISO 값은 사용자에 의해 설정될 수 있다. 전자 디바이스가 전술한 조건들 중 적어도 하나 또는 조건들 전부를 충족시킬 때, 전자 디바이스는 센서로부터 N개의 프레임의 원시 이미지들을 획득할 수 있다.
일 예에서, 전자 디바이스는 사용자에 의해 카메라를 턴온하는 제1 동작을 검출하고, 촬영 인터페이스를 디스플레이하기 위해 카메라 애플리케이션을 시작한다. 촬영 인터페이스는 뷰파인더 프레임을 포함할 수 있다. 뷰파인더 프레임에 디스플레이되는 제1 이미지는 미리보기 이미지일 수 있다. 예를 들어, 제1 이미지의 휘도 값이 타깃 휘도 값보다 낮고, 사용자에 의해 촬영하도록 지시하는 제2 동작이 검출될 때, 전자 디바이스는 센서로부터 N개의 프레임의 원시 이미지들을 획득할 수 있다.
일 예에서, 전자 디바이스는 사용자에 의해 카메라를 턴온하는 제1 동작을 검출하고, 카메라 애플리케이션을 시작한다. 또한, 사용자에 의해 카메라를 지시하는 제2 동작이 검출된다. 예를 들어, 사용자에 의해 제1 처리 모드를 지시하는 제2 동작이 검출된다. 제1 처리 모드는 전문가 촬영 모드, 야간 촬영 모드, 또는 다른 모드일 수 있다. 예를 들어, 사용자가 전문가 촬영 모드 또는 야간 촬영 모드를 선택하는 것을 검출하는 제2 동작이 검출될 수 있다. 사용자에 의해 전문가 촬영 모드 또는 야간 촬영 모드를 선택하는 제2 동작에 응답하여, 전자 디바이스는 센서의 감광도 ISO 값을 타깃 범위 내에 있도록 구성하고, 예를 들어, 전자 디바이스의 센서의 ISO 값을 12800보다 크도록 설정한다.
원시 raw 이미지들의 획득된 N개의 프레임은 참조 프레임 이미지 및 m개의 프레임의 처리될 이미지들을 포함할 수 있다. 참조 프레임 이미지는 이미지들의 획득된 N개의 프레임에서 더 양호한 이미지 품질을 갖는 이미지일 수 있고, 예를 들어, 참조 프레임으로서 사용되는 이미지는 콘트라스트에 기초하여 원시 이미지들의 획득된 N개의 프레임으로부터 선택될 수 있다.
단계 122: 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득한다.
등록 처리는 m개의 프레임의 처리될 이미지들 각각과 참조 프레임 이미지에서의 대응하는 이미지 특징점 사이의 좌표 정렬을 수행하는 것으로 간주될 수 있다.
예를 들어, 광학 흐름 방법을 사용하여 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들 각각에 대해 등록 처리가 수행될 수 있다.
일 구현에서, 도 10에 도시된 이미지 등록 방법이 사용될 수 있다.
도 10에 도시된 바와 같이, 처리될 이미지의 하나의 프레임과 참조 프레임 이미지 사이의 등록 처리는 이미지 전처리, KLT, 및 이미지 워핑(image warping)의 처리 프로세스를 포함할 수 있다. 구체적으로, 도 10에 도시된 방법은 단계들 501 내지 509를 포함한다. 다음은 단계들 501 내지 509를 상세히 개별적으로 설명한다.
이미지 전처리 프로세스는 단계 501 내지 503을 포함한다. 입력 베이어-도메인 원시 이미지는 그레이스케일 이미지를 획득하기 위해 전처리될 수 있다. 구체적으로, 세부 사항은 다음과 같다:
단계 501: 처리될 이미지의 하나의 프레임에서의 G 채널들 및 참조 프레임 이미지에서의 G 채널들을 각각 조합한다.
단계 502: 히스토그램 균등화 처리를 수행한다. 구체적으로, G 채널들이 조합된 처리될 이미지 및 참조 프레임 이미지는 일관된 이미지 휘도를 갖는다.
단계 503: 히스토그램 균등화 처리에 의해 획득된 이미지에 대해 가우시안 필터링을 수행하여, 처리될 이미지에 대응하는 그레이스케일 이미지 및 참조 프레임에 대응하는 그레이스케일 이미지를 개별적으로 획득한다.
가우시안 필터링 처리는 선형 평활 필터링의 한 타입이고, 가우시안 노이즈를 제거하기 위해 사용되며, 이미지 처리의 노이즈 제거 프로세스에 적용가능하다. 일반적으로 말하면, 가우시안 필터링은 전체 이미지에 대해 가중 평균을 수행하는 프로세스이다. 각각의 픽셀의 값은 픽셀 값 및 이웃하는 이미지 영역에서의 다른 픽셀 값들에 대해 가중 평균을 수행함으로써 획득된다. 가우시안 필터링의 특정 동작은 템플릿(또는 합성곱 또는 마스크로 지칭됨)을 사용하여 이미지에서의 각각의 픽셀을 스캔하고, 중심 픽셀의 값을 템플릿에 기초하여 결정된 이웃하는 이미지에서의 픽셀의 가중 평균 그레이스케일 값으로 대체하는 것이다.
KLT(kanade-lucas-tomasi) 알고리즘은 단계들 504 내지 507을 포함한다. KLT 알고리즘은 2개의 전처리된 그레이스케일 이미지에 대해 처리될 프레임(Match frame)과 참조 프레임(reference frame) 사이의 호모그래피 행렬을 계산한다. 구체적인 알고리즘 프로세스는 다음과 같다:
단계 504: 특징을 검출한다. 구체적으로, 참조 프레임 이미지는 동일한 크기의 16x16 블록들로 분할될 수 있다. 각 블록에서 최대 3개의 특징점이 검출될 수 있다. 특징점들 간의 최소 수평 거리 및 최소 수직 거리가 11인 것이 보장된다.
단계 505: 특징점을 추적한다. 구체적으로, 각각의 특징점이 중심으로서 사용될 수 있고, 11x11의 크기가 패치로서 사용된다. 참조 프레임 이미지에서의 패치와 가장 유사한 패치가 처리될 이미지에서 검색될 수 있다. 발견된 가장 유사한 패치의 중심과 참조 프레임 이미지의 특징점들은 유사한 특징점 쌍을 형성한다.
단계 506: 호모그래피 추정을 수행한다. 구체적으로, RANSAC를 사용하여 이상 특징점 쌍을 반복적으로 제거하고, 그 후, 필터링된 내부점 세트에 기초하여 호모그래피 행렬이 계산된다.
단계 507: 이미지 워핑 처리를 수행한다. 구체적으로, 처리될 이미지는 호모그래피 행렬을 사용하여 참조 프레임 이미지와 유사한 워프 이미지로 변환될 수 있고, 가장 가까운 보간 워프 알고리즘이 상이한 채널들(4개의 BGGR 채널들)에 대해 사용될 수 있다.
단계 508: 고스트 검출을 수행하고, 워핑된 이미지와 참조 프레임 이미지 사이의 차이를 계산하여, 고스트 이미지를 획득하고, 어느 특징 포인트들이 고스트들을 갖는지를 결정한다. 예를 들어, 차이 계산 후에 획득된 특징점의 차이가 더 클 경우, 이는 특징점이 고스트를 갖는다는 것을 지시한다. 차이 계산 후에 획득된 특징점의 차이가 더 작은 경우, 특징점이 고스트를 갖지 않는 것을 지시한다.
단계 509: 등록된 이미지를 획득한다.
제한이 아닌 예로서, 등록 처리 프로세스의 전술한 설명은 본 기술분야의 통상의 기술자가 본 출원의 실시예들을 이해하는 것을 돕도록 의도될 뿐이지만, 본 출원의 실시예들을 예시된 특정 시나리오로 제한하도록 의도되지 않는다는 점이 이해될 수 있다. 본 기술분야의 통상의 기술자는 도 10에 도시된 예들에 따라 다양한 등가의 수정들 또는 변경들을 분명히 행할 수 있고, 이러한 수정들 또는 변경들은 또한 본 출원의 실시예들의 범위 내에 있다.
단계 123: 이미지 세트 및 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하고, 여기서 신경망 모델은 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용하고, 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함한다.
본 출원의 이 실시예에서, 신경망 모델은 도 1에 도시된 미리구성된 신경망일 수 있다. 미리 구성된 신경망은 훈련 데이터에 기초하여 미리 훈련되는 신경망일 수 있다. 훈련 데이터는 원시 raw 이미지(본 명세서에서의 원시 raw 이미지는 노이즈가 거의 없는 이미지일 수 있고, 예를 들어, 노이즈가 타깃 임계값보다 낮은 원시 이미지일 수 있음) 및 노이즈가 원시 이미지에 추가된 이후의 노이즈 이미지를 포함할 수 있다.
예를 들어, 이미지 세트 및 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 것은 다음을 포함할 수 있다: 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여, 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 것- 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함하고, 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -; 및신경망 모델을 사용하여, 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 것- 연관 데이터는 이미지들 간의 연관 정보(즉, 프레임들 간의 연관 정보), 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -; 연관 데이터에 기초하여 각각의 프레임의 이미지의 타깃 채널 이미지를 획득하는 것- 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및 타깃 채널 이미지에서의 채널들을 조합하여 노이즈 제거된 출력 이미지를 획득하는 것.
노이즈 이미지는 신경망 모델을 사용하여 추정된 노이즈 이미지라는 것을 이해해야 한다. 즉, 노이즈 이미지는 신경망에 의한 처리를 통해 획득된 추정된 노이즈 이미지, 즉 노이즈 추정 이미지일 수 있다.
가능한 구현에서, 이미지 세트 및 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 것은 다음을 포함한다:
이미지 세트에 대해 전처리를 수행하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 것- 전처리는 컬러 채널들을 분리하는 것이고, 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함하고, 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -; 이미지 세트에서의 각각의 프레임의 이미지에 대응하는 채널 이미지를 입력 데이터로서 신경망 모델에 입력하여, 신경망 모델의 출력 데이터를 타깃 채널 이미지로서 획득하는 것- 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및 타깃 채널 이미지에 대해 후처리를 수행하여 노이즈 제거된 출력 이미지를 획득하는 것- 후처리는 채널 조합 처리, DRC 처리, AWB 처리, 및 ISP 처리를 포함함 -.
가능한 구현에서, 전처리 및 후처리 프로세스들 중 어느 하나가 신경망 모델에서 수행될 수 있다는 것을 이해해야 한다. 대안적으로, 다른 가능한 구현에서, 전처리 및 후처리 프로세스들 중 어느 하나가 신경망 모델에서 수행되지 않을 수 있다. 이는 이 출원에서 제한되지 않는다.
예를 들어, 본 출원에서, 이미지 세트에서의 이미지에서의 컬러 채널들은 분리되어 신경망 모델에 입력될 수 있어서, 신경망 모델은 더 많은 참조 정보에 기초하여 학습을 수행할 수 있다.
예를 들어, 신경망 모델은 입력 이미지 세트에 기초하여 학습을 수행하여 연관 데이터를 획득하고, 연관 데이터에 기초하여 각각의 프레임의 이미지의 타깃 채널 이미지를 획득할 수 있다. 즉, 신경망 모델은 타깃 채널 이미지를 출력한다. 연관 데이터는 입력 이미지에 기초하여 신경망 모델에서 학습을 통해 획득된 연관 데이터라는 것을 이해해야 한다. 예를 들어, 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보를 포함할 수 있다.
예를 들어, 이미지들 간의 연관 정보는 이미지들 간의 휘도, 텍스처, 노이즈 및 디테일과 같은 정보일 수 있거나, 상이한 이미지들에서의 동일한 특징점의 픽셀 값들일 수 있다. 채널들 간의 연관 정보는 상이한 채널들 또는 상이한 이미지들의 동일한 채널 사이의 휘도, 텍스처, 노이즈 및 디테일들과 같은 정보의 상관일 수 있다. 텍스처 특징은 이미지 또는 이미지에서의 일부 영역들의 공간 컬러 분포 및 광 강도 분포를 설명하기 위해 사용될 수 있다.
선택적으로, 실시예에서, 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지는 R 채널 이미지, Y 채널 이미지, 및 B 채널 이미지에 대응할 수 있다. Y 채널 이미지는 Yb 채널 이미지 및 Yr 채널 이미지를 포함할 수 있고, Y 채널은 RGB의 합과 유사한 전체 채널을 지시할 수 있다. Yb 채널 이미지는 B를 포함하는 픽셀들의 좌측 및 우측 인접 측부들 상의 Y 채널 이미지들이다. Yr 채널 이미지들은 R을 포함하는 픽셀들의 좌측 및 우측 인접 측부들 상의 Y 채널 이미지들이다.
선택적으로, 실시예에서, 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지는 R 채널 이미지, G 채널 이미지, 및 B 채널 이미지에 대응할 수 있다. G 채널 이미지는 Gb 채널 이미지 및 Gr 채널 이미지를 포함할 수 있다. Gb 채널 이미지는 G 채널이 B 채널과 연관되는 채널 이미지를 지시할 수 있다. Gr 채널 이미지는 G 채널이 R 채널과 연관되는 채널 이미지를 지시할 수 있다.
예를 들어, m이 2인 것이 예로서 사용된다. 등록된 이미지의 제1 프레임에서의 채널들은 제1 채널 #1, 제2 채널 이미지 #1 및 제3 채널 이미지 #1을 획득하기 위해 분리될 수 있다. 등록된 이미지의 제2 프레임에서의 채널들은 등록된 이미지의 제2 프레임에 대응하는 제1 채널 #2, 제2 채널 이미지 #2, 및 제3 채널 이미지 #2를 획득하기 위해 분리될 수 있다. 이하에서는, 제1 채널 이미지가 R 채널 이미지이고, 제2 채널 이미지가 Yr 채널 이미지 및 Yb 채널 이미지이며, 제3 채널 이미지가 B 채널 이미지인 예를 설명한다. 채널 분리 처리 후의 등록된 이미지의 제1 프레임은 R 채널 이미지 #1, Yr 채널 이미지 #1, Yb 채널 이미지 #1 및 B 채널 이미지 #1을 포함할 수 있다. 채널 분리 처리 후의 등록된 이미지의 제2 프레임은 R 채널 이미지 #2, Yr 채널 이미지 #2, Yb 채널 이미지 #2 및 B 채널 이미지 #2를 포함할 수 있다. 채널 분리 처리 후의 참조 프레임 이미지는 R 채널 이미지 #3, Yr 채널 이미지 #3, Yb 채널 이미지 #3, 및 B 채널 이미지 #3을 포함할 수 있다. 이미지 세트가 신경망 모델에 입력된다. 이미지 세트는 R 채널 이미지들 #1 내지 #3, Yr 채널 이미지들 #1 내지 #3, Yb 채널 이미지들 #1 내지 #3, 및 B 채널 이미지들 #1 내지 #3을 포함한다. 신경망 모델은 등록된 이미지의 제1 프레임, 등록된 이미지의 제2 프레임, 및 이미지의 참조 프레임에서의 동일한 특징점들의 픽셀 값들 간의 연관 정보에 기초하여 학습을 수행할 수 있다. 신경망 모델은 또한 R 채널 이미지들 #1 내지 #3, Yr 채널 이미지들 #1 내지 #3, Yb 채널 이미지들 #1 내지 #3, 및 B 채널 이미지들 #1 내지 #3의 임의의 채널들 간의 휘도, 텍스처, 및 노이즈와 같은 정보에 기초하여 학습을 수행할 수 있다. 신경망 모델은 이미지의 동일한 프레임에 대응하는 상이한 채널들 간에서, 또는 이미지들의 상이한 프레임들에 대응하는 동일한 채널들 간에서 학습을 수행하여, 연관 데이터를 획득할 수 있다. 제1 채널 이미지는 대안적으로 R 채널 이미지일 수 있고, 제2 채널 이미지는 Gr 채널 이미지 및 Gb 채널 이미지일 수 있고, 제3 채널 이미지는 B 채널 이미지일 수 있다는 것을 이해해야 한다. 이는 이 출원에서 제한되지 않는다.
선택적으로, N개의 원시 이미지는 베이어 포맷 이미지들일 수 있다.
베이어(bayer) 포맷의 이미지를 사용하는 경우, 필터 상에 상이한 컬러들이 설정될 수 있다. 인간의 눈에 의한 컬러들의 인식의 분석은 인간의 눈이 녹색에 더 민감하다는 것을 보여준다. 따라서, 베이어 포맷 이미지에서 녹색 포맷의 픽셀들은 r 픽셀과 g 픽셀의 합일 수 있다. 즉, 이미지에서의 G 채널 이미지는 Gb 채널 이미지 및 Gr 채널 이미지일 수 있다. G 채널 이미지는 Gb 채널 이미지 및 Gr 채널 이미지에 기초하여 결정된다.
예를 들어, 도 11a는 일반적으로 G, R의 1/4 및 B의 1/4를 포함하는 베이어 컬러 필터 어레이를 도시한다. 각각의 픽셀은 스펙트럼의 일부만을 포함할 수 있고, 각각의 픽셀의 RGB 값은 보간을 통해 구현될 필요가 있다. 베이어 포맷으로부터 각각의 픽셀의 RBG 포맷을 획득하기 위해, 2개의 누락 컬러가 보간에 의해 채워질 수 있다. 예를 들어, 도메인, 선형, 및 3 x 3 보간 방법들이 사용될 수 있다. 선형 보간 보상 알고리즘이 예로서 사용된다. 도 11b 내지 도 11g에 도시한 바와 같이, 도 11b 및 도 11c에서의 R 및 B의 값들은 각각 이웃하는 이미지의 평균 값일 수 있다. 도 11d의 이웃하는 이미지의 4개의 B의 평균 값은 중간 픽셀의 B값으로서 사용될 수 있다. 도 11e의 이웃하는 이미지의 4개의 R의 평균 값이 중간 픽셀의 B값으로서 사용될 수 있다.
또한, 도 11f의 중간 픽셀의 G 값에 대한 알고리즘은 다음과 같을 수 있다:
또한, 도 11g의 중간 픽셀의 G 값에 대한 알고리즘은 다음과 같을 수 있다:
픽셀 G (R)를 결정하기 위한 전술한 알고리즘은 Gb 채널 이미지를 결정하는 프로세스로서 고려될 수 있고, 픽셀 G (B)를 결정하기 위한 전술한 알고리즘은 Gb 채널 이미지를 결정하는 프로세스로서 고려될 수 있다.
도 11a에서, 제1 행의 G 채널들의 좌측 및 우측 인접 측부들은 R 채널들이라는 것을 이해해야 한다. 즉, 제1 행 내의 G 채널들은 Gr 채널을 지시할 수 있다. 제2 행 내의 G 채널들의 좌측 및 우측 인접 측부들은 B 채널들이다. 즉, 제2 행 내의 G 채널들은 Gb 채널을 지시할 수 있다.
본 출원에서, 신경망 모델은, 예를 들어, 프레임들 간의 연관 정보, 프레임에서의 상이한 채널들 간의 연관 정보, 및 상이한 프레임들에서의 채널들 간의 연관 정보를 포함할 수 있는 연관 데이터에 기초하여 학습할 수 있어서, 신경망 모델은 더 많은 관련 정보에 기초하여 학습하고 훈련될 수 있다. 이는 이미지 노이즈 제거 동안 노이즈 제거 효과를 개선시킨다.
일 예에서, 이미지 세트는 고스트 이미지를 추가로 포함할 수 있다. 고스트 이미지는 m개의 프레임의 등록된 이미지들과 참조 프레임 이미지 사이의 차이로부터 획득된다. 출력 이미지는 m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 고스트 이미지, 및 신경망 모델에 기초하여 획득된다.
선택적으로, m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지에 기초하여 고스트 이미지를 획득하는 것은 다음을 포함한다:
단계 1: 제i 등록된 이미지를 획득한다.
단계 2: 제i 이미지의 이미지 특징과 참조 프레임 이미지의 이미지 특징 사이의 차이를 계산한다.
차이 계산을 통해 획득된 제m 이미지를 획득하기 위해 단계들 1 및 2가 반복된다. 이미지 특징들이 융합되어 고스트 이미지를 획득한다.
신경망에 입력되는 이미지 세트가 고스트 이미지를 포함할 때, 획득된 출력 이미지는 노이즈 제거되고 고스트 제거된(denoised and deghosted) 출력 이미지일 수 있다는 것을 이해해야 한다.
예를 들어, 이미지 세트에서의 각각의 프레임의 이미지에서의 컬러 채널들이 분리되어 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하고, 여기서 이미지 세트는 m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 및 고스트 이미지를 포함할 수 있고, 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함할 수 있다. 예를 들어, 채널 이미지는 R 채널 이미지, B 채널 이미지, Yb 채널 이미지, 및 Yr 채널 이미지를 포함할 수 있거나, 채널 이미지는 R 채널 이미지, B 채널 이미지, Gb 채널 이미지, 및 Gr 채널 이미지를 포함할 수 있다. 이미지 세트에 대응하는 채널 이미지 세트는 연관 데이터를 획득하기 위해 신경망 모델을 사용하여 처리되며, 연관 데이터는 프레임들 간의 연관 정보, 프레임에서의 상이한 채널들 간의 연관 정보 및 상이한 프레임들에서의 채널들 간의 연관 정보 중 하나 이상을 포함할 수 있다. 각각의 프레임의 이미지의 제1 타깃 채널 이미지는 연관 데이터에 기초하여 획득되고, 제1 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함한다. m개의 프레임의 등록된 이미지들의 이미지 특징들이 융합되고 평균 값이 계산되어, 평균 이미지를 획득한다. 평균 이미지에서의 컬러 채널들이 분리되어 채널 평균 이미지를 획득하고, 여기서 채널 평균 이미지는 제1 채널의 평균 이미지, 제2 채널의 평균 이미지, 및 제3 채널의 평균 이미지를 포함한다. 채널 평균 이미지 및 대응하는 제1 타깃 채널 이미지의 특징들이 조합되어 제2 타깃 채널 이미지를 획득한다. 제2 타깃 채널 이미지에서의 채널들이 조합되어 노이즈 제거된 출력 이미지를 획득한다.
또한, 본 출원에서, 신경망 모델에 입력되는 이미지 세트가 고스트 이미지를 포함할 때, 노이즈 제거된 출력 이미지가 획득될 수 있을 뿐만 아니라, 고스트 이미지가 출력 이미지로부터 제거될 수 있다.
이하에서는 도 12를 참조하여 특정 절차를 예로서 설명한다.
도 12에 도시한 바와 같이, 우선, 입력 이미지 및 출력 이미지의 파라미터 설정이 간단하게 설명된다.
데이터 소스는 등록 처리가 수행된 m개의 프레임의 등록된 이미지들을 포함할 수 있다. 등록된 이미지들은 동일한 크기 및 동일한 노출 파라미터를 가질 수 있고, 등록된 이미지들은 베이어 포맷을 지원하는 컬러 원시 이미지들일 수 있다. 예를 들어, 이미지의 포맷은 BGGR, RGGB, 또는 RYYB일 수 있다(BGGR 이외의 포맷들에 대해, 패딩이 수행될 필요가 있고, 이미지가 BGGR로 전환되고, 패딩 부분이 출력으로부터 제거될 필요가 있다). 출력 원시 이미지는 입력 이미지에 대응할 수 있다. 이미지 데이터는 폭과 동일하지 않은 스트라이드를 갖는 메모리에 저장될 수 있다. 입력 원시 이미지의 해상도는 m x n이고, 여기서 m은 {3264, 3648, ..., 3968, 4608, 5120} 중 어느 하나일 수 있고, n은 {2056, 2240, 2448, 2736, 2976, 3456, 3840} 중 어느 하나일 수 있다.
예를 들어, 도 12의 입력 이미지는 원시 이미지들의 7개의 프레임이고, 원시 이미지들의 7개의 프레임은 고스트 이미지의 1개의 프레임 및 원시 등록된 이미지들의 6개의 프레임을 포함한다(이미지의 1개의 프레임의 해상도는 W x H이다). 이미지들의 7개의 프레임 각각에서의 채널이 분리되고, 4개의 원시 이미지(W/2 x H/2의 해상도를 가짐)- 그의 폭은 이미지의 폭의 절반이고 그의 높이는 이미지의 높이의 절반임 -이 각각의 프레임의 원시 이미지에 대해 획득되어, 총 28개의 원시 이미지를 획득한다. 28개의 원시 이미지는 딥 러닝 기반 다중 프레임 노이즈 감소(deep learning based multiple frame noise reduction, DL-MFNR) 네트워크에 입력되어, 4개의 출력 노이즈 추정 이미지(예를 들어, 노이즈 이미지들)를 획득한다. 4개의 노이즈 추정 이미지는 상이한 채널들에 대응할 수 있다. 예를 들어, 입력 이미지에서의 채널들이 분리될 때 R 채널 이미지, Gr 채널 이미지, Gb 채널 이미지, 및 B 채널 이미지가 획득되는 경우, 4개의 노이즈 추정 이미지는 R 채널 노이즈 추정 이미지, Gr 채널 노이즈 추정 이미지, Gb 채널 노이즈 추정 이미지, 및 B 채널 노이즈 추정 이미지이다. 또한, 채널들은 BGGR 또는 RYYB에 기초하여 분리될 수 있다. 원시 등록된 이미지들의 6개의 프레임의 이미지 특징들이 융합되어 해상도가 W x H인 평균 이미지의 하나의 프레임을 획득한다. 평균 이미지에서의 채널들이 분리되어 4개의 서브채널 이미지를 획득한다. 획득된 4개의 서브채널 이미지 및 4개의 대응하는 노이즈 추정 이미지는 개별적으로 중첩되어 4개의 채널에 대응하는 타깃 채널 이미지들을 획득한다. 4개의 채널에 대응하는 타깃 채널 이미지들에서의 채널들이 조합되어 출력 이미지를 획득한다.
DL-MFNR 네트워크에서, 대응하는 채널 이미지 세트는 연관 데이터를 획득하기 위해 처리될 수 있다. 이미지 채널 세트가 m개의 프레임의 등록된 이미지들, 참조 프레임 이미지, 및 고스트 이미지를 포함할 때, 연관 데이터는 프레임들 간의 연관 정보일 수 있고, 예를 들어, m개의 프레임의 등록된 이미지들과 참조 이미지 사이의 연관 정보일 수 있거나, m개의 프레임의 등록된 이미지들과 고스트 이미지 사이의 연관 정보일 수 있거나, m개의 프레임의 등록된 이미지들과 고스트 이미지 또는 참조 프레임 이미지 사이의 연관 정보일 수 있다. 대안적으로, 연관 데이터는 프레임에서의 상이한 채널들 간의 연관 정보, 또는 상이한 프레임들에서의 채널들 간의 연관 정보일 수 있다.
도 12가 원시 이미지에서의 4개의 채널이 분리되어 있는 일례를 나타낸 것이라는 점에 유의해야 한다. 분리될 채널들의 특정 수량은 본 출원에서 제한되지 않는다.
도 12는 컬러 채널들이 분리되고 채널들이 신경망 모델 외부에서 조합되는 예를 도시한다는 것을 이해해야 한다. 그러나, 컬러 채널들은 또한 분리될 수 있고 채널들은 또한 신경망 모델 내부에서 조합될 수 있다. 즉, 신경망 모델은 또한 컬러 채널 분리 및 채널 조합의 기능들을 가질 수 있다. 이는 이 출원에서 제한되지 않는다.
도 13은 DL-MFNR 네트워크의 구조의 개략도이다.
도 13에 도시된 바와 같이, 도 13은 입력 계층, 합성곱 계층, 은닉 계층 및 출력 계층을 포함한다. 201은 입력 계층을 지시할 수 있고, 202는 출력 계층을 지시할 수 있으며, 나머지는 합성곱 계층 및 은닉 계층을 포함할 수 있다. 도 13에 도시된 W/2 x H/2 x 28은 해상도가 W/2 x H/2인 28개의 특징 이미지를 지시할 수 있다. ReLU는 정류된 선형 유닛(Rectified Linear Unit, ReLU)을 지시한다.
도 13에서, 합성곱 연산자는 3 x 3이다. 합성곱 계층은 복수의 합성곱 연산자를 포함할 수 있다. 합성곱 연산자는 또한 커널이라고도 지칭된다. 이미지 처리에서, 합성곱 연산자는 입력 이미지의 행렬로부터 특정 정보를 추출하는 필터로서 기능한다. 합성곱 연산자는 본질적으로 가중치 행렬일 수 있고, 가중치 행렬은 일반적으로 미리 정의된다. 이미지에 대해 합성곱 연산을 수행하는 프로세스에서, 가중치 행렬은 일반적으로 입력 이미지에서 수평 방향으로 1 픽셀(또는 스트라이드 stride의 값에 따라 2 픽셀)의 입도 레벨로 픽셀들을 처리하여, 이미지로부터 특정 특징을 추출한다. 가중치 행렬의 크기는 이미지의 크기와 관련된다. 출력 계층(201)은 구체적으로 예측 에러를 계산하기 위해 사용되는 분류 크로스 엔트로피와 유사한 손실 함수를 갖는다. 전체 합성곱 신경망의 순방향 전파가 완료되는 경우, 역방향 전파는, 합성곱 신경망의 손실, 및 출력 계층을 통해 합성곱 신경망에 의해 출력된 결과와 이상적인 결과 사이의 에러를 감소시키기 위해, 전술한 계층들의 가중치 값들 및 편차들을 업데이트하기 시작한다. 도 13에 도시된 네트워크에서, 노이즈가 타깃 임계값보다 낮은 이미지가 출력 목표로서 사용되고, 네트워크에 입력되는 원시 raw 이미지에 대해 반복 처리가 계속 수행되고, 출력 목표와 무한히 유사한 최종적으로 획득된 원시 이미지가 네트워크에 출력된다.
도 13에 도시된 신경망의 계층들의 수량, 합성곱 커널의 크기, 및 각각의 합성곱 계층에서의 특징들의 수량은 예들이라는 것을 이해해야 한다. 본 출원이 이에 제한되는 것은 아니다.
본 출원에서의 신경망 모델은 도 13에 도시된 DL-MFNR 네트워크일 수 있다는 것을 이해해야 한다.
선택적으로, 획득된 출력 이미지에 대해 동적 범위 압축 DRC 처리가 추가로 수행되어, 고도의 동적 특징 이미지를 획득할 수 있다. 화이트 밸런스 AWB 처리는 컬러 보정된 이미지를 획득하기 위해 고도의 동적 특징 이미지에 대해 수행된다. 컬러 보정된 이미지에 대해 이미지 신호 처리를 수행하여 제2 이미지를 획득한다.
예를 들어, 신경망 모델에 의해 출력된 출력 이미지는 원시 이미지이고, 원시 이미지는 전자 디바이스 내부에서 후처리된다. 예를 들어, 출력 원시 이미지를 후처리하는 것은 제2 이미지를 획득하기 위해 DRC 처리, AWB 처리, 및 이미지 신호 처리를 포함할 수 있다. 제2 이미지는 YUV 이미지이다. 즉, 출력된 원시 이미지는 YUV 이미지를 획득하기 위해 후처리된다.
일 구현에서, 도 14a 및 도 14b에 도시된 동적 범위 압축 DRC 처리 방법이 사용될 수 있다.
도 14a 및 도 14b에 도시된 바와 같이, DRC 처리 방법은 단계들 601 내지 621을 포함한다. 다음은 단계들 601 내지 621을 상세히 개별적으로 설명한다.
단계 601: 원시 이미지를 획득하고, 구체적으로, 신경망에 의해 출력된 출력 이미지를 획득하고, 여기서 출력 이미지는 원시 이미지일 수 있다.
단계 602: 유도(guided) 필터링을 수행한다.
원시 이미지에서의 채널들은 유도 필터(guided filter)를 사용하여 필터링되어, 디테일(Detail) 계층 및 베이스(Base) 계층을 획득한다. 베이스 계층은 고도의 동적 이미지를 생성하기 위해 노출 융합을 시뮬레이션하기 위해 사용되고, 디테일 계층은 디테일 강화를 위해 사용된다.
단계 603: 렌즈 셰이딩 보상을 수행한다. 렌즈 셰이딩(Lens Shading) 보상이 베이스 계층에 대해 수행된다.
단계 604: RGGB 이미지를 그레이스케일 이미지 1로 전환한다. 단계 603에서 획득된 보상된 이미지에 대해 RGGB2GRAY가 수행되고, 결과는 Gray1로서 표시되며, 여기서 그레이스케일 이미지 1은 후속 HDR 계산을 위한 기본 이미지이다.
단계 605: 다운샘플링을 수행한다. 계산 오버헤드들을 감소시키기 위해, Gray1에 대해 다운샘플링 처리가 수행되어, Gray_ds로 표시되는 원래의 그레이스케일 이미지 1의 1/4을 획득할 수 있다.
단계 606: 컬러 셰이딩 보정을 수행한다.
베이어 패턴(bayer pattern)에서 4개 채널의 셰이딩 값들 간의 차이를 제거하기 위해 베이스 계층에 대해 컬러 셰이딩(color shading) 보정이 수행된다.
단계 607: RGGB 이미지를 그레이스케일 이미지 2로 전환한다. 단계 605에서 획득된 보정된 이미지에 대해 RGGB2GRAY가 수행되고, 그 결과 이미지는 Gray2로 표시된다. 그레이스케일 이미지 2에 대해 렌즈 셰이딩 보상이 수행되지 않는다. 따라서, 하이라이트 영역을 복원하기 위해 어두운 영역에서의 더 많은 광원 디테일들이 유지될 수 있다.
단계 608: 다운샘플링을 수행한다. 계산 오버헤드들을 감소시키기 위해, Gray2에 대해 다운샘플링 처리가 수행되어, Gray_Low_ds로 표시되는 원래의 그레이스케일 이미지 2의 1/4을 획득할 수 있다.
단계 609: 글로벌 톤 매핑을 수행한다.
단계 605에서 획득된 Gray_ds에 대해 글로벌 톤 매핑(global tone mapping)이 수행되어, 어두운 영역을 보호하고 밝아진 이미지가 어두운 영역을 갖지 않는 것을 방지한다.
단계 610: 노출 추정을 수행한다.
단계 609에서 글로벌 톤 매핑을 통해 획득된 Gray_ds에 대해 추정이 수행되어, 노출의 밝은 프레임, 어두운 프레임, 및 얼굴을 밝게 하는(face brightening) 프레임을 포함하는 노출 파라미터들을 시뮬레이션한다.
단계 611: 휘도 매핑을 수행한다.
레티넥스(Retinex) 알고리즘이 사용될 수 있다. 휘도 매핑은 밝은 프레임 및 얼굴을 밝게 하는 프레임을 결정하기 위해 Gray_ds에 대해 수행되고, Gray_Low_ds는 어두운 프레임을 결정한다.
단계 612: 고휘도 프레임을 노출시킨다.
단계 613: 노출 융합을 수행한다.
가우시안 필터는 유도 필터 기반 노출 융합 알고리즘에 따라 유도 필터에 의해 대체된다. 유도 필터를 사용하여 생성되는 이미지는 이미지의 콘트라스트를 더 잘 유지할 수 있다. 융합된 이미지는 Gray_F로 표시된다.
단계 614: 디테일 강화를 수행한다.
유도 필터는 Gray_F에 대해 에지 보존 필터링을 수행하도록 구성된다. 필터링을 통해 획득된 디테일 계층은 디테일 강화를 수행하기 위해 이득 값을 승산한 후에 중첩된다.
단계 615: 글로벌 톤 매핑을 수행한다.
글로벌 톤 매핑 2는 글로벌 콘트라스트를 개선하기 위해 Gray_F에 대해 수행된다.
단계 616: 감마 보정 후에 DRC 이득을 계산한다.
단계 617: 감마 보정 전에 DRC 이득을 계산한다.
감마 보정(degamma) 전후의 DRC 이득들이 계산된다. 감마 보정 전의 DRC 이득은 디테일 애드백(addback) 강도를 계산하기 위해 사용된다. 감마 보정 후의 DRC 이득은 최종 DRC 결과를 계산하기 위해 사용된다.
단계 618: 업샘플링을 수행한다.
감마-보정된 DRC 이득은 4회 업샘플링될 수 있다.
단계 619: 디테일 강화를 수행한다. 유도 필터를 사용하여 DRC_Gain의 고주파 디테일이 강화된다.
단계 620: 디테일 이득을 획득한다.
RGGB 도메인에서의 디테일 계층의 애드백 강도(Detail_Strength)가 추정된다.
단계 621: DRC 결과를 출력한다.
디테일 계층은 결과 이미지를 획득하기 위해 원시 이미지에 다시 추가된다.
도 14a 및 도 14b에 도시된 DRC 처리 방법이 예로서 사용된다는 것을 이해해야 한다. 종래의 기술에서의 다른 DRC 처리 방법은 본 출원에서의 DRC 처리의 특정 절차에 적용될 수 있다. 이는 이 출원에서 제한되지 않는다.
도 15는 본 출원의 실시예에 따른 이미지 디스플레이 방법의 개략적인 흐름도이다. 도 15에 도시된 방법은 단계들 701 내지 705를 포함한다. 단계들 701 내지 705는 이하에서 상세히 설명된다.
단계 701: 시나리오를 검출하거나 전문가 모드를 선택한다.
예를 들어, 사용자에 의해 카메라를 턴온하는 제1 동작이 검출된다. 제1 동작에 응답하여 디스플레이 스크린 상에 촬영 인터페이스가 디스플레이되며, 촬영 인터페이스는 뷰파인더 프레임을 포함하고, 뷰파인더 프레임은 제1 이미지를 포함한다. 제1 이미지는 매우 낮은 조명 시나리오에서의 미리보기 이미지이다. 예를 들어, 제1 이미지는 야간 시나리오의 미리보기 이미지일 수 있고, 더 구체적으로는, 조명이 0.3 룩스 미만인 시나리오에서의 미리보기 이미지일 수 있다. 또한, 전자 디바이스가 낮은 조명 시나리오, 예를 들어, 0.3 룩스 미만의 조명을 갖는 시나리오를 검출하기 위해 센서를 호출할 때, 사용자에 의해 촬영하도록 지시하는 제2 동작이 검출된다. 촬영을 지시하는 제2 동작은 사용자에 의해 전자 디바이스 내의 촬영 버튼을 누르는 것일 수 있거나, 음성을 통해, 사용자 장비에 의해 촬영할 전자 디바이스를 지시하는 것일 수 있거나, 사용자에 의해 촬영할 전자 디바이스를 지시하는 다른 액션을 추가로 포함할 수 있다.
예를 들어, 사용자에 의해 제1 처리 모드를 지시하는 제2 동작이 검출된다.
예를 들어, 제1 처리 모드는 전문가 촬영 모드, 야간 촬영 모드, 또는 다른 모드일 수 있다. 예를 들어, 사용자에 의해 전문가 촬영 모드 또는 야간 촬영 모드를 선택하는 제2 동작이 검출될 수 있다. 사용자에 의해 전문가 촬영 모드 또는 야간 촬영 모드를 선택하는 제2 동작에 응답하여, 전자 디바이스는 센서의 감광도 ISO 값을 타깃 범위 내에 있도록 구성하고, 예를 들어, 전자 디바이스의 센서의 ISO 값을 12800보다 크도록 설정한다.
단계 702: 전자 디바이스는 센서에 대한 노출 시간, ISO, 및 프레임들의 수량을 구성한다.
예를 들어, 도 12에 도시된 실시예에서, 출력될 원시 raw 이미지들의 6개의 프레임이 구성된다.
단계 703: 센서로부터 N개의 프레임의 원시 이미지들을 획득한다.
단계 704: N개의 프레임의 원시 이미지들에 대해 이미지 처리를 수행한다. 이 단계는 다음을 포함한다:
단계 1: 등록 처리를 수행한다.
구체적인 절차에 대해서는, 도 9에 도시된 단계 122에서의 가능한 구현 및 도 10에 도시된 등록 처리 흐름도를 참조한다. 세부 사항은 본 명세서에서 다시 설명되지 않는다.
단계 2: 노이즈 제거 처리를 위해 등록된 원시 이미지를 DL-MFNR 네트워크에 입력한다.
또한, DL-MFNR 네트워크에 입력되는 이미지가 고스트 이미지를 포함하는 경우, 노이즈 제거 및 고스트 제거된 출력 이미지가 획득될 수 있다.
구체적인 절차에 대해서는, 도 9에 도시된 단계 123에서의 가능한 구현 및 도 12에 도시된 이미지 처리 방법을 참조한다. 세부 사항은 본 명세서에서 다시 설명되지 않는다.
단계 3: DL-MFNR 네트워크에 의해 출력되는 출력 이미지를 획득하고, 구체적으로, 출력 원시 이미지를 획득하고, 출력 이미지에 대해 DRC 처리를 수행한다.
구체적인 절차에 대해서는, 도 14a 및 도 14b에 도시된 DRC 처리 방법을 참조한다. 세부 사항은 본 명세서에서 다시 설명되지 않는다.
단계 4: DRC 처리에 의해 획득된 고도의 동적 특징 이미지에 대해 화이트 밸런스 AWB 처리를 수행하여, 컬러 보정된 이미지를 획득한다.
단계 705: 획득된 컬러 보정된 이미지를 ISP를 사용하여 처리하여 YUV 이미지를 획득하고, 구체적으로, 제2 이미지가 획득된 후, 전자 디바이스의 디스플레이 스크린의 뷰파인더 프레임에 제2 이미지를 디스플레이한다.
도 15는 낮은 조명 시나리오에서의 전자 디바이스에 의한 이미지 처리의 프로세스를 도시한다. 단계들의 특정 가능한 구현들에 대해서는, 도 4, 도 9 및 도 12의 설명들을 참조한다. 세부 사항은 본 명세서에서 다시 설명되지 않는다.
도 15는 신경망(즉, DL-MFNR 네트워크)의 모델에 의해 출력된 출력 이미지가 원시 이미지인 예를 나타낸다는 점에 유의해야 한다. 출력된 원시 이미지는 추가로 후처리될 필요가 있다. 후처리는 DRC, AWB, 및 ISP 처리를 포함할 수 있다. 후처리는 신경망 모델 외부에서 수행될 수 있다는 것, 즉, 후처리는 신경망에서 수행되지 않을 수 있다는 것을 이해해야 한다. 가능한 구현에서, 신경망 모델은 대안적으로 후처리 기능을 가질 수 있다. 즉, 후처리 절차는 대안적으로 신경망 모델에서 수행되는 단계일 수 있다. 이는 이 출원에서 제한되지 않는다.
도 16 및 도 17은 본 출원의 이 실시예에서의 이미지 디스플레이 방법 및 종래 기술에서의 이미지 디스플레이 방법에 따라 동일한 장면을 촬영함으로써 획득된 이미지들의 개략도들이다. 도 16에 도시된 바와 같이, 동일한 촬영 시나리오에서, 예를 들어, 0.3 룩스 미만의 조명을 갖는 촬영 시나리오에서, 도 16d는 본 출원의 이 실시예에서의 이미지 디스플레이 방법에 따라 획득된 이미지를 도시한다. 도 16a 내지 도 16d는 컬러 이미지들이라는 점에 유의해야 한다. 도 16d의 이미지 품질은 다른 이미지들의 이미지 품질보다 양호하다는 것을 도 16으로부터 알 수 있다. 예를 들어, 도 16d의 이미지의 컬러, 휘도, 디테일, 노이즈 등은 다른 이미지들의 것들보다 양호하다. 유사하게, 도 17에 도시된 바와 같이, 동일한 촬영 시나리오에서, 예를 들어, 0.3 룩스 미만의 조명을 갖는 촬영 시나리오에서, 도 17d는 본 출원의 이 실시예에서의 이미지 디스플레이 방법에 따라 획득된 이미지를 도시한다. 도 17d의 이미지 품질은 다른 이미지들의 이미지 품질보다 양호하다는 것을 도 17로부터 알 수 있다. 예를 들어, 도 17d의 이미지의 컬러, 휘도, 디테일, 노이즈 등은 다른 이미지들의 것들보다 양호하다. 도 17a 내지 도 17d는 컬러 이미지들이라는 점에 유의해야 한다.
본 출원에서, 사용자에 의해 카메라를 턴온하는 제1 동작이 검출되고, 사용자에 의해 카메라를 지시하는 제2 동작이 검출되고, 제2 동작에 응답하여 디스플레이 스크린의 뷰파인더 프레임에 제2 이미지가 디스플레이되며, 제2 이미지는 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지이다. 원시 이미지는 ISP에 의해 또는 가속기의 알고리즘에 따라 처리되지 않는 이미지이기 때문에, 원시 이미지에서의 노이즈의 형태는 손상되지 않는다. 본 출원에서, 노이즈 제거 처리는 낮은 조명 환경에서 이미지 노이즈 제거 효과를 개선하기 위해 N개의 프레임의 원시 이미지들을 획득함으로써 수행된다.
전술한 예시적인 설명들은 본 기술분야의 통상의 기술자가 본 출원의 실시예들을 이해하는 것을 돕도록 의도되지만, 본 출원의 실시예들을 예들에서의 특정 값 또는 특정 시나리오로 제한하도록 의도되지 않는다는 점이 이해되어야 한다. 본 기술분야의 통상의 기술자는 위에 설명된 예들에 따라 다양한 등가의 수정들 또는 변경들을 행할 수 있고, 이러한 수정들 또는 변경들은 또한 본 출원의 실시예들의 범위 내에 속한다는 것이 분명하다.
전술한 것은 도 1 내지 도 17을 참조하여 본 출원의 실시예들에서 제공되는 신경망 사전 훈련 방법 및 이미지 디스플레이 방법을 상세히 설명한다. 이하에서는 도 18 내지 도 19를 참조하여 본 출원의 장치 실시예들을 상세히 설명한다. 본 출원의 실시예들에서의 이미지 디스플레이 디스플레이는 본 출원의 전술한 실시예들에서의 방법들을 수행할 수 있다는 것을 이해해야 한다. 구체적으로, 이하의 다양한 제품들의 특정 작동 프로세스들에 대해서는, 전술한 방법 실시예들에서의 대응하는 프로세스들을 참조한다.
도 18은 본 출원의 실시예에 따른 이미지 디스플레이 디바이스(800)의 개략적인 블록도이다. 디바이스(800)는 도 4 내지 도 17의 방법들의 단계들을 수행할 수 있다는 것을 이해해야 한다. 반복을 피하기 위해, 세부 사항은 본 명세서에서 다시 설명되지 않는다. 디바이스(800)는 검출 유닛(801) 및 처리 유닛(803)을 포함한다.
검출 유닛(801)은 사용자에 의해 카메라를 턴온하는 제1 동작을 검출하도록 구성된다. 처리 유닛(803)은 제1 동작에 응답하여 디스플레이 스크린 상에 촬영 인터페이스를 디스플레이하도록 구성되며, 촬영 인터페이스는 뷰파인더 프레임을 포함하고, 뷰파인더 프레임은 제1 이미지를 포함한다. 검출 유닛(801)은 사용자에 의해 카메라를 지시하는 제2 동작을 검출하도록 추가로 구성된다. 처리 유닛(803)은 제2 동작에 응답하여 뷰파인더 프레임에 제2 이미지를 디스플레이하도록 추가로 구성되고, 제2 이미지는 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지이다. 신경망 모델이 처리 프로세스에 적용된다. 신경망 모델은 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용한다. N은 2 이상의 정수이다.
선택적으로, 가능한 구현에서, 제2 이미지는 신경망 모델에 의해 출력된 YUV 이미지이다.
선택적으로, 다른 가능한 구현에서, 제2 이미지는 YUV 이미지이고, YUV 이미지는 신경망 모델에 의해 출력된 원시 이미지를 후처리함으로써 획득된 YUV 이미지이다.
선택적으로, 다른 가능한 구현에서, 제2 이미지는 신경망 모델에 의해 출력된 원시 이미지이다.
선택적으로, 가능한 구현에서, 신경망 모델은 노이즈가 타깃 임계값보다 낮은 원시 이미지를 출력 목표로서 사용한다.
원시 raw 이미지는 YUV 이미지와 상이하다는 점에 유의해야 한다. 원시 raw 이미지는 캡처된 광원 신호를 센서에 의해 디지털 신호로 전환함으로써 획득된 원시 데이터이다. YUV 이미지는 원시 이미지를 후처리함으로써 획득된 이미지이다. 후처리는, 예를 들어, 가속기 및 ISP에 의한 처리를 통해, 원시 이미지를 YUV 이미지로 전환할 수 있다.
제1 이미지는 매우 낮은 조명 시나리오에서의 미리보기 이미지라는 것을 추가로 이해해야 한다. 예를 들어, 제1 이미지는 야간 시나리오의 미리보기 이미지일 수 있고, 더 구체적으로는, 조명이 0.3 룩스 미만인 시나리오에서의 미리보기 이미지일 수 있다. 제1 이미지 및 제2 이미지는 동일하거나 실질적으로 동일한 디스플레이 콘텐츠를 갖는다. 제2 이미지의 이미지 품질은 제1 이미지의 이미지 품질보다 양호하다. 예를 들어, 제2 이미지에서의 컬러, 휘도, 디테일, 및 노이즈는 제1 이미지에서의 것들보다 더 양호하다.
선택적으로, 실시예에서, 검출 유닛(801)은 사용자에 의해 제1 처리 모드를 지시하는 제2 동작을 검출하거나, 사용자에 의해 촬영하도록 지시하는 제2 동작을 검출하도록 구체적으로 구성되고, 제2 동작은 낮은 조명에서의 촬영을 지시하기 위해 사용되는 동작이다.
예를 들어, 제1 처리 모드는 전문가 촬영 모드, 야간 촬영 모드, 또는 다른 모드일 수 있다. 예를 들어, 사용자에 의해 전문가 촬영 모드 또는 야간 촬영 모드를 선택하는 제2 동작이 검출될 수 있다. 사용자에 의해 전문가 촬영 모드 또는 야간 촬영 모드를 선택하는 제2 동작에 응답하여, 전자 디바이스는 센서의 감광도 ISO 값을 타깃 범위 내에 있도록 구성하고, 예를 들어, 전자 디바이스의 센서의 ISO 값을 12800보다 크도록 설정한다.
예를 들어, 전자 디바이스가 센서를 호출하고 낮은 조명 시나리오, 예를 들어, 0.3 룩스 미만의 조명을 갖는 시나리오를 검출할 때, 제2 동작은 사용자에 의해 촬영을 지시하는 것일 수 있다. 촬영을 지시하는 제2 동작은 사용자에 의해 전자 디바이스 내의 촬영 버튼을 누르는 것일 수 있거나, 음성을 통해, 사용자 장비에 의해 촬영할 전자 디바이스를 지시하는 것일 수 있거나, 사용자에 의해 촬영할 전자 디바이스를 지시하는 다른 액션을 추가로 포함할 수 있다.
또한, 전자 디바이스가 센서를 호출하고 전자 디바이스가 현재 0.3 룩스 미만의 조명을 갖는 시나리오에 있음을 검출할 때, 전자 디바이스는 센서의 감광도 ISO 값을 타깃 범위 내에 있도록 구성할 수 있다.
예를 들어, 타깃 범위는 ISO 값이 6400보다 크거나 ISO 값이 12800보다 큰 것일 수 있다. 본 출원이 이에 제한되는 것은 아니다.
선택적으로, 실시예에서, 처리 유닛(803)은 구체적으로:
이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하고- 이미지 세트는 m개의 프레임의 등록된 이미지들 및 참조 프레임 이미지를 포함하고, 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -;
신경망 모델을 사용하여, 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하고- 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -;
연관 데이터에 기초하여 각각의 프레임의 이미지의 타깃 채널 이미지를 획득하고- 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및
타깃 채널 이미지에서의 채널들을 조합하여 노이즈 제거된 출력 이미지를 획득하도록 구성된다.
예를 들어, 처리 유닛(803)은 구체적으로 이미지 세트를 전처리하여 각각의 이미지 프레임에 대응하는 채널 이미지를 획득하도록 구성된다. 전처리는 다음을 포함한다: 컬러 채널들을 분리하는 것- 이미지 세트는 m개의 프레임의 등록된 이미지들과 참조 프레임 이미지를 포함하고, 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -; 이미지 세트에서의 각각의 프레임의 이미지에 대응하는 채널 이미지를 입력 데이터로서 신경망 모델에 입력하여, 타깃 채널 이미지를 신경망 모델의 출력 데이터로서 획득하는 것- 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및 타깃 채널 이미지를 후처리하여 노이즈 제거된 출력 이미지를 획득하는 것- 후처리는 채널 조합 처리, DRC 처리, AWB 처리, 및 ISP 처리를 포함함 -.
가능한 구현에서, 전처리 및 후처리 프로세스들 중 어느 하나가 신경망 모델에서 수행될 수 있다는 것을 이해해야 한다. 대안적으로, 다른 가능한 구현에서, 전처리 및 후처리 프로세스들 중 어느 하나가 신경망 모델에서 수행되지 않을 수 있다.
선택적으로, 실시예에서, 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지는 R 채널 이미지, Y 채널 이미지, 및 B 채널 이미지를 포함하고, 여기서 Y 채널 이미지는 Yb 채널 이미지 및 Yr 채널 이미지를 포함한다.
선택적으로, 실시예에서, 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지는 R 채널 이미지, G 채널 이미지, 및 B 채널 이미지를 포함하고, 여기서 G 채널 이미지는 Gb 채널 이미지 및 Gr 채널 이미지를 포함한다.
선택적으로, 실시예에서, 처리 유닛(803)은 구체적으로:
이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하고- 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -;
신경망 모델을 사용하여, 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하고- 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -;
연관 데이터에 기초하여 각각의 프레임의 이미지의 제1 타깃 채널 이미지를 획득하고- 제1 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -;
m개의 프레임의 등록된 이미지들의 이미지 특징들을 융합하고 평균 값을 계산하여, 평균 이미지를 획득하고;
채널 평균 이미지를 획득하기 위해 평균 이미지에서 컬러 채널들을 분리하고- 채널 평균 이미지는 제1 채널의 평균 이미지, 제2 채널의 평균 이미지, 및 제3 채널의 평균 이미지를 포함함 -;
채널 평균 이미지와 대응하는 제1 타깃 채널 이미지의 특징들을 중첩하여 제2 타깃 채널 이미지를 획득하고; 및
제2 타깃 채널 이미지에서의 채널들을 조합하여 노이즈 제거된 출력 이미지를 획득하도록 구성된다.
선택적으로, 실시예에서, N개의 프레임의 원시 raw 이미지들은 베이어 포맷 이미지들이다.
선택적으로, 실시예에서, 처리 유닛(803)은 구체적으로:
출력 이미지에 대해 동적 범위 압축 DRC 처리를 수행하여 고도의 동적 특징 이미지를 획득하고; 고도의 동적 특징 이미지에 대해 화이트 밸런스 AWB 처리를 수행하여 컬러 보정된 이미지를 획득하고; 컬러 보정된 이미지에 대해 이미지 신호 처리를 수행하여 제2 이미지를 획득하도록 구성된다.
예를 들어, 신경망 모델에 의해 출력된 출력 이미지는 원시 이미지이고, 원시 이미지는 전자 디바이스 내부에서 후처리된다. 예를 들어, 출력 원시 이미지를 후처리하는 것은 제2 이미지를 획득하기 위해 DRC 처리, AWB 처리, 및 이미지 신호 처리를 포함할 수 있다. 제2 이미지는 YUV 이미지이다. 즉, 출력된 원시 이미지는 YUV 이미지를 획득하기 위해 후처리된다.
선택적으로, 실시예에서, 처리 유닛(803)은 구체적으로:
광학 흐름 방법을 사용함으로써 참조 프레임 이미지에 기초하여 m개의 프레임의 처리될 이미지들 각각에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득하도록 구성된다.
본 명세서에서 이미지 디스플레이 디바이스(800)는 기능 유닛의 형태로 제시된다는 것을 이해해야 한다. 본 명세서에서 용어 "유닛"은 소프트웨어 및/또는 하드웨어의 형태로 구현될 수 있다. 이는 구체적으로 제한되지 않는다. 예를 들어, "유닛"은 전술한 기능들을 구현하는 소프트웨어 프로그램, 하드웨어 회로, 또는 이들의 조합일 수 있다. 하드웨어 회로는 애플리케이션 특정 집적 회로(application-specific integrated circuit, ASIC), 전자 회로, 하나 이상의 소프트웨어 또는 펌웨어 프로그램을 실행하도록 구성되는 프로세서(예를 들어, 공유 프로세서, 전용 프로세서, 또는 그룹 프로세서) 및 메모리, 병합된 논리 회로, 및/또는 설명된 기능들을 지원하는 다른 적절한 컴포넌트를 포함할 수 있다.
따라서, 본 출원의 실시예들에서 설명된 예들에서의 유닛들은 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합에 의해 구현될 수 있다. 기능들이 하드웨어 또는 소프트웨어에 의해 수행되는지는 기술적 해결책들의 특정 애플리케이션들 및 설계 제약 조건들에 좌우된다. 본 기술분야의 통상의 기술자는 각각의 특정 애플리케이션에 대해 설명되는 기능들을 구현하기 위해 상이한 방법들을 사용할 수 있지만, 이러한 구현이 본 발명의 범위를 벗어나는 것으로 고려되어서는 안 된다.
본 출원의 실시예는 전자 디바이스를 추가로 제공한다. 전자 디바이스는 단말 디바이스일 수 있거나, 단말 디바이스에 내장된 회로 디바이스일 수 있다. 디바이스는 전술한 방법 실시예들에서의 기능들/단계들을 수행하도록 구성될 수 있다.
도 19에 도시된 바와 같이, 전자 디바이스(900)는 프로세서(910) 및 송수신기(920)를 포함한다. 선택적으로, 전자 디바이스(900)는 메모리(930)를 추가로 포함할 수 있다. 프로세서(910), 송수신기(920) 및 메모리(930)는 내부 연결 경로를 통해 서로 통신하여 제어 신호 및/또는 데이터 신호를 전송할 수 있다. 메모리(930)는 컴퓨터 프로그램을 저장하도록 구성된다. 프로세서(910)는 메모리(930) 내의 컴퓨터 프로그램을 호출하고 실행하도록 구성된다.
선택적으로, 전자 디바이스(900)는 송수신기(920)에 의해 출력되는 무선 신호를 송신하도록 구성되는 안테나(940)를 추가로 포함할 수 있다.
프로세서(910) 및 메모리(930)는 하나의 처리 장치, 또는 더 일반적으로는 서로 독립적인 컴포넌트들에 통합될 수 있다. 프로세서(910)는 전술한 기능들을 구현하기 위해 메모리(930)에 저장된 프로그램 코드를 실행하도록 구성된다. 특정 구현에서, 메모리(930)는 또한 프로세서(910)에 통합될 수 있거나, 프로세서(910)와 독립적일 수 있다. 프로세서(910)는 도 18의 디바이스(800) 내의 처리 유닛(803)에 대응할 수 있다.
또한, 전자 디바이스(900)의 기능들을 개선하기 위해, 전자 디바이스(900)는 입력 유닛(960), 디스플레이 유닛(970), 오디오 회로(980), 카메라(990), 센서(901) 등 중 하나 이상을 추가로 포함할 수 있다. 오디오 회로는 스피커(982), 마이크로폰(984) 등을 추가로 포함할 수 있다. 디스플레이 유닛(970)은 디스플레이 스크린을 포함할 수 있고, 디스플레이 유닛(970)은 도 18의 디바이스(800) 내의 검출 유닛(801)에 대응할 수 있다.
선택적으로, 전자 디바이스(900)는 단말 디바이스 내의 다양한 디바이스들 또는 회로들에 전력을 공급하도록 구성된 전원(950)을 추가로 포함할 수 있다.
도 19에 도시된 전자 디바이스(900)는 도 4 내지 도 17에 도시된 방법 실시예들에서의 프로세스들을 구현할 수 있다는 것을 이해해야 한다. 전자 디바이스(900) 내의 모듈들의 동작들 및/또는 기능들은 전술한 방법 실시예들에서 대응하는 절차들을 구현하도록 개별적으로 의도된다. 세부 사항에 대해, 전술된 방법 실시예들의 설명들을 참조한다. 반복을 피하기 위해, 여기서는 상세한 설명들이 생략된다.
도 19에 도시된 전자 디바이스(900) 내의 프로세서(910)는 시스템 온 칩(system on a chip, SOC)일 수 있다는 것을 이해해야 한다. 프로세서(910)는 도 3에 도시된 중앙 처리 유닛(central processing unit, CPU) 및 신경망 처리 유닛(NPU)(30)을 포함할 수 있다. 프로세서(910)는 다른 타입의 프로세서를 추가로 포함할 수 있다. CPU는 호스트 CPU로 지칭될 수 있다. 신경망 처리 유닛(NPU)(30)은 코프로세서로서 호스트 CPU(Host CPU)에 장착되고, 호스트 CPU는 태스크를 할당한다. 프로세서들은 전술한 방법 절차를 구현하기 위해 함께 작동하고, 각각의 프로세서는 소프트웨어 드라이버들의 일부를 선택적으로 실행할 수 있다.
예를 들어, 도 4의 410 내지 430은 CPU에 의해 수행될 수 있거나, DSP에 의해 수행될 수 있다. 440은 NPU 또는 GPU(30)에 의해 수행될 수 있다.
결론적으로, 프로세서(910) 내의 일부 프로세서들 또는 처리 유닛들은 전술한 방법 절차를 구현하기 위해 함께 작동할 수 있고, 프로세서들 또는 처리 유닛들에 대응하는 소프트웨어 프로그램들은 메모리(930)에 저장될 수 있다. NPU(30)는 단지 예로서 사용된다. 실제 신경망 기능은 NPU(30)이외의 처리 디바이스에 의해 수행될 수 있다. 예를 들어, 그래픽 처리 유닛(graphics processing unit, GPU)이 또한 신경망 처리를 위해 사용될 수 있다. 이는 이 실시예에서 제한되지 않는다.
이 출원은 컴퓨터 판독가능 저장 매체를 추가로 제공한다. 컴퓨터 판독가능 저장 매체는 명령어들을 저장한다. 명령어들이 컴퓨터 상에서 실행될 때, 컴퓨터는 도 4 또는 도 9에 도시된 이미지 디스플레이 방법의 단계들을 수행할 수 있게 된다.
본 출원은 명령어들을 포함하는 컴퓨터 프로그램 제품을 추가로 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 또는 적어도 하나의 프로세서 상에서 실행될 때, 컴퓨터는 도 4 또는 도 9에 도시된 이미지 디스플레이 방법의 단계들을 수행할 수 있게 된다.
본 출원은 프로세서를 포함하는 칩을 추가로 제공한다. 프로세서는 메모리에 저장된 컴퓨터 프로그램을 판독하고 컴퓨터 프로그램을 실행하여, 본 출원에서 제공되는 이미지 디스플레이 방법에서 대응하는 동작 및/또는 절차를 수행하도록 구성된다.
선택적으로, 칩은 메모리를 추가로 포함한다. 메모리 및 프로세서는 회로 또는 배선을 사용하여 메모리에 연결된다. 프로세서는 메모리 내의 컴퓨터 프로그램을 판독 및 실행하도록 구성된다. 또한, 선택적으로, 칩은 통신 인터페이스를 포함한다. 프로세서는 통신 인터페이스에 연결된다. 통신 인터페이스는 처리될 필요가 있는 데이터 및/또는 정보를 수신하도록 구성된다. 프로세서는 통신 인터페이스로부터 데이터 및/또는 정보를 획득하고, 데이터 및/또는 정보를 처리한다. 통신 인터페이스는 입력/출력 인터페이스일 수 있다.
전술한 실시예들에서, 프로세서(910)는, 예를 들어, 중앙 처리 유닛(central processing unit, CPU), 마이크로프로세서, 마이크로컨트롤러, 또는 디지털 신호 프로세서를 포함할 수 있고, GPU, NPU, 및 ISP를 추가로 포함할 수 있다. 프로세서는 필요한 하드웨어 가속기 또는 논리 처리 하드웨어 회로, 예를 들어, 애플리케이션 특정 집적 회로(application-specific integrated circuit, ASIC), 또는 본 출원에서의 기술적 해결책들을 수행하기 위해 프로그램들을 제어하도록 구성된 하나 이상의 집적 회로를 추가로 포함할 수 있다. 또한, 프로세서는 하나 이상의 소프트웨어 프로그램을 동작시키는 기능을 가질 수 있다. 소프트웨어 프로그램들은 메모리에 저장될 수 있다.
메모리는 정적 정보 및 명령어들을 저장할 수 있는 판독-전용 메모리(read-only memory, ROM), 다른 타입의 정적 저장 디바이스, 정보 및 명령어들을 저장할 수 있는 랜덤 액세스 메모리(random access memory, RAM) 또는 다른 타입의 동적 저장 디바이스일 수 있거나, 또는 전기적 소거가능 프로그램가능 판독-전용 메모리(electrically erasable programmable read-only memory, EEPROM), 콤팩트 디스크 판독-전용 메모리(compact disc read-only memory, CD-ROM) 또는 다른 콤팩트 디스크 저장 매체, 또는 광 디스크 저장 매체(콤팩트 광 디스크, 레이저 디스크, 광 디스크, 디지털 다기능 광 디스크, 블루레이 디스크 등을 포함함), 자기 디스크 저장 매체, 또는 다른 자기 저장 디바이스, 예상되는 프로그램 코드를 명령어들 또는 데이터 구조의 형태로 운반 또는 저장하기 위해 사용될 수 있는 그리고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체 등일 수 있다.
본 출원의 실시예들에서, 용어 "적어도 하나"는 하나 이상을 의미하고, 용어 "복수의"는 둘 이상을 의미한다. 용어 "및/또는"은 연관된 대상들을 설명하기 위한 연관 관계를 설명하고 3개의 관계가 존재할 수 있다는 것을 나타낸다. 예를 들어, A 및/또는 B는 다음 세 가지 경우를 표현할 수 있다: A만 존재하는 것, A와 B 둘 다 존재하는 것, 및 B만 존재하는 것. A 및 B는 단수 또는 복수일 수 있다. 문자 "/"는 일반적으로 연관된 대상들 간의 "또는" 관계를 지시한다. 용어 "다음 중 적어도 하나의 항목" 또는 그의 유사한 표현은 단수 항목 또는 복수 항목의 임의의 조합을 포함하는 항목들의 임의의 조합을 의미한다. 예를 들어, a, b, 및 c 중 적어도 하나는 a, b, c, a 및 b, a 및 c, b 및 c, 또는 a, b, 및 c를 지시할 수 있고, 여기서 a, b, 및 c는 단수 또는 복수일 수 있다.
본 기술분야의 통상의 기술자는 본 명세서에 개시된 실시예들에서 설명된 유닛들, 알고리즘들, 및 단계들이 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합에 의해 구현될 수 있다는 것을 알 수 있다. 기능들이 하드웨어 또는 소프트웨어에 의해 수행되는지는 기술적 해결책들의 특정 애플리케이션들 및 설계 제약 조건들에 좌우된다. 본 기술분야의 통상의 기술자는 각각의 특정 애플리케이션에 대해 설명되는 기능들을 구현하기 위해 상이한 방법들을 사용할 수 있지만, 이러한 구현이 본 발명의 범위를 벗어나는 것으로 고려되어서는 안 된다.
본 기술분야의 통상의 기술자에게는, 편리하고 간단한 설명을 위해, 전술한 시스템, 장치 및 유닛의 상세한 작동 프로세스에 대해서는 전술한 방법 실시예들에서의 대응하는 프로세스를 참조하고, 세부 사항은 본 명세서에서 다시 설명되지는 않는다는 점이 명백하게 이해될 수 있다.
본 출원의 실시예들에서, 기능들 중 임의의 것이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용될 때, 기능들은 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본 출원의 기술적 해결책들은 본질적으로, 또는 종래 기술에 기여하는 부분은, 또는 기술적 해결책들의 전부 또는 일부는, 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고,(퍼스널 컴퓨터, 서버, 네트워크 디바이스일 수 있는) 컴퓨터 디바이스에게 본 출원의 실시예들에서 설명된 방법들의 단계들의 전부 또는 일부를 수행하라고 지시하기 위한 여러 명령어들을 포함한다. 전술한 저장 매체는 USB 플래시 드라이브, 착탈 가능 하드 디스크, 판독 전용 메모리(read-only memory, ROM), 랜덤 액세스 메모리(random access memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
전술한 설명들은 단지 본 출원의 특정 구현들이다. 본 출원에서 개시되는 기술적 범위 내에서 본 기술분야의 통상의 기술자에 의해 용이하게 도출되는 임의의 변형 또는 대체는 본 출원의 보호 범위 내에 있어야 한다. 본 출원의 보호 범위는 청구항들의 보호 범위에 종속될 것이다.
Claims (38)
- 디스플레이 스크린 및 카메라를 갖는 전자 디바이스에 적용되는 이미지 디스플레이 방법으로서,
사용자에 의해 카메라 기능을 인에이블하는 제1 동작을 검출하는 단계;
상기 제1 동작에 응답하여 상기 디스플레이 스크린 상에 촬영 인터페이스를 디스플레이하는 단계- 상기 촬영 인터페이스는 뷰파인더 프레임을 포함하고, 상기 뷰파인더 프레임은 제1 이미지를 포함함 -;
상기 사용자에 의해 지시되는 상기 카메라의 제2 동작을 검출하는 단계; 및
상기 제2 동작에 응답하여 상기 뷰파인더 프레임에 제2 이미지를 디스플레이하는 단계- 상기 제2 이미지는 상기 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지임 -를 포함하고; 신경망 모델이 처리 프로세스에 적용되고, 상기 신경망 모델은 상기 카메라에 의해 캡처된 상기 N개의 프레임의 원시 raw 이미지들을 입력으로서 사용하고, 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용하고; N은 2 이상의 정수인, 방법. - 제1항에 있어서,
상기 제1 이미지는 0.3 룩스 미만의 조명을 갖는 시나리오에서의 미리보기 이미지인, 방법. - 제1항 또는 제2항에 있어서,
상기 사용자에 의해 지시되는 상기 카메라의 제2 동작을 검출하는 단계는:
상기 사용자에 의해 제1 처리 모드를 지시하는 제2 동작을 검출하는 단계; 또는
상기 사용자에 의해 촬영하도록 지시하는 제2 동작을 검출하는 단계- 상기 제2 동작은 낮은 조명에서 촬영하도록 지시하기 위해 사용되는 동작임 -를 포함하는, 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 N개의 프레임의 원시 raw 이미지들은 참조 프레임 이미지 및 m개의 프레임의 처리될 이미지들을 포함하고, 상기 처리 프로세스는:
상기 참조 프레임 이미지에 기초하여 상기 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득하는 것; 및
이미지 세트 및 상기 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 것을 포함하고;
상기 이미지 세트는 상기 m개의 프레임의 등록된 이미지들과 상기 참조 프레임 이미지를 포함하고, 상기 출력 이미지는 상기 제2 이미지이거나, 상기 제2 이미지는 후처리된 출력 이미지인, 방법. - 제4항에 있어서,
상기 이미지 세트 및 상기 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 것은:
상기 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 것- 상기 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -;
상기 신경망 모델을 사용하여, 상기 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 것- 상기 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -;
상기 연관 데이터에 기초하여 각각의 프레임의 이미지의 타깃 채널 이미지를 획득하는 것- 상기 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및
상기 타깃 채널 이미지에서의 채널들을 조합하여 상기 노이즈 제거된 출력 이미지를 획득하는 것을 포함하는, 방법. - 제4항에 있어서,
상기 이미지 세트는 고스트 이미지를 추가로 포함하고, 상기 고스트 이미지는 상기 m개의 프레임의 등록된 이미지들과 상기 참조 프레임 이미지 사이의 차이로부터 획득되는, 방법. - 제6항에 있어서,
상기 이미지 세트 및 상기 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 것은:
상기 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 것- 상기 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -;
상기 신경망 모델을 사용하여, 상기 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 것- 상기 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -;
상기 연관 데이터에 기초하여 각각의 프레임의 이미지의 제1 타깃 채널 이미지를 획득하는 것- 상기 제1 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -;
상기 m개의 프레임의 등록된 이미지들의 이미지 특징들을 융합하고 평균 값을 계산하여 평균 이미지를 획득하는 것;
상기 평균 이미지에서의 컬러 채널들을 분리하여 채널 평균 이미지를 획득하는 것- 상기 채널 평균 이미지는 제1 채널의 평균 이미지, 제2 채널의 평균 이미지, 및 제3 채널의 평균 이미지를 포함함 -;
상기 채널 평균 이미지 및 상기 대응하는 제1 타깃 채널 이미지의 특징들을 중첩하여 제2 타깃 채널 이미지를 획득하는 것; 및
상기 제2 타깃 채널 이미지에서의 채널들을 조합하여 상기 노이즈 제거된 출력 이미지를 획득하는 것을 포함하는, 방법. - 제5항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 채널 이미지, 상기 제2 채널 이미지, 및 상기 제3 채널 이미지는 R 채널 이미지, Y 채널 이미지, 및 B 채널 이미지를 포함하거나
- 상기 Y 채널 이미지는 Yb 채널 이미지 및 Yr 채널 이미지를 포함함 -; 또는
상기 제1 채널 이미지, 상기 제2 채널 이미지, 및 상기 제3 채널 이미지는 R 채널 이미지, G 채널 이미지, 및 B 채널 이미지를 포함하고, 상기 G 채널 이미지는 Gb 채널 이미지 및 Gr 채널 이미지를 포함하는, 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 N개의 프레임의 원시 이미지들은 베이어 포맷 이미지들인, 방법. - 제4항 내지 제9항 중 어느 한 항에 있어서,
상기 후처리는:
상기 출력 이미지에 대해 동적 범위 압축 DRC 처리를 수행하여 고도의 동적 특징 이미지를 획득하는 것;
상기 고도의 동적 특징 이미지에 대해 화이트 밸런스 AWB 처리를 수행하여 컬러 보정된 이미지를 획득하는 것; 및
상기 컬러 보정된 이미지에 대해 이미지 신호 처리를 수행하여 상기 제2 이미지를 획득하는 것을 포함하는, 방법. - 카메라를 갖는 전자 디바이스에 적용되는 이미지 디스플레이 방법으로서,
상기 전자 디바이스가 매우 낮은 조명 시나리오(very low-illumination scenario)에 있다고 검출하는 단계- 상기 매우 낮은 조명 시나리오는 0.3 룩스 미만의 조명을 갖는 시나리오를 포함함 -; 및
상기 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 신경망 모델을 사용하여 처리하여, 노이즈 제거된 출력 이미지를 획득하는 단계- 상기 신경망 모델은 상기 카메라에 의해 캡처된 상기 N개의 프레임의 원시 raw 이미지들을 입력으로서 사용하고, 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용하고; N은 2 이상의 정수인, 방법. - 제11항에 있어서,
상기 N개의 프레임의 원시 raw 이미지들은 참조 프레임 이미지 및 m개의 프레임의 처리될 이미지들을 포함하고, 상기 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 신경망 모델을 사용하여 처리하여, 노이즈 제거된 출력 이미지를 획득하는 단계는:
상기 참조 프레임 이미지에 기초하여 상기 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득하는 단계; 및
이미지 세트 및 상기 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 단계를 포함하고;
상기 이미지 세트는 상기 m개의 프레임의 등록된 이미지들과 상기 참조 프레임 이미지를 포함하고, 상기 출력 이미지는 후처리된 이미지인, 방법. - 제12항에 있어서,
상기 이미지 세트 및 상기 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 단계는:
상기 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 단계- 상기 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -;
상기 신경망 모델을 사용하여, 상기 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 단계 - 상기 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -;
상기 연관 데이터에 기초하여 각각의 프레임의 이미지의 타깃 채널 이미지를 획득하는 단계- 상기 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및
상기 타깃 채널 이미지에서의 채널들을 조합하여 상기 노이즈 제거된 출력 이미지를 획득하는 단계를 포함하는, 방법. - 제12항에 있어서,
상기 이미지 세트는 고스트 이미지를 추가로 포함하고, 상기 고스트 이미지는 상기 m개의 프레임의 등록된 이미지들과 상기 참조 프레임 이미지 사이의 차이로부터 획득되는, 방법. - 제14항에 있어서,
상기 이미지 세트 및 상기 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 단계는:
상기 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 단계- 상기 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -;
상기 신경망 모델을 사용하여, 상기 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 단계- 상기 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -;
상기 연관 데이터에 기초하여 각각의 프레임의 이미지의 제1 타깃 채널 이미지를 획득하는 단계- 상기 제1 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -;
m개의 프레임의 등록된 이미지들의 이미지 특징들을 융합하고 평균 값을 계산하여 평균 이미지를 획득하는 단계;
상기 평균 이미지에서의 컬러 채널들을 분리하여 채널 평균 이미지를 획득하는 단계- 상기 채널 평균 이미지는 제1 채널의 평균 이미지, 제2 채널의 평균 이미지, 및 제3 채널의 평균 이미지를 포함함 -;
상기 채널 평균 이미지 및 상기 대응하는 제1 타깃 채널 이미지의 특징들을 중첩하여 제2 타깃 채널 이미지를 획득하는 단계; 및
상기 제2 타깃 채널 이미지에서의 채널들을 조합하여 상기 노이즈 제거된 출력 이미지를 획득하는 단계를 포함하는, 방법. - 제13항 내지 제15항 중 어느 한 항에 있어서,
상기 제1 채널 이미지, 상기 제2 채널 이미지, 및 상기 제3 채널 이미지는 R 채널 이미지, Y 채널 이미지, 및 B 채널 이미지를 포함하거나
- 상기 Y 채널 이미지는 Yb 채널 이미지 및 Yr 채널 이미지를 포함함 -; 또는
상기 제1 채널 이미지, 상기 제2 채널 이미지, 및 상기 제3 채널 이미지는 R 채널 이미지, G 채널 이미지, 및 B 채널 이미지를 포함하고, 상기 G 채널 이미지는 Gb 채널 이미지 및 Gr 채널 이미지를 포함하는, 방법. - 제11항 내지 제16항 중 어느 한 항에 있어서,
상기 N개의 프레임의 원시 이미지들은 베이어 포맷 이미지들인, 방법. - 제12항 내지 제17항 중 어느 한 항에 있어서,
상기 후처리는:
상기 출력 이미지에 대해 동적 범위 압축 DRC 처리를 수행하여 고도의 동적 특징 이미지를 획득하는 것;
상기 고도의 동적 특징 이미지에 대해 화이트 밸런스 AWB 처리를 수행하여 컬러 보정된 이미지를 획득하는 것; 및
상기 컬러 보정된 이미지에 대해 이미지 신호 처리를 수행하여 상기 전자 디바이스의 디스플레이 스크린 상에 디스플레이된 이미지를 획득하는 것을 추가로 포함하는, 방법. - 이미지 디스플레이 디바이스로서,
디스플레이 스크린, 카메라, 하나 이상의 프로세서, 메모리, 복수의 애플리케이션 프로그램, 및 하나 이상의 컴퓨터 프로그램을 포함하고, 상기 하나 이상의 컴퓨터 프로그램은 상기 메모리에 저장되고, 상기 하나 이상의 컴퓨터 프로그램은 명령어들을 포함하고, 상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 다음의 동작들:
사용자에 의해 카메라 기능을 인에이블하는 제1 동작을 검출하는 동작;
상기 제1 동작에 응답하여 상기 디스플레이 스크린 상에 촬영 인터페이스를 디스플레이하는 동작- 상기 촬영 인터페이스는 뷰파인더 프레임을 포함하고, 상기 뷰파인더 프레임은 제1 이미지를 포함함 -;
상기 사용자에 의해 지시되는 상기 카메라의 제2 동작을 검출하는 동작; 및
상기 제2 동작에 응답하여 상기 뷰파인더 프레임에 제2 이미지를 디스플레이하는 동작- 상기 제2 이미지는 상기 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 처리함으로써 획득된 이미지임 -을 수행할 수 있게 되고; 신경망 모델이 처리 프로세스에 적용되고, 상기 신경망 모델은 상기 카메라에 의해 캡처된 상기 N개의 프레임의 원시 raw 이미지들을 입력으로서 사용하고, 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용하고; N은 2 이상의 정수인, 디바이스. - 제19항에 있어서,
상기 제1 이미지는 0.3 룩스 미만의 조명을 갖는 시나리오에서의 미리보기 이미지인, 디바이스. - 제19항 또는 제20항에 있어서,
상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 구체적으로 다음의 단계들:
상기 사용자에 의해 제1 처리 모드를 지시하는 제2 동작을 검출하는 단계; 또는
상기 사용자에 의해 촬영하도록 지시하는 제2 동작을 검출하는 단계- 상기 제2 동작은 낮은 조명에서 촬영하도록 지시하기 위해 사용되는 동작임 -를 수행할 수 있게 되는, 디바이스. - 제19항 내지 제21항 중 어느 한 항에 있어서,
상기 N개의 프레임의 원시 raw 이미지들은 참조 프레임 이미지 및 m개의 프레임의 처리될 이미지들을 포함하고, 상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 구체적으로 다음의 단계들:
상기 참조 프레임 이미지에 기초하여 상기 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득하는 단계; 및
이미지 세트 및 상기 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 단계를 수행할 수 있게 되고;
상기 이미지 세트는 상기 m개의 프레임의 등록된 이미지들과 상기 참조 프레임 이미지를 포함하고, 상기 출력 이미지는 상기 제2 이미지이거나, 상기 제2 이미지는 후처리된 출력 이미지인, 디바이스. - 제22항에 있어서,
상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 구체적으로 다음의 단계들:
상기 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 단계- 상기 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -;
상기 신경망 모델을 사용하여, 상기 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 단계- 상기 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -;
상기 연관 데이터에 기초하여 각각의 프레임의 이미지의 타깃 채널 이미지를 획득하는 단계- 상기 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및
상기 타깃 채널 이미지에서의 채널들을 조합하여 상기 노이즈 제거된 출력 이미지를 획득하는 단계를 수행할 수 있게 되는, 디바이스. - 제22항에 있어서,
상기 이미지 세트는 고스트 이미지를 추가로 포함하고, 상기 고스트 이미지는 상기 m개의 프레임의 등록된 이미지들과 상기 참조 프레임 이미지 사이의 차이로부터 획득되는, 디바이스. - 제24항에 있어서,
상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 구체적으로 다음의 단계들:
상기 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 단계- 상기 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -;
상기 신경망 모델을 사용하여, 상기 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 단계- 상기 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -;
상기 연관 데이터에 기초하여 각각의 프레임의 이미지의 제1 타깃 채널 이미지를 획득하는 단계- 상기 제1 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -;
m개의 프레임의 등록된 이미지들의 이미지 특징들을 융합하고 평균 값을 계산하여 평균 이미지를 획득하는 단계;
상기 평균 이미지에서의 컬러 채널들을 분리하여 채널 평균 이미지를 획득하는 단계- 상기 채널 평균 이미지는 제1 채널의 평균 이미지, 제2 채널의 평균 이미지, 및 제3 채널의 평균 이미지를 포함함 -;
상기 채널 평균 이미지 및 상기 대응하는 제1 타깃 채널 이미지의 특징들을 중첩하여 제2 타깃 채널 이미지를 획득하는 단계; 및
상기 제2 타깃 채널 이미지에서의 채널들을 조합하여 상기 노이즈 제거된 출력 이미지를 획득하는 단계를 수행할 수 있게 되는, 디바이스. - 제23항 내지 제25항 중 어느 한 항에 있어서,
상기 제1 채널 이미지, 상기 제2 채널 이미지, 및 상기 제3 채널 이미지는 R 채널 이미지, Y 채널 이미지, 및 B 채널 이미지를 포함하거나
- 상기 Y 채널 이미지는 Yb 채널 이미지 및 Yr 채널 이미지를 포함함 -; 또는
상기 제1 채널 이미지, 상기 제2 채널 이미지, 및 상기 제3 채널 이미지는 R 채널 이미지, G 채널 이미지, 및 B 채널 이미지를 포함하고, 상기 G 채널 이미지는 Gb 채널 이미지 및 Gr 채널 이미지를 포함하는, 디바이스. - 제19항 내지 제26항 중 어느 한 항에 있어서,
상기 N개의 프레임의 원시 이미지들은 베이어 포맷 이미지들인, 디바이스 방법. - 제22항 내지 제27항 중 어느 한 항에 있어서,
상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 구체적으로 다음의 단계들:
상기 출력 이미지에 대해 동적 범위 압축 DRC 처리를 수행하여 고도의 동적 특징 이미지를 획득하는 단계;
상기 고도의 동적 특징 이미지에 대해 화이트 밸런스 AWB 처리를 수행하여 컬러 보정된 이미지를 획득하는 단계; 및
상기 컬러 보정된 이미지에 대해 이미지 신호 처리를 수행하여 상기 제2 이미지를 획득하는 단계를 수행할 수 있게 되는, 디바이스. - 이미지 디스플레이 디바이스로서,
카메라, 하나 이상의 프로세서, 메모리, 복수의 애플리케이션 프로그램, 및 하나 이상의 컴퓨터 프로그램을 포함하고, 상기 하나 이상의 컴퓨터 프로그램은 상기 메모리에 저장되고, 상기 하나 이상의 컴퓨터 프로그램은 명령어들을 포함하고, 상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 다음의 동작들:
상기 이미지 디스플레이 디바이스가 매우 낮은 조명 시나리오에 있다고 검출하는 동작- 상기 매우 낮은 조명 시나리오는 0.3 룩스 미만의 조명을 갖는 시나리오를 포함함 -; 및
상기 카메라에 의해 캡처된 N개의 프레임의 원시 raw 이미지들을 신경망 모델을 사용하여 처리하여, 노이즈 제거된 출력 이미지를 획득하는 동작을 수행할 수 있게 되고, 상기 신경망 모델은 상기 카메라에 의해 캡처된 상기 N개의 프레임의 원시 raw 이미지들을 입력으로서 사용하고, 노이즈가 타깃 임계값보다 낮은 이미지를 출력 목표로서 사용하고; N은 2 이상의 정수인, 디바이스. - 제29항에 있어서,
상기 N개의 프레임의 원시 raw 이미지들은 참조 프레임 이미지 및 m개의 프레임의 처리될 이미지들을 포함하고, 상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 구체적으로 다음의 단계들:
상기 참조 프레임 이미지에 기초하여 상기 m개의 프레임의 처리될 이미지들에 대해 등록 처리를 수행하여, m개의 프레임의 등록된 이미지들을 획득하는 단계; 및
이미지 세트 및 상기 신경망 모델에 기초하여, 노이즈 제거된 출력 이미지를 획득하는 단계를 수행할 수 있게 되고;
상기 이미지 세트는 상기 m개의 프레임의 등록된 이미지들과 상기 참조 프레임 이미지를 포함하고, 상기 출력 이미지는 후처리된 이미지인, 디바이스. - 제30항에 있어서,
상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 구체적으로 다음의 단계들:
상기 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 단계- 상기 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -;
상기 신경망 모델을 사용하여, 상기 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 단계- 상기 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -;
상기 연관 데이터에 기초하여 각각의 프레임의 이미지의 타깃 채널 이미지를 획득하는 단계- 상기 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -; 및
상기 타깃 채널 이미지에서의 채널들을 조합하여 상기 노이즈 제거된 출력 이미지를 획득하는 단계를 수행할 수 있게 되는, 디바이스. - 제30항에 있어서,
상기 이미지 세트는 고스트 이미지를 추가로 포함하고, 상기 고스트 이미지는 상기 m개의 프레임의 등록된 이미지들과 상기 참조 프레임 이미지 사이의 차이로부터 획득되는, 디바이스. - 제32항에 있어서,
상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 구체적으로 다음의 단계들:
상기 이미지 세트에서의 각각의 프레임의 이미지에서 컬러 채널들을 분리하여 각각의 프레임의 이미지에 대응하는 채널 이미지를 획득하는 단계- 상기 채널 이미지는 제1 채널 이미지, 제2 채널 이미지, 및 제3 채널 이미지를 포함함 -;
상기 신경망 모델을 사용하여, 상기 이미지 세트에 대응하는 채널 이미지 세트를 처리하여, 연관 데이터를 획득하는 단계- 상기 연관 데이터는 이미지들 간의 연관 정보, 이미지에서의 상이한 채널들 간의 연관 정보, 및 상이한 이미지들에서의 채널들 간의 연관 정보 중 하나 이상을 포함함 -;
상기 연관 데이터에 기초하여 각각의 프레임의 이미지의 제1 타깃 채널 이미지를 획득하는 단계- 상기 제1 타깃 채널 이미지는 제1 채널의 노이즈 이미지, 제2 채널의 노이즈 이미지, 및 제3 채널의 노이즈 이미지를 포함함 -;
m개의 프레임의 등록된 이미지들의 이미지 특징들을 융합하고 평균 값을 계산하여 평균 이미지를 획득하는 단계;
상기 평균 이미지에서의 컬러 채널들을 분리하여 채널 평균 이미지를 획득하는 단계- 상기 채널 평균 이미지는 제1 채널의 평균 이미지, 제2 채널의 평균 이미지, 및 제3 채널의 평균 이미지를 포함함 -;
상기 채널 평균 이미지 및 상기 대응하는 제1 타깃 채널 이미지의 특징들을 중첩하여 제2 타깃 채널 이미지를 획득하는 단계; 및
상기 제2 타깃 채널 이미지에서의 채널들을 조합하여 상기 노이즈 제거된 출력 이미지를 획득하는 단계를 수행할 수 있게 되는, 디바이스. - 제31항 내지 제33항 중 어느 한 항에 있어서,
상기 제1 채널 이미지, 상기 제2 채널 이미지, 및 상기 제3 채널 이미지는 R 채널 이미지, Y 채널 이미지, 및 B 채널 이미지를 포함하거나
- 상기 Y 채널 이미지는 Yb 채널 이미지 및 Yr 채널 이미지를 포함함 -; 또는
상기 제1 채널 이미지, 상기 제2 채널 이미지, 및 상기 제3 채널 이미지는 R 채널 이미지, G 채널 이미지, 및 B 채널 이미지를 포함하고, 상기 G 채널 이미지는 Gb 채널 이미지 및 Gr 채널 이미지를 포함하는, 디바이스. - 제29항 내지 제34항 중 어느 한 항에 있어서,
상기 N개의 프레임의 원시 이미지들은 베이어 포맷 이미지들인, 디바이스. - 제30항 내지 제35항 중 어느 한 항에 있어서,
상기 명령어들이 상기 디바이스에 의해 실행될 때, 상기 디바이스는 구체적으로 다음의 단계들:
상기 출력 이미지에 대해 동적 범위 압축 DRC 처리를 수행하여 고도의 동적 특징 이미지를 획득하는 단계;
상기 고도의 동적 특징 이미지에 대해 화이트 밸런스 AWB 처리를 수행하여 컬러 보정된 이미지를 획득하는 단계; 및
상기 컬러 보정된 이미지에 대해 이미지 신호 처리를 수행하여 상기 이미지 디스플레이 디바이스의 디스플레이 스크린 상에 디스플레이된 이미지를 획득하는 단계를 수행할 수 있게 되는, 디바이스. - 컴퓨터 명령어들을 포함하는 컴퓨터 저장 매체로서,
상기 컴퓨터 명령어들이 전자 디바이스 상에서 실행될 때, 상기 전자 디바이스는 제1항 내지 제10항 중 어느 한 항에 따른 이미지 디스플레이 방법을 수행할 수 있게 되는 컴퓨터 저장 매체. - 컴퓨터 명령어들을 포함하는 컴퓨터 저장 매체로서,
상기 컴퓨터 명령어들이 전자 디바이스 상에서 실행될 때, 상기 전자 디바이스는 제11항 내지 제18항 중 어느 한 항에 따른 이미지 디스플레이 방법을 수행할 수 있게 되는 컴퓨터 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910229696.8A CN111741211B (zh) | 2019-03-25 | 2019-03-25 | 图像显示方法和设备 |
| CN201910229696.8 | 2019-03-25 | ||
| PCT/CN2020/079620 WO2020192483A1 (zh) | 2019-03-25 | 2020-03-17 | 图像显示方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210139450A true KR20210139450A (ko) | 2021-11-22 |
| KR102574141B1 KR102574141B1 (ko) | 2023-09-06 |
Family
ID=72611333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217034592A KR102574141B1 (ko) | 2019-03-25 | 2020-03-17 | 이미지 디스플레이 방법 및 디바이스 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11882357B2 (ko) |
| EP (1) | EP3937481A4 (ko) |
| KR (1) | KR102574141B1 (ko) |
| CN (2) | CN115442515B (ko) |
| WO (1) | WO2020192483A1 (ko) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7446903B2 (ja) * | 2020-04-23 | 2024-03-11 | 株式会社日立製作所 | 画像処理装置、画像処理方法及び画像処理システム |
| US11354781B2 (en) * | 2020-07-20 | 2022-06-07 | Samsung Electronics Co., Ltd. | Single-image detail and contrast enhancement |
| CN112241721B (zh) * | 2020-10-27 | 2022-07-05 | 上海掌腾信息科技有限公司 | 基于不同波长光照射条件下实现完整掌静脉图像获取的方法 |
| CN112328234B (zh) * | 2020-11-02 | 2023-12-08 | 广州博冠信息科技有限公司 | 图像处理方法及装置 |
| KR20220081532A (ko) * | 2020-12-09 | 2022-06-16 | 에스케이하이닉스 주식회사 | 이미지 시그널 프로세서 및 이미지 처리 시스템 |
| CN114760480A (zh) * | 2021-01-08 | 2022-07-15 | 华为技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112862717B (zh) * | 2021-02-10 | 2022-09-20 | 山东英信计算机技术有限公司 | 一种图像的去噪模糊化方法、系统及介质 |
| CN113112418B (zh) * | 2021-03-26 | 2023-10-10 | 浙江理工大学 | 一种低照度图像迭代增强的方法 |
| CN113066033B (zh) * | 2021-04-19 | 2023-11-17 | 智领高新科技发展(北京)有限公司 | 一种彩色图像的多阶段去噪系统及方法 |
| CN115802148B (zh) * | 2021-09-07 | 2024-04-12 | 荣耀终端有限公司 | 一种获取图像的方法及电子设备 |
| CN114727082B (zh) * | 2022-03-10 | 2024-01-30 | 杭州中天微系统有限公司 | 图像处理装置、图像信号处理器、图像处理方法和介质 |
| US20230289930A1 (en) * | 2022-03-10 | 2023-09-14 | Samsung Electronics Company, Ltd. | Systems and Methods for Lightweight Machine Learning for Image Illumination Control |
| CN114734717B (zh) * | 2022-04-06 | 2023-07-14 | 深圳市先地图像科技有限公司 | 一种tiff图像曝光方法 |
| CN115065761B (zh) * | 2022-06-13 | 2023-09-12 | 中亿启航数码科技(北京)有限公司 | 一种多镜头扫描装置及其扫描方法 |
| CN117119314A (zh) * | 2023-02-25 | 2023-11-24 | 荣耀终端有限公司 | 一种图像处理方法及相关电子设备 |
| CN117409263B (zh) * | 2023-12-15 | 2024-04-05 | 成都时代星光科技有限公司 | 一种无人机自动图像校正引导降落方法和计算机存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050047672A1 (en) * | 2003-06-17 | 2005-03-03 | Moshe Ben-Ezra | Method for de-blurring images of moving objects |
| JP4421793B2 (ja) * | 2001-07-13 | 2010-02-24 | 富士フイルム株式会社 | ディジタルカメラ |
| US20150348242A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Scene Motion Correction In Fused Image Systems |
| CN108391060A (zh) * | 2018-03-26 | 2018-08-10 | 华为技术有限公司 | 一种图像处理方法、图像处理装置和终端 |
| CN108391035A (zh) * | 2018-03-26 | 2018-08-10 | 华为技术有限公司 | 一种拍摄方法、装置与设备 |
| KR20180095059A (ko) * | 2015-12-28 | 2018-08-24 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 이미지 융합 방법 및 장치, 및 단말 디바이스 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2297939B1 (en) * | 2008-06-19 | 2018-04-18 | Panasonic Intellectual Property Management Co., Ltd. | Method and apparatus for motion blur and ghosting prevention in imaging system |
| TW201036453A (en) * | 2009-03-25 | 2010-10-01 | Micro Star Int Co Ltd | Method and electronic device to produce high dynamic range image |
| CN101976455B (zh) * | 2010-10-08 | 2012-02-01 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
| CN102572450A (zh) * | 2012-01-10 | 2012-07-11 | 中国传媒大学 | 基于sift特征与grnn网络的立体视频颜色校正方法 |
| CN105141849B (zh) * | 2015-09-21 | 2019-03-01 | 济南中维世纪科技有限公司 | 一种提高夜视聚焦统计信息准确度的方法及系统 |
| CN107690804B (zh) * | 2015-10-28 | 2020-08-25 | 华为技术有限公司 | 一种图像处理方法及用户终端 |
| WO2017215767A1 (en) | 2016-06-17 | 2017-12-21 | Huawei Technologies Co., Ltd. | Exposure-related intensity transformation |
| CN107123089B (zh) * | 2017-04-24 | 2023-12-12 | 中国科学院遥感与数字地球研究所 | 基于深度卷积网络的遥感图像超分辨重建方法及系统 |
| US10609286B2 (en) * | 2017-06-13 | 2020-03-31 | Adobe Inc. | Extrapolating lighting conditions from a single digital image |
| CN109120937B (zh) * | 2017-06-26 | 2020-03-27 | 杭州海康威视数字技术股份有限公司 | 一种视频编码方法、解码方法、装置及电子设备 |
| US11517197B2 (en) * | 2017-10-06 | 2022-12-06 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction |
| CN108694705B (zh) * | 2018-07-05 | 2020-12-11 | 浙江大学 | 一种多帧图像配准与融合去噪的方法 |
| CN109146824A (zh) * | 2018-09-27 | 2019-01-04 | 福州瑞芯微电子股份有限公司 | 一种图像降噪处理方法及一种存储设备 |
| CN109089053B (zh) * | 2018-10-23 | 2021-03-05 | Oppo广东移动通信有限公司 | 图像传输方法、装置、电子设备和存储介质 |
| CN109462732B (zh) * | 2018-10-29 | 2021-01-15 | 努比亚技术有限公司 | 一种图像处理方法、设备及计算机可读存储介质 |
-
2019
- 2019-03-25 CN CN202210870947.2A patent/CN115442515B/zh active Active
- 2019-03-25 CN CN201910229696.8A patent/CN111741211B/zh active Active
-
2020
- 2020-03-17 EP EP20777696.4A patent/EP3937481A4/en active Pending
- 2020-03-17 WO PCT/CN2020/079620 patent/WO2020192483A1/zh unknown
- 2020-03-17 KR KR1020217034592A patent/KR102574141B1/ko active IP Right Grant
-
2021
- 2021-09-24 US US17/484,061 patent/US11882357B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4421793B2 (ja) * | 2001-07-13 | 2010-02-24 | 富士フイルム株式会社 | ディジタルカメラ |
| US20050047672A1 (en) * | 2003-06-17 | 2005-03-03 | Moshe Ben-Ezra | Method for de-blurring images of moving objects |
| US20150348242A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Scene Motion Correction In Fused Image Systems |
| KR20180095059A (ko) * | 2015-12-28 | 2018-08-24 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 이미지 융합 방법 및 장치, 및 단말 디바이스 |
| CN108391060A (zh) * | 2018-03-26 | 2018-08-10 | 华为技术有限公司 | 一种图像处理方法、图像处理装置和终端 |
| CN108391035A (zh) * | 2018-03-26 | 2018-08-10 | 华为技术有限公司 | 一种拍摄方法、装置与设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111741211A (zh) | 2020-10-02 |
| US20220014684A1 (en) | 2022-01-13 |
| US11882357B2 (en) | 2024-01-23 |
| EP3937481A4 (en) | 2022-04-20 |
| WO2020192483A1 (zh) | 2020-10-01 |
| EP3937481A1 (en) | 2022-01-12 |
| CN111741211B (zh) | 2022-07-29 |
| CN115442515A (zh) | 2022-12-06 |
| CN115442515B (zh) | 2024-02-02 |
| KR102574141B1 (ko) | 2023-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102574141B1 (ko) | 이미지 디스플레이 방법 및 디바이스 | |
| US11107205B2 (en) | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames | |
| US11457138B2 (en) | Method and device for image processing, method for training object detection model | |
| US11037278B2 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
| US10708525B2 (en) | Systems and methods for processing low light images | |
| US20230214976A1 (en) | Image fusion method and apparatus and training method and apparatus for image fusion model | |
| US11948279B2 (en) | Method and device for joint denoising and demosaicing using neural network | |
| US11276177B1 (en) | Segmentation for image effects | |
| WO2020199831A1 (zh) | 图像处理模型的训练方法、图像处理方法、网络设备及存储介质 | |
| US20210004962A1 (en) | Generating effects on images using disparity guided salient object detection | |
| CN112446834A (zh) | 图像增强方法和装置 | |
| CN112581379A (zh) | 图像增强方法以及装置 | |
| KR102262671B1 (ko) | 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체 | |
| CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
| CN113379609B (zh) | 一种图像处理方法、存储介质及终端设备 | |
| Xue | Blind image deblurring: a review | |
| WO2022193132A1 (zh) | 图像检测方法、装置和电子设备 | |
| WO2023028866A1 (zh) | 图像处理方法、装置和车辆 | |
| KR102617391B1 (ko) | 이미지 신호 프로세서의 제어 방법 및 이를 수행하는 제어 장치 | |
| CN113379608A (zh) | 一种图像处理方法、存储介质及终端设备 | |
| KR20220013290A (ko) | 오토포커스를 보상하는 방법 및 오토포커스를 보상하는 전자 장치 | |
| CN117455785A (zh) | 图像处理方法、装置及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |