KR102525293B1 - 촬영 방법 및 장치, 단말기, 저장 매체 - Google Patents
촬영 방법 및 장치, 단말기, 저장 매체 Download PDFInfo
- Publication number
- KR102525293B1 KR102525293B1 KR1020210065213A KR20210065213A KR102525293B1 KR 102525293 B1 KR102525293 B1 KR 102525293B1 KR 1020210065213 A KR1020210065213 A KR 1020210065213A KR 20210065213 A KR20210065213 A KR 20210065213A KR 102525293 B1 KR102525293 B1 KR 102525293B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- fusion
- frame
- type
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 171
- 238000012545 processing Methods 0.000 claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 30
- 238000003709 image segmentation Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 6
- 230000010354 integration Effects 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 206010047571 Visual impairment Diseases 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G06T5/73—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
- H04N5/211—Ghost signal cancellation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 촬영 방법 및 장치, 단말기, 저장 매체에 관한 것이다. 상기 방법은, 촬영 명령이 검출될 경우, 멀티 프레임 이미지를 연속 수집하는 단계; 상기 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하는 단계; 상기 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력하여 융합 이미지를 획득하는 단계 - 상기 융합 이미지의 노이즈는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 노이즈보다 낮고, 상기 융합 이미지의 해상도는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 해상도보다 높음 - ; 및, 상기 융합 이미지에 대해 이미지 강조 처리를 수행하여 타겟 이미지를 획득하고 출력하는 단계;를 포함한다. 상기 방법은 집적도가 높고 처리 효과가 양호한 특성을 갖는다.
Description
본 발명은 전자 기기 기술 분야에 관한 것으로, 특히 촬영 방법 및 장치, 단말기, 저장 매체에 관한 것이다.
휴대폰 카메라 시스템이 지금까지 발전하면서, 사용자의 다양한 사진 촬영 수요를 만족시키기 위해 이미 최초의 단일 카메라에서 현재 4개의 카메라, 심지어 5개의 카메라로 진화했다. 초 해상도 알고리즘은 광학 줌에 기반하여 연속 줌과 큰 배율의 디지털 줌을 구현할 수 있다. 도 1은 광학 줌 렌즈의 예시도이다. 당해 렌즈는 5 배의 광학 줌을 할 수 있고, 초 해상도 알고리즘을 결합하면, 최고 50배의 연속 디지털 줌을 획득할 수 있기 때문에, 초 해상도 알고리즘은 단말기의 줌 기능을 향상시키는데 매우 중요하다.
초 해상도 알고리즘은 단일 프레임 초 해상도 알고리즘과 멀티 프레임 초 해상도 알고리즘으로 간단하게 나눌 수 있다. 현재 휴대폰 줌 시스템에서 광범위하게 응용되고 있는 것은 멀티 프레임 초 해상도 알고리즘이다. 다시 말하면, 촬영 버튼을 누르면 핸드폰은 멀티 프레임의 이미지를 연속으로 촬영하고, 알고리즘에 의해 멀티 프레임의 이미지가 융합되어, 고 화질의 이미지 출력이 획득된다. 멀티 프레임 초 해상도 알고리즘은 노이즈와 해석력에 있어서 단일 프레임의 초 해상도 알고리즘에 비해 현저한 이점을 가진다.
본 발명은 촬영 방법 및 장치, 단말기, 저장 매체를 제공한다.
본 발명의 실시예의 제1 양태에 따르면, 촬영 방법이 제공되는 바,
촬영 명령이 검출될 경우, 멀티 프레임 이미지를 연속 수집하는 단계;
상기 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하는 단계;
상기 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력하여 융합 이미지를 획득하는 단계 - 상기 융합 이미지의 노이즈는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 노이즈보다 낮고, 상기 융합 이미지의 해상도는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 해상도보다 높음 - ; 및,
상기 융합 이미지에 대해 이미지 강조 처리를 수행하여 타겟 이미지를 획득하고 출력하는 단계;를 포함한다.
선택적으로, 상기 이미지 융합 모델은 복수의 초 해상도 모델을 포함하되; 여기서, 상기 초 해상도 모델은 이미지 유형과 일일이 대응되고;
상기 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력하여 융합 이미지를 획득하는 단계는,
상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해 이미지 분할을 수행하여 복수의 영역 이미지를 획득하는 단계;
상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 초 해상도 모델에 입력하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하는 단계 - 상기 영역 융합 이미지의 노이즈는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 노이즈보다 낮고, 상기 영역 융합 이미지의 해상도는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 해상도보다 높음 - ; 및,
상이한 이미지 유형의 영역 융합 이미지를 융합하여, 상기 융합 이미지를 획득하는 단계;를 포함한다.
선택적으로, 상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해 이미지 분할을 수행하여 복수의 영역 이미지를 획득하는 단계는,
상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해, 상기 단일 프레임 이미지의 각 픽셀의 유형을 판단하는 단계;
각 상기 픽셀의 유형에 기반하여 상기 픽셀이 속하는 아미지 유형을 결정하는 단계; 및,
동일한 단일 프레임 이미지 중 동일한 이미지 유형에 속하는 픽셀을 동일한 영역 이미지에 분할하여 복수의 상기 영역 이미지를 획득하는 단계;를 포함한다.
선택적으로, 상기 상이한 이미지 유형의 영역 융합 이미지를 융합하여, 상기 융합 이미지를 획득하는 단계는,
상이한 유형의 영역 융합 이미지에 대응되는 영역 이미지 중 픽셀의 가중치를 기반으로, 상기 상이한 이미지 유형의 영역 융합 이미지에 대해 융합하여 상기 융합 이미지를 획득하는 단계;를 포함한다.
선택적으로, 상기 초 해상도 모델은 복수의 모듈을 포함하고, 각 모듈은 콘볼루션 레이어, 정규화 레이어 및 활성화 레이어를 포함하며;
상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 초 해상도 모델에 입력하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하는 단계는,
상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 상기 초 해상도 모델 중 콘볼루션 레이어에 입력하여, 콘볼루션 결과를 획득하는 단계;
상기 콘볼루션 결과를 정규화 레이어에 입력하여 정규화 결과를 획득하는 단계; 및,
상기 정규화 결과 및 상기 활성화 레이어에 기반하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하는 단계;를 포함하되, 여기서 상기 활성화 레이어의 입력은 상기 정규화 결과이다.
선택적으로, 상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 상기 초 해상도 모델 중 콘볼루션 레이어에 입력하여, 콘볼루션 결과를 획득하는 단계는,
상기 동일한 이미지 유형에 대응되는 초 해상도 모델 중 상기 콘볼루션 레이어의 M개의 P행, L열의 콘볼루션 커널을 M행, PХL열의 2차원 콘볼루션 행렬로 전환하는 단계 - 상기 M, P 및 L은 모두 양의 정수임 - ;
상기 콘볼루션 커널의 크기, 미리 설정 콘볼루션 슬라이딩 스텝 길이, 미리 설정 필링 크기 및 상기 복수의 영역 이미지에 기반하여, 복수의 콘볼루션될 2차원 이미지 행렬을 획득하는 단계 - 상기 콘볼루션될 2차원 이미지 행렬 중 각 열에는 PХL개의 데이터가 있고, 1열 데이터는 상기 콘볼루션 커널이 하나의 영역 이미지에서 1회의 콘볼루션 동작을 수행할 시 캡처할 데이터이며, 상기 콘볼루션될 2차원 이미지 행렬의 열수는 상기 필링된 하나의 영역 이미지가 지원하는 최대 콘볼루션 횟수임 - ; 및,
상기 2차원 콘볼루션 행렬 및 각 상기 콘볼루션될 2차원 이미지 행렬을 곱하여, 상기 콘볼루션 결과를 획득하는 단계;를 포함한다.
선택적으로, 상기 이미지 유형은,
텍스처 특징의 이미지;
색상 특징의 이미지;
형상 특징의 이미지; 및,
공간 관계의 이미지 중 적어도 하나를 포함한다.
선택적으로, 상기 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하는 단계는,
상기 멀티 프레임 이미지를 정렬하는 단계; 및,
정렬된 멀티 프레임 이미지에 대해 고스트 이미지 제거 처리를 수행하여, 상기 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하는 단계;를 포함한다.
선택적으로, 상기 융합 이미지에 대해 이미지 강조 처리를 수행하여 타겟 이미지를 획득하고 출력하는 단계는,
상기 융합 이미지에 대해 선명화 처리를 수행하여, 상기 타겟 이미지를 획득하고 출력하는 단계;를 포함한다.
본 발명의 실시예의 제2 양태에 따르면, 촬영 장치가 제공되는 바,
촬영 명령이 검출될 경우, 멀티 프레임 이미지를 연속 수집하도록 구성되는 수집 모듈;
상기 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하도록 구성되는 제거 모듈;
상기 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력하여 융합 이미지를 획득하도록 구성되는 융합 모듈 - 상기 융합 이미지의 노이즈는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 노이즈보다 낮고, 상기 융합 이미지의 해상도는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 해상도보다 높음 - ; 및,
상기 융합 이미지에 대해 이미지 강조 처리를 수행하여 타겟 이미지를 획득하고 출력하도록 구성되는 강조 모듈;을 포함한다.
선택적으로, 상기 이미지 융합 모델은 복수의 초 해상도 모델을 포함하되; 여기서 상기 초 해상도 모델은 이미지 유형과 일일이 대응되고;
상기 융합 모듈은 구체적으로, 상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해 이미지 분할을 수행하여 복수의 영역 이미지를 획득하고; 상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 초 해상도 모델에 입력하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하되, 여기서 상기 영역 융합 이미지의 노이즈는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 노이즈보다 낮고, 상기 영역 융합 이미지의 해상도는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 해상도보다 높으며; 상이한 이미지 유형의 영역 융합 이미지를 융합하여, 상기 융합 이미지를 획득하도록 구성된다.
선택적으로, 상기 융합 모듈은 구체적으로, 상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해, 상기 단일 프레임 이미지의 각 픽셀의 유형을 판단하고; 각 상기 픽셀의 유형에 기반하여 상기 픽셀이 속하는 이미지 유형을 결정하며; 동일한 단일 프레임 이미지 중 동일한 이미지 유형에 속하는 픽셀을 동일한 영역 이미지에 분할하여 복수의 상기 영역 이미지를 획득하도록 구성된다.
선택적으로, 상기 융합 모듈은 구체적으로, 상이한 유형의 영역 융합 이미지에 대응되는 영역 이미지 중 픽셀의 가중치를 기반으로, 상기 상이한 이미지 유형의 영역 융합 이미지에 대해 융합하여 상기 융합 이미지를 획득하도록 구성된다.
선택적으로, 상기 초 해상도 모델은 복수의 모듈을 포함하고, 각 모듈은 콘볼루션 레이어, 정규화 레이어 및 활성화 레이어를 포함하며;
상기 융합 모듈은 구체적으로, 상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 상기 초 해상도 모델 중 콘볼루션 레이어에 입력하여, 콘볼루션 결과를 획득하고; 상기 콘볼루션 결과를 정규화 레이어에 입력하여 정규화 결과를 획득하며; 상기 정규화 결과 및 상기 활성화 레이어에 기반하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하도록 구성되되; 여기서 상기 활성화 레이어의 입력은 상기 정규화 결과이다.
선택적으로, 상기 융합 모듈은 구체적으로, 상기 동일한 이미지 유형에 대응되는 초 해상도 모델 중 상기 콘볼루션 레이어의 M개의 P행, L열의 콘볼루션 커널을 M행, PХL열의 2차원 콘볼루션 행렬로 전환하되, 여기서 상기 M, P 및 L은 모두 양의 정수이고; 상기 콘볼루션 커널의 크기, 미리 설정 콘볼루션 슬라이딩 스텝 길이, 미리 설정 필링 크기 및 상기 복수의 영역 이미지에 기반하여, 복수의 콘볼루션될 2차원 이미지 행렬을 획득하되, 여기서 상기 콘볼루션될 2차원 이미지 행렬 중 각 열에는 PХL개의 데이터가 있고, 1열 데이터는 상기 콘볼루션 커널이 하나의 영역 이미지에서 1회의 콘볼루션 동작을 수행할 시 캡처할 데이터이며, 상기 콘볼루션될 2차원 이미지 행렬의 열수는 하나의 영역 이미지가 지원하는 최대 콘볼루션 횟수이고; 상기 2차원 콘볼루션 행렬 및 각 상기 콘볼루션될 2차원 이미지 행렬을 곱하여, 상기 콘볼루션 결과를 획득하도록 구성된다.
선택적으로, 상기 이미지 유형은,
텍스처 특징의 이미지;
색상 특징의 이미지;
형상 특징의 이미지; 및,
공간 관계의 이미지 중 적어도 하나를 포함한다.
선택적으로, 상기 제거 모듈은 구체적으로, 상기 멀티 프레임 이미지를 정렬하는 단계; 정렬된 멀티 프레임 이미지에 대해 고스트 이미지 제거 처리를 수행하여, 상기 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하도록 구성된다.
선택적으로, 상기 강조 모듈은 구체적으로, 상기 융합 이미지에 대해 선명화 처리를 수행하여, 상기 타겟 이미지를 획득하고 출력하도록 구성된다.
본 발명의 실시예의 제3 양태에 따르면, 단말기가 제공되는 바,
프로세서; 및,
프로세서에 의해 실행 가능한 명령을 저장하는 메모리;를 포함하되,
여기서, 상기 프로세서는 상기 제1 양태에 따른 촬영 방법을 수행하도록 구성된다.
본 발명의 실시예의 제4 양태에 따르면, 저장 매체가 제공되는 바,
상기 저장 매체 중 명령이 단말기의 프로세서에 의해 실행될 경우, 단말기가 제1 양태에 따른 촬영 방법을 수행할 수 있도록 한다.
본 발명의 실시예에서 제공된 기술적 해결수단은 하기와 같은 유익한 효과를 포함할 수 있다.
본 발명의 실시예에서, 멀티 프레임 초 해상도 알고리즘을 사용하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 미리 트레이닝된 이미지 융합 모델에 입력하면 노이즈가 감소되고 해상도가 향상된 융합 이미지를 동기식으로 획득할 수 있으며, 또한 융합 이미지에 대해 이미지 강조 처리를 수행하여 화질이 향상된 타겟 이미지를 획득하여 출력하며, 별도의 노이즈 모듈 또는 초 해상도 모듈을 감소하여 초 해상도 이미지를 획득할 필요가 없고, 집적도가 높고 처리 효과가 양호한 특성을 갖는다.
이해해야 할 것은, 이상 일반 서술과 후속의 세부 설명은 단지 예시적이고 해석적인 것일 뿐, 본 발명을 한정할 수 없다.
여기서의 도면은 명세서에 병합되어 본 명세서의 일부분을 구성하고, 본 발명에 부합되는 실시예를 나타내며, 명세서와 함께 본 발명의 원리를 해석하기 위한 것이다.
도 1은 광학 줌 렌즈의 예시도이다.
도 2는 본 발명의 실시예에 도시된 촬영 방법의 흐름도이다.
도 3은 본 발명에 따른 고스트 이미지 예시도이다.
도 4는 본 발명에 따른 문자 예시도이다.
도 5는 본 발명에 따른 콘볼루션 예시도이다.
도 6은 본 발명의 촬영에 적용되는 초 해상도 알고리즘의 흐름 예시도이다.
도 7은 예시적 일 실시예에 따른 촬영 장치 도면이다.
도 8은 본 발명의 실시예에 따라 도시된 단말기의 블록도이다.
도 1은 광학 줌 렌즈의 예시도이다.
도 2는 본 발명의 실시예에 도시된 촬영 방법의 흐름도이다.
도 3은 본 발명에 따른 고스트 이미지 예시도이다.
도 4는 본 발명에 따른 문자 예시도이다.
도 5는 본 발명에 따른 콘볼루션 예시도이다.
도 6은 본 발명의 촬영에 적용되는 초 해상도 알고리즘의 흐름 예시도이다.
도 7은 예시적 일 실시예에 따른 촬영 장치 도면이다.
도 8은 본 발명의 실시예에 따라 도시된 단말기의 블록도이다.
여기서 예시적 실시예를 상세하게 설명하고, 그 예시는 도면에 도시된다. 아래 도면에 관한 설명에서, 다르게 설명하지 않는 한, 상이한 도면에서의 동일한 숫자는 동일하거나 유사한 요소를 표시한다. 아래 예시적 실시예에서 설명되는 실시형태는 본 발명과 일치한 모든 실시형태를 대표하지 않는다. 반대로, 이들은 단지 첨부된 특허청구범위에 상세하게 설명된 본 발명의 일부 양태와 일치한 장치와 방법의 예이다.
도 2는 본 발명의 실시예에 도시된 촬영 방법의 흐름도이다. 도 2에 도시된 바와 같이, 단말기에 적용되는 촬영 방법은 하기와 같은 단계를 포함한다.
단계 S11에서, 촬영 명령이 검출될 경우, 멀티 프레임 이미지를 연속 수집하고;
단계 S12에서, 상기 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하며;
단계 S13에서, 상기 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력하여 융합 이미지를 획득하되, 여기서 상기 융합 이미지의 노이즈는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 노이즈보다 낮고, 상기 융합 이미지의 해상도는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 해상도보다 높으며;
단계 S14에서, 상기 융합 이미지에 대해 이미지 강조 처리를 수행하여 타겟 이미지를 획득하고 출력한다.
본 발명의 실시예에서, 단말기는 스마트 폰, 카메라, 태블릿 컴퓨터 또는 웨어러블 전자 기기 등을 포함한다. 단말기에는 이미지 수집 컴포넌트가 설치되며, 이동 단말기는 이미지 수집 컴포넌트를 통해 사진 촬영을 구현한다. 단말기가 휴대폰인 것을 예로, 이미지 수집 컴포넌트는 휴대폰의 전방 카메라와 후방 카메라를 포함한다.
단계 S11에서, 단말기는 촬영 명령이 검출될 경우, 멀티 프레임 이미지를 연속 수집한다. 상기 멀티 프레임 이미지는 동일한 촬영 장면에 대해 멀티 프레임의 상이한 노출 정도를 수집한 저 다이내믹 레인지 이미지일 수 있는 바, 예를 들어, 짧은 노출, 일반 노출 및 긴 노출의 3프레임 이미지가 있다.
단계 S12에서, 단말기는 검출된 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득한다. 핸드 헬드 기기가 촬영 과정에서 불가피하게 흔들리거나 물체 자체가 움직이는 등 원인으로 하여 이미지 오프셋 또는 워핑을 초래하여, 수집된 이미지에 잔상, 즉 고스트 이미지가 남게 된다. 도 3은 본 발명에 따른 고스트 이미지 예시도이다. 도 3에 도시된 바와 같이, 이미지 좌측의 유리 부분에서, 촬영 과정에서의 손떨림에 의해 화면에 고스트 이미지가 나타날 수 있다.
이에 대해, 본 발명은 수집된 멀티 프레임 이미지에 대해 고스트 이미지를 제거할 것이다. 본 발명의 실시예에서, 고스트 이미지를 제거하는 효과를 향상시키기 위해, 사전에 수집된 멀티 프레임 이미지를 정렬한 후 다시 고스트 이미지를 제거할 수 있다. 멀티 프레임 정렬의 어려운 점은, 그 정밀도가 서브 픽셀 레벨이어야 하고, 또한 극히 어두운 빛을 지원해야 하는 것이다.
일 실시예에서, 단계 S12는,
상기 멀티 프레임 이미지를 정렬하는 단계; 및,
정렬된 멀티 프레임 이미지에 대해 고스트 이미지 제거 처리를 수행하여, 상기 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하는 단계;를 포함한다.
상기 실시예에서, 멀티 프레임 이미지를 정렬할 경우, 중간 임계값 비트 맵(median threshold bitmaps, MTB) 방법에 기반하여 멀티 프레임 이미지를 정렬할 수 있다. 이밖에, 또한 멀티 프레임 이미지 중 어느 하나의 프레임 이미지를 참조 이미지로 하고, 다시 참조 이미지에 따라 나머지 비 참조 이미지를 참조 이미지를 향해 정렬시킬 수 있으며, 예를 들어, 참조 이미지와 비 참조 이미지의 특징 포인트를 각각 추출하여, 특징 포인트를 기반으로 비 참조 이미지와 참조 이미지를 정합하여 정렬을 구현한다.
단계 S13에서, 단말기는 고스트 이미지가 제거된 멀티 프레임 이미지를 획득한 후, 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력할 것인데, 특히, 상기 이미지 융합 모델은 노이즈 감소 및 초 해상도 기능을 동시게 구비함으로써, 융합된 이미지가 고스트 이미지가 제거된 멀티 프레임 이미지 중 어느 하나의 프레임 이미지에 비해 그 노이즈가 더 낮고 해상도가 더 높도록 한다.
본 발명의 실시예에서, 이미지 융합 모델은 서포트 벡터 머신을 기반으로 트레이닝하여 획득된 모델일 수 있다. 본 발명의 다른 실시예에서, 상기 이미지 융합 모델은 딥 러닝 네트워크로 트레이닝하여 획득된 모델이다.
설명해야 할 것은, 본 발명의 실시예에서, 본 발명은 서포트 벡터 머신 또는 딥 러닝 네트워크로 트레이닝하여 이미지 융합 모델을 획득하는 것에 한정되지 않는다. 이밖에, 이미지 융합 모델을 트레이닝할 경우, 트레이닝 세트 중 입력 이미지는 노이즈가 많은 저 해상도 이미지이고, 라벨 이미지(GT 이미지)는 노이즈가 낮은 고 해상도 이미지이다. (x,y)로 한 쌍의 트레이닝 데이터를 나타내고, 이미지 융합 모델은 서포트 벡터 머신 네트워크 또는 딥 러닝 네트워크 등을 통해 x와 y 사이의 대응 관계 y=f(x)를 피팅하는 것이며, 함수 f(x)는 노이즈 감소와 초 해상도 기능을 동시에 구비하되, 여기서 x는 멀티 프레임 입력 이미지를 표시하고, y는 출력 이미지를 표시한다.
단계 14에서, 단말기는 노이즈가 감소되고 해상도가 향상된 융합 이미지를 획득한 후, 융합 이미지에 대해 이미지 강조 처리를 수행하여, 화질이 더 향상된 타겟 이미지를 획득하고 출력한다.
본 발명의 실시예에서, 출력된 타겟 이미지는 즉 촬영 명령에 기반하여 최종 사용자에게 제공되는 이미지이다.
일 실시예에서, 단계 S14는,
상기 융합 이미지에 대해 선명화 처리를 수행하여, 상기 타겟 이미지를 획득하고 출력하는 단계;를 포함한다.
상기 실시예에서, 이미지 강조 처리는 선명화 처리를 포함하고, 선명화 처리를 통해 이미지의 윤곽을 보상하고, 이미지의 가장자리와 그레이 스케일 점프의 일부를 강조하여, 이미지가 보다 선명해지도록 하므로, 획득된 타겟 이미지 화질이 보다 우수하여 사용자의 체험을 향상시킬 수 있다.
그러나, 본 발명의 실시예에서, 이미지 강조 처리는 선명화 처리에 한정되지 않으며, 샤프팅 처리와 다른 강조 처리 방식의 결합일 수도 있고, 콘트라스트 풀업, 색상 보정 등과 같은 다른 이미지 강조 방식 중 적어도 하나일 수도 있다.
초 해상도 알고리즘에서, 노이즈, 세부 사항 및 흠은 초 해상도 화질을 평가하는 주요 고려 요소이다. 초 해상도 알고리즘의 목적은 세부 사항, 노이즈 및 흠 이 3개의 측면으로부터 화질을 개선하는 것이다. 본 발명에서, 멀티 프레임 초 해상도 알고리즘을 사용하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 미리 트레이닝된 이미지 융합 모델에 입력하면 노이즈가 감소되고 해상도가 향상된 융합 이미지를 동기식으로 획득할 수 있으며, 또한 융합 이미지에 대해 이미지 강조 처리를 수행하여 화질이 향상된 타겟 이미지를 획득하여 출력하며, 별도의 노이즈 모듈 또는 초 해상도 모듈을 감소하여 초 해상도 이미지를 획득할 필요가 없고, 집적도가 높고 처리 효과가 양호한 특성을 갖는다.
일 실시예에서, 상기 이미지 융합 모델은 복수의 초 해상도 모델을 포함하되; 여기서 상기 초 해상도 모델은 이미지 유형과 일일이 대응되고; 단계 S13은,
상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해 이미지 분할을 수행하여 복수의 영역 이미지를 획득하는 단계;
상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 초 해상도 모델에 입력하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하는 단계 - 상기 영역 융합 이미지의 노이즈는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 노이즈보다 낮고, 상기 영역 융합 이미지의 해상도는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 해상도보다 높음 - ; 및,
상이한 이미지 유형의 영역 융합 이미지를 융합하여, 상기 융합 이미지를 획득하는 단계;를 포함한다.
본 발명의 실시예에서, 상이한 유형의 이미지가 사람에게 주는 주관적인 느낌은 상이하므로, 본 발명은 상이한 이미지 유형에 대한 초 해상도 모델을 트레이닝하며, 이미지 융합 모델에는 상이한 이미지 유형에 각각 대응되는 초 해상도 모델이 포함되고, 상기 초 해상도 모델은 딥 러닝 네트워크를 기반으로 트레이닝하여 얻은 모델일 수 있다.
일 실시예에서, 상기 이미지 유형은,
텍스처 특징의 이미지;
색상 특징의 이미지;
형상 특징의 이미지; 및,
공간 관계의 이미지 중 적어도 하나를 포함한다.
예를 들어, 도로 표면, 나무 결, 잔디 등 텍스처 랜덤성이 더 강한 영역의 경우, 그 전체 구조가 상대적으로 약할 수 있고, 모델이 더 많은 노이즈를 유지할 수 있으면 사람들에게 더 자세한 "주관적 착각"을 줄 수 있으며; 문자, 건축 및 얼굴 등과 같은 특정 공간 관계에 속하는 이미지의 경우, 사람들은 높은 수준의 의미 인식에 관심을 가지고, 텍스처 등에 대한 관심은 비교적 적을 수 있으며, 즉 전체 구조에 더 많은 관심을 가지므로, 모델은 더 강한 노이즈 감소와 보다 양호한 구조적 세부 사항을 구비하여야 한다. 도 4는 본 발명의 문자 예시도이며, 사람들은 각 문자의 구조 특징에 집중할 수 있다.
또 다른 예를 들어, 하늘은 파란색이고, 나무는 녹색 또는 노란색이며, 강은 투명한 색에 가깝고, 사람의 피부색은 노란색 또는 검은색이며, 특정 객체를 기반으로 더 유추되는 색상이 있으므로 모델은 색상 특징에 더 많은 주의를 기울여야 할 수 있다. 또는, 다른 예로, 태양은 원형을 이루고, 달은 낫 모양이거나 원형을 이루며, 특정된 객체를 기반으로, 더 유추되는 형상이 있으므로, 모델은 형상 특징에 더 많은 주의를 기울여야 할 수도 있다.
따라서, 본 발명은 상이한 유형의 이미지에 대해, 이미지 유형에 대응되는 초 해상도 모델을 갖는다. 설명해야 할 것은, 본 발명은 이미지 융합 모델을 트레이닝할 경우, 노이즈가 크고 해상도가 낮은 대부분 마찬가지로 텍스처 특성을 주요로 하는 이미지를 입력으로서 선택할 수 있고, 대응하는 노이즈가 작고 해상도가 높은 이미지를 라벨 이미지로 하여 초 해상도 모델을 트레이닝한다. 마찬가지로, 또한 구조 특성을 주요로 하고, 색상 특징을 주요로 하거나 공간 관계를 주요로 하는 초 해상도 모델을 각각 트레이닝할 수 있으며, 본 발명은 더이상 상세하게 서술하지 않는다.
그러나, 일반적으로 수집된 이미지는 단일 객체의 이미지가 아니며, 예를 들어, 수집된 화면에 건축, 나무 또는 하늘 등이 있다. 상이한 객체는 상이한 특징을 가지는 바, 상술한 바와 같이, 건축은 전체 구조에 더 집중할 수 있고, 나무는 텍스처에 더 집중하며, 하늘은 색상에 더 집중하므로, 본 발명은 사전에 고스트 이미지가 제거된 멀티 프레임 이미지 중 단일 프레임 이미지에 대해 각각 이미지 분할을 수행하여 고스트 이미지가 제거된 단일 프레임 이미지에 포함되는 상이한 유형의 영역 이미지를 획득할 수 있다. 예를 들어, 이미지 분할을 통해 상기 이미지를 건축 영역, 나무 영역 또는 하늘 영역으로 나눈다.
설명해야 할 것은, 멀티 프레임 이미지는 연속으로 수집한 것이므로, 화면 내용의 유사도가 비교적 높고, 따라서 일반적으로 상이한 고스트 이미지가 제거된 단일 프레임 이미지에 대해 이미지 분할을 수행한 후, 동일한 유형을 가진 이미지 영역을 분할할 수 있다. 물론, 일부 고스트 이미지가 제거된 단일 프레임 이미지에 대해 이미지 분할을 수행한 후 일부 이미지 유형이 결실된 이미지 영역이 존재할 수도 있으며, 본 발명은 결실이 있는 경우, 즉 상기 단일 프레임 이미지 중 상기 이미지 유형의 이미지 영역을 무시한다.
본 발명의 실시예에서, 이미지 분할을 수행할 경우, 미리 트레이닝된 신경망 모델을 기반으로 이미지 분할 결과를 획득할 수 있으며, 이미지 분할 결과는 분할된 영역 이미지, 및 상기 영역 이미지에 대응되는 이미지 유형을 포함한다.
다른 실시예에서, 상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해 이미지 분할을 수행하여 복수의 영역 이미지를 획득하는 단계는,
상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해, 상기 단일 프레임 이미지의 각 픽셀의 유형을 판단하는 단계;
각 상기 픽셀의 유형에 기반하여 상기 픽셀이 속하는 이미지 유형을 결정하는 단계; 및,
동일한 단일 프레임 이미지 중 동일한 이미지 유형에 속하는 픽셀을 동일한 영역 이미지에 분할하여 복수의 상기 영역 이미지를 획득하는 단계;를 포함한다.
상기 실시예에서, 고스트 이미지가 제거된 단일 프레임 이미지에 대해 각 픽셀의 유형을 통계할 수 있는 바, 예를 들어, 영역 성장법을 사용하여 단일 픽셀로부터 시작하여 동일한 단일 프레임 이미지 중 동일한 이미지 유형에 속하는 픽셀을 단계적으로 동일한 영역에 병합시킴으로써 분할된 복수의 영역 이미지를 획득한다. 고스트 이미지가 제거된 단일 프레임 이미지에 포함되는 상이한 이미지 유형의 영역 이미지를 획득한 후, 상이한 멀티 프레임 이미지 중 동일한 뚜렷한 유형에 속하는 멀티 프레임 영역 이미지를 동일한 이미지 유형에 대응되는 초 해상도 모델에 입력함으로써 동일한 이미지 유형의 영역 융합 이미지를 획득할 수 있다. 예를 들어, 현재 동일한 이미지 유형의 멀티 프레임 영역 이미지가 텍스처 유형일 경우, 상기 멀티 프레임 영역 이미지를 텍스처 유형에 대응하는 초 해상도 모델에 입력하여, 더 많은 텍스처 세부 사항을 보류하고 나머지 노이즈가 감소되고 해상도가 향상된 영역 융합 이미지를 획득할 수 있다.
상이한 유형의 융합 이미지를 획득한 후, 이미지 분할 시 각 유형 이미지의 영역 위치 정보를 기반으로, 영역 융합 이미지를 완전한 융합 이미지로 스티칭할 수 있다. 각 영역 융합 이미지의 노이즈가 감소되고 그 해상도가 향상되므로, 획득한 융합 이미지도 노이즈가 감소되고 해상도가 향상된 이미지이다.
일 실시예에서, 상기 상이한 이미지 유형의 영역 융합 이미지를 융합하여, 상기 융합 이미지를 획득하는 단계는,
상이한 유형의 영역 융합 이미지에 대응되는 영역 이미지 중 픽셀의 가중치를 기반으로, 상기 상이한 이미지 유형의 영역 융합 이미지에 대해 융합하여 상기 융합 이미지를 획득하는 단계;를 포함한다.
본 발명의 실시예에서, 각 유형의 이미지의 영역 위치 정보에 기반하여 영역 융합 이미지를 완료된 융합 이미지로 스티칭할 경우, 상이한 유형의 영역 이미지의 가중치를 기반으로, 각 영역 융합 이미지를 융합 이미지로 융합할 수 있다. 예를 들어, 텍스처 특징의 영역 이미지가 이미지의 중심 영역에 위치하면, 상기 텍스처 특징의 영역 이미지 내 각 픽셀의 가중치를 비교적 크게 설정하여 융합 이미지에서 중심 영역을 강조하도록 할 수 있다.
설명해야 할 것은, 본 발명의 실시예에서, 이미지 융합 모델 중 입력 이미지는 하나의 이미지로부터의 국부적 영역 이미지일 수 있고, 상기 국부적 영역 이미지도 트레이닝 이미지에 대해 이미지 분할을 수행한 후 얻은 것이며, 본 발명은 더이상 상세하게 서술하지 않는다.
딥 러닝 네트워크를 사용하여 모델을 트레이닝하면, 콘볼루션 신경망의 특수한 성질로 인해, 관련 기술에서 모두 전체 이미지에 대해 모델을 작동하며 이미지 중 상이한 영역의 유형의 특징에 관심을 기울이지 않으므로, 획득한 초 해상도 이미지의 화질이 잘 향상되지 않는다. 상대적으로, 본 발명은 촬영 장면의 복잡성을 고려하여, 상이한 이미지 유형에 대한 초 해상도 모델을 트레이닝한 다음, 현재 고스트 이미지가 제거된 각 단일 프레임 이미지에 대해 이미지 분할을 수행한 후, 다시 영역 이미지에 대해 대응하는 초 해상도 모델을 입력하여, 영역 융합 결과를 획득하여, 초 해상도 이미지의 화질을 크게 향상시킬 수 있다. 이밖에, 본 발명은 이미지 영역을 나누어 대응하는 초 해상도 모델을 입력함으로써, 전체 이미지에 대해 모델을 작동할 필요 없이 계산량을 크게 감소시킬 수 있다.
일 실시예에서, 상기 초 해상도 모델은 복수의 모듈을 포함하고, 각 모듈은 콘볼루션 레이어, 정규화 레이어 및 활성화 레이어를 포함하며;
상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 초 해상도 모델에 입력하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하는 단계는,
상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 상기 초 해상도 모델 중 콘볼루션 레이어에 입력하여, 콘볼루션 결과를 획득하는 단계;
상기 콘볼루션 결과를 정규화 레이어에 입력하여 정규화 결과를 획득하는 단계; 및,
상기 정규화 결과 및 상기 활성화 레이어에 기반하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하는 단계;를 포함하되, 여기서 상기 활성화 레이어의 입력은 상기 정규화 결과이다.
상술한 바와 같이, 초 해상도 모델은 딥 러닝 네트워크로 트레이닝하여 얻은 모델일 수 있다. 본 발명의 실시예에서, 초 해상도 모델은 복수의 모듈을 포함하는 바, 예를 들어 16개의 모듈을 포함할 수 있고, 각 모듈은 콘볼루션 레이어, 정규화 레이어 및 활성화 레이어를 포함한다. 초 해상도 모델을 사용할 경우, 동일한 이미지 유형의 복수의 영역 이미지를 대응하는 초 해상도 모델의 각 모듈 중 콘볼루션 레이어에 입력하여, 콘볼루션 결과를 획득한 다음, 콘볼루션 결과를 정규화 레이어를 통해 수치가 미리 설정 수치 구간에 있는 정규화 결과를 획득하여 후속의 계산이 편이해질 수 있도록 한다. 또한, 정규화 결과 및 활성화 레이어에 기반하여 동일한 이미지 유형의 영역 융합 이미지를 획득할 경우, 정규화 결과를 활성화 레이어에 입력하여, 모델의 표현 기능을 향상시킨 다음, 다시 각 모듈 중 활성화 레이어의 출력을 풀링 레이어에 입력하여, 풀링 레이어의 출력을 완전연결층의 입력으로 함으로써 동일한 이미지 유형의 영역 융합 이미지를 획득할 수 있다.
상술한 바와 같이, 본 발명은 이미지 영역을 나누어 대응하는 초 해상도 모델을 입력함으로써, 전체 이미지에 대해 모델을 작동할 필요 없이 계산량을 크게 감소시킬 수 있다. 구체적으로, 각각의 초 해상도 모델은 이의 유형과 대응하는 영역 이미지에서만 콘볼루션 동작을 수행하며, 다른 영역에서는 콘볼루션 동작을 수행하지 않고, 이러한 계산량은 모델의 개수와 관계가 없으므로, 계산량을 크게 절약할 수 있다.
일 실시예에서, 상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 상기 초 해상도 모델 중 콘볼루션 레이어에 입력하여, 콘볼루션 결과를 획득하는 단계는,
상기 동일한 이미지 유형에 대응되는 초 해상도 모델 중 상기 콘볼루션 레이어의 M개의 P행, L열의 콘볼루션 커널을 M행, PХL열의 2차원 콘볼루션 행렬로 전환하는 단계 - 상기 M, P 및 L은 모두 양의 정수임 - ;
상기 콘볼루션 커널의 크기, 미리 설정 콘볼루션 슬라이딩 스텝 길이 및 상기 복수의 영역 이미지에 기반하여, 복수의 콘볼루션될 2차원 이미지 행렬을 획득하는 단계 - 상기 콘볼루션될 2차원 이미지 행렬 중 각 열에는 PХL개의 데이터가 있고, 1열 데이터는 상기 콘볼루션 커널이 하나의 영역 이미지에서 1회의 콘볼루션 동작을 수행할 시 캡처할 데이터이며, 상기 콘볼루션될 2차원 이미지 행렬의 열수는 하나의 영역 이미지가 지원하는 최대 콘볼루션 횟수임 - ; 및,
상기 2차원 콘볼루션 행렬 및 각 상기 콘볼루션될 2차원 이미지 행렬을 곱하여, 상기 콘볼루션 결과를 획득하는 단계;를 포함한다.
본 발명의 실시예에서, 초 해상도 모델은 M행, PХL열의 2차원 콘볼루션 행렬로 전환되는 M개의 PХL의 콘볼루션 커널을 포함할 수 있고, 즉 하나의 2차원 콘볼루션 커널은 1차원 콘볼루션 커널로 전환되며, 복수의 전환된 1차원 콘볼루션 커널은 2차원 콘볼루션 행렬을 형성한다. 전환된 2차원 콘볼루션 행렬의 각 행은 즉 하나의 2차원 콘볼루션 커널 중 가중치이다.
예를 들어, M은 콘볼루션 커널 개수이고, 콘볼루션 커널의 크기 PХL은 kХk이고, 전환된 2차원 콘볼루션 행렬 중 각 행은 하나의 콘볼루션 커널 벡터이며, 각 행에는 kХk개의 가중치가 있고, 총 M행이 있으며, M개의 콘볼루션 커널을 나타낸다.
또한, 본 발명은 콘볼루션 커널의 크기, 미리 설정 콘볼루션 슬라이딩 스텝 길이 및 단일 프레임 영역 이미지에 기반하여, 콘볼루션될 2차원 이미지 행렬을 획득한다.
설명해야 할 것은, 본 발명의 실시예에서, 콘볼루션 후의 행렬 크기와 콘볼루션 레이어가 입력된 영역 이미지의 크기가 일치함을 유지하도록 보장하기 위해, 콘볼루션 커널의 크기, 콘볼루션 슬라이딩 스텝 길이 및 콘볼루션될 영역 이미지 크기가 상기 요구를 충족하기에 부족한 경우, 하나의 영역 이미지의 주변에 대해 필링 처리를 수행하여, 필링된 영역 이미지를 획득하고, 필링된 영역 이미지에 대해 처리할 수 있다.
예를 들어, 콘볼루션 커널은 kХk의 2차원 행렬이고; 미리 설정 콘볼루션 슬라이딩 스텝 길이는 행 방향으로 stride_h이며, 열 방향으로 stride_w이고; 미리 설정 필링 크기의 행 방향에서의 필링 길이는 pad_h이며, 열 방향에서는 pad_w이고; 단일 프레임 영역 이미지의 크기는 image_himage_w이며; 따라서, 획득한 콘볼루션될 2차원 이미지 행렬은 총 kХk행(즉 PХL행), N열이고, N은 하기 공식(1)과 같이 표시될 수 있다.
N=((image_h+2Хpad_h-k)/stride_h+1)((image_w+2Хpad_w-k)/stride_w+1) (1)
콘볼루션될 2차원 이미지 행렬 중 각 열에는 총 kХk개의 데이터가 있고, 1열 데이터는 콘볼루션 커널이 필링된 단일 프레임 영역 이미지에서 1회의 콘볼루션 동작을 수행할 때 캡처한 데이터이며, 필링된 단일 프레임 영역 이미지의 각 픽셀점의 픽셀값은 N열 데이터를 통해 커버되고, N값도 필링된 단일 프레임 영역 이미지가 지원하는 최대 콘볼루션 횟수이다. 여기서, 단일 프레임 영역 이미지에 대해 필링을 수행할 경우, 단일 프레임 영역 이미지의 주변은 미리 설정 필링 크기를 만족하고 1 서클 값이 0인 데이터로 필링될 수 있다.
영역 이미지를 필링할 필요가 없을 경우, 콘볼루션될 2차원 이미지 행렬의 열수 N의 값은 즉 pad_h 및 pad_w가 모두 0일 때 대응하는 값이고, 영역 이미지가 지원하는 최대 콘볼루션 횟수이기도 하다.
도 5는 본 발명에 따른 콘볼루션 예시도이다. 도 5에 도시된 바와 같이, PХL의 2차원 콘볼루션 커널의 크기를 K로 표기하면, 상기 콘볼루션 과정은 즉 MK의 2차원 콘볼루션 행렬과, KN의 2차원의 콘볼루션될 이미지 행렬의 곱이며, 얻은 MN의 콘볼루션 결과 행렬이고, 행렬의 1행은 즉 하나의 특징 맵(feature map)이다.
이해할 수 있는 것은, 본 발명의 실시예에서, 이미지 분할을 고려할 경우, 분할하여 획득한 영역 이미지는 규칙적인 직사각형 영역이 아닐 수 있고, 영역 이미지는 상이한 형상과 크기를 가질 수 있으므로, 본 발명은 목적성을 가지고 원래의 규칙적인 직사각형 콘볼루션 동작을 불규칙적인 슬라이딩으로 수정하며, 콘볼루션 요구를 만족하기 위해 각 불규칙적인 영역 이미지에 대해 필링할 필요 없고, 또한 최종 계산 복잡도는 영역 이미지의 개수와 관계 없이, 단일 프레임 이미지의 총 면적과만 관련이 있으므로, 알고리즘 복잡도를 감소시키고 콘볼루션 효율을 크게 향상시킨다.
도 6은 본 발명의 촬영에 적용되는 초 해상도 알고리즘의 흐름 예시도이다. 도 6에 도시된 바와 같이, 초 해상도 알고리즘은 하기와 같은 단계를 포함한다.
단계 S21: 멀티 프레임 정렬.
상기 실시예에서, 멀티 프레임 정렬은 즉 촬영 명령에 기반하여 연속 수집한 멀티 프레임 이미지를 정렬하는 것이다.
단계 S22: 고스트 이미지 제거.
상기 실시예에서, 즉 정렬된 멀티 프레임 이미지에 대해 고스트 쉐도우 제거 동작을 수행하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득한다.
단계 S23: 딥 러닝 멀티 프레임 융합.
상기 실시예에서, 즉 고스트 이미지가 제거된 멀티 프레임 이미지를 딥 러닝 네트워크를 사용하여 미리 트레이닝된 이미지 융합 모델에 입력하는 것이며, 상기 이미지 융합 모델은 노이즈 감소 및 해상도 향상 기능을 동시에 구비하므로, 고스트 이미지가 제거된 멀티 프레임 이미지를 상기 이미지 융합 모델에 입력한 후 노이즈가 감소되고 해상도가 향상된 융합 이미지를 획득할 수 있다.
단계 S24: 선명화.
상기 실시예에서, 단계 S23을 통해 노이즈가 감소되고 해상도가 향상된 융합 이미지를 획득한 후, 융합 이미지에 대해 선명화 처리를 수행하여, 화질이 향상된 타겟 이미지를 획득하여 사용자에게 디스플레이할 수 있다.
즉각적일 수 있는 것은, 본 발명은 멀티 프레임 초 해상도 알고리즘을 사용하여 정렬되고 고스트 이미지가 제거된 멀티 프레임 이미지를 딥 러닝 네트워크를 기반으로 미리 트레이닝된 이미지 융합 모델에 입력하여, 노이즈가 감소되고 해상도가 향상된 융합 이미지를 동기식으로 획득할 수 있으며, 융합 이미지에 대해 추가로 선명화 처리를 수행하여 화질이 향상된 타겟 이미지를 획득하여 출력함으로써, 별도의 노이즈 감소 모듈 또는 초 해상도 모듈을 통해 초 해상도 이미지를 획득할 필요가 없고, 집적도가 높고 처리 효과가 양호한 특성을 갖는다.
도 7은 예시적 일 실시예에 따라 도시된 촬영 장치 도면이다. 도 7을 참조하면, 촬영 장치는,
촬영 명령이 검출될 경우, 멀티 프레임 이미지를 연속 수집하도록 구성되는 수집 모듈(101);
상기 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하도록 구성되는 제거 모듈(102);
상기 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력하여 융합 이미지를 획득하도록 구성되는 융합 모듈(103) - 상기 융합 이미지의 노이즈는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 노이즈보다 낮고, 상기 융합 이미지의 해상도는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 해상도보다 높음 - ; 및,
상기 융합 이미지에 대해 이미지 강조 처리를 수행하여 타겟 이미지를 획득하고 출력하도록 구성되는 강조 모듈(104);을 포함한다.
선택적으로, 상기 이미지 융합 모델은 복수의 초 해상도 모델을 포함하되; 여기서 상기 초 해상도 모델은 이미지 유형과 일일이 대응되고;
상기 융합 모듈(103)은 구체적으로, 상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해 이미지 분할을 수행하여 복수의 영역 이미지를 획득하고; 상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 초 해상도 모델에 입력하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하되, 여기서 상기 영역 융합 이미지의 노이즈는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 노이즈보다 낮고, 상기 영역 융합 이미지의 해상도는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 해상도보다 높으며; 상이한 이미지 유형의 영역 융합 이미지를 융합하여, 상기 융합 이미지를 획득하도록 구성된다.
선택적으로, 상기 융합 모듈(103)은 구체적으로, 상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해, 상기 단일 프레임 이미지의 각 픽셀의 유형을 판단하고; 각 상기 픽셀의 유형에 기반하여 상기 픽셀이 속하는 아미지 유형을 결정하며; 동일한 단일 프레임 이미지 중 동일한 이미지 유형에 속하는 픽셀을 동일한 영역 이미지에 분할하여 복수의 상기 영역 이미지를 획득하도록 구성된다.
선택적으로, 상기 융합 모듈(103)은 구체적으로, 상이한 유형의 영역 융합 이미지에 대응되는 영역 이미지 중 픽셀의 가중치를 기반으로, 상기 상이한 이미지 유형의 영역 융합 이미지에 대해 융합하여 상기 융합 이미지를 획득하도록 구성된다.
선택적으로, 상기 초 해상도 모델은 복수의 모듈을 포함하고, 각 모듈은 콘볼루션 레이어, 정규화 레이어 및 활성화 레이어를 포함하며;
상기 융합 모듈(103)은 구체적으로, 상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 상기 초 해상도 모델 중 콘볼루션 레이어에 입력하여, 콘볼루션 결과를 획득하고; 상기 콘볼루션 결과를 정규화 레이어에 입력하여 정규화 결과를 획득하며; 상기 정규화 결과 및 상기 활성화 레이어에 기반하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하도록 구성되되, 여기서 상기 활성화 레이어의 입력은 상기 정규화 결과이다.
선택적으로, 상기 융합 모듈(103)은 구체적으로, 상기 동일한 이미지 유형에 대응되는 초 해상도 모델 중 상기 콘볼루션 레이어의 M개의 P행, L열의 콘볼루션 커널을 M행, PХL열의 2차원 콘볼루션 행렬로 전환하되, 여기서 상기 M, P 및 L은 모두 양의 정수이고; 상기 콘볼루션 커널의 크기, 미리 설정 콘볼루션 슬라이딩 스텝 길이 및 상기 복수의 영역 이미지에 기반하여, 복수의 콘볼루션될 2차원 이미지 행렬을 획득하되, 여기서 상기 콘볼루션될 2차원 이미지 행렬 중 각 열에는 PХL개의 데이터가 있고, 1열 데이터는 상기 콘볼루션 커널이 하나의 영역 이미지에서 1회의 콘볼루션 동작을 수행할 시 캡처할 데이터이며, 상기 콘볼루션될 2차원 이미지 행렬의 열수는 하나의 영역 이미지가 지원하는 최대 콘볼루션 횟수이고; 상기 2차원 콘볼루션 행렬 및 각 상기 콘볼루션될 2차원 이미지 행렬을 곱하여, 상기 콘볼루션 결과를 획득하도록 구성된다.
선택적으로, 상기 이미지 유형은,
텍스처 특징의 이미지;
색상 특징의 이미지;
형상 특징의 이미지; 및,
공간 관계의 이미지 중 적어도 하나를 포함한다.
선택적으로, 상기 제거 모듈(102)은 구체적으로, 상기 멀티 프레임 이미지를 정렬하고; 정렬된 멀티 프레임 이미지에 대해 고스트 이미지 제거 처리를 수행하여, 상기 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하도록 구성된다.
선택적으로, 상기 강조 모듈(104)은 구체적으로, 상기 융합 이미지에 대해 선명화 처리를 수행하여, 상기 타겟 이미지를 획득하고 출력하도록 구성된다.
상기 실시예에서의 장치에 관하여, 각각의 모듈이 수행하는 동작의 구체적인 방식은 관련된 상기 방법의 실시예에서 이미 상세하게 설명되었으며, 여기서 상세하게 설명하지 않는다.
도 8은 예시적 일 실시예에 따라 도시된 이동 단말 장치(800)의 블록도이다. 예를 들어, 장치(800)는 휴대폰, 이동 컴퓨터일 수 있다.
도 8을 참조하면, 장치(800)는 프로세싱 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수의 컴포넌트를 포함할 수 있다.
프로세싱 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 장치(800)의 전체 동작을 제어한다. 프로세싱 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하도록 하나 또는 복수의 프로세서(820)를 포함하여 명령을 실행할 수 있다. 이밖에, 프로세싱 컴포넌트(802)는, 프로세싱 컴포넌트(802)와 다른 컴포넌트 사이의 인터랙션이 편이하도록 하나 또는 복수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(802)는, 멀티미디어 모듈(808)과 프로세싱 컴포넌트(802) 사이의 인터랙션이 간편해지도록 멀티미디어 모듈을 포함할 수 있다.
메모리(804)는 다양한 유형의 데이터를 저장하여 장치(800)에서의 동작을 지원하도록 구성된다. 이러한 데이터의 예시는 장치(800)에서 작동하는 임의의 애플리케이션 프로그램 또는 방법에 사용되는 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM), 소거 가능한 프로그램 가능 판독 전용 메모리(EPROM), 프로그램 가능 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스크 또는 광 디스크와 같은 임의의 유형의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.
전원 컴포넌트(806)는 장치(800)의 다양한 컴포넌트에 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수의 전원, 및 장치(800)의 생성, 관리, 및 전원 할당과 관련된 다른 컴포넌트를 포함할 수 있다.
멀티미디어 컴포넌트(808)는 상기 장치(800)와 사용자 사이에 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 만약, 스크린이 터치 패널을 포함하면, 사용자로부터 입력 신호를 수신하도록 스크린은 터치 스크린으로 구현될 수 있다. 터치 패널은, 터치, 슬라이드 및 터치 패널의 제스처를 감지하기 위한 하나 또는 복수의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라 상기 터치 또는 슬라이드에 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및/또는 후방 카메라를 포함한다. 장치(800)가, 촬영 모드 또는 비디오 모드와 같은 동작 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각각의 전방 카메라와 후방 카메라는 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 가질 수 있다.
오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고 장치(800)가 통화 모드, 기록 모드 및 음성 인식 모드와 같은 동작 모드일 경우, 마이크는 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 저장되거나 통신 컴포넌트(816)를 통해 송신될 수 있다. 일부 실시예에서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 스피커를 더 포함한다.
입력/출력(I/O) 인터페이스 (812)는 프로세싱 컴포넌트(802)와 주변 장치 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 주변 장치 인터페이스 모듈은 키보드, 클릭 휠(Click Wheel), 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.
센서 컴포넌트(814)는 다양한 양태의 상태 평가를 장치(800)에 제공하기 위한 하나 또는 복수의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 장치의 온/오프 상태, 컴포넌트의 상대적 위치를 감지할 수 있고, 예를 들어, 상기 컴포넌트는 장치(800)의 디스플레이 장치 및 키패드이고 센서 컴포넌트(814)는 장치(800) 또는 장치(800)의 컴포넌트의 위치 변화, 사용자와 장치(800) 사이의 접촉 여부, 장치(800) 방위 또는 가속/감속 및 장치(800)의 온도 변화를 감지할 수 있다. 센서 컴포넌트(814)는 물리적 접촉없이 주변 물체의 존재를 감지하도록 구성되는 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 이미징 애플리케이션에 사용하기 위한 CMOS 또는 CCD 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.
통신 컴포넌트(816)는 장치(800)와 다른 기기 사이의 유선 또는 무선 방식의 통신이 용이하도록 구성된다. 장치(800)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 액세스할 수 있다. 예시적 일 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터 방송 신호 또는 방송 관련 정보를 수신한다. 예시적 일 실시예에서, 상기 통신 컴포넌트(816)는 근거리 통신을 추진하는 근거리 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.
예시적 실시예에서, 장치(800)는 하나 또는 복수의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 프로세서 기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 구현되어 상기 방법을 수행할 수 있다.
예시적 실시예에서, 상기 방법을 수행하기 위해 장치(800)의 프로세서(820)에 의해 실행 가능한 명령을 포함하는 메모리(804)와 같은 명령을 포함하는 비 일시적 컴퓨터 판독 가능 저장 매체를 더 제공한다. 예를 들어, 상기 비 일시적 컴퓨터 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광 데이터 저장 기기 등일 수 있다.
비 일시적 컴퓨터 판독 가능 저장 매체에 있어서, 상기 저장 매체 중 명령이 단말기의 프로세서에 의해 실행될 경우, 단말기가 촬영 방법을 수행할 수 있도록 하며, 상기 방법은,
촬영 명령이 검출될 경우, 멀티 프레임 이미지를 연속 수집하는 단계;
상기 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하는 단계;
상기 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력하여 융합 이미지를 획득하는 단계 - 상기 융합 이미지의 노이즈는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 노이즈보다 낮고, 상기 융합 이미지의 해상도는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 해상도보다 높음 - ; 및,
상기 융합 이미지에 대해 이미지 강조 처리를 수행하여 타겟 이미지를 획득하고 출력하는 단계;를 포함한다.
본 기술분야의 기술자는 명세서 및 이에 공개된 발명을 고려한 후, 본 발명의 다른 실시 방안을 용이하게 생각할 수 있을 것이다. 본 발명은 본 발명의 임의의 변형, 용도 또는 적응성 변화를 포함하는 바, 이러한 변형, 용도 또는 적응성 변화는 모두 본 발명의 일반적인 원리를 따르며 본 발명에 공개되지 않은 본 기술분야의 공지된 상식 또는 통상적인 기술수단을 포함한다. 명세서 및 실시예는 단지 예시적 것으로서, 본 발명의 진정한 범위 및 정신은 청구범위에서 지적한 바와 같다.
이해해야 할 것은, 본 발명은 상기와 같이 설명되고 또한 도면에 도시된 정확한 구조에 한정되지 않으며, 본 발명의 범위를 벗어나지 않고 다양한 수정 및 변경을 진행할 수 있다. 본 발명의 범위는 단지 첨부된 청구범위에 의해서만 한정된다.
101: 수집 모듈 102: 제거 모듈
103: 융합 모듈 104: 강조 모듈
103: 융합 모듈 104: 강조 모듈
Claims (13)
- 촬영 방법에 있어서,
촬영 명령이 검출될 경우, 멀티 프레임 이미지를 연속 수집하는 단계;
상기 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하는 단계;
상기 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력하여 융합 이미지를 획득하는 단계 - 상기 융합 이미지의 노이즈는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 노이즈보다 낮고, 상기 융합 이미지의 해상도는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 해상도보다 높음 - ; 및,
상기 융합 이미지에 대해 이미지 강조 처리를 수행하여 타겟 이미지를 획득하고 출력하는 단계;를 포함하고,
상기 이미지 융합 모델은 복수의 초 해상도 모델을 포함하되, 상기 초 해상도 모델은 이미지 유형과 일일이 대응되고, 상기 멀티 프레임 이미지는 동일한 촬영 장면에 대해 멀티 프레임의 상이한 노출 정도를 수집한 저 다이내믹 레인지 이미지이고,
상기 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력하여 융합 이미지를 획득하는 단계는,
상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해 이미지 분할을 수행하여 복수의 영역 이미지를 획득하는 단계;
상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 초 해상도 모델에 입력하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하는 단계 - 상기 영역 융합 이미지의 노이즈는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 노이즈보다 낮고, 상기 영역 융합 이미지의 해상도는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 해상도보다 높음 - ; 및,
상이한 이미지 유형의 영역 융합 이미지를 융합하여, 상기 융합 이미지를 획득하는 단계;를 포함하고,
상기 이미지 유형은,
색상 특징의 이미지;
형상 특징의 이미지; 및,
공간 관계의 이미지 중 적어도 하나를 포함하고,
상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해 이미지 분할을 수행하여 복수의 영역 이미지를 획득하는 단계는,
상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해, 상기 단일 프레임 이미지의 각 픽셀의 유형을 판단하는 단계;
각 상기 픽셀의 유형에 기반하여 상기 픽셀이 속하는 아미지 유형을 결정하는 단계; 및,
동일한 단일 프레임 이미지 중 동일한 이미지 유형에 속하는 픽셀을 동일한 영역 이미지에 분할하여 복수의 상기 영역 이미지를 획득하는 단계;를 포함하는,
것을 특징으로 하는 촬영 방법.
- 제1항에 있어서,
상기 상이한 이미지 유형의 영역 융합 이미지를 융합하여, 상기 융합 이미지를 획득하는 단계는,
상이한 유형의 영역 융합 이미지에 대응되는 영역 이미지 중 픽셀의 가중치를 기반으로, 상기 상이한 이미지 유형의 영역 융합 이미지에 대해 융합하여 상기 융합 이미지를 획득하는 단계;를 포함하는,
것을 특징으로 하는 촬영 방법.
- 제1항에 있어서,
상기 초 해상도 모델은 복수의 모듈을 포함하고, 각 모듈은 콘볼루션 레이어, 정규화 레이어 및 활성화 레이어를 포함하며;
상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 초 해상도 모델에 입력하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하는 단계는,
상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 상기 초 해상도 모델 중 콘볼루션 레이어에 입력하여, 콘볼루션 결과를 획득하는 단계;
상기 콘볼루션 결과를 정규화 레이어에 입력하여 정규화 결과를 획득하는 단계; 및,
상기 정규화 결과 및 상기 활성화 레이어에 기반하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하는 단계;를 포함하되, 상기 활성화 레이어의 입력은 상기 정규화 결과인,
것을 특징으로 하는 촬영 방법.
- 제3항에 있어서,
복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 동일한 이미지 유형에 대응되는 상기 초 해상도 모델 중 콘볼루션 레이어에 입력하여, 콘볼루션 결과를 획득하는 단계는,
상기 동일한 이미지 유형에 대응되는 초 해상도 모델 중 콘볼루션 레이어의 M개의 P행, L열의 콘볼루션 커널을 M행, PХL열의 2차원 콘볼루션 행렬로 전환하는 단계 - 상기 M, P 및 L은 모두 양의 정수임 - ;
상기 콘볼루션 커널의 크기, 미리 설정 콘볼루션 슬라이딩 스텝 길이 및 상기 복수의 영역 이미지에 기반하여, 복수의 콘볼루션될 2차원 이미지 행렬을 획득하는 단계 - 상기 콘볼루션될 2차원 이미지 행렬 중 각 열에는 PХL개의 데이터가 있고, 1열 데이터는 상기 콘볼루션 커널이 하나의 영역 이미지에서 1회의 콘볼루션 동작을 수행할 시 캡처할 데이터이며, 상기 콘볼루션될 2차원 이미지 행렬의 열수는 하나의 영역 이미지가 지원하는 최대 콘볼루션 횟수임 - ; 및,
상기 2차원 콘볼루션 행렬 및 각 상기 콘볼루션될 2차원 이미지 행렬을 곱하여, 상기 콘볼루션 결과를 획득하는 단계;를 포함하는,
것을 특징으로 하는 촬영 방법.
- 제1항에 있어서,
상기 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하는 단계는,
상기 멀티 프레임 이미지를 정렬하는 단계; 및,
정렬된 멀티 프레임 이미지에 대해 고스트 이미지 제거 처리를 수행하여, 상기 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하는 단계;를 포함하는,
것을 특징으로 하는 촬영 방법.
- 제1항에 있어서,
상기 융합 이미지에 대해 이미지 강조 처리를 수행하여 타겟 이미지를 획득하고 출력하는 단계는,
상기 융합 이미지에 대해 선명화 처리를 수행하여, 상기 타겟 이미지를 획득하고 출력하는 단계;를 포함하는,
것을 특징으로 하는 촬영 방법.
- 촬영 장치에 있어서,
촬영 명령이 검출될 경우, 멀티 프레임 이미지를 연속 수집하도록 구성되는 수집 모듈;
상기 멀티 프레임 이미지에 기반하여, 고스트 이미지가 제거된 멀티 프레임 이미지를 획득하도록 구성되는 제거 모듈;
상기 고스트 이미지가 제거된 멀티 프레임 이미지를 이미지 융합 모델에 입력하여 융합 이미지를 획득하도록 구성되는 융합 모듈 - 상기 융합 이미지의 노이즈는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 노이즈보다 낮고, 상기 융합 이미지의 해상도는 상기 멀티 프레임 이미지 중 어느 하나의 프레임 이미지의 해상도보다 높음 - ;
상기 융합 이미지에 대해 이미지 강조 처리를 수행하여 타겟 이미지를 획득하고 출력하도록 구성되는 강조 모듈;을 포함하고,
상기 이미지 융합 모델은 복수의 초 해상도 모델을 포함하되; 상기 초 해상도 모델은 이미지 유형과 일일이 대응되고; 상기 멀티 프레임 이미지는 동일한 촬영 장면에 대해 멀티 프레임의 상이한 노출 정도를 수집한 저 다이내믹 레인지 이미지이고,
상기 융합 모듈은 구체적으로, 상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해 이미지 분할을 수행하여 복수의 영역 이미지를 획득하며; 상기 복수의 영역 이미지 중 동일한 이미지 유형에 속하는 복수의 영역 이미지를 상기 동일한 이미지 유형에 대응되는 초 해상도 모델에 입력하여, 상기 동일한 이미지 유형의 영역 융합 이미지를 획득하하도록 구성되고, 상기 영역 융합 이미지의 노이즈는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 노이즈보다 낮고, 상기 영역 융합 이미지의 해상도는 상기 동일한 이미지 유형의 복수의 영역 이미지 중 어느 하나의 영역 이미지의 해상도보다 높으며; 상이한 이미지 유형의 영역 융합 이미지를 융합하여, 상기 융합 이미지를 획득하고,
상기 이미지 유형은,
색상 특징의 이미지;
형상 특징의 이미지; 및,
공간 관계의 이미지 중 적어도 하나를 포함하고,
상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해 이미지 분할을 수행하여 복수의 영역 이미지를 획득하는 것은,
상기 고스트 이미지가 제거된 멀티 프레임 이미지 중 각 단일 프레임 이미지에 대해, 상기 단일 프레임 이미지의 각 픽셀의 유형을 판단하고;
각 상기 픽셀의 유형에 기반하여 상기 픽셀이 속하는 아미지 유형을 결정하고;
동일한 단일 프레임 이미지 중 동일한 이미지 유형에 속하는 픽셀을 동일한 영역 이미지에 분할하여 복수의 상기 영역 이미지를 획득하는 것을 포함하는,
것을 특징으로 하는 촬영 장치.
- 단말기에 있어서,
프로세서; 및,
프로세서에 의해 실행 가능한 명령을 저장하는 메모리;를 포함하되,
상기 프로세서는 제1항 내지 제6항 중 어느 한 항에 따른 촬영 방법을 수행하도록 구성되는,
것을 특징으로 하는 단말기.
- 비 일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 저장 매체 중 명령이 단말기의 프로세서에 의해 실행될 경우, 단말기가 제1항 내지 제6항 중 어느 한 항에 따른 촬영 방법을 수행하도록 하는,
것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011563021.6A CN112634160A (zh) | 2020-12-25 | 2020-12-25 | 拍照方法及装置、终端、存储介质 |
| CN202011563021.6 | 2020-12-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220092771A KR20220092771A (ko) | 2022-07-04 |
| KR102525293B1 true KR102525293B1 (ko) | 2023-04-25 |
Family
ID=75324908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210065213A KR102525293B1 (ko) | 2020-12-25 | 2021-05-21 | 촬영 방법 및 장치, 단말기, 저장 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11847769B2 (ko) |
| EP (1) | EP4020371A1 (ko) |
| JP (1) | JP7221334B2 (ko) |
| KR (1) | KR102525293B1 (ko) |
| CN (1) | CN112634160A (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634160A (zh) * | 2020-12-25 | 2021-04-09 | 北京小米松果电子有限公司 | 拍照方法及装置、终端、存储介质 |
| CN113570531A (zh) * | 2021-07-27 | 2021-10-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN117716705A (zh) * | 2022-06-20 | 2024-03-15 | 北京小米移动软件有限公司 | 一种图像处理方法、图像处理装置及存储介质 |
| CN115633259B (zh) * | 2022-11-15 | 2023-03-10 | 深圳市泰迅数码有限公司 | 基于人工智能的智能摄像头自动调控方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015121884A (ja) * | 2013-12-20 | 2015-07-02 | キヤノン株式会社 | 画像処理装置、その方法、及びプログラム |
| JP2015197818A (ja) * | 2014-04-01 | 2015-11-09 | キヤノン株式会社 | 画像処理装置およびその方法 |
| WO2020033427A1 (en) * | 2018-08-08 | 2020-02-13 | Google Llc | Optical image stabilization movement to create a super-resolution image of a scene |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102008034979B4 (de) * | 2008-07-25 | 2011-07-07 | EADS Deutschland GmbH, 85521 | Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern |
| US9754389B2 (en) | 2012-08-06 | 2017-09-05 | Koninklijke Philips N.V. | Image noise reduction and/or image resolution improvement |
| KR101805629B1 (ko) * | 2013-05-07 | 2017-12-07 | 삼성전자주식회사 | 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치 |
| US9275445B2 (en) * | 2013-08-26 | 2016-03-01 | Disney Enterprises, Inc. | High dynamic range and tone mapping imaging techniques |
| JP6263623B2 (ja) | 2013-12-06 | 2018-01-17 | 華為終端（東莞）有限公司 | 画像生成方法及びデュアルレンズ装置 |
| US20170323433A1 (en) * | 2014-11-27 | 2017-11-09 | Nokia Technologies Oy | Method, apparatus and computer program product for generating super-resolved images |
| US9665927B2 (en) * | 2015-06-03 | 2017-05-30 | Samsung Electronics Co., Ltd. | Method and apparatus of multi-frame super resolution robust to local and global motion |
| US10504206B2 (en) * | 2016-07-06 | 2019-12-10 | Micro Biz Ventures LLC | Method and system for processing images from a remote image detector |
| JP6809891B2 (ja) | 2016-12-15 | 2021-01-06 | 株式会社Ｆｕｊｉ | 画像処理システム及び画像処理方法 |
| CN110136062B (zh) * | 2019-05-10 | 2020-11-03 | 武汉大学 | 一种联合语义分割的超分辨率重建方法 |
| KR102410907B1 (ko) * | 2019-05-22 | 2022-06-21 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
| US11531349B2 (en) * | 2019-06-21 | 2022-12-20 | Volkswagen Ag | Corner case detection and collection for a path planning system |
| US11356604B2 (en) * | 2020-02-14 | 2022-06-07 | Pixelworks, Inc. | Methods and systems for image processing with multiple image sources |
| CN113284054A (zh) * | 2020-02-19 | 2021-08-20 | 华为技术有限公司 | 图像增强方法以及图像增强装置 |
| CN112634160A (zh) * | 2020-12-25 | 2021-04-09 | 北京小米松果电子有限公司 | 拍照方法及装置、终端、存储介质 |
-
2020
- 2020-12-25 CN CN202011563021.6A patent/CN112634160A/zh active Pending
-
2021
- 2021-05-21 KR KR1020210065213A patent/KR102525293B1/ko active IP Right Grant
- 2021-05-27 US US17/332,210 patent/US11847769B2/en active Active
- 2021-05-27 EP EP21176305.7A patent/EP4020371A1/en active Pending
- 2021-05-31 JP JP2021091760A patent/JP7221334B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015121884A (ja) * | 2013-12-20 | 2015-07-02 | キヤノン株式会社 | 画像処理装置、その方法、及びプログラム |
| JP2015197818A (ja) * | 2014-04-01 | 2015-11-09 | キヤノン株式会社 | 画像処理装置およびその方法 |
| WO2020033427A1 (en) * | 2018-08-08 | 2020-02-13 | Google Llc | Optical image stabilization movement to create a super-resolution image of a scene |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220092771A (ko) | 2022-07-04 |
| JP2022103020A (ja) | 2022-07-07 |
| US11847769B2 (en) | 2023-12-19 |
| JP7221334B2 (ja) | 2023-02-13 |
| CN112634160A (zh) | 2021-04-09 |
| US20220207676A1 (en) | 2022-06-30 |
| EP4020371A1 (en) | 2022-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102525293B1 (ko) | 촬영 방법 및 장치, 단말기, 저장 매체 | |
| CN111669493B (zh) | 一种拍摄方法、装置与设备 | |
| KR101727169B1 (ko) | 이미지 필터를 생성하기 위한 방법 및 장치 | |
| WO2019104705A1 (zh) | 图像处理的方法和设备 | |
| US20230217097A1 (en) | Image Content Removal Method and Related Apparatus | |
| US11386577B2 (en) | Image processing method, image processing device, and storage medium | |
| CN108848389B (zh) | 一种全景视频处理方法及播放系统 | |
| US20220383508A1 (en) | Image processing method and device, electronic device, and storage medium | |
| CN112312016B (zh) | 拍摄处理方法、装置、电子设备和可读存储介质 | |
| CN112017137A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| JP6909317B2 (ja) | 画像処理モデルのトレーニング方法、装置および媒体 | |
| CN109784327B (zh) | 边界框确定方法、装置、电子设备及存储介质 | |
| CN114979465A (zh) | 视频处理方法、电子设备及可读介质 | |
| CN106469446B (zh) | 深度图像的分割方法和分割装置 | |
| CN111726531B (zh) | 图像拍摄方法、处理方法、装置、电子设备及存储介质 | |
| JP7058309B2 (ja) | 画像撮影方法、画像撮影装置および記憶媒体 | |
| CN112887611A (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN112866557A (zh) | 构图推荐方法和电子设备 | |
| CN117177052B (zh) | 图像获取方法、电子设备及计算机可读存储介质 | |
| US20230385993A1 (en) | Image processing method and apparatus, electronic device, storage medium and chip | |
| CN110493511B (zh) | 一种全景图像生成方法及移动终端 | |
| EP4304188A1 (en) | Photographing method and apparatus, medium and chip | |
| US20140301651A1 (en) | Method and device for performing spatial filtering process on image | |
| CN116416141A (zh) | 图像处理方法及装置、设备、存储介质 | |
| CN117177052A (zh) | 图像获取方法、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |