KR102266649B1 - 이미지 처리 방법 및 장치 - Google Patents
이미지 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR102266649B1 KR102266649B1 KR1020207005968A KR20207005968A KR102266649B1 KR 102266649 B1 KR102266649 B1 KR 102266649B1 KR 1020207005968 A KR1020207005968 A KR 1020207005968A KR 20207005968 A KR20207005968 A KR 20207005968A KR 102266649 B1 KR102266649 B1 KR 102266649B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- depth
- obtaining
- thread
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 166
- 230000009467 reduction Effects 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 42
- 239000002131 composite material Substances 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 23
- 238000003786 synthesis reaction Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 17
- 238000003860 storage Methods 0.000 description 17
- 230000009977 dual effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 206010034972 Photosensitivity reaction Diseases 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000036211 photosensitivity Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010012218 Delirium Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/007—Dynamic range modification
- G06T5/008—Local, e.g. shadow enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H04N5/2256—
-
- H04N5/23232—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Abstract
본 발명은 이미지 처리 방법 및 장치를 제공한다. 상기 방법은, 제1카메라를 제어하여 복수의 제1이미지를 캡처하고, 제2카메라를 제어하여 복수의 제2이미지를 캡처하는 단계; 상기 복수의 제1이미지로부터 제1기준 이미지를 획득하고, 상기 복수의 제2이미지로부터 제2기준 이미지를 획득하며, 상기 제2기준 이미지와 상기 제1기준 이미지는 연관 방식으로 캡처되고, 한 쌍의 이미지를 형성하는 단계; 제1스레드에 의하여 상기 복수의 제1이미지에 대해 합성 및 노이즈 감소 처리를 수행하여, 합성 및 노이즈 감소된 이미지를 생성하고, 기 설정된 이미지 처리 전략에 따라 상기 합성 및 노이즈 감소된 이미지를 처리하여 타깃 이미지를 생성하며, 제2스레드에 의해 제1기준 이미지 및 상기 제2기준 이미지에 기초하여 피사계 심도 정보를 획득하는 단계; 및 상기 피사계 심도 정보에 따라 상기 타깃 이미지의 배경 영역을 블러링하는 단계를 포함한다.
Description
본 발명은 이미지 처리 기술에 관한 것으로서, 보다 상세하게는 이미지 처리 방법 및 장치에 관한 것이다.
본 출원은 2017년 11월 1일에 출원된 중국 특허 출원 번호 201711060087.1을 기초로 하고 우선권을 주장하며, 그 내용 전체가 본 명세서에 참조로 포함된다.
단말 장치 제조 기술의 발전으로, 대부분의 단말 장치는 일반적으로 피사계 심도(the depth of field) 정보를 획득하도록 구성된 듀얼 카메라를 채택하여, 상기 피사계 심도 정보에 따라 관련 이미지 처리를 수행함으로써 사용자들의 다양화 캡처 요건이 충족될 수 있다.
본 발명은 이미지 처리 방법 및 장치를 제공한다.
본 발명의 실시 예는 이미지 처리 방법을 제공한다. 상기 방법은, 제1카메라를 제어하여 복수의 제1이미지를 캡처하고, 제2카메라를 제어하여 복수의 제2이미지를 캡처하는 단계; 상기 복수의 제1이미지로부터 제1기준 이미지를 획득하고, 상기 복수의 제2이미지로부터 제2기준 이미지를 획득하며, 상기 제2기준 이미지와 상기 제1기준 이미지는 연관 방식으로 캡처되고, 한 쌍의 이미지를 형성하는 단계; 제1스레드에 의하여 상기 복수의 제1이미지에 대해 합성 및 노이즈 감소 처리를 수행하여, 합성 및 노이즈 감소된 이미지를 생성하고, 기 설정된 이미지 처리 전략에 따라 상기 합성 및 노이즈 감소된 이미지를 처리하여 타깃 이미지를 생성하며, 제2스레드에 의해 제1기준 이미지 및 상기 제2기준 이미지에 기초하여 피사계 심도 정보를 획득하는 단계; 및 상기 피사계 심도 정보에 따라 상기 타깃 이미지의 배경 영역을 블러링하는 단계(104)를 포함한다.
일 실시 예에서, 상기 제1카메라를 제어하여 상기 복수의 제1이미지를 캡처하고, 상기 제2카메라를 제어하여 상기 복수의 제2이미지를 캡처하는 단계는, 캡처 환경의 휘도를 검출하는 단계; 및 상기 휘도가 기 결정된 임계 값보다 작은 것을 검출하면 그 대응으로, 상기 제1카메라를 제어하여 상기 복수의 제1이미지를 캡처하고, 상기 제2카메라를 제어하여 상기 복수의 제2이미지를 캡처하는 단계를 포함한다.
일 실시 예에서, 상기 복수의 제1이미지로부터 상기 제1기준 이미지를 획득하고, 상기 복수의 제2이미지로부터 상기 제2기준 이미지를 획득하는 단계는, 상기 복수의 제1이미지로부터 한 세트의 제1이미지를 선택하고, 상기 한 세트의 제1이미지에서 각각의 제1이미지는 기 결정된 선명도보다 큰 선명도를 가지는 단계; 상기 복수의 제2이미지로부터 한 세트의 제2이미지를 선택하고, 상기 한 세트의 제2이미지에서 각각의 제2이미지는 상기 한 세트의 제1이미지에서 각각의 제1이미지와 한 쌍의 이미지를 형성하는 단계; 및 상기 한 세트의 제1이미지로부터 상기 제1기준 이미지를 선택하고, 상기 한 세트의 제2이미지로부터 상기 제2기준 이미지를 선택하는 단계를 포함한다.
일 실시 예에서, 상기 제1스레드에 의하여 상기 복수의 제1이미지에 대해 상기 합성 및 노이즈 감소 처리를 수행하여, 상기 합성 및 노이즈 감소된 이미지를 생성하는 단계는, 상기 복수의 제1이미지에서 동일한 위치에 대응하는 픽셀의 값들을 판독하는 단계; 상기 값들의 평균값을 계산하는 단계; 및 상기 합성 및 노이즈 감소 이미지에서 동일한 위치에 대응하는 상기 픽셀의 값으로서 상기 평균값을 판단하는 단계를 포함한다.
일 실시 예에서, 상기 피사계 심도 정보에 따라 상기 타깃 이미지의 배경 영역을 블러링하는 단계는, 전경 영역의 제1피사계 심도 및 상기 배경 영역의 제2피사계 심도를 획득하는 단계; 상기 제1피사계 심도 및 상기 제2피사계 심도에 따라 블러링 정도를 생성하는 단계; 및 상기 블러링 정도에 따라 상기 타깃 이미지의 상기 배경 영역을 블러링하는 단계를 포함한다.
일 실시 예에서, 상기 전경 영역의 상기 제1피사계 심도 및 상기 배경 영역의 제2피사계 심도를 획득하는 단계는, 캡처 파라미터들을 획득하는 단계; 및 상기 전경 영역의 상기 제1피사계 심도 및 상기 배경 영역의 상기 제2피사계 심도를 공식 및 상기 캡처 파라미터들에 따라 판단하는 단계를 포함한다.
일 실시 예에서, 상기 전경 영역의 상기 제1피사계 심도 및 상기 배경 영역의 제2피사계 심도를 획득하는 단계는, 상기 제1 및 제2카메라에 의해 획득된 현재 캡처된 이미지들의 데이터에 따라 상기 초점 영역을 넘어서 이미징 영역의 피사계 심도 맵을 획득하는 단계; 및 상기 피사계 심도 맵에 따라 상기 전경 영역의 상기 제1피사계 심도 및 상기 배경 영역의 상기 제2피사계 심도를 판단하는 단계를 포함한다.
일 실시 예에서, 상기 블러링 정도에 따라 상기 타깃 이미지의 상기 배경 영역을 블러링하는 단계는, 상기 픽셀의 블러링 정도 및 피사계 심도에 따라 상기 타깃 이미지의 상기 배경 영역에서 각 픽셀의 블러링 계수를 획득하는 단계; 및 상기 각 픽셀의 블러링 계수에 따라 상기 타깃 이미지의 상기 배경 영역을 블러링하는 단계를 포함한다.
일 실시 예에서, 상기 제1스레드에 의해 수행된 상기 합성 및 노이즈 감소 처리를 위한 제1시간 길이를 획득하고(201), 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 제2시간 길이를 획득하는 단계; 및 상기 제1시간 길이와 상기 제2시간 길이의 차이에 따라 상기 이미지 처리 전략을 설정하는 단계(202)를 더 포함한다.
일 실시 예에서, 상기 휘도가 상기 기 결정된 임계 값 이상인 것을 검출하면 그 대응으로, 상기 제1카메라를 제어하여 제1이미지의 프레임을 캡처하고, 상기 제2카메라를 제어하여 제2이미지의 프레임을 캡처하는 단계; 상기 제1스레드에 의해 상기 기 설정된 이미지 처리 전략에 따라 상기 제1이미지의 프레임을 처리하여 상기 타깃 이미지를 생성하고, 상기 제2스레드에 의해 상기 제1이미지의 프레임 및 상기 제2이미지의 프레임에 기초하여 상기 피사계 심도 정보를 획득하는 단계; 및 상기 피사계 심도 정보에 따라 상기 타깃 이미지의 상기 배경 영역을 블러링하는 단계를 더 포함한다.
일 실시 예에서, 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 시간 길이를 획득하는 단계; 및 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 시간 길이에 따라 상기 이미지 처리 전략을 설정하는 단계를 더 포함한다.
본 발명의 실시 예들은, 메모리, 프로세서 및 상기 메모리 상에 저장되고 상기 프로세서 상에서 실행 가능한 컴퓨터 프로그램을 포함하는 컴퓨터 장치를 제공한다. 상기 프로세서가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로세서는 전술한 상기 이미지 처리 방법을 수행하게 한다.
본 발명의 실시 예는 이미지 처리 방법을 더 제공한다. 상기 방법은, 제1카메라를 제어하여 제1이미지를 캡처하고, 제2카메라를 제어하여 제2이미지를 캡처하는 단계; 기 설정된 이미지 처리 전략에 따라 제1스레드에 의해 상기 제1이미지를 처리하여 타깃 이미지를 생성하고, 상기 제1이미지 및 상기 제2이미지에 기초하여 피사계 심도 정보를 제2스레드에 의해 획득하는 단계; 및 상기 피사계 심도 정보에 따라 상기 타깃 이미지의 배경 영역을 블러링 하는 단계를 포함한다.
일 실시 예에서, 상기 방법은 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 시간 길이를 획득하는 단계; 및 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 상기 시간 길이에 따라 상기 이미지 처리 전략을 설정하는 단계를 더 포함한다.
상기 일 실시 예에서, 상기 방법은, 캡처 환경의 휘도를 검출하는 단계; 상기 캡처 환경의 상기 휘도가 기 결정된 임계 값 미만인 것을 검출하면 그 대응으로, 상기 제1카메라를 제어하여 상기 제1이미지를 캡처하고, 상기 제2카메라를 제어하여 상기 제2이미지를 캡처하는 단계는, 상기 제1카메라를 제어하여 복수의 제1이미지를 캡처하고, 상기 제2카메라를 제어하여 복수의 제2이미지를 캡처하는 단계를 포함하고, 상기 기 설정된 이미지 처리 전략에 따라 상기 제1스레드에 의해 상기 제1이미지를 처리하여 상기 타깃 이미지를 생성하고, 상기 제1이미지 및 상기 제2이미지에 기초하여 피사계 심도 정보를 상기 제2스레드에 의해 획득하는 단계는, 상기 복수의 제1이미지로부터 제1기준 이미지를 획득하고, 상기 복수의 제2이미지로부터 제2기준 이미지를 획득하며, 상기 제2기준 이미지 및 상기 제1기준 이미지는 연관 방식으로 캡처되고 한 쌍의 이미지를 형성하는 단계; 및 제1스레드에 의해 상기 복수의 제1이미지에 대한 합성 및 노이즈 감소 처리를 수행하여 합성 및 노이즈 감소 이미지를 생성하고, 상기 기 설정된 이미지 처리 전략에 따라 상기 합성 및 노이즈 감소된 이미지를 처리하여 상기 타깃 이미지를 생성하며, 상기 제2스레드에 의해 상기 제1기준 이미지 및 상기 제2기준 이미지에 기초하여 피사계 심도 정보를 획득하는 단계를 더 포함한다.
일 실시 예에서, 상기 방법은, 상기 제1스레드에 의해 수행된 상기 합성 및 노이즈 감소 처리를 위한 제1시간 길이를 획득하고, 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 제2시간 길이를 획득하는 단계; 및 상기 제1시간 길이와 상기 제2시간 길이의 차이에 따라 상기 이미지 처리 전략을 설정하는 단계를 더 포함한다.
본 발명의 실시 예들의 추가적인 양상들 및 이점들은 다음의 설명들에서 부분적으로 주어 지거나, 다음의 설명들로부터 부분적으로 명백해지거나, 또는 본 발명의 실시 예들의 실시로부터 학습될 것이다.
본 발명의 실시 예들의 이들 및 다른 양상들 및 장점들은 도면을 참조하여 이루어진 다음의 설명으로부터 명백해지고 더 쉽게 이해될 것이다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 삼각 측정의 원리를 도시한 개략도이다.
도 3은 본 발명의 일 실시 예에 따른 듀얼 카메라에 의해 피사계 심도 정보를 획득하는 과정을 도시한 개략도이다.
도 4는 본 발명의 다른 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 5는 본 발명의 다른 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 이미지 처리 방법을 구현하는 시나리오를 나타내는 개략도이다.
도 7은 본 발명의 특정 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 블록도이다.
도 9는 본 발명의 다른 실시 예에 따른 이미지 처리 장치의 블록도이다.
도 10은 본 발명의 다른 실시 예에 따른 이미지 처리 장치의 블록도이다.
도 11은 본 발명의 일 실시 예에 따른 이미지 처리 회로를 도시한 개략도이다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 삼각 측정의 원리를 도시한 개략도이다.
도 3은 본 발명의 일 실시 예에 따른 듀얼 카메라에 의해 피사계 심도 정보를 획득하는 과정을 도시한 개략도이다.
도 4는 본 발명의 다른 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 5는 본 발명의 다른 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 이미지 처리 방법을 구현하는 시나리오를 나타내는 개략도이다.
도 7은 본 발명의 특정 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 블록도이다.
도 9는 본 발명의 다른 실시 예에 따른 이미지 처리 장치의 블록도이다.
도 10은 본 발명의 다른 실시 예에 따른 이미지 처리 장치의 블록도이다.
도 11은 본 발명의 일 실시 예에 따른 이미지 처리 회로를 도시한 개략도이다.
이하, 도면 전체에 걸쳐 동일 또는 유사한 참조 번호가 동일 또는 유사한 기능을 가지는 동일 또는 유사한 요소 또는 요소를 나타내는 예시적인 실시 예를 참조하여 첨부 도면에 예시한다. 도면을 참조하여 후술되는 실시 예는 단지 예시적이고 본 발명을 설명하기 위해 사용되며, 본 발명을 제한하는 것으로 이해되어서는 안 된다.
종래 기술에서, 상기 피사계 정보의 깊이를 획득하는데 시간이 오래 걸리므로, 상기 피사계 심도 정보에 기초한 관련 이미지 처리 시간이 길어 이미지 처리 효율이 낮아진다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 이미지 처리 방법, 이미지 처리 장치 및 기기에 대해 설명한다.
본 발명의 실시 예들에 따른 이미지 처리 방법의 실행 대상은 휴대폰, 태블릿 컴퓨터, 개인 휴대 정보 단말기, 웨어러블 장치와 같은 듀얼 카메라를 구비한 하드웨어 장치일 수 있다. 상기 웨어러블 장치는 스마트 팔찌, 스마트 시계, 스마트 안경 등일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다. 도 1에 도시된 바와 같이, 상기 방법은 다음 블록들을 포함할 수 있다.
블록(101)에서, 제1카메라(가령, 본 발명의 실시 예에서 1차 카메라)는 복수의 제 1 이미지(또한 복수의 1차 이미지라고도 함)를 캡처하도록 제어되고, 동시에 제2카메라(가령, 본 발명의 실시 예에서 2차 카메라)는 복수의 제2이미지(또한 복수의 2차 이미지라고도 함)를 캡처하도록 제어된다.
본 실시 예에서, 상기 1차 카메라에 의해 캡처된 상기 1차 이미지 및 상기 2차 카메라에 의해 캡처된 상기 2차 이미지에 기초하여, 상기 1차 이미지 및 상기 2차 이미지에서 동일한 오브젝트의 파일 정보의 깊이가 획득된다. 상기 1차 이미지는 최종 실제 이미지의 기본 이미지로 구성된다. 상기 1차 이미지 및 상기 2차 이미지에 기초하여 피사계 심도 정보(depth of field information)를 획득할 때 상기 1차 이미지와 상기 2차 이미지 사이의 중대한 차이로 인해 피사계 심도 정보를 정확하게 획득할 수 없는 상황 혹은 상기 1차 이미지가 선명하지 않아 최종 실제 이미지의 이미지 품질이 좋지 않은 상황을 피하기 위하여, 상기 1차 카메라는 상기 복수의 1차 이미지를 캡처하도록 제어되고, 상기 2차 카메라는 상기 복수의 2차 이미지를 캡처하도록 제어되어, 상기 최적화된 1차 이미지 및 2차 이미지 쌍이 상기 복수의 1차 이미지 및 상기 복수의 2차 이미지로부터 선택될 수 있으며, 이로써 상기 피사계 심도 정보의 획득 정확도 및 상기 최종 이미지의 상기 이미지 품질이 개선된다.
종래 기술에서, 상기 듀얼 카메라는 저조도 환경에서 불량한 이미징 효과를 가지며, 충분한 조명으로 인해 고조도 환경에서 우수한 이미징 효과를 가진다. 상기 고조도 환경에서, 상기 1차 이미지 및 상기 2차 이미지는 높은 이미지 선명도를 가지며, 이러한 경우, 상기 1차 카메라는 하나의 1차 이미지를 캡처하도록 제어되고, 동시에 상기 2차 카메라는 하나의 2차 이미지를 캡처하도록 제어되며, 상기 피사계 심도 정보를 획득하는 정확성이 보장될 수 있고 더 나은 이미징 효과가 획득될 수 있다. 따라서, 처리 압력을 해제하기 위해, 상기 복수의 1차 이미지 및 상기 복수의 2차 이미지는 상기 저조도 환경에서만 캡처된다.
일 실시 예에서, 캡처 환경의 휘도는 예를 들어, 상기 단말 장치의 광학 센서에 의해 검출된다. 상기 검출된 휘도가 기 결정된 임계 값 미만인 경우, 이는 상기 현재 환경이 상기 단말 장치의 이미징 효과에 영향을 줄 수 있어, 상기 1차 카메라는 상기 복수의 1차 이미지를 캡처하도록 제어되고, 동시에 상기 2차 카메라는 복수의 2차 이미지를 캡처하도록 제어된다는 것을 나타낸다.
상기 기 결정된 임계 값은 많은 실험 데이터에 따라 판단되고, 상기 주변 조도가 상기 이미징 효과에 영향을 미치는지 여부를 판단하도록 구성된 기준 휘도일 수 있다. 상기 기 결정된 임계 값은 상기 단말 장치의 이미징 하드웨어와 관련될 수 있다. 상기 이미징 하드웨어의 감광성이 양호할수록, 상기 기 결정된 임계 값은 낮아진다.
블록(102)에서, 제1기준 이미지(또한 기준 1차 이미지라고도 함)는 상기 복수의 1차 이미지로부터 선택되고, 연관 방식으로 캡처되고, 상기 1차 기준 이미지와 한 쌍의 이미지를 형성하는 제2기준 이미지(또한 기준 2차 이미지라고도 함)는 상기 복수의 2차 이미지로부터 선택된다. 연관 방식으로 캡처되는 상기 기준 1차 이미지와 상기 기준 2차 이미지는 상기 기준 1차 이미지와 상기 기준 2차 이미지가 동시에 캡처되는 것을 나타낼 수 있고, 또는 상기 기준 1차 이미지 및 상기 기준 2차 이미지는 기 결정된 캡처 전략에 따라 캡처되는 것을 나타낼 수 있다. 예를 들어, 상기 기 결정된 캡처 전략은 상기 1차 카메라에 의해 캡처된 n번째 1차 이미지가 상기 기준 1차 이미지로 구성되고, 상기 2차 카메라에 의해 캡처된 n번째 2차 이미지가 상기 기준 2차 이미지로 구성됨을 나타낼 수 있다.
블록(103)에서, 합성 및 노이즈 감소 처리(composition and noise reduction processing)는 복수의 1 차 이미지에 대한 제1스레드에 의해 수행되어 합성 및 노이즈 감소된 이미지(composited and noise-reduced image)를 생성하며, 상기 합성 노이즈 감소된 이미지는 기 설정된 이미지 처리 전략에 따라 처리되어 타깃 1차 이미지를 생성하며, 동시에, 피사계 심도 정보는 상기 기준 1차 이미지 및 제2스레드에 의한 상기 기준 2차 이미지에 기초하여 획득된다.
전술한 바와 같이, 상기 듀얼 카메라를 구비한 시스템은 1차 이미지 및 2차 이미지에 기초하여 상기 피사계 심도 정보를 획득한다. 상기 듀얼 카메라에 의해 상기 피사계 심도 정보를 획득하는 프로세스를 명확하게 설명하기 위하여, 상기 듀얼 카메라에 의해 상기 피사계 심도 정보를 획득하는 원리가 첨부 도면을 참조하여 설명된다.
실제로, 상기 피사계 심도 정보는 양안의 시력의 도움으로 인간의 눈에 의해 획득되며, 상기 원리는 듀얼 카메라에 적합하고 도 2에 도시된 삼각 측정(triangular measurement) 원리에 따라 실현된다. 도 2를 참조하면, 실제 공간에서, 이미징 오브젝트(imaging object), 2개 카메라의 위치(OR 및 OT), 2개 카메라의 초점면(focus plane)이 도시되어 있다. 상기 초점면과 2개 카메라가 있는 평면 사이의 거리는 f이다. 상기 2개 카메라가 초점면에 이미지들을 형성한다.
P와 P'는 서로 다른 이미지에서 동일한 오브젝트의 위치들을 나타낸다. P와 상기 포인트(P)를 가지는 이미지의 좌측 경계 사이의 거리는 XR이고, P'와 상기 포인트(P')를 가지는 이미지의 좌측 경계 사이의 거리는 XT 이다. OR와 OT는 동일한 평면에 있고, 서로 거리(B)에 있는 2개의 카메라를 나타낸다.
삼각 측정의 원리에 기초하여, 상기 오브젝트와 2개의 카메라가 위치한 평면 사이의 거리가 Z이기 때문에 공식 
이 설정될 수 있다.
공식 
이 도출될 수 있고, 여기서 d는 상이한 이미지들에서 동일한 오브젝트의 위치들 사이의 거리 차이를 나타낸다. B와 f는 고정되어 있으므로 d에 따라 Z를 획득할 수 있다.
또한, 상기 삼각 측정 외에도, 다른 접근법을 사용하여 상기 1차 이미지의 피사계 심도 정보를 획득할 수 있다. 예를 들어, 상기 1차 카메라와 상기 2차 카메라가 동일한 시나리오에 대해 이미지들을 캡처할 때, 상기 시나리오에서 오브젝트와 카메라들 사이의 거리는 상기 1차 카메라와 상기 2차 카메라 사이의 제스처 차이(gesture difference)인 변위 차이(displacement difference)에 비례한다. 본 발명의 일 실시 예에서, 상기 거리(Z)는 비례 관계에 따라 획득될 수 있다.
예를 들어, 도 3을 참조하면, 상기 1차 이미지는 1차 카메라에 의해 캡처되고 상기 2차 이미지는 상기 2차 카메라에 의해 캡처된다. 상기 1차 이미지와 상기 2차 이미지의 차이는 계산되어 시차 이미지(disparity image)로 표시된다. 상기 시차 이미지는 2개의 다른 이미지에서 동일한 포인트들 사이의 상기 변위 차이를 보여준다. 상기 삼각 측정에서 상기 변위 차이는 Z에 비례하기 때문에, 상기 시차 이미지는 상기 피사계 심도 정보를 보유하는 이미지로서 사용될 수 있다.
전술한 바와 같이, 상기 듀얼 카메라가 피사계 심도 정보를 획득할 때, 동일한 오브젝트의 위치는 상이한 이미지들에서 획득될 필요가 있다. 상기 피사계 심도 정보를 획득하는 상기 듀얼 카메라에 의해 캡처된 이미지가 근접하면, 상기 피사계 심도 정보를 획득하는 정확도 및 효율이 향상될 수 있다.
본 발명의 실시 예들에서, 상기 1차 카메라와 상기 2차 카메라가 상기 복수의 1차 이미지와 상기 2차 이미지를 동시에 캡처하기 때문에, 동시에 캡처되는 한 쌍의 이미지에 속하는 상기 1차 이미지와 상기 2차 이미지는 근접하고, 상기 합성 및 노이즈 감소 처리 이전에 상기 본래 1차 이미지 및 상기 2차 이미지에 따라 상기 피사계 심도 정보를 획득함으로써 상기 획득된 피사계 심도 정보의 정확성이 보장될 수 있다.
상기 저조도 환경에서 이미지를 캡처할 때, 전술한 바와 같이, 상기 복수의 1차 이미지 및 상기 복수의 2차 이미지의 노이즈 포인트는 높다. 이러한 경우, 상기 피사계 심도 정보 획득의 정확도를 더욱 향상시키기 위하여, 상기 합성 및 노이즈 감소 처리는 상기 복수의 2차 이미지에 대해 수행될 수 있고, 상기 피사계 심도 정보는 상기 합성 및 노이즈 감소 2차 이미지 및 1차 이미지에 따라 획득될 수 있다.
일 실시 예에서, 상기 기준 1차 이미지는 상기 복수의 1차 이미지로부터 선택되고, 상기 기준 2차 이미지는 상기 복수의 2차 이미지로부터 선택된다. 실제로, 캡처 처리 동안, 상기 1차 이미지 및 상기 2차 이미지는 동일한 주파수에서 캡처되어, 상기 복수의 1차 이미지 및 상기 복수의2 차 이미지를 획득한다. 동시에 캡처된 상기 1차 이미지와 상기 2차 이미지는 한 쌍의 이미지에 속한다. 예를 들어, 시간 순서대로, 상기 1차 카메라에 의해 캡처된 상기 복수의 1차 이미지는, 1차 이미지(11), 1차 이미지(12) 등을 포함한다. 상기 2차 카메라에 의해 캡처된 상기 복수의 2차 이미지는 2차 이미지(21), 2차 이미지(22) 등을 포함한다. 상기 1차 이미지(11) 및 상기 2차 이미지(21)는 한 쌍의 이미지에 속한다. 상기 1차 이미지(12) 및 상기 2차 이미지(22)는 한 쌍의 이미지에 속한다. 상기 피사계 심도 정보를 획득하는 정확도 및 효율을 더 향상시키기 위하여, 상기 고화질의 기준 1차 이미지는 상기 복수의 1차 이미지로부터 선택될 수 있다. 상기 복수의 이미지에 많은 프레임이 있는 경우, 상기 선택 효율을 향상시키기 위하여, 상기 이미지 선명도에 따라 1차 이미지의 여러 대응 프레임 및 2차 이미지의 여러 대응 프레임이 선택될 수 있다. 상기 기준 1차 이미지 및 상기 기준 2차 이미지는 최상위 순위의 이미지 선명도를 가지는 1차 이미지들 및 상기 대응 2 차 이미지들로부터 선택된다.
더욱이, 상기 피사계 심도를 획득하는데 시간이 오래 걸리기 때문에, 상기 제1스레드는 상기 타깃 1차 이미지를 생성하기 위하여 상기 복수의 1차 이미지에 대한 합성 및 노이즈 감소 처리를 수행하는데 사용되고, 동시에 상기 제2스레드는 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 기초하여 상기 피사계 심도 정보를 획득하는데 사용된다. 한편, 상기 피사계 심도 정보가 획득될 때, 상기 타깃 1 차 이미지를 획득하기 위해 상기 복수의 1차 이미지에 대해 합성 및 노이즈 감소 처리가 수행되어, 상기 피사계 심도 정보 및 상기 피사계 심도 정보가 획득된 후 상기 타깃 1차 이미지에 따라 블러링 처리가 수행될 수 있도록 한다. 상기 피사계 심도 정보를 먼저 획득한 다음 상기 1차 이미지들에 대해 상기 합성 및 노이즈 감소 처리를 수행하는 방식과 비교하여 상기 이미지 처리 효율이 향상된다. 다른 한편, 상기 복수의 1차 이미지에 대해 수행되는 상기 합성 및 노이즈 감소 처리는 상기 블러링 처리가 적용된 상기 이미지가 양호한 효과를 가지도록, 상기 타깃 1차 이미지가 선명하고 상세하고 높은 이미지 품질을 가질 수 있게 한다.
멀티 프레임 합성 및 노이즈 감소 처리를 더 잘 이해하기 위하여, 상기 저조도 환경에서 1차 이미지에 대해 수행되는 상기 멀티 프레임 합성 및 노이즈 감소 처리가 설명된다.
상기 주변 조명이 낮을 때, 상기 단말 장치와 같은 상기 이미징 장치는 일반적으로 감광성을 자동으로 증가시키는 방식으로 이미지를 캡처한다. 그러나 이러한 방법으로 감광성을 자동으로 높이면 상기 이미지들에 노이즈가 발생한다. 상기 멀티 프레임 합성 및 노이즈 감소 처리는 상기 이미지의 상기 노이즈 포인트들을 줄이고, 높은 감광성으로 캡처된 상기 이미지의 상기 이미지 품질을 향상시키는 것을 목표로 한다. 상기 노이즈 포인트들이 순서대로 정렬되지 않았다는 사전 지식을 기반으로 한다. 상기 복수의 이미지가 연속적으로 캡처된 후, 동일한 위치에서의 상기 노이즈 포인트는 레드 노이즈 포인트, 그린 노이즈 포인트, 화이트 노이즈 포인트일 수 있거나, 심지어 노이즈 포인트가 없을 수 있어서, 스크리닝 조건은 다음과 같이 구현될 수 있다. 상기 노이즈에 속하는 픽셀 포인트들(즉, 노이즈 포인트들)은 동일한 위치에 대응하고 상기 복수의 이미지에 위치한 픽셀 포인트들의 값에 따라 스크린 아웃 된다. 상기 픽셀 포인트의 값은 상기 픽셀 포인트 내의 다수의 픽셀을 포함한다. 상기 픽셀 포인트에 상기 픽셀들이 많을수록 상기 픽셀 포인트의 값이 커지고, 상기 해당 이미지의 선명도가 높아진다. 또한, 상기 노이즈 포인트들이 스크린 아웃 된 후에, 상기 노이즈 포인트들을 제거하는 효과를 실현하기 위해 기 결정된 알고리즘에 따라 상기 노이즈 포인트들에 대해 컬러 추측(color guessing) 및 픽셀 대체(pixel substitution)가 수행될 수 있다. 상기 처리 후, 상기 이미지 손실이 적은 노이즈 저감 효과를 실현할 수 있다.
간단한 멀티 프레임 합성 및 노이즈 감소 접근법으로서, 상기 복수의 이미지가 캡처된 후, 상기 동일한 위치 및 상기 복수의 이미지들에 대응하는 상기 픽셀 포인트들의 값들은 상기 합성된 이미지에서의 상기 픽셀 포인트의 값으로서 가중 평균 값을 계산하기 위해 판독 및 평균화된다. 이와 같은 방식으로, 상기 고화질의 이미지를 획득할 수 있다.
또한, 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 시간의 길이와 상기 제1스레드에 의해 수행되는 합성 및 노이즈 감소 처리를 위한 시간의 길이 사이에는 시간차가 존재한다. 상기 이미지 처리 효율을 더욱 향상시키기 위하여, 상기 시차를 최대한 활용함으로써 다른 이미지 처리 동작들이 수행될 수 있다.
상기 제1스레드 및 상기 제2스레드의 구현들은 상기 환경의 휘도가 상대적으로 높은 경우와, 상기 환경의 휘도가 상대적으로 낮은 경우에 설명될 것이다.
상기 캡처 환경의 휘도가 기 결정된 임계 값 미만인 경우, 상기 스레드의 구현들은 다음과 같이 설명될 수 있다.
일 실시 예에서, 상기 제1스레드에 의해 상기 복수의 1차 이미지에 대한 합성 및 노이즈 감소 처리를 수행하여 상기 타깃 1차 이미지를 생성하는 단계는, 상기 복수의 1차 이미지에 대해 합성 및 노이즈 감소 처리를 수행하고, 상기 제1스레드에 의해 기 설정된 이미지 처리 전략에 따라 상기 합성 및 노이즈 감소된 이미지를 처리하여, 상기 타깃 1차 이미지를 생성하는 단계를 포함한다.
상기 기 설정된 이미지 처리 전략은 필터 적용 동작(filter applying operation), 미화 동작(beautification operation) 등을 포함할 수 있다. 상기 제2스레드가 오랜 시간이 소요되는 상기 피사계 심도 정보를 획득하는 동시에, 상기 제1스레드는 상기 합성 및 노이즈 감소 처리 외에 다른 이미지 처리 동작을 수행할 수 있어, 상기 제1스레드에 의한 시간 비용과 상기 제2스레드에 의한 시간 비용 사이의 시간 차이는 상기 블러링 처리가 수행되기 전에 더 많은 이미지 처리 동작을 완료하여 이미지 처리 효율을 더 향상시킬 수 있다. 상기 블러링 처리를 수행하기 전에 상기 합성 및 노이즈 감소 이미지를 기반으로 더 많은 이미지 처리 작업이 구현되고, 상기 합성 및 노이즈 감소된 이미지는 상기 이미지 품질이 높기 때문에, 더 많은 이미지 처리 동작들이 더 나은 처리 효과를 달성할 수 있다.
예를 들면, 상기 제2스레드가 상기 합성 및 노이즈 감소 처리 외에, 오랜 시간이 소요되는 피사계 심도 정보를 획득하는 동시에, 상기 제1스레드는 상기 합성 및 노이즈 감소 이미지에 대해 미화 동작을 수행하여 상기 타깃 1차 이미지를 생성할 수 있다. 상기 블러링 처리가 수행될 때, 상기 이미지는 상기 미화 동작이 적용되었고, 이는 상기 이미지 처리 효율을 크게 향상시킨다.
실제, 상기 제1스레드에 의한 시간 비용과 상기 제2스레드에 의한 시간 비용 사이의 시차를 최대한 활용하기 위하여, 상기 제1스레드가 동작을 완료한 시간과 상기 제2스레드가 동작을 완료한 시간이 서로 근접할 수 있다. 또한, 상기 시차에 따라, 상기 이미지 처리 전략은 상기 제2스레드가 동작을 종료할 때 상기 이미지 처리 전략에 대응하는 동작이 완료될 수 있도록 설정될 수 있다.
도 4를 참조하면, 블록(103) 이전에, 상기 이미지 처리 방법은 다음 블록을 더 포함할 수 있다.
블록(201)에서, 상기 제1스레드에 의해 수행된 상기 합성 및 노이즈 감소 처리를 위한 제1시간 길이 및 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 제2시간 길이가 획득될 수 있다.
상기 제1시간 길이는 상기 단말 장치의 처리 시스템의 실행 속도 및 상기 1차 이미지들의 다수 프레임과 관련된다. 상기 제1시간 길이는 상관 알고리즘을 사용하여 상기 단말 장치의 상기 처리 시스템의 상기 실행 속도 및 상기 1차 이미지들의 다수 프레임에 따라 계산될 수 있다. 상기 제2시간 길이는 상기 단말 장치의 상기 처리 시스템의 상기 실행 속도 및 이미지 선명도와 관련이 있다. 상기 제2시간 길이는 상기 상관 알고리즘을 사용하여 상기 단말 장치의 상기 처리 시스템의 상기 실행 속도 및 상기 기준 1차 이미지 및 상기 기준 2차 이미지의 상기 이미지 선명도에 따라 계산될 수 있다.
블록(202)에서, 상기 이미지 처리 전략은 상기 제1시간 길이와 상기 제2시간 길이의 차이에 따라 설정된다.
다른 이미지 처리 동작들에는 다른 시간이 소요된다. 상기 제1시간 길이와 상기 제2시간 길이의 차이를 최대한 활용하려면, 상기 이미지 처리 전략은 시차 내에서 더 많은 이미지 처리 동작들이 완료될 수 있도록 상기 제1시간 길이와 제2시간 길이의 차이에 따라 설정될 수 있다.
예를 들면, 상기 합성 및 노이즈 감소 처리를 위한 시간 길이는 400ms, 상기 필터 적용 동작을 위한 시간 길이는 200ms, 상기 미화 동작을 위한 시간 길이는 200ms, 상기 피사계 심도 정보를 획득하기 위한 시간은 800ms 인 경우, 상기 현재 시나리오가 상기 미화 동작 및 상기 필터 적용 동작을 포함하면, 상기 미화 동작 및 상기 필터 적용 동작이 상기 제1스레드에서 설정되어, 상기 제2스레드가 상기 피사계 심도 정보를 획득한 후, 상기 제1스레드에 의해 획득된 타깃 1차 이미지에 대해 상기 필터 적용 동작 및 상기 미화 동작이 완료됨으로써, 상기 이미지 처리 효과가 크게 개선된다.
상기 캡처 환경의 휘도가 상기 기 결정된 임계 값 이상인 경우, 상기 스레드들의 병렬 처리 메커니즘은 다음과 같이 구현된다.
블록(101) 이후에, 상기 방법은 다음 블록을 더 포함할 수 있다.
블록(301)에서, 상기 캡처 환경의 상기 휘도가 상기 기 결정된 임계 값 이상인 것을 검출하면 그 대응으로, 상기 1차 카메라는 1차 이미지의 프레임을 캡처하도록 제어되고, 동시에 상기 2차 카메라는 2차 이미지의 프레임을 캡처하도록 제어된다.
상기 캡처 환경의 휘도가 상기 기 결정된 임계 값 이상인 경우, 이는 상기 현재 환경이 양호한 휘도 조건을 가지며, 상기 듀얼 카메라가 높은 이미징 품질을 가지는 것을 나타낸다. 상기 이미지를 캡처하고 상기 이미징 압력을 방출하는 효율을 향상시키기 위하여, 상기 1차 카메라는 상기 1차 이미지의 프레임을 캡처하도록 제어되고, 동시에 상기 2차 카메라는 상기 2차 이미지의 프레임을 캡처하도록 제어되어, 상기 1차 이미지의 프레임이 이미징을 위해 사용될 수 있고, 상기 1차 이미지의 프레임 및 상기 2차 이미지의 프레임이 상기 피사계 심도 정보를 획득하기 위해 사용될 수 있다.
블록(302)에서, 상기 1차 이미지는 기 설정된 이미지 처리 전략에 따라 상기 제1스레드에 의해 처리되어 상기 타깃 1차 이미지를 생성하고, 동시에 상기 1차 이미지와 상기 2차 이미지에 기초하여 상기 제2스레드에 의해 상기 피사계 심도 정보가 획득된다.
블록(303)에서, 상기 피사계 심도 정보에 따라 상기 타깃 1차 이미지의 상기 배경 영역이 블러링 된다.
상기 제1스레드에 의해 기 설정된 이미지 처리 전략에 따라 상기 1차 이미지를 처리하여, 예를 들어 상기 1차 이미지에 대한 노이즈 제거와 같은 최적화 동작을 수행하고, 동시에 상기 제2스레드에 의해 상기 1차 이미지와 상기 2차 이미지에 기초하여 상기 피사계 심도 정보를 획득하여, 상기 타깃 1차 이미지를 생성함으로써, 상기 피사계 심도 정보를 획득할 때, 이미징에 사용된 상기 타깃 1차 이미지가 동시에 획득될 수 있고, 상기 타깃 1차 이미지의 상기 배경 영역은 상기 피사계 심도 정보에 따라 블러링 될 수 있다.
한편, 상기 피사계 심도 정보를 획득하는 동시에, 상기 1차 이미지는 상기 타깃 1차 이미지를 획득하도록 처리되어, 상기 피사계 심도 정보가 획득된 후에, 상기 타깃 1차 이미지는 상기 피사계 심도 정보에 따라 직접 블러링 될 수 있다. 상기 피사계 심도 정보를 먼저 획득한 다음 상기 1차 이미지를 처리하는 방식과 비교하여 상기 이미지 처리 효율이 향상된다. 다른 한편, 상기 고조도 환경 하에서 캡처된 상기 1차 이미지를 처리함으로써 획득된 상기 타깃 1차 이미지는 선명한 디테일 및 고화질을 가지므로, 상기 블러링 처리된 이미지는 양호한 효과를 갖는다.
본 실시 예에서, 상기 제1스레드와 상기 제2스레드 사이의 시차를 최대한 활용하기 위하여, 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 상기 시간 길이가 획득될 수 있고, 상기 이미지 처리 전략은 상기 시간 길이에 따라 설정될 수 있어, 상기 제2스레드에 의해 수행된 동작이 완료될 때 상기 이미지 처리 전략에 대응하는 상기 미화 동작 및 상기 필터 적용 동작 등과 같은 동작들이 완료될 수 있도록 보장한다.
예를 들면, 상기 타깃 1차 이미지를 획득하기 위해 1차 이미지를 처리하기 위한 시간 길이는 400ms이고, 상기 필터 적용 동작 시간 길이는 200ms 이며, 상기 미화 동작의 시간 길이는 200ms이며, 및 상기 피사계 심도 정보를 획득하기 위한 시간 길이는 800ms라고 가정하면, 상기 현재 시나리오가 상기 미화 동작 및 상기 필터 적용 동작을 포함하는 경우, 상기 필터 적용 동작 및 상기 미화 동작은 상기 제1스레드에서 설정될 수 있어, 상기 제2스레드가 상기 피사계 심도 정보를 획득한 후, 상기 제1스레드에 의해 획득된 상기 타깃 1차 이미지에 대한 상기 필터 적용 동작 및 상기 미화 동작이 완료되어, 상기 이미지 처리 효과를 크게 개선시킨다.
상기 피사계 심도 정보에 따라 상기 타깃 1차 이미지의 상기 배경 영역이 블러링 된다.
상기 피사계 심도 정보에 따라 상기 타깃 1차 이미지의 상기 배경 영역을 블러링 하는 방법은 여러 가지가 있으며, 여기에는 다음과 같은 방법이 있으며 이에 제한되지 않는다.
가능한 실시 예로서, 상기 전경 영역의 제1피사계 심도 정보 및 상기 배경 영역의 제2피사계 심도 정보는 상기 피사계 심도 정보 및 초점 영역에 따라 획득되고, 상기 제1피사계 심도 정보 및 상기 제2피사계 심도 정보에 따라 블러링 정도가 생성되며, 상기 타깃 1차 이미지의 상기 배경 영역이 상기 블러링 정도에 따라 블러링 되고, 이로써, 상기 다양한 피사계 심도 정보에 따라 상이한 정도의 블러링이 수행될 수 있어서, 상기 블러링 된 이미지의 더 많은 특성 및 증가된 레이어링 효과를 야기한다.
상기 카메라가 캡처한 오브젝트에 초점을 맞춘 후, 상기 오브젝트가 있는 초점의 전방에서 후방으로의 공간 깊이 범위는, 인간의 눈에 이용 가능한 고화질 이미지가 상기 공간 깊이 범위에서 형성될 수 있는 피사계 심도를 나타낼 수 있다. 상기 초점 영역 앞의 이미징 범위는 상기 전경 영역의 상기 제1피사계 심도이고, 상기 초점 영역 뒤에서 고화질 이미지를 형성하는 영역은 상기 배경 영역의 상기 제2피사계 심도이다.
상기 전경 영역의 상기 제1피사계 심도 정보 및 상기 배경 영역의 상기 제2피사계 심도 정보를 판단하는 다른 방법이 다른 응용 시나리오에 사용될 수 있다.
방법 하나(Way one)
캡처를 위한 관련 파라미터들이 획득될 수 있고, 상기 전경 영역의 상기 제1피사계 심도 정보 및 상기 배경 영역의 상기 제2피사계 심도 정보는 카메라 공식에 따라 결정될 수 있다.
본 실시 예에서, 상기 1차 카메라의 허용착란원(permissible circle of confusion)의 직경, f-넘버(f-number), 초점 길이(focus length), 초점 거리(focusing distance)와 같은 파라미터들을 획득할 수 있고, 제1피사계 심도는 다음 공식에 따라 계산할 수 있다: 제1피사계 심도 = (f-넘버 * 허용착란원의 직경 * 초점 거리의 제곱) / (초점 길이의 제곱 + f-넘버 * 허용착란원의 직경 * 초점 거리), 상기 전경은 상기 제1피사계 심도 정보에 따라 구별되고, 상기 제2피사계 심도는 상기 공식에 따라 계산될 수 있다: 제2피사계 심도 = (f-넘버 * 허용착란원의 직경 * 초점 거리의 제곱) / (초점 길이의 제곱 - f-넘버 * 허용착란원의 직경 * 초점 거리).
방법 둘(Way two)
초점 영역을 넘어서는 상기 이미징 영역의 피사계 심도 맵은 상기 듀얼 카메라에 의해 획득된 상기 현재 캡처된 이미지의 데이터에 따라 판단되며, 상기 초점 영역 전방의 상기 전경 영역의 상기 제1피사계 심도 및 상기 초점 영역 후방의 상기 제2피사계 심도는 상기 피사계 심도 맵에 따라 판단될 수 있다.
본 실시 예에서, 상기 2개 카메라가 서로 다른 위치에 있기 때문에, 캡처될 상기 타깃 오브젝트에 대한 2개 후방 카메라 사이에 특정 각도차(angle difference) 및 특정 거리차(distance difference)가 존재하여, 상기 2개 카메라에 의해 획득된 프리뷰 이미지들은 특정 위상차(phase difference)를 가진다.
예를 들면, 상기 타깃 오브젝트 상의 포인트(A)가 캡처될 때, 상기 1차 카메라의 상기 프리뷰 이미지에서 포인트(A)에 대응하는 상기 픽셀 포인트의 좌표는 (30, 50) 일 수 있지만, 상기 2차 카메라의 상기 프리뷰 이미지에서 포인트(A)에 대응하는 상기 픽셀 점의 좌표는 (30, 48) 일 수 있다. 상기 2개 프리뷰 이미지에서 포인트(A)에 대응하는 상기 픽셀 포인트들 사이의 위상차는 50-48 = 2이다.
본 실시 예에서, 상기 피사계 심도 정보와 상기 위상차 사이의 관계는 미리 실험 데이터 또는 카메라 파라미터들에 따라 설정될 수 있어, 상기 2개 카메라에 의해 획득된 상기 프리뷰 이미지들에서 각각의 포인트에 대응하는 픽셀 포인트들 사이의 상기 위상차에 따라 상기 피사계 심도 정보가 검색될 수 있도록 한다. 이러한 방식으로, 상기 제1피사계 심도 정보 및 상기 제2피사계 심도 정보가 용이하게 획득될 수 있다.
상기 블러링 정도에 따라 상기 타깃 1차 이미지의 상기 배경 영역을 블러링하는데 다른 방법을 사용할 수 있다.
예제 하나(Example one)
각 픽셀의 블러링 계수는 상기 타깃 1차 이미지의 상기 배경 영역에서 상기 픽셀의 블러링 정도 및 상기 피사계 심도 정보에 따라 획득된다. 상기 블러링 계수는 상기 블러링 정도와 관련이 있다. 상기 블러링 계수가 클수록 블러링 정도가 높아진다. 가령, 상기 타깃 1차 이미지의 상기 배경 영역에서 각 픽셀의 상기 블러링 정도 및 상기 피사계 심도의 곱은 상기 픽셀의 상기 블러링 계수를 획득하기 위해 계산된다. 상기 타깃 1차 이미지의 상기 배경 영역은 각 픽셀의 상기 블러링 계수에 따라 블러링된다.
예제 둘(Example two)
상기 제2피사계 심도와 상기 초점 영역에서 피사계 심도 사이의 차이가 클수록, 상기 해당 배경 영역이 상기 초점 영역에서 멀어질수록, 상기 해당 배경 영역과 상기 초점 영역의 상관 관계가 적을수록, 상기 해당 블러링 정도가 커진다. 본 실시 예에서, 상기 제2피사계 심도와 상기 초점 영역의 피사계 심도 사이의 차이와 상기 블러링 정도 사이의 관계는 미리 저장된다. 이러한 관계에서, 상기 제2피사계 심도와 상기 초점 영역의 피사계 심도의 차이가 클수록 상기 해당 블러링 정도는 더 커진다. 상기 타깃 1차 이미지의 상기 배경 영역의 상기 제2피사계 심도와 상기 초점 영역의 상기 피사계 심도 사이의 차이가 획득되고, 상기 차이에 따른 관계를 질의함으로써 상기 해당 블러링 정도가 획득되며, 상기 해당 피사계 심도의 상기 배경 영역은 상기 블러링 정도에 따라 블러링된다.
본 발명의 실시 예들에 따른 상기 이미지 처리 방법의 구현은 상기 어플리케이션 시나리오와 관련하여 완전히 설명된다.
제1시나리오(First scenario)
도 6을 참조하면, 캡처 명령을 획득한 후, 상기 1차 카메라와 상기 2차 카메라는 4개의 1차 이미지 프레임들과 4개의 2차 이미지 프레임들을 동시에 캡처하도록 제어된다. 상기 캡처 순서에 따라 상기 1차 이미지의 상기 4개 프레임은 11, 12, 13 및 14로 넘버링 된다. 상기 2차 이미지의 4개 프레임들은 21, 22, 23 및 24로 넘버링 된다.
상기 기준 1차 이미지(12)는 상기 복수의 1차 이미지로부터 선택되고, 상기 기준 1차 이미지와 한 쌍의 이미지를 형성하도록 캡처된 상기 기준 2차 이미지(22)는 상기 복수의 2차 이미지로부터 선택된다. 상기 합성 및 노이즈 감소 처리는 상기 복수의 1차 이미지에 대해 수행되고, 상기 미화 동작은 상기 제1스레드에 의해 상기 합성 및 노이즈 감소된 이미지에 대해 수행되어, 상기 타깃 1차 이미지를 획득하며, 그리고 상기 피사계 심도 정보는 상기 기준 1차 이미지(12) 및 상기 기준 2차 이미지(22)에 따라 상기 제2스레드에 의해 동시에 획득된다. 상기 1차 이미지에서 수행되는 상기 합성 및 노이즈 감소 처리 시간 길이가 400ms 이고, 상기 미화 동작의 시간 길이는 400ms 이며, 상기 피사계 심도 정보를 획득하기 위한 시간 길이는 400ms 인 경우, 종래 기술에서, 상기 피사계 심도 정보의 상기 획득 및 상기 1차 이미지에 대한 합성 및 노이즈 감소가 순차적으로 수행되므로, 상기 처리 시간의 길이가 1600ms가 된다. 그러나, 본 발명이 제공하는 상기 이미지 처리 방법에 따르면, 상기 처리 시간의 길이는 800ms이므로, 상기 이미지 처리 효율이 크게 향상된다. 더욱이, 상기 복수의 1차 이미지는 상기 1차 카메라에 의해 캡처되고, 상기 합성 및 노이즈 감소 처리는 상기 복수의 1차 이미지에 대해 수행되므로, 상기 저조도 환경에서 저품질을 가지는 하나의 1차 이미지에서만 수행되는 상기 이미지 처리로 인한 상기 이미지 처리 효과의 문제점을 피할 수 있어, 상기 이미지 처리 효과가 향상된다.
제2시나리오(Second scenario)
본 시나리오에서, 상기 현재 환경의 휘도에 따라 멀티 프레임 노이즈 감소를 채택할지 여부가 판단된다. 상기 멀티 프레임 노이즈 감소는 상기 저조도 환경에서는 사용되지만 상기 고조도 환경에서는 사용되지 않는다. 도 7을 참조하면, 상기 캡처 환경의 휘도가 검출된다. 상기 휘도가 상기 기 결정된 임계 값 미만인 경우, 상기 현재 환경이 저조도임을 나타내며, 상기 시스템은 상기 1차 카메라와 2차 카메라를 제어하여 상기 복수의 1차 이미지와 상기 2차 이미지를 동시에 캡처한다. 상기 복수의 1차 이미지 중 하나가 상기 기준 1차 이미지로 선택되고, 상기 기준 1차 이미지에 대응하는 상기 기준 2차 이미지가 선택된다(상기 제2의 1차 이미지가 상기 기준 1차 이미지로 선택된 경우, 상기 제2의 2차 이미지가 선택된다).
상기 구성 및 노이즈 감소 처리는 상기 복수의 1차 이미지에 대해 수행되고, 상기 합성 및 노이즈 감소된 이미지는 상기 제1스레드에 의한 상기 이미지 처리 전략에 따라 처리되어 상기 타깃 1차 이미지를 생성하며, 동시에 상기 제2스레드에서 상기 피사계 심도 정보는 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 획득되므로, 상기 구성 및 노이즈 감소 처리 및 상기 피사계 심도 정보의 획득은 동기적으로 수행될 수 있다. 상기 피사계 심도 정보는 상기 멀티 프레임 구성 및 노이즈 감소 처리 전에 상기 이미지를 사용하여 획득되므로, 상기 피사계 심도 정보를 획득하는 정확성이 보장된다.
더욱이, 도 7을 참조하면, 상기 피사계 심도 정보를 획득하는데 시간이 오래 걸리기 때문에, 상기 합성 및 노이즈 감소 처리 후에, 상기 스레드에 의해 상기 합성 및 노이즈 감소된 이미지에 대해 상기 미화 동작 및 상기 필터 적용 동작이 수행될 수 있다. 상기 2개의 스레드가 상기 해당 동작들을 완료한 후, 상기 최종 타깃 이미지를 획득하기 위해 상기 피사계 심도 정보에 따라 상기 타깃 1차 이미지에 대해 상기 배경 블러링이 수행된다. 이러한 방식으로, 상기 최종 타깃 이미지는 노이즈 포인트들이 적고, 상기 미화 및 파일러 적용 효과를 실현할 수 있어, 상기 인물 이미지(portrait image)의 효과가 크게 개선되고 상기 처리 시간의 길이가 크게 증가하지 않는다.
본 발명의 실시 예에 따른 이미지 처리 방법에 따르면, 상기 1차 카메라는 상기 복수의 1차 이미지를 캡처하도록 제어되고, 동시에 상기 2차 카메라는 상기 복수의 2차 이미지를 캡처하도록 제어된다. 상기 기준 1차 이미지는 상기 복수의 1차 이미지로부터 획득되고, 상기 기준 1차 이미지와 한 쌍의 이미지를 형성하기 위해 캡처된 상기 기준 2차 이미지는 상기 복수의 2차 이미지로부터 획득된다. 상기 제1스레드는 상기 복수의 1차 이미지에 대해 합성 및 노이즈 감소 처리를 수행하고 기 설정된 이미지 처리 전략에 따라 상기 합성 및 노이즈 감소된 이미지를 처리하여 상기 타깃 1차 이미지를 생성하며, 동시에, 상기 제2스레드는 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 상기 피사계 심도 정보를 획득한다. 상기 피사계 심도 정보에 따라 상기 타깃 1차 이미지의 상기 배경 영역이 블러링된다. 이러한 방식으로, 상기 피사계 심도 정보를 획득하기 위한 시간 길이와, 상기 복수의 1차 이미지에 대한 멀티-프레임 구성 및 노이즈 감소 처리를 위한 시간 길이 사이의 시간차를 충분히 이용함으로써 상기 이미지 처리가 실현되므로, 상기 획득된 피사계 심도 정보의 정확도 및 상기 이미지 처리 효율이 개선되도록 한다.
상기 실시 예들을 구현하기 위해, 본 발명은 이미지 처리 장치를 더 제공한다. 도 8은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 블록도이다. 도 8을 참조하면, 상기 이미지 처리 장치는 캡처 모듈(capturing module)(100), 제1획득 모듈(first acquiring module)(200), 제2획득 모듈(second acquiring module)(300) 및 처리 모듈(processing module)(400)을 포함한다.
상기 캡처 모듈(100)은 복수의 1차 이미지를 캡처하도록 1차 카메라를 제어하고, 동시에 복수의 2차 이미지를 캡처하도록 2차 카메라를 제어하도록 구성된다.
일 실시 예에서, 도 8을 참조하여 설명된 실시 예에 기초하고, 도 9에 도시된 바와 같이, 상기 캡처 모듈(100)은 검출 유닛(detecting unit)(110) 및 캡처 유닛(capturing unit)(120)을 포함한다.
상기 검출 유닛(110)은 캡처 환경의 휘도를 검출하도록 구성된다.
상기 캡처 유닛(120)은 상기 복수의 1차 이미지를 캡처하도록 상기 1차 카메라를 제어하고, 동시에 상기 휘도가 기 결정된 임계 값 미만임을 검출하면 그 대응으로 상기 복수의 2차 이미지를 캡처하도록 상기 2차 카메라를 제어하도록 구성된다.
상기 제1획득 모듈(200)은 상기 복수의 1차 이미지로부터 기준 1차 이미지를 획득하고, 상기 복수의 2차 이미지로부터 상기 기준 2차 이미지를 획득하도록 구성되며, 상기 기준 2차 이미지는 상기 기준 1차 이미지가 캡처될 때 동시에 캡처된다.
상기 제2획득 모듈(300)은 상기 복수의 1차 이미지에 대해 합성 및 노이즈 감소 처리를 수행하고, 기 설정된 이미지 처리 전략에 따라 상기 합성 및 노이즈 감소된 이미지를 제1스레드에 의해 처리하여 타깃 1차 이미지를 생성하도록 구성되며, 동시에 상기 제2스레드에 의해 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 기초하여 피사계 심도 정보를 획득하도록 구성된다.
상기 처리 모듈(400)은 상기 피사계 심도 정보에 따라 상기 타깃 1차 이미지의 배경 영역을 블러링 하도록 구성된다.
일 실시 예에서, 도 8을 참조하여 설명된 실시 예에 기초하고, 도 10에 도시된 바와 같이, 상기 장치들은 제3획득 모듈(500) 및 설정 모듈(600)을 더 포함할 수 있다.
상기 제3획득 모듈(500)은 상기 제1스레드에 의해 수행된 합성 및 노이즈 감소 처리를 위한 제1시간 길이를 획득하고, 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 제2시간 길이를 획득하도록 구성된다.
상기 설정 모듈(600)은 상기 제1길이와 상기 제2길이의 차이에 따라 상기 이미지 처리 전략을 설정하도록 구성된다.
전술한 방법 실시 예의 설명은 또한 본 발명의 실시 예에 따른 장치에도 적용 가능하고, 구현 원리는 유사하며, 여기에서는 설명하지 않았다.
상기 이미지 처리 장치의 전술한 모듈들은 단지 예시일 뿐이다. 다른 실시 예에서, 상기 이미지 처리 장치는 상기 이미지 처리 장치의 기능의 전부 또는 일부를 구현하기 위해 상이한 모듈로 분할될 수 있다.
본 발명의 실시 예들에 따른 상기 이미지 처리 장치에 있어서, 상기 1차 카메라는 상기 복수의 1차 이미지를 캡처하도록 제어되고, 동시에 상기 2차 카메라는 상기 복수의 2차 이미지를 캡처하도록 제어된다. 상기 기준 1차 이미지는 상기 복수의 1차 이미지로부터 획득되고, 상기 기준 1차 이미지와 한 쌍의 이미지를 형성하기 위해 캡처된 상기 기준2차 이미지는 상기 복수의 2차 이미지로부터 획득된다. 상기 제1스레드는 상기 복수의 1차 이미지에 대해 합성 및 노이즈 감소 처리를 수행하고 상기 기 설정된 이미지 처리 전략에 따라 상기 합성 및 노이즈 감소된 이미지를 처리하여 상기 타깃 1차 이미지를 생성하며, 동시에, 상기 제2스레드는 상기 기준 2차 이미지 및 상기 기준 2차 이미지에 따라 상기 피사계 심도 정보를 획득한다. 상기 피사계 심도 정보에 따라 상기 타깃 1차 이미지의 상기 배경 영역이 블러링된다. 이러한 방식으로, 상기 피사계 심도 정보를 획득하기 위한 시간의 길이와 상기 복수의 1차 이미지에 대한 멀티-프레임 구성 및 노이즈 감소 처리를 위한 시간 길이 사이의 시간차를 충분히 이용함으로써 이미지 처리가 실현되므로, 상기 획득된 피사계 심도 정보의 정확도 및 이미지 처리 효율이 개선되도록 한다.
상기 실시 예들을 구현하기 위해, 본 발명은 컴퓨터 장치를 더 제공한다. 전술한 컴퓨터 장치는 이미지 처리 회로를 포함한다. 상기 이미지 처리 회로는 이미지 신호 처리(ISP) 라인들을 정의하기 위한 다양한 처리 유닛을 포함하는 하드웨어 및/또는 소프트웨어 컴포넌트에 의해 구현될 수 있다. 도 11은 본 발명의 일 실시 예에 따른 이미지 처리 회로의 개략도이다. 도 11을 참조하면, 설명의 편의를 위해, 본 발명의 실시 예와 관련된 이미지 처리 기술의 양상만이 도시되어 있다.
도 11을 참조하면, 상기 이미지 처리 회로는 ISP 프로세서(1040) 및 제어 로직 장치(1050)를 포함한다. 상기 이미징 장치(1010)에 의해 캡처된 이미지 데이터는 ISP 프로세서(1040)에 의해 먼저 처리된다. 상기 ISP 프로세서(1040)는 상기 이미지 데이터를 분석하여 상기 이미징 장치(1010)의 및/또는 하나 이상의 제어 파라미터들을 판단하기 위한 이미지 통계 정보를 캡처한다. 상기 이미징 장치(1010)는 하나 이상의 렌즈(1012)를 가지는 카메라 및 이미지 센서(1014)를 포함할 수 있다. 상기 이미지 센서(1014)는 (바이어 필터와 같은) 컬러 필터 어레이를 포함할 수 있다. 상기 이미지 센서(1014)는 상기 이미지 센서(1014)의 각 이미징 픽셀에 의해 캡처된 조명 강도 및 파형 정보를 획득할 수 있고, ISP 프로세서(1040)에 의해 처리될 수 있는 한 세트의 원본 이미지 데이터를 제공한다. 상기 센서(1020)는 상기 센서(1020)의 인터페이스 유형에 기초하여 상기 원본 이미지 데이터를 상기 ISP 프로세서(1040)에 제공한다. 상기 센서(1020)의 인터페이스는 표준 모바일 이미징 아키텍처(SMIA) 인터페이스, 다른 직렬 또는 병렬 카메라 인터페이스, 또는 상기 인터페이스의 조합을 이용할 수 있다.
상기 ISP 프로세서(1040)는 다양한 형태에 따라 상기 원본 이미지 데이터를 픽셀 단위로 처리한다. 예를 들어, 각 이미징 픽셀은 8, 10, 12 또는 14 비트의 비트 깊이를 가질 수 있다. 상기 ISP 프로세서(1040)는 상기 원본 이미지 데이터에 대해 하나 이상의 이미지 처리 동작을 수행하고 이미지 데이터의 통계 정보를 수집할 수 있다. 상기 이미지 처리 동작은 동일하거나 상이한 비트 깊이 정밀도로 수행될 수 있다.
상기 ISP 프로세서(1040)는 이미지 저장 장치(1030)로부터 픽셀 데이터를 수신할 수 있다. 상기 원본 픽셀 데이터는 상기 센서(1020)의 인터페이스로부터 상기 이미지 저장 장치(1030)로 전송될 수 있다. 상기 이미지 저장 장치(1030)의 상기 본래 픽셀 데이터는 처리를 위해 ISP 프로세서(1040)에 더 제공된다. 상기 이미지 저장 장치(1030)는 전자 장치의 메모리, 저장 장치 또는 별도의 특정 저장 장치의 일부일 수 있으며, DMA (direct memory access)의 특징을 포함할 수 있다.
상기 ISP 프로세서(1040)는 상기 센서(1020) 또는 상기 이미지 저장 장치(1030)의 인터페이스로부터 상기 원본 이미지 데이터를 수신할 때 시간 영역 필터링과 같은 하나 이상의 이미지 처리 동작을 수행할 수 있다. 상기 처리된 이미지 데이터는 상기 이미지 저장 장치(1030)로 전송되어, 디스플레이 전에 추가 처리가 수행될 수 있다. 상기 ISP 프로세서(1040)는 상기 이미지 저장 장치(1030)로부터 처리된 데이터를 수신하고, 원본 도메인의 처리된 데이터 및 RGB 및 YCbCr의 색 공간에 대한 이미지 데이터 처리를 수행할 수 있다. 상기 처리된 이미지 데이터는 사용자가 보고 및/또는 그래픽 처리 장치(GPU)에 의해 추가 처리되도록 디스플레이(1070)에 출력될 수 있다. 또한, 상기 ISP 프로세서(1040)의 출력은 상기 이미지 저장 장치(1030)로 더 전송될 수 있고, 상기 디스플레이(1070)는 상기 이미지 저장 장치(1030)로부터 이미지 데이터를 판독할 수 있다. 일 실시 예에서, 상기 이미지 저장 장치(1030)는 하나 이상의 프레임 블러퍼(frame bluffers)를 구현하도록 구성될 수 있다. 상기 ISP 프로세서(1040)의 출력은 인코딩/디코딩 되도록 인코더/디코더(1060)로 전송될 수 있다. 상기 인코딩 된 이미지 데이터는 상기 디스플레이(1070) 상에 디스플레이 되기 전에 저장되고 디코딩 될 수 있다. 상기 인코더/디코더(1060)는 CPU 또는 GPU 또는 코프로세서(coprocessor)에 의해 구현될 수 있다.
상기 ISP 프로세서(1040)에 의해 결정된 통계 데이터는 제어 로직 장치(1050)로 전송될 수 있다. 예를 들면, 상기 통계 데이터는 렌즈(1012)의 자동 노출, 자동 화이트 밸런스, 자동 초점, 섬광 검출, 블랙 레벨 보상 및 그림자 보정된 이미지 센서(1040)의 통계 정보를 포함할 수 있다. 상기 제어 로직 장치(1050)는 하나 이상의 루틴(펌웨어)을 실행하기 위한 프로세서 및 마이크로 컨트롤러를 포함할 수 있다. 상기 하나 이상의 루틴은 상기 수신된 통계 데이터에 따라 상기 이미징 장치(1010)의 제어 파라미터들을 판단할 수 있다. 예를 들면, 상기 제어 파라미터들은 상기 센서(1020)의 제어 파라미터들(예컨대, 이득, 노출의 적분 제어 시간), 상기 카메라의 플래시 제어 파라미터들, 상기 렌즈들(1012)의 제어 파라미터들 또는 이들 제어 파라미터들(초점 또는 줌 초점 길이와 같은)의 조합을 포함할 수 있다. 상기 ISP의 제어 파라미터들은 (예를 들어, RGB 처리 동안) 자동 화이트 밸런스 및 컬러 조정을 위한 이득 레벨 및 컬러 정정 매트릭스, 및 렌즈(1012)의 그림자 보정 파라미터를 포함할 수 있다.
도 11의 이미지 처리 기술은, 복수의 1차 이미지를 캡처하도록 1차 카메라를 제어하고, 동시에 복수의 2차 이미지를 캡처하도록 2차 카메라를 제어하는 단계; 상기 복수의 1차 이미지로부터 기준 1차 이미지를 획득하고, 상기 복수의 2차 이미지로부터 기준 2차 이미지를 획득하며, 상기 기준 2차 이미지 및 상기 기준 1차 이미지는 연관 방식으로 캡처되고 한 쌍의 이미지를 형성하는 단계; 합성 및 노이즈 감소 이미지를 생성하기 위해 제1스레드에 의해 상기 복수의 1차 이미지들에 대한 합성 및 노이즈 감소 처리를 수행하고, 기 설정된 이미지 처리 전략에 따라 상기 합성 및 노이즈 감소된 이미지를 처리하여 타깃 이미지를 생성하며, 동시에 제2스레드에 의해 제1기준 이미지 및 상기 제2기준 이미지에 기초하여 피사계 심도 정보를 획득하는 단계; 및 상기 피사계 심도 정보에 따라 상기 타깃 1차 이미지의 배경 영역을 블러링하는 단계를 포함하는 이미지 처리 방법을 구현하는데 사용될 수 있다.
상기 실시 예들을 구현하기 위해, 본 발명은 비 일시적 컴퓨터 판독 가능 저장 매체를 더 제공한다. 상기 저장 매체의 명령어들이 프로세서에 의해 실행될 때, 상기 프로세서는 이미지 처리 방법을 수행하게 된다.
본 명세서 전체에 걸쳐 "일 실시 예", "일부 실시 예", "사례", "구체적인 사례" 또는 "일부 사례"는, 실시 예 또는 사례와 관련하여 설명된 특정 특징, 구조, 재료 또는 특성은 본 발명의 적어도 하나의 실시 예 또는 사례에 포함된다는 것을 의미한다. 본 명세서에서, 전술한 용어의 예시적인 설명이 반드시 동일한 실시 예 또는 사례를 언급하는 것은 아니다. 또한, 상기 특정 특징들, 구조들, 재료들 또는 특성들은 하나 이상의 실시 예 또는 사례에서 임의의 적절한 방식으로 조합될 수 있다. 더욱이, 당업자는 본 발명에 기술된 실시 예들 또는 사례들에서 상이한 실시 예들 또는 상이한 특징들을 조합할 수 있다.
또한, "제1" 및 "제2"의 용어들은 설명을 위해서만 사용되며, 상대적인 중요성을 나타내거나 암시하거나, 상기 표시된 기술적 특징들의 수를 나타내거나 암시하는 것으로 볼 수 없다. 따라서, 상기 "제1" 및 "제2"로 정의된 특징들은 이들 특징 중 적어도 하나를 포함하거나 암시할 수 있다. 본 명세서의 설명에서, "복수의"는 달리 명시되지 않는 한 둘 이상을 의미한다.
순서도에 기술되거나 다른 방식으로 본 명세서에 기술된 임의의 처리 또는 방법은 상기 처리에서 특정 논리 기능들 또는 단계들을 달성하기 위한 실행 가능한 명령들의 하나 이상의 모듈들, 세그먼트들 또는 코드들의 일부를 포함하는 것으로 이해될 수 있고, 본 발명의 바람직한 실시 예의 범위는 다른 구현을 포함하며, 상기 관련 기능에 따라, 동시 또는 부분 동시 실행 또는 상기 기능 수행을 위해 반대로 수행되는 것을 포함하여, 상기 실행 순서는 도시되거나 논의된 순서와 다를 수 있으며, 이는 당업자에게 이해되어야 한다.
본 명세서의 다른 방식으로 설명되거나 상기 순서도에 도시된 상기 논리 및/또는 단계, 예를 들어 상기 논리 기능을 실현하기 위한 실행 가능한 명령어들의 특정 시퀀스 테이블은, 상기 명령 실행 시스템, 장치 또는 장비(가령, 컴퓨터 기반 시스템으로서, 상기 시스템은 명령 실행 시스템, 장치 및 장비로부터 명령어들을 획득하고 명령어들 실행할 수 있는 프로세서 또는 다른 시스템을 포함한다)에 의해 사용될 임의의 컴퓨터 판독 가능 매체에서 구체적으로 달성될 수 있거나, 또는 상기 명령 실행 시스템, 장치 및 장비와 함께 사용된다. 본 명세서에 있어서, "컴퓨터 판독 가능 매체"는 상기 명령 실행 시스템, 장치 또는 장비에 의해 또는 이와 함께 사용될 프로그램들을 포함, 저장, 통신, 전파 또는 전송하기에 적합한 임의의 장치일 수 있다. 상기 컴퓨터 판독 가능 매체의 보다 구체적인 사례들은 하나 이상의 전선과의 전자 연결(전자 장치), 휴대용 컴퓨터 인클로저(자기 장치), 임의 접근 메모리 (RAM), 읽기 전용 메모리(ROM), 소거 가능형 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유 장치, 및 휴대용 컴팩트 디스크 읽기 전용 메모리(CDROM)를 포함하지만 이에 제한되지는 않는다. 또한, 상기 컴퓨터 판독 가능 매체는 심지어 그 위에 프로그램을 인쇄할 수 있는 종이 또는 다른 적절한 매체일 수 있고, 이것은, 예를 들어, 상기 종이 또는 다른 적절한 매체가 광학 방식으로 프로그램을 획득하기 위해 필요할 때 광학적으로 스캔 된 후 다른 적절한 방법으로 편집, 암호 해독 또는 처리될 수 있고, 이때 상기 프로그램은 상기 컴퓨터 메모리에 저장될 수 있기 때문이다.
본 발명의 각 부분은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해 실현될 수 있음을 이해해야 한다. 전술한 실시 예에서, 복수의 단계들 또는 방법들은 상기 메모리에 저장된 소프트웨어 또는 펌웨어에 의해 실현될 수 있고, 적절한 명령 실행 시스템에 의해 실행될 수 있다. 예를 들어, 다른 실시 예에서와 같이 상기 하드웨어에 의해 실현된다면, 상기 단계들 또는 방법들은 당업계에 공지된 다음 기술 중 하나 또는 조합에 의해 실현될 수 있다: 데이터 신호의 논리 기능을 실현하기 위한 논리 게이트 회로를 가지는 이산 논리 회로, 적절한 조합 논리 게이트 회로를 가지는 어플리케이션 특정 집적 회로, 프로그래머블 게이트 어레이(PGA), FPGA (Field Programmable Gate Array) 등.
당업자는 본 발명에 대한 전술한 예시적인 방법의 단계들의 전부 또는 일부가 관련 하드웨어에 프로그램들을 명령함으로써 달성될 수 있음을 이해할 것이고, 상기 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램은 컴퓨터에서 실행될 때 본 발명의 방법 실시 예에서의 단계 중 하나 또는 조합을 포함한다.
또한, 본 발명의 실시 예의 각각의 기능 셀은 프로세싱 모듈에 통합될 수 있거나, 또는 이들 셀은 별도의 물리적 존재일 수 있거나, 또는 둘 이상의 셀이 프로세싱 모듈에 통합될 수 있다. 상기 통합 모듈은 하드웨어의 형태 또는 소프트웨어 기능 모듈들의 형태로 구현될 수 있다. 상기 통합 모듈이 소프트웨어 기능 모듈의 형태로 구현되고, 독립형 제품으로서 판매되거나 사용될 때, 상기 통합 모듈은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
상술한 저장 매체는 읽기 전용 메모리들, 자기 디스크들, CD 등일 수 있다. 본 발명의 실시 예들이 위에서 도시되고 설명되었지만, 상기 실시 예는 단지 설명적이며, 본 발명을 제한하는 것으로 해석될 수 없고, 당업자에게는 본 발명의 사상, 원리 및 범위를 벗어나지 않고, 실시 예에 대한 변경, 대안 및 수정이 이루어질 수 있다.
Claims (15)
- 이미지 처리 방법에 있어서,
제1카메라를 제어하여 복수의 제1이미지를 캡처하고, 제2카메라를 제어하여 복수의 제2이미지를 캡처하는 단계(101);
상기 복수의 제1이미지로부터 제1기준 이미지를 획득하고, 상기 복수의 제2이미지로부터 제2기준 이미지를 획득하며, 상기 제2기준 이미지와 상기 제1기준 이미지는 연관 방식으로 캡처되어, 한 쌍의 이미지를 형성하는 단계(102);
제1스레드에 의하여 상기 복수의 제1이미지에 대해 합성 및 노이즈 감소 처리를 수행하여, 합성 및 노이즈 감소된 이미지를 생성하고, 기 설정된 이미지 처리 전략에 따라 상기 합성 및 노이즈 감소된 이미지를 처리하여 타깃 이미지를 생성하며, 제2스레드에 의해 제1기준 이미지 및 상기 제2기준 이미지에 기초하여 피사계 심도 정보를 획득하는 단계(103); 및
상기 피사계 심도 정보에 따라 상기 타깃 이미지의 배경 영역을 블러링하는 단계(104);
를 포함하고,
상기 제1카메라를 제어하여 상기 복수의 제1이미지를 캡처하고, 상기 제2카메라를 제어하여 상기 복수의 제2이미지를 캡처하는 단계(101)는:
캡처 환경의 휘도를 검출하는 단계; 및
상기 휘도가 기 결정된 임계 값보다 작은 것을 검출하면 그 대응으로, 상기 제1카메라를 제어하여 상기 복수의 제1이미지를 캡처하고, 상기 제2카메라를 제어하여 상기 복수의 제2이미지를 캡처하는 단계;
를 포함하고,
상기 이미지 처리 방법은,
상기 휘도가 상기 기 결정된 임계 값 이상인 것을 검출하면 그 대응으로, 상기 제1카메라를 제어하여 제1이미지의 프레임을 캡처하고, 상기 제2카메라를 제어하여 제2이미지의 프레임을 캡처하는 단계(301);
상기 제1스레드에 의해 상기 기 설정된 이미지 처리 전략에 따라 상기 제1이미지의 프레임을 처리하여 상기 타깃 이미지를 생성하고, 상기 제2스레드에 의해 상기 제1이미지의 프레임 및 상기 제2이미지의 프레임에 기초하여 상기 피사계 심도 정보를 획득하는 단계(302); 및
상기 피사계 심도 정보에 따라 상기 타깃 이미지의 상기 배경 영역을 블러링하는 단계(303);
를 더 포함하는 것을 특징으로 하는, 이미지 처리 방법. - 삭제
- 제 1 항에 있어서,
상기 복수의 제1이미지로부터 상기 제1기준 이미지를 획득하고, 상기 복수의 제2이미지로부터 상기 제2기준 이미지를 획득하는 단계(102)는:
상기 복수의 제1이미지로부터 한 세트의 제1이미지를 선택하되, 상기 한 세트의 제1이미지에서 각각의 제1이미지는 기 결정된 선명도보다 큰 선명도를 가지는 단계;
상기 복수의 제2이미지로부터 한 세트의 제2이미지를 선택하되, 상기 한 세트의 제2이미지에서 각각의 제2이미지는 상기 한 세트의 제1이미지에서 각각의 제1이미지와 한 쌍의 이미지를 형성하는 단계; 및
상기 한 세트의 제1이미지로부터 상기 제1기준 이미지를 선택하고, 상기 한 세트의 제2이미지로부터 상기 제2기준 이미지를 선택하는 단계;
를 포함하는 것을 특징으로 하는, 이미지 처리 방법. - 제 1 항에 있어서,
상기 제1스레드에 의하여 상기 복수의 제1이미지에 대해 상기 합성 및 노이즈 감소 처리를 수행하여, 상기 합성 및 노이즈 감소된 이미지를 생성하는 단계(103)는:
상기 복수의 제1이미지에서 동일한 위치에 대응하는 픽셀의 값들을 판독하는 단계;
상기 값들의 평균값을 계산하는 단계; 및
상기 합성 및 노이즈 감소 이미지에서 동일한 위치에 대응하는 상기 픽셀의 값으로서 상기 평균값을 판단하는 단계;
를 포함하는 것을 특징으로 하는, 이미지 처리 방법. - 제 1 항에 있어서,
상기 피사계 심도 정보에 따라 상기 타깃 이미지의 배경 영역을 블러링하는 단계(104)는:
전경 영역의 제1피사계 심도 및 상기 배경 영역의 제2피사계 심도를 획득하는 단계;
상기 제1피사계 심도 및 상기 제2피사계 심도에 따라 블러링 정도를 생성하는 단계; 및
상기 블러링 정도에 따라 상기 타깃 이미지의 상기 배경 영역을 블러링하는 단계;
를 포함하는 것을 특징으로 하는, 이미지 처리 방법. - 제 5 항에 있어서,
상기 전경 영역의 상기 제1피사계 심도 및 상기 배경 영역의 제2피사계 심도를 획득하는 단계는:
캡처 파라미터들을 획득하는 단계; 및
상기 전경 영역의 상기 제1피사계 심도 및 상기 배경 영역의 상기 제2피사계 심도를 공식 및 상기 캡처 파라미터들에 따라 판단하는 단계; 또는
상기 제1 및 제2카메라에 의해 획득된 현재 캡처된 이미지들의 데이터에 따라 초점 영역을 넘어서 이미징 영역의 피사계 심도 맵을 획득하는 단계; 및
상기 피사계 심도 맵에 따라 상기 전경 영역의 상기 제1피사계 심도 및 상기 배경 영역의 상기 제2피사계 심도를 판단하는 단계;
를 포함하는 것을 특징으로 하는, 이미지 처리 방법. - 제 5 항에 있어서,
상기 블러링 정도에 따라 상기 타깃 이미지의 상기 배경 영역을 블러링하는 단계는:
픽셀의 피사계 심도 및 블러링 정도에 따라 상기 타깃 이미지의 상기 배경 영역에서 각 픽셀의 블러링 계수를 획득하는 단계; 및
상기 각 픽셀의 블러링 계수에 따라 상기 타깃 이미지의 상기 배경 영역을 블러링하는 단계;
를 포함하는 것을 특징으로 하는, 이미지 처리 방법. - 제 1 항에 있어서,
상기 제1스레드에 의해 수행된 상기 합성 및 노이즈 감소 처리를 위한 제1시간 길이를 획득하고(201), 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 제2시간 길이를 획득하는 단계; 및
상기 제1시간 길이와 상기 제2시간 길이의 차이에 따라 상기 이미지 처리 전략을 설정하는 단계(202);
를 더 포함하는 것을 특징으로 하는, 이미지 처리 방법. - 삭제
- 제 1 항에 있어서,
상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 시간 길이를 획득하는 단계; 및
상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 시간 길이에 따라 상기 이미지 처리 전략을 설정하는 단계;
를 더 포함하는 것을 특징으로 하는, 이미지 처리 방법. - 메모리, 프로세서 및 상기 메모리 상에 저장되고 상기 프로세서 상에서 실행 가능한 컴퓨터 프로그램을 포함하는 컴퓨터 장치로서, 상기 프로세서가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로세서는 제 1 항, 제 3 항 내지 제 8 항 및 제 10항 중 어느 한 항에 따른 이미지 처리 방법을 수행하게 하는 컴퓨터 장치.
- 이미지 처리 방법에 있어서,
제1카메라를 제어하여 제1이미지를 캡처하고, 제2카메라를 제어하여 제2이미지를 캡처하는 단계;
기 설정된 이미지 처리 전략에 따라 제1스레드에 의해 상기 제1이미지를 처리하여 타깃 이미지를 생성하고, 상기 제1이미지 및 상기 제2이미지에 기초하여 피사계 심도 정보를 제2스레드에 의해 획득하는 단계; 및
상기 피사계 심도 정보에 따라 상기 타깃 이미지의 배경 영역을 블러링 하는 단계;
를 포함하고,
상기 이미지 처리 방법은,
캡처 환경의 휘도를 검출하는 단계;
상기 캡처 환경의 상기 휘도가 기 결정된 임계 값 미만인 것을 검출하면 그 대응으로,
상기 제1카메라를 제어하여 상기 제1이미지를 캡처하고, 상기 제2카메라를 제어하여 상기 제2이미지를 캡처하는 단계(
상기 제1카메라를 제어하여 복수의 제1이미지를 캡처하고, 상기 제2카메라를 제어하여 복수의 제2이미지를 캡처하는 단계를 포함);
상기 기 설정된 이미지 처리 전략에 따라 상기 제1스레드에 의해 상기 제1이미지를 처리하여 상기 타깃 이미지를 생성하고, 상기 제1이미지 및 상기 제2이미지에 기초하여 피사계 심도 정보를 상기 제2스레드에 의해 획득하는 단계(
상기 복수의 제1이미지로부터 제1기준 이미지를 획득하고, 상기 복수의 제2이미지로부터 제2기준 이미지를 획득하며, 상기 제2기준 이미지 및 상기 제1기준 이미지는 연관 방식으로 캡처되고 한 쌍의 이미지를 형성함을 포함); 및
제1스레드에 의해 상기 복수의 제1이미지에 대한 합성 및 노이즈 감소 처리를 수행하여 합성 및 노이즈 감소 이미지를 생성하고, 상기 기 설정된 이미지 처리 전략에 따라 상기 합성 및 노이즈 감소된 이미지를 처리하여 상기 타깃 이미지를 생성하며, 상기 제2스레드에 의해 상기 제1기준 이미지 및 상기 제2기준 이미지에 기초하여 피사계 심도 정보를 획득하는 단계;
를 더 포함하는 것을 특징으로 하는, 이미지 처리 방법. - 제 12 항에 있어서,
상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 시간 길이를 획득하는 단계; 및
상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 상기 시간 길이에 따라 상기 이미지 처리 전략을 설정하는 단계;
를 더 포함하는 것을 특징으로 하는, 이미지 처리 방법. - 삭제
- 제 12 항에 있어서,
상기 제1스레드에 의해 수행된 상기 합성 및 노이즈 감소 처리를 위한 제1시간 길이를 획득하고, 상기 제2스레드에 의해 상기 피사계 심도 정보를 획득하기 위한 제2시간 길이를 획득하는 단계; 및
상기 제1시간 길이와 상기 제2시간 길이의 차이에 따라 상기 이미지 처리 전략을 설정하는 단계;
를 더 포함하는 것을 특징으로 하는, 이미지 처리 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711060087.1A CN108024054B (zh) | 2017-11-01 | 2017-11-01 | 图像处理方法、装置、设备及存储介质 |
| CN201711060087.1 | 2017-11-01 | ||
| PCT/CN2018/113095 WO2019085951A1 (en) | 2017-11-01 | 2018-10-31 | Image processing method, and device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200031169A KR20200031169A (ko) | 2020-03-23 |
| KR102266649B1 true KR102266649B1 (ko) | 2021-06-18 |
Family
ID=62080412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207005968A KR102266649B1 (ko) | 2017-11-01 | 2018-10-31 | 이미지 처리 방법 및 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10805508B2 (ko) |
| EP (1) | EP3480784B1 (ko) |
| JP (1) | JP6903816B2 (ko) |
| KR (1) | KR102266649B1 (ko) |
| CN (1) | CN108024054B (ko) |
| ES (1) | ES2788854T3 (ko) |
| WO (1) | WO2019085951A1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108055452B (zh) * | 2017-11-01 | 2020-09-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置及设备 |
| CN108024054B (zh) * | 2017-11-01 | 2021-07-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN108282616B (zh) * | 2018-01-31 | 2019-10-25 | Oppo广东移动通信有限公司 | 图像的处理方法、装置、存储介质及电子设备 |
| CN109064415A (zh) * | 2018-07-09 | 2018-12-21 | 奇酷互联网络科技（深圳）有限公司 | 图像处理方法、系统、可读存储介质及终端 |
| CN109803087B (zh) * | 2018-12-17 | 2021-03-16 | 维沃移动通信有限公司 | 一种图像生成方法及终端设备 |
| KR102597518B1 (ko) * | 2019-02-20 | 2023-11-03 | 삼성전자주식회사 | 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법 |
| CN110198411B (zh) * | 2019-05-31 | 2021-11-02 | 努比亚技术有限公司 | 一种视频拍摄过程中的景深控制方法、设备及计算机可读存储介质 |
| CN110266960B (zh) * | 2019-07-19 | 2021-03-26 | Oppo广东移动通信有限公司 | 预览画面处理方法、处理装置、摄像装置及可读存储介质 |
| CN110728632B (zh) * | 2019-09-04 | 2022-07-12 | 北京奇艺世纪科技有限公司 | 图像模糊处理方法、装置、计算机设备和存储介质 |
| CN113298735A (zh) * | 2021-06-22 | 2021-08-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011166728A (ja) * | 2010-01-13 | 2011-08-25 | Nikon Corp | 画像処理装置、画像処理方法 |
| WO2013073167A1 (ja) * | 2011-11-17 | 2013-05-23 | パナソニック株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| US20170006277A1 (en) * | 2013-08-07 | 2017-01-05 | Google Inc. | Devices And Methods For An Imaging System With A Dual Camera Architecture |
| JP2017516358A (ja) * | 2014-05-15 | 2017-06-15 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | マルチフレームノイズ低減方法および端末 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4378272B2 (ja) * | 2004-12-15 | 2009-12-02 | キヤノン株式会社 | 撮影装置 |
| US9118833B2 (en) | 2010-11-29 | 2015-08-25 | Fotonation Limited | Portrait image synthesis from multiple images captured on a handheld device |
| KR101975247B1 (ko) | 2011-09-14 | 2019-08-23 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
| US9185387B2 (en) * | 2012-07-03 | 2015-11-10 | Gopro, Inc. | Image blur based on 3D depth information |
| KR101917224B1 (ko) * | 2012-09-18 | 2018-11-13 | 엘지이노텍 주식회사 | 영상데이터 전송장치 |
| CN104253939A (zh) * | 2013-06-27 | 2014-12-31 | 聚晶半导体股份有限公司 | 调整对焦位置的方法及电子装置 |
| CN103945118B (zh) * | 2014-03-14 | 2017-06-20 | 华为技术有限公司 | 图像虚化方法、装置及电子设备 |
| JP6645682B2 (ja) | 2015-03-17 | 2020-02-14 | キヤノン株式会社 | 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 |
| CN105100615B (zh) * | 2015-07-24 | 2019-02-26 | 青岛海信移动通信技术股份有限公司 | 一种图像的预览方法、装置及终端 |
| CN105513007A (zh) | 2015-12-11 | 2016-04-20 | 惠州Tcl移动通信有限公司 | 一种基于移动终端的拍照美颜方法、系统及移动终端 |
| CN105450931B (zh) | 2015-12-30 | 2019-04-26 | 联想(北京)有限公司 | 一种基于阵列相机的成像方法、装置和电子设备 |
| CN105763813A (zh) * | 2016-04-05 | 2016-07-13 | 广东欧珀移动通信有限公司 | 一种拍照方法、装置及智能终端 |
| US10200632B2 (en) * | 2016-08-01 | 2019-02-05 | Microsoft Technology Licensing, Llc | Low-illumination photo capture with reduced noise and blur |
| US10200623B1 (en) * | 2017-10-17 | 2019-02-05 | Qualcomm Incorporated | Image capture setting determination in flash photography operations |
| CN108024054B (zh) | 2017-11-01 | 2021-07-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
-
2017
- 2017-11-01 CN CN201711060087.1A patent/CN108024054B/zh active Active
-
2018
- 2018-09-13 US US16/130,885 patent/US10805508B2/en active Active
- 2018-10-26 ES ES18202824T patent/ES2788854T3/es active Active
- 2018-10-26 EP EP18202824.1A patent/EP3480784B1/en active Active
- 2018-10-31 WO PCT/CN2018/113095 patent/WO2019085951A1/en active Application Filing
- 2018-10-31 JP JP2020503756A patent/JP6903816B2/ja active Active
- 2018-10-31 KR KR1020207005968A patent/KR102266649B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011166728A (ja) * | 2010-01-13 | 2011-08-25 | Nikon Corp | 画像処理装置、画像処理方法 |
| WO2013073167A1 (ja) * | 2011-11-17 | 2013-05-23 | パナソニック株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| US20170006277A1 (en) * | 2013-08-07 | 2017-01-05 | Google Inc. | Devices And Methods For An Imaging System With A Dual Camera Architecture |
| JP2017516358A (ja) * | 2014-05-15 | 2017-06-15 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | マルチフレームノイズ低減方法および端末 |
Non-Patent Citations (1)
| Title |
|---|
| Samuel W Hasinoff, ET AL, "Burst photography for high dynamic range and low-light imaging on mobile cameras", ACM Transactions on Graphics, Article No.: 192, 11 November 2016(2016.11.11.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3480784B1 (en) | 2020-03-11 |
| CN108024054A (zh) | 2018-05-11 |
| US20190132495A1 (en) | 2019-05-02 |
| JP6903816B2 (ja) | 2021-07-14 |
| JP2020528702A (ja) | 2020-09-24 |
| EP3480784A1 (en) | 2019-05-08 |
| US10805508B2 (en) | 2020-10-13 |
| CN108024054B (zh) | 2021-07-13 |
| WO2019085951A1 (en) | 2019-05-09 |
| ES2788854T3 (es) | 2020-10-23 |
| KR20200031169A (ko) | 2020-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102266649B1 (ko) | 이미지 처리 방법 및 장치 | |
| JP7003238B2 (ja) | 画像処理方法、装置、及び、デバイス | |
| KR102293443B1 (ko) | 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기 | |
| JP6935587B2 (ja) | 画像処理のための方法および装置 | |
| JP7145208B2 (ja) | デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体 | |
| KR102279436B1 (ko) | 이미지 처리 방법, 장치 및 기기 | |
| KR101265358B1 (ko) | 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 | |
| CN108111749B (zh) | 图像处理方法和装置 | |
| CN108154514B (zh) | 图像处理方法、装置及设备 | |
| KR102304784B1 (ko) | 더블 카메라 기반 이미징 방법 및 장치 | |
| CN108156369B (zh) | 图像处理方法和装置 | |
| CN107872631B (zh) | 基于双摄像头的图像拍摄方法、装置及移动终端 | |
| JP2022179514A (ja) | 制御装置、撮像装置、制御方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |