KR102278776B1 - 이미지 처리 방법, 기기, 및 장치 - Google Patents

이미지 처리 방법, 기기, 및 장치 Download PDF

Info

Publication number
KR102278776B1
KR102278776B1 KR1020207008575A KR20207008575A KR102278776B1 KR 102278776 B1 KR102278776 B1 KR 102278776B1 KR 1020207008575 A KR1020207008575 A KR 1020207008575A KR 20207008575 A KR20207008575 A KR 20207008575A KR 102278776 B1 KR102278776 B1 KR 102278776B1
Authority
KR
South Korea
Prior art keywords
image
depth
foreground
area
exposure time
Prior art date
Application number
KR1020207008575A
Other languages
English (en)
Other versions
KR20200041981A (ko
Inventor
공 장
Original Assignee
광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 filed Critical 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Publication of KR20200041981A publication Critical patent/KR20200041981A/ko
Application granted granted Critical
Publication of KR102278776B1 publication Critical patent/KR102278776B1/ko

Links

Images

Classifications

    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G06T5/008—Local, e.g. shadow enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H04N5/2258—
    • H04N5/23229—
    • H04N5/2353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

이미지 처리 방법, 기기 및 장치가 제공된다. 상기 방법은: 듀얼 카메라를 이용하여 미리 설정된 제1노출 시간에 따라 제1이미지가 캡처되고, 제2노출 시간에 따라 제2이미지가 캡처되는 동작; 상기 제1이미지의 제1전경 영역 및 제1배경 영역이 판단되고, 상기 제2이미지의 제2전경 영역이 판단되는 동작; 이미지 융합은 상기 제2전경 영역 및 상기 제1전경 영역에 대해 수행되어 제3전경 영역을 생성하는 동작; 및 블러링 처리는 상기 제1배경 영역에 대해 수행되고, 상기 제3전경 영역 및 상기 블러링 처리된 제1배경 영역이 합성되어 타깃 이미지를 생성하는 동작;을 포함한다.

Description

이미지 처리 방법, 기기, 및 장치
본 발명은 사진 기술(photographing technology) 분야, 특히 이미지 처리 방법, 기기 및 장치(image processing method, apparatus and device)에 관한 것이다.
통상적으로, 촬영된 피사체를 강조하기 위해, 이미지에서 전경 영역 및 배경 영역이 인식되고, 상기 배경 영역이 블러링된다(blurred). 그러나 이미지를 캡처하는 동안, 전경의 휘도가 적절하지 않으면, 상기 블러링 처리된 상기 이미지의 상기 피사체가 강조(highlight) 되지 않을 수 있다. 상기 촬영된 피사체가 어두운 장면에 있으면, 이미징 효과가 상대적으로 열악해지고, 상기 휘도는 매우 낮으며, 디테일이 비교적 모호하다. 상기 배경 영역이 블러링된 후에도, 여전히 상기 촬영된 피사체를 강조할 수 없으며, 상기 이미지 처리를 통해 달성된 시각적 효과는 비교적 열악하다.
종래 기술에서, 상기 이미지 처리를 통해 달성된 시각적 효과를 개선할 목적으로, 이미지들의 다중 프레임들을 획득하기 위해 상이한 노출 파라미터들을 사용하여 촬영하며, 상기 이미지들의 다중 프레임들이 합성되어 높은 동적 대역 이미지(high dynamic range image)를 생성한다. 그러나, 합성 계산과 상기 이미지들의 다중 프레임들을 캡처하는 상기 프로세서에서 많은 시간이 필요하므로, 높은 동적 대역 이미지의 생성 효율이 저하된다.
본 발명은 높은 동적 대역 이미지의 생성 효율이 상대적으로 낮은 종래 기술의 문제점을 해결할 수 있는 이미지 처리 방법 및 기기 및 장치를 제공한다.
제1측면에 따르면, 본 발명의 실시 예들은 다음의 동작들을 포함하는 이미지 처리 방법을 제공한다. 듀얼 카메라들을 이용하여 미리 설정된 제1노출 시간에 따라 제1이미지가 캡처되고, 제2노출 시간에 따라 제2이미지가 캡처되며, 상기 제2노출 시간은 촬영 장면의 휘도 및 미리 설정된 임계값에 따라 판단된다. 상기 제1이미지의 제1전경 영역 및 제1배경 영역이 판단되고, 상기 제2이미지의 제2전경 영역이 판단된다. 상기 제2전경 영역 및 상기 제1전경 영역에 대해 이미지 융합이 수행되어 제3전경 영역을 생성한다. 블러링 처리는 상기 제1배경 영역에 대해 수행되고, 상기 제3전경 영역 및 상기 블러링 처리된 제1배경 영역이 합성되어 타깃 이미지를 생성한다.
제2측면에 따르면, 본 발명의 실시 예는 이미지 처리 기기를 제공한다. 상기 이미지 처리 기기는 메모리 및 프로세서를 포함할 수 있다. 상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기 제1측면에 기술된 상기 이미지 처리 방법을 구현하게 하는 하나 이상의 컴퓨터 프로그램을 저장한다.
제3측면에 따르면, 본 발명의 실시 예는 컴퓨터 프로그램이 저장된 비 일시적 컴퓨터 판독 가능 저장 매체를 제공한다. 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 상기 프로세서로 하여금 상기 제1측면에서 설명된 상기 이미지 처리 방법을 구현하게 할 수 있다.
첨부 도면들을 참조하여 이하의 실시 예들의 설명에 기초하여, 본 발명의 상기한 측면들 및/또는 추가적 측면들 및 이점들은 명백하고 쉽게 이해될 것이다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 캡처 방법의 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 삼각 측량 레인징 원리의 모식도이다.
도 4는 본 발명의 일 실시 예에 따른 듀얼 카메라들에 의해 피사계 심도를 획득하는 모식도이다.
도 5는 본 발명의 다른 실시 예에 따른 배경 블러링 처리 방법의 순서도이다.
도 6은 본 발명의 다른 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 타깃 이미지를 생성하는 프로세스의 도면이다.
도 8은 본 발명의 실시 예에 따른 이미지 처리 기기의 개략적인 구조도이다.
도 9는 본 발명의 실시 예에 따른 이미지 처리 기기의 모식도이다.
이하, 본 발명의 실시 예들에 대하여 상세하게 설명한다. 본 실시 예의 예들이 첨부 도면들에 도시되어 있다. 명세서 전체에 걸쳐 동일하거나 유사한 번호들은 동일하거나 유사한 요소들 혹은 동일하거나 유사한 기능들을 가지는 요소들을 나타낸다. 상기 첨부된 도면들을 참조하여 후술하는 본 실시 예들은 예시적인 것이며, 본 발명을 설명하기 위해 사용될 뿐 본 발명을 제한하는 것으로 해석되어서는 안 된다.
이하, 상기 첨부된 도면을 참조하여 본 발명의 실시 예들에 따른 이미지 처리 방법 및 기기 및 장치에 대해 설명한다.
본 발명의 실시 예에서 제공되는 상기 이미지 처리 방법 및 기기 및 장치에 따르면, 듀얼 카메라들을 사용하여 미리 설정된 제1노출 시간에 따라 제1이미지가 캡처되고, 제2노출 시간에 따라 제2이미지가 캡처되며, 상기 제2노출 시간은 촬영 장면의 휘도 및 미리 설정된 임계값에 따라 판단된다. 상기 제1이미지의 제1전경 영역(first background area) 및 제1배경 영역(second foreground area)이 판단되고, 상기 제2이미지의 제2전경 영역(second foreground area)이 판단된다. 상기 제2전경 영역 및 상기 제1전경 영역에 대해 이미지 융합(image fusion)이 수행되어 제3전경 영역(third foreground area)을 생성한다. 블러링 처리는 상기 제1배경 영역에 대해 수행되고, 상기 제3전경 영역 및 상기 블러링 처리된 상기 제1배경 영역이 합성되어 타깃 이미지를 생성한다. 따라서, 높은 동적 대역 이미지(high dynamic range image)의 생성 효율 및 시각적 효과가 개선된다.
본 발명의 실시 예에 따른 상기 이미지 처리 방법은 단말 장치(terminal device)에 의해 실행될 수 있다. 상기 단말 장치는 모바일 폰, 태블릿 컴퓨터, 개인 휴대 정보 단말기, 및 웨어러블 장치와 같은 듀얼 카메라들을 구비한 하드웨어 장치일 수 있다. 상기 웨어러블 장치는 스마트 밴드, 스마트 워치, 스마트 글라스 등일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다. 도 1을 참조하면, 상기 이미지 처리 방법은 블록들(101 내지 104)에서의 동작들을 포함한다.
블록(101)에서, 듀얼 카메라들을 이용하여 미리 설정된 제1노출 시간에 따라 제1이미지가 캡처되고, 제2노출 시간에 따라 제2이미지가 캡처된다.
본 발명의 실시 예에서, 상기 제2노출 시간은 촬영 장면의 휘도 및 미리 설정된 임계값에 따라 판단될 수 있다. 상기 듀얼 카메라들은 제1카메라 및 제2카메라를 포함한다. 일 예에서, 상기 제1카메라는 주 카메라(primary camera)이고, 상기 제2카메라는 보조 카메라(second camera)이다. 다른 예에서, 상기 제1카메라는 보조 카메라이고, 상기 제2카메라는 주 카메라이다. 여기에 별다른 제한이 없다.
본 발명의 일 실시 예에서, 도 2를 참조하면, 블록(101)에서의 상기 동작은 블록들(101a 내지 101c)에서의 작업들을 포함한다.
블록(101a)에서, 제1카메라를 사용하여 상기 제1노출 시간에 따라 제1마스터 이미지가 캡처되고, 동시에 제2카메라를 사용하여 상기 제1노출 시간에 따라 슬레이브 이미지가 캡처된다.
블록(101b)에서, 피사계 심도 정보는 상기 제1마스터 이미지 및 상기 슬레이브 이미지에 따라 획득되며, 상기 제1마스터 이미지 및 상기 슬레이브 이미지가 합성되어 제1이미지를 획득한다.
구체적으로, 본 발명의 상기 실시 예에서, 상기 피사계 심도 정보는 상기 제1마스터 이미지 및 상기 슬레이브 이미지에 따라 획득되며, 상기 피사계 심도 정보는 상기 이미지의 전경 영역 및 배경 영역을 판단하는 데 사용된다. 따라서, 상기 피사계 심도 정보는 특정 수치값일 수 있거나 수치 범위일 수 있다. 즉, 상기 전경 영역과 상기 배경 영역을 구별하기 위해 이용 가능한 피사계 심도 정보를 확보하기 위해, 상기 주 카메라 및 상기 보조 카메라 모두가 이미지 캡처를 수행하도록 제어되는 상기 제1노출 시간은 비교적 짧을 수 있다. 특정 설정 구현에서, 상기 제1노출 시간은 단말 장치의 처리 능력(processing capability) 및 상기 카메라의 광 감도(light sensitivity)에 따라 설정될 수 있다. 상기 단말 장치의 처리 능력이 더 높고, 상기 카메라들의 광 감도가 더 강하면, 상기 제1노출 시간은 더 짧게 설정될 수 있다.
촬영된 피사체가 포커싱 된 후, 피사계 심도는 상기 피사체가 위치한 포커싱 영역 전후에 사람의 눈에 보이는 선명한 이미지를 생성하는 공간 심도 범위(spatial depth range)를 나타낸다.
유의할 점은, 실제 적용에서, 사람의 눈은 주로 양안시(binocular vision)를 통해 피사계 심도를 판단한다는 것이다. 양안시를 통해 피사계 심도를 판단하는 원리는 듀얼 카메라들을 통해 피사계 심도를 판단하는 원리와 동일하며, 주로 도 3에 도시된 삼각 측량 레인징 원리를 사용하여 구현된다. 도 3에 기초하여, 이미징 피사체(imaging object), 상기 두 카메라들의 위치(OR 및 OT), 및 상기 두 카메라들이 위치하는 초점면(focal plane)이 실제 공간에 도시되어 있고, 상기 초점면과 상기 두 카메라들이 위치한 평면 사이의 거리는 f이다. 두 카메라들이 상기 초점면의 위치에서 이미지 캡처를 수행하면 두 촬영된 이미지들이 획득된다.
P와 P'는 촬영된 다른 이미지들에서 동일한 피사체의 위치이다. 상기 지점(P)과 촬영된 이미지의 좌측 경계 사이의 거리는 XR이고, 상기 지점(P')과 촬영된 이미지의 좌측 경계 사이의 거리는 XT이다. OR 및 OT는 두 카메라들을 나타낸다. 상기 두 카메라들은 동일한 평면에 위치하고, 상기 두 카메라들 사이의 거리는 B이다.
삼각 측량 레인징 원칙(triangulation ranging principle)에 따르면, 도 3의 상기 피사체와 상기 두 카메라가 위치한 상기 평면 사이의 거리(Z)에 대하여, 다음과 같은 관계가 있다:
Figure 112020030934296-pct00001
이를 바탕으로,
Figure 112020030934296-pct00002
이라고 추정할 수 있는데, 여기서 d는 촬영된 다른 이미지들에서 상기 동일한 피사체의 위치들 간 거리 차이이다. B와 f는 고정값들이므로, 상기 피사체의 상기 거리(Z)는 d에 따라 결정될 수 있다.
강조해야 할 점은, 전술한 공식들이 두 개의 동일한 병렬 카메라들을 기반으로 구현되었지만, 실제로 실제 사용에는 많은 문제점들이 있다는 점이다. 예를 들어, 도 2에 도시된 상기 두 카메라들을 사용하여 상기 피사계 심도를 계산하는 동안, 서로 교차할 수 없는 일부 장면들이 항상 있다. 따라서 실제로 상기 피사계 심도를 계산하기 위해 상기 두 카메라들의 FOV 디자인들이 상이하다. 상기 주 카메라는 실제 이미지의 마스터 이미지를 획득하도록 구성되고, 상기 보조 카메라로 획득된 슬레이브 이미지는 주로 상기 피사계 심도의 계산을 위한 기준으로서 사용된다. 상기한 분석에 기초하면, 상기 보조 카메라의 시야(FOV)는 일반적으로 상기 주 카메라의 시야보다 크다. 그러나, 이러한 경우에도, 도 4에 도시된 바와 같이, 상기 카메라들에 근접하여 배치된 피사체는 상기 두 카메라들에 의해 획득된 이미지들에서 동시에 이미징되지 않을 수 있다. 조정된 피사계 심도 범위 계산 관계는 다음과 같이 표현된다:
Figure 112020030934296-pct00003
따라서, 마스터 이미지 등의 피사계 심도 범위는 상기 조정된 공식에 따라 계산될 수 있다.
상기 삼각 측량 레인징 방법 외에도, 다른 접근법들이 또한 상기 마스터 이미지의 피사계 심도를 계산하는데 사용될 수 있다. 예를 들어, 상기 주 카메라와 상기 보조 카메라가 동일한 장면의 이미지 캡처를 수행할 때, 상기 장면에서 피사체와 상기 카메라 사이의 거리는 상기 주 카메라 및 상기 보조 카메라에 의해 이미징되는 동안 발생된 변위 차이(displacement difference), 자세 차이(posture difference) 등에 비례한다. 따라서, 본 발명의 일 예에서, 상기 거리(Z)는 상기 비례 관계에 따라 획득될 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 다른 지점들의 시차값들(disparity values)은 상기 주 카메라로 획득된 마스터 이미지 및 상기 보조 카메라로 획득된 슬레이브 이미지를 통해 계산된다. 본 예에서, 상기 시차값들의 그래프는 시차 맵(disparity map)으로 표시된다. 상기 시차 맵은 두 이미지들에서 동일한 지점의 시차 차이를 나타내지만, 변위 차이가 삼각 측량 위치에서 Z에 정비례하기 때문에, 시차 맵은 가장 직접적으로 피사계 심도 맵으로 사용된다.
또한, 상기 제1마스터 이미지 및 상기 슬레이브 이미지에 따라 상기 피사계 심도 정보가 획득된 후, 상기 제1마스터 이미지 및 상기 슬레이브 이미지가 합성되어 상기 제1이미지(즉, 합성 이미지)를 획득한다. 상기 합성 이미지의 정보는 상기 주 카메라 및 상기 보조 카메라와 관련이 있다는 것을 이해해야 한다. 상기 주 카메라와 상기 보조 카메라의 시야각이 동일하면, 상기 합성 이미지는 상기 현재 장면에서 캡처된 상기 제1마스터 이미지 및 상기 슬레이브 이미지의 이미지 정보를 포함하고, 상기 합성 이미지는 더 많은 이미지 정보를 포함한다. 상기 주 카메라와 상기 보조 카메라가 각각 광각 카메라와 장거리-초점 카메라인 경우, 상기 합성 이미지는 큰 시야를 가지는 배경 정보를 포함하고, 또한 촬영된 피사체의 대규모 이미지 정보를 포함한다.
블록(101c)에서, 상기 제2마스터 이미지는 상기 제1카메라 또는 상기 제2카메라를 사용하여 상기 제2노출 시간에 따라 캡처된다.
적어도 본 발명의 일 실시 예에서, 상기 현재 촬영 장면의 휘도는 상기 제2노출 시간을 판단하기 전에 검출된다.
상기 미리 설정된 제1노출 시간에 따라 캡처된 이미지에서는 촬영된 피사체의 노출이 부정확할 수 있음을 이해해야 한다. 예를 들어, 어두운 장면에서 이미지 캡처가 수행되면, 상기 제1노출 시간이 상대적으로 짧고 상기 촬영된 피사체의 상기 이미지가 충분하지 선명하지 않아 이미지 효과가 떨어진다. 따라서, 상기 촬영된 피사체에 대응하는 촬영된 이미지를 획득하기 위해, 이미지 캡처는 상기 현재 장면의 휘도에 따라 다시 노출 모드에서 수행된다.
구체적으로, 상기 촬영 장면의 상기 휘도가 검출된다. 예를 들어, 상기 현재 촬영 장면의 휘도는 상기 단말 장치의 휘도 센서에 의해 검출된다. 상기 제2노출 시간은 상기 휘도 및 상기 미리 설정된 임계값에 따라 판단되고, 상기 제2마스터 이미지는 상기 제2노출 시간에 따라 캡처된다.
상기 미리 설정된 임계값은 상기 현재 촬영 장면의 상기 휘도가 낮은지 여부를 판단하는 데 사용됨으로써, 상기 카메라의 감광도의 한계로 인해 광감도가 비교적 낮은 장면에서 카메라가 피사체들의 고해상도로 이미지들을 캡처할 수 없는 경우를 방지할 수 있다. 상기 미리 설정된 임계값은 상기 카메라의 감광도와 관련이 있다. 상기 단말 장치의 상기 감광도가 높을수록 상기 미리 설정된 임계값이 높아진다.
구체적으로, 본 발명의 실시 예에서, 상기 촬영 장면의 상기 휘도가 상기 미리 설정된 임계값보다 작은 것으로 비교될 때, 상기 제2노출 시간은 미리 설정된 알고리즘과 상기 휘도에 따라 판단되며, 여기서 상기 제2노출 시간은 상기 제1노출 시간보다 더 길다. 즉, 상기 현재 촬영 장면의 상기 휘도가 낮다는 것을 알게 되면, 상대적으로 긴 상기 제2노출 시간은 상기 미리 설정된 알고리즘 및 상기 휘도를 사용하여 판단되므로, 광량을 증가시킴으로써 상기 이미징 효과가 향상된다.
본 실시 예에서, 상기 미리 설정된 알고리즘은 대량의 실험 데이터에 따라 미리 설정될 수 있고, 상기 장면의 휘도와 상기 제2노출 시간 사이의 관계에 대응하는 수학 공식을 포함할 수 있다. 적어도 하나의 다른 예에서, 상기 미리 설정된 알고리즘은 대량의 실험 데이터에 따라 설정된 딥 러닝 모델(deep learning model)일 수 있다. 상기 딥 러닝 모델의 입력은 현재 장면의 휘도이며, 그 출력은 상기 제2노출 시간이다. 적어도 하나의 다른 예에서, 상기 미리 설정된 알고리즘은 현재 장면의 휘도와 상기 제2노출 시간 사이의 관련성을 포함하는 리스트일 수 있고, 따라서 상기 현재 장면의 상기 휘도가 획득된 후, 상기 리스트의 상기 관련성을 문의함으로써 상기 휘도에 대응하는 상기 제2노출 시간이 획득될 수 있다.
본 발명의 다른 실시 예에서, 상기 현재 장면의 휘도가 상기 미리 설정된 임계값 이상인 것으로 판단되면, 상기 현재 장면의 상기 휘도가 상기 카메라의 선명한 이미지가 구현되는 범위 내에 있음을 나타낸다. 이러한 경우, 일반 촬영 모드가 시작될 수 있고, 상기 일반 촬영 모드에 대응하는 미리 설정된 노출 시간이 상기 제2노출 시간으로서 직접 사용될 수 있다.
블록(102)에서, 상기 제1이미지의 제1 전경 영역 및 제1배경 영역이 판단되고, 상기 제2이미지의 제2전경 영역이 판단된다.
구체적으로, 다른 적용 시나리오에 따르면, 상기 피사계 심도 정보에 따라 상기 제1이미지의 상기 제1전경 영역 및 상기 제1배경 영역을 판단하는 다른 방식들이 있다. 예들은 다음과 같다.
제1예 (First example)
상기 이미지 캡처와 관련된 파라미터들은, 촬영을 위한 카메라와 관련된 피사계 심도 공식에 따라 타깃 영역의 포커싱 영역 외부의 이미지 영역에서 피사계 심도 정보를 계산하기 위해 획득될 수 있다.
본 예에서, 상기 촬영 카메라의 허용착란원(permissible circle of confusion)의 직경, 구경 값(aperture value), 초점 길이(focal length), 초점 거리(focusing distance) 기타 다른 파라미터들이 획득될 수 있다. 제1전경 영역의 피사계 심도는 다음 공식에 따라 계산될 수 있다: 상기 제1전경 영역의 피사계 심도 정보 = (구경 값 * 상기 허용착란원의 직경 * 상기 초점 거리의 제곱) / (상기 초점 길이의 제곱 + 구경 값 * 상기 허용착란원의 직경 * 초점 거리)이고, 상기 계산된 상기 제1전경 영역의 피사계 심도에 따라 상기 제1전경 영역을 상기 제1이미지로부터 분리한다. 상기 제1이미지의 상기 제1배경 영역의 피사계 심도 정보는 다음 공식에 따라 계산될 수 있다. 상기 제1배경 영역의 피사계 심도 정보 = (구경 값 * 상기 허용착란원의 직경 * 상기 초점 거리의 제곱) / (상기 초점 길이의 제곱 - 구경 값 * 상기 허용착란원의 직경 * 초점 거리)이다. 이어서, 상기 계산된 상기 제1배경 영역의 피사계 심도 정보에 따라 상기 제1이미지의 상기 제1배경 영역이 판단될 수 있다.
제2예 (Second example)
초점 영역 외부의 이미지 영역의 피사계 심도 맵은 제1이미지의 듀얼 카메라들로 획득된 상기 피사계 심도 데이터 정보에 따라 판단된다. 상기 피사계 심도 맵에 따라, 상기 포커스 영역 전방의 제1전경 영역 및 상기 포커스 영역 후방의 제1배경 영역이 판단된다.
구체적으로 본 예에서, 상기 두 카메라들의 위치들이 상이하므로, 촬영될 타깃 피사체에 대한 두 후방 카메라들 사이에는 특정 각도 차이 및 거리 차이가 있다. 따라서 상기 두 카메라들에서 획득된 미리 보기 이미지 데이터 간에도 특정 위상차가 있다. 적어도 일 예에서, 상기 카메라들은 상기 단말 장치에서 두 후방 카메라들일 수 있다.
예를 들어, 상기 촬영된 타깃 피사체의 지점(A)에 대해, 카메라(1)의 미리 보기 이미지 데이터에서 지점(A)에 대응하는 픽셀 좌표는 (30, 50) 이며, 카메라(2)의 미리 보기 이미지 데이터에서 지점(A)에 대응하는 픽셀 좌표는 (30, 48) 이다. 상기 두 피스의 미리 보기 이미지 데이터에서 상기 지점(A)에 대응하는 상기 픽셀들의 위상차는 50 - 48 = 2이다.
본 예에서, 피사계 심도 정보와 위상차 간의 관련성은 실험 데이터 또는 카메라 파라미터들에 따라 미리 설정될 수 있다. 따라서, 상기 제1이미지에서 픽셀들의 피사계 심도 정보는 상기 두 카메라들에 의해 획득된 상기 미리 보기 이미지 데이터에서 상기 합성 이미지 내의 각 픽셀의 위상차에 따라 검색될 수 있다.
예를 들어, 상기 지점(A)에 대응하는 2의 위상차의 경우, 상기 미리 설정된 관련성에 따라 해당 피사계 심도가 5 미터인 것으로 판단되면, 타깃 영역에서 상기 지점(A)에 대응하는 피사계 심도 정보는 5 미터이다. 따라서, 상기 제1이미지 내의 각 픽셀의 피사계 심도 정보가 획득될 수 있고, 즉 상기 초점 영역 밖의 상기 이미지 영역의 상기 피사계 심도 맵이 획득될 수 있다.
상기 초점 영역 밖의 상기 이미지 영역의 상기 피사계 심도 맵을 획득한 후, 상기 초점 영역 전방의 이미지 영역의 상기 제1전경 영역의 피사계 심도 정보 및 상기 초점 영역 후방의 상기 제1배경 영역의 피사계 심도 정보가 추가로 판단될 수 있다.
주의할 점은, 본 발명의 실시 예에서, 상기 피사계 심도 정보에 따라 상기 제1이미지의 상기 제1전경 영역 및 상기 제1배경 영역이 판단된 후, 상기 제1전경 영역 및 상기 제1배경 영역은 상기 제1전경 영역 등에 대한 처리를 용이하게 하기 위해 추가로 마킹될 수 있다. 예를 들어, 상기 제1전경 영역은 fore_gt으로 마킹되고, 상기 제1배경 영역은 back_gt으로 마킹된다.
블록(103)에서, 상기 제2전경 영역 및 상기 제1전경 영역에 대해 이미지 융합 처리가 수행되어, 제3전경 영역을 생성한다.
블록(104)에서, 블러링 처리는 상기 제1배경 영역에 대해 수행되며, 상기 제3전경 영역 및 상기 블러링 처리된 제1배경 영역이 합성되어 타깃 이미지를 생성한다.
구체적으로, 전술한 분석을 바탕으로, 상기 현재 장면의 상기 휘도에 따라 노출을 통해 획득된 상기 제2마스터 이미지에서 전경 영역의 이미지는 비교적 선명하다. 이러한 경우, 상기 제2마스터 이미지의 상기 제2전경 영역은 상기 제1전경 영역의 상기 좌표 정보에 따라 획득되며, 상기 높은 동적 대역 이미지(high dynamic range image)의 상기 제3전경 영역은 상기 제2전경 영역 및 상기 제1전경 영역에 대해 이미지 융합 처리를 수행함으로써 생성될 수 있다.
본 발명의 적어도 일 예에서, 상기 제1이미지에 마킹된 상기 제1전경 영역의 좌표 위치(fore_gt)에 기초하여 상기 제2이미지의 좌표 위치(fore_gt2) 가 마킹될 때, 높은 동적 대역 이미지 계산 방식으로 fore_gt 및 fore_gt2의 이미지에 대해 이미지 융합이 수행되고, 그리고 상기 제3전경 이미지가 획득된다. 이러한 경우, 상기 획득된 제3전경 이미지는 높은 동적 대역 이미지이다.
본 발명에서, 상기 제2노출 시간에 따라 상기 제2이미지만을 캡처함으로써 전경 영역이 선명한 이미지를 획득할 수 있다. 상기 주 카메라와 같이, 상기 듀얼 카메라 중 하나만 제2노출 중에 작동되며, 즉 상기 제2이미지는 상기 주 카메라를 사용하여 상기 제2노출 시간에 따라 캡처된다. 이러한 방식으로, 전력 소비가 줄어든다. 또한, 상기 주 카메라가 광학 이미지 안정화 렌즈들(optical image stabilization lens)인 경우, 즉 상기 제2이미지는 상기 OIS 광학 이미지 안정화 렌즈들을 사용하여 상기 제2노출 시간에 따라 캡처될 때, 픽셀 정렬은 상기 제1이미지와 상기 제2이미지의 이미지 융합 동안 더 정확해지고, 상기 높은 동적 대역 이미지의 상기 전경 영역의 이미징 효과가 더 좋아지며, 상기 이미지의 디테일이 더 풍부해진다.
또한, 상기 피사계 심도 정보에 따라 상기 배경 영역에 대해 블러링 처리가 수행되고, 상기 높은 동적 대역 이미지의 상기 제3전경 영역 및 상기 블러링 처리된 상기 제1배경 영역이 합성되어 타깃 이미지를 생성한다. 상기 타깃 이미지는 강조된 전경과 더 양호한 시각 효과를 가진다.
이해해야 할 점은, 상기 제1배경 영역에 대해 블러링 처리를 수행해야 하므로, 이미지 융합 처리는 두 노출들(two exposures) 후 획득된 상기 제1이미지 및 제 2 이미지의 전경 영역에 대해서만 수행된다는 것이다. 이러한 경우, 상기 전체 제1이미지와 상기 전체 제2이미지의 융합에 비해 계산량이 크게 감소된다. 두 노출 후 획득된 상기 제2이미지의 품질이 상대적으로 높기 때문에, 상기 제2이미지가 계속하여 블러링되면, 상기 전경 영역에서 촬영된 피사체가 강조될 수 있다. 또한, 블러링 처리는 상기 배경 융합으로부터 발생되는 새로운 노이즈를 피하기 위해 상기 배경 영역의 제1노출 후에 획득된 이미지에 따라 직접 수행된다.
다른 적용 시나리오에 따르면, 블러링 처리는 다수의 상이한 구현들에서 상기 피사계 심도 정보에 따라 배경 영역에 대해 수행될 수 있음에 유의해야 한다. 예들은 다음과 같다.
제1예 (First example)
도 6을 참조하면, 블록(104)에서의 상기 동작은 블록(201) 및 블록(202)에서의 작업들을 포함한다.
블록(201)에서, 상기 제1배경 영역에서 상이한 영역들의 블러링 정도들은 상기 피사계 심도 정보에 따라 판단된다.
이해해야 할 점은, 상기 제1배경 영역은 블러링 정도들을 판단하기 위해 상이한 영역들로 분할되어, 마스터 이미지 및 슬레이브 이미지의 픽셀들에 따라 획득된 피사계 심도 정보가 불명확한 것을 회피하며, 여기서 상기 마스터 이미지 및 상기 슬레이브 이미지는 비교적 짧은 상기 제1노출 시간에 따라 판단된다는 것이다. 본 실시 예에서, 각 영역의 피사계 심도 정보는 상기 제1배경 영역의 상이한 영역들에서 다수의 픽셀들의 피사계 심도 정보의 분포 확률에 따라 판단되어, 상기 상이한 영역들의 블러링 정도들을 판단할 수 있다.
(202)에서, 가우시안 블러링 처리는 상기 블러링 정도들에 따라 상기 제1배경 영역의 상기 상이한 영역들에 대해 수행된다.
구체적으로, 상기 제1배경 영역의 상기 상이한 영역들의 블러링 정도들은 상기 피사계 심도 정보에 따라 판단되며, 상기 블러링 정도에 따라 상기 제1배경 영역의 상기 상이한 영역들에 대해 가우시안 블러링 처리(Gaussian blurring processing)가 수행되어, 상기 피사계 심도 정보가 더 커진다. 상기 피사계 심도 정보가 커질수록, 블러링 정도가 높아져, 그래디언트 블러링(gradient blurring) 효과가 나타난다.
제2예 (Second example)
상기 피사계 심도 정보에 따라 상기 제1배경 영역이 판단된 후, 상기 제1배경 영역의 장면 정보가 복잡한 경우, 예를 들어 특정값을 초과하는 다량의 픽셀들 또는 컬러 성분들이 있는 경우, 촬영된 피사체를 강조하기 위해 상기 제1배경 영역에 대해 배경 교체(background replacement)가 수행될 수 있다. 상기 복잡한 장면 정보를 가지는 제1배경 영역은 예를 들어 빈 배경(blank background)으로 대체하는 것과 같이 미리 설정된 장면 정보를 포함하는 배경 영역으로 대체될 수 있다. 도 7의 좌측 이미지를 참조하면, 인물(A)이 촬영될 때 이미지의 배경 영역이 복잡한 경우, 블러링 처리는 도 7의 우측 이미지에 도시된 바와 같이 상기 배경 영역에 대해 수행되어, 처리된 타깃 이미지에서 인물(A)만이 강조될 뿐만 아니라 상기 배경 영역도 지나치게 복잡하지 않고 사용자의 시각적 경험에 영향을 미친다.
따라서, 본 발명의 실시 예에서의 이미지 처리 방법에 따르면, 이중-노출 모드(double-exposure mode)가 채택되고, 전경 영역과 배경 영역을 분할하기 위해 제1 촬영된 노출을 사용하여 깊이 이미지가 획득될 수 있고, 상기 제2노출 시간은 상기 장면 인식을 통해 제어되고 단일 렌즈는 제2노출에 사용되며, HDR 융합은 상기 제2노출에서의 상기 분할을 통해 획득된 전경 영역 및 상기 제1노출에서의 상기 분할을 통해 획득된 전경 영역에 대해 수행되어, 어두운 환경에서 피사체를 강조하고 노이즈를 저감하며 이미지 선명도를 향상시킨다. 또한, 상기 제1노출을 사용하여 획득된 상기 배경 영역에 대해 처리하기 위해, 제1프레임 이미지에 대해 배경 블러링만 수행되므로, 계산량을 줄이고 상기 실시간 성능을 향상시킬 수 있다. 상기 높은 동적 대역 이미지는 다중 노출들(multiple exposures)을 획득함 없이, 상기 두 노출들(two exposures)을 통해서만 획득되며, 그런 다음 합성을 수행한다. 따라서, 높은 동적 범위 이미지의 생성 효율이 향상된다.
결론적으로, 본 발명의 상기 실시 예들의 상기 이미지 처리 방법에 따르면, 상기 제1마스터 이미지는 상기 제1카메라에 의해 상기 미리 설정된 제1노출 시간에 따라 캡처되며, 동시에 상기 슬레이브 이미지는 상기 제2카메라에 의해 상기 제1노출 시간에 따라 캡처된다. 상기 피사계 심도 정보는 상기 제1마스터 이미지 및 상기 슬레이브 이미지에 따라 획득되며, 상기 제1마스터 이미지 및 상기 슬레이브 이미지가 합성되어 상기 제1이미지를 획득한다. 상기 제1이미지의 상기 제1전경 영역 및 상기 제1배경 영역은 상기 피사계 심도 정보에 따라 판단된다. 상기 촬영 장면의 상기 휘도가 검출되고, 상기 제2노출 시간은 상기 휘도 및 상기 미리 설정된 임계값에 따라 판단되며, 상기 제2이미지는 상기 제2노출 시간에 따라 캡처된다. 상기 제2이미지의 상기 제2전경 영역은 상기 제1전경 영역의 상기 좌표 정보에 따라 획득되며, 상기 제2전경 영역 및 상기 제1전경 영역에 대해 이미지 융합 처리가 수행되어 상기 높은 동적 대역 이미지의 상기 제3전경 영역을 생성한다. 상기 피사계 심도 정보에 따라 상기 제1배경 영역에 대해 블러링 처리가 수행되며, 상기 제3전경 영역 및 상기 블러링 처리된 제1배경 영역이 합성되어 상기 타깃 이미지를 생성한다. 따라서, 높은 동적 대역 이미지의 생성 효율 및 시각적 효과가 향상된다.
전술한 실시 예들을 구현하기 위해, 본 발명은 또한 단말 장치에 적용될 수 있는 이미지 처리 기기를 제공한다. 도 8은 본 발명의 실시 예에 따른 이미지 처리 기기의 개략적인 구조도이다. 도 8을 참조하면, 상기 이미지 처리 기기는 캡처 모듈(capturing module)(100), 판정 모듈(determining module)(200), 생성 모듈(generation module)(300) 및 처리 모듈(processing module)(400)을 포함한다.
상기 캡처 모듈(100)은 듀얼 카메라들을 이용하여 미리 설정된 제1노출 시간에 따른 제1이미지 및 제2노출 시간에 따른 제2이미지를 캡처하도록 구성될 수 있다. 상기 제2노출 시간은 촬영 장면의 휘도 및 미리 설정된 임계값에 따라 판단될 수 있다.
상기 판정 모듈(200)은 제1이미지의 제1전경 영역 및 제1배경 영역을 판단하고, 상기 제2이미지의 제2전경 영역을 판단하도록 구성될 수 있다.
상기 생성 모듈(300)은 상기 제2전경 영역 및 상기 제1전경 영역에 대해 이미지 융합 처리를 수행하여, 제3전경 영역을 생성하도록 구성될 수 있다.
일 예에서, 상기 제3전경 영역은 높은 동적 대역 이미지 계산 방식(manner of high-dynamic-range image calculation)으로 상기 제2전경 영역과 상기 제1전경 영역에 대해 이미지 융합을 수행함으로써 생성된 높은 동적 범위 이미지의 전경 영역일 수 있다.
상기 처리 모듈(400)은 상기 배경 영역에 대해 블러링 처리를 수행하도록 구성될 수 있고, 상기 제3전경 영역 및 상기 블러링 처리된 상기 제1배경 영역을 합성하여 타깃 이미지를 생성할 수 있다.
본 발명의 적어도 하나의 실시 예에서, 상기 캡처 모듈(100)은 구체적으로 상기 현재의 촬영 장면의 휘도를 검출하도록 구성될 수 있다.
본 발명의 적어도 하나의 실시 예에서, 상기 캡처 모듈(100)은 구체적으로 상기 휘도가 미리 설정된 임계값보다 작다는 비교 결과에 따라, 미리 설정된 알고리즘 및 상기 휘도에 따라 상기 제2노출 시간을 판단하도록 구성된다. 본 예에서, 상기 제2노출 시간은 상기 제1노출 시간보다 길다.
본 발명의 적어도 일 실시 예에서, 상기 캡처 모듈(100)은 구체적으로 상기 휘도가 상기 미리 설정된 임계값 이상이라는 비교 결과에 따라 일반 촬영 모드를 시작하고, 상기 제2노출 시간으로서 상기 정상 촬영 모드에 대응하는 미리 설정된 노출 시간을 사용하도록 구성될 수 있다.
본 발명의 적어도 일 실시 예에서, 상기 듀얼 카메라들은 제1카메라 및 제2카메라를 포함하고, 상기 캡처 모듈(100)은 구체적으로 상기 제1카메라를 사용하여 상기 제1노출 시간에 따라 제1마스터 이미지를 캡처하고, 동시에 제2카메라를 사용함으로써 상기 제1노출 시간에 따라 슬레이브 이미지를 캡처하도록 구성된다. 상기 이미지 처리 기기는 획득 모듈을 더 포함할 수 있고, 상기 획득 모듈은 상기 제1마스터 이미지 및 상기 슬레이브 이미지에 따라 피사계 심도 정보를 획득하고, 상기 제1마스터 이미지 및 상기 슬레이브 이미지를 합성하여 상기 제1이미지를 획득한다.
주의할 점은, 상기 방법 실시 예들의 전술한 설명은 또한 본 발명 내용의 실시 예에서의 상기 기기에도 적용 가능하다는 것이다. 그 구현 원리들은 유사하며, 여기에서 세부 사항은 반복되지 않는다.
전술한 이미지 처리 기기에서의 상기 모듈의 분할은 단지 예시를 위해 사용된다. 본 발명의 다른 실시 예들에서, 상기 이미지 처리 기기는 전술한 이미지 처리 장치의 기능의 전부 또는 일부를 완료하기 위해 필요에 따라 상이한 모듈로 분할될 수 있다.
결론적으로, 본 발명의 상기 실시 예들에서의 상기 이미지 처리 기기에 따르면, 상기 제1마스터 이미지는 상기 제1카메라를 사용하여 상기 미리 설정된 제1노출 시간에 따라 캡처되며, 동시에 상기 슬레이브 이미지는 상기 제2카메라를 사용하여 상기 제1노출 시간에 따라 캡처된다. 상기 피사계 심도 정보는 상기 제1마스터 이미지 및 상기 슬레이브 이미지에 따라 획득되며, 상기 제1마스터 이미지 및 상기 슬레이브 이미지가 합성되어 상기 제1이미지를 획득한다. 상기 제1이미지의 상기 제1전경 영역 및 상기 제1배경 영역은 상기 피사계 심도 정보에 따라 판단된다. 상기 촬영 장면의 상기 휘도가 검출되고, 상기 제2노출 시간은 상기 휘도 및 상기 미리 설정된 임계값에 따라 판단되며, 상기 제2이미지는 상기 제2노출 시간에 따라 캡처된다. 상기 제2이미지의 상기 제2전경 영역은 상기 제1전경 영역의 상기 좌표 정보에 따라 획득되며, 이미지 융합 처리는 상기 제2전경 영역 및 상기 제1전경 영역에 대해 수행되어 상기 제3전경 영역을 생성한다. 상기 피사계 심도 정보에 따라 상기 제1배경 영역에 대해 블러링 처리가 수행되고, 상기 제3전경 영역 및 상기 블러링 처리된 제1배경 영역이 합성되어 상기 타깃 이미지를 생성한다. 따라서, 높은 동적 대역 이미지의 생성 효율 및 시각적 효과가 향상된다.
전술한 실시 예들을 구현하기 위해, 본 발명은 본 발명의 전술한 실시 예에서의 상기 단말 장치와 같은 컴퓨터 장치를 추가로 제공한다. 상기 컴퓨터 장치는 상기 컴퓨터 프로그램을 저장하는 메모리 및 컴퓨터 프로그램을 실행하는 프로세서를 포함하는 임의의 장치일 수 있다. 예를 들어, 상기 컴퓨터 장치는 스마트 폰, 혹은 개인용 컴퓨터 등일 수 있다. 상기 컴퓨터 장치는 이미지 처리 회로를 추가로 포함한다. 상기 이미지 처리 회로는 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트에 의해 구현될 수 있고, 정의된 ISP(Image Signal Processing) 파이프 라인을 위한 다양한 처리 유닛들을 포함할 수 있다. 도 9는 본 발명의 실시 예에 따른 이미지 처리 회로의 개략도이다. 도 9를 참조하면, 설명의 편의를 위해, 본 발명의 실시 예와 관련된 이미지 처리의 측면들만이 도시되어 있다.
도 9를 참조하면, 상기 이미지 처리 회로는 ISP 프로세서(1040) 및 제어 로직 장치(1050)를 포함한다. 이미징 장치(1010)에 의해 캡처된 이미지 데이터는 먼저 상기 ISP 프로세서(1040)에 의해 처리되고, 상기 ISP 프로세서(1040)는 상기 이미지 데이터를 분석하여 상기 이미징 장치(1010)의 하나 이상의 제어 파라미터들을 판단하기 위해 사용될 수 있는 이미지 통계 정보(image statistical information)를 캡처한다. 상기 이미징 장치(1010)(카메라)는 하나 이상의 렌즈(1012)를 가지는 카메라 및 이미지 센서(1014)를 포함할 수 있다. 본 발명의 블러링 처리 방법을 구현하기 위해, 상기 이미징 장치(1010)는 두 카메라들을 포함한다. 다시 8을 참조하면, 상기 이미징 장치(1010)는 주 카메라 및 보조 카메라를 통해 장면 이미지들을 동시에 캡처할 수 있고, 상기 이미지 센서(1014)는 컬러 필터 어레이(예를 들어, 베이어 필터)를 포함할 수 있다. 상기 이미지 센서(1014)는 상기 이미지 센서(1014)의 각각의 이미지 픽셀에 의해 캡처된 광 강도 및 파장 정보를 획득할 수 있고, 상기 ISP 프로세서(1040)에 의해 처리될 수 있는 원본 이미지 데이터(original image data) 세트를 제공한다. 센서(1020)는 상기 센서(1020)의 인터페이스 유형에 기초하여 상기 원본 이미지 데이터를 ISP 프로세서(1040)에 제공할 수 있다. 상기 ISP 프로세서(1040)는 상기 센서(1020)에 의하여 제공되는 상기 주 카메라에서 상기 이미지 센서(1014)에 의해 획득된 원본 이미지 데이터, 및 상기 보조 카메라에서 상기 이미지 센서(1014)에 의해 획득된 원본 이미지 데이터에 기초하여 피사계 심도 정보 등을 계산할 수 있다. 상기 센서(1020)의 인터페이스는 SMIA(Standard Mobile Imaging Architecture) 인터페이스, 다른 직렬 또는 병렬 카메라 인터페이스 또는 전술한 인터페이스의 조합일 수 있다.
상기 ISP 프로세서(1040)는 상기 원본 이미지 데이터에 대해 픽셀 단위로 복수의 포맷들로 처리할 수 있다. 예를 들어, 각각의 이미지 픽셀은 8, 10, 12 또는 14 비트들의 비트 깊이를 가질 수 있으며, 상기 ISP 프로세서(1040)는 원본 이미지 데이터에 대해 하나 이상의 이미지 처리 동작들을 수행하고, 상기 이미지 데이터와 관련된 통계 정보를 수집할 수 있다. 상기 이미지 처리 동작은 동일하거나 상이한 비트 깊이 정밀도에 따라 수행될 수 있다.
상기 ISP 프로세서(1040)는 이미지 메모리(1030)로부터 픽셀 데이터를 추가로 수신할 수 있다. 예를 들어, 상기 원본 픽셀 데이터는 상기 센서(1020)의 상기 인터페이스로부터 상기 이미지 메모리(1030)로 전송되고, 상기 이미지 메모리(1030) 내의 상기 원본 픽셀 데이터는 처리를 위해 상기 ISP 프로세서(1040)에 제공된다. 상기 이미지 메모리(1030)는 전자 장치에서 메모리 장치, 저장 장치 또는 별도의 전용 메모리의 일부일 수 있고, DMA(Direct Memory Access, 직접 메모리 접속) 속성을 포함할 수 있다.
상기 센서(1020)의 상기 인터페이스 또는 상기 이미지 메모리(1030)로부터 상기 원본 이미지 데이터를 수신할 때, 상기 ISP 프로세서(1040)는 시간-도메인 필터링(time-domain filtering)과 같은 하나 이상의 이미지 처리 동작을 수행할 수 있다. 처리된 이미지 데이터는 디스플레이되기 전에 추가 처리를 위해 상기 이미지 메모리(1030)로 전송될 수 있다. 상기 ISP 프로세서(1040)는 상기 이미지 메모리(1030)로부터 상기 처리된 데이터를 수신하고, 원시 도메인 및 RGB 및 YCbCr의 컬러 공간에서 처리된 데이터에 대한 이미지 데이터 처리를 수행한다. 상기 처리된 이미지 데이터는 사용자에 의한 시청 및/또는 그래픽 엔진 또는 GPU(Graphics Processing Unit)에 의한 추가 처리를 위해 디스플레이(1070)로 출력될 수 있다. 더욱이, 상기 ISP 프로세서(1040)의 출력은 또한 상기 이미지 메모리(1030)로 전송될 수 있고, 상기 디스플레이(1070)는 상기 이미지 메모리(1030)로부터 이미지 데이터를 판독할 수 있다. 일 실시 예에서, 상기 이미지 메모리(1030)는 하나 이상의 프레임 버퍼들(frame buffers)을 구현하도록 구성될 수 있다. 또한, 상기 ISP 프로세서(1040)의 상기 출력은 이미지 데이터를 인코딩/디코딩하기 위해 인코더/디코더(1060)로 전송될 수 있다. 인코딩된 이미지 데이터는 상기 디스플레이(1070)에 디스플레이되기 전에 저장되고 압축 해제될 수 있다. 상기 인코더/디코더(1060)는 CPU, GPU 또는 코프로세서(coprocessor)로 구현될 수 있다.
상기 ISP 프로세서(1040)에 의해 결정된 통계 데이터는 상기 제어 로직 장치(1050)로 전송될 수 있다. 예를 들어, 상기 통계 데이터는 상기 이미지 센서(1014)의 통계 정보, 즉 자동 노출, 자동 화이트 밸런스, 자동 초점, 플리커 검출, 블랙 레벨 보상, 렌즈(1012)의 그림자 보정 등의 통계 정보를 포함할 수 있다. 상기 제어 로직 장치(1050)는 (펌웨어와 같은) 하나 이상의 루틴들을 수행하는 프로세서 및/또는 마이크로 컨트롤러를 포함할 수 있다. 상기 수신된 통계 데이터에 따라 상기 이미징 장치(1010)의 제어 파라미터 및 다른 요소들의 제어 파라미터들을 판단하기 위해 하나 이상의 루틴들이 사용될 수 있다. 예를 들어, 상기 제어 파라미터들은 상기 센서(1020)의 제어 파라미터들(예를 들어, 이득 및 노출 제어 적분 시간) 카메라의 섬광 제어 파라미터, 상기 렌즈(1012)의 제어 파라미터들 (가령, 포커싱 또는 줌을 위한 초점 길이) 또는 이러한 파라미터들의 조합들을 포함할 수 있다. ISP 제어 파라미터들은 (예를 들어, RGB 처리 동안) 자동 화이트 밸런스 및 컬러 조절에 사용되는 이득 레벨 및 컬러 보정 매트릭스, 및 렌즈(1012)의 그림자 보정 파라미터를 포함할 수 있다.
다음은 도 9의 상기 이미지 처리 회로를 사용하여 구현된 이미지 처리 방법의 동작을 제공한다.
듀얼 카메라들을 이용하여 미리 설정된 제1노출 시간에 따라 제1 이미지가 캡처될 수 있고, 제2노출 시간에 따라 제2이미지가 캡처될 수 있으며, 상기 제2노출 시간은 촬영 장면의 휘도 및 미리 설정된 임계값에 따라 판단된다.
상기 제1이미지의 제1전경 영역 및 제1배경 영역이 판단될 수 있고, 상기 제2이미지의 제2전경 영역이 판단될 수 있다.
상기 제2전경 영역 및 상기 제1전경 영역에 대해 이미지 융합 처리가 수행되어, 제3전경 영역을 생성할 수 있다.
블러링 처리는 상기 제1배경 영역에 대해 수행될 수 있고, 상기 제3전경 영역 및 상기 블러링 처리된 상기 제1배경 영역이 합성되어 타깃 이미지를 생성할 수 있다.
전술한 실시 예들을 구현하기 위해, 본 발명은 비 일시적 컴퓨터 판독 가능 저장 매체를 추가로 제공한다. 저장 매체에서의 명령어는 프로세서에 의해 실행될 때 상기 프로세서가 본 발명의 상기 실시 예들에서의 이미지 처리 방법을 구현하게 할 수 있다.
본 명세서의 상기 설명에서, 상기 용어 "일 실시 예", "일부 실시 예", "예", "구체적인 예", "일부 예" 등은, 실시 예 또는 예를 참조하여 설명된 특정 특성들, 구조들, 재료들 또는 특징들이 본 발명의 하나 이상의 실시 예 또는 예에 포함된다는 것을 의미한다. 본 명세서에서, 전술한 용어들의 개략적인 표현이 반드시 동일한 실시 예 또는 예에 사용되는 것은 아니며, 전술한 특정 특성들, 구조들, 재료들 또는 특징들은 임의의 하나 이상의 실시 예들 또는 예들에서 적절한 방식으로 결합될 수 있다. 또한, 본 발명의 명세서에서 설명된 상이한 실시 예들 또는 예들은, 다른 실시 예들 또는 예들의 특징들과 조합될 수 있거나 당업자에 의해 모순없이 결합될 수 있다.
또한, 용어들 "제1" 및 "제2"는 단지 설명의 목적을 위한 것일뿐, 상대적 중요도를 나타내거나 암시하거나 또는 기술적 특징들의 양을 암시적으로 나타내는 것으로 이해되지 않는다. 따라서, "제1" 및 "제2"에 의해 정의된 특징들은 상기 특징들 중 적어도 하나를 명시적으로 또는 암시적으로 포함할 수 있다. 본 발명에서 상기 용어 "다수의"는 달리 명확하고 구체적으로 제한되지 않는 한 둘 이상, 예를 들어 둘, 셋 등을 의미한다.
순서도, 다른 방식으로 본 명세서에 기술된 임의의 프로세스 또는 방법의 설명은, 상기 프로세서의 사용자 정의 논리 기능 또는 동작을 구현하기 위한 실행 가능한 명령이 포함된 하나 이상의 모듈, 조각, 코드의 표현으로 이해될 수 있으며, 본 발명의 바람직한 구현은 다른 구현을 포함한다. 기능들은 상기 기능들에 따른 실질적으로 동시적인 방식 또는 반대 순서를 포함하여 표시되거나 논의된 순서로 수행되지 않을 수 있다. 이는 본 발명의 실시 예의 당업자에게 이해될 것이다.
순서도 및 다른 방법으로 본 명세서에 기술된 논리 및/또는 동작들은, 예를 들어, 논리 기능들을 구현하기 위한 실행 가능한 명령의 시퀀스 테이블인 것으로 간주될 수 있고, (컴퓨터 기반 시스템, 프로세서를 포함하는 시스템, 또는 상기 명령 실행 시스템, 기기 또는 장치로부터 명령을 획득하고 명령을 실행할 수 있는 다른 시스템과 같은) 명령 실행 시스템, 기기 또는 장치에 의해 사용되거나 상기 명령 실행 시스템, 기기 또는 장치의 조합에 의해 사용되는 임의의 컴퓨터 판독 가능 매체에서 구체적으로 구현될 수 있다. 본 명세서에서, "컴퓨터 판독 가능 매체"는 상기 명령 실행 시스템, 기기 또는 장치에 의해 사용되거나 상기 명령 실행 시스템, 기기 또는 장치의 조합에 의해 사용되는 프로그램을 포함, 저장, 통신, 전파 또는 송신할 수 있는 임의의 장치일 수 있다. 상기 컴퓨터 판독 가능 매체의 보다 구체적인 예들(전체 목록)은 다음을 포함할 수 있다: 하나 이상의 전선과의 전자 연결(전자 장치), 휴대용 컴퓨터 디스크 박스(자기 장치), 임의 접근 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능형 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유 장치, 및 휴대용 컴팩트 디스크 읽기 전용 메모리(CDROM). 또한, 상기 컴퓨터 판독 가능 매체는 프로그램이 프린트될 수 있는 종이 또는 다른 적절한 매체일 수 있고, 예를 들어, 상기 프로그램은 종이 또는 다른 매체에 광학 스캐닝을 수행함으로써 전기적 방식으로 획득될 수 있기 때문이며, 필요한 경우 다른 적절한 방식으로 편집 및 해석 또는 처리를 수행하고, 이어서 상기 프로그램은 상기 컴퓨터 메모리에 저장될 수 있다.
이해할 것은, 본 발명의 일부는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합을 사용하여 구현될 수 있다는 점이다. 전술한 구현들에서, 다수의 동작들 또는 방법들은 메모리에 저장되고 적절한 명령 실행 시스템에 의해 실행되는 소프트웨어 또는 펌웨어에 의해 구현될 수 있다. 예를 들어, 하드웨어가 다른 실시 예와 동일한 실시 예를 구현하는데 사용되는 경우, 당 업계에 공지된 다음 기술 중 임의의 하나 또는 조합이 사용될 수 있다: 데이터 신호에 대해 논리 기능을 수행하기 위한 논리 게이트 회로를 포함하는 이산 논리 회로, 적절한 조합 논리 게이트 회로를 포함하는 전용 집적 회로, PGA (Programmable Gate Array), FPGA (Field Programmable Gate Array) 등.
당업자는 본 실시 예들의 방법에서의 상기 동작들의 전부 또는 일부가 프로그램에 의해 지시된 관련 하드웨어에 의해 완료될 수 있음을 이해할 수 있다. 상기 프로그램은 컴퓨터 판독 가능 메모리에 저장될 수 있다. 상기 프로그램이 실행될 때, 본 실시 예의 상기 방법의 동작들 중 하나의 동작 또는 동작들의 조합을 구현하기 위해 사용된다.
또한, 본 발명의 각 실시 예에서 각각의 기능 유닛은, 처리 모듈에 통합될 수 있고, 각각의 모듈은 또한 물리적으로 독립적으로 존재할 수 있으며, 둘 이상의 모듈들이 하나의 모듈에 통합될 수도 있다. 상기 통합 모듈은 하드웨어 형태로 구현될 수 있고, 소프트웨어 기능 유닛 형태로도 구현될 수 있다. 소프트웨어 기능 모듈의 형태로 구현되고 독립적인 제품으로서 판매 또는 사용되는 경우, 상기 통합 모듈은 컴퓨터 판독 가능 메모리에 저장될 수 있다.
상술한 저장 매체는 읽기 전용 메모리, 자기 디스크, 광 디스크 등일 수 있다. 본 발명의 실시 예들이 위에서 예시되고 설명되었지만, 전술한 실시 예들은 예시적이고 본 발명 내용에 대한 제한으로서 이해되지 않아야 한다는 것을 이해할 수 있다. 당업자는 본 발명의 범위 내에서 본 실시 예들에 대한 개조, 수정, 변경, 교체 또는 변형을 행할 수 있다.

Claims (13)

  1. 단말 장치에 적용되는 이미지 처리 방법에 있어서,
    제1카메라 및 제2카메라를 포함하는 듀얼 카메라들을 이용하여 미리 설정된 제1노출 시간에 따라 제1이미지를 캡처하고, 제2노출 시간에 따라 제2이미지를 캡처하는 동작(101) - 상기 제2노출 시간은 촬영 장면의 휘도(brightness) 및 미리 설정된 임계값(preset threshold)에 따라 판단되며, 상기 제1카메라는 상기 제1노출 시간에 따라 제1마스터 이미지를 캡처하고, 동시에 상기 제2카메라는 상기 제1노출 시간에 따라 슬레이브 이미지를 캡처하며, 상기 단말 장치는 상기 제1마스터 이미지 및 상기 슬레이브 이미지를 합성하여, 상기 제1이미지를 획득하며, 상기 제1카메라는 상기 제2노출 시간에 따라 제2마스터 이미지를 캡처함 -;
    상기 제1이미지의 제1전경 영역 및 제1배경 영역을 판단하고, 상기 제2이미지의 제2전경 영역을 판단하는 동작(102);
    상기 제1배경 영역을 제외하고, 상기 제2전경 영역 및 상기 제1전경 영역에 대해 이미지 융합 처리를 수행하여, 제3전경 영역을 생성하는 동작(103) - 상기 제3전경 영역은 높은 동적 대역 이미지(high dynamic range image)임 -; 및
    상기 제1배경 영역에 대해 블러링 처리를 수행하고, 상기 제3전경 영역 및 상기 블러링 처리된 상기 제1배경 영역을 합성하여 상기 높은 동적 대역 이미지인 타깃 이미지를 생성하는 동작(104);
    을 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  2. 제 1 항에 있어서,
    상기 제1이미지의 상기 제1전경 영역 및 상기 제1배경 영역을 판단하는 동작(102)은:
    촬영 파라미터들 및 피사계 심도 계산 공식들에 따라 상기 제1전경 영역의 피사계 심도 정보 및 상기 제1배경 영역의 피사계 심도 정보를 계산하는 동작;
    상기 제1전경 영역의 상기 피사계 심도 정보에 따라 상기 제1이미지로부터 상기 제1전경 영역을 분리하는 동작; 및
    상기 제1배경 영역의 상기 피사계 심도 정보에 따라 상기 제1이미지의 상기 제1배경 영역을 판단하는 동작;
    을 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  3. 제 1 항에 있어서,
    상기 제1이미지의 상기 제1전경 영역 및 상기 제1배경 영역을 판단하는 동작(102)은:
    상기 카메라들에 의해 획득된 미리 보기 이미지 데이터를 이용하여 상기 제1이미지 내의 각 픽셀의 위상차(phase difference)를 계산하는 동작;
    피사계 심도 정보 및 위상차 사이의 미리 결정된 관련성(predetermined correspondence) 및 상기 계산된 각 픽셀의 위상차에 따라 각 픽셀의 피사계 심도 정보를 획득하여, 상기 제1이미지의 피사계 심도 맵(depth of field map)을 생성하는 동작;
    상기 피사계 심도 맵에 따라 상기 제1전경 영역의 피사계 심도 정보 및 상기 제1배경 영역의 피사계 심도 정보를 판단하는 동작;
    상기 제1전경 영역의 상기 피사계 심도 정보에 따라 상기 제1이미지로부터 상기 제1전경 영역을 분리하는 동작; 및
    상기 제1배경 영역의 상기 피사계 심도 정보에 따라 상기 제1이미지의 상기 제1배경 영역을 판단하는 동작;
    을 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 휘도가 상기 미리 설정된 임계값보다 작다는 비교 결과에 응답하여 상기 제2노출 시간이 미리 설정된 알고리즘 및 상기 휘도에 따라 판단되되,
    상기 제2노출 시간은 상기 제1노출 시간보다 긴 것을 특징으로 하는,
    이미지 처리 방법.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 휘도가 상기 미리 설정된 임계값 이상이라는 비교 결과에 응답하여 정상 촬영 모드(normal shooting mode)가 개시되되,
    상기 제2노출 시간은 상기 정상 촬영 모드에 대응하는 미리 설정된 노출 시간으로서 판단되는 것을 특징으로 하는,
    이미지 처리 방법.
  6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제2이미지의 상기 제2전경 영역을 판단하는 동작(102)은:
    상기 제1전경 영역의 좌표 정보(coordinate information)에 따라 상기 제2전경 영역을 획득하는 동작;
    을 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서,
    상기 제1배경 영역에 대해 상기 블러링 처리를 수행하는 동작(104)은:
    상기 제1이미지의 피사계 심도 정보를 획득하는 동작;
    상기 피사계 심도 정보에 따라 상기 제1배경 영역의 상이한 영역들의 블러링 정도를 판단하는 동작; 및
    상기 블러링 정도에 따라 상기 제1배경 영역의 상기 상이한 영역들에 대해 가우시안(Gaussian) 블러링 처리를 수행하는 동작;
    을 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  10. 제 1 항에 있어서,
    상기 제1배경 영역에 대해 상기 블러링 처리를 수행하는 동작(104)은:
    상기 제1배경 영역의 장면 정보가 미리 설정된 조건을 충족하는지 여부를 판단하는 동작; 및
    상기 제1배경 영역의 상기 장면 정보가 상기 미리 설정된 조건을 충족한다는 판단에 응답하여, 상기 제1배경 영역을 미리 설정된 장면 정보를 포함하는 배경 영역으로 대체하는 동작;
    을 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  11. 제 10 항에 있어서,
    상기 미리 설정된 조건은:
    제1임계값을 초과하는 상기 제1배경 영역의 다수 픽셀들; 또는
    제2임계값을 초과하는 상기 제1배경 영역의 컬러 성분들;
    중 적어도 하나를 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  12. 단말 장치에 적용되는 이미지 처리 장치에 있어서,
    하나 이상의 컴퓨터 프로그램들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 컴퓨터 프로그램을 실행하도록 구성되는 프로세서;
    를 포함하고,
    상기 프로세서는 제 1 항 내지 제 3 항 중 어느 한 항에 따른 상기 이미지 처리 방법을 실행하는 것을 특징으로 하는,
    이미지 처리 장치.
  13. 컴퓨터 프로그램이 저장되고, 프로세서에 의해 실행될 때, 상기 프로세서가 제 1 항 내지 제 3 항 중 어느 한 항에 따른 상기 이미지 처리 방법을 구현하도록 하는 컴퓨터 판독 가능 저장 매체.
KR1020207008575A 2017-11-30 2018-10-24 이미지 처리 방법, 기기, 및 장치 KR102278776B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711243724.9 2017-11-30
CN201711243724.9A CN107948519B (zh) 2017-11-30 2017-11-30 图像处理方法、装置及设备
PCT/CN2018/111600 WO2019105154A1 (en) 2017-11-30 2018-10-24 Image processing method, apparatus and device

Publications (2)

Publication Number Publication Date
KR20200041981A KR20200041981A (ko) 2020-04-22
KR102278776B1 true KR102278776B1 (ko) 2021-07-20

Family

ID=61947121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008575A KR102278776B1 (ko) 2017-11-30 2018-10-24 이미지 처리 방법, 기기, 및 장치

Country Status (6)

Country Link
US (1) US10997696B2 (ko)
EP (1) EP3496383A1 (ko)
JP (1) JP7003238B2 (ko)
KR (1) KR102278776B1 (ko)
CN (1) CN107948519B (ko)
WO (1) WO2019105154A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN107948519B (zh) 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN110458860A (zh) * 2018-05-08 2019-11-15 华晶科技股份有限公司 图像处理方法及图像处理装置
CN108833832B (zh) * 2018-06-20 2021-03-02 王学军 一种眼镜摄录仪及摄录方法
TWI684165B (zh) 2018-07-02 2020-02-01 華晶科技股份有限公司 影像處理方法與電子裝置
CN108881730A (zh) * 2018-08-06 2018-11-23 成都西纬科技有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN108718388B (zh) * 2018-08-29 2020-02-11 维沃移动通信有限公司 一种拍照方法及移动终端
CN109360163A (zh) * 2018-09-26 2019-02-19 深圳积木易搭科技技术有限公司 一种高动态范围图像的融合方法及融合系统
CN113129312B (zh) * 2018-10-15 2022-10-28 华为技术有限公司 一种图像处理方法、装置与设备
CN109447929B (zh) * 2018-10-18 2020-12-04 北京小米移动软件有限公司 图像合成方法及装置
CN109194876B (zh) * 2018-10-31 2020-11-13 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111311482B (zh) * 2018-12-12 2023-04-07 Tcl科技集团股份有限公司 背景虚化方法、装置、终端设备及存储介质
JP2020167518A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置と画像処理方法およびプログラムと撮像装置
CN110120045B (zh) * 2019-06-14 2023-05-12 晓智未来(成都)科技有限公司 一种基于回归模型的x光成像曝光参数确定方法
CN110231018B (zh) * 2019-04-30 2021-02-26 奥比中光科技集团股份有限公司 一种结构光测距方法、装置及计算机可读存储介质
CN110177212B (zh) * 2019-06-26 2021-01-26 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110266960B (zh) * 2019-07-19 2021-03-26 Oppo广东移动通信有限公司 预览画面处理方法、处理装置、摄像装置及可读存储介质
CN110493538B (zh) * 2019-08-16 2021-08-24 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112461154B (zh) * 2019-09-09 2023-11-10 睿镞科技(北京)有限责任公司 3d成像方法、装置和深度相机
CN110650291B (zh) * 2019-10-23 2021-06-08 Oppo广东移动通信有限公司 目标追焦方法和装置、电子设备、计算机可读存储介质
CN110992239B (zh) * 2019-11-14 2023-03-24 中国航空工业集团公司洛阳电光设备研究所 一种基于单片ddr3芯片的图像时域滤波与显示的方法
CN112991242A (zh) * 2019-12-13 2021-06-18 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备
CN111369469B (zh) * 2020-03-10 2024-01-12 北京爱笔科技有限公司 图像处理方法、装置及电子设备
CN111416936B (zh) * 2020-03-24 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN111489323B (zh) * 2020-04-09 2023-09-19 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
US11232315B2 (en) 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
CN113572980B (zh) * 2020-04-28 2022-10-11 华为技术有限公司 拍照方法、装置、终端设备及存储介质
CN113810590A (zh) * 2020-06-12 2021-12-17 华为技术有限公司 图像处理方法、电子设备、介质和系统
CN111835982B (zh) * 2020-07-02 2021-08-17 维沃移动通信有限公司 图像获取方法、图像获取装置、电子设备及存储介质
KR20220005820A (ko) * 2020-07-07 2022-01-14 삼성전자주식회사 그래픽 효과를 적용하기 위한 전자 장치 및 그에 관한 방법
CN111770285B (zh) * 2020-07-13 2022-02-18 浙江大华技术股份有限公司 一种曝光亮度控制方法、装置、电子设备和存储介质
CN114143442B (zh) * 2020-09-03 2023-08-01 武汉Tcl集团工业研究院有限公司 图像虚化方法、计算机设备、计算机可读存储介质
CN112241953B (zh) * 2020-10-22 2023-07-21 江苏美克医学技术有限公司 基于多聚焦图像融合和hdr算法的样本图像融合方法及装置
CN112291471B (zh) * 2020-10-28 2022-06-10 维沃移动通信有限公司 拍摄控制方法、拍摄控制装置、电子设备和可读存储介质
CN112543286A (zh) * 2020-11-27 2021-03-23 展讯通信（上海）有限公司 一种用于终端的图像生成方法及装置、存储介质、终端
JP2022088785A (ja) * 2020-12-03 2022-06-15 セイコーエプソン株式会社 特定方法、投写方法、特定システム、情報処理装置、及びプログラム
CN112446910A (zh) * 2020-12-11 2021-03-05 杭州海康机器人技术有限公司 一种深度图像获得方法、装置、电子设备及存储介质
CN112954198B (zh) * 2021-01-27 2022-11-15 北京有竹居网络技术有限公司 图像处理方法、装置和电子设备
CN112995537B (zh) * 2021-02-09 2023-02-24 成都视海芯图微电子有限公司 一种视频构建方法及系统
CN113298735A (zh) * 2021-06-22 2021-08-24 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113660425B (zh) * 2021-08-19 2023-08-22 维沃移动通信（杭州）有限公司 图像处理方法、装置、电子设备及可读存储介质
CN116095517B (zh) * 2022-08-31 2024-04-09 荣耀终端有限公司 虚化方法、终端设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242057A1 (en) * 2012-03-16 2013-09-19 Research In Motion Limited Methods and devices for producing an enhanced image
CN105100615A (zh) * 2015-07-24 2015-11-25 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
CN107241557A (zh) * 2017-06-16 2017-10-10 广东欧珀移动通信有限公司 图像曝光方法、装置、摄像设备及存储介质
CN107277356A (zh) * 2017-07-10 2017-10-20 广东欧珀移动通信有限公司 逆光场景的人脸区域处理方法和装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100337473C (zh) * 2004-09-30 2007-09-12 中国科学院计算技术研究所 运动视频的全景图合成方法
US8115818B2 (en) * 2005-12-27 2012-02-14 Kyocera Corporation Imaging device and image processing method of same
WO2007095477A2 (en) * 2006-02-14 2007-08-23 Fotonation Vision Limited Image blurring
WO2008083205A2 (en) * 2006-12-29 2008-07-10 Gesturetek, Inc. Manipulation of virtual objects using enhanced interactive system
JP4916355B2 (ja) * 2007-03-20 2012-04-11 三洋電機株式会社 絞り制御装置及び画像処理装置
CN106919911A (zh) * 2008-07-30 2017-07-04 快图有限公司 使用脸部检测的自动脸部和皮肤修饰
JP5322995B2 (ja) * 2010-05-10 2013-10-23 キヤノン株式会社 撮像装置及びその制御方法
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
US9142010B2 (en) * 2012-01-04 2015-09-22 Audience, Inc. Image enhancement based on combining images from multiple cameras
KR101937708B1 (ko) * 2012-07-09 2019-04-11 삼성전자 주식회사 카메라 제어 시스템과 이를 포함하는 단말기 및 카메라 제어 방법
US9690458B2 (en) * 2012-09-10 2017-06-27 Mediatek Inc. Image viewing method for displaying portion of selected image based on user interaction input and related image viewing system and machine readable medium
JP2014131188A (ja) * 2012-12-28 2014-07-10 Canon Inc 撮像装置、その制御方法、および制御プログラム
US9349166B2 (en) * 2012-12-31 2016-05-24 Nokia Technologies Oy Method, apparatus and computer program product for generating images of scenes having high dynamic range
JP2015073185A (ja) * 2013-10-02 2015-04-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN104935911B (zh) 2014-03-18 2017-07-21 华为技术有限公司 一种高动态范围图像合成的方法及装置
KR101579098B1 (ko) * 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
US9131150B1 (en) * 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
US9607394B2 (en) * 2014-11-20 2017-03-28 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
US20160227100A1 (en) * 2015-01-29 2016-08-04 Qualcomm Incorporated Dual camera systems and methods for rapid 3a convergence and high dynamic range exposure metering
CN105187722B (zh) * 2015-09-15 2018-12-21 努比亚技术有限公司 景深调节方法、装置及终端
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
CN109155815A (zh) * 2016-05-20 2019-01-04 麦克赛尔株式会社 摄像装置及其设定画面
ES2756677T3 (es) * 2016-09-26 2020-04-27 Canon Kk Aparato de procesamiento de imágenes, procedimiento de procesamiento de imágenes y programa
CN106357980A (zh) 2016-10-19 2017-01-25 广东欧珀移动通信有限公司 图像虚化处理方法、装置和移动终端
US20180139369A1 (en) * 2016-11-16 2018-05-17 Motorola Mobility Llc Backlit face detection
US10264193B2 (en) * 2016-12-06 2019-04-16 Polycom, Inc. System and method for providing images and video having high dynamic range
CN106899781B (zh) * 2017-03-06 2020-11-10 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及电子设备
CN106851124B (zh) * 2017-03-09 2021-03-02 Oppo广东移动通信有限公司 基于景深的图像处理方法、处理装置和电子装置
CN106851123B (zh) * 2017-03-09 2020-12-22 Oppo广东移动通信有限公司 曝光控制方法、曝光控制装置及电子装置
CN106952222A (zh) * 2017-03-17 2017-07-14 成都通甲优博科技有限责任公司 一种交互式图像虚化方法及装置
CN107018331A (zh) * 2017-04-19 2017-08-04 努比亚技术有限公司 一种基于双摄像头的成像方法及移动终端
CN106937039B (zh) * 2017-04-26 2020-08-11 安徽龙运智能科技有限公司 一种基于双摄像头的成像方法、移动终端及存储介质
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
CN107172353B (zh) * 2017-06-16 2019-08-20 Oppo广东移动通信有限公司 自动曝光方法、装置和计算机设备
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
US10498963B1 (en) * 2017-12-04 2019-12-03 Amazon Technologies, Inc. Motion extracted high dynamic range images
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242057A1 (en) * 2012-03-16 2013-09-19 Research In Motion Limited Methods and devices for producing an enhanced image
CN105100615A (zh) * 2015-07-24 2015-11-25 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
CN107241557A (zh) * 2017-06-16 2017-10-10 广东欧珀移动通信有限公司 图像曝光方法、装置、摄像设备及存储介质
CN107277356A (zh) * 2017-07-10 2017-10-20 广东欧珀移动通信有限公司 逆光场景的人脸区域处理方法和装置

Also Published As

Publication number Publication date
JP7003238B2 (ja) 2022-01-20
CN107948519B (zh) 2020-03-27
WO2019105154A1 (en) 2019-06-06
EP3496383A1 (en) 2019-06-12
CN107948519A (zh) 2018-04-20
JP2020535758A (ja) 2020-12-03
US20190164257A1 (en) 2019-05-30
KR20200041981A (ko) 2020-04-22
US10997696B2 (en) 2021-05-04

Similar Documents

Publication Publication Date Title
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
KR102279436B1 (ko) 이미지 처리 방법, 장치 및 기기
CN107977940B (zh) 背景虚化处理方法、装置及设备
JP7015374B2 (ja) デュアルカメラを使用する画像処理のための方法および移動端末
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
KR102480245B1 (ko) 패닝 샷들의 자동 생성
KR102266649B1 (ko) 이미지 처리 방법 및 장치
CN107493432B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
WO2019109805A1 (zh) 图像处理方法和装置
CN108154514B (zh) 图像处理方法、装置及设备
CN108024057B (zh) 背景虚化处理方法、装置及设备
KR102304784B1 (ko) 더블 카메라 기반 이미징 방법 및 장치
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
WO2019105260A1 (zh) 景深获取方法、装置及设备
JP2015135661A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN112866552A (zh) 对焦方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant