KR20150107605A - 이미지 블러링 방법 및 장치, 그리고 전자 장치 - Google Patents

이미지 블러링 방법 및 장치, 그리고 전자 장치 Download PDF

Info

Publication number
KR20150107605A
KR20150107605A KR1020150023570A KR20150023570A KR20150107605A KR 20150107605 A KR20150107605 A KR 20150107605A KR 1020150023570 A KR1020150023570 A KR 1020150023570A KR 20150023570 A KR20150023570 A KR 20150023570A KR 20150107605 A KR20150107605 A KR 20150107605A
Authority
KR
South Korea
Prior art keywords
image
depth information
blurring
background
pixel
Prior art date
Application number
KR1020150023570A
Other languages
English (en)
Other versions
KR101686926B1 (ko
Inventor
샤오웨이 양
주콴 젱
진성 샤오
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20150107605A publication Critical patent/KR20150107605A/ko
Application granted granted Critical
Publication of KR101686926B1 publication Critical patent/KR101686926B1/ko

Links

Images

Classifications

    • G06T5/73—
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

본 발명은 이미지 블러링 방법 및 장치, 그리고 전자 장치를 개시하고, 이미지 처리의 분야에 관련된다. 이 방법은, 동일한 카메라에 의해 촬상되고 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지를 획득하는 단계; 상기 제1 이미지 및 상기 제2 이미지에 따라 심도 정보를 획득하는 단계; 상기 심도 정보에 따라 상기 제1 이미지의 배경 영역을 결정하는 단계; 및 상기 제1 이미지의 배경 영역 내의 컨텐츠에 대해 블러링 처리를 수행하는 단계를 포함한다. 본 발명에 따르면, 동일한 카메라에 의해 촬상되고 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지가 획득되고; 상기 제1 이미지 및 상기 제2 이미지에 따라 심도 정보가 획득되며; 상기 심도 정보에 따라 상기 제1 이미지의 배경 영역이 결정되고; 상기 제1 이미지의 배경 영역 내의 컨텐츠에 대해 블러링 처리가 수행된다. 이로써, 종래에, 사용자가 소프트웨어를 이용하여 이미지를 열고 수작업으로 배경 영역을 선택해야 하는 문제를 해결하고, 블러링 효과를 개선시키고 사용자 조작을 간소화하는 효과를 얻을 수 있다.

Description

이미지 블러링 방법 및 장치, 그리고 전자 장치{IMAGE BLURRING METHOD AND APPARATUS, AND ELECTRONIC DEVICE}
본 발명은 이미지 처리의 분야에 관한 것으로, 구체적으로는 이미지 블러링 방법 및 장치 그리고 전자 장치에 관한 것이다.
일반적인 포토그래피 기술로서, 배경 블러링(blurring)으로 사물을 쉽게 눈에 띄게 할 수 있어서 잘 알려져 있고 또 많은 아마추어 사진사가 사용하고 있다. 그러나, 배경 블러링 효과를 가진 사진을 찍기 위해, 전문적인 단렌즈 리플렉스 카메라(single-lens reflex camera)를 사용해야 하고 복잡한 조정 조작을 한 후에야 원하는 효과를 얻을 수 있다.
비전문 사진사의 요구에 부합하기 위해, 소프트웨어 수단에 의해 이미지를 처리함으로써 배경 블러링 효과를 얻을 수 있는 방법이 종래에 있다. 이미지를 촬상한 후, 사용자는 그 이미지를 이미지 처리 소프트웨어를 이용하여 열고 이미지 처리 소프트웨어와 함께 제공되는 툴을 이용하여 배경 영역을 수작업으로 선택한다. 이미지 처리 소프트웨어는 사용자가 선택한 배경 영역에 대해 동일하거나 또는 변화하는 스케일에 가우시안 블러(Gaussian Blur)를 수행한다.
본 발명을 구현하는 처리에서, 본 발명자는 종래 기술에서 적어도 다음의 문제점을 발견하였다.
기존의 이미지 처리 방법에서는, 첫째, 사용자가 소프트웨어를 이용하여 이미지를 열고 수작업으로 배경 영역을 선택해야 하고; 또 수작업으로 선택된 배경 영역이 부정확하며, 작동 프로세스가 복잡하여, 우수하지 않은 블러링 효과와 사용자의 많은 시간의 낭비를 초래한다.
종래 기술에서, 사용자가 소프트웨어를 이용하여 이미지를 열고 수작업으로 배경 영역을 선택해야 하는 것으로 인해, 배경 영역을 박스로 선택하는 것의 부정확함과 작동 프로세스가 복잡하다는 문제를 해결하기 위해, 본 발명의 실시예들이 이미지 블러링 방법 및 장치, 그리고 전자 장치를 제공한다. 그 기술적 해결 수단은 다음과 같다.
제1 측면에 따르면, 이미지 블러링 방법이 제공되며, 이 방법은, 동일한 카메라에 의해 촬상되고 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지를 획득하는 단계; 상기 제1 이미지 및 상기 제2 이미지에 따라 심도 정보를 획득하는 단계; 상기 심도 정보에 따라 상기 제1 이미지의 배경 영역을 결정하는 단계; 및 상기 제1 이미지의 배경 영역 내의 컨텐츠에 대해 블러링 처리를 수행하는 단계를 포함하고, 상기 제1 이미지의 상거리(image distance)는 상기 제2 이미지의 상거리보다 짧고, 상기 심도 정보는 상기 제1 이미지 내의 각 화소에서의 장면과 촬상 지점 간의 거리 및 상기 제2 이미지 내의 각 화소에서의 장면과 상기 촬상 지점 간의 거리를 나타낸다.
제1 측면의 제1의 가능한 구현 방식에서는, 상기 제1 이미지 및 상기 제2 이미지에 따라 심도 정보를 획득하는 단계가, 상기 카메라의 촬상 파라미터를 획득하는 단계; 상기 촬상 파라미터, 및 상기 제1 이미지 및 상기 제2 이미지의 각각의 상거리에 따라, 초기 심도 정보를 결정하는 단계; 상기 촬상 파라미터, 상기 제1 이미지, 그리고 상기 제2 이미지에 따라, 상기 초기 심도 정보에 대해 N번의 반복 연산(iterative computation)을 수행하는 단계 -여기서, N은 2보다 크거나 같은 양의 정수임-; 및 N번째 반복 연산에 의해 나온 결과를 획득하여 그 결과를 상기 심도 정보로서 사용하는 단계를 포함하고, 상기 촬상 파라미터는, 조정된 초점 거리, 렌즈 직경 및 상기 카메라의 조리개 크기와 디포커스된(defocused) 이미지의 흐림도(blurriness) 간의 관계를 나타내는 관계 파라미터를 포함한다.
제1 측면의 제1의 가능한 구현 방식을 참조한 제1 측면의 제2의 가능한 구현 방식에서는, 상기 초기 심도 정보에 대해 N번의 반복 연산을 수행하는 단계가, 첫 번째 연산이 수행되는 때, 상기 초기 심도 정보와 상기 촬상 파라미터에 따라, 첫 번째 연산의 확산 계수 및 첫 번째 연산의 확산 영역을 결정하고; 상기 제1 이미지, 상기 제2 이미지, 첫 번째 연산의 확산 계수, 및 첫 번째 연산의 확산 영역에 따라, 첫 번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하며; 첫 번째 연산에서의 최솟값 방정식을 결정하고 -상기 최솟값 방정식은 제1 차이값와 제2 차이값의 합계의 최솟값을 나타내고, 상기 제1 차이값은 상기 제1 이미지에 대응하는 순방향 열 확산 방정식의 실제 출력값과 이론적 출력값 간의 차이고, 상기 제2 차이값은 상기 제2 이미지에 대응하는 순방향 열 확산 방정식의 실제 출력값과 이론적 출력값 간의 차임-; 첫 번째 연산에서의 최솟값 방정식에 따라, 첫 번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에서의 각 화소의 최소 변화율(gradient)을 획득하고; 미리 설정된 교정 공식에 따라, 첫 번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 적은 화소에 대응하는 심도 정보에 대해 n번의 반복 교정을 수행하고; 첫 번째 연산 후의 심도 정보를 획득하는 단계 -여기서, n은 2보다 크거나 같은 양의 정수임-; 및 p번째 연산이 수행되는 때, (p-1)번째 연산 후에 획득된 심도 정보 및 상기 촬상 파라미터에 따라, p번째 연산의 확산 계수 및 p번째 연산의 확산 영역을 결정하고; 상기 제1 이미지, 상기 제2 이미지, p번째 연산의 확산 계수, 및 p번째 연산의 확산 영역에 따라, p번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하며; p번째 연산에서의 최솟값 방정식을 결정하고; p번째 연산에서의 최솟값 방정식에 따라, p번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에서의 각 화소의 최소 변화율을 획득하고; 상기 미리 설정된 교정 공식에 따라, p번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 적은 화소에 대응하는 심도 정보에 대해 n번의 반복 교정을 수행하고; p번째 연산 후의 심도 정보를 획득하는 단계 -여기서, p는 2보다 크거나 같고 N보다 작거나 같음-를 포함한다.
제1 측면의 제2의 가능한 구현 방식을 참조한, 제1 측면의 제3의 가능한 구현 방식에서는, 상기 교정 공식은,
Figure pat00001
이고,
여기서,
Figure pat00002
는 교정 후의 심도 정보이고,
Figure pat00003
는 교정 전의 심도 정보이며, data_reg는 최소 변화율이고, α 및 k는 미리 설정된 조정 파라미터(regularization parameter)이다.
제1 측면의 제4의 가능한 구현 방식에서는, 상기 심도 정보에 따라 상기 제1 이미지의 배경 영역을 결정하는 단계가, 촬상 파라미터와, 상기 제1 이미지 및 상기 제2 이미지의 각각의 상거리에 따라 전경 영역과 배경 영역 간의 임계 심도(critical depth)를 결정하는 단계; 및 상기 제1 이미지에서, 심도 정보가 나타내는 심도가 상기 임계 심도보다 큰 심도를 나타내는 심도 정보에 대응하는 화소 영역은 상기 제1 이미지의 배경 영역이라고 결정하는 단계를 포함한다.
제1 측면의 제5의 가능한 구현 방식에서는, 상기 제1 이미지의 배경 영역 내의 컨텐츠에 대해 블러링 처리를 수행하는 단계가, 상기 심도 정보를 정규화하여 정규화된 심도 정보를 획득하는 단계; 상기 배경 영역에서, 상기 정규화된 심도 정보의 간격을 q개 세그먼트로 균일하게 분할하여 q개의 배경 간격을 획득하는 단계; 미리 설정된 최대 블러 반경에 따라, q개의 배경 간격의 각각에 대응하는 블러 파라미터를 결정하는 단계-상기 블러 파라미터는 블러 반경 및 표준편차를 포함함-; 상기 q개의 배경 간격의 각각에 대응하는 상기 블러 반경 및 상기 표준편차에 따라, 상기 제1 이미지에서, 상기 q개의 배경 간격의 각각에 대응하는 화소 영역에 대해 개별적으로 블러링 처리를 수행하는 단계를 포함한다.
제2 측면에 따르면, 이미지 블러링 장치가 제공되고, 이 장치는, 동일한 카메라에 의해 촬상되고 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지를 획득하도록 구성된 이미지 획득 모듈; 상기 제1 이미지 및 상기 제2 이미지에 따라 심도 정보를 획득하도록 구성된 심도 정보 획득 모듈; 상기 심도 정보에 따라 상기 제1 이미지의 배경 영역을 결정하도록 구성된 배경 결정 모듈; 및 상기 제1 이미지의 배경 영역 내의 컨텐츠에 대해 블러링 처리를 수행하도록 구성된 블러링 모듈을 포함하고, 상기 제1 이미지의 상거리(image distance)는 상기 제2 이미지의 상거리보다 짧고, 상기 심도 정보는 상기 제1 이미지 내의 각 화소에서의 장면과 촬상 지점 간의 거리 및 상기 제2 이미지 내의 각 화소에서의 장면과 상기 촬상 지점 간의 거리를 나타낸다.
제2 측면의 제1의 가능한 구현 방식에서는, 상기 심도 정보 획득 모듈이, 상기 카메라의 촬상 파라미터를 획득하도록 구성된 제1 획득 유닛; 상기 촬상 파라미터, 및 상기 제1 이미지 및 상기 제2 이미지의 각각의 상거리에 따라, 초기 심도 정보를 결정하도록 구성된 초기화 유닛; 상기 촬상 파라미터, 상기 제1 이미지, 그리고 상기 제2 이미지에 따라, 상기 초기 심도 정보에 대해 N번의 반복 연산(iterative computation)을 수행하도록 구성된 연산 유닛 -여기서, N은 2보다 크거나 같은 양의 정수임-; 및 N번째 반복 연산에 의해 나온 결과를 획득하여 그 결과를 상기 심도 정보로서 사용하도록 구성된 제2 획득 유닛을 포함하고, 상기 촬상 파라미터는, 조정된 초점 거리, 렌즈 직경 및 상기 카메라의 조리개 크기와 디포커스된(defocused) 이미지의 흐림도(blurriness) 간의 관계를 나타내는 관계 파라미터를 포함한다.
제2 측면의 제1의 가능한 구현 방식을 참조한, 제2 측면의 제2의 가능한 구현 방식에서는, 상기 연산 유닛이, 첫 번째 연산이 수행되는 때에는, 상기 초기 심도 정보와 상기 촬상 파라미터에 따라, 첫 번째 연산의 확산 계수 및 첫 번째 연산의 확산 영역을 결정하고; 상기 제1 이미지, 상기 제2 이미지, 첫 번째 연산의 확산 계수, 및 첫 번째 연산의 확산 영역에 따라, 첫 번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하며; 첫 번째 연산에서의 최솟값 방정식을 결정하고 -상기 최솟값 방정식은 제1 차이값와 제2 차이값의 합계의 최솟값을 나타내고, 상기 제1 차이값은 상기 제1 이미지에 대응하는 순방향 열 확산 방정식의 실제 출력값과 이론적 출력값 간의 차이고, 상기 제2 차이값은 상기 제2 이미지에 대응하는 순방향 열 확산 방정식의 실제 출력값과 이론적 출력값 간의 차임-; 첫 번째 연산에서의 최솟값 방정식에 따라, 첫 번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에서의 각 화소의 최소 변화율(gradient)을 획득하고; 미리 설정된 교정 공식에 따라, 첫 번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 적은 화소에 대응하는 심도 정보에 대해 n번의 반복 교정을 수행하고; 첫 번째 연산 후의 심도 정보를 획득하도록 구성되고, 여기서, n은 2보다 크거나 같은 양의 정수이며; 상기 연산 유닛이, p번째 연산이 수행되는 때에는, (p-1)번째 연산 후에 획득된 심도 정보 및 상기 촬상 파라미터에 따라, p번째 연산의 확산 계수 및 p번째 연산의 확산 영역을 결정하고; 상기 제1 이미지, 상기 제2 이미지, p번째 연산의 확산 계수, 및 p번째 연산의 확산 영역에 따라, p번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하며; p번째 연산에서의 최솟값 방정식을 결정하고; p번째 연산에서의 최솟값 방정식에 따라, p번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에서의 각 화소의 최소 변화율을 획득하고; 상기 미리 설정된 교정 공식에 따라, p번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 적은 화소에 대응하는 심도 정보에 대해 n번의 반복 교정을 수행하고; p번째 연산 후의 심도 정보를 획득하도록 구성되고, 여기서, p는 2보다 크거나 같고 N보다 작거나 같다.
제2 측면의 제3의 가능한 구현 방식에서는, 상기 배경 결정 모듈이, 촬상 파라미터와, 상기 제1 이미지 및 상기 제2 이미지의 각각의 상거리에 따라 전경 영역과 배경 영역 간의 임계 심도(critical depth)를 결정하도록 구성된 임계 심도 결정 유닛; 및 상기 제1 이미지에서, 심도 정보가 나타내는 심도가 상기 임계 심도보다 큰 심도를 나타내는 심도 정보에 대응하는 화소 영역은 상기 제1 이미지의 배경 영역이라고 결정하도록 구성된 배경 결정 유닛을 포함한다.
제2 측면의 제4의 가능한 구현 방식에서는, 상기 블러링 모듈이, 상기 심도 정보를 정규화하여 정규화된 심도 정보를 획득하도록 구성된 정규화 유닛; 상기 배경 영역에서, 상기 정규화된 심도 정보의 간격을 q개 세그먼트로 균일하게 분할하여 q개의 배경 간격을 획득하도록 구성된 세그먼트화 유닛; 미리 설정된 최대 블러 반경에 따라, q개의 배경 간격의 각각에 대응하는 블러 파라미터를 결정하도록 구성된 파라미터 결정 유닛-상기 블러 파라미터는 블러 반경 및 표준편차를 포함함-; 상기 q개의 배경 간격의 각각에 대응하는 상기 블러 반경 및 상기 표준편차에 따라, 상기 제1 이미지에서, 상기 q개의 배경 간격의 각각에 대응하는 화소 영역에 대해 개별적으로 블러링 처리를 수행하도록 구성된 블러링 유닛을 포함한다.
제3 측면에 따르면, 전자 장치가 제공되고, 이 전자 장치는, 제2 측면의 가능한 구현 방식들 중 어느 하나 또는 제2 측면에 따른 이미지 블러링 장치를 포함한다.
본 발명의 실시예에서 제공된 기술적 해결 수단에 의해 얻어지는 이로운 효과는 다음과 같다.
동일한 카메라에 의해 촬상되고 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지가 획득되고; 상기 제1 이미지 및 상기 제2 이미지에 따라 심도 정보가 획득되며; 상기 심도 정보에 따라 상기 제1 이미지의 배경 영역이 결정되고; 상기 제1 이미지의 배경 영역 내의 컨텐츠에 대해 블러링 처리가 수행된다. 이미지에서의 각 화소의 심도 정보가 전경 및 배경에 각각 초점을 둔 2개의 이미지에 따라 획득되고, 배경 영역은 그 심도 정보에 따라 결정되므로, 블러링 처리가 자동으로 완료되고, 이로써 종래에, 사용자가 소프트웨어를 이용하여 이미지를 열고 수작업으로 배경 영역을 선택해야 하는 것으로 인해, 배경 영역을 박스로 선택하는 것의 부정확함과 작동 프로세스의 복잡함이라는 문제가 해결되어, 블러링 효과를 향상시키고 사용자 조작을 간소화하며 사용자 시간을 절감시키는 효과가 얻어진다.
본 발명의 실시예에서의 기술적 해결수단을 보다 명확하게 기술하기 위해, 이하에서 그 실시예를 설명하기 위한 첨부 도면을 간략하게 소개한다. 분명한 것은, 이하의 설명에서의 첨부 도면은 단지 본 발명의 일부 실시예를 보여주는 것이며, 통상의 기술자라면 여전히 창작 노력 없이도 첨부 도면으로부터 다른 도면들을 생각해 낼 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 블러링 방법의 흐름도이다.
도 2는 본 발명의 다른 실시예에 따른 이미지 블러링 방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 이미지 블러링 장치의 개략적인 장치 구성도이다.
도 4는 본 발명의 다른 실시예에 따른 이미지 블러링 장치의 개략적인 장치 구성도이다.
도 5는 본 발명의 실시예에 따른 전자 장치의 개략적인 장치 구성도이다.
도 6은 본 발명의 다른 실시예에 따른 전자 장치의 개략적인 장치 구성도이다.
도 7은 본 발명의 또 다른 실시예에 따른 전자 당치의 개략적인 장치 구성도이다.
본 발명의 목적, 기술적 해결책, 이점을 명확하게 하기 위해, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세하게 더 설명한다.
도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 이미지 블러링 방법의 흐름도를 나타낸 것이다. 이 이미지 블러링 방법은 이미지에 배경 흐림을 실행하기 위해 전자 기기에서 사용되며, 이 전자 기기는 휴대전화, 디지털 카메라, 태블릿 컴퓨터, 또는 이와 유사한 것일 수 있다. 이미지 블러링 방법은 다음의 단계를 포함할 수 있다:
단계 102 : 동일한 카메라에 의해 촬상되고 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지를 획득한다. 　제1 이미지의 상거리는 제2 이미지의 상거리보다 짧다.
단계 104 : 제1 이미지 및 제2 이미지에 따라 심도 정보를 획득한다.　 심도 정보는 제1 이미지 내의 각 화소에서의 장면과 촬상 지점 간의 거리 및 제2 이미지 내의 각 화소에서의 장면과 상기 촬상 지점 간의 거리를 나타낸다.
단계 106 : 심도 정보에 따라 제1 이미지의 배경 영역을 결정한다.
단계 108 : 제1 이미지의 배경 영역 내의 컨텐츠에 대해 블러링 처리를 수행한다.
따라서, 본 발명의 본 실시예에서 제공되는 이미지 블러링 방법에 따라, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지가 획득되고, 제1 이미지 및 제2 이미지에 따라 심도 정보를 획득하고, 제1 이미지의 배경 영역은 심도 정보에 따라 결정되고, 그 배경 영역에 블러링이 수행된다. 이미지의 각 화소의 심도 정보는, 각각 전경 및 배경에 초점을 가진 2개의 이미지에 따라 얻어지고, 배경 영역은 심도 정보에 따라 결정되므로, 블러링 처리는 자동으로 완료되고, 따라서, 사용자가 소프트웨어를 사용하여 이미지를 열어야 하며 배경 영역을 수동으로 선택해야 하기 때문에 작업 처리가 복잡하고 배경 영역의 영역 선택이 부정확한, 종래 기술의 문제점을 해결하며, 블러링 효과를 개선하는 효과를 얻으며, 사용자 작업을 간소화하고, 사용자의 시간을 아낀다.
도 2를 참조하면, 도 2는 본 발명의 또 다른 실시예에 따른 이미지 블러링 방법의 흐름도를 나타낸 것이다. 이미지 블러링 방법은 이미지에 배경 흐림을 수행하기 위해 전자 기기에서 사용되며, 이 전자 기기는 휴대전화, 디지털 카메라, 태블릿 컴퓨터, 또는 이와 유사한 것일 수 있다. 전자 기기가 이미지 수집 유닛을 포함하는 전자 기기인 실시예에서, 이미지 블러링 방법은 다음의 단계를 포함할 수 있다:
단계 202 : 동일한 카메라에 의해 촬상되고 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지를 획득한다.
제1 이미지의 상거리는 제2 이미지의 상거리보다 짧다.
전자 기기는, 전자 기기에 포함되어 있는 이미지 수집 유닛(즉, 전자 기기의 카메라)을 사용함으로써, 다중 초점 이미지의 그룹을 수집할 수 있으며, 다중 초점 이미지의 그룹으로부터, 전경에 초점을 맞춘 이미지(상거리는 비교적 짧음) 및 배경에 초점을 맞춘 또 다른 이미지(상거리는 비교적 김)를 획득할 수 있고, 전자의 이미지를 제1 이미지로, 후자의 이미지를 제2 이미지로 사용할 수 있다.
단계 204 : 제1 이미지 및 제2 이미지에 따라 제1 이미지 및 제2 이미지에서의 심도 정보를 획득한다.
심도 정보는, 제1 이미지의 각 화소에서의 장면(scene)과 촬상 지점 사이의 거리 및 제2 이미지의 각 화소에서의 장면과 촬상 지점 사이의 거리를 나타내기 위해 사용된다. 제1 이미지 및 제2 이미지는, 동일한 카메라에 의해 촬상된, 다중 초점 이미지의 동일한 그룹으로부터 가져오기 때문에, 제1 이미지의 각 화소에서의 장면과 촬상 지점 사이의 거리는 제2 이미지의 각 화소에서의 장면과 촬상 지점 사이의 거리와 일치하며, 즉 연산에 의해 얻어진 심도 정보는 제1 이미지의 심도 정보일 뿐만 아니라 제2 이미지의 심도 정보이다.
전자 기기는 전자 기기의 카메라의 촬상 파라미터를 획득할 수 있으며, 촬상 파라미터는 조정된 초점 거리, 렌즈 직경 및, 카메라의 조리개 크기와 디포커스된 이미지의 흐림도 사이의 관계를 나타내기 위해 사용되는 관계 파라미터를 포함하고, 전자 기기는, 제1 이미지 및 제2 이미지의 각각의 상거리 및 촬상 파라미터에 따라, 초기 심도 정보를 결정하고, 전자 기기는 촬상 파라미터, 제1 이미지 및 제2 이미지에 따른 초기 심도 정보에, N은 양의 정수이며 N≥2인, N번의 반복 연산을 실행하고, 전자 기기는 N번째 반복 연산에 의해 얻어진 결과를 획득하며 이 결과를 심도 정보로 사용한다.
첫 번째 연산을 실행할 때, 전자 기기는 초기 심도 정보 및 촬상 파라미터에 따라 첫 번째 연산의 확산 계수(diffusion coefficient) 및 첫 번째 연산의 확산 영역(diffusion area)을 결정하고, 제1 이미지, 제2 이미지, 첫 번째 연산의 확산 계수 및 첫 번째 연산의 확산 영역에 따라 첫 번째 연산에서의 제1 이미지 및 제2 이미지에 각각 대응하는 순방향 열 확산 방정식(forward heat diffusion equations)을 결정하고, 첫 번째 연산에서, 제1 차이값이 및 제2 차이값의 합의 최솟값을 나타내기 위해 사용되는 최솟값 방정식을 결정하며, 여기서 제1 차이값는 제1 이미지에 대응하는 순방향 열 확산 방정식의 이론적인 출력값과 실제 출력값 사이의 차이이며, 제2 차이값은 제2 이미지에 대응하는 순방향 열 확산 방정식의 이론적인 출력값과 실제 출력값 사이의 차이이고, 첫 번째 연산에서 최솟값 방정식에 따라 첫 번째 연산에서의 제1 이미지 및 제2 이미지의 각 화소의 최소 변화율을 획득하고, 미리 설정된 교정 공식에 따라, 첫 번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 작은 화소에 대응하는 심도 정보에, n은 양의 정수이며 n≥2인, n번의 반복 교정을 실행하고, 첫 번째 연산 후에 심도 정보를 획득하며; 그리고
2≤p≤N인, p번째 연산을 실행할 때, 전자 기기는, (p-1)번째 연산 후에 얻어진 심도 정보와 촬상 파라미터에 따라, p번째 연산의 확산 계수 및 p번째 연산의 확산 영역을 결정하고, 제1 이미지, 제2 이미지, p번째 연산의 확산 계수 및 p번째 연산의 확산 영역에 따라, p번째 연산에서의 제1 이미지 및 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하고, p번째 연산에서 최솟값 방정식을 결정하고, p번째 연산에서의 최솟값 방정식에 따른 p번째 연산에서의 제1 이미지 및 제2 이미지의 각 화소의 최소 변화율을 획득하고, 미리 설정된 교정 공식에 따라, p번째 연산의 최소 변화율이 미리 설정된 변화율 임계치보다 작은 화소에 대응하는 심도 정보에 n번의 반복 교정을 실행하고, p번째 연산 후에 심도 정보를 획득한다.
교정 공식은 다음과 같다.
Figure pat00004
Figure pat00005
는 교정 후의 심도 정보이며,
Figure pat00006
는 교정 전의 심도 정보이며,
Figure pat00007
는 최소 변화율이며,
Figure pat00008
및
Figure pat00009
는 미리 설정된 정규화 파라미터이다.
카메라에 의해 촬상된 장면 이미지는 단지 장면의 광도의 에너지 분포일 뿐이다. 이 에너지 분포는, 주어진 지점의 온도가 강도로 나타나는, 금속판의 열 확산을 이용하여 설명되며, 다중 초점 이미징 프로세스는 열 확산 이론을 이용하여 모델링될 수 있다.
다중 초점 이미지의 이미징 프로세스는, 심도 정보의 추출을 조정 항(regularization term)을 가진 에너지 함수의 극값 문제로 전환하는 이방성 열 확산의 이론을 이용하여 모델링 될 수 있고, 필드의 심도(depth of field), 즉 제1 이미지 및 제2 이미지의 심도 정보는 반복 연산에 의해 얻어진다. 구체적인 연산 과정은 다음과 같다:
1) 전자 기기에 의해 촬상되는 2개의 다중 초점 이미지 I1 및 I2를 획득하고, 카메라의 초점 거리 f, 2개의 다중 초점 이미지의 상거리 v1 및 v2, 렌즈 직경 D 및 관계 파라미터 γ를 포함하는, 필요한 조정된 카메라 파라미터를 획득한다. 전자 기기는 이미지 파일 헤더로부터 바로 초점 거리 f, 피사체 거리 d1 및 d2, 및 조리개 값 F를 읽을 수 있다. 그 후, 상거리 v1 및 v2는 공식 (2.1)에 따라 f, d1 및 d2를 사용함으로써 얻어질 수 있고, 렌즈 직경은 D=f/F이다. 만일 전술한 파라미터들이 이미지 파일 헤더로부터 얻을 수 없다면, 다음의 디폴트 파라미터들이 사용될 것이다: f = 12 mm, F = 2.0, 및 d1 및 d2는 각각 0.52 mm 및 0.85 mm이다.
Figure pat00010
,
Figure pat00011
; (2.1)
2) 변화율 임계치
Figure pat00012
, 가상 시간
Figure pat00013
, 정규화 파라미터
Figure pat00014
및 k, 교정 스텝 길이
Figure pat00015
, 및 반복 횟수 N을 설정한다.
3) 초기 심도 정보를 획득한다.
Figure pat00016
,
그리고, 이 경우에는, 이미지에서의 각 화소의 초기 심도 값은 이 값이며,
Figure pat00017
는 이미지 I1 및 I2의 2차원 좌표이다.
4) 심도 정보
Figure pat00018
에 따라, 다음 식을 사용함으로써 대응하는 확산 계수
Figure pat00019
및 확산 영역
Figure pat00020
및
Figure pat00021
을 연산한다:
Figure pat00022
; (2.2)
Figure pat00023
; (2.3)
5) 전술한 단계에서 얻은 파라미터를 사용함으로써 2개의 이미지의 이하의 순방향 열 확산 방정식을 시뮬레이션한다.
Figure pat00024
; (2.4)
Figure pat00025
; (2.5)
이 방정식에서,
Figure pat00026
는 입력 이미지 I1이고 ,
Figure pat00027
는 입력 이미지 I2이고, 확산 계수
Figure pat00028
,
Figure pat00029
는 변화율 연산자(gradient operator)
Figure pat00030
이고,
Figure pat00031
는 발산 연산자(divergence operator)
Figure pat00032
이다.
6) 시간
Figure pat00033
후, 그들 각각의 열 확산 이미지
Figure pat00034
및
Figure pat00035
를 얻기 위해 5)의 열 확산 방정식 2.4 및 2.5를 각각 풀고, 다음 열 확산 포물 방정식을 시뮬레이션하기 위해 열 확산 이미지
Figure pat00036
및
Figure pat00037
를 사용한다:
Figure pat00038
; (2.6)
Figure pat00039
; (2.7)
7) 식 (2.8)의 최솟값을 얻기 위해서,
Figure pat00040
및
Figure pat00041
를 얻기 위해 6)의 방정식을 푼다:
Figure pat00042
; (2.8)
이 식에서,
Figure pat00043
; (2.9)
Figure pat00044
; (2.10)
식 (2.8)에 대해 변화율을 연산한다:
Figure pat00045
; (2.11)
식 (2.11)에서,
Figure pat00046
; (2.12)
Figure pat00047
; (2.13)
전술한 공식에서,
Figure pat00048
는 헤비사이드 함수(Heaviside function)(단위 계단 함수)를 나타내고,
Figure pat00049
는 디랙 함수(Dirac function)(단위 임펄스 함수)를 나타내고,
Figure pat00050
및
Figure pat00051
는 5)에서의 방정식을 풀어서 얻어지고,
Figure pat00052
및
Figure pat00053
는 6)에서의 방정식을 풀어서 얻어지고,
Figure pat00054
는 열 확산 계수의 변화율 값이며, 다음과 같이 식 (2.2)에 따른 연산에 의해 얻어질 수 있다.
Figure pat00055
; (2.14)
Figure pat00056
의 연산식은 다음과 같다:
Figure pat00057
; (2.15)
식 (2.11)을 풀어서 얻어진 결과의 최소 변화율은
Figure pat00058
, 즉,
Figure pat00059
로 표시하며,
Figure pat00060
는 미리 설정된 변화율 임계치와 비교된다.
Figure pat00061
인 경우, 화소의 심도 추정치는 비교적 정확하며, 교정을 필요로 하지 않고,
Figure pat00062
인 경우, 화소의 심도 추정치는 부정확하며, 심도 값 교정을 실행할 필요가 있다.
8) 미리 설정된 시간 단계 길이(time step length)
Figure pat00063
(즉,
Figure pat00064
번 심도 교정을 실행함)으로 7)에서 교정될 필요가 있는 심도 값에 교정을 실행하고, 심도 맵을 갱신한다. 다음과 같이 가정하면:
Figure pat00065
; (2.16)
Figure pat00066
는
Figure pat00067
의 라플라스 연산자, 즉, 2차 미분의 이차 합을 나타낸다. 7)에서 연산에 의해 얻어진
Figure pat00068
에 따라, 단위 스텝 길이(unit step length)에서의 교정된 심도
Figure pat00069
가 얻어질 수 있다:
Figure pat00070
; (2.17)
최종 교정된 심도 값을 얻기 위해 심도 값
Figure pat00071
에
Figure pat00072
번 반복 실행된다.
9) 초기 심도 값으로써 각 화소에서 획득된, 교정된 심도 값을 사용하며, 4)에 돌려주고, 반복 종료의 N번째까지 실행은 계속된다. 각 화소의 최종적으로 얻어진 교정된 심도 값은 제1 이미지 및 제2 이미지의 심도 정보이다.
심도 정보의 전술한 연산을 용이하게 하기 위해, 제1 이미지 및 제2 이미지는 먼저 RGB(Red Green Blue) 모델로부터 HSI(Hue Saturation Intensity) 모델로 변환시킬 필요가 있다는 것을 유의해야 한다.
단계 206 : 심도 정보에 따라 제1 이미지의 배경 영역을 결정한다.
전자 기기는, 촬상 파라미터와 제1 이미지 및 제2 이미지의 각각의 상거리에 따라 전경과 배경 사이의 임계 심도를 결정할 수 있고, 제1 이미지에서, 심도가 임계 심도보다 큰 심도 정보에 의해 나타나는, 심도 정보에 대응하는 화소 영역이 제1 이미지의 배경 영역인 것을 결정할 수 있다.
구체적으로, 확산 경계를 나타내는 식을 사용함으로써,
Figure pat00073
;
전자 기기는 선명도와 흐림도 사이의 경계의 심도를 획득할 수 있다:
Figure pat00074
.
그 후, 전경 및 배경은, 다음 식이 도시된 바와 같이, 심도 정보에 따라 바로 나누어질 수 있다:
Figure pat00075
단계 208 : 제1 이미지의 배경 영역을 층으로 나누고, 배경 영역의 각 층의 블러(blur) 파라미터를 결정한다.
구체적으로, 전자 기기는 정규화된 심도 정보를 얻기 위해 심도 정보를 정규화할 수 있으며, 배경 영역에서, q개의 배경 간격을 얻기 위해 정규화된 심도 정보의 간격을 q개의 세그먼트로 동일하게 나눌 수 있으며, 미리 설정된 최대 블러 반경에 따라, 각각의 q개의 배경 간격에 대응하는 블러 파라미터를 결정할 수 있고, 블러 파라미터는 블러 반경과 표준편차를 포함한다.
배경에 대해, 배경의 가우시안 블러의 비율이 결정된다.
먼저, 얻어진 심도 맵 s는 다음과 같이 0부터 255까지의 범위로 정규화된다:
Figure pat00076
;
정규화된 심도 정보에 따라, q의 값이 2인 예시에서, 흐림도 비율은 3개의 부분으로 나누어진다. 다음과 같이 가정하면:
Figure pat00077
;
배경 영역
Figure pat00078
는 본 발명의 실시예에서 2개의 세그먼트로 동일하게 나누어지며, 구체적으로는 다음과 같다:
Figure pat00079
;
제1 이미지에서의 전경 영역(제1 이미지는 디폴트에 의해 전경 영역에 초점을 맞춤)은 바뀌지 않고, 다른 2개의 세그먼트는 배경 영역이며, 2개의 증분 흐림도 비율이 선택된다.
본 실시예에서 비율을 선택하는 방법은 먼저 최대 블러 반경 j를 결정하고, j는 카메라의 시뮬레이션 하기 위한 조리개 크기에 따라 결정될 수 있다. 대체로, 큰 조리개 크기는 블러링 효과가 강하게 나타나고 m의 값이 크며, 작은 조리개 크기는 블러링 효과가 약하게 나타나고 m의 값이 작다.
그 후, 각 세그먼트의 블러 반경 ri는, 기수로 2개를 선택함으로써 감소하는 규칙에 따라 결정된다.
Figure pat00080
;
가우시안 함수의 이산 근사치가 실제 발명에서 연산될 때, 가우시안 함수의 분배 법칙에 따라, 약 3σ의 거리 이상인 화소의 가중치 값은 비교적 매우 작으므로, 이러한 화소의 연산은 생략될 수 있다. 그리고나서, 가우시안 표준편차를 다음과 같이 결정할 수 있다:
Figure pat00081
단계 210 : 배경 영역의 각 층의 블러 파라미터에 따라, 배경 영역의 각 층에 블러링을 각각 실행한다.
전자 기기는, 각각의 q개의 배경 간격에 대응하는 표준편차 및 블러 반경에 따라, 제1 이미지에서, 각각의 q개의 배경 간격에 대응하는 화소 영역에 각각 블러링 처리를 실행할 수 있다.
가우시안 함수의 표준편차 및 반경이 얻어진 후에, 블러링 처리는 가우시안 필터링을 사용함으로써 이미지에 실행될 수 있다. 콘볼루션 프로세싱(convolution processing)은 원시 이미지 및 가우시안 함수에 실행되고, 그리고나서 블러링된 이미지가 획득될 수 있다:
Figure pat00082
Figure pat00083
는 블러링 처리가 실행되어야 할 원시 이미지이며,
Figure pat00084
는 2차 가우시안 함수이며, x 및 y는 이미지의 좌표이고, m 및 n은 각각 수평 가우시안 블러 반경 및 수직 가우시안 블러 반경이며, 본 명세서에서는, 값 ri는 m 및 n에 할당된다.
2차 가우시안 함수는 다음과 같이 정의된다:
Figure pat00085
;
이 식에서,
Figure pat00086
는 필터링의 중앙 화소이며,
Figure pat00087
및
Figure pat00088
는 각각 가우시안 분산의 수평 방향에서의 표준편차 및 수직 방향에서의 표준편차이고, 본 명세서에서, 값
Figure pat00089
는
Figure pat00090
및
Figure pat00091
에 할당되고, A는 정규화 파라미터이며,
Figure pat00092
이다.
따라서, 본 발명의 본 실시예에서 제공된 이미지 블러링 방법에 따라, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지가 획득되고, 제1 이미지 및 제2 이미지에 따라 심도 정보를 획득하고, 제1 이미지의 배경 영역은 심도 정보에 따라 결정되고, 블러링은 배경 영역에 실행된다. 이미지의 각 화소의 심도 정보는, 각각 전경 및 배경에 초점을 맞춘, 2개의 이미지에 따라 얻어지고, 배경 영역은 심도 정보에 따라 결정되므로, 블러링 처리는 자동으로 완료되고, 따라서, 사용자가 소프트웨어를 사용하여 이미지를 열어야 하며 배경 영역을 수동으로 선택해야 하기 때문에 작업 처리가 복잡하고 배경 영역의 영역 선택이 부정확한, 종래 기술의 문제점을 해결하며, 블러링 효과를 개선하는 효과를 얻으며, 사용자 작업을 간소화하고, 사용자의 시간을 아낀다.
뿐만 아니라, 본 발명의 본 실시예에서 제공된 이미지 블러링 방법에서, 제1 이미지의 배경 영역은 심도 정보에 따라 층으로 나누며, 블러링은, 블러링 효과가 더 개선된, 다른 블러 파라미터에 따라 배경 영역의 각 층에 실행된다.
도 3에 관하여, 도 3은 본 발명의 일 실시예에 따른 이미지 블러링 장치의 장치 구조도를 도시한다. 이미지 블러링 장치는 전자 기기에서 이미지에 배경 블러링을 실행하도록 구성되며, 전자 기기는 휴대전화, 디지털 카메라, 태블릿 컴퓨터, 또는 이와 유사한 것일 수 있다. 이미지 블러링 장치는 다음을 포함할 수 있다:
제1 이미지의 상거리는 제2 이미지의 상거리보다 짧으며, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진, 제1 이미지 및 제2 이미지를 획득하도록 구성되어 있는 이미지 획득 모듈(301);
제1 이미지 및 제2 이미지에 따라, 제1 이미지의 각 화소에서의 장면(scene)과 촬상 지점 사이의 거리 및 제2 이미지의 각 화소에서의 장면과 촬상 지점 사이의 거리를 나타내기 위해 사용되는, 심도 정보를 획득하도록 구성되어 있는 심도 정보 획득 모듈(302);
심도 정보에 따라 제1 이미지의 배경 영역을 결정하도록 구성되어 있는 배경 결정 모듈(303); 및
제1 이미지의 배경 영역의 컨텐츠에 블러링 처리를 실행하도록 구성되어 있는 블러링 모듈(304).
따라서, 본 발명의 본 실시예에서 제공되는 이미지 블러링 장치에 따라, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지가 획득되고, 제1 이미지 및 제2 이미지에 따라 심도 정보를 획득하고, 제1 이미지의 배경 영역은 심도 정보에 따라 결정되고, 블러링은 배경 영역에 실행된다. 이미지의 각 화소의 심도 정보는, 각각 전경 및 배경에 초점을 맞춘, 2개의 이미지에 따라 얻어지고, 배경 영역은 심도 정보에 따라 결정되므로, 블러링 처리는 자동으로 완료되고, 따라서, 사용자가 소프트웨어를 사용하여 이미지를 열어야 하며 배경 영역을 수동으로 선택해야 하기 때문에 작업 처리가 복잡하고 배경 영역의 영역 선택이 부정확한, 종래 기술의 문제점을 해결하며, 블러링 효과를 개선하는 효과를 얻으며, 사용자 작업을 간소화하고, 사용자의 시간을 아낀다.
도 4에 관하여, 도 4는 본 발명의 일 실시예에 따른 이미지 블러링 장치의 장치 구조도를 도시한다. 이미지 블러링 장치는 전자 기기에서 이미지에 배경 블러링을 실행하도록 구성되어 있으며, 전자 기기는 휴대전화, 디지털 카메라, 태블릿 컴퓨터, 또는 이와 유사한 것일 수 있다. 이미지 블러링 장치는 다음을 포함할 수 있다:
제1 이미지의 상거리는 제2 이미지의 상거리보다 짧으며, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진, 제1 이미지 및 제2 이미지를 획득하도록 구성되어 있는 이미지 획득 모듈(301);
제1 이미지 및 제2 이미지에 따라, 제1 이미지의 각 화소에서의 장면(scene)과 촬상 지점 사이의 거리 및 제2 이미지의 각 화소에서의 장면과 촬상 지점 사이의 거리를 나타내기 위해 사용되는, 심도 정보를 획득하도록 구성되어 있는 심도 정보 획득 모듈(402);
심도 정보에 따라 제1 이미지의 배경 영역을 결정하도록 구성되어 있는 배경 결정 모듈(403); 및
제1 이미지의 배경 영역의 컨텐츠에 블러링 처리를 실행하도록 구성되어 있는 블러링 모듈(404).
심도 정보 획득 모듈(402)은 다음을 포함한다:
촬상 파라미터는 조정된 초점 거리, 렌즈 직경 및, 카메라의 조리개 크기와 초점이 흐려진 이미지의 흐림도 사이의 관계를 나타내기 위해 사용되는, 관계 파라미터를 포함하며, 카메라의 이 촬상 파라미터를 획득하도록 구성되어 있는 제1 획득 유닛(402a);
제1 이미지 및 제2 이미지의 각각의 상거리 및 촬상 파라미터에 따라, 초기 심도 정보를 결정하도록 구성되어 있는 초기화 유닛(402b);
촬상 파라미터, 제1 이미지, 및 제2 이미지에 따라, 초기 심도 정보에, N은 양의 정수이며 N≥2인, N번의 반복 연산을 실행하도록 구성되어 있는 연산 유닛(402c); 및
N번째 반복 연산에 의해 얻어진 결과를 획득하고, 심도 정보로 그 결과를 사용하도록 구성되어 있는 제2 획득 유닛(402d).
연산 유닛(402c)은, 첫 번째 연산을 실행할 때, 전자 기기는 초기 심도 정보 및 촬상 파라미터에 따라 첫 번째 연산의 확산 계수 및 첫 번째 연산의 확산 영역을 결정하고, 제1 이미지, 제2 이미지, 첫 번째 연산의 확산 계수 및 첫 번째 연산의 확산 영역에 따라 첫 번째 연산에서의 제1 이미지 및 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하고, 첫 번째 연산에서, 제1 차이값 및 제2의 합의 최솟값을 나타내기 위해 사용되는 최솟값 방정식을 결정하며, 제1 차이값는 제1 이미지에 대응하는 순방향 열 확산 방정식의 이론적인 출력값과 실제 출력값 사이의 차이이며, 제2 차는 제2 이미지에 대응하는 순방향 열 확산 방정식의 이론적인 출력값과 실제 출력값 사이의 차이이고, 첫 번째 연산에서 최솟값 방정식에 따라 제1 연산에서의 제1 이미지 및 제2 이미지의 각 화소의 최소 변화율을 얻고, 미리 설정된 교정 공식에 따라, 첫 번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 작은 화소에 대응하는 심도 정보에, n은 양의 정수이며 n≥2인, n번의 반복 교정을 실행하고, 첫 번째 연산 후에 심도 정보를 획득하도록 구성되어 있으며; 그리고
연산 유닛(402c)은, 2≤p≤N인, p번째 연산을 실행할 때, 촬상 파라미터와 (p-1)번째 연산 후에 얻어진 심도 정보에 따라, p번째 연산의 확산 계수 및 p번째 연산의 확산 영역을 결정하고, 제1 이미지, 제2 이미지, p번째 연산의 확산 계수 및 p번째 연산의 확산 영역에 따라, p번째 연산에서의 제1 이미지 및 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하고, p번째 연산에서 최솟값 방정식을 결정하고, p번째 연산에서의 최솟값 방정식에 따른 p번째 연산에서의 제1 이미지 및 제2 이미지의 각 화소의 최소 변화율을 획득하고, 미리 설정된 교정 공식에 따라, p번째 연산의 최소 변화율은 미리 설정된 변화율 임계치보다 작은 화소에 대응하는 심도 정보에 n번의 반복 교정을 실행하고, p번째 연산 후에 심도 정보를 획득하도록 구성되어 있다.
배경 결정 모듈(403)은 다음을 포함한다:
촬상 파라미터와 제1 이미지 및 제2 이미지의 각각의 상거리에 따라 전경 영역과 배경 영역 사이의 임계 심도를 결정하도록 구성되어 있는 임계 배경 결정 유닛(403a); 및
제1 이미지에서, 심도는 임계 심도보다 큰 심도 정보에 의해 나타나는, 심도 정보에 대응하는 화소 영역이 제1 이미지의 배경 영역인 것을 결정하도록 구성되어 있는 배경 결정 유닛(403b).
블러링 모듈(404)은 다음을 포함한다:
정규화된 심도 정보를 획득하기 위해 심도 정보를 정규화하도록 구성되어 있는 정규화 유닛(404a);
배경 영역에서, q개의 배경 간격을 획득하기 위해 정규화된 심도 정보의 간격을 q개의 세그먼트로 동일하게 나누도록 구성되어 있는 세그멘트화 유닛(404b);
미리 설정된 최대 블러 반경에 따라, 각각의 q개의 배경 간격에 대응하며, 블러 반경 및 표준편차를 포함하는, 블러 파라미터를 결정하도록 구성되어 있는 파라미터 결정 유닛(404c); 및
각각의 q개의 배경 간격에 대응하는 표준편차 및 블러 반경에 따라, 제1 이미지에서, 각각의 q개의 배경 간격에 대응하는 화소 영역에 각각 블러링 처리를 실행하도록 구성되어 있는 블러링 유닛(404d).
따라서, 본 발명의 본 실시예에서 제공된 이미지 블러링 장치에 따라, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지가 획득되고, 제1 이미지 및 제2 이미지에 따라 심도 정보를 획득하고, 제1 이미지의 배경 영역은 심도 정보에 따라 결정되고, 블러링은 배경 영역에 실행된다. 이미지의 각 화소의 심도 정보는, 각각 전경 및 배경에 초점을 맞춘, 2개의 이미지에 따라 얻어지고, 배경 영역은 심도 정보에 따라 결정되므로, 블러링 처리는 자동으로 완료되고, 따라서, 사용자가 소프트웨어를 사용하여 이미지를 열어야 하며 배경 영역을 수동으로 선택해야 하기 때문에 작업 처리가 복잡하고 배경 영역의 영역 선택이 부정확한, 종래 기술의 문제점을 해결하며, 블러링 효과를 개선하는 효과를 얻으며, 사용자 작업을 간소화하고, 사용자의 시간을 아낀다.
뿐만 아니라, 본 발명의 본 실시예에서 제공된 이미지 블러링 장치에서, 제1 이미지의 배경 영역은 심도 정보에 따라 층으로 나뉘고, 블러링은, 블러링 효과를 더 개선한, 다른 블러 파라미터에 따라 배경 영역의 각 층에 대해 실행된다.
도 5에 관하여, 도 5는 본 발명의 일 실시예에 따른 전자 기기의 장치 구성도를 도시한다. 전자 기기는 휴대전화, 디지털 카메라, 태블릿 컴퓨터, 또는 이와 유사한 것일 수 있다. 전자 기기는 다음을 포함할 수 있다:
전술한 도 3 및 도 4에 도시되어 있는, 이미지 수집 유닛(001) 및 이미지 블러링 장치(002).
따라서, 본 발명의 본 실시예에서 제공된 전자 기기에 따라, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지가 획득되고, 제1 이미지 및 제2 이미지에 따라 심도 정보를 획득하고, 제1 이미지의 배경 영역은 심도 정보에 따라 결정되고, 블러링은 배경 영역에 실행된다. 이미지의 각 화소의 심도 정보는, 각각 전경 및 배경에 초점을 맞춘, 2개의 이미지에 따라 얻어지고, 배경 영역은 심도 정보에 따라 결정되므로, 블러링 처리는 자동으로 완료되고, 따라서, 사용자가 소프트웨어를 사용하여 이미지를 열어야 하며 배경 영역을 수동으로 선택해야 하기 때문에 작업 처리가 복잡하고 배경 영역의 영역 선택이 부정확한, 종래 기술의 문제점을 해결하며, 블러링 효과를 개선하는 효과를 얻으며, 사용자 작업을 간소화하고, 사용자의 시간을 아낀다.
뿐만 아니라, 본 발명의 본 실시예에서 제공된 전자 기기에서, 제1 이미지의 배경 영역은 심도 정보에 따라 층으로 나뉘며, 블러링은, 블러링 효과를 더 개선한, 다른 블러 파라미터에 따라 배경 영역의 각 층에 실행된다.
도 6에 관하여, 도 6은 본 발명의 또 다른 실시예에 따른 전자 기기의 장치 구성도를 도시한다. 전자 기기는 휴대전화, 디지털 카메라, 태블릿 컴퓨터, 또는 이와 유사한 것일 수 있다. 전자 기기는 다음을 포함할 수 있다:
프로세서(50); 및
프로세서(50)에 의해 실행 가능한 명령을 저장하도록 구성되어 있는 메모리(60).
프로세서(50)는, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진, 제1 이미지 및 제2 이미지를 획득하도록 구성되어 있으며, 제1 이미지의 상거리는 제2 이미지의 상거리보다 짧다.
프로세서(50)는, 제1 이미지 및 제2 이미지에 따라, 제1 이미지의 각 화소에서의 장면(scene)과 촬상 지점 사이의 거리 및 제2 이미지의 각 화소에서의 장면과 촬상 지점 사이의 거리를 나타내기 위해 사용되는, 심도 정보를 획득하도록 구성되어 있다.
프로세서(50)는 심도 정보에 따라 제1 이미지의 배경 영역을 결정하도록 구성되어 있다.
프로세서(50)는 제1 이미지의 배경 영역의 컨텐츠에 블러링 처리를 실행하도록 구성되어 있다.
따라서, 본 발명의 본 실시예에서 제공된 전자 기기에 따라, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지가 획득되고, 제1 이미지 및 제2 이미지에 따라 심도 정보를 획득하고, 제1 이미지의 배경 영역은 심도 정보에 따라 결정되고, 블러링은 배경 영역에 실행된다. 이미지의 각 화소의 심도 정보는, 각각 전경 및 배경에 초점을 맞춘, 2개의 이미지에 따라 얻어지고, 배경 영역은 심도 정보에 따라 결정되므로, 블러링 처리는 자동으로 완료되고, 따라서, 사용자가 소프트웨어를 사용하여 이미지를 열어야 하며 배경 영역을 수동으로 선택해야 하기 때문에 작업 처리가 복잡하고 배경 영역의 영역 선택이 부정확한, 종래 기술의 문제점을 해결하며, 블러링 효과를 개선하는 효과를 얻으며, 사용자 작업을 간소화하고, 사용자의 시간을 아낀다.
도 7에 관하여, 도 7은 본 발명의 또 다른 실시예에 따른 전자 기기의 장치 구성도를 도시한다. 전자 기기는 휴대전화, 디지털 카메라, 태블릿 컴퓨터, 또는 이와 유사한 것일 수 있다. 전자 기기는 다음을 포함할 수 있다:
프로세서(70); 및
프로세서(70)에 의해 실행 가능한 명령을 저장하도록 구성되어 있는 메모리(80).
프로세서(70)는, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진, 제1 이미지 및 제2 이미지를 획득하도록 구성되어 있으며, 제1 이미지의 상거리는 제2 이미지의 상거리보다 짧다.
프로세서(50)는, 제1 이미지 및 제2 이미지에 따라, 제1 이미지의 각 화소에서의 장면(scene)과 촬상 지점 사이의 거리 및 제2 이미지의 각 화소에서의 장면과 촬상 지점 사이의 거리를 나타내기 위해 사용되는, 심도 정보를 획득하도록 구성되어 있다.
프로세서(70)는 심도 정보에 따라 제1 이미지의 배경 영역을 결정하도록 구성되어 있다.
프로세서(70)는 제1 이미지의 배경 영역의 컨텐츠에 블러링 처리를 실행하도록 구성되어 있다.
프로세서(70)는 카메라의 촬상 파라미터를 획득하도록 구성되어 있으며, 촬상 파라미터는 조정된 초점 거리, 렌즈 직경 및, 카메라의 조리개 크기와 초점이 흐려진 이미지의 흐림도 사이의 관계를 나타내기 위해 사용되는, 관계 파라미터를 포함한다.
프로세서(70)는, 촬상 파라미터 및 제1 이미지 및 제2 이미지의 각각의 상거리에 따라, 초기 심도 정보를 결정하도록 구성되어 있다.
프로세서(70)는, 촬상 파라미터, 제1 이미지, 및 제2 이미지에 따라, 초기 심도 정보에, N은 양의 정수이고 N≥2인, N번의 반복 연산을 실행하도록 구성되어 있다.
프로세서(70)는 N번째 연산에 의해 얻어진 결과를 획득하고 그 결과를 심도 정보로 사용하도록 구성되어 있다.
프로세서(70)는, 첫 번째 연산을 실행할 때, 초기 심도 정보 및 촬상 파라미터에 따라 첫 번째 연산의 확산 계수 및 첫 번째 연산의 확산 영역을 결정하고, 제1 이미지, 제2 이미지, 첫 번째 연산의 확산 계수, 및 첫 번째 연산의 확산 영역에 따라 첫 번째 연산에서의 제1 이미지 및 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하고, 첫 번째 연산에서, 제1 차이값 및 제2의 합의 최솟값을 나타내기 위해 사용되는, 최솟값 방정식을 결정하며, 제1 차이값는 제1 이미지에 대응하는 순방향 열 확산 방정식의 이론적인 출력값과 실제 출력값 사이의 차이이며, 제2 차는 제2 이미지에 대응하는 순방향 열 확산 방정식의 이론적인 출력값과 실제 출력값 사이의 차이이고, 첫 번째 연산에서 최솟값 방정식에 따라 제1 연산에서의 제1 이미지 및 제2 이미지의 각 화소의 최소 변화율을 얻고, 미리 설정된 교정 공식에 따라, 첫 번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 작은 화소에 대응하는 심도 정보에, n은 양의 정수이며 n≥2인, n번의 반복 교정을 실행하고, 첫 번째 연산 후에 심도 정보를 획득하도록 구성되어 있으며; 그리고
프로세서(70)는, 2≤p≤N인, p번째 연산을 실행할 때, 촬상 파라미터와 (p-1)번째 연산 후에 얻어진 심도 정보에 따라, p번째 연산의 확산 계수 및 p번째 연산의 확산 영역을 결정하고, 제1 이미지, 제2 이미지, p번째 연산의 확산 계수 및 p번째 연산의 확산 영역에 따라, p번째 연산에서의 제1 이미지 및 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하고, p번째 연산에서 최솟값 방정식을 결정하고, p번째 연산에서의 최솟값 방정식에 따른 p번째 연산에서의 제1 이미지 및 제2 이미지의 각 화소의 최소 변화율을 획득하고, 미리 설정된 교정 공식에 따라, p번째 연산의 최소 변화율은 미리 설정된 변화율 임계치보다 작은 화소에 대응하는 심도 정보에 n번의 반복 교정을 실행하고, p번째 연산 후에 심도 정보를 획득하도록 구성되어 있다.
프로세서(70)는, 촬상 파라미터와 제1 이미지 및 제2 이미지의 각각의 상거리에 따라, 전경 영역과 배경 영역 사이의 임계 심도를 경정하도록 구성되어 있으며; 그리고
프로세서(70)는, 제1 이미지에서, 심도가 임계 심도보다 큰 심도 정보에 의해 나타나는, 심도 정보에 대응하는, 화소 영역이 제1 이미지의 배경 영역인 것을 결정하도록 구성되어 있다.
프로세서(70)는 정규화된 심도 정보를 획득하기 위해 심도 정보를 정규화하도록 구성되어 있으며;
프로세서(70)는, 배경 영역에서, q개의 배경 간격을 획득하기 위해 정규화된 심도 정보의 간격을 q개의 세그먼트로 동일하게 나누도록 구성되어 있으며;
프로세서(70)는, 미리 설정된 최대 블러 반경에 따라, 각각의 배경 간격에 대응하는 블러 파라미터를 결정하도록 구성되어 있으며, 블러 파라미터는 블러 반경 및 표준편차를 포함하며; 그리고
프로세서(70)는, 각각의 q개의 배경 간격에 대응하는 표준편차 및 블러 반경에 따라, 제1 이미지에서, 각각의 q개의 배경 간격에 대응하는 화소 영역에 각각 블러링 처리를 실행하도록 구성되어 있다.
따라서, 본 발명의 본 실시예에서 제공된 전자 기기에 따라, 동일한 카메라에 의해 촬상되며 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지가 획득되고, 제1 이미지 및 제2 이미지에 따라 심도 정보를 획득하고, 제1 이미지의 배경 영역은 심도 정보에 따라 결정되고, 블러링은 배경 영역에 실행된다. 이미지의 각 화소의 심도 정보는, 각각 전경 및 배경에 초점을 맞춘, 2개의 이미지에 따라 얻어지고, 배경 영역은 심도 정보에 따라 결정되므로, 블러링 처리는 자동으로 완료되고, 따라서, 사용자가 소프트웨어를 사용하여 이미지를 열어야 하며 배경 영역을 수동으로 선택해야 하기 때문에 작업 처리가 복잡하고 배경 영역의 영역 선택이 부정확한, 종래 기술의 문제점을 해결하며, 블러링 효과를 개선하는 효과를 얻으며, 사용자 작업을 간소화하고, 사용자의 시간을 아낀다.
뿐만 아니라, 본 발명의 본 실시예에서 제공된 전자 기기에서, 제1 이미지의 배경 영역은 심도 정보에 따라 층으로 나뉘며, 블러링은, 블러링 효과를 더 개선한, 다른 블러 파라미터에 따라 배경 영역의 각 층에 실행된다.
전술한 기술적 모듈의 구분은, 전술한 실시예들에서 제공된 이미지 블러링 장치가 배경 블러링을 실행할 때, 단지 설명을 위한 예시로써 사용된 것임을 유의해야 한다. 실제적인 적용에서, 전술한 기능들은 필요에 따라 다른 기능적 모듈로 할당 될 수 있다, 즉, 장치의 내부 구조는, 전술한 기능들의 전부 또는 일부를 완전하게 하기 위해, 다른 기능적 모듈로 나누어 질 수 있다. 또한, 전술한 실시예들에서 제공된 이미지 블러링 장치는 이미지 블러링 방법의 실시예로써 동일한 개념과 관련되며, 참조는, 본 명세서에서 다시 설명되지 않은, 이미지 블러링 장치의 구체적인 실행 프로세스를 위해 방법 실시예들을 만들 수 있다.
본 발명의 실시예들에서의 전술한 일련 번호들은 단지 설명을 위한 것일 뿐이며, 실시예들의 장점 또는 단점을 나타내는 것은 아니다.
이 기술분야에서 통상의 지식을 가진 자는 실시예의 전부 또는 일부의 단계가 관련 하드웨어를 명령하는 프로그램 및 하드웨어에 의해 실행될 수 있다는 것을 이해할 것이다. 프로그램은 컴퓨터로 판독 가능한 기억 매체에 저장될 수 있다. 기억 장치는 리드 온리 메모리(Read only memory), 자기 디스크(magnetic disk), 또는 광 디스크(optical disc)를 포함한다.
전술한 설명은 단지 본 발명의 예시적인 실시예일뿐, 본 발명을 제한하기 위한 의도는 아니다. 본 발명의 원칙과 정신 안에서 만들어지는 어떠한 수정, 동등한 대체, 또는 개선은 본 발명의 보호범위 속에 속해야 한다.

Claims (11)

  1. 이미지 블러링(blurring) 방법으로서,
    동일한 카메라에 의해 촬상되고 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지를 획득하는 단계;
    상기 제1 이미지 및 상기 제2 이미지에 따라 심도 정보를 획득하는 단계;
    상기 심도 정보에 따라 상기 제1 이미지의 배경 영역을 결정하는 단계; 및
    상기 제1 이미지의 배경 영역 내의 컨텐츠에 대해 블러링 처리를 수행하는 단계
    를 포함하고,
    상기 제1 이미지의 상거리(image distance)는 상기 제2 이미지의 상거리보다 짧고,
    상기 심도 정보는 상기 제1 이미지 내의 각 화소에서의 장면과 촬상 지점 간의 거리 및 상기 제2 이미지 내의 각 화소에서의 장면과 상기 촬상 지점 간의 거리를 나타내는,
    이미지 블러링 방법.
  2. 제1항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지에 따라 심도 정보를 획득하는 단계가,
    상기 카메라의 촬상 파라미터를 획득하는 단계;
    상기 촬상 파라미터, 및 상기 제1 이미지 및 상기 제2 이미지의 각각의 상거리에 따라, 초기 심도 정보를 결정하는 단계;
    상기 촬상 파라미터, 상기 제1 이미지, 그리고 상기 제2 이미지에 따라, 상기 초기 심도 정보에 대해 N번의 반복 연산(iterative computation)을 수행하는 단계 -여기서, N은 2보다 크거나 같은 양의 정수임-; 및
    N번째 반복 연산에 의해 나온 결과를 획득하여 그 결과를 상기 심도 정보로서 사용하는 단계
    를 포함하고,
    상기 촬상 파라미터는, 조정된 초점 거리, 렌즈 직경 및 상기 카메라의 조리개 크기와 디포커스된(defocused) 이미지의 흐림도(blurriness) 간의 관계를 나타내는 관계 파라미터를 포함하는, 이미지 블러링 방법.
  3. 제2항에 있어서,
    상기 초기 심도 정보에 대해 N번의 반복 연산을 수행하는 단계가,
    첫 번째 연산이 수행되는 때,
    상기 초기 심도 정보와 상기 촬상 파라미터에 따라, 첫 번째 연산의 확산 계수 및 첫 번째 연산의 확산 영역을 결정하고; 상기 제1 이미지, 상기 제2 이미지, 첫 번째 연산의 확산 계수, 및 첫 번째 연산의 확산 영역에 따라, 첫 번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하며; 첫 번째 연산에서의 최솟값 방정식을 결정하고 -상기 최솟값 방정식은 제1 차이값와 제2 차이값의 합계의 최솟값을 나타내고, 상기 제1 차이값은 상기 제1 이미지에 대응하는 순방향 열 확산 방정식의 실제 출력값과 이론적 출력값 간의 차이고, 상기 제2 차이값은 상기 제2 이미지에 대응하는 순방향 열 확산 방정식의 실제 출력값과 이론적 출력값 간의 차임-; 첫 번째 연산에서의 최솟값 방정식에 따라, 첫 번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에서의 각 화소의 최소 변화율(gradient)을 획득하고; 미리 설정된 교정 공식에 따라, 첫 번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 적은 화소에 대응하는 심도 정보에 대해 n번의 반복 교정을 수행하고; 첫 번째 연산 후의 심도 정보를 획득하는 단계 -여기서, n은 2보다 크거나 같은 양의 정수임-; 및
    p번째 연산이 수행되는 때,
    (p-1)번째 연산 후에 획득된 심도 정보 및 상기 촬상 파라미터에 따라, p번째 연산의 확산 계수 및 p번째 연산의 확산 영역을 결정하고; 상기 제1 이미지, 상기 제2 이미지, p번째 연산의 확산 계수, 및 p번째 연산의 확산 영역에 따라, p번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하며; p번째 연산에서의 최솟값 방정식을 결정하고; p번째 연산에서의 최솟값 방정식에 따라, p번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에서의 각 화소의 최소 변화율을 획득하고; 상기 미리 설정된 교정 공식에 따라, p번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 적은 화소에 대응하는 심도 정보에 대해 n번의 반복 교정을 수행하고; p번째 연산 후의 심도 정보를 획득하는 단계 -여기서, p는 2보다 크거나 같고 N보다 작거나 같음-;
    를 포함하는, 이미지 블러링 방법.
  4. 제3항에 있어서,
    상기 교정 공식은,
    Figure pat00093
    이고,
    여기서,
    Figure pat00094
    는 교정 후의 심도 정보이고,
    Figure pat00095
    는 교정 전의 심도 정보이며,
    Figure pat00096
    는 최소 변화율이며,
    Figure pat00097
    및
    Figure pat00098
    는 미리 설정된 정규화 파라미터(regularization parameter)인,
    이미지 블러링 방법.
  5. 제1항에 있어서,
    상기 심도 정보에 따라 상기 제1 이미지의 배경 영역을 결정하는 단계가,
    촬상 파라미터와, 상기 제1 이미지 및 상기 제2 이미지의 각각의 상거리에 따라 전경 영역과 배경 영역 간의 임계 심도(critical depth)를 결정하는 단계; 및
    상기 제1 이미지에서, 심도 정보가 나타내는 심도가 상기 임계 심도보다 큰 심도를 나타내는 심도 정보에 대응하는 화소 영역은 상기 제1 이미지의 배경 영역이라고 결정하는 단계
    를 포함하는, 이미지 블러링 방법.
  6. 제1항에 있어서,
    상기 제1 이미지의 배경 영역 내의 컨텐츠에 대해 블러링 처리를 수행하는 단계가,
    상기 심도 정보를 정규화하여 정규화된 심도 정보를 획득하는 단계;
    상기 배경 영역에서, 상기 정규화된 심도 정보의 간격을 q개 세그먼트로 균일하게 분할하여 q개의 배경 간격을 획득하는 단계;
    미리 설정된 최대 블러 반경에 따라, q개의 배경 간격의 각각에 대응하는 블러 파라미터를 결정하는 단계-상기 블러 파라미터는 블러 반경 및 표준편차를 포함함-;
    상기 q개의 배경 간격의 각각에 대응하는 상기 블러 반경 및 상기 표준편차에 따라, 상기 제1 이미지에서, 상기 q개의 배경 간격의 각각에 대응하는 화소 영역에 대해 개별적으로 블러링 처리를 수행하는 단계
    를 포함하는, 이미지 블러링 방법.
  7. 이미지 블러링 장치로서,
    동일한 카메라에 의해 촬상되고 동일한 뷰파인더 커버리지를 가진 제1 이미지 및 제2 이미지를 획득하도록 구성된 이미지 획득 모듈;
    상기 제1 이미지 및 상기 제2 이미지에 따라 심도 정보를 획득하도록 구성된 심도 정보 획득 모듈;
    상기 심도 정보에 따라 상기 제1 이미지의 배경 영역을 결정하도록 구성된 배경 결정 모듈; 및
    상기 제1 이미지의 배경 영역 내의 컨텐츠에 대해 블러링 처리를 수행하도록 구성된 블러링 모듈
    을 포함하고,
    상기 제1 이미지의 상거리(image distance)는 상기 제2 이미지의 상거리보다 짧고,
    상기 심도 정보는 상기 제1 이미지 내의 각 화소에서의 장면과 촬상 지점 간의 거리 및 상기 제2 이미지 내의 각 화소에서의 장면과 상기 촬상 지점 간의 거리를 나타내는,
    이미지 블러링 장치.
  8. 제7항에 있어서,
    상기 심도 정보 획득 모듈이,
    상기 카메라의 촬상 파라미터를 획득하도록 구성된 제1 획득 유닛;
    상기 촬상 파라미터, 및 상기 제1 이미지 및 상기 제2 이미지의 각각의 상거리에 따라, 초기 심도 정보를 결정하도록 구성된 초기화 유닛;
    상기 촬상 파라미터, 상기 제1 이미지, 그리고 상기 제2 이미지에 따라, 상기 초기 심도 정보에 대해 N번의 반복 연산(iterative computation)을 수행하도록 구성된 연산 유닛 -여기서, N은 2보다 크거나 같은 양의 정수임-; 및
    N번째 반복 연산에 의해 나온 결과를 획득하여 그 결과를 상기 심도 정보로서 사용하도록 구성된 제2 획득 유닛
    을 포함하고,
    상기 촬상 파라미터는, 조정된 초점 거리, 렌즈 직경 및 상기 카메라의 조리개 크기와 디포커스된(defocused) 이미지의 흐림도(blurriness) 간의 관계를 나타내는 관계 파라미터를 포함하는,
    는, 이미지 블러링 장치.
  9. 제8항에 있어서,
    상기 연산 유닛이, 첫 번째 연산이 수행되는 때에는, 상기 초기 심도 정보와 상기 촬상 파라미터에 따라, 첫 번째 연산의 확산 계수 및 첫 번째 연산의 확산 영역을 결정하고; 상기 제1 이미지, 상기 제2 이미지, 첫 번째 연산의 확산 계수, 및 첫 번째 연산의 확산 영역에 따라, 첫 번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하며; 첫 번째 연산에서의 최솟값 방정식을 결정하고 -상기 최솟값 방정식은 제1 차이값와 제2 차이값의 합계의 최솟값을 나타내고, 상기 제1 차이값은 상기 제1 이미지에 대응하는 순방향 열 확산 방정식의 실제 출력값과 이론적 출력값 간의 차이고, 상기 제2 차이값은 상기 제2 이미지에 대응하는 순방향 열 확산 방정식의 실제 출력값과 이론적 출력값 간의 차임-; 첫 번째 연산에서의 최솟값 방정식에 따라, 첫 번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에서의 각 화소의 최소 변화율(gradient)을 획득하고; 미리 설정된 교정 공식에 따라, 첫 번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 적은 화소에 대응하는 심도 정보에 대해 n번의 반복 교정을 수행하고; 첫 번째 연산 후의 심도 정보를 획득하도록 구성되고, 여기서, n은 2보다 크거나 같은 양의 정수이며;
    상기 연산 유닛이, p번째 연산이 수행되는 때에는, (p-1)번째 연산 후에 획득된 심도 정보 및 상기 촬상 파라미터에 따라, p번째 연산의 확산 계수 및 p번째 연산의 확산 영역을 결정하고; 상기 제1 이미지, 상기 제2 이미지, p번째 연산의 확산 계수, 및 p번째 연산의 확산 영역에 따라, p번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에 각각 대응하는 순방향 열 확산 방정식을 결정하며; p번째 연산에서의 최솟값 방정식을 결정하고; p번째 연산에서의 최솟값 방정식에 따라, p번째 연산에서의 상기 제1 이미지 및 상기 제2 이미지에서의 각 화소의 최소 변화율을 획득하고; 상기 미리 설정된 교정 공식에 따라, p번째 연산에서의 최소 변화율이 미리 설정된 변화율 임계치보다 적은 화소에 대응하는 심도 정보에 대해 n번의 반복 교정을 수행하고; p번째 연산 후의 심도 정보를 획득하도록 구성되고, 여기서, p는 2보다 크거나 같고 N보다 작거나 같은,
    이미지 블러링 장치.
  10. 제7항에 있어서,
    상기 배경 결정 모듈이,
    촬상 파라미터와, 상기 제1 이미지 및 상기 제2 이미지의 각각의 상거리에 따라 전경 영역과 배경 영역 간의 임계 심도(critical depth)를 결정하도록 구성된 임계 심도 결정 유닛; 및
    상기 제1 이미지에서, 심도 정보가 나타내는 심도가 상기 임계 심도보다 큰 심도를 나타내는 심도 정보에 대응하는 화소 영역은 상기 제1 이미지의 배경 영역이라고 결정하도록 구성된 배경 결정 유닛
    을 포함하는, 이미지 블러링 장치.
  11. 제7항에 있어서,
    상기 블러링 모듈이,
    상기 심도 정보를 정규화하여 정규화된 심도 정보를 획득하도록 구성된 정규화 유닛;
    상기 배경 영역에서, 상기 정규화된 심도 정보의 간격을 q개 세그먼트로 균일하게 분할하여 q개의 배경 간격을 획득하도록 구성된 세그먼트화 유닛;
    미리 설정된 최대 블러 반경에 따라, q개의 배경 간격의 각각에 대응하는 블러 파라미터를 결정하도록 구성된 파라미터 결정 유닛-상기 블러 파라미터는 블러 반경 및 표준편차를 포함함-;
    상기 q개의 배경 간격의 각각에 대응하는 상기 블러 반경 및 상기 표준편차에 따라, 상기 제1 이미지에서, 상기 q개의 배경 간격의 각각에 대응하는 화소 영역에 대해 개별적으로 블러링 처리를 수행하도록 구성된 블러링 유닛
    을 포함하는, 이미지 블러링 장치.
KR1020150023570A 2014-03-14 2015-02-16 이미지 블러링 방법 및 장치, 그리고 전자 장치 KR101686926B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410095114.9 2014-03-14
CN201410095114.9A CN103945118B (zh) 2014-03-14 2014-03-14 图像虚化方法、装置及电子设备

Publications (2)

Publication Number Publication Date
KR20150107605A true KR20150107605A (ko) 2015-09-23
KR101686926B1 KR101686926B1 (ko) 2016-12-15

Family

ID=51192577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150023570A KR101686926B1 (ko) 2014-03-14 2015-02-16 이미지 블러링 방법 및 장치, 그리고 전자 장치

Country Status (6)

Country Link
US (1) US9215381B2 (ko)
EP (1) EP2919188B1 (ko)
JP (1) JP6027159B2 (ko)
KR (1) KR101686926B1 (ko)
CN (1) CN103945118B (ko)
ES (1) ES2626174T3 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020036468A1 (ko) * 2018-08-16 2020-02-20 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체
KR20200031169A (ko) * 2017-11-01 2020-03-23 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 처리 방법 및 장치
KR20200031689A (ko) * 2017-11-01 2020-03-24 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 처리 방법, 장치 및 기기

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256931B2 (en) 2010-04-19 2022-02-22 SMR Patent S.à.r.l Rearview device simulation
TWI578780B (zh) * 2014-10-02 2017-04-11 晶睿通訊股份有限公司 模糊影像偵測方法及其相關攝影機和影像處理系統
JP5927265B2 (ja) * 2014-10-28 2016-06-01 シャープ株式会社 画像処理装置及びプログラム
CN104463775A (zh) * 2014-10-31 2015-03-25 小米科技有限责任公司 一种实现图片景深效果的方法及装置
TWI566601B (zh) * 2015-02-25 2017-01-11 光寶科技股份有限公司 影像處理裝置及影像景深處理方法
CN105100615B (zh) * 2015-07-24 2019-02-26 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
CN105163042B (zh) * 2015-08-03 2017-11-03 努比亚技术有限公司 一种虚化处理深度图像的装置和方法
US10284835B2 (en) * 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks
CN105352455B (zh) * 2015-11-18 2017-09-05 宁波大学 一种基于图像模糊度的平面倾斜度测量方法
CN105513105B (zh) * 2015-12-07 2018-05-29 天津大学 基于显著图的图像背景虚化方法
CN105592271A (zh) * 2015-12-21 2016-05-18 深圳市金立通信设备有限公司 一种图像处理的方法及终端
CN106060423B (zh) * 2016-06-02 2017-10-20 广东欧珀移动通信有限公司 虚化照片生成方法、装置和移动终端
CN106331492B (zh) * 2016-08-29 2019-04-16 Oppo广东移动通信有限公司 一种图像处理方法及终端
CN106530241B (zh) * 2016-10-31 2020-08-11 努比亚技术有限公司 一种图像虚化处理方法和装置
CN108886572B (zh) * 2016-11-29 2021-08-06 深圳市大疆创新科技有限公司 调整图像焦点的方法和系统
US10389948B2 (en) * 2016-12-06 2019-08-20 Qualcomm Incorporated Depth-based zoom function using multiple cameras
CN106803920B (zh) * 2017-03-17 2020-07-10 广州视源电子科技股份有限公司 一种图像处理的方法、装置及智能会议终端
CN108230234B (zh) * 2017-05-19 2019-08-20 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
CN108234858B (zh) * 2017-05-19 2020-05-01 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
CN107426493A (zh) * 2017-05-23 2017-12-01 深圳市金立通信设备有限公司 一种虚化背景的拍摄方法及终端
CN107085825A (zh) * 2017-05-27 2017-08-22 成都通甲优博科技有限责任公司 图像虚化方法、装置及电子设备
CN107038681B (zh) 2017-05-31 2020-01-10 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107704798B (zh) * 2017-08-09 2020-06-12 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107682639B (zh) * 2017-11-16 2019-09-27 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN108024058B (zh) * 2017-11-30 2019-08-02 Oppo广东移动通信有限公司 图像虚化处理方法、装置、移动终端和存储介质
CN108419008B (zh) * 2018-01-30 2020-04-28 努比亚技术有限公司 一种拍摄方法、终端及计算机可读存储介质
CN108564541B (zh) * 2018-03-28 2022-04-15 麒麟合盛网络技术股份有限公司 一种图像处理方法及装置
TWI701639B (zh) * 2018-12-11 2020-08-11 緯創資通股份有限公司 辨識影像中前景物件的方法與電子裝置
CN109618173B (zh) * 2018-12-17 2021-09-28 深圳Tcl新技术有限公司 视频压缩方法、装置和计算机可读存储介质
CN109889724B (zh) * 2019-01-30 2020-11-06 北京达佳互联信息技术有限公司 图像虚化方法、装置、电子设备及可读存储介质
EP3726473A1 (en) 2019-04-18 2020-10-21 SMR Patents S.à.r.l. Method for rearview device simulation
CN110336942B (zh) * 2019-06-28 2021-02-02 Oppo广东移动通信有限公司 一种虚化图像获取方法及终端、计算机可读存储介质
CN110992284A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
WO2021114061A1 (en) * 2019-12-09 2021-06-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device and method of controlling an electric device
CN113052754B (zh) * 2019-12-26 2022-06-07 武汉Tcl集团工业研究院有限公司 一种图片背景虚化的方法及装置
KR102260193B1 (ko) 2019-12-30 2021-06-03 주식회사 버넥트 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템
WO2021135676A1 (zh) * 2019-12-30 2021-07-08 武汉Tcl集团工业研究院有限公司 一种拍照背景虚化方法、移动终端及存储介质
CN111385481A (zh) * 2020-03-30 2020-07-07 北京达佳互联信息技术有限公司 图像处理方法及装置、电子设备及存储介质
KR20220005820A (ko) * 2020-07-07 2022-01-14 삼성전자주식회사 그래픽 효과를 적용하기 위한 전자 장치 및 그에 관한 방법
CN112165575B (zh) * 2020-09-25 2022-03-18 Oppo（重庆）智能科技有限公司 图像虚化处理方法及装置、存储介质和电子设备
WO2022178781A1 (en) * 2021-02-25 2022-09-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, method of controlling electric device, and computer readable storage medium
US11727537B1 (en) * 2022-03-24 2023-08-15 Qualcomm Incorporated Bokeh effect in variable aperture (VA) camera systems

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657171B2 (en) * 2006-06-29 2010-02-02 Scenera Technologies, Llc Method and system for providing background blurring when capturing an image using an image capture device
US8929645B2 (en) * 2007-04-24 2015-01-06 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
JP2009284056A (ja) * 2008-05-20 2009-12-03 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP5434361B2 (ja) * 2009-02-24 2014-03-05 株式会社リコー 画像処理装置及び画像処理方法
US8363085B2 (en) * 2010-07-06 2013-01-29 DigitalOptics Corporation Europe Limited Scene background blurring including determining a depth map
US9007689B2 (en) * 2011-04-04 2015-04-14 General Electric Company Method and apparatus for forming multiple images
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN102722080B (zh) * 2012-06-27 2015-11-18 杭州南湾科技有限公司 一种基于多镜头拍摄的多用途立体摄像方法
US9214025B2 (en) * 2012-11-30 2015-12-15 Adobe Systems Incorporated Depth estimation using normalized displacement of image pairs
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
CN103152521B (zh) * 2013-01-30 2016-08-17 广东欧珀移动通信有限公司 一种移动终端中实现景深效果的方法及移动终端
US20150243035A1 (en) * 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200031169A (ko) * 2017-11-01 2020-03-23 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 처리 방법 및 장치
KR20200031689A (ko) * 2017-11-01 2020-03-24 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 처리 방법, 장치 및 기기
WO2020036468A1 (ko) * 2018-08-16 2020-02-20 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체

Also Published As

Publication number Publication date
JP6027159B2 (ja) 2016-11-16
EP2919188B1 (en) 2017-03-15
KR101686926B1 (ko) 2016-12-15
US20150264271A1 (en) 2015-09-17
CN103945118A (zh) 2014-07-23
CN103945118B (zh) 2017-06-20
US9215381B2 (en) 2015-12-15
EP2919188A1 (en) 2015-09-16
ES2626174T3 (es) 2017-07-24
JP2015177544A (ja) 2015-10-05

Similar Documents

Publication Publication Date Title
KR101686926B1 (ko) 이미지 블러링 방법 및 장치, 그리고 전자 장치
US10997696B2 (en) Image processing method, apparatus and device
JP5273408B2 (ja) ２写真照合に基づく奥行き推定のための４次元多項式モデル
EP2526528B1 (en) Blur function modeling for depth of field rendering
US9307221B1 (en) Settings of a digital camera for depth map refinement
Zhuo et al. Defocus map estimation from a single image
US9569854B2 (en) Image processing method and apparatus
US9313419B2 (en) Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map
US9836855B2 (en) Determining a depth map from images of a scene
US20170026592A1 (en) Automatic lens flare detection and correction for light-field images
US20150279056A1 (en) High-quality post-rendering depth blur
US20160292837A1 (en) Image filtering based on image gradients
US20140152886A1 (en) Bokeh amplification
WO2019105261A1 (zh) 背景虚化处理方法、装置及设备
US9639948B2 (en) Motion blur compensation for depth from defocus
US9613403B2 (en) Image processing apparatus and method
US20110267485A1 (en) Range measurement using a coded aperture
JP2015036632A (ja) 距離計測装置、撮像装置、距離計測方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
KR20130090615A (ko) 이미지 자동 보정을 위한 구도 기반 노출 측정 방법 및 장치
CN110392211A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP6835227B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
JP2008245033A (ja) 被写界深度制御方法、画像処理装置及びプログラムと記録媒体
AU2015202282A1 (en) Camera parameter optimisation for depth from defocus
JP2017173920A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant