KR101662846B1 - 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 - Google Patents

아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR101662846B1
KR101662846B1 KR1020100044458A KR20100044458A KR101662846B1 KR 101662846 B1 KR101662846 B1 KR 101662846B1 KR 1020100044458 A KR1020100044458 A KR 1020100044458A KR 20100044458 A KR20100044458 A KR 20100044458A KR 101662846 B1 KR101662846 B1 KR 101662846B1
Authority
KR
South Korea
Prior art keywords
image
texture
area
mapping
pixels
Prior art date
Application number
KR1020100044458A
Other languages
English (en)
Other versions
KR20110124965A (ko
Inventor
니틴 싱할
김지혜
조성대
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100044458A priority Critical patent/KR101662846B1/ko
Publication of KR20110124965A publication Critical patent/KR20110124965A/ko
Application granted granted Critical
Publication of KR101662846B1 publication Critical patent/KR101662846B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23229Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process

Abstract

본 발명은 휴대 단말기에서의 아웃 포커싱 촬영을 위한 장치 및 방법에 관한 것이다.
이를 위해 본 발명은 원본 영상에서 빛 영역에 해당하는 각 픽셀들의 위치를 검출하고, 원본 영상을 블러 처리하여 블러 영상을 생성한 후 검출된 각 픽셀들의 위치에 대응하여 블러 영상에 미리 설정된 텍스처를 맵핑하고, 텍스처가 맵핑된 영상과 원본 영상을 혼합하여 결과 영상을 출력함으로써 사용자가 작은 조리개 렌즈를 가지는 휴대 단말기를 이용하여 아웃 포커싱 촬영을 할 수 있게 된다.

Description

아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법{APPARATUS AND METHOD FOR GENERATING BOKEH IN OUT-OF-FOCUS SHOOTING}

본 발명은 아웃 포커싱을 위한 장치 및 방법에 관한 것으로, 특히 컴팩트 카메라와 같은 작은 카메라 렌즈가 장착된 휴대 단말기에서 아웃 포커싱 촬영 시 빛망울 효과를 나타내기 위한 장치 및 방법을 제공한다.

촬영장치는 피사체를 촬영하여 생성한 영상신호 및 음향신호를 소정의 신호처리를 거쳐 기록매체에 기록 및 재생하는 장치를 말한다. 이러한 촬영장치는 정지영상뿐만 아니라 동영상을 장시간 동안 촬영 가능하다.

통상적으로, 촬영장치의 예로는 캠코더(Camcoder), 디지털 카메라 및 디지털 카메라 기능을 탑재한 이동 통신 단말기 등이 있다.

이러한 촬영장치를 이용하여 이미지를 촬영할 시 배경의 적절한 블러(blur) 효과는 보는 사람들로 하여금 관심을 가지도록 하기 위한 가장 중요한 이미지 효과이다.

이때, 카메라 렌즈는 배경 또는 가까운 필드가 묘사된 물체보다 덜 강조된 아웃 포커싱과 같은 효과를 나타낼 수 있다.

아웃 포커싱이란 피사체를 촬영하는데 있어서, 피사체의 초점이 정확하게 설정되어 뚜렷하게 촬영되며, 피사체 외의 배경은 초점이 설정되지 않은 상태로 촬영되어, 피사체에 시선이 집중되도록 하는 방법이다. 이러한 아웃 포커싱 방법은 인물이나 특정 피사체를 부각시켜 촬영하고자 할 경우에 주로 이용된다.

이러한 아웃 포커싱 효과는 큰 렌즈 조리개를 가지는 카메라를 이용하여 촬영이 가능한데, 특히 큰 렌즈 조리개를 가지는 카메라는 아웃 포커싱 촬영 시 빛이 촬영된 영역에 빛망울(Bokeh) 효과를 나타낼 수 있다.

상기와 같이 종래의 촬영 장치는 큰 렌즈 조리개를 이용하여 피사체를 제외한 배경에 빛망울 효과가 나타난 아웃 포커싱 촬영이 가능하였다.

큰 렌즈 조리개를 이용한 촬영 장치에서는 빛망울 효과가 포함된 아웃 포커싱 촬영이 가능하지만, 작은 렌즈 조리개를 가지는 컴팩트 카메라 또는 휴대 단말기의 카메라는 빛망울 효과가 포함된 아웃 포커싱 촬영을 하지 못한다는 문제점이 있다.

작은 렌즈 조리개를 가지는 촬영 장치는 단지 이미지를 부드럽게 하는 효과를 나타낼 뿐, 큰 렌즈 조리개를 이용하여 빛망울 효과가 포함된 아웃 포커싱 촬영을 하기에는 한계가 있다.

따라서 본 발명은 작은 렌즈 조리개를 가지는 휴대 단말기에서 아웃 포커싱 촬영 시 빛망울 효과를 나타내기 위한 장치 및 방법을 제공한다.

상술한 바를 달성하기 위한 본 발명의 일 실시예에 따른 휴대 단말기에서의 아웃 포커싱 촬영을 위한 장치는, 원본 영상에서 빛 영역에 해당하는 각 픽셀들의 위치를 검출하는 빛 영역 위치 추출부와, 상기 원본 영상을 블러 처리하여 블러 영상을 생성하는 영상 효과 처리부와, 상기 블러 영상에서 상기 검출된 각 픽셀들의 위치에 대응하여 미리 설정된 텍스처를 맵핑하는 텍스처 맵핑부와, 상기 텍스처가 맵핑된 영상과 상기 입력 영상을 혼합하여 결과 영상을 출력하는 영상 혼합부를 포함함을 특징으로 한다.

본 발명의 다른 실시예에 따른 휴대 단말기에서의 아웃 포커싱 촬영을 위한 방법은, 원본 영상에서 빛 영역에 해당하는 각 픽셀들의 위치를 검출하는 과정과, 상기 원본 영상을 블러 처리하여 블러 영상을 생성하는 과정과, 상기 블러 영상에서 상기 검출된 각 픽셀들의 위치에 대응하여 미리 설정된 텍스처를 맵핑하는 과정과, 상기 텍스처가 맵핑된 영상과 상기 입력 영상을 혼합하여 결과 영상을 출력하는 과정을 포함함을 특징으로 한다.

본 발명은 원본 영상에 빛 영역의 위치를 체크하고, 블러 처리한 후 아웃 포커싱을 위해 미리 설정된 텍스처를 체크된 위치에 맵핑한 영상과 원본 영상을 혼합하여 결과 영상을 출력함으로써, 작은 조리개 렌즈를 구비하는 휴대 단말기에서 아웃 포커싱 촬영 시 빛망울 효과를 나타낼 수 있다는 이점이 있다.

도 1은 본 발명의 실시 예에 따른 촬영 장치의 구성도,
도 2는 본 발명의 실시 예에 따른 촬영 장치에서 아웃 포커싱 촬영을 수행하기 위한 과정을 나타내는 흐름도,
도 3은 본 발명의 실시 예에 따른 빛 영역 위치 추출부에서 빛 영역의 위치를 검출하는 과정을 설명하기 위한 예시도들,
도 4는 본 발명의 실시 예에 따른 텍스처 맵핑부에서 검출된 빛 영역의 위치에 텍스처를 맵핑하기 위한 과정을 설명하기 위한 예시도들,
도 5는 본 발명의 실시 예에 따른 영상 혼합부에서 알파 맵을 이용하여 원본 영상과 텍스처 맵핑부에서 출력된 영상을 혼합하는 과정을 설명하기 위한 예시도들,
도 6은 본 발명의 실시 예에 따른 촬영 장치에서 출력된 결과 영상을 설명하기 위한 예시도들.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 1은 본 발명의 실시 예에 따라 아웃 포커싱 처리를 위한 장치의 구성도를 나타내는 도면이다.

본 발명의 실시 예에 따른 휴대 단말기는 빛 영역 위치 추출부(100), 제1 영상 효과 처리부(110), 텍스처 맵핑부(120), 제2 영상 효과 처리부(130), 영상 혼합부(140)를 포함한다.

빛 영역 위치 추출부(100)는 원본 영상이 입력되면 입력된 원본 영상을 구성하는 각 픽셀들을 스캔하면서 빛 영역에 해당하는 각 픽셀들의 위치를 체크한다. 여기서, 빛 영역은 각 픽셀들을 둘러싼 주변 픽셀들의 픽셀값이 각 픽셀들보다 큰 픽셀값을 가지는 픽셀들로 구성된 영역을 의미한다.

이때, 빛 영역 위치 추출부(100)는 일반적으로 블롭(Blob) 추출 방법을 이용하여 각 픽셀들을 둘러싼 주변 픽셀들보다 밝거나 어두운 픽셀들을 포함하는 영역을 검출하여 빛 영역으로 추정한다.

여기서, 블롭 검출 방법은 각 픽셀들을 둘러싼 주변의 픽셀들보다 밝거나 어두운 픽셀들을 포함하는 영역을 검출하는 방법이다.

본 발명에서는 블롭 검출 방법을 통해서 각 픽셀들과 각 픽셀들을 둘러싼 주변 픽셀들 간의 픽셀값을 비교하고, 픽셀값들의 차이가 임계값보다 큰지 여부를 판단하여 임계값보다 큰 픽셀값의 차이를 가지는 픽셀들을 포함하는 영역을 빛 영역으로 결정한다. 이때, 임계값은 각 픽셀들과, 각 픽셀들 간의 픽셀값의 차이값에 대한 평균값이 설정될 수 있다.

이후 빛 영역 위치 추출부(100)는 판단된 빛 영역에 해당하는 각 픽셀의 위치 좌표를 출력한다.

제1 영상 효과 처리부(110)는 아웃 포커싱과 같은 효과를 나타내기 위해서 입력된 원본 영상에 블러(blur)와 같은 이미지 효과를 적용한다. 여기서, 블러는 영상 촬영 시 초점을 정확히 맞추어도 피사체가 선명하게 나타나지 않는 효과를 의미한다. 본 발명에서는 아웃 포커싱과 같은 효과를 나타내기 위해 가우시안 블러(Gaussian Blur) 효과를 적용하는 것으로 예를 들어 설명하였으나 블러 효과 이외에 아웃 포커싱을 위한 다른 효과를 적용할 수도 있다.

텍스처 맵핑부(120)는 빛망울 효과를 나타내기 위해 제1 영상 효과 처리부(110)로부터 출력된 영상에서 빛 영상 위치 추출부(100)로부터 검출된 빛 영역에 해당하는 각 픽셀의 위치에 미리 설정된 텍스처를 맵핑한다. 이때, 맵핑되는 텍스처는 사용자에 의해서 미리 선택된 복수의 도형이나 그림 중 어느 하나가 될 수 있다.

또한, 텍스처 맵핑부(120)는 텍스처를 맵핑할 시 원본 영상 사이즈에 비례하여 맵핑되는 텍스처의 크기를 조정할 수 있다. 예를 들어, 원본 영상의 사이즈가 2000 픽셀 x 1500 픽셀일 경우 텍스처 사이즈는 30픽셀 x 30픽셀에서 40 픽셀 x 40 픽셀 사이의 범위를 가질 수 있다.

이후 텍스처 맵핑부(120)는 맵핑된 텍스처 영역과 텍스처 이외의 영역에 대한 색상값을 설정한다. 이때, 텍스처 맵핑부(120)는 텍스처 영역에는 미리 설정된 색상값을 설정하고, 텍스처 이외의 영역에는 원본 영상에 해당하는 색상값을 설정한다.

제2 영상 효과 처리부(130)는 텍스처 맵핑부(120)에 의해서 맵핑된 영상의 텍스처에 해당하는 영역에만 블러 효과를 적용하여 맵핑된 텍스처가 블러 처리된 영상과 자연스럽게 표현되도록 한다. 이때, 적용되는 블러 효과는 가우시안 블러 효과가 될 수 있으며, 그 외에 다양한 영상 효과를 적용할 수 있다.

이미지 혼합부(140)는 알파맵을 이용하여 원본 영상과 제2 영상 효과 처리부(130)에서 출력된 블러 영상을 혼합하여 결과 영상을 출력한다.

구체적으로, 이미지 혼합부(140)는 원본 영상을 배경 영역과 인물 영역으로 구분한 알파 맵(Alpha Map)을 이용하여 배경 영역에 해당하는 위치에 제2 영상 효과 처리부(130)에서 출력된 블러 영상을 혼합하고, 인물 영역에 해당하는 위치에 원본 영상을 혼합하여 원본 영상과 블러 영상이 혼합된 결과 영상을 생성한다.

이와 같이 본 발명은 핸드폰 카메라와 같은 작은 컴팩트 카메라를 이용하여 빛망울 효과가 포함된 아웃 포커싱 이미지를 생성할 수 있다.

도 2는 본 발명의 실시 예에 따른 단말기에서 아웃 포커싱 처리를 위한 과정을 나타내는 흐름도이다.

200 단계에서 원본 영상이 입력되면 201 단계에서 빛 영역 위치 추출부(100)는 입력된 원본 영상 내의 각 픽셀들을 하나씩 스캔하면서 빛 영역에 해당하는 픽셀의 위치를 추정한다.

구체적으로, 빛 영역 위치 추출부(100)는 도 3의 (a)와 같은 원본 영상 내의 각 픽셀을 스캔하면서 각 픽셀과 각 픽셀을 둘러싼 주변 픽셀들 간의 픽셀값을 비교하여 주변 픽셀들보다 밝은 픽셀값을 가지는 각 픽셀들을 체크하고, 체크된 각 픽셀들의 위치 좌표를 검출한다. 이때, 체크된 픽셀들은 도 3의 (b)에서 참조부호 300에 해당하는 영역이 될 수 있다.

구체적으로, 빛 영역 위치 추출부(100)는 각 픽셀들과, 각 픽셀들을 둘러싼 주변 픽셀들 간의 픽셀값에 대한 차이값이 임계값보다 큰지 여부를 판단하고, 그 차이값이 임계값보다 크면 임계값보다 큰 픽셀값에 대한 차이값을 가지는 픽셀의 위치를 체크한다.

이때, 빛 영역 위치 추출부(100)는 다양한 추정 방법을 통해서 빛 영역에 해당하는 픽셀의 위치를 추정할 수 있는데, 특히 본 발명에서는 블롭 추정 방법을 이용할 수 있다.

본 발명의 실시 예에서는 <수학식 1>을 이용하여 블롭 추정 방법을 수행한다.

Figure 112010030548814-pat00001

Figure 112010030548814-pat00002

여기서, f(x, y)는 입력 영상을 의미하는데, 이러한 입력 영상은 스케일 공간 표현 L(x,y,σ)을 위해서 특정 스케일 σ 스케일 가우시안 함수 H(x,y,σ)에 의해 나타내진다. 여기서, H(x,y,σ)는 가우시안 함수 G(x,y,σ)의 표준화에 의해서 얻어진다. 2차원 가우시안 함수 G(x,y,σ)는 부드럽게 처리하는 것에 의해 입력 영상 내의 노이즈를 줄이는데 사용된다.

또한 라플래시안 연산자

Figure 112010030548814-pat00003
은 보통 어두운 블롭에 대한 강한 긍정적인 응답과 밝은 블롭에 대한 강한 부정적인 응답으로 결과가 계산된다.

하나의 스케일에 이러한 연산자를 적용할 시 중요한 문제는 이미지 도메인 상의 블롭 구성 사이즈와 노이즈 삭제를 위해 사용되는 가우시안 커널 사이즈 간의 연관성에 강하게 의존하는

Figure 112010030548814-pat00004
의 응답이다. 서로 다른 사이즈의 블롭을 캡쳐하기 위해서 다중 스케일 접근이 사용된다. 라플래시안 연산자
Figure 112010030548814-pat00005
은 다중 스케일 연산자를 생성되는 [2, 18] 범위 내의 스케일 σ을 위해서 계산된다.

블롭 점

Figure 112010030548814-pat00006
과 스케일
Figure 112010030548814-pat00007
의 선택은 하기의 <수학식 2>에 의해서 실행된다.

Figure 112010030548814-pat00008

202단계에서 제1 영상 효과 처리부(110)는 입력된 원본 영상 전체에 블러 처리를 수행한다. 이때, 제1 영상 효과 처리부(110)는 하기의 <수학식 3>을 이용하여 블러 처리를 수행한다.

Figure 112010030548814-pat00009

Figure 112010030548814-pat00010

입력 영상 f(x, y)가 입력되면, 입력 영상은 매끄러운 이미지 f'(x, y)을 생성하기 위해서 스케일 σ 2차원 가우시안 함수 g(x,y,σ)에 의해 나타내진다. 2차원 가우시안 함수 G(x,y,σ)는 부드러운 처리에 의한 입력 영상 내에서 노이즈를 줄이기 위해 사용된다.

203 단계에서 텍스처 맵핑부(120)는 상기 202단계에서 블러 처리된 영상에서 201단계에서 추출된 빛 영역에 해당하는 각 픽셀의 위치에 미리 설정된 텍스처를 맵핑한다.

구체적으로, 텍스처 맵핑부(120)는 도 4의 (a)와 같이 빛 영역에 해당하는 픽셀들 각각에 맵핑할 텍스처들 중 사용자에 의해서 선택되거나 미리 설정된 텍스처를 빛 영역 위치 검출부(100)에서 추정된 위치 좌표에 해당하는 픽셀을 중심으로 대응시켜 맵핑한다.

예를 들어, 도 4의 (b)와 같이 추정된 위치 좌표가 (Cx, Cy)인 경우 텍스처 맵핑부(120)는 위치 좌표 (Cx, Cy)를 중심으로 텍스처를 대응시키기 위한 30 픽셀 x 30픽셀 크기의 맵핑 영역을 선택하고, 선택된 영역 내에 매칭되도록 텍스처를 맵핑시킨다. 이때, 텍스처는 사용자에 의해서 선택되거나 미리 설정이 가능하며, 도 4의 (a)와 같이 원형, 7각형, 별, 하트와 같은 복수의 다양한 형태를 가질 수 있다.

204 단계에서 텍스처 맵핑부(120)는 텍스처가 맵핑된 텍스처 맵핑 영역과 텍스처 맵핑 영역 이외의 영역에 색상값을 설정한다.

구체적으로 텍스처 맵핑부(120)는 도 4의 (b)와 같이 선택된 맵핑 영역 내에서 각 픽셀들의 색상값이 0인지 아닌지를 판단하여, 0이면 원본 영상의 색상값으로 설정하고, 0이 아니면 원본 영상의 색상값과 특정 색상의 색상값을 혼합한 색상값으로 설정한다.

예를 들어, 참조부호 400에 해당하는 텍스처가 아닌 영역의 색상값이 0이면 원본 영상의 색상값으로 설정하고, 참조부호 401에 해당하는 텍스처 영역의 색상값이 0이 아니면 특정 색상의 색상값과 원본 영상의 색상값을 혼합하여 설정한다.

상기의 과정에서 특정 색상의 색상값과 원본 영상의 색상값을 혼합하여 설정하는 것은 텍스처 영역의 색상이 주변의 다른 영역의 색상과 자연스럽게 나타나도록 하기 위함이다.

이때, 텍스처 맵핑부(120)는 하기의 <수학식 4>를 이용하여 맵핑 영역의 색상값을 설정한다.

Figure 112010030548814-pat00011

여기서, T는 텍스처가 포함된 맵핑 영역을 의미하고, f'_block은 블러 처리된 영상에서 (Cx, Cy)를 중심으로 텍스처를 대응시키기 위한 맵핑 영역에 해당하는 영상 영역을 의미하고, O_block은 텍스처가 맵핑된 결과 영상의 맵핑 영역을 의미한다.

205단계에서 제2 영상 효과 처리부(110)는 204단계에서 생성된 영상의 텍스처가 맵핑된 텍스처 맵핑 영역만 블러 효과를 처리하여 텍스처 맵핑 영역이 주변 영상과 자연스럽게 표현되도록 한다.

206단계에서 이미지 혼합부(140)는 배경 영역과 피사체 영역으로 구분된 알파 맵을 이용하여 원본 영상과 제2 영상 효과 처리부(110)에서 블러 처리된 영상을 혼합한 후 그 결과 영상을 출력한다.

구체적으로 이미지 혼합부(140)는 도 5의 (b)와 같이 피사체 영역을 ‘1’로 표현하고, 배경 영역을 ‘0’으로 표현한 알파 맵을 참고하여 ‘1’에 해당하는 피사체 영역에 도 5의 (a)와 같은 원본 영상의 피사체 영역에 해당하는 영상을 혼합하고, ‘0’에 해당하는 배경 영역에 도 5의 (c)와 같이 블러 처리된 영상의 배경 영역에 해당하는 영상을 혼합하여 그 결과 영상을 생성한다.

이때, 이미지 혼합부(140)는 하기의 <수학식 5>를 이용하여 결과 영상을 출력한다.

Figure 112010030548814-pat00012

f_blurr는 텍스처 맵핑 후 블러 처리된 영상을 의미하고, f는 원본 영상을 의미하며, f_alpha는 알파 맵 이미지를 의미하는데, 수동 선택 또는 돌출 영역 맵(salient region map) 사용에 의해서 획득된다. 또한, f_outfocus는 아웃 포커싱된 결과 이미지를 의미한다.

예를 들어, 이미지 혼합부(140)는 알파 맵 이미지에서 f_ alpha가 1에 해당하는 피사체 영역인 경우 f_ blurr를 결과 영상으로 출력하고, f_ alpha가 0에 해당하는 배경 영역인 경우 f를 결과 영상으로 출력한다.

상기에 의해서 출력된 결과 영상은 도 6의 (a), (b)와 같이 도시될 수 있다.

이와 같이 본 발명은 작은 렌즈 조리개를 가지는 카메라로 촬영된 이미지에서 빛 영역에 해당하는 영역에 미리 설정된 텍스처를 맵핑시켜 아웃 포커싱 효과를 적용함으로써 큰 렌즈 조리개를 가지는 카메라에서만 가능한 빛망울 효과를 포함하는 아웃 포커싱 촬영 영상을 생성할 수 있게 된다.

Claims (14)

  1. 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치에 있어서,
    제1 영상에서 빛 영역에 해당하는 각 픽셀들의 위치를 검출하는 빛 영역 위치 추출부와,
    상기 제1 영상을 블러 처리하여 블러 영상을 생성하는 영상 효과 처리부와,
    상기 블러 영상에서 상기 검출된 각 픽셀들의 위치에 대응하여 복수의 형태를 가지는 텍스처들 중 사용자에 의해서 선택된 텍스처를 맵핑하는 텍스처 맵핑부와,
    상기 텍스처가 맵핑된 제2 영상과 상기 제1 영상을 혼합하여 결과 영상을 출력하는 영상 혼합부를 포함함을 특징으로 하는 아웃 포커싱 촬영 장치.
  2. 제1항에 있어서, 상기 영상 효과 처리부는,
    상기 제2 영상에서 상기 텍스처를 블러 처리함을 특징으로 하는 아웃 포커싱 촬영 장치.
  3. 제2항에 있어서, 상기 빛 영역 위치 추출부는,
    상기 제1 영상의 각 픽셀과 상기 각 픽셀을 둘러싼 주변 픽셀들 간의 픽셀값에 대한 차이값을 계산하고, 상기 차이값이 임계값보다 큰지 여부를 판단하고, 상기 차이값이 상기 임계값보다 크면 상기 차이값을 가지는 픽셀의 위치를 추정함을 특징으로 하는 아웃 포커싱 촬영 장치.
  4. 제3항에 있어서, 상기 텍스처 맵핑부는,
    상기 검출된 각 픽셀들의 위치를 중심으로 상기 텍스처를 맵핑하기 위해 미리 설정된 크기의 맵핑 영역을 설정하고, 상기 맵핑 영역 내에 상기 텍스처를 맵핑함을 특징으로 하는 아웃 포커싱 촬영 장치.
  5. 제4항에 있어서, 상기 텍스처는,
    상기 제1 영상의 사이즈에 비례하여 사이즈가 설정됨을 특징으로 하는 아웃 포커싱 촬영 장치.
  6. 제5항에 있어서, 상기 텍스처 맵핑부는,
    미리 설정된 색상값과 상기 텍스처에 대응하는 제1 영상의 색상값을 혼합한 색상값을 상기 맵핑된 텍스처의 색상값으로 설정함을 특징으로 하는 아웃 포커싱 촬영 장치.
  7. 제6항에 있어서, 상기 영상 혼합부는,
    상기 제1 영상을 배경 영역과 피사체 영역으로 구분한 알파 맵(Alpha map)을 이용하여 상기 블러 영상에서 상기 배경 영역에 대응되는 제1 영역과, 상기 제1 영상에서 상기 피사체 영역에 대응되는 제2 영역을 혼합한 후 상기 결과 영상을 출력함을 특징으로 하는 아웃 포커싱 촬영 장치.
  8. 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 방법에 있어서,
    제1 영상에서 빛 영역에 해당하는 각 픽셀들의 위치를 검출하는 과정과,
    상기 제1 영상을 블러 처리하여 블러 영상을 생성하는 과정과,
    상기 블러 영상에서 상기 검출된 각 픽셀들의 위치에 대응하여 복수의 형태를 가지는 텍스처들 중 사용자에 의해서 선택된 텍스처를 맵핑하는 과정과,
    상기 텍스처가 맵핑된 제2 영상과 상기 제1 영상을 혼합하여 결과 영상을 출력하는 과정을 포함함을 특징으로 하는 아웃 포커싱 촬영 방법.
  9. 제8항에 있어서,
    상기 제2 영상에서 상기 텍스처를 블러 처리하는 과정을 더 포함함을 특징으로 하는 아웃 포커싱 촬영 방법.
  10. 제9항에 있어서, 상기 제1 영상에서 빛 영역에 해당하는 각 픽셀들의 위치를 검출하는 과정은,
    상기 제1 영상의 각 픽셀과 상기 각 픽셀을 둘러싼 주변 픽셀들 간의 픽셀값에 대한 차이값을 산출하는 과정과,
    상기 차이값이 임계값보다 큰지 여부를 판단하는 과정과,
    상기 차이값이 상기 임계값보다 크면 상기 차이값을 가지는 픽셀의 위치를 추정하는 과정을 포함함을 특징으로 하는 아웃 포커싱 촬영 방법.
  11. 제10항에 있어서, 상기 블러 영상에서 상기 검출된 각 픽셀들의 위치에 대응하여 상기 복수의 형태를 가지는 텍스처들 중 상기 사용자에 의해서 선택된 텍스처를 맵핑하는 과정은,
    상기 검출된 각 픽셀들의 위치를 중심으로 상기 텍스처를 맵핑하기 위해 미리 설정된 크기의 맵핑 영역을 설정하는 과정과,
    상기 맵핑 영역 내에 상기 텍스처를 맵핑하는 과정을 포함함을 특징으로 하는 아웃 포커싱 촬영 방법.
  12. 제11항에 있어서, 상기 텍스처는,
    상기 제1 영상의 사이즈에 비례하여 사이즈가 설정됨을 특징으로 하는 아웃 포커싱 촬영 방법.
  13. 제12항에 있어서, 상기 블러 영상에서 상기 검출된 각 픽셀들의 위치에 대응하여 상기 복수의 형태를 가지는 텍스처들 중 상기 사용자에 의해서 선택된 텍스처를 맵핑하는 과정은,
    미리 설정된 색상값과 상기 텍스처에 대응하는 제1 영상의 색상값을 혼합한 색상값을, 상기 맵핑된 텍스처의 색상값으로 설정하는 과정을 더 포함항을 특징으로 하는 아웃 포커싱 촬영 방법.
  14. 제13항에 있어서, 상기 텍스처가 맵핑된 제2 영상과 상기 제1 영상을 혼합하여 상기 결과 영상을 출력하는 과정은,
    상기 제1 영상을 배경 영역과 피사체 영역으로 구분한 알파 맵(Alpha map)을 이용하여 상기 블러 영상에서 상기 배경 영역에 대응되는 제1 영역과, 상기 제1 영상에서 상기 피사체 영역에 대응되는 제2 영역을 혼합하여 상기 결과 영상을 출력하는 과정을 포함함을 특징으로 하는 아웃 포커싱 촬영 방법.
KR1020100044458A 2010-05-12 2010-05-12 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 KR101662846B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100044458A KR101662846B1 (ko) 2010-05-12 2010-05-12 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100044458A KR101662846B1 (ko) 2010-05-12 2010-05-12 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
US13/106,323 US20110280475A1 (en) 2010-05-12 2011-05-12 Apparatus and method for generating bokeh effect in out-focusing photography

Publications (2)

Publication Number Publication Date
KR20110124965A KR20110124965A (ko) 2011-11-18
KR101662846B1 true KR101662846B1 (ko) 2016-10-06

Family

ID=44911811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100044458A KR101662846B1 (ko) 2010-05-12 2010-05-12 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US20110280475A1 (ko)
KR (1) KR101662846B1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013025650A (ja) * 2011-07-23 2013-02-04 Canon Inc 画像処理装置、画像処理方法およびプログラム
US8831371B2 (en) 2012-03-02 2014-09-09 Adobe Systems Incorporated Methods and apparatus for applying blur patterns to images
CN103366352B (zh) * 2012-03-30 2017-09-22 北京三星通信技术研究有限公司 用于产生背景被虚化的图像的设备和方法
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US9025874B2 (en) 2013-02-19 2015-05-05 Blackberry Limited Method and system for generating shallow depth of field effect
WO2015005672A1 (en) 2013-07-09 2015-01-15 Samsung Electronics Co., Ltd. Image generating apparatus and method and non-transitory recordable medium
US9554037B2 (en) * 2013-10-29 2017-01-24 Samsung Electronics Co., Ltd. Electronic apparatus for making bokeh image and method thereof
US9183620B2 (en) 2013-11-21 2015-11-10 International Business Machines Corporation Automated tilt and shift optimization
JP5835384B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
JP5835383B2 (ja) 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
US9237277B1 (en) * 2014-06-06 2016-01-12 Google Inc. Accurate simulation of shallow depth of field using contrast detection
US10104292B2 (en) 2016-08-04 2018-10-16 Microsoft Technology Licensing, Llc Multishot tilt optical image stabilization for shallow depth of field
CN108234858B (zh) * 2017-05-19 2020-05-01 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
CN107392972B (zh) * 2017-08-21 2018-11-30 维沃移动通信有限公司 一种图像背景虚化方法、移动终端及计算机可读存储介质
US10554890B1 (en) 2019-02-18 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating low-light images with improved bokeh using mobile electronic device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007309655A (ja) 2006-05-16 2007-11-29 Denso Corp 雨滴検出装置およびワイパー制御装置
US20100054622A1 (en) * 2008-09-04 2010-03-04 Anchor Bay Technologies, Inc. System, method, and apparatus for smoothing of edges in images to remove irregularities

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8026931B2 (en) * 2006-03-16 2011-09-27 Microsoft Corporation Digital video effects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007309655A (ja) 2006-05-16 2007-11-29 Denso Corp 雨滴検出装置およびワイパー制御装置
US20100054622A1 (en) * 2008-09-04 2010-03-04 Anchor Bay Technologies, Inc. System, method, and apparatus for smoothing of edges in images to remove irregularities

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H.Ebeling et al, ASMOOTH: a simple and efficient algorithm for adaptive kernel smoothing of two-dimensional imaging data, Oxford Journals 2006.*
L.Shapiro, G.Stockman, "Computer Vision", Prentice Hall 2001.*

Also Published As

Publication number Publication date
KR20110124965A (ko) 2011-11-18
US20110280475A1 (en) 2011-11-17

Similar Documents

Publication Publication Date Title
US20190222766A1 (en) Scene Motion Correction In Fused Image Systems
US9172888B2 (en) Determining exposure times using split paxels
US9118841B2 (en) Determining an image capture payload burst structure based on a metering image capture sweep
KR101902136B1 (ko) 라이브니스 분석을 위한 시스템들 및 방법들
Yeh et al. Haze effect removal from image via haze density estimation in optical model
US9019402B2 (en) Dynamic range extension by combining differently exposed hand-held device-acquired images
JP6395810B2 (ja) 動きゴーストフィルタリングのための基準画像選択
US9077913B2 (en) Simulating high dynamic range imaging with virtual long-exposure images
US8989484B2 (en) Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion
WO2018201809A1 (zh) 基于双摄像头的图像处理装置及方法
EP2852152B1 (en) Image processing method, apparatus and shooting terminal
Peng et al. Single underwater image enhancement using depth estimation based on blurriness
CN107680128B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR101643607B1 (ko) 영상 데이터 생성 방법 및 장치
Gallo et al. Artifact-free high dynamic range imaging
CN107948519B (zh) 图像处理方法、装置及设备
JP6312714B2 (ja) Multispectral imaging system for shadow detection and attenuation
Raman et al. Bilateral Filter Based Compositing for Variable Exposure Photography.
US9681026B2 (en) System and method for lens shading compensation
CN106899781B (zh) 一种图像处理方法及电子设备
US7599568B2 (en) Image processing method, apparatus, and program
KR101446975B1 (ko) 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화
Galdran Image dehazing by artificial multiple-exposure image fusion
JP5291084B2 (ja) パンクロマティック画素を組み込むエッジマッピング
US9639956B2 (en) Image adjustment using texture mask

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 4