KR101112056B1 - 카메라 모듈의 이미지 처리 방법 - Google Patents

Abstract

본 발명은 카메라 모듈의 이미지 처리 방법에 관한 것으로, 영상 이미지를 상기 영상 이미지의 중심을 포함하는 제1 영역과, 상기 제1 영역을 제외한 제2 영역으로 분할하는 단계, 상기 제1 영역에 포함되는 픽셀들을 기준 블록 단위로 추출하고, 상기 기준 블록의 제1 중심 픽셀의 R, G, B 성분을 보간하는 단계, 상기 제2 영역에 포함되는 픽셀들을 상기 기준 블록 단위로 추출하고, 상기 기준 블록의 제2 중심 픽셀의 R, G, B 성분에 거리별 가중치를 곱하여 상기 제2 중심 픽셀을 보간하는 단계를 포함함으로써, 상기 영상 이미지의 중심과의 거리가 먼 영역일수록 거리별 가중치를 증가시켜 보간을 수행하여, 영상 이미지의 중심과의 거리가 멀수록 블러(Blur)한 이미지를 구현할 수 있어, 아웃포커싱 효과를 얻을 수 있다.

Description

카메라 모듈의 이미지 처리 방법{Method for processing image of camera module}

본 발명은 카메라 모듈의 이미지 처리 방법에 관한 것이다.

아웃포커싱(out focusing)이란 촬영하고자 하는 피사체는 초점이 정확하게 설정되고, 배경은 초점이 설정되지 않은 상태로 보이도록 하는 촬영기법으로서, 피사체에 관심 또는 시선이 집중되도록 하는 피사체 부각 표현 방법이다.

도 1에 도시된 바와 같이, 고양이의 얼굴은 또렷이 나오고 주변 배경은 흐릿하게 초점이 안 맞듯이 처리되는 효과를 말한다.

아날로그 카메라를 사용하는 경우, 아웃포커싱 촬영방법은 촬영하고자 하는 피사체에 초점을 맞추고 조리개를 최대한 열어 뒷배경의 초점이 잡히지 않도록 하여 피사체가 부각되도록 한다. 이때, 별도의 장초점 렌즈를 사용하면 그 효과를 최대화할 수 있다.

디지털 카메라나 휴대폰 카메라를 사용하는 경우는 일반적으로 장초점 렌즈를 사용하지 않고, 저배율 줌과 렌즈구경 및 이미지 센서(촬상소자, ccd)가 작은 하드웨어 구성을 갖고 있으므로 아웃포커싱 효과를 구현하는 것이 거의 힘들었다.

종래 이러한 디지털 카메라 류에서 아웃포커싱 효과를 내기 위하여 여러 가지 방법이 시도되었다. 예를 들어, 소형 촬상소자를 가진 고배율 줌 카메라의 경우에는 최대 Zoom in을 사용하여 화각을 최대한 좁혀서 피사체를 촬영함으로써 아웃포커싱 효과를 표현하였다.

또한, 상대적으로 큰 촬상소자와 렌즈구경을 가진 DSLR(Digital Single Lens Reflex)의 경우 고배율 줌 렌즈를 사용하거나 조리개를 최대 개방하여 피사계 심도(DOF, Depth OF Field)를 얕게 하여 아웃포커싱을 구현하기도 하였다.

이렇듯 종래에는 아날로그 카메라나 디지털 카메라 중에서 일부인 DSLR급 카메라에서 아웃포커싱 표현이 가능하였고, 저배율 줌과 렌즈구경 및 촬상소자가 작은 하드웨어 구성을 갖고 있는 디지털 카메라나 휴대폰 카메라에서는 아웃포커싱을 제대로 구현하기가 거의 불가능하였다.

본 발명은 아웃포커싱 효과를 구현하는 카메라 모듈의 이미지 처리 방법을 제공한다.

본 발명의 한 특징에 따르면, 영상 이미지를 상기 영상 이미지의 중심을 포함하는 제1 영역과, 상기 제1 영역을 제외한 제2 영역으로 분할하는 단계, 상기 제1 영역에 포함되는 픽셀들을 기준 블록 단위로 추출하고, 상기 기준 블록의 제1 중심 픽셀의 R, G, B 성분을 보간하는 단계, 상기 제2 영역에 포함되는 픽셀들을 상기 기준 블록 단위로 추출하고, 상기 기준 블록의 제2 중심 픽셀의 R, G, B 성분에 거리별 가중치를 곱하여 상기 제2 중심 픽셀을 보간하는 단계를 포함하는 카메라 모듈의 이미지 처리 방법이 제공된다.

본 발명의 실시 예에서는 영상 이미지의 중심과의 거리가 먼 영역일수록 거리별 가중치를 증가시켜 보간을 수행함으로써, 영상 이미지의 중심과의 거리가 멀수록 블러(Blur)한 이미지를 구현할 수 있어, 아웃포커싱 효과를 얻을 수 있다.

도 1은 종래 아웃포커싱 촬영 기법으로 촬영된 영상 이미지의 예시도이다.
도 2는 본 발명의 실시 예에 따른 카메라 모듈의 개략적인 구성도이다.
도 3은 본 발명의 실시 예에 따른 이미지 신호 처리부에서 복수의 영역으로 분할된 영상 이미지의 예시도이다.
도 4는 본 발명의 실시 예에 따른 기준 블록(5×5)의 예시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해 되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이제 본 발명의 실시 예에 따른 카메라 모듈의 이미지 처리 방법에 대하여 도면을 참고하여 상세하게 설명하고, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기도 한다.

도 2는 본 발명의 실시 예에 따른 카메라 모듈의 개략적인 구성도이다.

도 2에 도시된 바와 같이, 본 발명의 카메라 모듈은 렌즈부(10), 이미지 센서(20) 및 이미지 신호 처리부(30)를 포함한다.

렌즈부(10)는 적어도 하나 이상의 렌즈로 이루어져 있으며, 광 에너지를 입사하고 입사된 광 에너지를 집광시켜 이미지 센서(20)로 출력한다.

이미지 센서(20)는 렌즈부(10)를 통과하는 광 에너지를 감지하는 복수의 픽셀을 포함하며, 복수의 픽셀에서 감지된 광 에너지를 전기적인 신호로 변환하여 이미지 신호 처리부(30)로 출력한다.

도 3은 본 발명의 실시 예에 따른 이미지 신호 처리부에서 복수의 영역으로 분할된 영상 이미지의 예시도이다.

도 3에 도시된 바와 같이, 이미지 신호 처리부(30)는 이미지 센서(20)로부터 입력되는 영상 이미지를 복수의 영역으로 분할한다.

도 3에서는 설명의 편의상 영상 이미지를 3개의 영역(제1 영역(A), 제2 영역(B), 제3 영역(C))으로 분할한 것으로 도시하였으나, 이미지 신호 처리부(30)는 영상 이미지의 중심을 포함하는 제1 영역(A)과, 제1 영역(A)을 중심을 기준으로 동심원을 그리면서 복수의 영역으로 영상 이미지를 분할할 수 있다.

다음으로, 이미지 신호 처리부(30)는 이미지 센서(20)로부터 입력되는 영상 이미지의 모든 픽셀의 위치에서 RGB 값을 가지도록 하는 보간(interpolation)을 수행하는데, 이미지 신호 처리부(30)는 보간을 통해 하나의 픽셀에서 또 다른 2가지 컬러를 만들어 내게 된다.

본 발명에서는 상기 제1 영역(A)을 제외한 제2 영역(B) 및 제3 영역(C)은 영상 이미지의 중심과의 거리가 멀수록 보간 시 적용되는 거리별 가중치를 증가시켜 보간을 수행한다.

즉, 본 발명에서는 거리별 가중치를 영상 이미지의 중심과의 거리가 멀수록 증가시킴으로써, 영상 이미지의 중심과의 거리가 멀수록 픽셀 간의 편차가 줄어들어 영상 이미지가 블러(blur)해지는 아웃포커싱 효과를 얻을 수 있다.

도 4는 본 발명의 실시 예에 따른 기준 블록(5×5)의 예시도이다.

도 4에 도시된 바와 같이, 본 발명에서는 5×5 픽셀 블록을 기준 블록으로 하였으며, 기준 블록의 중심 픽셀은 B22 픽셀로서, 중심 픽셀(B22)의 R, G, B 성분의 보간을 아래와 같이 수행할 수 있다.

우선, 이미지 신호 처리부(30)는 영상 이미지의 중심을 포함하는 제1 영역(A)에 포함되는 기준 블록(5×5 픽셀 블록)의 중심 픽셀(B22)에 대해 R, G, B 성분별로 하기 수학식 1과 같이 보간을 수행한다.

다음으로, 이미지 신호 처리부(30)는 제2 영역(B) 및 제3 영역(C)에 포함되는 기준 블록(5×5 픽셀 블록)의 중심 픽셀(B22)에 대해 R, G, B 성분별로 하기 수학식 2와 같이 보간을 수행한다.

이때, ω1, ω2, ω3는 거리별 가중치를 의미하는 것으로, 제2 영역(B)은 제3영역(C)에 비해 상대적으로 영상 이미지의 중심과 가까우므로, 제2 영역(B)의 거리별 가중치는 제3 영역(C)의 거리별 가중치보다 낮다.

이와 같이, 본 발명에서는 영상 이미지의 중심과의 거리가 먼 영역일수록 거리별 가중치를 증가시켜 보간을 수행함으로써, 영상 이미지의 중심과의 거리가 멀수록 블러(Blur)한 이미지를 구현할 수 있어, 아웃포커싱 효과를 얻을 수 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10: 렌즈부 20: 이미지 센서
30: 이미지 신호 처리부

Claims (4)

1. 영상 이미지를 상기 영상 이미지의 중심을 포함하는 제1 영역과, 상기 제1 영역을 제외한 제2 영역으로 분할하는 단계,
   상기 제1 영역에 포함되는 픽셀들을 기준 블록 단위로 추출하고, 상기 기준 블록의 제1 중심 픽셀의 R, G, B 성분을 보간하는 단계, 및
   상기 제2 영역에 포함되는 픽셀들을 상기 기준 블록 단위로 추출하고, 상기 기준 블록의 제2 중심 픽셀의 R, G, B 성분에 거리별 가중치를 곱하여 상기 제2 중심 픽셀을 보간하는 단계를 포함하는 카메라 모듈의 이미지 처리 방법.
2. 제1항에 있어서,
   상기 거리별 가중치는 상기 영상 이미지의 중심과의 거리에 비례하여 증가하는 카메라 모듈의 이미지 처리 방법.
3. 제1항에 있어서,
   상기 제1 영역에 포함되는 기준 블록의 상기 제1 중심 픽셀의 R, G, B 성분은 하기 수학식에 의해 보간되는 카메라 모듈의 이미지 처리 방법.
   

   

   
   (여기서, B22는 상기 제1 중심 픽셀임)
4. 제1항에 있어서,
   상기 제2 영역에 포함되는 기준 블록의 상기 제2 중심 픽셀의 R, G, B 성분은 하기 수학식에 의해 보간되는 카메라 모듈의 이미지 처리 방법.
   

   

   
   (여기서, B22는 상기 제2 중심 픽셀임)

Images