KR101747844B1 - 카메라 모듈의 이미지 처리 방법 - Google Patents

Abstract

본 발명은 카메라 모듈의 이미지 처리 방법에 관한 것으로, 하나의 영상 이미지를 분할하는 분할 개수를 결정하는 단계, 상기 분할 개수대로 상기 영상 이미지를 분할하고, 분할된 영역의 중심에 초점을 맞추어 상기 분할 개수에 대응되는 복수의 이미지를 촬영하는 단계, 상기 복수의 이미지 중 동일한 픽셀들에 대해 RGB 데이터 값이 높은 픽셀들을 선택적으로 조합하여 합성 이미지를 생성하는 단계를 포함함으로써, 피사계 심도를 벗어난 영상 이미지의 블러 현상을 방지할 수 있으며, 확장된 피사계 심도(Extended Depth Of Field)를 갖는 이미지를 얻을 수 있다.

Description

카메라 모듈의 이미지 처리 방법{method for processing image of camera module}

본 발명은 카메라 모듈의 이미지 처리 방법에 관한 것이다.

피사계 심도(Depth OF Field)는 렌즈로 어떤 거리의 피사체에 초점을 맞추면 그 앞쪽과 뒤쪽의 일정한 거리 내에 초점이 맞는데 이때 그 범위를 이르는 것으로, 일반적인 렌즈는 일정한 피사계 심도(초점이 맞는 거리)를 고유한 특성으로 가지며 피사계 심도를 벗어난 피사체는 부분적으로 흐려지는 블러(Blur) 현상이 발생하게 된다.

이와 같은 블러 현상을 방지하기 위해서, 종래에는 특화된 EDOF(Extended Depth Of Field) 이미지 센서나 전용 렌즈를 사용해야 하는 비용적, 한정성의 제약이 있었다.

본 발명은 블러 현상을 방지하여 선명한 이미지를 얻을 수 있는 카메라 모듈의 이미지 처리 방법을 제공한다.

본 발명의 한 특징에 따르면, 하나의 영상 이미지를 복수의 영역으로 분할하는 단계, 상기 복수의 영역 중 제1 영역의 중심에 초점을 두고 상기 영상 이미지를 제1 이미지로 촬영하는 단계, 상기 복수의 영역 중 제2 영역의 중심에 초점을 두고 상기 영상 이미지를 제2 이미지로 촬영하는 단계, 상기 제1 이미지에 포함되는 복수의 제1 픽셀과 상기 제2 이미지에 포함되는 복수의 제2 픽셀의 RGB 데이터 값을 비교하여 RGB 데이터 값이 높은 픽셀들을 선택적으로 조합하여 합성 이미지로 생성하는 단계를 포함하는 카메라 모듈의 이미지 처리 방법이 제공된다.

본 발명의 다른 특징에 따르면, 하나의 영상 이미지를 분할하는 분할 개수를 결정하는 단계, 상기 분할 개수대로 상기 영상 이미지를 분할하고, 분할된 영역의 중심에 초점을 맞추어 상기 분할 개수에 대응되는 복수의 이미지를 촬영하는 단계, 상기 복수의 이미지 중 동일한 픽셀들에 대해 RGB 데이터 값이 높은 픽셀들을 선택적으로 조합하여 합성 이미지를 생성하는 단계를 포함하는 카메라 모듈의 이미지 처리 방법이 제공된다.

본 발명의 실시 예에서는 촬영하고자 하는 하나의 영상 이미지를 복수의 영역으로 나누고, 복수의 영역에 각각 초점을 두는 복수의 이미지를 촬영하고, 복수의 이미지 중 RGB 데이터 값이 높은 픽셀들을 선택하여 합성 이미지를 생성함으로써, 피사계 심도를 벗어난 영상 이미지의 블러 현상을 방지할 수 있으며, 확장된 피사계 심도(Extended Depth Of Field)를 갖는 이미지를 얻을 수 있다.

도 1은 본 발명의 실시 예에 따른 카메라 모듈의 개략적인 구성도이다.
도 2는 본 발명의 실시 예에 따른 카메라 모듈의 이미지 처리 방법을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 영상 이미지의 분할 예시도이다.
도 4a 내지 도 4c는 본 발명의 실시 예에 따른 초점이 서로 다른 복수의 이미지의 예시도이다.
도 5는 본 발명의 실시 예에 따른 합성 이미지의 예시도이다.
도 6은 본 발명의 실시 예에 따른 이미지 신호 처리부의 RGB 데이터 비교를 나타내는 예시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이제 본 발명의 실시 예에 따른 카메라 모듈의 이미지 처리 방법에 대하여 도면을 참고하여 상세하게 설명하고, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기도 한다.

도 1은 본 발명의 실시 예에 따른 카메라 모듈의 개략적인 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 카메라 모듈은 렌즈부(10), 이미지 센서(20) 및 이미지 신호 처리부(30)를 포함한다.

렌즈부(10)는 적어도 하나 이상의 렌즈로 이루어져 있으며, 이미지 신호 처리부(30)에서 입력되는 초점 위치에 초점을 맞추어 광 에너지를 입사하고, 입사된 광 에너지를 집광시켜 이미지 센서(20)로 출력한다.

이미지 센서(20)는 렌즈부(10)를 통과하는 광 에너지를 감지하는 복수의 픽셀을 포함하며, 복수의 픽셀에서 감지된 광 에너지를 전기적인 신호로 변환하여 이미지 신호 처리부(30)로 출력한다.

이미지 신호 처리부(30)는 하나의 영상 이미지를 복수의 영역으로 분할하고, 분할된 복수의 영역 각각의 중심에 초점을 두는 제어신호를 렌즈부(10)로 출력하고, 이미지 센서(20)를 통해 초점이 서로 다른 복수의 이미지를 입력 받는다.

이미지 신호 처리부(30)는 복수의 이미지 중 동일한 픽셀에 대해 RGB 데이터 값이 높은 픽셀들을 선택적으로 조합하여 합성 이미지를 생성한다.

이때, 합성 이미지는 하나의 영상 이미지와 동일한 영상으로, 합성 이미지에 포함되는 복수의 픽셀의 RGB 데이터 값은 하나의 영상 이미지에 포함되는 복수의 픽셀의 RGB 데이터 값보다 높거나 동일할 수 있다.

이와 같이, 본 발명에서는 촬영하고자 하는 하나의 영상 이미지를 복수의 영역으로 나누고, 복수의 영역에 각각 초점을 두는 복수의 이미지를 촬영하고, 복수의 이미지 중 RGB 데이터 값이 높은 픽셀들을 선택하여 합성 이미지를 생성함으로써, 피사계 심도를 벗어난 영상 이미지의 블러 현상을 방지할 수 있으며, 확장된 피사계 심도(Extended Depth Of Field)를 갖는 이미지를 얻을 수 있다.

본 발명에서는 촬영하고자 하는 피사체의 하나의 영상 이미지를 복수의 영역으로 분할하고, 복수의 영역 각각의 중심에 초점을 맞추어 하나의 영상 이미지에 대해 복수의 이미지를 촬영한다.

이때, 복수의 영역으로 분할하는 분할 개수는 이미지 신호 처리부(30)에 미리 저장된 개수일 수도 있고, 카메라 모듈의 사용자가 임의로 입력할 수 있는 값이다.

아래에서는 설명의 편의상 하나의 영상 이미지를 3개의 영역으로 분할하는 경우에 대해서 설명한다.

도 2는 본 발명의 실시 예에 따른 카메라 모듈의 이미지 처리 방법을 나타내는 도면이고, 도 3은 본 발명의 실시 예에 따른 영상 이미지의 분할 예시도이고, 도 4a 내지 도 4c는 본 발명의 실시 예에 따른 초점이 서로 다른 복수의 이미지의 예시도이고, 도 5는 본 발명의 실시 예에 따른 합성 이미지의 예시도이다.

도 2에 도시된 바와 같이, 본 발명의 이미지 신호 처리부(30)는 촬영하고자 하는 피사체에 대해 하나의 영상 이미지를 도 3과 같이 3개의 영역으로 분할한다(S201).

3개의 영역은 제1 영역(AF Area #1), 제2 영역(AF Area #2) 및 제3 영역(AF Area #3)을 포함한다. 도 3에서는 세로를 기준으로 3개의 영역으로 나눈 것으로 도시하였으나, 가로를 기준으로 3개의 영역으로 나눌 수도 있으며, 본 발명은 이에 한정되지 않고 가로, 세로 모두를 기준으로 영상 이미지를 복수의 영역으로 분할할 수 있다.

이미지 신호 처리부(30)는 3개의 분할된 영역의 중심에 각각 초점을 맞추도록 렌즈부(10)로 제어신호를 출력한다(S202).

제어신호에 따라 렌즈부(10)는 제1 영역의 중심에 초점을 두고, 도 4a에 도시된 바와 같이 이미지 센서(20)는 제1 영역에 초점을 둔 제1 이미지를 촬영하여 이미지 신호 처리부(30)로 입력한다(S203).

제어신호에 따라 렌즈부(10)는 제2 영역의 중심에 초점을 두고, 도 4b에 도시된 바와 같이 이미지 센서(20)는 제2 영역에 초점을 둔 제2 이미지를 촬영하여 이미지 신호 처리부(30)로 입력한다(S204).

제어신호에 따라 렌즈부(10)는 제3 영역의 중심에 초점을 두고, 도 4c에 도시된 바와 같이 이미지 센서(20)는 제3 영역에 초점을 둔 제3 이미지를 촬영하여 이미지 신호 처리부(30)로 입력한다(S205).

다음으로, 이미지 신호 처리부(30)는 제1 이미지, 제2 이미지 및 제3 이미지 중 동일한 픽셀들에 대해 RGB 데이터 값이 높은 픽셀들을 선택적으로 조합하여 도 5에 도시된 바와 같이 합성 이미지를 생성한다(S206).

도 6은 본 발명의 실시 예에 따른 이미지 신호 처리부의 RGB 데이터 비교를 나타내는 예시도이다.

도 6에 도시된 바와 같이, 이미지 신호 처리부(30)는 제1 이미지에 포함되는 복수의 제1 픽셀, 제2 이미지에 포함되는 복수의 제2 픽셀, 제3 이미지에 포함되는 복수의 제3 픽셀 중 동일한 픽셀들의 RGB 데이터를 각각 비교한다.

"살몬" 이란 단어가 제2 영역에 포함될 경우, 살몬에 포함되는 동일한 픽셀에 대해서 제2 이미지의 RGB 데이터는 상대적으로 제1 이미지의 RGB 데이터보다 높은 데이터 값을 갖는다.

이와 같이, 본 발명의 이미지 신호 처리부(30)는 제1 이미지, 제2 이미지 및 제3 이미지 중 동일한 픽셀들에 대해 RGB 데이터 값이 높은 픽셀들을 선택적으로 조합하여 영상 이미지를 생성함으로써, 피사계 심도를 벗어난 영상 이미지의 블러 현상을 방지할 수 있으며, 확장된 피사계 심도를 갖는 이미지를 얻을 수 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10: 렌즈부
20: 이미지 센서
30: 이미지 신호 처리부

Claims (6)

1. 하나의 영상 이미지를 복수의 영역으로 분할하는 단계,
   상기 복수의 영역 중 제1 영역에 초점을 두고 상기 영상 이미지를 제1 이미지로 촬영하는 단계,
   상기 복수의 영역 중 제2 영역에 초점을 두고 상기 영상 이미지를 제2 이미지로 촬영하는 단계, 및
   상기 제1 이미지에 포함되는 복수의 제1 픽셀과 상기 제2 이미지에 포함되는 복수의 제2 픽셀의 RGB 데이터 값을 비교하여 RGB 데이터 값이 높은 픽셀들을 선택적으로 조합하여 합성 이미지로 생성하는 단계를 포함하고,
   상기 제1 영역의 초점과 제2 영역의 초점은, 상기 하나의 영상 이미지를 가로 또는 세로 또는 가로와 세로의 조합 중 선택된 하나를 기준으로 분할한 복수의 영역의 중심부에 각각 위치하며,
   상기 합성 이미지는 상기 영상 이미지와 동일한 영상으로, 상기 합성 이미지에 포함되는 복수의 픽셀의 RGB 데이터 값은 상기 영상 이미지에 포함되는 복수의 픽셀의 RGB 데이터 값 보다 높거나 동일한 값인 카메라 모듈의 이미지 처리 방법.
2. 삭제
3. 제1항에 있어서,
   상기 합성 이미지는 상기 영상 이미지보다 확장된 피사계 심도(Extended Depth Of Field)가 높은 영상인 카메라 모듈의 이미지 처리 방법.
4. 하나의 영상 이미지를 분할하는 분할 개수를 결정하는 단계,
   상기 분할 개수대로 상기 영상 이미지를 분할하고, 분할된 영역에 초점을 맞추어 상기 분할 개수에 대응되는 복수의 이미지를 촬영하는 단계, 및
   상기 복수의 이미지 중 동일한 픽셀들에 대해 RGB 데이터 값이 높은 픽셀들을 선택적으로 조합하여 합성 이미지를 생성하는 단계를 포함하고,
   상기 초점은, 상기 하나의 영상 이미지를 가로 또는 세로 또는 가로와 세로의 조합 중 선택된 하나를 기준으로 분할한 복수의 분할 영역의 중심부에 각각 위치하며,
   상기 합성 이미지는 상기 영상 이미지와 동일한 영상으로, 상기 합성 이미지에 포함되는 복수의 픽셀의 RGB 데이터 값은 상기 영상 이미지에 포함되는 복수의 픽셀의 RGB 데이터 값 보다 높거나 동일한 값인 카메라 모듈의 이미지 처리 방법.
5. 제4항에 있어서,
   상기 합성 이미지는 상기 영상 이미지보다 확장된 피사계 심도(Extended Depth Of Field)가 높은 영상인 카메라 모듈의 이미지 처리 방법.
   
   
6. 하나의 영상 이미지에서 복수의 초점을 두고 복수의 이미지로 촬영하는 단계; 및
   상기 복수의 이미지 각각에 포함된 픽셀의 RGB 데이터 값을 비교하여 RGB 데이터 값이 높은 픽셀들을 선택적으로 조합하여 합성 이미지를 생성하는 단계;를 포함하고,
   상기 복수의 초점은, 상기 하나의 영상 이미지를 가로 또는 세로 또는 가로와 세로의 조합 중 선택된 하나를 기준으로 분할한 복수의 분할 영역의 중심부에 각각 위치하며,
   상기 복수의 이미지는 상기 하나의 영상 이미지와 동일한 피사체에 대한 이미지이고,
   상기 합성 이미지에 포함되는 복수의 픽셀의 RGB 데이터 값은 상기 영상 이미지에 포함되는 복수의 픽셀의 RGB 데이터 값 보다 높거나 동일한 값인 카메라 모듈의 이미지 처리 방법.
   
   
   

Images