KR101946946B1 - 이미지 처리 장치 및 이의 이미지 처리 방법 - Google Patents

Abstract

실시 예에 따른 이미지 처리 장치는, 이미지를 수신하는 단계; 상기 수신된 이미지를 복수의 블록으로 분할하는 단계; 상기 분할된 블록별로 픽셀의 밝기 정보를 획득하는 단계; 상기 획득한 밝기 정보를 이용하여, 상기 분할된 블록 중 플레어 영역을 검출하는 단계; 상기 이미지의 플레어 영역과, 그 이외의 영역에 적용될 이미지 복원 조건을 결정하는 단계; 및 상기 결정된 이미지 복원 조건을 이용하여 원래의 이미지를 복원하는 단계를 포함하여 이루어지며, 상기 플레어 영역에 적용되는 이미지 복원 조건과, 상기 그 이외의 영역에 적용되는 이미지 복원 조건은 서로 다르다.

Description

이미지 처리 장치 및 이의 이미지 처리 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}

실시 예는, 카메라에 관한 것으로, 특히 포인트 스프레드 함수를 이용하여 이미지에 포함된 플레어 영역을 제거할 수 있는 이미지 처리 장치 및 이의 이미지 처리 방법에 관한 것이다.

일반 주택을 비롯하여 백화점, 은행, 전시장, 공장 등의 실내 외에 구비되는 감시 카메라(CCTV: Closed Circuit Television)는 도난을 방지하고 기계의 작동상태 또는 공정 흐름이나 상황 판단 등을 위하여 다양하게 이용되고 있다.

감시 카메라는 특정 장소에 설치되어 해당 장소에서 벌어지는 모든 상황을 원격지에서 모니터링하기 위한 목적으로 이용되어 왔으며, 이를 위하여 영상 송출기와 영상 송출기로부터 송신된 신호를 수신하여 표시 장치에 제공하는 표시부 등을 포함한다.

한편, 일반적으로 디지털 카메라는 그 구조에 있어서 일반 카메라의 광학과 메카니즘을 이용한다는 점에서 유사하지만, 필름 대신 CCD(Charge Coupled Device)라는 이미지 센서로 화상을 받아들여 그 신호를 디지털 데이터로 변환하고, 그래픽 파일로 메모리에 저장하는 방식을 취하는 점에서 차이가 있다.

이러한, 디지털 카메라는 촬영한 화상을 디스플레이 화면을 통해 즉시 확인할 수 있으며, 컴퓨터를 통한 편집, 출력 등 다양한 자료 처리가 가능하고, 필요시에는 복잡한 필름 현상 및 인화과정 없이 즉시 프린터로 인쇄할 수 있으므로 그 활용도가 확대되고 있다.

도 1 내지 3은 종래 기술에 따라 발생하는 플레어 현상을 설명하기 위한 도면이다.

종래 기술에 따른 카메라는, 외부로부터 밝은 빛이 들어오면, 센서 포화 상태가 일어나게 되고, 이로 인해 촬영한 이미지의 전체가 하얗게 되는 플레어 현상이 발생한다.

상기와 같은 플레어 현상은, 도 1에 도시된 바와 같이 이미지 센서의 결상면에 영상이 정확히 맺히는 1차 광 이외에, 0차 또는 2차 광과 같은 잡광에 의해 발생한다.

즉, 도 2에 도시된 바와 같이 1차 광을 중심으로, 2차 광 및 0차 광이 그래프와 같은 형태로 발생하며, 상기 1차 광의 강도가 커짐에 따라 상기 0차 및 2차 광의 강도도 커지게 된다.

이에 따라, 도 3에 도시된 바와 같은 영상이 표출되며, 상기 표출되는 영상에는 광원 주위로 플레어가 형성되어 화질 열화의 원인이 된다.

이와 같은 플레어는 0차 및 2차와 같은 광들이 결상면에 정확히 맺히지 않아 만들어지며, 상기 플레어를 저감시키기 위해 밝기를 줄이게 되면, 어두운 부분의 계조가 묻히게 되어 또 다른 화질 열화의 원인이 된다.

이에 따라 상기 영상 플레어 현상을 저감시켜 화질의 열화를 방지할 수 있는 기술이 필요하다.

실시 예에서는, 이미지에 포함된 플레어 영역을 검출하고, 상기 검출한 플레어 영역을 원 이미지로 복원할 수 있는 이미지 처리 장치 및 이의 이미지 처리 방법을 제공한다.

또한, 실시 예에서는, 이미지를 일정 영역으로 분할하고, 그에 따라 상기 분할된 영역에 서로 다른 포인트 스프레드 함수를 적용하여, 플레어가 발생하기 이전의 원 이미지를 복원할 수 있는 카메라 및 이의 영상 처리 방법을 제공한다.

제안되는 실시 예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 제안되는 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

실시 예에 따른 이미지 처리 장치는, 이미지를 수신하는 단계; 상기 수신된 이미지를 복수의 블록으로 분할하는 단계; 상기 분할된 블록별로 픽셀의 밝기 정보를 획득하는 단계; 상기 획득한 밝기 정보를 이용하여, 상기 분할된 블록 중 플레어 영역을 검출하는 단계; 상기 이미지의 플레어 영역과, 그 이외의 영역에 적용될 이미지 복원 조건을 결정하는 단계; 및 상기 결정된 이미지 복원 조건을 이용하여 원래의 이미지를 복원하는 단계를 포함하여 이루어지며, 상기 플레어 영역에 적용되는 이미지 복원 조건과, 상기 그 이외의 영역에 적용되는 이미지 복원 조건은 서로 다르다.

또한, 상기 플레어 영역을 검출하는 단계는, 상기 획득한 밝기 정보를 이용하여, 상기 각각의 블록 중 255 레벨을 가지는 픽셀 수가 기설정된 기준치 이상이 되는 제 1 블록을 확인하는 단계와, 상기 확인된 제 1 블록의 인접 블록을 상기 플레어 영역으로 검출하는 단계를 포함한다.

또한, 상기 플레어 영역으로 검출하는 단계는, 상기 제 1 블록에서부터 N번째까지 위치한 인접 블록을 플레어 영역으로 검출하는 단계를 포함한다.

또한, 상기 인접 블록은, 상기 제 1 블록의 상, 하, 좌 및 우측 방향에 인접해 있는 블록을 포함한다.

또한, 상기 이미지 복원 조건을 결정하는 단계는, 렌즈로부터 기준 포인트 스프레드 함수를 도출하는 단계와, 상기 도출한 기준 포인트 스프레드 함수를 이용하여 상기 플레어 영역에 적용될 보정 포인트 스프레드 함수를 산출하는 단계를 포함한다.

또한, 상기 플레어 영역에는, 상기 산출한 보정 포인트 스프레드 함수가 적용되고, 상기 플레어 영역을 제외한 나머지 영역에는, 상기 도출한 기준 포인트 스프레드 함수가 적용된다.

또한, 상기 이미지 복원 조건을 결정하는 단계는, 상기 제 1 블록과의 인접 정도에 따라 상기 각각의 인접 블록에 적용될 보정 포인트 스프레드 함수를 각각 산출하는 단계를 포함한다.

또한, 상기 인접 블록은, 상기 제 1 블록으로부터 첫 번째 인접한 제 1 인접 블록 내지 N 번째 인접한 제 N 인접 블록을 포함하며, 상기 제 1 인접 블록 내지 제 N 인접 블록에 대해 산출되는 보정 포인트 스프레드 함수는 서로 다르다.

또한, 상기 제 1 인접 블록 내지 제 N 인접 블록에 대해 산출되는 보정 포인트 스프레드 함수 중 상기 제 1 인접 블록에 대해 산출된 보정 포인트 스프레드 함수가 제일 큰 값을 갖는다.

또한, 상기 제 1 인접 블록 내지 제 N 인접 블록에 대해 산출되는 보정 포인트 스프레드 함수는, 상기 제 1 블록에서 멀어질수록 크기가 감소한다.

또한, 상기 이미지를 복원하는 단계는, 상기 각각의 인접 블록에 대해 산출된 보정 포인트 스프레드 함수 및 상기 기준 포인트 스프레드 함수를 이용하여 콘볼류션을 수행하는 단계를 포함한다.

또한, 상기 플레어 영역을 세분화하는 단계를 더 포함하며, 상기 보정 포인트 스프레드 함수는, 상기 세분화된 각각의 블록에 대해 산출된다.

한편, 실시 예에 따른 이미지 처리 장치는 렌즈; 상기 렌즈를 통해 들어온 빛을 전기적인 이미지로 변환하는 이미지 센서; 상기 이미지 센서를 통해 변환된 이미지를 복수의 블록으로 분할하고, 상기 분할된 각각의 블록에 대한 밝기 정보를 이용하여 플레어 영역을 검출하며, 상기 검출된 플레어 영역과, 그 이외의 영역에 서로 다른 이미지 복원 조건을 적용하여 원 이미지를 복원하는 영상 처리부; 및 상기 플레어 영역에 적용될 이미지 복원 조건을 설정하고, 상기 설정된 이미지 복원 조건에 따라 상기 이미지의 복원이 이루어지도록 제어하는 제어부를 포함하며, 상기 제어부는, 상기 플레어 영역과, 상기 플레어 영역을 제외한 그 이외의 영역에 적용될 이미지 복원 조건을 서로 다르게 설정한다.

또한, 상기 영상 처리부는, 상기 이미지를 복수의 블록으로 분할하는 영역 분할부와, 상기 영역 분할부를 통해 분할된 블록별 밝기 정보를 획득하는 휘도 레벨 판단부와, 상기 판단된 밝기 정보를 이용하여 상기 복수의 블록 중 플레어가 발생한 프레어 영역을 검출하는 플레어 영역 검출부와, 상기 검출된 플레어 영역과, 그 이외의 영역에 서로 다른 이미지 복원 조건을 적용하여 원래의 이미지를 복원하는 이미지 복원부를 포함한다.

또한, 상기 플레어 영역 검출부는, 상기 획득한 밝기 정보를 이용하여, 상기 각각의 블록 중 255 레벨을 가지는 픽셀 수가 기설정된 기준치 이상이 되는 제 1 블록을 확인하고, 상기 확인된 제 1 블록의 인접 블록을 상기 플레어 영역으로 검출한다.

또한, 상기 플레어 영역 검출부는, 상기 제 1 블록에서부터 N번째까지 위치한 인접 블록을 플레어 영역으로 검출한다.

또한, 상기 인접 블록은, 상기 제 1 블록의 상, 하, 좌 및 우측 방향에 인접해 있는 블록을 포함한다.

또한, 상기 제어부는, 상기 렌즈로부터 기준 포인트 스프레드 함수를 도출하고, 상기 도출한 기준 포인트 스프레드 함수를 이용하여 상기 플레어 영역에 적용될 보정 포인트 스프레드 함수를 산출한다.

또한, 상기 제어부는, 상기 플레어 영역에 상기 산출한 보정 포인트 스프레드 함수를 적용하고, 상기 플레어 영역을 제외한 나머지 영역에 상기 도출한 기준 포인트 스프레드 함수가 적용하여 이미지 복원이 이루어지도록 한다.

또한, 상기 제어부는, 상기 제 1 블록과의 인접 정도에 따라 상기 플레어 영역으로 지정된 각각의 인접 블록에 적용될 보정 포인트 스프레드 함수를 산출한다.

또한, 상기 인접 블록은, 상기 제 1 블록으로부터 첫 번째 인접한 제 1 인접 블록 내지 N 번째 인접한 제 N 인접 블록을 포함하며, 상기 제 1 인접 블록 내지 제 N 인접 블록에 대해 산출되는 보정 포인트 스프레드 함수는 서로 다르다.

또한, 상기 제 1 인접 블록 내지 제 N 인접 블록에 대해 산출되는 보정 포인트 스프레드 함수 중 상기 제 1 인접 블록에 대해 산출된 보정 포인트 스프레드 함수가 제일 큰 값을 갖는다.

또한, 상기 제 1 인접 블록 내지 제 N 인접 블록에 대해 산출되는 보정 포인트 스프레드 함수는, 상기 제 1 블록에서 멀어질수록 크기가 감소한다.

또한, 상기 이미지 복원부는, 상기 각각의 인접 블록에 대해 산출된 보정 포인트 스프레드 함수 및 상기 기준 포인트 스프레드 함수를 이용하여 콘볼류션을 수행한다.

또한, 상기 영역 분할부는, 상기 플레어 영역이 검출되면, 상기 검출된 플레어 영역을 세분화된 블록으로 재분할하고, 상기 제어부는, 상기 재분할된 블록에 각각 적용될 보정 포인트 스프레드 함수를 산출한다.

실시 예에 의하면, 영상을 분석하여 플레어가 발생한 영역을 검출하고, 그에 따라 서로 다른 포인트 스프레드 함수를 적용하여 상기 플레어를 제거함으로써, 이미지의 화질 열화 없이 원 이미지를 용이하게 복원할 수 있다.

도 1 내지 3은 종래 기술에 따라 발생하는 플레어 현상을 설명하기 위한 도면이다.
도 4는 실시 예에 따른 이미지 처리 장치를 나타낸 도면이다.
도 5는 도 4에 도시된 영상 처리부(130)의 상세 구성도이다.
도 6은 실시 예에 따른 이미지 복원 원리를 설명하기 위한 도면이다.
도 7 내지 12는 실시 예에 따른 이미지 복원 과정을 설명하기 위한 도면이다.
도 13 내지 15는 실시 예에 따른 영상 처리 장치의 영상 처리 방법을 단계별로 설명하는 흐름도이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.

도 4는 실시 예에 따른 이미지 처리 장치를 나타낸 도면이다.

도 4를 참조하면, 이미지 처리 장치는 렌즈(110), 이미지 센서부(120), 영상 처리부(130), 표시부(140), 입력부(150), 저장부(160) 및 제어부(170)를 포함한다.

렌즈(110)는 피사체의 광학상이 이미지 센서부(120)에 맺히도록 한다.

렌즈(110)는 줌 렌즈(도시하지 않음)와 이미지 센서부(120)에 맺혀지는 광학상의 초점을 맞추기 위해 광축 방향으로 이동 가능한 포커스 렌즈(도시하지 않음)를 포함하여 구성될 수 있다.

여기에서, 렌즈(110)는 휴효 구경이 크고, 이에 따라 초점거리가 짧은 광학적 특성을 가진 렌즈일 수 있다. 즉, 에프 넘버(F NUMBER)가 작은 렌즈일 수 있고, 또한 별도의 렌즈 설계가 적용되지 않은 일반적인 렌즈일 수도 있다.

이때, 렌즈(110)는 사용자가 촬영하고자 하는 피사체에 대한 영상을 획득한다.

보다 구체적으로, 렌즈(110)는 적어도 한 면이 회절광학소자로 이루어진 오목 렌즈로 구성되는 제 1 렌즈 그룹과, 적어도 한 면이 회절광학소자로 이루어진 볼록 렌즈로 구성되는 제 2 렌즈 그룹을 포함할 수 있다.

상기 제 1 렌즈 그룹은 넓은 시야각 및 충분한 후 초점 거리(BFL:Back Focal Length)를가지도록 음(-)의 파워를 갖는 오목 렌즈이고, 그 한 면은 비구면이고, 적어도 한 면은 회절광학소자가 설계되는데, 회절광학소자가 형성된 면의 분산이 음의 부호를 가지기 때문에 축 상의 색수차를 손쉽게 보정하면서도 파워의 일부를 부담함으로 렌즈의 형상을 어느 정도 완만히 가져갈 수 있다.

또한, 볼록 렌즈 형상의 제 2 렌즈 그룹은, 양(+)의 파워를 갖고, 적어도 한 면이 비구면이고, 또한 적어도 한 면이 회절광학소자로 구성되어 상기 오목 렌즈 형상의 제 1 렌즈 그룹에서 입사된 영상 정보를 수렴시켜준다.

이미지 센서부(120)는 CMOS(Complementary Metal-Oxide Semiconductor)나 CCD(Charge Coupled Device)로 구성될 수 있다.

이미지 센서부(120)는 다수의 광 검출기들이 각각의 화소로서 집적된 형태이며, 피사체의 영상 정보를 전기적 데이터로 변환시켜 출력한다.

즉, 이미지 센서부(120)는 렌즈(110)를 통과한 피사체의 이미지를 감지한다. 감지된 이미지는 원격지에 있는 사용자에게 전송될 수 있다.

이미지 센서부(120)는 렌즈(110)를 통하여 입력되는 광량을 축적하고, 그 축적된 광량에 따라 상기 렌즈(110)에서 촬영된 영상을 수직 동기신호에 맞추어 출력한다.

이미지 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜주는 상기 이미지 센서부(120)에 의해 이루어진다.

이미지 센서부(120)를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color Filter Array)라는 필터(도시되지 않음)를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며, 규칙적으로 배열된 구조를 가지며, 배열 구조에 따라 여러 가지 형태를 가진다.

영상 처리부(130)는 상기 이미지 센서부(120)로부터의 전기신호를 전달받는다.

상기 전기 신호는, 결상된 이미지의 이미지 값을 포함하고 있으며, 이에 따라 영상 처리부(130)는 상기 이미지 값을 신호처리한다.

즉, 영상 처리부(130)는 상기 이미지 센서부(120)를 통해 획득된 이미지를 프레임 단위로 분석하고, 그에 따라 상기 이미지에 포함된 플레어 영역을 제거한 원 영상을 복원한다.

이를 위해, 영상 처리부(130)는 상기 이미지 센서부(120)에서 획득된 이미지로부터 플레어 영역을 검출하고, 그에 따라 상기 플레어 영역의 영상 처리 조건을 변경하여, 상기 플레어 영역을 제거한다.

이에 따라, 먼저 영상 처리부(130)는 상기 이미지를 복수의 블록으로 분할한다. 이때, 상기 분할되는 블록의 수는 실시 예에 따라 달라질 수 있으며, 실시 예에서는 100개의 블록으로 분할함을 예로 하여 설명하기로 한다.

상기 이미지가 복수의 블록으로 분할되면, 상기 영상 처리부(130)는 상기 분할된 블록별로 픽셀의 휘도 레벨을 판단한다. 이때, 상기 휘도 레벨은 그레이 레벨일 수 있다.

이때, 상기 플레어 영역은 백열등과 같은 물체가 촬영된 영역 및 상기 영역과 인접한 인접 영역을 포함하며, 상기 플레어 영역 중 실질적은 플레어가 발생한 영역은 상기 물체가 촬영된 영역의 주변 영역, 다시 말해서 상기 물체가 촬영된 영역의 가장 자리 영역에 해당된다.

한편, 상기 플레어 영역은, 상기와 같이 백열등과 같은 물체가 촬영된 영역의 인접 영역이며, 상기 물체가 촬영된 영역의 휘도 레벨은 최대 휘도 레벨인 255 레벨을 가진다.

다시 말해서, 상기 백열등과 같은 물체가 촬영된 영역은 255 영역이라 할 수 있으며, 상기 플레어 영역은 상기 255 영역의 인접 영역이다. 이때, 상기 인접 영역은 상기 255 영역의 좌측 영역, 우측 영역, 상측 영역 및 하측 영역을 포함할 수 있다.

또한, 상기 인접 영역은, 상기 255 영역의 바로 옆에 위치한 블록만을 포함할 수 있으며, 이와 다르게 상기 255 영역으로부터 A 번째 위치한 블록까지 인접 영역에 포함될 수 있다.

상기 인접 영역에 대한 정의는, 상기 이미지의 분할 조건에 의해 달라질 수 있으며, 상기 이미지를 보다 적은 블록으로 분할한 경우에는 상기 인접 영역도 적어질 수 있으며, 상기 이미지를 많은 블록으로 분할한 경우에는 상기 인정 영역도 많아질 것이다.

예를 들어, 상기 이미지를 10개의 블록으로 분할한 경우, 상기 인접 영역은 상기 255 영역의 바로 옆에 위치한 블록만을 포함할 수 있으며, 이와 다르게 상기 이미지를 100개의 블록으로 분할한 경우, 상기 인접 영역은 상기 255 영역과 인접한 5번째 블록까지 포함될 수 있다.

한편, 상기 플레어 영역을 판단하는 기준은, 255 레벨을 가지는 물체의 연속성을 판단하고, 그에 따라 상기 연속성이 100 픽셀 이상을 가지지 않는 경우, 다시 말해서 실제 255 레벨을 가지는 물체라도 100 픽셀 이상 255 레벨을 연속적으로 가지지 않는다면, 상기 255 레벨을 가지는 영역의 중심점으로부터 인접 영역을 상기 플레어 영역으로 판단할 수 있다.

이와 다르게, 255 레벨을 가지는 픽셀 수가 기설정된 수 이상 존재하는 블록이 있다면, 상기 블록의 인접 블록을 상기 플레어 영역으로 판단할 수 있다.

이에 따라, 상기 영상 처리부(130)는 상기와 같은 기준으로 255 영역을 판단하고, 그에 따라 255 영역이 존재하면, 상기 255 영역의 인접 블록을 플레어 영역으로 판단한다.

또한, 상기 플레어 영역의 판단 기준이, 255 영역으로부터 5번째 블록까지 포함된다고 가정하면, 상기 플레어 영역은, 상기 255 영역과의 인접 정도가 높은 순으로 제 1 인접 블록, 제 2 인접 블록, 제 3 인접 블록, 제 4 인접 블록 및 제 5 인접 블록을 포함할 수 있다.

이하, 영상 처리부(130)는 상기 플레어 영역에 포함된 인접 블록들에 적용될 포인트 스프레드 함수를 수신하고, 상기 수신한 포인트 스프레드 함수를 적용하여 상기 인접 블록에 대한 복원 처리를 행한다.

이때, 상기 제 1 내지 5 인접 블록에 적용되는 포인트 스프레드 함수는 서로 다르며, 그에 따라 상기 255 영역과 인접함에 따라 상기 적용되는 포인트 스프레드 함수는 증가할 것이다.

예를 들어, 상기 렌즈의 광학적 특성에 따른 포인트 스프레드 함수가 1이라고 가정하면, 상기 255 영역에 적용되는 포인트 스프레드 함수는 1일 수 있고, 상기 제 1 인접 블록에 적용되는 포인트 스프레드 함수는 5일 수 있고, 제 2 인접 블록에 적용되는 포인트 스프레드 함수는 4일 수 있고, 상기 제 3 인접 블록에 적용되는 포인트 스프레드 함수는 3일 수 있고, 제 4 인접 블록에 적용되는 포인트 스프레드 함수는 2일 수 있으며, 제 1 인접 블록에 적용되는 포인트 스프레드 함수는 1일 수 있다. 또한, 상기 이미지 내에서 상기 255 영역 및 플레어 영역을 제외한 나머지 영역에 적용되는 포인트 스프레드 함수는 1일 것이다.

즉, 255 영역과 인접할수록 빛의 포화 정도가 심해지므로, 실시 예에서는 상기 255 영역과 인접할수록 높은 배수의 포인트 스프레드 함수를 적용하여, 상기 포화되기 이전 상태의 이미지가 복원될 수 있도록 한다.

이에 더하여, 영상 처리부(130)는 보간(interpolation) 처리, 감마 보정(gamma correction), 윤곽 강조(edge enhancement), 자동 노출(auto exposure, AU) 제어, 자동 백색조정(auto white balance, AWB) 제어 및 디지털 줌(digital zoom) 중의 적어도 하나의 기능을 더 수행할 수 있다.

표시부(140)는 후술할 제어부(170)의 제어에 따라 촬영된 이미지를 표시하며, 사진 촬영 시 필요한 설정 화면이나, 사용자의 동작 선택을 위한 화면을 표시한다.

또한, 실시 예에 따라 프리뷰 키 입력 시, 프리뷰 화면을 표시하며, 촬영 키 입력 시 팝-업 되는 팝-업 화면이나, 미리 설정된 애니메이션 혹은 이미지를 표시한다.

입력부(150)는 사용자의 입력을 수신하여 제어부(170)로 전달한다.

상기 표시부(140)가 터치 스크린으로 구현된 경우에는 상기 표시부(140)가 동시에 상기 입력부(150)로 동작할 수 있다.

실시 예에 따라, 입력부(150)는 촬영을 수행하기 위한 촬영 키와, 프리뷰 화면을 표시하기 위한 프리뷰 키를 더 포함할 수 있다.

저장부(160)는 상기 이미지 처리 장치(100)가 동작하는데 필요한 데이터를 저장한다.

또한, 실시 예에 따라 저장부(160)는 촬영 키 입력 시, 상기 표시부(140)를 통해 표시할 팝-업 화면이나 애니메이션 혹은 영상을 저장한다.

저장부(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

제어부(170)는 상기 이미지 처리 장치의 각 구성을 제어한다.

실시 예에서, 제어부(170)는 상기 영상 처리부(130)에 의해 플레어가 제거된 이미지가 출력되도록 하고, 그에 따라 상기 플레어가 제거된 영상이 상기 표시부(140)를 통해 표시되도록 한다.

이를 위해, 제어부(170)는 상기 영상 처리부(130)를 통해 확인한 플레어 영역에 대한 이미지 복원 조건을 결정하고, 상기 결정한 이미지 복원 조건을 이용하여 상기 플레어 영역에 대한 이미지 복원이 이루어지도록 한다.

이하, 상기 이미지 복원 과정에 대해 보다 구체적으로 설명하기로 한다.

도 5는 도 4에 도시된 영상 처리부(130)의 상세 구성도이다.

도 5를 참조하면, 영상 처리부(130)는 영역 분할부(131), 휘도 레벨 판단부(132), 플레어 영역 검출부(133), 이미지 복원부(134) 및 이미지 출력부(135)를 포함한다.

영역 분할부(131)는 상기 이미지 센서부(120)를 통해 출력되는 이미지를 수신하고, 상기 수신된 이미지를 기설정된 분할 조건에 따라 분할한다.

상기 분할 조건은, 상기 이미지의 해상도에 따라 달라질 수 있다.

상기 분할되는 블록의 수가 증가하면, 그에 따른 계산량을 증가하지만 더욱 정확한 플레어 제거를 수행할 수 있다.

휘도 레벨 판단부(132)는 상기 영역 분할부(131)를 통해 분할된 이미지를 수신하고, 상기 분할된 블록별로 픽셀의 휘도 레벨을 확인한다.

이때, 상기 휘도 레벨은 히스토그램 분석을 통해 파악될 수 있다.

여기서, 히스토그램은 빈도 수, 피크 개수, 피크 거리, 피크 폭을 포함한다. 일반적으로 히스토그램은 영상 안에서 픽셀들에 대한 명암 값의 분포를 나타낸 것으로, 밝은 픽셀과 어두운 픽셀이 분포할 때 그 범위와 값을 표현한 것으로, 이것을 그래프로 나타낸 것을 히스토그램 그래프라고 하며, 예를 들면 256 그레이 레벨 영상에서 명암 값의 범위는 0 내지 255의 값을 갖고, 각 명암 값, 즉 레벨의 빈도 수가 그래프의 높이로 나타낸다. 히스토그램은 영상의 많은 정보를 갖고 있으며, 다양한 영상 처리에 이용된다.

플레어 영역 검출부(133)는 상기 휘도 레벨 판단부(132)를 통해 검출된 블록별 휘도 레벨을 기준으로 플레어 영역을 검출한다.

예를 들어, 플레어 영역 검출부(133)는 255 레벨을 갖는 픽셀이 기설정된 기준 범위를 초과한다면, 해당 블록을 255 영역으로 결정할 수 있고, 그에 따라 상기 255 영역의 인접 영역을 플레어 영역으로 검출할 수 있다.

이미지 복원부(134)는 상기 플레어 영역이 검출되면, 상기 검출된 플레어 영역에 대하여 서로 다른 포인트 스프레드 함수를 적용하여 이미지 복원을 수행한다.

상기 플레어 영역에 적용될 포인트 스프레드 함수는 제어부(170)에 의해 설정되며, 이에 대한 구체적인 설명은 후술하기로 한다.

이미지 출력부(135)는 상기 이미지 복원부(134)를 통해 복원된 이미지를 출력한다.

도 6은 실시 예에 따른 이미지 복원 원리를 설명하기 위한 도면이다.

도 6을 참조하면, 원 이미지(f[x, y])가 특정 포인트 스프레드 함수(h[x, y])에 따라 렌즈를 통과하면, 촬영 이미지(g[x, y])가 생성된다.

이때, 렌즈로부터 포인트 스프레드 함수의 역수(

)를 산출하여, 입력(g[x, y])에 대한 콘볼루션 연산을 취득하면 원 영상을 복원할 수 있다.

이때, 카메라 센서가 포화되기 전에는 상기와 같은 콘볼루션을 수행함에 따라 원 영상을 정확히 복원할 수 있다.

그러나, 상기 카메라 센서가 포화된 이후에는 상기와 같은 콘볼루션을 수행하여도, 이미 센서에서 포화가 이루어졌기 때문에, 마치 포인트 스프레드 함수가 상기 h[x, y]이 아닌 다른 값으로 적용된 것과 마찬가지이며, 이에 따라 상기

를 적용한다 하더라도 정확한 원 이미지를 복원할 수 없다. 이는 강한 광원에서 잡음 레벨이 높아지고 화질이 떨어지는 원인으로 작용한다.

이에 따라, 실시 예에서는 포화가 이루어져 플레어 영역이 발생하였다면, 상기 플레어 영역은 원래의 포인트 스프레드 함수와 다른 포인트 스프레드 함수가 적용된 것으로 확인하고, 그에 따라 상기 플레어 영역에 대해서는 상기 원 이미지 복원을 위해 적용할 포인트 스프레드 함수를 보정한다.

이하, 상기 이미지 복원 과정에 대해 첨부된 도면을 참조하여 보다 구체적으로 설명하기로 한다.

도 7 내지 12는 실시 예에 따른 이미지 복원 과정을 설명하기 위한 도면이다.

먼저, 도 7을 참조하면 영역 분할부(131)는 상기 입력 이미지를 기설정된 분할 조건에 따라 복수의 블록으로 분할한다.

즉, 영역 분할부(131)는 입력 이미지(700)를 제 1 블록(710)과 같은 크기의 100개의 블록으로 분할한다.

이때, 도면상에는 상기 이미지가 100개의 블록으로 분할된다고 예시하였지만, 이는 일 실시 예에 불과할 뿐, 상기 분할된 블록 수는 더 증가하거나 감소할 수 있을 것이다.

다음으로, 도 8을 참조하면, 휘도 레벨 판단부(132)는 상기 영역 분할부(131)를 통해 분할된 각 블록에 대하여, 픽셀별 휘도 레벨을 판단한다.

상기 휘도 레벨은 상기 설명한 바와 같이 히스토그램의 분석에 따라 확인될 수 있다.

그리고, 플레어 영역 검출부(133)는 상기 휘도 레벨 판단부(132)를 통해 확인된 휘도 레벨에 대한 정보를 수신하고, 그에 따라 기설정된 수(예를 들어, 100개) 이상의 픽셀이 255 레벨을 가지는 블록이 존재하는지를 판단한다.

또한, 플레어 영역 검출부(133)는 상기 255 레벨을 가지는 블록이 존재하면, 상기 블록을 255 영역(플레어 영역의 중심 영역)으로 지정한다.

도 8에서는 입력 이미지(800)상에서 제 1 블록(810)에 포함된 픽셀 중 255 레벨을 가지는 픽셀의 수가 기설정된 기준치를 벗어난 경우이며, 이에 따라 상기 제 1 블록(810)은 255 영역으로 지정될 수 있다.

이후, 플레어 영역 검출부(133)는 상기 255 영역이 확인되면, 상기 255 영역의 인접 영역(820)을 플레어 영역으로 지정한다.

이때, 상기 인접 영역(820)은 상기 255 영역을 중심으로 상, 하, 좌 및 우 방향으로 A번째 위치한 블록까지 포함될 수 있다. 또한, 도면상에는 상기 인접 영역(820)이 상기 255 영역을 중심으로 상, 하, 좌 및 우 방향으로 2번째 위치한 블록까지 포함된다고 하였으나, 이는 일 실시 예에 불과할 뿐, 상기 인접 영역에 포함되는 블록은 더 증가하거나 줄어들 수 있을 것이다.

이에 따라, 상기 인접 영역(820)은 상기 255 영역을 중심으로 상, 하, 좌 및 우 방향으로 첫 번째 위치한 블록들을 포함하는 제 1 인접 영역(822)과, 두 번째 위치한 블록들을 포함하는 제 2 인접 영역(824)을 포함할 수 있다.

도 9는 인접 영역에 대한 밝기 증가율을 나타낸 도면이다.

도 9를 참조하면, 픽셀별 밝기 증가율은, 도면에서와 같이 255 영역에서 인접할수록 기울기가 급격하게 증가하는 것을 알 수 있다.

이는, 이미지의 포화 정도가 심하다는 것을 알 수 있으며, 포인트 스프레드 함수의 왜곡 정도가 크다는 것을 알 수 있다.

이에 따라, 실시 예에서는, 상기 이미지의 포화 정도, 다시 말해서 255 영역과의 인접 정도에 따라 상기 포인트 스프레드 함수의 왜곡 정도가 심하므로, 상기 포인트 스프레드 함수의 보상률을 높이도록 한다.

예를 들어, 255 영역은 왜곡이 발생하지 않았으므로, 원래의 포인트 스프레드 함수를 그대로 적용하고, 상기 255 영역의 인접 영역은, 상기 포인트 스프레드 함수에 일정 배수를 취한 보정 포인트 스프레드 함수를 적용한다. 또한, 상기 보정 포인트 스프레드 함수는 상기 255 영역에 인접할수록 증가하게 되며, 그에 따라 가장 멀리 떨어진 인접 영역에 적용되는 보정 포인트 스프레드 함수는 실질적으로 원래의 포인트 스프레드 함수와 동일해질 것이다.

즉, 도 10을 참조하면, 실시 예에서는 255 영역에는 원래의 포인트 스프레드 함수, 즉 기준 포인트 스프레드 함수를 적용하여 원 이미지를 복원한다.

또한, 상기 255 영역에 가장 인접해 있는 제 1 인접 영역(A)은 상기 기준 포인트 스프레드 함수에 제 1 배수를 취한 제 1 보정 포인트 스프레드 함수를 적용한다.

또한, 상기 255 영역에 두 번째로 인접해 있는 제 2 인접 영역(B)은 상기 기준 포인트 스프레드 함수에 제 2 배수를 취한 제 2 보정 포인트 스프레드 함수를 적용한다.

이때, 상기 제 1 보정 포인트 스프레드 함수에 적용되는 제 1 배수는, 상기 제 2 보정 포인트 스프레드 함수에 적용되는 제 2 배수보다 크다. 즉, 상기 255 영역과의 인접 정도에 따라 상기 포인트 스프레드 함수의 왜곡 정도가 심하므로, 보다 높은 배수를 취하여 보정 포인트 스프레드 함수를 산출한다.

예를 들어, 상기 기준 포인트 스프레드 함수는 1*PSF일 수 있고, 상기 제 1 보정 포인트 스프레드 함수는 5*PSF일 수 있으며, 상기 제 2 보정 포인트 스프레드 함수는 3*PSF일 수 있다.

이미지 복원부(134)는 상기 기준 포인트 스프레드 함수 및 보정 포인트 스프레드 함수가 결정되면, 상기 기준 포인트 스프레드 함수 및 보정 포인트 스프레드 함수의 역수를 취하여 콘볼루션을 수행함으로써, 플레어 영역이 제거된 원 이미지를 복원한다.

한편, 상기와 같은 방법으로 보정 포인트 스프레드 함수를 적용하여도 되지만, 보다 정확한 플레어 제거를 위해 상기 플레어 영역으로 지정된 영역을 보다 세분화하는 작업을 수행할 수 있다.

즉, 상기에서는 255 영역을 중심으로 인접한 2개의 블록까지 플레어 영역으로 지정되었으며, 이에 따라 2개의 보정 포인트 스프레드 함수가 적용되었다.

이는, 플레어 제거가 가능하지만, 플레어 제거의 만족도를 최대로 올리지는 못할 수 있다.

이에 따라, 실시 예에서는 도 11에서와 같이, 상기 플레어 영역이 지정되면, 상기 영역 분할부(131)는 상기 플레어 영역에 대해 보다 세분화된 분할 작업을 수행한다.

즉, 기존에는 2개의 블록만이 플레어 영역으로 지정되었지만, 상기 2개의 블록을 5개 블록으로 세분화하여, 5개의 인접 블록이 상기 플레어 영역에 포함되도록 한다.

이에 따라, 상기 5개의 인접 블록에 대한 보정 포인트 스프레드 함수를 산출하고, 이에 대한 역수를 취하여 원 이미지 복원이 이루어지도록 한다.

즉, 255 영역과 제일 인접해 있는 제 1 인접 블록에 제 1 보정 포인트 스프레드 함수를 적용하고, 두번째로 인접해 있는 제 2 인접 블록에 제 2 보정 포인트 스프레드 함수를 적용하며, 세 번째로 인접해 있는 제 3 인접 블록에 제 3 보정 포인트 스프레드 함수를 적용하고, 네 번째로 인접해 있는 제 4 인접 블록에 제 4 보정 포인트 스프레드 함수를 적용하며, 다섯 번째로 인접해 있는 제 5 인접 블록에 제 5 보정 포인트 스프레드 함수를 적용한다.

이때, 상기 제 1 보정 포인트 스프레드 함수 내지 제 5 보정 포인트 스프레드 함수의 관계는, 상기 255 영역에서 멀어질수록 작아지며, 상기 255 영역과 가장 먼 블록에 적용되는 보정 포인트 스프레드 함수는 기준 포인트 스프레드 함수와 거의 동일하게 된다.

상기와 같은 보정 포인트 스프레드 함수를 적용하여 콘볼루션을 수행하게 되면, 도 12와 같이, 실제 광원과 같은 물체 영역은 그대로 있고, 그 주변에 발생하는 플레어만 효과적으로 제거할 수 있다.

또한, 플레어 영역을 제외한 다른 영역에 대해서는 기준 포인트 스프레드 함수가 그대로 적용되기 때문에, 상기 다른 영역에서 발생하는 화질 열화를 방지할 수 있다.

상기와 같은 실시 예에 의하면, 영상을 분석하여 플레어가 발생한 영역을 검출하고, 그에 따라 서로 다른 포인트 스프레드 함수를 적용하여 상기 플레어를 제거함으로써, 이미지의 화질 열화 없이 원 이미지를 용이하게 복원할 수 있다.

도 13 내지 15는 실시 예에 따른 영상 처리 장치의 영상 처리 방법을 단계별로 설명하는 흐름도이다.

먼저, 도 13을 참조하면, 이미지 처리 장치는 렌즈(110)를 통해 입력되는 이미지를 수신한다(101단계).

이후, 상기 이미지가 수신되면, 상기 수신된 이미지의 휘도 레벨을 이용하여, 255 영역이 존재하는지를 판단하고, 상기 255 영역이 존재한다면, 상기 255 영역의 인접 영역을 플레어 영역으로 확인한다(102단계).

상기 플레어 영역은, 상기 255 영역을 중심으로 A번째까지 떨어진 인접 블록일 수 있다.

상기 플레어 영역이 확인되면, 이미지 처리장치는, 렌즈(110)로부터 기준 포인트 스프레드 함수를 도출한다(103단계).

이후, 상기 플레어 영역에 적용된 보정 포인트 스프레드 함수를 결정한다(104단계).

즉, 상기 255 영역과 인접할수록 상기 기준 포인트 스프레드 함수에 높은 상수의 배수를 곱하여, 상기 보정 포인트 스프레드 함수를 산출한다. 이때, 상기 산출되는 보정 포인트 스프레드 함수는 상기 255 영역에서 가장 인접한 인접 블록에 적용될 값이 제일 크고, 그에 따라 상기 255 영역에서 멀어질수록 작아질 것이다.

이후, 상기 이미지 처리 장치는 상기 기준 포인트 스프레드 함수 및 보정 포인트 스프레드 함수를 이용하여 원 이미지를 복원한다(105단계).

다음으로, 도 14를 참조하면, 상기 이미지가 수신되면, 상기 수신된 이미지를 복수의 블록으로 분할한다(201단계).

이후, 상기 분할된 블록 각각에 대하여, 픽셀별 휘도 레벨을 확인한다(202단계).

상기 픽셀별 휘도 레벨이 확인되면, 상기 블록 중 255 영역이 존재하는지 여부를 판단한다(203단계).

즉, 255 레벨을 가지는 픽셀의 수가 기설정된 기준치 이상인 블록이 존재하는지 여부를 판단한다.

상기 255 영역이 존재하면, 상기 255 영역을 중심으로 A 번째까지 인접해 있는 블록들을 인접 영역으로 판단한다(204단계).

이후, 상기 A번째 인접 블록까지 적용될 보정 포인트 스프레드 함수를 결정한다(205단계). 상기 보정 포인트 스프레드 함수의 결정 방법에 대해서는 상기에서 설명하였음로, 이에 대한 설명은 생략한다.

상기 보정 포인트 스프레드 함수가 결정되면, 결정된 보정 포인트 스프레드 함수와, 상기 기준 포인트 스프레드 함수를 이용하여 상기 이미지의 각 블록에 대한 복원 과정을 수행한다(206단계).

한편, 상기 255 영역이 존재하지 않으면, 센서 포화가 발생하지 않았다고 판단하고, 그에 따라 기준 포인트 스프레드 함수를 확인한다(207단계).

이후, 상기 확인한 기준 포인트 스프레드 함수를 상기 이미지의 모든 블록에 적용하여 원 이미지를 복원한다(208단계).

다음으로, 도 15를 참조하면, 상기 플레어 영역이 판단되면, 상기 판단된 플레어 영역을 별도의 분리한다(301단계).

이후, 상기 분리된 플레어 영역을 이전 분할 조건보다 세분화하여, 더욱 많은 블록으로 분할한다(302단계).

다음으로, 상기 세분화되어 분할된 각각의 인접 블록에 적용될 보정 포인트 스프레드 함수를 결정한다(303단계),

이후, 상기 결정된 보정 포인트 스프레드 함수를 이용하여 원 이미지를 복원한다(304단계).

실시 예에 의하면, 영상을 분석하여 플레어가 발생한 영역을 검출하고, 그에 따라 서로 다른 포인트 스프레드 함수를 적용하여 상기 플레어를 제거함으로써, 이미지의 화질 열화 없이 원 이미지를 용이하게 복원할 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

110: 렌즈
120: 이미지 센서부
130: 영상 처리부
140: 표시부
150: 입력부
160: 저장부
170: 제어부
131: 영역 분할부
132: 휘도 레벨 판단부
133: 플레어 영역 검출부
134: 이미지 복원부
135: 이미지 출력부

Claims (15)

1. 물체를 촬영한 이미지를 수신하는 단계;
   상기 수신된 이미지를 복수의 블록으로 제 1 분할하는 단계;
   상기 제 1 분할된 각각의 블록에 포함된 픽셀의 밝기 정보를 획득하는 단계;
   상기 획득한 밝기 정보를 이용하여, 상기 각각의 블록 중 최대 밝기 레벨을 가지는 픽셀의 수가 기설정된 기준치 이상이 되는 제 1 블록 영역의 존재 여부를 판단하는 단계;
   상기 제 1 블록 영역이 존재하면, 상기 제 1 블록 영역을 상기 물체가 촬영된 영역으로 인식하고, 상기 제 1 블록 영역을 둘러싸는 인접 블록을 플레어 영역으로 검출하는 단계;
   상기 플레어 영역, 상기 제 1 블록 영역, 및 상기 플레어 영역과 상기 제 1 블록 영역을 제외한 외부 영역에 적용될 이미지 복원 조건을 결정하는 단계; 및
   상기 결정된 이미지 복원 조건을 이용하여 원래의 이미지를 복원하는 단계를 포함하여 이루어지며,
   상기 제 1 블록 영역에 적용되는 이미지 복원 조건은 상기 플레어 영역에 적용되는 이미지 복원 조건과 다르고,
   상기 제 1 블록 영역에 적용되는 이미지 복원 조건과 상기 외부 영역에 적용될 이미지 복원 조건은 동일한 이미지 처리 방법.
2. 제 1항에 있어서,
   상기 플레어 영역이 검출되면, 상기 검출된 플레어 영역을 복수의 블록으로 제 2 분할하는 단계를 더 포함하고,
   상기 제 2 분할된 블록의 크기는,
   상기 제 1 분할된 블록의 크기보다 작으며,
   상기 이미지의 복원 조건을 결정하는 단계는,
   상기 제 2 분할된 상기 플레어 영역의 각각의 블록에 대한 이미지 복원 조건을 결정하는 단계를 포함하는 이미지 처리 방법.
3. 제 1항에 있어서,
   상기 이미지 복원 조건을 결정하는 단계는,
   렌즈로부터 기준 포인트 스프레드 함수를 도출하는 단계와,
   상기 도출한 기준 포인트 스프레드 함수를 이용하여 상기 플레어 영역에 적용될 보정 포인트 스프레드 함수를 산출하는 단계를 포함하는 이미지 처리 방법.
4. 제 3항에 있어서,
   상기 플레어 영역에는,
   상기 산출한 보정 포인트 스프레드 함수가 적용되고,
   상기 제 1 블록 영역과 상기 외부 영역에는,
   상기 도출한 기준 포인트 스프레드 함수가 적용되는 이미지 처리 방법
5. 렌즈;
   상기 렌즈를 통해 들어온 빛을 전기적인 이미지로 변환하는 이미지 센서;
   상기 이미지 센서를 통해 변환된 이미지를 복수의 블록으로 분할하고, 상기 분할된 각각의 블록에 대한 밝기 정보를 이용하여 플레어 영역을 검출하며, 상기 검출된 플레어 영역과, 그 이외의 영역에 서로 다른 이미지 복원 조건을 적용하여 원 이미지를 복원하는 영상 처리부;를 포함하고,
   상기 영상 처리부는,
   상기 이미지를 복수의 블록으로 제 1 분할하는 영역 분할부와,
   상기 영역 분할부를 통해 제 1 분할된 각각의 블록에 포함된 픽셀의 밝기 정보를 획득하는 휘도 레벨 판단부와,
   상기 획득한 밝기 정보를 토대로 상기 각각의 블록 중 최대 밝기 레벨을 가지는 픽셀의 수가 기설정된 기준치 이상이 되는 제 1 블록 영역의 존재 여부를 판단하고, 상기 제 1 블록 영역이 존재하면 상기 제 1 블록 영역을 물체 촬영 영역으로 인식하여 상기 제 1 블록 영역을 둘러싸는 인접 블록을 플레어 영역으로 검출하는 플레어 영역 검출부와,
   상기 제 1 블록 영역, 상기 플레어 영역, 및 상기 제 1 블록 영역과 상기 플레어 영역을 제외한 외부 영역의 이미지 복원 조건을 이용하여 원래의 이미지를 복원하는 이미지 복원부를 포함하고,
   상기 제 1 블록 영역에 적용되는 이미지 복원 조건은 상기 플레어 영역에 적용되는 이미지 복원 조건과 다르고,
   상기 제 1 블록 영역에 적용되는 이미지 복원 조건과 상기 외부 영역에 적용될 이미지 복원 조건은 동일한 이미지 처리 장치.
6. 제 5항에 있어서,
   상기 이미지 복원 조건은,
   상기 이미지 복원에 사용될 포인트 스프레드 함수를 포함하는 이미지 처리 장치.
7. 삭제
8. 삭제
9. 제 5항에 있어서,
   상기 플레어 영역에 적용될 이미지 복원 조건을 설정하고, 상기 설정된 이미지 복원 조건에 따라 상기 이미지의 복원이 이루어지도록 제어하는 제어부를 더 포함하며,
   상기 제어부는,
   상기 제 1블록 영역과 상기 플레어 영역에 적용될 이미지 복원 조건을 서로 다르게 설정하고,,
   상기 제 1블록 영역과 상기 외부 영역에 적용된 이미지 복원 조건은 동일하게 설정하는 이미지 처리 장치.
10. 제 9항에 있어서,
    상기 제어부는,
    상기 렌즈로부터 기준 포인트 스프레드 함수를 도출하고, 상기 도출한 기준 포인트 스프레드 함수를 이용하여 상기 플레어 영역에 적용될 보정 포인트 스프레드 함수를 산출하는 이미지 처리 장치.
11. 제 10항에 있어서,
    상기 제어부는,
    상기 플레어 영역에 상기 산출한 보정 포인트 스프레드 함수를 적용하고,
    상기 제 1 블록 영역과 상기 외부 영역에 상기 도출한 기준 포인트 스프레드 함수가 적용되어 이미지 복원이 이루어지도록 하는 이미지 처리 장치.
12. 제 10항에 있어서,
    상기 제어부는,
    상기 제 1 블록 영역과의 인접 정도에 따라 상기 플레어 영역으로 지정된 각각의 인접 블록에 적용될 보정 포인트 스프레드 함수를 산출하는 이미지 처리 장치.
13. 제 12항에 있어서,
    상기 인접 블록은,
    상기 제 1 블록 영역으로부터 첫 번째 인접한 제 1 인접 블록 내지 N 번째 인접한 제 N 인접 블록을 포함하며,
    상기 제 1 인접 블록 내지 제 N 인접 블록에 대해 산출되는 보정 포인트 스프레드 함수는 서로 다른 이미지 처리 장치.
14. 제 13항에 있어서,
    상기 영상 처리부는,
    상기 각각의 인접 블록에 대해 산출된 보정 포인트 스프레드 함수 및 상기 기준 포인트 스프레드 함수를 이용하여 콘볼류션을 수행하는 이미지 처리 장치.
15. 제 10항에 있어서,
    상기 영역 분할부는,
    상기 플레어 영역이 검출되면, 상기 검출된 플레어 영역을 세분화된 블록으로 제 2 분할하고,
    상기 제 2 분할된 블록의 크기는,
    상기 제 1 분할된 블록의 크기보다 작으며,
    상기 제어부는,
    상기 제 2 분할된 블록에 각각 적용될 보정 포인트 스프레드 함수를 산출하는 이미지 처리 장치.

Images