KR20140117242A - 영상 처리 장치 및 방법 - Google Patents

Abstract

영상 처리와 관련된 다양한 실시예들이 기술된 바, 한 실시예에 따르면, 영상 처리 장치에 있어서, 복수의 이미지 픽셀들과 복수의 초점 검출 픽셀들을 포함하고, 전체 픽셀들 중 미리 정해진 규칙에 따라 초점 검출 픽셀들을 포함하는 일부 픽셀들의 값을 읽어 제1 샘플링 영상을 출력하는 이미지 센서와, 상기 제1 샘플링 영상에 포함된 초점 검출 픽셀들의 위치의 픽셀들에 대해, 상기 초점 검출 픽셀들의 값들을 이미지 픽셀들의 값으로 복원하여 복원된 영상을 출력하며, 상기 복원된 영상의 픽셀들에 대해 미리 정해진 방식에 따른 비닝(Bining)을 수행하여, 상기 복원된 영상이 미리 정해진 비율로 해상도가 축소된 영상을 출력한다. 이외에도다양한 다른 실시예들이 가능하다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}

본 발명의 다양한 실시 예들은 영상 처리 장치 및 방법에 관한 것이다.

통상적으로 카메라 등의 디지털 영상 촬영 장치는 이미지 센서(image sensor)를 구비하고, 이미지 센서를 이용하여 피사체에 대한 영상을 처리한다.

디지털 영상 촬영 장치 내에서 이미지 센서는 촬영 대상으로부터 반사되어 나온 빛이 렌즈를 통과해 이미지 센서에 닿아 화상이 맺혀지면, 맺혀진 화상을 빛의 강약에 따라 전기 신호의 강약으로 바꾸어 그 화상을 디지털 이미지 데이터로 변환하여 출력하는 센서이다.

통상적으로 이미지 센서는 복수의 이미지 픽셀들과 출력 회로로 구성되고, 복수의 이미지 픽셀들은 각각에 입사되는 빛의 세기에 해당하는 전기적 신호를 생성하고, 출력(readout) 회로를 통해 해당 픽셀 신호가 출력된다. 출력된 픽셀 신호들은 이미지 프로세서로 입력되어 적절한 디지털 영상 신호 처리를 거쳐 촬영된 이미지가 출력 된다.

그런데 이미지 센서 내의 일부 픽셀을 영상을 위한 신호가 아닌, 초점 조절을 위한 신호를 취득하는 초점 검출 픽셀로 치환하여 빠른 초점 조절이 가능한 이미지 센서가 상용화 되고 있다. 이러한 센서에서 복수의 이미지 픽셀들은 이미지 신호를 출력하는데 이용되고, 초점 검출 픽셀은 위상차 신호와 같이 이미지의 초점을 맞추는데 필요한 신호를 출력하는데 이용된다. 초점 검출 픽셀은 이미지 신호를 얻기 위한 이미지 픽셀들과 구조가 다르며, 이미지 신호를 출력하는데 이용될 수 없다.

도 1은 이미지 센서의 픽셀들을 나타낸 도면이다. 도 1을 참조하면, 각각의 R 픽셀, G 픽셀, B 픽셀은 이미지 픽셀들을 나타내고, F1 픽셀, F2 픽셀은 초점 검출 픽셀들을 나타낸다. 이미지 센서는 각각의 R 픽셀, G 픽셀, B 픽셀의 신호를 읽어내어 이미지 신호를 출력하고, F1 픽셀, F2 픽셀의 신호를 읽어 내어 초점을 검출하게 된다.

이때 이미지 센서가 픽셀 신호를 읽어내는 방법은 디지털 영상 촬영 장치의 모드에 따라 다를 수 있다. 예를 들면, 디지털 영상 촬영 장치의 모드가 고해상도 촬영 모드인지 저해상도 촬영 모드인지에 따라 다르다. 고해상도 촬영 모드는 실제 사진을 촬영하는 이미지 촬영 모드 모드일 수 있고, 저해상도 촬영 모드는 라이브 뷰(liveview) 모드 또는 동영상 모드와 같이 해상도가 낮은 이미지를 촬영하는 모드일 수 있다. 디지털 영상 촬영 장치는 고해상도 촬영 모드에서는 전체 픽셀들의 신호를 읽어낼 수 있고, 저해상도 촬영 모드에서는 일정한 규칙에 따라 일부 픽셀들의 신호를 샘플링하여 읽어낼 수 있다.

일부 픽셀의 신호를 샘플링하여 출력하여 사용하는 경우에는, 영상의 신호대 잡음비 (SNR)을 높이기 위해 두 개 이상의 pixel 신호를 가산하여 읽어내는 비닝(binning) 동작을 수행 하는 것이 일반적이다. 비닝에는 아날로그 회로를 사용하여 각 픽셀 신호의 평균적인 신호를 출력하는 아날로그 비닝과, 디지털 신호로 변환된 복수의 픽셀 신호들을 소정의 공식을 사용하여 하나의 픽셀 신호로 변환하는 디지털 비닝이 있다.

이미지 센서가 전체 픽셀들의 신호를 읽어내는 경우를 모든 픽셀들의 신호가 읽혀지게 되어, 고해상도의 이미지 출력이 가능하며, 초점 검출 픽셀의 신호도 모두 출력 할 수 있다. 그런데 이미지 센서가 전체 픽셀들 중 일부 픽셀들의 신호를 읽어내는 샘플링 모드로 동작하는 경우에는 일부 혹은 전체 초점 검출 픽셀의 신호를 읽어내지 않는 경우가 발생할 수 있다. 이러한 경우 초점 검출에 필요한 정도의 초점 검출 픽셀의 신호를 얻을 수 없어 초점 조절이 불가능하다. 이에 따라 초점 검출 픽셀을 포함하는 이미지 센서는 전체 픽셀들 중 일부 픽셀들의 신호를 읽어내면서도 초점 검출 픽셀의 신호는 빠뜨리지 않고 읽을 수 있는 샘플링 방식이 필요하다.

도 2a 및 도 2b는 이미지 센서가 전체 픽셀들 중 일부 픽셀들의 신호만 샘플링하여 읽는 방식을 설명하기 위한 도면이다.

도 2a 및 도 2b를 참조하면, 이미지 센서는 이미지 픽셀들에 대해서는 복수개의 이미지 픽셀들의 신호들을 비닝(binning)하여 하나의 픽셀의 신호로 읽고, 초점 검출 픽셀들에 대해서는 비닝을 수행하지 않고, 해당 픽셀의 신호를 그대로 읽을 수 있다.

도 2a를 참조하면, 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재하는 경우, 초점 검출 픽셀을 제외한 나머지 이미지 픽셀들의 신호들을 비닝하여 출력하고, 초점 검출 픽셀의 신호는 그대로 읽어 출력할 수 있다. 예컨대 3개의 이미지 픽셀들(예컨대, V0행 H0열의 R 픽셀과, V0행 H2열의 R 픽셀과 V0행 H4열의 R 픽셀) 을 비닝하여 하나의 R 픽셀 신호를 출력 할 수 있다. 통상의 경우 비닝은 센서의 readout 회로를 사용한 아날로그 비닝을 사용한다. 그런데, 초점 검출 픽셀 예컨대 F1 픽셀이 3개의 픽셀들에 포함되는 경우에는 3개의 픽셀 중 F1 픽셀을 제외한 나머지 2개의 을 비닝하여 하나의 픽셀의 신호로 출력하고, F1 픽셀의 신호는 별도로 읽어 출력할 수 있다. 이때 초점 검출 픽셀 F1 의 신호는 이미지에 사용되지 않는다.

도 2b를 참조하면, 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재하는 경우, 초점 검출 픽셀의 신호만 읽어 출력하고, 나머지 이미지 픽셀들의 신호들은 읽지 않고 추후에 결함 화소 보간(Defect Pixel Correction, DPC) 알고리즘을 이용하여 복원되도록 할 수 있다. 예컨대 3개의 이미지 픽셀들을 비닝하여 하나의 픽셀의 신호로 읽고, 초점 검출 픽셀 F1 픽셀이 3개의 픽셀들에 포함되는 경우에는 3개의 픽셀 중 F1 픽셀을 제외한 나머지 2개의 픽셀들의 신호를 읽지 않고 추후에 결함 화소 보간 방식으로 복원하며, F1 픽셀의 신호만 읽어 출력할 수 있다.

그러나 도 2a와 같이 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재함에 따라 초점 검출 픽셀을 제외한 나머지 이미지 픽셀들의 신호들을 비닝하여 출력하는 경우, 초점 검출 픽셀 위치의 이미지 신호가 검출되지 않기 때문에, 초점 검출 픽셀 위치의 이미지의 신호가 비닝 후 이미지 신호에 반영되는 경우와 반영되지 않는 경우의 차가 커서 화질에 문제가 발생하게 된다.

예를 들어 세 개의 픽셀들의 신호들을 비닝하여 하나의 픽셀의 신호를 출력한다고 가정하면, 두 개의 이미지 신호들의 값이 각각 0이었고, 초점 검출 픽셀위치의 이미지 신호가 100인 경우, 정상적으로 세 개의 픽셀들의 신호들을 비닝하면 33의 값이 나오지만, 세 번째 픽셀이 초점 검출 픽셀인 경우에는 두 개의 이미지 픽셀 신호만을 비닝한 0의 값이 나오게 되어 차이가 많이 나게 되고, 이는 화질에 반영되어 해당 픽셀값이 주변 픽셀과 급격한 차이가 나는 현상이 발생하게 된다. 따라서 화질 저하의 원인이 되는 문제점이 있다.

또한 도 2b와 같이 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재함에 따라 초점 검출 픽셀의 신호만 읽어 출력하고, 나머지 이미지 픽셀들의 신호들은 읽지 않고 추후에 결함 화소 보간(Defect Pixel Correction, DPC) 알고리즘을 이용하여 복원되도록 하는 방식의 경우에는 결함 화소 보간 알고리즘이 의 한계로 인해 복원된 영상에 오차가 발생하여 화질이 저하될 수 있는 문제점이 있다.

좀더 구체적으로 예를 들면, 비닝 후의 출력 영상은 저해상도 영상인데 반해, 저해상도 영상에서 주변 영상의 변화량, 에지 방향 등으로 결함 화소의 값을 추정하는 결함 화소 보간 알고리즘을 이용하면, 고해상도 영상을 사용하여 결함 화소 보간 알고리즘을 적용하는 것보다 결함 화소 보간 성능이 낮기 때문에 화질이 더욱 저하될 수 있다. 또한 초점 검출 픽셀의 신호만 읽으므로 초점 검출 픽셀의 수만큼 결함 화소가 발생하기 때문에 결함 화소로 처리 해야 하는 픽셀들의 수가 더욱 높아 지게 되어 그 만큼 화질의 손실이 발생한다. 예를 들어 12x12 픽셀들에 2개의 초점 검출 픽셀이 존재하는 경우, 결함 화소로 취급하여 보간을 해야 하는 픽셀의 비율은 2/(12*12) = 1.39% 이지만, 이 영상을 세 개의 픽셀들을 비닝하는 방법을 이용하여 픽셀 신호를 출력하는 경우에는 4x4 화소에서 두 개의 픽셀들의 결함 화소로 처리해야 하므로 12.5% 의 픽셀들을 결함 화소로 처리하여 복원 해야 하기 때문에, 화질 손실이 더욱 커지는 문제점이 있다.

따라서 본 발명의 다양한 실시 예들은 초점 검출 픽셀과 같이 이미지 신호를 출력하는데 이용되지 않는 픽셀을 포함하는 이미지 센서가 동영상 촬영이나 라이브뷰 동작을 위한 저해상도 모드에서 화질의 손상 없이 이미지 픽셀들의 신호들과 초점 검출 픽셀들의 신호들을 읽을 수 있도록 하는 영상 처리 장치 및 방법을 제공할 수 있다.

또한 본 발명의 다양한 실시 예들은 초점 검출 픽셀과 같이 이미지 신호를 출력하는데 이용되지 않는 픽셀을 포함하는 이미지 센서가 동영상 촬영이나 라이브 뷰 동작을 위한 저해상도 모드에서 센서 출력 해상도를 필요한 영상 해상도의 정수배로 출력한 후 후처리를 통해 화질 손상 없이 이미지 데이터를 취득할 수 있도록 하는 영상 처리 장치 및 방법을 제공할 수 있다.

본 발명의 다양한 실시 예들은 영상 처리 장치에 있어서, 복수의 이미지 픽셀들과 복수의 초점 검출 픽셀들을 포함하고, 전체 픽셀들 중 미리 정해진 규칙에 따라 초점 검출 픽셀들을 포함하는 일부 픽셀들의 값을 읽어 제1 샘플링 영상을 출력하는 이미지 센서와, 상기 제1 샘플링 영상에 포함된 초점 검출 픽셀들의 위치의 픽셀들에 대해, 상기 초점 검출 픽셀들의 값들을 이미지 픽셀들의 값으로 복원하여 복원된 영상을 출력하며, 상기 복원된 영상의 픽셀들에 대해 미리 정해진 방식에 따른 비닝(Bining)을 수행하여, 상기 복원된 영상이 미리 정해진 비율로 해상도가 축소된 영상을 출력하는 이미지 프로세서를 포함한다.

또한 본 발명의 다양한 실시 예들은 영상 처리 방법에 있어서, 복수의 이미지 픽셀들과 복수의 초점 검출 픽셀들을 포함하고, 전체 픽셀들 중 미리 정해진 규칙에 따라 초점 검출 픽셀들을 포함하는 일부 픽셀들의 값을 읽어 제1 샘플링 영상을 출력하는 동작과, 상기 제1 샘플링 영상에 포함된 초점 검출 픽셀들의 위치의 픽셀들에 대해, 상기 초점 검출 픽셀들의 값들을 이미지 픽셀들의 값으로 복원하여 복원된 영상을 출력하는 동작과, 상기 복원된 영상의 픽셀들에 대해 미리 정해진 방식에 따른 비닝(Bining)을 수행하여, 상기 복원된 영상이 미리 정해진 비율로 해상도가 축소된 영상을 출력하는 동작을 포함한다.

본 발명의 다양한 실시 예들은 초점 검출 픽셀 등 영상 정보로 사용하기 어려운 데이터를 포함하는 픽셀을 가지는 디지털 이미지 센서로부터 전체 픽셀값들에서 일부 픽셀값들을 제공받는 경우, 초점 검출 픽셀로 인한 화질 손실을 최소화 하면서도 초점 검출 픽셀값을 정확히 얻어 초점을 조절할 수 있게 한다.

또한 본 발명의 다양한 실시 예들은 초점 검출 픽셀과 같이 이미지 신호를 출력하는데 이용되지 않는 픽셀을 포함하는 이미지 센서가 동영상 촬영이나 liveview 동작을 위한 저해상도 모드에서 샘플링 또는 비닝 처리 후에도 화질의 손상 없이 이미지 픽셀들의 신호들과 초점 검출 픽셀들의 신호들을 읽을 수 있도록 한다.

도 1은 이미지 센서의 픽셀들을 나타낸 도면
도 2a 및 도 2b는 이미지 센서가 전체 픽셀들 중 일부 픽셀들의 신호만 샘플링하여 읽는 방식을 설명하기 위한 도면
도 3은 본 발명의 실시 예에 따른 영상 처리 장치의 구성도
도 4는 본 발명의 실시 예에 따른 영상 처리 장치의 동작 흐름도
도 5는 본 발명의 제1 실시 예에 영상 처리 방법을 설명하기 위한 도면
도 6은 본 발명의 제2 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면
도 7은 본 발명의 제3 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면
도 8은 본 발명의 제4 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면
도 9는 본 발명의 제5 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면
도 10 내지 도 13은 본 발명의 실시 예들을 적용하지 않고 얻은 영상과 본 발명의 실시 예들을 적용하여 얻은 영상의 화질을 비교하여 설명하기 위한 도면

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 다양한 실시예들을 상세하게 설명한다. 다만, 본 발명이 다양한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.

도 3은 본 발명의 일 실시 예에 따른 영상 처리 장치(300)의 개략적인 블록도이다. 도 3을 참조하면, 영상 처리 장치(300)는 렌즈부(302), 이미지 센서(304), 이미지 프로세서(306), 제어부(308), 저장부(310), 디스플레이부(312)를 포함한다.

렌즈부(302)는 복수의 렌즈들을 포함하며, 촬영 대상으로부터 반사되어 나온 빛을 통과시킨다. 이미지 센서(304)는 복수의 이미지 픽셀들과 복수의 초점 검출 픽셀들을 포함하고, 촬영 대상으로부터 반사되어 나온 빛이 렌즈부(302)를 통과하여 상기 복수의 이미지 픽셀들과 상기 복수의 초점 검출 픽셀들에 닿아 화상이 맺혀지면, 맺혀진 화상을 빛의 강약을 전기 신호의 강약으로 바꾸고 전기 신호의 강약을 이용하여 화상 이미지의 픽셀값들과 초점 검출 픽셀값들을 읽어 출력한다. 특히 이미지 센서(304)는 라이브 뷰(liveview) 모드 또는 동영상 모드와 같이 해상도가 낮은 이미지를 촬영하는 저해상도 모드에서 전체 픽셀들 중 일정한 규칙에 따라 일부 픽셀들의 신호를 샘플링하여 읽어 출력한다. 예컨대 이미지 센서(304)는 렌즈부(302)를 통과한 화상에 대한 전체 픽셀값들 중 미리 정해진 규칙에 따라 초점 검출 픽셀들을 포함하는 일부 픽셀값들을 읽어 제1 샘플링 영상을 출력한다. 이때 미리 정해진 규칙은 2Read2Skip 샘플링 방식 또는 1Read2Skip 샘플링 방식을 포함하는 다양한 규칙이 될 수 있다.

이미지 프로세서(306)는 이미지 센서(304)에 의해 출력된 제1 샘플링 영상에 해당하는 픽셀값들을 이용하여 이미지를 처리한다. 예컨대 이미지 프로세서(306)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들의 위치의 픽셀들에 대해 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 적용하여 초점 검출 픽셀들의 값들을 보간된 이미지 픽셀들의 값들로 복원하고, 초점 검출 픽셀들의 위치의 픽셀값들이 보간된 이미지 픽셀들의 값들이 되도록 복원된 영상을 산출하며, 상기 복원된 영상의 픽셀들에 대해 미리 정해진 규칙에 따른 비닝(Bining)을 수행하여, 복원된 영상이 미리 정해진 비율(예컨대 1/2)로 축소된 해상도를 갖도록 축소하여 최종 영상을 출력한다. 초점 검출 픽셀값들은 초점 조절부(미도시)에 제공되어 상기 렌즈부(302)의 초점을 조절하도록 하거나, 저장부(310)에 저장되어 초점 조절부(미도시)에 의해 상기 렌즈부(302)의 초점이 조절되도록 한다. 본 발명의 실시 예에서는 위상차 초점 조절 방식이 이용될 수 있다.

제어부(308)는 상기 영상 처리 장치(300)의 전반적인 제어 동작을 수행하고, 본 발명의 실시 예에 따라 저해상도 모드에서 이미지 센서(304)가 전체 픽셀들 중 일정한 규칙에 따라 일부 픽셀들의 값을 샘플링하여 읽어 출력하도록 제어한다. 또한 제어부(308)는 저해상도 모드에서 이미지 프로세서(306)으로부터 출력되는 최종 영상에 포함된 픽셀들의 값을 이용하여 후처리를 수행하고, 후처리된 영상이 디스플레이부(312)에 표시되도록 하거나 저장부(310)에 저장되도록 한다.

저장부(310)는 이미지 센서(304)에 의해 읽혀진 이미지 픽셀값들 및 초점 검출 픽셀값들을 저장한다. 디스플레이부(312)는 제어부(308)의 제어 하에 영상을 표시한다.

도 4는 본 발명의 실시 예에 따른 영상 처리 장치(300)의 동작 흐름도이다. 도 4를 참조하면, 영상 처리 장치(300)는 402동작에서, 이미지 센서(304)를 이용하여 렌즈부(302)를 통과한 화상에 대한 전체 픽셀값들 중 미리 정해진 규칙에 따라 초점 검출 픽셀들을 포함하는 일부 픽셀값들을 읽어 제1 샘플링 영상을 출력한다. 이때 미리 정해진 규칙은 2Read2Skip 샘플링 방식 또는 1Read2Skip 샘플링 방식을 포함하며, 상기 샘플링 이외에도 다양한 샘플링 방식이 이용될 수 있으며, 샘플링이 아닌 다른 규칙이 이용될 수도 있다. 404동작에서, 영상 처리 장치(300)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들의 위치의 픽셀들에 대해 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 적용하여 초점 검출 픽셀 위치의 이미지 신호를 보간된 이미지 픽셀들의 값들로 복원한다.

그리고 406동작에서 영상 처리 장치(300)는 초점 검출 픽셀들의 위치의 픽셀값들을 상기 보간된 이미지 픽셀들의 값들로 치환하여 복원된 영상을 출력한다.

408동작에서, 영상 처리 장치는(300)는 상기 복원된 영상의 픽셀들에 대해 미리 정해진 규칙에 따른 비닝(Bining)을 수행하여, 복원된 영상이 미리 정해진 비율(예컨대 1/2)로 축소된 해상도를 갖도록 축소하여 최종 영상을 출력한다. 이때 비닝은 복수의 픽셀 신호를 소정의 공식을 사용하여 하나의 픽셀 신호로 변환하는 디지털 비닝을 사용한다. 디지털 비닝에 사용하는 공식의 예로는, 복수의 픽셀의 평균이나, 가중치를 준 평균, 합산 등이 있다.

도 5는 본 발명의 제1 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다. 도 5의 (a)는 전체 이미지 센서의 픽셀들을 나타낸다. 전체 이미지 센서의 픽셀들은 이미지 픽셀들(R, G, B)과 초점 검출 픽셀들(A1, A2)을 포함할 수 있다.

이미지 센서(304)는 도 5의 (a)와 같은 전체 픽셀들에 대해, 가로 방향에 대해서는 각 열들(C0 ~ C11)에 포함된 전체 픽셀들을 읽어 출력하고, 세로 방향에 대해서는 2행(R0, R1) 의 픽셀들을 읽고, 다음 2행(R2, R3)의 픽셀들은 스킵하는 방식 예컨대 2R2S(2Read2Skip 샘플링 방식)으로 전체 픽셀들을 읽어 도 5의 (b)와 같은 제1 샘플링 영상을 출력한다. 이때 이미지 센서(304)는 초점 검출 픽셀들(A1, A2)이 포함된 각 행은 스킵하지 않고 읽는 것이 바람직하다. 도 5의 (b)는 이미지 센서(304)가 전체 픽셀들 중 일부 픽셀들을 1차 샘플링하여 출력한 영상을 나타낸다. 도 5의 (b)의 제1 샘플링 영상은 도 5의 (a)의 전체 영상의 해상도에 비해 1/2의 해상도를 갖게 된다. 또한 세로 방향에 대해서만 샘플링되었기 때문에 가로 방향의 해상도는 전체 영상과 동일하고, 세로 방향의 해상도만 전체 영상에서 1/2 의 해상도를 갖게 된다.

이미지 센서(304)로부터 상기 도 5의 (b)와 같은 제1 샘플링 영상이 출력되면, 이미지 프로세서(306)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들(A1, A2)의 값들을 검출하고, 초점 검출 픽셀들(A1, A2) 값들을 초점 조절을 위해 저장부(310)에 저장되도록 하거나, 별도의 초점 조절부(미도시)로 제공한다. 그리고 이미지 프로세서(306)는 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 이용하여 초점 검출 픽셀들(A1, A2)의 값들을 이미지 픽셀들의 값들(B', R')로 복원하고, 도 5의 (c)와 같이 초점 검출 픽셀들(A1, A2)의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상을 산출한다.

이미지 프로세서(306)는 도 5의 (c)와 같이 초점 검출 픽셀들(A1, A2)의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상에서 가로 방향의 행에 포함된 전체 픽셀들에 대해 비닝(Bining)을 수행하여, 복원된 영상이 1/2의 해상도를 갖도록 축소한 도 5의 (d)와 같은 최종 영상을 출력한다. 이때 비닝은 소정의 공식을 사용하여 복수의 픽셀 신호를 하나의 픽셀 신호로 변환하는 디지털 비닝을 의미한다. 본 발명의 제1 실시 예에서는 2개의 픽셀들의 값들을 합산한 후, 합산된 값을 2로 나누어 하나의 픽셀의 값으로 출력한다. 예컨대 이미지 프로세서(306)는 도 5의 (c)와 같은 영상에서C0열 및, C2 열의 픽셀들의 값들을 합한 후, 2로 나누어 도 5의 (d)와 같이 하나의 c0'열의 픽셀의 값으로 출력한다. 이에 따라 도 5의 (d)를 참조하면, 최종 영상은 C0' = (C0+C2)/2. 마찬가지로 C1' = (C1+C3)/2, C4' = (C4+C6)/2, C5' = (C5+C7)/2 의 값을 갖게 된다. 한편, 본 발명의 다른 실시 예에 따르면 이미지 프로세서(306)는 비닝 대신에 이미지 리사이즈(resize) 알고리즘을 사용하여 도 5의 (c)와 같이 복원된 영상에서 가로 방향의 행에 포함된 전체 픽셀들을 1/2로 축소하여 최종 영상을 출력할 수도 있다.

전술한 바와 같은 본 발명의 제1 실시 예에 따른 영상 처리 방법을 이용하면 초점 검출 픽셀 위치의 이미지 픽셀 신호를 복원하여 이용하기 때문에, 이미지 픽셀값들 중 하나로 초점 검출 픽셀 위치의 이미지 신호를 이용하지 않는 경우보다 최종 영상의 화질이 우수하게 된다. 또한 본 발명의 제1 실시 예에 따른 영상 처리 방법을 이용하면 세로 방향의 해상도는 1/2만큼 작아지더라도 가로 방향의 해상도는 전체 영상과 동일한 1차 샘플링 영상에서 DPC를 수행하기 때문에, 가로 및 세로 방향 모두 해상도가 1/2만큼 작아진 영상에서 DPC를 수행할 때보다 보간에 사용할 수 있는 데이터의 수가 많아 더 좋은 보간 결과를 기대 할 수 있다. 또, 보간에 오차가 발생하더라도 비닝 동작에 의해서 오차가 반감되는 효과가 있다. 예를 들어 도 5의 (c)에서 A1 위치의 데이터를 DPC로 복원한 B'의 값이 e의 오차 값을 가져, B' = B+e 라고 해도, R1 행의 C4' = (C4+C6)/2 = B + e/2 가 되어, 도 5의(d)와 같은 최종 영상에서 오차는 e/2가 된다.

도 6은 본 발명의 제2 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 도 6의 (a)는 본 발명의 제2 실시 예에 따른 전체 이미지 센서의 픽셀들을 나타낸다. 본 발명의 제2 실시 예에 따른 전체 이미지 센서의 픽셀들은 이미지 픽셀들(R, G, B)과 초점 검출 픽셀들(A3, A4)을 포함할 수 있다.

이미지 센서(304)는 도 6의 (a)와 같은 전체 픽셀들에 대해, 가로 방향에 대해서는 각 열들(C0~C11)에 포함된 전체 픽셀들을 읽어 출력하고, 세로 방향에 대해서는 첫번째 1행(R0)의 픽셀들을 읽고, 다음 2행(R1, R2)의 픽셀들은 스킵하고, 다시 4행(R3)의 픽셀들은 읽는 방식 예컨대 1R2S(1Read2Skip 샘플링 방식)으로 전체 픽셀들을 읽어 도 6의 (b)와 같은 제1 샘플링 영상을 출력한다. 이때 이미지 센서(304)는 초점 검출 픽셀들(A1, A2)이 포함된 각 행은 스킵하지 않고 읽는 것이 바람직하다. 도 6의 (b)는 이미지 센서(304)가 전체 픽셀들 중 일부 픽셀들을 1차 샘플링하여 출력한 영상을 나타낸다. 도6의 (b)의 제1 샘플링 영상은 도 6의 (a)의 전체 영상의 해상도에 비해 1/3의 해상도를 갖게 된다. 또한 세로 방향에 대해서만 샘플링되었기 때문에 가로 방향의 해상도는 전체 영상과 동일하고, 세로 방향의 해상도만 전체 영상에서 1/3 의 해상도를 갖게 된다.

이미지 센서(304)로부터 상기 도 6의 (b)와 같은 제1 샘플링 영상이 출력되면, 이미지 프로세서(306)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들(A3, A4)의 값들을 검출하고, 초점 검출 픽셀들(A3, A4) 값들을 초점 조절을 위해 저장부(310)에 저장되도록 하거나, 별도의 초점 조절부(미도시)로 제공한다. 그리고 이미지 프로세서(306)는 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 이용하여 초점 검출 픽셀들(A3, A4)의 값들을 이미지 픽셀들의 값들(B', R')로 복원하고, 도 6의 (c)와 같이 초점 검출 픽셀(A3, A4)위치의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상을 산출한다.

이미지 프로세서(306)는 도 6의 (c)와 같이 초점 검출 픽셀들(A3, A4)의 값들이 이미지 픽셀들의 값들(R?, B?)로 복원된 영상에서 가로 방향의 행에 포함된 전체 픽셀들에 대해 비닝(Bining)을 수행하여, 복원된 영상이 1/3의 해상도를 갖도록 축소한 도 6의 (d)와 같은 최종 영상을 출력한다. 이때 비닝은 소정의 공식을 사용하여 복수의 픽셀 신호를 하나의 픽셀 신호로 변환하는 디지털 비닝을 의미한다. 본 발명의 제2 실시 예에서는 3개의 픽셀들의 값들을 합산한 후, 합산된 값을 3으로 나누어 하나의 픽셀의 값으로 출력한다. 예컨대 이미지 프로세서(306)는 도 6의 (c)와 같은 영상에서C0열 및, C2 열, C4열의 픽셀들의 값들을 합한 후, 3으로 나누어 도 6의 (d)와 같이 하나의 c0'열의 픽셀의 값으로 출력한다. 이에 따라 도 6의 (d)를 참조하면, 최종 영상에서 C0' = (C0+C2+C4)/3이 되며, 마찬가지로 C3' = (C3+C5+C7)/3 이고, C6' = (C6+C8+C10)/3 ... 등이 된다. 혹은 중앙의 픽셀에 가중치를 적용하여 C0' = (C0+2*C2+C4)/4 의 공식을 사용 할 수도 있다. 본 발명의 다른 실시 예에 따르면 이미지 프로세서(306)는 비닝 대신에 이미지 리사이즈(resize) 알고리즘을 사용하여 도 6의 (c)와 같이 복원된 영상에서 가로 방향의 행에 포함된 전체 픽셀들을 1/3로 축소하여 최종 영상을 출력할 수도 있다.

전술한 바와 같은 본 발명의 제2 실시 예에 따른 영상 처리 방법을 이용하면 초점 검출 픽셀 값을 이미지 픽셀값으로 복원하여 이용하기 때문에, 이미지 픽셀값들 중 하나로 초점 검출 픽셀 위치의 이미지 신호를 이용하지 않는 경우보다 최종 영상의 화질이 우수하게 된다. 또한 본 발명의 제2 실시 예에 따른 영상 처리 방법을 이용하면 세로 방향의 해상도는 1/3만큼 작아지더라도 가로 방향의 해상도는 전체 영상과 동일한 1차 샘플링 영상에서 DPC를 수행하기 때문에, 가로 및 세로 방향 모두 해상도가 1/3만큼 작아진 영상에서 DPC를 수행할 때보다 보간에 사용할 수 있는 데이터의 수가 많아 더 좋은 보간 결과를 기대 할 수 있다. 또, 보간에 오차가 발생하더라도 비닝 동작에 의해서 오차가 반감되는 효과가 있다. 예를 들어 도 6의 (c)에서 R0 행의 C9' 픽셀 값은 C9' = (C9+C11+C13)/3 인데, C13의 위치는 DPC 알고리즘을 사용하여 보간 한 값을 가지므로, 만약 오차 e 가 발생 하더라도, 최종 영상 신호 C9' 에 발생하는 오차는 e/3 이 된다.

도 7은 본 발명의 제3 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 도 7의 (a)는 본 발명의 제3 실시 예에 따른 전체 이미지 센서의 픽셀들을 나타낸다. 본 발명의 제3 실시 예에 따른 전체 이미지 센서의 픽셀들은 이미지 픽셀들(R, G, B)과 초점 검출 픽셀들(A5, A6)을 포함할 수 있다.

이미지 센서(304)는 도 7의 (a)와 같은 전체 픽셀들에 대해, 가로 방향 및 세로 방향에 대해 1차 샘플링을 수행하여 1/3픽셀들 만큼의 픽셀들을 출력한다. 예컨대 이미지 센서(304)는 도 7의 (a)와 같은 전제 픽셀들에 대해 3개의 행 중 하나의 행에 대해 3개 열의 픽셀들 중 2개 열의 픽셀은 비닝하여 하나의 픽셀로 출력하고, 나머지 1개의 열의 픽셀(C4)는 그대로 출력하는 방식으로 1차 샘플링을 수행하여 도 7의 (b)와 같은 1차 샘플링 영상을 출력한다. 예컨대 이미지 센서(304)는 R0C0 픽셀, R0C2 픽셀, R0C4 픽셀의 3개의 픽셀들 중 R0C0 픽셀과 R0C2 픽셀이 값들을 비닝하여 도 7의(b)의 R0C0'의 픽셀값으로 출력하고, 나머지 1개의 R0C4 픽셀의 값은 도 7의 (b)의 R0C4값으로 그대로 출력한다. 또한 이미지 센서(304)는 R0C3 픽셀, R0C5 픽셀, R0C7 픽셀의 3개의 픽셀들 중 R0C3 픽셀과 R0C5 픽셀이 값들을 비닝하여 도 7의(b)의 R0C3'의 픽셀값으로 출력하고, 나머지 1개의 R0C7 픽셀의 값은 도 7의 (b)의 R0C7값으로 그대로 출력한다. 또한 이미지 센서(304)는 R0C3 픽셀, R0C5 픽셀, R0C7 픽셀의 3개의 픽셀들 중 R0C3 픽셀과 R0C5 픽셀이 값들을 비닝하여 도 7의(b)의 R0C3'의 픽셀값으로 출력하고, 나머지 1개의 R0C7 픽셀의 값은 도 7의 (b)의 R0C7값으로 그대로 출력한다.

이미지 센서(304)는 상기한 바와 같은 방식으로 도 7의 (a)의 전체 픽셀들에 대해 1차 샘플링을 수행하여 도 7의 (b)와 같은 제1 샘플링 영상을 출력한다. 이때 제1 샘플링 영상은 도 7의 (c)와 같이 비닝하여 출력되는 픽셀값들과, 그대로 출력되는 픽셀값들이 분리되어 출력될 수도 있다. 한편, 이때 제1 샘플링 영상에는 초점 검출 픽셀들(A5, A6)이 포함되는 것이 바람직하다.

이미지 센서(304)로부터 상기 도 7의 (b) 및 도 7의 (c)와 같은 제1 샘플링 영상이 출력되면, 이미지 프로세서(306)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들(A5, A6)의 값들을 검출하고, 초점 검출 픽셀들(A5, A6) 값들을 초점 조절을 위해 저장부(310)에 저장되도록 하거나, 별도의 초점 조절부(미도시)로 제공할 수 있다. 그리고 이미지 프로세서(306)는 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 이용하여 초점 검출 픽셀들(A5, A6)의 값들을 이미지 픽셀들의 값들(R', B')로 복원하고, 도 7의 (d) 또는 (e)와 같이 초점 검출 픽셀들(A5, A6)의 값들이 이미지 픽셀들의 값들(R', B')로 복원된 영상을 산출할 수 있다.

이미지 프로세서(306)는 도 7의 (d) 와 같이 초점 검출 픽셀들(A5, A6)의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상에서 가로 방향의 행에 포함된 픽셀들에 대해 비닝(Bining)을 수행하여, 도 7의 (d) 와 같이 복원된 영상의 1/2의 해상도를 갖도록 축소한 도 7의 (f)와 같은 최종 영상을 출력할 수 있다.

예컨대 이미지 프로세서(306)는 R0C0' 픽셀, R0C4 픽셀의 2개의 픽셀들의 값을 비닝하여 도 7의 (f)의 R0C0''의 픽셀값으로 출력할 수 있다. 이때 비닝 공식은 R0C0''의 픽셀값=(2* R0C0' 픽셀값+C4)/3이 될 수 있다. 이는 R0C0' 픽셀값이 이미 R0C0 및 R0C2 픽셀의 값을 비닝한 값이기 때문이다. 또한 R0C3' 픽셀, R0C7 픽셀의 2개의 픽셀들을 비닝하여 도 7의 (f)의 R0C3''의 픽셀값으로 출력한다. 도 7의 (f)의 R0C6'', R0C9'', R0C12'', R0C15'' 각각의 픽셀값도 동일한 방식으로 출력된다.

한편, 상기 본 발명의 제1 내지 제3 실시 예에서는 가로 방향의 행을 기준으로 픽셀들에 대한 비닝을 수행하는 경우에 대해 설명하였다. 그러나 본 발명의 제4 실시 예 및 제5 실시 예에 따르면 세로 방향의 열을 기준으로 픽셀들에 대한 비닝을 수행할 수도 있다. 이하 본 발명의 제4 실시 예 및 제 5 실시 예를 각각 설명한다.

도 8은 본 발명의 제4 실시 예에 따른 영상 처리 방법에 대한 흐름도이다. 도 8의 (a)는 본 발명의 제4 실시 예에 따른 전체 이미지 센서의 픽셀들을 나타낸다. 본 발명의 제4 실시 예에 따른 전체 이미지 센서의 픽셀들은 이미지 픽셀들(R, G, B)과 초점 검출 픽셀들(A7, A8)을 포함할 수 있다.

이미지 센서(304)는 도 8의 (a)와 같은 전체 픽셀들에 대해 1차 샘플링을 수행하여 세로 방향으로 1/2만큼 축소된 1차 샘플링 영상을 출력한다. 예컨대 이미지 센서(304)는 도 8의 (a)와 같은 전체 픽셀들의 각각의 열에 대해 2개 행의 픽셀들의 값을 비닝하여 하나의 픽셀값으로 출력하는 방식으로 1차 샘플링을 수행하고 도 8의 (b)와 같은 1차 샘플링 영상을 출력한다. 예컨대 이미지 센서(304)는 R0C0 픽셀, R1C0 픽셀의 값들을 비닝하여 도 8의(b)의 R0'C0의 픽셀값으로 출력하고, R1C0 픽셀, R3C0 픽셀값들을 비닝하여 도 8의(b)의 R1'C0의 픽셀값으로 출력한다. 이미지 센서(304)는 상기한 바와 같은 방식으로 도 8의 (a)의 전체 픽셀들에 대해 1차 샘플링을 수행하여 도 8의 (b)와 같은 제1 샘플링 영상을 출력한다.

그런데 R1C6의 픽셀과 R4C7의 픽셀 즉, 초점 검출 픽셀들(A7, A8)은 각각 R3C6 및 R6C7의 픽셀과 비닝이 수행되면 A7 및 A8의 값이 유지되지 못한다. 따라서 본 발명의 제4 실시 예에서는 이미지 센서(306)가 초점 검출 픽셀들(A7, A8)은 각각 R3C6 및 R6C7의 픽셀과 비닝을 수행하지 않고, 그대로 출력되도록 한다.

이에 따라 제1 샘플링 영상은 도 8의 (b)와 같이 비닝하여 출력되는 픽셀값들과, 그대로 출력되는 A7, A8이 포함된다.

이미지 센서(304)로부터 상기 도 8의 (b)와 같은 제1 샘플링 영상이 출력되면, 이미지 프로세서(306)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들(A7, A8)의 값들을 검출하고, 초점 검출 픽셀들(A7, A8) 값들을 초점 조절을 위해 저장부(310)에 저장되도록 하거나, 별도의 초점 조절부(미도시)로 제공할 수 있다. 그리고 이미지 프로세서(306)는 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 이용하여 초점 검출 픽셀 위치 (A7, A8)의 이미지 신호를 (R', B')로 복원하여, 도 8의 (C)와 같이 초점 검출 픽셀들(A7, A8)의 값들이 이미지 픽셀들의 값들(R', B')로 복원된 영상을 산출할 수 있다.

이미지 프로세서(306)는 도 8의 (C) 와 같이 초점 검출 픽셀들(A7, A8)의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상에서 가로 방향의 행에 포함된 픽셀들에 대해 비닝(Bining)을 수행하여, 도 8의 (d) 와 같이 복원된 영상의 1/2의 해상도를 갖도록 축소한 최종 영상을 출력할 수 있다.

예컨대 이미지 프로세서(306)는 R0'C0 픽셀, R0'C2 픽셀의 2개의 픽셀들의 값을 비닝하여 도 8의 (d)의 R0'C0'의 픽셀값으로 출력할 수 있다. 또한 R0'C1 픽셀, R0'C3 픽셀의 2개의 픽셀들을 비닝하여 도 8의 (d)의 R0'C1'의 픽셀값으로 출력할 수 있다. 도 8의 (d)의 R0'C4', R0'C5', R0'C8', R0'C9' 각각의 픽셀값도 동일한 방식으로 출력될 수 있다.

한편, 상기 본 발명의 제4 실시 예에서는 초점 검출 픽셀들(A7, A8)의 값들은 각각 R3C6 및 R6C7의 비닝 대상 픽셀의 값과 비닝을 수행하지 않고, 그대로 출력되도록 하였지만, 본 발명의 제5 실시 예에 따르면 초점 검출 픽셀들도 비닝이 수행되도록 하고, 이후 처리에서 원래의 초점 검출 픽셀들의 값을 추정할 수도 있다.

도 9는 본 발명의 제5 실시 예에 따른 영상 처리 방법에 대한 흐름도이다. 도 9의 (a)는 본 발명의 제5 실시 예에 따른 전체 이미지 센서의 픽셀들을 나타낸다. 본 발명의 제5 실시 예에 따른 전체 이미지 센서의 픽셀들은 이미지 픽셀들(R, G, B)과 초점 검출 픽셀들(A10, A11)을 포함할 수 있다.

이미지 센서(304)는 도 9의 (a)와 같은 전체 픽셀들에 대해 1차 샘플링을 수행하여 세로 방향으로 1/2만큼 축소된 1차 샘플링 영상을 출력한다. 예컨대 이미지 센서(304)는 도 9의 (a)와 같은 전제 픽셀들의 각각의 열에 대해 2개 행의 픽셀들의 값을 비닝하여 하나의 픽셀값으로 출력하는 방식으로 1차 샘플링을 수행하고 도 9의 (b)와 같은 1차 샘플링 영상을 출력한다. 예컨대 이미지 센서(304)는 R0C0 픽셀, R2C0 픽셀의 값들을 비닝하여 도 9의(b)의 R0'C0의 픽셀값으로 출력하고, R1C0 픽셀, R3C0 픽셀값들을 비닝하여 도 9의(b)의 R1'C0의 픽셀값으로 출력한다. 이미지 센서(304)는 상기한 바와 같은 방식으로 도 9의 (a)의 전체 픽셀들에 대해 1차 샘플링을 수행하여 도 9의 (b)와 같은 제1 샘플링 영상을 출력한다.

이때 R1C6의 픽셀과 R4C7의 픽셀 즉, 초점 검출 픽셀들(A10, A11)도 각각 R3C6 픽셀(B) 및 R6C7의 픽셀(R)과 비닝이 수행되어, 1차 샘플링 영상의 R1'C6의 픽셀의 값은 A10'(A10'=(A10+B)/2)의 값으로 출력되고, R4'C7 픽셀의 값은 A11'(A11'=(A11+R)/2)의 값으로 출력된다.

이에 따라 제1 샘플링 영상은 도 9의 (b)와 같이 비닝하여 출력되는 이미지 픽셀값들과, 이미지 픽셀과 초점 검출 픽셀의 신호가 비닝된 (A10', A11')이 포함된다.

이미지 센서(304)로부터 상기 도 9의 (b)와 같은 제1 샘플링 영상이 출력되면, 이미지 프로세서(306)는 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 이용하여 비닝된 초점 검출 픽셀들(A10', A11') 위치 의 이미지 신호(B', R')를 복원하고, 도 9의 (C)와 같이 비닝된 초점 검출 픽셀들(A10', A11')의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상을 산출할 수 있다.

이때 DPC 알고리즘의 성능이 좋다고 가정하면, 복원된 (B', R')은 원래 이미지 신호인 B, R값과 유사하므로, 이미지 프로세서(306)는 초점 검출 픽셀들의 값을 각각 A10=2*A10'-B'와 A11=2*A11'-R'와 같이 계산하여 추정하고, 추정된 초점 검출 픽셀들(A10, A11)의 값들을 초점 조절을 위해 저장부(310)에 저장되도록 하거나, 별도의 초점 조절부(미도시)로 제공할 수 있다.

한편, 도 9의 (C)와 같은 영상에 대해, 이미지 프로세서(306)는 가로 방향의 행에 포함된 픽셀들에 대해 비닝(Bining)을 수행하여, 도 9의 (d) 와 같이 복원된 영상에 비해 1/2의 해상도를 갖도록 축소한 최종 영상을 출력할 수 있다.

예컨대 이미지 프로세서(306)는 R0'C0 픽셀, R0'C2 픽셀의 2개의 픽셀들의 값을 비닝하여 도 9의 (d)의 R0'C0'의 픽셀값으로 출력할 수 있다. 또한 R0'C1 픽셀, R0'C3 픽셀의 2개의 픽셀들을 비닝하여 도 9의 (d)의 R0'C1'의 픽셀값으로 출력할 수 있다. 도 9의 (d)의 R0'C4', R0'C5', R0'C8', R0'C9' 각각의 픽셀값도 동일한 방식으로 출력될 수 있다.

도 10 내지 도 13은 본 발명의 실시 예들을 적용하지 않고 얻은 영상과 본 발명의 실시 예들을 적용하여 얻은 영상의 화질을 비교하여 설명하기 위한 도면이다.

구체적으로 도 10은 전체 픽셀값들을 포함하는 영상을 나타낸 도면이다. 참고로 도 10은 각 픽셀의 RGB 값이 보간 되지 않은 베이어 패턴(bayer pattern)의 영상이다. 도 10에서 참조번호 92 및 94의 영역은 픽셀들 간의 값의 차이가 많이 나는 고주파 영상 영역이다.

도 11은 92 영역의 고주파 영상에 대해 본 발명의 실시 예들 중 하나를 적용한 결과를 나타낸 도면이다. 도 11의 (a)는 초점 검출 픽셀들이 포함되지 않은 이미지 픽셀들에 대해서 비닝(binning)하여 얻은 영상(92-1)이고, 도 11의 (b)는 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재하는 경우, 초점 검출 픽셀을 제외한 나머지 이미지 픽셀들의 신호들을 비닝하여 출력하고, 초점 검출 픽셀의 신호는 그대로 읽어 출력하는 종래 방식을 이용하여 얻은 영상(92-2)이다. 도 11의 (c)는 본 발명의 실시 예들 중 하나를 적용하여 얻은 영상(92-3)이다. 도 11의 (a) 내지 (c)를 비교하면, 종래 방식을 이용하여 얻은 도 11의 (b)의 영상(92-2)은 고주파 영상에서 초점 검출 픽셀 위치의 이미지 신호가 이미지 픽셀들의 신호들에 반영되는 경우와 반영되지 않는 경우의 차가 커서 검은 영역과 흰색 영역의 경계에 검은 점 등이 발생하여 화질이 좋지 않은 것을 볼 수 있다. 이에 반해 본 발명의 실시 예들 중 하나를 적용하여 얻은 도 11의 (c)의 영상(92-3)은 초점 검출 픽셀을 고려했음에도 불구하고, 초점 검출 픽셀을 고려하지 않은 도 11의 (a)와 화질의 차이가 거의 없는 영상을 나타내고 있는 것이 확인된다.

한편, 도 12는 94 영역의 고주파 영상에 대해 본 발명의 실시 예들 중 하나를 적용한 결과를 나타낸 도면이다. 도 12의 (a)는 초점 검출 픽셀들이 포함되지 않은 이미지 픽셀들에 대해서 비닝(binning)하여 얻은 영상(94-1)이고, 도 12의 (b)는 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재하는 경우, 초점 검출 픽셀을 제외한 나머지 이미지 픽셀들의 신호들을 비닝하여 출력하고, 초점 검출 픽셀의 신호는 그대로 읽어 출력하는 종래 방식을 이용하여 얻은 영상(94-2)이다. 도 12의 (c)는 본 발명의 실시 예들 중 하나를 적용하여 얻은 영상(94-3)이다. 도 12의 (a) 내지 (c)를 비교하면, 종래 방식을 이용하여 얻은 도 12의 (b)의 영상(94-2)은 고주파 영상에서 초점 검출 픽셀 위치의 이미지 신호가 이미지 픽셀들의 신호들에 반영되는 경우와 반영되지 않는 경우의 차가 커서 검은 영역과 흰색 영역의 경계에 흰 점 등이 발생하여 화질이 좋지 않은 것을 볼 수 있다. 이에 반해 본 발명의 실시 예들 중 하나를 적용하여 얻은 도 12의 (c)의 영상(94-3)은 초점 검출 픽셀을 고려했음에도 불구하고, 초점 검출 픽셀을 고려하지 않은 도 12의 (a)와 화질의 차이가 거의 없는 영상을 나타내고 있는 것이 확인된다.

상기한 바와 같은 본 발명의 실시 예들은 초점 검출 픽셀 등 영상 정보로 사용하기 어려운 데이터를 포함하는 픽셀을 가지는 디지털 이미지 센서로부터 전체 픽셀값들에서 일부 픽셀값들을 제공받는 경우에도 초점 검출 픽셀로 인한 화질 손실을 최소화 하면서도 초점 검출 픽셀값을 정확히 얻어 초점을 조절할 수 있게 한다.

본 발명의 다양한 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다.

Claims (10)

1. 영상 처리 장치에 있어서,
   이미지를 검출하는 복수의 제 1 픽셀들과 이미지 검출 픽셀과 다른 신호를 검출하는 복수의 제 2 픽셀들을 포함하고, 전체 픽셀들 중 미리 정해진 규칙에 따라 제 2 픽셀의 신호들을 포함하는 일부 픽셀들의 값을 읽어 제1 샘플링 영상을 출력하는 이미지 센서와,
   상기 제1 샘플링 영상에 포함된 제 2 픽셀들의 위치의 출력 신호 들에 대해, 상기 제 2 픽셀들의 출력 신호들을 이미지 픽셀들의 출력 신호로 복원하여 복원된 영상을 출력하며, 상기 복원된 영상의 픽셀들에 대해 미리 정해진 방식에 따른 비닝(Bining)을 수행하여, 상기 복원된 영상이 미리 정해진 비율로 해상도가 축소된 영상을 출력하는 이미지 프로세서를 포함하는 영상 처리 장치.
2. 제1항에 있어서, 상기 미리 정해진 규칙은 2Read2Skip 샘플링 방식 또는 1Read2Skip 샘플링 방식 중 어느 하나를 포함하는 영상 처리 장치.
3. 제1항에 있어서, 상기 비닝은 복수의 픽셀 신호를 소정의 공식을 사용하여 하나의 픽셀 신호로 변환하는 신호 처리 방법인 영상 처리 장치.
   
4. 제1항에 있어서, 상기 미리 정해진 비율은 1/2 또는 1/3 중 어느 하나를 포함하는 영상 처리 장치.
5. 제1항에 있어서,
   결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 적용하여 상기 제 2 픽셀들의 값들을 보간함으로써,상기 제 2 픽셀들의 값들을 이미지 픽셀들의 값으로 복원하는 것을 특징으로 하는 영상 처리 장치.
6. 영상 처리 방법에 있어서,
   이미지를 검출하는 복수의 제 1 픽셀들과 이미지 검출 픽셀과 다른 신호를 검출하는 복수의 제 2 픽셀들을 포함하고, 전체 픽셀들 중 미리 정해진 규칙에 따라 제 2 픽셀들을 포함하는 일부 픽셀들의 값을 읽어 제1 샘플링 영상을 출력하는 동작과,
   상기 제1 샘플링 영상에 포함된 제 2 픽셀들의 위치의 픽셀들에 대해, 상기 제 2 픽셀들의 출력 신호들을 이미지 픽셀들의 출력 신호로 복원하여 복원된 영상을 출력하는 동작과,
   상기 복원된 영상의 픽셀들에 대해 미리 정해진 방식에 따른 비닝(Bining)을 수행하여, 상기 복원된 영상이 미리 정해진 비율로 해상도가 축소된 영상을 출력하는 동작을 포함하는 영상 처리 방법.
   
7. 제6항에 있어서, 상기 미리 정해진 규칙은 2Read2Skip 샘플링 방식 또는 1Read2Skip 샘플링 방식 중 어느 하나를 포함하는 영상 처리 방법.
8. 제6항에 있어서, 상기 비닝은 복수의 픽셀 신호를 소정의 공식을 사용하여 하나의 픽셀 신호로 변환하는 동작인 영상 처리 방법.
9. 제6항에 있어서, 상기 미리 정해진 비율은 1/2 또는 1/3 중 어느 하나를 포함하는 영상 처리 방법.
10. 제6항에 있어서,
    결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 적용하여 상기 제 2 픽셀들의 값들을 보간함으로써,상기 제 2 픽셀들의 값들을 이미지 픽셀들의 값으로 복원하는 영상 처리 방법.

Images