KR101299055B1

KR101299055B1 - 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램

Info

Publication number: KR101299055B1
Application number: KR1020107010816A
Authority: KR
Inventors: 야스히로 스와다
Original assignee: 실리콘 하이브 비.브이.
Priority date: 2007-10-19
Filing date: 2008-10-15
Publication date: 2013-08-27
Also published as: KR20100087010A; US20100302384A1; JP2009100417A; WO2009051121A1; EP2211554A1; US8854483B2; EP2211554B1; EP2211554A4; JP5036482B2

Abstract

단판식 촬상소자를 이용하여 얻어진 색 모자이크 화상으로부터 컬러 화상을 생성할 때에, 색 보간처리, 흔들림이나 왜곡에 따른 보정 등을 해상도를 손상시키지 않고 간소한 처리 공정으로 실현할 수 있는 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을 제공한다. 피사체상과 촬상소자(5)의 흔들림의 보정값을 생성하는 흔들림 검출부(40), 컬러 화상의 화소 위치와 흔들림의 보정값으로부터, 화상 변형이 실시되었을 때의 컬러 화상의 화소 위치에 대응된 색 모자이크 화상 상의 샘플링 좌표를 설정하는 샘플링 좌표 설정부(29), 색 플레인 분해부(21)에 의해 분해된 복수의 색 플레인마다 샘플링 좌표에서의 화소값을 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하는 샘플링부(32), 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 컬러 화상의 화소 신호를 생성하는 색 생성부(33) 등을 구비한다.

Description

화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램{Image processing device, image processing method, and image processing program}

본 발명은 전자적인 촬상 유닛을 통해 촬상된 피사체상의 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램에 관한 것으로, 특히 단판식의 컬러 필터를 갖는 촬상소자를 통해 출력되어 화소마다 단일색의 휘도 정보만을 갖는 모자이크 화상으로부터 화소마다 복수 색의 휘도 정보를 갖는 컬러 화상을 생성함과 동시에, 촬상 유닛과 피사체의 상대적인 흔들림을 보정하는 기술에 관한 것이다.

종래, 디지털 카메라 등의 촬상 유닛에 있어서 렌즈를 통해 촬상소자에 피사체상을 결상하고, 이 촬상소자에 의해 피사체상을 광전 변환하여 화상 신호를 생성하는 화상 처리 장치 및 화상 처리 방법이 알려져 있다.

또한, 단판식의 촬상소자로서 매트릭스 형상으로 복수의 광전 변환 소자가 구성됨과 동시에, 그 전면에 광전 변환 소자에 대응해서 R(적) G(녹) B(청)의 각 컬러 필터가 구비되고, 이 컬러 필터를 통해 출력된 단일색의 화상 신호에 신호 처리를 가하여 컬러 화상을 생성하는 화상 처리 장치 및 화상 처리 방법이 있다.

즉, 단판식의 촬상소자를 통해 출력된 화상에서는, 각 화소가 단일 색의 색정보만 가지는 색 모자이크 화상으로서, 컬러 화상을 생성하기 위해 각 화소에 적색(R), 녹색(G), 청색(B) 등 복수의 색 정보를 구비할 필요가 있다.

이 때문에, 단판식 촬상소자를 이용한 화상 처리에서는, 각 화소가 R, G, B성분 중에서 어느 하나만의 색정보를 갖는 색 모자이크 화상에 기초하여, 이른바 디모자이크 처리(색 보간처리라고도 함)를 하고 있다. 여기서, 디모자이크 처리란, 색 모자이크 화상의 각 화소에서 부족한 다른 색정보를 그 화소 주변의 다른 화소의 색정보를 이용하여 보간 연산함으로써, 각 화소가 각각 R, G, B성분의 모든 색정보를 갖는 컬러 화상을 생성하는 처리이다(이른바, 색 보간처리임).

예를 들면, 단판식 촬상소자에서의 컬러 필터가 매트릭스 형상으로 R(적) G(녹) B(청)의 3색으로 이루어진 베이어(Bayer) 배열로 구성되고, 이 촬상소자를 통해 출력된 화상 신호의 R이 1화소, G가 2화소, B가 1화소로 이루어진 4화소를 1단위로 하여, 이들 신호로부터 화소마다 복수의 색성분의 휘도를 갖도록 컬러 화상의 화소에 대응하는 화상 신호를 보간 생성하고 있는 것이 있다(예를 들면, 특허문헌 1 참조).

또한, 디지털 카메라 등의 모바일 장치에서는, 피사체를 촬영할 때에 디지털 카메라가 사용자의 의사에 반해 움직여 버리는 것에 의한 화상의 혼란, 이른바 흔들림이나 왜곡이 문제가 된다. 그래서, 카메라의 움직임을 자이로나 화상의 디지털 신호 처리에 의해 검출하고, 렌즈의 광축을 광학적으로 움직이게 하거나 화상 신호를 전자적으로 움직이게 함(즉, 화소 위치를 보정함)으로써, 흔들림이나 왜곡을 보정하는 기술이 알려져 있다(예를 들면, 특허문헌 2 참조).

또한, 특허문헌 2에서는 화소 위치의 보정을 2화소 단위의 평행 이동에 의해 행하고 있는데, 보다 고품위의 화질을 얻기 위해서는, 평행 이동뿐만 아니라 회전이나 치우침 등의 화상 변형이나 서브 픽셀 단위에서의 위치 보정이 필요하게 된다. 그리고, 이러한 서브 픽셀 단위에서의 위치 보정에서는, 원래 화상이 없는 위치에 화소를 생성하기 위해 요구되는 위치의 화소값을 근방 화소로부터 보간할 필요가 있다(예를 들면, 특허문헌 3 참조).

특허문헌 1: 일본특허공표 2004-534429호 공보 특허문헌 2: 일본특허공개 2006-157568호 공보 특허문헌 3: 일본특허공개 2000-298300호 공보

그러나, 종래 기술에서는, 색 보간처리와 흔들림 보정을 위한 보간처리가 따로따로 행해지고, 각각 하나의 컬러 화소가 복수 화소로부터의 보간에 의해 생성되므로, 해상도를 손상시킬 우려가 있음과 동시에 그들의 처리 부하가 커지고, 특히 최근의 고화소화에 따라 개선의 여지가 있었다.

즉, RGB 3원색의 베이어 배열의 컬러 필터를 갖는 단판식 촬상소자를 통해 출력되는 색 모자이크 화상으로부터 소정의 컬러 화상을 생성할 때에는, 화소마다 부족한 색성분을 보간처리로 생성한 후 흔들림이나 왜곡의 보정으로 보간처리를 하게 되므로, 보간처리의 횟수가 증가하여 보간처리 부하가 커짐과 동시에, 생성되는 화상의 화질을 손상시킬 우려가 있었다.

그래서, 본 발명은, 단판식 촬상소자를 이용하여 얻어진 색 모자이크 화상으로부터 컬러 화상을 생성할 때에, 화소마다 복수의 색정보를 생성하는 색 보간처리, 흔들림이나 왜곡에 따른 보정 등을 컬러 화상의 해상도를 최대한 손상시키지 않고 간소한 처리 공정으로 실현할 수 있는 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을 제공하는 것을 목적으로 한다.

이러한 목적을 달성하기 위해 이루어진 청구항 1에 기재된 발명은, 촬상 유닛에 의해 촬영되고, 상이한 복수의 색광을 광전 변환하는 촬상소자에 의해 얻어진, 각 화소가 단색의 휘도 정보를 갖는 색 모자이크 화상을 이용하여 각 화소에 복수 색의 휘도 정보를 생성함과 동시에 소정의 화상 변형을 실시하여 컬러 화상을 생성하는 화상 처리 장치로서, 상기 색 모자이크 화상을 동일한 색광의 휘도 정보만을 포함하는 복수의 색 플레인으로 분해하는 색 플레인 분해부; 상기 색 모자이크 화상에서의 각 화소 좌표에 대해, 피사체와 상기 촬상 유닛의 상대적인 변위인 흔들림의 보정값을 생성하는 흔들림 검출부; 상기 컬러 화상의 화소 위치와 상기 흔들림의 보정값으로부터, 상기 화상 변형이 실시되었을 때의 상기 컬러 화상의 화소 위치에 대응된 상기 색 모자이크 화상 상의 샘플링 좌표를 설정하는 샘플링 좌표 설정부; 상기 색 플레인 분해부에 의해 분해된 복수의 색 플레인마다 상기 샘플링 좌표에서의 화소값을 상기 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하는 샘플링부; 상기 샘플링부에 의해 보간 생성된 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 상기 컬러 화상의 화소 신호를 생성하는 색 생성부;를 구비하고 있는 것을 특징으로 한다.

청구항 1에 기재된 화상 처리 장치에 따르면, 소정의 화상 변형을 실시하여 컬러 화상을 생성할 때에, 색 모자이크 화상에서의 각 화소 좌표에 대해 피사체와 촬상 유닛의 상대적인 변위인 흔들림의 보정값을 생성하는 흔들림 검출부; 컬러 화상의 화소 위치와 흔들림의 보정값으로부터, 화상 변형이 실시되었을 때의 컬러 화상의 화소 위치에 대응된 색 모자이크 화상 상의 샘플링 좌표를 설정하는 샘플링 좌표 설정부; 색 플레인 분해부에 의해 분해된 복수의 색 플레인마다 샘플링 좌표에서의 화소값을 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하는 샘플링부; 샘플링부에 의해 보간 생성된 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 컬러 화상의 화소 신호를 생성하는 색 생성부;를 구비함으로써, 화소마다 복수의 색정보를 생성하는 색 보간처리, 흔들림에 따른 보정을 하는 화상 변형 등을 컬러 화상의 해상도를 최대한 손상시키지 않고 간소한 처리 공정으로 실현할 수 있다.

즉, 색 모자이크 화상으로부터 컬러 화상을 생성할 때에, 샘플링 좌표가 색 보간, 흔들림 보정에 대응되어 설정되므로, 색 보간처리 및 화상 변형 등의 보간처리를 따로따로 하는 것보다도 화질 열화를 저감하여 해상도가 양호한 컬러 화상을 얻을 수 있음과 동시에, 이들 처리를 간소화할 수 있다.

또한, 청구항 1에 기재된 화상 처리 장치는, 청구항 2에 기재된 발명과 같이, 상기 흔들림 검출부가 상기 피사체로 향하여 전후 방향의 흔들림, 좌우 방향의 흔들림, 상하 방향의 흔들림, 전후 방향을 회전축으로 하는 회전 흔들림, 좌우 방향을 회전축으로 하는 회전 흔들림, 상하 방향을 회전축으로 하는 회전 흔들림 중에서 적어도 하나의 흔들림에 대한 보정값을 생성하도록 구성됨으로써, 샘플링 좌표가 이들의 흔들림을 제거하도록 설정되고, 처리가 간소하고 해상도가 양호한 고품위의 컬러 화상을 얻을 수 있다.

또한, 청구항 1 또는 청구항 2에 기재된 화상 처리 장치는, 청구항 3에 기재된 발명과 같이, 상기 샘플링 좌표 설정부가 상기 화상 변형 파라미터를 이용하여 해당 화상 변형을 실시했을 때의 상기 샘플링 좌표를 설정하도록 구성됨으로써, 샘플링 좌표가 원하는 화상 변형에 대응되어 설정되고, 처리가 간소하고 해상도가 양호한 고품위의 컬러 화상을 얻을 수 있다.

또한, 청구항 1 내지 청구항 3 중 어느 하나에 기재된 화상 처리 장치는, 청구항 4에 기재된 발명과 같이, 상기 화상 변형 파라미터가 상기 촬상소자에 결상한 피사체상의 평행 이동, 확대 축소, 회전, 치우침 중에서 적어도 하나의 변형 보정 파라미터임으로써, 샘플링 좌표가 이들 중 어느 하나의 화상 변형에 대응되어 설정되고, 간소한 처리로 원하는 화상 변형이 가능하며 해상도 및 화상 품위를 향상시킬 수 있다.

또한, 청구항 1 내지 청구항 4 중 어느 하나에 기재된 화상 처리 장치는, 청구항 5에 기재된 발명과 같이, 상기 화상 변형 파라미터가 상기 촬상 유닛에 기인하는 왜곡 수차의 보정도 겸비함으로써, 샘플링 좌표가 흔들림 보정과 왜곡 수차의 보정 쌍방에 대응되어 설정되고, 간소한 처리로 원하는 흔들림 보정 외에도 왜곡 수차의 보정도 가능하며 해상도 및 화상 품위를 향상시킬 수 있다.

다음에, 청구항 6에 기재된 발명은, 촬상 유닛에 의해 촬영되고, 상이한 복수의 색광을 광전 변환하는 촬상소자에 의해 얻어진, 각 화소가 단색의 휘도 정보를 갖는 색 모자이크 화상을 이용하여 각 화소에 복수 색의 휘도 정보를 생성함과 동시에 소정의 화상 변형을 실시하여 컬러 화상을 생성하는 화상 처리 방법으로서, 상기 색 모자이크 화상을 동일한 색광의 휘도 정보만을 포함하는 복수의 색 플레인으로 분해하는 색 플레인 분해 단계; 상기 색 모자이크 화상에서의 각 화소 좌표에 대해, 피사체와 상기 촬상 유닛의 상대적인 흔들림의 보정값을 산출하는 흔들림 검출 단계; 상기 컬러 화상의 화소 위치와 상기 흔들림의 보정값으로부터, 상기 화상 변형이 실시되었을 때의 상기 컬러 화상의 화소 위치에 대응된 상기 색 모자이크 화상 상의 샘플링 좌표를 설정하는 샘플링 좌표 설정 단계; 상기 색 플레인 분해부에 의해 분해된 복수의 색 플레인마다 상기 샘플링 좌표에서의 화소값을 상기 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하는 샘플링 단계; 상기 샘플링부에 의해 보간 생성된 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 상기 컬러 화상의 화소 신호를 생성하는 색 생성 단계;를 이용하는 것을 특징으로 한다.

청구항 6에 기재된 화상 처리 방법에 따르면, 색 모자이크 화상을 동일한 색광의 휘도 정보만을 포함하는 복수의 색 플레인으로 분해하는 색 플레인 분해 단계; 색 모자이크 화상에서의 각 화소 좌표에 대해, 피사체상과 상기 촬상소자의 상대적인 흔들림의 보정값을 산출하는 흔들림 검출 단계; 컬러 화상의 화소 위치와 흔들림의 보정값으로부터, 화상 변형이 실시되었을 때의 컬러 화상의 화소 위치에 대응하는 색 모자이크 화상 상의 샘플링 좌표를 설정하는 샘플링 좌표 설정 단계; 색 플레인 분해부에 의해 분해된 복수의 색 플레인마다 샘플링 좌표에서의 화소값을 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하는 샘플링 단계; 샘플링부에 의해 보간 생성된 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 컬러 화상의 화소 신호를 생성하는 색 생성 단계;를 이용함으로써, 청구항 1에 기재된 발명과 같이, 화소마다 복수의 색정보를 생성하는 색 보간처리, 흔들림에 따른 보정을 하는 화상 변형 등을, 컬러 화상의 해상도를 최대한 손상시키지 않고 간소한 처리 공정으로 실현할 수 있다.

또한, 청구항 6에 기재된 화상 처리 방법은, 청구항 7에 기재된 발명과 같이, 상기 흔들림 검출 단계가 상기 피사체로 향하여 전후 방향의 흔들림, 좌우 방향의 흔들림, 상하 방향의 흔들림, 전후 방향을 회전축으로 하는 회전 흔들림, 좌우 방향을 회전축으로 하는 회전 흔들림, 상하 방향을 회전축으로 하는 회전 흔들림 중에서 적어도 하나의 흔들림에 대한 보정값을 생성함으로써, 청구항 2에 기재된 발명과 같이 샘플링 좌표가 이들 흔들림을 제거하도록 설정되고, 처리가 간소하며 해상도가 양호한 고품위의 컬러 화상을 얻을 수 있다.

또한, 청구항 6 또는 청구항 7에 기재된 화상 처리 방법은, 청구항 8에 기재된 발명과 같이, 상기 샘플링 좌표 설정 단계가 상기 화상 변형 파라미터를 이용하여 해당 화상 변형을 실시했을 때의 상기 샘플링 좌표를 설정함으로써, 청구항 3에 기재된 발명과 같이 샘플링 좌표가 화상 변형을 제거하도록 설정되고, 처리가 간소하며 해상도가 양호한 고품위의 컬러 화상을 얻을 수 있다.

또한, 청구항 6 내지 청구항 8에 기재된 화상 처리 방법은, 청구항 9에 기재된 발명과 같이, 상기 화상 변형 파라미터가 상기 촬상소자에 결상한 피사체상의 평행 이동, 확대 축소, 회전, 치우침 중에서 적어도 하나의 변형 보정 파라미터임으로써, 청구항 4에 기재된 발명과 같이 샘플링 좌표가 이들 중 어느 하나의 화상 변형에 대응되어 설정되고, 간소한 처리로 원하는 화상 변형이 가능하며 해상도 및 화상 품위를 향상시킬 수 있다.

또한, 청구항 6 내지 청구항 9 중 어느 하나에 기재된 화상 처리 방법은, 청구항 10에 기재된 발명과 같이, 상기 화상 변형 파라미터가 상기 촬상 유닛에 기인하는 왜곡 수차의 보정도 겸비함으로써, 청구항 5에 기재된 발명과 같이 샘플링 좌표가 흔들림 보정과 왜곡 수차의 보정 쌍방에 대응되어 설정되고, 간소한 처리로 원하는 흔들림 보정 외에도 왜곡 수차의 보정도 가능하며 해상도 및 화상 품위를 향상시킬 수 있다.

다음에, 청구항 11에 기재된 발명은, 촬상 유닛에 의해 촬영되고, 상이한 복수의 색광을 광전 변환하는 촬상소자에 의해 얻어진, 각 화소가 단색의 휘도 정보를 갖는 색 모자이크 화상을 이용하여 각 화소에 복수 색의 휘도 정보를 생성함과 동시에 소정의 화상 변형을 실시하여 컬러 화상을 생성하도록 컴퓨터에 실행시키는 화상 처리 프로그램으로서, 상기 색 모자이크 화상을 동일한 색광의 휘도 정보만을 포함하는 복수의 색 플레인으로 분해하는 색 플레인 분해 단계; 상기 색 모자이크 화상에서의 각 화소 좌표에 대해, 피사체와 상기 촬상 유닛의 상대적인 흔들림의 보정값을 산출하는 흔들림 검출 단계; 상기 컬러 화상의 화소 위치와 상기 흔들림의 보정값으로부터, 상기 화상 변형이 실시되었을 때의 상기 컬러 화상의 화소 위치에 대응된 상기 색 모자이크 화상 상의 샘플링 좌표를 설정하는 샘플링 좌표 설정 단계; 상기 색 플레인 분해부에 의해 분해된 복수의 색 플레인마다 상기 샘플링 좌표에서의 화소값을 상기 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하는 샘플링 단계; 상기 샘플링부에 의해 보간 생성된 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 상기 컬러 화상의 화소 신호를 생성하는 색 생성 단계;를 컴퓨터에 실행시키는 것을 특징으로 한다.

청구항 11에 기재된 화상 처리 프로그램에 따르면, 색 모자이크 화상을 동일한 색광의 휘도 정보만을 포함하는 복수의 색 플레인으로 분해하는 색 플레인 분해 단계; 색 모자이크 화상에서의 각 화소 좌표에 대해, 피사체상과 촬상소자의 상대적인 흔들림의 보정값을 산출하는 흔들림 검출 단계; 컬러 화상의 화소 위치와 흔들림의 보정값으로부터, 화상 변형이 실시되었을 때의 컬러 화상의 화소 위치에 대응된 색 모자이크 화상 상의 샘플링 좌표를 설정하는 샘플링 좌표 설정 단계; 색 플레인 분해부에 의해 분해된 복수의 색 플레인마다 샘플링 좌표에서의 화소값을 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하는 샘플링 단계; 샘플링부에 의해 보간 생성된 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 컬러 화상의 화소 신호를 생성하는 색 생성 단계;를 컴퓨터에 실행시킴으로써, 청구항 1에 기재된 발명과 같이, 화소마다 복수의 색정보를 생성하는 색 보간처리, 흔들림에 따른 보정을 하는 화상 변형 등을, 컬러 화상의 해상도를 최대한 손상시키지 않고 간소한 처리 공정으로 실현할 수 있다.

또한, 청구항 11에 기재된 화상 처리 프로그램은, 청구항 12에 기재된 발명과 같이, 상기 흔들림 검출 단계가 상기 피사체로 향하여 전후 방향의 흔들림, 좌우 방향의 흔들림, 상하 방향의 흔들림, 전후 방향을 회전축으로 하는 회전 흔들림, 좌우 방향을 회전축으로 하는 회전 흔들림, 상하 방향을 회전축으로 하는 회전 흔들림 중에서 적어도 하나의 흔들림에 대한 보정값을 생성하도록 컴퓨터에 실행시킴으로써, 청구항 2에 기재된 발명과 같이 샘플링 좌표가 이들 흔들림을 제거하도록 설정되고, 처리가 간소하며 해상도가 양호한 고품위의 컬러 화상을 얻을 수 있다.

또한, 청구항 11 또는 청구항 12에 기재된 화상 처리 프로그램은, 청구항 13에 기재된 발명과 같이, 상기 샘플링 좌표 설정 단계가 상기 화상 변형 파라미터를 이용하여 해당 화상 변형을 실시했을 때의 상기 샘플링 좌표를 설정하도록 컴퓨터에 실행시킴으로써, 청구항 3에 기재된 발명과 같이 샘플링 좌표가 원하는 화상 변형에 대응되어 설정되고, 처리가 간소하며 해상도가 양호한 고품위의 컬러 화상을 얻을 수 있다.

또한, 청구항 11 내지 청구항 13 중 어느 하나에 기재된 화상 처리 프로그램은, 청구항 14에 기재된 발명과 같이, 상기 화상 변형 파라미터가 상기 촬상소자에 결상한 피사체상의 평행 이동, 확대 축소, 회전, 치우침 중에서 적어도 하나의 변형 보정 파라미터임으로써, 청구항 4에 기재된 발명과 같이 샘플링 좌표가 이들 중 어느 하나의 화상 변형에 대응되어 설정되고, 간소한 처리로 원하는 화상 변형이 가능하며 컬러 화상의 해상도 및 화상 품위를 향상시킬 수 있다.

또한, 청구항 11 내지 청구항 14 중 어느 하나에 기재된 화상 처리 프로그램은, 청구항 15에 기재된 발명과 같이, 상기 화상 변형 파라미터가 상기 촬상 유닛에 기인하는 왜곡 수차의 보정도 겸비함으로써, 청구항 5에 기재된 발명과 같이 샘플링 좌표가 흔들림 보정과 왜곡 수차의 보정 쌍방에 대응되어 설정되고, 간소한 처리로 원하는 흔들림 보정 외에도 왜곡 수차의 보정도 가능하며 컬러 화상의 해상도 및 화상 품위를 향상시킬 수 있다.

본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 소정의 화상 변형을 실시하여 컬러 화상을 생성할 때에, 색 모자이크 화상을 동일한 색광의 휘도 정보만을 포함하는 복수의 색 플레인으로 분해함과 동시에, 색 모자이크 화상에서의 각 화소 좌표에 대해, 피사체와 촬상 유닛의 상대적인 변위인 흔들림의 보정값을 생성하고, 컬러 화상의 화소 위치와 흔들림의 보정값으로부터, 화상 변형이 실시되었을 때의 컬러 화상의 화소 위치에 대응된 색 모자이크 화상 상의 샘플링 좌표를 설정하여, 색 플레인 분해부에 의해 분해된 복수의 색 플레인마다 샘플링 좌표에서의 화소값을 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하고, 다음에, 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 컬러 화상의 화소 신호를 생성함으로써, 색 보간처리 및 흔들림에 따른 보정을 하는 화상 변형 등을, 간소한 화상 처리로 컬러 화상의 해상도를 최대한 손상시키지 않고 행할 수 있어 고품위의 컬러 화상을 얻을 수 있다.

즉, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 색 모자이크 화상으로부터 컬러 화상을 생성할 때에, 샘플링 좌표가 색 보간과 흔들림 보정 쌍방을 고려하여 설정되므로, 색 보간처리 및 화상 변형 등의 보간처리를 따로따로 하는 것보다도 화질 열화를 저감하여 해상도가 양호한 컬러 화상을 얻을 수 있음과 동시에, 이들 처리를 간소화할 수 있다.

또한, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 흔들림 검출에 의해 피사체로 향하여 전후 방향의 흔들림, 좌우 방향의 흔들림, 상하 방향의 흔들림, 전후 방향을 회전축으로 하는 회전 흔들림, 좌우 방향을 회전축으로 하는 회전 흔들림, 상하 방향을 회전축으로 하는 회전 흔들림 중에서 적어도 하나의 흔들림에 대한 보정값을 생성함으로써, 샘플링 좌표가 이들 흔들림을 제거하도록 설정되고, 처리가 간소하며 해상도가 양호한 고품위의 컬러 화상을 얻을 수 있다.

또한, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 화상 변형 파라미터를 이용하여 해당 화상 변형을 실시했을 때의 샘플링 좌표를 생성함으로써, 샘플링 좌표가 원하는 화상 변형에 대응되어 설정되고, 처리가 간소하며 해상도가 양호한 고품위의 컬러 화상을 얻을 수 있다.

또한, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 화상 변형 파라미터가 상기 촬상소자에 결상한 피사체상의 평행 이동, 확대 축소, 회전, 치우침 중에서 적어도 하나의 변형 보정 파라미터임으로써, 샘플링 좌표가 이들 중 어느 하나의 화상 변형에 대응되어 설정되고, 간소한 처리로 원하는 화상 변형이 가능하며 해상도 및 화상 품위를 향상시킬 수 있다.

또한, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 화상 변형 파라미터가 촬상 유닛에 기인하는 왜곡 수차(이른바, 촬상 유닛 내에 내장된 촬상 렌즈에 기인하는 왜곡 수차임)의 보정도 겸비함으로써, 샘플링 좌표가 색 보간과 흔들림 보정과 왜곡 수차의 보정 삼자를 고려하여 이들에 대응되어 설정되고, 간소한 처리로 원하는 화상 변형 외에도 왜곡 수차의 보정도 가능하며 해상도 및 화상 품위를 향상시킬 수 있다.

도 1은 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램이 적용된 일실시예의 촬상장치(1)의 구성을 도시한 블록도이다.
도 2는 동 실시예에서의 색 플레인 분해부와 색 생성부의 기능 설명도로서, (a)가 촬상 유닛(2)으로부터 출력되는 베이어 배열의 색 모자이크 화상을 도시한 도면, (b), (c), (d), (e)가 각각 색 플레인 분해부에서 생성된 R플레인, Gr플레인, Gb플레인, B플레인의 배치를 도시한 도면, (f)가 샘플링 좌표에서의 화소값을 보간 산출할 때의 설명도이다.
도 3은 동 실시예에서의 좌표 설정의 설명도이다.
도 4는 동 실시예의 화상 처리 및 화상 처리 프로그램에서의 컬러 화상 생성의 순서를 도시한 흐름도이다.

다음에, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램의 일실시예를 도면에 기초하여 설명한다.

도 1은 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램이 적용된 일실시예의 촬상장치(1)의 구성을 도시한 블록도, 도 2는 동 실시예에서의 색 플레인 분해부와 색 생성부의 기능 설명도로서, (a)가 촬상 유닛(2)으로부터 출력되는 베이어 배열의 색 모자이크 화상을 도시한 도면, (b), (c), (d), (e)가 각각 색 플레인 분해부에서 생성된 R플레인, Gr플레인, Gb플레인, B플레인의 배치를 도시한 도면, (f)가 샘플링 좌표에서의 화소값을 보간 산출할 때의 설명도이다.

또한, 도 3은 동 실시예에서의 좌표 설정의 설명도, 도 4는 동 실시예의 화상 처리 및 화상 처리 프로그램에서의 컬러 화상 생성의 순서를 도시한 흐름도이다.

촬상 장치(1)는, 예를 들면 휴대전화 등의 모바일 기기에 탑재된 카메라 모듈로서, 도 1에 도시된 바와 같이, 피사체상(P)을 촬상소자(5)로 도입하여 디지털 화상 신호(C)(모자이크 형상의 화상 신호임)로서 출력하는 촬상 유닛(2);과, 촬상 유닛(2)을 통해 출력된 디지털 화상 신호(C)에 기초하여 피사체에 대한 촬상 유닛(2)의 흔들림 보정이나 소정의 화상 변형을 행함과 동시에 화소마다 복수의 색정보를 구비한 컬러 화상을 생성하는 화상 처리 장치(100);로 구성되어 있다.

촬상 유닛(2)에는, 피사체상(P)을 촬상소자(5)로 도입하는 촬상 렌즈(3), 수광한 촬상 광을 전기량으로 변환하여 출력하는 촬상소자(CCD: Charge Coupled Devices)(5), 촬상소자(5)로부터 출력되는 아날로그 화상 신호를 디지털 화상 신호(C)로 변환하여 출력하는 AFE(Analog Front End)(6), 촬상소자(5) 및 AFE(6)를 소정 주기로 제어하는 TG(Timing Generator)(13), 촬상 렌즈(3)의 광축 방향(Z방향)의 슬라이드 구동을 하는 렌즈 구동부(12), 센서(11)를 통해 촬상 렌즈(3)의 슬라이드량을 검출하는 검출부(10), 피사체에 대한 촬상 장치(1)의 흔들림을 검지하고, 그 흔들림량에 따른 전기 신호를 출력하는 각속도 센서(15) 등이 구비되어 있다.

본 실시예에서의 촬상 유닛(2)은, 렌즈 구동부(12)를 통해 촬상 렌즈(3)가 광축 방향으로 슬라이드 가능하게 구성되고, 촬상 렌즈(3)의 초점거리나 촬상 렌즈(3)에서 피사체에 이르기까지의 피사체 거리 등의 렌즈 스테이트가 가변 가능하게 구성되어 있는, 이른바 핀트(초점) 조정 기구(mechanism)가 장착된 줌렌즈를 구비하고 있다.

촬상소자(5)는 단판식 촬상소자로서, 복수의 광전 변환 소자가 매트릭스 형상으로 배치되고, 그 전면에는 광전 변환 소자에 대응해서 R(적) G(녹) B(청) 3원색의 베이어(Bayer) 배열로 이루어진 컬러 필터(5a)를 구비하며, 각 색의 필터부를 통과한 단일 색의 광량을 전기 신호로 변환하도록 구성되어 있다.

원색 베이어 배열은, 도 2의 (a)에 도시된 바와 같이 G색의 필터가 체크 무늬로 배치되고, G색 필터와 R색 필터가 교대로 배치된 열과 G필터와 B필터가 교대로 배치된 열이 구성되어 있다. 또한, 본 실시예에서는, 도 2의 (a)에서 R에 나란히 일방향으로 배치된 G색을 Gr이라고 나타내고, B에 나란히 일방향으로 배치된 G색을 Gb라고 나타낸다.

AFE(6)는, 촬상소자(5)를 통해 출력된 아날로그 화상 신호에 대해 잡음을 제거하는 상관 이중 샘플링(CDS: Corelated Double Sampling)회로(7), 상관 이중 샘플링 회로(7)에서 상관 이중 샘플링된 화상 신호를 증폭하는 가변 이득 증폭기(AGC: Automatic Gain Control)(8), 가변 이득 증폭기(8)를 통해 입력된 아날로그 화상 신호를 디지털 화상 신호로 변환하는 A/D 변환기(9) 등으로 구성되고, 촬상소자(5)로부터 출력된 화상 신호를 디지털 화상 신호(C)로 변환하여 화상 처리 장치(100)에 출력한다.

또, 촬상 유닛(2)에 있어서, 촬상소자(5), 상관 이중 샘플링 회로(7), 가변 이득 증폭기(8), A/D 변환기(9) 등을 대신하여 CMOS(Complementary Metal Oxide Semiconductor)센서를 이용해도 된다. 촬상소자(5)로부터 출력되는 화소마다의 신호가 단일 색의 정보만 가지므로, 촬상 유닛(2)으로부터 화상 처리 장치(100)로 모자이크 형상의 화상 신호가 출력된다.

각속도 센서(15)는, 예를 들면 공지의 진동 자이로로 구성되고, 해당 촬상 유닛(2)의 피사체로 향하여 전후 방향의 흔들림, 좌우 방향의 흔들림, 상하 방향의 흔들림, 전후 방향을 회전축으로 하는 회전 흔들림, 좌우 방향을 회전축으로 하는 회전 흔들림, 상하 방향을 회전축으로 하는 회전 흔들림 등에 따른 전기 신호(이하, 흔들림 신호라고 함)를 생성하여 화상 처리 장치에 출력한다. 또, 각속도 센서(15)를 대신하여 피에조형의 3축 가속도 센서를 이용하거나, 서로 직교하는 3축 방향에 대응해서 복수의 가속도 센서를 이용하거나 해도 된다. 또, 흔들림을 검출할 때에, 전술한 센서에 의한 흔들림 검출 대신에 화상 처리 장치(100)에서 소정 시간 내에 촬영되는 복수의 화상 간의 화상 신호의 차분을 검출하여, 이들 차분에 기초하여 전술한 흔들림을 검출해도 된다.

다음에, 화상 처리 장치(100)는, 촬상 유닛(2)으로부터 출력된 모자이크 화상을 R, Gr, Gb, B의 화소마다 분리하는 색 플레인 분해부(21), 출력하는 컬러 화상의 화소를 주사하여 그 좌표를 처리 대상 화소(T)로서 순차적으로 설정하는 출력 화상 주사부(25), 초점거리나 피사체와의 거리 등 촬상 렌즈(3)의 렌즈 스테이트를 검출하는 렌즈 스테이트 검출부(37), 촬상 렌즈(3)의 렌즈 스테이트에 대응해서 촬상 유닛(2)의 왜곡 수차를 보정하기 위한 왜곡 수차 계수를 기록한 수차 계수 테이블(38), 렌즈 스테이트 검출부(37) 및 수차 계수 테이블(38)로부터의 정보에 기초하여 왜곡 수차의 보정 파라미터를 설정하는 수차 계수 설정부(39), 각속도 센서(15)로부터 출력된 흔들림 신호에 기초하여 촬상 유닛(2)으로부터 입력된 색 모자이크 화상에 대한 흔들림의 보정값을 산출하는 흔들림 검출부(40) 등을 구비하고 있다.

또한, 화상 처리 장치(100)는, 출력 화상 주사부(25)로부터 출력된 처리 대상 화소(T)의 위치를 나타내는 신호와, 흔들림 검출부(40)와 수차 계수 설정부(39)로부터 출력된 신호에 기초하여 R, G, B의 색마다 샘플링 좌표를 설정하는 샘플링 좌표 설정부(29), 샘플링 좌표 설정부(29)에서 설정된 샘플링 좌표에서의 R, Gr, Gb, B의 색 플레인마다의 화소값을 샘플링하는 샘플링부(32), 샘플링부(32)를 통해 얻어진 R, Gr, Gb, B의 색 플레인마다의 화소값을 합성하여 화소마다 복수의 색성분을 구비한 색 데이터를 생성하는 색 생성부(33) 등을 구비하고 있다.

또, 화상 처리 장치(100)는, 색 생성부(33)로부터 출력된 컬러 화상 신호에 대해 색 화상의 외관을 좋게 하기 위해 공지의 감마 보정이나 채도 보정, 엣지 강조 등을 행하는 시각 보정부(34), 시각 보정부(34)를 통해 출력된 컬러 화상을 예를 들면 JPEG 등의 방법으로 압축하는 압축부(35), 압축부(35)를 통해 출력된 컬러 화상을 예를 들면 플래시 메모리 등의 기록매체에 기록하는 기록부(36), CPU(Central Processing Unit)(18), ROM(Read Only Memory)(19) 등으로 구성되고, CPU(18)가 ROM(19)에 저장된 제어용 프로그램에 따라 해당 촬상 장치(1) 및 화상 처리 장치(100)의 각 처리를 제어한다.

색 플레인 분해부(21)는, 베이어 배열에 대응해서 R의 화소 신호를 기억하는 R필드 메모리(22), Gr의 화소 신호를 기억하는 Gr필드 메모리(23a), Gb의 화소 신호를 기억하는 Gb필드 메모리(23b), B의 화소 신호를 기억하는 B필드 메모리(24)로 구성되고, CPU(18)로부터의 지령에 기초하여 이들 화소 신호(이하, 화소값이라고 함)를 샘플링부(32)에 출력한다.

흔들림 검출부(40)는, 각도 센서(15)로부터 출력된 흔들림의 전기 신호에 기초하여 피사체에 대한 촬상 유닛(2)의 흔들림을 검출하여, 흔들림을 보정하기 위한 흔들림 보정 파라미터(z, dx, dy, θ,

y,

x 등)를 샘플링 좌표 설정부(29)에 출력한다.

흔들림 보정 파라미터(이하, 흔들림 보정값이라고도 함)에 있어서, 피사체에 대해 z가 촬상 유닛(2)의 전후 방향의 흔들림에 따른 피사체상의 크기의 보정값, dx가 좌우 방향 혹은 요축(yaw axis)의 흔들림에 따른 피사체상의 좌우 위치의 보정값, dy가 상하 방향 혹은 피치축의 흔들림에 따른 피사체상의 상하 위치의 보정값, θ가 전후 방향을 회전축으로 하는 흔들림에 따른 피사체상의 회전의 보정값,

y가 상하 방향 혹은 피치축의 흔들림에 따른 피사체상의 상하 방향의 치우침의 보정값,

x가 좌우 방향 혹은 요축의 흔들림에 따른 피사체상의 좌우 방향의 치우침의 보정값이다. 또한, 흔들림 보정 파라미터(z)에는 디지털 줌의 줌 배율을 포함시켜도 된다.

다음에, 샘플링 좌표 설정부(29)는, 흔들림 검출부(40)에서 생성된 흔들림 보정값에 기초하여 출력 화상 주사부(25)로부터 출력된 컬러 화상의 처리 대상 화소(T)의 위치에 대응하는 색 모자이크 화상 상의 좌표를 연산한다.

우선, 좌표계로서 화소 위치에 대응된 좌표계를 uv로 나타내고, 보정 계산에서 이용하는 편의상의 좌표계를 xy로 나타낸다. 또한, 첨자 s는 색 모자이크 화상 상에서의 좌표를 나타내고, 첨자 d는 출력 컬러 화상 상에서의 좌표를 나타낸다.

또한, 도 3에 도시된 바와 같이, 출력 컬러 화상에 있어서 원점을 화상 중심, 최대의 상 높이를 1, 화면의 좌우 방향을 x로 하고, 화면의 상하 방향을 y로 하며, 좌우 방향으로 1600개, 상하 방향으로 1200개의 화소가 등간격으로 배치되어 있는 것으로 한다.

그리고, uv좌표계에 있어서, 화소 좌표(u,v)를 좌상에서 우방향으로 (0,O), (1,O), (2,0), (3,0)…(1599,0), 다음의 행을 좌상에서 우방향으로 (0,1), (1,1), (2,1), (3,1)…(1599,1)으로 배정하고, 처리 대상 화소(T)의 좌표(u_d,v_d)를 xy좌표(x_d,y_d)로 수학식 1에 따라 변환한다.

다음에, 전술한 흔들림 보정 파라미터(z, θ, dx, dy,

x,

y)를 적용하여 흔들림 보정 후의 좌표(x_s,y_s)를 수학식 2에 의해 산출한다. 수학식 2에서 x_s=wx_s/w, y_s=wy_s/w으로 한다.

이 때, 흔들림 검출부(40)는 흔들림 보정 파라미터(z, dx, dy, θ,

y,

x 등)를 샘플링 좌표 설정부(29)에 출력하는 대신에, 이 흔들림 보정 파라미터를 포함하는 수학식 2의 행렬 자체를 샘플링 좌표 설정부(29)에 출력해도 된다. 그리고, 샘플링 좌표 설정부(29)는 그 행렬 자체를 그대로 적용하여 흔들림 보정 후의 좌표(x_s,y_s)를 산출하면 된다.

또, 흔들림 보정 후의 좌표에 대해 왜곡 수차 보정의 계수(k₁, k₂, p₁, p₂)를 적용하여 색 플레인 분해부(21)에서 생성된 Gr플레인 및 Gb플레인에서의 샘플링 좌표(x_sG, y_sG)를 x_sG=x^′(1+k₁r^′2+k₂r^′4)+2p₁x^′y^′+p₂(r^′2+2x^′2), y_sG=y^′(1+k₁r^′2+k₂r^′4)+2p₂x^′y^′+p₁(r^′2+2y^′2)의 연산식으로 산출한다. 이 때, r^′2≡x^′2+y^′2로 한다.

k₁, k₂, p₁, p₂는 촬상 렌즈(3)의 왜곡 수차를 나타내는 계수로서, k₁, k₂가 방사선 방향의 왜곡, p₁, p₂가 접선 방향의 왜곡을 나타낸다.

또, 촬상 렌즈(3)의 색수차를 고려하여 R플레인, B플레인에서의 샘플링 좌표(x_sR, y_sR)(x_sB, y_sB)를 수학식 3, 수학식 4에 의해 산출한다.

삭제

여기서, k_R, k_B는 Gr플레인 및 Gb플레인을 기준으로 했을 때의 R, B플레인의 배율, d_Rx, d_Ry는 Gr플레인 및 Gb플레인을 기준으로 했을 때의 R플레인의 평행 어긋남량, d_Bx, d_By는 Gr플레인 및 Gb플레인을 기준으로 했을 때의 B플레인의 평행 어긋남량이다.

다음에, 색 모자이크 화상도 좌우 방향으로 1600개, 상하 방향으로 1200개의 화소가 등간격으로 배치되어 있는 화소 배열로서, 화소 번호(u_s, v_s)가 출력 화상(컬러 화상)과 같이 배정되어 있다고 하면, (x_sR, y_sR), (x_sG, y_sG), (x_sB, y_sB)에 대응하는 입력 화상 상의 샘플링 좌표(u_sR, v_sR), (u_sG, v_sG), (u_sB, v_sB)를 수학식 5, 수학식 6, 수학식 7에 의해 산출한다.

삭제

샘플링 좌표 설정부(29)에서 산출된 샘플링 좌표(u_sR, v_sR), (u_sG, v_sG), (u_sB, v_sB)의 값은 정수가 된다고 한정되지 않고, 일반적으로는 비정수가 된다.

다음에, 도 2에 도시된 바와 같이, 샘플링부(32)는 색 플레인 분해부(21)에서 생성한 각 색 플레인(R플레인, Gr플레인, Gb플레인, B플레인)으로부터 샘플링 좌표 설정부(29)에서 산출한 샘플링 좌표에서의 샘플링값을 산출하여 출력한다.

R플레인으로부터는 (u_sR, v_sR), Gr플레인으로부터는 (u_sG, v_sG), Gb플레인으로부터는 (u_sG, v_sG), B플레인으로부터는 (u_sB, v_sB)에서의 값을 출력하고, 출력 화상(컬러 화상) 상의 처리 대상 화소(T(u_d, v_d))에서의 샘플링값(Rs, Grs, Gbs, Bs)을 얻는다.

이 때, 전술한 바와 같이, 샘플링 위치(u_s, v_s)가 정수 좌표라고는 한정되지 않으므로, (u_s, v_s)를 둘러싸는 4개의 유치 화소로부터 선형 보간을 하여 샘플링값을 산출한다.

도 2에 도시된 바와 같이, R플레인, Gr플레인, Gb플레인, B플레인의 어느 플레인도 종횡의 격자점 형상으로 4개의 유치 화소를 갖기 때문에, 샘플링 좌표(401, 402, 403, 404)를 둘러싸는 4개의 유치 화소는 해당 샘플링 좌표(u_sR)가 (100.8, 101.4)이면, 이를 둘러싸는 4개의 화소(u, v)가 (100, 100), (100, 102), (102, 100), (102, 102)가 된다.

그리고, 도 2의 (f)에 도시된 바와 같이, 샘플링 좌표를 통해 대향하는 유치 화소 간의 거리의 비(여기서는 x방향이 0.4:0.6, y방향이 0.7:0.3임)를 구하고, 4개의 유치 화소의 화소값을 이용하여 샘플링 위치(100.8, 101.4)에서의 R의 화소값을 보간에 의해 산출한다.

예를 들면, R플레인에 대해 4개의 유치 화소의 화소값을 R(100, 100), R(100, 102), R(102, 100), R(102, 102)로 나타내고, 샘플링 위치(100.8, 101.4)의 R의 화소값을 R(100.8, 101.4)로 나타내면, R플레인 상에서의 샘플링 좌표(401)의 화소값 G(100.8, 101.4)을 R(100.8, 101.4)=0.6*0.3*R(100, 100)+0.6*0.7*R(100, 102)+0.4*0.3*R(102, 100)+0.4*0.7*R(102, 102)의 연산식에 의해 산출할 수 있다.

Gr, Gb, B플레인 상에서의 샘플링 좌표(402, 403, 404)의 화소값도, R플레인과 같이 샘플링 좌표를 둘러싸는 4개의 유치 화소의 화소값으로부터 보간에 의해 산출할 수 있다. 그리고, 샘플링부에서는 출력 화상에서의 모든 화소에 대해 R, Gr, Gb, B의 샘플링값을 산출한다.

다음에, 색 생성부(33)는, 샘플링부(32)에서 얻어진 색 플레인마다의 샘플링값(Rs, Grs, Gbs, Bs)으로부터 화소마다 색정보(RGB 성분)를 생성하여 출력 화상(컬러 화상)을 생성한다.

이 때, 예를 들면, R 및 B의 성분으로는 샘플링값(Rs, Bs)을 그대로 이용하고, G성분으로는 Grs와 Gbs의 평균을 이용해도 되는데, 여기서는 더욱 위색(僞色) 억제를 한다. 즉, 촬상소자(5)로 구성되는 베이어 배열의 컬러 이미지 센서에서는, 나이퀴스트 근처 흑백의 줄무늬 모양에 대해 적색이나 청색의 위색이 발생하기 쉬우므로, Gr과 Gb의 차분을 취함으로써 이들 줄무늬 모양을 검출할 수 있고, 위색을 억제할 수 있다.

다음에, 시각 보정부(34)에서 톤 커브(감마) 보정, 채도 강조, 엣지 강조 등의 화상 보정을 하고, 그 후 압축부(35)에서 컬러 화상의 디지털 화상 신호를 JPEG(Joint Photographic Experts Group) 등의 방법으로 압축하며, 기록부(36)에서 압축된 디지털 화상 신호를 기록매체에 기억한다.

다음에, 도 4에 기초하여 촬상 유닛(2)을 통해 입력한 색 모자이크 화상(입력 화상)으로부터 흔들림 보정 및 왜곡 수차를 보정하여 컬러 화상(출력 화상)을 생성할 때의 순서를 설명한다. 이 순서는 CPU(18)가 ROM(19)에 저장된 프로그램에 기초하여 각 기능부에 지령 신호를 부여하여 실행한다. 또한, 도 4에서의 S는 단계를 나타낸다.

우선, 이 순서는, 오퍼레이터에 의해 화상 처리 장치(100)에 기동 신호가 입력되었을 때에 시작한다.

다음에, S110에서 촬상 유닛(2)을 통해 화상 신호를 화상 처리 장치(100)에 읽어들이고, 그 후, S120에서 색 플레인 분해부(21)에서 베이어 배열에 대응해서 R의 화소 신호, Gr의 화소 신호, Gb의 화소 신호, B의 화소 신호마다 기억하며, 그 후 S190의 샘플링 단계로 이동한다.

한편, S130에서, 출력 화상 주사부(25)를 이용하여 출력 화상(컬러 화상)을 주사하여 처리 대상 화소를 순차적으로 취득하고, 그 후 S180으로 이동한다.

또한, S140에서, 렌즈 스테이트 검출부(37)를 이용하여 초점거리나 피사체 거리에 대응된 렌즈 스테이트를 검출하고, 그 후, S150에서 렌즈 스테이트에 대응되어 저장되어 있는 수차 계수(k₁, k₂, p₁…,)를 수차 계수 테이블(38)로부터 취득하며, 그 후 S180으로 이동한다.

한편, S160에서, 각속도 센서(15) 및 흔들림 검출부(40)를 이용하여 촬상 장치(1A)의 흔들림량을 검출하고, 그 후 S170으로 이동하며, S170에서 흔들림량 보정을 위한 파라미터(z, θ, dx, dy,

x,

y)를 취득하고, 그 후 S180으로 이동한다.

다음에, S180에서, S150에서 취득한 수차 계수, S170에서 취득한 흔들림 보정 파라미터 등을 이용하여 S130에서 취득한 출력 화상(컬러 화상)의 처리 대상 화소 위치에 대응하는 입력 화상(색 모자이크 화상) 상의 샘플링 좌표(u_s, v_s)를 산출하고, 그 후 S190으로 이동한다.

다음에, S190에서, 샘플링부(32)를 이용하여 색 플레인 분해부(21)에서 생성된 각 색 플레인으로부터 샘플링 좌표 설정부(29)에서 산출한 샘플링 좌표(u_s, v_s)에서의 R, Gr, Gb, B마다의 샘플링값(샘플링 위치에서의 색마다의 화소값임)을 산출하고, 그 후 S200으로 이동한다.

다음에, S200에서, 색 생성부(33)를 이용하여 샘플링부(32)에서 산출된 각 색의 샘플링값을 합성함으로써, 처리 대상 화소마다 복수 색의 색정보를 생성하고, 그 후 S210으로 이동한다.

다음에, S210에서 출력 화상 내에서의 다음의 주사 화소의 유무를 판정하여 화소 없음(No)이라고 판정되었을 때에는 S220으로 이동하고, 화소 있음(Yes)이라고 판정되었을 때에는 S180~S210을 반복하여 S210에서 화소 없음(No)에 이르렀을 때에 S220으로 이동한다.

다음에, S220에서, 시각 보정부(34)를 이용하여 색 생성부(33)에서 생성된 컬러 화상에 대해 톤 커브(감마) 보정, 채도 강조, 엣지 강조 등의 화상 보정을 하고, 그 후 S230으로 이동한다.

다음에, S230에서, 압축부(35)를 이용하여 시각 보정부(34)를 통해 출력된 컬러 화상의 디지털 화상 신호를 JPEG(Joint Photographic Experts Group) 등의 방법으로 압축하여 기록시의 화상 데이터의 크기를 작게 하고, 그 후 S240으로 이동한다.

다음에, S240에서, 기록부(36)를 이용하여 압축된 디지털 화상 신호를 플래시 메모리 등의 기록매체에 기억하고, 그 후 본 화상 처리 프로그램을 종료한다.

이상과 같이, 본 실시예에 기재된 화상 처리 장치(100) 및 화상 처리 방법 및 화상 처리 프로그램에 따르면, 수차 계수 설정부(39)에서 왜곡 수차 보정을 위한 수차 계수를 설정함과 동시에, 흔들림 검출부(40)에서 흔들림 보정을 위한 파라미터를 설정하고 양자를 디모자이크시에 적용함으로써, 디모자이크와 함께 흔들림 보정 및 왜곡 수차 보정이 가능하여 그들 처리 공정을 따로따로 행하는 것보다도 화상 처리를 간소화할 수 있음과 동시에, 해상도가 양호한 고품위의 컬러 화상을 얻을 수 있다.

이상, 본 발명의 일실시예에 대해서 설명하였지만, 본 발명은 상기 실시예에 한정되는 것이 아니고, 여러가지 태양을 취할 수 있다. 예를 들면, 촬상 장치(1)에 있어서, 촬상 렌즈(3), 렌즈 구동부(12), 검출부(10)를 일체의 렌즈 유닛으로서 착탈 교환할 수 있도록 구성하고, 수차 계수 테이블(38)이나 수차 계수 설정부(39), 각속도 센서(15) 등을 렌즈 유닛측에 구비해도 된다.

색 모자이크 화상으로부터 컬러 화상을 생성할 때에, 샘플링 좌표가 색 보간, 흔들림 보정에 대응되어 설정되는 용도에 적용 가능하다.

1…촬상 장치, 2…촬상 유닛, 3…촬상 렌즈, 5…촬상소자, 5a…베이어 배열의 컬러 필터, 6…AFE(Analog Front End), 7…상관 이중 샘플링 회로, 8…가변 이득 증폭기(AGC: Automatic Gain Control), 9…A/D 변환기, 10…검출부, 11…센서, 12…렌즈 구동부, 13…TG(Timing Generator), 15…각속도 센서, 18…CPU(Central Processing Unit), 19…ROM(Read Only Memory), 21…색 플레인 분해부, 22…R필드 메모리, 23a…Gr필드 메모리, 23b…Gb필드 메모리, 24…B필드 메모리, 25…출력 화상 주사부, 29…샘플링 좌표 설정부, 32…샘플링부, 33…색 생성부, 34…시각 보정부, 35…압축부, 36…기록부, 37…렌즈 스테이트 검출부, 38…수차 계수 테이블, 39…수차 계수 설정부, 40…흔들림 검출부, 100…화상 처리 장치

Claims

촬상 유닛에 의해 촬영되고, 상이한 복수의 색광을 광전 변환하는 촬상소자에 의해 얻어진, 각 화소가 단색의 휘도 정보를 갖는 색 모자이크 화상을 이용하여 각 화소에 복수 색의 휘도 정보를 생성함과 동시에 소정의 화상 변형을 실시하여 컬러 화상을 생성하는 화상 처리 장치로서,
상기 색 모자이크 화상을 동일한 색광의 휘도 정보만을 포함하는 복수의 색 플레인으로 분해하는 색 플레인 분해부;
상기 색 모자이크 화상에서의 각 화소 좌표에 대해, 피사체와 상기 촬상 유닛의 상대적인 변위인 흔들림의 보정값을 생성하는 흔들림 검출부;
상기 컬러 화상의 화소 위치와 상기 흔들림의 보정값으로부터, 상기 화상 변형이 실시되었을 때의 상기 컬러 화상의 화소 위치에 대응된 상기 색 모자이크 화상 상의 샘플링 좌표를 설정하는 샘플링 좌표 설정부;
상기 색 플레인 분해부에 의해 분해된 복수의 색 플레인마다 상기 샘플링 좌표에서의 화소값을 상기 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하는 샘플링부;
상기 샘플링부에 의해 보간 생성된 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 상기 컬러 화상의 화소 신호를 생성하는 색 생성부;를 구비하고 있는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,
상기 흔들림 검출부가 상기 피사체로 향하여 전후 방향의 흔들림, 좌우 방향의 흔들림, 상하 방향의 흔들림, 전후 방향을 회전축으로 하는 회전 흔들림, 좌우 방향을 회전축으로 하는 회전 흔들림, 상하 방향을 회전축으로 하는 회전 흔들림 중에서 적어도 하나의 흔들림에 대한 보정값을 생성하도록 구성되어 있는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,
상기 샘플링 좌표 설정부가 상기 화상 변형의 파라미터를 이용하여 해당 화상 변형을 실시했을 때의 상기 샘플링 좌표를 설정하도록 구성되어 있는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,
상기 화상 변형의 파라미터가 상기 촬상소자에 결상한 피사체상의 평행 이동, 확대 축소, 회전, 치우침 중에서 적어도 하나의 변형 보정 파라미터인 것을 특징으로 하는 화상 처리 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 화상 변형의 파라미터가 상기 촬상 유닛에 기인하는 왜곡 수차의 보정도 겸비하고 있는 것을 특징으로 하는 화상 처리 장치.
촬상 유닛에 의해 촬영되고, 상이한 복수의 색광을 광전 변환하는 촬상소자에 의해 얻어진, 각 화소가 단색의 휘도 정보를 갖는 색 모자이크 화상을 이용하여 각 화소에 복수 색의 휘도 정보를 생성함과 동시에 소정의 화상 변형을 실시하여 컬러 화상을 생성하는 화상 처리 방법으로서,
상기 색 모자이크 화상을 동일한 색광의 휘도 정보만을 포함하는 복수의 색 플레인으로 분해하는 색 플레인 분해 단계;
상기 색 모자이크 화상에서의 각 화소 좌표에 대해, 피사체와 상기 촬상 유닛의 상대적인 흔들림의 보정값을 산출하는 흔들림 검출 단계;
상기 컬러 화상의 화소 위치와 상기 흔들림의 보정값으로부터, 상기 화상 변형이 실시되었을 때의 상기 컬러 화상의 화소 위치에 대응된 상기 색 모자이크 화상 상의 샘플링 좌표를 설정하는 샘플링 좌표 설정 단계;
상기 색 플레인 분해 단계에 의해 분해된 복수의 색 플레인마다 상기 샘플링 좌표에서의 화소값을 상기 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하는 샘플링 단계;
상기 샘플링 단계에 의해 보간 생성된 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 상기 컬러 화상의 화소 신호를 생성하는 색 생성 단계;를 이용하는 것을 특징으로 하는 화상 처리 방법.
제6항에 있어서,
상기 흔들림 검출 단계가 상기 피사체로 향하여 전후 방향의 흔들림, 좌우 방향의 흔들림, 상하 방향의 흔들림, 전후 방향을 회전축으로 하는 회전 흔들림, 좌우 방향을 회전축으로 하는 회전 흔들림, 상하 방향을 회전축으로 하는 회전 흔들림 중에서 적어도 하나의 흔들림에 대한 보정값을 생성하는 것을 특징으로 하는 화상 처리 방법.
제6항에 있어서,
상기 샘플링 좌표 설정 단계가 상기 화상 변형의 파라미터를 이용하여 상기 화상 변형을 실시했을 때의 상기 샘플링 좌표를 설정하는 것을 특징으로 하는 화상 처리 방법.
제6항에 있어서,
상기 화상 변형의 파라미터가 상기 촬상소자에 결상한 피사체상의 평행 이동, 확대 축소, 회전, 치우침 중에서 적어도 하나의 변형 보정의 파라미터인 것을 특징으로 하는 화상 처리 방법.
제6항 내지 제9항 중 어느 한 항에 있어서,
상기 화상 변형의 파라미터가 상기 촬상 유닛에 기인하는 왜곡 수차의 보정도 겸비하고 있는 것을 특징으로 하는 화상 처리 방법.
촬상 유닛에 의해 촬영되고, 상이한 복수의 색광을 광전 변환하는 촬상소자에 의해 얻어진, 각 화소가 단색의 휘도 정보를 갖는 색 모자이크 화상을 이용하여 각 화소에 복수 색의 휘도 정보를 생성함과 동시에 소정의 화상 변형을 실시하여 컬러 화상을 생성하는 화상 처리 방법을 컴퓨터에 실행시키는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 프로그램이 수록된 컴퓨터-판독가능 저장 매체로서,
상기 화상 처리 방법은,
상기 색 모자이크 화상을 동일한 색광의 휘도 정보만을 포함하는 복수의 색 플레인으로 분해하는 색 플레인 분해 단계;
상기 색 모자이크 화상에서의 각 화소 좌표에 대해, 피사체와 상기 촬상 유닛의 상대적인 흔들림의 보정값을 산출하는 흔들림 검출 단계;
상기 컬러 화상의 화소 위치와 상기 흔들림의 보정값으로부터, 상기 화상 변형이 실시되었을 때의 상기 컬러 화상의 화소 위치에 대응된 상기 색 모자이크 화상 상의 샘플링 좌표를 설정하는 샘플링 좌표 설정 단계;
상기 색 플레인 분해 단계에 의해 분해된 복수의 색 플레인마다 상기 샘플링 좌표에서의 화소값을 상기 색 플레인 내에 포함되는 동일한 색광의 화소값으로부터 보간 생성하는 샘플링 단계;
상기 샘플링 단계에 의해 보간 생성된 각 색 플레인의 샘플링 좌표에서의 화소값을 합성하여 상기 컬러 화상의 화소 신호를 생성하는 색 생성 단계;를 컴퓨터에 실행시키는 것을 특징으로 하는 컴퓨터-판독가능 저장 매체.
제11항에 있어서,
상기 흔들림 검출 단계가 상기 피사체로 향하여 전후 방향의 흔들림, 좌우 방향의 흔들림, 상하 방향의 흔들림, 전후 방향을 회전축으로 하는 회전 흔들림, 좌우 방향을 회전축으로 하는 회전 흔들림, 상하 방향을 회전축으로 하는 회전 흔들림 중에서 적어도 하나의 흔들림에 대한 보정값을 생성하도록 컴퓨터에 실행시키는 것을 특징으로 하는 컴퓨터-판독가능 저장 매체.
제11항에 있어서,
상기 샘플링 좌표 설정 단계가 상기 화상 변형의 파라미터를 이용하여 상기 화상 변형을 했을 때의 상기 샘플링 좌표를 설정하도록 컴퓨터에 실행시키는 것을 특징으로 하는 컴퓨터-판독가능 저장 매체.
제11항에 있어서,
상기 화상 변형의 파라미터가 상기 촬상소자에 결상한 피사체상의 평행 이동, 확대 축소, 회전, 치우침 중에서 적어도 하나의 변형 보정의 파라미터인 것을 특징으로 하는 컴퓨터-판독가능 저장 매체.
제11항 내지 제14항 중 어느 한 항에 있어서,
상기 화상 변형의 파라미터가 상기 촬상 유닛에 기인하는 왜곡 수차의 보정도 겸비하고 있는 것을 특징으로 하는 컴퓨터-판독가능 저장 매체.