KR20120039499A - 화상 처리 장치, 화상 처리 방법 및 프로그램 - Google Patents

Abstract

본 발명은, 조명 환경이 상이한 복수매 화상으로부터 조명 성분에 의한 영향을 제거하고, 색 재현성이 높은 화상을 생성할 수 있는 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이다. 디모자이크 처리부(221)는 기준 모자이크 화상 유지부(111)에 유지된 기준 화상에 대하여 디모자이크 처리를 실시한다. 디모자이크 처리부(222)는 처리 대상 모자이크 화상 유지부(112)에 유지된 처리 대상 화상에 대하여 디모자이크 처리를 실시한다. 화이트 밸런스 산출부(230)는 기준 화상에 대한 채널마다의 화이트 밸런스값을 산출한다. 채널 게인 산출부(250)는, 기준 화상 및 처리 대상 화상의 RGB값 및 기준 화상의 화이트 밸런스로부터, 조명 성분 변환을 위한 채널마다의 게인을 산출한다. 게인 산출 시에는, 흑색 뭉개짐이나 포화 등이 고려된다. 채널 게인 적용부(260)는 채널 게인 산출부(250)에 의해 산출된 게인을 처리 대상 화상의 각 채널에 적용한다.

Description

화상 처리 장치, 화상 처리 방법 및 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM}

본 발명은, 화상 처리 장치에 관한 것으로, 특히 촬상된 화상으로부터 색 재현성이 높은 화상을 생성하는 화상 처리 장치, 및 이들에 있어서의 처리 방법 및 당해 방법을 컴퓨터에 실행시키는 프로그램에 관한 것이다.

조명 환경이 상이한 복수매의 화상을 사용한 화상 처리의 대표적인 예로서, 플래시를 발광하여 촬상한 화상의 색 재현성 향상을 목적으로 한 플래시 발광 및 비발광의 2매의 화상을 사용한 화이트 밸런스 처리가 있다. 일반적으로, 플래시의 광과 환경 광은 색 온도가 상이하기 때문에, 플래시를 발광한 사진 촬상에서는 플래시가 닿는 개소와 그 이외에서는 조명의 색 밸런스가 상이하다. 그로 인해, 영역마다 피사체에 닿는 광의 색 밸런스가 변화되어 버려, 종래와 같이 화면에 균일한 화이트 밸런스를 실시하는 게인 처리에서는 파탄이 발생하는 경우가 있었다. 이에 대해, 플래시 발광 및 비발광의 2매의 화상으로부터 조명의 플래시 성분과 환경 광 성분을 분리하여, 화소마다 화이트 밸런스 게인을 조정하는 시도가 이루어져 왔다(예를 들어, 특허문헌 1 참조).

일본 특허 공개 제2005-210485호 공보(도 1)

종래의 복수매 화상을 사용한 방법에서는, 2매 화상의 차분을 취함으로써 조명 성분을 분리하여, 각각을 단일 조명 환경 하에서 촬상된 화상의 화이트 밸런스의 문제로서 처리하고, 합성함으로써 해결해 왔다. 그러나 종래의 방법에는 이하와 같이 두 가지의 큰 문제가 있다.

제1 문제는, 환경 광의 변화에 대응할 수 없다는 문제이다. 기준 화상 및 처리 대상 화상의 2매의 차분을 단일 조명의 문제로서 다루기 위해서는, 2매의 화상 사이에서 플래시 이외의 조명 성분이 일정해야 한다. 그로 인해, 촬상 시에 햇볕이 그늘지는 등의 변화가 발생한 경우에는 능숙하게 대응할 수 없게 된다는 문제가 있다.

제2 문제는, 움직임 피사체에의 대응이 곤란하다는 문제이다. 기준 화상과 처리 대상 화상의 사이에서 움직인 피사체에 속하는 화소에서는, 분광 반사율이 상이한 화소를 비교함으로써 화상의 차분에 의한 조명 성분의 분리를 행할 수 없다. 이로 인해, 종래의 방법에서는, 카메라의 방향이 변화된 화상, 움직임 피사체가 존재하는 화상 등의 조합에는 대응할 수 없다는 문제가 있었다. 복수매 화상의 화상 처리에 있어서의 이들 어긋남에 대한 문제에는, 삼각 다리의 사용이나 글로벌 모션 벡터(Global Motion Vector), 블록 매칭에 의한 위치 정렬 등의 해결 수단이 제안되어 왔다. 그러나 삼각 다리를 사용한 경우에는, 카메라가 움직여 버리는 것에 의한 어긋남은 해결할 수 있지만, 움직임 피사체에는 대응할 수 없다. 글로벌 모션 벡터나 블록 매칭에서는, 일반적으로 SAD(Sum of Absolute Difference)라고 하는 2매의 화상의 차분에 기초하여 움직임이 추측된다. 그러나 조명 환경이 상이한 경우에는 차분이 조명 성분의 변화에 의한 것인지 움직임 피사체에 의한 것인지를 판단할 수 없어, 정밀도가 떨어진다는 문제가 있다.

본 발명은 이러한 상황을 감안하여 이루어진 것이며, 조명 환경이 상이한 복수매 화상으로부터 조명 성분에 의한 영향을 제거하여, 색 재현성이 높은 화상을 생성하는 것을 목적으로 한다.

본 발명은, 상기 과제를 해결하기 위하여 이루어진 것이며, 그 제1 측면은, 다른 조명 환경 하에서 촬상된 기준 화상 및 처리 대상 화상으로부터, 각 화소 위치에 있어서의 채널마다 조명 성분을 변환하기 위한 게인을 산출하는 채널 게인 산출부와, 상기 게인을 상기 처리 대상 화상에 적용하기 위한 채널 게인 적용부를 구비하는 화상 처리 장치, 화상 처리 방법 및 프로그램이다. 이에 의해, 다른 조명 환경 하에서 촬상된 기준 화상을 이용하여 처리 대상 화상의 각 화소 위치에 있어서의 채널마다 조명 성분을 변환시킨다는 작용을 초래한다.

또한, 이 제1 측면에 있어서, 상기 채널 게인 산출부는, 상기 처리 대상 화상의 특정한 채널의 게인을 고정하여, 상기 처리 대상 화소의 색 밸런스를 상기 기준 화상과 일치하도록 상기 게인을 산출해도 좋다. 또한, 상기 채널 게인 산출부는, 상기 처리 대상 화상의 휘도값을 고정하여, 상기 처리 대상 화소의 색 밸런스를 상기 기준 화상과 일치하도록 상기 게인을 산출해도 좋다.

또한, 이 제1 측면에 있어서, 상기 채널 게인 산출부는, 소정의 상한값을 초과하는 값이 상기 게인으로서 산출된 경우에는 상기 상한값을 상기 게인으로 하고, 또는 소정의 하한값을 하회하는 값이 상기 게인으로서 산출된 경우에는 상기 하한값을 상기 게인으로 해도 좋다. 이에 의해, 상한값 및 하한값의 범위를 일탈한 게인을 제거한다는 작용을 초래한다.

또한, 이 제1 측면에 있어서, 상기 채널 게인 산출부는, 상기 기준 화상의 화소값으로부터 화소의 포화도를 산출하는 포화도 산출부와, 상기 포화도에 따라 상기 게인의 보상 처리를 행하는 포화 보상부를 구비해도 좋다. 이에 의해, 포화도에 따라 게인을 보상시킨다는 작용을 초래한다.

또한, 이 제1 측면에 있어서, 상기 채널 게인 산출부는, 상기 기준 화상의 화소값으로부터 화소의 흑색 뭉개짐(blackout) 정도를 산출하는 흑색 뭉개짐 정도 산출부와, 상기 흑색 뭉개짐 정도에 따라 상기 게인의 보상 처리를 행하는 흑색 뭉개짐 보상부를 구비해도 좋다. 또한, 상기 채널 게인 산출부는, 상기 기준 화상의 화소값 및 상기 기준 화상과 상기 처리 대상 화상의 채널간 비율로부터 화소의 흑색 뭉개짐 정도를 산출하는 흑색 뭉개짐 정도 산출부와, 상기 흑색 뭉개짐 정도에 따라 상기 게인의 보상 처리를 행하는 흑색 뭉개짐 보상부를 구비해도 좋다. 이에 의해, 흑색 뭉개짐 정도에 따라 게인을 보상시킨다는 작용을 초래한다.

또한, 이 제1 측면에 있어서, 상기 기준 화상 및 상기 처리 대상 화상의 촬상 조건의 차이를 보상하기 위하여 노출 강도가 동등해지도록 강도 조정하는 노출 보상부를 더 구비해도 좋다. 이에 의해, 촬상 조건의 차이를 보상시킨다는 작용을 초래한다.

또한, 이 제1 측면에 있어서, 상기 채널 게인 적용부는, 상기 기준 화상의 화소값으로부터 화소의 포화 신뢰도를 산출하는 포화 신뢰도 산출부와, 상기 포화 신뢰도에 기초하여 상기 게인을 공간 평활화한 후 상기 처리 대상 화소에 대하여 적용하는 평활화 처리부를 구비해도 좋다. 이에 의해, 포화 신뢰도에 기초하여 공간 평활화된 게인에 의해 조명 성분을 변환시킨다는 작용을 초래한다.

또한, 이 제1 측면에 있어서, 상기 채널 게인 적용부는, 상기 기준 화상의 화소값으로부터 화소의 흑색 뭉개짐 신뢰도를 산출하는 흑색 뭉개짐 신뢰도 산출부와, 상기 흑색 뭉개짐 신뢰도에 기초하여 상기 게인을 공간 평활화한 후 상기 처리 대상 화소에 대하여 적용하는 평활화 처리부를 구비해도 좋다. 또한, 이 제1 측면에 있어서, 상기 채널 게인 적용부는, 상기 기준 화상의 화소값 및 상기 기준 화상과 상기 처리 대상 화상의 채널간 비율로부터 화소의 흑색 뭉개짐 신뢰도를 산출하는 흑색 뭉개짐 신뢰도 산출부와, 상기 흑색 뭉개짐 신뢰도에 기초하여 상기 게인을 공간 평활화한 후 상기 처리 대상 화소에 대하여 적용하는 평활화 처리부를 구비해도 좋다. 이에 의해, 흑색 뭉개짐 신뢰도에 기초하여 공간 평활화된 게인에 의해 조명 성분을 변환시킨다는 작용을 초래한다.

또한, 이 제1 측면에 있어서, 상기 채널 게인 적용부는, 상기 기준 화상과 상기 처리 대상 화상의 대응 화소에 있어서의 특성값의 변화로부터 공간적으로 피사체가 움직인 화소인지의 여부를 판정하여 움직임 피사체 신뢰도를 산출하는 움직임 피사체 신뢰도 산출부와, 상기 움직임 피사체 신뢰도에 기초하여 상기 게인을 공간 평활화한 후 상기 처리 대상 화소에 대하여 적용하는 평활화 처리부를 구비해도 좋다. 또한, 이 제1 측면에 있어서, 상기 움직임 피사체 신뢰도 산출부는, 상기 기준 화상과 상기 처리 대상 화상의 대응 화소의 분광 반사율의 변화에 따라 상기 움직임 피사체 신뢰도를 산출하는 분광 반사율 변화량 예측부를 구비해도 좋다. 이에 의해, 움직임 피사체 신뢰도에 기초하여 공간 평활화된 게인에 의해 조명 성분을 변환시킨다는 작용을 초래한다.

또한, 이 제1 측면에 있어서, 상기 기준 화상 또는 상기 처리 대상 화상의 해상도를 변환한 후 상기 채널 게인 산출부에 공급하는 해상도 변환부를 더 구비해도 좋다. 그때, 이 제1 측면에 있어서, 상기 해상도 변환부는, 화소의 씨닝에 의한 축소에 의해 상기 해상도 변환을 행해도 되고, 블록 내의 화소의 평균에 기초하는 축소에 의해 상기 해상도 변환을 행해도 된다. 또한, 블록 내의 화소의 중앙값에 기초하는 축소에 의해 상기 해상도 변환을 행해도 된다. 또한, 에지 보존형 평활화 필터 처리에 의해 상기 해상도 변환을 행해도 된다. 이에 의해, 기준 화상과 처리 대상 화상의 크기를 합치시킨다는 작용을 초래한다.

또한, 이 제1 측면에 있어서, 연속하여 촬상된 화상을 저장하기 위한 프레임 메모리와, 상기 연속 촬상된 화상을 가중치 부여하면서 가산하여 입력 화상을 작성하는 가산부와, 상기 연속 촬상에 사용하는 제어 파라미터를 결정하여 촬상의 반복 제어를 행하는 제어 파라미터 결정부를 더 구비해도 좋다. 이에 의해, 연속 촬상된 복수의 화상으로부터 합성된 화상을 입력 화상으로서 이용시킨다는 작용을 초래한다.

또한, 이 제1 측면에 있어서, 상기 기준 화상은 플래시 발광없이 촬상된 화상으로서, 상기 처리 대상 화상은 플래시 발광있는 상태로 촬상된 화상으로 한 조합을 이용해도 좋다.

또한, 이 제1 측면에 있어서, 상기 채널 게인 적용부는, 상기 처리 대상 화상의 화소값으로부터 휘도를 산출하는 휘도 산출부와, 화소 사이의 휘도의 차에 기초하여 상기 게인을 공간 평활화한 후 상기 처리 대상 화소에 대하여 적용하는 평활화 처리부를 구비해도 좋다. 이 경우에 있어서, 상기 휘도 산출부는, 상기 처리 대상 화상의 화소값에 대하여 미리 설정된 가중치에 의한 선형 합으로서 상기 휘도를 산출해도 좋고, 또한, 상기 기준 화상과 상기 처리 대상 화상의 대응 화소의 강도비를 목적 변량으로 하고 상기 처리 대상 화상의 화소값을 설명 변량으로 한 다중 회귀 분석에 기초하여 상기 휘도를 산출해도 좋다.

또한, 본 발명의 제2 측면은, 공간축 방향 및 휘도축 방향으로 영역을 복수로 분할한 각 블록에 대하여 처리 대상 화상의 화소의 빈도값을 블록 히스토그램으로서 산출하는 블록 히스토그램 산출부와, 상기 각 블록에 속하는 특성값의 적분값을 산출하는 블록 적분값 산출부와, 블록 히스토그램과 블록 적분값과 당해 화소 위치의 휘도값으로부터 당해 화소 위치의 글로벌 게인값을 산출하는 가중 곱의 합부와, 상기 처리 대상 화상에 상기 글로벌 게인값을 적용하는 게인 적용부를 구비하는 화상 처리 장치이다. 이에 의해, 다른 조명 환경 하에서 촬상된 기준 화상을 이용하여 글로벌 게인값을 구하고, 이 글로벌 게인값을 적용함으로써 처리 대상 화상의 각 화소 위치에 있어서의 채널마다 조명 성분을 변환시킨다는 작용을 초래한다.

또한, 이 제2 측면에 있어서, 상기 블록마다의 특성값의 적분값은, 상기 각 블록에 속하는 화소의 채널마다 조명 성분을 변환하기 위한 게인의 채널마다의 총합이어도 좋고, 상기 각 블록에 속하는 화소의 조명 성분을 변환하기 위한 게인의 채널마다의 중앙값에 블록 내 처리 대상 화상의 화소의 빈도값을 곱한 것이어도 좋다.

또한, 이 제2 측면에 있어서, 상기 가중 곱의 합부는, 미리 정의된 공간축 방향의 가중 함수에 의해 당해 화소 위치에의 상기 블록 히스토그램의 보간을 행하는 제1 보간부와, 미리 정의된 공간축 방향의 가중 함수에 의해 당해 화소 위치에의 상기 블록마다의 특성값의 보간을 행하는 제2 보간부와, 미리 정의된 휘도축 방향의 가중 함수에 의해 상기 보간된 블록 히스토그램의 하중 합을 산출하는 제1 곱의 합부와, 미리 정의된 휘도축 방향의 가중 함수에 의해 상기 보간된 특성값의 하중 합을 산출하는 제2 곱의 합부와, 상기 제2 곱의 합부의 출력을 상기 제1 곱의 합부의 출력에 의해 제산하는 제산부를 구비해도 좋다. 또한, 이 가중 곱의 합부에 있어서의 보관 처리는, 순서를 교체하여 휘도 방향의 보간, 공간 방향의 보간의 순으로 행해도 상관없다.

또한, 이 제2 측면에 있어서, 상기 가중 곱의 합부는, 상기 블록마다의 특성값을 상기 블록 히스토그램의 값으로 제산함으로써 블록 위치마다의 평균 특성값을 계산하는 제산부와, 상기 평균 특성값과 당해 화소 위치에 관한 특성값을 비교함으로써 가중치를 계산하는 비교부와, 상기 비교부에 있어서 산출된 가중치를 대응하는 블록 위치의 상기 블록마다의 특성값에 곱하는 제1 승산부와, 상기 비교부에 있어서 산출된 가중치를 대응하는 블록 위치의 상기 블록 히스토그램의 값에 곱하는 제2 승산부와, 미리 정의된 공간축 방향의 가중 함수에 의해 당해 화소 위치에 상기 제1 승산부의 출력인 가중치 부여 블록 히스토그램의 보간을 행하는 제1 보간부와, 미리 정의된 미리 정의된 공간축 방향의 가중 함수에 의해 당해 화소 위치에의 제2 승산부의 출력인 블록마다의 가중치 부여 특성값의 보간을 행하는 제2 보간부와, 미리 정의된 휘도축 방향의 가중 함수에 의해 상기 보간된 블록 히스토그램의 하중 합을 산출하는 제1 곱의 합부와, 미리 정의된 휘도축 방향의 가중 함수에 의해 상기 보간된 특성값의 하중 합을 산출하는 제2 곱의 합부와, 상기 제2 곱의 합부의 출력을 상기 제1 곱의 합부의 출력에 의해 제산하는 제산부를 구비해도 좋다.

본 발명에 따르면, 조명 환경이 상이한 복수매 화상으로부터 조명 성분에 의한 영향을 제거하여, 색 재현성이 높은 화상을 생성할 수 있다는 우수한 효과를 발휘할 수 있다.

도 1은 본 발명의 실시 형태에 있어서의 촬상 장치의 일례를 도시하는 도면이다.
도 2는 본 발명의 제1 실시 형태에 있어서의 화상 처리 회로(23)의 처리 기능의 일례를 도시하는 도면이다.
도 3은 본 발명의 실시 형태에 있어서 상정하는 모자이크 화상의 색 배열의 일례로서의 베이어 배열을 도시하는 도면이다.
도 4는 본 발명의 실시 형태에 있어서 상정하는 모자이크 화상의 색 배열의 일례로서의 베이어 배열에 있어서의 베이어 세트를 도시하는 도면이다.
도 5는 본 발명의 제1 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 구성예를 도시하는 도면이다.
도 6은 본 발명의 제1 실시 형태에 있어서의 채널 게인 산출부(250)의 구성예를 도시하는 도면이다.
도 7은 본 발명의 제1 실시 형태에 있어서의 흑색 뭉개짐 정도의 일례를 도시하는 도면이다.
도 8은 본 발명의 제1 실시 형태에 있어서의 흑색 뭉개짐 정도의 다른 예를 나타내는 도면이다.
도 9는 본 발명의 제1 실시 형태에 있어서의 포화도의 일례를 도시하는 도면이다.
도 10은 본 발명의 실시 형태에 있어서의 채널 게인 적용부(260)의 제1 구성예를 도시하는 도면이다.
도 11은 본 발명의 실시 형태에 있어서의 촬상 장치의 동작예를 도시하는 도면이다.
도 12는 본 발명의 제1 실시 형태에 있어서의 조명 성분 변환 처리 수순의 동작예를 도시하는 도면이다.
도 13은 본 발명의 제1 실시 형태에 있어서의 채널 게인 산출 처리 수순의 동작예를 도시하는 도면이다.
도 14는 본 발명의 제1 실시 형태에 있어서의 채널 게인 적용 처리 수순의 동작예를 도시하는 도면이다.
도 15는 본 발명의 제2 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 구성예를 도시하는 도면이다.
도 16은 본 발명의 제2 실시 형태에 있어서의 채널 게인 적용부(260)의 구성예를 도시하는 도면이다.
도 17은 본 발명의 제2 실시 형태에 있어서의 포화 신뢰도의 일례를 도시하는 도면이다.
도 18은 본 발명의 제2 실시 형태에 있어서의 흑색 뭉개짐 신뢰도의 일례를 도시하는 도면이다.
도 19는 본 발명의 제2 실시 형태에 있어서의 흑색 뭉개짐 신뢰도의 다른 예를 나타내는 도면이다.
도 20은 본 발명의 제2 실시 형태에 있어서의 움직임 피사체 신뢰도 산출부(460)의 구성예를 도시하는 도면이다.
도 21은 본 발명의 제2 실시 형태에 있어서의 비율 역전도의 일례를 도시하는 도면이다.
도 22는 본 발명의 제2 실시 형태에 있어서의 예측 비율의 일례를 도시하는 도면이다.
도 23은 본 발명의 제2 실시 형태에 있어서의 분광 반사율 변화량의 일례를 도시하는 도면이다.
도 24는 본 발명의 제2 실시 형태에 있어서의 채널 게인 적용부(260)의 동작예를 도시하는 도면이다.
도 25는 본 발명의 실시 형태에 있어서의 움직임 피사체 신뢰도 산출부(460)의 동작예를 도시하는 도면이다.
도 26은 본 발명의 제3 실시 형태에 있어서의 평활화 처리부(480)의 처리 기능예를 도시하는 도면이다.
도 27은 본 발명의 제3 실시 형태에 있어서의 블록 적분값 산출부(531, 532) 및 블록 히스토그램 산출부(533)의 구성예를 도시하는 도면이다.
도 28은 본 발명의 제3 실시 형태에 있어서의 가중 곱의 합부(561 및 562)의 구성예를 도시하는 도면이다.
도 29는 본 발명의 제3 실시 형태에 있어서의 휘도 가중 함수의 형상의 일례를 도시하는 도면이다.
도 30은 본 발명의 제3 실시 형태에 있어서의 평활화 처리부(480)의 동작예의 전반을 도시하는 도면이다.
도 31은 본 발명의 제3 실시 형태에 있어서의 평활화 처리부(480)의 동작예의 후반을 도시하는 도면이다.
도 32는 본 발명의 제3 실시 형태에 있어서의 블록 적분값 산출부(531, 532) 및 블록 히스토그램 산출부(533)의 동작예를 도시하는 도면이다.
도 33은 본 발명의 제3 실시 형태에 있어서의 가중 곱의 합부(561 및 562)의 동작예를 도시하는 도면이다.
도 34는 본 발명의 제4 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 구성예를 도시하는 도면이다.
도 35는 본 발명의 제4 실시 형태에 있어서의 채널 게인 적용부(260)의 구성예를 도시하는 도면이다.
도 36은 본 발명의 제4 실시 형태에 있어서의 평활화 처리부(480)의 구성예를 도시하는 도면이다.
도 37은 본 발명의 제4 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 동작예를 도시하는 도면이다.
도 38은 본 발명의 제4 실시 형태에 있어서의 채널 게인 적용부(260)의 동작예를 도시하는 도면이다.
도 39는 본 발명의 제4 실시 형태에 있어서의 평활화 처리부(480)의 동작예의 전반을 도시하는 도면이다.
도 40은 본 발명의 제4 실시 형태에 있어서의 평활화 처리부(480)의 동작예의 후반을 도시하는 도면이다.
도 41은 본 발명의 제5 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 구성예를 도시하는 도면이다.
도 42는 본 발명의 제5 실시 형태에 있어서의 프레임 가산부(280)의 구성예를 도시하는 도면이다.
도 43은 본 발명의 제5 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 동작예의 전반을 도시하는 도면이다.
도 44는 본 발명의 제5 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 동작예의 후반을 도시하는 도면이다.
도 45는 본 발명의 제6 실시 형태에 있어서의 화상 처리 회로(23)의 처리 기능의 일례를 도시하는 도면이다.
도 46은 본 발명의 제7 실시 형태에 있어서의 화상 처리 회로(23)의 처리 기능의 일례를 도시하는 도면이다.
도 47은 본 발명의 제8 실시 형태에 있어서의 화상 처리 회로(23)의 처리 기능의 일례를 도시하는 도면이다.
도 48은 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 처리 기능예를 도시하는 도면이다.
도 49는 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 다른 처리 기능예를 도시하는 도면이다.
도 50은 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 도 48의 처리 기능예에 대응하는 동작예의 전반을 도시하는 도면이다.
도 51은 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 도 48의 처리 기능예에 대응하는 동작예의 후반을 도시하는 도면이다.
도 52는 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 도 49의 처리 기능예에 대응하는 동작예의 1매째를 도시하는 도면이다.
도 53은 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 도 49의 처리 기능예에 대응하는 동작예의 2매째를 도시하는 도면이다.
도 54는 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 도 49의 처리 기능예에 대응하는 동작예의 3매째를 도시하는 도면이다.
도 55는 본 발명의 제10 실시 형태에 있어서의 평활화 처리부(480)의 처리 기능예를 도시하는 도면이다.
도 56은 본 발명의 제10 실시 형태에 있어서의 가중 곱의 합부(561 및 562)의 구성예를 도시하는 도면이다.
도 57은 본 발명의 제10 실시 형태에 있어서의 가중 곱의 합의 가중치 θ의 산출예를 도시하는 도면이다.
도 58은 본 발명의 제10 실시 형태에 있어서의 평활화 처리부(480)의 다른 처리 기능예를 도시하는 도면이다.
도 59는 본 발명의 제10 실시 형태에 있어서의 평활화 처리부(480)의 도 58의 처리 기능예에 대응하는 가중 곱의 합부(561 및 562)의 구성예를 도시하는 도면이다.
도 60은 본 발명의 제10 실시 형태에 있어서의 평활화 처리부(480)의 도 55의 처리 기능예에 대응하는 동작예를 도시하는 도면이다.
도 61은 본 발명의 제10 실시 형태에 있어서의 가중 곱의 합부(561 및 562)의 동작예의 전반을 도시하는 도면이다.
도 62는 본 발명의 제10 실시 형태에 있어서의 가중 곱의 합부(561 및 562)의 동작예의 후반을 도시하는 도면이다.
도 63은 본 발명의 제10 실시 형태에 있어서의 평활화 처리부(480)의 동작예를 도시하는 도면이다.

이하, 본 발명을 실시하기 위한 형태(이하, 실시 형태라고 칭한다)에 대하여 설명한다. 설명은 이하의 순서에 의해 행한다.

1. 제1 실시 형태(승산에 의해 게인 적용을 행하는 예)

2. 제2 실시 형태(가중치 부여 평활화에 의해 게인 적용을 행하는 예)

3. 제3 실시 형태(블록 히스토그램을 이용한 에지 보존형 평활화에 의해 게인 적용을 행하는 예)

4. 제4 실시 형태(입력 화상에 대하여 해상도 변환을 행하는 예)

5. 제5 실시 형태(프레임 메모리를 이용하여 입력 화상을 합성하는 예)

6. 제6 실시 형태(화이트 밸런스 처리를 조명 성분 변환 처리의 전단에서 행하는 예)

7. 제7 실시 형태(화이트 밸런스 처리된 입력 화상을 사용하는 예)

8. 제8 실시 형태(감마 보정 처리된 입력 화상을 사용하는 예)

9. 제9 실시 형태(다중 회귀 분석을 이용하여 휘도를 산출하는 예)

10. 제10 실시 형태(게인을 이용하여 평활화를 행하는 예)

<1. 제1 실시 형태>

[촬상 장치의 구성예]

도 1은, 본 발명의 실시 형태에 있어서의 촬상 장치의 일례를 도시하는 도면이다. 이 촬상 장치는, 크게 구별하여 광학계, 신호 처리계, 기록계, 표시계 및 제어계로 구성된다.

광학계는, 피사체의 광면상을 집광하는 렌즈(11)와, 광면상의 광량을 조정하는 조리개(12)와, 집광된 광면상을 광전 변환하여 전기 신호로 변환하는 촬상 소자(13)로 구성된다. 촬상 소자(13)는, 예를 들어 CCD 이미지 센서나 CMOS 이미지 센서 등에 의해 실현된다.

신호 처리계는, 샘플링 회로(21)와, A/D 변환 회로(22)와, 화상 처리 회로(23)로 구성된다. 샘플링 회로(21)는, 촬상 소자(13)로부터의 전기 신호를 샘플링하는 것이다. 이 샘플링 회로(21)는, 예를 들어 상관 이중 샘플링 회로(CDS: Correlated Double Sampling)에 의해 실현된다. 이에 의해, 촬상 소자(13)에 의해 발생하는 노이즈가 경감된다. A/D 변환 회로(22)는, 샘플링 회로(21)로부터 공급되는 아날로그 신호를 디지털 신호로 변환하는 것이다. 화상 처리 회로(23)는, A/D 변환 회로(22)로부터 입력되는 디지털 신호에 소정의 화상 처리를 실시하는 것이다. 이 화상 처리 회로(23)는, 예를 들어 DSP(Digital Signal Processor)에 의해 실현된다. 또한, 이 화상 처리 회로(23)에 의해 실행되는 처리의 상세에 대해서는 후술한다.

기록계는, 화상 신호를 기억하는 메모리(32)와, 화상 처리 회로(23)에 의해 처리된 화상 신호를 부호화하여 메모리(32)에 기록하고, 또한 메모리(32)로부터 화상 신호를 판독하여 복호하고, 화상 처리 회로(23)에 공급하는 부호화/복호기(31)로 구성된다. 또한, 메모리(32)는, 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등이어도 좋다.

표시계는, 화상 처리 회로(23)에 의해 처리된 화상 신호를 표시부(42)에 출력하는 표시 드라이버(41)와, 입력되는 화상 신호에 대응하는 화상을 표시하는 표시부(42)로 구성된다. 표시부(42)는, 예를 들어 LCD(Liquid Crystal Display) 등에 의해 실현되며, 파인더로서의 기능도 갖는다.

제어계는, 타이밍 생성기(51)와, 조작 입력 접수부(52)와, 드라이버(53)와, 제어부(54)와, 플래시 발광부(61)와, 플래시 제어부(62)로 구성된다. 타이밍 생성기(51)는, 촬상 소자(13), 샘플링 회로(21), A/D 변환 회로(22) 및 화상 처리 회로(23)의 동작 타이밍을 제어하는 것이다. 조작 입력 접수부(52)는, 유저에 의한 셔터 조작이나 그 밖의 커맨드 입력을 접수하는 것이다. 드라이버(53)는, 주변 기기를 접속하기 위한 드라이버이다. 이 드라이버(53)에는, 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등이 접속된다. 제어부(54)는, 촬상 장치 전체를 제어하는 것이다. 이 제어부(54)는, 이들에 기억되어 있는 제어용 프로그램을, 드라이버(53)를 통하여 판독하고, 판독한 제어용 프로그램이나 조작 입력 접수부(52)로부터 입력되는 유저로부터의 커맨드 등에 기초하여 제어를 행한다. 플래시 발광부(61)는, 촬상 시에 피사체에 광을 비추기 위한 것이고, 스트로보라고 불리는 경우도 있다. 플래시 제어부(62)는, 플래시 발광부(61)를 제어하는 것이며, 유저로부터의 지시나 주위의 밝기 등에 따라 플래시 발광부(61)를 발광시킨다.

화상 처리 회로(23), 부호화/복호기(31), 메모리(32), 표시 드라이버(41), 타이밍 생성기(51), 조작 입력 접수부(52), 제어부(54) 및 플래시 제어부(62)는, 버스(59)를 통하여 서로 접속되어 있다.

이 촬상 장치에 있어서, 피사체의 광학 화상(입사광)은, 렌즈(11) 및 조리개(12)를 통하여 촬상 소자(13)에 입사되어, 촬상 소자(13)에 의해 광전 변환되어 전기 신호로 된다. 얻어진 전기 신호는, 샘플링 회로(21)에 의해 노이즈 성분이 제거되고, A/D 변환 회로(22)에 의해 디지탈화된 후, 화상 처리 회로(23)가 내장하는(도시하지 않음) 화상 메모리에 일시 저장된다.

또한, 통상의 상태에서는, 타이밍 생성기(51)에 의한 신호 처리계에 대한 제어에 의해, 화상 처리 회로(23)의 내장하는 화상 메모리에는, 일정한 프레임 레이트로 끊임없이 화상 신호가 덮어쓰기되도록 이루어져 있다. 화상 처리 회로(23)의 내장하는 화상 메모리의 화상 신호는, 표시 드라이버(41)를 통하여 표시부(42)에 출력되어, 대응하는 화상이 표시부(42)에 표시된다.

표시부(42)는, 촬상 장치의 파인더로서의 역할도 담당하고 있다. 유저가 조작 입력 접수부(52)에 포함되는 셔터 버튼을 누른 경우, 제어부(54)는, 타이밍 생성기(51)에 대하여, 셔터 버튼이 눌러진 직후의 화상 신호를 유지하도록, 즉 화상 처리 회로(23)의 화상 메모리에 화상 신호가 덮어쓰기되지 않도록, 신호 처리계를 제어한다. 화상 처리 회로(23)의 화상 메모리에 유지된 화상 데이터는, 부호화/복호기(31)에 의해 부호화되어 메모리(32)에 기록된다. 이상과 같은 촬상 장치의 동작에 의해, 1매의 화상 데이터의 도입이 완료된다.

[화상 처리 회로(23)의 처리 기능예]

도 2는, 본 발명의 제1 실시 형태에 있어서의 화상 처리 회로(23)의 처리 기능의 일례를 도시하는 도면이다. 화상 처리 회로(23)는, 조명 성분 변환 처리부(120)와, 화이트 밸런스 처리부(130)와, 디모자이크 처리부(140)와, 계조 보정 처리부(150)와, 감마 보정 처리부(160)와, YC 변환 처리부(170)를 구비한다. 이 화상 처리 회로(23)는, A/D 변환 회로(22)에 의해 디지타이즈된 모자이크 화상을 입력 화상으로 하여 화상 처리를 실시하는 것이다. 모자이크 화상은, 각 화소에 R, G, B 중 어느 한 색에 대응하는 강도 신호가 저장된 것이며, 그 색 배열은 도 3에 도시한 바와 같은 베이어 배열을 상정하고 있다. 또한, 모자이크 화상은, RAW 데이터라고 불리는 경우도 있다. 또한, 각 화소에서 저장하는 강도 신호는 R, G, B에 한하지 않고, C, M, Y 또는 그 이외의 색 정보이어도 상관없다.

화상 처리 회로(23)는, 입력부에 기준 모자이크 화상 유지부(111) 및 처리 대상 모자이크 화상 유지부(112)를 구비한다. 기준 모자이크 화상 유지부(111)는, 기준(criterion)이 되는 모자이크 화상(기준 화상 M_c)을 유지하는 메모리이다. 처리 대상 모자이크 화상 유지부(112)는, 처리 대상(subject)이 되는 모자이크 화상(처리 대상 화상 M_s)을 유지하는 메모리이다. 본 발명의 실시 형태에서는, 기준 화상에 있어서의 색 밸런스(색의 비율)를 이용하여 처리 대상 화상의 색 밸런스를 조정하는 것을 상정한다.

조명 성분 변환 처리부(120)는, 기준 화상에 있어서의 색의 비율을 이용하여 처리 대상 화상의 조명 성분을 변환하여, 모자이크 화상 M_l을 생성하는 것이다. 즉, 처리 대상 화상에는 기준 화상의 색 밸런스와 동등해지도록 채널마다 적절한 계수가 곱해져, 단일의 광원의 색 밸런스로 변환된다. 또한, 이 조명 성분 변환 처리부(120)의 구성에 대해서는 후술한다.

화이트 밸런스 처리부(130)는, 모자이크 화상 M_l에 대하여 화이트 밸런스 처리를 실시하는 것이다. 이 화이트 밸런스 처리부(130)는, 모자이크 화상 M_l에 대하여, 무채색의 피사체 영역의 색 밸런스가 무채색이 되도록, 각 화소 강도가 갖는 색에 따라 적절한 계수를 곱하는 것이다. 이 화이트 밸런스 처리가 실시된 모자이크 화상 M_w는 디모자이크 처리부(140)에 공급된다.

디모자이크 처리부(140)는, 모자이크 화상 M_w의 각 화소 위치에 R, G, B의 모든 채널의 강도가 맞추어지도록 보간 처리(디모자이크 처리)를 행하는 것이다. 이 보간 처리가 실시된 디모자이크 화상 [R_g, G_g, B_g]^T는 R(Red: 적), G(Green: 녹), B(Blue: 청)의 3개의 색에 대응하는 3개의 화상(RGB 화상)이며, 계조 보정 처리부(150)에 공급된다. 또한, 행렬 A^T는 행렬 A의 전치 행렬을 의미한다.

계조 보정 처리부(150)는, 디모자이크 처리부(140)의 출력의 화상 [R_g, G_g, B_g]^T에 있어서의 각 화소에 계조 보정 처리를 실시하는 것이다. 이 계조 보정 처리가 실시된 화상 [R_u, G_u, B_u]^T는 감마 보정 처리부(160)에 공급된다.

감마 보정 처리부(160)는, 화상 [R_u, G_u, B_u]^T에 대하여 감마 보정 처리를 실시하는 것이다. 감마 보정 처리는, 표시부(42)에 있어서 입력 화상에 충실한 표시를 재현하기 위한 보정이다. 이 감마 보정 처리부(160)의 출력 [R_u ^γ, G_u ^γ, B_u ^γ]^T는, YC 변환 처리부(170)에 공급된다.

YC 변환 처리부(170)는, 감마 보정된 3채널 화상 [R_u ^γ, G_u ^γ, B_u ^γ]^T에 YC 매트릭스 처리 및 크로마 성분에 대한 대역 제한을 행함으로써, 휘도 신호 Y 및 색차 신호 C(Cr, Cb)를 출력하는 것이다. 이 휘도 신호 및 색차 신호는, 각각 Y 화상 유지부(191) 및 C 화상 유지부(192)에 유지되고, 화상 처리 회로(23)의 후단의 부호화/복호기(31)에 공급된다.

또한, 표시 드라이버(41)에는, 통상의 경우 RGB 신호가 공급된다. 이 RGB 신호는, YC 변환 처리부(170)의 출력인 휘도 신호 및 색차 신호를 RGB 신호로 변환한 것이다.

[베이어 배열과 베이어 세트]

도 3은, 본 발명의 실시 형태에 있어서 상정하는 모자이크 화상의 색 배열의 일례로서의 베이어 배열을 도시하는 도면이다. 이 베이어 배열에서는, G의 색의 화소가 바둑판 모양으로 배치되고, 그 이외의 화소 위치에서는 R의 색의 화소가 수평 방향 및 수직 방향으로 1화소 간격의 정방 격자 형상으로 배치되고, 나머지의 화소 위치에 B의 색의 화소가 수평 방향 및 수직 방향으로 1화소 간격의 정방 격자 형상으로 배치되어 있다.

도 4는, 본 발명의 실시 형태에 있어서 상정하는 모자이크 화상의 색 배열의 일례로서의 베이어 배열에 있어서의 베이어 세트를 도시하는 도면이다. 본 발명의 실시 형태에서는, 조명 성분 변환 처리부(120)에 있어서의 조명 성분의 변환 처리 시에 모자이크 화상의 가로 2화소×세로 2화소의 4화소를 단위로서 다루어도 좋다. 이 4화소의 집합을 베이어 세트라고 칭한다. 구체적으로는, G, B, R, G의 4개의 화소에 접하는 위치 601을 중심으로 하고, 그들 4개의 화소를 통합한 것이 베이어 세트 602로 된다.

[조명 성분 변환 처리부(120)의 구성예]

도 5는, 본 발명의 제1 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 구성예를 도시하는 도면이다. 조명 성분 변환 처리부(120)는, 디모자이크 처리부(221 및 222)와, 화이트 밸런스 산출부(230)와, 기준 화상 화이트 밸런스 유지부(240)와, 채널 게인 산출부(250)와, 채널 게인 적용부(260)를 구비한다.

디모자이크 처리부(221)는, 기준 모자이크 화상 유지부(111)에 유지된 기준 화상에 대하여 디모자이크 처리를 실시하여, 화소마다 강도나 신뢰도를 구하기 위하여 필요한 채널이 갖추어진 기준 화상의 디모자이크 화상 I_c(p)를 생성하는 것이다. 또한, p는 각 화소 위치를 나타낸다. 디모자이크 처리부(222)는, 처리 대상 모자이크 화상 유지부(112)에 유지된 처리 대상 화상에 대하여 디모자이크 처리를 실시하여, 화소마다 강도나 신뢰도를 구하기 위하여 필요한 채널이 갖추어진 처리 대상 화상의 디모자이크 화상 I_s(p)를 생성하는 것이다. 또한, 본 발명의 제1 실시 형태에 있어서는, 강도를 구하기 위한 G 채널이 화소마다 구해져 있으면 된다.

디모자이크 처리부(221 및 222)는, 디모자이크 처리를 행할 때, 도 4의 베이어 세트 602를 처리 단위로서 위치 601에 디모자이크하는 간이적인 처리이어도 상관없다. 이때의 디모자이크 방법은, R 및 B 채널의 화소는 그대로 사용하고, G 채널의 화소는 2개의 화소의 평균을 취하는 처리이어도 좋다. 이 경우는, 종횡 1/2로 축소되어 3채널을 갖춘 화상이 작성된다. 또한, 디모자이크 처리부(221 및 222)에 있어서의 디모자이크 처리는, 도 2의 디모자이크 처리부(140)에 있어서의 디모자이크 처리와 같이, 보다 넓은 영역을 참조하여 화소마다 행하는 것이어도 좋다. 이 경우는, 축소는 행해지지 않고, 디모자이크만이 행해지게 된다. 또한, 화소마다 디모자이크 처리를 행했을 때에는 디모자이크 전의 화소 p_M과 디모자이크 후의 화소 p가 동등해져, 모자이크 화상 M_s로부터 게인 적용부에의 선은 불필요해진다.

화이트 밸런스 산출부(230)는, 기준 모자이크 화상 유지부(111)에 유지된 기준 화상에 대하여 채널마다의 화이트 밸런스 게인을 산출하는 것이다. 이때의 화이트 밸런스의 산출 방법으로서는, 글레이 월드 가설에 기초하여 화면 전체의 RGB 화소의 평균값의 비율을 1:1:1로 하는 게인으로서 구해도 좋다. 또한, 별도의 산출법으로서는, 처리 대상 모자이크 화상 유지부(112)에 유지된 처리 대상 화상과 함께 일본 특허 공개 제2006-67561호 공보의 제0071 내지 0081 단락에 기재되어 있는 바와 같이 최적화 문제로서 화이트 밸런스를 구하는 것도 가능하다. 또한, 도 2에 있어서의 화이트 밸런스 처리부(130)와 마찬가지의 방법에 의해 설정해도 상관없다. 또한, 화이트 밸런스는 촬상 전에 사전에 설정하는 형태를 취하는 것도 가능하다. 설정하는 방법으로서는, 컬러 미터 등의 별도 기기에 의해 계측된 색 온도에 기초하여, 촬상 시에 촬상자가 설정하는 것이 상정된다. 형광등이나 흐린 날 등 신을 설정함으로써, 프리셋 화이트 밸런스를 이용하여 설정할 수도 있다. 또는, 커스텀 화이트 밸런스(백색 세트) 기능 등을 이용하여 백색 물체를 촬영함으로써 설정하도록 해도 좋다. 산출된 화이트 밸런스는, 기준 화상 화이트 밸런스 유지부(240)에 저장된다.

채널 게인 산출부(250)는, 기준 화상 및 처리 대상 화상의 R, G, B의 값 및 기준 화상의 화이트 밸런스로부터, 색 밸런스 조정을 위한 채널마다의 게인 FS(p)를 산출하는 것이다. 이 게인 FS(p)는, 처리 대상 화상의 조명 성분을 변환하기 위한 채널마다의 게인값이다. 이 게인은, 후술하는 바와 같이, 어느 한 채널을 기준으로 하여, 기준 화상과 처리 대상 화상의 비를 구함으로써 얻을 수 있다. 예를 들어, G 채널을 기준으로 한 경우, G 채널의 게인 FS_G(p)는 「1」이 된다. 이 채널 게인 산출부(250)에 의해 산출된 게인은, 채널 게인 적용부(260)에 공급된다.

채널 게인 적용부(260)는, 채널 게인 산출부(250)에 의해 산출된 게인을 처리 대상 화상의 각 채널에 적용하는 것이다. 게인 적용의 상세에 대해서는 후술하겠지만, 가장 단순한 적용의 형태로서는, 처리 대상 화상에 게인을 승산하는 것을 고려할 수 있다. 이 채널 게인 적용부(260)에 의해 게인 적용된 모자이크 화상 M_l은 조명 성분 변환을 마친 모자이크 화상 유지부(290)에 유지되어, 후단의 화이트 밸런스 처리부(130)에 공급된다.

[채널 게인 산출부(250)의 구성예]

도 6은, 본 발명의 제1 실시 형태에 있어서의 채널 게인 산출부(250)의 구성예를 도시하는 도면이다. 이 채널 게인 산출부(250)는, 색 변환 게인 산출부(311 및 312)를 구비하고, 게인 S(p)를 산출한다.

본 발명의 실시 형태에서는, 동일한 피사체에 대하여 다른 조명 환경에서 촬상된 2매의 화상(기준 화상 및 처리 대상 화상)을 사용하여 각 화소의 채널마다 게인을 구하고, 적용함으로써, 색 재현성이 높은 화상을 생성한다. 기준 화상이란, 이미 화소마다의 화이트 밸런스가 구해지고 있으며 또는 종래 방법 등으로 용이하게 구할 수 있는 화상이다. 한편, 처리 대상 화상이란, 기준 화상과는 색 온도가 다른 복수 광원 하에서 촬상된 화상 등, 그 화상 단체로부터에서는 화소마다의 화이트 밸런스 게인의 추정이 곤란한 화상을 상정하고 있다. 이에 의해, 기준 화상의 화이트 밸런스를 구함으로써, 간접적으로 처리 대상 화상의 화이트 밸런스를 산출하는 것이 가능하게 되어, 복수 광원 하에서 촬상된 화상에 대한 화이트 밸런스의 문제를 해결할 수 있다. 구체적인 조합으로서는, 플래시를 발광시키지 않고 촬상한 화상과, 플래시를 발광시켜 촬상한 화상의 조합이 상정된다. 또한, 다른 예로서, 형광등의 영향에 의한 띠 형상의 노이즈(플리커)를 갖는 화상과 갖지 않는 화상의 조합이나, 복수 광원이 존재하는 환경 하에서 광원이 변화한 화상의 조합 등이 상정된다.

각 화소에서의 센서로 계측되는 강도를 I, 조명 강도를 E, 분광 반사율을 ρ로 하면, 다음 수학식의 관계에 의해 근사할 수 있다.

단,

이다. 여기서 기준 화상의 강도를 I_c, 처리 대상 화상의 강도를 I_s로 하여 2매의 화상의 비를 취하면, 채널마다 분광 반사율 ρ의 영향을 근사적으로 상쇄할 수 있고, 다음 수학식과 같이 분광 반사율에 의존하지 않는 조명 성분의 비율 Ko를 구할 수 있다.

2매의 화상의 비교 시에는, 촬상 조건을 보정하여, 노출 조건을 맞춤으로써, Ko의 값을 정규화하여, Ko를 순수한 조명 색 밸런스의 비로 할 수 있다. 이 Ko의 값으로 처리 대상 화소 I_s를 제산함으로써, 처리 대상 화소의 조명 성분을 기준 화상의 조명의 색 밸런스로 사상(寫像)할 수 있다. 단, 단순하게 Ko로 제산한 것으로는, 색 밸런스와 함께, 신호 강도에 대해서도 기준 화상의 강도에 맞추어 버리게 되어, 플래시에 의한 강도의 개선 효과가 상실되어 버린다. 따라서, 조명 강도를 유지하기 위해, 강도 변화를 상쇄하는 보정을 가하여, 게인 S를 다음 수학식과 같이 표현할 수 있다.

여기서, KI는 강도의 정의에 따라 화소마다 정해지는 값이며, 본 발명의 실시 형태에서는, 일반적인 화이트 밸런스의 게인에 의해, G 채널의 값을 고정하기 위해, 다음 관계를 사용한다.

즉,

이 된다. 색 변환 게인 산출부(311 및 312)는, 상기 수학식에 의해 각각 게인 S_R(p) 및 S_B(p)를 산출한다. 또한, 본 발명의 실시 형태에서는 G 채널의 값을 고정하는 것을 전제로 했기 때문에, 게인 S_G(p)는 항상 「1」이 된다. 또한, G 채널의 값을 고정으로 한 것은, G 채널의 신호가 가장 화소 수가 많고, 또한 감도가 높기 때문에, 신뢰성이 높다고 고려되기 때문이다.

또한, 본 발명의 실시 형태에서는, 화상 사이의 동일 채널의 비율 Ko를 경유하여 게인 S를 산출하고 있지만, 마찬가지의 처리를, 연산 순서를 바꾸어 실현해도 상관없다. 일반적으로, 제산 처리는 연산 비용이 높은 처리이기 때문에, 연산량 삭감을 위해, 역수 룩업 테이블에 의한 처리나, 대수로 변환한 후 감산하는 등의 방법을 사용하는 것이 바람직하다. 또한, KI의 값으로서는 화소마다의 휘도값 등, G 채널 이외의 비율도 사용할 수 있는 것은 말할 필요도 없다.

이와 같이 하여 얻어진 게인을 채널 게인 적용부(260)에 있어서 각 화소에 곱함으로써, 기준 화상의 색 밸런스로, 조명 강도가 처리 대상 화상에 동등한 화상을 얻을 수 있다. 본 발명의 실시 형태에 의한 방법에서는 광원의 분리는 행하지 않고, 처리 대상 화상의 합성광을 하나의 광원으로 보고 기준 화상의 조명의 색 밸런스로 사상한다. 이로 인해, 2매의 화상의 차분이 복수 광원으로 구성되어 있어도 정상적으로 동작한다.

단, 상기 수학식에서는 기준 화상의 색 밸런스가 바른 것이 전제로 되어 있지만, 각 화소의 채널이 포화 또는 흑색 뭉개짐을 발생하고 있는 경우에는, 기준 화소의 색 밸런스 자체가 바르지 않게 된다. 또한, 움직임 피사체에 상당하는 화소에서도, 비율 Ko가 정확하게 구해지지 않고 게인 S가 매우 큰 값 또는 매우 작은 값이 되는 경우가 있다. 그로 인해, 조명 성분 변환 처리부(120)는, 상한값 클리핑부(321 및 322)와, 하한값 클리핑부(331 및 332)를 더 구비한다. 이에 의해, 게인의 값에 상한값 및 하한값을 설정하여 클리핑 처리를 행하여, 극단적인 아티팩트를 억제한다. 또한, 조명 성분 변환 처리부(120)는, 흑색 뭉개짐 보상부(341 및 342)와, 흑색 뭉개짐 정도 산출부(345)와, 포화 보상부(351 및 352)와, 포화도 산출부(355)를 더 구비한다. 이에 의해, 흑색 뭉개짐이나 포화에 대한 기준값을 부여하여, 게인 S의 유효성을 판정하여, 그 정도에 따라, 흑색 뭉개짐이나 포화 시 특유한 방책으로 정한 보상값과의 가중 평균을 게인으로 함으로써, 큰 파탄을 하지 않는 게인을 구한다.

상한값 클리핑부(321 및 322)는, 게인 S_R(p) 또는 S_B(p)가 그 상한값을 초과하고 있는 경우에, 상한값이 되도록 클리핑 처리를 행하는 것이다. 하한값 클리핑부(331 및 332)는, 게인 S_R(p) 또는 S_B(p)가 그 하한값을 하회하고 있는 경우에, 하한값이 되도록 클리핑 처리를 행하는 것이다. 게인 상한값은, 게인 상한값 R 유지부(323) 또는 게인 상한값 B 유지부(324)에 미리 설정할 수 있다. 또한, 게인 하한값은, 게인 하한값 R 유지부(333) 또는 게인 하한값 B 유지부(334)에 미리 설정할 수 있다. 게인 상한값 및 게인 하한값은, 외부로부터 설정되어도 좋고, 또한, 내부에서 산출된 후 설정되어도 좋다. 게인 상한값 및 게인 하한값을 산출할 때에는, 다음 수학식을 사용할 수 있다.

상기 수학식에 있어서, WB_c는 기준 화상에 대한 화이트 밸런스이며, WB_s는 처리 대상 화상에 대한 화이트 밸런스이다. 이에 의해, 후단의 화이트 밸런스 처리부(130)에 있어서의 게인과 함께, 각 화소에 가하는 게인이, 채널에 따른 기준 화상의 화이트 밸런스와 처리 대상 화상의 화이트 밸런스 사이에 들어가, 큰 파탄을 방지할 수 있다. 여기서, WB_c로서는 화이트 밸런스 산출부(230)로 산출된 값을 사용할 수 있다. 또한, WB_s로서는 도 1의 플래시 발광부(61)에 대하여 사전에 측정함으로써 구해진 화이트 밸런스값을 사용할 수 있고, 또한 WB_c와 마찬가지의 방법으로 처리 대상 화상으로부터 구해진 값을 사용해도 좋다.

상한값 클리핑부(321 및 322)에 의해 클리핑 처리된 게인 S_maxcR(p) 및 S_maxcB(p)는 하한값 클리핑부(331 및 332)에 공급된다. 또한, 하한값 클리핑부(331 및 332)에 의해 클리핑 처리된 게인 S_mincR(p) 및 S_mincB(p)는 흑색 뭉개짐 보상부(341 및 342)에 공급된다.

흑색 뭉개짐 정도 산출부(345)는, 기준 화상 또는 처리 대상 화상의 특정한 채널의 값에 기초하여, 흑색 뭉개짐을 발생하고 있는 정도를 나타내는 흑색 뭉개짐 정도를 산출하는 것이다. 여기에서는, 특정한 채널로서, G 채널을 상정한다. 일반적으로, 화상 센서에 있어서 흑색 뭉개짐 영역에서는, 센서의 특성에 선형성이 없어진다. 또한, 완전하게 흑색 뭉개짐되어, 화소값이 0으로 되어 버린 채널에 관해서는, 비율 Ko를 정확하게 구할 수 없다. 따라서, 화소값이 매우 작은 화소는, 다른 방법으로 게인을 산출할 필요가 있다. 처리 대상 화상의 당해 화소가 어두울 때에는 틀린 게인을 산출하여 색 밸런스를 적용해도 두드러지지 않지만, 당해 화소가 플래시에 의해 충분한 휘도를 가질 때에는 색 밸런스의 파탄이 크게 두드러진다. 이것으로부터, 흑색 뭉개짐 정도에 요구되는 특성은, 기준 화상이 매우 작은 값에서는 큰 값을 취함과 함께, 플래시에 의해 처리 대상 화상이 충분히 밝아졌을 때에 큰 값을 나타내는 것이 바람직하다.

따라서, 흑색 뭉개짐 정도 PGB(p)는, 도 7 및 다음 수학식과 같이, 0부터 어느 임계값이 되는 G_c의 값까지 급격하게 감소하다가, 임계값 이후는 0이 되는 값을 사용하는 것이 유효하다.

여기서 G_{white _ level}은 G_c의 상한값이다. 이 식은, 기준 화상의 화소값으로부터 흑색 뭉개짐 정도를 산출하는 것이다.

또한, 플래시가 닿음으로써 밝아진 것을 보다 명확히 하기 위해, 도 8 및 다음 수학식에 의해 흑색 뭉개짐 정도 PGB(p)를 설정해도 좋다. 이 식은, 기준 화상의 화소값 및 기준 화상과 처리 대상 화상의 채널간 비율로부터 흑색 뭉개짐 정도를 산출하는 것이다.

여기서 expCV는 기준 화상과 처리 대상 화상의 조리개, 셔터 속도 및 센서에 대한 ISO 감도 설정의 차이에 기인하는 노출의 차이를 보정하기 위한 계수이다. 또한, 간이적으로는, Exif 정보에 기초하는 다음 수학식에 의해 expCV를 설정해도 좋다. 단, F는 조리개를 나타내는 F값, t는 셔터 속도, ISO는 ISO 감도이다. 각각의 첨자 c는 기준 화상을 의미하고, 첨자 s는 처리 대상 화상을 의미한다.

후자의 흑색 뭉개짐 정도에서는, 0부터 노출을 맞춘 G_s?expCV의 값까지 급격하게 감소하다가, G_s?expCV 이후는 0으로 되어 있다. 단조 감소성으로부터, 기준 화상의 G의 강도 G_c가 작아 흑색 뭉개짐되어 있을 때에, 큰 값을 갖는다. 또한, 0부터 G_s?expCV까지 아래로 볼록한 속성을 가짐으로써, 노출 조정 후의 기준 화상과 처리 대상 화상의 비율이 클 때, 즉 플래시의 기여율이 클 때에, 큰 값을 취한다. 이러한 특성을 갖는 가중치이면, 가중치의 산출 방법은 상술한 식에 한정되는 것이 아니다.

흑색 뭉개짐 보상값 R 유지부(343) 및 흑색 뭉개짐 보상값 B 유지부(344)는, 흑색 뭉개짐을 보상할 때의 기준이 되는 흑색 뭉개짐 보상값을 유지하는 것이다. 이 흑색 뭉개짐 보상값은, 처리 대상 화소의 조명 성분이 거의 플래시에 의한 것이라고 고려되며, WB_s/WB_c로 하는 것이 유효하다. 이때의 WB_c, WB_s는, 상한값 및 하한값 산출에 사용된 화이트 밸런스와 마찬가지의 값을 사용할 수 있다. 또한, 여기에서의 WB_s는, 특허 제3889017호 공보에 기재된 이중 화이트 밸런스 보정에 의해 구해진 화이트 밸런스값을 사용해도 좋다.

흑색 뭉개짐 보상부(341 및 342)는, 게인 S_minc(S_mincR(p) 및 S_mincB(p))을 흑색 뭉개짐 보상값 R 유지부(343) 및 흑색 뭉개짐 보상값 B 유지부(344)에 유지되는 흑색 뭉개짐 보상값에 근접하는 처리를 행하는 것이다. 구체적으로는, 흑색 뭉개짐 보상부(341 및 342)는, 흑색 뭉개짐 정도 PGB(p)를 가중치로 한 S_minc와 흑색 뭉개짐 보상값의 비례 배분 처리(가중 평균)에 의해 게인 S_blacR(p) 및 S_blacB(p)를 생성한다.

포화도 산출부(355)는, 기준 화상의 G 채널의 값에 기초하여, 기준 화상이 포화(백색 날림)되어 있는 정도를 나타내는 포화도를 산출하는 것이다. 일반적으로, 화상 센서의 포화 영역에 있어서는, 센서의 특성에 선형성이 없어진다. 그리고 더욱 완전하게 포화되어, 값이 상한값에 이르러 버린 채널에 관해서는, 비율 Ko를 정확하게 구할 수 없다. 따라서, 화소값이 매우 큰 화소에 대해서는, 다른 방법으로 게인을 산출할 필요가 있다. 포화도 PGS(p)는, 도 9와 같은 특성을 갖는 값이 유효하다고 고려된다. 즉, 어느 임계값의 값까지 포화도는 0이며, 기준 화상의 G의 강도 G_c가 임계값을 초과한 영역에 있어서 급격하게 포화도가 커진다. 기준 화소가 포화되어 있는 경우에는, 처리 대상 화소에 있어서도 조명 성분 중 환경 광 성분이 충분한 크기를 갖는 것이 기대된다.

포화 보상값 R 유지부(353) 및 포화 보상값 B 유지부(354)는 포화를 보상할 때의 기준이 되는 포화 보상값을 유지하는 것이다. 이 포화 보상값은 「1」로 하는 것이 유효하다고 고려된다.

포화 보상부(351 및 352)는, 게인 S_blac(S_blacR(p) 및 S_blacB(p))를 포화 보상값 R 유지부(353) 및 포화 보상값 B 유지부(354)에 유지된 포화 보상값에 근접하는 처리를 행하는 것이다. 구체적으로는, 포화 보상부(351 및 352)는, 포화도 PGS(p)를 가중치로 한 게인 S_blac와 포화 보상값의 비례 배분 처리(가중 평균)에 의해, 게인 FS_R(p) 및 FS_B(p)를 생성한다.

또한, 상술한 흑색 뭉개짐 정도 산출부(345) 및 포화도 산출부(355)에서는, G 채널을 사용하여 흑색 뭉개짐 정도나 포화도의 판정을 행했지만, 이것은 G 채널에 한정되는 것이 아니다. R, B 채널 또는 그들 최대 최소, 선형 합, 휘도값 등에 의한 판정도 유효하다.

채널 게인 산출부(250)에서는, 색 변환 게인 산출부(311, 312)로 구하는 게인에 있어서의 강도, 흑색 뭉개짐 정도 산출부(345)에 있어서의 흑색 뭉개짐 정도 판정, 포화도 산출부(355)에 있어서의 포화도 판정에 있어서 G 채널을 사용했기 때문에, 모자이크 화상 상에 있어서의 원래의 채널 외에 화소마다 G 채널의 값을 갖는 것이 필요해지지만, 그 이외의 채널에 관해서는 반드시 필요하지는 않다. 또한, 이 화소마다 필요하게 되는 채널은 강도의 기준으로 하는 채널을 변화시키는 것에 수반하여 변화한다.

[채널 게인 적용부(260)의 제1 구성예]

도 10은, 본 발명의 실시 형태에 있어서의 채널 게인 적용부(260)의 제1 구성예를 도시하는 도면이다. 이 채널 게인 적용부(260)의 제1 구성예는, 승산부(261 및 262)를 구비한다. 승산부(261)는, 디모자이크 처리부(222)로부터의 처리 대상 화상 I_s(p)의 R_s(p)와 채널 게인 산출부(250)로부터의 게인 FS_R(p)를 승산하는 것이다. 승산부(262)는, 디모자이크 처리부(222)로부터의 처리 대상 화상 I_s(p)의 B_s(p)와 채널 게인 산출부(250)로부터의 게인 FS_B(p)를 승산하는 것이다. 양자의 처리를 식으로 표현하면, 다음 식과 같이 된다.

이들 R_l(p) 및 B_l(p)는, 각각 모자이크 화상 M_l의 R 채널 및 B 채널을 구성한다. 또한, 본 발명의 실시 형태에서는 G 채널에 대한 게인을 1로 고정하고 있기 때문에, 조명 성분 변환 처리의 전후에 G 채널로 값에 변화가 없다. 그로 인해, 처리 대상 화상의 모자이크 화상 M_s의 G의 화소를, 각각 모자이크 화상 M_l 상의 대응하는 위치의 G로서 판독하여 저장한다. 게인 산출 시에 유지하는 신호의 강도에 의해 G 채널에 대해서도 게인의 적용이 필요하게 된다. 그때에는, 채널 게인 산출부(250)에 있어서, R, B 채널에 준한 형태로 G 채널용의 게인을 산출함과 함께, 채널 게인 적용부(260)에 있어서 게인을 적용한다.

또한, 이 채널 게인 적용부(260)의 제1 구성예에 있어서는, 디모자이크 처리부(221)로부터의 기준 화상 I_c(p)의 입력은 불필요해진다.

[동작예]

도 11은, 본 발명의 실시 형태에 있어서의 촬상 장치의 동작예를 도시하는 도면이다. 우선, 플래시 발광부(61)를 발광시키지 않고 촬상이 행해지고(스텝 S901), 기준 화상의 모자이크 화상 M_c로서 기준 모자이크 화상 유지부(111)에 저장된다(스텝 S902). 이어서, 플래시 발광부(61)를 발광시킨 촬상이 행해지고(스텝 S903), 처리 대상 화상의 모자이크 화상 M_s로서 처리 대상 모자이크 화상 유지부(112)에 저장된다(스텝 S904).

그 후, 화상 처리 회로(23)의 조명 성분 변환 처리부(120)가, 촬상된 2매의 화상에 기초하여 처리 대상 화상의 색 밸런스를 조정하여, 조명 성분을 단일의 광원의 색 밸런스로 변환한다(스텝 S910). 그리고 화이트 밸런스 처리부(130)가 모자이크 화상의 색 밸런스를 조정한다(스텝 S905). 이어서, 디모자이크 처리부(140)가 모자이크 화상으로부터 각 화소에 RGB의 정보가 갖추어진 RGB 화상을 생성한다(스텝 S906). 이어서, 계조 보정 처리부(150)가 RGB 화상에 대하여 계조 보정 처리를 행한다(스텝 S907). 이어서, 감마 보정 처리부(160)가 계조 보정된 화상에 대하여 감마 보정 처리를 실시한다(스텝 S908). 이어서, YC 변환 처리부(170)가 감마 보정된 RGB 화상을 YC 화상으로 변환한다(스텝 S909). 변환된 YC 화상은, LCD에의 표시 또는 기록 매체에의 보존을 위하여 출력된다. 이상에서 1프레임분의 화상 처리부의 동작이 종료한다. 후속 프레임의 입력이 없으면, 화상 처리부의 동작은 종료한다. 또한, 플래시 발광부(61)의 발광의 유무에 대해서는, 먼저 발광 있는 상태의 화상을 촬상하도록 하고, 촬상 순서를 반대로 해도 좋다.

도 12는, 본 발명의 제1 실시 형태에 있어서의 조명 성분 변환 처리 수순(스텝 S910)의 동작예를 도시하는 도면이다. 우선, 기준 화상이 판독되고(스텝 S911), 이 기준 화상에 대한 채널마다의 화이트 밸런스가 산출된다(스텝 S912). 산출된 화이트 밸런스는, 기준 화상 화이트 밸런스 유지부(240)에 유지된다(스텝 S913). 이후, 이하의 스텝에 있어서, 화소마다의 처리가 화면 전체에 대하여 진행된다.

이어서, 처리 대상 화상이 판독된다(스텝 S914). 이들 판독된 기준 화상 및 처리 대상 화상은, 디모자이크 처리부(221 및 222)에 있어서 각각 디모자이크 처리가 실시된다(스텝 S915 및 S916). 이때, 디모자이크 처리의 순서는 묻지 않는다. 그리고 채널 게인 산출부(250)에 있어서, 기준 화상 및 처리 대상 화상의 R, G, B의 값으로부터 색 밸런스 조정을 위한 채널마다의 게인이 산출된다(스텝 S917). 이 산출된 게인은, 채널 게인 적용부(260)에 있어서, 처리 대상 화상의 각 채널에 적용된다(스텝 S918). 이와 같이 하여 처리된 처리 대상 화상은, 조명 성분 변환을 마친 모자이크 화상 유지부(290)에 유지된다(스텝 S919).

스텝 S911 내지 S919의 처리가 종료되면, 1프레임분의 조명 성분 변환 처리를 종료한다.

도 13은, 본 발명의 제1 실시 형태에 있어서의 채널 게인 산출 처리 수순(스텝 S917)의 동작예를 도시하는 도면이다. 우선, 게인 상한값 R 유지부(323), 게인 상한값 B 유지부(324), 게인 하한값 R 유지부(333) 및 게인 하한값 B 유지부(334)에, 각각 게인 상한값 또는 하한값이 설정된다(스텝 S921). 또한, 흑색 뭉개짐 보상값 R 유지부(343) 및 흑색 뭉개짐 보상값 B 유지부(344)에 흑색 뭉개짐 보상값이 설정되고, 포화 보상값 R 유지부(353) 및 포화 보상값 B 유지부(354)에 포화 보상값이 설정된다(스텝 S922). 그리고 이하의 처리가 각 화소를 대상으로 하여 반복된다(루프 L702).

루프 L702에 있어서, 처리 대상 화상의 화소 및 기준 화상의 화소가 취득된다(스텝 S923). 그리고 흑색 뭉개짐 정도 산출부(345)에 있어서 흑색 뭉개짐 정도가 산출되고(스텝 S924), 포화도 산출부(355)에 있어서 포화도가 산출된다(스텝 S925). 그리고 또한 이하의 처리가 각 채널(R 채널 및 B 채널)을 대상으로 하여 반복된다(루프 L703).

루프 L703에 있어서, 색 변환 게인 산출부(311 및 312)에 의해 색 변환 게인이 산출된다(스텝 S926). 이때, 게인 상한값 B 유지부(324) 또는 게인 상한값 R 유지부(323)에 유지된 게인 상한값을 초과하고 있는 경우에는(스텝 S927), 게인 상한값에 의한 클리핑 처리가 행해진다(스텝 S928). 게인 하한값 R 유지부(333) 또는 게인 하한값 B 유지부(334)에 유지된 게인 하한값을 하회하고 있는 경우에는(스텝 S929), 게인 하한값에 의한 클리핑 처리가 행해진다(스텝 S931). 이들 클리핑 처리는, 하한값, 상한값의 순이어도 상관없다. 또한, 흑색 뭉개짐 보상부(341 또는 342)에 있어서, 흑색 뭉개짐 정도에 따른 흑색 뭉개짐 보상이 행해진다(스텝 S932). 또한, 포화 보상부(351 또는 352)에 있어서, 포화도에 따른 포화도 보상이 행해진다(스텝 S933). 이와 같이 하여 얻어진 게인은, (도시하지 않음) 메모리에 저장된다(스텝 S934).

루프 L703에 있어서의 스텝 S926 내지 S934의 처리가 종료되면, 다음 채널에 관하여 마찬가지의 처리가 반복된다. 모든 채널에 대한 처리가 종료되면, 루프 L703을 빼고 다음 화소에 대한 처리가 반복된다. 모든 화소에 대한 처리가 종료되면, 루프 L702를 빼고, 1프레임분의 채널 게인 산출 처리를 종료한다. 또한, 본 발명의 제1 실시 형태에 있어서는, 스텝 S923과 스텝 S924의 사이에 도 12에 있어서의 스텝 S915, 스텝 S916에서 행해지는 디모자이크 처리를 화소마다의 처리로서 삽입하는 것이 가능하다. 이에 의해, 도 12에 있어서의 스텝 S914 내지 스텝 S916의 처리를 루프 L702 내에서 아울러 행할 수 있다.

도 14는, 본 발명의 제1 실시 형태에 있어서의 채널 게인 적용 처리 수순(스텝 S918)의 동작예를 도시하는 도면이다. 여기에서는, 이하의 처리가 각 화소를 대상으로 하여 반복된다(루프 L704).

루프 L704에 있어서, 처리 대상 화상의 RGB값(R_s(p) 및 B_s(p)) 및 게인(FS_R(p) 및 FS_B(p))이 취득된다(스텝 S937). 이들 RGB값과 게인은 채널마다 승산부(261 및 262)에 의해 승산된다(스텝 S938). 이 승산 결과는, 게인 적용된 모자이크 화상 M_l의 화소값으로서 채널마다 조명 성분 변환을 마친 모자이크 화상 유지부(290)의 처리 대상 화상의 모자이크 화상 M_s 상의 원화소 위치에 따른 위치로 유지된다(스텝 S939). 또한, 여기서 말하는 스텝 S939의 처리는, 도 12에 있어서의 스텝 S919를 의미하며, 어느 하나로 처리 결과를 저장함으로써 다른 처리를 생략할 수 있다.

모든 화소에 있어서의 처리가 종료되면, 루프 L704을 빼고, 1프레임분의 채널 게인 적용 처리를 종료한다. 또한, 본 발명의 제1 실시 형태에 있어서는, 스텝 S938 내지 S939의 처리를 도 13에 있어서의 스텝 S933 직후에 삽입함으로써, 도 13에 있어서의 루프 L703과 도 14에 있어서의 루프 L704를 공통의 루프 처리로서 구성할 수 있다. 또한, 이때, 스텝 S934 및 S937은 생략된다.

이와 같이, 본 발명의 제1 실시 형태에 의하면, 기준 화상의 색 밸런스로 되도록 화소마다의 게인을 구하고, 이것을 승산부(261 및 262)에 의해 처리 대상 화상의 각 화소에 적용함으로써, 색 재현성이 높은 화상을 생성할 수 있다. 또한, 게인 산출 시, 상한값 또는 하한값의 범위 밖이 된 경우에는, 상한값 클리핑부(321, 322), 하한값 클리핑부(331 및 332)에 있어서 클리핑 처리를 행함으로써, 극단적인 아티팩트를 억제할 수 있다. 또한, 게인 산출 시, 흑색 뭉개짐이나 포화를 발생하고 있는 경우에는, 흑색 뭉개짐 보상부(341, 342), 포화 보상부(351 및 352)에 있어서 보상값과의 가중 평균을 게인으로 함으로써, 큰 파탄을 하지 않는 게인을 얻을 수 있다.

<2. 제2 실시 형태>

상술한 제1 실시 형태에 있어서는, 승산부(261 및 262)에 있어서의 단순한 승산에 의해 게인 적용을 행했다. 그러나 실제의 게인 적용 시에는 화소의 좌표가 미묘하게 어긋나는 경우가 있어, 이대로는 외란에 대하여 충분히 대응할 수 없는 경우도 발생할 수 있다. 따라서, 이하에서는 각 화소의 신뢰도에 따라 주위의 화소로부터 평활화를 행함으로써, 강건한 게인 적용을 행하는 예에 대하여 설명한다. 또한, 전제가 되는 촬상 장치 및 화상 처리 회로(23)의 구성에 대해서는 제1 실시 형태와 마찬가지이기 때문에, 설명을 생략한다.

[조명 성분 변환 처리부(120)의 구성예]

도 15는, 본 발명의 제2 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 구성예를 도시하는 도면이다. 이 조명 성분 변환 처리부(120)의 구성예는, 디모자이크 처리부(221)로부터의 출력이 채널 게인 적용부(260)에 입력되어 있는 점에 있어서, 도 5에 의해 설명한 제1 구성예와 상이하고, 이 점 이외는 제1 구성예와 마찬가지의 구성으로 되어 있다. 따라서, 다른 구성에 대해서는 설명을 생략한다.

[채널 게인 적용부(260)의 구성예]

도 16은, 본 발명의 제2 실시 형태에 있어서의 채널 게인 적용부(260)의 구성예를 도시하는 도면이다. 이 채널 게인 적용부(260)의 구성예는, 제산부(421 내지 423)와, 노출 보상부(431 내지 433)와, 포화 신뢰도 산출부(440)와, 흑색 뭉개짐 신뢰도 산출부(450)와, 움직임 피사체 신뢰도 산출부(460)와, 신뢰도 선택부(470)와, 평활화 처리부(480)를 구비한다.

제산부(421 내지 423)는, 기준 화상과 처리 대상 화상 사이의 각 화소의 채널마다의 비율 Ko를 생성하는 것이다. 일반적으로, 제산은 연산 비용이 높은 처리이다. 따라서, 이 제산은, 연산량 삭감을 위하여 역수 룩업 테이블에 의한 처리나, 대수로 변환한 후 감산하는 등의 방법에 의해 실현하는 것이 바람직하다.

노출 보상부(431 내지 433)는, 2매의 화상의 촬상 조건의 차이를 보상하기 위한 처리를 행하는 것이다. 이 노출 보상 처리에 의해, 기준 화상과 처리 대상 화상 내의 조명 환경이 동등하여 정태된 영역에서의 노출 강도가 동등해지도록 강도 조정된다. 일반적으로, 디지털 카메라의 촬상에서는, 동등한 조명 환경 하에서 동일 피사체를 촬상해도, 조리개, 셔터 속도, 센서에 대한 ISO 감도 설정 등에 의존하여, 센서로 관측되는 신호 강도가 상이하다. 이 노출 보상 처리는, 동일한 조건에서 촬상된 피사체가 동일한 강도로 되도록 게인을 조정하는 처리이다.

이 노출 보상 처리는, 간이적으로는, Exif 정보의 각 파라미터로부터 계산되는 노출 보상값 expCV를 비율 Ko에 곱함으로써 실현된다. 이에 의해, 보상 후의 비율 K가 얻어진다.

또한, 이 노출 보상 처리는, 후단의 조건 판정에 있어서 노출 보상값분의 어긋남을 고려함으로써 생략할 수 있다.

포화 신뢰도 산출부(440)는, 기준 화상의 신뢰도를 포화도의 관점에서 산출하는 것이다. 일반적으로, 화상 센서에 있어서, 포화 영역에서는 센서의 선형 특성이 성립되지 않게 된다. 더욱 완전하게 포화되어, 값이 상한값으로 클립된 채널에 관해서는, 게인을 정확하게 구하는 것은 곤란하다. 따라서, 평활화 처리 시에, 포화된 화소의 가중치를 내려, 보다 신뢰도가 높은 주변 화소의 정보에 의해 그 화소의 값을 구하는 것이 유효하다고 고려된다. 따라서, 포화 신뢰도 ST(p)는, 도 17에 도시한 바와 같이 어느 기준 화상의 강도 Gc가 임계값까지는 1이며, 어느 임계값을 초과한 지점에서 강도의 상승과 함께 급격하게 그 값이 내려가는 특성이 유효하다고 고려된다. 또한, 본 방법은 처리 대상 화상의 포화 신뢰도 산출법으로서 사용할 수도 있다. 그 경우에는, G_c 대신에 G_s가 사용된다.

흑색 뭉개짐 신뢰도 산출부(450)는, 기준 화상의 신뢰도를 흑색 뭉개짐 정도의 관점에서 산출하는 것이다. 일반적으로, 화상 센서에 있어서, 흑색 뭉개짐 영역에서는 센서의 특성에 선형성이 성립되지 않게 된다. 더욱 완전하게 흑색이 뭉개져, 값이 하한값으로 클리핑된 채널에서는, 게인을 정확하게 구하는 것은 곤란하다. 또한, 그러한 파탄은 처리 대상 화상의 강도가 클 때에 두드러진다. 따라서, 기준 화상의 화소값이 매우 작은 값이며, 또한, 처리 대상 화상의 화소값이 충분히 큰 값인 화소에 대하여, 평활화 처리 시에 가중치를 내려, 보다 신뢰도가 높은 주변 화소의 정보에 의해 그 화소의 값을 구하는 것이 유효하다고 고려된다. 따라서, 흑색 뭉개짐 신뢰도 BT(p)는, 도 18에 의해 표현되는 다음 수학식과 같은 특성을 갖는 값이 유효하다고 고려된다. 이 식은, 기준 화상의 화소값으로부터 흑색 뭉개짐 정도를 산출하는 것이다. 또한, 본 방법은 처리 대상 화상의 흑색 뭉개짐 신뢰도 산출법으로서 사용할 수도 있다. 그 경우에는, G_c 대신에 G_s가 사용된다.

또한, 이 흑색 뭉개짐 신뢰도 BT(p)는, 도 19에 의해 표현되는 다음 수학식과 같은 특성을 갖는 값이어도 좋다. 이 식은, 기준 화상의 화소값 및 기준 화상과 처리 대상 화상의 채널간 비율로부터 흑색 뭉개짐 정도를 산출하는 것이다.

또한, 상술한 포화 신뢰도 산출부(440) 및 흑색 뭉개짐 신뢰도 산출부(450)에서는, G 채널을 사용하여 흑색 뭉개짐 정도나 포화도의 판정을 행했지만, 이것은 G 채널에 한정되는 것이 아니다. R, B 채널 또는 그들의 최대 최소, 선형 합, 휘도값 등에 의한 판정도 유효하다.

움직임 피사체 신뢰도 산출부(460)는, 기준 화상의 신뢰도를 움직임 피사체인지의 여부의 관점에서 산출하는 것이다. 이 움직임 피사체 신뢰도 산출부(460)는, 플래시 비발광 및 발광의 어느 화상이든 판별 가능한 피사체의 특성값에 주목하여, 각 화소가 움직임 피사체인지의 여부를 판정하여, 움직임 피사체 신뢰도 MT(p)를 산출한다. 그러한 특성값으로서는, 예를 들어 피사체의 분광 반사율이 고려된다. 일반적으로, 움직임 피사체에서는 화소의 비교를 정확하게 행할 수 없기 때문에, 게인을 정확하게 구하는 것은 곤란하다. 그러한 화소에서는, 평활화 처리 시에 가중치를 내려, 보다 신뢰도가 높은 주변 화소의 정보에 의해 그 화소의 값을 구하는 것이 유효하다고 고려된다.

신뢰도 선택부(470)는, 포화 신뢰도 ST(p), 흑색 뭉개짐 신뢰도 BT(p) 및 움직임 피사체 신뢰도 MT(p) 중 가장 신뢰도가 낮은 것을 선택하는 것이다. 이에 의해, 가장 의심스럽다고 판단된 신뢰도 FT(p)가 선택되게 된다. 또한, 이 선택 시에는, 포화 신뢰도 ST(p), 흑색 뭉개짐 신뢰도 BT(p) 및 움직임 피사체 신뢰도 MT(p)의 선형 합으로서의 신뢰도를 산출해도 좋다.

평활화 처리부(480)는, 이와 같이 하여 얻어진 신뢰도 FT(p)에 기초하여 평활화하면서, 처리 대상 화상의 RGB값(R_s(p) 및 B_s(p))에 대하여 게인 FS_R(p) 및 FS_B(p)를 적용한다. 평활화 처리부(480)의 제1 처리 기능예로서, 영역 α에 있어서 가중치 부여 평활화를 행하는 경우에는 다음 수학식에 의해 실현된다.

이와 같이 하여 게인 적용된 모자이크 화상 M_l은 조명 성분 변환을 마친 모자이크 화상 유지부(290)에 유지된다. 또한, 평활화 처리의 다른 예에 대해서는 후술한다.

[움직임 피사체 신뢰도 산출부(460)의 구성예]

도 20은, 본 발명의 제2 실시 형태에 있어서의 움직임 피사체 신뢰도 산출부(460)의 구성예를 도시하는 도면이다. 이 움직임 피사체 신뢰도 산출부(460)는, 비율 역전도 산출부(461)와, 비율 예측부(462)와, 분광 반사율 변화량 예측부(463)와, 환경 광 스펙트럼 색 밸런스값 유지부(464)와, 플래시 광 스펙트럼 색 밸런스값 유지부(465)와, 최소값 선택부(466)를 구비한다.

환경 광 스펙트럼 색 밸런스값 유지부(464)에 유지되는 환경 광 스펙트럼 색 밸런스값은, 기준 화상에 있어서의 환경 광의 스펙트럼에 대하여, 무채색의 물체의 신호 강도가 무채색, 즉 R:G:B=1:1:1이 되는 채널마다의 게인이다. 근사적으로는, 기준 화상에 대한 화이트 밸런스 WB_c를 사용할 수 있다. 일반적으로는, 화이트 밸런스의 값으로서는, 그림 만들기를 고려하여 무채색의 물체에 대하여 다소의 색미를 남기는 게인이 설정되지만, 이 환경 광 스펙트럼 색 밸런스값은 완전하게 R:G:B=1:1:1로 하는 게인이 바람직하다. 여기에서는 양자를 구별하기 위해, 특별히 WB_pc로 표기한다.

플래시 광 스펙트럼 색 밸런스값 유지부(465)에 유지되는 플래시 광 스펙트럼 색 밸런스값은, 플래시 발광부(61)에 의한 플래시 광의 스펙트럼에 대하여, 무채색의 물체의 신호 강도가 무채색이 되는 채널마다의 게인이다. 근사적으로는, 처리 대상 화상에 대한 화이트 밸런스 WB_s를 사용할 수 있다. 일반적으로는, 화이트 밸런스의 값으로서는, 그림 만들기를 고려하여 무채색의 물체에 대하여 다소의 색미를 남기는 게인이 설정되지만, 이 플래시 광 스펙트럼 색 밸런스값은 완전하게 R:G:B=1:1:1로 하는 게인이 바람직하다. 여기에서는 양자를 구별하기 위하여 특별히 WB_pf로 표기한다. 또한, 이들 스펙트럼에 대한 색 밸런스값은 촬상 장치의 내부에서 계산함으로써 설정해도 좋고, 또한 촬상 장치의 외부로부터 설정해도 좋다. 환경 광에 대해서도 마찬가지이다.

비율 역전도 산출부(461)는, 움직임 피사체 신뢰도를 화소값의 변화 방향의 관점에서 산출하는 것이다. 이 비율 역전도 산출부(461)는, 화상 전체의 조명 성분 변화 방향에 대하여 화소값의 변화의 방향이 역전하고 있는 것을 검출함으로써, 그 화소가 움직임 피사체라고 판단한다. 플래시 발광/비발광의 예에 있어서, 연사된 기준 화상과 처리 대상 화상에 있어서, 환경 광에 변화가 없다고 가정하면, 노출 보상부(431 내지 433)에 의해 보상된 화상에서는, 플래시가 조사된 영역에서는 보상 후의 비율 K는 「1」보다 커지는 것이다. 또한, 플래시가 닿지 않았던 영역에서는 보상 후의 비율 K는 「1」과 동등해지는 것이다. 따라서, 보상 후의 비율 K가 「1」보다 작아지는 영역에서는 물체가 이동했기 때문에 신호 강도가 떨어졌다고 추측할 수 있기 때문에, 도 21에 도시된 특성을 갖게 한 함수에 의해 비율 역전도 MTRK(p)를 결정할 수 있다. 즉, logK가 음이며, 절대값이 커지면 커질수록 그 값이 0에 근접하는 특성을 갖는 비율 역전도 MTRK(p)가 유효하다고 고려된다.

비율 예측부(462)는, 움직임 피사체 신뢰도를 비율 K의 예측값의 관점에서 산출하는 것이다. 이 비율 예측부(462)는, 보상 후의 비율 K의 값을 예측하여, 실측값과의 어긋남을 계측함으로써, 움직임 피사체인 것을 판정한다. 플래시 화상인 처리 대상 화상의 조명 성분 E_s는, 처리 대상 화상의 조명 성분 중 환경 광에 의한 것 E"_c와 플래시 광만에 의한 것 E"_pf의 가산에 의해 표현된다.

따라서, 비율 Ko는 다음 수학식에 의해 표현된다.

또한, 조명의 스펙트럼으로부터 구해지는 화이트 밸런스 게인은, 분광 반사율이 무채색의 대상, 즉 ρ_R:ρ_G:ρ_B=1:1:1이 되는 대상이며, 채널 강도가 R:G:B=1:1:1이 되도록 색 밸런스를 조정하는 게인이다. 따라서, 다음 수학식의 관계가 성립된다.

상기 2개의 수학식으로부터, R 및 B 채널의 비율의 예측값 eK_R 및 eK_B는 다음 수학식과 같이 표현할 수 있다.

여기서, 예측값 eK와 실측값 K가 크게 다른 것은, 분광 반사율 ρ가 변화하여, 약분할 수 없었던 것이 원인이라고 사료된다. 이에 의해, 차분 절대값, ΔK=|K-eK|가 큰 화소는 움직임 피사체라고 판단하여, 도 22와 같은 특성을 갖는 예측 비율 MTEK(p)를 설정한다. 즉, ΔK=|K-eK|의 값이 클수록 분광 반사율 ρ의 변화에 의한 영향이 크다고 간주하여, 평활화 처리 시의 가중치를 작게 하고 있다. 또한, 이 도 22에 있어서의 예측 비율이란, 예측된 비율과 실제의 값의 오차에 수반하는 신뢰도를 의미한다.

분광 반사율 변화량 예측부(463)는, 움직임 피사체 신뢰도를 분광 반사율 변화량의 예측값의 관점에서 산출하는 것이다. 이 분광 반사율 변화량 예측부(463)는, 비율 예측부(462)와 마찬가지로, G 채널의 값에 기초하여 R 및 B 채널의 강도 비율 K의 값을 추정한다. 기준 화상과 처리 대상 화상 사이에서 환경 광의 조명 강도가 E'_c로 변화했다고 하면, 상술한 R 및 B 채널의 비율의 예측값 eK_R 및 eK_B의 식은, 다음 수학식과 같이 재기입할 수 있다.

따라서, R, G, B의 비율은 다음 수학식에 의해 근사할 수 있다.

이 식은 이하의 3점이 동일 직선 상에 존재하는 것을 의미한다.

이들 3점이 동일 직선 상에 없는 경우에는, 상술한 R 및 B 채널의 비율의 예측값 eK_R 및 eK_B의 식의 도출 과정에 있어서 ρ를 캔슬할 수 없었다고 사료되기 때문에, 역시 움직임 피사체라고 판정할 수 있다. 3점이 동일 직선 상에 있는지의 여부는, 3점이 이루는 각도 θ 등에 의해 판정이 가능하다. 따라서, 분광 반사율 변화량 MTVR(p)는, θ의 함수로서 도 23과 같은 특성을 갖는 것이 바람직하다. 즉, 일직선 상 배열되었을 때에 공간 평활화에 있어서의 가중치가 「1」에 접근하고, 각도 θ가 직각일 때에 「0」이 된다. 또한, 이 도 23에 있어서의 분광 반사율 변화량은, 분광 반사율의 변화에 수반하는 신뢰도를 의미한다.

최소값 선택부(466)는, 비율 역전도 산출부(461), 비율 예측부(462) 및 분광 반사율 변화량 예측부(463)에 있어서 구해진 값 중에서 최소값을 선택하여 최종적인 움직임 피사체 신뢰도 MT(P)로서 출력하는 것이다. 또한, 본 발명의 실시 형태에서는, 비율 역전도 산출부(461), 비율 예측부(462) 및 분광 반사율 변화량 예측부(463) 모두를 사용했지만, 일부만을 단독으로 또는 조합하여 사용해도 좋다.

[동작예]

도 24는, 본 발명의 제2 실시 형태에 있어서의 채널 게인 적용부(260)의 동작예를 도시하는 도면이다. 여기에서는, 이하의 처리가 각 화소를 대상으로 하여 반복된다(루프 L705).

루프 L705에 있어서, 기준 화상 및 처리 대상 화상의 RGB값(R_c(p), G_c(p) 및 B_c(p), R_s(p), G_s(p) 및 B_s(p)가 취득된다(스텝 S941). 제산부(421 내지 423)에 있어서, 기준 화상 및 처리 대상 화상의 RGB값의 비율 Ko(p)가 산출된다(스텝 S942). 또한, 노출 보상부(431 내지 433)에 있어서 촬상 시의 설정에 의한 노출의 보상 처리가 행해진다(스텝 S943). 이에 의해, 조명 환경의 변화가 없는 정지 피사체에서는 비율이 「1」로 된다.

이어서, 포화 신뢰도 산출부(440)에 있어서, 포화 신뢰도 ST(p)가 산출된다(스텝 S944). 흑색 뭉개짐 신뢰도 산출부(450)에 있어서, 흑색 뭉개짐 신뢰도 BT(p)가 산출된다(스텝 S945). 또한, 움직임 피사체 신뢰도 산출부(460)에 있어서, 움직임 피사체 신뢰도 MT(p)가 산출된다(스텝 S946). 그리고 신뢰도 선택부(470)에 의해, 포화 신뢰도 ST(p), 흑색 뭉개짐 신뢰도 BT(p) 및 움직임 피사체 신뢰도 MT(p) 중 가장 신뢰도가 낮은 것이 선택된다(스텝 S947). 이렇게 하여 얻어진 신뢰도는 (도시하지 않음)메모리에 저장된다(스텝 S948). 모든 화소에 있어서의 처리가 종료되면, 루프 L705를 뺀다. 이 본 발명의 제2 실시 형태에 있어서는, 스텝 S942 내지 S948의 처리를 도 13에 있어서의 루프 L703을 뺀 직후에 삽입함으로써, 도 13에 있어서의 루프 L702와 도 24에 있어서의 루프 L705를 공통의 루프 처리로서 구성할 수 있다. 이미 스텝 S923에서 각 화소의 값을 읽어들이고 있기 때문에, 스텝 S941을 생략할 수 있다.

이어서, 평활화 처리부(480)에 있어서, 평활화 처리가 화소마다 행해진다(스텝 S949). 이와 같이 하여 게인이 적용된 화소값은 조명 성분 변환을 마친 모자이크 화상 유지부(290)에 유지된다(스텝 S950). 또한, 여기서 말하는 스텝 S950의 처리는 도 12에 있어서의 스텝 S919를 의미하며, 어느 하나로 처리 결과를 저장함으로써 다른 처리를 생략할 수 있다. 모든 화소에 있어서의 처리가 종료되면, 1프레임분의 채널 게인 적용 처리를 종료한다.

도 25는, 본 발명의 실시 형태에 있어서의 움직임 피사체 신뢰도 산출부(460)의 동작예를 도시하는 도면이다. 여기에서는, 이하의 처리가 각 화소를 대상으로 하여 행해진다.

우선, 노출 보상부(431 내지 433)로부터 비율 K가 취득된다(스텝 S951). 또한, 환경 광 스펙트럼 색 밸런스값 유지부(464)로부터 기준 화상에 있어서의 환경 광의 색 밸런스가 취득되고, 플래시 광 스펙트럼 색 밸런스값 유지부(465)로부터 플래시 광의 색 밸런스가 취득된다(스텝 S951).

그리고 비율 역전도 산출부(461)에 있어서, 화상 전체의 강도의 변화의 방향과 화소의 강도에 적합한 역전이 판정되어, 그 정도에 따라 비율 역전도가 산출된다(스텝 S952). 또한, 비율 예측부(462)에 있어서, 비율 K의 실측값과 추정값의 괴리의 정도로부터 움직임 피사체인지의 여부가 판정되어, 예측 비율이 결정된다(스텝 S953). 비율 예측 시에는 분광 반사율 ρ가 분모 분자로 캔슬하는 것을 가정하고 있기 때문에, 예측과의 괴리는 분광 반사율의 변화를 검지한 것으로 되어, 움직임 피사체라고 판정하고 있다. 또한, 분광 반사율 변화량 예측부(463)에 있어서, 색 밸런스의 예측값과 실측값의 어긋남으로부터 분광 반사율 변화량이 예측된다(스텝 S954). 그리고 최소값 선택부(466)에 있어서, 비율 역전도 산출부(461), 비율 예측부(462) 및 분광 반사율 변화량 예측부(463)에 있어서 구해진 값 중에서 최소값이 선택된다(스텝 S955). 이 선택된 값은, 최종적인 움직임 피사체 신뢰도 MT(P)로서 출력된다.

이와 같이, 본 발명의 제2 실시 형태에 의하면, 흑색 뭉개짐, 포화 또는 움직임 피사체의 관점에서 각 화소에 대한 신뢰도를 판정하여, 평활화 시에 신뢰도가 낮은 화소의 가중치를 내려, 주변 화소의 정보를 이용할 수 있어, 강건한 게인 적용을 행할 수 있다.

이 제2 실시 형태에서는, 평활화 처리 시에 단순한 가중치 부여 평활화를 행하는 예에 대하여 설명했지만, 에지 보존형 평활화를 적용할 수도 있다. 에지 보존 평활화란, 화상 중의 물체 경계 등의 현저한 단차는 남기면서, 계조를 평활화하는 비선형 필터 처리이다. 시인성에 영향을 미치는 물체 윤곽을 보존하면서 미세한 변동을 제거하기 때문에, 오래전부터 노이즈 리덕션 처리에 사용되고 있다. 이 에지 보존 평활화 처리는, 물체 내의 텍스처의 미세한 휘도 변동과 물체 윤곽의 현저한 휘도 단차를 분리할 수 있는 성질을 이용하여, 텍스처로 대표되는 디테일 성분 이외의 휘도차를 압축하는 계조 보정 처리에도 사용되고 있다.

그러한 에지 보존 평활화 처리 중에서, 최근 양방향 필터라고 불리는 기술이 자주 이용되고 있다. 일반적으로, 화상의 휘도 I(p)에 대한 양방향 필터 BLF(p)는, 다음 수학식과 같이, 공간 방향의 가중 함수 ω(p-pc)와 휘도값 방향의 가중 함수 φ(I(p)-I(pc))의 2개로 가중치 부여한 중심 화소 위치 pc의 주위의 화소값 I(p)를 가산한다.

상기 수학식에 있어서, 우변의 분모는 가중치의 정규화 계수를 나타낸다.

상기 수학식으로 표현한 바와 같이, 양방향 필터에서는 국소 영역 중의 각 화소에 대한 가중치 부여가 중심 화소의 휘도값에 의존하여 바뀐다. 그로 인해, 화소마다 가중치를 다시 산출할 필요가 있기 때문에, 통상의 선형인 FIR 필터 등에 비하여 연산량이 훨씬 커진다는 문제가 있다. 또한, 양방향 필터의 응용 기술로서, 조인트 양방향 필터 또는 크로스 양방향 필터라고 불리는 기술이 제안되어 있다. 양방향 필터에서는 국소 영역 중의 각 화소에 대한 가중치 부여가 필터 처리 대상인 중심 화소의 휘도값에 의존하여 바뀐 것에 대해, 조인트 양방향 필터에서는 가중치 계산에 사용하는 특성값과 필터 처리 대상의 특성값이 상이하다. 조인트 양방향 필터 JBLF(p)에 의한 식은 다음 수학식과 같이 된다.

상기 수학식은, 공간 방향의 가중 함수 ω(p-pc)와 휘도값 방향의 가중 함수 φ(I(p)-I(pc))의 2개로 가중치 부여한 중심 화소 위치 pc의 주위의 화소값 S(p)를 가산하는 연산을 나타내고 있다. 예를 들어, 매우 S/N 특성이 나쁜 신호 S에 대하여 상관이 높아, S/N비가 높은 신호 I가 있었을 때에 I 신호에 따른 가중치 부여를 행함으로써, S/N비가 좋은 에지 보존형의 필터 처리가 가능하게 된다.

또한, 조인트 양방향 필터에 있어서, 양방향 필터와 마찬가지로, 국소 영역 중의 각 화소에 대한 가중치 부여가 중심 화소의 휘도값에 의존하여 바뀐다. 그로 인해, 화소마다 가중치를 다시 산출할 필요가 있기 때문에, 통상의 선형인 FIR 필터 등에 비하여 연산량이 훨씬 크다는 문제가 있다.

따라서, 이하의 제3 실시 형태에서는, 블록 히스토그램을 이용함으로써, 에지 보존형 평활화의 연산량을 감소시키는 방법을 제안한다.

<3. 제3 실시 형태>

본 발명의 제3 실시 형태에서는, 공간축 및 휘도축에 의해 복수로 분할한 각 블록에서 화소 빈도값 및 정의된 어느 특성값을 산출한 후, 각 화소 위치와 각 블록 사이의 거리로 정의되는 가중치에 기초하여, 블록마다의 특성값을 가중치 부여 가산한다. 특성값으로서는, 블록마다의 내부에 포함되는 화소의 게인의 적분값(총합)이나, 내부에 포함되는 화소의 게인의 중앙값에 내부에 포함되는 화소의 화소 수를 곱한 것 등을 사용할 수 있다. 이 연산을 수학식으로 표현하면 다음 수학식과 같이 된다.

여기서, i, j는 공간축 방향의 블록의 인덱스이다. 또한, λ는 블록에 해당하는 휘도 범위의 중앙값이다. I(pc)는 좌표 위치 pc에 있어서의 휘도의 값이다. S(i, j, λ)는 블록(i, j, λ)의 게인의 적분값이다. H(i, j, λ)는 블록 히스토그램의 값이다. 상기 수학식은 조인트 양방향 필터의 공간축의 가중 함수 ω와 휘도축의 가중 함수 φ를 블록의 분할을 따라 계단 형상으로 이산화한 것에 상당하기 때문에, 에지 보존 평활화의 효과가 있다. 또한, 블록 히스토그램 및 블록 적분값을 산출하는 비용을 차감해도, 블록마다의 가중 곱의 합은 화소마다의 가중 곱의 합에 비교하면 훨씬 연산량을 작게 할 수 있다. 이 효과는, 에지 보존 평활화의 오퍼레이터 크기가 거대할수록 크다.

또한 본 발명의 제3 실시 형태에서는, 상기 가중치 외에 화소 위치마다 정해지는 가중치 τ(p)를 도입한 에지 보존형 평활화 처리를 제안한다. 블록 히스토그램 및 블록 내부의 특성값의 가중치 부여 적분은 이하와 같이 표현된다.

여기서, ISW(i, j, λ)는 블록(i, j, λ) 내부의 가중치 부여 게인 적분값, IFT(i, j, λ)는 블록(i, j, λ) 내의 가중치 부여 빈도값, 즉 가중치 자신의 적분값이다. 이것을 상기 식에 적용하면, 다음 수학식을 얻는다.

이 연산은, 다음 수학식으로 표현되는 가중치 부여 조인트 양방향 필터의 공간축의 가중 함수 ω와 휘도축의 가중 함수 φ를 블록의 분할을 따라 계단 형상으로 이산화한 것에 상당한다.

따라서, 에지 보존 평활화의 효과가 있다. 또한, 블록 적분값을 산출하는 비용을 차감해도, 블록마다의 가중 곱의 합은 화소마다의 가중 곱의 합에 비교하면 훨씬 연산량을 작게 할 수 있다. 이 효과는, 에지 보존 평활화의 오퍼레이터 크기가 거대할수록 크다.

또한, 본 발명의 제3 실시 형태에서는, 연산량을 저감시키는 방법을 제공한다. 즉, 블록 히스토그램 및 블록마다의 게인 적분값에 대하여, 미리 휘도축 방향의 가중 함수를 컨볼루션하는 연산을 행하여, 그 결과를 유지해 둔다. 이 경우, 블록 히스토그램에의 컨볼루션 연산은 다음 수학식과 같이 된다.

또한, 블록 적분값에의 컨볼루션 연산은 다음 수학식과 같이 된다.

화소마다의 가중 곱의 합 연산에서는, 이미 휘도 가중 함수가 컨볼루션된 블록 히스토그램 및 가중치 부여 게인 적분값을 공간 방향으로 보간한 결과를, 제산하기만 해도 좋다. 이 연산은, 다음 수학식과 같이 된다.

이 효과는, 원래의 화상 크기에 비하여 블록 분할 수가 대략적인 경우, 즉 화상 중의 넓은 범위를 보아 평활화 처리를 행하는 경우일수록 크다.

또한, 본 발명의 제3 실시 형태에서는, 상술한 블록 히스토그램, 블록마다의 게인 적분값 또는 그들을 휘도축 가중 함수로 컨볼루션한 것을 메모리에 저장한다. 이에 의해, 다음에 입력되는 프레임에 있어서의 에지 보존 평활화 처리에 이용하는 방법을 제공한다. 즉, 입력이 동화상 데이터인 경우에는 전체 화소를 2회 스캔하지 않고, 거대한 에지 보존 평활화를 적은 워킹 메모리로 실행하는 것이 가능하게 된다.

또한, 본 발명의 제3 실시 형태에서는, 상술한 블록 히스토그램, 블록마다의 게인 적분값 또는, 그들을 휘도축 가중 함수로 컨볼루션한 것을 산출하는 처리 전에 입력 화상을 축소하는 처리를 행한다. 이에 의해, 블록 히스토그램, 블록마다의 게인 적분값 또는 그들을 휘도축 가중 함수로 컨볼루션한 것을 산출하는 연산량 및 메모리량을 삭감한다.

또한, 이 제3 실시 형태에 있어서는, 전제가 되는 촬상 장치, 화상 처리 회로(23) 및 조명 성분 변환 처리부(120)의 구성에 대해서는 제2 실시 형태와 마찬가지이기 때문에, 설명을 생략한다.

[평활화 처리부(480)의 처리 기능예]

도 26은, 본 발명의 제3 실시 형태에 있어서의 평활화 처리부(480)의 처리 기능예를 도시하는 도면이다. 이 평활화 처리부(480)의 처리 기능예는, 승산부(511 및 512)와, 휘도 산출부(521)와, 비선형 변환부(522)를 구비하고 있다. 또한, 이 평활화 처리부(480)의 제2 처리 기능예는, 블록 적분값 산출부(531 및 532)와, 블록 히스토그램 산출부(533)와, 블록 적분값 유지부(541 및 542)와, 블록 히스토그램 유지부(543)를 구비하고 있다. 또한, 이 평활화 처리부(480)의 제2 처리 기능예는, 위상 보상 처리부(551 및 552)와, 가중 곱의 합부(561 및 562)와, 게인 적용부(571 및 572)를 더 구비하고 있다.

휘도 산출부(521)는, 처리 대상 화상의 RGB값으로부터 휘도값 L(p)를 산출하는 것이다. 이 휘도 산출부(521)는, 예를 들어 RGB값에 대하여 미리 설정된 계수(가중치)에 의해 RGB값의 선형 합을 연산함으로써, 휘도값을 산출하는 것이면 된다. 또한, 이 휘도 산출부(521)는, 예를 들어 RGB값 중에서 최대값을 구하는 처리에 의해, 휘도값을 생성해도 좋다.

비선형 변환부(522)는, 휘도 산출부(521)에 의해 산출된 휘도값을 비선형 변환하여, 비선형 변환 휘도값 L^{( nl )}(p)를 출력하는 것이다. 이 비선형 변환부(522)는, 예를 들어 γ 커브, 1보다 작은 지수에 의한 멱승 특성이나 대수 변환 등의 「위로 볼록한 단조 증가 특성」을 적용하는 것이 유용하다.

승산부(511 및 512)는, 채널마다의 게인 FS(p)에 대하여 당해 화소의 신뢰도 FT(p)를 곱함으로써, 채널마다의 가중치 부여 게인 SW(p)를 생성하는 것이다.

블록 적분값 산출부(531 및 532)는, 화상을 공간축 방향 및 휘도축 방향으로 복수의 블록으로 분할하여, 각 블록에 속하는 특성값의 적분값을 산출하는 것이다. 여기에서 말하는 특성값이란, 신뢰도 FT(p)에 의해 가중치 부여된 R 및 B 채널의 가중치 부여 게인 SW_R(p) 및 SW_B(p)이다. 이 블록 적분값 산출부(531 및 532)에 의해 산출된 적분값은, 블록 적분값 유지부(541 또는 542)에 저장된다. 즉, 블록 적분값 유지부(541)는, R 채널의 가중치 부여 게인 ISW_R(r)을 유지한다. 블록 적분값 유지부(542)는, B 채널의 가중치 부여 게인 ISW_B(r)을 유지한다.

블록 히스토그램 산출부(533)는, 상기 분할된 각 블록에 속하는 신뢰도 FT(p)를 적분하여, 화소의 빈도값을 블록 히스토그램으로서 산출하는 것이다. 이 블록 히스토그램 산출부(533)에 의해 산출된 블록 히스토그램 IFT(r)은, 블록 히스토그램 유지부(543)에 저장된다. 이하에서는, 블록 적분값 유지부(541, 542) 및 블록 히스토그램 유지부(543)에 유지된 정보를 중간 데이터라고도 칭한다.

위상 보상 처리부(551 및 552)는, 당해 화소의 각 채널이 대응하는 처리 대상 화상의 모자이크 화상 상의 위치에 따른 휘도값을 산출하는 것이다. 간이 디모자이크에서는, 베이어 세트(602)마다 위치 601에 휘도값이 구해지고 있다. 이 위상 보상 처리부(551 및 552)에 의한 처리는, 모자이크 화상 상의 각 화소 위치에 대한 근방 4개의 휘도값으로부터의 선형 보간 처리에 의해 실현할 수 있다. 간이 디모자이크가 아니고 화소마다 디모자이크한 경우에는, 휘도 산출부(521) 및 비선형 변환부(522)에 의해 처리 대상 화상의 모자이크 화상의 화소마다 휘도가 구해지고 있기 때문에, 이 위상 보상 처리를 생략할 수 있다.

가중 곱의 합부(561 및 562)는, 블록 히스토그램과 블록 적분값과 당해 화소 위치의 휘도값으로부터 당해 화소 위치의 글로벌 게인값을 산출하는 것이다. 글로벌 게인값이란, 당해 화소 위치가 속하는 물체 영역의 평균 게인에 상당하는 정보이다. 가중 곱의 합부(561)는 글로벌 게인값 SW_lR(p)를 게인 적용부(571)에 공급하고, 가중 곱의 합부(562)는 글로벌 게인값 SW_lB(p)를 게인 적용부(572)에 공급한다.

게인 적용부(571 및 572)는, 가중 곱의 합부(561 및 562)에 의해 산출된 게인을 각 채널 값에 적용하는 것이다. 이 게인 적용부(571 및 572)에 있어서의 처리는, 일반적으로는 승산에 의해 실현할 수 있다. 즉, 게인 적용부(571 및 572)는, 각각 다음 식과 같은 연산을 행한다.

또한, 가중 곱의 합부(561, 562), 게인 적용부(571, 572)는, 청구범위에 기재된 평활화 처리부의 일례이다.

[블록 적분값 산출부(531, 532) 및 블록 히스토그램 산출부(533)의 구성예]

도 27은, 본 발명의 제3 실시 형태에 있어서의 블록 적분값 산출부(531, 532) 및 블록 히스토그램 산출부(533)의 구성예를 도시하는 도면이다. 이 블록 적분값 산출부(531, 532) 및 블록 히스토그램 산출부(533) 각각은, 블록 선택부(534)와, n개의 적분기(535-1 내지 n)를 구비하고 있다. 여기서, 화상의 폭 방향의 블록 분할 수를 W, 화상의 높이 방향의 블록 분할 수를 H, 화상의 휘도 방향의 블록 분할 수를 D로 하면, 블록 수 n은 W×H×D로 된다.

블록 선택부(534)는, 입력되는 각 화소의 가중치 부여 특징량을, 화소 위치와 휘도값에 의해 n개의 블록 중 어느 하나로 분류하는 것이다. 여기에서 말하는 가중치 부여 특징량이란, 신뢰도 FT(p)에 의해 가중치 부여된 R, B 채널용의 게인 SW_R(p), SW_B(p) 또는 신뢰도 FT(p)이다.

적분기(535-1 내지 n)는, 분류된 가중치 부여 특징량을 가산하는 것이다. 이 적분기(535-1 내지 n) 각각은 가산부(536) 및 레지스터(537)를 유지한다. 가산부(536)는, 분류된 가중치 부여 특징량과 레지스터(537)에 유지된 값을 가산하는 것이다. 레지스터(537)는 가산부(536)의 출력을 유지하는 것이다. 1프레임분의 화소를 처리한 후, 전체 블록의 적분기(535-1 내지 n)의 값이 블록 적분값 유지부(538)에 저장된다. 여기서, 블록 적분값 유지부(538)는, 블록 적분값 유지부(541, 542) 또는 블록 히스토그램 유지부(543)에 상당한다.

[가중 곱의 합부(561 및 562)의 구성예]

도 28은, 본 발명의 제3 실시 형태에 있어서의 가중 곱의 합부(561 및 562)의 구성예를 도시하는 도면이다. 이 가중 곱의 합부(561 및 562) 각각은, 보간부(563 및 564)와, 공간 가중 함수 테이블 유지부(565)와, 곱의 합부(566 및 567)와, 휘도 가중 함수 테이블 유지부(568)와, 제산부(569)를 구비한다.

보간부(563 및 564)는, 입력된 휘도값의 화소 위치에 대응하는 가중치 부여 특징량을 보간하는 것이다. 즉, 보간부(563)는, 당해 화소 위치의 공간 방향 근방 4×4 블록 영역의 가중치 부여 게인 SW_R(r) 또는 SW_B(r)의 블록 적분값 ISW_R(r) 또는 ISW_B(r)을 보간한다. 보간부(564)는, 당해 화소 위치의 공간 방향 근방 4×4 블록 영역의 신뢰도 FT(p) 자신의 블록 적분값 IFT(r)을 보간한다. 그때의 보간 계수에는, 예를 들어 3차 B-spline 함수 등이 적합하다. 이 B-Spline 함수값을 공간 가중 함수 테이블로서, 공간 가중 함수 테이블 유지부(565)에 유지해 두고, 근방의 블록 위치와 당해 화소 위치의 상대 위치 관계에 기초하여 필요한 계수를 취출할 수 있도록 할 수 있다. 보간부(563 및 564)가 행하는 연산은, 다음 수학식과 같이 된다.

여기서, i, j는 근방 4×4 블록을 나타내는 인덱스이다. λ는 히스토그램의 각 블록에 해당하는 휘도 레벨의 중앙값이다. B_i, j는 인덱스 i, j에 해당하는 블록에 대한 B-Spline 보간 계수이다. ISW_R(i, j, λ), ISW_B(i, j, λ)는, (i, j, λ)에 해당하는 블록의 가중치 부여 게인 SW_R(p) 또는 SW_B(p)의 블록 적분값이다. IFT(i, j, λ)는, (i, j, λ)에 해당하는 블록의 신뢰도 FT(p) 자신에 대한 적분값(블록 히스토그램)이다. 또한, 보간부(563)는, 청구범위에 기재된 제1 보간부의 일례이다. 또한, 보간부(564)는, 청구범위에 기재된 제2 보간부의 일례이다.

곱의 합부(566 및 567)는, 당해 화소 위치에 대응하는 가중치 부여 적분값에 대하여, 휘도 가중치를 곱의 합한 결과를 산출하는 것이다. 휘도 가중치는, 휘도 가중 함수 테이블 유지부(568)에 저장된 테이블을 사용하여 산출된다. 도 29는, 휘도 가중 함수 테이블 유지부(568)에 저장된 휘도 가중 함수의 형상의 일례를 도시하는 도면이다. 휘도 가중 함수는, 입력된 당해 화소 위치의 휘도값 L^{( nl )}(p)와, 당해 화소 위치에 보간된 적분값의 각 블록에 상당하는 휘도 레벨 λ의 차분값이 작을수록 큰 값을 갖는 단봉(單峰)성 형상의 함수가 적절하다. 예를 들어, 다음 수학식에 표현한 바와 같은 함수를 사용할 수 있다.

여기서,σ_th는, 이 함수의 주변의 확대의 크기를 정하는 상수값이다. 이러한 휘도 가중 함수를 사용함으로써, 입력된 휘도값 L^{( nl )}(p)에 가까운 값을 갖는 블록에 대하여 큰 가중치를 부여하고, 이격된 값을 갖는 블록에 대하여 작은 가중치를 부여할 수 있다. 곱의 합부(566 및 567)는, 각 블록에의 가중치를 휘도 가중 함수와 입력 휘도값에 의해 산출한 후, 당해 화소 위치에 보간된 가중치 자신 및 가중치 부여 게인 적분값의 전체 블록의 값을 각 가중치에 의해 가중 합한다. 제산부(569)는, 곱의 합부(566)에 의해 산출된 가중치 부여 게인값을, 곱의 합부(567)에 의해 산출된 신뢰도로 제산하고, 그 결과를 당해 화소 위치의 글로벌 게인값으로서 출력하는 것이다. 곱의 합부(566, 567) 및 제산부(569)가 행하는 연산은 다음 수학식과 같이 된다.

또한, 곱의 합부(566)는, 청구범위에 기재된 제1 곱의 합부의 일례이다. 또한, 곱의 합부(567)는, 청구범위에 기재된 제2 곱의 합부의 일례이다. 또한, 제산부(569)는, 청구범위에 기재된 제2 제산부의 일례이다.

블록 적분값에는, 블록 영역마다 가까운 값을 갖는 화소의 가중치 부여 게인 및 신뢰도 자신이 블록마다 적분되어 있다. 따라서, 상기와 같이 당해 화소 위치의 휘도값에 가까운 휘도 레벨의 블록에 가중치를 둔 곱의 합을 행함으로써, 주위 4×4 블록 영역 중에서도 특히 가까운 휘도값의 화소의 적분 결과를 얻게 된다. 따라서, 주위 4×4 블록 영역과 같이 광범위한 영역을 적분해도 상이한 밝기의 다른 피사체에 가해지는 화소값의 영향은 적어, 당해 화소가 속하는 피사체의 평균 게인값을 산출할 수 있다.

또한, 보간부(564)는, 청구범위에 기재된 제1 보간부의 일례이다. 또한, 보간부(563)는, 청구범위에 기재된 제2 보간부의 일례이다. 또한, 곱의 합부(567)는, 청구범위에 기재된 제1 곱의 합부의 일례이다. 또한, 곱의 합부(566)는, 청구범위에 기재된 제2 곱의 합부의 일례이다.

[동작예]

도 30 및 도 31은, 본 발명의 제3 실시 형태에 있어서의 평활화 처리부(480)의 동작예를 도시하는 도면이다.

여기에서는, 우선, 스텝 S961 내지 S967의 처리가 각 화소를 대상으로 하여 반복된다(루프 L707). 이 루프 L707에 있어서, 처리 대상 화상의 RGB값이 취득된다(스텝 S961). 또한, 대응 화소의 게인 FS_R(p), FS_B(p) 및 신뢰도 FT(p)가 취득된다(스텝 S962). 그리고 휘도 산출부(521)에 있어서, 휘도값 L(p)가 산출된다(스텝 S963). 이 휘도값 L(p)는, 비선형 변환부(522)에 있어서 비선형 변환되어, 비선형 변환 휘도값 L^{( nl )}(p)가 출력된다(스텝 S964).

그리고 블록 적분값 산출을 위한 처리가 행해진다(스텝 S965). 구체적으로는, 승산부(511 및 512)에 있어서, 게인 FS_R(p) 및 FS_B(p)와 신뢰도 FT(p)의 승산이 행해진다. 또한, 블록 적분값 산출부(531 및 532)에 있어서, 당해 화소 위치에 있어서의 R, B 채널에 대한 게인의 블록 적분값이 갱신된다(스텝 S966). 또한, 블록 히스토그램 산출부(533)에 있어서, 당해 화소 위치에 있어서의 블록 히스토그램에 상당하는 신뢰도 자신의 블록 적분값이 갱신된다(스텝 S966). 그리고 당해 화소의 휘도값이 (도시하지 않음)메모리에 저장된다(스텝 S967).

루프 L707의 스텝 S961 내지 S967의 처리가 종료되면, 다음 화소 위치에 대한 처리가 반복된다. 모든 화소 위치에 대한 처리가 종료되면, 루프 L707을 빼고, 1프레임분의 블록 적분값 및 블록 히스토그램이 각각 블록 적분값 유지부(541, 542) 및 블록 히스토그램 유지부(543)에 저장된다(스텝 S968). 또한, 본 발명의 제3 실시 형태에 있어서는, 스텝 S962 내지 S967의 처리를 도 24에 있어서의 스텝 S947 직후에 삽입함으로써, 도 24에 있어서의 루프 L705와 도 30에 있어서의 루프 L707을 공통의 루프 처리로서 구성할 수 있다. 이미 스텝 S941에서 각 화소의 값을 읽어들이고 있기 때문에 스텝 S961은 생략할 수 있다. 또한, 신뢰도에 관해서도, 스텝 S947에 있어서 선택된 값을 직접 사용함으로써, 스텝 S948 및 S962에 있어서의 신뢰도의 저장이나, 판독 처리를 생략할 수 있다.

이어서, 이하의 처리가 각 화소를 대상으로 하여 반복된다(루프 L708). 이 루프 L708에 있어서, 당해 화소 주위의 휘도값을 메모리(도시하지 않음)로부터 판독한다. 또한, 당해 화소 주위의 신뢰도 자신에 대한 블록 적분값이 블록 히스토그램 유지부(543)로부터 판독된다(스텝 S971). 그리고 이하의 처리가 각 채널(R 및 B 채널)을 대상으로 하여 반복된다(루프 L709).

루프 L709에 있어서, 당해 채널에 대한 가중치 부여 게인의 블록 적분값이 블록 적분값 유지부(541 또는 542)로부터 판독된다(스텝 S972). 그리고 위상 보상 처리부(551 또는 552)에 있어서, 모자이크 화상 상의 당해 채널의 화소 위치에 따른 휘도값이 산출된다(스텝 S973). 또한, 가중 곱의 합부(561 또는 562)에 있어서, 당해 화소 채널에 대한 게인이 블록 적분값의 가중 곱의 합 연산에 의해 산출된다(스텝 S974). 그리고 게인 적용부(571 또는 572)에 있어서, 가중 곱의 합에 의해 구해진 게인이 당해 채널에 적용된다(스텝 S975). 이와 같이 하여 게인 적용된 화소값은 채널마다 조명 성분 변환을 마친 모자이크 화상 유지부(290)의 당해 화소 위치에 저장된다(스텝 S976). 또한, 여기서 말하는 스텝 S976의 처리는 도 12에 있어서의 스텝 S919 및 도 24에 있어서의 스텝 S950을 의미하며, 어느 하나로 처리 결과를 저장함으로써 다른 처리를 생략할 수 있다.

루프 L709에 있어서 스텝 S972 내지 S976의 처리가 종료되면, 다음 채널에 대하여 마찬가지의 처리가 반복된다. 모든 채널에 대한 처리가 종료되면, 루프 L709를 빼고, 다음 화소에 대하여 마찬가지의 처리가 반복된다. 모든 화소 위치에 대한 처리가 종료되면, 루프 L708을 빼고, 1프레임분의 평활화 처리가 종료된다.

도 32는, 본 발명의 제3 실시 형태에 있어서의 블록 적분값 산출부(531, 532) 및 블록 히스토그램 산출부(533)의 동작예를 도시하는 도면이다.

여기에서는, 스텝 S981 내지 S983의 처리가 각 화소를 대상으로 하여 행해진다. 우선, 당해 화소 위치의 휘도값 및 가중치 부여 특징량이 비선형 변환부(522), 승산부(511 및 512)로부터 취득된다(스텝 S981). 그리고 블록 선택부(534)에 의해 n개의 블록 중에서 당해 화소 위치가 포함되는 블록이 어느 것인지가 판별된다(스텝 S982). 그리고 해당하는 적분기(535-1 내지 n)에 있어서, 당해 화소의 가중치 부여 특징량이 가산된다(스텝 S983).

도 33은, 본 발명의 제3 실시 형태에 있어서의 가중 곱의 합부(561 및 562)의 동작예를 도시하는 도면이다.

우선, 당해 화소 위치의 휘도가 취득된다(스텝 S991). 그리고 보간부(563)에 있어서, 휘도가 동등한 공간 방향의 주위 4×4의 블록 적분값 정보로부터 당해 화소 위치의 가중치 부여 게인 적분값이 보간에 의해 휘도 방향의 분할마다 산출된다(스텝 S992). 또한, 보간부(564)에 있어서, 휘도가 동등한 공간 방향의 주위 4×4의 블록 히스토그램에 상당하는 당해 화소 위치의 신뢰도 자신의 적분값이 보간에 의해 휘도 방향의 분할마다 산출된다(스텝 S993).

이어서, 곱의 합부(566)에 있어서, 당해 화소 위치에 보간된 가중치 부여 게인 적분값에 휘도 가중치를 곱의 합한 결과가 산출된다(스텝 S994). 또한, 곱의 합부(567)에 있어서, 당해 화소 위치에 보간된 신뢰도 자신의 적분값(블록 히스토그램)에 휘도 가중치를 곱의 합한 결과가 산출된다(스텝 S995).

이어서, 제산부(569)에 있어서, 곱의 합부(566)에 의해 곱의 합된 가중치 부여 게인 적분값이 곱의 합부(567)에 의해 곱의 합된 신뢰도 자신의 적분값에 의해 제산된다(스텝 S996). 그리고 제산부(569)의 산출 결과는, 당해 화소 위치의 글로벌 게인값으로서 출력되고(스텝 S997), 1화소에 대한 가중 곱의 합 처리가 종료된다.

이와 같이, 본 발명의 제3 실시 형태에 의하면, 블록 영역마다 가까운 값을 갖는 화소의 가중치 부여 게인 및 신뢰도 자신을 블록마다 적분한 블록 적분값을 이용함으로써, 에지 보존형 평활화의 연산량을 감소시킬 수 있다. 또한, 본 발명의 실시 형태에서는, 가중 곱의 합의 순서로서 공간 평활화 다음에 휘도 방향의 평활화를 행하는 순서로 행했지만, 휘도 방향 평활화 다음에 공간 평활화의 순서로 해도 상관없다. 또한, 수학식 26 내지 수학식 28로 표현한 바와 같이, 미리 휘도 방향의 평활화를 마친 가중치 부여 게인을 블록 적분값으로서 유지해 둠으로써 화소마다의 연산을 저감시킬 수도 있다.

또한, 상술한 실시 형태에서는 G 채널의 게인을 「1」로 고정했을 때의 R, B 채널의 게인을 구하고 있지만, 휘도를 고정했을 때 등의 게인에서는 G 채널에 대해서도 게인을 적용할 필요가 있다. 그때에는, G 채널에 대해서도 본 실시 형태의 방법이 유효하게 기능한다.

<4. 제4 실시 형태>

본 발명의 범주에서, 조명 성분 변환 처리는, 다른 형태로서, 입력 화상에 대하여 해상도 변환한 후 비교하는 처리를 구비할 수 있다. 조명 성분 변환 처리에 있어서의 중간 데이터는 화상 전체의 글로벌적인 조명 분포나 구조 등을 추출한 것이기 때문에, 사전에 축소된 화상으로부터 중간 데이터를 산출해도 그들 정보가 손상되지 않고, 연산량을 저감시킬 수 있다. 또한, 축소한 후에 비교함으로써, 움직임 피사체의 영향을 억제할 수 있다. 또한, 해상도 변환 처리부 도입에 의해, LCD를 향하여 출력하고 있는 모니터 화상 등이 사용 가능하게 된다. 그 결과, 기준 모자이크 화상으로서 모니터 화상을 사용했을 때에는 플래시 발광, 비발광의 연사 촬영하지 않고 색 재현성이 높은 화상을 생성할 수 있음과 함께, 메모리의 절약에도 기여한다. 입력 화상을 축소하는 방법으로서는, 축소 화상의 각 화소 위치에 대응하는 처리 대상 화상의 모자이크 화상 상의 영역에 속하는 화소의 단순 평균과 같이, 비교적 간단한 방법이면 된다.

또한, 이 제4 실시 형태에 있어서는, 전제가 되는 촬상 장치 및 화상 처리 회로(23)의 구성에 대해서는 제3 실시 형태와 마찬가지이기 때문에, 설명을 생략한다.

[조명 성분 변환 처리부(120)의 구성예]

도 34는, 본 발명의 제4 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 구성예를 도시하는 도면이다. 이 조명 성분 변환 처리부(120)는, 제3 실시 형태와 마찬가지로, 디모자이크 처리부(221 및 222)와, 화이트 밸런스 산출부(230)와, 기준 화상 화이트 밸런스 유지부(240)와, 채널 게인 산출부(250)와, 채널 게인 적용부(260)를 구비한다. 이 예에 있어서, 채널 게인 산출부(250)는, 도 15의 채널 게인 산출부(250)와는 입출력이 상이하여, 해상도 변환 후의 값이 되지만, 그 이외는 마찬가지의 조작이 행해진다. 이 조명 성분 변환 처리부(120)는, 해상도 변환부(271 및 272)를 더 구비한다.

해상도 변환부(271 및 272)는, 입력 화상 크기의 변경을 행하는 것이다. 해상도 변환의 큰 목적은, 화상을 축소함으로써, 움직임 피사체 등에 의한 조명 환경의 변화 이외의 차분의 영향을 억제하는 것이다. 다른 목적으로서는, 입력 화상의 크기를 기준 화상과 처리 대상 화상 사이에서 합치시키는 것을 들 수 있다. LCD에 출력되는 모니터 화상은, 통상 처리에 의해 촬상된 화상보다 해상도가 작은 것이 일반적이다. 그로 인해, 2매의 화상 크기가 상이하여, 상술한 게인 산출을 그대로 사용할 수 없다. 이 문제를 해결하기 위해서는, 기준 화상과 처리 대상 화상의 크기를 맞추기 위한 해상도 변환을 한 후 비교하는 방법이 유효하다. 그때, 해상도 변환부(271 및 272)로 행해지는 처리가 확대 축소 중 어느 것이 될지는, 기준 화상 및 처리 대상 화상의 화상 크기의 대소 관계에 의해 결정된다. 해상도 변환부(271 및 272)로 행해지는 처리가 확대 처리 시에는 에지 보존형 평활화 필터 처리에 의한 확대 처리가 유효하다. 통상의 평활화 처리에서는 물체의 경계에 있어서 조명 환경이 크게 상이한 경우에도 평활화 처리가 진행되기 때문에, 경계에서 색의 번짐이 발생되어 버린다. 해상도 변환부(271 및 272)로 행해지는 처리가 축소 처리 시에는, 축소 화상의 각 화소 위치에 대응하는 원화상 상의 블록 영역에 속하는 화소의 단순 평균, 중앙값, 씨닝 처리(thinning)와 같이 비교적 간단한 방법이면 된다. 또한, 해상도 변환부(271 및 272)에 있어서의 해상도 변환 처리는, 디모자이크 처리부(221 및 222)로 행해지는 디모자이크 처리와 동시에 행함으로써 연산량을 삭감할 수 있다. 또한, 해상도 변환부(271 및 272)에 있어서의 해상도 변환 처리와, 디모자이크 처리부(221 및 222)로 행해지는 디모자이크 처리의 순서를 교체해도 좋고, 그 경우에도 연산량을 삭감할 수 있다.

[채널 게인 적용부(260)의 구성예]

도 35는, 본 발명의 제4 실시 형태에 있어서의 채널 게인 적용부(260)의 구성예를 도시하는 도면이다. 이 채널 게인 적용부(260)는, 도 16에 있어서 설명한 제2 실시 형태에 있어서의 것과 마찬가지의 구성을 구비한다. 단, 신뢰도 생성 시에는 축소 화상이 사용되고, 각각 축소된 기준 화상 BR_c(q), BG_c(q), BB_c(q) 및 축소된 처리 대상 화상 BR_s(q), BG_s(q), BB_s(q)가 입력된다. 또한, 평활화 처리부(480)에 있어서는, 처리 대상 화상 R_s(p), G_s(p), B_s(p) 외에, 축소된 처리 대상 화상 BR_s(q), BG_s(q), BB_s(q), 축소 화상에 기초하는 신뢰도 BFT(q), 축소 화상의 게인 BFS_R(q), BFS_B(q)가 입력된다. 여기서, p 및 q는 각 화소를 나타낸다.

[평활화 처리부(480)의 구성예]

도 36은, 본 발명의 제4 실시 형태에 있어서의 평활화 처리부(480)의 구성예를 도시하는 도면이다. 이 평활화 처리부(480)는, 도 26에 의해 설명한 제3 실시 형태의 것과 마찬가지의 구성을 구비하고 있다. 단, 블록 적분값의 산출을 위하여 사용되는 화상은 축소 화상으로 되어 있다. 즉, 승산부(511 및 512)에 입력되는 것은, 축소 화상의 게인 BFS_R(q), BFS_B(q) 및 축소 화상에 기초하는 신뢰도 BFT(q)이다. 또한, 휘도 산출부(523)에 입력되는 것은, 축소된 처리 대상 화상 BR_s(q), BG_s(q), BB_s(q)이다.

한편, 가중 곱의 합되는 처리 대상 화상의 크기는 그대로이다. 즉, 휘도 산출부(521)에 입력되는 것은 처리 대상 화상 R_s(p), G_s(p), B_s(p)이다. 또한, 게인 적용부(571 및 572)에 입력되는 것은 각각 처리 대상 화상 R_s(p), B_s(p)이다.

[동작예]

도 37은, 본 발명의 제4 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 동작예를 도시하는 도면이다. 이 동작예는, 도 12에 의해 설명한 제1 실시 형태에 있어서의 것과 기본적으로는 마찬가지이다. 단, 해상도 변환부(271 및 272)에 있어서, 기준 화상 및 처리 대상 화상의 축소 처리가 행해진다(스텝 S821 및 S822). 또한, 채널 게인 적용부(260)에 있어서, 처리 대상 화상에 맞추어 게인이 확대되어, 각 채널에 적용된다(스텝 S818). 이때, 당해 화소가, 흑색 뭉개짐, 백색 날림이 있는지, 움직임 피사체인지의 여부의 판정으로부터 신뢰도가 설정되고, 에지 보존형의 평활화 필터에 의해 각 채널의 원래의 화소 위치를 고려하여 공간 평활화한 게인이 적용된다.

도 38은, 본 발명의 제4 실시 형태에 있어서의 채널 게인 적용부(260)의 동작예를 도시하는 도면이다. 이 동작예는, 도 24에 의해 설명한 제2 실시 형태에 있어서의 것과 기본적으로는 마찬가지이다. 단, 축소 화상에 기초하여 신뢰도의 산출을 행하는 점이 상이하다. 그로 인해, 루프 L705에 상당하는 루프 L714의 처리가 축소 화소마다의 처리가 된다. 또한, 루프 L702와 루프 L705를 공통의 루프로 할 수 있었던 바와 같이, 축소 화상에 대한 채널 게인 산출부(250)로 행하는 루프 L702에 상당하는 처리와 루프 L714의 처리는 함께 큰 루프 처리로 할 수 있다. 또한, 블록 적분값의 산출을 위하여 사용되는 화상도 축소 화상으로 되어 있다(스텝 S841). 즉, 승산부(511 및 512)에 입력되는 것은, 축소 화상의 게인 BFS_R(q), BFS_B(q) 및 축소 화상에 기초하는 신뢰도 BFT(q)이다. 또한, 휘도 산출부(523)에 입력되는 것은, 축소된 처리 대상 화상 BR_s(q), BG_s(q), BB_s(q)이다. 또한, 여기서 말하는 스텝 S850의 처리는 도 37에 있어서의 스텝 S819를 의미하며, 어느 하나로 처리 결과를 저장함으로써 다른 처리를 생략할 수 있다.

이 평활화에서는 각 화소에 있어서의 당해 채널의 처리 대상 화상의 모자이크 화상 상에서의 화소 위치에 따른 평활화가 바람직하고, 그 결과, 처리 대상 화상의 모자이크 화상의 크기에 맞추어 확대하면서 적용하는 처리로 된다. 이때, 에지 보존형 평활화 처리와 확대 처리는 별도로 행할 수 있지만, 연산량 삭감 등의 관점에서 동시에 행하는 것이 바람직하다.

도 39 및 도 40은, 본 발명의 제4 실시 형태에 있어서의 평활화 처리부(480)의 동작예를 도시하는 도면이다. 이 동작예는, 도 30 및 도 31에 의해 설명한 제3 실시 형태에 있어서의 것과 기본적으로는 마찬가지이다. 단, 블록 적분값의 산출을 위하여 사용되는 화상은 축소 화상으로 되어 있다. 즉, 승산부(511 및 512)에 입력되는 것은, 축소 화상의 게인 BFS_R(q), BFS_B(q) 및 축소 화상에 기초하는 신뢰도 BFT(q)이다. 또한, 휘도 산출부(523)에 입력되는 것은, 축소된 처리 대상 화상BR_s(q), BG_s(q), BB_s(q)이다. 또한, 가중 곱의 합되는 처리 대상 화상의 크기는 그대로이다. 그로 인해, 휘도 산출부(521)에 있어서, 처리 대상 화상 R_s(p), G_s(p), B_s(p)로부터 휘도가 산출되고(스텝 S872), 비선형 변환부(522)에 있어서 비선형 변환이 행해진다(스텝 S873). 이 비선형 변환된 휘도에 대하여, 위상 보상 처리가 행해진다(스텝 S875). 또한, 가중 곱의 합부(561 및 562)에 있어서 당해 화소 채널에 대한 게인을 블록 적분값의 가중 곱의 합 연산에 의해 산출할 때(스텝 S876), 블록 적분값과 당해 화소의 거리를 축소 전의 처리 대상 화상의 모자이크 화상의 해상도로 고려하는 것이 중요하다. 또한, 여기서 말하는 스텝 S878의 처리는 도 37에 있어서의 스텝 S819, 도 38에 있어서의 스텝 S850을 의미하며, 어느 하나로 처리 결과를 저장함으로써 다른 처리를 생략할 수 있다. 또한, 본 발명의 제4 실시 형태에 있어서는, 스텝 S862 내지 S866의 처리를 도 38에 있어서의 스텝 S847 직후에 삽입함으로써, 도 38에 있어서의 루프 L714와 도 39에 있어서의 루프 L715를 공통의 루프 처리로서 구성할 수 있다. 이미 스텝 S841에서 각 화소의 값을 읽어들이고 있기 때문에, 스텝 S861을 생략할 수 있다. 또한, 신뢰도에 관해서도, 스텝 S847에서 선택된 값을 직접 사용함으로써 스텝 S848 및 S862에 있어서의 신뢰도의 저장이나 판독 처리를 생략할 수 있다.

이와 같이, 본 발명의 제4 실시 형태에 의하면, 축소 화상을 사용함으로써 전체적인 연산량을 감소시킴과 함께, 움직임 피사체에 의한 영향을 억제할 수 있다.

<5. 제5 실시 형태>

또한, 조명 성분 변환 처리의 다른 형태로서, 이하에 설명하는 바와 같은 다른 형태를 취하는 것도 가능하다. 여기까지 설명한 조명 성분 변환 처리에서는, 디지털 카메라에 의해 촬상된 단독의 화상을 기준 화상 및 처리 대상 화상으로 해 왔다. 이하에 설명하는 것은, 프레임 메모리를 구비하고, 복수의 화상으로 합성 입력 화상을 생성함으로써, 플래시 발광 또는 비발광 이외의 신에도 대응하는 실시 형태이다.

또한, 이 제5 실시 형태에 있어서는, 전제가 되는 촬상 장치 및 화상 처리 회로(23)의 구성에 대해서는 제4 실시 형태와 마찬가지이기 때문에, 설명을 생략한다.

[조명 성분 변환 처리부(120)의 구성예]

도 41은, 본 발명의 제5 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 구성예를 도시하는 도면이다. 이 조명 성분 변환 처리부(120)는, 제4 실시 형태와 마찬가지로, 디모자이크 처리부(221 및 222)와, 화이트 밸런스 산출부(230)와, 기준 화상 화이트 밸런스 유지부(240)와, 채널 게인 산출부(250)와, 채널 게인 적용부(260)를 구비한다. 이 조명 성분 변환 처리부(120)는, 프레임 가산부(280)를 더 구비한다. 이 프레임 가산부(280)는, 복수의 화상으로부터 합성 입력 화상을 생성하는 것이다.

[프레임 가산부(280)의 구성예]

도 42는, 본 발명의 제5 실시 형태에 있어서의 프레임 가산부(280)의 구성예를 도시하는 도면이다. 이 프레임 가산부(280)는, 가산부(281 및 282)와, 기준 모자이크 화상 유지부(283)와, 처리 대상 모자이크 화상 유지부(284)와, 제어 파라미터 결정부(285)를 구비한다.

기준 모자이크 화상 유지부(283) 및 처리 대상 모자이크 화상 유지부(284)는, 과거에 촬상된 화상 및 그들의 가산 결과를 유지하는 것이다. 이들 기준 모자이크 화상 유지부(283) 및 처리 대상 모자이크 화상 유지부(284)에는 시간 방향으로 적분된 화상이 유지되어 간다. 또한, 이들 기준 모자이크 화상 유지부(283) 및 처리 대상 모자이크 화상 유지부(284)에는 보다 넓은 강도 범위에서 정확한 색 밸런스를 유지하기 때문에, 각 채널 16비트 등의 정밀도에 의한 고다이내믹 레인지(HDR) 화상을 유지하는 것이 바람직하다.

가산부(281)는, 신규 기준 모자이크 화상 유지부(213)로부터의 화상과 기준 모자이크 화상 유지부(283)에 유지된 화상을 가산하는 것이다. 가산부(282)는, 신규 처리 대상 모자이크 화상 유지부(214)로부터의 화상과 처리 대상 모자이크 화상 유지부(284)에 유지된 화상을 가산하는 것이다.

제어 파라미터 결정부(285)는, 프레임 메모리 내의 화상 및 신규 촬상 화상에 의해 신규 촬상을 행할지의 여부, 및 촬상 시의 제어 파라미터를 결정하는 것이다. 이 제어 파라미터로서는, 손 떨림이나 피사체 떨림이 발생하지 않도록 충분히 고속의 셔터 속도가 채용되는 것이 바람직하다. 또한, 이 제어 파라미터 결정부(285)는, 처리 대상 화상을 촬상할 때의 노출 설정 파라미터나 처리 대상 화상의 값으로부터, 전체 화소 위치에 대하여, 포화나 흑색 뭉개짐이 없는 적절한 RGB 색 밸런스를 취득할 수 있도록 노출을 변화시키면서 연사를 행하도록 제어한다.

또한, 이 제어 파라미터 결정부(285)는, 기준 모자이크 화상 유지부(283) 및 처리 대상 모자이크 화상 유지부(284)에 유지된 화상으로부터 플리커를 검출하여, 그 영향이 없어질 때까지 촬상을 반복하는 제어를 행한다.

또한 다른 제어 방법으로서, 제어 파라미터 결정부(285)에 있어서, 기준 모자이크 화상 유지부(283) 및 처리 대상 모자이크 화상 유지부(284)에 유지된 화상으로부터, 흑색 뭉개짐 또는 포화를 검출해도 좋다. 그리고 그 영향이 없어질 때까지 노출을 변화시키면서 촬상을 반복함으로써, 광다이내믹 레인지 화상을 생성할 수 있다.

또한, 가산부(281 및 282)에서는, 블록 매칭 등에 의해 정확한 위치 정렬을 행한 후 가산하는 것이 바람직하지만, 제4 실시 형태의 해상도 변환 처리와 조합하는 것도 가능하다. 이에 의해, 기준 모자이크 화상 유지부(283)에 유지된 화상과 신규 화상 사이의 위치 정렬을 하지 않고, 단순한 가중치 부여 가산 평균으로도 충분한 성과를 올릴 수 있게 된다.

[동작예]

도 43 및 도 44는, 본 발명의 제5 실시 형태에 있어서의 조명 성분 변환 처리부(120)의 동작예를 도시하는 도면이다. 이 조명 성분 변환 처리부(120)의 후반은 도 12에 의해 설명한 제1 실시 형태와 마찬가지이지만, 전반에 있어서 기준 모자이크 화상 유지부(283) 및 처리 대상 모자이크 화상 유지부(284)에 대한 프레임 가산을 행하는 점이 상이하다. 또한, 기준 모자이크 화상 유지부(283) 및 처리 대상 모자이크 화상 유지부(284)를, 이하에서는 프레임 메모리라고 칭한다.

우선, 제어 파라미터 결정부(285)에 있어서, 촬상에 관한 제어 파라미터가 결정되어, 이 제어 파라미터에 따라 최초의 화상이 촬상된다(스텝 S881). 이때에 촬상되는 화상은, 기준 화상 및 처리 대상 화상 또는 그 중 한쪽이어도 상관없다.

이어서, 각 화소에 대하여 스텝 S882 내지 S885의 처리가 반복된다(루프 L718). 루프 L718에 있어서, 신규에 촬상된 화상의 당해 화소값이 취득된다(스텝 S882). 또한, 프레임 메모리로부터 기존의 대응하는 화소값이 취득된다(스텝 S883). 그리고 가산부(281 및 282)에 있어서, 신규 화소값과 프레임 메모리 내의 화상이 가중 가산된다(스텝 S884). 이 가산 결과는, 신규 프레임 메모리 화상으로서 프레임 메모리에 재기입된다(스텝 S885).

스텝 S882 내지 S885의 처리가 종료되면, 다음 화소에 대한 처리가 반복된다. 모든 화소에 대한 처리가 종료되면, 루프 L718을 빼고, 다음 스텝의 처리로 이행된다. 그때, 제어 파라미터 결정부(285)에 있어서, 프레임 메모리 내의 화상 및 신규 촬상 화상에 의해 신규 촬상을 행할지의 여부, 및 촬상 시의 제어 파라미터가 결정된다(스텝 S886). 제어 파라미터 결정부(285)에 있어서, 추가의 촬상이 필요하다고 판단되었을 때에는 스텝 S881로 복귀되어 신규 촬상이 행해진다. 프레임 메모리 내의 화상이 유효한 경우에는 다음 스텝으로 이행된다. 이후의 처리는, 도 12에 의해 설명한 제1 실시 형태와 마찬가지이다.

이와 같이, 본 발명의 제5 실시 형태에 의하면, 프레임 메모리를 구비하고, 복수의 화상으로 합성 입력 화상을 생성함으로써, 플래시 발광 또는 비발광 이외의 신에도 대응할 수 있다. 예를 들어, 형광등이나 수은등 조명 하에서 CMOS 센서를 사용하여 단시간 노광으로 촬상된 화상에서는, 플리커의 영향에 의해, 부분적으로 조명 조건이 상이한 영역이 나와 버리지만, 그러한 화상에 대해서도 대응할 수 있다.

또한, 이 제5 실시 형태는, 제4 실시 형태와 조합하여 이용하는 것이 유효하다.

<6. 제6 실시 형태>

[화상 처리 회로(23)의 처리 기능예]

도 45는, 본 발명의 제6 실시 형태에 있어서의 화상 처리 회로(23)의 처리 기능의 일례를 도시하는 도면이다. 이 화상 처리 회로(23)는, 도 2에 의해 설명한 제1 실시 형태의 것과 비하여, 화이트 밸런스 처리를 조명 성분 변환 처리부(120)의 전단에서 행하는 점에서 상이하다. 즉, 화이트 밸런스 처리부(131 및 132)에 있어서 추정된 화이트 밸런스값을 산출하여, 각각 기준 화상 화이트 밸런스 유지부(181) 및 처리 대상 화상 화이트 밸런스 유지부(182)에 저장된다. 그리고 이 저장된 화이트 밸런스값은 조명 성분 변환 처리부(120)에 공급된다.

본 제6 실시 형태에서는, 색 변환 게인 산출부(311 및 312)에 있어서의 처리는, 다음 수학식과 같이 된다.

이에 의해, 조명 성분 변환 처리부(120)의 게인과 화이트 밸런스 처리부(131 및 132)의 게인을 동시에 취급하는 것이 가능하게 된다. 이 경우, 제1 실시 형태에 대하여 게인 S가 WB_c 배로 되어 있기 때문에, 게인 상한값 R 유지부(323) 또는 게인 상한값 B 유지부(324), 게인 하한값 R 유지부(333) 또는 게인 하한값 B 유지부(334)에 관해서도 WB_c 배로 한 값을 설정하게 된다. 그 결과, 상한값, 하한값은 다음 수학식으로 표현되는 값으로 하면 유효하다.

또한, 흑색 뭉개짐 보상값 R 유지부(343) 및 흑색 뭉개짐 보상값 B 유지부(344), 포화 보상값 R 유지부(353) 및 포화 보상값 B 유지부(354)에 대해서도 마찬가지이며, 흑색 뭉개짐 보상값은 WB_s, 포화 보상값은 WB_c로 설정하면 된다. 또한, 이들 상한값, 하한값, 보상값의 계산에는 기준 화상 화이트 밸런스 유지부(181) 및 처리 대상 화상 화이트 밸런스 유지부(182)에 저장된 값이 사용된다.

또한, 이때, 화이트 밸런스 산출부(230)에 의한 처리는 불필요해진다. 이외의 디모자이크 처리부(221 및 222)나 채널 게인 적용부(260)에 있어서의 처리는, 제1 실시 형태와 마찬가지이다.

<7. 제7 실시 형태>

[화상 처리 회로(23)의 처리 기능예]

도 46은, 본 발명의 제7 실시 형태에 있어서의 화상 처리 회로(23)의 처리 기능의 일례를 도시하는 도면이다. 이 화상 처리 회로(23)에서는, 게인 산출뿐만 아니라 실제로 화이트 밸런스 처리까지 행한 모자이크 화상을 조명 성분 변환 처리부의 입력으로 하고 있다. 여기에서는, 화이트 밸런스 처리부(131 및 132)가 화이트 밸런스를 산출하여, 각각 기준 화상 화이트 밸런스 유지부(181) 및 처리 대상 화상 화이트 밸런스 유지부(182)에 저장함과 함께 화이트 밸런스 처리 완료된 화상을 조명 성분 변환 처리부(120)에 대한 입력으로 하고 있다.

본 발명의 제1 실시 형태의 입력 I에 대하여, 이 제7 실시 형태에 있어서의 화이트 밸런스 처리가 된 입력은, 다음 수학식과 같이 된다.

이에 의해, 채널 게인 산출부(250) 내의 색 변환 게인 산출부(311 및 312)에 있어서 산출되는 비율 및 게인은 각각 이하와 같이 표현된다.

여기서, 비율 Ko는 WB_s/WB_c 배로 되어 있고, 게인 S는 WB_c/WB_s 배로 되어 있다. 이것을 고려하면, 게인 상한값 R 유지부(323) 또는 게인 상한값 B 유지부(324), 게인 하한값 R 유지부(333) 또는 게인 하한값 B 유지부(334)에 관해서도 제1 실시 형태에 대하여 WB_c/WB_s 배로 한 값을 설정하게 된다. 그 결과, 상한값 및 하한값은 이하와 같이 설정하는 것이 유효하다.

또한, 흑색 뭉개짐 보상값 R 유지부(343) 및 흑색 뭉개짐 보상값 B 유지부(344), 포화 보상값 R 유지부(353) 및 포화 보상값 B 유지부(354)에 대해서도 마찬가지이며, 흑색 뭉개짐 보상값은 「1」, 포화 보상값은 WB_c/WB_s로 설정하면 된다. 또한, 이들 상한값, 하한값, 보상값의 계산에는, 기준 화상 화이트 밸런스 유지부(181) 및 처리 대상 화상 화이트 밸런스 유지부(182)에 저장된 값이 사용된다.

또한, 이들 상한값, 하한값, 보상값을 구하는 다른 형태로서 이하의 방법을 고려할 수 있다. 즉, WB_c/WB_s의 값을 기준 화상 화이트 밸런스 유지부(181) 및 처리 대상 화상 화이트 밸런스 유지부(182)에 저장된 값을 사용하지 않고, 화이트 밸런스 처리가 이루어진 기준 화상, 처리 대상 화상으로부터 직접 구해도 좋다. 화이트 밸런스 처리가 이루어진 화상에 있어서 노출 보상 처리가 된 2매의 화상의 비율 K의 식은, 수학식 37에 대하여 노출 보상 처리를 행하여 수학식 41과 같이 쓸 수 있다. 여기서, 플래시 광이 닿지 않는 배경 영역에서는 비율 K(p)는 1인 점에서, 그러한 영역에서는 수학식 41의 각 채널의 값으로서 화이트 밸런스의 비율을 구할 수 있다. 따라서, KG에 대하여 임계값을 설정하고, KG가 1에 가까운 영역의 K의 각 채널의 값의 평균 또는 중앙값의 역수로서 WB_c/WB_s를 구할 수 있다.

또한, 이때, 화이트 밸런스 산출부(230)에 의한 처리는 불필요해진다. 디모자이크 처리부(221 및 222)에 있어서의 처리는 제1 실시 형태와 마찬가지이다. 또한, 채널 게인 적용부(260)에 있어서의 처리는, 제1 실시 형태에 대하여 비율 Ko가 WB_s/WB_c 배로 되어 있는 것에 고려한 처리로 된다.

<8. 제8 실시 형태>

본 발명의 제8 실시 형태에서는, RAW 데이터에 대하여 어떠한 변환 처리가 가해진 2매의 화상을 상정한다. 예를 들어, 도 2의 촬상 장치의 화상 처리 회로(23)에 있어서의 화이트 밸런스 처리부(130) 내지 YC 변환 처리부(170)에 상당하는 처리가 이루어진 2매의 화상을 상정한다. 화상 포맷으로서는, 예를 들어 JPEG(Joint Photographic Experts Group) 형식을 상정한다. 또한, 입력 화상은 화소마다 3채널 갖추어져 있으며, 각각의 화상에 대하여 이미 화이트 밸런스 처리가 이루어져 있는 것을 상정한다. 즉, 제7 실시 형태와 마찬가지로, 제8 실시 형태에서는 화이트 밸런스 처리 완료된 화상을 입력 화상으로 할 수 있다.

제8 실시 형태와 다른 실시 형태의 큰 차이는, 이미 화소마다 3채널분의 데이터가 갖추어져 있는 점이다. 이에 의해, 도 5에 있어서의 기준 화상에 대한 디모자이크 처리부(221), 처리 대상 화상에 대한 디모자이크 처리부(222)가 불필요하게 된다. 또한, 화이트 밸런스 산출부(230)의 동작도 상이하다. 화이트 밸런스 산출부(230)에 있어서는, 사전에 화이트 밸런스 처리부(130)에 의해 구한 화이트 밸런스값을 유지해 두고, 기준 화상에 대한 WB_c의 값으로서 기준 화상 화이트 밸런스 유지부에 저장하는 것으로 한다. WB_s에 관해서도, 사전에 화이트 밸런스 처리부(130)로 구한 값을 유지해 두고 사용하는 것으로 한다. 또한, WB_s 설정의 다른 형태로서는 도 1의 플래시 발광부(61)에 대한 사전 측정에 의해 구해진 화이트 밸런스값을 사용해도 좋다. 또한, 제7 실시예의 수학식 41과 같이 노출 보상 후의 2매의 화상의 비율로서 기준 화상과 처리 대상 화상의 화이트 밸런스의 비율을 구해도 좋다. 또한, 다른 차이로서는, 입력 화상에 대하여 이미 도 2의 감마 보정 처리부(160)에 상당하는 비선형 처리가 가해지고 있어, 신호의 강도비 K를 정확하게 구할 수 없는 점이다. 그로 인해, 제8 실시 형태에서는, 역감마 보정 처리를 한 후에 조명 성분 변환 처리의 입력으로 하거나, 감마 보정 처리를 전제로 한 처리의 변경이 요망된다. 역감마 보정 처리 후의 화상을 입력으로 한 화상 처리 회로(23)의 구성을 설명하는 블록 다이어그램이 도 47이다.

[화상 처리 회로(23)의 처리 기능예]

도 47은, 본 발명의 제8 실시 형태에 있어서의 화상 처리 회로(23)의 처리 기능의 일례를 도시하는 도면이다. 이 화상 처리 회로(23)는, 역감마 보정 처리부(133 및 134)와, 조명 성분 변환 처리부(120)와, 감마 보정 처리부(160)와, YC 변환 처리부(170)와, 기준 화상 화이트 밸런스 유지부(183)와, 처리 대상 화상 화이트 밸런스 유지부(184)를 구비한다.

이 화상 처리 회로(23)의 입력 화상은, 이미 JPEG 형식으로부터 디코드되어, 화소마다 RGB의 3채널을 갖춘 화상이다. 역감마 보정 처리는, JPEG 형식의 화상을 작성했을 때의 감마 보정 처리의 역변환이 바람직하지만, 정확한 역변환을 알 수 없는 경우에는, 간이적인 역감마 보정 처리이어도 상관없다. 감마 보정 처리의 간이 처리는, 다음 수학식과 같이 된다.

따라서, 상기 수학식의 역변환식인 다음 수학식에 의해 표현되는 보정 처리를 행하면 되는 것을 알았다.

여기서, I_{white _ level}은 입력 신호를 0.0 내지 1.0의 값으로 정규화하기 위한 입력 신호 I의 상한값이다. 역감마 보정 후의 화상에 대한 처리는 본 발명의 제1 실시 형태에 준한다. 또한, 게인 산출부에 있어서의 게인 상한값, 게인 하한값, 포화 보상값, 흑색 뭉개짐 보상값의 산출식은, 제7 실시 형태의 수학식 39 및 수학식 40에 준한다. 또한, 채널 게인 적용부(260)에 있어서의 처리는, 제7 실시예와 마찬가지로, 제1 실시 형태에 대하여 비율 Ko가 WB_s/WB_c 배로 되어 있는 것에 고려한 처리로 된다.

또한, 조명 성분 변환 처리 후는 다시 감마 보정할 필요가 있지만, 이 변환은 JPEG 형식의 화상을 작성했을 때의 감마 보정 처리와는 독립적이며, 역감마 보정 처리부(133 및 134)의 역변환으로 하는 것이 바람직하다.

이어서, 도 47의 기능예에 있어서 역감마 장소 보정 처리부(133, 134) 및 감마 보정 처리부(160)를 생략한 경우의 처리에 대하여 설명한다. 일반적으로 각 채널에 대한 색 밸런스 조정 처리는, 센서 및 그 표면에 배치된 컬러 필터의 분광 특성, 조명 성분의 색 밸런스 및 강도에 대하여 선형의 특성을 갖는 RAW 데이터라고 불리는 화상으로 행하는 것이 바람직하다. 이 RAW 데이터에 대하여 변환 f를 행한 화상에 있어서 조명 성분 변환 처리하는 것을 고려한다.

상술한 바와 같이 색 밸런스의 조정을 RAW 데이터의 단계에서 행하기로 하면, 여기에서 얻고자 하는 출력은 색 변환 처리를 행한 후에 변환 f를 행한 화상이기 때문에, 이하와 같이 표현할 수 있다.

f(FS(p)?I_s(p))

여기서, 설명을 간단하게 하기 위해서, 도 6에 있어서의 상한값 클리핑부, 하한값 클리핑부, 흑색 뭉개짐 보상부, 포화 보상부를 생략하고, 게인 S(p)=게인 FS(p)로 하면, 이하와 같이 된다.

f(S(p)?I_s(p))

한편, 변환 f 후의 화상을 조명 성분 변환 처리부(120)에의 입력으로서 색 변환 게인 산출부(311 및 312)에서 얻어지는 게인을 tS(p)로 하면, 게인 적용 후의 화상은 이하와 같이 된다.

tS(p)?f(I_s(p))

여기에서 구해야 하는 것은, 상기 2개의 수학식의 결과를 일치시키는 tS(p)이다. 따라서, 다음 식이 얻어진다.

f(S(p)?I_s(p)=tS(p)?f(I_s(p))

tS(p)=(f(S(p)?I_s(p))/f(I_s(p))

여기서, 변환 f에 대하여, 승산 및 제산과 변환 f의 연산 순서가 교환 가능하다고 가정한다. 즉, 다음 식이 성립하는 것으로 한다.

f(I(p)?J(p))=f(I(p))?f(J(p))

f(1/I(p))=1/f(I(p))

이 가정을 사용하면, 변환 후의 화상에 대하여 수학식 4와 마찬가지의 처리를 행함으로써, 다음 수학식과 같이 대응하는 색 변환 게인 tFS(p)가 구해지는 것을 알았다.

즉, RAW 데이터에 대하여 상기 수학식의 성질을 갖는 변환 f를 실시한 화상에 대해서도 역변환 처리하지 않고 본 발명의 실시 형태에 의한 색 변환 게인 산출법이 유효한 것이 나타내어졌다.

감마 보정 처리는 간이적인 감마 보정 처리를 나타내는 수학식 41로 표현되는 지수 함수에 의한 변환에 근사할 수 있다. 또한, 이 변환은, 변환 f에 관한 가정을 나타내는 식을 만족한다. 따라서, 감마 처리 후의 화상은, 근사적으로 역변환하지 않고, 본 발명의 실시 형태에 있어서 설명된 조명 성분 변환 처리를 적용하는 것이 가능하다. 또한, 이때, 채널 게인 산출부(250)에서 사용되는 게인 상한값, 게인 하한값, 포화 보상값, 흑색 뭉개짐 보상값은, 역감마 보정 처리의 제7 실시 형태의 수학식 39 및 수학식 40에 의해 구해진 각각을 γ승한 값을 사용하는 것이 유효하다. 따라서, 흑색 뭉개짐 보상값은 1, 포화 보상값은 (WB_c/WB_s)^γ로 설정하면 되고, 게인 상한값 및 게인 하한값은 다음 수학식에 의해 설정하면 된다.

감마 처리된 채의 화상을 입력 화상으로 한 경우, 감마 보정된 상태에서의 화상 사이의 비율 gamKo는, 다음 수학식과 같이 된다.

따라서, 촬상 환경의 차이에 의한 노출 보정 후의 비율 K는 gamKo를 사용하여 다음 수학식과 같이 표현된다.

gamI에 관한 감마 보정 처리의 간이 처리의 수학식(수학식 41)을 I에 대하여 풀고, 각 판정식에 대입함으로써, 감마 보정 후의 화상을 입력으로 했을 때의 흑색 뭉개짐, 포화, 움직임 피사체의 판정을 행하는 것이 가능하게 된다. 또한, 감마 보정 후의 화상을 입력으로 했을 때에는 RGB값은 「위로 볼록한 비선형 변환」이 이미 적용되어 있기 때문에, 그 선형 합 등으로 표현되는 휘도 L에 대해서도 비선형 변환이 실시되게 된다. 따라서, 감마 보정 후의 화상을 입력 화상으로 한 조명 성분 변환 처리에서는, 비선형 변환부(522)(도 26)에 있어서의 처리를 생략할 수 있다. 최종적으로 조명 성분 변환 처리부(120)의 출력은, 도 2에 있어서의 감마 보정 처리부(160)의 출력 결과에 상당하는 신호로 된다.

이와 같이, 본 발명의 제8 실시 형태에 의하면, 감마 보정 처리된 화상을 기준 화상 및 처리 대상 화상으로 한 경우에도 색 재현성이 높은 화상을 생성할 수 있다.

<9. 제9 실시 형태>

상술한 제3 또는 제4 실시 형태에서는 에지 보존 평활화 시에, RGB값으로부터 고정 계수에 따라 휘도를 산출하고 나서 비선형 변환을 행하고 있지만, 본 발명의 제9 실시 형태에서는 RGB값을 비선형 변환한 후에 다중 회귀 분석을 실시함으로써 산출하는 것을 상정한다.

[평활화 처리부(480)의 처리 기능예]

도 48은, 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 처리 기능예를 도시하는 도면이다. 이 평활화 처리부(480)의 처리 기능예는, 도 26에 도시한 제3 실시 형태에 있어서의 휘도 산출부(521) 및 비선형 변환부(522) 대신에, 비선형 변환부(611, 621 내지 623) 및 휘도 산출부(630)를 구비하고 있다.

비선형 변환부(611)는, G 채널의 강도비 K_G(p)를 비선형 변환하여, 비선형 강도비 K_G ^{( nl )}(p)를 출력하는 것이다. 비선형 변환부(621 내지 623)는, 처리 대상 화상 I_s(p)의 RGB값 R_s(p), G_s(p) 및 B_s(p) 각각을 비선형 변환하여, 비선형 RGB값 R_s ^(nl)(p), G_s ^{( nl )}(p) 및 B_s ^{( nl )}(p)를 출력하는 것이다. 이들 비선형 변환부(611, 621 내지 623)는, 비선형 변환부(522)와 마찬가지로, 예를 들어 γ 커브, 1보다 작은 지수에 의한 멱승 특성이나 대수 변환 등의 「위로 볼록한 단조 증가 특성」을 적용하는 것이 유용하다. 여기서, 비선형 변환을 행하는 것은, 화소값의 분포를 변경하여 직선 모델에 대한 정밀도를 향상시키기 위해서이다. 또한, 이 비선형 변환에 의해 강도비 K_G(p)와 게인의 상관이 높아져, 양자의 관계를 알기 쉽다는 이점이 있다. 또한, 이 실시 형태에서는, 비선형 변환부(611)의 입력으로서 강도비 K_G(p)를 사용하고 있지만, 이 대신에 K_R(p), K_B(p), 1/K_R(p), 1/K_G(p), 1/K_B(p)를 사용하도록 해도 좋다. 또한, 색 변환 게인 그 자체, 즉 FS_R(p)나 FS_B(p)를 사용하도록 해도 좋다.

휘도 산출부(630)는, 비선형 변환부(611, 621 내지 623)의 출력으로부터, 비선형 변환된 휘도값 L^{( nl )}(p)를 산출하는 것이다. 제3 실시 형태에 있어서의 휘도 산출부(521)는 고정 계수로부터 RGB값의 선형 합을 연산하고 있었지만, 이 휘도 산출부(630)는 화상에 따라 구해진 계수로부터 휘도값을 산출한다. 그 일례로서, 휘도 산출부(630)는, 비선형 변환부(611, 621 내지 623)의 출력에 대하여 다중 회귀 분석을 하여, 얻어진 다중 회귀 분석 파라미터를 계수로 하여 휘도값을 산출한다. 또한, 여기에서는 비선형 변환된 값으로부터 산출하기 때문에 엄밀한 의미에서는 휘도값과 상이하지만, 제3 실시 형태와 마찬가지로 최종적으로는 비선형 변환된 휘도값 L^{( nl )}(p)를 산출하는 것을 목적으로 하고 있기 때문에, 광의의 휘도값으로서 취급한다. 이 휘도 산출부(630)는, 다중 회귀 분석부(631)와, 다중 회귀 분석 파라미터 유지부(632)와, 다중 회귀 예측값 산출부(633)를 구비한다.

다중 회귀 분석부(631)는, 비선형 변환부(611, 621 내지 623)의 출력에 대하여 다중 회귀 분석을 하는 것이다. 이 다중 회귀 분석부(631)는, 다음 수학식의 값을 최소로 하는 다중 회귀 분석 파라미터 CC_R, CC_G, CC_B, CC_Offset을 구한다. 여기서, CC_R, CC_G, CC_B는 편회귀 계수이며, CC_Offset은 절편이다.

즉, 여기에서는, R_s ^{( nl )}(p), G_s ^{( nl )}(p) 및 B_s ^{( nl )}(p)를 설명 변량으로 하고 K_G ^(nl)(p)를 목적 변량(object variate)으로 한 다중 회귀 분석이 행해진다. 또한, 이 예에서는 1화면 전체에 대하여 1조의 다중 회귀 분석 파라미터를 구하는 것을 상정하고 있지만, 화면의 일부인 소영역마다 다중 회귀 분석 파라미터를 구하도록 해도 좋다. 또한, 여기서는 RGB 모든 채널을 사용하여 다중 회귀 분석을 했지만, 특정한 채널만을 사용하여 다중 회귀 분석을 해도 좋고, CC_Offset을 0으로 고정하여 다중 회귀 분석을 행해도 된다.

다중 회귀 분석 파라미터 유지부(632)는, 다중 회귀 분석부(631)에 의해 구해진 다중 회귀 분석 파라미터 CC_R, CC_G, CC_B, CC_Offset을 유지하는 메모리이다. 이 다중 회귀 분석 파라미터 유지부(632)에 유지된 다중 회귀 분석 파라미터는, 다중 회귀 예측값 산출부(633)에 공급된다.

다중 회귀 예측값 산출부(633)는, 다중 회귀 분석 파라미터 유지부(632)에 유지된 다중 회귀 분석 파라미터에 따라, 비선형 변환된 휘도값 L^{( nl )}(p)를 다중 회귀 예측값으로서 산출하는 것이다. 이 다중 회귀 예측값 산출부(633)는, 다음 수학식에 의해 비선형 변환된 휘도값 L^{( nl )}(p)를 산출한다.

이와 같이 하여 구해진, 비선형 변환된 휘도값 L^{( nl )}(p)는, 처리 대상 화상의 화소값으로부터만 구하기 때문에 움직임 피사체의 영향을 받기 어렵다는 특성을 갖는다. 또한, 이 비선형 변환된 휘도값 L^{( nl )}(p)는, 제3 형태의 경우와 마찬가지의 성질을 갖기 때문에, 다른 구성에 관한 설명은 생략한다.

[평활화 처리부(480)의 다른 처리 기능예]

도 49는, 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 다른 처리 기능예를 도시하는 도면이다. 이 평활화 처리부(480)의 다른 처리 기능예는, 도 36에 도시한 제4 실시 형태에 있어서의 휘도 산출부(523) 및 비선형 변환부(524) 대신에, 비선형 변환부(612, 621 내지 623, 641 내지 643) 및 휘도 산출부(630)를 구비하고 있다. 상술한 바와 같이, 제4 실시 형태는, 제3 실시 형태에 있어서 입력 화상에 대하여 해상도 변환한 후 비교하는 처리를 구비한 것이며, 도 48의 예와 도 49의 예에 있어서도 마찬가지의 관계를 갖고 있다.

비선형 변환부(612)는, 축소 화상의 G 채널의 강도비 BK_G(p)를 비선형 변환하여, 비선형 강도비 BK_G ^{( nl )}(p)를 출력하는 것이다. 비선형 변환부(621 내지 623)는, 상술한 바와 같이, 처리 대상 화상 I_s(p)의 RGB값 R_s(p), G_s(p) 및 B_s(p) 각각을 비선형 변환하여, 비선형 RGB값 R_s ^{( nl )}(p), G_s ^{( nl )}(p) 및 B_s ^{( nl )}(p)를 출력하는 것이다. 비선형 변환부(641 내지 643)는, 축소 화상의 RGB값 BR_s(p), BG_s(p) 및 BB_s(p)의 각각을 비선형 변환하여, 비선형 RGB값 BR_s ^{( nl )}(p), BG_s ^{( nl )}(p) 및 BB_s ^{( nl )}(p)를 출력하는 것이다. 이들 비선형 변환부(612, 621 내지 623, 641 내지 643)는, 비선형 변환부(522)와 마찬가지로, 예를 들어 γ 커브, 1보다 작은 지수에 의한 멱승 특성이나 대수 변환 등의 「위로 볼록한 단조 증가 특성」을 적용하는 것이 유용하다.

휘도 산출부(630)는, 비선형 변환부(611, 621 내지 623, 641 내지 643)의 출력으로부터, 비선형 변환된 휘도값 L^{( nl )}(p)를 산출하는 것이다. 이 휘도 산출부(630)는, 축소 화상에 따라 구해진 계수로부터 휘도값을 산출한다. 이 휘도 산출부(630)는, 다중 회귀 분석부(634)와, 다중 회귀 분석 파라미터 유지부(635)와, 다중 회귀 예측값 산출부(633 및 636)를 구비한다.

다중 회귀 분석부(634)는, 비선형 변환부(612, 641 내지 643)의 출력에 대하여 다중 회귀 분석을 하는 것이다. 분석 대상이 축소 화상에 기초하는 것인 점을 제외하고, 도 48의 예에 의해 설명한 다중 회귀 분석부(631)와 마찬가지이다.

다중 회귀 분석 파라미터 유지부(635)는, 다중 회귀 분석부(634)에 의해 구해진 다중 회귀 분석 파라미터 CC_R, CC_G, CC_B, CC_Offset을 유지하는 메모리이다. 이 다중 회귀 분석 파라미터 유지부(635)에 유지된 다중 회귀 분석 파라미터는, 다중 회귀 예측값 산출부(633 및 636)에 공급된다.

다중 회귀 예측값 산출부(633)는, 다중 회귀 분석 파라미터 유지부(635)에 유지된 다중 회귀 분석 파라미터에 따라, 비선형 변환된 휘도값 L^{( nl )}(p)를 다중 회귀 예측값으로서 산출하는 것이다. 또한, 다중 회귀 예측값 산출부(636)는, 다중 회귀 분석 파라미터 유지부(635)에 유지된 다중 회귀 분석 파라미터에 따라, 축소 화상의 비선형 변환된 휘도값 BL^{( nl )}(p)를 다중 회귀 예측값으로서 산출하는 것이다. 다중 회귀 예측값 산출부(633 및 636)에 있어서, 다중 회귀 분석 파라미터는 동일한 것이 이용된다.

[동작예]

도 50 및 도 51은, 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 도 48의 처리 기능예에 대응하는 동작예를 도시하는 도면이다. 또한, 여기에서는, 도 30과 동일한 처리에 대해서는 동일한 참조 부호를 붙이고 있다.

여기에서는, 우선, 스텝 S751 내지 S753의 처리가 각 화소를 대상으로 하여 반복된다(루프 L719). 이 루프 L719에 있어서, 처리 대상 화상의 RGB값 및 G 채널의 강도비가 취득된다(스텝 S751). 이들 RGB값 및 강도비는, 비선형 변환부(611, 621 내지 623)에 있어서 비선형 변환된다(스텝 S752). 비선형 변환된 RGB값 및 강도비는, (도시하지 않음) 메모리에 저장된다(스텝 S753).

각 화소에 대하여 비선형 변환 처리가 행해지면, 다중 회귀 분석부(631)에 있어서, R_s ^{( nl )}(p), G_s ^{( nl )}(p) 및 B_s ^{( nl )}(p)를 설명 변량으로 하고 K_G ^{( nl )}(p)를 목적 변량으로 한 다중 회귀 분석이 행해진다(스텝 S754). 그 결과, 다중 회귀 분석에 의해 얻어진 다중 회귀 분석 파라미터가 다중 회귀 분석 파라미터 유지부(632)에 유지된다(스텝 S755).

다중 회귀 분석에 의해 다중 회귀 분석 파라미터가 얻어지면, 스텝 S756 내지 S967의 처리가 각 화소를 대상으로 하여 반복된다(루프 L720). 이 루프 L720에 있어서, 처리 대상 화상의 비선형 변환 처리 후의 RGB값이 취득된다(스텝 S756). 또한, 대응 화소의 게인 FS_R(p), FS_B(p) 및 신뢰도 FT(p)가 취득된다(스텝 S962). 또한, 다중 회귀 분석 파라미터 유지부(632)에 유지된 다중 회귀 분석 파라미터가 취득된다(스텝 S757). 그리고 다중 회귀 예측값 산출부(633)에 있어서, 비선형 변환된 휘도값 L^{( nl )}(p)로서 다중 회귀 예측값이 산출된다(스텝 S758). 이후의 처리에 대해서는, 도 31에 있어서 설명한 것과 마찬가지이기 때문에, 여기에서의 설명은 생략한다.

도 52 내지 도 54는, 본 발명의 제9 실시 형태에 있어서의 평활화 처리부(480)의 도 49의 처리 기능예에 대응하는 동작예를 도시하는 도면이다. 이 동작예는, 도 50 및 도 51에 의해 설명한 도 48의 처리 기능예에 대응하는 동작예와 기본적으로는 마찬가지이다. 단, 블록 적분값의 산출을 위하여 사용되는 화상은 축소 화상으로 되어 있다. 즉, 승산부(511 및 512)에 입력되는 것은, 축소 화상의 게인 BFS_R(q), BFS_B(q) 및 축소 화상에 기초하는 신뢰도 BFT(q)이다. 또한, 비선형 변환부(612, 641 내지 643)에 입력되는 것은, 축소 화상의 강도비 BK_G(p), 축소된 처리 대상 화상 BR_s(q), BG_s(q), BB_s(q)이다. 또한, 가중 곱의 합되는 처리 대상 화상의 크기는 그대로이다.

여기에서는, 우선, 스텝 S761 내지 S763의 처리가 축소 화상의 각 화소를 대상으로 하여 반복된다(루프 L721). 스텝 S761 내지 S763의 처리 내용은, 상술한 스텝 S751 내지 S753의 처리와 마찬가지이기 때문에, 여기서의 설명은 생략한다. 또한, 이것에 이어지는 스텝 S764 및 S765의 처리 내용은, 상술한 스텝 S754 및 S755의 처리와 마찬가지이기 때문에, 이들에 대해서도 설명은 생략한다.

다중 회귀 분석에 의해 다중 회귀 분석 파라미터가 얻어지면, 스텝 S766 내지 S866의 처리가 축소 화상의 각 화소를 대상으로 하여 반복된다(루프 L722). 또한, 여기에서는, 도 39와 동일한 처리에 대해서는 동일한 참조 부호를 붙이고 있다. 이 루프 L722에 있어서의 스텝 S766 내지 S866의 처리 내용은, 상술한 스텝 S756 내지 S966의 처리와 마찬가지이기 때문에, 여기서의 설명은 생략한다.

한편, 가중 곱의 합되는 화상은, 축소 화상이 아니고 처리 대상 화상이 된다. 따라서, 루프 L723에서는, 각 처리는 처리 대상 화상의 각 화소를 대상으로 하여 반복된다. 이 루프 L723에 있어서, 처리 대상 화상의 RGB값 및 가중치 자신의 블록 적분값이 취득되고(스텝 S871), 또한, 다중 회귀 분석 파라미터 유지부(632)에 유지된 다중 회귀 분석 파라미터가 취득된다(스텝 S771). RGB값은, 비선형 변환부(621 내지 623)에 있어서 비선형 변환된다(스텝 S772). 그리고 다중 회귀 예측값 산출부(633)에 있어서, 비선형 변환된 휘도값 L^{( nl )}(p)로서 다중 회귀 예측값이 산출된다(스텝 S773). 이후의 처리에 대해서는, 도 40에 있어서 설명한 것과 마찬가지이기 때문에, 여기에서의 설명은 생략한다.

이와 같이, 본 발명의 제9 실시 형태에 의하면, 블록 적분값을 이용한 에지 보존형 평활화를 행할 때에, 화상에 따른 휘도에 의해 휘도 방향의 평활화를 행할 수 있다.

<10. 제10 실시 형태>

상술한 제3 또는 제4 실시 형태에서는 에지 보존 평활화 시에, 위치와 휘도의 주위의 히스토그램으로부터 평활화를 행하고 있지만, 본 발명의 제10 실시 형태에서는 대략 게인 그 자체도 가중 곱의 합에 이용하여 평활화를 행하는 것을 상정한다.

[평활화 처리부(480)의 처리 기능예]

도 55는, 본 발명의 제10 실시 형태에 있어서의 평활화 처리부(480)의 처리 기능예를 도시하는 도면이다. 이 평활화 처리부(480)의 처리 기능예는, 도 26에 도시한 제3 실시 형태에 있어서의 가중 곱의 합부(561 및 562)에 대하여, 또한 게인 FS_R(p) 및 FS_B(p)를 입력하고 있다. 가중 곱의 합부(561 및 562)에서는, 위치 p의 게인 FS_R(p) 및 FS_B(p)와 위치 p 및 휘도값 L^{( nl )}(p)에 대응하는 좌표 r의 평균 게인 HSW_R(r) 및 HSW_B(r)을 비교함으로써, 가중 곱의 합을 위한 가중치가 계산된다.

[가중 곱의 합부(561 및 562)의 구성예]

도 56은, 본 발명의 제10 실시 형태에 있어서의 가중 곱의 합부(561 및 562)의 구성예를 도시하는 도면이다. 이 가중 곱의 합부(561 및 562) 각각은, 도 28에 도시한 제3 실시 형태에 있어서의 보간부(563 및 564)의 전단에, 제산부(651)와, 비교부(652)와, 승산부(653 및 654)를 구비한 구성을 갖는다.

제산부(651)는, 블록 적분값 유지부(541 및 542)에 유지된 블록 적분값ISW_R(r) 및 ISW_B(r)을 블록 히스토그램 유지부(543)에 유지된 블록 히스토그램 IFT(r)에 의해 좌표 r마다 제산하는 것이다. 이에 의해, 좌표 r에서의 평균 화이트 밸런스가 산출된다. 또한, 블록 적분값 및 블록 히스토그램은, 공간적인 위치, 휘도에 대하여 이산화되어 있다. 좌표 r은 공간적인 위치 i, j 및 휘도 λ의 3차원 좌표(i, j, λ)를 나타내는 것으로 한다. 이 제산부(651)에 의해 산출되는 HSW_R(r) 및 HSW_B(r)은, 다음 식에 의해 얻어진다.

또한, 제산부(651)는, 청구범위에 기재된 제1 제산부의 일례이다.

비교부(652)는, 처리 대상 화상의 위치 p에 있어서의 게인 FS_R(p) 및 FS_B(p)와 위치 p에 대응하는 블록의 좌표 r의 평균 게인 HSW_R(r) 및 HSW_B(r)을 비교함으로써, 가중 곱의 합의 가중치 θ를 계산한다. 이 가중치 θ는, 도 57과 같이 △Max(r)의 값에 따라 1부터 0의 범위의 값을 나타낸다. △Max(r)은 다음 수학식과 같이, absR 및 absB 중 큰 쪽을 의미한다. 또한, ABS는 절대값을 나타내는 함수이다.

여기서, SWUNIT_R 및 SWUNIT_B는, 다음 식에 의해 정의된다.

게인 상한값 및 게인 하한값은, 수학식 5 및 수학식 6으로 표현된 것과 마찬가지이다. SWUNIT에 의해 평균 게인의 차를 나눔으로써, 게인과 평균 게인의 차가 0.0부터 1.0의 범위로 정규화되게 된다. 각 화소의 게인은 상한값 및 하한값에 의해 클립되어 있기 때문에, 차의 절대값의 범위는 0으로부터 「상한값-하한값」이 된다. 또한, 이 정규화에 의해, R과 B의 차를 비교하여 큰 쪽을 △Max(r)로 하는 것이 가능하게 된다.

또한, 여기에서는 △Max(r)를 absR 및 absB 중 큰 쪽으로 하고 R 채널 및 B 채널 공통의 가중치로서 가중치 θ를 구했지만, absR 및 absB를 개별로 취급하여, R 채널 및 B 채널 독립의 가중치 θ_R 및 θ_B를 구해도 좋다. 이 경우, 블록 영역의 가중치 부여 게인 SW_R(r) 또는 SW_B(r)도 R 채널 및 B 채널마다 계산된다.

또한, 이 예에서는, 가중치 θ와 △Max(r)의 관계를 도 57과 같이 상정했지만, 이것에 한정되는 것은 아니며, △Max(r)의 증가에 대하여 가중치 θ가 단조 감소하는 특성을 갖는 것이면 된다.

승산부(653)는, 블록 적분값 유지부(541 및 542)에 유지된 블록 적분값ISW_R(r) 및 ISW_B(r)과 비교부(652)에 의해 산출된 가중치 θ를 좌표 r마다 승산하는 것이다. 또한, 승산부(654)는, 블록 히스토그램 유지부(543)에 유지된 블록 히스토그램 IFT(r)과 비교부(652)에 의해 산출된 가중치 θ를 좌표 r마다 승산하는 것이다. 승산부(653)에 의한 승산 결과는 보간부(563)에 공급되고, 승산부(654)에 의한 승산 결과는 보간부(564)에 공급된다. 또한, 승산부(653)는, 청구범위에 기재된 제1 승산부의 일례이다. 또한, 승산부(654)는, 청구범위에 기재된 제2 승산부의 일례이다.

보간부(563 및 564) 이후의 구성은 도 28과 마찬가지이지만, 상술한 바와 같이 가중치 θ가 승산됨으로써, 이하와 같이 얻어지는 값이 상이하다. 우선, 보간부(563)는, 공간 가중 함수 테이블 유지부(565)에 유지된 공간 가중 함수 테이블의 값 ω(r, p)에 의해, 승산부(653)로부터의 입력을 보간한다. 이에 의해, 보간부(563)는 이하의 값을 출력한다.

여기에서는, 좌표 r을, 공간적인 위치 i, j 및 휘도 λ의 3차원 좌표(i, j, λ)로 전개하고 있다. 또한, 연산 Σ에 대해서는, 여기에서는 공간적인 위치 i, j에 대하여 총합을 행하는 것으로 한다.

보간부(564)는, 공간 가중 함수 테이블 유지부(565)에 유지된 공간 가중 함수 테이블의 값 ω(r, p)에 의해, 승산부(654)로부터의 입력을 보간한다. 이에 의해, 이하의 값을 출력한다.

연산 Σ에 대해서는, 여기에서는 공간적인 위치 i, j에 대하여 총합을 행하는 것으로 한다.

곱의 합부(566)는, 보간부(563)의 출력에 대하여 휘도 가중치를 곱의 합한 결과를 산출한다. 휘도 가중치는, 휘도 가중 함수 테이블 유지부(568)에 저장된 테이블의 값 ψ(λ, L^{( nl )}(p))을 사용하여 산출된다. 이 곱의 합부(566)는 이하의 값을 출력한다.

연산 Σ에 대해서는, 여기에서는 공간적인 위치 i, j 및 휘도 λ에 대하여 총합을 행하는 것으로 한다.

곱의 합부(567)는, 보간부(564)의 출력에 대하여 휘도 가중치를 곱의 합한 결과를 산출한다. 휘도 가중치는, 휘도 가중 함수 테이블 유지부(568)에 저장된 테이블의 값 ψ(λ, L^{( nl )}(p))을 사용하여 산출된다. 이 곱의 합부(567)는 이하의 값을 출력한다.

연산 Σ에 대해서는, 여기에서는 공간적인 위치 i, j 및 휘도 λ에 대하여 총합을 행하는 것으로 한다.

제산부(569)는, 곱의 합부(566)의 출력을 곱의 합부(567)의 출력에 의해 제산한다. 즉, 이 제산부(569)는 이하의 값을 출력한다.

여기서, 제3 실시 형태와 비교하면, 이 제10 실시 형태에 있어서, 수학식 25에 대응하는 식은 이하와 같이 된다.

이것을 이산화하여 근사하면, 수학식 24에 대응하는 이하의 수학식이 된다.

즉, 주위의 화소의 가중치 부여 가산 평균 계산을 행할 때, 제3 실시 형태에서는 공간적인 거리 및 휘도차에 기초하여 가중치를 계산하고 있었던 것에 대해, 이 제10 실시 형태에서는 또한 화소 위치마다 구해진 게인의 차를 더하여 가중치를 계산한다. 즉, 이 제10 실시 형태에서는, 공간적인 거리, 휘도차 및 화소 위치마다 구해진 게인의 차에 기초하여 가중치를 계산하고, 주위의 화소의 가중치 부여 가산 평균을 계산한다. 이에 의해, 보다 적절한 평활화 처리를 실현할 수 있다.

[평활화 처리부(480)의 다른 처리 기능예]

도 58은, 본 발명의 제10 실시 형태에 있어서의 평활화 처리부(480)의 다른 처리 기능예를 도시하는 도면이다. 이 평활화 처리부(480)의 다른 처리 기능예는, 도 36에 도시한 제4 실시 형태에 있어서 해상도 변환부(661 및 662)를 더 구비하고 있다. 상술한 바와 같이, 제4 실시 형태는, 제3 실시 형태에 있어서 입력 화상에 대하여 해상도 변환한 후 비교하는 처리를 구비한 것이며, 도 55의 예와 도 58의 예에 있어서도 마찬가지의 관계를 갖고 있다.

해상도 변환부(661)는, 축소 화상의 게인 BFS_B(q)의 해상도를 확대하여, 처리 대상 화상과 동일한 해상도의 게인 ITPBFS_B(p)로 변환한다. 해상도 변환부(662)는, 축소 화상의 게인 BFS_R(q)의 해상도를 확대하여, 처리 대상 화상과 동일한 해상도의 게인 ITPBFS_R(p)로 변환한다. 이들에 있어서의 해상도 변환은, 예를 들어 단순한 선형 보간에 의해 실현할 수 있다. 이들 축소 화상에 기초하는 게인 ITPBFS_R(p) 및 ITPBFS_B(p)는, 정밀도는 나빠지지만, 블록 적분값 및 블록 히스토그램에 비하여 고주파의 성분을 갖는 게인으로 된다. 이들 축소 화상에 기초하는 게인 ITPBFS_R(p) 및 ITPBFS_B(p)는, 각각 가중 곱의 합부(561 및 562)에 공급된다.

[가중 곱의 합부(561 및 562)의 구성예]

도 59는, 본 발명의 제10 실시 형태에 있어서의 평활화 처리부(480)의 도 58의 처리 기능예에 대응하는 가중 곱의 합부(561 및 562)의 구성예를 도시하는 도면이다. 이 가중 곱의 합부(561 및 562) 각각은, 도 56과 마찬가지로, 보간부(563 및 564)의 전단에, 제산부(671)와, 비교부(672)와, 승산부(673 및 674)를 구비한 구성을 갖는다.

이 평활화 처리부(480)의 구성예는, 기본적으로는 도 56에 도시한 구성예와 마찬가지이다. 상이한 것은, 도 56에서는 비교부(652)에 입력되어 있던 게인 FS_R(p) 및 FS_B(p) 대신에, 이 예에서는 축소 화상에 기초하는 게인 ITPBFS_R(p) 및 ITPBFS_B(p)가 비교부(672)에 입력되는 점이다. 이외의 점은 도 56의 예와 마찬가지이기 때문에, 여기서는 설명을 생략한다.

[동작예]

도 60은, 본 발명의 제10 실시 형태에 있어서의 평활화 처리부(480)의 도 55의 처리 기능예에 대응하는 동작예를 도시하는 도면이다. 또한, 전반의 처리는 제3 실시 형태에 있어서의 도 30과 마찬가지이기 때문에, 여기서는 생략하고 있다.

여기에서는, 도 30의 처리에 이어, 스텝 S971 내지 S976의 처리가 각 화소를 대상으로 하여 반복된다(루프 L724). 스텝 S971 내지 S976의 처리 자체는, 도 31에 의해 설명한 것과 마찬가지이다. 상이한 것은, 도 31에 있어서의 채널마다의 반복을 생략하고 있는 점이다. 이것은, 이 제10 실시 형태에 있어서는, 가중치 계산 시에 R 채널 및 B 채널의 값을 동시에 취급하고 있기 때문에다. 이외의 점은 도 31에 의해 설명한 것과 마찬가지이기 때문에, 여기서의 설명은 생략한다.

도 61 및 도 62는, 본 발명의 제10 실시 형태에 있어서의 가중 곱의 합부(561 및 562)의 동작예를 도시하는 도면이다. 또한, 여기에서는, 도 33과 동일한 처리에 대해서는 동일한 참조 부호를 붙이고 있다.

우선, 당해 화소 주위 4×4 블록의 가중치 부여 게인 적분값이 블록 적분값 유지부(541 및 542)로부터 취득된다(스텝 S781). 또한, 당해 화소 주위 4×4 블록의 가중치(신뢰도) 자신의 적분값(블록 히스토그램)이 블록 히스토그램 유지부(543)로부터 취득된다(스텝 S782). 그리고 제산부(651)에 있어서, 가중치 부여 게인 적분값에 대하여 가중치(신뢰도) 자신의 적분값에 의한 제산 처리가 행해져, 당해 화소 주위 4×4 블록마다의 평균 게인이 산출된다(스텝 S783).

계속해서, 당해 화소의 게인 FS_R(p) 및 FS_B(p)가 취득된다(스텝 S784). 그리고 비교부(652)에 있어서, 당해 화소의 게인과 당해 화소 주위 4×4 블록마다의 평균 게인의 비교가 행해져, 블록마다 게인 거리에 기초한 가중치가 산출된다(스텝 S785). 또한, 승산부(653 및 654)에 있어서, 게인 거리에 기초하는 가중치가, 대응하는 블록의 가중치 부여 게인 적분값 및 가중치(신뢰도) 자신의 적분값에 곱해진다(스텝 S786).

그리고 당해 화소의 휘도값이 취득되어(스텝 S991), 당해 화소 위치의 가중치 부여 게인 적분값에 대하여 게인 거리에 따른 가중치를 곱한 주위 4×4 블록의 보간이 보간부(563)에 있어서 행해진다(스텝 S787). 또한, 당해 화소 위치의 가중치(신뢰도) 자신의 적분값에 대하여 게인 거리에 따른 가중치를 곱한 주위 4×4 블록의 보간이 보간부(564)에 있어서 행해진다(스텝 S788). 스텝 S994 이후의 처리는 도 33과 마찬가지이기 때문에, 여기서의 설명은 생략한다.

또한, 이 도 61 및 62에서는 도 56의 구성을 전제로 설명했지만, 도 59의 구성에 있어서도 가중 곱의 합 처리로서는 마찬가지의 처리가 행해지기 때문에, 여기에서의 설명은 생략한다. 단, 스텝 S784에서 당해 화소의 게인 FS_R(p) 및 FS_B(p) 대신에, 축소 화상에 기초하는 게인 ITPBFS_R(p) 및 ITPBFS_B(p)가 취득되어, 비교에 사용된다.

도 63은, 본 발명의 제10 실시 형태에 있어서의 평활화 처리부(480)의 동작예를 도시하는 도면이다. 또한, 전반의 처리는 제4 실시 형태에 있어서의 도 39과 마찬가지이기 때문에, 여기서는 생략하고 있다. 또한, 여기서는, 도 40과 동일한 처리에 대해서는 동일한 참조 부호를 붙이고 있다.

블록 적분값 및 블록 히스토그램이 갱신된 후, 루프 L725에 있어서 스텝 S871 내지 S878의 처리가 반복된다. 각 처리의 내용은 도 40과 마찬가지이지만, 스텝 S873과 S874 사이에 스텝 S791의 처리가 삽입되는 점이 상이하다. 이 스텝 S791에서는, 당해 화소 위치의 게인이 보간부(563 및 564)의 보간 처리에 의해 산출된다. 또한, 도 40에 있어서의 채널마다의 반복을 생략하고 있는 점도 상이하다. 이것은, 이 제10 실시 형태에 있어서는, 가중치 계산 시에 R 채널 및 B 채널의 값을 동시에 취급하고 있기 때문이다. 이들 이외의 점은 도 40에 의해 설명한 것과 마찬가지이기 때문에, 여기서의 설명은 생략한다.

이와 같이, 본 발명의 제10 실시 형태에 의하면, 평활화 시의 가중 곱의 합 시에, 위치와 휘도의 주위의 히스토그램뿐만 아니라 대략 게인 그 자체를 이용함으로써, 색 재현성의 보다 높은 화상을 생성할 수 있다.

또한, 본 발명의 실시 형태는 본 발명을 구현화하기 위한 일례를 나타낸 것이며, 본 발명의 실시 형태에 있어서 명시한 바와 같이, 본 발명의 실시 형태에 있어서의 사항과, 청구범위에 있어서의 발명 특정 사항은 각각 대응 관계를 갖는다. 마찬가지로, 청구범위에 있어서의 발명 특정 사항과, 이것과 동일 명칭을 붙인 본 발명의 실시 형태에 있어서의 사항은 각각 대응 관계를 갖는다. 단, 본 발명은 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에 있어서 실시 형태에 다양한 변형을 실시함으로써 구현화할 수 있다.

또한, 본 발명의 실시 형태에 있어서 설명한 처리 수순은, 이들 일련의 수순을 갖는 방법으로서 파악해도 좋고, 또한, 이들 일련의 수순을 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악해도 좋다. 이 기록 매체로서, 예를 들어 CD(Compact Disc), MD(MiniDisc), DVD(Digital Versatile Disk), 메모리 카드, 블루레이 디스크(Blu-ray Disc(등록 상표)) 등을 사용할 수 있다.

11: 렌즈
12: 조리개
13: 촬상 소자
21: 샘플링 회로
22: A/D 변환 회로
23: 화상 처리 회로
31: 부호화/복호기
32: 메모리
41: 표시 드라이버
42: 표시부
51: 타이밍 생성기
52: 조작 입력 접수부
53: 드라이버
54: 제어부
59: 버스
61: 플래시 발광부
62: 플래시 제어부
111: 기준 모자이크 화상 유지부
112: 처리 대상 모자이크 화상 유지부
120: 조명 성분 변환 처리부
130, 131: 화이트 밸런스 처리부
133: 역감마 보정 처리부
140: 디모자이크 처리부
150: 계조 보정 처리부
160: 감마 보정 처리부
170: YC 변환 처리부
181, 183: 기준 화상 화이트 밸런스 유지부
182, 184: 처리 대상 화상 화이트 밸런스 유지부
191: Y 화상 유지부
192: C 화상 유지부
213: 신규 기준 모자이크 화상 유지부
214: 신규 처리 대상 모자이크 화상 유지부
221, 222: 디모자이크 처리부
230: 화이트 밸런스 산출부
240: 기준 화상 화이트 밸런스 유지부
250: 채널 게인 산출부
260: 채널 게인 적용부
261, 262: 승산부
271: 해상도 변환부
280: 프레임 가산부
281, 282: 가산부
283: 기준 모자이크 화상 유지부
284: 처리 대상 모자이크 화상 유지부
285: 제어 파라미터 결정부
290: 조명 성분 변환을 마친 모자이크 화상 유지부
311, 312: 색 변환 게인 산출부
321, 322: 상한값 클리핑부
323: 게인 상한값 R 유지부
324: 게인 상한값 B 유지부
331, 332: 하한값 클리핑부
333: 게인 하한값 R 유지부
334: 게인 하한값 B 유지부
341, 342: 흑색 뭉개짐 보상부
343: 흑색 뭉개짐 보상값 R 유지부
344: 흑색 뭉개짐 보상값 B 유지부
345: 흑색 뭉개짐 정도 산출부
351, 352: 포화 보상부
353: 포화 보상값 R 유지부
354: 포화 보상값 B 유지부
355: 포화도 산출부
421 내지 423: 제산부
431 내지 433: 노출 보상부
440: 포화 신뢰도 산출부
450: 흑색 뭉개짐 신뢰도 산출부
460: 움직임 피사체 신뢰도 산출부
461: 비율 역전도 산출부
462: 비율 예측부
463: 분광 반사율 변화량 예측부
464: 환경 광 스펙트럼 색 밸런스값 유지부
465: 플래시 광 스펙트럼 색 밸런스값 유지부
466: 최소값 선택부
470: 신뢰도 선택부
480: 평활화 처리부
511: 승산부
521, 523, 630: 휘도 산출부
522, 611, 612, 621 내지 623, 641 내지 643: 비선형 변환부
531: 블록 적분값 산출부
533: 블록 히스토그램 산출부
534: 블록 선택부
535: 적분기
536: 가산부
537: 레지스터
538: 블록 적분값 유지부
541, 542: 블록 적분값 유지부
543: 블록 히스토그램 유지부
551: 위상 보상 처리부
561, 562: 가중 곱의 합부
563, 564: 보간부
565: 공간 가중 함수 테이블 유지부
566, 567: 곱의 합부
568: 휘도 가중 함수 테이블 유지부
569: 제산부
571, 572: 게인 적용부
631, 634: 다중 회귀 분석부
632, 635: 다중 회귀 분석 파라미터 유지부
633, 636: 다중 회귀 예측값 산출부
651, 671: 제산부
652, 672: 비교부
653, 654, 673, 674: 승산부
661, 662: 해상도 변환부

Claims (34)

1. 다른 조명 환경 하에서 촬상된 기준 화상 및 처리 대상 화상으로부터, 각 화소 위치에서의 채널마다 조명 성분을 변환하기 위한 게인을 산출하는 채널 게인 산출부와,
   상기 게인을 상기 처리 대상 화상에 적용하기 위한 채널 게인 적용부
   를 포함하는, 화상 처리 장치.
2. 제1항에 있어서, 상기 채널 게인 산출부는, 상기 처리 대상 화상의 특정한 채널의 게인을 고정하여, 상기 처리 대상 화소의 색 밸런스를 상기 기준 화상과 일치하도록 상기 게인을 산출하는, 화상 처리 장치.
3. 제1항에 있어서, 상기 채널 게인 산출부는, 상기 처리 대상 화상의 휘도값을 고정하여, 상기 처리 대상 화소의 색 밸런스를 상기 기준 화상과 일치하도록 상기 게인을 산출하는, 화상 처리 장치.
4. 제1항에 있어서, 상기 채널 게인 산출부는, 소정의 상한값을 초과하는 값이 상기 게인으로서 산출된 경우에는 상기 상한값을 상기 게인으로 하고, 또는 소정의 하한값을 하회하는 값이 상기 게인으로서 산출된 경우에는 상기 하한값을 상기 게인으로 하는, 화상 처리 장치.
5. 제1항에 있어서, 상기 채널 게인 산출부는,
   상기 기준 화상의 화소값으로부터 화소의 포화도를 산출하는 포화도 산출부와,
   상기 포화도에 따라 상기 게인의 보상 처리를 행하는 포화 보상부를 포함하는, 화상 처리 장치.
6. 제1항에 있어서, 상기 채널 게인 산출부는,
   상기 기준 화상의 화소값으로부터 화소의 흑색 뭉개짐(blackout) 정도를 산출하는 흑색 뭉개짐 정도 산출부와,
   상기 흑색 뭉개짐 정도에 따라 상기 게인의 보상 처리를 행하는 흑색 뭉개짐 보상부를 포함하는, 화상 처리 장치.
7. 제1항에 있어서, 상기 채널 게인 산출부는,
   상기 기준 화상의 화소값 및 상기 기준 화상과 상기 처리 대상 화상의 채널간 비율로부터 화소의 흑색 뭉개짐(blackout) 정도를 산출하는 흑색 뭉개짐 정도 산출부와,
   상기 흑색 뭉개짐 정도에 따라 상기 게인의 보상 처리를 행하는 흑색 뭉개짐 보상부를 포함하는, 화상 처리 장치.
8. 제1항에 있어서, 상기 기준 화상 및 상기 처리 대상 화상의 촬상 조건의 차이를 보상하기 위하여 노출 강도가 동등해지도록 강도 조정하는 노출 보상부를 더 포함하는, 화상 처리 장치.
9. 제1항에 있어서, 상기 채널 게인 적용부는,
   상기 기준 화상의 화소값으로부터 화소의 포화 신뢰도를 산출하는 포화 신뢰도 산출부와,
   상기 포화 신뢰도에 기초하여 상기 게인을 공간 평활화한 후 상기 처리 대상 화소에 대하여 적용하는 평활화 처리부를 포함하는, 화상 처리 장치.
10. 제1항에 있어서, 상기 채널 게인 적용부는,
    상기 기준 화상의 화소값으로부터 화소의 흑색 뭉개짐 신뢰도를 산출하는 흑색 뭉개짐 신뢰도 산출부와,
    상기 흑색 뭉개짐 신뢰도에 기초하여 상기 게인을 공간 평활화한 후 상기 처리 대상 화소에 대하여 적용하는 평활화 처리부를 포함하는, 화상 처리 장치.
11. 제1항에 있어서, 상기 채널 게인 적용부는,
    상기 기준 화상의 화소값 및 상기 기준 화상과 상기 처리 대상 화상의 채널간 비율로부터 화소의 흑색 뭉개짐 신뢰도를 산출하는 흑색 뭉개짐 신뢰도 산출부와,
    상기 흑색 뭉개짐 신뢰도에 기초하여 상기 게인을 공간 평활화한 후 상기 처리 대상 화소에 대하여 적용하는 평활화 처리부를 포함하는, 화상 처리 장치.
12. 제1항에 있어서, 상기 채널 게인 적용부는,
    상기 기준 화상과 상기 처리 대상 화상의 대응 화소에서의 특성값의 변화로부터 공간적으로 피사체가 움직인 화소인지의 여부를 판정하여 움직임 피사체 신뢰도를 산출하는 움직임 피사체 신뢰도 산출부와,
    상기 움직임 피사체 신뢰도에 기초하여 상기 게인을 공간 평활화한 후 상기 처리 대상 화소에 대하여 적용하는 평활화 처리부를 포함하는, 화상 처리 장치.
13. 제12항에 있어서, 상기 움직임 피사체 신뢰도 산출부는,
    상기 처리 대상 화상의 화소의 신호 강도의 변화가 기준 화상 및 처리 대상 화상 전체의 조명 성분의 변화의 방향과 역전하고 있는지의 여부에 따라 상기 움직임 피사체 신뢰도를 산출하는 비율 역전도 산출부를 포함하는, 화상 처리 장치.
14. 제12항에 있어서, 상기 움직임 피사체 신뢰도 산출부는,
    상기 기준 화상과 상기 처리 대상 화상의 대응 화소의 분광 반사율의 변화에 따라 상기 움직임 피사체 신뢰도를 산출하는 분광 반사율 변화량 예측부를 포함하는, 화상 처리 장치.
15. 제1항에 있어서, 상기 기준 화상 또는 상기 처리 대상 화상의 해상도를 변환한 후 상기 채널 게인 산출부에 공급하는 해상도 변환부를 더 포함하는, 화상 처리 장치.
16. 제15항에 있어서, 상기 해상도 변환부는 화소의 씨닝(thinning)에 의한 축소에 의해 상기 해상도 변환을 행하는, 화상 처리 장치.
17. 제15항에 있어서, 상기 해상도 변환부는 블록 내의 화소의 평균에 기초하는 축소에 의해 상기 해상도 변환을 행하는, 화상 처리 장치.
18. 제15항에 있어서, 상기 해상도 변환부는 블록 내의 화소의 중앙값에 기초하는 축소에 의해 상기 해상도 변환을 행하는, 화상 처리 장치.
19. 제15항에 있어서, 상기 해상도 변환부는 에지 보존형 평활화 필터 처리에 의해 상기 해상도 변환을 행하는, 화상 처리 장치.
20. 제15항에 있어서, 상기 해상도 변환부는 상기 기준 화상과 상기 처리 대상 화상의 크기를 합치시키도록 상기 해상도 변환을 행하는, 화상 처리 장치.
21. 제1항에 있어서, 연속하여 촬상된 화상을 저장하기 위한 프레임 메모리와,
    상기 연속 촬상된 화상을 가중치 부여하면서 가산하여 입력 화상을 작성하는 가산부와,
    상기 연속 촬상에 사용하는 제어 파라미터를 결정하여 촬상의 반복 제어를 행하는 제어 파라미터 결정부를 더 포함하는, 화상 처리 장치.
22. 제1항에 있어서, 상기 기준 화상은 플래시 발광없이 촬상된 화상이며,
    상기 처리 대상 화상은 플래시 발광 있는 상태로 촬상된 화상인, 화상 처리 장치.
23. 제1항에 있어서, 상기 채널 게인 적용부는,
    상기 처리 대상 화상의 화소값으로부터 휘도를 산출하는 휘도 산출부와,
    화소 사이의 휘도의 차에 기초하여 상기 게인을 공간 평활화한 후 상기 처리 대상 화소에 대하여 적용하는 평활화 처리부를 포함하는, 화상 처리 장치.
24. 제23항에 있어서, 상기 휘도 산출부는 상기 처리 대상 화상의 화소값에 대하여 미리 설정된 가중치에 의한 선형 합으로서 상기 휘도를 산출하는, 화상 처리 장치.
25. 제23항에 있어서, 상기 휘도 산출부는 상기 기준 화상과 상기 처리 대상 화상의 대응 화소의 강도비를 목적 변량(object variate)으로 하고 상기 처리 대상 화상의 화소값을 설명 변량으로 한 다중 회귀 분석에 기초하여 상기 휘도를 산출하는, 화상 처리 장치.
26. 공간축 방향 및 휘도축 방향으로 영역을 복수로 분할한 각 블록에 대하여 처리 대상 화상의 화소의 빈도값을 블록 히스토그램으로서 산출하는 블록 히스토그램 산출부와,
    상기 각 블록에 속하는 특성값의 적분값을 산출하는 블록 적분값 산출부와,
    블록 히스토그램과 블록 적분값과 당해 화소 위치의 휘도값으로부터 당해 화소 위치의 글로벌 게인값(global gain value)을 산출하는 가중 곱의 합부(weighted product-sum unit)와,
    상기 처리 대상 화상에 상기 글로벌 게인값을 적용하는 게인 적용부
    를 포함하는, 화상 처리 장치.
27. 제26항에 있어서, 상기 블록마다의 특성값의 적분값은 상기 각 블록에 속하는 화소의 채널마다 조명 성분을 변환하기 위한 게인의 채널마다의 총합인, 화상 처리 장치.
28. 제26항에 있어서, 상기 블록마다의 특성값의 적분값은 상기 각 블록에 속하는 화소의 조명 성분을 변환하기 위한 게인의 채널마다의 중앙값에 블록 내 처리 대상 화상의 화소의 빈도값을 곱한 것인, 화상 처리 장치.
29. 제26항에 있어서, 상기 가중 곱의 합부는,
    미리 정의된 공간축 방향의 가중 함수에 의해 당해 화소 위치에의 상기 블록 히스토그램의 보간을 행하는 제1 보간부와,
    미리 정의된 공간축 방향의 가중 함수에 의해 당해 화소 위치에의 상기 블록마다의 특성값의 보간을 행하는 제2 보간부와,
    미리 정의된 휘도축 방향의 가중 함수에 의해 상기 보간된 블록 히스토그램의 하중 합을 산출하는 제1 곱의 합부와,
    미리 정의된 휘도축 방향의 가중 함수에 의해 상기 보간된 특성값의 하중 합을 산출하는 제2 곱의 합부와,
    상기 제2 곱의 합부의 출력을 상기 제1 곱의 합부의 출력에 의해 제산하는 제산부를 포함하는, 화상 처리 장치.
30. 제26항에 있어서, 상기 가중 곱의 합부는,
    상기 블록마다의 특성값을 상기 블록 히스토그램의 값으로 제산함으로써 블록 위치마다의 평균 특성값을 계산하는 제1 제산부와,
    상기 평균 특성값과 당해 화소 위치에 관한 특성값을 비교함으로써 가중치를 계산하는 비교부와,
    상기 비교부에서 산출된 가중치를 대응하는 블록 위치의 상기 블록마다의 특성값에 곱하는 제1 승산부와,
    상기 비교부에서 산출된 가중치를 대응하는 블록 위치의 상기 블록 히스토그램의 값에 곱하는 제2 승산부와,
    미리 정의된 공간축 방향의 가중 함수에 의해 당해 화소 위치에 상기 제1 승산부의 출력인 가중치 부여 블록 히스토그램의 보간을 행하는 제1 보간부와,
    미리 정의된 미리 정의된 공간축 방향의 가중 함수에 의해 당해 화소 위치에의 제2 승산부의 출력인 블록마다의 가중치 부여 특성값의 보간을 행하는 제2 보간부와,
    미리 정의된 휘도축 방향의 가중 함수에 의해 상기 보간된 블록 히스토그램의 하중 합을 산출하는 제1 곱의 합부와,
    미리 정의된 휘도축 방향의 가중 함수에 의해 상기 보간된 특성값의 하중 합을 산출하는 제2 곱의 합부와,
    상기 제2 곱의 합부의 출력을 상기 제1 곱의 합부의 출력에 의해 제산하는 제2 제산부를 포함하는, 화상 처리 장치.
31. 다른 조명 환경 하에서 촬상된 기준 화상 및 처리 대상 화상으로부터, 각 화소 위치에서의 채널마다 조명 성분을 변환하기 위한 게인을 산출하는 채널 게인 산출 수순과,
    상기 게인을 상기 처리 대상 화상에 적용하기 위한 채널 게인 적용 수순
    을 포함하는, 화상 처리 방법.
32. 공간축 방향 및 휘도축 방향으로 영역을 복수로 분할한 각 블록에 대하여 처리 대상 화상의 화소의 빈도값을 블록 히스토그램으로서 산출하는 블록 히스토그램 산출 수순과,
    상기 각 블록에 속하는 특성값의 적분값을 산출하는 블록 적분값 산출 수순과,
    블록 히스토그램과 블록 적분값과 당해 화소 위치의 휘도값으로부터 당해 화소 위치의 글로벌 게인값을 산출하는 가중 곱의 합 수순과,
    상기 처리 대상 화상에 상기 글로벌 게인값을 적용하는 게인 적용 수순
    을 포함하는, 화상 처리 방법.
33. 다른 조명 환경 하에서 촬상된 기준 화상 및 처리 대상 화상으로부터, 각 화소 위치에서의 채널마다 조명 성분을 변환하기 위한 게인을 산출하는 채널 게인 산출 수순과,
    상기 게인을 상기 처리 대상 화상에 적용하기 위한 채널 게인 적용 수순
    을 컴퓨터에 실행시키는 프로그램.
34. 공간축 방향 및 휘도축 방향으로 영역을 복수로 분할한 각 블록에 대하여 처리 대상 화상의 화소의 빈도값을 블록 히스토그램으로서 산출하는 블록 히스토그램 산출 수순과,
    상기 각 블록에 속하는 특성값의 적분값을 산출하는 블록 적분값 산출 수순과,
    블록 히스토그램과 블록 적분값과 당해 화소 위치의 휘도값으로부터 당해 화소 위치의 글로벌 게인값을 산출하는 가중 곱의 합 수순과,
    상기 처리 대상 화상에 상기 글로벌 게인값을 적용하는 게인 적용 수순
    을 컴퓨터에 실행시키는, 프로그램.

Images