KR101032233B1 - 화상 처리 방법 및 장치, 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체 - Google Patents

Abstract

본 발명은 보다 선명한 화상을 얻을 수 있도록 하는 화상 처리 방법 및 장치, 그리고 프로그램에 관한 것이다. 디지털 카메라(1)에 있어서, 1화소당 1개의 색신호를 공급하는 단판 센서로 구성되는 촬상 소자(4)에 의해 고속 촬상된 복수매의 화상은 신호 처리 회로(7)의 프레임 메모리(22)에 기억된다. 신호 처리 회로(7)는 프레임 메모리(22)에 기억된 복수매의 화상끼리의 위치 관계를 검출하고, 검출된 위치 관계에 기초하여 1화소당 3개의 색신호를 갖는 화상을 추정한다. 본 발명은, 예를 들면 디지털 카메라에 적용할 수 있다.

디지털 카메라, 고속 촬상, 화상 처리, 화상 추정, 손떨림 보정

Description

화상 처리 방법 및 장치, 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체{IMAGE PROCESSING METHOD AND DEVICE, AND PROGRAM}

본 발명은 화상 처리 방법 및 장치, 그리고 프로그램에 관한 것으로, 특히 예를 들면 단판 센서를 채용한 촬상 장치에 있어서 보다 선명한 화상을 얻을 수 있도록 하는 화상 처리 방법 및 장치, 그리고 프로그램에 관한 것이다.

최근, 카메라로서는 디지털 카메라가 일반적이 되고 있다. 디지털 카메라에 있어서, CCD(Charge Coupled Device)나 CMOS(Complementary Mental Oxide Semiconductor) 등의 촬상 소자에 의해 촬상된 화상(이하, 촬상 화상이라고 한다)은 디지털 카메라에 설치된 LCD(Liquid Crystal Display) 등의 모니터에 표시되어, 사용자에 의해 확인된다. 또한, 촬상 화상의 화상 신호가 디지털화되어 플래시 메모리 등의 기록 매체를 통해, 혹은 케이블 접속이나 적외선 통신 등의 유선 또는 무선 통신에 의해, 예를 들면 퍼스널 컴퓨터(PC) 등의 화상 처리 장치에 전송된다. 그리고, 전송처인 퍼스널 컴퓨터에서는 디지털 카메라의 촬상 화상을 CRT(Cathode Ray Tube)나 액정 디스플레이(LCD) 등의 모니터에 표시하여, 사용자는 촬상 화상을 확인하거나 편집할 수 있다.

그런데, 디지털 카메라에 있어서, 예를 들면 그늘 등의 충분히 태양 광선이 닿지 않는 장소나 어두운 방 등에서, 충분한 밝기를 얻을 수 없는 피사체를 촬상하는 경우, 디지털 카메라에서는 적정한 노출을 얻기 위해서 셔터 속도를 늦게 할 필요가 있다(셔터 시간이 길어진다).

이와 같은 셔터 시간이 긴 촬상에서는, 디지털 카메라를 삼각대 등으로 고정하여, 디지털 카메라가 떨리지 않도록(흔들리지 않도록) 하면 된다. 그러나, 예를 들면 디지털 카메라를 손에 들고 촬상하여 디지털 카메라가 떨렸을 경우(이른바, 손떨림이 발생한 경우), 셔터가 열려있는 동안(셔터 시간)의 디지털 카메라의 흐려짐(흔들림)에 의해, 촬상 화상은 피사체가 흐릿해진 화상으로 되어 버린다. 이 흐릿한 화상은 「손떨림」한 화상, 또는, 「카메라 흔들림」한 화상 등으로 불린다.

셔터 속도를 늦게 하는(셔터 시간을 길게 하는) 외에 충분한 노출을 얻기 위한 방법으로서, 복수매의 촬상 화상을 단순히 누적 가산함으로써 장시간 노출과 동등의 노출을 얻을 수 있도록 하는 방법이 제안되고 있다(예를 들면, 일본 특허공개 평05-236422호 공보 참조).

그러나, 일본 특허공개 평05-236422호 공보에 개시되는 방법에서는, 단순히 복수매의 촬상 화상을 누적 가산하기 때문에, 상술한 손떨림이 발생한 경우에는 셔터 시간을 길게 하는 경우와 마찬가지로 흐릿한 화상이 된다.

손떨림이 발생한 경우에 있어서도 화상이 흐릿해지지 않도록 하는(「손떨림」한 화상을 회피하는) 방법으로서, 예를 들면 캐논 주식회사 제품의 디지털 카메라에 채용되고 있는 「이미지 스태빌라이저(약칭 IS)」라 부르는 방법이 있다.

이미지 스태빌라이저에서는 광학계 렌즈내에 프리 센서를 설치하고 그 프리 센서에 의해 디지털 카메라의 흔들림이나 진동을 검지하고, 검지한 디지털 카메라의 흔들림이나 진동을 나타내는 디지탈 신호에 따라, 렌즈군의 일부(보정 광학계)를 광축에 대해 수직 방향으로 이동시켜, 상흐려짐을 지우는 방향으로 광선을 굴절시킨다.

이미지 스태빌라이저에 의하면, 장초점이나 셔터 속도가 늦어지는 경우에 있어서 영향이 커지는, 손에 들고 하는 촬영이나, 바람 등에 의한 촬영대의 미묘한 진동의 흔들림에 기인하는 화상의 흐려짐을 억제하여, 샤프한(선명한) 화상을 사용자에게 제공할 수 있다.

그러나, 이미지 스태빌라이저에서는 흐려짐을 검지하는 전용의 센서나 렌즈군의 일부(보정 광학계)를 고속으로 움직이는 기구가 필요하기 때문에, 구조가 복잡하게 되어 제조 코스트가 높아진다고 하는 문제가 있다.

그 밖의 「카메라 흐려짐」한 화상을 회피하는 방법으로서는, 고속 셔터에 의해 연속으로 복수매 촬상하고, 촬상된 복수매의 화상 중 2매째 이후의 촬상 화상에 대해 1매째의 촬상 화상과의 어긋남량을 검출하여, 그 어긋남량만큼 2매째 이후의 촬상 화상을 보정하여 1매째의 화상에 차례로 가산하는 방법이 있다(예를 들면, 일본 특허공개 2000-217032호 공보, 일본 특허공개 2000-224460호 공보, 일본 특허공개 2000-244803호 공보, 일본 특허공개 2000-244797호 공보, 일본 특허공개 2000-069352호 공보, 일본 특허공개 평10-341367호 공보, 일본 특허공개 평09-261526호 공보 참조). 이들 종래의 방법에서는 기본적으로, 2매째 이후의 촬상 화상의 각각으로부터 소정의 보정 또는 보간에 의해 1매째의 촬상 화상과 같은 데이터 배열을 갖는 보정 화상이 형성되어, 그것들을 1매째의 촬상 화상에 화소 단위로 단순 가산 또는 선형 가산하는 방식이 채용되고 있다.

이 방법에서는, 고속(연속) 촬상된 화상의 한장 한장은 셔터 시간(노출 시간)이 짧기 때문에 흐려짐이 작은 어두운 화상이 된다. 그리고, 1매째의 촬상 화상에 2매째 이후의 촬상 화상을 가산하기 때문에, 가산하여 얻어지는 최종적인 화상은 적정 노출과 동일한 밝기의 화상으로 할 수 있다.

이 방법은 2매째 이후의 촬상 화상에 대해 1매째의 촬상 화상과의 어긋남량을 검출하여 그 어긋남량만큼 촬상 화상을 보정(보간)할 때에, 1화소의 R(Red)신호(적색 데이터), G(Green)신호(녹색 데이터), B(Blue)신호(청색 데이터)의 각각의 색신호(데이터)를 선형 보간, 바이큐빅 보간 등의 각종의 보간 함수를 이용한 보간 방법에 의해 보간(보정)하는 것이다.

그러나, 촬상 소자로서 단판 센서가 채용되고 있는 촬상 장치의 경우, 1화소로부터 R신호, G신호, B신호 중의 어느 1개의 색신호밖에 출력되지 않는다. 따라서, 상술한 바와 같은 각종 보간 방법에서는 복수매의 화상의 어긋남량을 보간할 수 없으며, 또한 단판 센서의 경우에 적용 가능한 그 외의 보간 방법도 제안되어 있지 않다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 예를 들면 단판 센서를 채용한 촬상 장치에 있어서, 카메라 흐려짐이 발생하고 있는 경우에 있어서도, 보다 선명한 화상을 얻을 수 있도록 하는 것이다.

본 발명의 화상 처리 방법은 1화소당 소정의 n개의 화소값을 갖는 화상을 촬상하는 촬상 수단이 촬상한 복수의 입력 화상끼리의 위치 관계를 검출하는 검출 단계와, 검출 단계의 처리에 의해 검출된 위치 관계에 기초하여 출력 화상의 화소 위치마다 복수의 입력 화상으로부터 고려할 관측 화소 성분을 특정하고, 특정된 관측 화소 성분에 기초하여 1화소당 (n+1)개 이상의 화소값을 갖는 출력 화상을 추정하는 화상 추정 단계를 포함하는 것을 특징으로 한다.

화상 추정 단계에는 검출 단계의 처리에 의해 검출된 위치 관계에 기초하여, 출력 화상의 화소 위치마다 복수의 입력 화상으로부터 고려할 관측 화소값을 선택하고, 선택된 관측 화소값에 기초하여 1화소당 (n+1)개 이상의 화소값을 갖는 출력 화상을 추정시킬 수가 있다.

화상 추정 단계에는 검출 단계의 처리에 의해 검출된 위치 관계에 기초하여, 복수의 입력 화상으로부터 1화소당 (n+1)개 이상의 색신호를 갖는 출력 화상을 추정시킬 수가 있다.

화상 추정 단계에서는 출력 화상의 각 화소 위치 및/또는 그 주변에서의 색 상관를 고려하여, 출력 화상이 추정되도록 할 수 있다.

화상 추정 단계에서는 입력 화상의 화소의 화소값이 에지의 급준(急峻) 정도에 따른 화소값으로 변경되고, 변경후의 화소값에 기초하여 출력 화상이 추정되도록 할 수 있다.

n은 1이며, 화상 추정 단계에는 검출 단계의 처리에 의해 검출된 위치 관계에 기초하여 복수의 입력 화상으로부터 1화소당 3개의 화소값을 갖는 출력 화상을 추정시킬 수가 있다.

촬상 수단은 단판 센서이며, 관측되는 색신호가 입력 화상의 위치에 따라 바뀌도록 할 수 있다.

촬상 수단은 복수의 입력 화상을 적정 노출 미만으로 촬상하고, 복수의 입력 화상 각각의 화소값의 게인업을 행하는 노출 보정 단계를 더 포함하도록 할 수 있다.

화상 추정 단계는 복수의 입력 화상 각각의 각 화소에 대해, 검출 단계의 처리에 의해 검출된 위치 관계에 따른 각 화소의 보정 위치를 구하고, 보정 위치를 중심으로 하는 소정의 영역내의 출력 화상의 광의 적분값과 보정 위치의 화소의 화소값의 차가 소정 오차 범위내라는 광량 적분 조건식을 생성하는 광량 적분 조건식 생성 단계와, 광량 적분 조건식을 연산하는 연산 단계를 갖도록 할 수 있다.

광량 적분 조건식을 생성할 때에는, 복수의 입력 화상의 게인업이 행해지고 있는 경우에, 소정의 오차의 값을 게인업의 양에 의존하여 변화시키도록 할 수 있다.

화상 추정 단계에는 복수의 입력 화상 각각의 각 화소에 대해, 검출 단계의 처리에 의해 검출된 위치 관계에 따른 각 화소의 보정 위치를 구하고, 보정 위치가 출력 화상의 각 화소 위치의 근방에 있는 입력 화상의 화소의 화소값과 게인업의 양에 의존하는 오차를 고려하여, 출력 화상을 추정시킬 수가 있다.

화상 추정 단계에는 복수의 입력 화상 각각의 각 화소에 대해, 검출 단계의 처리에 의해 검출된 위치 관계에 따른 각 화소의 보정 위치를 구하고, 보정 위치가 출력 화상의 각 화소 위치의 근방에 있는 입력 화상의 화소의 화소값과, 보정 위치와 출력 화상의 화소 위치의 거리를 고려하여, 출력 화상을 추정시킬 수 있다.

화상 추정 단계에는 복수의 입력 화상 각각의 각 화소에 대해, 검출 단계의 처리에 의해 검출된 위치 관계에 따른 각 화소의 보정 위치를 구하고, 보정 위치가 출력 화상의 각 화소 위치의 근방에 있는 입력 화상의 화소의 화소값에 기초하여, 스프링 모델에 의해 출력 화상을 추정시킬 수 있다.

화상 추정 단계에는 복수의 입력 화상 각각의 각 화소에 대해, 검출 단계의 처리에 의해 검출된 위치 관계에 따른 각 화소의 보정 위치를 구하고, 보정 위치가 출력 화상의 각 화소 위치의 근방에 있는 입력 화상의 화소의 화소값을 이용한 가중 가산을 행함으로써, 출력 화상을 추정시킬 수가 있다.

화상 추정 단계에는 출력 화상에 있어서 주목하고 있는 주목 화소의 위치와 보정 위치의 거리에 대해 로우패스 필터의 특성을 갖는 함수를 이용한 가중으로, 보정 위치가 주목 화소 위치의 근방에 있는 입력 화상의 화소의 화소값을 이용한 가중 가산을 행함으로써, 주목 화소의 화소값을 추정시킬 수가 있다.

화상 추정 단계에는 보정 위치가 주목 화소 위치의 근방에 있는 입력 화상의 화소의 화소값을 이용한 가중치 부여 가산을 행하는 제1 연산 처리, 또는 보정 위치가 주목 화소 주변의 출력 화상의 화소 위치의 근방에 있는 입력 화상의 화소의 화소값을 이용한 가중치 부여 가산을 행하는 제2 연산 처리를 선택하여 행함으로써, 주목 화소의 화소값을 추정시킬 수가 있다.

화상 추정 단계에는 제1 연산 처리에서의 가중치의 총합이 O 또는 O에 가까운 값인 경우에, 제2 연산 처리를 선택시킬 수가 있다.

화상 추정 단계에는 보정 위치가 주목 화소 위치의 제1 근방에 있는 입력 화상의 화소의 화소값을 이용한 가중치 부여 가산을 행하는 제1 연산 처리, 또는 보정 위치가 주목 화소 위치의 제1 근방보다 넓은 범위의 제2 근방에 있는 입력 화상의 화소의 화소값을 이용한 가중치 부여 가산을 행하는 제2 연산 처리를 선택하여 행함으로써, 주목 화소의 화소값을 추정시킬 수가 있다.

화상 추정 단계에는 제1 연산 처리에서의 가중치의 총합이 O 또는 0에 가까운 값인 경우에, 제2 연산 처리를 선택시킬 수가 있다.

화상 추정 단계에는 보정 위치가 주목 화소 위치의 근방에 있는 입력 화상의 화소의 화소값을 제1 가중치로 가중치를 부여한 가중치 부여 가산을 행하는 제1 연산 처리, 또는 보정 위치가 주목 화소 위치의 근방에 있는 입력 화상의 화소의 화소값을 제2 가중치로 가중치를 부여한 가중치 부여 가산을 행하는 제2 연산 처리를 선택하여 행함으로써, 주목 화소의 화소값을 추정시킬 수가 있다.

화상 추정 단계에는 제1 연산 처리에서의 가중치의 총합이 O 또는 O에 가까운 값인 경우에, 제2 연산 처리를 선택시킬 수가 있다.

검출 단계에는 복수의 입력 화상이 촬상된 시간의 중간의 시각 또는 그 근방의 시각에 촬상된 입력 화상을 기준으로 하여, 복수의 입력 화상끼리의 위치 관계를 검출시킬 수 있다.

본 발명의 화상 처리 장치는 1화소당 소정의 n개의 화소값을 갖는 복수의 입력 화상을 촬상하는 촬상 수단과, 복수의 입력 화상끼리의 위치 관계를 검출하는 검출 수단과, 검출 수단에 의해 검출된 위치 관계에 기초하여 출력 화상의 화소 위치마다 복수의 입력 화상으로부터 고려할 관측 화소 성분을 특정하고, 특정된 관측 화소 성분에 기초하여 1화소당 (n+1)개 이상의 화소값을 갖는 상기 출력 화상을 추정하는 화상 추정 수단을 구비하는 것을 특징으로 한다.

본 발명의 프로그램은 1화소당 소정의 n개의 화소값을 갖는 화상을 촬상하는 촬상 수단이 촬상한 복수의 입력 화상끼리의 위치 관계를 검출하는 검출 단계와, 검출 단계의 처리에 의해 검출된 위치 관계에 기초하여 출력 화상의 화소 위치마다 복수의 입력 화상으로부터 고려할 관측 화소 성분을 특정하고, 특정된 관측 화소 성분에 기초하여 1화소당 (n+1)개 이상의 화소값을 갖는 출력 화상을 추정하는 화상 추정 단계를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명에 있어서는, 1화소당 소정의 n개의 화소값을 갖는 복수의 입력 화상끼리의 위치 관계가 검출되고, 그 검출된 위치 관계에 기초하여 출력 화상의 화소 위치마다 복수의 입력 화상으로부터 고려할 관측 화소 성분을 특정하여, 특정된 관측 화소 성분에 기초하여 1화소당 (n+1)개 이상의 화소값을 갖는 출력 화상이 추정된다.

화상 처리 장치는 독립한 장치라도 되고, 1개의 장치의 화상 처리를 행하는 블록이라도 된다.

도 1은 본 발명을 적용한 디지털 카메라(1)의 일 실시 형태의 구성예를 도시하는 블록도이다.

도 2는 도 1의 디지털 카메라(1)의 촬상 처리에 대해 설명하는 플로우차트이다.

도 3은 도 1의 촬상 소자(4)의 화소의 배열을 나타내는 도면이다.

도 4는 도 1의 신호 처리 회로(7)의 상세한 구성예를 도시하는 블록도이다.

도 5는 1매째 화상과 2매째 화상과의 좌표의 관계에 대해 나타내는 도면이다.

도 6은 화상 추정 처리의 제1 실시 형태에 대해 설명하는 플로우차트이다.

도 7은 화상 추정 처리의 제1 실시 형태에 대해 설명하는 플로우차트이다.

도 8은 제2 실시 형태에서의 색 상관의 조건을 설명하는 도면이다.

도 9는 제2 실시 형태에서의 색 상관의 조건을 설명하는 도면이다.

도 10은 화상 추정 처리의 제2 실시 형태에 대해 설명하는 플로우차트이다.

도 11은 화상 추정 처리의 제2 실시 형태에 대해 설명하는 플로우차트이다.

도 12는 화상 추정 처리의 제2 실시 형태에 대해 설명하는 플로우차트이다.

도 13은 프레임 메모리(22-1)에 기억되는 1매째 화상을 나타내는 도면이다.

도 14는 프레임 메모리(22-2)에 기억되는 2매째 화상을 나타내는 도면이다.

도 15는 프레임 메모리(22-3)에 기억되는 3매째 화상을 나타내는 도면이다.

도 16은 촬상 소자(4)의 화소를 나타내는 도면이다.

도 17은 도 1의 촬상 소자(4)의 화소의 배열을 나타내는 도면이다.

도 18은 스프링 모델에 대해 설명하는 도면이다.

도 19는 스프링 모델에 대해 설명하는 도면이다.

도 20은 스프링 모델에 대해 설명하는 도면이다.

도 21은 스프링 모델에 대해 설명하는 도면이다.

도 22는 스프링 모델에 대해 설명하는 도면이다.

도 23은 스프링 모델에 대해 설명하는 도면이다.

도 24는 화상 추정 처리의 제3 실시 형태에 대해 설명하는 플로우차트이다.

도 25는 화상 추정 처리의 제4 실시 형태에 대해 설명하는 플로우차트이다.

도 26은 화상 추정 처리의 제5 실시 형태에 대해 설명하는 플로우차트이다.

도 27은 촬상 소자(4)의 각 화소가 녹색 성분(G신호)을 수광하고 있는 상태를 나타내는 도면이다.

도 28은 종방향의 에지를 설명하는 도면이다.

도 29는 횡방향의 에지를 설명하는 도면이다.

도 30은 좌상에서 우하 방향의 에지를 설명하는 도면이다.

도 31은 우상에서 좌하 방향의 에지를 설명하는 도면이다.

도 32는 종방향의 에지가 검출된 경우에 작성되는 평면(Q1)을 설명하는 도면이다.

도 33은 횡방향의 에지가 검출된 경우에 작성되는 평면(Q2)을 설명하는 도면이다.

도 34는 좌상에서 우하 방향의 에지가 검출된 경우에 작성되는 평면(Q3)을 설명하는 도면이다.

도 35는 우상에서 좌하 방향의 에지가 검출된 경우에 작성되는 평면(Q4)을 설명하는 도면이다.

도 36은 화상 추정 처리의 제6 실시 형태에 대해 설명하는 플로우차트이다.

도 37은 제7 실시 형태에서의 색 상관의 조건을 설명하는 도면이다.

도 38은 제7 실시 형태에서의 색 상관의 조건을 설명하는 도면이다.

도 39는 화상 추정 처리의 제7 실시 형태에 대해 설명하는 플로우차트이다.

도 40은 본 발명과 종래의 방법의 차이를 설명하는 도면이다.

도 41은 본 발명을 적용한 컴퓨터의 일 실시 형태의 구성예를 나타내는 플로우차트이다.

도 42는 큐빅 함수를 설명하는 도면이다.

도 43은 주목 위치(I’, J’)에서의 기준 좌표계상의 화소값을 설명하는 도면이다.

도 44는 예외 상태의 주목 위치(I’, J’)에서의 기준 좌표계상의 화소값을 설명하는 도면이다.

도 45는 G신호의 예외 처리를 설명하는 도면이다.

도 46은 G신호의 예외 처리를 설명하는 도면이다.

도 47은 R신호의 예외 처리를 설명하는 도면이다.

도 48은 R신호의 예외 처리를 설명하는 도면이다.

도 49는 화상 추정 처리의 제8 실시 형태에 대해 설명하는 플로우차트이다.

도 50은 화상 추정 처리의 제8 실시 형태에 대해 설명하는 플로우차트이다.

도 51은 화상 추정 처리의 제8 실시 형태에 대해 설명하는 플로우차트이다.

도 52는 화상 추정 처리의 제8 실시 형태에 대해 설명하는 플로우차트이다.

도 53은 화상 추정 처리의 제8 실시 형태에 대해 설명하는 플로우차트이다.

도 54는 촬상 화상(401₁∼401₈)을 나타내는 도면이다.

도 55는 1매째의 촬상 화상을 기준 화상으로 한 경우에 얻어지는 출력 화상을 설명하는 도면이다.

도 56은 중간 화상을 기준 화상으로 한 경우에 얻어지는 출력 화상을 설명하는 도면이다.

도 1은 본 발명을 적용한 디지털 (스틸) 카메라(1)의 일 실시 형태의 구성예를 도시하는 블록도이다.

도 1의 디지털 카메라(1)는 렌즈(2), 조리개(3), 촬상 소자(4), 상관 2중 샘플링 회로(5), A/D(Analog/Digital) 컨버터(6), 신호 처리 회로(7), 타이밍 제너레이터(8), D/A(Digital/Analog) 컨버터(9), 비디오 엔코더(10), 모니터(11), 코덱(CODEC)(12), 메모리(13), 버스(14), CPU(Central Processing Unit)(15) 및 입력 디바이스(16)로 구성된다. 또한, A/D 컨버터(6)는 시프트 회로(21)를, 신호 처리 회로(7)는 프레임 메모리(22)를 각각 갖고 있다.

미도시의 피사체로부터의 광은 렌즈(2), 조리개(3) 등의 광학계를 통과하여, 촬상 소자(4)에 입사된다. CCD나 CMOS 등으로 구성되는 단판 센서의 촬상 소자(4)는 소정의 화소(촬상 소자)수를 갖고 있다.

촬상 소자(4)는 타이밍 제너레이터(8)로부터 공급되는 노광 타이밍 신호에 따라, 소정의 간격으로 소정의 시간(셔터 시간)만큼 입사되는 피사체의 광을 수광한다. 그리고, 촬상 소자(4)는 촬상면상의 각 수광 소자에 도달한 수광량을 광전 변환에 의해 전기 신호로 변환하고, 그 전기 신호로 변환된 화상 신호를 상관 2중 샘플링 회로(5)에 공급한다. 촬상 소자(4)는 단판 센서로 되어 있으므로, 상관 2중 샘플링 회로(5)에 공급하는 전기 신호는 1화소당 R신호, G신호, B신호 중의 어느 1개의 색신호(데이터)이다.

여기에서, 카메라 흐려짐이 발생하고 있어도 보다 선명한 화상을 출력하기 위해, 촬상 소자(4)는 적정 노출에서의 셔터 속도(셔터 시간(노출 시간))보다 고속으로(짧은 셔터 시간으로) 복수매(이하에서는, N매라 한다) 촬상하는 것으로 한다. 따라서, 촬상 소자(4)에서 촬상된 N매의 화상(입력 화상)은 적정 노출로 촬상된 화상보다 어두운 것(적정 노출 미만으로 촬상된 것)이 되어 있으며, 적정 노출로 촬상된 화상의 Mk분의 1(=1/Mk)(k=1 내지 N)의 밝기라고 한다. 또, Mk의 값은, 예를 들면 셔터 속도에 의해 결정된다.

상관 2중 샘플링 회로(5)는 촬상 소자(4)로부터 공급되는 화상 신호(전기 신호)의 노이즈 성분을 상관 2중 샘플링에 의해 제거하고, A/D 컨버터(6)에 공급한다. A/D 컨버터(6)는 상관 2중 샘플링 회로(5)로부터 공급되는 노이즈 제거된 피사체의 화상 신호를 A/D 변환, 즉 샘플링하여 양자화한다. 그 후, 시프트 회로(21)가 적정 노출 이하의 어두운 화상인 A/D 변환후의 디지털 화상을, 예를 들면 n’비트 시프트하는 것 등에 의해 Mk배함으로써, 적정 노출과 동일한 밝기(값)의 화 상 신호로 변환하여(게인업하여), 신호 처리 회로(7)에 공급한다.

상관 2중 샘플링 회로(5)에서는 화상 신호의 노이즈 성분이 제거되지만, 노이즈 성분의 모든 것이 완전하게 제거되는 것은 아니다. 따라서, 상관 2중 샘플링 회로(5)에서 제거되지 않는 노이즈 성분도 존재한다. 이 경우, 상관 2중 샘플링 회로(5)에서 제거되지 않는 노이즈 성분은 화상 신호의 진정한 값에 대한 오차가 되어, 시프트 회로(21)에 있어서 화상 신호와 함께 Mk배되게 된다. 따라서, 오차는 시프트 회로(21)에서의 게인업의 양에 의존한다고 할 수 있다. 여기에서, 상관 2중 샘플링 회로(5)에서 제거되지 않는 노이즈 성분의 노이즈량을 E라 한다. 이 노이즈량(E)으로는 촬상 소자(4)의 특성에 따라, 예를 들면 예상되는 최대값을 채용할 수 있다. 여기에서, A/D 컨버터(6)로부터 신호 처리 회로(7)에 공급되는 화상 신호에는 노이즈량(E)의 Mk배(E×Mk) 정도의 노이즈가 포함된다. 또한, 예를 들면 Mk=8로 하면, 시프트 회로(21)에서는 n’=3으로서 k매째의 촬상 화상이 3비트 시프트됨으로써, 촬상 화상이 적정 노출의 경우와 동일한 밝기가 된다.

Mk배의 밝기로 변환되어 적정 노출과 동일한 밝기로 게인업된 A/D 컨버터(6)로부터 공급되는 N매의 촬상 화상의 화상 신호는, 신호 처리 회로(7)의 프레임 메모리(22)에 일시적으로 저장(기억)된다.

신호 처리 회로(7)는 미리 설정된 각종 프로그램에 따라, 프레임 메모리(22)에 기억되어 있는 적정 노출과 동일한 밝기로 게인업된 N매의 촬상 화상의 화상 신호에 소정의 처리를 실시한다.

즉, 신호 처리 회로(7)는 N매의 촬상 화상 중, 1매째의 촬상 화상을 기준 화상, 2 내지 N매째의 촬상 화상 각각을 타겟 화상으로 하여, 타겟 화상이 기준 화상에 대해 어떠한 위치 어긋남을 일으키고 있는지, 기준 화상과 타겟 화상의 위치 어긋남의 어긋남량(위치 관계)을 검출한다. 그리고, 신호 처리 회로(7)는 그 어긋남량에 기초하여 카메라 흐려짐이 보정된 1매의 선명한 화상(출력 화상)으로서의 1화소당 G신호, R신호, B신호의 전부를 갖는 출력 화상을 구하고, 그 구한 출력 화상의 화상 신호를 D/A 컨버터(9) 또는 코덱(12), 혹은 그 양쪽 모두에 공급한다. 신호 처리 회로(7)는 DSP(Digial Signal Processor) 등으로 구성할 수 있다. 또, 이하에 있어서는 특히 한정이 없는 경우에 있어서도, A/D 컨버터(6)보다 후단에서 처리되는 화상 신호는 적정 노출과 동일의 밝기로 게인업된 것이라 한다.

타이밍 제너레이터(8)는 소정의 간격으로 N매의 화상의 촬상이 행해지도록, 노광(노출) 타이밍 신호를 촬상 소자(4), 상관 2중 샘플링 회로(5), A/D 컨버터(6) 및 신호 처리 회로(7)에 공급한다. 이 간격은, 예를 들면 피사체의 밝기 등에 맞추어, 사용자가 변경할 수 있도록 되어 있다. 사용자가 간격을 변경하는 경우, 입력 디바이스(16)를 사용자가 조작함으로써 CPU(15)에서 결정되는 간격의 변경값이, CPU(15)로부터 버스(14)를 통해 타이밍 제너레이터(8)에 공급된다.

D/A 컨버터(9)는 신호 처리 회로(7)로부터 공급된 출력 화상의 화상 신호를 D/A 변환하여 비디오 엔코더(10)에 공급한다. 비디오 엔코더(10)는 D/A 컨버터(9)로부터 공급된 화상 신호(아날로그 신호)를 모니터(11)에 표시할 수 있는 비디오 신호로 변환하여 모니터(11)에 공급한다. 모니터(11)는 디지털 카메라(1)의 파인더 등의 역할을 하는 것으로서, LCD나 CRT 등으로 구성되고 비디오 엔코더(10)로부 터 공급되는 비디오 신호를 표시한다. 이에 따라, 모니터(11)에서는 선명한 화상이 표시된다.

코덱(12)은 신호 처리 회로(7)로부터 공급된 출력 화상의 화상 신호를, JPEG(Joint Photographic Experts Group) 방식, MPEG(Moving Picture Experts Group) 방식이나, DV(Digital Video) 방식 등의 소정의 방식에 따라 부호화하여, 메모리(13)에 공급한다.

메모리(13)는 플래시 메모리 등의 반도체 메모리로 구성되며, 코덱(12)으로부터 공급되는 부호화된 화상 신호를 일시적 또는 영구적으로 기억(기록)한다. 또, 메모리(13) 대신에 자기 디스크, 광(자기) 디스크 등의 기록 매체를 이용할 수 있다. 메모리(13) 또는 메모리(13) 대신에 이용하는 기록 매체는 디지털 카메라(1)에 대해 착탈 가능하게 할 수 있다. 또, 디지털 카메라(1)에 내장되는 기록 매체와 디지털 카메라(1)에 착탈 가능한 기록 매체의 양쪽 모두를 설치하도록 하는 것도 가능하다.

CPU(15)는 버스(14)를 통해 각부에 제어 신호를 공급하고, 각종의 처리를 제어한다. 예를 들면, 사용자의 조작에 따라 입력 디바이스(16)로부터 공급되는 촬상 개시의 신호에 따라 피사체를 촬상하고, 그 화상을 메모리(13)에 기억하도록, 각부에 제어 신호를 공급한다.

입력 디바이스(16)는 디지털 카메라(1) 본체에 있는 릴리즈 버튼 등의 조작 버튼류를 갖고 있다. 사용자가 조작 버튼을 조작함으로써 발생하는 각종 신호가 버스(14)를 통해 CPU(15)에 공급되고, CPU(15)는 입력 디바이스(16)로부터 버스 (14)를 통해 공급되는 각종의 신호에 따르는 처리를 실행하도록 각부를 제어한다. 또, 입력 디바이스(16)의 1 이상의 조작 버튼은 모니터(11)에 표시하는 것이 가능하다. 모니터(11)에 표시된 조작 버튼의 조작은, 예를 들면 모니터(11)상에 투명한 타블렛을 설치하여 그 타블렛에 의해 검출하도록 할 수 있다.

도 2의 플로우차트를 참조하여 디지털 카메라(1)의 촬상 처리에 대해 설명한다.

먼저, 단계 S1에 있어서 촬상 소자(4)는 피사체를 촬상한다. 즉, 촬상 소자(4)는 1회의 릴리즈 버튼(셔터 버튼) 압하에 의한 촬영에 있어서, 타이밍 제너레이터(8)로부터 공급되는 노광 타이밍 신호에 따라 소정의 간격으로 N단 연속하여 입사되는 피사체의 광을 수광함으로써, N회의 고속 촬상을 행한다. 따라서, 1회의 촬영에 있어서, N매의 촬상 화상이 얻어지고, 각 촬상 화상은 적정 노출 이하의 어두운 화상이 된다. 수광된 피사체의 광은 광전 변환되고, 상관 2중 샘플링 회로(5)에 있어서 노이즈 성분이 제거된 후, A/D 컨버터(6)에 공급된다. 그리고, 단계 S2로 진행한다.

단계 S2에 있어서, A/D 컨버터(6)는 상관 2중 샘플링 회로(5)로부터 공급되는 노이즈 제거된 피사체의 화상 신호를 디지털 변환한다. 그 후, 시프트 회로(21)가 적정 노출 이하의 어두운 화상을 n’비트 시프트하여 적정 노출과 같은 밝기(값)의 화상 신호로 변환하고(게인업하고), 신호 처리 회로(7)에 공급한 후, 단계 S3으로 진행한다.

단계 S3에 있어서, 신호 처리 회로(7)는 1매째의 화상을 기준 화상으로 하면서 2매째 이후의 각 화상을 타겟 화상으로 하여, 타겟 화상(2 내지 N매째의 화상)이 기준 화상에 대해 어떠한 위치 어긋남을 일으키고 있는지, 즉 기준 화상에 대한 타겟 화상의 위치 어긋남의 어긋남량(움직임량)을 검출하고, 단계 S4로 진행한다.

단계 S4에 있어서, 신호 처리 회로(7)는 N매의 촬상 화상과 단계 S3에서 검출된 기준 화상에 대한 타겟 화상의 위치 어긋남의 어긋남량에 기초하여, 화상 추정 처리를 행하고, 단계 S5로 진행한다. 화상 추정 처리의 상세는 후술하지만, 이 처리에 의해 신호 처리 회로(7)는 카메라 흐려짐이 보정된 1매의 선명한 화상(출력 화상)으로서의 1화소가 G신호, R신호, B신호의 전부를 갖는 출력 화상을 구하고, 그 구한 출력 화상의 화상 신호를 D/A 컨버터(9) 또는 코덱(12) 혹은 그 양쪽 모두에 공급한다.

단계 S5에서는 모니터(11)가 출력 화상을 표시하고, 플래시 메모리 등의 메모리(13)에 출력 화상을 기록하여, 처리를 종료한다. 즉, 단계 S5에서는, 단계 S4에서 신호 처리 회로(7)로부터 D/A 컨버터(9)에 공급된 화상 신호가 아날로그 신호로 변환되어 비디오 엔코더(10)에 공급된다. 또한, 단계 S5에서는, 비디오 엔코더(10)는 D/A 컨버터(9)로부터 공급된 화상 신호의 아날로그 신호를 모니터(11)에 표시할 수 있는 비디오 신호로 변환하여, 모니터(11)에 공급한다. 그리고, 단계 S5에 있어서, 모니터(11)는 비디오 엔코더(10)로부터 공급된 비디오 신호에 기초하여 화상을 표시하고, 처리를 종료한다. 또한, 단계 S5에서는 단계 S4에서 신호 처리 회로(7)로부터 코덱(12)에 공급된 화상 신호에 대해, JPEG나 MPEG 등의 소정의 부호화가 실시되고 플래시 메모리 등의 메모리(13)에 기록되어, 처리를 종료한다.

도 3은 촬상 소자(4)의 화소의 배열을 나타내고 있다. 또, 도 3에서는, 촬상 소자(4) 중의 좌상의 일부분의 화소(횡방향 6화소, 종방향 4화소의 합계 24화소)를 나타내고 있지만, 그 이외 부분의 화소도 마찬가지로 배치되어 있는 것으로 한다.

여기에서 도 3에 있어서, 촬상 소자(4)의 좌상의 각을 원점으로서 횡(오른쪽)방향을 X방향, 종(아래)방향을 Y방향으로 하는 X-Y 좌표계를 설정한다. 또한, 1화소의 종 및 횡방향의 길이(폭)를 각각 1로 한다. 이 경우, 왼쪽에서 i번째이며, 위로부터 j번째의 화소의 위치(중심 위치)는 (i-0.5, j-0.5)로 나타낼 수 있다.

도 3에 있어서, 촬상 소자(4)의 화소의 배열은, 이른바 베이어 배열이 되어 있다.

즉, G신호를 추출할 수 있는 화소로는, 원점으로부터 X방향으로 1번째이며, Y방향으로 1번째의 화소인 화소(GOO), 원점으로부터 X방향으로 3번째이며, Y방향으로 1번째의 화소인 화소(G02), 원점으로부터 X방향으로 5번째이며, Y방향으로 1번째의 화소인 화소(G04), 원점으로부터 X방향으로 2번째이며, Y방향으로 2번째의 화소인 화소(G11), 이하, 마찬가지로 화소(G13), 화소(G15), 화소(G20), 화소(G22), 화소(G24), 화소(G31), 화소(G33), 화소(G35)가 배치되어 있다.

또한, R신호를 추출할 수 있는 화소로는, 원점으로부터 X방향으로 2번째이며, Y방향으로 1번째의 화소인 화소(RO1), 원점으로부터 X방향으로 4번째이며, Y방향으로 1번째의 화소인 화소(R03), 원점으로부터 X방향으로 6번째이며, Y방향으로 1번째의 화소인 화소(R05), 원점으로부터 X방향으로 2번째이며, Y방향으로 3번째의 화소인 화소(R21), 이하, 마찬가지로 화소(R23), 화소(R25)가 배치되어 있다.

또한, B신호를 추출할 수 있는 화소로는, 원점으로부터 X방향으로 1번째이며, Y방향으로 2번째의 화소인 화소(B10), 원점으로부터 X방향으로 3번째이며, Y방향으로 2번째의 화소인 화소(B12), 원점으로부터 X방향으로 5번째이며, Y방향으로 2번째의 화소인 화소(B14), 원점으로부터 X방향으로 1번째이며, Y방향으로 4번째의 화소인 화소(B30), 이하, 마찬가지로 화소(B32), 화소(B34)가 배치되어 있다.

여기에서, 촬상 소자(4)의 X-Y 좌표계에서의 소정의 위치(x, y)(x, y는 실수)에 대해, 카메라 흐려짐이 없는 1매의 선명한 화상의 G신호, R신호, B신호를 각각 Lg(x, y), Lr(x, y), Lb(x, y)라 한다. 또한, 왼쪽으로부터 i번째이며, 위로부터 j번째인 「i번째, j번째의 화소」에 대해, 카메라 흐려짐이 없는 1매의 선명한 화상의 G신호, R신호, B신호를 각각 Lg(i, j), Lr(i, j), Lb(i, j)라 한다. 즉, Lg(x, y), Lr(x, y), Lb(x, y)(Lg(i, j), Lr(i, j), Lb(i, j)) 각각은, 소정의 위치(x, y)(「i번째, j번째의 화소」)에서의 카메라 흐려짐이나 노이즈가 없는 진정한 녹색, 적색, 청색의 광량(데이터)을 나타낸다. 따라서, 이하에 있어서는, Lg(x, y), Lr(x, y), Lb(x, y)(Lg(i, j), Lr(i, j), Lb(i, j)) 각각을 진정한 녹색 광량 Lg(x, y)(Lg(i, j)), 진정한 적색 광량 Lr(x, y)(Lr(i, j)), 진정한 청색 광량 Lb(x, y)(Lb(i, j))라 부른다. 또, x=i-0.5, y=j-O.5인 경우, Lg(x, y)=Lg(i, j), Lr(x, y)=Lr(i, j), Lb(x, y)=Lb(i, j)이다.

또한, 본 실시의 형태에 있어서는, 촬상 소자(4)의 화소의 배열은 베이어 배 열인 것으로 하지만, 화소의 배열은 베이어 배열로 한정되는 것이 아니라, 그 외의 배열이라도 된다.

다음으로, G신호, R신호, B신호 각각의 화소에 대해 사용하는 변수 ig, jg, ir, jr, ib, jb를 정의한다.

변수 ig, jg 각각은, G신호를 추출할 수 있는 화소에 대한, X방향의 위치(i), Y방향의 위치(j)를 나타낸다. 즉, 변수 ig, jg의 조합은 G신호를 추출할 수 있는 변수 i, j의 조합과 동일하다. 베이어 배열의 경우에는 그 배열의 성질로부터, 변수 i와 j의 차(i-j)가 짝수라고 하는 조건을 만족하는 변수 ig, jg라고 할 수 있다. 또, 당연한 일이지만, 변수 ig와 jg의 차(ig-jg)도 짝수가 된다. 따라서, 「ig번째, jg번째의 화소」란, G신호를 추출할 수 있는 화소이다. 또, 베이어 배열 이외의 배열의 경우에는, 그 배열의 성질에 따른 변수 ig, jg의 조건이 된다.

변수 ir, jr 각각은, R신호를 추출할 수 있는 화소에 대한, X방향의 위치(i), Y방향의 위치(j)를 나타낸다. 즉, 변수 ir, jr의 조합은 R신호를 추출할 수 있는, 변수 i, j의 조합과 동일하다. 베이어 배열의 경우에는 그 배열의 성질로부터, 변수 i가 짝수인 동시에 변수 i와 j의 차(i-j)가 홀수라고 하는 조건을 만족하는 변수 ir, jr라 할 수 있다. 또, 당연한 일이지만, 변수 ir과 jr의 차(ir-jr)도 홀수가 된다. 따라서, 「ir번째, jr번째의 화소」란, R신호를 추출할 수 있는 화소이다. 또, 베이어 배열 이외의 배열의 경우에는, 그 배열의 성질에 따른 변수 ir, jr의 조건이 된다.

변수 ib, jb 각각은, B신호를 추출할 수 있는 화소에 대한, X방향의 위치 (i), Y방향의 위치(j)를 나타낸다. 즉, 변수 ib, jb의 조합은 B신호를 추출할 수 있는 변수 i, j의 조합과 동일하다. 베이어 배열의 경우에는 그 배열의 성질로부터, 변수 i가 홀수인 동시에 변수 i와 j의 차(i-j)가 홀수라고 하는 조건을 만족하는 변수 ib, jb라 할 수 있다. 또, 당연한 일이지만, 변수 ib와 jb의 차(ib-jb)도 홀수가 된다. 따라서, 「ib번째, jb번째의 화소」란, B신호를 추출할 수 있는 화소이다. 또, 베이어 배열 이외의 배열의 경우에는, 그 배열의 성질에 따른 변수 ib, jb의 조건이 된다.

다음으로, 도 3에 나타낸 촬상 소자(4)의 각 화소에서 수광하여 얻어지는 색신호(G신호, R신호, B신호)의 값(화소값)에 대해 정의한다.

상기한 바와 같이, 촬상 소자(4)에서는 N매의 화상이 촬상된다. 따라서, 촬상 소자(4)의 1개의 화소에 대해 n개의 화소값을 얻을 수 있다. 그래서, k매째(k=1 내지 N)의 「ig번째, jg번째의 화소」에서 얻어지는 화소값을 Gobs(k, ig, jg), k매째(k=1 내지 N)의 「ir번째, jr번째의 화소」에서 얻어지는 화소값을 Robs(k, ir, jr), k매째(k=1 내지 N)의 「ib번째, jb번째의 화소」에서 얻어지는 화소값을 Bobs(k, ib, jb)라 한다. 예를 들면, 1매째의 화소(GOO)에서 얻어지는 화소값은 Gobs(1, 1, 1)로 표시되며, 2매째의 G04에서 얻어지는 화소값은 Gobs(2, 5, 1)로 표시된다. 또, 이하에 있어서, 특히 한정이 없는 경우, k는 1 내지 N의 정수를 나타내는 것으로 한다.

반대로 말하면, 화소값 Gobs(k, ig, jg), Robs(k, ir, jr), Bobs(k, ib, jb)를 갖는 화소는, 각각 화소 G(jg-1)(ig-1), R(jr-1)(ir-1), B(jb-1)(ib-1)이다.

도 4는 도 1의 신호 처리 회로(7)의 일부분에 대한 상세한 구성예를 나타내고 있다. 신호 처리 회로(7)는 프레임 메모리(22), 움직임 검출 회로(23), 연산 회로(24), 컨트롤러(25)로 구성되어 있다. 또한, 프레임 메모리(22)는 프레임 메모리(22-1 내지 22-N), 움직임 검출 회로(23)는 움직임 검출 회로(23-1 내지 23-(N-1))로 구성되어 있다.

상기한 바와 같이, A/D 컨버터(6)로부터 N매의 촬상 화상이 프레임 메모리(22)에 공급된다. 프레임 메모리(22-1)는 A/D 컨버터(6)로부터 공급되는 1매째의 촬상 화상을 기억(저장)한다. 프레임 메모리(22-2)는 A/D 컨버터(6)로부터 공급되는 2매째의 촬상 화상을 기억한다. 이하 마찬가지로 하여, 프레임 메모리(22-k)는 A/D 컨버터(6)로부터 공급되는 k매째의 촬상 화상을 프레임 메모리(22-k)에 기억한다(k=3 내지 N).

프레임 메모리(22-1)는 소정의 타이밍에 있어서, 기억하고 있는 1매째의 촬상 화상을 연산 회로(24)와 움직임 검출 회로(23-1 내지 23-(N-1))에 공급한다. 프레임 메모리(22-2)는 소정의 타이밍에 있어서, 기억하고 있는 2매째의 촬상 화상을 연산 회로(24)와 움직임 검출 회로(23-1)에 공급한다. 이하, 마찬가지로 하여, 프레임 메모리(22-k)는 소정의 타이밍에 있어서, 기억하고 있는 k매째의 촬상 화상을 연산 회로(24)와 움직임 검출 회로(23-(k-1))에 공급한다.

움직임 검출 회로(23)는 2매의 촬상 화상끼리의 위치 관계를 검출한다. 즉, 움직임 검출 회로(23)는 1매째의 촬상 화상을 기준 화상으로 하면서 2매째 이후의 각 촬상 화상을 타겟 화상으로 하여, 타겟 화상(2 내지 N매째의 화상)이 기준 화상에 대해 어떠한 위치 어긋남을 일으키고 있는지, 기준 화상에 대한 타겟 화상의 위치 어긋남의 어긋남량(움직임량)을 검출한다. 또, 이 어긋남량은, 예를 들면 손떨림에 의해 생기는 것이다.

움직임 검출 회로(23-1)에는 기준 화상으로서의 1매째의 촬상 화상이 프레임 메모리(22-1)로부터, 타겟 화상으로서의 2매째의 촬상 화상이 프레임 메모리(22-2)로부터, 각각 공급된다.

움직임 검출 회로(23-1)는 2매째의 촬상 화상의 각 화소(혹은, 화면 전체를 복수의 블록으로 분할했을 때의 각 블록)가 1매째의 촬상 화상의 어느 위치에 대응하고 있는지를 검출하고, 1매째의 촬상 화상과 2매째의 촬상 화상의 위치 관계가 다음 식 (1)로 나타내지는 것 같은, 회전 각도(θ2), 스케일(S2), 평행 이동량(T2x, T2y)으로 구성되는 변환 파라미터(θ2, T2x, T2y, S2)를 구하여 연산 회로(24)에 공급한다.

식 (1)은, 이른바 아핀 변환의 식으로서, 식 (1)에 있어서, (X2, Y2)는 2매째의 촬상 화상의 화소의 위치이고, (X1₍₂₎, Y1₍₂₎)는 1매째의 촬상 화상상의 위치이다. 아래첨자의 (2)는 2매째의 촬상 화상이 있는 위치가 위치 변환된 것을 나타내고 있다.

이 변환 파라미터(θ2, T2x, T2y, S2)는 2매째의 촬상 화상상의 위치(X2, Y2)가 1매째의 촬상 화상상의 위치(X1, Y1)에 대해, 예를 들면 손에 들고 촬영한 탓에 각도 θ2만큼 회전하고 피사체 방향으로 디지털 카메라(1)가 이동했기 때문에, 화상이 S2배만큼 확대(S2＜1일 때는 축소)되고 피사체에 대해 평행 방향으로 (T2x, T2y)만큼 어긋난 것을 의미한다. 또, 통상 손떨림의 경우에는, 촬상 소자(4)의 면과 평행한 횡방향의 흐려짐(흔들림)의 영향이 크고 디지털 카메라(1)로부터 피사체의 방향에 대한 흐려짐(흔들림)은 적기 때문에, 디지털 카메라(1)로부터 피사체의 방향에 대해서는 영향이 없다고 하여, S2=1이라고 근사해도 된다.

또한, 움직임 검출 회로(23-2)에는 기준 화상으로서의 1매째의 촬상 화상이 프레임 메모리(22-1)로부터, 타겟 화상으로서의 3매째의 촬상 화상이 프레임 메모리(22-3)로부터, 각각 공급된다.

움직임 검출 회로(23-2)는 3매째의 촬상 화상의 각 화소(혹은, 화면 전체를 복수의 블록으로 분할했을 때의 각 블록)가 1매째 촬상 화상의 어느 위치에 대응하고 있는지를 검출하고, 1매째의 촬상 화상과 3매째의 촬상 화상의 위치 관계가 다음 식 (2)로 나타내지는 것 같은, 회전 각도(θ3), 스케일(S3), 평행 이동량(T3x, T3y)으로 구성되는 변환 파라미터(θ3, T3x, T3y, S3)를 구하여, 연산 회로(24)에 공급한다.

식 (2)는, 이른바 아핀 변환의 식으로서, 식 (2)에 있어서, (X3, Y3)은 3매 째의 촬상 화상의 화소의 위치이고, (X1₍₃₎, Y1₍₃₎)은 1매째의 촬상 화상상의 위치이다. 아래첨자의 (3)은 3매째의 촬상 화상이 있는 위치가 위치 변환된 것을 나타내고 있다.

이 변환 파라미터(θ3, T3x, T3y, S3)는 3매째의 촬상 화상상의 위치(X3, Y3)가 1매째의 촬상 화상상의 위치(X1, Y1)에 대해, 손에 들고 촬영한 탓에 각도 θ3만큼 회전하고 피사체 방향으로 디지털 카메라(1)가 이동했기 때문에, 화상이 S3배만큼 확대(S3＜1일 때는 축소)되고 피사체에 대해 평행 방향으로 (T3x, T3y)만큼 어긋난 것을 의미한다. 또, 통상 손떨림의 경우에는, 촬상 소자(4)의 면과 평행한 횡방향의 흐려짐(흔들림)의 영향이 크고 디지털 카메라(1)로부터 피사체의 방향에 대한 흐려짐(흔들림)은 적기 때문에, 디지털 카메라(1)로부터 피사체의 방향에 대해서는 영향이 없다고 하여 S3=1이라고 근사해도 된다.

이하 마찬가지로, 움직임 검출 회로(23-(k-1))에는, 기준 화상으로서의 1매째의 촬상 화상이 프레임 메모리(22-1)로부터, 타겟 화상으로서의 k매째의 촬상 화상이 프레임 메모리(22-k)로부터, 각각 공급된다.

움직임 검출 회로(23-(k-1))는 k매째의 촬상 화상의 각 화소(혹은, 화면 전체를 복수의 블록으로 분할했을 때의 각 블록)가 1매째의 촬상 화상의 어느 위치에 대응하고 있는지를 검출하고, 1매째의 촬상 화상과 k매째의 촬상 화상의 위치 관계가 다음 식 (3)으로 나타내지는 것 같은, 회전 각도(θk), 스케일(Sk), 평행 이동량(Tkx, Tky)으로 구성되는 변환 파라미터(θk, Tkx, Tky, Sk)를 구하여, 연산 회 로(24)에 공급한다.

(k=4 내지 N)

··· (3)

식 (3)은, 이른바 아핀 변환의 식으로서, 식 (3)에 있어서, (Xk, Yk)는 k매째의 촬상 화상의 화소의 위치이고, (X1_(k), Y1_(k))는 1매째의 촬상 화상상의 위치이다. 아래첨자의 (k)는 k매째의 화상이 있는 위치가 위치 변환된 것을 나타내고 있다.

이 변환 파라미터(θk, Tkx, Tky, Sk)는 k매째의 촬상 화상상의 위치(Xk, Yk)가 1매째의 촬상 화상상의 위치(X1, Y1)에 대해, 손에 들고 촬영한 탓에 각도 θk만큼 회전하고 피사체 방향으로 디지털 카메라(1)가 이동했기 때문에, 화상이 Sk배만큼 확대(Sk＜1일 때는 축소)되고 피사체에 대해 평행 방향으로 (Tkx, Tky)만큼 어긋난 것을 의미한다. 또, 통상 손떨림의 경우에는, 촬상 소자(4)의 면과 평행한 횡방향의 흐려짐(흔들림)의 영향이 크고 디지털 카메라(1)로부터 피사체의 방향에 대한 흐려짐(흔들림)은 적기 때문에, 디지털 카메라(1)로부터 피사체의 방향에 대해서는 영향이 없다고 하여 Sk=1이라고 근사해도 된다.

변환 파라미터(θk, Tkx, Tky, Sk)는 전술한 바와 같이, 1매째의 촬상 화상을 기준으로 하는 k매째의 촬상 화상의 위치 관계로부터 구하는 외에, 디지털 카메 라(1)에 가속도 센서를 설치하고 그 가속도 센서의 출력으로부터, 말하자면 메커니컬적으로 구하도록 할 수도 있다.

연산 회로(24)에는 프레임 메모리(22-1 내지 22-N)로부터 N매의 촬상 화상이 공급된다. 또한, 연산 회로(24)에는 움직임 검출 회로(23-1 내지 23-(N-1))로부터 1매째의 촬상 화상과 k매째의 촬상 화상의 위치 관계를 나타내는 변환 파라미터(θk, Tkx, Tky, Sk)가 공급된다.

연산 회로(24)는 움직임 검출 회로(23-1 내지 23-(N-1))로부터 공급되는 2 내지 N매째의 촬상 화상의 1매째의 촬상 화상에 대한 위치 관계에 기초하여, 후술하는 화상 추정 처리를 행함으로써, 카메라 흐려짐을 보정한 1매의 선명한 출력 화상의 화상 신호(G신호, R신호, B신호)를 추정하여, D/A 컨버터(9) 또는 코덱(12)에 공급한다. A/D 컨버터(6)로부터 신호 처리 회로(7)에 공급되는 N매의 촬상 화상 각각은, 1화소가 G신호, R신호, B신호 중의 어느 1개를 갖는 신호인데 비해, 연산 회로(24)가 추정하는 화상 신호는 1화소당 G신호, R신호, B신호의 3개의 색신호를 갖는 신호(데이터)이다.

컨트롤러(25)는 CPU(15)의 제어에 따라, 신호 처리 회로(7)내의 프레임 메모리(22-1 내지 22-N), 움직임 검출 회로(23-1 내지 23-(N-1)), 연산 회로(24) 등의 제어를 행한다. 또, CPU(15)(도 1)가 컨트롤러(25)에 대신하여 신호 처리 회로(7)내의 프레임 메모리(22-1 내지 22-N), 움직임 검출 회로(23-1 내지 23-(N-1)), 연산 회로(24) 등의 제어를 행하도록 할 수 있어, 이 경우에는 컨트롤러(25)를 생략 할 수 있다.

또, 베이어 배열 등을 사용한 단판 센서에서는 G신호의 화소수에 대해, R신호나 B신호의 화소수가 적어져 있다. 그 때문에, 신호 처리 회로(7)에서 얻어지는 출력 화상에서의 R신호나 B신호는 G신호와 비교하여 오차가 커지는 경우가 있다. 그러한 경우에는, 연산 회로(24)의 후단에, 휘도 신호는 그대로, 색차 신호에 대해서만 고주파 성분의 대역을 제한하는 로우패스 필터를 배치함으로써, 노이즈를 제거할 수 있다.

또한, 연산 회로(24)를 연속 촬상하고 있는 동안에 촬상 화상을 순차적으로 취득하면서 처리가 가능한 리얼 타임 처리를 행하는 고속 연산 회로로 함으로써, 프레임 메모리(22-1 내지 22-N), 및 움직임 검출 회로(23-1 내지 23-(N-1))의 수를 적게 구성할 수 있다. 이에 따라, 신호 처리 회로(7)의 규모를 작게 하는 것이 가능해진다.

다음으로, 상술한 신호 처리 회로(7)에서의 화상 추정 처리의 제1 실시 형태에 대해 설명한다.

또, 예를 들면 촬상 소자(4)의 각 화소(의 수광부)의 바로 위에는, 미도시의 온칩 렌즈가 배치되어 있는 것으로 한다. 온칩 렌즈는, 그 온칩 렌즈내에 입사한 피사체의 광 모두를 1점에 수속한다. 따라서, 온칩 렌즈의 바로 밑에 있는 화소는 온칩 렌즈내에 입사한 피사체의 광 모두를 적분값으로서 수광할 수 있다. 이에 따라, 각 화소의 검출 감도가 좋아진다는 효과를 얻을 수 있다.

따라서, 촬상 소자(4)의 각 화소에서 수광되는 데이터(수광량)는 그 화소의 어느 1점에 입사되는 피사체의 광의 값이 아니라(즉, 포인트 샘플링된 데이터가 아 니라), 어느 유한의 면적을 가진 면(수광면)에 입사되는 피사체의 광의 적분값이다.

제1 실시 형태에서는, 이 온칩 렌즈의 특성을 정확하게 정식화함으로써, 화상 추정 처리로서 선명한 화상(출력 화상)을 구한다. 또, 종래에서는 각 화소의 데이터는 포인트 샘플링된 데이터로서 생각하는 것이 일반적이었다. 그러나, 본래는 상기한 바와 같이, 실제의 촬상 소자(4)의 각 화소의 수광량은 어느 면적을 갖는 면에 입사한 광의 값(적분값)이 되기 때문에, 정확한 화상을 추정(복원)하고 있다고는 하기 어려웠다.

먼저, 프레임 메모리(22-1)에 기억되어 있는 1매째의 화상에 대해, 각 화소에서 얻어지는 화소값과 온칩 렌즈에 의해 입사되는 광의 관계를 정식화한다.

예를 들면, 도 3의 가장 좌상의 「1번째, 1번째의 화소」인 화소(GOO)에 대해서는, 그 화소값 Gobs(1, 1, 1)과 진정한 녹색 광량(Lg(x, y))의 관계는 다음 식 (4)와 같이 나타낼 수 있다.

단판 센서인 수광 소자(4)의 가장 좌상의 화소(GOO)에는, 입사되는 광 중 녹색의 성분만을 투과하도록 녹색의 필터가 장착되어 있다. 화소(GOO)가 수광하는 광은 온칩 렌즈의 효과 때문에, 도 3의 좌표계에 있어서 (0, 0), (0, 1), (1, 0) 및 (1, 1)로 둘러싸인 직사각형 영역에 입사하는 광이 된다. 즉, (0, 0), (0, 1), (1, 0) 및 (1, 1)로 둘러싸인 직사각형 영역에 입사되는 피사체의 광의 전부는 「1 번째, 1번째의 화소」인 GOO에서 수광된다.

식 (4)의 좌변은 1매째의 촬상 화상의 좌표계의 위치(x, y)에서의(입사하는) 진정한 녹색 광량(Lg(x, y))을 (0, 0), (0, 1), (1, 0) 및 (1, 1)로 둘러싸인 직사각형 영역, 즉 O≤x＜1 및 O≤y＜1에서 적분한 것이다. 또한, 식 (4)의 우변은 그 때 1매째의 「1번째, 1번째의 화소」에서 얻어지는(관측되는) 화소값 Gobs(1, 1, 1)이다. 식 (4)는 1매째의 촬상시에서의 화소(GOO)의 수광면에 입사하는 진정한 녹색 광량(Lg(x, y))의 그 수광면에서의 적분값이 화소(GOO)에서 관측되는 화소값 Gobs(1, 1, 1)과 동일한 것을 나타내고 있다.

또, 온칩 렌즈의 성능에 따라서는, 각 화소의 주변부(이른바, 「가장자리」 부분)에 입사되는 피사체의 광을 수속시킬 수 없는 경우도 있다. 그 경우, 식 (4)의 좌변에서 적분되는 범위를, 예를 들면 한 단계 작게 하여, 예를 들면 (0.1, 0.1), (0.1, O.9), (0.9, O.1) 및 (0.9, O.9)로 둘러싸이는 직사각형 영역으로 하면 된다.

또한, 디지털 카메라에서는 단판 센서의 결점인 위색(僞色)을 회피하기 위해, 옵티컬 로우패스 필터를 각 화소의 앞에 장착하고 있는 것이 많고, 그 경우, 1화소의 직사각형 영역보다 조금 광범위한 광이 화소에 입력된다. 그 때에는, 식 (4)의 좌변에서 적분되는 범위를, 반대로 한 단계 큰 직사각형 영역으로 하면 된다.

다음으로, 도 3에 있어서 화소(GOO)의 오른쪽 옆에 있는 「2번째, 1번째의 화소」인 화소(R01)에 대해 생각한다.

「2번째, 1번째의 화소」인 화소(RO1)에 대해서는, 그 화소값 Robs(1, 2, 1)와 진정한 녹색 광량(Lg(x, y))의 관계는 다음 식 (5)와 같이 나타낼 수 있다.

단판 센서인 수광 소자(4)의 가장 좌상의 화소(R01)에는, 입사되는 광 중 적색의 성분만을 투과하도록 적색의 필터가 장착되어 있다. 화소(R01)가 수광하는 광은 온칩 렌즈의 효과 때문에, 도 3의 좌표계에 있어서 (1, 0), (1, 1), (2, 0) 및 (2, 1)로 둘러싸인 직사각형 영역에 입사하는 광이 된다. 즉, (1, 0), (1, 1), (2, 0) 및 (2, 1)로 둘러싸인 직사각형 영역에 입사되는 피사체의 광의 전부는 「2번째, 1번째의 화소」인 R01에서 수광된다.

식 (5)의 좌변은 1매째의 촬상 화상의 좌표계의 위치(x, y)에서의(입사하는) 진정한 적색 광량(Lr(x, y))을 (1, 0), (1, 1), (2, 0) 및 (2, 1)로 둘러싸인 직사각형 영역, 즉 1≤x＜2 및 0≤y＜1에서 적분한 것이다. 또한, 식 (5)의 우변은 그 때 1매째의 「2번째, 1번째의 화소」에서 얻어지는(관측되는) 화소값 Robs(1, 2, 1)이다. 식 (5)는 1매째의 촬상시에서의 화소(R01)의 수광면에 입사하는 진정한 적색 광량(Lr(x, y))의 그 수광면에서의 적분값이 화소(R01)에서 관측되는 화소값 Robs(1, 2, 1)와 동일한 것을 나타내고 있다.

또, 온칩 렌즈의 성능에 따라서는, 각 화소의 주변부(이른바, 「가장자리」 부분)에 입사되는 피사체의 광을 수속시킬 수 없는 경우도 있다. 그 경우, 식 (5) 의 좌변에서 적분되는 범위를, 예를 들면 한 단계 작게 하여, 예를 들면 (1.1, O.1), (1.1, 0.9), (1.9, 0.1) 및 (1.9, O.9)로 둘러싸인 직사각형 영역으로 하면 된다.

또한, 디지털 카메라에서는 단판 센서의 결점인 위색을 회피하기 위해, 옵티컬 로우패스 필터를 각 화소의 앞에 장착하고 있는 것이 많아, 그 경우, 1화소의 직사각형 영역보다 조금 광범위한 광이 화소에 입력된다. 그 때에는, 식 (5)의 좌변에서 적분되는 범위를, 반대로 한 단계 큰 직사각형 영역으로 하면 된다.

1매째의 촬상 화상의 그 밖의 화소에 대해서도 마찬가지로 식을 만들 수 있다. 즉, 도 3에 있어서 「ig번째, jg번째의 화소」인 화소(G(jg-1)(ig-1))에 대해서는, 그 화소값 Gobs(1, ig, jg)와 진정한 녹색 광량(Lg(x, y))의 관계는 식 (6)과 같이 나타낼 수가 있다.

식 (6)은 진정한 녹색 광량(Lg(x, y))을, 도 3의 좌표계에 있어서 (ig-1, jg-1), (ig-1, jg), (ig, jg-1) 및 (ig, jg)로 둘러싸인 직사각형 영역, 즉 1매째의 촬상 화상의 좌표계의 ig-1≤x＜ig 및 jg-1≤y＜jg에서 적분한 것이 화소값 Gobs(1, ig, jg)인 것을 나타내고 있다.

또한, 도 3에 있어서 「ir번째, jr번째의 화소」인 R(jr-1)(ir-1)에 대해서는, 그 화소값 Robs(1, ir, jr)와 진정한 적색 광량(Lr(x, y))의 관계는 식 (7)과 같이 나타낼 수가 있다.

···(7)

식 (7)은 진정한 적색 광량(Lr(x, y))을 도 3의 좌표계에 있어서 (ir-1, jr-1), (ir-1, jr), (ir, jr-1) 및 (ir, jr)로 둘러싸인 직사각형 영역, 즉 1매째의 촬상 화상의 좌표계의 ir-1≤x＜ir 및 jr-1≤y＜jr에서 적분한 것이 화소값 Robs(1, ir, jr)인 것을 나타내고 있다.

또한, 도 3에 있어서 「ib번째, jb번째의 화소」인 화소(B(jb-1)(ib-1))에 대해서는, 그 화소값 Bobs(1, ib, jb)과 진정한 청색 광량(Lb(x, y))의 관계는 식 (8)과 같이 나타낼 수 있다.

식 (8)은 진정한 청색 광량(Lb(x, y))을 도 3의 좌표계에 있어서 (ib-1, jb-1), (ib-1, jb), (ib, jb-1) 및 (ib, jb)로 둘러싸인 직사각형 영역, 즉 1매째의 촬상 화상의 좌표계의 ib-1≤x＜ib 및 jb-1≤y＜jb에서 적분한 것이 화소값 Bobs(1, ib, jb)인 것을 나타내고 있다.

또, 실제로는 상기한 바와 같이, 화상 신호(관측되는 화소값)에는 노이즈량(E)도 포함되어 있으며, 또한 그 노이즈량(E)은 Mk배로 게인업되어 있다. 따라서, (E×Mk)의 노이즈 성분을 식 (6), (7), (8)에 고려하면 각각, 식 (9), (10), (11)로 나타내지는 광량 적분 조건식이 얻어진다.

여기에서, |x|는 x의 절대값을 나타낸다.

식 (9)는 광량(Lg(x, y))의 적분값과 관측되는 화소값 Gobs(1, ig, jg)의 차가 상정할 수 있는 노이즈량의 최대값(M1×E) 이하인 것을 나타내고 있다. 식 (10) 및 식 (11)도 마찬가지이다.

이하의 설명에서는, k매째의 촬상 화상을 k매째 화상이라 하기로 한다.

다음으로, 프레임 메모리(22-2)에 기억되어 있는 2매째 화상에 대해, 1매째 화상과 마찬가지로 각 화소에서 얻어지는(관측되는) 화소값과 온칩 렌즈에 의해 입사되는 광의 관계를 정식화한다.

2매째 이후의 촬상 화상의 좌표계는 움직임 검출 회로(23)에 의해 검출된 변환 파라미터(θk, Tkx, Tky, Sk)(k=2 내지 N)를 이용하여 1매째의 촬상 화상의 좌표계로 변환된다.

2매째 화상의 「1번째, 1번째의 화소」인 화소(GOO)에 대해서는, 그 화소값 Gobs(2, 1, 1)과 녹색의 광량(Lg(x, y))의 관계는 다음 식(12)와 같이 나타낼 수 있다.

수광 소자(4)의 가장 좌상의 화소(GOO)는, 입사되는 광 중 녹색의 성분만을 흡수하도록 녹색의 필터가 장착되어 있다. 화소(GOO)가 수광하는 광은 온칩 렌즈의 효과 때문에, 2매째 화상의 좌표계에 있어서 (0, 0), (0, 1), (1, 0) 및 (1, 1)로 둘러싸인 직사각형 영역에 입사하는 광이 된다.

그 2매째 화상의 좌표계에서의 위치(0, 0), (0, 1), (1, 0) 및 (1, 1)을 변환 파라미터(θ2, T2x, T2y, S2)를 이용하여 1매째 화상의 좌표계로 변환한 위치가 (0₍₂₎, 0₍₂₎), (0₍₂₎, 1₍₂₎), (1₍₂₎, 0₍₂₎) 및 (1₍₂₎, 1₍₂₎)이다. 따라서, (0₍₂₎, 0₍₂₎), (0₍₂₎, 1₍₂₎), (1₍₂₎, 0₍₂₎) 및 (1₍₂₎, 1₍₂₎)로 둘러싸인 직사각형 영역에 입사되는 피사체의 광의 전부는 2매째의 촬상시에 「1번째, 1번째의 화소」인 화소(GOO)에서 수광된다. 또, 2매째 화상의 위치(x, y)를 1매째의 화상의 좌표로 변환한 위치를 P(2, x, y)라 표기하기로 한다.

식 (12)의 좌변은 진정한 녹색 광량(Lg(x, y))을 P(2, 0, 0), P(2, 0, 1), P(2, 1, 0) 및 P(2, 1, 1)로 둘러싸인 직사각형 영역, 즉 1매째 좌표계에 있어서 (0₍₂₎, 0₍₂₎),(0₍₂₎, 1₍₂₎), (1₍₂₎, 0₍₂₎) 및 (1₍₂₎, 1₍₂₎)로 둘러싸인 직사각형 영역에서 적분한 것이다. 또한, 식 (12)의 우변은, 그 때 2매째 화상의 「1번째, 1번째의 화소」에서 얻어지는 화소값 Gobs(2, 1, 1)이다. 식 (12)는 2매째의 화소(GOO)에서 관측되는 화소값 Gobs(2, 1, 1)가 1매째의 촬상시에서의 좌표계에 있어서, (0₍₂₎, 0₍₂₎), (0₍₂₎, 1₍₂₎), (1₍₂₎, 0₍₂₎) 및 (1₍₂₎, 1₍₂₎)로 둘러싸인 직사각형 영역의 범위에 입사하는 진정한 녹색 광량(Lg(x, y))의 적분값과 동일한 것을 나타낸다. 식 (12)에 있어서, ∫∫dxdy는 (0₍₂₎, 0₍₂₎), (0₍₂₎, 1₍₂₎), (1₍₂₎, 0₍₂₎) 및 (1₍₂₎, 1₍₂₎)로 둘러싸인 직사각형 영역의 적분을 나타내는 것으로 한다. 식 (13) 이후도 마찬가지이다.

또, 온칩 렌즈의 성능에 따라서는, 각 화소의 주변부(이른바, 「가장자리」 부분)에 입사되는 피사체의 광을 수속시킬 수 없는 경우도 있다. 그 경우, 식 (12)의 좌변에서 적분되는 범위를 상술한 1매째의 화상의 경우와 마찬가지로, 한 단계 작은 직사각형 영역으로 하면 된다.

또한, 디지털 카메라에서는 단판 센서의 결점인 위색을 회피하기 위해, 옵티컬 로우패스 필터를 각 화소의 앞에 장착하고 있는 것이 많아, 그 경우 1화소의 직사각형 영역보다 조금 광범위의 광이 화소에 입력된다. 그 때에는, 식 (12)의 좌변에서 적분되는 범위를, 반대로 한 단계 큰 직사각형 영역으로 하면 된다.

다음으로, 2매째 화상의 화소(GOO)의 오른쪽 옆이 되는 「2번째, 1번째의 화소」인 화소(RO1)에 대해 생각한다.

2매째 화상의 「2번째, 1번째의 화소」인 화소(RO1)에 대해서는, 그 화소값 Robs(2, 2, 1)와 진정한 적색 광량(Lr(x, y))의 관계는, 다음 식 (13)과 같이 나타낼 수 있다.

수광 소자(4)의 가장 좌상의 화소(RO1)는, 입사되는 광 중 적색의 성분만을 흡수하도록 적색의 필터가 장착되어 있다. 화소(RO1)가 수광하는 부분은 온칩 렌즈의 효과 때문에, 2매째 화상의 좌표계에 있어서 (1, 0), (1, 1), (2, 0) 및 (2, 1)로 둘러싸인 직사각형 영역에 입사하는 광이 된다.

그 2매째 화상의 좌표계에서의 위치 (1, 0), (1, 1), (2, 0) 및 (2, 1)을 변환 파라미터(θ2, T2x, T2y, S2)를 이용하여 1매째 화상의 좌표계로 변환한 위치가, (1₍₂₎, 0₍₂₎), (1₍₂₎, 1₍₂₎), (2₍₂₎, 0₍₂₎) 및 (2₍₂₎, 1₍₂₎)이다. 따라서, (1₍₂₎, 0₍₂₎), (1₍₂₎, 1₍₂₎), (2₍₂₎, 0₍₂₎) 및 (2₍₂₎, 1₍₂₎)로 둘러싸인 직사각형 영역에 입사되는 피사체의 광의 전부는 2매째의 촬상시에 「2번째, 1번째의 화소」인 RO1에서 수광된다.

식 (13)의 좌변은 진정한 적색 광량(Lr(x, y))을 P(2, 1, 0), P(2, 1, 1), P(2, 2, 0) 및 P(2, 2, 1)로 둘러싸인 직사각형 영역, 즉 1매째 좌표계에 있어서 (1₍₂₎, 0₍₂₎), (1₍₂₎, 1₍₂₎), (2₍₂₎, 0₍₂₎) 및 (2₍₂₎, 1₍₂₎)로 둘러싸인 직사각형 영역에서 적분한 것이다. 또한, 식 (13)의 우변은, 그 때 2매째의 「2번째, 1번째의 화소」에서 얻어지는 화소값 Robs(2, 2, 1)이다. 식 (13)은 2매째의 화소(R01)에서 관측되는 화소값 Robs(2, 2, 1)가 1매째의 촬상시에서의 좌표계에 있어서, (1₍₂₎, 0₍₂₎), (1₍₂₎, 1₍₂₎), (2₍₂₎, 0₍₂₎) 및 (2₍₂₎, 1₍₂₎)로 둘러싸인 직사각형 영역의 범위에 입사하 는 진정한 적색 광량(Lr(x, y))의 적분값과 동일한 것을 나타낸다.

또, 온칩 렌즈의 성능에 따라서는 각 화소의 주변부(이른바, 「가장자리」 부분)에 입사되는 피사체의 광을 수속시킬 수 없는 경우도 있다. 그 경우, 식 (13)의 좌변에서 적분되는 범위를, 예를 들면 한 단계 작은 직사각형 영역으로 하면 된다.

또한, 디지털 카메라에서는 단판 센서의 결점인 위색을 회피하기 위해, 옵티컬 로우패스 필터를 각 화소의 앞에 장착하고 있는 것이 많아, 그 경우, 1화소의 직사각형 영역보다 조금 광범위한 광이 화소에 입력된다. 그 때에는, 식 (13)의 좌변에서 적분되는 범위를, 반대로 한 단계 큰 직사각형 영역으로 하면 된다.

2매째 화상의 그 밖의 화소에 대해서도 마찬가지로 식을 만들 수 있다.

즉, 2매째 화상의 「ig번째, jg번째의 화소」인 G(jg-1)(ig-1)에 대해서는, 그 화소값 Gobs(2, ig, jg)와 진정한 녹색 광량(Lg(x, y))의 관계는, 식 (14)와 같이 나타낼 수가 있다.

식 (14)는 진정한 녹색 광량(Lg(x, y))을 2매째 화상의 좌표계에 있어서 (ig-1, jg-1), (ig-1, jg), (ig, jg-1) 및 (ig, jg)로 둘러싸인 직사각형 영역, 즉 1매째 화상의 좌표계에 있어서 (ig-1₍₂₎, jg-1₍₂₎), (ig-1₍₂₎, jg₍₂₎), (ig₍₂₎, jg-1₍₂₎) 및 (ig₍₂₎, jg₍₂₎)로 둘러싸인 직사각형 영역에서 적분한 것이, 화소값 Gobs(2, ig, jg)인 것을 나타내고 있다.

또한, 2매째 화상의 「ir번째, jr번째의 화소」인 R(jr-1)(ir-1)에 대해서는, 그 화소값 Robs(2, ir, jr)와 진정한 적색 광량(Lr(x, y))의 관계는 식 (15)와 같이 나타낼 수가 있다.

식 (15)는 진정한 적색 광량(Lr(x, y))을 2매째 화상의 좌표계에 있어서 (ir-1, jr-1), (ir-1, jr), (ir, jr-1) 및 (ir, jr)로 둘러싸인 직사각형 영역, 즉 1매째 화상의 좌표계에 있어서 (ir-1₍₂₎, jr-1₍₂₎), (ir-1₍₂₎, jr₍₂₎), (ir₍₂₎, jr-1₍₂₎) 및 (ir₍₂₎, jr₍₂₎)로 둘러싸인 직사각형 영역에서 적분한 것이, 화소값 Robs(2, ir, jr)인 것을 나타내고 있다.

또한, 2매째 화상의 「ib번째, jb번째의 화소」인 B(jb-1)(ib-1)에 대해서는, 그 화소값 Bobs(2, ib, jb)와 진정한 청색 광량(Lb(x, y))의 관계는 식 (16)과 같이 나타낼 수 있다.

식 (16)은 진정한 청색 광량(Lb(x, y))을 2매째 화상의 좌표계에 있어서 (ib-1, jb-1), (ib-1, jb), (ib, jb-1) 및 (ib, jb)로 둘러싸인 직사각형 영역, 즉 1매째 화상의 좌표계에 있어서, (ib-1₍₂), jb-1₍₂₎), (ib-1₍₂₎, jb₍₂₎), (ib₍₂₎, jb-1₍₂₎) 및 (ib₍₂₎, jb₍₂₎)로 둘러싸인 직사각형 영역에서 적분한 것이 화소값 Bobs(2, ib, jb)인 것을 나타내고 있다.

또, 실제로는 상기한 바와 같이, 화상 신호(관측되는 화소값)에는 노이즈량(E)도 포함되어 있고, 또한 그 노이즈량(E)은 Mk배로 게인업되어 있다. (E×Mk)의 노이즈 성분을 식 (14), (15), (16)에 고려하면 각각, 식 (17), (18), (19)로 나타내지는 광량 적분 조건식이 구해진다.

여기에서, |x|는 x의 절대값를 나타낸다.

식 (17)은 광량(Lg(x, y))의 적분값과 관측되는 화소값 Gobs(2, ig, jg)의 차가 상정할 수 있는 노이즈량의 최대값(M2×E) 이하인 것을 나타내고 있다. 식 (18) 및 식 (19)도 마찬가지이다.

도 5를 참조하여 2매째 화상의 위치(x, y)와 그 위치(x, y)를 1매째 화상의 좌표로 변환한 위치 P(2, x, y)의 관계에 대해 설명한다.

도 5 좌측은 2매째 화상의 좌표계에서의 소정의 4점(i-1, j-1), (i-1, j), (i, j-1) 및 (i, j)로 둘러싸인 직사각형 영역인 화소(31)를 나타내고 있다.

도 5 우측은 좌측의 화소(31)를 1매째 화상의 좌표계로 변환한 후의 화소(31’)를 나타내고 있다. 따라서, 도 5 좌측의 화소(31)와 도 5 우측의 화소(31’)는 같은 피사체(의 일부)가 찍혀있다(예를 들면, 어떤 풍경).

여기에서는, 2매째 이후의 촬상 화상의 각 화소의 화소값을 기준 화상인 1매째의 화상의 촬상시의 광(피사체로부터의 광)의 적분값으로서 얻을 수 있다고 하고, 그 적분값를 구할 때의 적분 범위를, 1매째의 좌표계를 기준으로서 설정한다. 이에 따라, 손떨림에 의해 위치 어긋남이 발생하여 있던 1 내지 N매째의 촬상 화상의, 말하자면 위치 맞춤(1매째의 촬상 화상을 기준으로 한 위치 맞춤)이 행해진다.

2매째 화상의 좌표계에서의 위치(i-1, j-1)는 변환 파라미터(θ2, T2x, T2y, S2)에 의해 변환함으로써, 1매째 화상의 좌표계에서의 위치 P(2, i-1, j-1)로 할 수 있다. 또한, 2매째 화상의 좌표계에서의 위치(i-1, j)는 변환 파라미터(θ2, T2x, T2y, S2)에 의해 변환함으로써, 1매째 화상의 좌표계에서의 위치 P(2, i-1, j)로 할 수 있다. 마찬가지로, 2매째 화상의 좌표계에서의 위치(i, j-1)와 (i, j)도 변환 파라미터(θ2, T2x, T2y, S2)에 의해 변환함으로써, 1매째 화상의 좌표계에서의 위치 P(2, i, j-1)와 P(2, i, j)로 각각 할 수 있다. 또, X좌표축 또는 Y좌표축이, 단순히 X 또는 Y로 표시되어 있는 경우에는, 1매째 화상의 좌표계에서의 X좌표축 또는 Y좌표축을 나타내는 것으로 한다.

상술한 2매째 화상과 마찬가지로, k매째 화상(k=3 내지 N)의 좌표계에서의 위치(i-1, j-1), (i-1, j), (i, j-1) 및 (i, j)도 변환 파라미터(θk, Tkx, Tky, Sk)에 의해 변환함으로써, 1매째 화상의 좌표계에서의 위치 P(k, i-1, j-1), P(k, i-1, j), P(k, i, j-1) 및 P(k, i, j)로 각각 할 수 있다.

그리고, k매째 화상(k=3 내지 N)에 대해, Mk배로 게인업된 노이즈량(E)을 고려하면, 식 (17) 내지 식 (19)와 같은 식 (20) 내지 (22)로 나타내지는 광량 적분 조건식을 구할 수 있다.

식 (20)은 진정한 녹색 광량(Lg(x, y))을 P(k, ig-1, jg-1), P(k, ig-1, jg), P(k, ig, jg-1) 및 P(k, ig, jg)로 둘러싸인 직사각형 영역, 즉 1매째 좌표계에 있어서 (ig-1_(k), jg-1_(k)), (ig-1_(k), jg_(k)), (ig_(k), jg-1_(k)) 및 (ig_(k), jg_(k))로 둘러싸인 직사각형 영역에서 적분한 것과 k매째 화상의 「ig번째, jg번째의 화소」에서 얻어지는 화소값 Gobs(k, ig, jg)이, Mk배로 게인업된 노이즈량(E)(오차)을 고려하여 동일한 것, 즉 진정한 녹색 광량(Lg(x, y))의 적분값과 관측되는 화소값의 Gobs(k, ig, jg)의 차(절대값)가, 상정할 수 있는 노이즈량의 최대값 이하인 것을 나타내고 있다. 여기에서, |x|는 x의 절대값을 나타낸다.

식 (21)은 진정한 적색 광량(Lr(x, y))을 P(k, ir-1, jr-1), P(k, ir-1, jr), P(k, ir, jr-1) 및 P(k, ir, jr)로 둘러싸인 직사각형 영역, 즉 1매째 좌표계에 있어서 (ir-1_(k), jr-1_(k)), (ir-1_(k), jr_(k)), (ir_(k), jr-1_(k)) 및 (ir_(k), jr_(k))로 둘러싸인 직사각형 영역에서 적분한 것과 k매째 화상의 「ir번째, jr번째의 화소」에서 얻어지는 화소값 Robs(k, ir, jr)가, Mk배로 게인업된 노이즈량(E)(오차)을 고려하여 동일한 것, 즉 진정한 적색 광량(Lr(x, y))의 적분값과 관측되는 화소값 Robs(k, ir, jr)의 차(절대값)가 상정할 수 있는 노이즈량의 최대값 이하인 것을 나타내고 있다. 여기에서, |x|는 x의 절대값을 나타낸다.

식 (22)는 진정한 청색 광량(Lb(x, y))을 P(k, ib-1, jb-1), P(k, ib-1, jb), P(k, ib, jb-1) 및 P(k, ib, jb)로 둘러싸인 직사각형 영역, 즉 1매째 좌표계에 있어서 (ib-1_(k), jb-1_(k)), (ib-1_(k), jb_(k)), (ib_(k), jb-1_(k)) 및 (ib_(k), jb_(k))로 둘러싸인 직사각형 영역에서 적분한 것과 k매째 화상의 「ib번째, jb번째의 화소」에서 얻어지는 화소값 Bobs(k, ib, jb)가, Mk배로 게인업된 노이즈량(E)(오차)을 고려하여 동일한 것, 즉 진정한 청색 광량(Lb(x, y))의 적분값과 관측되는 화소값 Bobs(k, ib, jb)의 차(절대값)가 상정할 수 있는 노이즈량의 최대값 이하인 것을 나타내고 있다. 여기에서, |x|는 x의 절대값을 나타낸다.

다음으로, 도 6의 플로우차트를 참조하여 도 2의 단계 S4에서의 화상 추정 처리의 제1 실시 형태에 대해 설명한다.

먼저, 단계 S11에 있어서, 연산 회로(24)는 1매째 화상의 각 화소의 화소값 Gobs(1, ig, jg)로부터 모든 (ig, jg)에 대한 식 (9)로 나타내지는 광량 적분 조건식을, Robs(1, ir, jr)로부터 모든 (ir, jr)에 대한 식 (10)으로 나타내지는 광량 적분 조건식을, Bobs(1, ib, jb)로부터 모든 (ib, jb)에 대한 식 (11)로 나타내지는 광량 적분 조건식을 생성하고, 단계 S12로 진행한다.

단계 S12에 있어서, 연산 회로(24)는 2매째 화상의 각 화소의 화소값 Gobs(2, ig, jg)로부터 모든 (ig, jg)에 대한 식 (17)로 나타내지는 광량 적분 조건식을, Robs(2, ir, jr)로부터 모든 (ir, jr)에 대한 식 (18)로 나타내지는 광량 적분 조건식을, Bobs(2, ib, jb)로부터 모든 (ib, jb)에 대한 식 (19)로 나타내지는 광량 적분 조건식을 생성하고, 단계 S13으로 진행한다. 여기에서, 연산 회로(24)는 2매째 화상의 위치를 1매째 화상의 위치로 변환하기 위해, 움직임 검출 회로(23-1)로부터 공급되는 변환 파라미터(θ2, T2x, T2y, S2)를 사용한다.

단계 S13에 있어서, 연산 회로(24)는 k매째 화상(k=3 내지 N)의 각 화소의 화소값 Gobs(k, ig, jg)로부터 모든 (ig, jg)에 대한 식 (20)으로 나타내지는 광량 적분 조건식을, Robs(k, ir, jr)로부터 모든 (ir, jr)에 대한 식 (21)로 나타내지는 광량 적분 조건식을, Bobs(k, ib, jb)로부터 모든 (ib, jb)에 대한 식 (22)로 나타내지는 광량 적분 조건식을 생성하고, 단계 S14로 진행한다. 여기에서, 연산 회로(24)는 k매째 화상의 위치를 1매째 화상의 위치로 변환하기 위해, 움직임 검출 회로(23-(k-1))로부터 공급되는 변환 파라미터(θk, Tkx, Tky, Sk)를 사용한다.

단계 S14에 있어서, 연산 회로(24)는 단계 S11 내지 S13에서 구한 식 (9), (10), (11), (17), (18), (19), (20), (21) 및 (22)의 광량 적분 조건식을 만족하는 해를 연산함으로써, 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 추정하여 처리를 돌아온다. 여기서 얻어지는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))(의 추정값)이 구해야 할 1매의 선명한 화상의 화상 신호(G신호, R신호, B신호)로서 D/A 컨버터(9) 또는 코덱(12)에 공급된다.

또, 단계 S14에서의 모든 광량 적분 조건식을 만족하는 해, 즉 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 구하는 해법으로서는, 복수의 조건을 만족하는 화상 데이터를 구하는 해법을 이용한다. 이와 같은 해법으로서는, 예를 들면, Projection Onto Convex Sets의 해법(POCS법) 등이 있다. POCS법은 볼록 사영의 반복에 의해 구속 조건에 맞는 최적해를 추정하는 방법으로서, 예를 들면 논문 「D. C. Youla and H. Webb, “Image Restoration by the Method of Convex Projections: part 1 theory”, IEEE Trans. Med. Image., vol. 1 No.2, pp81-94, Oct. 1982」 등에 기재되어 있으므로, 그 설명은 생략한다. 또한, POCS법을 사용하여 복수매의 저해상도 동화상으로부터 고해상도의 정지화를 작성하는 방법이 일본 특허공개 평8-263639에 기재되어 있다. 이 종 래 기술의 방법에서는, 움직임 벡터를 사용한 1화소 혹은 반화소 등의 특정 정밀도에서의 움직임 보정이 기본이며, 각 화소의 값을 추정할 때에 고려되는 화소의 수는 그 특정 정밀도에 의해 정해지는 고정적인 것이 이용되고 있는 것이라고 생각된다. 이에 비해, 본 실시의 형태에서는, 아날로그적인 수법에 의한 움직임 보정을 적용할 수 있어, 각 화소의 값을 추정할 때에 고려되는 화소의 수는 흐려짐의 상황에 따라 임의로 적응적으로 변화할 수 있도록 구성되어 있다.

도 7의 플로우차트를 참조하여 도 2의 단계 S4에서의 화상 추정 처리의 제1 실시 형태에 대해 다시 설명한다.

먼저, 단계 S21에 있어서, 연산 회로(24)는 내부에 보존하는 화상의 매수를 카운트하는 변수(k)를 1로 세팅하고 단계 S22로 진행한다.

단계 S22에 있어서, 연산 회로(24)는 k매째 화상의 각 화소의 화소값 Gobs(k, ig, jg)로부터 모든 (ig, jg)에 대해 식 (20)로 나타내지는 광량 적분 조건식을 생성하고 단계 S23으로 진행한다.

단계 S23에 있어서, 연산 회로(24)는 k매째 화상의 각 화소의 화소값 Robs(k, ir, jr)로부터 모든 (ir, jr)에 대해 식 (21)로 나타내지는 광량 적분 조건식을 생성하고 단계 S24로 진행한다.

단계 S24에 있어서, 연산 회로(24)는 k매째 화상의 각 화소의 화소값 Bobs(k, ib, jb)로부터 모든 (ib, jb)에 대해 식 (22)로 나타내지는 광량 적분 조건식을 생성하고 단계 S25로 진행한다.

또, 단계 S22 내지 S24에 있어서, 광량 적분 조건식을 생성하는데 있어서는, 필요에 따라 움직임 검출 회로(23-1 내지 23-(N-1))로부터 공급되는 변환 파라미터가 이용된다.

단계 S25에 있어서, 연산 회로(24)는 내부의 변수(k)가 프레임 메모리(22-1 내지 22-N)로부터 공급되는 화상의 매수(N)와 동일한지의 여부를 판정한다. 변수(k)가 화상의 매수(N)와 동일하지 않다고 판정된 경우, 연산 회로(24)는 단계 S26으로 진행되어 변수(k)를 1만큼 인크리먼트한 후, 단계 S22로 돌아간다. 그리고, 단계 S22 내지 S25의 처리가 반복된다.

한편, 변수(k)가 화상의 매수(N)와 동일하다고 판정된 경우, 단계 S27로 진행하고, 연산 회로(24)는 단계 S22 내지 S24에서 구한 k=1 내지 N의 식 (20), (21) 및 (22)의 광량 적분 조건식을 연산함으로써, 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 추정하고 처리를 돌아온다. 여기에서 얻어지는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))이, 구해야 할 1매의 선명한 화상의 화상 신호(G신호, R신호, B신호)로서 D/A 컨버터(9) 또는 코덱(12)에 공급된다.

또, 여기에서 얻어지는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))의 화상 신호는 아날로그 신호이다. 즉, Lg(x, y), Lr(x, y), Lb(x, y)는 (x, y)의 함수로서 구해지지만, 변수 x, y는 상기한 바와 같이 정수가 아니라 실수이며, 소수 부분도 포함하고 있다. 그 소수 부분의 자리수는 연산하는 장치의 정밀도에도 의하지만, 일반적으로는 2진수 표현으로 2자리수에서 3자리수 정도로 생각된다. 따라서, 이와 같이 실수 (x, y)를 인수로 하는 함수인 Lg(x, y), Lr(x, y), Lb(x, y)에 대해서는 필요에 따라서, 재차 (x, y)로서 정수의 위치만 다시 샘플링하는 리샘플링을 행하여, 디지털 화상 신호로 변환하여 D/A 컨버터(9) 또는 코덱(12)에 공급하도록 할 수 있다.

또한, 고속 셔터에 의한 N매의 촬상 시간의 사이에 피사체가 움직이고 있는 경우, 그 움직이고 있는 부분의 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))은 시간과 함께 변화하게 되기 때문에, 상술의 방법에서는 올바른 해를 얻는 것이 곤란할 수 있다.

그래서, 피사체가 움직이고 있는 부분에 대해서는, 예외 처리로서 단순한 중합으로 처리할 수 있다. 즉, N매의 각 화상은 베이어 배열의 데이터(1화소당 R신호, G신호, B신호 중 어느 1개만의 데이터)이지만, 이 데이터로부터 1화소당 R신호, G신호, B신호의 3개의 신호를 복원하는 디모자이킹(DeMosaicing) 처리를 행한다. 또한, 디모자이킹 처리후의 N매의 화상을 회전, 확대 또는 축소 혹은 평행 이동 등을 행해 위치 맞춤을 행하여 평균화한다. 디모자이킹 처리의 수법으로서는, 종래의 방법을 포함하는 임의의 방법을 채용할 수 있다.

이상과 같이, 제1 실시 형태에서는 각 화소의 바로 위에 있는 온칩 렌즈의 효과를 가미한 처리를 행함으로써, 카메라 흐려짐을 보정한 선명한 화상을 추정할 수 있다.

다음으로, 신호 처리 회로(7)에서의 화상 추정 처리의 제2 실시 형태에 대해 설명한다.

제2 실시 형태는 제1 실시 형태에서의, k=1 내지 N으로 하는 식 (20) 내지 식 (22)로 나타내지는 광량 적분 조건식 외에, R신호, G신호, B신호끼리의 상관에 관한 색 상관의 조건을 부가하여, 그들 모든 조건식을 만족하는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 구하는 것이다.

화상의 국소적인 부분에 착목하면, 촬상 소자(4)에 입사되는 피사체의 광과 등가인 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))에는, 색끼리의 상관(색 상관)이 있다. 따라서, 광량 적분 조건식인 식 (20) 내지 식 (22)에 더하여 색 상관의 조건을 더 부가함으로써, 보다 정확한 해, 즉 보다 진정한 광에 충실하며 선명한 화상을 구할(추정할) 수 있다.

도 8과 도 9를 참조하여 구체적인 색 상관의 조건을 구하는 방법에 대해 설명한다. 도 8과 도 9에서는 녹색과 적색의 색 상관의 조건을 생각한다.

도 8 왼쪽 하측의 k’매째 화상의 ig번째, jg번째의 어느 녹색의 화소(G(jg-1)(ig-1))와 도 8 오른쪽 하측의 k”매째 화상의 ir번째 , jr번째의 어느 적색의 화소(R(jr-1)(ir-1))에 주목한다.

연산 회로(24)는 k’매째 화상의 녹색의 화소(G(jg-1)(ig-1))와 k”매째 화상의 적색의 화소(R(jr-1)(ir-1))의 위치를, 제1 실시 형태에서 설명한 바와 같이, 변환 파라미터(θk’, Tk’x, Tk’y, Sk’)와 변환 파라미터(θk”, Tk”x, Tk”y, Sk”)에 의해 각각 변환함으로써, 도 8 상측의 1매째 화상의 좌표계에서의 위치를 구한다. 또, k’나 k”가 1인 경우도 포함하고, 그 경우에는 (θ1, T1x, T1y, S1)=(0, 0, 0, 1)이라고 생각한다.

그리고, 연산 회로(24)는 1매째 화상의 좌표계로 변환된 k’매째의 녹색의 화소(G(jg-1)(ig-1))와 1매째 화상의 좌표계로 변환된 k”매째의 적색의 화소(R(jr-1)(ir-1))의 거리를 계산한다. 또한, 연산 회로(24)는 그 거리가 동일한 위치로 간주하는 허용치(판정치)(delta)(예를 들면, 0.25화소) 이내인지의 여부를 판정한다.

예를 들면, 화소(G(jg-1)(ig-1))와 화소(R(jr-1)(ir-1))의 위치를 위치(ig, jg)와 위치(ir, jr)로 각각 생각하는 것으로 하고, k’매째 화상의 좌표계에서의 화소(G(jg-1)(ig-1))의 위치(ig, jg)를 점 G_c로, k”매째 화상의 좌표계에서의 화소(R(jg-1)(ig-1))의 위치(ir, jr)를 점 R_c로, 1매째 화상의 좌표계에서의 화소(G(jg-1)(ig-1))의 위치(ig, jg)를 G_c(k’)로, 1매째 화상의 좌표계에서의 화소(R(jg-1)(ig-1))의 위치(ir, jr)를 RO_(k”)로, 각각 나타내는 것으로 하면, 점 G_c(k’)와 점 R_c(k”)의 거리가 허용치(delta) 이내인지를 나타내는 식 (23)은 다음과 같이 쓸 수 있다.

식 (23)을 거리의 조건식이라 한다. 여기에서, Dis[G_c(k’), R_c(k”)]는 점 G_{c(k ’)} 과 점 R_c(k”) 사이의 거리를 나타낸다. 또한, 점 G_c(k’) 과 점 R_c(k”)로써 나타내지는 위치는 위치(ig, jg)와 위치(ir, jr)를 식 (1) 내지 (3)과 마찬가지로, 변환 파라미터(θk’, Tk’x, Tk’y, Sk’)와 (θk”, Tk”x, Tk”y, Sk”)로 각각 아핀 변환한 것이다.

연산 회로(24)는 k’매째의 녹색의 화소(G(jg-1)(ig-1))와 k”매째의 적색의 화소(R(jr-1)(ir-1))가 어느 허용 범위(delta)의 마진을 생각했을 때에 동일 위치에 있다고 간주할 수 있는 화소가 있는지의 여부를, 1매째 화상의 좌표계에서의 어느 위치(x, y)를 중심으로 하는 (x±dX, y±dY)의 근방 영역, 즉 (x-dX, y-dY), (x-dX, y+dY), (x+dX, y-dY) 및 (x+dX, y+dY)로 둘러싸인 영역에 대해 구한다. 여기에서, dX와 dY는, 각각, 근방 영역을 설정하는 소정의 값으로, 예를 들면 2화소분의 X방향과 Y방향의 길이 등으로 할 수 있다.

반대로 말하면, 연산 회로(24)는 1매째 화상의 좌표계에서의 어느 위치(x, y)를 중심으로 하는 (x±dX, y±dY)의 근방 영역, 즉 (x-dX, y-dY), (x-dX, y+dY), (x+dX, y-dY) 및 (x+dX, y+dY)로 둘러싸인 영역에 있어서, 상술의 식 (23)을 만족하는 (k’, ig, jg)와 (k”, ir, jr)을 구한다.

그리고, 연산 회로(24)는 구한 (k’, ig, jg)와 (k”, ir, jr)에 대응하는 화소값 Gobs(k’, ig, jg)와 화소값 Robs(k”, ir, jr)을 얻는다.

연산 회로(24)는 k’, k” 각각을 1 내지 N으로 한 모든 조합에 대해, 상술한 식 (23)을 만족하는 (k’, ig, jg)와 (k”, ir, jr)를 구한다.

일반적으로는, 복수의 (k’, ig, jg)와 (k”, ir, jr)의 조합이 검출되므로, 연산 회로(24)는 검출된 (k’, ig, jg)와 (k”, ir, jr)에 대응하는 화소값 Gobs(k’,ig, jg)와 화소값 Robs(k”, ir, jr)를, 도 9에 나타낸 바와 같이, 횡축을 G신호(Gobs(k’,ig, jg)), 종축을 R신호(Robs(k”, ir, jr))로 하는 GR 공간에 플롯한다.

도 9는 GR 공간에 플롯된, 동일 위치에 있다고 간주할 수 있는 화소의 화소값 Gobs(k’, ig, jg)와 화소값 Robs(k”, ir, jr)를 모식적으로 나타낸 도면이다.

도 9의 ×표가 연산 회로(24)에 의해 검출된 (k’, ig, jg)와 (k”, ir, jr)에 대응하는 화소값 Gobs(k’, ig, jg)와 화소값 Robs(k”, ir, jr)의 세트를 나타내고 있다.

따라서, 위치(x, y)의 근방 영역에 있어서는 구해야 할 진정한 녹색 광량(Lg(x, y)) 및 진정한 적색 광량(Lr(x, y))에는, 도 9에 나타낸 바와 같은 상관이 있다고 생각된다.

그래서, 제2 실시의 형태에 있어서는, 제1 실시 형태에서의 식 (20) 내지 식 (22)로 나타내지는 광량 적분 조건식의 외에, 도 9에 나타낸 녹색과 적색에 상관이 있는 것을 조건으로서 더 부가한다.

즉, 연산 회로(24)는 연산 회로(24)에 의해 식 (23)의 거리의 조건식을 만족하는 화소값 Gobs(k’, ig, jg)과 화소값 Robs(k”, ir, jr)의 세트로 나타내지는, 도 9의 GR 공간에 플롯된 복수의 점에 대해, 주성분 분석을 행한다.

그리고, 연산 회로(24)는 주성분 분석의 분석 결과인 주성분(제1 주성분)의 방향(도 9의 굵은 선의 화살표로 표시되는 방향)과 직교하는 성분(예를 들면, 제2 주성분)에 대한 분산을 구한다. 또한, 연산 회로(24)는 위치(x, y)에 대해서는, GR 공간에 있어서 주성분의 방향과 직교하는 성분의 분산의 폭을 갖는 띠 형상내에, 진정한 녹색 광량(Lg(x, y)) 및 진정한 적색 광량(Lr(x, y))으로 나타내지는 점이 존재한다고 하는 조건식을 색 상관의 조건으로서 설정한다.

이상의 색 상관의 조건을 녹색과 청색에 대해도 생각한다.

연산 회로(24)는 도 8에 나타낸 녹색과 적색의 화소의 경우와 마찬가지로, k’매째의 녹색의 화소(G(jg-1)(ig-1))와 k”매째의 청색의 화소(B(jb-1)(ib-1))의 위치를, 제1 실시 형태에서 설명한 바와 같이 변환 파라미터(θk’, Tk’x, Tk’y, Sk’)와 변환 파라미터(θk”’,Tk”’x, Tk”’y, Sk”’)에 의해 각각 변환함으로써, 1매째 화상의 좌표계에서의 위치를 구한다.

그리고, 연산 회로(24)는 1매째 화상의 좌표계로 변환된 k’매째의 녹색의 화소(G(jg-1)(ig-1))와 1매째 화상의 좌표계로 변환된 k”’매째의 청색의 화소(B(jb-1)(ib-1))의 거리를 계산한다. 또한, 연산 회로(24)는 그 거리가 동일한 위치로 간주하는 허용치(판정치)(delta) 이내인지 여부를, 도 8의 경우와 마찬가지로 판정한다.

예를 들면, 화소(G(jg-1)(ig-1))와 화소(B(jb-1)(ib-1))의 위치를, 위치(ig, jg)와 위치(ib, jb)로 각각 생각하는 것으로 하고, k’매째 화상의 좌표계에서의 화소(G(jg-1)(ig-1))의 위치(ig, jg)를 점 G_c로, k”’매째 화상의 좌표계에서의 화 소(B(jb-1)(ib-1))의 위치(ib, jb)를 점 B_c로, 1매째 화상의 좌표계에서의 화소(G(jg-1)(ig-1))의 위치(ig, jg)를 G_c(k’)로, 1매째 화상의 좌표계에서의 화소(B(jb-1)(ib-1))의 위치(ib, jb)를 B_c(k”’)로, 각각 나타내는 것으로 하면, 점 G_c(k’)와 점 B_c(k”’)의 거리가 허용치(delta) 이내인지를 나타내는 식 (24)는 다음과 같이 쓸 수 있다.

식 (24)를 거리의 조건식이라 한다. 여기에서, Dis[G_c(k’), B_c(k”’)]는 점 G_c(k’)와 점 B_c(k”’) 사이의 거리를 나타낸다. 또한, 점 G_c(k’)와 점 B_c(k”’)으로 나타내지는 위치는 위치(ig, jg)와 (ib, jb)를, 식 (1) 내지 (3)과 마찬가지로, 변환 파라미터(θk’, Tk’x, Tk’y, Sk’)와 (θk”’, Tk”’x, Tk”’y, Sk”’)로 각각 아핀 변환한 것이다.

연산 회로(24)는 k’매째의 녹색의 화소(G(jg-1)(ig-1))와 k”’매째의 청색의 화소(B(jb-1)(ib-1))가 어느 허용 범위(delta)의 마진을 생각했을 때에 동일 위치에 있다고 간주할 수 있는 화소가 있는지의 여부를, 1매째 화상의 좌표계에서의 어느 위치(x, y)를 중심으로 하는 (x±dX, y±dY)의 근방 영역, 즉 (x-dX, y-dY), (x-dX, y+dY), (x+dX, y-dY) 및 (x+dX, y+dY)로 둘러싸인 영역에 대해 구한다. 여기에서, dX, dY는 각각, 근방 영역을 설정하는 소정의 값으로, 예를 들면, 2화소분의 X방향과 Y방향의 길이 등으로 할 수 있다.

반대로 말하면, 연산 회로(24)는 1매째 화상의 좌표계에서의, 어느 위치(x, y)를 중심으로 하는 (x±dX, y±dY)의 근방 영역, 즉 (x-dX, y-dY), (x-dX, y+dY), (x+dX, y-dY) 및 (x+dX, y+dY)로 둘러싸인 영역에 있어서, 상술의 식 (24)를 만족하는 (k’, ig, jg)와 (k”’, ib, jb)를 구한다.

그리고, 연산 회로(24)는 구해진 (k’, ig, jg)와 (k”’, ib, jb)에 대응하는 화소값 Gobs(k’, ig, jg)와 화소값 Bobs(k”’, ib, jb)를 얻는다.

연산 회로(24)는 k’, k”’ 각각을 1 내지 N으로 한 모든 조합에 대해, 상술한 식 (24)를 만족하는 (k’, ig, jg)와 (k”, ib, jb)를 구한다.

일반적으로는, 복수의 (k’, ig, jg)와 (k”’, ib, jb)의 조합이 검출되므로, 연산 회로(24)는 검출된 (k’, ig, jg)와 (k”’, ib, jb)에 대응하는 화소값 Gobs(k’,ig, jg)와 화소값 Bobs(k”’, ib, jb)를, 횡축을 G신호(Gobs(k’,ig, jg)), 종축을 B신호(Robs(k”’, ib, jb))로 하는 GB 공간에 플롯한다.

그래서, 제2 실시의 형태에 있어서는, 제1 실시 형태에서의 식 (20) 내지 식 (22)로 나타내지는 광량 적분 조건식의 외에, 도 9의 녹색과 적색에서의 경우와 마찬가지의 색 상관이, 녹색과 청색에도 있는 것을 조건으로서 더 부가한다.

즉, 연산 회로(24)는 GB 공간에 플롯된 복수의 점인, 연산 회로(24)에 의해 검출된 화소값 Gobs(k’, ig, jg)과 화소값 Bobs(k”’, ib, jb)의 각 세트에 대해, 주성분 분석을 행한다.

그리고, 연산 회로(24)는 주성분 분석의 분석 결과인 주성분(제1 주성분)의 방향과 직교하는 성분(예를 들면, 제2 주성분)에 대한 분산을 구한다. 또한, 연산 회로(24)는 위치(x, y)에 대해서는, GB 공간에 있어서 주성분의 방향과 직교하는 성분의 분산의 폭을 갖는 띠 형상내에, 진정한 녹색 광량(Lg(x, y)) 및 진정한 청색 광량(Lb(x, y))으로 나타내지는 점이 존재한다고 하는 조건식을, 색 상관의 조건으로서 설정한다.

따라서, 연산 회로(24)에 있어서, 최종적으로 얻어지는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)) 및 진정한 청색 광량(Lb(x, y))은 위치(x, y)의 진정한 녹색 광량(Lg(x, y)) 및 진정한 적색 광량(Lr(x, y))으로 나타내지는 점이, GR 공간에 있어서 주성분의 방향과 직교하는 성분의 분산의 폭을 갖는 띠 형상내에 존재하고, 또한, 위치(x, y)의 진정한 녹색 광량(Lg(x, y)) 및 진정한 청색 광량(Lb(x, y))으로 나타내지는 점이, GB 공간에 있어서 주성분의 방향과 직교하는 성분의 분산의 폭을 갖는 띠 형상내에 존재하는 것에 제한(제약)된다.

또, 본 실시의 형태에서는 상술의 GR, GB 공간의 2개의 색 상관의 조건만 부가하는 것으로 하지만, 마찬가지로 하여, R신호와 B신호의(RB 공간의) 색 상관의 조건에 대해서도 부가하도록 하여도 된다.

광량 적분 조건식과 색 상관의 조건식의 양쪽 모두를 만족하는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 구하 는 방법으로서는, 예를 들면 제1 실시 형태와 마찬가지로, POCS법 등을 채용할 수 있다.

색 상관의 조건을 부가하는 위치(x, y)는 모든 위치(x, y)로 하여도 되고, 예를 들면 x, y 각각이 정수가 되는 격자점의 위치만으로 하여도 된다.

도 10의 플로우차트를 참조하여 도 2의 단계 S4에서의 화상 추정 처리의 제2 실시 형태에 대해 설명한다.

단계 S31 내지 S33에서는, 도 6에 나타낸 제1 실시 형태의 화상 추정 처리의 단계 S11 내지 S13과 각각 같은 처리가 행해진다.

즉, 단계 S31에 있어서, 연산 회로(24)는 1매째 화상의 각 화소의 화소값 Gobs(1, ig, jg)로부터 모든 (ig, jg)에 대한 식 (9)로 나타내지는 광량 적분 조건식을, Robs(1, ir, jr)로부터 모든 (ir, jr)에 대한 식 (10)으로 나타내지는 광량 적분 조건식을, Bobs(1, ib, jb)로부터 모든 (ib, jb)에 대한 식 (11)로 나타내지는 광량 적분 조건식을 생성하고, 단계 S32로 진행한다.

단계 S32에 있어서, 연산 회로(24)는 2매째 화상의 각 화소의 화소값 Gobs(2, ig, jg)로부터 모든 (ig, jg)에 대한 식 (17)로 나타내지는 광량 적분 조건식을, Robs(2, ir, jr)로부터 모든 (ir, jr)에 대한 식 (18)로 나타내지는 광량 적분 조건식을, Bobs(2, ib, jb)로부터 모든 (ib, jb)에 대한 식 (19)로 나타내지는 광량 적분 조건식을 생성하고, 단계 S33으로 진행한다. 여기에서, 연산 회로(24)는 2매째 화상의 위치를 1매째 화상의 위치로 변환하기 위해, 움직임 검출 회로(23-1)로부터 공급되는 변환 파라미터(θ2, T.2x, T2y, S2)를 사용한다.

단계 S33에 있어서, 연산 회로(24)는 k매째(k=3 내지 N) 화상의 각 화소의 화소값 Gobs(k, ig, jg)로부터 모든 (ig, jg)에 대한 식 (20)으로 나타내지는 광량 적분 조건식을, Robs(k, ir, jr)로부터 모든 (ir, jr)에 대한 식 (21)로 나타내지는 광량 적분 조건식을, Bobs(k, ib, jb)로부터 모든 (ib, jb)에 대한 식 (22)로 나타내지는 광량 적분 조건식을 생성하고, 단계 S34로 진행한다. 여기에서, 연산 회로(24)는 k매째 화상의 위치를 1매째 화상의 위치로 변환하기 위해, 움직임 검출 회로(23-(k-1))로부터 공급되는 변환 파라미터(θk, Tkx, Tky, Sk)를 사용한다.

단계 S34에 있어서, 연산 회로(24)는 소정의 위치(x, y)에 대해, 그 위치(x, y)의 근방 영역에 있어서 식 (23)의 거리의 조건식을 만족하는 (k’, ig, jg)와 (k”, ir, jr)의 세트를 구하고, 단계 S35로 진행한다.

단계 S35에 있어서, 연산 회로(24)는 단계 S34에서 구한 (k’, ig, jg)와 (k”, ir, jr) 각각의 화소값 Gobs(k’, ig, jg)와 Robs(k”, ir, jr)로 나타내지는 점을 GR 공간에 플롯하여 주성분 분석을 행한다. 그리고, 연산 회로(24)는 주성분 분석의 분석 결과인 주성분의 방향과 직교하는 성분에 대한 분산을 구하여, 그 분산의 범위내에 동일 화소의 G신호와 R신호가 존재한다고 하는 색 상관의 조건식을 세우고, 단계 S35에서 단계 S36으로 진행한다.

단계 S36에 있어서, 연산 회로(24)는 소정의 위치(x, y)에 대해, 위치(x, y)의 근방 영역에 있어서 식 (24)의 거리의 조건식을 만족하는 (k’, ig, jg)와 (k”’, ib, jb)의 세트를 구하고, 단계 S37로 진행한다.

단계 S37에 있어서, 연산 회로(24)는 단계 S36에서 구한 (k’, ig, jg)와 (k ”’, ib, jb) 각각의 화소값 Gobs(k’, ig, jg)와 Bobs(k”’, ib, jb)로 나타내지는 점을 GB 공간에 플롯하여 주성분 분석을 행한다. 그리고, 연산 회로(24)는 주성분 분석의 분석 결과인 주성분의 방향과 직교하는 성분에 대한 분산을 구하여, 그 분산의 범위내에 동일 화소의 G신호와 B신호가 존재한다고 하는 색 상관의 조건식을 세우고, 단계 S37에서 단계 S38로 진행한다.

단계 S38에 있어서, 연산 회로(24)는 미리 설정된 모든 위치(x,y)에 대해, 색 상관의 조건식을 구했는지의 여부를 판정한다. 단계 S38에 있어서, 아직 모든 위치(x, y)에 대해 색 상관의 조건식이 구해지지 않았다고 판정된 경우, 단계 S34로 돌아가서, 연산 회로(24)는 색 상관의 조건식이 구해지지 않은 위치(x, y)에 주목(선택)하여 단계 S34 내지 S38의 처리를 반복한다.

한편, 단계 S38에 있어서, 모든 위치(x, y)에 대해 색 상관의 조건식이 구해졌다고 판정된 경우, 단계 S39로 진행하여, 연산 회로(24)는 단계 S31 내지 S33, S35, S37에서 구해진 모든 조건식을 만족하는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 연산하고, 처리를 돌아온다. 즉, 연산 회로(24)는 단계 S31 내지 S33에서 구해진 광량 적분 조건식과 단계 S35 및 S37에서 구해진 색 상관의 조건식의 모든 것을 만족하는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 연산한다.

도 11과 도 12의 플로우차트를 참조하여 도 2의 단계 S4에서의 화상 추정 처리의 제2 실시 형태에 대해 다시 설명한다.

단계 S51 내지 S56은, 도 7에 나타낸 제1 실시 형태의 화상 추정 처리의 단계 S21 내지 S26과 각각 동일하다.

즉, 단계 S51에 있어서, 연산 회로(24)는 내부에 보존하는 화상의 매수를 카운트하는 변수(k)를 1로 세팅하고 단계 S52로 진행한다.

단계 S52에 있어서, 연산 회로(24)는 k매째 화상의 각 화소의 화소값 Gobs(k, ig, jg)로부터 모든 (ig, jg)에 대해 식 (20)으로 나타내지는 광량 적분 조건식을 생성하고, 단계 S53으로 진행한다.

단계 S53에 있어서, 연산 회로(24)는 k매째 화상의 각 화소의 화소값 Robs(k, ir, jr)로부터 모든 (ir, jr)에 대해 식 (21)로 나타내지는 광량 적분 조건식을 생성하고, 단계 S54로 진행한다.

단계 S54에 있어서, 연산 회로(24)는 k매째 화상의 각 화소의 화소값 Bobs(k, ib, jb)로부터 모든 (ib, jb)에 대해 식 (22)로 나타내지는 광량 적분 조건식을 생성하고, 단계 S55로 진행한다.

또, 단계 S52 내지 S54에 있어서, 광량 적분 조건식을 생성하는데 있어서는, 필요에 따라 움직임 검출 회로(23-1 내지 23-(N-1))로부터 공급되는 변환 파라미터가 이용된다.

단계 S55에 있어서, 연산 회로(24)는 내부의 변수(k)가 프레임 메모리(22-1 내지 22-N)로부터 공급되는 화상의 매수(N)와 동일한지의 여부를 판정한다. 변수(k)가 화상의 매수(N)와 동일하지 않다고 판정된 경우, 연산 회로(24)는 단계 S56으로 진행되어 변수(k)를 1만큼 인크리먼트한 후, 단계 S52로 돌아간다. 그리고, 단계 S52 내지 S56의 처리가 반복된다.

한편, 단계 S55에 있어서, 변수(k)가 화상의 매수(N)와 동일하다고 판정된 경우, 도 12의 단계 S57로 진행한다.

단계 S57 내지 S62는, 도 10의 단계 S34 내지 S39와 각각 동일하다.

즉, 단계 S57에 있어서, 연산 회로(24)는 소정의 위치(x, y)에 대해, 그 위치(x, y)의 근방 영역에 있어서 식 (23)의 거리의 조건식을 만족하는 (k’, ig, jg)와 (k”, ir, jr)의 세트를 구하고, 단계 S58로 진행한다.

단계 S58에 있어서, 연산 회로(24)는 단계 S57에서 구한 (k’, ig, jg)와 (k”, ir, jr) 각각의 화소값 Gobs(k’, ig, jg)와 Robs(k”, ir, jr)로 나타내지는 점을 GR 공간에 플롯하여 주성분 분석을 행한다. 그리고, 연산 회로(24)는 주성분 분석의 분석 결과인 주성분의 방향과 직교하는 성분에 대한 분산을 구하여, 그 분산의 범위내에 동일 화소의 G신호와 R신호가 존재한다고 하는 색 상관의 조건식을 세우고, 단계 S58로부터 단계 S59로 진행한다.

단계 S59에 있어서, 연산 회로(24)는 소정의 위치(x, y)에 대해, 위치(x, y)의 근방 영역에 있어서 식 (24)의 거리의 조건식을 만족하는 (k’, ig, jg)와 (k”’, ib, jb)의 세트를 구하고, 단계 S60으로 진행한다.

단계 S60에 있어서, 연산 회로(24)는 단계 S59에서 구한 (k’, ig, jg)와 (k”’, ib, jb) 각각의 화소값 Gobs(k’, ig, jg)와 Bobs(k”’, ib, jb)로 나타내지는 점을 GB 공간에 플롯하여 주성분 분석을 행한다. 그리고, 연산 회로(24)는 주성분 분석의 분석 결과인 주성분의 방향과 직교하는 성분에 대한 분산을 구하여, 그 분산의 범위내에 동일 화소의 G신호와 B신호가 존재한다고 하는 색 상관의 조건식을 세우고, 단계 S60에서 단계 S61로 진행한다.

단계 S61에 있어서, 연산 회로(24)는 미리 설정된 모든 위치(x, y)에 대해, 색 상관의 조건식을 구했는지 여부를 판정한다. 단계 S61에 있어서, 아직 모든 위치(x, y)에 대해 색 상관의 조건식이 구해지지 않았다고 판정된 경우, 단계 S57로 돌아가서 연산 회로(24)는 색 상관의 조건식이 구해지지 않은 위치(x, y)에 주목(선택)하여 단계 S57 내지 S61의 처리를 반복한다.

한편, 단계 S61에 있어서, 모든 위치(x, y)에 대해 색 상관의 조건식이 구해졌다고 판정된 경우, 단계 S62로 진행하여 연산 회로(24)는 단계 S52 내지 S54, S58, S60에서 구해진 모든 조건식을 만족하는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 연산하고, 처리를 돌아온다. 즉, 연산 회로(24)는 단계 S52 내지 S54에서 구해진 광량 적분 조건식과 단계 S58 및 S60에서 구해진 색 상관의 조건식의 전부를 만족하는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 연산한다.

이상과 같이, 제1 실시 형태에서의 k=1 내지 N으로 하는 식 (20), (21), (22)로 나타내지는 광량 적분 조건식 외에, R신호와 G신호와 B신호 사이의 상관에 관한 색 상관의 조건을 부가하여, 그들 모든 조건식을 만족하는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 구함으로써, 보다 진정한 광에 충실하고 선명한 화상을 구할 수 있다.

또, 상술의 경우에는 2차원의 색공간에서의 색 상관의 조건식을 이용하였지 만, 3차원의 색공간에서의 조건식을 이용하는 것도 가능하다.

다음으로, 신호 처리 회로(7)에서의 화상 추정 처리의 제3 실시 형태에 대해 설명한다.

제1 및 제2 실시 형태에서는, 촬상 소자(4)의 각 화소의 바로 위에 있는 온칩 렌즈의 특성을 정확하게 정식화(적용)하고 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 추정하여, 선명한 화상을 구하였다.

제3 실시 형태에서는 온칩 렌즈의 효과를 무시하고, 촬상 소자(4)의 각 화소에서 수광되는 데이터(수광량)는 그 화소의 어느 1점(예를 들면, 화소의 중심)에 입사되는 피사체의 광의 값(포인트 샘플링된 데이터)으로 한다.

또한, 제3 실시 형태에서는 후술하는 스프링 모델을 적용한 방법을 채용한다. 이에 따라, 제1 및 제2 실시의 형태에서 이용한 POCS법 등과 비교하여, 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 구하는 경우의 계산량을 경감할 수 있다. 제3 실시 형태에 있어서도, 종래와 비교해서 보다 선명한 화상을 추정할 수 있다고 하는, 제1 및 제2 실시 형태와 같은 효과를 얻을 수 있다.

그런데, 제3 실시 형태에서는 상기한 바와 같이 각 화소에 수광되는 데이터를 포인트 샘플링된 데이터로서 생각하는 것으로 하기 때문에, 도 3의 촬상 소자(4)의 각 화소 중 「i번째, j번째의 화소」에서 수광되는 데이터는, 예를 들면 「i번째, j번째의 화소」의 중앙의 위치(좌표)(i-0.5, j-0.5)에 있어서 수광된 것으로 한다.

따라서, 예를 들면 1매째 화상의 「ig번째, jg번째의 화소」에서 얻어지는 데이터로서의 화소값 Gobs(1, ig, jg)는 1매째 화상의 좌표계의 위치(ig-0.5, jg-0.5)에 있어서 수광되는 녹색의 광량(Lg(ig-O.5, jg-0.5))이다. 마찬가지로, 1매째 화상의 「ir번째, jr번째의 화소」에서 얻어지는 데이터로서의 화소값 Robs(1, ir, jr)은 1매째 화상의 좌표계의 위치(ir-0.5, jr-0.5)에 있어서 수광되는 적색의 광량(Lr(ir-0.5, jr-0.5))이고, 1매째 화상의 「ib번째, jb번째의 화소」에서 얻어지는 데이터로서의 화소값 Bobs(1, ib, jb)는 1매째 화상의 좌표계의 위치(ib-0.5, jb-0.5)에 있어서 수광되는 청색의 광량(Lb(ib-0.5, jb-0.5))이다.

도 13은 프레임 메모리(22-1)에 기억되어 있는 1매째 화상을 나타내고 있다.

도 13에 있어서, 녹색의 성분을 수광하는 화소(G(jg-1)(ig-1))에 대해서는, 흑색 원로 표시되는 위치에 화소값 Gobs(1, ig, jg)가 관측된다. 적색의 성분을 수광하는 화소(R(jr-1)(ir-1))에 대해서는, 검은 사각형으로 표시되는 위치에 화소값 Robs(1, ir, jr)가 관측된다. 청색의 성분을 수광하는 화소(B(jb-1)(ib-1))에 대해서는 검은 삼각형으로 표시되는 위치에 화소값 Bobs(1, ib, jb)가 관측된다. 이상과 같이, 1매째 화상의 화소값은 1매째 화상의 좌표계상의 각 화소의 중앙부(중심), 즉 i번째, j번째의 화소에서는 (i-0.5, j-0.5)의 위치에 있어서 관측된다.

도 14는 프레임 메모리(22-2)에 기억되어 있는 2매째 화상을 나타내고 있다.

도 14에 있어서, 녹색의 성분을 수광하는 화소(G(jg-1)(ig-1))에 대해서는, 흑색 원로 표시되는 위치에 화소값 Gobs(2, ig, jg)가 관측된다. 적색의 성분을 수광하는 화소(R(jr-1)(ir-1))에 대해서는 검은 사각형으로 표시되는 위치에 화소값 Robs(2, ir, jr)가 관측된다. 청색의 성분을 수광하는 화소(B(jb-1)(ib-1))에 대해서는 검은 삼각형으로 표시되는 위치에 화소값 Bobs(2, ib, jb)가 관측된다. 이상과 같이, 2매째 화상의 화소값은 2매째 화상의 좌표계상의 각 화소의 중앙부(중심), 즉 i번째, j번째의 화소에서는 (i-0.5, j-0.5)의 위치에 있어서 관측된다.

2매째 화상상의 점을 제1 및 제2 실시 형태와 마찬가지로, 1매째 화상의 좌표계를 기준으로 생각한다. 2매째 화상상의 점은 움직임 검출 회로(23-1)에 의해 검출된 변환 파라미터(θ2, T2x, T2y, S2)를 이용하여 1매째 화상의 좌표계상의 점으로 변환할 수 있다.

도 14에는 그 1매째 화상의 좌표계로 변환된 2매째 화상상의 점의 화소값 Gobs(2, ig, jg), 화소값 Robs(2, ir, jr), 화소값 Bobs(2, ib, jb)도 나타나고 있다.

즉, 2매째 화상의 좌표계의 화소(G(jg-1)(ig-1))의 화소값 Gobs(2, ig, jg)는 2매째 화상의 좌표계상의 위치(ig-0.5, jg-0.5)를 움직임 검출 회로(23-1)에 의해 검출된 변환 파라미터(θ2, T2x, T2y, S2)에 의해 변환한 1매째 화상의 좌표계상의 위치((ig-O.5)₍₂₎, (jg-0.5)₍₂₎)에서 관측되는 녹색의 광량(Lg(x, y))이다. 도 14에서는 화소값 Gobs(2, ig, jg)가 관측되는 1매째 화상의 좌표계상의 위치((ig-0.5)₍₂₎, (jg-0.5)₍₂₎)가 흰색 원로 표시되어 있다.

또한, 2매째 화상의 좌표계의 화소(R(jr-1)(ir-1))의 화소값 Robs(2, ir, jr)은 2매째 화상의 좌표계상의 위치(ir-0.5, jr-0.5)를 움직임 검출 회로(23-1)에 의해 검출된 변환 파라미터(θ2, T2x, T2y, S2)에 의해 변환한 1매째 화상의 좌표계상의 위치((ir-0.5)₍₂₎, (jr-0.5)₍₂₎)에서 관측되는 적색의 광량(Lr(x, y))이다. 도 14에서는 화소값 Robs(2, ir, jr)가 관측되는 1매째 화상의 좌표계상의 위치((ir-0.5)₍₂₎, (jr-0.5)₍₂₎)가 흰 사각형으로 표시되어 있다.

또한, 2매째 화상의 좌표계의 화소(B(jb-1)(ib-1))의 화소값 Bobs(2, ib, jb)는 2매째 화상의 좌표계상의 위치(ib-0.5, jb-0.5)를 움직임 검출 회로(23-1)에 의해 검출된 변환 파라미터(θ2, T2x, T2y, S2)에 의해 변환한 1매째 화상의 좌표계상의 위치((ib-0.5)₍₂₎, (jb-0.5)₍₂₎)에서 관측되는 청색의 광량(Lb(x, y))이다. 도 14에서는 화소값 Bobs(2, ib, jb)가 관측되는 1매째 화상의 좌표계상의 위치((ib-0.5)₍₂₎,(jb-0.5)₍₂₎)가 흰 삼각형으로 표시되어 있다.

도 15는 프레임 메모리(22-3)에 기억되어 있는 3매째 화상을 나타내고 있다.

도 15에 있어서, 녹색의 성분을 수광하는 화소(G(jg-1)(ig-1))에 대해서는, 흑색 원로 표시되는 위치에 화소값 Gobs(3, ig, jg)가 관측된다. 적색의 성분을 수광하는 화소(R(jr-1)(ir-1))에 대해서는, 검은 사각형으로 표시되는 위치에 화소값 Robs(3, ir, jr)가 관측된다. 청색의 성분을 수광하는 화소(B(jb-1)(ib-1))에 대해서는, 검은 삼각형으로 표시되는 위치에 화소값 Bobs(3, ib, jb)가 관측된다. 이상과 같이, 3매째 화상의 화소값은 3매째 화상의 좌표계상의 각 화소의 중앙부(중심), 즉 i번째, j번째의 화소에서는 (i-0.5, j-0.5)의 위치에 있어서 관측된다.

3매째 화상상의 점을, 제1 및 제2 실시 형태와 마찬가지로 1매째 화상의 좌표계를 기준으로 생각한다. 3매째 화상상의 점은 움직임 검출 회로(23-2)에 의해 검출된 변환 파라미터(θ3, T3x, T3y, S3)를 이용하여 1매째 화상의 좌표계상의 점으로 변환할 수 있다.

도 15에는, 그 1매째 화상의 좌표계로 변환된 3매째 화상상의 점의 화소값 Gobs(3, ig, jg), 화소값 Robs(3, ir, jr), 화소값 Bobs(3, ib, jb)도 표시되어 있다.

즉, 3매째 화상의 좌표계의 화소(G(jg-1)(ig-1))의 화소값 Gobs(3, ig, jg)는 3매째 화상의 좌표계상의 위치(ig-0.5, jg-0.5)를 움직임 검출 회로(23-2)에 의해 검출된 변환 파라미터(θ3, T3x, T3y, S3)에 의해 변환한 1매째 화상의 좌표계상의 위치((ig-O.5)₍₃₎, (jg-0.5)₍₃₎)에서 관측되는 녹색의 광량(Lg(x, y))이다. 도 15에서는 화소값 Gobs(3, ig, jg)가 관측되는 1매째 화상의 좌표계상의 위치((ig-0.5)₍₃₎, (jg-0.5)₍₃₎)가 흰색 원로 표시되어 있다.

또한, 3매째 화상의 좌표계의 화소(R(jr-1)(ir-1))의 화소값 Robs(3, ir, jr)는 3매째 화상의 좌표계상의 위치(ir-0.5, jr-0.5)를 움직임 검출 회로(23-2)에 의해 검출된 변환 파라미터(θ3, T3x, T3y, S3)에 의해 변환한 1매째 화상의 좌표계상의 위치((ir-0.5)₍₃₎, (jr-0.5)₍₃₎)에서 관측되는 적색의 광량(Lr(x, y))이다. 도 15에서는, 화소값 Robs(3, ir, jr)가 관측되는 1매째 화상의 좌표계상의 위치((ir-0.5)₍₃₎, (jr-0.5)₍₃₎)가 흰 사각형으로 표시되어 있다.

또한, 3매째 화상의 좌표계의 화소(B(jb-1)(ib-1))의 화소값 Bobs(3, ib, jb)는 3매째 화상의 좌표계상의 위치(ib-0.5, jb-0.5)를 움직임 검출 회로(23-2)에 의해 검출된 변환 파라미터(θ3, T3x, T3y, S3)에 의해 변환한 1매째 화상의 좌표계상의 위치((ib-0.5)₍₃₎, (jb-0.5)₍₃₎)에서 관측되는 청색의 광량(Lb(x, y))이다. 도 15에서는, 화소값 Bobs(3, ib, jb)가 관측되는 1매째 화상의 좌표계상의 위치((ib-0.5)₍₃₎, (jb-0.5)₍₃₎)가 흰 삼각형으로 표시되어 있다.

도 16은 1 내지 N매째의 촬상 화상의 화소 중의 녹색의 성분을 수광하는 소정의 화소(G(jg-1)(ig-1))의 화소값 Gobs(1, ig, jg) 내지 Gobs(N, ig, jg)가 관측되는 1매째 화상의 좌표계상의 위치를 나타내고 있다.

도 16에서는, 1매째 화상의 좌표계상의 ig번째, jg번째의 화소(G(jg-1)(ig-1))의 중심 위치(화소 중심)에 있어서 1매째 화상의 화소값 Gobs(1, ig, jg)가 관측되고 있다. 또한, 화소(G(jg-1)(ig-1))의 화소 중심의 왼쪽 상측에 위치가 1매째 화상의 좌표계상으로 변환된 2매째 화상의 화소값 Gobs(2, ig, jg)가 관측되고 있다. 또한, 화소(G(jg-1)(ig-1))의 화소 중심의 왼쪽 하측에 위치가 1매째 화상의 좌표계상으로 변환된 3매째 화상의 화소값 Gobs(3, ig, jg)가 관측되고 있다. 또한, 화소(G(jg-1)(ig-1))의 화소 중심의 오른쪽 상측에 위치가 1매째 화상의 좌표계상으로 변환된 4매째 화상의 화소값 Gobs(4, ig, jg)가 관측되고 있다. 또, 5 내지 N매째 화상의 화소값 Gobs(k, ig, jg)(k=5 내지 N)의 도시는 생략되어 있다.

제3 실시 형태에서는, 연산 회로(24)는 1 내지 N매째 화상의 화소값 Gobs(k, ig, jg)(k=1 내지 N)에 기초하여, 진정한 녹색 광량을 구한다.

여기에서, 기준 화상인 1매째 화상의 좌표계상에 있어서 i번째, j번째의 화소의 중심 위치(i-0.5, j-0.5)를 (I’, J’)로 나타내기로 한다.

즉, I’=i-0.5, J’=j -0.5로 한다.

도 17은 연산 회로(24)가 선명한 화상의 화상 신호로서 구해야 할 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)), 진정한 청색 광량(Lb(I’, J’))의 위치를 1매째 화상의 좌표계상에 나타낸 것이다.

즉, 도 17에서는 1매째 화상의 좌표계상의 촬상 소자(4)의 각 화소의 중심 위치(I’, J’)가 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)), 진정한 청색 광량(Lb(I’, J’))을 구해야 할 위치로서 흑색 원로 표시되어 있다.

도 18 내지 도 23을 참조하여, 녹색의 성분을 수광하는 화소에 주목하여 스프링 모델에 대해 설명한다. 도 18 이후에 있어서는, 구해야 할 진정한 녹색 광량 (Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))의 1매째 화상의 좌표계상의 위치(I’, J’)를 흑색 원로, 화소값 Gobs(k, ig, jg), Robs(k, ir, jr), Bobs(k, ib, jb)(k=1 내지 N)가 관측된 1매째 화상의 좌표계상의 위치를 흰색 원로 나타내는 것으로 한다. 또한, 이하, 적절히 기준 화상인 1매째 화상의 좌표계를 기준 좌표계라고 한다.

도 18의 점 A의 위치(x, y)는 k매째 화상의 ig번째, jg번째의 화소의 화소값 Gobs(k, ig, jg)가 관측된 위치(ig-0.5, jg-0.5)를 움직임 검출 회로(23-(k-1))에 의해 검출된 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치((ig-0.5)_(k), (jg-0.5)_(k))를 나타내고 있다. k=1인 경우는 (θk, Tkx, Tky, Sk)=(0, 0, 0, 1)로 간주할 수 있으므로, (x, y)=(ig-0.5, jg-0.5)가 된다. 또, 점 A(x, y)의 화소값은 Gobs(k, ig, jg)이다.

여기에서, 점 A(x, y)에 대해 i-0.5≤x＜I+0.5, J-0.5≤y＜J+0.5를 만족하는 정수 I, J를 생각하기로 한다. 이 때의 (I±O.5, J+O.5)으로 둘러싸인 영역의 네 모퉁이의 각 위치, 즉 (I-0.5, J-O.5), (I-0.5, J+0.5), (I+0.5, J-0.5), (I+0.5, J+0.5)의 위치는 진정한 녹색 광량(Lg(I’, J’))을 구하는 각 위치(i’, J’)가 된다.

지금, 점 A(x, y)에서의 화소값 Gobs(k, ig, jg)는 점 A(x, y)에 가까운 (I-0.5, J-O.5), (I-0.5, J+O.5), (I+O.5, J-0.5), (I+0.5, J+0.5)의 위치 각각에서의 진정한 녹색 광량(Lg(I-0.5, J-0.5), Lg(I-0.5, J+0.5), Lg(I+0.5, J-O.5), Lg(I+0.5, J+0.5)) 각각과 거의 같다고 간주할 수 있다. 즉, 진정한 녹색 광량(Lg(I-0.5, J-O.5), Lg(I-0.5, J+O.5), Lg(I+0.5, J-0.5), Lg(I+0.5, J+0.5))은 점 A(x, y)에서의 화소치 Gobs(k, ig, jg)로 근사할 수 있다.

그런데, 점 A(x, y)에서 관측된 화소값 Gobs(k, ig, jg)에는, 제1 및 제2 실시 형태에서 설명한 바와 같이, 오차(노이즈량)(Mk×E)가 포함된다. 또한, 여기에서는 (I-0.5, J-0.5), (I-0.5, J+0.5), (I+0.5, J-O.5), (I+0.5, J+0.5)의 위치 각각에서의 진정한 녹색 광량(Lg(I-0.5, J-O.5), Lg(I-0.5, J+O.5), Lg(I+0.5, J-0.5), Lg(I+0.5, J+O.5))을 점 A(x, y)에서의 화소값 Gobs(k, ig, jg)로 근사한 것에 의한 오차(이하, 적절히, 근사 오차라 한다)가 발생한다.

여기에서, 예를 들면 위치(I-0.5, J-O.5)에서의 진정한 녹색 광량(Lg(I-0.5, J-O.5))을 점 A(x, y)에서의 화소값 Gobs(k, ig, jg)로 근사하는 것은 스프링을 이용한 모델인 스프링 모델에 적용할 수 있다.

도 19는 점 A(x, y)에서의 화소값 Gobs(k, ig, jg)에서 위치(I-0.5, J-O.5)에서의 진정한 녹색 광량(Lg(I-0.5, J-O.5))을 근사한 상태를 나타내는 스프링 모델의 개념적인 도면이다.

도 19에서는 화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I-0.5, J-O.5))이 스프링(BA1)의 한 끝과 다른 끝에 각각 접속되고, 화소값 Gobs(k, ig, jg)측으로 진정한 녹색 광량(Lg(I-0.5, J-O.5))이 끌려가려 하고 있는 상태를 나타내고 있다. 도 19의 스프링 모델에서는, 진정한 녹색 광량(Lg(I-0.5, J-O.5))이 점 A(x, y)의 화소값 Gobs(k, ig, jg)인 것이 확실할수록, 진정한 녹색 광량(Lg(I-0.5, J- O.5))이 화소값 Gobs(k, ig, jg)측으로 끌어 당겨지고, 반대로 그 확실함의 정도가 낮을수록, 진정한 녹색 광량(Lg(I-0.5, J-O.5))이 화소값 Gobs(k, ig, jg)로부터 멀어진다.

여기에서, 화소값 Gobs(k, ig, jg)에서 진정한 녹색 광량(Lg(I-0.5, J-O.5))을 근사한 것에 의한 근사 오차는 점 A(x, y)와 위치(I-0.5, J-O.5) 사이의 거리가 멀어질수록 커진다. 따라서, 점(x1, y1)과 점(x2, y2)의 거리가 멀어지면 함수값이 증가하는 증가 함수 F((x1, y1), (x2, y2))를 도입한다. 함수 F((x1, y1), (x2, y2))로써는, 예를 들면 F((x1, y1), (x2, y 2))=√{(x1-x2)²+(y1-y2)²} 등을 채용할 수 있다.

또한, 상기한 바와 같이, 점 A(x, y)에서 관측된 화소값 Gobs(k, ig, jg)에는 오차로서의 노이즈량(E×Mk)이 포함된다.

화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I-0.5, J-O.5))이 등가(동일)인 것의 확실한 상태, 즉 진정한 녹색 광량(Lg(I-0.5, J-O.5))을 화소값 Gobs(k, ig, jg)로 근사했을 때의 근사 정밀도는, 상술의 근사 오차와 노이즈량(E×Mk)의 증가 또는 감소에 따라 각각 감소 또는 증가한다. 따라서, 근사 정밀도(확실한 상태)는, 예를 들면 Mk×E×F((x, y), (I-0.5, J-O.5))의 값에 대해 감소한다(반비례한다). 즉, 진정한 녹색 광량(Lg(I-0.5, J-O.5))이 점 A(x, y)의 화소값 Gobs(k, ig, jg)에 동일하다는 것의 확실함은, 「Mk×E×F((x, y), (I-0.5, J-O.5))」의 값이 작으면, 크고, 또한 「Mk×E×F((x, y), (I-0.5, J-0.5))」의 값이 크면, 작다고 할 수 있다.

지금, 이 화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I-0.5, J-O.5))이 등가인 것의 확실함을 스프링(BA1)의 스프링 상수(스프링의 강도)로 나타내기로 하면, 스프링 상수는, 예를 들면 식 {√2-F((x, y), (I-0.5, J-O.5))}/(Mk×E)로 나타낼 수 있다. 여기에서, 분모의 (Mk×E)는 노이즈량(E)의 Mk배이며, 노이즈가 커질수록 스프링(BA1)는 약해져, 진정한 녹색 광량(Lg(I-0.5, J-O.5))이 스프링(BA1)에 의해 점 A의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 작아진다. 분자의 {√2-F((x, y), (I-0.5, J-O.5))}는 도 18의 (I±0.5, J±O.5)로 둘러싸인 영역내의 임의의 2점의 거리의 최대값인 √(1²+1²)=√2로부터, 점 A와 (I-0.5, J-O.5)의 거리 F((x, y), (I-0.5, J-O.5))를 뺀 값(차분)이며, 화소값 Gobs(k, ig, jg)가 관측된 위치 A(x, y)와 진정한 녹색 광량(Lg(I-0.5, J-O.5))을 구하는 위치(I-0.5, J-O.5)의 거리가 멀어질수록 √2-F((x, y), (I-0.5, J-O.5))는 작아져, 스프링(BA1)은 약해진다. 따라서, 진정한 녹색 광량(Lg(I-0.5, J-O.5))이 스프링(BA1)에 의해 점 A의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 작아진다. 또, 스프링 상수에 있어서, 분자의 {√2-F((x, y), (I-0.5, J-O.5))} 대신에 F((x, y), (I-0.5, J-O.5))의 역수 등을 이용할 수 있다.

스프링 모델에 있어서, 스프링(BA1)은 자연 길이(무부하의 상태에서의 스프링(BA1)의 길이)이 0인 스프링이라 한다. 이 경우, 스프링(BA1)의 길이(늘어짐)는 광량(화소값)의 축방향을 거리로 하여 |Gobs(k, ig, jg)-Lg(I-0.5, J-O.5)|로 나타 낼 수가 있고, 진정한 녹색 광량(Lg(I-0.5, J-0.5))이 스프링(BA1)에 의해 점 A(x, y)의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 스프링 상수×스프링의 길이={{√2-F((x, y), (I-0.5, J-O.5))}/(Mk×E)}×|Gobs(k, ig, jg)-Lg(I-0.5, J-O.5))|으로 나타낼 수 있다.

도 20은 점 A(x, y)에서의 화소값 Gobs(k, ig, jg)와 (I-0.5, J-O.5), (I-0.5, J+O.5), (I+0.5, J-0.5), (I+0.5, J+O.5)의 위치에서의 진정한 녹색 광량(Lg(I-0.5, J-O.5), Lg(I-0.5, J+O.5), Lg(I+0.5, J-O.5), Lg(I+0.5, J+O.5)) 각각의 관계를 나타내는 스프링 모델을 개념적으로 나타낸 도면이다.

도 19에서 설명한 점 A(x, y)에서의 화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I-0.5, J-O.5))의 관계를 나타내는 스프링 모델과 마찬가지로, 진정한 녹색 광량(Lg(I-0.5, J+O.5), Lg(I+0.5, J-O.5), Lg(I+0.5, J+O.5)) 각각에 대해서도 점 A(x, y)에서의 화소값 Gobs(k, ig, jg)의 관계를 스프링 모델로 나타낼 수가 있다.

즉, 도 20에서는 화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 스프링(BA2)의 한 끝과 다른 끝에 각각 접속되고, 화소값 Gobs(k, ig, jg)측으로 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 끌려가려 하고 있는 상태를 나타내고 있다. 도 20의 스프링 모델에서는, 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 점 A(x, y)의 화소값 Gobs(k, ig, jg)인 것이 확실할수록, 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 화소값 Gobs(k, ig, jg)측으로 끌어 당겨지고, 반대로 그 확실한 정도가 낮을수록, 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 화소값 Gobs(k, ig, jg) 로부터 멀어진다.

여기에서, 화소값 Gobs(k, ig, jg)에서 진정한 녹색 광량(Lg(I-O.5, J+O.5))을 근사한 것에 의한 근사 오차는 점 A(x, y)와 위치(I-0.5, J+O.5) 사이의 거리가 멀어질수록 커진다. 따라서, 점(x1, y1)과 점(x2, y2)의 거리가 멀어지면 함수값이 증가하는 증가 함수 F((x1, y1), (x2, y2))를 도입한다. 함수 F((x1, y1), (x2, y2))로써는, 예를 들면 F((x1, y1), (x2, y2))=√{(x1-x2)²+(y1-y2)²} 등을 채용할 수 있다.

또한, 상기한 바와 같이, 점 A(x, y)에서 관측된 화소값 Gobs(k, ig, jg)에는 오차로서의 노이즈량(E×Mk)이 포함된다.

화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 등가(동일)인 것이라는 확실함, 즉 진정한 녹색 광량(Lg(I-0.5, J+O.5))을 화소값 Gobs(k, ig, jg)로 근사했을 때의 근사 정밀도는 상술의 근사 오차와 노이즈량(E×Mk)의 증가 또는 감소에 따라, 각각 감소 또는 증가한다. 따라서, 근사 정밀도(확실함)는, 예를 들면, Mk×E×F((x, y), (I-0.5, J+O.5))의 값에 대해 감소한다(반비례한다). 즉, 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 점 A(x, y)의 화소값 Gobs(k, ig, jg)에 동일하다는 것의 확실함은 「Mk×E×F((x, y), (I-0.5, J+O.5))」의 값이 작으면, 크고, 또한 「Mk×E×F((x, y), (I-0.5, J+0.5))」의 값이 크면, 작다고 할 수 있다.

지금, 이 화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 등가인 것의 확실함을 스프링(BA2)의 스프링 상수(스프링의 강도)로 나타내기로 하면, 스프링 상수는, 예를 들면 식 {√2-F((x, y), (I-0.5, J+O.5))}/(Mk×E)로 나타낼 수가 있다. 여기에서, 분모의 (Mk×E)는 노이즈량(E)의 Mk배이며, 노이즈가 커질수록 스프링(BA2)은 약해져, 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 스프링(BA2)에 의해 점 A의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 작아진다. 분자의 {√2-F((x, y), (I-0.5, J+O.5))}는 도 18의 (I±0.5, J±O.5)로 둘러싸인 영역내의 임의의 2점의 거리의 최대값인 √(1²+1²)=√2로부터 점 A와 (I-O.5, J+O.5)의 거리 F((x, y), (I-0.5, J+O.5))를 뺀 값(차분)이며, 화소값 Gobs(k, ig, jg)가 관측된 위치 A(x, y)와 진정한 녹색 광량(Lg(I-0.5, J+O.5))을 구하는 위치(I-O.5, J+O.5)의 거리가 커질수록, √2-F((x, y), (I-0.5, J+O.5))는 작아져, 스프링(BA2)은 약해진다. 따라서, 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 스프링(BA2)에 의해 점 A의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 작아진다. 또, 스프링 상수에 있어서, 분자의 {√2-F((x, y), (I-0.5, J+O.5))} 대신에 F((x, y), (I-0.5, J+O.5))의 역수 등을 이용할 수도 있다.

스프링 모델에 있어서, 스프링(BA2)은 자연 길이(무부하의 상태에서의 스프링(BA2)의 길이)이 O인 스프링이라고 한다. 이 경우, 스프링(BA2)의 길이(늘어짐)는 광량(화소값)의 축방향을 거리로 하여 |Gobs(k, ig, jg)-Lg(I-0.5, J+O.5)|로 나타낼 수가 있고, 진정한 녹색 광량(Lg(I-0.5, J+O.5))이 스프링(BA2)에 의해 점 A(x, y)의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 스프링 상수×스프링의 길 이={{√2-F((x, y), (I-0.5, J+O.5))}/(Mk×E)}×|Gobs(k, ig, jg)-Lg(I-0.5, J+O.5)|로 나타낼 수가 있다.

또한, 도 20에서는 화소값 Gobs(k, ig, jg)와 진정한 녹색 광량 Lg(I+0.5, J-O.5)가 스프링(BA3)의 한 끝과 다른 끝에 각각 접속되고, 화소값 Gobs(k, ig, jg)측으로 진정한 녹색 광량(Lg(I+0.5, J-O.5))이 끌려가려 하고 있는 상태를 나타내고 있다. 도 20의 스프링 모델에서는, 진정한 녹색 광량(Lg(I+0.5, J-O.5))이 점 A(x, y)의 화소값 Gobs(k, ig, jg)인 것이 확실할수록, 진정한 녹색 광량(Lg(I+0.5, J-O.5))이 화소값 Gobs(k, ig, jg)측으로 끌어 당겨지고, 반대로 그 확실한 정도가 낮을수록, 진정한 녹색 광량(Lg(I+O.5, J-O.5))이 화소값 Gobs(k, ig, jg)로부터 멀어진다.

여기에서, 화소값 Gobs(k, ig, jg)에서 진정한 녹색 광량(Lg(I+0.5, J-O.5))을 근사한 것에 의한 근사 오차는 점 A(x, y)와 위치(I+0.5, J-O.5) 사이의 거리가 멀어질수록 커진다. 따라서, 점(x1, y1)과 점(x2, y2)의 거리가 멀어지면 함수값이 증가하는 증가 함수 F((x1, y1), (x2, y2))를 도입한다. 함수 F((x1, y1), (x2, y2))로써는, 예를 들면 F((x1, y1), (x2, y2))=√{(x1-x2)²+(y1-y2)²} 등을 채용할 수 있다.

또한, 상기한 바와 같이, 점 A(x, y)에서 관측된 화소값 Gobs(k, ig, jg)에는 오차로서의 노이즈량(E×Mk)이 포함된다.

화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I+0.5, J-O.5))이 등가(동 일)인 것의 확실함, 즉 진정한 녹색 광량(Lg(I+O.5, J-O.5))을 화소값 Gobs(k, ig, jg)로 근사했을 때의 근사 정밀도는 상술의 근사 오차와 노이즈량(E×Mk)의 증가 또는 감소에 따라, 각각 감소 또는 증가한다. 따라서, 근사 정밀도(확실한 정도)는, 예를 들면 Mk×E×F((x, y), (I+0.5, J-O.5))의 값에 대해 감소(반비례한다). 즉, 진정한 녹색 광량(Lg(I+0.5, J-O.5))이 점 A(x, y)의 화소값 Gobs(k, ig, jg)에 동일하다는 것의 확실함은, 「Mk×E×F((x, y), (I+O.5, J-O.5))」의 값이 작으면, 크고, 또한 「Mk×E×F((x, y), (I+O.5, J-0.5))」의 값이 크면, 작다고 할 수 있다.

지금, 이 화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I+0.5, J-O.5))이 등가인 것의 확실함을 스프링(BA3)의 스프링 상수(스프링의 강도)로 나타내기로 하면, 스프링 상수는, 예를 들면, 식 {√2-F((x, y), (I+0.5, J-O.5))}/(Mk×E)로 나타낼 수가 있다. 여기에서, 분모의 (Mk×E)는 노이즈량(E)의 Mk배이며, 노이즈가 커질수록 스프링(BA3)은 약해져, 진정한 녹색 광량(Lg(I+0.5, J-O.5))이 스프링(BA3)에 의해 점 A의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 작아진다. 분자의 {√2-F((x, y), (I+0.5, J-O.5))}는, 도 18의 (I±0.5, J±O.5)로 둘러싸인 영역내의 임의의 2점의 거리의 최대값인 √(1²+1²)=√2에서 점 A와 (I+O.5, J-O.5)의 거리 F((x, y), (I+0.5, J-O.5))를 뺀 값(차분)이며, 화소값 Gobs(k, ig, jg)가 관측된 위치 A(x, y)와 진정한 녹색 광량(Lg(I+0.5, J-O.5))을 구하는 위치(I+O.5, J-O.5)의 거리가 커질수록, √2-F((x, y), (I+0.5, J-O.5))는 작아져, 스프링(BA3) 은 약해진다. 따라서, 진정한 녹색 광량(Lg(I+0.5, J-O.5))이 스프링(BA3)에 의해 점 A의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 작아진다. 또, 스프링 상수에 있어서, 분자의 {√2-F((x, y), (I+0.5, J-O.5))} 대신에 F((x, y), (I+0.5, J-O.5))의 역수 등을 이용할 수도 있다.

스프링 모델에 있어서, 스프링(BA3)은 자연 길이(무부하의 상태에서의 스프링(BA3)의 길이)이 O인 스프링이라고 한다. 이 경우, 스프링(BA3)의 길이(늘어짐)는 광량(화소값)의 축방향을 거리로 하여 |Gobs(k, ig, jg)-Lg(I+0.5, J-O.5)|로 나타낼 수가 있고, 진정한 녹색 광량(Lg(I+0.5, J-O.5))이 스프링(BA3)에 의해 점 A(x, y)의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 스프링 상수×스프링의 길이={{√2-F((x, y), (I+0.5, J-O.5))}/(Mk×E)}×|Gobs(k, ig, jg)-Lg(I+0.5, J-O.5)|로 나타낼 수가 있다.

또한, 도 20에서는 화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I+0.5, J+O.5))이 스프링(BA4)의 한 끝과 다른 끝에 각각 접속되고, 화소값 Gobs(k, ig, jg)측으로 진정한 녹색 광량(Lg(I+0.5, J+O.5))이 끌려가려 하고 있는 상태를 나타내고 있다. 도 20의 스프링 모델에서는, 진정한 녹색 광량(Lg(I+0.5, J+O.5))이 점 A(x, y)의 화소값 Gobs(k, ig, jg)인 것이 확실할수록, 진정한 녹색 광량(Lg(I+0.5, J+O.5))이 화소값 Gobs(k, ig, jg)측으로 끌어 당겨지고, 반대로 그 확실한 정도가 낮을수록, 진정한 녹색 광량(Lg(I+O.5, J+O.5))이 화소값 Gobs(k, ig, jg)로부터 멀어진다.

여기에서, 화소값 Gobs(k, ig, jg)에서 진정한 녹색 광량(Lg(I+0.5, J+O.5)) 을 근사한 것에 의한 근사 오차는, 점 A(x, y)와 위치(I+0.5, J+O.5) 사이의 거리가 멀어질수록 커진다. 따라서, 점(x1, y1)과 점(x2, y2)의 거리가 멀어지면 함수값이 증가하는 증가 함수 F((x1, y1), (x2, y2))를 도입한다. 함수 F((x1, y1), (x2, y2))로써는, 예를 들면 F((x1, y1), (x2, y2))=√{(x1-x2)²+(y1-y2)²} 등을 채용할 수 있다.

또한, 상기한 바와 같이, 점 A(x, y)에서 관측된 화소값 Gobs(k, ig, jg)에는 오차로서의 노이즈량(E×Mk)이 포함된다.

화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I+0.5, J+O.5))이 등가(동일)인 것의 확실함, 즉 진정한 녹색 광량(Lg(I+O.5, J+O.5))을 화소값 Gobs(k, ig, jg)로 근사했을 때의 근사 정밀도는, 상술의 근사 오차와 노이즈량(E×Mk)의 증가 또는 감소에 따라, 각각 감소 또는 증가한다. 따라서, 근사 정밀도(확실함)는, 예를 들면 Mk×E×F((x, y), (I+0.5, J+O.5))의 값에 대해 감소(반비례한다). 즉, 진정한 녹색 광량(Lg(I+0.5, J+O.5))이 점 A(x, y)의 화소값 Gobs(k, ig, jg)에 동일하다는 것의 확실함은 「Mk×E×F((x, y), (I+O.5, J+O.5))」의 값이 작으면, 크고, 또한 「Mk×E×F((x, y), (I+O.5, J+0.5))」의 값이 크면, 작다고 할 수 있다.

지금, 이 화소값 Gobs(k, ig, jg)와 진정한 녹색 광량(Lg(I+0.5, J+O.5))이 등가라는 것의 확실함을 스프링(BA4)의 스프링 상수(스프링의 강도)로 나타내기로 하면, 스프링 상수는, 예를 들면 식 {√2-F((x, y), (I+0.5, J+O.5))}/(Mk×E)로 나타낼 수가 있다. 여기에서, 분모의 (Mk×E)는 노이즈량(E)의 Mk배이며, 노이즈 가 커질수록 스프링(BA4)은 약해져, 진정한 녹색 광량(Lg(I+0.5, J+O.5))이 스프링(BA4)에 의해 점 A의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 작아진다. 분자의 {√2-F((x, y), (I+0.5, J+O.5))}는 도 18의 (I±0.5, J±O.5)로 둘러싸인 영역내의 임의의 2점의 거리의 최대값인 √(1²+1²)=√2에서 점 A와 (I+O.5, J+O.5)의 거리 F((x, y), (I+0.5, J+O.5))를 뺀 값(차분)이며, 화소값 Gobs(k, ig, jg)가 관측된 위치 A(x, y)와 진정한 녹색 광량(Lg(I+0.5, J+O.5))을 구하는 위치(I+O.5, J+O.5)의 거리가 멀어질수록, √2-F((x, y), (I+0.5, J+O.5))는 작아져, 스프링(BA4)은 약해진다. 따라서, 진정한 녹색 광량(Lg(I+0.5, J+O.5))이 스프링(BA3)에 의해 점 A의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 작아진다. 또, 스프링 상수에 있어서, 분자의 {√2-F((x, y), (I+0.5, J+O.5))} 대신에 F((x, y), (I+0.5, J+O.5))의 역수 등을 이용할 수도 있다.

스프링 모델에 있어서, 스프링(BA4)은 자연 길이(무부하의 상태에서의 스프링(BA3)의 길이)이 O인 스프링이라고 한다. 이 경우, 스프링(BA4)의 길이(늘어짐)는 광량(화소값)의 축방향을 거리로 하여 |Gobs(k, ig, jg)-Lg(I+0.5, J+O.5)|로 나타낼 수가 있고, 진정한 녹색 광량(Lg(I+0.5, J+O.5))이 스프링(BA4)에 의해 점 A(x, y)의 화소값 Gobs(k, ig, jg)측으로 끌려가는 힘은 스프링 상수×스프링의 길이={{√2-F((x, y), (I+0.5, J+O.5))}/(Mk×E)}×|Gobs(k, ig, jg)-Lg(I+0.5, J+O.5)|로 나타낼 수가 있다.

이상에서는, 기준 좌표계상의 임의의 위치 A(x, y)에서의 화소값 Gobs(k, ig, jg)에 주목하여, 그 위치 A(x, y)의 주변, 즉 식 I-O.5≤x＜I+O.5와 식 J-O.5≤y＜J+O.5를 만족하는 정수 I, J로 나타내지는 임의의 진정한 녹색 광량(Lg(I-0.5, J-O.5), Lg(I-0.5, J+O.5), Lg(I+0.5, J-O.5), Lg(I+0.5, J+O.5))의 관계를 스프링 모델로 나타냈지만, 이번에는 기준 좌표계상의 화소 중심이 되는 위치(I’, J’)에 주목하여 그 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))과 그 주변에서 관측되는 화소값 Gobs(k, ig, jg)의 관계를 스프링 모델로 나타내기로 한다.

위치(I’, J’)는 그 I’, J’의 소수점 이하가 O.5인 각 화소의 중심 위치이기 때문에, 예를 들면 도 20에 있어서 흑색 원로 표시되는 (I-0.5, J-O.5) 등이 위치(I’, J’)가 된다.

도 20에 나타낸 바와 같이, 점 A(x, y)에 대해서는 그 주변의 4개의 진정한 녹색 광량(Lg(I-0.5, J-O.5), Lg(I-0.5, J+O.5), Lg(I+0.5, J-0.5), Lg(I+0.5, J+O.5))의 사이에, 스프링 모델을 정의할 수 있다. 또한, 점 A(x, y) 이외의 1 내지 N매째의 촬상 화상의 각 화소값 Gobs(k, ig, jg)가 관측되는 점에 대해서도, 각각 마찬가지로 4개의 스프링 모델을 정의할 수 있다. 따라서, 위치(I’, J’)에 주목하면, 도 21에 나타낸 바와 같이, 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))에 대해 그 주변에 있는, 예를 들면 점 A 내지 점 E 각각에서 관측되는 화소값 Gobs(k, ig, jg)과의 스프링 모델이 정의되게 된다.

즉, 어느 위치(I’, J’)에 대해, 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가, I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 정수 k, ig, jg의 세트를 모두 구한다. 예를 들면, 지금 도 21에 나타낸 바와 같이, 위치(I’, J’)에 대해 점 A 내지 점 E에서 관측된 5개의 화소값 Gobs(k, ig, jg)를 특정하는 (k, ig, jg)의 세트가 얻어졌다고 한다.

이 경우, 도 22에 나타낸 바와 같이, 점 A 내지 점 E에서 관측된 5개의 화소값 Gobs(k, ig, jg) 각각과, 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))의 관계를 나타내는 스프링 모델을 정의할 수 있다. 즉, 진정한 녹색 광량(Lg(I’, J’))을 구해야 할 위치(I’, J’)에 대해, 그 진정한 녹색 광량(Lg(I’, J’))과 관측된 화소값 Gobs(k, ig, jg)의 관계를 스프링 모델로 나타낼 수가 있다.

도 23은 위치(I’, J’)에 주목한 스프링 모델에 의해 그 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))을 추정하는 추정 방법을 설명하는 도면이다. 또, 도 23에서의 축은 녹색의 광량(G신호)을 나타낸다.

도 23에서는 질량이 O인 물체 V가 5개의 스프링 각각의 한 끝에 연결되어 있고, 5개의 스프링의 다른 끝은 점 A 내지 점 E의 5개의 화소값 Gobs(k, ig, jg) 각각에 접속되어 있다. 즉, 점 A 내지 점 E의 5개의 화소값 Gobs(k, ig, jg)는 도 22가 있는 위치(I’, J’)에 대해 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가, I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ig, jg)의 세트에 대응하는 화소값 Gobs(k, ig, jg)이다.

또한, 이 5개의 스프링의 자연 길이은 O이며, 점 (x, y)에서 관측되는 화소값 Gobs(k, ig, jg)에 다른 끝이 접속되어 있는 스프링의 스프링 상수는 상기한 바와 같이 {√2-F((x, y), (I’, J’))}/(Mk×E)이다.

상술의 5개의 스프링 각각은 그 스프링 상수에 비례하는 힘으로 5개의 화소 값 Gobs(k, ig, jg)측으로 물체 V를 서로 끌어 당기고 있으며, 어느 위치에서 균형이 잡히게 된다. 그 위치를 나타내는 광량이 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))으로서 추정된다. 이 스프링의 균형은 물체 V에 가해지는 힘의 총합이 O인 것을 나타내는 다음 식에 의해 나타낼 수가 있다.

이하에 있어서, 식 (25)를 녹색 광량의 스프링 관계식이라 한다. 여기에서, 식 (25)에서의 ∑은 어느 위치(I’, J’)에 대해 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ig, jg)의 세트의 개수분의 합을 나타낸다. 예를 들면, 도 23의 예에서는 점 A 내지 점 E의 5개의 (k, ig, jg)의 세트에 대한 합이 된다.

식 (25)는 Lg(I’, J’)를 미지수로 하는 일차 방정식이며, 식 (25)를 푸는 것에 의해 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’))을 구할 수 있다.

위치(I’, J’)에서의 진정한 적색 광량(Lr(I’, J’))과 진정한 청색 광량(Lb(I’, J’))에 대해서도, 도 18 내지 도 23에서 설명한 녹색의 성분을 수광하는 화소의 경우와 마찬가지로 식 (25)와 같은 식 (26)과 식 (27)의 일차 방정식을 만들 수 있다.

이하에 있어서, 식 (26)을 적색 광량의 스프링 관계식이라 한다. 여기에서, 식 (26)에서의 ∑은 어느 위치(I’, J’)에 대해 위치(ir-O.5, jr-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ir, jr)의 세트의 개수분의 합을 나타낸다.

이하에 있어서, 식 (27)을 청색 광량의 스프링 관계식이라 한다. 여기에서, 식 (27)에서의 ∑은 어느 위치(I’, J’)에 대해 위치(ib-O.5, jb-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ib, jb)의 세트의 개수분의 합을 나타낸다.

따라서, 제3 실시 형태에서는, 어느 위치(I’, J’)에 대해 위치(i-0.5, j-0.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(보정 위치)(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ib, jb)의 세트의 화소값에 기초하여, 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)), 진정한 청색 광량(Lb(I’, J’))이 구해진다.

다음으로, 도 24의 플로우차트를 참조하여 도 2의 단계 S4에서의 화상 추정 처리의 제3 실시 형태에 대해 설명한다.

먼저, 단계 S71에 있어서, 연산 회로(24)는 기준 좌표계상의 어느 위치(I’, J’)에 주목한다(이하, 주목 위치(I’, J’)라 한다). 여기에서, 주목 위치(I’, J’)는 기준 화상인 1매째의 촬상 화상의 「i번째, j번째의 화소」의 화소 중심(i-0.5, j-0.5)을 나타내고 있다.

그리고, 단계 S71에서 S72로 진행하여, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 녹색 성분을 수광하는 화소의 중심 위치(ig-0.5, jg-0.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가, I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ig, jg)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S73으로 진행한다.

단계 S73에 있어서, 연산 회로(24)는 단계 S72에서 구한 모든 (k, ig, jg)의 세트를 이용하여 식 (25)로 나타내지는 녹색 광량의 스프링 관계식을 생성하고, 단계 S74로 진행한다.

단계 S74에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해, k매째 화상의 적색 성분을 수광하는 화소의 중심 위치(ir-O.5, jr-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가, I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ir, jr)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S75로 진행한다.

단계 S75에 있어서, 연산 회로(24)는 단계 S74에서 구한 모든 (k, ir, jr)의 세트를 이용하여 식 (26)으로 나타내지는 적색 광량의 스프링 관계식을 생성하고, 단계 S76으로 진행한다.

단계 S76에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 청색 성분을 수광하는 화소의 중심 위치(ib-O.5, jb-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ib, jb)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S77로 진행한다.

단계 S77에 있어서, 연산 회로(24)는 단계 S76에서 구한 모든 (k, ib, jb)의 세트를 이용하여 식 (27)로 나타내지는 청색 광량의 스프링 관계식을 생성하고, 단계 S78로 진행한다.

단계 S78에 있어서, 연산 회로(24)는 단계 S73에서 구한 식 (25)로 나타내지는 녹색 광량의 스프링 관계식, 단계 S75에서 구한 식 (26)으로 나타내지는 적색 광량의 스프링 관계식, 단계 S77에서 구한 식 (27)로 나타내지는 청색 광량의 스프링 관계식을 일차 방정식으로서 푸는 것에 의해, 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 각각 구하고, 단계 S79로 진행한다.

단계 S79에 있어서, 연산 회로(24)는 모든 위치(I’, J’)를 주목 위치로 하였는지, 즉 1매째의 촬상 화상의 화소의 중심 위치의 모두를 주목 위치(I’, J’)로서 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 구하였는지의 여부를 판정한다.

단계 S79에서, 모든 위치(I’, J’)를 아직 주목 위치로서 구하지 않았다고 판정된 경우, 단계 S71로 돌아가 단계 S71 내지 S79의 처리가 반복된다. 즉, 연산 회로(24)는 아직 주목하지 않은 위치(I’, J’)를 다음의 주목 위치(I’, J’)로 하여, 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 각각 구한다.

한편, 단계 S79에서 모든 위치(I’, J’)를 주목 위치로 하였다고 판정된 경우, 단계 S80으로 진행하고, 연산 회로(24)는 단계 S78에서 구한 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)), 진정한 청색 광량(Lb(I’, J’))으로부터 화상(신호)을 추정하여, D/A 컨버터(9) 또는 코덱(12)에 출력 화상으로서 공급하고, 처리를 돌아온다. 예를 들면, 「i번째, j번째의 화소」에 있어서는, 연산 회로(24)는 녹색의 값(G신호)으로서 단계 S78에서 구한 진정한 녹색 광량(Lg(i-0.5, j-0.5))과 적색의 값(R신호)으로서 단계 S78에서 구한 진정한 적색 광량(Lr(i-0.5, j-O.5))과 청색의 값(B신호)으로서 단계 S78에서 구한 진정한 청색 광량(Lb(i-0.5, j-0.5))으로부터, 「i번째, j번째의 화소」의 화상 신호를 추정한다(얻는다). 그리고, 연산 회로(24)는 그 추정을 위치(I’, J’)를 중심 위치로 하는 화소 모두에 대해 행함으로써, 출력 화상을 추정한다.

이상과 같이, 제3 실시 형태에서는 촬상 소자(4)의 각 화소에서 수광되는 데이터를 포인트 샘플링된 데이터로서 파악하고, 각 화소 중심에서 관측된 화소값과 카메라 흐려짐이 없는 선명한 화상으로서의 화상 신호의 관계를 스프링 모델로 나타냄으로써, 보다 진정한 광에 충실하고 선명한 화상을 구할 수 있다.

다음으로, 화상 추정 처리의 제4 실시 형태에 대해 설명한다. 제4 실시 형태는 도 24에서 설명한 제3 실시 형태의 일부를 개량한 것이다.

즉, 도 24의 제3 실시 형태에 있어서는, 단계 S72에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 녹색 성분을 수광하는 화소의 중심 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ig, jg)의 세트를 1 내지 N매째 화상에 대해 모두 구한다. 그리고, 단계 S73에 있어서, 연산 회로(24)는 단계 S72에서 구한 모든 (k, ig, jg)의 세트를 이용하여 식 (25)로 나타내지는 녹색 광량의 스프링 관계식을 생성한다. 또한, 적색이나 청색의 성분을 수광하는 화소에 대해서도 마찬가지로, 주목 위치(I’, J’)에 대해 (k, ig, jg)의 세트를 구하고, 그 구한 모든 (k, ig, jg)의 세트를 이용하여 식 (26)이나 식 (27)로 나타내지는 스프링 관계식을 생성한다.

그런데, 1 내지 N매의 화상 중의 특정 화상의 특정 화소의 데이터가, 예를 들면 촬영 미스 등에 의해 신뢰성이 없는 데이터가 되어 버리는 경우가 있다. 도 1의 디지털 카메라(1)에서는 N매의 화상이 촬상되어 프레임 메모리(22)에 기억되어 있다. 따라서, 신뢰성이 없는 데이터를 채용하지 않도록 하였다고 해도, 충분한 데이터를 확보할 수 있다.

따라서, 제4 실시 형태는 신뢰성이 있는 데이터만을 채용하여(신뢰성이 없는 데이터를 파기하여), 보다 선명한 화상을 추정하도록 하는 것이다. 그 때문에, 제4 실시 형태에서는, 주목 위치(I’, J’)에 대해 구한 모든 (k, ig, jg)의 세트 중에서 신뢰성이 있는 데이터로서 미리 설정된 L개의 (k, ig, jg)의 세트를 채용하는 것으로 한다. 여기에서 L은, 예를 들면 8개 등의 고정의 값으로 할 수도 있고, 사 용자의 조작에 따라 설정되는 가변의 값으로 할 수도 있다. 연산 회로(24)는 구한 모든 (k, ig, jg)의 세트의 화소값 Gobs(k, ig, jg)의 평균값을 구하고, (k, ig, jg)의 세트를 그 화소값 Gobs(k, ig, jg)의 평균값에 가까운 순서로 L개(L=8)만 선택하여, 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))을 구하는 것으로 채용한다.

따라서, 제3 실시 형태에 있어서, 식 (25), 식 (26) 및 식 (27)로 나타내지는 녹색, 적색 및 청색 광량의 스프링 관계식은, 제4 실시 형태에서는 각각 식 (28), 식 (29) 및 식 (30)과 같이 나타낼 수가 있다.

여기에서, 식 (28)에서의 ∑은 주목 위치(I’, J’)에 대해 구한 모든 (k, ig, jg)의 세트의 화소값 Gobs(k, ig, jg)의 평균값을 구하고, 화소값 Gobs(k, ig, jg)가 평균값에 가까운 순서의 L개의 (k, ig, jg)의 세트의 합을 나타낸다.

여기에서, 식 (29)에서의 ∑은 주목 위치(I’, J’)에 대해 구한 모든 (k, ir, jr)의 세트의 화소값 Robs(k, ir, jr)의 평균값을 구하고, 화소값 Robs(k, ir, jr)이 평균값에 가까운 순서의 L개의 (k, ir, jr)의 세트의 합을 나타낸다.

여기에서, 식 (30)에서의 ∑은 주목 위치(I’, J’)에 대해 구한 모든 (k, ib, jb)의 세트의 화소값 Bobs(k, ib, jb)의 평균값을 구하고, 화소값 Bobs(k, ib, jb)가 평균값에 가까운 순서의 L개의 (k, ib, jb)의 세트의 합을 나타낸다.

도 25의 플로우차트를 참조하여 도 2의 단계 S4에서의 화상 추정 처리의 제4 실시 형태에 대해 설명한다.

먼저, 단계 S91에 있어서, 연산 회로(24)는 기준 좌표계상의 어느 위치(I’, J’)에 주목한다(이하, 주목 위치(I’, J’)라 한다). 여기에서, 주목 위치(I’, J’)는 기준 화상인 1매째의 촬상 화상의 「i번째, j번째의 화소」의 화소 중심(i-0.5, j-O.5)을 나타내고 있다.

그리고, 단계 S91에서 S92로 진행하여, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 녹색 성분을 수광하는 화소의 중심 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ig, jg)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S93으로 진행한다.

단계 S93에 있어서, 연산 회로(24)는 단계 S92에서 구한 모든 (k, ig, jg)의 세트에서의 화소값 Gobs(k, ig, jg)의 평균값을 구하고, 화소값 Gobs(k, ig, jg)가 평균값에 가까운 순서의 L개의 (k, ig, jg)의 세트를 선택하여, 단계 S94로 진행한다. 즉, 단계 S93에서는, 단계 S92에서 구한 모든 (k, ig, jg)의 세트에서의 화소 값 Gobs(k, ig, jg)의 평균값으로부터 먼 것이 신뢰성이 없는 데이터로서 파기된다. 또, 단계 S92에서 구한 모든 (k, ig, jg)의 세트가 처음부터 L개에 이르지 않는 경우에는, 그들 모든 (k, ig, jg)의 세트가 선택된다(파기되지 않는다).

단계 S94에 있어서, 연산 회로(24)는 단계 S93에서 선택한 L개의 (k, ig, jg)의 세트를 이용하여 식 (28)로 나타내지는 녹색 광량의 스프링 관계식을 생성하고, 단계 S95로 진행한다.

단계 S95에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 적색 성분을 수광하는 화소의 중심 위치(ir-0.5, jr-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ir, jr)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S96으로 진행한다.

단계 S96에 있어서, 연산 회로(24)는 단계 S96에서 구한 모든 (k, ir, jr)의 세트에서의 화소값 Robs(k, ir, jr)의 평균값을 구하고, 화소값 Robs(k, ir, jr)가 평균값에 가까운 순서의 L개의 (k, ir, jr)의 세트를 선택하여, 단계 S97로 진행한다. 즉, 단계 S96에서는, 단계 S95에서 구한 모든 (k, ir, jr)의 세트에서의 화소값 Robs(k, ir, jr)의 평균값으로부터 먼 것이 신뢰성이 없는 데이터로서 파기된다. 또, 단계 S95에서 구한 모든 (k, ir, jr)의 세트가 처음부터 L개에 이르지 않는 경우에는 그들 모든 (k, ir, jr)의 세트가 선택된다(파기되지 않는다).

단계 S97에 있어서, 연산 회로(24)는 단계 S96에서 선택한 L개의 (k, ir, jr)의 세트를 이용하여 식 (29)로 나타내지는 적색 광량의 스프링 관계식을 생성하 고, 단계 S98로 진행한다.

단계 S98에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 청색 성분을 수광하는 화소의 중심 위치(ib-O.5, jb-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ib, jb)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S99로 진행한다.

단계 S99에 있어서, 연산 회로(24)는 단계 S98에서 구한 모든 (k, ib, jb)의 세트에서의 화소값 Bobs(k, ib, jb)의 평균값을 구하고, 화소값 Bobs(k, ib, jb)가 평균값에 가까운 순서의 L개의 (k, ib, jb)의 세트를 선택하여, 단계 S100으로 진행한다. 즉, 단계 S99에서는, 단계 S98에서 구한 모든 (k, ib, jb)의 세트에서의 화소값 Bobs(k, ib, jb)의 평균값으로부터 먼 것이 신뢰성이 없는 데이터로서 파기된다. 또, 단계 S98에서 구한 모든 (k, ib, jb)의 세트가 처음부터 L개에 이르지 않는 경우에는 그들 모든 (k, ib, jb)의 세트가 선택된다(파기되지 않는다).

단계 S100에 있어서, 연산 회로(24)는 단계 S99에서 선택한 L개의 (k, ib, jb)의 세트를 이용하여 식 (30)으로 나타내지는 청색 광량의 스프링 관계식을 생성하고, 단계 S101로 진행한다.

단계 S101에 있어서, 연산 회로(24)는 단계 S94에서 구한 식 (28)로 나타내지는 녹색 광량의 스프링 관계식, 단계 S97에서 구한 식 (29)로 나타내지는 적색 광량의 스프링 관계식, 단계 S100에서 구한 식 (30)으로 나타내지는 청색 광량의 스프링 관계식을 일차 방정식으로서 푸는 것에 의해, 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 각각 구하고, 단계 S102로 진행한다.

단계 S102에 있어서, 연산 회로(24)는 모든 위치(I’, J’)를 주목 위치로 했는지, 즉 1매째의 촬상 화상의 화소의 중심 위치의 전부를 주목 위치(I’, J’)로 하여 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 구하였는지의 여부를 판단한다.

단계 S102에서, 모든 위치(I’, J’)를 아직 주목 위치로 하지 않았다고 판정된 경우, 단계 S91로 돌아가 단계 S91 내지 S102의 처리가 반복된다. 즉, 연산 회로(24)는 아직 주목하지 않은 위치(I’, J’)를 다음의 주목 위치(I’, J’)로 하여, 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 각각 구한다.

한편, 단계 S102에서, 모든 위치(I’, J’)를 주목 위치로 하였다고 판정된 경우, 단계 S103으로 진행하고, 연산 회로(24)는 단계 S101에서 구한 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)), 진정한 청색 광량(Lb(I’, J’))으로부터 화상(신호)을 추정하여, D/A 컨버터(9) 또는 코덱(12)에 출력 화상으로서 공급하고, 처리를 돌아온다. 예를 들면, 「i번째, j번째의 화소」에 있어서는, 연산 회로(24)는 녹색의 값(G신호)으로서 단계 S101에서 구한 진정한 녹색 광량(Lg(i-0.5, j-0.5))과 적색의 값(R신호)으로서 단계 S101에서 구한 진정한 적색 광량(Lr(i-0.5, j-0.5))과 청색의 값(B신호)으로서 단계 S101에서 구한 진정한 청색 광량(Lb(i-0.5, j-0.5))으로부터, 「i번째, j번째의 화소」의 화상 신호를 추 정한다. 그리고, 연산 회로(24)는 그 추정을 위치(I’, J’)를 중심 위치로 하는 화소 모두에 대해 행함으로써, 출력 화상을 추정한다.

이상과 같이, 제4 실시 형태에서는 평균값에 가까운 화소값을 신뢰성의 높은 데이터로 하고, 그 신뢰성의 높은 데이터에만 스프링 모델를 적용하도록 하였기 때문에, 제3 실시 형태보다 진정한 광에 충실하며 선명한 화상을 구하는 것이 가능해진다.

다음으로, 화상 추정 처리의 제5 실시 형태에 대해 설명한다. 제5 실시 형태는, 제4 실시 형태와 마찬가지로 주목 위치(I’, J’)에 대해 구한 모든 (k, ig, jg)의 세트 중에서 신뢰성이 있는 데이터로서 미리 설정된 L개의 (k, ig, jg)의 세트를 채용하여, L개로 구성된 녹색, 적색 및 청색 광량의 스프링 관계식을 푸는 것에 의해 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 구하는 것이다.

단, 제4 실시 형태에서는, 연산 회로(24)에 있어서, 예를 들면 녹색의 성분을 수광하는 화소에 대해서는 구한 모든 (k, ig, jg)의 세트의 화소값 Gobs(k, ig, jg)의 평균값을 구하고, 화소값 Gobs(k, ig, jg)가 평균값에 가까운 순서의 L개의 (k, ig, jg)의 세트를 선택하도록 하였다.

한편, 제5 실시 형태에서는, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 녹색 성분을 수광하는 화소의 중심 위치(ig-0.5, jg-0.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)와 주목 위치(I’, J’)의 거리가 짧은 것으로부터 차례로 L개만 (k, ig, jg)의 세트를, 신뢰성이 높 은 데이터로서 선택한다. 왜냐하면, 도 19에서 설명한 바와 같이, 주목 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))을 위치(x, y)에서 관측된 화소값 Gobs(k, ig, jg)로 근사한 것에 의한 근사 오차는, 위치(x, y)와 주목 위치(I’, J’)의 거리가 길어질수록 커진다. 따라서, 주목 위치(I’, J’)로부터의 거리가 먼 위치(x, y)에서 관측된 화소값 Gobs(k, ig, jg)일수록 신뢰성이 적게 된다. 또, 2점 (x1, y1)과 (x2, y2) 사이의 거리를 구하는 함수는, 예를 들면 도 19에서 설명한 함수 F((x1, y1), (x2, y2))를 채용할 수 있다.

제5 실시 형태에서는, 제3 실시 형태에서의 식 (25), 식 (26) 및 식 (27)에 대신하여, 식 (31), 식 (32) 및 식 (33)으로 나타내지는 녹색, 적색 및 청색 광량의 스프링 관계식이 이용된다.

여기에서, 식 (31)에서의 ∑은 주목 위치(I’, J’)에 대해 k매째 화상의 녹색 성분을 수광하는 화소의 중심 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)와 주목 위치(I’, J’)의 거리가 짧은 것에서부터 차례로 선택한 L개의 (k, ig, jg)의 세트의 합을 나타낸다.

여기에서, 식 (32)에서의 ∑은 주목 위치(I’, J’)에 대해 k매째 화상의 적 색 성분을 수광하는 화소의 중심 위치(ir-O.5, jr-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)와 주목 위치(I’, J’)의 거리가 짧은 것에서부터 차례로 선택한 L개의 (k, ir, jr)의 세트의 합을 나타낸다.

여기에서, 식 (33)에서의 ∑은 주목 위치(I’, J’)에 대해 k매째 화상의 청색 성분을 수광하는 화소의 중심 위치(ib-O.5, jb-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)와 주목 위치(I’, J’)의 거리가 짧은 것에서부터 차례로 선택한 L개의 (k, ib, jb)의 세트의 합을 나타낸다.

도 26의 플로우차트를 참조하여 도 2의 단계 S4에서의 화상 추정 처리의 제5 실시 형태에 대해 설명한다.

먼저, 단계 S121에 있어서, 연산 회로(24)는 기준 좌표계상의 어느 위치(I’, J’)에 주목한다(이하, 주목 위치(I’, J’)라 한다). 여기에서, 주목 위치(I’, J’)는 기준 화상인 1매째의 촬상 화상의 「i번째, j번째의 화소」의 화소 중심(i-0.5, j-O.5)을 나타내고 있다.

단계 S121에서 S122로 진행하여, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 녹색 성분을 수광하는 화소의 중심 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ig, jg)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S123으로 진행한다.

단계 S123에 있어서, 연산 회로(24)는 단계 S122에서 구한 모든 (k, ig, jg)의 세트 중에서, 주목 위치(I’, J’)에 대해 k매째 화상의 녹색 성분을 수광하는 화소의 중심 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)와 주목 위치(I’, J’)의 거리가 짧은 순서로 L개만 (k, ig, jg)의 세트를 선택하고, 단계 S124로 진행한다. 즉, 단계 S123에서는, 단계 S122에서 구한 모든 (k, ig, jg)의 세트 중 위치(x, y)와 주목 위치(I’, J’)의 거리가 긴 것이, 신뢰성이 없는 데이터로서 파기된다. 또, 단계 S122에서 구한 모든 (k, ig, jg)의 세트가 처음부터 L개에 이르지 않는 경우에는, 그들 모든 (k, ig, jg)의 세트가 선택된다(파기되지 않는다).

단계 S124에 있어서, 연산 회로(24)는 단계 S123에서 선택한 L개의 (k, ig, jg)의 세트를 이용하여 식 (31)로 나타내지는 녹색 광량의 스프링 관계식을 생성하고, 단계 S125로 진행한다.

단계 S125에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해, k매째 화상의 적색 성분을 수광하는 화소의 중심 위치(ir-0.5, jr-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ir, jr)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S126으로 진행한다.

단계 S126에 있어서, 연산 회로(24)는 단계 S125에서 구한 모든 (k, ir, jr)의 세트 중에서 주목 위치(I’, J’)에 대해 k매째 화상의 적색 성분을 수광하는 화소의 중심 위치(ir-O.5, jr-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)와 주목 위치(I’, J’)의 거리가 짧은 순서로 L개만 (k, ig, jg)의 세트를 선택하고, 단계 S127로 진행한다. 즉, 단계 S126에서는, 단계 S125에서 구한 모든 (k, ir, jr)의 세트 중 위치(x, y)와 주목 위치(I’, J’)의 거리가 긴 것이, 신뢰성이 없는 데이터로서 파기된다. 또, 단계 S125에서 구한 모든 (k, ir, jr)의 세트가 처음부터 L개에 이르지 않는 경우에는, 그들 모든 (k, ir, jr)의 세트가 선택된다(파기되지 않는다).

단계 S127에 있어서, 연산 회로(24)는 단계 S126에서 선택한 L개의 (k, ir, jr)의 세트를 이용하여 식 (32)로 나타내지는 적색 광량의 스프링 관계식을 생성하고, 단계 S128로 진행한다.

단계 S128에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 청색 성분을 수광하는 화소의 중심 위치(ib-O.5, jb-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ib, jb)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S129로 진행한다.

단계 S129에 있어서, 연산 회로(24)는 단계 S128에서 구한 모든 (k, ib, jb)의 세트 중에서 주목 위치(I’, J’)에 대해 k매째 화상의 청색 성분을 수광하는 화소의 중심 위치(ib-O.5, jb-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)와 주목 위치(I’, J’)의 거리가 짧은 순서로 L개만 (k, ib, jb)의 세트를 선택하고, 단계 S130로 진행한다. 즉, 단계 S129에서는, 단계 S128에서 구한 모든 (k, ib, jb)의 세트 중 위치(x, y)와 주목 위치(I’, J’) 의 거리가 긴 것이, 신뢰성이 없는 데이터로서 파기된다. 또, 단계 S128에서 구한 모든 (k, ib, jb)의 세트가 처음부터 L개에 이르지 않는 경우에는, 그들 모든 (k, ib, jb)의 세트가 선택된다(파기되지 않는다).

단계 S130에 있어서, 연산 회로(24)는 단계 S129에서 선택한 L개의 (k, ib, jb)의 세트를 이용하여 식 (33)으로 나타내지는 청색 광량의 스프링 관계식을 생성하고, 단계 S131로 진행한다.

단계 S131에 있어서, 연산 회로(24)는 단계 S124에서 구한 식 (31)로 나타내지는 녹색 광량의 스프링 관계식, 단계 S127에서 구한 식 (32)로 나타내지는 적색 광량의 스프링 관계식, 단계 S130에서 구한 식 (33)으로 나타내지는 청색 광량의 스프링 관계식을 일차 방정식으로서 푸는 것에 의해, 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 각각 구하고, 단계 S132로 진행한다.

단계 S132에 있어서, 연산 회로(24)는 모든 위치(I’, J’)를 주목 위치로 했는지, 즉 1매째의 촬상 화상의 화소의 중심 위치의 전부를 주목 위치(I’, J’)로 하여 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 구하였는지의 여부를 판단한다.

단계 S132에서, 모든 위치(I’, J’)를 아직 주목 위치로 하지 않았다고 판정된 경우, 단계 S121로 돌아가 단계 S121 내지 S132의 처리가 반복된다. 즉, 연산 회로(24)는 아직 주목하지 않은 위치(I’, J’)를 다음의 주목 위치(I’, J’)로 하여, 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’)), 진정한 적 색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 각각 구한다.

한편, 단계 S132에서, 모든 위치(I’, J’)를 주목 위치로 하였다고 판정된 경우, 단계 S133으로 진행하고, 연산 회로(24)는 단계 S131에서 구한 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)), 진정한 청색 광량(Lb(I’, J’))으로부터 화상(신호)을 생성하여, D/A 컨버터(9) 또는 코덱(12)에 출력 화상으로서 공급하고, 처리를 돌아온다. 예를 들면, 「i번째, j번째의 화소」에 있어서는, 연산 회로(24)는 녹색의 값(G신호)으로서 단계 S131에서 구한 진정한 녹색 광량(Lg(i-0.5, j-0.5))과 적색의 값(R신호)으로서 단계 S131에서 구한 진정한 적색 광량(Lr(i-0.5, j-0.5))과 청색의 값(B신호)으로서 단계 S131에서 구한 진정한 청색 광량(Lb(i-0.5, j-0.5))으로부터, 「i번째, j번째의 화소」의 화상 신호를 추정한다. 그리고, 연산 회로(24)는 그 추정을 위치(I’, J’)를 중심 위치로 하는 화소 모두에 대해 행함으로써, 출력 화상을 추정한다.

이상과 같이, 제5 실시 형태에서는 주목 위치(I’, J’)에 가까운 위치에서 관측된 화소값을 신뢰성의 높은 데이터로 하고, 그 신뢰성의 높은 데이터에만 스프링 모델를 적용하도록 하였기 때문에, 제3 실시 형태보다 진정한 광에 충실하며 선명한 화상을 구하는 것이 가능해진다.

다음으로, 화상 추정 처리의 제6 실시 형태에 대해 설명한다.

제6 실시 형태도 상술한 제3 실시 형태의 일부를 개량한 것이다. 즉, 제6 실시 형태에서는 화상의 에지 부분을 검출하고, 검출한 에지 부분에 있는 화소값에 대해 제3 실시 형태에서의 식 (25), 식 (26) 및 식 (27)으로 나타내지는 녹색, 적 색 및 청색 광량의 스프링 관계식을 개량한다.

도 27은 녹색, 적색 및 청색 중의, 예를 들면 녹색의 성분(G신호)에 주목한 기준 좌표계를 나타내고 있다.

도 27에서는 경계(에지)(51)를 경계로 우측에 밝은 녹색으로서의 화소값이 관측되고 있고, 좌측에 어두운 녹색으로서의 화소값이 관측되고 있다. 또, 여기에서는 녹색의 화소값이, 예를 들면 8비트로 표시되는 것으로 하고, 밝은 녹색의 화소값을, 예를 들면 240 정도로 하면서, 어두운 녹색의 화소값을, 예를 들면 16 정도로 한다.

도 27에 있어서, 흰색 원(52-1 내지 52-10, 53-1 내지 53-9 및 54)는 어느 k매째 화상의 「ig번째, jg번째의 화소」의 중심 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치를 나타내며, 그 위치에서 녹색의 화소값 Gobs(k, ig, jg)가 관측되고 있다. 여기에서, (k, ig, jg)의 세트는 흰색 원(52-1 내지 52-10, 53-1 내지 53-9 및 54) 각각에 있어서 다른 것이다.

도 27에서 점선으로 표시되는 격자상의 교점에 배치되는 흑색 원의 각각은 연산 회로(24)가 진정한 녹색 광량(Lg(I’, J’))을 구해야 할 위치(I’, J’)를 나타내고 있다. 여기에서, 위치(I’, J’)는 상기한 바와 같이, 기준 화상인 1매째 화상에서의 「i번째, j번째의 화소」의 화소 중심(i-0.5, j-O.5)을 나타내고 있다. 또한, X방향과 Y방향의 Lg(I’, J’)끼리의 간격은 모두 1이고, 따라서 화소의 X방향과 Y방향의 크기도 모두 1이다.

그런데, 도 27의 영역(61)에 포함되는 흰색 원(52-1 내지 52-8)로 표시되는 위치에서는, 240 정도의 밝은 녹색의 화소값 Gobs(k, ig, jg)가 관측된다.

또한, 도 27의 영역(62)에 포함되는 흰색 원(53-1 내지 53-7)로 표시되는 위치에서는, 16 정도의 어두운 녹색의 화소값 Gobs(k, ig, jg)가 관측된다.

또한, 도 27의 흰색 원(54)로 표시되는 위치는 경계(51)상의 위치로서, 이 위치에서는 온칩 렌즈의 효과에 의해 화소값 240의 밝은 녹색의 광과 화소값 16의 어두운 녹색의 광을 동일 광량만큼 수광한 화소값이 관측된다. 따라서, 흰색 원(54)의 위치의 화소값 Gobs(k, ig, jg)로서는 240과 16의 평균이 되는 128(=(240+16)/2)이 관측된다.

또, 상술의 흰색 원(52-1 내지 52-8, 53-1 내지 53-7, 54)에서 관측되는 화소값 Gobs(k, ig, jg)에는, 통상, 오차 성분이 포함되기 때문에, 정확하게는 약 240, 약 16, 약 128로 표현해야 하지만, 여기에서는 그러한 오차 성분을 무시하여 240, 16, 128이라 기재하기로 한다.

여기에서, 예를 들면 도 27의 흑색 원(71)의 위치를 주목 위치(I’, J’)로 하고, 상술의 제3 실시 형태의 방법에 의해 흑색 원(71)로 표시되는 주목 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))을 구하는 경우에 대해 생각한다.

즉, 흑색 원(71)의 위치를 주목 위치(I’, J’)로 하면, 그 주변의 흰색 원(52-3, 52-6, 52-10, 54 등)의 위치에서 관측되는 화소값 Gobs(k, ig, jg)가 식 (25) 중의 Gobs(k, ig, jg)로서 채용된다. 이 경우, 식 (25)를 풀어서 얻어지는 해인 진정한 녹색 광량(Lg(I’, J’))은 흰색 원(54)의 위치에서 관측되는 화소값인 128에 당겨져(영향받아), 240보다 작은 값이 된다. 그러나, 본래라면 흑색 원 (71)의 위치는 화소값 240의 밝은 녹색의 화소값이 관측되는 경계(51)의 우측의 위치이므로, 식 (25)를 풀어서 얻어지는 해인 진정한 녹색 광량(Lg(I’, J’))은 240이 되는 것이 바람직하다.

또한, 흑색 원(72)의 위치를 주목 위치(I’, J’)로 하면, 그 주변의 흰색 원(53-2, 53-3, 53-5, 53-9, 54 등)의 위치에서 관측되는 화소값 Gobs(k, ig, jg)가 식 (25) 중의 Gobs(k, ig, jg)로서 채용된다. 이 경우, 식 (25)를 풀어서 얻어지는 해인 진정한 녹색 광량(Lg(I’, J’))은 흰색 원(54)의 위치에서 관측되는 화소값인 128에 당겨져(영향받아), 16보다 큰 값이 된다. 그러나, 본래라면 흑색 원(72)의 위치는 화소값 16의 어두운 녹색의 화소값이 관측되는 경계(51)의 좌측의 위치이므로, 식 (25)를 풀어서 얻어지는 해인 진정한 녹색 광량(Lg(I’, J’))은 16이 되는 것이 바람직하다.

이상의 것이, 흑색 원(73), 흑색 원(74)의 위치에 대해서도 마찬가지로 말할 수 있다. 즉, 제3 실시 형태의 화상 추정 처리에 의해 추정된 화상은, 도 27의 경계(51)가 존재하는 에지 부분에서는 에지가 완만하게 되어(인접하는 화소의 화소값의 차가 작아져) 흐릿한 화상이 되어 버리는 일이 있을 수 있다.

따라서, 제6 실시 형태에서는 도 27의 경계(51)가 존재하는 에지 부분을 검출하여, 그 에지 부분에 있는 화소값 Gobs(k, ig, jg)에 대해 특별한 처리를 행한다. 즉, 식 (25)로 나타내지는 녹색 광량의 스프링 관계식에 대입하는 화소값 Gobs(k, ig, jg)를 변경한다.

제6 실시 형태의 구체적인 방법에 대해, 도 27과 마찬가지로 녹색의 성분(G 신호)에 주목하여 설명한다.

먼저, 연산 회로(24)는 기준 좌표계상에 변환된 위치 모두의 화소값 Gobs(k, ig, jg)를 이용하여 에지 부분의 검출을 행한다. 즉, 연산 회로(24))는 「종방향의 에지」, 「횡방향의 에지」, 「좌상에서 우하 방향의 에지」, 「우상에서 좌하 방향의 에지」의 4개의 방향의 에지 각각의 유무를 판정한다.

도 28을 참조하여 종방향의 에지가 있는지의 여부를 판정하는 판정 방법에 대해 설명한다.

도 28은 기준 좌표계를 나타내고 있다. 그리고, 도 28에 있어서, 흰색 원(81-1 내지 81-10, 82-1 내지 82-9 및 83)로 표시되는 위치는 어느 k매째 화상의 「ig번째, jg번째의 화소」의 중심 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치를 나타내며, 그 위치에서 화소값 Gobs(k, ig, jg)가 관측되고 있다. 여기에서, (k, ig, jg)의 세트는 흰색 원(81-1 내지 81-10, 82-1 내지 82-9 및 83) 각각에 있어서 다른 것이다.

도 28에서 점선으로 표시되는 격자상의 교점에 배치되는 흑색 원의 각각은 연산 회로(24)가 진정한 녹색 광량(Lg(I’, J’))을 구해야 할 위치(I’, J’)를 나타내고 있다. 여기에서, 위치(I’, J’)는 상기한 바와 같이, 기준 화상인 1매째 화상에서의 「i번째, j번째의 화소」의 화소 중심 (i-0.5, j-O.5)를 나타내고 있다. 또한, X방향과 Y방향의 Lg(I’, J’)끼리의 간격은, 도 27과 마찬가지로 1이며, 따라서 화소의 X방향과 Y방향의 크기도 모두 1이다.

연산 회로(24)는 도 28 중의 흰색 원(83)의 위치 등에 주목하여, 예를 들면 도 28에 표시되는 에지(94)와 같은, 종방향의 에지가 있는지의 여부를 판정한다. 흰색 원(83)의 위치(x, y)는 식 I-0.5≤x＜I+0.5, J-0.5≤y＜J+0.5를 만족하는 것으로 한다. 도 28에서는, 흰색 원(83)의 위치(x, y)는 위치(I+0.5, J-O.5)를 나타내는 흑색 원(84), 위치(I-0.5, J-O.5)를 나타내는 흑색 원(85), 위치(I+0.5, J+0.5)를 나타내는 흑색 원(86), 위치(I-0.5, J+O.5)를 나타내는 흑색 원(87)로 둘러싸인 영역(A11)내의 위치이다. 여기에서, I, J는 지금까지와 마찬가지로 정수이다.

연산 회로(24)는 주목하고 있는 흰색 원(83)의 위치를 포함하는 영역(A11)을 중심으로 하는, 화소의 크기와 같은 1마다의 9개의 영역을 정의한다. 즉, 9개의 영역은 I-1.5≤x＜I-0.5, J-1.5≤y＜J-0.5의 영역(AOO), I-1.5≤x＜I-0.5, J-O.5≤y＜J+O.5의 영역(A01), I-1.5≤x＜I-0.5, J+O.5≤y＜J+1.5의 영역(A02), I-O.5≤x＜I+0.5, J-1.5≤y＜J-O.5의 영역(A10), I-0.5≤x＜I+O.5, J-O.5≤y＜J+O.5의 영역(A11), I-0.5≤x＜I+0.5, J+O.5≤y＜J+1.5의 영역(A12), I+0.5≤x＜I+1.5, J-1.5≤y＜J-0.5의 영역(A20), I+0.5≤x＜I+1.5, J-O.5≤y＜J+0.5의 영역(A21), I+0.5≤x＜I+1.5, J+O.5≤y＜J+1.5의 영역(A22)이다. 지금 주목하고 있는 흰색 원(83)의 위치는 영역(A11)에 포함되어 있다.

여기에서, 이상과 같이 주목하고 있는 흰색 원(83)의 위치에 대해 정의되는 9개의 영역(AOO 내지 A22)의 전체를, 이하 적절히 에지 판정 영역이라 한다.

종방향의 에지(94)가 있는지의 여부를 판정하기 위해, 연산 회로(24)는 영역(AOO), 영역(A01), 영역(A02)의 1열로 구성되는 에지 판정 영역의 좌측의 영역 (91)(이하, 좌측 영역(91)이라 한다), 영역(A10), 영역(A11), 영역(A12)의 1열로 구성되는 에지 판정 영역의 중앙의 영역(92)(이하, 중앙 영역(92)이라 한다), 영역(A20), 영역(A21), 영역(A22)의 1열로 구성되는 에지 판정 영역의 우측의 영역(93)(이하, 우측 영역(93)이라 한다)내 각각에 포함되는 흰색 원 위치의 화소값 Gobs(k, ig, jg)의 평균값과 분산을 구한다.

즉, 연산 회로(24)는 좌측 영역(91)내의 흰색 원(82-1 내지 82-7)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EGO)과 분산(SGO)을 구한다. 또한, 연산 회로(24)는 중앙 영역(92)내의 흰색 원(81-9, 81-10, 82-8 내지 82-9 및 83)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EG0”)을 구한다. 또한, 연산 회로(24)는 우측 영역(93)내의 흰색 원(81-1 내지 81-8)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EGO’)과 분산(SGO’)을 구한다.

만일, 주목하고 있는 흰색 원(83)의 위치 부근에 종방향의 에지(94)가 있는 경우, 좌측 영역(91)의 평균값(EGO), 중앙 영역(92)의 평균값(EGO”) 및 우측 영역(93)의 평균값(EGO’)에는 다음 식 (a)의 관계가 성립한다. 따라서, 연산 회로(24)는 식 (a)가 성립할 경우에, 종방향의 에지가 있다고 판정한다.

EGO＜EGO”＜EGO’ 또는 EGO’＜EGO”＜EGO ···(a)

또, 실제로는 에지(94) 이외의 부분에서도, 예를 들면 피사체의 섬세한 모양 등에 의한 데이터의 편차에 의해, 상술의 식 (a)를 만족하는 경우가 있을 수 있기 때문에, 연산 회로(24)는 분산(SGO, SGO’)을 부가한 다음 식이 성립하는지 여부를 판정함으로써, 한층 더 확실하게 종방향의 에지(94)가 있는지의 여부를 판정한다. 즉, 연산 회로(24)는 식 (b)가 성립할 때에, 종방향의 에지가 있다고 판정한다.

EGO+SGO＜EGO”＜EGO’-SGO’

또는 EGO’+SGO’＜EG0”＜EGO-SGO ···(b)

식 (b)에 의하면, 모양 부분과 같이 화소값에 편차가 있어 분산(SGO, SGO’)이 커지는 부분에 대해서는 에지가 있다고 판정되기 어려워져, 오판정을 방지할 수 있다.

도 29를 참조하여 횡방향의 에지가 있는지의 여부를 판정하는 판정 방법에 대해 설명한다. 또, 도 28과 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있으며, 이하에서는 그 설명은 생략한다.

횡방향의 에지(104)가 있는지의 여부를 판정하기 위해, 연산 회로(24)는 영역(AOO), 영역(A10), 영역(A20)의 1열로 구성되는 에지 판정 영역의 상측의 영역(101)(이하, 상측 영역(101)이라 한다), 영역(A01), 영역(A11), 영역(A21)의 1열로 구성되는 에지 판정 영역의 중앙의 영역(102)(이하, 중앙 영역(102)이라 한다), 영역(A02), 영역(A12), 영역(A22)의 1열로 구성되는 에지 판정 영역의 하측의 영역(103)(이하, 하측 영역(103)이라 한다)내 각각에 포함되는 흰색 원 위치의 화소값 Gobs(k, ig, jg)의 평균값과 분산을 구한다.

즉, 연산 회로(24)는 상측 영역(101)내의 흰색 원(81-1 내지 81-3, 81-10, 82-1, 82-2, 82-9)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EG1)과 분산(SG1)을 구한다. 또한, 연산 회로(24)는 중앙 영역(102)내의 흰색 원(81-4 내지 81-6, 82-3 내지 82-5 및 82)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EG1”)을 구한다. 또한, 연산 회로(24)는 하측 영역(103)내의 흰색 원(81-7 내지 81-9, 82-6 내지 82-8)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EG1’)과 분산(SG1’)을 구한다.

만일, 주목하고 있는 흰색 원(83)의 위치 부근에 횡방향의 에지(104)가 있는 경우, 상측 영역(101)의 평균값(EG1), 중앙 영역(102)의 평균값(EG1”) 및 하측 영역(103)의 평균값(EG1’)의 관계로서, 피사체의 섬세한 모양 등에 의한 데이터의 분균일도 고려한 다음 식 (c)를 세운다. 그리고, 연산 회로(24)는 식 (c)가 성립할 경우에, 횡방향의 에지가 있다고 판정한다.

EG1+SG1＜EG1”＜EG1’-SG1’

또는 EG1’+SG1’＜EG1”＜EG1-SG1 ···(c)

식 (c)에 의하면, 모양 부분과 같이 화소값에 편차가 있어 분산(SG1, SG1’)이 커지는 부분에 대해서는 에지가 있다고 판정되기 어려워져, 오판정을 방지할 수 있다. 또, 상술의 식 (a)에서의 경우와 마찬가지로 분산을 고려하지 않고, 평균값만으로 횡방향의 에지의 유무를 판정하는 것도 가능하다.

도 30을 참조하여 좌상에서 우하 방향의 에지가 있는지의 여부를 판정하는 판정 방법에 대해 설명한다. 또, 도 28에 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있으며, 이하에서는 그 설명은 생략한다.

좌상에서 우하 방향의 에지(114)가 있는지의 여부를 판정하기 위해, 연산 회로(24)는 영역(AO1), 영역(A02), 영역(A12)의 1열로 구성되는 에지 판정 영역의 왼쪽 하측의 영역(111)(이하, 좌하측 영역(111)이라 한다), 영역(AO0), 영역(A11), 영역(A22)의 1열로 구성되는 에지 판정 영역의 중앙의 영역(112)(이하, 중앙 영역 (112)이라 한다), 영역(A1O), 영역(A20), 영역(A21)의 1열로 구성되는 에지 판정 영역의 오른쪽 상측의 영역(113)(이하, 우상측 영역(113)이라 한다)내 각각에 포함되는 흰색 원의 위치의 화소값 Gobs(k, ig, jg)의 평균값과 분산을 구한다.

즉, 연산 회로(24)는 좌하측 영역(111)내의 흰색 원(81-9, 82-3 내지 82-8)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EG2)과 분산(SG2)을 구한다. 또한, 연산 회로(24)는 중앙 영역(112)내의 흰색 원(81-7, 81-8, 82-1, 82-2 및 83)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EG2”)을 구한다. 또한, 연산 회로(24)는 우상측 영역(113)내의 흰색 원(81-1 내지 81-6, 81-10 및 82-9)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EG2’)과 분산(SG2’)을 구한다.

만일, 주목하고 있는 흰색 원(83)의 위치 부근에 좌상에서 우하 방향의 에지(114)가 있는 경우, 좌하측 영역(111)의 평균값(EG2), 중앙 영역(112)의 평균값(EG2”) 및 우상측 영역(113)의 평균값(EG2’)의 관계로서, 피사체의 섬세한 모양 등에 의한 데이터의 편차도 고려한 다음 식 (d)를 세운다. 그리고, 연산 회로(24)는 식 (d)가 성립할 경우에, 좌상에서 우하 방향의 에지가 있다고 판정한다.

EG2+SG2＜EG2”＜EG2’-SG2’

또는 EG2’+SG2’＜EG2”＜EG2-SG2 ···(d)

식 (d)에 의하면, 모양 부분과 같이 화소값에 편차가 있어 분산(SG2, SG2’)이 커지는 부분에 대해서는 에지가 있다고 판정되기 어려워져, 오판정을 방지할 수 있다. 또, 상술의 식 (a)에서의 경우와 마찬가지로 분산을 고려하지 않고, 평균값만으로 좌상에서 우하 방향의 에지의 유무를 판정하는 것도 가능하다.

도 31을 참조하여 우상에서 좌하 방향의 에지가 있는지의 여부를 판정하는 판정 방법에 대해 설명한다. 또, 도 28에 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있으며, 이하에서는 그 설명은 생략한다.

우상에서 좌하 방향의 에지(124)가 있는지의 여부를 판정하기 위해, 연산 회로(24)는 영역(AO0), 영역(A01), 영역(A10)의 1열로 구성되는 에지 판정 영역의 좌상측의 영역(121)(이하, 좌상측 영역(121)이라 한다), 영역(AO2), 영역(A11), 영역(A20)의 1열로 구성되는 에지 판정 영역의 중앙의 영역(122)(이하, 중앙 영역(122)이라 한다), 영역(A12), 영역(A21), 영역(A22)의 1열로 구성되는 에지 판정 영역의 우하측의 영역(123)(이하, 우하측 영역(123)이라 한다)내 각각에 포함되는 흰색 원의 위치의 화소값 Gobs(k, ig, jg)의 평균값과 분산을 구한다.

즉, 연산 회로(24)는 좌상측 영역(121)내의 흰색 원(81-10, 82-1 내지 82-5, 82-9)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EG3)과 분산(SG3)을 구한다. 또한, 연산 회로(24)는 중앙 영역(122)내의 흰색 원(81-1 내지 81-3, 82-6, 82-7 및 83)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EG3”)을 구한다. 또한, 연산 회로(24)는 우하측 영역(123)내의 흰색 원(81-4 내지 81-9, 82-8)의 위치의 화소값 Gobs(k, ig, jg)의 평균값(EG3’)과 분산(SG3’)을 구한다.

만일, 주목하고 있는 흰색 원(83)의 위치 부근에 우상에서 좌하 방향의 에지(124)가 있는 경우, 좌상측 영역(121)의 평균값(EG3), 중앙 영역(122)의 평균값(EG3”) 및 우하측 영역(123)의 평균값(EG3’)의 관계로서, 피사체의 섬세한 모양 등에 의한 데이터의 편차도 고려한 다음 식 (e)를 세운다. 그리고, 연산 회로(24) 는 식 (e)가 성립할 경우에, 우상에서 좌하 방향의 에지가 있다고 판정한다.

EG3+SG3＜EG3”＜EG3’-SG3’

또는 EG3’+SG3’＜EG3”＜EG3-SG3 ··· (e)

식 (e)에 의하면, 모양 부분과 같이 화소값에 편차가 있어 분산(SG3, SG3’)이 커지는 부분에 대해서는 에지가 있다고 판정되기 어려워져, 오판정을 방지할 수 있다. 또, 상술의 식 (a)에서의 경우와 마찬가지로 분산을 고려하지 않고, 평균값만으로 우상에서 좌하 방향의 에지의 유무를 판정하는 것도 가능하다.

도 28 내지 도 31에서 설명한 바와 같이, 연산 회로(24)는 「종방향」, 「횡방향」, 「좌상에서 우하 방향」, 「우상에서 좌하 방향」의 4개의 방향에 대해 에지가 있는지의 여부, 즉 상술한 식이 성립되는지의 여부를 판정한다. 또, 연산 회로(24)는 녹색 뿐만 아니라, 그 밖의 적색과 청색 각각에 대해서도 마찬가지로 에지의 유무를 판정한다.

여기에서, 4개 방향의 에지 중, 복수 방향의 에지에 대해, 상술한 식이 성립되는 것도 생각할 수 있다. 그러나, 실제의 에지는 1개이므로, 그 경우 가장 현저한 방향의 에지만을 채용하고 그 외의 방향의 에지는 없는 것으로 한다.

구체적으로는, 예를 들면 연산 회로(24)는 에지가 검출된 복수의 방향에 대해,

|(EGm’-EGm)÷(SGm’+SGm)|

(m=0 내지 3의 어느 하나)을 연산하여, 그 연산 결과가 가장 커지는 m을 결정한다. 그리고, 그 m이 O이면 「종방향의 에지」를, 1이면 「횡방향의 에지」를, 2이면 「좌상에서 우하 방향의 에지」를, 3이면 「우상에서 좌하 방향의 에지」를, 각각 가장 현저한 방향의 에지로서 채용한다. 여기에서, |x|는 x의 절대값을 나타낸다.

다음으로, 주목한 위치에 대해 검출된 에지의 방향에 따라, 그 에지 부분에 있는 주목한 위치에서 관측된 화소값 Gobs(k, ig, jg)에 대해 연산 회로(24)가 행하는 특별한 처리에 대해 설명한다.

특별한 처리란, 식 (25)로 나타내지는 녹색 광량의 스프링 관계식에 화소값 Gobs(k, ig, jg)를 대입하는 경우에, 에지 부분이라고 판정된 위치에서 관측된 화소값 Gobs(k, ig, jg)에 대해서는 대입하는 화소값 Gobs(k, ig, jg)를 변경하는 처리이다.

대입하는 화소값 Gobs(k, ig, jg)를 변경하는 처리로서는, 예를 들면 이하의 제1 처리나 제2 처리를 채용할 수 있다.

예를 들면, 제1 처리에서는 주목하고 있는, 예를 들면 도 28 내지 도 31의 흰색 원(83)의 위치에 에지가 검출된 경우, 그 위치의 화소값 Gobs(k, ig, jg)를 파기한다. 즉, 식 (25)로 나타내지는 녹색 광량의 스프링 관계식에 에지가 검출된 위치의 화소값 Gobs(k, ig, jg)를 포함시키지 않는다. 이 경우, 도 22(도 23)에서 설명한 스프링 모델에 있어서는, 잘못한 방향(광량)으로 끌어 당기는 스프링이 없어지는 것이 된다. 따라서, 보다 정확한(선명한) Lg(I’, J’)를 구할 수 있다.

제2 처리에서는, 주목하고 있는, 예를 들면 도 28 내지 도 31의 흰색 원(83)의 위치의 화소값 Gobs(k, ig, jg)를, 상술한 에지의 검출에 있어서 주목하고 있는 위치에 대해 정의한 에지 판정 영역을 구성하는 9개의 영역(AOO 내지 A22)에서 관측되고 있는 화소값 Gobs(k, ig, jg)를 이용하여 다른 값으로 치환하여, 식 (25)로 나타내지는 녹색 광량의 스프링 관계식에 대입한다.

이하에, 제2 처리를 구체적으로 설명한다.

도 32는, 도 28에서 나타낸 「종방향의 에지」가 검출된 경우의, 주목하고 있는 흰색 원(83)의 위치를 포함하는 영역(A11)을 나타내고 있다. 도면중의 1축은 기준 좌표 계에서의 X방향을, X방향과 수직인 축이 기준 좌표계에서의 Y방향을, X방향 및 Y방향과 수직인 축이 화소값을, 각각 나타내고 있다.

도 32에서는, 에지 판정 영역에 대해 구해진 평균값(EGO, EGO’, EGO”)과 분산(SGO, SGO’)이, 식 「EGO’+SGO’＜EGO”＜EGO-SG0」를 만족하고, 따라서, 「종방향의 에지」가 존재하고 있다.

이 경우, 흑색 원(85)의 위치(I-0.5, J-0.5)에서의 진정한 녹색 광량(Lg(I-0.5, J-O.5))과 흑색 원(87)의 위치(I-0.5, J+O.5)에서의 진정한 녹색 광량(Lg(I-0.5, J+0.5))은, 주목하고 있는 흰색 원(83)의 위치(x, y)에서 관측되는 화소값 Gobs(k, ig, jg)보다도 크다고 생각된다. 또한, 흑색 원(85)의 위치(I-0.5, J-0.5)에서의 진정한 녹색 광량(Lg(I-0.5, J-O.5)) 또는 흑색 원(87)의 위치(I-0.5, J+O.5)에서의 진정한 녹색 광량(Lg(I-0.5, J+0.5)) 각각과, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)의 광량(화소값)의 차는 평균값 EGO와 EGO’의 차(EGO-EG0’)에 의존한다.

또한, 흑색 원(84)의 위치(I+0.5, J-0.5)에서의 진정한 녹색 광량(Lg(I+0.5, J-0.5))과 흑색 원(86)의 위치(I+0.5, J+O.5)에서의 진정한 녹색 광량(Lg(I+0.5, J+0.5))은, 주목하고 있는 흰색 원(83)의 위치(x, y)에서 관측되는 화소값 Gobs(k, ig, jg)보다 작다고 생각된다. 또한, 흑색 원(84)의 위치(I+0.5, J-0.5)에서의 진정한 녹색 광량(Lg(I+0.5, J-O.5)) 또는 흑색 원(86)의 위치(I+0.5, J+0.5)에서의 진정한 녹색 광량(Lg(I+0.5, J+O.5)) 각각과, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)의 광량(화소값)의 차는 평균값 EGO와 EGO’의 차(EGO-EG0’)에 의존한다.

따라서, 연산 회로(24)는 주목하고 있는 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)를 통과하고, X방향으로 기울기 p인 평면(Q1)을 구한다. 여기에서, p=(EGO-EGO’)÷2이다. 즉, 기울기(p)는 도 28의 좌측 영역(91)의 화소값의 평균값(EGO)과 우측 영역(93)의 화소값의 평균값(EGO’)의 차를, 좌측 영역(91)과 우측 영역(92)의 X방향의 중심 위치끼리의 거리인 2로 나누어 구해진다. 기울기(p)는 종방향의 에지 부분에서의, 그 에지와 수직인 방향의 광량(화소값)의 변화의 정도, 즉 에지의 기울기를 나타낸다.

그리고, 연산 회로(24)는 흑색 원(85)의 위치(I-0.5, J-O.5)에서의 평면(Q1)상의 값(화소값)을 구하여, 그 값을 화소값 GobsO(k, ig, jg)로 한다. 또한, 연산 회로(24)는 흑색 원(87)의 위치(I-0.5, J+O.5)에서의 평면(Q1)상의 값(화소값)을 구하여, 그 값을 화소값 Gobs1(k, ig, jg)로 한다. 마찬가지로, 연산 회로(24)는 흑색 원(84)의 위치(I+0.5, J-O.5)에서의 평면(Q1)상의 값(화소값)과, 및 흑색 원(86)의 위치(I+O.5, J+0.5)에서의 평면(Q1)상의 값(화소값)을 구하여, 각각의 값을 화소값 Gobs2(k, ig, jg)와 화소값 Gobs3(k, ig, jg)으로 한다.

여기에서, 평면(Q1)는 X방향에 대해서만 기울기(p)를 갖고 있으므로, 화소값 GobsO(k, ig, jg)과 화소값 Gobs1(k, ig, jg)은 동일하고, 또한 화소값 Gobs2(k, ig, jg)와 화소값 Gobs3(k, ig, jg)은 동일하다.

그런데, 제3 실시 형태에서는, 도 22에 나타낸 바와 같이 어느 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’))이, 그 주변의 위치에서 관측된 화소값 Gobs(k, ig, jg)와 평형을 이루고 있는 상태를 나타내는 스프링 모델을 생각함으로써, 식 (25)을 세운다. 위치(I’, J’)의 주변의 위치에서 관측된 화소값 Gobs(k, ig, jg)란, k매째 화상의 좌표계에서의 위치(ig-0.5, jg-0.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I ’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ig, jg)의 세트의 화소값 Gobs(k, ig, jg)이다.

도 32에 있어서, 예를 들면 흑색 원(84)의 위치(I+0.5, J-O.5)를 위 치(I’, J’)로서 주목했을 경우, 흑색 원(84) 위치 주변의 위치에서 관측되는 화소값 Gobs(k, ig, jg)로서 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)가 포함된다. 따라서, 제3 실시 형태에서는, 식 (25)에 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)가 대입된다.

이에 비해, 제6 실시 형태에서는, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(84)의 위치(I+0.5, J-O.5)에서의 평면(Q1)상의 값(화소값)인 화소값 Gobs2(k, ig, jg)가 식 (25)에 대입된다.

또한, 흑색 원(85)의 위치(I-0.5, J-O.5)를 위치(I’, J’)로서 주목한 경 우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(85)의 위치(I-0.5, J-O.5)에서의 평면(Q1)상의 값(화소값)인 화소값 GobsO(k, ig, jg)가 식 (25)에 대입된다.

또한, 흑색 원(86)의 위치(I+O.5, J+O.5)를 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(86)의 위치(I+0.5, J+O.5)에서의 평면(Q1)상의 값(화소값)인 화소값 Gobs3(k, ig, jg)이 식 (25)에 대입된다.

또한, 흑색 원(87)의 위치(I-0.5, J+O.5)를 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(87)의 위치(I-0.5, J+0.5)에서의 평면(Q1)상의 값(화소값)인 화소값 Gobs1(k, ig, jg)이 식 (25)에 대입된다.

이상과 같이, 종방향의 에지(녹색 광량의 급준한 변화)가 있는 위치에서 관측된 화소값 Gobs(k, ig, jg)(도 32의 흰색 원(83)의 위치의 화소값)를, 그 에지의 기울기(급준 정도)(p)에 따른 화소값(GobsO(k, ig, jg), Gobs1(k, ig, jg), Gobs2(k, ig, jg) 또는 Gobs3(k, ig, jg))으로 변경(보정)하고, 그 변경한 화소값을 식 (25)에 대입함으로써, 스프링 모델에 있어서 도 23에서의 물체 V로서의 Lg(I’, J’)가 적절한 위치로 끌어 당겨져, 보다 정확한(선명한) 진정한 녹색 광량(Lg(I’, J’))을 구할 수 있다.

도 33은, 도 29에서 나타낸, 「횡방향의 에지」가 검출된 경우의, 주목하고 있는 흰색 원(83)의 위치를 포함하는 영역(A11)을 나타내고 있다. 도면중의, 1축 은 기준 좌표계에서의 X방향을, X방향과 수직인 축이 기준 좌표계에서의 Y방향을, X방향 및 Y방향과 수직인 축이 화소값을, 각각 나타내고 있다.

도 33에서는, 에지 판정 영역에 대해 구해진 평균값(EG1, EG1’, EG1”)과 분산(SG1, SG1’)이 식 「EG1’+SG1’＜EG1”＜EG1-SG1」을 만족하고, 따라서, 「횡방향의 에지」가 존재하고 있다.

이 경우, 흑색 원(84)의 위치(I+0.5, J-0.5)에서의 진정한 녹색 광량(Lg(I+0.5, J-O.5))과 흑색 원(85)의 위치(I-0.5, J-O.5)에서의 진정한 녹색 광량(Lg(I-0.5, J-0.5))은, 주목하고 있는 흰색 원(83)의 위치(x, y)에서 관측되는 화소값 Gobs(k, ig, jg)보다도 크다고 생각된다. 또한, 흑색 원(84)의 위치(I+0.5, J-0.5)에서의 진정한 녹색 광량(Lg(I+0.5, J-O.5)) 또는 흑색 원(85)의 위치(I-0.5, J-O.5)에서의 진정한 녹색 광량(Lg(I-0.5, J-0.5))과, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)의 광량(화소값)의 차는, 평균값 EG1과 EG1’의 차(EG1-EG1’)에 의존한다.

또한, 흑색 원(86)의 위치(I+0.5, J+0.5)에서의 진정한 녹색 광량(Lg(I+0.5, J+0.5))과 흑색 원(87)의 위치(I-0.5, J+O.5)에서의 진정한 녹색 광량(Lg(I-0.5, J+0.5))은, 주목하고 있는 흰색 원(83)의 위치(x, y)에서 관측되는 화소값 Gobs(k, ig, jg)보다 작다고 생각된다. 또한, 흑색 원(86)의 위치(I+0.5, J+0.5)에서의 진정한 녹색 광량(Lg(I+0.5, J+O.5)) 또는 흑색 원(87)의 위치(I-0.5, J+0.5)에서의 진정한 녹색 광량(Lg(I-0.5, J+O.5)) 각각과, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)의 광량(화소값)의 차는 평균값 EG1와 EG1’의 차(EG1-EG1’)에 의 존한다.

따라서, 연산 회로(24)는 주목하고 있는 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)를 통과하고, Y방향으로 기울기 p인 평면(Q2)을 구한다. 여기에서 p=(EG1-EG1’)÷2이다. 즉, 기울기(p)는 도 29의 상측 영역(101)의 화소값의 평균값(EG1)과 하측 영역(103)의 화소값의 평균값(EG1’)의 차를, 상측 영역(101)과 하측 영역(103)의 Y방향의 중심 위치끼리의 거리인 2로 나누어 구해진다. 기울기(p)는 횡방향의 에지 부분에서의, 그 에지와 수직인 방향의 광량(화소값)의 변화의 정도, 즉 에지의 기울기를 나타낸다.

그리고, 연산 회로(24)는 흑색 원(85)의 위치(I-0.5, J-O.5)에서의 평면(Q2)상의 값(화소값)을 구하여, 그 값을 화소값 GobsO(k, ig, jg)로 한다. 또한, 연산 회로(24)는 흑색 원(87)의 위치(I-0.5, J+O.5)에서의 평면(Q2)상의 값(화소값)을 구하여, 그 값을 화소값 Gobs1(k, ig, jg)로 한다. 마찬가지로, 연산 회로(24)는 흑색 원(84)의 위치(I+0.5, J-O.5)에서의 평면(Q2)상의 값(화소값)과, 및 흑색 원(86)의 위치(I+O.5, J+0.5)에서의 평면(Q2)상의 값(화소값)을 구하여, 각각의 값을 화소값 Gobs2(k, ig, jg), 화소값 Gobs3(k, ig, jg)으로 한다.

여기에서, 평면(Q2)은 Y방향에 대해서만 기울기(p)를 갖고 있으므로, 화소값 GobsO(k, ig, jg)와 화소값 Gobs2(k, ig, jg)는 동일하고, 또한 화소값 Gobs1(k, ig, jg)와 화소값 Gobs3(k, ig, jg)는 동일하다.

「횡방향의 에지」에 있어서도, 도 32의 「종방향의 에지」의 경우와 마찬가지로, 흑색 원(84)의 위치(I+0.5, J-0.5)를 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(84)의 위치(I+0.5, J-O.5)에서의 평면(Q2)상의 값(화소값)인 화소값 Gobs2(k, ig, jg)가 식 (25)에 대입된다.

또한, 흑색 원(85)의 위치(I-0.5, J-O.5)를 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(85)의 위치(I-0.5, J-O.5)에서의 평면(Q2)상의 값(화소값)인 화소값 GobsO(k, ig, jg)이 식 (25)에 대입된다.

또한, 흑색 원(86)의 위치(I+O.5, J+O.5)를, 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(86)의 위치(I+0.5, J+O.5)에서의 평면(Q2)상의 값(화소값)인 화소값 Gobs3(k, ig, jg)이 식 (25)에 대입된다.

또한, 흑색 원(87)의 위치(I-0.5, J+O.5)를, 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(87)의 위치(I-0.5, J+0.5)에서의 평면(Q2)상의 값(화소값)인 화소값 Gobs1(k, ig, jg)이 식 (25)에 대입된다.

이상과 같이, 횡방향의 에지(녹색 광량의 급준한 변화)가 있는 위치에서 관측된 화소값 Gobs(k, ig, jg)(도 33의 흰색 원(83)의 위치의 화소값)를, 그 에지의 기울기(급준 정도)(p)에 따른 화소값(GobsO(k, ig, jg), Gobs1(k, ig, jg), Gobs2(k, ig, jg) 또는 Gobs3(k, ig, jg))으로 변경(보정)하고, 그 변경한 화소값을 식 (25)에 대입함으로써, 스프링 모델에 있어서 도 23에서의 물체 V로서의 Lg(I ’, J’)가 적절한 위치로 끌어 당겨져, 보다 정확한(선명한) 진정한 녹색 광량(Lg(I’, J’))을 구할 수 있다.

도 34는, 도 30에서 나타낸, 「좌상에서 우하 방향의 에지」가 검출된 경우의, 주목하고 있는 흰색 원(83)의 위치를 포함하는 영역(A11)을 나타내고 있다. 도면중의 1축은 기준 좌표계에서의 X방향을, X방향과 수직인 축이 기준 좌표계에서의 Y방향을, X방향 및 Y방향과 수직인 축이 화소값을, 각각 나타내고 있다.

도 34에서는 에지 판정 영역에 대해 구해진 평균값(EG2, EG2’, EG2”)과 분산(SG2, SG2’)이 식 「EG2+SG2＜EG2”＜EG2’-SG2’」를 만족하고, 따라서, 「좌상에서 우하 방향의 에지」가 존재하고 있다.

이 경우, 흑색 원(84)의 위치(I+0.5, J-0.5)에서의 진정한 녹색 광량(Lg(I+0.5, J-O.5))은 주목하고 있는 흰색 원(83)의 위치(x, y)에서 관측되는 화소값 Gobs(k, ig, jg)보다도 크다고 생각된다. 또한, 흑색 원(84)의 위치(I+0.5, J-0.5)에서의 진정한 녹색 광량(Lg(I+0.5, J-O.5))과 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)의 광량(화소값)의 차는, 평균값 EG2’와 EG2의 차(EG2’-EG2)에 의존한다.

또한, 흑색 원(87)의 위치(I-0.5, J+0.5)에서의 진정한 녹색 광량(Lg(I-0.5, J+0.5))은 주목하고 있는 흰색 원(83)의 위치(x, y)에서 관측되는 화소값 Gobs(k, ig, jg)보다 작다고 생각된다. 또한, 흑색 원(87)의 위치(I-0.5, J+0.5)에서의 진정한 녹색 광량(Lg(I-0.5, J+O.5))과 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)의 광량(화소값)의 차는 평균값 EG2’와 EG2의 차(EG2’-EG2)에 의존한다.

따라서, 연산 회로(24)는 주목하고 있는 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)를 통과하고, 흑색 원(84)의 위치(I+0.5, J-O.5)와 흑색 원(87)의 위치(I-0.5, J+O.5)를 연결하는 영역(A11)의 대각 방향에 기울기 p의 평면(Q3)을 구한다. 여기에서, p=(EG2’-EG2)÷2√2이다. 즉, 기울기(p)는 도 30의 우상측 영역(113)의 화소값의 평균값(EG2’)과 좌하측 영역(111)의 화소값의 평균값(EG2)의 차를, 흑색 원(84)의 위치(I+0.5, J-O.5)와 흑색 원(87)의 위치(I-0.5, J+O.5)를 연결하는 영역(A11)의 대각 방향의, 우상측 영역(113)의 영역(A20)과 좌하측 영역(111)의 영역(A02)의 중심 위치끼리의 거리인 2√2로 나누어 구해진다. 기울기(p)는 좌상에서 우하 방향의 에지 부분에서의, 그 에지와 수직인 방향의 광량(화소값)의 변화의 정도, 즉 에지의 기울기를 나타낸다.

그리고, 연산 회로(24)는 흑색 원(85)의 위치(I-0.5, J-O.5)에서의 평면(Q3)상의 값(화소값)을 구하여, 그 값을 화소값 GobsO(k, ig, jg)으로 한다. 또한, 연산 회로(24)는 흑색 원(87)의 위치(I-0.5, J+O.5)에서의 평면(Q3)상의 값(화소값)을 구하여, 그 값을 화소값 Gobs1(k, ig, jg)로 한다. 마찬가지로, 연산 회로(24)는 흑색 원(84)의 위치(I+0.5, J-O.5)에서의 평면(Q3)상의 값(화소값) 및 흑색 원(86)의 위치(I+O.5, J+0.5)에서의 평면(Q3)상의 값(화소값)을 구하여, 각각의 값을 화소값 Gobs2(k, ig, jg)와 화소값 Gobs3(k, ig, jg)으로 한다.

여기에서, 평면(Q3)은 흑색 원(84)의 위치(I+0.5, J-O.5)와 흑색 원(87)의 위치(I-0.5, J+O.5)를 연결하는 영역(A11)의 대각 방향에 대해서만 기울기(p)를 갖고 있으므로, 화소값 GobsO(k, ig, jg)과 화소값 Gobs3(k, ig, jg)은 동일하다.

「좌상에서 우하 방향의 에지」에 있어서도, 도 32의 「종방향의 에지」의 경우와 마찬가지로, 흑색 원(84)의 위치(I+0.5, J-0.5)를 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(84)의 위치(I+0.5, J-O.5)에서의 평면(Q3)상의 값(화소값)인 화소값 Gobs2(k, ig, jg)가 식 (25)에 대입된다.

또한, 흑색 원(85)의 위치(I-0.5, J-O.5)를 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(85)의 위치(I-0.5, J-O.5)에서의 평면(Q3)상의 값(화소값)인 화소값 GobsO(k, ig, jg)이 식 (25)에 대입된다.

또한, 흑색 원(86)의 위치(I+O.5, J+O.5)를, 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(86)의 위치(I+0.5, J+O.5)에서의 평면(Q3)상의 값(화소값)인 화소값 Gobs3(k, ig, jg)이 식 (25)에 대입된다.

또한, 흑색 원(87)의 위치(I-0.5, J+O.5)를, 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(87)의 위치(I-0.5, J+O.5)에서의 평면(Q3)상의 값(화소값)인 화소값 Gobs1(k, ig, jg)이 식 (25)에 대입된다.

이상과 같이, 좌상에서 우하 방향의 에지(녹색 광량의 급준한 변화)가 있는 위치에서 관측된 화소값 Gobs(k, ig, jg)(도 34의 흰색 원(83)의 위치의 화소값)를, 그 에지의 기울기(급준 정도)(p)에 따른 화소값(GobsO(k, ig, jg), Gobs1(k, ig, jg), Gobs2(k, ig, jg) 또는 Gobs3(k, ig, jg))으로 변경(보정)하고, 그 변경한 화소값을 식 (25)에 대입함으로써, 스프링 모델에 있어서 도 23에서의 물체 V로서의 Lg(I’, J’)가 적절한 위치로 끌어 당겨져, 보다 정확한(선명한) 진정한 녹색 광량(Lg(I’, J’))을 구할 수 있다.

도 35는, 도 31에서 나타낸, 「우상에서 좌하 방향의 에지」가 검출된 경우의, 주목하고 있는 흰색 원(83)의 위치를 포함하는 영역(A11)을 나타내고 있다. 도면중의 1축은 기준 좌표계에서의 X방향을, X방향과 수직인 축이 기준 좌표계에서의 Y방향을, X방향 및 Y방향과 수직인 축이 화소값을, 각각 나타내고 있다.

도 35에서는, 에지 판정 영역에 대해 구해진 평균값(EG3, EG3’, EG3”)과 분산(SG3, SG3’)이 식 「EG3’+SG3’＜EG3”＜EG3-SG3」을 만족하고, 따라서, 「우상에서 좌하 방향의 에지」가 존재하고 있다.

이 경우, 흑색 원(85)의 위치(I-0.5, J-0.5)에서의 진정한 녹색 광량(Lg(I-0.5, J-O.5))은 주목하고 있는 흰색 원(83)의 위치(x, y)에서 관측되는 화소값 Gobs(k, ig, jg)보다도 크다고 생각된다. 또한, 흑색 원(85)의 위치(I-0.5, J-0.5)에서의 진정한 녹색 광량(Lg(I-0.5, J-O.5))과 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)의 광량(화소값)의 차는, 평균값 EG3와 EG3’의 차(EG3-EG3’)에 의존한다.

또한, 흑색 원(86)의 위치(I+0.5, J+0.5)에서의 진정한 녹색 광량(Lg(I+0.5, J+0.5))은 주목하고 있는 흰색 원(83)의 위치(x, y)에서 관측되는 화소값 Gobs(k, ig, jg)보다 작다고 생각된다. 또한, 흑색 원(86)의 위치(I+0.5, J+0.5)에서의 진 정한 녹색 광량(Lg(I+0.5, J+O.5))과 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)의 광량(화소값)의 차는 평균값 EG3와 EG3’의 차(EG3-EG3’)에 의존한다.

따라서, 연산 회로(24)는 주목하고 있는 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg)를 통과하고, 흑색 원(85)의 위치(I-0.5, J-O.5)와 흑색 원(86)의 위치(I+0.5, J+O.5)를 연결하는 영역(A11)의 대각 방향에 기울기 p의 평면(Q4)을 구한다. 여기에서, p=(EG3-EG3’)÷2√2이다. 즉, 기울기(p)는 도 31의 좌상측 영역(121)의 화소값의 평균값(EG3)과 우하측 영역(123)의 화소값의 평균값(EG3’)의 차를, 흑색 원(85)의 위치(I-0.5, J-O.5)와 흑색 원(86)의 위치(I+0.5, J+O.5)를 연결하는 영역(A11)의 대각 방향의, 좌상측 영역(121)의 영역(A00)과 우하측 영역(123)의 영역(A22)의 중심 위치끼리의 거리인 2√2로 나누어 구해진다. 기울기(p)는 우상에서 좌하 방향의 에지 부분에서의, 그 에지와 수직인 방향의 광량(화소값)의 변화의 정도, 즉 에지의 기울기를 나타낸다.

그리고, 연산 회로(24)는 흑색 원(85)의 위치(I-0.5, J-O.5)에서의 평면(Q4)상의 값(화소값)을 구하여 그 값을 화소값 GobsO(k, ig, jg)으로 한다. 또한, 연산 회로(24)는 흑색 원(87)의 위치(I-0.5, J+O.5)에서의 평면(Q4)상의 값(화소값)을 구하여 그 값을 화소값 Gobs1(k, ig, jg)로 한다. 마찬가지로, 연산 회로(24)는 흑색 원(84)의 위치(I+0.5, J-O.5)에서의 평면(Q4)상의 값(화소값) 및 흑색 원(86)의 위치(I+O.5, J+0.5)에서의 평면(Q4)상의 값(화소값)을 구하여, 각각의 값을 화소값 Gobs2(k, ig, jg)와 화소값 Gobs3(k, ig, jg)으로 한다.

여기에서, 평면(Q4)는 흑색 원(85)의 위치(I-0.5, J-O.5)와 흑색 원(86)의 위치(I+0.5, J+O.5)를 연결하는 영역(A11)의 대각 방향에 대해서만 기울기(p)를 갖고 있으므로, 화소값 Gobs1(k, ig, jg)과 화소값 Gobs2(k, ig, jg)는 동일하다.

「우상에서 좌하 방향의 에지」에 있어서도, 도 32의 「종방향의 에지」의 경우와 마찬가지로, 흑색 원(84)의 위치(I+0.5, J-0.5)를 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(84)의 위치(I+0.5, J-O.5)에서의 평면(Q4)상의 값(화소값)인 화소값 Gobs2(k, ig, jg)가 식 (25)에 대입된다.

또한, 흑색 원(85)의 위치(I-0.5, J-O.5)를 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(85)의 위치(I-0.5, J-O.5)에서의 평면(Q4)상의 값(화소값)인 화소값 GobsO(k, ig, jg)가, 식 (25)에 대입된다.

또한, 흑색 원(86)의 위치(I+O.5, J+O.5)를 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(86)의 위치(I+0.5, J+O.5)에서의 평면(Q4)상의 값(화소값)인 화소값 Gobs3(k, ig, jg)이 식 (25)에 대입된다.

또한, 흑색 원(87)의 위치(I-0.5, J+O.5)를 위치(I’, J’)로서 주목한 경우, 흰색 원(83)의 위치(x, y)의 화소값 Gobs(k, ig, jg) 대신에, 주목하고 있는 흑색 원(87)의 위치(I-0.5, J+O.5)에서의 평면(Q4)상의 값(화소값)인 화소값 Gobs1(k, ig, jg)이 식 (25)에 대입된다.

이상과 같이, 우상에서 좌하 방향의 에지(녹색 광량의 급준한 변화)가 있는 위치에서 관측된 화소값 Gobs(k, ig, jg)(도 35의 흰색 원(83)의 위치의 화소값)를, 그 에지의 기울기(급준 정도)(p)에 따른 화소값(GobsO(k, ig, jg), Gobs1(k, ig, jg), Gobs2(k, ig, jg) 또는 Gobs3(k, ig, jg))으로 변경(보정)하고, 그 변경한 화소값을 식 (25)에 대입함으로써, 스프링 모델에 있어서 도 23에서의 물체 V로서의 Lg(I’, J’)가 적절한 위치로 끌어 당겨져, 보다 정확한(선명한) 진정한 녹색 광량(Lg(I’, J’))을 구할 수 있다.

이상으로부터, 제3 실시 형태의 식 (25)에 대응하는 제6 실시 형태의 녹색 광량의 스프링 관계식은 다음과 같이 나타낼 수가 있다.

또, 녹색 이외의 진정한 적색 광량(Lr(I’, J’))과 진정한 청색 광량(Lb(I’, J’))도 진정한 녹색 광량(Lg(I’, J’))과 마찬가지로 하여 구할 수 있다.

여기에서, 식 (34)에서의 ∑은 어느 위치(I’, J’)에 대해 k매째의 촬상 화상상의 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표상의 위치(x, y)가, I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ig, jg)의 세트의 개수분의 합을 나타낸다.

단, 식 (34)를 구성하는 (k, ig, jg)의 세트의 어느 (k, ig, jg)의 화소값 Gobs(k, ig, jg)의 위치에 「종방향의 에지」, 「횡방향의 에지」, 「좌상에서 우하 방향의 에지」, 「우상에서 좌하 방향의 에지」 중 어느 하나가 검출된 경우, 식 (34)의 Gobs’(k, ig, jg)에는 그 (k, ig, jg)의 화소값 Gobs(k, ig, jg) 대신 에 에지의 기울기(p)를 갖고 화소값 Gobs(k, ig, jg)를 통과하는 평면의 위치(I’, J’)상의 값(화소값)이 이용된다. 또한, 식 (34)를 구성하는 (k, ig, jg)의 세트의 어느 (k, ig, jg)의 화소값 Gobs(k, ig, jg)의 위치에 「종방향의 에지」, 「횡방향의 에지」, 「좌상에서 우하 방향의 에지」, 「우상에서 좌하 방향의 에지」의 어느 것도 검출되지 않은 경우, 식 (34)의 Gobs’(k, ig, jg)에는 그대로 (k, ig, jg)의 화소값 Gobs(k, ig, jg)가 이용된다.

제3 실시 형태의 식 (26), (27)에 대응하는 제6 실시 형태의 적색, 청색 광량의 스프링 관계식도, 마찬가지로 식 (35), (36)과 같이 각각 나타낼 수가 있다.

여기에서, 식 (35)에서의 ∑은 어느 위치(I’, J’)에 대해 k매째의 촬상 화상상의 위치(ir-O.5, jr-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표상의 위치(x, y)가, I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ir, jr)의 세트의 개수분의 합을 나타낸다.

단, 식 (35)를 구성하는 (k, ir, jr)의 세트의 어느 (k, ir, jr)의 화소값 Robs(k, ir, jr)의 위치에, 「종방향의 에지」, 「횡방향의 에지」, 「좌상에서 우하 방향의 에지」, 「우상에서 좌하 방향의 에지」 중 어느 하나가 검출된 경우, 식 (35)의 Robs’(k, ir, jr)에는 그 (k, ir, jr)의 화소값 Robs(k, ir, jr) 대신에 에지의 기울기(p)를 갖고 화소값 Robs(k, ir, jr)를 통과하는 평면의, 위치(I ’, J’)상의 값(화소값)이 이용된다. 또한, 식 (35)를 구성하는 (k, ir, jr)의 세트의, 어느 (k, ir, jr)의 화소값 Robs(k, ir, jr)의 위치에, 「종방향의 에지」, 「횡방향의 에지」, 「좌상에서 우하 방향의 에지」, 「우상에서 좌하 방향의 에지」의 어느 것도 검출되지 않은 경우, 식 (35)의 Robs’(k, ir, jr)에는 그대로 (k, ir, jr)의 화소값 Robs(k, ir, jr)가 이용된다.

여기에서, 식 (36)에서의 ∑은 어느 위치(I’, J’)에 대해 k매째의 촬상 화상상의 위치(ib-O.5, jb-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ib, jb)의 세트의 개수분의 합을 나타낸다.

단, 식 (36)를 구성하는 (k, ib, jb)의 세트의 어느 (k, ib, jb)의 화소값 Bobs(k, ib, jb)의 위치에, 「종방향의 에지」, 「횡방향의 에지」, 「좌상에서 우하 방향의 에지」, 「우상에서 좌하 방향의 에지」 중 어느 하나가 검출된 경우, 식 (36)의 Bobs’(k, ib, jb)에는 그 (k, ib, jb)의 화소값 Bobs(k, ib, jb) 대신에 에지의 기울기(p)를 갖고 화소값 Bobs(k, ib, jb)를 통과하는 평면의, 위치(I’, J’)상의 값(화소값)이 이용된다. 또한, 식 (36)를 구성하는 (k, ib, jb)의 세트의 어느 (k, ib, jb)의 화소값 Bobs(k, ib, jb)의 위치에, 「종방향의 에지」, 「횡방향의 에지」, 「좌상에서 우하 방향의 에지」, 「우상에서 좌하 방향의 에지 」의 어느 것도 검출되지 않은 경우, 식 (36)의 Bobs’(k, ib, jb)에는 그대로 (k, ib, jb)의 화소값 Bobs(k, ib, jb)가 이용된다.

도 36의 플로우차트를 참조하여 도 2의 단계 S4에서의 화상 추정 처리의 제6 실시 형태에 대해 설명한다.

먼저, 단계 S141에 있어서, 연산 회로(24)는 기준 좌표계상의 어느 위치(I’, J’)에 주목한다(이하, 주목 위치(I’, J’)라 한다). 여기에서, 주목 위치(I’, J’)는 기준 화상인 1매째의 촬상 화상의 「i번째, j번째의 화소」의 화소 중심(i-0.5, j-O.5)을 나타내고 있다.

그리고, 단계 S141에서 S142로 진행하여, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 녹색 성분을 수광하는 화소의 중심 위치(ig-O.5, jg-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가, I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ig, jg)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S143으로 진행한다.

단계 S143에 있어서, 연산 회로(24)는 단계 S142에서 구한 (k, ig, jg)의 세트 각각에 대응하는 기준 좌표계상의 위치에 대해, 「종방향의 에지」, 「횡방향의 에지」, 「좌상에서 우하 방향의 에지」, 「우상에서 좌하 방향의 에지」중 어느 하나가 있느지의 여부를 판정한다. 단계 S143에서, 상술한 4개 방향의 어느 하나의 에지가 있다고 판정된 경우, 단계 S144로 진행하고, 연산 회로(24)는 에지가 있는 위치에 대응하는 (k, ig, jg)의 세트 각각에 대해, 그 화소값 Gobs(k, ig, jg)를 통과하고 에지의 기울기(p)를 갖는 평면을 작성한다(구한다). 또한, 연산 회로 (24)는 주목 위치(I’, J’)에서의 평면상의 값(화소값)을 연산하고, 단계 S144에서 S145로 진행한다.

또한, 단계 S143에서 상술한 4개 방향의 어느 에지도 없다고 판정된 경우, 또는, 단계 S144 처리의 후, 단계 S145에 있어서 연산 회로(24)는 단계 S142에서 구한 모든 (k, ig, jg)의 세트를 이용하여 식 (34)로 나타내지는 녹색 광량의 스프링 관계식을 생성하고, 단계 S146으로 진행한다. 여기에서, 단계 S143에 있어서, 어느 (k, ig, jg)에 대응하는 기준 좌표계상의 위치에 상술한 4개 방향의 어느 하나의 에지가 있다고 판정된 화소값 Gobs(k, ig, jg)에 대해서는, 연산 회로(24)는 단계 S144에서 구해진 주목 위치(I’, J’)에서의 평면상의 값(화소값)을 그 (k, ig, jg)의 화소값 Gobs(k, ig, jg)로서 식 (34)의 Gobs’(k, ig, jg)에 대입한다. 또한, 단계 S143에 있어서, 어느 (k, ig, jg)에 대응하는 기준 좌표계상의 위치에 상술한 4개 방향의 어느 에지도 없다고 판정된 화소값 Gobs(k, ig, jg)에 대해서는, 연산 회로(24)는 그 (k, ig, jg)의 화소값 Gobs(k, ig, jg)를 그대로 식 (34)의 Gobs’(k, ig, jg)에 대입한다.*

단계 S146에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 적색 성분을 수광하는 화소의 중심 위치(ir-O.5, jr-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ir, jr)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S147로 진행한다.

단계 S147에 있어서, 연산 회로(24)는 단계 S146에서 구한 (k, ir, jr)의 세 트 각각에 대응하는 기준 좌표계상의 위치에 대해 「종방향의 에지」, 「횡방향의 에지」, 「좌상에서 우하 방향의 에지」, 「우상에서 좌하 방향의 에지」중 어느 하나가 있는지의 여부를 판정한다. 단계 S147에서, 상술한 4개 방향의 어느 것인가의 에지가 있다고 판정된 경우, 단계 S148로 진행하여, 연산 회로(24)는 에지가 있는 위치에 대응하는 (k, ir, jr)의 세트 각각에 대해, 그 화소값 Robs(k, ir, jr)을 통과하고 에지의 기울기(p)를 갖는 평면을 작성한다(구한다). 또한, 연산 회로(24)는 주목 위치(I’, J’)에서의 평면상의 값(화소값)을 연산하고, 단계 S148에서 S149로 진행한다.

또한, 단계 S147에서 상술한 4개 방향의 어느 에지도 없다고 판정된 경우, 및, 단계 S148 처리의 후, 단계 S149에 있어서, 연산 회로(24)는 단계 S146에서 구한 모든 (k, ir, jr)의 세트를 이용하여 식 (35)로 나타내지는 적색 광량의 스프링 관계식을 생성하고, 단계 S150으로 진행한다. 여기에서, 단계 S147에 있어서, 어느 (k, ir, jr)에 대응하는 기준 좌표계상의 위치에, 상술한 4개 방향의 어느 것인가의 에지가 있다고 판정된 화소값 Robs(k, ir, jr)에 대해서는, 연산 회로(24)는 단계 S148에서 구해진 주목 위치(I’, J’)에서의 평면상의 값(화소값)을 그 (k, ir, jr)의 화소값 Robs(k, ir, jr)로서 식 (35)의 Robs’(k, ir, jr)에 대입한다. 또한, 단계 S147에 있어서, 어느 (k, ir, jr)에 대응하는 기준 좌표계상의 위치에 상술한 4개 방향의 어느 에지도 없다고 판정된 화소값 Robs(k, ir, jr)에 대해서는, 연산 회로(24)는 그 (k, ir, jr)의 화소값 Robs(k, ir, jr)를 그대로 식 (35)의 Robs’(k, ir, jr)에 대입한다.

단계 S150에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 청색 성분을 수광하는 화소의 중심 위치(ib-O.5, jb-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y) 가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ib, jb)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S151로 진행한다.

단계 S151에 있어서, 연산 회로(24)는 단계 S152에서 구한 (k, ib, jb)의 세트 각각에 대응하는 기준 좌표계상의 위치에 대해, 「종방향의 에지」, 「횡방향의 에지」, 「좌상에서 우하 방향의 에지」, 「우상에서 좌하 방향의 에지」 중 어느 하나가 있는지의 여부를 판정한다. 단계 S151에서, 상술한 4개 방향의 어느 것인가의 에지가 있다고 판정된 경우, 단계 S152로 진행하여, 연산 회로(24)는 에지가 있는 위치에 대응하는 (k, ib, jb)의 세트 각각에 대해 그 화소값 Bobs(k, ib, jb)를 통과하고 에지의 기울기(p)를 갖는 평면을 작성한다(구한다). 또한, 연산 회로(24)는 주목 위치(I’, J’)에서의 평면상의 값(화소값)을 연산하고, 단계 S152에서 S153으로 진행한다.

또한, 단계 S151에서 상술한 4개 방향의 어느 에지도 없다고 판정된 경우, 및, 단계 S152 처리의 후, 단계 S153에 있어서, 연산 회로(24)는 단계 S150에서 구한 모든 (k, ib, jb)의 세트를 이용하여 식 (36)로 나타내지는 청색 광량의 스프링 관계식을 생성하고, 단계 S154로 진행한다. 여기에서, 단계 S151에 있어서, 어느 (k, ib, jb)에 대응하는 기준 좌표계상의 위치에 상술한 4개 방향의 어느 하나의 에지가 있다고 판정된 화소값 Bobs(k, ib, jb)에 대해서는, 연산 회로(24)는 단계 S152에서 구해진 주목 위치(I’, J’)에서의 평면상의 값(화소값)을 그 (k, ib, jb)의 화소값 Bobs(k, ib, jb)로서 식 (36)의 Bobs’(k, ib, jb)에 대입한다. 또한, 단계 S151에 있어서, 어느 (k, ib, jb)에 대응하는 기준 좌표계상의 위치에, 상술한 4개 방향의 어느 에지도 없다고 판정된 화소값 Bobs(k, ib, jb)에 대해서는, 연산 회로(24)는 그 (k, ib, jb)의 세트의 화소값 Bobs(k, ib, jb)를 그대로 식 (36)의 Bobs’(k, ib, jb)에 대입한다.

단계 S154에 있어서, 연산 회로(24)는 단계 S145에서 구한 식 (34)로 나타내지는 녹색 광량의 스프링 관계식, 단계 S149에서 구한 식 (35)로 나타내지는 적색 광량의 스프링 관계식, 단계 S153에서 구한 식 (36)으로 나타내지는 청색 광량의 스프링 관계식을 일차 방정식으로서 푸는 것에 의해, 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 각각 구하고, 단계 S155로 진행한다.

단계 S155에 있어서, 연산 회로(24)는 모든 위치(I’, J’)를 주목 위치로 하였는지, 즉 1매째의 촬상 화상의 화소의 중심 위치의 전부를 주목 위치(I’, J’)로 하여 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 구했는지의 여부를 판정한다.

단계 S155에서, 모든 위치(I’, J’)를 아직 주목 위치로서 구하지 않았다고 판정된 경우, 단계 S141로 돌아가 단계 S141 내지 S155의 처리가 반복된다. 즉, 연산 회로(24)는 아직 주목하지 않은 위치(I’, J’)를 다음의 주목 위치(I’, J’)로 하여 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 각각 구한다.

한편, 단계 S155에서, 모든 위치(I’, J’)를 주목 위치로 하였다고 판정된 경우, 단계 S156으로 진행하고, 연산 회로(24)는 단계 S154에서 구한 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)), 진정한 청색 광량(Lb(I’, J’))으로부터 화상(신호)을 추정하여, D/A 컨버터(9) 또는 코덱(12)에 출력 화상으로서 공급하고, 처리를 돌아온다. 예를 들면, 「i번째, j번째의 화소」에 있어서는, 연산 회로(24)는 녹색의 값(G신호)으로서 단계 S154에서 구한 진정한 녹색 광량(Lg(i-0.5, j-0.5))과 적색의 값(R신호)으로서 단계 S154에서 구한 진정한 적색 광량(Lr(I-0.5, J-O.5))과 청색의 값(B신호)으로서 단계 S154에서 구한 진정한 청색 광량(Lb(I-0.5, J-O.5))으로부터, 「i번째, j번째의 화소」의 화상 신호를 추정한다. 그리고, 연산 회로(24)는 그 추정을 위치(I’, J’)를 중심 위치로 하는 화소 모두에 대해 행함으로써, 출력 화상을 추정한다.

이상과 같이, 제6 실시 형태에서는, 에지 부분의 위치에서 관측된 화소값에 대해, 그 에지의 기울기(급준 정도)에 따라 스프링 관계식에 대입하는 화소값을 변경함으로써, 보다 정확한(선명한) 화상을 구할 수 있다.

또, 전술한 예에서는 에지 부분에 있는 화소값을 에지의 기울기(급준 정도)에 따른 주목 위치(I’, J’)상의 화소값으로 변경하였지만, 그 밖에 예를 들면, 에지 부분에 있는 화소값을 그대로 채용하지만 주목 위치(I’, J’)까지의 거리에 따라 가중을 주어(변경하여), 스프링 관계식에서의 에지 부분에 있는 화소값의 영향을 줄이도록 할 수도 있다.

또한, 상술의 예에서는 작성되는 평면(Q1 내지 Q4)의 기울기를 기준 좌표계상의 어느 위치(x, y)를 중심으로 하는 9의 영역(3×3 화소폭의 영역 )내의 위치에서 관측되는 화소값을 이용하여 구하는 것으로 하였지만, 예를 들면, 16의 영역(4×4 화소폭의 영역) 등, 그 밖의 영역의 위치에서 관측되는 화소값에 의해 구하도록 하여도 된다.

다음으로, 신호 처리 회로(7)에서의 화상 추정 처리의 제7 실시 형태에 대해 설명한다. 제7 실시 형태는 도 24에서 설명한 제3 실시 형태를 응용한 것이다.

즉, 제7 실시 형태는, 제3 실시 형태에 있어서 식 (25), (26), (27)로 나타내지는 스프링 관계식의 외에, R신호와 G신호와 B신호끼리의 상관에 관한 색 상관의 조건을 부가하여, 그들 모든 조건식을 만족하는 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))을 구하는 것이다.

화상의 국소적인 부분에 착목하면, 촬상 소자(4)에 입사되는 피사체의 광과 등가인 진정한 녹색 광량(Lg(x, y)), 진정한 적색 광량(Lr(x, y)), 진정한 청색 광량(Lb(x, y))에는 색끼리의 상관이 있다. 따라서, 화상 추정 처리에 의해 추정되는 화상에 대해서도 색 상관이 있다고 하고, 그 색 상관의 조건을 더 부가함으로써, 노이즈 등에 의한 오차를 경감한, 보다 정확한 해, 즉 진정한 광에 충실하고 선명한 화상을 구할 수 있다.

도 37과 도 38을 참조하여 구체적인 색 상관의 조건을 구하는 방법에 대해 설명한다. 도 37과 도 38에서는 녹색(G신호)과 적색(R신호)의 색 상관의 조건을 생각한다.

도 37 왼쪽 하측의 k’매째 화상의 ig번째, jg번째의 어느 녹색의 화소(G(jg-1)(ig-1))와 도 37 오른쪽 하측의 k”매째 화상의 ir번째, jr번째의 어느 적색의 화소(R(jr-1)(ir-1))에 주목한다.

연산 회로(24)는 k’매째 화상의 녹색의 화소(G(jg-1)(ig-1))와 k”매째 화상의 적색의 화소(R(jr-1)(ir-1))의 위치를, 제3 실시 형태에서 설명한 바와 같이, 변환 파라미터(θk’, Tk’x, Tk’y, Sk’)와 변환 파라미터(θk”, Tk”x, Tk”y, Sk”)에 의해 각각 변환함으로써, 도 37 상측의 1매째 화상의 좌표계에서의 위치를 구한다.

그리고, 연산 회로(24)는 1매째 화상의 좌표계로 변환된 k’매째의 녹색의 화소(G(jg-1)(ig-1))와 1매째 화상의 좌표계로 변환된 k”매째의 적색의 화소(R(jr-1)(ir-1))의 거리를 계산한다. 또한, 연산 회로(24)는 그 거리가 동일한 위치로 간주하는 허용치(판정치)(delta)(예를 들면, 0.25화소) 이내인지의 여부를 판정한다.

예를 들면, 화소(G(jg-1)(ig-1))와 화소(R(jr-1)(ir-1))의 위치를 위치(ig, jg)와 위치(ir, jr)로 각각 생각하는 것으로 하고, k’매째 화상의 좌표계에서의 화소(G(jg-1)(ig-1))의 위치(ig, jg)를 점 G_c로, k”매째 화상의 좌표계에서의 화소R(jg-1)(ig-1)의 위치(ir, jr)를 점 R_c로, 1매째 화상의 좌표계에서의 화소G(jg-1)(ig-1)의 위치(ig, jg)를 G_c(k’)로, 1매째 화상의 좌표계에서의 화소R(jg-1)(ig-1)의 위치(ir, jr)를 R_c(k”)로 각각 나타내는 것으로 하면, 점 G_c(k’)와 점 R_c(k”)의 거 리가 허용치(delta) 이내인지를 나타내는 식 (37)은 다음과 같이 쓸 수 있다.

식 (37)을 거리의 조건식이라 한다. 여기에서, Dis[G_c(k’), R_c(k”)]는, 점 G_c(k’)와 점 R_c(k”) 사이의 거리를 나타낸다. 또한, 점 G_c(k’)와 점 R_c(k”)로 표시되는 위치는 위치(ig, jg)와 위치(ir, jr)를 변환 파라미터(θk’, Tk’x, Tk’y, Sk’)와 (θk”, Tk”x, Tk”y, Sk”)로 각각 아핀 변환한 것이다.

연산 회로(24)는 k’매째의 녹색의 화소(G(jg-1)(ig-1))와 k”매째의 적색의 화소(R(jr-1)(ir-1))가 어느 허용 범위(delta)의 마진을 생각했을 때에 동일 위치에 있다고 간주할 수 있는 화소가 있는지의 여부를, 1매째 화상의 좌표계에서의 어느 위치(I’, J’)를 중심으로 하는 (I’±dX, J’±dY)의 근방 영역, 즉 (I’-dX, J’-dY), (I’-dX, J’+dY), (I’+dX, J’-dY) 및 (I’+dX, J’+dY)로 둘러싸인 영역에 대해 구한다. 여기에서, dX, dY는 각각, 근방 영역을 설정하는 소정의 값으로, 예를 들면, 2화소분의 X방향과 Y방향의 길이 등으로 할 수 있다.

반대로 말하면, 연산 회로(24)는 1매째 화상의 좌표계에서의 주목 위치(I’, J’)를 중심으로 하는 (I’±dX, J’±dY)의 근방 영역, 즉 (I’-dX, J’-dY), (I ’-dX, J’+dY), (I’+dX, J’-dY) 및 (I’+dX, J’+dY)로 둘러싸인 영역에 있어서, 상술한 식 (37)을 만족하는 (k’, ig, jg)와 (k”, ir, jr)을 구한다.

그리고, 연산 회로(24)는 구해진 (k’, ig, jg)와 (k”, ir, jr)에 대응하는 화소값 Gobs(k’, ig, jg)와 화소값 Robs(k”, ir, jr)를 얻는다.

연산 회로(24)는 k’, k” 각각을 1 내지 N으로 한 모든 조합에 대해, 상술한 식 (37)을 만족하는 (k’, ig, jg)와 (k”, ir, jr)을 구한다.

일반적으로는, 복수의 (k’, ig, jg)와 (k”, ir, jr)의 조합이 검출되므로, 연산 회로(24)는 검출된 (k’, ig, jg)와 (k”, ir, jr)에 대응하는 화소값 Gobs(k’,ig, jg)와 화소값 Robs(k”, ir, jr)의 세트를, 도 39에 나타낸 바와 같이, 횡축을 G신호(Gobs(k’,ig, jg)), 종축을 R신호(Robs(k”, ir, jr))로 하는 GR 공간에 플롯한다.

도 38은 식 (37)을 만족하는 화소값 Gobs(k’,ig, jg)와 화소값 Robs(k”, ir, jr)의 세트로 나타내지는 점을 플롯한 GR 공간을 나타내고 있다.

도 38의 ×표가 연산 회로(24)에 의해 검출된 (k’,ig, jg)와 (k”, ir, jr)에 대응하는 화소값 Gobs(k’,ig, jg)와 화소값 Robs(k”, ir, jr)의 세트, 즉 식 (37)을 만족하는 화소값 Gobs(k’, ig, jg)와 화소값 Robs(k”, ir, jr)의 세트를 나타내고 있다.

주목 위치(I’, J’)의 근방 영역에 있어서는 구해야 할 진정한 녹색 광량(Lg(I’, J’)) 및 진정한 적색 광량(Lr(I’, J’))에는, 도 38에 나타낸 바와 같은 상관이 있다고 생각된다.

따라서, 제7 실시의 형태에 있어서는, 제3 실시 형태에서의 식 (25) 내지 식 (27)로 나타내지는 스프링 관계식 외에, 도 38에 나타낸 녹색과 적색에 상관이 있는 것을 조건으로서 더 부가한다.

즉, 연산 회로(24)는 연산 회로(24)에 의해 식 (37)의 거리의 조건식을 만족하는 화소값 Gobs(k’, ig, jg)와 화소값 Robs(k”, ir, jr)의 세트로 나타내지는, 도 38의 GR 공간에 플롯된 복수의 점에 대해 주성분 분석을 행한다.

그리고, 연산 회로(24)는 주성분 분석의 분석 결과인 주성분의 방향을 구하고, 그 방향(축)을 나타내는 직선 Qg×G+Qr×R=Qc를 구한다. 여기에서, Qg, Qr, Qc는 GR 공간상의 직선을 나타내는 상수이고, G와 R은 GR 공간상의 G신호와 R신호를 나타내는 변수이다. 또한, 연산 회로(24)는 주성분의 방향과 직교하는 성분에 대한 분산을 구한다.

여기에서, 자연 길이가 0이고, 스프링 상수(스프링 강도)가 H인 스프링을 도입한다. 스프링 상수(H)는 GR 공간상에서 구해진 주성분의 방향과 직교하는 성분에 대한 분산에 대해 단조 감소하는 임의의 함수로 할 수 있고, 예를 들면 H=(1÷분산) 등을 채용할 수 있다. 즉, 분산이 작을수록 스프링이 강해(스프링 상수가 커)진다.

이 스프링 상수(H)의 스프링의 양끝의 한 끝은 GR 공간상에서의 점(Lg(I’, J’), Lr(I’, J’))에 접속되고, 스프링의 다른 끝은 주성분의 방향의 직선 Qg×G+Qr×R=Qc상의 임의의 점에 이동 가능하도록 접속된다. 이에 따라, 점(Lg(I’, J’), Lr(I’, J’))은 그 점(Lg(I’, J’), Lr(I’, J’))에서 직선 Qg×G+Qr× R=Qc에 늘어뜨린 수선의 방향으로 끌려간다. 즉, 점(Lg(I’, J’), Lr(I’, J’))은 색 상관의 일치성(G신호와 R신호의 색 상관의 관계)이 만족되도록 끌려간다.

여기에서, 점(Lg(I’, J’), Lr(I’, J’))과 주성분의 방향의 직선 Qg×G+Qr×R=Qc의 거리를 u로 나타내면, 스프링 상수 H의 스프링이 점(Lg(I’, J’), Lr(I’, J’))을 이끄는 힘은, H×u(이하, 적절히 GR 스프링력이라 한다)로 나타내진다. 이 GR 공간에서의 GR 스프링력(H×u)을 G신호 성분과 R신호 성분으로 분해하여, 식 (25)와 식 (26) 각각의 좌변에 가산 대상으로 부가함으로써, 색 상관이 고려되게 된다.

이상의 색 상관의 조건을 녹색(G신호)과 청색(B신호)에 대해서도 생각한다. 도 37에 나타낸 녹색과 적색의 화소의 경우와 마찬가지로, 연산 회로(24)는 k’매째의 녹색의 화소(G(jg-1)(ig-1))와 k”’매째의 청색의 화소(B(jb-1)(ib-1))의 위치를 변환 파라미터(θk’, Tk’x, Tk’y, Sk’)와 변환 파라미터(θk”’, Tk”’x, Tk”’y, Sk”’)에 의해 각각 변환함으로써, 1매째 화상의 좌표계에서의 위치를 구한다.

그리고, 연산 회로(24)는 1매째 화상의 좌표계로 변환된 k’매째의 녹색의 화소(G(jg-1)(ig-1))와 1매째 화상의 좌표계로 변환된 k”’매째의 청색의 화소(B(jb-1)(ib-1))의 거리를 계산한다. 또한, 연산 회로(24)는 그 거리가 동일한 위치에 있다고 간주하는 허용치(판정치)(delta) 이내인지의 여부를 판정한다.

예를 들면, 화소(G(jg-1)(ig-1))와 화소(B(jb-1)(ib-1))의 위치를 위치(ig, jg)와 위치(ib, jb)로 각각 생각하는 것으로 하고, k’매째 화상의 좌표계에서의 화소(G(jg-1)(ig-1))의 위치(ig, jg)를 점 G_c로, k”’매째 화상의 좌표계에서의 화소(B(jb-1)(ib-1))의 위치(ib, jb)를 점 B_c로, 1매째 화상의 좌표계에서의 화소(G(jg-1)(ig-1))의 위치(ig, jg)를 G_c(k’)로, 1매째 화상의 좌표계에서의 화소(B(jb-1)(ib-1))의 위치(ib, jb)를 B_c(k”’)로 각각 나타내는 것으로 하면, 점 G_c(k’)와 점 B_c(k”’)의 거리가 허용치(delta) 이내인지를 나타내는 식 (38)은 다음과 같이 쓸 수 있다.

식 (38)을 거리의 조건식이라 한다. 여기에서, Dis[G_c(k’), B_c(k”’)]는 점 G_c(k’)와 점 B_c(k”’) 사이의 거리를 나타낸다. 또한, 점 G_c(k’)와 점 B_c(k”’)로 표시되는 위치는 위치(ig, jg)와 위치(ib, jb)를 변환 파라미터(θk’, Tk’x, Tk’y, Sk’)와 (θk”’, Tk”’x, Tk”’y, Sk”’)로 각각 아핀 변환한 것이다.

연산 회로(24)는 k’매째의 녹색의 화소(G(jg-1)(ig-1))와 k”’매째의 청색의 화소(B(jb-1)(ib-1))가 어느 허용 범위(delta)의 마진을 생각했을 때에 동일 위치에 있다고 간주할 수 있는 화소가 있는지의 여부를, 1매째 화상의 좌표계에서의 어느 위치(I’, J’)를 중심으로 하는 (I’±dX, J’±dY)의 근방 영역, 즉 (I’-dX, J’-dY), (I’-dX, J’+dY), (I’+dX, J’-dY) 및 (I’+dX, J’+dY)로 둘러싸인 영역에 대해 구한다. 여기에서, dX, dY는 각각, 근방 영역을 설정하는 소정의 값으로, 예를 들면, 2화소분의 X방향과 Y방향의 길이 등으로 할 수 있다.

반대로 말하면, 연산 회로(24)는 1매째 화상의 좌표계에서의 주목 위치(I’, J’)를 중심으로 하는 (I’±dX, J’±dY)의 근방 영역, 즉 (I’-dX, J’-dY), (I’-dX, J’+dY), (I’+dX, J’-dY) 및 (I’+dX, J’+dY)로 둘러싸인 영역에 있어서, 상술한 식 (38)을 만족하는 (k’, ig, jg)와 (k”’, ib, jb)를 구한다.

그리고, 연산 회로(24)는 구해진 (k’, ig, jg)와 (k”’, ib, jb)에 대응하는 화소값 Gobs(k’, ig, jg)와 화소값 Bobs(k”’, ib, jb)를 얻는다.

연산 회로(24)는 k’, k”’ 각각을 1 내지 N으로 한 모든 조합에 대해, 상술한 식 (38)을 만족하는 (k’, ig, jg)와 (k”’, ib, jb)를 구한다.

일반적으로는, 복수의 (k’, ig, jg)와 (k”’, ib, jb)의 조합이 검출되므로, 연산 회로(24)는 검출된 (k’, ig, jg)와 (k”’, ib, jb)에 대응하는 화소값 Gobs(k’,ig, jg)와 화소값 Robs(k”’, ib, jb)의 세트를, 횡축을 G신호(Gobs(k’,ig, jg)), 종축을 B신호(Bobs(k”’, ib, jb))로 하는 GB 공간에 플롯한다.

따라서, 제7 실시의 형태에 있어서는, 제3 실시 형태에서의 식 (25) 내지 식 (27)로 나타내지는 스프링 관계식 외에, 녹색과 청색에 상관이 있는 것을 조건으로서 더 부가한다.

즉, 연산 회로(24)는 연산 회로(24)에 의해 식 (38)의 거리의 조건식을 만족 하는 화소값 Gobs(k’, ig, jg)와 화소값 Bobs(k”’, ib, jb)의 세트로 나타내지는, GB 공간에 플롯된 복수의 점에 대해 주성분 분석을 행한다.

그리고, 연산 회로(24)는 주성분 분석의 분석 결과인 주성분의 방향을 구하고, 그 방향(축)을 나타내는 직선 Qg’×G+Qb’×B=Qc’를 구한다. 여기에서, Qg’, Qb’, Qc’는 GB 공간상의 직선을 나타내는 상수이고, G와 B는 GB 공간상의 G신호와 B신호를 나타내는 변수이다. 또한, 연산 회로(24)는 주성분의 방향과 직교하는 성분에 대한 분산을 구한다.

여기에서, 자연 길이가 0이고, 스프링 상수(스프링 강도)가 H인 스프링을 도입한다. 스프링 상수(H)는 GB 공간상에서 구해진 주성분의 방향과 직교하는 성분에 대한 분산에 대해 단조 감소하는 임의의 함수로 할 수 있고, 예를 들면 H=(1÷분산) 등을 채용할 수 있다. 즉, 분산이 작을수록 스프링이 강해(스프링 상수가 커)진다.

이 스프링 상수(H)의 스프링의 양끝의 한 끝은 GB 공간상에서의 점(Lg(I’, J’), Lb(I’, J’))에 접속되고, 스프링의 다른 끝은 주성분의 방향의 직선 Qg’×G+Qb’×B=Qc’상의 임의의 점에 이동 가능하도록 접속된다. 이에 따라, 점(Lg(I’, J’), Lb(I’, J’))은 그 점(Lg(I’, J’), Lb(I’, J’))으로부터 직선 Qg’×G+Qb’×B=Qc’에 늘어뜨린 수선의 방향으로 끌려간다. 즉, 점(Lg(I’, J’), Lb(I’, J’))은 색 상관의 일치성(G신호와 B신호의 색 상관의 관계)이 만족되도록 끌려간다.

여기에서, 점(Lg(I’, J’), Lb(I’, J’))과 주성분의 방향의 직선 Qg’× G+Qb’×B=Qc’의 거리를 u로 나타내면, 스프링 상수 H의 스프링이 점(Lg(I’, J’), Lb(I’, J’))을 이끄는 힘은, H×u(이하, 적절히 GB 스프링력이라 한다)로 나타내진다. 이 GB 공간에서의 GB 스프링력(H×u)을 G신호 성분과 B신호 성분으로 분해하여, 식 (25)와 식 (27) 각각의 좌변에 가산 대상으로 부가함으로써, 색 상관이 고려되게 된다.

또, 본 실시의 형태에서는, 상술의 GR, GB 공간의 2개의 색 상관의 조건만 부가하는 것으로 하지만, 마찬가지로 하여 R신호와 B신호와의(RB 공간의) 색 상관의 조건에 대해서도 부가하도록 하여도 된다.

도 39의 플로우차트를 참조하여 도 2의 단계 S4에서의 화상 추정 처리의 제7 실시 형태에 대해 설명한다.

단계 S171 내지 S177는, 도 24에 나타낸 제3 실시 형태의 화상 추정 처리의 단계 S71 내지 S77과 마찬가지이다.

즉, 단계 S171에 있어서, 연산 회로(24)는 기준 좌표계상의 어느 위치(I’, J’)에 주목한다(이하, 주목 위치(I’, J’)라 한다). 여기에서, 주목 위치(I’, J’)는 기준 화상인 1매째의 촬상 화상의 「i번째, j번째의 화소」의 화소 중심(i-0.5, i-0.5)을 나타내고 있다.

그리고, 단계 S171에서 S172로 진행하여, 연산 회로(24)는 주목 위치(I’, J’)에 대해, k매째 화상의 녹색 성분을 수광하는 화소의 중심 위치(ig-0.5, jg-0.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ig, jg)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S173으로 진행한다.

단계 S173에 있어서, 연산 회로(24)는 단계 S172에서 구한 모든 (k, ig, jg)의 세트를 이용하여 식 (25)로 나타내지는 녹색 광량의 스프링 관계식을 생성하고, 단계 S174로 진행한다.

단계 S174에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해 k매째 화상의 적색 성분을 수광하는 화소의 중심 위치(ir-O.5, jr-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ir, jr)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S175로 진행한다.

단계 S175에 있어서, 연산 회로(24)는 단계 S174에서 구한 모든 (k, ir, jr)의 세트를 이용하여 식 (26)으로 나타내지는 적색 광량의 스프링 관계식을 생성하고, 단계 S176으로 진행한다.

단계 S176에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해, k매째 화상의 청색 성분을 수광하는 화소의 중심 위치(ib-O.5, jb-O.5)를 변환 파라미터(θk, Tkx, Tky, Sk)로 변환한 기준 좌표계상의 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 (k, ib, jb)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S177로 진행한다.

단계 S177에 있어서, 연산 회로(24)는 단계 S176에서 구한 모든 (k, ib, jb)의 세트를 이용하여 식 (27)로 나타내지는 청색 광량의 스프링 관계식을 생성하고, 단계 S178로 진행한다.

단계 S178에 있어서, 연산 회로(24)는 주목 위치(I’, J’)를 중심으로 하는 (I’±dX, J’±dY)로 규정되는 영역에 있어서 식 (37)을 만족하는 (k’, ig, jg)와 (k”, ir, jr)의 세트를 모두 구한다. 또한, 연산 회로(24)는 그 구한 (k’, ig, jg)와 (k”, ir, jr)의 세트로 특정되는 GR 공간상의 점(Gobs(k’, ig, jg), Robs(k”, ir, jr))을 플롯하여, 주성분 분석을 행한다. 또한, 연산 회로(24)는 그 주성분 방향과 직교하는 성분의 분산을 구하고, 그 분산의 역수를 스프링 상수(H)로서 구한다. 그리고, 연산 회로(24)는 주성분 방향을 나타내는 직선 Qg×G+Qr×R=Q_c를 구하고, GR 공간상에서의 점(Lg(I’, J’), Lr(I’, J’))과 직선 Qg×G+Qr×R=Qc의 거리(u)를 이용하여 나타내지는 미지수로서의 GR 스프링력(H×u)을 얻는다. 또한, 연산 회로(24)는 GR 스프링력(H×u)의 G신호 성분을 식 (25)의 좌변의 가산 대상에 추가함과 동시에, GR 스프링력(H×u)의 R신호 성분을 식 (26)의 좌변에 가산 대상으로서 더한다. 그리고, 단계 S178에서 S179로 진행한다.

단계 S179에 있어서, 연산 회로(24)는 주목 위치(I’, J’)를 중심으로 하는 (I’±dX, J’±dY)로 규정되는 영역에 있어서, 식 (38)을 만족하는 (k’, ig, jg)와 (k”’, ib, jb)의 세트를 모두 구한다. 또한, 연산 회로(24)는 그 구한 (k’, ig, jg) 와 (k”’, ib, jb)의 세트로 특정되는 GB 공간상의 점(Gobs(k’, ig, jg), Bobs(k”’, ib, jb))을 플롯하여, 주성분 분석을 행한다. 또한, 연산 회로(24)는 그 주성분 방향과 직교하는 성분의 분산을 구하고, 그 분산의 역수를 스프링 상수(H)로서 구한다. 그리고, 연산 회로(24)는 주성분 방향을 나타내는 직선 Qg’×G+Qb’×B=Qc’를 구하고, GB 공간상에서의 점(Lg(I’, J’), Lb(I’, J ’))과 직선 Qg’×G+Qb’×B=Qc’의 거리(u)를 이용하여 나타내지는 미지수로서의 GB 스프링력(H×u)을 얻는다. 또한, 연산 회로(24)는 GB 스프링력(H×u)의 G신호 성분을 식 (25)의 좌변의 가산 대상에 추가함과 동시에, GB 스프링력(H×u)의 B신호 성분을 식 (27)의 좌변에 가산 대상으로서 더한다. 그리고, 단계 S179에서 S180으로 진행한다.

단계 S180에 있어서, 연산 회로(24)는 GR 및 GB 공간에서의 색 상관의 조건이 부가된 녹색 광량의 스프링 관계식, GR 공간에서의 색 상관의 조건이 부가된 적색 광량의 스프링 관계식, GB 공간에서의 색 상관의 조건이 부가된 청색 광량의 스프링 관계식을, 예를 들면 일차 방정식으로서 푸는 것에 의해, 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 각각 구하고, 단계 S181로 진행한다.

단계 S181에 있어서, 연산 회로(24)는 모든 위치(I’, J’)를 주목 위치로 하였는지, 즉 1매째의 촬상 화상의 화소의 중심 위치의 전부를 주목 위치(I’, J’)로 하여 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 구했는지의 여부를 판정한다.

단계 S181에서, 모든 위치(I’, J’)를 아직 주목 위치로서 구하지 않았다고 판정된 경우, 단계 S171로 돌아가 단계 S171 내지 S181의 처리가 반복된다. 즉, 연산 회로(24)는 아직 주목하지 않은 위치(I’, J’)를 다음의 주목 위치(I’, J’)로 하여 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 각각 구한다.

한편, 단계 S181에서, 모든 위치(I’, J’)를 주목 위치로 하였다고 판정된 경우, 단계 S182로 진행하고, 연산 회로(24)는 단계 S180에서 구한 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)), 진정한 청색 광량(Lb(I’, J’))으로부터 화상(신호)을 추정하여, D/A 컨버터(9) 또는 코덱(12)에 출력 화상으로서 공급하고, 처리를 돌아온다. 예를 들면, 「i번째, j번째의 화소」에 있어서는, 연산 회로(24)는 녹색의 값(G신호)으로서 단계 S180에서 구한 진정한 녹색 광량(Lg(i-0.5, j-0.5))과 적색의 값(R신호)으로서 단계 S180에서 구한 진정한 적색 광량(Lr(i-0.5, j-O.5))과 청색의 값(B신호)으로서 단계 S180에서 구한 진정한 청색 광량(Lb(i-0.5, j-O.5))으로부터, 「i번째, j번째의 화소」의 화상 신호를 추정한다. 그리고, 연산 회로(24)는 그 추정을 위치(I’, J’)를 중심 위치로 하는 화소 모두에 대해 행함으로써, 출력 화상을 추정한다.

이상과 같이, 제7 실시 형태에서는 색 상관의 조건을 더 부가함으로써, 노이즈 등에 의한 오차를 경감한, 보다 정확한 해, 즉 보다 진정한 광에 충실하고 선명한 화상을 구할 수 있다.

그러면, 본 발명의 특징을 명확하게 하기 위해서, 다시, 본 발명과 종래 기술의 차이를 설명한다.

도 40은 본 발명의 방법과 종래의 방법의 처리의 흐름을 나타내고 있다.

도 40에 나타낸 바와 같이, 종래부터, 「도면중의 (가):단판 센서로부터 출력된 화상(예를 들면, 베이어 배열의 화상:1화소당 R신호, G신호 또는 B신호의 어 느 1개밖에 없는 화상)으로부터, 통상의 컬러 화상(1화소당 R신호, G신호 및 B신호의 3개의 데이터가 갖추어진 화상)으로의 변환 방법」은, 몇가지나 존재하고 있다. 사실, 제품으로서 판매되고 있는 단판 센서를 이용한 디지털 스틸 카메라에는, 이 변환 방법이 인플리먼트되어 있는 것이 있다. 이 변환 방법은 디모자이킹이라 불리는 처리이다.

그리고, 종래부터, 「도면중의 (나):복수매의 어두운(혹은 SN비가 나쁜) 컬러 화상(1화소당 R신호, G신호 및 B신호의 3개의 데이터가 갖추어진 화상)으로부터, 선명한(혹은 SN비가 좋은) 컬러 화상(1화소당 R신호, G신호 및 B신호의 3개의 데이터가 갖추어진 화상)을 작성하는 방법」도 알려져 있었다. 구체적으로는, 종래의 기술 부분에서 설명한 일본 특허공개 2000-217032호 공보나 일본 특허공개 2000-224460호 공보 등의 방법이다.

따라서, 이들 2개의 방법을 조합함으로써, 「복수매의 어두운(혹은 SN비가 나쁜) 단판 센서로부터 출력된 화상(예를 들면, 베이어 배열의 화상:1화소당 R신호, G신호 또는 B신호의 어느 1개밖에 없는 화상)으로부터 선명한(혹은 SN비가 좋은) 컬러 화상(1화소당 R신호, G신호 및 B신호의 3개의 데이터가 갖추어진 화상)을 작성」할 수 있다.

즉, 복수매(m매)의 어두운(혹은 SN비가 나쁜) 단판 센서로부터 출력된 화상(예를 들면, 베이어 배열의 화상:1화소당 R신호, G신호 또는 B신호의 어느 1개밖에 없는 화상)(201-m)의 각각에 대해, 도면중의 (가)에서 나타낸 바와 같이 디모자이킹 처리(202-m)를 행하여, 어두운(혹은 SN비가 나쁜) 컬러 화상(1화소당 R신호, G 신호 및 B신호의 3개의 데이터가 갖추어진 화상)(203-m)을 한 번 작성한다. 그리고, 그들 컬러 화상(203-m)에 대해 도면중의 (나)에서 나타낸 일본 특허공개 2000-217032호 공보나 일본 특허공개 2000-224460호 공보의 방법을 사용하여, 선명한(혹은 SN비가 좋은) 컬러 화상(1화소당 R신호, G신호 및 B신호의 3개의 데이터가 갖추어진 화상)(204)을 작성하면 된다. 여기에서, m은 소정의 매수를 나타내는 정수로 한다.

그런데, 디모자이킹의 처리에서는, 당연히 보간 처리 혹은 그에 유사한 처리를 하므로, 화상의 선명함은 옅어진다. 그리고, 일본 특허공개 2000-217032호 공보나 일본 특허공개 2000-224460호 공보 등에서의 처리에서도, 디지털 샘플링된 데이터의 위치 맞춤을 행하기 위해 보간 처리가 행해지므로, 여기에서도 화상의 선명함은 옅어진다. 이와 같이, 도면중의 (가) 및 (나)에 있어서, 보간 처리가 합계 2회 행해지므로, 화상의 선명함은 매우 옅어진다. 덧붙여서, 보간 처리는 주위의 데이터로부터 특정의 지점에서의 데이터를 복원할 때에 이용되는 처리로서, 보간 하면 할수록 화상의 선명함이 없어지는 것은 명백하다.

한편, 본 발명에 있어서는, 「복수매의 어두운(혹은 SN비가 나쁜) 단판 센서로부터 출력된 화상(예를 들면, 베이어 배열의 화상:1화소당 R신호, G신호 또는 B신호의 어느 1개밖에 없는 화상)으로부터, 직접 선명한(혹은 SN비가 좋은) 컬러 화상(1화소당 R신호, G신호 및 B신호의 3개의 데이터가 갖추어진 화상)을 작성」하기 때문에, 보간 처리 혹은 그에 유사하는 처리가 한 부분밖에 존재하지 않는다. 따라서, 종래의 방법보다 선명한 화상을 복원할 수 있다. 이와 같이, 본 발명과 종 래 기술의 차이 및 본 발명의 이점은 명백하다.

또한, 종래의 방법에서는, 각 화상에 대해 디모자이킹 처리를 행하므로, 예를 들면 8매의 화상이 있는 경우, 8회의 디모자이킹 처리(도면중의 (가))를 행하지 않으면 안 된다. 즉, 계산량이 방대하게 되어 버리는 결점도 있었다.

본 발명과 종래의 방법의 차이를 다른 관점에서 설명한다.

종래 기술의 부분에서 설명한 일본 특허공개 2000-217032호 공보 등에 개시된 방법에서는, 손떨림의 분만큼 위치를 이동시켜 겹치면 된다고 하는 것이 설명되어 있다. 이는 손떨림의 분만큼 위치를 이동한 화상을 보간에 의해 작성하는 것을 의미하고 있다. N매의 화상을 중합시킨다는 것은 출력 화상의 모든 화소는 n개분의 데이터를 중합시킬 수 있다는 것이 된다. 따라서, 중합시킨 후에, 모든 화소에 대해 일정한 값(즉, N 혹은 「(적정 노출에서의 노출 시간)÷(실제 촬영에서의 노출 시간)÷N」)으로 나누는 것이 된다. 또한, 어느 정해진 일정량의 화소의 이동을 일으켜 복수매 촬영하고, 그들 화상의 위치 맞춤을 행하면서 합성해 감으로써 고정채 화상을 얻는 방법도 종래부터 있었지만, 그 경우에서도 어긋남량이 정해져 있으므로 출력 화상의 각 화소에 있어서 항상 미리 결정된 값으로 나누어 가는(정규화해 가는) 것을 행하고 있었다.

그에 비해, 본 발명의 제1 실시 형태나 제2 실시 형태에서는, 출력 화상의 각 위치(x, y)에서의 조건의 수, 즉 진정한 값의 추정에 이용할 수 있는 관측값(관측 화소)의 수는 경우에 따라 변한다. 어느 사람이 어느 장면을 촬영했을 때에 있어서, 어느 위치(x, y)에 대해서는 그 근방에 많은 입력 화소 Gobs(k, ig, jg)가 있을 가능성이 있다. 그 경우, 그 위치(x, y)가 관여하는 식 (20)은 많아진다. 또한, 그 근방에 조금의 입력 화소 Gobs(k, ig, jg)밖에 없으면, 그 위치(x, y)가 관여하는 식 (20)은 적어진다. 이와 같이, 출력 화상의 각 위치 (x, y)가 관여하는 조건식의 수는 가변으로, 실제로 촬영했을 때의 상태(손떨림에 의한 어긋남량)에 의존한다. 그 때문에, 각 화소 위치의 진정한 값의 추정에서는 촬상 상태(화상간의 움직임)에 따라, 고려해야 할 후보가 되는 관측점 및 그 수 등이 적응적으로 변화할 수 있다. 이 경우, 예를 들면 관측점의 수를 고정해 두고 후보 관측점으로부터 그 수의 관측점을 선택하는 구성, 관측점의 수와 선택되는 관측점의 쌍방을 변동시키는 구성, 혹은, 관측점의 위치, 수나 분포 등에 대한 소정의 조건에 따라 양자를 구분하여 사용하는 구성 등이 가능하다.

또한, 본 발명의 제3 내지 제7 실시 형태에서는, 손떨림의 분만큼 위치를 이동시키지만, 베이어 배열 때문에 모든 출력 위치에 무엇인가의 데이터가 반드시 가산되는 것은 아니다. k매째의 화상에 대해, 도 21에 나타낸 2×2화소내에 위치 보정한 데이터가 없으면, 그 출력 화소에는 k매째 화상의 어느 데이터도 가미되지 않는다. 반대로, 도 21에 나타낸 2×2화소내에 위치 보정한 데이터가 2개 있으면, 그 출력 화소에는 2개의 데이터가 (가중되어) 가산된다. 보다 구체적으로 설명하면, 어느 화소는 최종적으로 가중의 합계가 10이면, 10으로 나누어 출력 화소가 된다. 또한, 다른 화소는 최종적으로 가중의 합계가 3.5이면, 3.5로 나누어 출력 화소가 된다. 즉, 본 발명에서는 식 (25), 식 (26), 식 (27) 등에 나타내는 식에 있어서, ∑로 가산되는 총수가 실제로 촬영했을 때의 상태(손떨림에 의한 어긋남량)에 의존한다. 이 때문에, 각 화소 위치의 진정한 값의 추정에서는, 촬상 상태(화상간의 움직임)에 따라, 고려해야 할 후보가 되는 관측점 및 그 수 등이 적응적으로 변화할 수 있다.

이와 같이, 본 발명에 있어서는 「단판 센서(베이어 배열의 센서)로부터 출력된 복수의 화상으로부터 선명한 화상을 복원하는 경우에는, 조건식의 수를 가변, 혹은, 가중을 가변으로 하지 않으면 안 되는 경우가 있다」는 것을 고려하면서, 적절한 복원 방법을 제공한 점이, 종래에서는 할 수 없었던 것이다.

상술한 일련의 처리는 전용의 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들면, 디지털 카메라(1)는 도 41에 나타낸 바와 같은 컴퓨터에 프로그램을 실행시킴으로써 실현될 수가 있다.

도 41에 있어서, CPU(Central Processing Unit)(301)는 ROM(Read Only Memory)(302)에 기억되어 있는 프로그램, 또는 기억부(308)로부터 RAM(Random Access Memory)(303)에 로드된 프로그램에 따라 각종의 처리를 실행한다. RAM(303)에는 또한, CPU(301)가 각종의 처리를 실행하는데 있어서 필요한 데이터 등도 적절히 기억된다. CPU(301)는 신호 처리 회로(7)의 움직임 검출 회로(23) 및 연산 회로(24) 등이 행하는 처리를 실행한다.

CPU(301), ROM(302) 및 RAM(303)은 버스(304)를 통해 상호 접속되어 있다. 이 버스(304)에는 또한, 입출력 인터페이스(305)도 접속되어 있다.

입출력 인터페이스(305)에는 키보드, 마우스 등으로 이루어지는 입력부(306), CRT(Cathode Ray Tube), LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이 및 스피커 등으로 이루어지는 출력부(307), 하드 디스크 등으로 구성되는 기억부(308), 모뎀, 터미널 어댑터 등으로 구성되는 통신부(309)가 접속되어 있다. 통신부(309)는 인터넷 등의 네트워크를 통한 통신 처리를 행한다. 촬상부(311)는 도 1에서 나타낸 촬상 소자(4) 등을 갖고, 피사체를 촬상하여 그 촬상한 피사체의 화상 데이터를 입출력 인터페이스(305)를 통해 CPU(301) 등에 공급한다.

입출력 인터페이스(305)에는 또한, 필요에 따라서 드라이브(310)가 접속되고, 자기 디스크(321), 광 디스크(322), 광자기 디스크(323) 혹은 반도체 메모리(324) 등이 적절히 장착되어, 그들로부터 판독된 컴퓨터 프로그램이 필요에 따라서 기억부(308)에 인스톨된다.

다음으로, 신호 처리 회로(7)에서의 화상 추정 처리의 제8 실시 형태에 대해 설명한다. 제8 실시 형태는, 도 24에서 설명한 제3 실시 형태의 일부를 개량한 것이다.

제3 실시 형태에서는 촬상 소자(4)(도 1)의 각 화소에서 수광되는 데이터(수광량)를 포인트 샘플링된 데이터로서 파악하여, 각 화소 중심에서 관측된 화소값과 카메라 흐려짐이 없는 선명한 화상으로서의 화상 신호의 관계를 스프링 모델로 나타냄으로써, 보다 진정한 광에 충실하고 선명한 화상을 구하였다.

예를 들면, 카메라 흐려짐이 없는 선명한 화상으로서의 화상 신호를 구성하는 G신호, R신호 및 B신호 중의 G신호에 대해서는, 제3 실시 형태에서는 각 화소 중심의 위치(I’, J’)가 구해야 할 진정한 녹색 광량(Lg(I’, J’))을 상기한 바와 같이, 식 (25)의 녹색 광량의 스프링 관계식에 의해 나타내었다.

식 (25)의 스프링 상수{√2-F((x, y), (I’, J’))}/(Mk×E) 중의 {√2-F((x, y), (I’, J’))}는 위치(I’, J’)와 위치(I’, J’)의 근방에 있는 위치(x, y)의 거리에 대해 단조 감소하는, 말하자면 거리에 따른 가중을 나타낸다. 따라서, 위치(x, y)의 화소값 Gobs(k, ig, jg)와 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))은 위치(I’, J’)와 위치(x, y)의 거리가 커질수록 스프링이 끌어 당기는 힘이 약해지고, 위치(I’, J’)와 위치(x, y)의 거리가 작아질수록 스프링이 끌어 당기는 힘이 강해지는 관계가 있다.

한편, 식 (25)의 스프링 상수{√2-F((x, y), (I’, J’))}/(Mk×E) 중의 (Mk×E)는 상관 2중 샘플링 회로(5)(도 1)에서 제거되지 않은 노이즈 성분의 노이즈량(E)이 게인업에 의해 Mk배(k=1 내지 N)된 것이다. 그리고, 1/(Mk×E)은 노이즈량(E)에 대해 단조 감소하는, 말하자면 노이즈에 의한 가중을 나타낸다. 따라서, 위치(x, y)의 화소값 Gobs(k, ig, jg)와 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))은 노이즈량(E)이 클수록 스프링이 끌어 당기는 힘이 약해지고, 노이즈량(E)이 작을수록 스프링이 끌어 당기는 힘이 강해지는 관계가 있다.

제8 실시 형태에서는, 식 (25)에서 {√2-F((x, y), (I’, J’))}로 되어 있었던, 위치(I’, J’)와 화소값 Gobs(k, ig, jg)가 있는 위치(x, y)의 거리에 따른 가중(이하, 단순히 거리 가중이라 한다)으로서, 예를 들면 큐빅(Cubic) 함수를 이용한 Cubic(I’-x)×Cubic(J’-y)를 채용한다. 즉, 제8 실시 형태에서는 식 (25)의 {√2-F((x, y), (I’, J’))} 대신에 Cubic(I’-x)×Cubic(J’-y)를 채용한다.

여기에서, 큐빅 함수(Cubic(z))는 다음 식 (39)로 나타내진다.

또, 식 (39)의 a는 미리 정해진 상수이며, 예를 들면 -1 등이 된다.

큐빅 함수(Cubic(z))는, 도 42에 나타낸 바와 같이, 변수 z가 2≤|z| 및 |z|=1인 경우에는 0이 되고, 1＜|z|＜2인 경우에는 부의 값이 된다. 또한, |z|＜1인 경우에는 Cubic(z)는 정의 값이 되고 또한 |z|의 값이 커짐에 따라, 작아진다. 환언하면, 큐빅 함수(Cubic(z))는 주파수축에서 생각한 경우(프리에 변환한 경우)에 로우패스 필터의 특성을 갖는 함수이다.

또, 식 (25)에서의, 서메이션(∑) 대상의 p개째의 화소값 Gobs(k, ig, jg)를 v_p로 나타냄과 동시에, 그 p개째의 화소값(v_p)에 대한 스프링 상수{√2-F((x, y), (I’, J’))}/(Mk×E)를 스프링 상수(K_p)로 나타내어, 식 (25)를 진정한 녹색 광량(Lg(I’, J’))에 대해 더욱 풀어 나가면, 식 (40)을 얻을 수 있다.

···(40)

여기에서, 식 (40)에 있어서, ∑은 p에 대한 서메이션을 나타낸다.

식 (40)으로부터, 스프링 모델에 의하면, 진정한 녹색 광량(Lg(I’, J’))은 스프링 상수(K_p)를 가중으로 하고 화소값(v_p)을 이용한 가중 가산을 행함으로써 구 해지고 있다, 고 할 수 있다. 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))에 대해서도 마찬가지이다.

도 43은 위치(I’, J’)에 대해, N매의 촬상 화상의 위치(ig-O.5, jg-O.5)를 기준 좌표계(1매째의 좌표계)상으로 변환한 위치(x, y)가 I’-2≤x＜I’+2, J’-2≤y＜J’+2를 만족하는 정수 k, ig, jg의 세트를 모두 구하고, 그 화소값 Gobs(k, ig, jg)가 관측된 점(G11 내지 G19)을 나타낸 것이다.

도 43에서는 흑색 원로 표시되는 위치(I’, J’)에 대해, 흰색 원로 표시되는 점(G11 내지 G19)에서 관측된 9개의 화소값 Gobs(k, ig, jg)를 특정하는 (k, ig, jg)의 세트가 구해지고 있다. 또, 점(G11 내지 G19)의 정수 k, ig, jg의 세트는, 각각 다른 것이다.

여기에서, 제3 실시 형태에 있어서는 도 21에서 나타낸 바와 같이, 위치(I’, J’)에 대해 N매의 촬상 화상의 위치(ig-O.5, jg-O.5)를 기준 좌표계(1매째의 좌표계)상에 변환된 위치(x, y)가 I’-1≤x＜I’+1, J’-1≤y＜J’+1를 만족하는 정수 k, ig, jg의 세트를 구한 것에 비해, 제8 실시 형태에서는 도 43에 나타낸 바와 같이, I’-2≤x＜I’+2, J’-2≤y＜J’+2를 만족하는 정수 k, ig, jg의 세트를 구하고 있다. 이는 상기한 바와 같이, 식 (39)로 나타내지는 큐빅 함수(Cubic(z))가, -2≤z≤2의 범위에서 인수(z)에 따른 값을 취하기 때문에(|z|＞2의 범위에서는, 인수 z에 관계없이 O이기 때문에), 그 범위와 대응하는 범위, 즉 I’-2≤x＜I’+2 및 J’-2≤y＜J’+2의 범위에서 관측되는 화소값 Gobs(k, ig, jg)를 이용하여, 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))을 추정하기 위함이다.

또한, 제3 실시 형태에 있어서는 다음과 같이 하여, k매째의 촬상 화상의 위치(ig-O.5, jg-O.5)를 기준 좌표계인 1매째의 촬상 화상의 위치((ig-O.5)_(k), (jg-O.5)_(k))로 변환하고 있었다. 즉, 움직임 검출 회로(23-(k-1))는 1매째의 촬상 화상과 k매째의 촬상 화상의 위치 관계로부터, 회전 각도(θk), 스케일(Sk), 평행 이동량(Tkx, Tky)으로 구성되는 아핀 변환의 변환 파라미터(θk, Tkx, Tky, Sk)를 구하여, 연산 회로(24)에 공급한다. 그리고, 연산 회로(24)가 움직임 검출 회로(23-(k-1))로부터 공급된 변환 파라미터(θk, Tkx, Tky, Sk)를 아핀 변환의 식 (3)에 이용하여, k매째의 촬상 화상의 위치(ig-O.5, jg-O.5)를 기준 좌표계에서의 위치((ig-0.5)_(k), (jg-0.5)_(k))로 변환한다.

한편, 제8 실시 형태에서는 움직임 검출 회로(23-(k-1))는 1매째의 촬상 화상과 k매째의 촬상 화상의 위치 관계가 다음 식 (41)로 나타내지는 아핀 변환의 변환 파라미터를 구한다.

···(41)

즉, 움직임 검출 회로(23-(k-1))는 1매째의 촬상 화상과 k매째의 촬상 화상의 위치 관계를 나타내는 식 (41)의 행렬(ak’, bk’, ck’, dk’)과 2차원 벡터(Tkx’, Tky’)를 구하여, 연산 회로(24)에 공급한다. 여기에서, 식 (41)의 행렬(ak’, bk’, ck’, dk’)과 2차원 벡터(Tkx’, Tky’)로 나타내지는 아핀 변환의 변환 파라미터를, 단순히 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)라 한다.

또, ak’=dk’=Sk×cos(θk)로 함과 동시에 -bk’=ck’=Sk×sin(θk)로 함으로써, 식 (41)은 식 (3)과 일치한다.

여기에서, 식 (41)의 (Xk, Yk)는 식 (3)과 마찬가지로, k매째의 촬상 화상의 화소의 위치이고, (X1_(k), Y1_(k))는 위치(Xk, Yk)를 식 (41)로 아핀 변환한 1매째의 촬상 화상상의 위치(기준 좌표계상의 위치)를 나타내고 있다. 즉, 아래첨자의 (k)는 k매째의 화상이 있는 위치가 기준 좌표계상으로 위치 변환된 것을 나타내고 있다. 또, 1매째의 촬상 화상에 대해서는, 변환 파라미터(a1’, b1’, c1’, d1’, T1x’, T1y’)=(1, 0, 0, 1, 0, 0)으로 간주함으로써, k=1 내지 N에 대해 식 (41)이 성립된다.

예를 들면, 움직임 검출 회로(23-1)에서는 1매째의 촬상 화상과 2매째의 촬상 화상의 위치 관계가 다음 식 (42)로 나타내지는 것 같은, 변환 파라미터(a2’, b2’, c2’, d2’, T2x’, T2y’)가 구해져, 연산 회로(24)에 공급된다.

···(42)

또한, 예를 들면, 움직임 검출 회로(23-2)에서는 1매째의 촬상 화상과 3매째의 촬상 화상의 위치 관계가 다음 식 (43)으로 나타내지는 것 같은, 변환 파라미터(a3’, b3’, c3’, d3’, T3x’, T3y’)가 구해져, 연산 회로(24)에 공급된다.

···(43)

식 (43)은, 3매째의 촬상 화상상의 위치(X3, Y3)가 1매째의 촬상 화상상의 위치(x1, y1)에 대해, 예를 들면 손에 들고 촬영한 탓에 변환 파라미터(a3’, b3’, c3’, d3’, T3x’, T3y’)의 분만큼 이동한 것을 의미한다.

변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)는 상기한 바와 같이, 1매째의 촬상 화상을 기준으로 하는 k매째의 촬상 화상의 위치 관계로부터 구하는 외에, 디지털 카메라(1)에 가속도 센서를 설치하고 그 가속도 센서의 출력으로부터, 말하자면, 메커니컬적으로 구하도록 할 수도 있다. 또한, 손에 들고 촬영한 것에 의한 손떨림에서는, 1매째의 촬상 화상과 k매째의 촬상 화상의 위치 관계에는 회전 성분은 거의 포함되어 있지 않다고 생각할 수 있으므로, 이하에서는 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)의 회전 성분은 무시할 수 있는 것(회전하고 있지 않는 것을 나타내는 고정의 값)으로 하여도 된다.

한편, 식 (25)의 노이즈에 의한 가중에 관해서는, 제8 실시 형태에서는 N매의 촬상 화상에 대해 모두 동일한 게인업(n’비트 시프트)이 행해지고 있는 것으로 한다. 즉, 제8 실시 형태에서는, 촬상 소자(4)에서 촬상된 N매의 화상(입력 화상)은 모두 적정 노출로 촬상된 화상의 1/M=1/Mk의 밝기라고 한다. 예를 들면, 촬상 화상이 적정 노출로 촬상된 화상의 1/8의 밝기인 경우, M=8이 되어, 시프트 회로(21)(도 1)에서는 3비트 시프트에 의해 게인업을 행할 수 있다.

시프트 회로(21)에 있어서, N매의 촬상 화상에 대해 모두 동일한 게인업을 행함으로써, 식 (25)의 노이즈에 의한 가중 1/(Mk×E)은, 제8 실시 형태에서는 1/(M×E)라고 나타낼 수가 있다.

이상으로부터, 제3 실시 형태에서의 식 (25)는, 제8 실시 형태에서는 다음 식 (44)와 같이 나타낼 수가 있다.

여기에서, 식 (44)에서의 ∑은 어느 위치(I’, J’)에 대해, 위치(ig-O.5, jg-O.5)를 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 변환한 기준 좌표계상의 위치(x, y)가 I’-2≤x＜I’+2, J’-2≤y＜J’+2를 만족하는 (k, ig, jg)의 세트의 개수분의 합을 나타낸다. 예를 들면, 도 43에 나타낸 예에서는 점 G11 내지 점 G19의 9개의 (k, ig, jg)의 세트에 대한 합이 된다.

식 (44)는 식 (25)의 녹색 광량의 스프링 관계식에 대응하는 큐빅 함수(Cubic(z))를 이용한, 제8 실시 형태의 녹색 광량의 스프링 관계식이라 할 수 있다.

식 (44)의 노이즈에 의한 가중인 1/(M×E)은 ∑의 대상이 되는 (k, ig, jg)의 세트에 관계없이 일정하기 때문에, ∑의 대상에서 제외할 수 있고, 따라서, 식 (44)는 다음 식 (45)로 변형할 수 있다.

또한, 식 (45)를 구해야 할 진정한 녹색 광량(Lg(I’, J’))에 대해 풀면, 다음 식 (46)을 얻을 수 있다.

제8 실시 형태에서는, 식 (46)에 의해 진정한 녹색 광량(Lg(I’, J’))을 구한다.

식 (46)에 의하면, 진정한 녹색 광량(Lg(I’, J’))은 Cubic(I’-x)×Cubic(J’-y)를 가중으로 하여, 화소값 Gobs(k, ig, jg)를 이용한 가중 가산을 행함으로써 구해지고 있다, 고 할 수 있다. 여기에서, 가중(Cubic(I’-x)×Cubic(J’-y))은 위치(I’, J’)와 화소값 Gobs(k, ig, jg)가 있는 위치(x, y)의 거리에 대해 로우패스 필터의 특성을 갖는다.

또, 이하에서는 식 (46)을 녹색 광량의 가중 가산식이라 한다. 또한, 식 (46)의 녹색 광량의 가중 가산식의 분자와 분모를, 다음과 같이 식 (47)과 식 (48)로 한다.

···(47)

···(48)

또한, 화소값 Gobs(k, ig, jg)가 시프트 회로(21)에 있어서 M배로 게인업되기 전의 데이터(광량)를 D_{Gobs(k. ig, jg)}라 하면, 식 (46)은 식 (49)와 같이 나타낼 수가 있다.

위치(I’, J’)에서의 진정한 적색 광량(Lr(I’, J’))과 진정한 청색 광량(Lb(I’, J’))도 식 (46)과 마찬가지로, 식 (50)과 식 (51)로 각각 나타낼 수가 있다.

이하에 있어서, 식 (50)을 적색 광량의 가중 가산식이라 한다. 여기에서, 식 (50)에서의 ∑은 어느 위치(I’, J’)에 대해 위치(ir-O.5, jr-O.5)를 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 변환한 기준 좌표계상의 위치(x, y)가 I’-2≤x＜I’+2, J’-2≤y＜J’+2를 만족하는 (k, ir, jr)의 세트의 개수분의 합을 나타낸다.

이하에 있어서, 식 (51)을 청색 광량의 가중 가산식이라 한다. 여기에서, 식 (51)에서의 ∑은 어느 위치(I’, J’)에 대해 위치(ib-O.5, jb-O.5)를 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 변환한 기준 좌표계상의 위치(x, y)가 I’-2≤x＜I’+2, J’-2≤y＜J’+2를 만족하는 (k, ib, jb)의 세트의 개수분의 합을 나타낸다.

또한, 식 (50)의 적색 광량의 가중 가산식의 분자와 분모를 각각, 식 (52)와 식 (53)으로 한다.

···(52)

···(53)

마찬가지로, 식 (51)의 청색 광량의 가중 가산식의 분자와 분모를 각각, 식 (54)와 식 (55)로 한다.

···(54)

···(55)

이상의 식 (46)으로 나타내지는 녹색 광량의 가중 가산식, 식 (50)으로 나타내지는 적색 광량의 가중 가산식 및 식 (51)로 나타내지는 청색 광량의 가중 가산식을 이용하여, 연산 회로(24)가 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광 량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 구하는 처리를, 후술하는 예외 처리에 대비시켜 통상 처리라 한다.

다음으로, 식 (46)의 녹색 광량의 가중 가산식, 식 (50)의 적색 광량의 가중 가산식 및 식 (51)의 청색 광량의 가중 가산식에 대해 고찰한다.

우선, 식 (46)의 녹색 광량의 가중 가산식은, 위치(x, y)에서의 화소값 Gobs(k, ig, jg)와 거리 가중 Cubic(I’-x)×Cubic(J’-y)의 곱의 합(거리 가중 Cubic(I’-x)×Cubic(J’-y)에 의한 화소값 Gobs(k, ig, jg)의 가중 가산치)인 식 (47)의 분자를 거리 가중 Cubic(I’-x)×Cubic(J’-y)의 총합인 식 (48)의 분모로 나눈 것이다.

그러나, 식 (46)의 분모인 식 (48)이 0(거의 0도 포함한다)이 되는 경우, 식 (46)에서 구해지는 진정한 녹색 광량(Lg(I’, J’))은 불안정(부정)한 신뢰성이 없는 값이 된다. 환언하면, 식 (46)의 분모인 식 (48)이 O이 되는 위치(I’, J’)에서는 식 (46)의 분자에서의 화소값 Gobs(k, ig, jg)에 포함되는 아주 작은 노이즈 성분(오차)이 O인 분모로 나누어짐으로써, 큰 값으로 증폭되고, 그 결과, 식 (46)에서 구해지는 진정한 녹색 광량(Lg(I’, J’))은 큰 노이즈를 포함하는 신뢰성이 없는 값이 된다.

분모인 식 (48)이 O이 되는 경우는, 예를 들면 큐빅 함수 Cubic(I’-x) 또는 Cubic(J’-y) 중의 적어도 한편이, 식 (48)의 서메이션의 전범위에 걸쳐서 O이 되는 경우이다. 그리고, 큐빅 함수 Cubic(I’-x) 또는 Cubic(J’-y)가 0이 되는 경우는, 도 42에서 나타낸 큐빅 함수의 특성으로부터, I’-x=±1 또는 J’-y=±1, 즉 x=I’±1 또는 y=J’±1이 되는 경우이다.

따라서, 어느 위치(I’, J’)에 대해, 위치(ig-O.5, jg-O.5)를 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 기준 좌표계상으로 변환한 경우에, I’-2＜x＜I’+2, J’-2＜y＜J’+2의 범위에 출현하는 모든 (k, ig, jg)의 화소값 Gobs(k, ig, jg)의 위치(x, y)가 위치(I’, J’)와 x=I’±1 또는 y=J’±1의 관계가 있을 때, 식 (46)으로 구해지는 진정한 녹색 광량(Lg(I’, J’))은 그 분모가 0(또는 거의 0)이 되기 때문에 불안정(부정)한 신뢰성이 없는 값이 된다. 단, I’-2≤x＜I’+2, J’-2≤y＜J’+2의 범위에 출현하는 화소값 Gobs(k, ig, jg)의 위치(x, y) 모두가 위치(I’, J’)와 x=I’±1 또는 y=J’±1의 관계가 되는 상태는, 극히 특별한, 예외적인 상태이며, 이하, 이 관계가 되는 상태를 예외 상태라 한다.

여기에서, k매째의 촬상 화상의 화소의 위치(k, i, j)를 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 기준 좌표계상으로 변환한 위치(x, y)를, 이하, 적절히 변환 위치(x, y)(보정 위치)라고도 한다.

도 44는 어느 위치(I’, J’)가 예외 상태가 되어 있는 경우를 나타내는 도면이다.

도 44에서는 위치(ig-0.5, jg-0.5)가 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 변환된 점(변환 위치) G11’ 및 점 G15’가 x=I’-1의 관계가 되는 위치에, 점 G12’ 및 G16’가 x=I’+1의 관계가 되는 위치에, 각각 출현하고 있다.

또한, 위치(ig-0.5, jg-0.5)가 변환 파라미터(ak’, bk’, ck’, dk’, Tkx ’, Tky’)로 변환된 점 G13’ 및 점 G14’가 y=J’-1의 관계가 되는 위치에, 점 G17’, 점 G18’ 및 점 G19’가 y=J’+1의 관계가 되는 위치에, 각각 출현하고 있다.

도 44에 나타내는 상태에 있어서는, 기준 좌표계상의 I’-2≤x＜I’+2, J’-2≤y＜J’+2의 범위로 변환된 (k, ig, jg)의 세트의 모든 변환 위치(x, y)가 위치(I’, J’)와 x=I’±1 또는 y=J’±1의 관계가 있다. 이 상태에서는 위치(I’, J’)를 중심으로 한, 대략 (I’±1, J’±1)내의 영역(위치(I’, J’)를 중심으로 하는 가로×세로가 2×2의 정사각형의 영역)에는 G신호의 데이터(화소값 Gobs(k, ig, jg))가 1개도 존재하고 있지 않다.

이러한 상태(예외 상태)에 있어서, 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’))을 식 (46)에 의해 구한 경우, 상기한 바와 같이 신뢰성이 낮은(불안정한) 진정한 녹색 광량(Lg(I’, J’))이 얻어지게 된다.

따라서, 위치(I’, J’)의 화소가 이러한 예외 상태인 경우에는, 연산 회로(24)는 예외 처리를 행한다.

즉, 예를 들면, 지금 위치(I’, J’)를 주목 위치로서 그 주목 위치(I’, J’)의 출력 화상의 화소(이하, 적절히 주목 화소라고 한다)에서의 진정한 녹색 광량(Lg(I’, J’))을 추정한다 하고, 주목 화소(의 주목 위치(I’, J’))가 예외 상태가 되어 있는 경우, 연산 회로(24)는 예외 상태의 주목 화소의 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’))을 변환 위치(x, y)가 주목 위치(I’, J’)의 근방에 있는 k매째의 촬상 화상의 화소의 화소값 Gobs(k, ig, jg) 외에, 변 환 위치(x, y)가 주목 화소의 주변의 출력 화상의 화소 위치의 근방에 있는 k매째의 촬상 화상의 화소의 화소값 Gobs(k, ig, jg)도 이용하여 구한다. 여기에서, 주목 위치(I’, J’)의 주목 화소의 주변의 화소(이하, 적절히 주변 화소라고 한다)로써는, 예를 들면 도 45에 나타낸 바와 같은 위치(I’-1, J’), (I’+1, J’), (I’, J’-1), (I’, J’+ 1) 각각의 화소를 채용할 수 있다.

본 실시 형태의 디지털 카메라(1)의 촬상 소자(4)는 도 3을 참조하여 설명한 바와 같이, 베이어 배열이 되어 있다. 베이어 배열에서는 녹색의 성분을 수광하는 화소는 X방향 및 Y방향 모두 1화소 간격으로 배열되어 있다(도 3 참조). 또, 제8 실시 형태에서는, 촬상 소자(4)는 횡방향(X방향)으로 W화소, 종방향(Y방향)으로 H화소의 W×H의 화소수를 갖고 있다고 한다.

지금, 주목 위치(I’, J’)의 근방에 G신호의 관측값(인 화소값) Gobs(k, ig, jg)가 존재하고 있지 않은 경우, 그 주목 위치(I’, J’)의 주목 화소는 베이어 배열의 화소 중의, 녹색의 성분을 수광하는 화소가 아니라고 할 수 있다.

예를 들면, 주목 위치(I’, J’)의 주목 화소가, 도 46에 나타낸 바와 같이, 베이어 배열의 화소 중의 청색의 성분을 수광하는 화소이며, 원으로 둘러싸여 있는 화소(B12)인 경우, 화소(B12)의 상하좌우의 어느 편인가에는 녹색의 성분을 수광하는 화소가 존재한다. 마찬가지로, 촬상 소자(4)의 적색 또는 청색의 성분 중의 어느 것인가를 수광하는 각 화소에 대해서는, 그 화소의 상하좌우의 어느 편인가에 녹색 성분을 수광하는 화소가 존재한다.

따라서, 주목 위치(I’, J’)의 근방에 G신호의 관측값 Gobs(k, ig, jg)가 존재하고 있지 않은 경우(변환 위치(x, y)가 주목 위치(I’, J’)의 근방에 있는 촬상 화상의 녹색 화소가 존재하고 있지 않은 경우), 그 주목 위치(I’ , J’)의 주목 화소 위, 아래, 왼쪽, 또는 오른쪽에 인접하는 화소(주변 화소)의 위치 (I’, J’-1), (I’, J’+1), (I’-1, J’) 또는 (I’+1, J’) 중 어느 편인가의 근방에는 G신호의 관측값 Gobs(k, ig, jg)가 존재한다. 그리고, 위치(I’-1, J’), (I’+1, J’), (I’, J’-1) 또는 (I’, J’+1) 중의 어느 편인가의 주변 화소에 있어서는 G신호의 관측값 Gobs(k, ig, jg)가 존재하므로, 예외 상태가 발생하고 있지 않다. 즉, 위치(I’-1, J’), (I’+1, J’), (I’, J’-1) 또는 (I’, J’+1) 중의 어느 편인가의 주변 화소에 대해서는, 식 (46)에 의해 신뢰성이 있는 진정한 녹색 광량(Lg(I’, J’))을 구할 수 있다.

이상으로부터, 연산 회로(24)는 주목 화소가 예외 상태인 경우는, 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’))을 변환 위치(x, y)가 주목 위치(I’, J’)의 근방에 있는 화소의 화소값 Gobs(k, ig, jg) 외에, 주목 화소의 주변의 주변 화소의 위치(I’-1, J’), (I’+1, J’), (I’, J’-1) 또는 (I’, J’+1)의 근방에 있는 화소의 화소값 Gobs(k, ig, jg)도 이용하여 구하는 예외 처리를 행한다.

구체적으로는, 연산 회로(24)는 예외 처리로서 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’))을 다음 식 (56)으로 구한다.

식 (56)에 의하면, 주목 화소의 주목 위치(I’, J’)와 그 주목 화소의 주변의 주변 화소의 위치(I’-1, J’), (I’+1, J’), (I’, J’-1) 또는 (I’, J’+1)의 5점 각각에 있어서 통상 처리시에 연산되는 식 (46)의 분자의 총합, 즉 식 (47)의 총합을, 주목 화소의 주목 위치(I’, J’)와 그 주목 화소의 주변의 주변 화소의 위치(I’-1, J’), (I’+1, J’), (I’, J’-1) 또는 (I’, J’+1)의 5점 각각에서의 통상 처리시에 연산되는 식 (46)의 분모의 총합, 즉 식 (48)의 총합으로 나눔으로써, 진정한 녹색 광량(Lg(I’, J’))이 구해진다.

또, 주목 화소가 예외 상태인 경우에, 그 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’))을 구하는데 있어서, 상술의 식 (56)으로 한정되는 것이 아니라, 예를 들면, 다음의 식 (57)을 채용해도 된다.

식 (57)에서는, 주목 화소의 주변의 주변 화소의 위치(I’-1, J’), (I’+1, J’), (I’, J’-1) 또는 (I’, J’+1)의 4점 각각에 대해 식 (46)에서 구해지는 진정한 녹색 광량(Lg(I’-1, J’), Lg(I’+1, J’), Lg(I’, J’-1) 및 Lg(I’, J’+1))의 평균값을 주목 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))으로 추정하고 있는 식이라 말할 수 있다.

다음으로, 식 (50)의 적색 광량의 가중 가산식에 대해 고찰한다.

식 (50)의 적색 광량의 가중 가산식으로 구해지는 진정한 적색 광량(Lr(I’, J’))에 대해서도, 식 (46)의 녹색 광량의 가중 가산식으로 구해지는 진정한 녹색 의 광량(Lg(I’, J’))과 마찬가지로 값이 불안정하게 되는 경우, 즉 주목 화소가 예외 상태가 되는 경우가 있다. 구체적으로는, 어느 주목 화소의 주목 위치(I’, J’)에 대해, 위치(ir-O.5, jr-O.5)를 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 기준 좌표계상으로 변환한 경우에 I’-2≤x＜I’+2, J’-2≤y＜J’+2의 범위에 출현한다. 모든 (k, ir, jr)의 화소값 Robs(k, ir, jr)의 변환 위치(x, y)가, 도 44에 나타낸 바와 같이, 위치(I’, J’)와 x=I’±1 또는 y=J’±1의 관 계가 되는 일이 있다. 이러한 상태(예외 상태)에 있어서는, 위치(I’, J’)를 중심으로 한, 대략 (I’±1, J’±1)내의 영역(위치(I’, J’)를 중심으로 하는 가로×세로가 2×2의 정사각형의 영역)에는 R신호의 데이터(화소값 Robs(k, ir, jr))가 1개도 존재하고 있지 않다.

이 경우, 연산 회로(24)는 다음의 예외 처리를 행한다.

즉, 연산 회로(24)는 예외 상태의 주목 화소의 주목 위치(I’, J’)에서의 진정한 적색 광량(Lr(I’, J’))을 변환 위치(x, y)가 주목 위치(I’, J’)의 근방에 있는 k매째의 촬상 화상의 화소의 화소값 Robs(k, ir, jr) 외에, 변환 위치(x, y)가 주목 화소의 주변의 출력 화상의 화소 위치의 근방에 있는 k매째의 촬상 화상의 화소의 화소값 Robs(k, ir, jr)도 이용하여 구한다. 여기에서, 주목 위치(I’, J’)의 주목 화소의 주변의 주변 화소로서는, 예를 들면, 도 47에 나타낸 바와 같은 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1), (I’+1, J’+1) 각각의 화소를 채용할 수 있다.

주목 위치(I’, J’)의 근방에 R신호의 관측값(인 화소값) Robs(k, ir, jr)가 존재하고 있지 않은 경우, 그 주목 위치(I’, J’)의 주목 화소는 베이어 배열의 화소 중의 적색의 성분을 수광하는 화소가 아니라고 할 수 있다.

예를 들면, 주목 위치(I’, J’)의 주목 화소가, 도 48에 나타낸 바와 같이, 베이어 배열의 화소 중의 녹색의 성분을 수광하는 화소이며, 원으로 둘러싸여 있는 화소(G11)인 경우, 화소(G11)의 상하의 어느 편인가에는 적색의 성분을 수광하는 화소가 존재한다.

또한, 예를 들면, 주목 위치(I’, J’)의 주목 화소가, 도 48에 나타낸 바와 같이, 베이어 배열의 화소 중의 녹색의 성분을 수광하는 화소이며, 원으로 둘러싸여 있는 화소(G22)인 경우, 화소(G22)의 좌우의 어느 편인가에는 적색의 성분을 수광하는 화소가 존재한다.

또한, 예를 들면, 주목 위치(I’, J’)의 주목 화소가, 도 48에 나타낸 바와 같이, 베이어 배열의 화소 중의 청색의 성분을 수광하는 화소이며, 원으로 둘러싸여 있는 화소(B14)인 경우, 화소(B14)의 우측 경사 위, 우측 경사 아래, 좌측 경사 위, 좌측 경사 아래의 어느 편인가에는 적색의 성분을 수광하는 화소가 존재한다.

마찬가지로, 촬상 소자(4)의 적색의 성분을 수광하는 화소가 아닌 각 화소에 대해서는, 그 화소의 상하, 좌우, 우측 경사 위, 우측 경사 아래, 좌측 경사 위 및 좌측 경사 아래의 어느 편인가에는 적색의 성분을 수광하는 화소가 존재한다.

따라서, 주목 위치(I’, J’)의 근방에 R신호의 관측값 Robs(k, ir, jr)가 존재하지 않는 경우(변환 위치(x, y)가 주목 위치(I’, J’)의 근방에 있는 촬상 화상의 적색의 화소가 존재하고 있지 않은 경우), 그 주목 위치(I’, J’)의 주목 화소의 좌측 경사 위, 위, 우측 경사 위, 왼쪽, 오른쪽, 좌측 경사 아래, 아래, 또는 우측 경사 아래에 인접하는 화소(주변 화소)의 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1) 또는 (I’+1, J’+1) 중의 어느 것인가의 근방에는 R신호의 관측값 Robs(k, ir, jr)가 존재한다. 그리고, 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I ’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1) 또는 (I’+1, J’+1) 중의 어느 것인가의 주변 화소에 있어서는 R신호의 관측값 Robs(k, ir, jr)가 존재하므로, 예외 상태가 발생하지 않고 있다. 즉, 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1) 또는 (I’+1, J’+1) 중의 어느 것인가의 주변 화소에 대해서는, 식 (50)에 의해 신뢰성이 있는 진정한 적색 광량(Lr(I’, J’))을 구할 수 있다.

이상으로부터, 연산 회로(24)는 주목 화소가 예외 상태인 경우에는, 주목 위치(I’, J’)에서의 진정한 적색 광량(Lr(I’, J’))을 변환 위치(x, y)가 주목 위치(I’, J’)의 근방에 있는 화소의 화소값 Robs(k, ir, jr) 외에, 주목 화소의 주변의 주변 화소의 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1) 또는 (I’+1, J’+1)의 근방에 있는 화소의 화소값 Robs(k, ir, jr)도 이용하여 구한다.

구체적으로는, 연산 회로(24)는 예외 처리로서 주목 위치(I’, J’)에서의 진정한 적색 광량(Lr(I’, J’))을 다음 식 (58)로 구한다.

식 (58)에 의하면, 주목 화소의 주목 위치(I’, J’)와 그 주목 화소의 주변의 주변 화소의 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1) 또는 (I’+1, J’+1)의 9점 각각에 있어서 통상 처리시에 연산되는 식 (50)의 분자의 총합, 즉 식 (52)의 총합을, 주목 화소의 주목 위치(I’, J’)와 그 주목 화소의 주변의 주변 화소의 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1) 또는 (I’+1, J’+1)의 9점 각각에 있어서 통상 처리시에 연산되는 식 (50)의 분모의 총합, 즉 식 (53)의 총합으로 나눔으로써, 진정한 적색 광량(Lr(I’, J’))이 구해진다.

또, G신호의 경우에서의 식 (57)과 마찬가지로, 식 (58) 대신에 주목 화소의 주변의 주변 화소의 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1) 또는 (I’+1, J’+1)의 8점 각각의 진정한 적색 광량(Lr(I’-1, J’-1), Lr(I’, J’-1), Lr(I’+1, J’-1), Lr(I’-1, J’), Lr(I’+1, J’), Lr(I’-1, J’+1), Lr(I’, J’+1) 또는 Lr(I’+1, J’+1))의 평균값으로부터, 주목 위치(I’, J’)의 진정한 적색 광량(Lr(I’, J’))을 구해도 된다.

또한, 식 (51)의 청색 광량의 가중 가산식으로 구해지는 진정한 청색 광량(Lb(I’, J’))에 대해도, 식 (46)의 녹색 광량의 가중 가산식으로 구해지는 진정한 녹색 광량(Lg(I’, J’))이나 식 (50)의 적색 광량의 가중 가산식으로 구해지는 진정한 적색 광량(Lr(I’, J’))과 마찬가지로, 값이 불안정이 되는 경우, 즉 주목 위치(I’, J’)의 주목 화소가 예외 상태가 되는 경우가 있다.

이 경우, 연산 회로(24)는 다음의 예외 처리를 행한다.

즉, 베이어 배열에서는 청색의 성분을 수광하는 화소는 상술한 적색의 성분을 수광하는 화소와 같은 위치 관계로 배열되어 있다. 따라서, 연산 회로(24)는 예외 상태의 주목 화소의 주목 위치(I’, J’)에서의 진정한 청색 광량(Lb(I’, J’))을 식 (58)과 마찬가지인 식 (59)로 구하는 예외 처리를 행한다.

···(59)

식 (59)에 의하면, 주목 화소의 주목 위치(I’, J’)와 그 주목 화소의 주변 화소의 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1) 또는 (I’+1, J’+1)의 9점 각각에 있어서 통상 처리시에 연산되는 식 (51)의 분자의 총합, 즉 식 (54)의 총합을, 주목 화소의 주목 위치(I’, J’)와 그 주목 화소의 주변 화소의 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1) 또는 (I’+1, J’+1)의 9점 각각에 있어서 통상 처리시에 연산되는 식 (51)의 분모의 총합, 즉 식 (55)의 총합으로 나눔으로써, 진정한 청색 광량(Lb(I’, J’))이 구해진다.

또, G신호의 경우에서의 식 (57)과 마찬가지로, 식 (59) 대신에, 주목 화소의 주변의 주변 화소의 위치(I’-1, J’-1), (I’, J’-1), (I’+1, J’-1), (I’-1, J’), (I’+1, J’), (I’-1, J’+1), (I’, J’+1) 또는 (I’+1, J’+1)의 8점 각각의 진정한 청색 광량(Lb(I’-1, J’-1), Lb(I’, J’-1), Lb(I’+1, J’-1), Lb(I’-1, J’), Lb(I’+1, J’), Lb(I’-1, J’+1), Lb(I’, J’+1) 또는 Lb(I’+1, J’+1))의 평균값으로부터, 주목 위치(I’, J’)의 진정한 청색 광량(Lb(I’, J’))을 구해도 된다.

다음으로, 도 49와 도 50의 플로우차트를 참조하여 도 2의 단계 S4에서의 화상 추정 처리의 제8 실시 형태에 대해 설명한다.

먼저, 단계 S201에 있어서, 연산 회로(24)는 기준 좌표계상의 화소가 어느 위치(I’, J’) 중의 Y방향의 위치를 나타내는 변수(J’)에 1을 세팅하고, 단계 S202로 진행한다.

단계 S202에 있어서, 연산 회로(24)는 기준 좌표계상의 화소가 있는 위치(I’, J’) 중의 X방향의 위치를 나타내는 변수(I’)에 1을 세팅하고, 단계 S203으로 진행한다. 여기에서, 변수 I’와 J’는 각각, 출력 화상의 화소의 X방향과 Y방향의 위치를 나타내는 변수이기도 하다.

단계 S203에 있어서, 연산 회로(24)는 위치(I’, J’)를 주목 위치로 하고, 그 주목 위치(I’, J’)에 대해 k매째 화상의 녹색 성분을 수광하는 화소의 중심 위치(ig-O.5, jg-O.5)를 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 변환한 기준 좌표계상의 변환 위치(x, y)가 I’-2≤x＜I’+2, J’-2≤y＜J’+2를 만족하는 (k, ig, jg)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S204로 진행한다.

단계 S204에 있어서, 연산 회로(24)는 단계 S203에서 구한 모든 (k, ig, jg)의 세트를 이용하여 식 (48)로 나타내지는 녹색 광량의 가중 가산식의 분모와, 식 (47)로 나타내지는 녹색 광량의 가중 가산식의 분자 각각을 연산한다. 또한, 연산 회로(24)는 그 연산의 결과 각각을 미도시의 메모리에 기억시키고, 단계 S205로 진행한다.

단계 S205에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해, k매째 화상의 적색 성분을 수광하는 화소의 중심 위치(ir-O.5, jr-O.5)를 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 변환한 기준 좌표계상의 변환 위치(x, y)가 I’-2≤x＜I’+2, J’-2≤y＜J’+2를 만족하는 (k, ir, jr)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S206으로 진행한다.

단계 S206에 있어서, 연산 회로(24)는 단계 S205에서 구한 모든 (k, ir, jr)의 세트를 이용하여 식 (53)으로 나타내지는 적색 광량의 가중 가산식의 분모와, 식 (52)로 나타내지는 적색 광량의 가중 가산식의 분자, 각각을 연산한다. 또한, 연산 회로(24)는 그 연산의 결과 각각을 메모리에 기억시키고, 단계 S207로 진행한다.

단계 S207에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해, k매째 화상의 청색 성분을 수광하는 화소의 중심 위치(ib-O.5, jb-O.5)를 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 변환한 기준 좌표계상의 변환 위치(x, y)가 I’-2≤x＜I’+2, J’-2≤y＜J’+2를 만족하는 (k, ib, jb)의 세트를 1 내지 N매째 화상에 대해 모두 구하고, 단계 S208로 진행한다.

단계 S208에 있어서, 연산 회로(24)는 단계 S207에서 구한 모든 (k, ib, jb)의 세트를 이용하여 식 (55)로 나타내지는 청색 광량의 가중 가산식의 분모와, 식 (54)로 나타내지는 청색 광량의 가중 가산식의 분자, 각각을 연산한다. 또한, 연산 회로(24)는 그 연산의 결과 각각을 메모리에 기억시키고, 단계 S209로 진행한다.

단계 S209에 있어서, 연산 회로(24)는 변수(I’)가 X방향의 화소수(W)와 동일한지의 여부를 판정한다. 단계 S209에서, 변수(I’)가 화소수(W)와 동일하지 않다고 판정된 경우, 즉 현재의 Y=J’의 화소열 중 X방향의 모든 화소에 대해 단계 S203 내지 S208의 처리가 행해지지 않은 경우, 단계 S210으로 진행하여 변수(I’)를 1만큼 인크리먼트하고, 단계 S203으로 돌아간다.

한편, 단계 S209에서, 변수(I’)가 화소수(W)와 동일하다고 판정된 경우, 즉, 현재의 Y=J’의 화소열 중 X방향의 모든 화소에 대해 단계 S203 내지 S208의 처리가 행해진 경우, 단계 5211로 진행한다.

단계 S211에 있어서, 연산 회로(24)는 변수(J’)가 Y방향의 화소수(H)와 동일한지의 여부를 판정한다. 단계 S211에서 변수(J’)가 화소수(H)와 동일하지 않다고 판정된 경우, 즉 촬상 소자(4)의 Y방향의 모든 열에 대해 단계 S203 내지 S208의 처리가 행해지지 않은 경우, 단계 S212로 진행하여 변수(J’)를 1만큼 인크리먼트하고, 단계 S202로 돌아간다.

한편, 단계 S211에서, 변수(J’)가 화소수(H)와 동일하다고 판정된 경우, 즉 촬상 소자(4)의 Y방향의 모든 열에 대해 단계 S203 내지 S208의 처리가 행해진 경우, 도 50의 단계 S213으로 진행한다. 여기에서, 화소수 W와 H는, 각각, 출력 화상의 X방향과 Y방향의 화소수이기도 하다.

단계 S213에 있어서, 연산 회로(24)는 단계 S201에서의 경우와 마찬가지로 변수(J’)에 1을 세팅하고, 단계 S214로 진행한다.

단계 S214에 있어서, 연산 회로(24)는 단계 S202에서의 경우와 마찬가지로 변수(I’)에 1을 세팅하고, 단계 S215로 진행한다.

단계 S215에 있어서, 연산 회로(24)는 위치(I’, J’)를 주목 위치(I’, J’)로 하여 그 주목 위치(I’, J’)에 대해 진정한 녹색 광량(Lg(I’, J’))을 구하는 연산 처리를 행하고, 단계 S216으로 진행한다. 즉, 단계 S215 에서는, 후술하는 바와 같이, 식 (46)의 녹색 광량의 가중 가산식을 이용한 통상 처리(제1 연산 처리), 또는, 식 (56)을 이용한 예외 처리(제2 연산 처리)에 의해 주목 위치(I’, J’)에 대한 진정한 녹색 광량(Lg(I’, J’))이 구해진다.

단계 S216에 있어서, 연산 회로(24)는 위치(I’, J’)를 주목 위치(I’, J’)로 하여 그 주목 위치(I’, J’)에 대해 진정한 적색 광량(Lr(I’, J’))을 구하는 연산 처리를 실시하고, 단계 S217로 진행한다. 즉, 단계 S216에서는, 후술하는 바와 같이, 식 (50)의 적색 광량의 가중 가산식을 이용한 통상 처리(제1 연산 처리), 또는, 식 (58)을 이용한 예외 처리(제2 연산 처리)에 의해 주목 위치(I’, J’)에 대한 진정한 적색 광량(Lr(I’, J’))이 구해진다.

단계 S217에 있어서, 연산 회로(24)는 위치(I’, J’)를 주목 위치(I’, J’)로 하여 그 주목 위치(I’, J’)에 대해 진정한 청색 광량(Lb(I’, J’))을 구하는 연산 처리를 실시하고, 단계 S218로 진행한다. 즉, 단계 S217에서는, 후술하는 바와 같이, 식 (51)의 청색 광량의 가중 가산식을 이용한 통상 처리(제1 연산 처리), 또는, 식 (59)을 이용한 예외 처리(제2 연산 처리)에 의해 주목 위치(I’, J’)에 대한 진정한 청색 광량(Lg(I’, J’))이 구해진다.

단계 S218에 있어서, 연산 회로(24)는 변수(I’)가 X방향의 화소수(W)와 동일한지 여부를 판정한다. 단계 S218에서, 변수(I’)가 화소수(W)와 동일하지 않다고 판정된 경우, 즉 현재의 Y=J’의 화소열 중 X방향의 모든 화소에 대해 단계 S215 내지 S217의 처리가 행해지지 않은 경우, 단계 S219로 진행하여 변수(I’)를 1만큼 인크리먼트하고, 단계 S215로 돌아간다.

한편, 단계 S218에서, 변수(I’)가 화소수(W)와 동일하다고 판정된 경우, 즉, 현재의 Y=J’의 화소열 중 X방향의 모든 화소에 대해 단계 S215 내지 S217의 처리가 행해진 경우, 단계 S220으로 진행한다.

단계 S220에 있어서, 연산 회로(24)는 변수(J’)가 Y방향의 화소수(H)와 동일한지의 여부를 판정한다. 단계 S220에서, 변수(J’)가 화소수(H)와 동일하지 않다고 판정된 경우, 즉 촬상 소자(4)의 Y방향의 모든 열에 대해 단계 S215 내지 S217의 처리가 행해지지 않은 경우, 단계 S221로 진행하여 변수(J’)를 1만큼 인크리먼트하고, 단계 S214로 돌아간다.

한편, 단계 S220에서, 변수(J’)가 화소수(H)와 동일하다고 판정된 경우, 즉 , 촬상 소자(4)의 Y방향의 모든 열에 대해 단계 S215 내지 S217의 처리가 행해진 경우, 단계 S222로 진행한다.

단계 S222에 있어서, 연산 회로(24)는 단계 S215, S216 및 S217에서 각각 구한 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))으로부터 출력 화상(신호)를 추정하여, D/A 컨버터(9) 또는 코덱(12)에 공급하고, 처리를 돌아온다. 예를 들면, 「i번째, j번째의 화소」에 있어서는, 연산 회로(24)는 녹색의 값(G신호)으로서 단계 S215에서 구한 진정한 녹색 광량 Lg(=Lg(I’, J’))와, 적색의 값(R신호)으로서 단계 S216에서 구한 진정한 적색 광량 Lr(i-0.5, j-O.5)(=Lr(I’, J’))과, 청색의 값(B신호)으로서 단계 S217에서 구한 진정한 청색 광량 Lb(i-O.5, j-O.5)(=Lb(I’, J’))로부터, 「i번째, j번째의 화소」의 화상 신호를 추정한다. 그리고, 연산 회로(24)는 그 추정을 위치(I’, J’)(=(i-0.5, j-O.5))를 중심 위치로 하는 출력 화상의 화소 모두에 대해 행함으로써, 출력 화상을 추정한다.

다음으로, 도 51의 플로우차트를 참조하여, 도 50의 단계 S215에서의 주목 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))을 구하는 연산 처리에 대해 설명한다.

먼저, 단계 S251에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해 도 49의 단계 S204에서 연산된 식 (46)의 녹색의 광량의 가중 가산식의 분모의 절대값, 즉 식 (48)의 절대값이 소정의 임계치 이상인지의 여부를 판정한다. 이 소정의 임계치는 식 (48)의 절대값을 0으로 간주하여 예외 처리를 적용할지의 여부를 판정하기 위한 값으로서, 예를 들면 미리 연산 회로(24)에 설정되어 있다. 단, 소정의 임계치는 그 밖에 사용자의 조작에 따라 설정 가능하게 할 수도 있다.

단계 S251에 있어서, 주목 위치(I’, J’)에 대한 식 (48)의 절대값이 소정의 임계치 이상이라고 판정된 경우, 즉 주목 위치(I’, J’)에 대한 식 (48)의 절대값이 O으로 간주할 정도의 작은 값이 아닌 경우, 단계 S252로 진행하고, 연산 회로(24)는 식 (46)의 녹색 광량의 가중 가산식을 연산하는 통상 처리를 선택하여 행한다. 즉, 연산 회로(24)는 단계 S204에서 연산된 식 (46)의 녹색 광량의 가중 가산식의 분자의 값, 즉 식 (47)의 값을, 단계 S204에서 연산된 식 (46)의 녹색 광량의 가중 가산식의 분모의 값, 즉 식 (48)의 값으로 나누는 연산을 행한다. 이에 따라, 단계 S252에서는 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’))이 구해진다.

한편, 단계 S251에 있어서, 주목 위치(I’, J’)에 대한 식 (48)의 절대값이 소정의 임계치 미만이라고 판정된 경우, 즉 식 (48)의 절대값이 0, 또는 0에 가까운 경우, 단계 S253으로 진행하고, 연산 회로(24)는 예외 처리를 선택하여 행한다. 즉, 연산 회로(24)는 식 (56)을 연산함으로써, 주목 위치(I’, J’)에서의 진정한 녹색 광량(Lg(I’, J’))을 구한다.

다음으로, 도 52의 플로우차트를 참조하여 도 50의 단계 S216에서의 주목 위치(I’, J’)의 진정한 적색 광량(Lr(I’, J’))을 구하는 연산 처리에 대해 설명한다.

먼저, 단계 S271에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해, 도 49의 단계 S206에서 연산된 식 (50)의 적색 광량의 가중 가산식의 분모의 절대값, 즉 식 (53)의 절대값이 소정의 임계치 이상인지의 여부를 판정한다. 이 소정의 임계치는 식 (53)의 절대값을 O으로 간주하여 예외 처리를 적용할지의 여부를 판정하기 위한 값으로서, 예를 들면 미리 연산 회로(24)에 설정되어 있다. 단, 소정의 임계치는 그 밖에 사용자의 조작에 따라 설정 가능하게 할 수도 있다. 또한, 이 임계치는 도 51의 단계 S251의 임계치와 동일해도 되고, 다른 것이라도 된다.

단계 S271에 있어서, 주목 위치(I’, J’)에 대한 식 (53)의 절대값이 소정의 임계치 이상이라고 판정된 경우, 즉 주목 위치(I’, J’)에 대한 식 (53)의 절대값이 O으로 간주할 정도의 작은 값이 아닌 경우, 단계 S272로 진행하고, 연산 회로(24)는 식 (50)의 적색 광량의 가중 가산식을 연산하는 통상 처리를 선택하여 행한다. 즉, 연산 회로(24)는 단계 S206에서 연산된, 식 (50)의 적색 광량의 가중 가산식의 분자의 값, 즉 식 (52)의 값을 단계 S206에서 연산된 식 (50)의 적색 광량의 가중 가산식의 분모의 값, 즉 식 (53)의 값으로 나누는 연산을 행한다. 이에 따라, 단계 S272에서는 주목 위치(I’, J’)에서의 진정한 적색 광량(Lr(I’, J’))이 구해진다.

한편, 단계 S271에 있어서, 주목 위치(I’, J’)에 대한 식 (53)의 절대값이 소정의 임계치 미만이라고 판정된 경우, 즉 식 (53)의 절대값이 O, 또는 O에 가까운 경우, 단계 S273으로 진행하고, 연산 회로(24)는 예외 처리를 선택하여 행한다. 즉, 연산 회로(24)는 식 (58)을 연산함으로써, 주목 위치(I’, J’)에서의 진정한 적색 광량(Lr(I’, J’))을 구한다.

다음으로, 도 53의 플로우차트를 참조하여 도 50의 단계 S217에서의 주목 위치(I’, J’)의 진정한 청색 광량(Lb(I’, J’))을 구하는 연산 처리에 대해 설명한다.

먼저, 단계 S291에 있어서, 연산 회로(24)는 주목 위치(I’, J’)에 대해, 도 49의 단계 S208에서 연산된, 식 (51)의 청색 광량의 가중 가산식의 분모의 절대값, 즉 식 (55)의 절대값이 소정의 임계치 이상인지의 여부를 판정한다. 이 소정의 임계치는 식 (55)의 절대값을 O으로 간주하여 예외 처리를 적용할지 여부를 판정하기 위한 값으로서, 예를 들면 미리 연산 회로(24)에 설정되어 있다. 단, 소정의 임계치는 그 외에 사용자의 조작에 따라 설정 가능하게 할 수도 있다. 또한, 이 임계치는 도 51의 단계 S251 및 도 52의 단계 S271의 임계치 각각과 동일하여도 되고, 다른 것이라도 된다.

단계 S291에 있어서, 주목 위치(I’, J’)에 대한 식 (55)의 절대값이 소정의 임계치 이상이라고 판정된 경우, 즉 주목 위치(I’, J’)에 대한 식 (55)의 절대값이 O으로 간주할 정도의 작은 값이 아닌 경우, 단계 S292로 진행하고, 연산 회로(24)는 식 (51)의 청색 광량의 가중 가산식을 연산하는 통상 처리를 선택하여 행한다. 즉, 연산 회로(24)는 단계 S208에서 연산된 식 (51)의 청색 광량의 가중 가산식의 분자의 값, 즉 식 (54)의 값을 단계 S208에서 연산된 식 (51)의 청색 광량의 가중 가산식의 분모의 값, 즉 식 (55)의 값으로 나누는 연산을 행한다. 이에 따라, 단계 S292에서는 주목 위치(I’, J’)에서의 진정한 청색 광량(Lb(I’, J’))이 구해진다.

한편, 단계 S291에 있어서, 주목 위치(I’, J’)에 대한 식 (55)의 절대값이 소정의 임계치 미만이라고 판정된 경우, 즉 식 (55)의 절대값이 O, 또는 0에 가까운 경우, 단계 S293으로 진행하고, 연산 회로(24)는 예외 처리를 선택하여 행한다. 즉, 연산 회로(24)는 식 (59)를 연산함으로써, 주목 위치(I’, J’)에서의 진정한 청색 광량(Lb(I’, J’))을 구한다.

이상과 같이, 제8 실시 형태에서는 주목 위치(I’, J’)와 주목 위치(I’, J’)의 근방에 있는 변환 위치(x, y)의 거리에 따른 가중으로 로우패스 필터의 특성을 갖는 큐빅 함수를 이용하여 가중 가산을 행함으로써, 진정한 녹색 광량(Lg(I’, J’)), 진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량(Lb(I’, J’))을 구하도록 하였으므로, 보다 진정한 광에 충실하고 선명한 화상을 구할 수 있다.

또한, 제8 실시 형태에서는 위치(ig-0.5, jg-O.5)를 변환 파라미터(ak’, bk’, ck’, dk’, Tkx’, Tky’)로 기준 좌표계상에 변환한 경우에, 주목 위치(I’, J’)에 대해 I’-2≤x＜I’+2, J’-2≤y＜J’+2의 범위에 출현하는 모든 (k, ig, jg)의 화소값 Gobs(k, ig, jg), 즉 변환 위치(x, y)가 주목 위치(I’, J’)의 근방에 있는 화소값 Gobs(k, ig, jg)를 이용한 가중 가산이다. 식 (46)의 녹색 광량의 가중 가산식에서 진정한 녹색 광량(Lg(I’, J’))이 구해진다(통상 처리).

단, 주목 위치(I’, J’)의 식 (46)의 녹색 광량의 가중 가산식의 분모의 식 (48)의 절대값이 소정의 임계치 미만으로 O으로 간주되는 경우, 즉 식 (46)의 녹색 광량의 가중 가산식에 의해 구해지는 값이 불안정한 경우에는, 변환 위치(x, y)가 주목 위치(I’, J’)의 근방에 있는 화소값 Gobs(k, ig, jg)와 주목 위치(I’, J ’)의 주목 화소의 주변의 주변 화소 위치의 근방에 있는 화소값 Gobs(k, ig, jg)를 이용한 가중 가산인 식 (56)에 의해, 진정한 녹색 광량(Lg(I’, J’))이 구해진다(예외 처리).

진정한 적색 광량(Lr(I’, J’)) 및 진정한 청색 광량 Lb(I’, J’)도 이와 마찬가지로 하여 구할 수 있다.

따라서, 노이즈가 눈에 띄지 않는 양호한 출력 화상을 얻을 수 있다.

또, 통상 처리와 예외 처리란 다음과 같은 관점을 갖을 수도 있다.

즉, 예를 들어 녹색에 주목하면, 상술의 경우에 있어서는, 통상 처리에서는 변환 위치(x, y)가 주목 화소의 위치(주목 위치)(I’, J’)의 근방에 있는 촬상 화상의 화소의 화소값 Gobs(k, ig, jg)를 이용한 가중 가산을 행한다. 한편, 예외 처리에서는 변환 위치(x, y)가 주목 화소의 위치(I’, J’)의 근방에 있는 촬상 화상의 화소의 화소값 Gobs(k, ig, jg)와 변환 위치(x, y)가 주목 화소의 주변의 주변 화소 위치의 근방에 있는 촬상 화상의 화소의 화소값 Gobs(k, ig, jg)를 이용한 가중 가산을 행한다.

따라서, 예외 처리에서는 변환 위치(x, y)가 주목 화소의 위치(I’, J’)의 근방에 있는 촬상 화상의 화소 외에, 주변 화소 위치의 근방에 있는 촬상 화상의 화소의 화소값 Gobs(k, ig, jg)도 이용하여 가중 가산이 행해진다.

이상으로부터, 통상 처리가 주목 위치(I’, J’)의 근방으로서 I’-2≤x＜I’+2, J’-2≤y＜J’+2의 영역내에 관측되는 촬상 화상의 화소값 Gobs(k, ig, jg)를 이용한 가중 가산에 의해 주목 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J ’))을 구하는데 비해, 예외 처리는 주목 위치(I’, J’)의 근방으로서 통상 처리의 근방의 영역보다 넓은 I’-3≤x＜I’+3, J’-3≤y＜J’+3의 영역내에 관측되는 화소값 Gobs(k, ig, jg)를 이용한 가중 가산에 의해 주목 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))을 구하고 있다고 할 수 있다.

또한, 환언하면, 주목 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))을 구할 때에, 주목 위치(I’, J’)의 근방으로서, 미리, I’-3≤x＜I’+3, J’-3≤y＜J’+3의 영역이 설정되어 있어, 통상 처리에서는 그 근방의 영역 중의 I’-2≤x＜I’+2, J’-2≤y＜J’+2 이외의 영역에 관측되는 화소값 Gobs(k, ig, jg)에 대한 가중이 0이 되는 식 (46)의 녹색 광량의 가중 가산식에 의해 주목 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))이 구해지고 있다고 할 수 있다. 한편, 예외 처리에서는 I’-2≤x＜I’+2, J’-2≤y＜J’+2 이외의 영역에 관측되는 화소값 Gobs(k, ig, jg), 즉 주변 화소의 근방에 관측되는 화소값 Gobs(k, ig, jg)에 대한 가중으로서, 일정한 O의 가중이 아니라 그 주변 화소의 위치를 원점으로 하는 큐빅 함수(Cubic(z))에 의해 주어지는 값을 이용하여, 식 (56)에 의해 주목 위치(I’, J’)의 진정한 녹색 광량(Lg(I’, J’))이 구해지고 있다고 할 수 있다.

즉, 통상 처리와 예외 처리에서는, 다른 가중(제1과 제2 가중)을 이용한 가중 가산에 의해 진정한 녹색 광량(Lg(I’, J’))이 구해진다고 할 수 있다.

또, 제8 실시 형태에서는, 주목 위치(I’, J’)와 그 근방에 있는 화소값 Gobs(k, ig, jg)가 관측되는 위치(x, y)의 거리(z)에 따른 가중을 나타내는 함수로서, 식 (39)의 큐빅 함수(Cubic(z))를 채용하였지만, 가중으로서는 그 외에, 예를 들면 sin(z)/z 등의 로우패스 필터의 특성을 갖는 임의의 함수를 채용할 수 있다.

그런데, 전술한 실시의 형태에서는, 1매째의 촬상 화상을 기준 화상으로 하면서 2 내지 N매째의 촬상 화상 각각을 타겟 화상으로 하는 것으로 하였지만, 1매째의 촬상 화상 이외의 2 내지 N매째의 촬상 화상의 어느 것인가를 기준 화상으로 하여도 된다.

즉, 도 54는 N회의 연속 촬상(고속 촬상)에 의해 촬상된 N매의 촬상 화상을 나타내고 있다. 또, 도 54는 N=8인 예이다.

1 내지 8매째의 촬상 화상(401₁ 내지 401₈)(k매째 화상(401_k))은 시계열로 촬상된 화상이며, 시간의 경과와 함께 도면중의 우상 방향으로 손떨림에 의해 이동한 화상이 되어 있다.

도 55는 도 54와 마찬가지의 8매의 촬상 화상(401₁ 내지 401₈)을 나타내고 있다.

신호 처리 회로(7)에 있어서, 촬상 화상(401₁ 내지 401₈) 중의 1매째 화상을 기준 화상으로 하면서, 2 내지 8 매째 화상 각각을 타겟 화상으로서 출력 화상을 추정하는 경우, 출력 화상은 기준 화상인 1매째 화상(401₁)의 좌표계상의 화상으로서 얻을 수 있다. 여기에서, 도 55에서는 1매째 화상(401₁), 즉 출력 화상을 굵은 선으로 나타내고 있다.

도 55의 굵은 선으로 표시한 출력 화상의 영역에 있어서, 1 내지 8 매째의 8 매의 촬상 화상(401₁ 내지 401₈)의 모든 데이터(화소값)를 사용하여 광량(화소값)이 추정되는 영역은 점선으로 표시되는 출력 화상의 우상 부분의 영역(411)이다. 이 영역(411)의 화소값은 1 내지 8 매째의 8매 모든 촬상 화상(401₁ 내지 401₈)의 데이터를 사용하여 추정되므로, 보다 선명한 화질이 된다.

그러나, 출력 화상의 추정에 있어서, 도 55의 굵은 선으로 표시되는 출력 화상의 영역 중의 영역(411) 이외에서는, 1 내지 8 매째의 촬상 화상(401₁ 내지 401₈) 중의 일부 매수째의 촬상 화상의 데이터밖에 사용할 수 없기 때문에, 즉, 1 내지 8매째의 촬상 화상(401₁ 내지 401₈)의 모든 데이터를 사용할 수 없기 때문에, 그 만큼 영역(411)과 비교하여 화질의 선명함이 열화하게 된다. 상기한 바와 같이, 우상 방향의 손떨림이 생기고 있는 경우에는, 그 반대인 좌하 방향의 영역일수록 출력 화상을 추정하는데 이용할 수 있는 데이터가 적게 되어, 화질의 선명함이 영역(411)과 비교하여 열화한다.

또한, 타겟 화상인 2 내지 8 매째의 촬상 화상(401₂ 내지 401₈) 중의, 도 55의 굵은 선으로 표시한 출력 화상의 영역상에 없는 부분(412)의 데이터는 출력 화상의 추정에 사용하지 못하고, 말하자면 쓸모없이 버려지게 된다.

이상과 같이, 1매째의 촬상 화상을 기준으로서 출력 화상을 추정하면, 어느 방향의 손떨림이 생기고 있는 경우에는, 출력 화상의 중심으로부터 손떨림과 동일한 방향의 영역(예를 들면, 도 55의 영역 411)에서는 선명한 화질을 얻을 수 있지 만, 그 반대 방향의 영역에서는 화질의 선명함이 열화한다.

그런데, 일반적으로, 사용자가 화상을 볼 때는 그 중심 부분에 주목하는 일이 많기 때문에, 특히, 화상의 중심 부분의 화질은 선명한 것이 바람직하다.

따라서, 신호 처리 회로(7)에서는 N매의 화상이 연속 촬영된 시간의 중간 시각(N이 짝수인 경우에는, N매의 화상이 연속 촬영된 시간의 중간 시각의 바로 근방의 시각도 중간 시각에 포함됨. 예를 들어, 8매의 화상이 연속 촬영된 경우, 중간 시각은 4매째 또는 5매째 화상이 촬영된 시각도 포함함)에 촬상된 촬상 화상(이하, 중간 화상이라 한다)을 기준 화상으로 하면서, 다른 촬상 화상을 타겟 화상으로서 출력 화상을 추정할 수 있다.

예를 들면, 도 56에 나타낸 바와 같이, 신호 처리 회로(7)는 8매의 촬상 화상(401₁ 내지 401₈) 중의 굵은 선으로 표시되는 4매째의 촬상 화상을 기준 화상으로서 출력 화상을 추정한다. 이 경우, 출력 화상의 추정에 있어서 그 중심 부분의 영역(421)에 있어서 1 내지 8매째의 8매의 촬상 화상(401₁ 내지 401₈)의 모든 데이터가 사용된다.

즉, 시계열의 복수매의 촬상 화상 중의 중간 화상을 기준 화상으로 하면서 다른 촬상 화상을 타겟 화상으로서 출력 화상을 추정함으로써, 출력 화상의 중심 부분을 보다 선명한 화질로 할 수 있다.

통상의 촬영(촬상)에서는, 촬영자는 목적의 피사체가 화상(화틀)의 중심에 위치하도록 촬영을 행한다. 또한, 상기한 바와 같이, 사람이 화상을 보는 경우에는 화상의 중앙부를 시점으로 하여 그 화상을 보는 것이 일반적이다. 그러한 의미에서는, 화상의 중심 부분이 화상의 주변부보다 보다 선명한 화질이 되어 있는 편이 양호한 화상이라고 할 수 있다.

따라서, 도 56에 나타낸 바와 같이, 중간 화상을 기준 화상으로 하면서 다른 촬상 화상을 타겟 화상으로 함으로써, 출력 화상의 중심 부분이 1 내지 8매째의 8매의 촬상 화상(401₁ 내지 401₈)의 모든 데이터를 사용하여 추정되므로, 1매째의 촬상 화상을 기준 화상으로 하는 것보다도 중간 화상을 기준 화상으로 하는 편이 양호한 출력 화상을 얻을 수 있다.

또, 손떨림의 주파수는, 예를 들면 10 내지 15Hz 정도이다. 따라서, 도 56에 나타낸 8매의 촬상 화상(401₁ 내지 401₈)을, 예를 들면, 1/50초 이내에서 촬상하는 것 같은 셔터 스피드에서는 손떨림에 의한 흐려짐량(손떨림량)은 직선 근사할 수 있다. 즉, 손떨림은 일정 방향으로의 일정한 속도에서의 이동이라고 간주할 수 있다. 따라서, 시계열에 8매의 촬상 화상(401₁ 내지 401₈)을 촬상하는 경우에는, 그 촬상 시간에서의 손떨림량을 직선 근사할 수가 있어, 중간 화상, 즉 4매째의 촬상 화상(401₄)이나, 5매째의 촬상 화상(401₅)을 기준 화상으로 함으로써, 도 56에서 설명한 바와 같이, 출력 화상의 중심 부분의 화질을 선명하게 할 수 있다.

또한, 도 4에서 나타낸 신호 처리 회로(7)에 있어서 8매의 촬상 화상(401₁ 내지 401₈) 중의, 예를 들면, 4매째의 촬상 화상(401₄)을 기준 화상으로 하는 경우에는, 프레임 메모리(22-1)에 기준 화상으로 하는 4매째의 촬상 화상(401₄)을 공급하여 기억시키고, 1 내지 3매째의 401₁ 내지 401₃ 및 5 내지 8매째의 촬상 화상 401₅ 내지 401₈을, 각각, 프레임 메모리(22-2 내지 22-8)에 공급하여 기억시키도록 하면 된다.

여기에서, 중간 화상을 기준 화상으로 함으로써, 중심 부분이 선명한 출력 화상을 얻을 수 있는 외에, 신호 처리 회로(7)의 설계의 용이화를 도모할 수 있다.

즉, 손떨림량이, 상기한 바와 같이, 직선 근사할 수 있다고 하고, 시계열에 8매의 촬상 화상(401₁ 내지 401₈)을 촬상한 경우에, 예를 들면, 서로 이웃하는 촬상 화상간에서의 손떨림량이 10화소라고 한다. 이 경우, 1매째의 촬상 화상을 기준 화상으로 해 버리면, 1매의 화상의 촬상이 무한소의 시간으로 행해질 수 있다고 하여도, 최대로 70화소의 손떨림이 생기게 된다. 따라서, 신호 처리 회로(7)는 최대로 70화소의 손떨림에 대응할 수가 있도록 설계할 필요가 있다.

이에 비해, 중간 화상을 기준 화상으로 하는 경우, 즉 촬상 화상(401₁ 내지 401₈) 중의, 예를 들면 4매째의 촬상 화상(401₄)을 기준 화상으로 하는 경우, 최대의 손떨림량은 40화소가 된다. 따라서, 신호 처리 회로(7)는 최대로 40화소의 손떨림에 대응할 수 있도록 설계하면 되기 때문에, 신호 처리 회로(7)로서의 하드웨어의 설계의 용이화를 도모할 수 있다.

제8 실시 형태에서 설명한 일련의 처리는 그 외의 실시 형태와 마찬가지로, 전용의 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 제8 실시 형태에서 설명한 일련의 처리를 소프트웨어에 의해 실행시킬 경우, 다른 실시의 형태와 마찬가지로, 예를 들면, 디지털 카메라(1)는 도 41에서 도시한 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다.

또, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.

전술한 예에서는, 디지털 카메라(1)의 촬상 소자(4)를 단판 센서로 구성하고, 촬상 소자(4)가 출력하는 1화소당 1개의 색신호로부터 1화소당 3개의 색신호를 갖는 화상을 추정하도록 하였지만, 촬상 소자(4)는 단판 센서가 아니라도 된다. 즉, 촬상 소자(4)로써는, 1화소당 소정의 n개의 색신호를 출력하는 것을 채용하고, 화상 추정 처리에서는 1화소당 n개의 색신호로부터 1화소당 (n+1)개 이상의 색신호를 갖는 화상을 추정하도록 할 수 있다.

또한, 전술한 예에서는, 1매째의 촬상 화상 또는 중간 화상을 기준 화상으로서 타겟 화상의 기준 화상에 대한 위치 관계를 검출하였지만, 1매째의 촬상 화상 및 중간 화상 이외의 임의의 촬상 화상을 기준 화상으로서 타겟 화상의 기준 화상에 대한 위치 관계를 검출하도록 하는 것도 가능하다.

또한, 본 발명은, 상기한 바와 같이, 디지털 카메라에 채용할 수 있는 외에, 디지털 비디오 카메라 등에도 채용할 수 있다.

본 발명에 따르면, 보다 선명한 화상을 얻을 수 있다

Claims (24)

1. 복수의 입력 화상으로부터 출력 화상을 추정하는 화상 처리 방법에 있어서,

   1화소당 소정의 n개의 화소값을 갖는 화상을 촬상하는 촬상 수단이 촬상한 상기 복수의 입력 화상끼리의 위치 관계를 검출하는 검출 단계와,

   상기 검출 단계의 처리에 의해 검출된 상기 위치 관계에 기초하여, 상기 출력 화상의 화소 위치마다 상기 복수의 입력 화상으로부터 고려할 관측 화소 성분을 특정하고, 그 특정된 관측 화소 성분에 기초하여, 1화소당 (n+1)개 이상의 화소값을 갖는 상기 출력 화상을 추정하는 화상 추정 단계를 포함하는 것을 특징으로 하는 화상 처리 방법.
2. 제1항에 있어서,

   상기 화상 추정 단계는, 상기 검출 단계의 처리에 의해 검출된 상기 위치 관계에 기초하여, 상기 출력 화상의 화소 위치마다 상기 복수의 입력 화상으로부터 고려할 관측 화소값을 선택하고, 그 선택된 관측 화소값에 기초하여, 1화소당 (n+1)개 이상의 화소값을 갖는 상기 출력 화상을 추정하는 것을 특징으로 하는 화상 처리 방법.
3. 제1항에 있어서,

   상기 화상 추정 단계는, 상기 검출 단계의 처리에 의해 검출된 상기 위치 관 계에 기초하여, 상기 복수의 입력 화상으로부터, 1화소당 (n+1)개 이상의 색신호를 갖는 상기 출력 화상을 추정하는 것을 특징으로 하는 화상 처리 방법.
4. 제1항에 있어서,

   상기 화상 추정 단계에서는 출력 화상의 각 화소 위치 및 그 주변에서의 색 상관 중 적어도 하나를 고려하여 상기 출력 화상이 추정되는 것을 특징으로 하는 화상 처리 방법.
5. 제1항에 있어서,

   상기 화상 추정 단계에서는 상기 입력 화상의 화소의 화소값이 에지의 기울기에 따른 화소값으로 변경되고, 변경 후의 화소값에 기초하여 상기 출력 화상이 추정되는 것을 특징으로 하는 화상 처리 방법.
6. 제1항에 있어서,

   상기 n은 1이며,

   상기 화상 추정 단계는, 상기 검출 단계의 처리에 의해 검출된 상기 위치 관계에 기초하여, 상기 복수의 입력 화상으로부터 1화소당 3개의 화소값을 갖는 상기 출력 화상을 추정하는 것을 특징으로 하는 화상 처리 방법.
7. 제1항에 있어서,

   상기 촬상 수단은, 단판 센서이며, 관측되는 색신호가 상기 입력 화상의 위치에 부합하여 변하는 것을 특징으로 하는 화상 처리 방법.
8. 제1항에 있어서,

   상기 촬상 수단은, 상기 복수의 입력 화상을 노출 부족(underexposure)으로 촬상하고,

   상기 복수의 입력 화상 각각의 화소값의 게인업을 행하는 노출 보정 단계를 더 포함하는 것을 특징으로 하는 화상 처리 방법.
9. 삭제
10. 삭제
11. 삭제
12. 제1항에 있어서,

    상기 화상 추정 단계는,

    상기 복수의 입력 화상 각각의 각 화소에 대해, 상기 검출 단계의 처리에 의해 검출된 위치 관계에 부합한 상기 각 화소의 보정 위치를 구하고,

    상기 보정 위치가 상기 출력 화상의 각 화소 위치의 근방에 있는 상기 입력 화상의 화소의 화소값과, 그 보정 위치와 그 출력 화상 화소의 위치와의 거리를 고려하여, 상기 출력 화상을 추정하는 것을 특징으로 하는 화상 처리 방법.
13. 제1항에 있어서,

    상기 화상 추정 단계는,

    상기 복수의 입력 화상 각각의 각 화소에 대해, 상기 검출 단계의 처리에 의해 검출된 위치 관계에 따른 상기 각 화소의 보정 위치를 구하고,

    상기 보정 위치가 상기 출력 화상의 각 화소 위치의 근방에 있는 상기 입력 화상의 화소의 화소값에 기초하여, 스프링 모델에 의해, 상기 출력 화상을 추정하는 것을 특징으로 하는 화상 처리 방법.
14. 제1항에 있어서,

    상기 화상 추정 단계는,

    상기 복수의 입력 화상 각각의 각 화소에 대해, 상기 검출 단계의 처리에 의해 검출된 위치 관계에 부합한 상기 각 화소의 보정 위치를 구하고,

    상기 보정 위치가 상기 출력 화상의 각 화소 위치의 근방에 있는 상기 입력 화상의 화소의 화소값을 이용한 가중치 부여 가산을 행함으로써, 상기 출력 화상을 추정하는 것을 특징으로 하는 화상 처리 방법.
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 제1항에 있어서,

    상기 검출 단계는,

    상기 복수의 입력 화상이 촬상된 시간의 중간의 시각에 촬상된 입력 화상을 기준으로 하여, 상기 복수의 입력 화상끼리의 위치 관계를 검출하는 것을 특징으로 하는 화상 처리 방법.
23. 복수의 입력 화상으로부터 출력 화상을 추정하는 화상 처리 장치에 있어서,

    1화소당 소정의 n개의 화소값을 갖는 상기 복수의 입력 화상을 촬상하는 촬상 수단과,

    상기 복수의 입력 화상끼리의 위치 관계를 검출하는 검출 수단과,

    상기 검출 수단에 의해 검출된 상기 위치 관계에 기초하여, 상기 출력 화상의 화소 위치마다 상기 복수의 입력 화상으로부터 고려할 관측 화소 성분을 특정하고, 그 특정된 관측 화소 성분에 기초하여, 1화소당 (n+1)개 이상의 화소값을 갖는 상기 출력 화상을 추정하는 화상 추정 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.
24. 복수의 입력 화상으로부터 출력 화상을 추정하는 화상 처리의 프로그램이 기록된 컴퓨터 판독가능한 기록 매체에 있어서,

    1화소당 소정의 n개의 화소값을 갖는 화상을 촬상하는 촬상 수단이 촬상한 상기 복수의 입력 화상끼리의 위치 관계를 검출하는 검출 단계와,

    상기 검출 단계의 처리에 의해 검출된 상기 위치 관계에 기초하여, 상기 출력 화상의 화소 위치마다 상기 복수의 입력 화상으로부터 고려할 관측 화소 성분을 특정하고, 그 특정된 관측 화소 성분에 기초하여, 1화소당 (n+1)개 이상의 화소값을 갖는 상기 출력 화상을 추정하는 화상 추정 단계를 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.

Images