KR101449805B1

KR101449805B1 - 화상 처리를 실행하는 화상 처리 장치

Info

Publication number: KR101449805B1
Application number: KR1020120103702A
Authority: KR
Inventors: 히로시 스즈키; 모토유키 가시와기
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2011-09-20
Filing date: 2012-09-19
Publication date: 2014-10-13
Also published as: KR20130031220A; JP2013070117A; CN103024302A; US20130070128A1; JP5682523B2; CN103024302B; US8922681B2

Abstract

디지털카메라(1)는 복수의 화소를 포함하여 구성되는 촬상 소자를 갖고, 복수의 화소의 각각의 화소값을 화상 데이터로서 생성하는 촬상부(16)와, 촬상부(16)에 의해 생성된 화상 데이터에 있어서, 복수의 화소에 있어서의 결함 화소의 위치를 특정하는 위치 특정부(53)와, 위치 특정부(53)에 의해 특정된 위치에 의거하여, 화상 데이터에 있어서 결함 화소에 의해 화상 노이즈가 발생하는 영역을 특정하는 영역 특정부(54)와, 영역 특정부(54)에 의해 특정된 화상 데이터의 영역에 포함되는 복수의 화소의 화소값을, 해당 영역의 주위에 위치하는 복수의 화소의 화소값에 의거하여 보정하는 보정부(55)를 구비한다.

Description

화상 처리를 실행하는 화상 처리 장치{IMAGE PROCESSING DEVICE THAT PERFORMS IMAGE PROCESSING}

본 발명은 화상 처리 장치, 화상 처리 방법 및 기록 매체에 관한 것이다.

디지털카메라나 촬상 기능을 갖는 휴대전화 등에 있어서는 CMOS(Complementary　Metal　Oxide　Semiconductor)나 CCD(Charge　Coupled　Device)형의 촬상 소자에 의해, 렌즈로부터 입사된 광을 전기 신호로 변환하고, 해당 전기 신호를 화상 데이터로서 출력한다.

상술한 촬상 소자는 입사광을 광전 변환하여 전하를 축적하고, 축적된 전하의 양에 의거하여 휘도를 정하는 복수의 화소를 갖고 있다. 이들 복수의 화소에서는 입사광에 따른 양 이상으로 전하가 축적되는 백색 결함이 발생할 가능성이 있다.

특허문헌 1에는 CCD를 이용한 촬상 소자에 있어서 백색 결함이 발생하고 있는 화소를 미리 특정해 두고, 촬상시에, 해당 화소에 대응하는 화소값(화상 신호)을 전후의 화소에 대응하는 화소값(화상 신호)에 의거하여 보정하는 방법이 개시되어 있다.

특허문헌 1: 일본국 특허공개공보 제2000-101925호

그런데, CMOS형의 촬상 소자는 백색 결함이 발생한 화소의 주위의 영역에 배치된 화소에 대해, 백색 결함이 확대되는 블루밍이 발생할 가능성이 있다.

도 6의 (a)∼(f)는 블루밍을 설명하는 도면이다. 도 6의 (a)∼(f)에 있어서, 1개의 정방형의 박스는 1개의 화소를 나타내고 있다. 각 화소의 색은 전하의 양을 나타내고 있으며, 백색에 근접하는 화소일수록 전하가 축적되어 있는 것을 의미하고 있다.

우선, 도 6의 (a)에 있어서, 1개의 화소(동일 도면의 중앙의 화소)에 백색 결함이 발생한다. 발생 당시에는 필요 이상으로 축적되는 전하의 양도 적어 백색 결함의 정도가 낮다. 그러나, 온도·습도 등의 환경 변화나 경년 변화에 따라, 필요 이상으로 축적되는 전하의 양이 증가하여 허용값으로 되면(도 6의 (b)), 인접하는 화소에 전하가 누출되어, 인접하는 화소도 필요 이상으로 전하가 축적된다(도 6의 (c)). 그 후, 이와 같이 필요 이상으로 전하가 축적된 화소로부터 인접하는 화소에 대해 전하가 누출되는 것이 연쇄적으로 발생하며, 백색 결함이 증가해 버린다(도 6의 (d)∼(f)).

블루밍에 의해 발생한 백색 결함을 보정하기 위해서는 예를 들면, 디지털카메라 등은 연속해서 2회의 촬상 동작을 반복한다. 즉, 디지털카메라 등은 1회째의 촬상 동작에 있어서는 통상의 피사체를 촬상하고, 2회째의 촬상 동작에서는 차광한 상태에서 촬상한다. 디지털카메라 등은 이러한 2회째의 촬상 동작의 결과에 있어서 전하가 축적된 화소를 백색 결함이 발생한 화소로 특정한다. 그리고, 디지털카메라 등은 1회째의 촬상 동작에서 촬상된 화상 데이터 중, 이와 같이 해서 특정된 화소의 화소값(화상 신호)의 보정을 실행한다. 그러나, 특허문헌 1에 개시되어 있는 방법은 백색 결함이 발생하고 있는 화소의 화소값을, 전후의 화소의 화소값에 의거하여 보정하기 때문에, 보정 결과가 부자연스럽게 되어 버릴 우려가 있다.

또, 백색 결함이 발생한 화소를 특정하는 정밀도를 높이기 위해, 2회의 촬상 동작을 반복하는 등 해서 촬상시에 백색 결함이 발생한 화소로 특정하고자 하면, 촬상 전체의 시간이 소요되어 버릴 우려가 있다.

이 때문에, 정밀도 좋고 또한 효율적으로 화상 데이터의 화소값(화상 신호)을 보정할 수 있는 화상 처리 장치 및 화상 처리 방법이 요망되고 있다.

본 발명의 하나의 양태는 화상 처리를 실행하는 화상 처리 장치로서, 복수의 화소를 포함하여 구성되는 촬상 소자를 갖고, 상기 복수의 화소의 각각의 화소값을 화상 데이터로서 생성하는 촬상부와, 상기 촬상부에 의해 생성된 화상 데이터에 있어서, 상기 복수의 화소에 있어서의 결함 화소의 위치를 특정하는 위치 특정부와, 상기 위치 특정부에 의해 특정된 위치에 의거하여, 상기 화상 데이터에 있어서 상기 결함 화소에 의해 화상 노이즈가 발생하는 영역을 특정하는 영역 특정부와, 상기 영역 특정부에 의해 특정된 상기 화상 데이터의 영역에 포함되는 복수의 화소의 각각의 화소값에 대해, 해당 영역의 주위에 위치하는 복수의 화소의 화소값의 가중 평균에 의거하여 보정하는 보정부를 구비한 것을 특징으로 한다.

또, 본 발명의 다른 양태는 복수의 화소를 포함하여 구성되는 촬상 소자를 갖는 화상 처리 장치가 실행하는 화상 처리 방법으로서, 상기 복수의 화소의 각각의 화소값을 화상 데이터로서 생성하는 촬상 스텝과, 상기 촬상 스텝에서 생성된 화상 데이터에 있어서, 상기 복수의 화소에 있어서의 결함 화소의 위치를 특정하는 위치 특정 스텝과, 상기 위치 특정 스텝에서 특정된 위치에 의거하여, 상기 화상 데이터에 있어서 상기 결함 화소에 의해 화상 노이즈가 발생하는 영역을 특정하는 영역 특정 스텝과, 상기 영역 특정 스텝에서 특정된 상기 화상 데이터의 영역에 포함되는 복수의 화소의 각각의 화소값에 대해, 해당 영역의 주위에 위치하는 복수의 화소의 화소값의 가중 평균에 의거하여 보정하는 보정 스텝을 포함하는 것을 특징으로 한다.

또, 본 발명의 다른 양태는 컴퓨터 판독 가능한 기록 매체로서, 복수의 화소를 포함하여 구성되는 촬상 소자를 갖는 화상 처리 장치의 컴퓨터에, 상기 복수의 화소의 각각의 화소값을 화상 데이터로서 생성하는 스텝과, 상기 촬상 스텝에서 생성된 화상 데이터에 있어서, 상기 복수의 화소에 있어서의 결함 화소의 위치를 특정하는 위치 특정 스텝과, 상기 위치 특정 스텝에서 특정된 위치에 의거하여, 상기 화상 데이터에 있어서 상기 결함 화소에 의해 화상 노이즈가 발생하는 영역을 특정하는 영역 특정 스텝과, 상기 영역 특정 스텝에서 특정된 상기 화상 데이터의 영역에 포함되는 복수의 화소의 각각의 화소값에 대해, 해당 영역의 주위에 위치하는 복수의 화소의 화소값의 가중 평균에 의거하여 보정하는 보정 스텝을 실행시키는 프로그램을 기록한 것을 특징으로 한다.

본 발명에 따르면, 정밀도 좋고 또한 효율적으로 화상 데이터의 화소값(화상 신호)을 보정할 수 있다.

도 1은 본 발명에 관한 촬상 장치의 1실시형태로서의 디지털카메라의 하드웨어 구성을 나타내는 블럭도이다.
도 2는 도 1의 디지털카메라가 촬상 처리를 실행하기 위한 기능적 구성을 나타내는 기능 블럭도이다.
도 3은 화상 데이터에 있어서 결함 화소에 의해 화상 노이즈가 발생하는 영역의 보정을 설명하는 도면이다.
도 4는 도 2의 디지털카메라가 실행하는 촬상 처리의 흐름의 일예를 나타내는 흐름도이다.
도 5는 도 2의 디지털카메라가 실행하는 촬상 처리의 흐름의 다른 예를 나타내는 흐름도이다.
도 6의 (a)∼(f)는 블루밍을 설명하는 도면이다.

이하, 도면을 참조하여, 본 발명에 관한 실시형태에 대해 설명한다.

도 1은 본 발명에 관한 화상 신호 처리 장치의 1실시형태로서의 디지털카메라(1)의 하드웨어 구성도를 나타내고 있다.

도 1을 참조하여, 디지털카메라(1)는 CPU(Central　Processing　Unit)(11)와, ROM(Read　Only　Memory)(12)과, RAM(Random　Access　Memory)(13)과, 버스(14)와, 광학계(15)와, 촬상부(16)와, 화상 처리부(17)와, 기억부(18)와, 표시부(19)와, 조작부(20)와, 통신부(21)와, 센서부(22)와, 드라이브(23)를 구비하고 있다.

CPU(11)는 ROM(12)에 기억되어 있는 프로그램, 또는 기억부(18)로부터 RAM(13)에 로딩된 프로그램에 따라서, 각종의 처리를 실행한다. ROM(12)은 CPU(11)가 각종 처리를 실행하기 위한 프로그램에 부가하여, CPU(11)가 각종 처리를 실행함에 있어서 필요한 데이터 등을 적절히 기억시키고 있다.

예를 들면, 본 실시형태에서는 후술하는 도 2의 화상 제어부(51) 내지 보정부(55)의 각 기능을 실현하는 프로그램이, ROM(12)이나 기억부(18)에 기억되어 있다. 따라서, CPU(11)가, 이들 프로그램에 따른 처리를 실행하고, 후술하는 화상 처리부(17)와 적절히 협동함으로써, 후술하는 도 2의 화상 제어부(51) 내지 보정부(55)의 각 기능을 실현할 수 있다.

CPU(11), ROM(12), 및 RAM(13)은 버스(14)를 통해 서로 접속되어 있다. 이 버스(14)에는 또, 광학계(15), 촬상부(16), 화상 처리부(17), 기억부(18), 표시부(19), 조작부(20), 통신부(21), 센서부(22), 및 드라이브(23)가 접속되어 있다.

광학계(15)는 피사체를 촬영하기 위해 광을 집광하는 렌즈, 예를 들면 포커스 렌즈나 줌 렌즈 등을 포함하도록 구성된다. 포커스 렌즈는 촬상부(16)의 촬상 소자의 수광면에 피사체상을 결상시키는 렌즈이다. 줌 렌즈는 초점거리를 일정한 범위에서 자유롭게 변화시키는 렌즈이다. 광학계(15)에는 또, 필요에 따라, 초점이나, 노출 등을 조정하는 주변장치가 설치된다.

촬상부(16)는 복수의 촬상 소자나 AFE(Analog　Front　End) 등으로 구성되고, 복수의 촬상 소자로부터 얻어지는 화소를 포함하는 화상 데이터를 생성한다. 촬상 소자는 본 실시형태에서는 CMOS(Complementary　Metal　Oxide　Semiconductor) 센서형의 광전 변환 소자로 구성된다. 촬상 소자에는 베이어 배열 등의 색 필터가 장착되어 있다. 촬상 소자는 일정시간마다, 그 사이에 입사되어 축적된 피사체상의 광 신호를 광전 변환(촬상)하고, 그 결과 얻어지는 아날로그의 전기 신호를 AFE에 순차 공급한다.

AFE는 해당 아날로그의 전기 신호에 대해, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실시하고, 그 결과 얻어지는 디지털 신호를, 촬상부(16)의 출력 신호로서 출력한다.　또한, 이하, 촬상부(16)의 출력 신호를, 「화상 데이터」로 한다. 따라서, 촬상부(16)로부터는 화상 데이터가 출력되어, 화상 처리부(17) 등에 적절히 공급된다. 본 실시형태에서는 촬상부(16)로부터 출력되는 화상 데이터의 단위는 촬상 소자를 구성하는 각 화소의 화소값(화상 신호)의 집합체, 즉, 1개의 정지화상 또는 동화상을 구성하는 프레임 등의 화상 데이터이다.

화상 처리부(17)는 DSP(Digital　Signal　Processor)나, VRAM(Video　Random　Access　Memory) 등으로 구성되어 있다.

화상 처리부(17)는 CPU(11)와 협동하여, 촬상부(16)로부터 입력되는 화상 데이터에 대해, 노이즈 저감, 화이트 밸런스 등의 화상 처리 이외에, 후술하는 화상 취득부(52) 내지 보정부(55)의 각 기능의 발휘에 필요한 각종 화상 처리를 실시한다. 화상 처리부(17)는 각종 화상 처리가 실시된 화상 데이터를 기억부(18) 또는 리무버블 미디어(31)에 기억시킨다.

기억부(18)는 DRAM(Dynamic　Random　Access　Memory) 등으로 구성되고, 화상 처리부(17)로부터 출력된 화상 데이터를 일시적으로 기억한다. 또, 기억부(18)는 각종 화상 처리에 필요한 각종 데이터 등도 기억한다.

표시부(19)는 예를 들면 LCD(Liquid　Crystal　Deｖice：액정표시장치)나 LCD 구동부로 이루어지는 플랫 디스플레이 패널로서 구성되어 있다. 표시부(19)는 기억부(18) 등으로부터 공급되는 화상 데이터에 의해 표현되는 화상을 표시한다.

조작부(20)는 셔터 스위치(41) 이외에, 도시하지는 않지만, 전원 스위치, 촬상 모드 스위치, 재생 스위치 등의 복수의 스위치를 갖고 있다. 조작부(20)는 이들 복수의 스위치 중 소정의 스위치가 눌려 조작되면, 해당 소정의 스위치에 할당되어 있는 명령을 CPU(11)에 공급한다.

통신부(21)는 인터넷을 포함하는 네트워크를 거치는 도시하지 않은 다른 장치와의 사이의 통신을 제어한다.

센서부(22)는 촬상부(16)의 촬상 소자의 주위 온도를 측정하고, 측정 결과를 CPU(11)에 공급한다.

드라이브(23)에는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는 리무버블 미디어(31)가 적절히 장착된다. 그리고, 리무버블 미디어(31)로부터 읽어내어진 프로그램이, 필요에 따라 기억부(18)에 인스톨된다. 또, 리무버블 미디어(31)는 기억부(18)에 기억되어 있는 화상 데이터 등의 각종 데이터도, 기억부(18)와 마찬가지로 기억할 수 있다.

도 2는 도 1의 디지털카메라(1)가 실행하는 처리 중, 피사체를 촬상하고, 그 결과 얻어지는 촬상 화상의 화상 데이터를 리무버블 미디어(31)에 기록할 때까지의 일련의 처리(이하, 「촬상 처리」라 함)를 실행하기 위한 기능적 구성을 나타내는 기능 블럭도이다.

도 2에 나타내는 바와 같이, 촬상 처리가 실행되는 경우에는 CPU(11)에 있어서는 화상 제어부(51)가 기능하고, 화상 처리부(17)에 있어서는 화상 취득부(52)와, 위치 특정부(53)와, 영역 특정부(54)와, 보정부(55)가 기능한다. 또한, 화상 제어부(51)의 기능은 본 실시형태와 같이 CPU(11)에 탑재되어 있을 필요는 특히 없으며, 해당 기능을, 화상 처리부(17)에 이양시키는 것도 가능하다. 반대로, 화상 취득부(52) 내지 보정부(55)의 각 기능은 본 실시형태와 같이 화상 처리부(17)에 탑재되어 있을 필요는 특히 없으며, 이들 기능 중 적어도 일부를, CPU(11)에 이양시키는 것도 가능하다.

화상 제어부(51)는 촬상 처리의 실행 전체를 제어한다.

여기서, 촬상부(16)의 촬상 소자는 예를 들면 제조시의 단계에서 손상 등에 의해 결함 화소가 발생하는 경우가 있다. 그리고, 결함 화소에 대응하는 위치에서는 필요 이상으로 전하를 축적해 버리기 때문에, 화상 데이터에 있어서 결함 화소에 대응하는 위치가 하얗게 표시되어 버리는 화상 노이즈(백색 결함)를 발생시킨다. 또한, CMOS형의 광전 변환 소자로 구성되는 촬상 소자에는 온도·습도 등의 환경 변화나 경년 변화에 따라, 결함 화소에 인접하는 화소에 대해 화상 노이즈가 확대되는 블루밍(도 6의 (a)∼(f) 참조)이 발생할 가능성이 있다.

그 때문에, 본 실시형태에 관한 디지털카메라(1)에서는 화상 취득부(52) 내지 보정부(55)는 화상 제어부(51)의 제어 하에서 다음과 같은 처리를 실행한다.

도 3은 화상 데이터에 있어서 결함 화소에 의해 화상 노이즈가 발생하는 영역의 보정을 설명하는 도면이다. 또한, 도 3은 복수의 화소가 격자형상으로 배치되어 있는 것으로 한다. 이하, 도 3을 이용하면서 화상 취득부(52) 내지 보정부(55)의 처리에 대해 설명한다.

화상 취득부(52)는 화상 제어부(51)로부터 발행되는 취득 명령을 받아, 촬상부(16)에 있어서 생성되고, 출력되는 화상 데이터를 취득하며, 취득한 화상 데이터를 VRAM에 기억시킨다.

위치 특정부(53)는 촬상부(16)에 의해 생성되고, VRAM에 기억된 화상 데이터에 있어서, 촬상 소자에 포함되어 있는 1개 이상의 결함 화소의 위치를 특정한다. 결함 화소의 위치는 결함 화소 위치 리스트로서, 기억부(18)에 리스트 형식으로 기억되어 있다. 즉, 기억부(18)에는 화상 데이터에 있어서의 결함 화소의 위치 정보가 미리 기억되어 있다. 예를 들면, 도 3에서는 위치 특정부(53)에 의해, 결함 화소의 위치가 위치 E에 특정되는 것으로 한다.

영역 특정부(54)는 위치 특정부(53)에 의해 특정된 위치에 의거하여, 화상 데이터에 있어서 결함 화소에 의해 화상 노이즈가 발생하는 영역을 특정한다. 구체적으로는 영역 특정부(54)는 화상 제어부(51)를 통해, 센서부(22)에 있어서 측정된 촬상부(16)의 촬상 소자의 주위 온도와, 촬상부(16)에 있어서 촬상된 경우의 노광 시간을 취득한다. 그리고, 영역 특정부(54)는 취득한 촬상 소자의 주위 온도와 노광 시간을 촬상부(16)에 의한 화상 데이터 생성시의 상태로 한다. 그리고, 영역 특정부(54)는 위치 특정부(53)에 의해 특정된 위치와, 촬상부(16)에 의한 화상 데이터의 생성시의 상태에 의거하여, 화상 노이즈가 발생하는 영역의 크기를 특정한다. 예를 들면, 도 3에서는 영역 특정부(54)에 의해, 결함 화소의 위치 E를 중심으로 해서 위치 A∼위치 I가, 화상 노이즈가 발생하는 영역으로 특정된다.

또한, 촬상 소자의 주위 온도와 노광 시간에 대응하는 영역의 크기를 대응표로서 미리 기억부(18)에 기억시켜 두고, 영역 특정부(54)는 해당 대응표에 의거하여, 촬상 소자의 주위 온도와 노광 시간의 조합에 대응하는 영역의 크기를 특정하도록 해도 좋다. 또, 영역 특정부(54)는 화상 노이즈가 발생하는 영역의 크기를 미리 일정한 크기로서 고정시켜 두어도 좋다.

또한, 이하, 영역 특정부(54)에 의해 특정된 영역을 보정 대상 영역으로 한다.

보정부(55)는 보정 대상 영역에 포함되는 복수의 화소의 화소값을, 보정 대상 영역의 주위에 위치하는 복수의 화소의 화소값에 의거하여 보정한다.

구체적으로 보정부(55)는 위치 특정부(53)에 의해 특정된 위치로부터 소정 범위에 위치하는 화소를 선택하는 것에 의해, 보정 대상 영역의 주위에 위치하는 복수의 화소를 특정한다.

계속해서, 보정부(55)는 보정 대상 영역에 포함되는 복수의 화소 각각에 대해, 화소값의 보정에 이용하는 화소를, 보정 대상 영역의 주위에 위치하는 복수의 화소로부터, 보정 대상으로 되는 화소 각각의 위치에 따라 선택한다.

여기서, 보정부(55)는 화소값의 보정에 이용하는 화소를, 보정 대상 영역의 주위에 위치하는 복수의 화소로부터 균등하게 선택하는 것이 바람직하다. 또, 보정부(55)는 영역의 주위에 위치하는 복수의 화소로부터, 보정 대상의 화소와 동일계 색의 화소를 선택하는 것이 바람직하다. 예를 들면, 도 3에 있어서, 위치 A, 위치 A1∼위치 A8에 대응하는 화소가 적색계의 색인 경우, 위치 A의 화소의 보정에 이용되는 화소로서, 위치 A1∼위치 A8에 대응하는 화소가 선택된다.

계속해서, 보정부(55)는 보정 대상 영역에 포함되는 복수의 화소 각각을, 처리의 대상으로서 주목해야 할 화소(이하, 「주목 화소」라 함)로 순차 설정하고, 주목 화소의 화소값에 대해, 보정 대상 영역의 주위에 위치하는 복수의 화소로부터 선택된 화소의 화소값의 가중 평균에 의거하여 보정을 실행한다. 여기서, 보정부(55)는 보정 대상 영역에 포함되는 복수의 화소 각각의 위치에 따라, 보정에 이용되는 복수의 화소의 화소값 각각의 가중 평균에 있어서의 하중을 변화시키는 것이 바람직하다.

예를 들면, 도 3에 있어서, 위치 A의 화소가 주목 화소로 설정된 경우의 보정에 이용되는 화소로서 위치 A1∼위치 A8의 화소가 선택되어 있을 때, 보정부(55)는 위치 A에 대한 거리가 가까울수록 하중값을 높게 하여, 가중 평균을 산출한다.

구체적으로 예를 들면, 보정부(55)는 다음의 식 (1)에 따라, 위치 A의 주목 화소의 화소값을 보정한다.

VA=(VA1×6＋VA2×12＋VA3×4＋VA4×12＋VA5×6＋VA6×4＋VA7×6＋VA8×3)÷(6＋12＋4＋12＋6＋4＋6＋3) …(1)

식 (1)에 있어서, VA는 위치 A의 주목 화소의 보정 후의 화소값을 나타내고 있고, VA1∼VA8의 각각은 위치 A1∼위치 A8의 각각의 화소값을 나타내고 있다. 또, 화소값 VA1∼VA8의 각각에 대한 가중은 주목 화소의 위치 A로부터의 수평 방향의 거리와 수직 방향의 거리의 가산값의 역수에 의거하여 설정되어 있다.

식 (1)을 일반화하면, 다음의 식 (2)와 같이 된다.

VP0={Val÷(Lt＋Ll)＋Va2÷Lt＋Va3÷(Lt＋Lr)＋VA4÷Ll＋VA5÷Lr＋Va6÷(Lb+Ll)＋VA7÷Lb＋VA8÷(Lb＋Lr)}÷Lall …(2)

식 (2)는 좌표(x, y)에 위치하는 화소 P를 중심으로 하여 주위 N화소에 블루밍이 발생한 경우, 즉, 보정 대상 영역이 (2N＋1)×(2N＋1)의 크기의 경우에 있어서의, 좌표(x＋i, y＋j)에 위치하는 주목 화소 P0의 보정 후의 화소값 VP0을 구하는 식이다.

식 (2)에 있어서, Vn(n은 위치 A1∼A8 중의 어느 하나)은 위치 n에 있어서의 화소값을 나타내고 있다.

여기서, 위치 A1는 주목 화소 P0의 위치로부터, 수직 상측 방향으로 거리 Lt만큼 이간되고, 수평 좌측 방향으로 거리 Ll만큼 이간되어 있다.

위치 A2는 주목 화소 P0의 위치로부터, 수직 상측 방향으로 거리 Lt만큼 이간되어 있다.

위치 A3은 주목 화소 P0의 위치로부터, 수직 상측 방향으로 거리 Lt만큼 이간되고, 수평 우측 방향으로 거리 Lr만큼 이간되어 있다.

위치 A4는 주목 화소 P0의 위치로부터, 수평 좌측 방향으로 거리 Ll만큼 이간되어 있다.

위치 A5는 주목 화소 P0의 위치로부터, 수평 우측 방향으로 거리 Lr만큼 이간되어 있다.

위치 A6은 주목 화소 P0의 위치로부터, 수직 하측 방향으로 거리 Lb만큼 이간되고, 수평 좌측 방향으로 거리 Ll만큼 이간되어 있다.

위치 A7은 주목 화소 P0의 위치로부터, 수직 하측 방향으로 거리 Lb만큼 이간되어 있다.

위치 A8은 주목 화소 P0의 위치로부터, 수직 하측 방향으로 거리 Lb만큼 이간되고, 수평 우측 방향으로 거리 Lr만큼 이간되어 있다.

여기서, 촬상 소자가 베이어 배열인 경우에는 a=2로 하고, 베이어 배열이 아닌 경우에는 예를 들면 a=1로 하면, 거리 Lt=Nt＋j＋a이고, 거리 Lb=N-j＋a이며, 거리 Ll=N＋i＋a이고, 거리 Lr=N-i＋a이다.

또, 식(2)에 있어서의 Lall은 다음의 식 (3)과 같이 나타난다.

Lall={1/(Lt＋Ll)＋1/Lt＋1/(Lt＋Lr)＋1/Ll＋1/Lr＋1/(Lb＋Ll)＋1/Lb＋1/(Lb＋Lr)} …(3)

또한, 가중 평균에 있어서의 가중은 상술한 예에 특히 한정되지 않고, 주목 화소로부터의 거리에 의거하는 가중이면 좋다.

예를 들면, 도 3의 상태의 경우에는 1격자의 변의 길이를 1로 하면, 주목 화소의 위치 A에 대한 거리는 위치 A2 및 위치 A4가 2, 위치 A1이 2.8, 위치 A5 및 A7이 4, 위치 A3 및 위치 A6이 4.5, 위치 A8이 5.7로 된다. 그래서, 보정부(55)는 위치 A에 대한 거리가 가장 가까운 위치 A2 및 위치 A4에 대해 가중을 크게 하고, 위치 A에 대해 거리가 가장 먼 위치 A8에 대해 가중을 작게 한다.

또, 상술한 예에서는 보정 대상 영역의 주위의 화소 중, 위치 A1∼위치 A8에 존재하는 일부의 화소만이, 보정에 이용되는 화소로서 채용되었다. 그러나, 이것은 예시이며, 보정 대상 영역의 주위의 화소 중, 임의의 개수의 임의의 위치의 화소를, 보정에 이용되는 화소로서 채용할 수 있다. 당연, 보정 대상 영역의 주위의 화소의 전부를, 보정에 이용되는 화소로서 채용할 수 있다.

또, 보정부(55)는 복수의 화소값의 가중 평균에 의거하여 보정 대상 영역의 화소값의 보정을 실행하는 것으로 했지만, 이것에 한정되지 않고, 보정에 이용되는 복수의 화소의 중간값으로 되는 화소값을, 주목 화소의 화소값으로 하는 보정을 실행하도록 해도 좋다. 이 경우, 보정부(55)는 보정 대상 영역에 포함되는 복수의 화소의 화소값의 푸리에 변환을 실행하고, 보정 대상 영역의 공간 주파수를 산출한다. 그리고, 보정부(55)는 산출된 공간 주파수가 소정값보다 낮은 경우에, 보정 대상 영역에 포함되는 복수의 화소의 화소값의 각각을 순차 주목 화소로 설정하고, 보정에 이용되는 복수의 화소(도 3의 예에서는 위치 A1∼A8의 각 화소)의 화소값 중 중간값을, 주목 화소의 화소값으로 되도록 보정을 실행한다. 공간 주파수가 낮은 경우에는 미디언 필터에 의해서 보정을 실행함으로써, 더욱 적절한 보정을 실행할 수 있다.

즉, 일반적으로, 결함 화소의 주위에, 해당 결함 화소의 정확한 화소값에 가까운 화소값을 갖는 화소가 많이 존재하는 경우에는 미디언 필터에 의해 중간값을 채용함으로써, 화상을 뿌옇게 하는 일 없이(화상의 에지를 유지한 상태로) 결함 화소의 화소값을 정확한 화소값에 가까운 화소값으로 보정하는 것이 가능하게 된다.

그러나, 보정 대상 영역이 넓어지면 보정에 이용하는 주위 화소의 범위도 넓어지고, 특히, 공간 주파수가 높은 경우에는 결함 화소의 정확한 화소값에 가까운 화소값을 갖는 화소가 주위에 존재할 확률이 낮아지며, 미디언 필터가 유효하게 작동하지 않게 되므로, 공간 주파수가 낮은 경우에 한해 미디언 필터를 사용하는 것이 효과적이다.

또, 보정부(55)는 화상 제어부(51)를 통해, 센서부(22)에 있어서 측정된 촬상부(16)의 촬상 소자의 주위 온도와, 촬상부(16)에 있어서 촬상된 경우의 노광 시간을 취득하고, 취득한 촬상 소자의 주위 온도와, 노광 시간에 의거하여, 보정을 실행할지 실행하지 않을지를 제어하도록 해도 좋다.

이상, 도 2 및 도 3을 참조하여, 본 발명이 적용되는 디지털카메라(1)의 기능적 구성에 대해 설명하였다. 다음에, 도 4 및 도 5를 참조하여, 이러한 기능적 구성을 갖는 디지털카메라(1)가 실행하는 촬상 처리에 대해 설명한다.

도 4는 촬상 처리의 흐름의 일예를 나타내는 흐름도이다. 본 흐름도에서는 보정부(55)에 의해서, 가중 평균에 의거하는 보정만이 실행된다. 또, 본 실시형태에서는 촬상 처리는 디지털카메라(1)의 도시하지 않은 전원이 온 상태가 되어, 소정의 조건이 만족되면 시작한다.

스텝 S1에 있어서, 도 2의 화상 취득부(52)는 화상 데이터 취득 처리를 실행한다.

즉, 화상 취득부(52)는 화상 제어부(51)의 제어하에, 촬상부(16)로부터 출력된 화상 데이터를 취득하여 VRAM에 기억시킨다.

스텝 S2에 있어서, 도 2의 위치 특정부(53)는 결함 화소 대응 위치 특정 처리를 실행한다.

즉, 위치 특정부(53)는 화상 제어부(51)의 제어 하에, 스텝 S1에 있어서 VRAM에 기억된 화상 데이터에 대해, 기억부(18)에 기억되어 있는 결함 화소 위치 리스트에 의거하여, 결함 화소의 위치를 특정한다. 여기서는 도 2의 위치 특정부(53)는 결함 화소 위치 리스트를 위부터 차례로 1개씩 판독하고, 새로이 판독된 위치를 결함 화소의 위치로 특정한다.

스텝 S3에 있어서, 도 2의 영역 특정부(54)는 보정 대상 영역 특정 처리를 실행한다.

즉, 영역 특정부(54)는 스텝 S2에 있어서 특정된 위치에 의거하여, 화상 데이터에 있어서 결함 화소에 의해 화상 노이즈가 발생하는 영역을 특정한다.

스텝 S4에 있어서, 도 2의 보정부(55)는 보정 대상 영역에 있어서, 후술하는 화소값 취득 처리에 의해서 취득되어 있지 않은 화소값이 있는지 없는지를 판정한다. 보정부(55)는 화소값 취득 처리에 의해서 취득되어 있지 않은 화소값이 있는 경우, 스텝 S5로 처리를 이행한다. 또, 보정부(55)는 화소값 취득 처리에 의해서 취득되어 있지 않은 화소값이 없는 경우, 즉, 보정 대상 영역에 포함되는 모든 화소의 화소값이 취득된 경우, 스텝 S7로 처리를 이행한다.

스텝 S5에 있어서, 보정부(55)는 화소값 취득 처리를 실행한다.

즉, 보정부(55)는 스텝 S3에 있어서 특정된 보정 대상 영역으로부터, 아직 취득되어 있지 않은 하나의 화소값을 주목 화소의 화소값으로서 취득한다.

스텝 S6에 있어서, 보정부(55)는 화소값 보정 처리를 실행한다.

즉, 보정부(55)는 스텝 S2에 있어서 특정된 위치로부터 소정 범위에 위치하는 화소를 선택하는 것에 의해, 스텝 S3에 있어서 특정된 보정 대상 영역의 주위에 위치하는 복수의 화소를 특정한다. 그리고, 보정부(55)는 보정 대상 영역의 주위에 위치하는 복수의 화소로부터, 스텝 S5에 있어서 취득된 화소값의 보정에 이용하는 화소를 선택한다.

그리고, 보정부(55)는 스텝 S5에 있어서 취득된 주목 화소의 화소값에 대해, 선택된 화소의 화소값의 가중 평균에 의거하여 보정을 실행한다. 이 처리가 종료하면, 처리는 스텝 S4로 되돌려진다.

스텝 S7에 있어서, 화상 제어부(51)는 각종 화상 처리를 실행한다.

즉, 화상 제어부(51)는 화상 처리부(17)를 제어하여, 모든 결함 화소의 위치에 관한 보정 대상 영역에 포함되는 화소값이 보정된 화상 데이터에 대해, 각종 화상 처리를 실행한다.

스텝 S8에 있어서, 화상 제어부(51)는 화상 데이터 기억 처리를 실행한다.

즉, 화상 제어부(51)는 스텝 S8에 있어서, 각종 화상 처리가 실행된 화상 데이터를 리무버블 미디어(31)에 기억시킨다. 이 처리가 종료하면, 촬상 처리 전체가 종료한다.

도 5는 촬상 처리의 흐름의 다른 예를 나타내는 흐름도이다. 본 흐름도에서는 보정부(55)에 의해서, 가중 평균 및 미디언 필터에 의거하는 보정만이 실행된다. 또, 본 실시형태에서는 촬상 처리는 디지털카메라(1)의 도시하지 않은 전원이 온 상태가 되어, 소정의 조건이 만족되면 시작한다.

스텝 S11 내지 스텝 S15의 처리는 도 4에 나타내는 흐름도의 스텝 S1 내지 스텝 S5의 처리와 동일한 처리이므로, 설명을 생략한다.

스텝 S16에 있어서, 보정부(55)는 공간 주파수 산출 처리를 실행한다.

즉, 보정부(55)는 보정 대상 영역에 포함되는 복수의 화소의 화소값의 푸리에 변환을 실행하고, 보정 대상 영역의 공간 주파수를 산출한다.

스텝 S17에 있어서, 보정부(55)는 스텝 S16에 있어서 산출된 공간 주파수가 소정값보다 높은지 높지 않은지를 판정한다. 보정부(55)는 이 판정이 NO인 경우, 스텝 S19로 처리를 이행하고, 이 판정이 YES인 경우, 스텝 S18로 처리를 이행한다.

스텝 S18에 있어서, 보정부(55)는 가중 평균 화소값 보정 처리를 실행한다. 이 처리는 도 4에 나타내는 흐름도의 스텝 S6의 처리와 동일한 처리이므로, 설명을 생략한다. 이 처리가 종료하면, 처리는 스텝 S14로 되돌려진다.

스텝 S19에 있어서, 보정부(55)는 미디언 필터 화소값 보정 처리를 실행한다.

즉, 보정부(55)는 스텝 S15에 있어서 취득된 주목 화소의 화소값에 대해, 보정에 이용되는 복수의 화소의 화소값 중 중간값을 보정 후의 값으로 하도록 보정을 실행한다. 이 처리가 종료하면, 처리는 스텝 S14로 되돌려진다.

스텝 S20 및 스텝 S21의 처리는 도 4에 나타내는 흐름도의 스텝 S7 및 스텝 S8의 처리와 동일한 처리이므로, 설명을 생략한다.

이상과 같은 본 실시형태의 디지털카메라(1)에 의하면, 위치 특정부(53)에 의해, 촬상부(16)에 의해 생성된 화상 데이터에 있어서, 복수의 화소에 있어서의 결함 화소의 위치를 특정하고, 영역 특정부(54)에 의해, 위치 특정부(53)에 의해 특정된 위치에 의거하여 화상 데이터에 있어서 결함 화소에 의해 화상 노이즈가 발생하는 영역을 특정하고, 보정부(55)에 의해, 영역 특정부(54)에 의해 특정된 화상 데이터의 영역에 포함되는 복수의 화소의 화소값을, 해당 영역의 주위에 위치하는 복수의 화소의 화소값에 의거하여 보정한다.

이것에 의해, 결함 화소의 주위의 촬상 소자에 대해 블루밍이 발생한 경우에도, 이들 블루밍이 발생한 영역에 관한 화소값을 보정할 수 있다. 따라서, 디지털카메라(1)는 정밀도 좋고 또한 효율적으로 화상 신호를 보정할 수 있다.

이 때, 보정부(55)는 보정 대상 영역에 포함되는 복수의 화소 각각의 화소값에 대해, 보정 대상 영역의 주위에 위치하는 복수의 화소의 화소값의 가중 평균에 의거하여 보정한다.

이것에 의해, 예를 들면, 보정 대상의 화소에 가까운 화소에 대해, 영향도를 크게 설정하는 동시에, 보정 대상의 화소에서 먼 화소에 대해, 영향도를 작게 설정할 수 있다.

이 때, 보정부(55)는 보정 대상 영역에 포함되는 복수의 화소 각각의 위치에 따라, 보정에 이용되는 복수의 화소의 화소값 각각의 가중 평균에 있어서의 하중을 변화시킨다.

이것에 의해, 보정 대상 영역에 포함되는 복수의 화소 각각의 위치에 따라, 보정에 이용되는 화소값의 하중을 적절히 변경시킬 수 있다.

이 때, 보정부(55)는 위치 특정부(53)에 의해 특정된 위치로부터 소정 범위에 위치하는 화소를, 보정 대상 영역의 주위에 위치하는 복수의 화소로 한다. 이것에 의해, 위치 특정부(53)에 의해 특정된 위치, 즉 결함 화소의 위치를 중심으로 해서, 보정 대상 영역의 주위의 영역을 설정할 수 있다.

이 때, 보정부(55)는 보정 대상 영역에 포함되는 복수의 화소 각각에 대해, 화소값의 보정에 이용하는 화소를, 해당 보정 대상 영역의 주위의 복수의 화소로부터, 보정 대상으로 되는 화소 각각의 위치에 따라 선택한다. 이것에 의해, 동일계 색의 화소를 보정에 이용하는 화소로서 선택할 수 있다.

이 때, 영역 특정부(54)는 위치 특정부(53)에 의해 특정된 위치와, 촬상부(16)에 의한 화상 데이터의 생성시의 상태에 의거하여, 보정 대상 영역의 크기를 특정한다. 구체적으로는 영역 특정부(54)는 촬상 소자의 주위 온도와 노광 시간을 화상 데이터의 생성시의 상태로 하고, 위치 특정부(53)에 의해 특정된 위치와, 해당 화상 데이터의 생성시의 상태에 의거하여, 보정 대상 영역의 크기를 특정한다. 이것에 의해, 촬상 소자의 주위의 온도나, 노광 시간과 같은 화상 데이터의 생성시의 상태에 의거하여, 블루밍이 일어나고 있는 영역으로 추측해서, 보정 대상 영역의 크기를 특정할 수 있다.

이 때, 촬상 소자는 해당 촬상 소자의 주위 온도와 노광 시간에 따라, 보정 대상 영역이 변화하는 CMOS 센서인 것으로 한다. 이것에 의해, 블루밍이 일어나는 CMOS 센서를 촬상 소자로서 이용한 경우에 적정한 보정을 실행할 수 있다.

이 때, 보정부(55)는 촬상 소자의 주위 온도와 노광 시간에 따라, 보정을 실행할지 실행하지 않을지를 제어한다. 이것에 의해, 촬상 소자의 주위 온도와 노광 시간에 의거하여, 블루밍이 일어나고 있는지 아닌지를 판정하고, 보정을 실행할 수 있다.

이 때, 영역 특정부(54)는 촬상 소자의 주위 온도와 노광 시간을 화상 데이터의 생성시의 상태로 하고, 위치 특정부(53)에 의해 특정된 위치와, 해당 화상 데이터의 생성시의 상태에 의거하여, 보정 대상 영역을 특정한다.

또한, 본 발명은 상술한 실시형태에 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

또, 상술한 실시형태에서는 본 발명이 적용되는 화상 처리 장치는 디지털카메라(1)를 예로 해서 설명했지만, 특히 이것에 한정되지 않는다. 본 발명은 CMOS형의 촬상 소자를 갖는 전자기기의 일반에 적용할 수 있고, 예를 들면, 휴대형 퍼스널 컴퓨터, 휴대형 네비게이션 장치, 포터블 게임기 등에 폭 넓게 적용 가능하다.

상술한 일련의 처리는 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는 그 소프트웨어를 구성하는 프로그램이, 화상 처리 장치 또는 해당 화상 처리 장치를 제어하는 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다. 여기서, 컴퓨터는 전용의 하드웨어에 조립되어 있는 컴퓨터라도 좋다. 또는, 컴퓨터는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면 범용의 퍼스널 컴퓨터라도 좋다.

이러한 프로그램을 포함하는 기록 매체는 유저에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 리무버블 미디어(31)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 조립된 상태에서 유저에게 제공되는 기록 매체 등으로 구성된다. 리무버블 미디어(31)는 예를 들면, 자기 디스크(플로피 디스크 포함), 광 디스크, 광자기 디스크 등에 의해 구성된다. 또, 장치 본체에 미리 조립된 상태에서 유저에게 제공되는 기록 매체는 예를 들면, 프로그램이 기록되어 있는 ROM(12)이나 기억부(18)에 포함되는 하드 디스크 등으로 구성된다.

또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은 그 순서를 따라 시계열적으로 실행되는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.

1; 디지털카메라 11; CPU
12; ROM 13; RAM
15; 광학계 16; 촬상부
17; 화상 처리부 18; 기억부
19; 표시부 20; 조작부
21; 통신부 22; 센서부
23; 드라이브 31; 리무버블 미디어
51; 화상 제어부 52; 화상 취득부
53; 위치 특정부 54; 영역 특정부
55; 보정부

Claims

복수의 화소를 포함하여 구성되는 촬상 소자를 갖고, 상기 복수의 화소의 각각의 화소값을 화상 데이터로서 생성하는 촬상부와,
상기 촬상부에 의해 생성된 화상 데이터에 있어서, 상기 복수의 화소에 있어서의 결함 화소의 위치를 특정하는 위치 특정부와,
상기 위치 특정부에 의해 특정된 위치와, 상기 촬상부에 의한 화상 데이터의 생성시의 상태에 의거하여, 상기 화상 데이터에 있어서 상기 결함 화소에 의해 화상 노이즈가 발생하는 영역으로서, 보정 대상으로 되는 복수의 화소를 포함하는 1개의 보정 대상 영역의 크기를 특정하는 제 1 영역 특정부와,
상기 위치 특정부에 의해 특정된 위치로부터 소정 범위내이고 또한 상기 1개의 보정 대상 영역의 외주에 대해 소정수의 화소를 사이에 두고 외측에 인접하는 영역으로서, 보정에 이용하는 복수의 화소를 포함하는 1개의 주위 영역을 특정하는 제 2 영역 특정부와,
상기 제 1 영역 특정부에 의해 특정된 상기 1개의 보정 대상 영역에 포함되는 복수의 화소의 각각에 대해, 화소값의 보정에 이용하는 화소를, 해당 보정 대상 영역에 대응하여 특정된 상기 1개의 주위 영역에 위치하는 복수의 화소로부터 보정 대상으로 되는 화소 각각의 위치에 따라 선택하고, 이 선택한 화소의 화소값에 의거하여 보정 대상으로 되는 화소의 화소값을 보정하는 보정부를 구비한 것을 특징으로 하는 화상 처리 장치.
제 1 항에 있어서,
상기 보정부는 상기 제 1 영역 특정부에 의해 특정된 상기 1개의 보정대상 영역에 포함되는 복수의 화소 각각의 위치에 따라, 보정에 이용되는 복수의 화소의 화소값 각각의 가중 평균에 있어서의 가중을 변화시키는 것을 특징으로 하는 화상 처리 장치.
삭제
삭제
삭제
제 1 항에 있어서,
상기 보정부는 상기 촬상 소자의 주위 온도와 노광 시간에 따라, 보정을 실행할지 실행하지 않을지를 제어하는 것을 특징으로 하는 화상 처리 장치.
제 6 항에 있어서,
상기 촬상 소자는 상기 촬상 소자의 주위 온도와 노광 시간에 따라, 상기 영역이 변화하는 CMOS 센서인 것을 특징으로 하는 화상 처리 장치.
복수의 화소를 포함하여 구성되는 촬상 소자를 갖고, 상기 복수의 화소의 각각의 화소값을 화상 데이터로서 생성하는 촬상부와,
상기 촬상부에 의해 생성된 화상 데이터에 있어서, 상기 복수의 화소에 있어서의 결함 화소의 위치를 특정하는 위치 특정부와,
상기 위치 특정부에 의해 특정된 위치와, 상기 촬상부에 의한 화상 데이터의 생성시의 상태에 의거하여, 상기 화상 데이터에 있어서 상기 결함 화소에 의해 화상 노이즈가 발생하는 영역으로서, 보정 대상으로 되는 복수의 화소를 포함하는 1개의 보정 대상 영역의 크기를 특정하는 제 1 영역 특정부와,
상기 위치 특정부에 의해 특정된 위치로부터 소정 범위내이고 또한 상기 1개의 보정 대상 영역의 외주에 대해 소정수의 화소를 사이에 두고 외측에 인접하는 영역으로서, 보정에 이용하는 복수의 화소를 포함하는 1개의 주위 영역을 특정하는 제 2 영역 특정부와,
상기 제 1 영역 특정부에 의해 특정된 상기 1개의 보정 대상 영역에 포함되는 복수의 화소의 각각에 대해, 화소값의 보정에 이용하는 화소를, 해당 보정 대상 영역에 대응하여 특정된 상기 1개의 주위 영역에 위치하는 복수의 화소로부터 보정 대상으로 되는 화소 각각의 위치에 따라 선택하고, 이 선택한 화소의 화소값에 의거하여 보정 대상으로 되는 화소의 화소값을 보정하는 보정부를 구비하고,
상기 보정부는 상기 촬상 소자의 주위 온도와 노광 시간에 따라, 보정을 실행할지 실행하지 않을지를 제어하며,
상기 제 1 영역 특정부는 상기 촬상 소자의 주위 온도와 노광 시간을 상기 화상 데이터의 생성시의 상태로 하고, 상기 위치 특정부에 의해 특정된 위치와, 해당 화상 데이터의 생성시의 상태에 의거하여, 상기 1개의 보정 대상 영역을 특정하는 것을 특징으로 하는 화상 처리 장치.
복수의 화소를 포함하여 구성되는 촬상 소자를 갖는 화상 처리 장치가 실행하는 화상 처리 방법으로서,
상기 복수의 화소의 각각의 화소값을 화상 데이터로서 생성하는 촬상 스텝과,
상기 촬상 스텝에서 생성된 화상 데이터에 있어서, 상기 복수의 화소에 있어서의 결함 화소의 위치를 특정하는 위치 특정 스텝과,
상기 위치 특정 스텝에 의해 특정된 위치와, 상기 촬상 스텝에 의한 화상 데이터의 생성시의 상태에 의거하여, 상기 화상 데이터에 있어서 상기 결함 화소에 의해 화상 노이즈가 발생하는 영역으로서, 보정 대상으로 되는 복수의 화소를 포함하는 1개의 보정 대상 영역의 크기를 특정하는 제 1 영역 특정 스텝과,
상기 위치 특정 스텝에 의해 특정된 위치로부터 소정 범위 내이고 또한 상기 1개의 보정 대상 영역의 외주에 대해 소정수의 화소를 사이에 두고 외측에 인접하는 영역으로서, 보정에 이용하는 복수의 화소를 포함하는 1개의 주위 영역을 특정하는 제 2 영역 특정 스텝과,
상기 제 1 영역 특정 스텝에 의해 특정된 상기 1개의 보정 대상 영역에 포함되는 복수의 화소의 각각에 대해, 화소값의 보정에 이용하는 화소를, 해당 보정 대상 영역에 대응하여 특정된 상기 1개의 주위 영역에 위치하는 복수의 화소로부터 보정 대상으로 되는 화소 각각의 위치에 따라 선택하고, 이 선택한 화소의 화소값에 의거하여 보정 대상으로 되는 화소의 화소값을 보정하는 보정 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
복수의 화소를 포함하여 구성되는 촬상 소자를 갖는 화상 처리 장치의 컴퓨터에,
상기 복수의 화소의 각각의 화소값을 화상 데이터로서 생성하는 촬상 스텝과,
상기 촬상 스텝에서 생성된 화상 데이터에 있어서, 상기 복수의 화소에 있어서의 결함 화소의 위치를 특정하는 위치 특정 스텝과,
상기 위치 특정 스텝에 의해 특정된 위치와, 상기 촬상 스텝에 의한 화상 데이터의 생성시의 상태에 의거하여, 상기 화상 데이터에 있어서 상기 결함 화소에 의해 화상 노이즈가 발생하는 영역으로서, 보정 대상으로 되는 복수의 화소를 포함하는 1개의 보정 대상 영역의 크기를 특정하는 제 1 영역 특정 스텝과,
상기 위치 특정 스텝에 의해 특정된 위치로부터 소정 범위 내이고 또한 상기 1개의 보정 대상 영역의 외주에 대해 소정수의 화소를 사이에 두고 외측에 인접하는 영역으로서, 보정에 이용하는 복수의 화소를 포함하는 1개의 주위 영역을 특정하는 제 2 영역 특정 스텝과,
상기 제 1 영역 특정 스텝에 의해 특정된 상기 1개의 보정 대상 영역에 포함되는 복수의 화소의 각각에 대해, 화소값의 보정에 이용하는 화소를, 해당 보정 대상 영역에 대응하여 특정된 상기 1개의 주위 영역에 위치하는 복수의 화소로부터 보정 대상으로 되는 화소 각각의 위치에 따라 선택하고, 이 선택한 화소의 화소값에 의거하여 보정 대상으로 되는 화소의 화소값을 보정하는 보정 스텝을 실행시키는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.