KR101121028B1

KR101121028B1 - 화상처리장치, 촬상장치 및 화상처리방법

Info

Publication number: KR101121028B1
Application number: KR1020090071565A
Authority: KR
Inventors: 히데키 이케도
Original assignee: 캐논 가부시끼가이샤
Priority date: 2008-08-12
Filing date: 2009-08-04
Publication date: 2012-03-16
Also published as: KR20100020424A; RU2009130673A; RU2415473C1; US8610800B2; CN101651774A; JP5366619B2; CN101651774B; JP2010068508A; EP2154880B1; US20100039538A1; EP2154880A2; EP2154880A3

Abstract

화상처리장치는, 차광 화소영역 및 비차광 화소영역을 갖는 촬상 소자로부터 얻은 화상을, 2개이상의 주파수 성분으로 분해하는 주파수 성분 분해부와, 상기 차광 화소영역의 상기 주파수 성분에 의거하여, 상기 주파수 성분의 노이즈량을 산출하는 노이즈량 산출부와, 상기 노이즈량 산출부에 의해 산출한 노이즈량에 따라, 상기 비차광 화소영역의 주파수 성분의 노이즈 성분을 억제하는 노이즈 억제부와, 상기 주파수 성분 분해부에 의해 분해한 주파수 성분을 합성해서 화상을 형성하는 주파수 성분 합성부로 이루어진다.

화상처리장치, 차광 화소영역, 노이즈량, 주파수 성분.

Description

화상처리장치, 촬상장치 및 화상처리방법{IMAGE PROCESSING DEVICE, IMAGE SENSING APPARATUS, AND IMAGE PROCESSING METHOD}

본 발명은, ＣＣＤ(Charge Coupled Device)이미지 센서나 ＣＭＯＳ(Complementary Metal Oxide Semiconductor)이미지 센서 등의 촬상 소자로부터 얻은 화상을 화상처리하는데 사용된 화상처리장치, 촬상장치, 및 화상처리방법에 관한 것이다. 본 발명은, 특히, 촬영 화상의 화질향상에 관한 것이다.

디지탈 카메라나 비디오카메라 등의 촬상장치에는, ＣＣＤ이미지 센서나 ＣＭＯＳ이미지 센서 등의 촬상 소자가 사용된다. 최근, 촬상 소자의 화소 수가 증가하여 각 화소의 사이즈는 작아지고 있다. 또한, 화소 수가 증가된 촬상 소자를 사용해도 연속 촬영 속도를 사용하는 경우 등의 사용감을 손상하지 않기 위해서 고속처리가 필요하게 되어 있다. 고속처리의 예시적 방법은, 촬상 소자의 출력 경로를 복수로 하여, 복수 화소를 동시에 판독하는 다채널 방법을 포함한다. 그렇지만, 화소 사이즈의 축소에 의해, 광신호가 작아지므로, 화소들이 노이즈의 영향을 받기 쉬워지는 경우가 생긴다. 또한, 다채널 효과의 영향으로, 출력 경로에 따라 노이즈 량이 다르다.

예를 들면, 복수의 출력 앰프를 갖는 다채널화된 ＣＭＯＳ이미지 센서에서는, 이들 출력 앰프의 특성의 변동이 있으면, 열마다 레벨 차이가 발생한다. 이러한 레벨 차이를 "수직방향의 패턴 노이즈"라고 부른다. 또한, 각 화소의 전원과 ＧＮＤ(접지)는 공통이기 때문에, 선택 행의 판독중에 화소마다 전원과 ＧＮＤ가 변동하면, 선택 행 전체에서 레벨 차이가 발생한다. 이러한 레벨 차이를 "수평방향의 패턴 노이즈"라고 부른다.

수평방향의 패턴 노이즈는, 촬상 소자내에 있어서의 전원과 ＧＮＤ가 배치된 위치에 따라, 좌우 방향으로 강도차이를 일으키기도 한다. 각 화소의 전원과 ＧＮＤ로부터의 배선길이가 다르므로, 그 배선의 임피던스도 서로 다른 화소에 대해 다르다. 그 때문에, 전원과 ＧＮＤ로부터 먼 위치에 있는 화소만큼 배선의 임피던스가 커져서, 전원과 ＧＮＤ의 변동의 영향도 보다 강해진다. 그 결과, 패턴 노이즈의 강도는, 전원과 ＧＮＤ로부터 더 먼 위치에서 증가한다. 이러한 패턴 노이즈는, 화질을 악화시키는 요인이 되므로, 노이즈의 양을 감소하는 것이 요구된다.

수직방향의 패턴 노이즈는, 출력 앰프 특성에 의해 수직방향의 패턴 노이즈가 유일하게 정해지기 때문에, 출력 앰프마다의 변동 보정에 의해 보정가능하다. 한편, 수평방향의 패턴 노이즈는, 전원과 ＧＮＤ의 변동이 랜덤하면, 랜덤해진다. 이러한 패턴 노이즈를 보정하는 예시적인 방법은, 아래에 설명되는 오프셋 보정을 포함한다.

촬상 소자에는, 피사체로부터 반사된 광이 도달하지 않도록 차광된 옵티컬 블랙(이하, "ＯＢ"라고 칭한다)이라고 불리는 영역이 구비되어 있다. 패턴 노이즈는, 이 ＯＢ부에도 발생한다. 그래서, 오프셋 보정에서는, 이 ＯＢ부중 화소영역의 수평방향의 일단부에 띠형으로 설치된 수평 옵티컬 블랙(이하, "ＨＯＢ"라고 칭한다)의 행마다의 평균치를 산출하여, 수평방향의 패턴 노이즈량을 산출한다. 이 값을 비차광된 통상의 영역인 유효부의 각 행으로부터 감산하여서 패턴 노이즈를 보정한다.

또한, 노이즈 제거하는 방법으로서, 주파수 분해능을 이용한 노이즈 제거 방법이 제안되어 있다. 일본국 특허공개번호 2006-309749에는, 화상을 다중 해상도 변환에 의해 복수의 주파수대역에 있어서의 저주파성분 및 고주파성분으로 분해하고, 그 분해한 저주파성분 및 고주파성분의 각각에 대하여 노이즈 제거 처리를 행하는 방법이 제안되어 있다. 이 방법에서는, 노이즈 제거 처리에 에지(edge) 보존 평활화 필터를 채용하고, 그 노이즈 제거한 주파수 성분을 합성해서 보정 화상을 얻는다.

또한, 일본국 특허공개번호 2008-15741에서는, 촬상 소자에 의해 얻어진 화상을 고주파성분과 저주파성분으로 분해하는 조작을 되풀이하여, 그 결과의 성분을 복수의 주파수대역으로 분해하고, 각 주파수대역에 있어서의 고주파성분으로부터 노이즈 성분을 제거하여서, 주파수 합성에 의해 보정 화상을 얻는 방법이 제안되어 있다. 고주파성분으로부터 노이즈를 제거하기 위해서, 피사체 에지 성분을 잘못해서 제거하지 않도록 동일 주파수 대역에서의 저주파성분에 에지 검출 필터링을 하여서, 에지 보존 정보를 생성한다. 이 정보를 이용하여 상기 에지부 이외의 장소로 부터 노이즈를 제거한다.

그러나, 촬영 화상에는, 행 또는 열마다 발생하는 패턴 노이즈뿐만 아니라, 화소마다 랜덤하게 발생하는 랜덤 노이즈도 포함되어 있다. ＨＯＢ영역의 행마다의 평균치를 유효부로부터 감산하는 오프셋 보정에서는, 랜덤 노이즈가 많은 경우, 이 랜덤 노이즈의 영향으로 ＨＯＢ영역에서 정확하게 패턴 노이즈를 검출할 수 없다. 또한, 좌우방향으로 강도차이가 있는 패턴 노이즈가 발생하는 경우, ＨＯＢ영역에서만 좌우방향의 강도차이를 검출할 수 없다. 그 결과, 충분한 보정 효과를 얻을 수 없음과 아울러, 화질을 열화시킬 수도 있다.

또한, 일본국 특허공개번호 2006-309749에 개시된 노이즈 제거 방법은, 상기 에지 보존 평활화 필터를 사용하므로, 그 에지부이외의 장소에서는 노이즈의 유무에 상관없이 어떠한 노이즈도 보정된다. 마찬가지로, 일본국 특허공개번호 2008-15741에 개시된 노이즈 제거 방법도, 에지 검출 필터에 의해 에지가 검출된 위치이외의 위치에서는, 노이즈의 유무에 상관없이 보정한다. 따라서, 종래의 노이즈 제거 방법은, 원래 노이즈가 없고, 보정이 불필요한 위치에서도 노이즈 보정을 수행하고, 그 결과, 화상의 해상도가 열화하기도 한다.

본 발명은, 촬영 화상으로부터 좌우방향 또는 상하방향으로의 강도차이가 있는 패턴 노이즈를 정밀하게 검출할 수 있고, 이러한 패턴 노이즈를 보정하여서 화질을 향상할 수 있는 화상처리장치, 촬상장치, 및 화상처리방법을 제공하는데 있다.

본 발명은, 차광 화소영역 및 비차광 화소영역을 갖는 촬상 소자로부터 얻은 화상을, 2개 이상의 주파수 성분으로 분해하는 주파수 성분 분해부와, 상기 차광 화소영역의 주파수 성분에 의거하여, 상기 주파수 성분에 있어서의 노이즈량을 산출하는 노이즈량 산출부와, 상기 노이즈량 산출부에 의해 산출한 노이즈량에 따라, 상기 비차광 화소영역의 주파수 성분의 노이즈 성분을 억제하는 노이즈 억제부와, 상기 주파수 성분 분해부에 의해 분해한 주파수 성분을 합성해서 화상을 생성하는 주파수 성분 합성부를 구비한 화상처리장치를 제공한다.

본 발명에서는, 촬영 화상으로부터 좌우방향 또는 상하방향으로 강도차이가 있는 패턴 노이즈를 정밀하게 검출할 수 있고, 이러한 패턴 노이즈를 보정하여서 화질을 향상할 수 있다.

본 발명의 또 다른 특징은, 아래의 첨부된 도면을 참조하여 예시적 실시예들의 설명으로부터 명백해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 예시적 실시예들을 설명한다.

이하, 본 발명을 실시하기 위한 최선의 형태에 대해서 첨부도면들을 참조해서 설명한다.

(제1실시예)

도 1은, 본 발명에 의한 화상처리장치를 포함하는 촬상장치의 제1실시예를 나타내는 블록도이다. 제1실시예의 촬상장치는, 디지탈 카메라이며, 촬영 렌즈(10), 렌즈 제어부(11), 셔터(12) 및 셔터 제어부(13)를 구비한다. 또한, 상기 촬상장치는, 아날로그 프론트-엔드 회로(이하, "ＡＦＥ"라고 칭한다)(14), 디지털 프론트-엔드 회로(이하, "ＤＦＥ"라고 칭한다)(15), 타이밍 발생 회로(이하, "ＴＧ"라고 칭한다)(16), 메모리 제어 회로(17) 및 화상표시 메모리(18)를 구비한다. 상기 촬상장치는, 화상표시부(19), 메모리(20), 측거제어부(21), 온도계(22), 측광제어부(23), 플래시부(24), 악세사리 슈(shoe)(25), 시스템 제어 회로(26), 메모리(27), 표시부(28), 불휘발성 메모리(29), 조작부(30) 및 전원제어부(31)를 더 구비한다. 또한, 상기 촬상장치는, 전원부(32), 기록 매체(40), 촬상 소자(60) 및 화상처리부(100)를 더 구비한다.

촬영 렌즈(10)는, 피사체상을 촬상 소자(60) 위에 결상하는 촬영용의 렌즈다. 촬영 렌즈(10)에는, 모터(미도시됨)가 구비되고, 후술하는 측거제어부(21)의 처리 결과에 따라 모터를 구동하여, 초점을 맞추는 기구가 구비되어 있다. 렌즈 제어부(11)는, 촬영 렌즈(10)로부터 수신한 정보를 시스템 제어 회로(26)에 전달하는 동시에, 촬영 렌즈(10)의 동작 제어를 행한다. 셔터(12)는, 촬상 소자(60)의 노광량을 제어하는 메커니컬 셔터다. 셔터 제어부(13)는, 셔터(12)를 제어한다.

ＡＦＥ(14)는, 촬상 소자(60)로부터 출력된 아날로그 신호를 디지털 신호로 변환하는 Ａ/D변환기, 클램프 회로(오프셋 조정 회로), 및 D/A변환기를 구비한다. ＤＦＥ(15)는, ＡＦＥ(14)로부터 디지털 출력을 받고, 보정이나 재배열 등을 디지털 처리한다. ＴＧ(16)는, 촬상 소자(60), ＡＦＥ(14) 및 ＤＦＥ(15)에 클록 신호나 제어 신호를 공급한다. ＴＧ(16)는, 메모리 제어 회로(17) 및 시스템 제어 회로(26)에 의해 제어된다.

메모리 제어 회로(17)는, ＡＦＥ(14), ＤＦＥ(15), ＴＧ(16), 화상처리부(100), 화상표시 메모리(18) 및 메모리(20)를 제어한다. ＤＦＥ(15)로부터의 데이터는, 화상처리부(100) 및 메모리 제어 회로(17)를 거쳐서, 또는 메모리 제어 회로(17)를 거쳐서, 화상표시 메모리(18) 혹은 메모리(20)에 기록된다. 화상표시 메모리(18)는, 화상표시용의 메모리다. 화상표시부(19)는, 화상을 표시하는 표시 패널이며, 예를 들면, ＴＦＴ(ＴｈｉｎＦｉｌｍＴｒａｎｓｉｓｔｏｒ)방식의 ＬＣＤ(ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ)로 이루어진 화상표시부다. 메모리(20)는, 촬영된 정지 화상이나 동화상을 격납하는 메모리이며, 소정 매수의 정지 화상과 소정기간의 동화상을 격납하는데 충분한 기억 용량을 갖고 있다.

측거제어부(21)는, 시스템 제어 회로(26)에 의해 제어되어서 ＡＦ(오토 포커스)처리를 행하기 위한 측거를 행한다. 온도계(22)는, 촬영 환경에 있어서의 주위온도나 카메라 내부(촬상 소자주변 등)의 온도를 측정하기 위한 온도검지를 행한다. 측광제어부(23)는, 시스템 제어 회로(26)에 의해 제어되어서 ＡＥ(자동노출)처리를 행하기 위한 측광을 행한다. 또한, 측광제어부(23)는, 플래시부(24)에 연휴하여 플래시 촬영을 하는 기능도 갖는다.

플래시부(24)는, 피사체의 밝기가 어두울 때 보조 조명광을 섬광하는 일렉트로닉 플래시다. 플래시부(24)는, ＡＦ보조광의 투광조명 기능도 겸하고 있다. 플래시부(24)는, 악세사리 슈(25)에 직접 접속된다. 그렇지만, 촬영 상황에 따라서, 플래시부(24)는, 전용 케이블을 거쳐서 접속하거나, (미도시된) 무선통신부를 거쳐서 무선으로 접속하거나 해서, 촬상장치로부터 떨어진 위치에 배치하는 것도 가능하 다. 플래시부(24)의 접속 상태는, 악세사리 슈(25)의 통신 라인의 일부를 사용해서 판단하거나, (미도시된) 무선통신부의 통신 상태로부터 판단하거나 할 수 있다. 본 실시예에서는, 플래시부(24)는, 촬상장치에 착탈가능한 형태로 했다. 그렇지만, 플래시부(24)는, 촬상장치에 내장된 형태이여도 좋다. 악세사리 슈(25)는, 플래시부(24)등의 악세사리를 착탈가능한 접속부이며, 촬상장치에 고정되게 설치되어 있다.

시스템 제어 회로(26)는, 본 실시예의 촬상장치 전체를 통괄적으로 제어하는 제어부이며, 주지의 ＣＰＵ등을 내장한다. 메모리(27)는, 시스템 제어 회로(26)의 동작용의 정수, 변수 또는 프로그램을 기억하는 기억 수단이다. 표시부(28)는, 시스템 제어 회로(26)에 의한 프로그램의 실행에 따른 동작 상태나 메시지를 표시하는 표시부다. 불휘발성 메모리(29)는, 촬상장치의 동작에 필요한 각종 프로그램이 격납된 ＥＥＰＲＯＭ(전기적으로 소거 및 기록가능한 ROM) 등의 기억 수단이다.

조작부(30)는, 시스템 제어 회로(26)의 각종 동작 지시를 입력하기 위한 메인 스위치(기동 스위치), 셔터 스위치, 촬영 모드를 전환하기 위한 모드 설정 다이얼 등을 포함한 조작부다. 전원제어부(31)는, 전지검출회로나 ＤＣ-ＤＣ컨버터를 구비하고, 전원을 제어한다. 전원부(32)는, 알칼리 전지나 리튬 전지등의 일차전지, ＮｉＣｄ전지, ＮｉＭＨ전지, Ｌｉ전지등의 이차전지, ＡＣ어댑터등으로 이루어지는 전원이다. 기록 매체(40)는, 메모리 카드나 하드 디스크등의 착탈이 가능한 기록 매체다. 기록 매체는, (미도시된) 판독/기록장치에 장착된 상태로 정보를 판독하고 기록할 수 있다.

촬상 소자(60)는, 광학상인 피사체상을 전기신호로 변환한다. 이러한 특정 실시예에서는, 촬상 소자(60)로서 ＣＭＯＳ이미지 센서를 사용하고 있다. 촬상 소자(60)는, 광전변환을 행하는 반도체부의 표면에, 화소마다, 광을 투과 및 집광하기 위한 마이크로 렌즈ＭＬ과, 분광 투과율이 다르게 설치된 베이어 패턴 칼라 필터ＣＦ를 갖고 있다. 촬상 소자(60)의 상세에 대해서는, 후술한다. 화상처리부(100)는, ＤＦＥ(15)로부터 수신된 데이터 혹은 메모리 제어 회로(17)로부터 수신된 데이터에 대하여 소정의 화소보간 처리, 색변환 처리, 및 패턴 노이즈 보정 처리 등의 각종 화상처리를 행한다. 이러한 특정 실시예에서는, 특히 패턴 노이즈 보정 처리에 대해서 특징점을 갖고 있고, 이 상세에 대해서는 후술한다.

도 2는, ＣＭＯＳ이미지 센서를 사용하는 제1실시예의 촬상 소자(60)의 개략구성을 나타내는 도면이다. 촬상 소자(60)는, 화소영역으로서 수평 옵티컬 블랙(이하, "ＨＯＢ"라고 칭한다)(61), 수직 옵티컬 블랙(이하, "ＶＯＢ"라고 칭한다)(62) 및 유효부(63)를 갖고 있다. ＨＯＢ(61)는, 화소영역의 수평방향 일단부에 띠형으로 설치되어져, 피사체로부터 반사된 광이 촬상 소자(60)에 도달하지 않도록 설치된 차광 화소영역이다. 도 2의 예에서는, 촬상 소자(60)의 좌단부에 설치되어 있다. ＶＯＢ(62)는, 화소영역의 수직방향 일단부에 띠형으로 설치되어져, 피사체로부터 반사된 광이 촬상 소자(60)에 도달하지 않도록 차광 화소영역이다. 도 2의 예에서는, 촬상 소자(60)의 상단부에 설치되어 있다. 유효부(63)는, 차광되지 않고 피사체로부터 반사된 광이 도달가능한 비차광 화소영역이다.

도 3은, ＣＭＯＳ이미지 센서의 단위화소(1화소)(600)의 회로의 일례를 나타 내는 도면이다. 단위화소(600)는, 포토다이오드(이하, "ＰＤ"라고 칭한다)(601), 전송 스위치(이하, "ＴＸ"라고 칭한다)(602), 리셋트 스위치(603), 플로팅 디퓨젼(이하, "ＦＤ"라고 칭한다)(604), 앰프(605), 행선택 스위치(606)를 구비한다. 단위화소(600)는, 수직출력선(607)에 접속되어 있다. ＰＤ(601)는, 촬영 렌즈(10)(도 1 참조)에 의해 결상된 피사체상의 광을 수광해서 전하를 발생해 축적한다. ＴＸ(602)는, ＰＤ(601)에서 발생한 전하를 ＦＤ(604)에 전송하는 스위치이며, ＭＯＳ트랜지스터로 구성되어 있다. 리셋트 스위치(603)는, ＦＤ(604)의 전위를 리셋한다. ＦＤ(604)는, 전하를 일시적으로 축적하는 커패시터다. 앰프(605)는, 소스 폴로워로서 기능하는 증폭 ＭＯＳ앰프다. 행 선택 스위치(606)는, 행의 선택 스위치다. 이상의 구성으로, ＰＤ(601)에 축적된 전하를 ＴＸ(602)로 ＦＤ(604)에 전송해서 이 전하가 전압으로 변환되어, 앰프(605)로부터 소스 폴로워를 거쳐 수직출력선(607)에 화소출력이 출력된다.

도 4는, 제1실시예의 촬상 소자(60)가 채용하는 다채널 구성의 ＣＭＯＳ이미지 센서의 전체 레이아웃을 나타낸 도면이다. 도 4에 나타낸 배치에서는, 이미 도 3에서 설명한 단위화소(600)가 n×m(n과 m은, 자연수)의 매트릭스 형태로 배치된다(단위화소(600)(1-1) 내지 600(n-ｍ). 각 화소의 축적 제어는, 수직주사회로(647)로부터 발생된 신호(ＴＸ(602) 제어 신호φＴＸ, 리셋트 스위치(603) 제어 신호 φＲＥＳ, 행 선택 스위치(606) 제어 신호 φＳＥＬ)에 의해 행하여진다.

또한, 수직출력선 607(607(1) 내지 607(m))은, 수직방향으로 배치된 단위화소(600)에 공통으로 접속되어 있다. 이 수직출력선(607)은, 라인마다, S-N회로 645(645(1) 내지 645(m))에 접속되어 있다. S-N회로 645(645(1) 내지 645(m))의 출력 선택의 제어는, 수평주사회로 646(646a 및 646b)에 의해 행하여진다. S-N회로 645(645(1) 내지 645(m))의 출력은, 출력 앰프 644(644-1 내지 644-4)를 거쳐서 도 1의 ＡＦＥ(14) 등의 후단의 처리 회로에 출력된다.

도 4에 나타내는 ＣＭＯＳ이미지 센서에 있어서는, 고속처리에 대응하기 위해서, 수평의 복수화소(도 4에서는 4화소)를 동시에 처리할 수 있도록, 출력 앰프(644)를 4개 구비하여서, 신호들은 다른 출력 경로에 할당되어 그 결과의 데이터를 출력한다. 또한, 이 구성을 효율적으로 레이아웃 하기 위해서, 출력 경로는 수직출력선(607)으로부터 S-N회로(645)를 거쳐서 출력 앰프(644)에 이르고, 수평화소 중에서, 홀수 화소의 출력선(1열, 3열등)은, 촬상 소자 구성의 상부에 배치되어 있다. 마찬가지로, 수평화소 중에서, 짝수 화소의 출력선(2열, 4열등)은, 촬상 소자 구성의 하부에 배치되어 있다.

다시 말해, 본 실시예의 촬상 소자(60)가 채용하는 ＣＭＯＳ이미지 센서의 신호 출력 경로는, 이하의 2개의 경로로 크게 나눌 수 있다. 홀수열의 신호 출력 경로의 하나는, 화소출력으로부터 촬상 소자 상부의 Ｓ-N회로 블록645a를 통해 촬상 소자 상부에 배치된 출력 앰프 블록 644a(644-1 및 644-3)에 이른다. 짝수열의 신호 출력 경로의 나머지는, 화소출력으로부터 촬상 소자 하부의 Ｓ-N회로 블록 645b를 통해 촬상 소자 하부의 출력 앰프 블록644b(644-2 및 644-4)에 이른다.

S-N회로(645)는, ＣＭＯＳ이미지 센서 고유의 노이즈를 제거하는 것이며, 이것에 의해 ＣＣＤ이미지 센서와 동등한 Ｓ/Ｎ비를 얻을 수 있다. 행 선택 스위 치(606)에 의해 선택된 행의 화소출력에 대하여, 각각 신호 성분S와 노이즈 성분N을 보유해서 출력 앰프(644)에 의해 각 화소의 신호 성분S로부터 노이즈 성분N을 감산해서 노이즈가 없는 화소신호가 출력된다.

노이즈 성분은, ＴＸ(602)를 오프의 상태로 리셋트 스위치(603)에 의해 리셋된 ＦＤ(604)를, 앰프(605), 행 선택 스위치(606) 및 수직출력선(607)을 거쳐서 S-N회로(645)의 Ｎ(Ｎｏｉｓｅ)신호로서 보유된 것이다. 노이즈 성분에는, ＦＤ(604)의 리셋 노이즈, 앰프(605)의 게이트-소스간 전압의 화소간 변동 등이 있다. 신호 성분은, ＴＸ(602)를 펄스로 온으로 함으로써 ＰＤ(601)로부터 발생된 전하를 ＦＤ(604)에서의 전압으로 변환해서 노이즈 성분과 같이 S-N회로(645)에 S(Ｓｉｇｎａｌ)신호로서 보유된다. 노이즈 성분은, 상기 보유된 신호에도 포함된다. 앰프(644)에 의해 판독될 때에 S신호로부터 N신호를 감산하여서, 노이즈 성분이 캔슬된다.

배경기술에서 설명한 것처럼, 출력 앰프 블록644a(644-1 및 644-3)과 644b(644-2 및 644-4)의 특성에 변동이 있으면, 열마다 거의 똑같은 레벨 차이가 발생하고, 수직방향의 패턴 노이즈가 된다. 또한, 각각의 화소 600(1-1) 내지 600(n-m) 중에서 전원과 ＧＮＤ는 공통이기 때문에, 선택 행의 판독중에 이것들의 화소에 대한 전원과 ＧＮＤ가 변동하면, 선택 행 전체에 레벨 차이가 발생하여, 수평방향의 패턴 노이즈가 된다. 수직 및 수평방향의 패턴 노이즈는, 유효부뿐만아니라, ＯＢ부에도 마찬가지로 발생한다. 이러한 특정 실시예에서는, 이들 패턴 노이즈를 화상처리부(100)의 동작에 의해 저감한다.

도 5는, 화상처리부(100)의 회로 구성 예를 나타내는 블록도이다. 화상처리부(100)는, 주파수 성분 분해부(110)와 주파수 성분 합성부(120)를 갖고 있다. 또한, 주파수 성분 합성부(120)는, 보정부 123(124)을 갖고 있다. 주파수 성분 분해부(110)는, 화상처리부(100)에 대한 입력 화상을 웨이브렛(Ｗａｖｅｌｅｔ) 변환을 적용하여 복수의 주파수 성분으로 분해한다. 주파수 성분 합성부(120)는, 주파수 성분 분해부(110)가 분해한 주파수 성분에 대하여 보정부 123(124)에 의해 패턴 노이즈 억제 처리를 실시한다. 그 후, 그 분해된 주파수 성분을 합성해서 출력 화상을 얻는다. 이러한 특정 실시예에서는, 웨이브렛 변환으로서 이산 웨이브렛 변환(ＤｉｓｃｒｅｔｅＷａｖｅｌｅｔＴｒａｎｓｆｏｒｍ: ＤＷＴ)을 사용한다.

도 6은, 주파수 성분 분해부(110)의 회로 구성 예를 나타내는 기능 블록도이다. 도 6에 도시한 것처럼, 주파수 성분 분해부(110)는, 제1주파수 성분 분해부(111)(레벨 1), 제2주파수 성분 분해부(112)(레벨 2) 등의 복수의 주파수 성분 분해부를 갖고 있다. 주파수 성분 분해부(110)는, 제1주파수 성분 분해부(111), 제2주파수 성분 분해부(112) 등에 있어서, 입력 화상을 웨이브렛 변환을 적용하여 복수의 주파수 성분으로 분해한다. 또한, 주파수 성분 분해부(110)는, 제1주파수 성분 분해부(111), 제2주파수 성분 분해부(112) 등에 각각 대응하도록 설치된 복수의 수평ＤＷＴ부 1111, 1121 등과 복수의 수직ＤＷＴ부 1112, 1113, 1122, 1123 등을 구비한다.

수평ＤＷＴ부 1111, 1121 등은, 입력 화상 또는 후술하는 수직ＤＷＴ부 1113, 1123 등에 의해 생성된 ＬＬ화상에 대하여 수평방향으로 웨이브렛 변환 처리 를 행한다. 수평ＤＷＴ부 1111, 1121 등은, 이 웨이브렛 변환 처리에 의해, 웨이브렛 전개 계수로 이루어지는 고주파성분과, 스케일링 계수로부터 이루어지는 저주파성분을 생성한다.

도 7은, 입력 화상이 복수의 주파수 성분으로 분해되는 모양을 나타내는 도면이다. 도 7에 도시한 것처럼, 입력 화상(71)을 수평방향에 있어서의 고주파성분(H화상(72))과 저주파성분(L화상(73))의 2개로 분해한다. 이때, H화상(72) 및 L화상(73)의 수평방향의 화소수는, 분해전의 화상의 반이 된다. 수직ＤＷＴ부 1112, 1122 등은, 수평ＤＷＴ부 1111, 1121 등에 의해 생성된 Ｈ화상에 대하여 수직방향으로 웨이브렛 변환 처리를 행하고, 수직방향 고주파성분 및 대각방향 고주파성분을 생성한다. 즉, 도 7에 도시한 것처럼, H화상(72)을 수직방향 고주파성분(ＨＬ화상(74))과 대각방향 고주파성분(ＨＨ화상(75))의 2개로 분해한다. 이때, ＨＬ화상(74) 및 ＨＨ화상(75)의 수직방향의 화소수는, 분해전의 화상의 반이 된다.

수직ＤＷＴ부 1113, 1123 등은, 수평ＤＷＴ부 1111, 1121 등에 의해 생성된 Ｌ화상에 대하여 수직방향으로 웨이브렛 변환 처리를 행하여, 저주파성분 및 수평방향 고주파성분을 생성한다. 즉, 도 7에 도시한 것처럼, L화상(73)을 저주파성분(ＬＬ화상(76))과 수평방향 고주파성분(ＬＨ화상(77))의 2개로 분해한다. 이때, ＬＬ화상(76) 및 ＬＨ화상(77)의 수직방향의 화소수는 분해전의 화상의 반이 된다.

제1주파수 성분 분해부(111)에 있어서의 상기 처리에 의해, 도 7에 나타낸 입력 화상(71)은, ＨＨ화상(75), ＨＬ화상(74), ＬＨ화상(77), 및 ＬＬ화상(76)의 4개로 분해된다. 그리고, 이 4개의 화상 중, ＬＬ화상(76)이 제2주파수 성분 분해 부(112)에 입력되고, 또 ＨＨ화상(79), ＨＬ화상(78), ＬＨ화상(711), 및 ＬＬ화상(710)의 4개로 분해된다. 이 4개의 화상중, ＬＬ화상(710)이 제3주파수 성분 분해부에 입력되고, 마찬가지로 ＨＨ, ＬＨ, ＨＬ, 및 ＬＬ화상의 4개로 분해된다. 이렇게, 입력 화상을 3개의 방향성분을 갖는 고주파성분과 1개의 저주파성분으로 분해하고, 1개의 저주파성분을 3개의 고주파성분과 1개의 저주파성분으로 또 분해하는 처리를 반복한다. 상기의 처리에 의해, 입력 화상(71)은, 복수의 주파수 성분으로 분해된다. 제1주파수 성분 분해부(111), 제2주파수 성분 분해부(112) 등에 있어서의 분해를 각각 레벨1, 2 등에서의 분해라고 한다.

주파수 분해 처리의 구체적인 계산 예에 대해서 도 7을 참조하여 설명한다. 입력 화상(71)의 화소 사이즈를 만일 16×16이라고 하고 각 화소의 값을 s_n,m ⁽⁰⁾이라고 하고, 이때 n은 수직위치, m은 수평위치, 지수의 숫자는 분해 레벨을 나타낸다. 레벨0은 입력 화상이다. 수평ＤＷＴ부(1111)에서는, 입력 화상(71)(s_n,m ⁽⁰⁾)에 대하여 행마다 식(1) 및 식(2)에 나타내는 계산을 해서 스케일링 계수로 이루어진 Ｌ화상 73(s_n,m ^(1')) 및 웨이브렛 전개 계수로이루어진 Ｈ화상 72(ω_n,m ^(1'))을 산출한다.

[식1]

[식2]

식(1)의 p_k(k=0～3)은, 스케일링을 나타내는 수열이며, 본 실시예에서는, 이하의 표1에 나타내는 도베시(Daubechies)의 수열을 사용하고 있다.

이때, 수열의 개수는, 식(1) 및 식(2)를 사용한 계산에 필요한 탭수이다. 이 러한 특정 실시예에서는, 탭수가 4이다. 식(2)의 q_k는, 웨이브렛을 나타내는 수열이며, 스케일링을 나타내는 수열p_k로부터 식(3)을 사용하여 산출할 수 있다.

[식3]

식(3)

또한, L화상 73(s_n _,m ^(1')) 및 H화상 72(ω_n,m ^(1'))에 대한 m의 범위는 1～8이다. 입력 화상에 대하여 수평방향의 화소수가 1/2(해상도: 1/2)로 감소되지만, n은 수직 화소수가 16으로 유지된다.

수직ＤＷＴ부(1112)에서는, 수평ＤＷＴ부(1111)로 분해된 Ｈ화상 72(ω_n,m ^(1'))에 대하여, 열마다 식(4), (5)에 기재된 계산을 해서 ＨＬ화상 74(ω_n,m ^(1,v)) 및 ＨＨ화상 75(ω_n,m ^(1,d))을 산출한다.

[식4]

[식5]

지수부의 ｖ 및 d는, 각각 수직방향성분 및 대각방향성분을 나타낸다. 또한, ＨＬ화상 74(ω_n,m ^(1,v)) 및 ＨＨ화상 75(ω_n,m ^(1,d))에 대한 n의 범위는 1～8이다. 분해전의 화상에 대하여 수직방향의 화소수가 1/2(해상도: 1/2)이 저감된다. 수직ＤＷＴ부(1113)에서는, 수평ＤＷＴ부(1111)에서 분해된 Ｌ화상 73(s_n,m ^(1'))에 대하여, 열마다 식(6), (7)과 같은 계산을 해서 ＬＬ화상 76(s_n,m ⁽¹⁾)과 ＬＨ화상 77(ω_n,m ^(1,h))을 산출한다.

[식6]

[식7]

식(7)에서, 지수부 ｈ는, 수평방향성분을 나타낸다. 또한, ＬＬ화상76(s_n,m ⁽¹⁾), ＬＨ화상 77(ω_n,m ^(1,h))에 대한 n의 범위는 1～8이다. 분해전의 화상에 대하여 수직방향의 화소수가 1/2(해상도: 1/2)이 저감된다. 이상의 순서로, 입력 화상(71)인 s_n,m ⁽⁰⁾(n,m=1～16)에 대한 제1주파수 성분 분해부(111)에서의 분해(분해레벨1)가 행하여진다. 분해의 결과, 수평방향 및 수직방향으로 모두 해상도가 반이 된 3개의 고주파성분 ω_n,m ^(1,v), ω_n,m ^(1,d), ω_n,m ^(1,h)(n,m=1～8)과 1개의 저주파성분s_n,m ⁽¹⁾이 출력된다. 이 중 저주파성분인 s_n,m ⁽¹⁾이 제2주파수 성분 분해부(112)에 입력된다. 제2주파수 성분 분해부(112)에서는, s_n,m ⁽¹⁾에 대하여 상기와 같은 계산을 행하여, ω_n,m ^(2,v), ω_n,m ^(2,d), ω_n,m ^(2,h)(n,m=1～4)을 출력한다.

도 8은, 주파수 성분 합성부(120)의 회로 구성 예를 나타내는 기능 블록도이 다. 주파수 성분 합성부(120)는, 제1주파수 성분 합성부(121), 제2주파수 성분 합성부(122)등의 복수의 주파수 성분 합성부를 구비한다. 또한, 주파수 성분 합성부(120)는, 각 주파수 성분 합성부에 대응하게 설치된 복수의 보정부 123, 124등을 구비한다. 주파수 성분 합성부(120)는, 주파수 성분 분해부(110)가 행한 주파수 성분 분해 처리에 의해 생성된 각 주파수대역에 있어서의 ＨＨ, ＬＨ, ＨＬ 및 ＬＬ화상을 역 웨이브렛 변환에 의해 합성한다. 주파수 성분 합성부(120)는, 제1주파수 성분 합성부(121), 제2주파수 성분 합성부(122) 등 각각에 대응하게 설치된 수직역ＤＷＴ부 1211, 1212, 1221, 1222 등 및 수평역ＤＷＴ부 1213, 1223 등을 구비한다.

각 수직역ＤＷＴ부는, 주파수 성분 분해부(110)에 의해 생성된 ＨＨ, ＬＨ, ＨＬ 및 ＬＬ화상에 대하여, 수직방향으로 역 웨이브렛 변환을 행하여서, 고주파화상(H화상) 및 저주파화상(L화상)을 생성한다. 수직역ＤＷＴ부(1211, 1221)는, ＨＨ화상 및 ＨＬ화상에 대하여 수직방향의 합성 처리를 행하여서, H화상을 생성한다. 다시 말해, 이것은, 도 7의 ＨＨ화상(75) 및 ＨＬ화상(74)을 합성해서 H화상(72)을 생성하는 처리에 해당한다. 이 처리에 의해 수직방향의 화소수는, 합성전의 화상의 2배가 된다. 수직역ＤＷＴ부(1212, 1222)는, ＬＨ화상 및 ＬＬ화상에 대하여 수직방향의 합성 처리를 해서 L화상을 생성한다. 다시 말해, 이것은, 도 7의 ＬＨ화상(77) 및 ＬＬ화상(76)을 합성해서 L화상(73)을 생성하는 처리에 해당한다. 이 처리에 의해 수직방향의 화소수는, 합성전의 화상의 2배가 된다.

수평역ＤＷＴ부(1213, 1223)는, 상기 수직역ＤＷＴ부(1211, 1221, 1212, 1222)에 의해 생성된 Ｈ 및 L화상에 대하여 수평방향으로 역 웨이브렛 변환을 행하여, 합성 화상을 생성한다. 다시 말해, 이것은, 도 7의 Ｌ화상(73) 및 H화상(72)을 합성해서 합성 화상(71)을 생성하는 처리에 해당한다. 이 합성 화상은, 제(j+1) 주파수 성분 합성부에서 합성된 것이면, 제j주파수 성분 합성부에 입력되는 ＬＬ화상이 된다. 제1주파수 성분 합성부에서 합성된 화상은, 출력 화상이 된다. 상기한 바와 같이, 주파수 성분 합성부(120)는, 주파수 성분 분해부(110)가 행한 분해처리의 역순서로 합성 처리를 행한다.

주파수 합성 처리의 구체적인 계산 예에 대해서 도 7을 참조하여 설명한다. 수직역ＤＷＴ부(1211)에는, 제2주파수 성분 분해부(112)에서 분해된 ＨＨ화상 79(ω_n,m ^(2,d)) 및, 제2주파수 성분 분해부(112)에서 분해되어, 후술하는 보정부(123)에 의해 보정된 ＨＬ화상 78(ω_n,m ^(2,v))이 입력된다. 식(8)에 기재된 계산에 의해 H화상(ω_n,m ^(2'))이 합성된다. 이 합성처리에 의해 수직방향의 화소수는, 합성전의 화상의 2배가 된다.

[식8]

수직역ＤＷＴ부(1212)에는, 제3주파수 성분 합성부에서 합성 출력된 화상 710(ｓ_n,m ⁽²⁾)이 ＬＬ화상으로서 입력된다. 또한, 제2주파수 성분 분해부(112)에서 분해되어, 후술하는 보정부(123)에 의해 보정된 ＬＨ화상 711(ω_n,m ^(2,h))도 입력된다. 식(9)에 기재된 계산에 의해 L화상(ｓ_n,m ^(2'))이 생성된다. 이 합성처리에 의해, 수직방향의 화소수는 합성전의 화상의 2배가 된다.

[식9]

수평역ＤＷＴ부(1213)에는, 수직역ＤＷＴ부(1211)에서 합성된 Ｈ화상(ω_n,m ^(2')) 및 수직역ＤＷＴ부(1212)에서 합성된 Ｌ화상(ｓ_n,m ^(2'))이 입력된다. 식(10)에 기재된 계산에 의해 합성 화상 76(ｓ_n,m ⁽¹⁾)이 생성된다. 이 합성처리에 의해, 수평방향의 화소수는, 합성전의 화상의 2배가 된다.

[식10]

이상의 순서에 의해, 제2주파수 성분 합성부(121)는, 제3주파수 성분 합성부에서 합성 출력된 화상ｓ_n,m ⁽²⁾(n,m=1～4) 및 제2주파수 성분 분해부(112)에서 분해된 3개의 고주파화상ω_n,m ^(2,d), ω_n,m ^(2,v), ω_n,m ^(2,h)(n,m=1～4)의 합성이 행하여진다. 합성의 결과, 수평방향과 수직방향 모두에서 화소수가 2배가 된 합성 화상ｓ_n,m ⁽¹⁾(n,m=1～8)이 생성된다. 이 합성 화상ｓ_n,m ⁽¹⁾은, 제1주파수 성분 합성부(122)에 입력되는 ＬＬ화상이 된다.

제1주파수 성분 합성부(122)는, 상기 ｓ_n,m ⁽¹⁾(n,m=1～8) 및 제1주파수 성분 분해부(111)에서 분해된 ω_n,m ^(1,d), ω_n,m ^(1,v), ω_n,m ^(1,h)(n,m=1～8)에 대하여 상기와 같은 계산을 행한다. 그 결과, 합성 화상ｓ_n,m ⁽⁰⁾(n,m=1～16)이 생성된다. 이 합성 화상ｓ_n,m ⁽⁰⁾은, 화상처리부에의 입력 화상에 대한 보정 화상이다.

다음에, 보정부에 있어서의 보정 처리에 대해서, 예로서 ＬＨ화상에 대한 처리를 이용해서 구체적으로 설명한다. 보정부 123, 124 등은, 제1주파수 성분 합성부(121), 제2주파수 성분 합성부(122) 등 각각에 대응하게 설치되어 있다. 주파수 성분 합성부 내에 설치된 보정부 123, 124 등에는, ＨＬ, ＬＨ 및 ＨＨ화상이 입력된다. 이들 중, 보정부 123, 124 등은 ＨＬ 및 ＬＨ화상에 대하여 패턴 노이즈 억 제 처리를 행한다. 도 9는, 보정부(123)의 구성을 나타내는 블록도이다. 보정부(123)는, ＨＯＢ참조부(1231), ＶＯＢ참조부(1232) 및 노이즈 억제부(1233, 1234)를 구비한다.

ＨＯＢ참조부(1231)는, 노이즈량 산출부(1231a)를 구비한다. 이 노이즈량 산출부(1231a)는, 입력된 ＬＨ화상의 ＨＯＢ부의 웨이브렛 전개 계수로부터, 주파수대역에 대응한 행마다의 패턴 노이즈 성분량을 산출하고, 이 상세에 대해서는 후술한다. 또한, ＨＯＢ참조부(1231)는, 노이즈 판정부(123lb)를 구비한다. 이 노이즈 판정부(123lb)는, 노이즈량 산출부(1231a)가 산출한 노이즈 성분량으로부터 패턴 노이즈가 있는 것인가 아닌가를 판정한다. 그리고, 노이즈가 있다고 판정된 행에 대하여는, 후술하는 노이즈 억제부(1233)에 있어서 노이즈 억제 처리를 행한다.

ＶＯＢ참조부(1232)는, 노이즈량 산출부(1232a)를 구비한다. 이 노이즈량 산출부(1232a)는, 입력된 ＨＬ화상의 ＶＯＢ부의 웨이브렛 전개 계수로부터, 주파수대역에 대응한 열마다의 패턴 노이즈 성분량을 산출한다. 또한, ＶＯＢ참조부(1232)는, 노이즈 판정부(1232b)를 구비한다. 이 노이즈 판정부(1232b)는, 노이즈량 산출부(1232a)가 산출한 노이즈 성분량으로부터 패턴 노이즈가 있는 것인가 아닌가를 판정한다. 노이즈가 일어났다고 판정된 열에 대하여는, 후술하는 노이즈 억제부(1234)에 있어서 노이즈 억제 처리를 행한다. 이 처리에 의해 패턴 노이즈가 일어나는 행 또는 열만의 보정이 가능하다.

상기 노이즈 억제부(1233, 1234)는, ＨＯＢ참조부(1231) 또는 ＶＯＢ참조부(1232)에서 노이즈가 일어났다고 판정된 행 또는 열에 대하여, 노이즈 억제 처리 를 행한다. 노이즈 억제부(1233, 1234)는, 각각 노이즈 분리부(1233a, 1234a)를 구비한다. 노이즈 분리부(1233a, 1234a)는, 각각 노이즈량 산출부(1231a, 1232a)가 산출한 패턴 노이즈 성분량으로부터 유효부의 피사체성분과 노이즈 성분을 분리하기 위한 임계값을 결정하는 임계값 결정부로서도 기능한다. 노이즈 분리부(1233a, 1234a)는, 결정한 임계값을 사용하여 피사체성분과 패턴 노이즈 성분을 분리한다. 노이즈 억제부(1233, 1234)는, 노이즈 분리부(1233a, 1234a)로 분리된 패턴 노이즈 성분만을 억제하도록 보정 계수를 웨이브렛 전개 계수에 곱하고, 이 상세에 대해서는 후술한다.

보정부(123)에서 행한 보정 처리에 대해서, 예로서 ＬＨ화상에 대한 처리를 참조하여 구체적으로 설명한다. 도 10은, 보정 처리를 설명하는 도면이다. 도 10a는, 입력 화상의 일례를 나타낸다. 도 10a의 예에서는, 화소수는 수직방향이 N, 수평방향이 M이라고 한다. 이 화상에서는, 좌단의 제1열～제32열이 ＨＯＢ이다. 이 입력 화상이 제1주파수 성분 분해부(111)에 입력되어서, 주파수분해(레벨1의 분해)에 의해 생성된 ＬＨ화상을 생성한다. 이러한 ＬＨ화상은, 도 10b에 나타낸다. 상기ＬＨ화상에서는, 화소수가 열 및 행마다 분해전의 화상의 1/2로 감소된다. 따라서, LＨ화상에 있어서의 ＨＯＢ은, 좌단의 제1열～제16열에 해당한다. 그렇지만, 식(2)의 계산으로부터 제16열은, ＨＯＢ부 및 유효부의 양쪽의 성분을 포함한다. 이 ＬＨ화상의 제(n-1)행 및 제ｎ행의 값(웨이브렛 전개 계수)을 추출하여 각각의 절대값을 산출하면, 각각의 절대값은 도 11a 및 도 11b에 도시되어 있다.

도 11은, ＬＨ화상에 있어서의 패턴 노이즈 발생 행(도 11b) 및 비발생 행 (도 11a)의 웨이브렛 전개 계수의 절대값을 나타낸다. 패턴 노이즈 성분은, (도 11b에 도시된 것처럼) 유효부 및 차광된 ＨＯＢ부의 양쪽에 포함되고, 피사체 에지(edge) 성분(그 자체의 도 11a에 도시됨)은, 유효부에만 포함된다. 따라서, 노이즈량 산출부에 있어서, ＨＯＢ부의 행마다의 웨이브렛 전개 계수의 절대값의 평균값ａｖｅ(n)을 산출하여서, 각 주파수대역에 대응한 행마다의 패턴 노이즈 성분량을 계산할 수 있고, 여기에서 n은 행수를 의미한다.

그렇지만, ＨＯＢ 중, 평균값ａｖｅ(n)의 계산에 사용된 열의 범위는, 주파수대역에 따라 다르다. 도 10a는 입력 화상의 예이다. 제1주파수 성분 분해부에서 분해된 레벨1의 ＬＨ화상에서는, 좌단의 제1열～제16열이 ＨＯＢ에 해당하고, 상기 유효부의 성분이 포함되는 제16열을 제외한 제1열～제15열을 사용해서 평균값ａｖｅ(n)을 산출한다. 레벨2의 ＬＨ화상에서는, 좌단의 제1열～제8열이 ＨＯＢ에 해당하고, 이 중, 유효부의 성분이 포함되는 제8열을 제외한 제1～제7열을 사용한다. 마찬가지로, 레벨3의 ＬＨ화상에서는, 좌단의 제1～제3열을 사용한다. 이렇게 분해 레벨이 오를 때마다 ＨＯＢ의 열의 범위가 반으로 감소된다. 그 감소된 열중에서, 유효부의 성분이 포함되는 화소를 제외한 열의 범위를 사용해서 ａｖｅ(n)을 산출한다.

도 11a에 도시한 것처럼, 산출한 평균값ａｖｅ(n)이 소정의 노이즈 판정 기준값 이하일 경우에, 그 행에 패턴 노이즈가 없다고 노이즈 판정부(123lb)는 판정한다. 그리고, 노이즈 억제부(1233)는, 그 행에 대하여 노이즈 억제 처리를 행하지 않는다. 한편, 도 11b에 나타낸 것처럼, 평균값ａｖｅ(n)이 상기 노이즈 판정 기준 값보다도 클 경우에는, 그 행에 패턴 노이즈가 있다고 노이즈 판정부(123lb)가 판정한다. 그리고, 노이즈 억제부(1233)에 의해 노이즈 억제 처리를 행한다. 여기에서, 노이즈 판정 기준값은, 고정 값이여도 좋거나, 각 주파수대역의 보정부마다 개별의 값을 설정해도 좋다. 또한, 주파수 분해한 대각방향 고주파성분인 ＨＨ화상으로부터 산출한 값을 사용하여도 된다. 이 상세에 대해서는 제2실시예에서 설명한다.

다음에, 노이즈 억제부(1233)에 있어서의 처리에 대해서 설명한다. 노이즈 억제부(1233)는, ＨＯＢ참조부(1231)의 노이즈 판정부(123lb)에 의해 패턴 노이즈가 있다고 판정된 행에 대하여 노이즈 억제 처리를 행한다. 패턴 노이즈가 있다고 판정된 행의 유효부에는, 피사체의 에지 성분 및 패턴 노이즈 성분이 포함된다. 유효부에 있는 피사체의 신호 레벨보다 패턴 노이즈의 진폭이 작기 때문에, 주파수 변환된 웨이브렛 전개 계수의 절대값의 패턴 노이즈 성분은, 피사체 에지 성분보다 작다. 따라서, 상기 ＨＯＢ부에서 산출한 평균값ａｖｅ(n)에 식(11)에 나타낸 것 같이 전개 계수의 변동을 고려하여, 소정의 계수를 곱한 값Ｗｔｈ(n)을 패턴 노이즈 성분 및 피사체 에지 성분을 분리하기 위한 임계값으로서 사용할 수 있다. 노이즈 분리부(1233a)에서는, 이 임계값을 사용하여 패턴 노이즈 성분 및 피사체 에지 성분을 분리한다. 여기에서는, 상기 변동을 고려해서 ａｖｅ(n)에 곱해진 소정의 계수는 예로서 1.1로 했다.

[식11]

식(11)

다음에, 유효부의 웨이브렛 전개 계수의 절대값을 단위화소마다 산출한다. 각 단위화소의 절대값의 크기에 따라, 웨이브렛 전개 계수에 보정 계수를 곱한다. 이 보정 계수는, 도 12에 나타낸 것 같은 임계값Ｗｔｈ(n)의 전후에서 값이 다르다. 도 12a는, 노이즈 억제부에 있어서 웨이브렛 전개 계수에 곱해지는 보정 계수를 나타내는 도면이다. 유효부의 웨이브렛 전개 계수의 절대값이 임계값Ｗｔｈ(ｎ)미만의 단위화소에서는, 달리 말하면, 그 단위화소가 패턴 노이즈 성분일 경우는, 보정 계수c(0≤c<1)를 웨이브렛 전개 계수에 곱하고, 패턴 노이즈 성분을 억제한다. 보정 계수c의 값은, 예를 들면 0.4이다. 유효부의 웨이브렛 전개 계수의 절대값이 임계값Ｗｔｈ(ｎ)이상의 단위화소에서는, 달리 말하면, 그 단위화소가 피사체 에지 성분일 경우는, 그 피사체 에지 성분을 보유하기 위해서, 보정 계수 c=1을 웨이브렛 전개 계수에 곱한다.

상기 처리는 식(12)와 같이 요약될 수 있고, 이때 ｗ_n,m ^{(j, h)}은, 보정전의 웨이브렛 전개 계수, w'_n,m ^{(j, h)}은, 보정후의 웨이브렛 전개 계수다. 또한, j는, 주파수대역을 의미하는 레벨이며, h는, 수평방향성분이다.

[식12]

여기서, 상기 웨이브렛 전개 계수의 절대값이 임계값Ｗｔｈ(ｎ)미만일 경우에 사용된 보정 계수c는, 상기 예와 같이 고정 값이여도 되거나, 주파수대역마다 개별의 값이어도 된다. 또한, 보정 계수가 임계값의 전후에서 불연속일 경우, 이 불연속성은 피사체의 윤곽에 영향을 미치기도 한다. 이러한 영향을 막기 위해서, 예를 들면 도 12b에 도시된 것 같이 보정 계수는 연속적으로 변화되어도 된다. 이 예에서는, 보정 계수c는, 웨이브렛 전개 계수가 Ｗｔｈ(n)/2이하일 때 0.4이고, 그 계수가 Ｗｔｈ(ｎ)이상일 때는 1이고, Ｗｔｈ(n)/2과 Ｗｔｈ(n)과의 사이에서는, 0.4～1의 사이에서 선형으로 변화된다.

이와는 달리, 도 12c에 도시된 것처럼, 웨이브렛 전개 계수의 절대값이 임계값Ｗｔｈ(ｎ)미만의 경우에 사용하는 보정 계수를 X(ａｖｅ(n))로 하여서, ＨＯＢ부에서 산출한 행마다의 평균값ａｖｅ(n)에 따라 보정 계수를 바꾸어도 된다. 이 경우, X(ａｖｅ(n))의 값은, 예를 들면, 도 12d인 것 같이 한다. 도 12d의 예에서는, 패턴 노이즈 성분ａｖｅ(n)이 노이즈 판정 기준값과 동일할 때에 X(ａｖｅ(n))(다시 말해, 보정 계수c)을 1로 해서 패턴 노이즈 성분이 커짐에 따라서 X(ａｖｅ(n))이 선형으로 감소시켜, 0.1을 하한으로 한다. 즉, 패턴 노이즈 성분이 큰 행일수록 보정 계수가 작아져서, 패턴 노이즈 성분의 억제량을 크게 한다.

상기 ＬＨ화상에 대한 보정 처리를 행하여, 합성되는 보정 화상 패턴 노이즈의 진폭을 작게 할 수 있다. 패턴 노이즈의 진폭이 수평위치에 따라 다른 경우, ＯＢ의 평균값을 유효부로부터 감산하는 오프셋 보정에서는, ＯＢ로부터 떨어진 위치에서 충분한 보정 효과를 얻을 수 없는 것은 이미 설명했다. 한편, 웨이브렛 전개 계수에 보정 계수를 곱해서 패턴 노이즈를 억제하는 본 실시예에 따른 보정 방법에서는, 패턴 노이즈의 진폭이 수평위치에 따라 다른 경우라도 패턴 노이즈의 진폭을 감소시켜서, 균일한 보정 효과를 얻을 수 있다.

상술한 것과 같은 보정부(123)에서 실시된 보정 처리(ＬＨ화상에 대한 처리의 동작 예)에 대해서, 플로우챠트를 이용해서 요약한다. 도 13은, 보정부에서 실시된 ＬＨ화상에 대한 행마다의 처리의 흐름을 나타내는 플로우챠트다. 먼저, ＨＯＢ참조부(1231)의 노이즈량 산출부(1231a)에 의해 전개 계수의 절대값의 평균값ａｖｅ(n)을 산출한다(단계(이하, "S"라고 한다) 101).

다음에, 노이즈 판정부(123lb)는, 노이즈량 산출부(1231a)가 산출한 ａｖｅ(n)과 패턴 노이즈 판정 기준값을 비교한다(Ｓ102). ａｖｅ(n)이 판정 기준값미만이고, 그 행에 패턴 노이즈가 없다고 판정되었을 경우(S102:Ｎｏ), 노이즈 억제부에서는 노이즈 억제 처리를 행하지 않고, 그 행에 대한 처리를 종료한다. 한편, ａｖｅ(n)이 판정 기준값이상인 경우(S102:Ｙｅｓ), 노이즈 억제부(1233)는 노이즈 억제 처리를 행한다.

노이즈 억제부(1233)의 노이즈 분리부(1233a)에서는, 패턴 노이즈가 있다고 판정된 행에 대하여, 패턴 노이즈와 피사체 에지 성분을 분리하기 위한 임계값Ｗｔｈ(n)을 산출한다(Ｓ103). 다음에, 유효부의 각 화소의 전개 계수의 절대값을 산출한다(Ｓ104). 산출한 절대값의 크기에 따라, 임계값Ｗｔｈ(n)을 갖는 보정 계수를 각 화소의 웨이브렛 전개 계수에 곱하여, 패턴 노이즈 성분을 억제한다(Ｓ105). 행마다 S101～S105까지의 처리를 행한다. 상기의 처리를 각 주파수 성분 합성부의 보정부에서 행함으로써, 패턴 노이즈 성분만이 억제되어서, 피사체 에지 성분을 포함하는 ＬＨ화상을 얻을 수 있다.

ＨＯＢ참조부(1231) 및 노이즈 억제부(1233)에서 실시된 ＬＨ화상에 대한 처리에 대해서 설명했다. ＶＯＢ참조부(1232) 및 노이즈 억제부(1234)에 있어서의 ＨＬ화상에 대해서도 상기와 같은 처리를 행하면, 수직방향의 패턴 노이즈 성분을 억제할 수 있다.

다음에, 제1실시예의 촬상장치의 화상처리부(100)에 있는 노이즈 억제 처리의 흐름을 설명한다. 도 14는, 화상처리부(100)에 있어서의 노이즈 억제 처리를 나타내는 예시적 플로우챠트다. 우선, ＤＦＥ(15)등으로부터 얻어진 화상을 화상처리부(100)가 취득한다(Ｓ201).

다음에, 이 입력 화상이 제1주파수 성분 분해부(111)에 입력되어, 고주파화상(ＨＨ, ＨＬ 및 ＬＨ화상) 및 저주파화상(ＬＬ화상)이 생성된다(Ｓ202). 이 저주파화상(ＬＬ화상)이 제2주파수 성분 분해부(112)에 입력되어, 마찬가지로 고주파화상(ＨＨ, ＨＬ 및 ＬＨ화상) 및 저주파화상(ＬＬ화상)이 생성된다(Ｓ203). 마찬가지로, 제2주파수 성분 분해부에서 생성된 저주파화상(ＬＬ화상)은, 제3주파수 성분 분해부에 입력되어서 더욱 분해된다. 이 처리가 소정의 분해 레벨까지 되풀이된다(Ｓ204).

최상위의 분해 레벨인 제j 주파수 성분 분해부에서 분해된 고주파화상(ＨＨ, ＨＬ 및 ＬＨ화상) 및 저주파화상(ＬＬ화상)이 제j 주파수 성분 합성부에 입력된다. 이 4개의 화상 중, ＨＬ 및 ＬＨ화상은, 보정부에 의해 노이즈 억제된다. 그 후, ＨＨ, ＬＬ화상, 및 노이즈 억제된 ＨＬ, ＬＨ화상이 주파수 합성되어서, 합성 화상이 생성된다(Ｓ205).

이 합성 화상은, ＬＬ화상으로서 제(j-1)주파수 성분 분해부에서 생성된 ＨＨ, ＨＬ, 및 ＬＨ화상과 함께 제(j-1)주파수 성분 합성부에 입력되어, 상기와 같은 주파수 합성 처리에 의해 합성 화상이 출력된다. 상기의 처리를 되풀이함으로써, 그 분해처리의 역순으로 화상을 합성한다. 한편, 상술한 Ｓ205에서 행해진 노이즈 억제의 동작과, 이하에 나타내는 Ｓ206, S207의 동작에서는, 먼저 도 13을 참조하여 설명한 노이즈 억제 동작을 행한다.

제2주파수 성분 합성부(121)에는, 제3주파수 성분 합성부에서 합성된 화상(ＬＬ화상) 및 제3주파수 성분 분해부에서 분해된 ＨＨ, ＨＬ 및 ＬＨ화상이 입력된다. ＨＬ 및 ＬＨ화상은, 보정부에서 노이즈 억제된 후, ＨＨ 및 ＬＬ화상과 함께 합성된다(Ｓ206).

제1주파수 성분 합성부(122)에는, 제2주파수 성분 합성부(121)에서 생성된 합성 화상(ＬＬ화상) 및 제2주파수 성분 분해부(112)에서 분해된 ＨＨ, ＨＬ 및 ＬＨ화상이 입력된다. 보정부에서 노이즈 억제된 ＨＬ, ＬＨ화상과 ＨＨ, ＬＬ화상이 주파수 합성되어서 합성 화상을 생성한다(Ｓ207). 이 화상은, 입력 화상에 대하여, 패턴 노이즈가 억제되는 보정 화상이며, 화상처리부로부터 출력된다(Ｓ208). 한편, 입력 화상은, 색 대역, 즉 베이어(Bayer) 분리한 Ｒ, Ｇｂ, Ｇｒ 및 B에 대한 화상이여도 좋다. 이 경우, 4개의 화상마다 도 14에 도시된 각 처리를 행하여도 된다.

이상 설명한 것처럼, 제1실시예에서는, 각 주파수 성분 분해부에 의해 입력 화상을 주파수 대역마다 ＨＨ, ＨＬ, ＬＨ 및 ＬＬ화상으로 순차로 분해한다. 보정부에서 각 ＨＬ 및 ＬＨ화상에 대한 패턴 노이즈 성분을 억제하고, 주파수 성분 합성부에 의해 분해된 각 화상을 순차로 합성해감으로써, 패턴 노이즈가 존재하는 부분에만 패턴 노이즈가 억제된 보정 화상을 얻을 수 있다.

(제2실시예)

제2실시예는, 주파수 성분 합성부 120의 동작과 다른 동작을 행하는 주파수 성분 합성부 220이 주파수 성분 합성부 120 대신에 설치된 것을 제외하고는, 제1실시예와 같다. 따라서, 전술한 제1실시예와 같은 기능을 갖는 부분은, 제1실시예와 동일한 참조부호로 나타내고, 그 중복하는 설명을 적당히 생략한다. 도 15는, 제2실시예에 있어서의 주파수 성분 합성부(220)의 회로 구성 예를 나타내는 기능 블록도이다. 주파수 성분 합성부(220)는, 수직역ＤＷＴ부 2211, 2212, 2221, 2222 등 및 수평역ＤＷＴ부 2213, 2223 등을 갖는 제1 및 제2 주파수 성분 합성부(221,222)를 구비한다. 이들은 각각, 제1실시예의 수직역ＤＷＴ부 1211, 1212, 1221, 1222 등 및 수평역ＤＷＴ부 1213, 1223 등과 같은 기능을 갖는다. 또한, 주파수 성분 합성부(220)는, 보정부 223, 224 등을 구비한다. 보정부 223, 224 등에는, 각 주파수 성분 분해부에서 생성된 ＨＬ, ＬＨ 및 ＨＨ화상이 입력된다.

도 16은, 보정부(223)의 구성을 나타내는 블록도이다. 보정부(223)는, ＨＯＢ참조부(2231), ＶＯＢ참조부(2232) 및 노이즈 억제부(2233, 2234)를 구비한다. 제1실시예와 같이, ＨＯＢ참조부(2231) 및 ＶＯＢ참조부(2232)는, (모두 미도시된) 노이즈량 산출부와 노이즈 판정부를 모두 구비한다. 또한, 노이즈 억제부(2233, 2234)는, 제1실시예와 같이, 모두 (미도시된)노이즈 분리부를 구비한다.

보정부(223)에 입력된 ＨＨ화상은, ＨＯＢ참조부(2231) 및 ＶＯＢ참조부(2232)에 입력된다. ＨＯＢ참조부(2231)는, ＨＨ화상의 ＨＯＢ부의 전개 계수의 절대값의 평균값을 산출한다. ＶＯＢ참조부(2232)는, ＨＨ화상의 ＶＯＢ부의 전개 계수의 절대값의 평균값을 산출한다. 이것들 평균값에 소정의 계수(예를 들면, 1.1)를 각각 곱한 값은, ＨＯＢ참조부(2231) 및 ＶＯＢ참조부(2232)의 노이즈 판정 기준값이다. 이들 노이즈 판정 기준값을 사용하여 ＨＬ 및 ＬＨ화상에 대한 보정 처리는, 제1실시예에 있어서 도 13의 플로우챠트를 참조하여 설명한 것과 같다.

제1실시예에서는, 보정부내 ＨＯＢ참조부(1231), 또는 ＶＯＢ참조부(1232)에서 각 행 또는 각 열에 패턴 노이즈가 발생하고 있는지 판정하기 위한 노이즈 판정 기준값으로서 소정의 고정 값을 사용한다. 이것에 대하여, 제2실시예에서는, 각 주파수 성분 분해부에서 생성된 대각방향 고주파성분인 ＨＨ화상의 ＨＯＢ부 또는 ＶＯＢ부의 전개 계수의 절대값의 평균값으로부터 노이즈 판정 기준값을 산출한다. 촬상 소자를 사용하여 촬영한 화상 ＯＢ부 및 유효부 양쪽에는 랜덤 노이즈가 포함되어 있다. 이 랜덤 노이즈는, 상기 주파수 성분 분해부에 의해 분해한 모든 주파 수대역의 고주파성분ＨＨ, ＨＬ 및 ＬＨ에 대하여 거의 같은 양만큼 포함된다. 이들 중에서, ＨＨ화상에는 수평 또는 수직방향의 패턴 노이즈 성분이 포함되어 있지 않으므로, ＨＨ화상의 ＨＯＢ부에는 랜덤 노이즈 성분만이 포함된다.

예를 들면, 수평방향의 패턴 노이즈가 발생하지 않은 경우, ＬＨ화상의 ＨＯＢ에 대한 전개 계수의 절대값은 HH화상과 거의 동일하다. 이에 대하여, 수평방향의 패턴 노이즈가 발생한 경우는, ＬＨ화상의 ＨＯＢ부 중에서 패턴 노이즈가 발생하고 있는 행만의 전개 계수의 절대값이 ＨＨ화상의 ＨＯＢ부에 비교해서 커진다. 따라서, ＨＨ화상의 ＨＯＢ부 또는 ＶＯＢ부에 있어서의 전개 계수의 절대값의 평균값으로부터 산출한 값을, ＬＨ 및 ＨＬ화상 패턴 노이즈의 유무를 판정하기 위한 노이즈 판정 기준값으로서 사용할 수 있다.

이렇게, 제2실시예에서는, ＨＨ화상의 ＨＯＢ부 또는 ＶＯＢ부에 있어서의 전개 계수의 절대값의 평균값으로부터 산출한 값을, ＬＨ 및 ＨＬ화상 패턴 노이즈의 유무를 판정하기 위한 노이즈 판정 기준값으로서 사용한다. 따라서, 랜덤 노이즈의 크기에 관계되지 않고 패턴 노이즈의 발생 상황의 판정을 정확하게 행할 수 있고, 이것에 의해, 노이즈 억제 후 화질을 향상할 수 있다.

(제3실시예)

제3실시예는, 제1실시예에 있어서의 노이즈 억제부 1233, 1234의 동작과 다른 동작을 행하는 노이즈 억제부 3233(도 16의 2233에 대응함)을, 노이즈 억제부 1233, 1234 대신에 설치한 것을 제외하고는 상기 제1실시예와 같다. 따라서, 전술한 제1실시예와 같은 기능을 하는 부분은, 제1실시예서와 같은 동일한 참조부호로 나타내고, 그 중복하는 설명을 적당히 생략한다. 도 17은, 제3실시예에 있어서 보정부가 행하는 ＬＨ화상에 대한 행마다의 처리의 흐름을 나타내는 플로우 챠트다. 도 17은, 제1실시예의 도 13에 대응한다. 본 실시예의 동작이 제1실시예의 동작과 다른 점은, S304 및 S306에서, 강도비Ｗｒ(m)을 사용하고 있는 점이다. 또한, S301 내지 S303은 S101 내지 S103에 대응한다. 여기에서, 강도비Ｗｒ(m)에 대해서 설명한다.

ＣＭＯＳ이미지 센서내의 각 화소의 전원과 ＧＮＤ가 공통이기 때문에, 이들 화소의 전원과 ＧＮＤ가 시간적으로 변동하면 수평방향의 패턴 노이즈가 발생하는 것을 이미 설명했다. 촬상 소자내에 설치된 전원과 ＧＮＤ가 배치된 위치에 따라, 각 화소의 전원과 ＧＮＤ로부터의 배선길이가 다르므로, 그 배선의 임피던스도 화소에 따라 다르다. 따라서, 전원과 ＧＮＤ로부터 먼 위치에 있는 화소일수록 배선의 임피던스가 커져서, 전원과 ＧＮＤ의 변동의 영향도 강해진다. 그 때문에, 패턴 노이즈의 강도도 전원과 ＧＮＤ로부터 먼 위치일수록 커진다. 예를 들면, 전원과 ＧＮＤ가 촬상 소자내의 좌측으로부터 공급되는 경우, 우측의 화소일수록 패턴 노이즈의 강도는 커진다.

상기 전원과 ＧＮＤ가 배치된 위치에 기인해서 발생하는 수평위치에 따라 강도가 다른 패턴 노이즈일 경우에는, 그 강도비가 전원과 ＧＮＤ로부터의 거리에 의해 결정되어서, 이 강도비는 고정 값이다. 따라서, 촬상 소자의 제조 공정에 있어서, 차광 화상을 촬영하고, 그 촬영 화상으로부터 패턴 노이즈의 수평위치에 따라 강도비를 결정하고, 이 강도비를 보정부에서 이용함으로써, 상기 수평위치에 따라 강도가 다른 패턴 노이즈를 보정할 수 있다. 이러한 특정 실시예에서는, 이 강도비를 강도비Ｗｒ(m)로서 표현한다.

다음에, 강도비Ｗｒ(m)를 산출하는 방법에 대해서 설명한다. 제조 공정에 있어서 차광 상태로 촬영한 화상은, 제1실시예의 도 6에 나타낸 주파수 성분 분해부(110)에 의해 각 주파수 대역에 있어서의 ＨＨ, ＬＨ, ＨＬ 및 ＬＬ화상으로 분해된다. 패턴 노이즈의 수평위치에 따라 강도를 보정하는 경우에, 분해한 각 주파수 대역에 있어서의 ＬＨ화상의 절대값을 취하여, 열마다의 최대값을 추출한다. 각 열의 최대값을 추출한 그래프에는 패턴 노이즈의 수평위치에 의존한 강도차이가 드러난다.

도 18은, 강도비Ｗｒ(m)를 산출하는 방법을 나타낸 도면이다. 도 18a는, 제1주파수 성분 분해부(111)에서 분해된 ＬＨ화상의 전개 계수의 절대값으로부터 산출한 열마다의 최대값을 추출한 그래프다. 도 18의 수평축은, 좌우방향으로 촬상 소자의 수평위치에 대응하게 도시되어 있는 촬상 소자의 수평위치를 의미한다. 촬상 소자의 좌측으로부터 전원과 ＧＮＤ가 공급되어 있는 경우, 패턴 노이즈 성분의 전개 계수는 도 18a와 같이 촬상 소자의 우측의 영역에 보다 크게 가까워진다. 도 18b는 ＨＯＢ부의 산출된 평균값으로 나눈 열마다의 전체 최대값 데이터를 나타내는 그래프이다. 도 18b는, ＨＯＢ부의 패턴 노이즈 강도에 의거하여 수평 위치에서의 강도비를 나타낸다. 이 강도비를 주파수대역마다 산출하여, 이 강도비를 직선이나 다항식에 맞춘 함수Ｗｒ(m)를 결정한다. 이것은, m이 수평위치라면, 패턴 노이즈의 수평위치에 의존한 강도차이를 보정하는데 사용되는 강도비Ｗｒ(m)이다. 또 한, 강도비Ｗｒ(m) 대신에 도 18b에 나타내는 강도비의 데이터를 그대로 이용해도 좋다.

도 17로 되돌아가서, 본 실시예의 보정부의 동작을 설명한다. S301로부터 S303까지의 단계는, 제1실시예의 도 13에 도시된 Ｓ101로부터 S103까지의 단게와 같다. S304에서는, 임계값Ｗｔｈ(n) 대신에, 이 임계값Ｗｔｈ(n)에 강도비Ｗｒ(m)을 곱한 Ｗｔｈ'(n,m)을 패턴 노이즈 성분과 피사체 에지 성분을 분리하기 위한 임계값으로서 산출한다. 단계 S305는, 제1실시예의 도 13에 도시된 Ｓ104와 같다. S306에서는, 산출한 절대값의 크기에 따라, 임계값Ｗｔｈ'(n,m)을 사용하여 패턴 노이즈 성분과 피사체 에지 성분을 분리하고, 임계값Ｗｔｈ'(n,m)을 갖는 보정 계수를 각 화소의 전개 계수에 곱하여서, 패턴 노이즈 성분을 억제한다.

도 19는, 수평위치에 따라 강도차이가 있는 패턴 노이즈가 발생하고 있는 경우의 ＬＨ화상에 있어서의 패턴 노이즈 발생 행의 전개 계수의 절대값 및 임계값Ｗｔｈ'(n,m)을 나타내는 도면이다. 미리 산출해 둔 강도비Ｗｒ(m)를 이용하여, 임계값으로서 n과 m의 함수인 Ｗｔｈ'(n,m)로 설정함으로써, 패턴 노이즈 강도가 보다 큰 부분은, 임계값이 높다. 따라서, 수평위치에 따라 강도가 다른 패턴 노이즈이어도, 정확하게 피사체 에지 성분으로부터 패턴 노이즈 성분을 분리할 수 있다. 또한, 제1실시예의 도 13에 있어서의 Ｓ105에 있어서 전개 계수에 곱해지는 보정 계수도, 식(12) 대신에, 상기 강도비Ｗｒ(m)을 사용하여 식(13)으로서 설정된다.

[식13]

임계값Ｗｔｈ'(n,m)보다 전개 계수의 절대값이 작은 성분, 즉 패턴 노이즈 성분에 곱해지는 보정 계수를 강도비Ｗｒ(m)로 나눈다. 도 20은, 강도비Ｗｒ(m)로 나눈 보정 계수를 나타내는 도면이다. 도 20의 예에서는, 강도비Ｗｒ(m)은, 도 18b에 도시된 것을 이용했다. 패턴 노이즈 강도가 큰 부분에서 보정 계수를 작게 함으로써, 노이즈 억제량을 크게 한다. 이렇게 함으로써, 수평위치에 따라 강도차이가 있는 패턴 노이즈이어도 정밀하게 보정할 수 있다.

(제4실시예)

제4실시예는, 주파수 성분 합성부 120의 동작과 다른 동작을 행하는 주파수 성분 합성부 420을, 주파수 성분 합성부 120 대신에 설치한 것을 제외하고는 상기 제1실시예와 같다. 따라서, 전술한 제1실시예와 같은 기능을 하는 부분은, 제1실시예에서와 동일한 참조부호로 나타내고, 그 중복하는 설명을 적당히 생략한다. 도 21은, 제4실시예에 있어서의 주파수 성분 합성부(420)의 회로 구성 예를 나타내는 기능 블록도이다.

주파수 성분 합성부(420)는, 수직역ＤＷＴ부 4211, 4212, 4221, 4222 등 및 수평역ＤＷＴ부 4213, 4223 등을 갖는 제1, 제2 등의 주파수 성분 합성부 421, 422 등을 구비한다. 이것들은 각각, 제1실시예에 있어서의 수직역ＤＷＴ부 1211, 1212, 1221, 1222등 및 수평역ＤＷＴ부 1213, 1223 등과 같은 기능을 구비한다. 또한, 주파수 성분 합성부(420)는, 보정부 423, 424 등을 구비한다. 그 보정부 423, 424 등에는, 각 주파수 성분 분해부에서 생성된 ＨＬ화상, ＬＨ화상 및 ＬＬ화상이 입력된다.

도 22는, 보정부(423)의 구성을 나타내는 블록도이다. 보정부(423)는, ＨＯＢ참조부(4231), ＶＯＢ참조부(4232) 및 노이즈 억제부(4233, 4234)를 구비한다. 상기 제1실시예와 같이, ＨＯＢ참조부(4231) 및 ＶＯＢ참조부(4232) 모두는, (모두 미도시된) 노이즈량 산출부와 노이즈 판정부를 구비한다. 상기 노이즈 억제부(4233, 4234)는, 제1실시예와 같이, (미도시된) 노이즈 분리부를 구비한다. 또한, 보정부(423)는, 휘도참조부(4235)를 구비한다.

휘도참조부(4235)에서는, j가 ＬＬ화상의 분해 레벨이라면, 입력된 ＬＬ화상의 각 스케일링 계수를 2^j 로 나누어서 휘도 레벨로 변환한다. n 및m이, 각각 수직위치 및 수평위치라면, 휘도 레벨로 변환한 ＬＬ화상의 각 화소의 값으로부터, 예를 들면, 도 23에 도시된 것처럼 휘도 레벨에 따른 휘도계수Y(n,m)를 산출한다. 도 23은, 피사체의 휘도 레벨로부터 휘도계수를 산출하기 위한 그래프다.

휘도참조부(4235)가 산출한 휘도계수Y(n,m)는, 노이즈 억제부(4233, 4234)에 입력된다. 노이즈 억제부(4233, 4234)에서 실시된 처리는, 제1실시예의 도 9에 나 타낸 노이즈 억제부(1233, 1234)에서 실시된 것과 거의 같으므로, 상세한 설명은 생략한다. 노이즈 억제부(1233, 1234)와 노이즈 억제부(4233, 4234)가 다른 점은, 웨이브렛 전개 계수에 곱해지는 보정 계수가 식(12)에 나타낸 것 같은 고정 값이 아니고, 이 보정 계수에 상술한 바와 같이 산출한 휘도계수Y(n,m)를 곱한 값이다는 점이다. 다시 말해, 식(14)에 도시한 것처럼, 임계값Ｗｔｈ(n)보다도 전개 계수가 작은 성분, 즉 패턴 노이즈 성분에 대하여는, 각 단위화소의 휘도에 따른 보정 계수를 곱하는데 사용된다.

[식14]

상술한 바와 같이, 제4실시예는, 각 주파수 대역에 설치된 보정부내의 노이즈 억제부에 있어서 ＨＬ, ＬＨ화상에 곱하는데 사용된 보정 계수를 촬영 화상의 휘도에 따라서 변경한다. 명암이 명확히 한 부분이 혼재하는 촬영 화상에 패턴 노이즈가 발생했을 경우, 밝은 부분에 비교하여, 어두운 부분에서는 신호 레벨이 낮아, S/Ｎ비가 나빠진다. 따라서, 밝은 부분에서는 패턴 노이즈가 눈에 띄지 않는데 반해, 어두운 부분에서는 패턴 노이즈가 눈에 띈다. 그 때문에, 전체 화상에 대해 똑같은 보정 계수를 채용해서 노이즈를 억제하는 경우, 밝은 부분의 패턴 노이즈가 볼 수 없어도, 어두운 부분에는, 아직 패턴 노이즈가 남아서 보이는 경우가 있다.

이들의 경우를 해결하기 위해서, 제4실시예에서는, 촬영 화상의 휘도 레벨에 따라, 노이즈 억제부에서의 ＨＬ, ＬＨ화상의 각 위치에 곱하는데 사용된 보정 계수를 변화시킨다. 다시 말해, 촬영 화상의 휘도 레벨이 보다 낮은 위치에서 보정 계수를 작게 해, 노이즈 억제량을 증가시킨다.

휘도 레벨은, 촬영 화상으로부터 취득하는 대신에, 각 주파수대역의 저주파성분인 ＬＬ화상으로부터 취득한다. 이 ＬＬ화상은, 보정 대상인 ＨＬ, ＬＨ화상과 해상도가 같기 때문에, 촬영 화상으로부터 다시 해상도 변환해서 단위화소마다의 휘도를 산출할 필요가 없다. 이때, 제1실시예의 주파수 성분 분해부에서 생성된 ＬＬ화상은, 1레벨 분해할 때마다, 분해전의 ＬＬ화상에 비교하여, 수직 및 수평방향의 해상도가 반이 되는데 반해, 각 스케일링 계수는 2배가 증가된다.

따라서, 제1주파수 성분 분해부에서 생성된 레벨1의 ＬＬ화상은, 각 스케일링 계수를 2로 나누어서 휘도 레벨로 변환할 수 있다. 레벨2의 ＬＬ화상은, 각 스케일링 계수를 2²로 나누어서 휘도 레벨로 변환할 수 있다. 이렇게, 레벨j의 ＬＬ화상은, 스케일링 계수를 2^j로 나누어서, 휘도 레벨로 변환해서 사용한다. 제4실시예에 따르면, 보정 계수를 휘도 레벨에 따라서 변경함에 따라서, 화상내의 휘도차이가 큰 촬영 화상이여도, 어두운 부분의 패턴 노이즈를 눈에 뜨이지 않게 억제할 수 있다.

(제5실시예)

제1실시예의 주파수 성분 분해부에서 생성된 해상도가 낮은 화상에서는, 유 효부에 인접한 ＯＢ화소의 주파수 성분에는 유효부의 성분도 포함된다. 따라서, ＯＢ부의 평균값을 산출할 때에는 이 화소를 사용할 수 없다고 하는 문제가 생긴다. 제5실시예에서는, 입력 화상을 유효부, ＨＯＢ부 및 ＶＯＢ부로 각각 분리하여서 개별로 주파수 분해하여, 상기의 문제를 해결한다. 또한, 제5실시예에서도, 전술한 제1실시예와 같은 기능을 하는 부분은, 동일한 참조부호로 나타내고, 그 중복하는 설명을 적절히 생략한다.

도 24는, 제5실시예의 화상처리부(500)의 회로 구성 예를 나타내는 블록도이다. 화상처리부(500)는, 주파수 성분 분해부(510a, 510b, 510c)와, 주파수 성분 합성부(520)와, 화상영역분리부(530)를 구비한다. 화상영역분리부(530)는, 입력 화상을 유효부, ＨＯＢ부 및 ＶＯＢ부의 3개의 부로 분리한다. 분리된 각 화상은, 주파수 성분 분해부(510a, 510b, 510c)에 각각 입력된다. 주파수 성분 분해부(510a, 510b, 510c)의 내부구성은, 제1실시예의 도 6에 도시된 주파수 성분 분해부(110)와 같다. 각 주파수 성분 분해부에서 생성되는 화상을 구별하기 위해서, 주파수 성분 분해부 510a에 있어서 화상의 유효부로부터 생성되는 주파수대역마다의 화상을 ＨＨ_a, ＨＬ_a, ＬＨ_a, 및 ＬＬ_a라고 한다. 주파수 성분 분해부 510b는, ＨＯＢ화상으로부터 주파수대역마다의 ＨＨ_h, ＨＬ_h, ＬＨ_h 및 ＬＬ_h화상을 생성하는 것으로 한다. 주파수 성분 분해부 510c는, ＶＯＢ화상으로부터 주파수대역마다의 ＨＨ_v, ＨＬ_v, ＬＨ_v및 ＬＬ_v화상을 생성하는 것으로 한다. ＨＨ_h, ＨＬ_h , ＨＨ_v, 및 ＬＨ_v화상이 본 실시예에서 직접 사용되지 않기 때문에, 그 화상들을 제공하지 않아도 된다. 주 파수 성분 분해부(510a, 510b, 510c)에서 생성된 화상은, 주파수 성분 합성부(520)에 입력된다.

도 25는, 주파수 성분 합성부(520)의 회로 구성 예를 나타내는 기능 블록도이다. 주파수 성분 합성부 520(521,522)는, 수직역ＤＷＴ부 5211, 5212, 5221, 5222 등 및 수평역ＤＷＴ부 5213, 5223 등을 구비한다. 이것들은 각각은, 제1실시예에 있어서의 수직역ＤＷＴ부 1211, 1212, 1221, 1222 등 및 수평역ＤＷＴ부 1213, 1223 등과 같은 기능을 갖는다. 또한, 주파수 성분 합성부(520)는, 보정부 523, 524 등을 구비한다. 보정부 523, 524 등에는, 유효부 화상으로부터 생성된 ＨＬ_a, ＬＨ_a와, ＨＯＢ부 화상으로부터 생성된 ＬＨ_h와, ＶＯＢ부 화상으로부터 생성된 ＨＬ_v가 입력된다.

도 26은, 보정부(523)의 구성을 나타내는 블록도이다. 보정부(523)는, ＨＯＢ참조부(5231), ＶＯＢ참조부(5232) 및 노이즈 억제부(5233, 5234)를 구비한다. 제1실시예와 같이, ＨＯＢ참조부(5231) 및 ＶＯＢ참조부(5232) 모두는, (모두 미도시된)노이즈량 산출부와 노이즈 판정부를 구비한다. 또한, 노이즈 억제부(5233, 5234) 모두는, 제1실시예와 같이, (미도시된)노이즈 분리부를 구비한다.

ＨＯＢ참조부(5231)는, ＬＨ_h화상의 입력을 받아, 행마다의 전개 계수 절대값의 평균값ａｖｅ(n)을 산출하고, 노이즈 판정 기준값과 비교하고, 이때 n은 수직위치다. 이 상세한 처리에 대해서는, 제1실시예의 도 9에 나타낸 ＨＯＢ참조부(1231)에서 설명한 것과 같다.

ＶＯＢ참조부(5232)는, ＨＬ_v화상이 입력되어, 열마다의 전개 계수 절대값의 평균값ａｖｅ(m)을 산출하고, 노이즈 판정 기준값과 비교하고, 이때 m은 수평위치다. 이 상세한 처리에 대해서는, 제1실시예의 도 9에 나타낸 ＶＯＢ참조부(1232)에서 설명한 것과 같다. 노이즈 억제부(5233, 5334)에는, 각각 그 화상의 유효부로부터 생성된 ＨＬ_a, ＬＨ_a화상이 입력된다. 노이즈 억제부(5233)에서는, ＨＯＢ참조부(5231)에 의해 패턴 노이즈가 발생하고 있다고 판정된 행에 대하여, 노이즈 억제 처리를 행한다. 노이즈 억제부(5234)에서는, ＶＯＢ참조부(5232)에서 패턴 노이즈가 발생하고 있다고 판정된 열에 대하여, 노이즈 억제 처리를 행한다. 이것들의 상세한 처리에 대해서는, 제1실시예의 도 9에 나타낸 노이즈 억제부(1233, 1234)에 있어서 설명한 것과 같다.

이 보정부(523)에 있어서의 노이즈 억제 처리를 주파수대역마다 행하고, 주파수 성분 합성부에 의해 분해되어 있었던 각 화상을 순차로 합성함으로써, 패턴 노이즈가 억제된 화상의 유효부를 얻을 수 있다. 제5실시예에 따르면, ＯＢ부의 모든 화소를 ＯＢ부의 평균값을 산출하는데 사용될 수 있어, 보다 정밀하게 노이즈 억제 처리를 행할 수 있다.

(제6실시예)

제1실시예에 있어서, 촬상 소자(60)(도 27에 도시됨)는, 수평방향 및 수직방향의 각각 일단부에 띠형으로 설치된 2개의 ＯＢ부를 구비한다. 구체적으로는, 촬상 소자(60)는, 도 2에 도시한 것처럼, 수평 옵티컬 블랙(ＨＯＢ)(61)을 촬상 소 자(60)의 좌단부에, 수직 옵티컬 블랙(ＶＯＢ)(62)을 촬상 소자(60)의 상단부에 구비한다. 이것에 대하여, 본 실시예의 촬상 소자(60)는, ＯＢ부 (제1 및 제2의 차광 화소영역)를 수평방향 및 수직방향의 양단부에 각각 설치하고 있다. 즉, 그 ＯＢ부는, 대향하는 2변에 띠형으로 설치된다. 보정부에서 실시된 동작 이외의 동작은, 제1실시예와 같고, 여기서는 추가로 설명하지 않겠다.

도 27은, ＣＭＯＳ이미지 센서를 사용하는 본 실시예의 촬상 소자(60)의 개략구성을 나타낸 도면이다. 촬상 소자(60)는, 화소영역으로서 수평 옵티컬 블랙(ＨＯＢ_L 661 및 ＨＯＢ_R 662), 수직 옵티컬 블랙(ＶＯＢ_U 663 및 ＶＯＢ_D 664) 및 유효부(665)를 구비한다. ＨＯＢ_L 661 및 ＨＯＢ_R 662는, 화소영역의 좌우단부에 각각 띠형으로 설치되어, 피사체로부터 반사된 광이 촬상 소자(60)에 도달하지 않도록 차광된 차광 화소영역이다. ＶＯＢ_U 663 및 ＶＯＢ_D 664는, 화소영역 상하단부에 각각 띠형으로 설치되어져, 피사체로부터 반사된 광이 촬상 소자(60)에 도달하지 않도록 차광된 차광 화소영역이다. 유효부(665)는, 차광되지 않고 피사체로부터 반사된 광이 도달가능한 비차광 화소영역이다.

이하, 제6실시예의 보정부(123)가 행하는 ＬＨ화상에 대한 행마다의 처리의 흐름을 설명한다. 도 28은, 보정 처리를 설명하는 도면이다. 도 28a는, 입력 화상의 일례를 나타내고 있다. 도 28a의 예에서는, 화소수는 수직방향이 N, 수평방향이 M이다. 이 도면에서는, 좌우단의 각 32열이 각각 ＨＯＢ_L 및 ＨＯＢ_R영역이다. 이 입력 화상이 주파수 성분 분해부(110)에 입력되어서, 주파수분해에 의해 ＬＨ화상을 생성한다. 이러한 ＬＨ화상은 도 28b에 나타낸다. 상기 ＬＨ화상에서는, 화소 수가 열과 행 모두에 대해 분해전의 화상의 1/2이다. 따라서, ＬＨ화상에 있어서의 ＨＯＢ_L 및 ＨＯＢ_R영역은 좌우단에 제공된 각 16열에 해당한다. 그렇지만, 식(2)를 사용한 계산으로부터 이해할 수 있듯이, 상기 유효부에 인접한 1열에는 ＨＯＢ부 및 유효부의 양쪽의 성분이 포함된다는 것을 주목해야 한다. 상기 ＬＨ화상의 1행의 값(웨이브렛 전개 계수)을 추출한 후, 절대값을 산출한 결과를 도 29에 나타낸다.

패턴 노이즈 성분은, 유효부 및 차광된 ＨＯＢ부의 양쪽에 포함되고, 한편, 피사체 에지 성분은 유효부에만 포함된다. 따라서, 노이즈량 산출부에 있어서, ＨＯＢ_L 및 ＨＯＢ_R 각각의 행마다의 웨이브렛 전개 계수의 절대값의 평균값ａｖｅ_L(n) 및 ａｖｅ_R(n)을 산출함으로써, 각 주파수대역에 대응한 행마다의 패턴 노이즈 성분량을 계산할 수 있고, 여기에서 n은 행수를 의미한다. 그렇지만, 유효부에 인접한 ＨＯＢ_L 및 ＨＯＢ_R영역의 1열에 유효부의 성분이 포함되기 때문에, 이 열은 평균값ａｖｅ_L(n) 및 ａｖｅ_R(n)의 계산에 사용되지 않는다.

노이즈량 산출부에서 산출한 ａｖｅ_L(n) 및 ａｖｅ_R(n)은 노이즈 판정부에 있어서 ＨＯＢ_L 및 ＨＯＢ_R영역에 각각 설정된 노이즈 판정 기준값과 비교된다. ａｖｅ_L(n) 및 ａｖｅ_R(n) 양쪽이 노이즈 판정 기준값보다도 클 경우에는, 노이즈 판정부는 그 행에 패턴 노이즈가 있다고 판정한다. 패턴 노이즈가 있다고 판정하는 조건은, 예를 들면, ａｖｅ_L(n) 및 ａｖｅ_R(n) 중 어느 한쪽이 노이즈 판정 기준값보다도 큰 경우이어도 된다. 노이즈 판정 기준값으로서, 제2실시예와 같이, 각 주파수 성분 분해부에서 형성된 대각방향 고주파성분인 ＨＨ화상의 각각의 ＨＯＢ_L영역 및 ＨＯＢ_R영역의 전개 계수의 절대값의 평균값을 사용한다.

다음에, 노이즈 억제부(1233)에 있어서의 처리에 대해서 설명한다. 노이즈 억제부(1233)는 ＨＯＢ참조부(1231)의 노이즈 판정부(123lb)에 있어서 패턴 노이즈가 있다고 판정된 행에 대하여 노이즈 억제 처리를 행한다. 패턴 노이즈가 있다고 판정된 행의 유효부에는, 피사체의 에지 성분 및 패턴 노이즈 성분이 포함된다. 유효부에 있는 피사체의 신호 레벨보다 패턴 노이즈의 진폭이 작기 때문에, 주파수 변환된 웨이브렛 전개 계수의 절대값의 패턴 노이즈 성분은 피사체 에지 성분보다 작다. 따라서, ＨＯＢ_L 및 ＨＯＢ_R영역에서 각각 산출한 ａｖｅ_L(n) 및 ａｖｅ_R(n)의 값을 식(15)와 같이, 선형보간 한 함수Ｗｔｈ(n,m)을, 패턴 노이즈 성분 및 피사체 에지 성분을 분리하기 위한 임계값으로서 사용할 수 있고, 이때, n은 행수, m은 열수를 의미한다. 식(15)에서는, 전개 계수의 변동을 고려하여, 곱셈용 계수는 1.1이다. 하기의 식은 선형함수로서 나타내었지만, 임의의 형태의 함수이어도 된다.

[식15]

식(15)

노이즈 분리부(1233a)에서는, 상기 임계값을 사용하여 패턴 노이즈 성분 및 피사체 에지 성분을 분리한다. 상기 방법을 이용하여서, 좌우방향으로 강도차이가 있는 패턴 노이즈이여도 정밀하게 피사체의 에지 성분과 패턴 노이즈 성분을 분리할 수 있다. 다음에, 유효부의 웨이브렛 전개 계수의 절대값을 단위화소마다 산출한다. 각 단위화소의 절대값의 크기에 따라, 웨이브렛 전개 계수에 보정 계수를 곱한다. 이러한 보정 계수는, 식(16)과 같이 정리될 수 있고, 여기에서, ｗ_n,m ^{(j, h)}은, 보정전의 웨이브렛 전개 계수이며, w'_n,m ^{(j, h)}은, 보정후의 웨이브렛 전개 계수다. 또한, j는 주파수대역을 의미하는 레벨이며, h는 수평방향성분이다.

[식16]

상기 유효부의 웨이브렛 전개 계수의 절대값이 임계값Ｗｔｈ(n,m)미만인 단위화소에서는, 달리 말하면, 그 단위화소가 패턴 노이즈 성분일 경우는, 보정 계수c'(0<c'<1)를 웨이브렛 전개 계수에 곱하여, 패턴 노이즈 성분을 억제한다. 유효부의 웨이브렛 전개 계수의 절대값이 임계값Ｗｔｈ(n,m)이상의 단위화소에서는, 달리 말하면, 그 단위화소가 피사체 에지 성분일 경우는, 그 피사체 에지 성분을 보유하기 위해서, 보정 계수 c=1을 웨이브렛 전개 계수에 곱한다. 패턴 노이즈 성분에 곱해지는 보정 계수c'는, 식(17)과 같이, ａｖｅ_L(n) 및 ａｖｅ_R(n)로부터 산출한다.

[식17]

식(17)

식(17)에 나타낸 보정 계수c'은, ａｖｅ_L(n)와 ａｖｅ_R(n)의 역수사이에서 연장되는 직선이다. 보정 계수c'의 그래프를 도 30에 나타낸다. 보정 계수c'가 작아질수록, 패턴 노이즈 성분이 커져서, 노이즈 억제량도 커진다. 그 때문에, 노이즈 억제 후의 오른쪽과 왼쪽 사이의 강도차이를 저감할 수 있다. 도 29에 나타낸 전개 계수ｗ_n,m ^{(j, h)}에 대하여, 식(16) 및 식 (17)에 나타낸 연산 후의 전개 계수 w'_n,m ^{(j, h)}의 절대값을 도 31에 나타낸다. ＨＯＢ_L 및 ＨＯＢ_R영역의 양쪽의 값을 사용해서 임계값을 결정하고, 또한 식(17)에 도시된 것처럼 패턴 노이즈 성분에 대응한 보정 계수를 사용함으로써, 좌우간의 강도차이가 있는 패턴 노이즈를 바람직하게 억제할 수 있다.

상술한 보정부(123)에서 실시된 보정 처리(ＬＨ화상에 대한 처리의 동작 예)는, 플로우챠트를 이용해서 정리한다. 도 32는, 보정부에서 실시된 ＬＨ화상에 대한 행마다의 처리의 흐름을 나타내는 플로우챠트다. 먼저, ＨＯＢ참조부(1231)의 노이즈량 산출부(1231a)에 의해, ＨＯＢ_L 및 ＨＯＢ_R영역 각각의 전개 계수의 절대값의 평균값ａｖｅ_L(n) 및 ａｖｅ_R(n)을 산출한다(단계(이하, "S"라고 한다) 601). 다음에, 노이즈 판정부(123lb)는, 노이즈량 산출부(1231a)가 산출한 ａｖｅ _L(n) 및 ａｖｅ_R(n)각각과 패턴 노이즈 판정 기준값을 비교한다(Ｓ602).

ａｖｅ_L(n) 및 ａｖｅ_R(n) 중 어느 한쪽 또는 양쪽이 노이즈 판정 기준값미만이고, 그 행에 패턴 노이즈가 없다고 판정되었을 경우(S602:Ｎo)는, 노이즈 억제부에서는 노이즈 억제 처리를 행하지 않고, 그 행의 처리를 종료한다. 한편, ａｖｅ_L(n) 및 ａｖｅ_R(n) 양쪽이 판정 기준값이상일 경우(S602:Ｙｅｓ), 노이즈 억제부(1233)는 노이즈 억제 처리를 행한다. 노이즈 억제부(1233)의 노이즈 분리부(1233a)에서는, 패턴 노이즈가 있다고 판정된 행에 대하여, 패턴 노이즈와 피사체 에지 성분을 분리하기 위한 임계값Ｗｔｈ(n)을 산출한다(Ｓ603).

다음에, 유효부의 각 화소의 전개 계수의 절대값을 산출한다(Ｓ604). 산출한 절대값의 크기에 따라, 임계값Ｗｔｈ(n,m)을 갖는 보정 계수를 각 화소의 전개 계수에 곱하여, 패턴 노이즈 성분을 억제한다(Ｓ605). 각 행에서 S601～S605의 처리를 행한다. 상기의 처리를 각 주파수 성분 합성부의 보정부에서 행함으로써, 패턴 노이즈 성분만이 억제되어서, 피사체 에지 성분이 보유된 ＬＨ화상을 얻는다.

이상, ＨＯＢ참조부(1231) 및 노이즈 억제부(1233)에서 실시된 ＬＨ화상에 대한 처리에 대해서 설명했다. ＶＯＢ참조부(1232) 및 노이즈 억제부(1234)에 있어서의 ＨＬ화상에 대해서도 상술한 처리를 행하면, 수직방향의 패턴 노이즈 성분을 억제할 수 있다.

(제7실시예)

본 실시예의 촬상 소자(60)는, 제6실시예와 같이, ＯＢ부를 수평방향 및 수직방향의 각각 양단부에 2개의 띠형으로 설치되어 있다. 제6실시예에서는, 보정부 내의 노이즈 억제부에 있어서 유효부의 웨이브렛 전개 계수에 1미만의 보정 계수를 곱해서 패턴 노이즈 성분을 억제했다. 제7실시예에서의 다른 노이즈 억제 방법으로서, ＨＯＢ_L 및 ＨＯＢ_R영역으로부터 산출한 패턴 노이즈 성분을 유효부의 전개 계수로부터 감산함으로써 노이즈 성분을 제거한다.

도 33은, 제7실시예에 있어서 보정부가 행하는 ＬＨ화상에 대한 행마다의 처리의 흐름을 나타내는 플로우챠트다. 단계 S701 및 S702는, 제6실시예의 도 32에 도시된 Ｓ601 및 S602와 같다. S703에서는, ＨＯＢ참조부에서 산출한 ａｖｅ_L(n) 및 ａｖｅ_R(n)의 값으로부터 식(18)을 사용하여 패턴 노이즈 성분Ｗｐｎ(n,m)을 산출한다. 식(18)에 있어서, n은 행수, m은 열수를 나타낸다.

[식18]

식(18)

S704에서는, 유효부의 각 화소의 전개 계수ｗ_n,m ^{(j, h)}로부터 식(19)에 도시된 것처럼 패턴 노이즈 성분Ｗｐｎ(n,m)을 감산하여서, 보정 후의 전개 계수w'_n _,m ^{(j, h)}을 산출한다.

[식19]

식(19)

ＬＨ화상의 1행의 값(웨이브렛 전개 계수)의 추출 후, 절대값을 산출한 결과를 도 34a에 나타낸다. 도 34a는, 식(18)을 사용해서 산출한 패턴 노이즈 성분Ｗｐｎ(n,m)도 나타낸다. 이 전개 계수에 대하여, 식(19)에 나타낸 처리로부터 얻어진 결과를 도 34b에 나타낸다. 상기 처리를 행마다 행함으로써, 유효부로부터 좌우방향으로 강도차이가 있는 패턴 노이즈 성분을 제거할 수 있다.

(변형예)

본 발명은 이상 설명한 바람직한 실시예에 한정되지 않는 것을 알 것이다. 본 발명에서는 본 발명의 사상과 범위를 벗어나지 않고 여러 가지의 변형과 변경이 가능하다.

(1) 상기 각 실시예에 있어서, 보정 처리는 촬상장치내에 설치된 화상처리부에서 행하지만, 촬상 소자에서 촬영한 화상의 출력 후, 예를 들면, 퍼스널 컴퓨터 등의 외부회로에서 보정 처리를 행해도 된다. 이 경우, 퍼스널 컴퓨터 등은, 화상처리 프로그램을 인스톨하는 것에 의해, 상술한 화상처리부와 동등한 수단으로서 기능할 수 있다.

(2) 상기 각 실시예에 있어서, 디지탈 카메라를 예로 들어서 설명했지만, 본 발명은 이것에 한하지 않는다. 예를 들면, 본 발명은 비디오카메라나 감시 카메라 등의 다른 형태의 촬상장치에 적용되어도 된다.

(3) 상기 각 실시예에 있어서, 촬상 소자(60)로서 ＣＭＯＳ이미지 센서를 사용하고 있는 예에 관해 설명했지만, 본 발명은 이것에 한정하지 않는다. 예를 들면, 본 발명은, ＣＣＤ이미지 센서를 사용해도 된다.

상기 실시예들 및 변형예는 적절한 조합에서 사용될 수 있지만, 상세한 설명은 생략한다. 또한, 본 발명은 상술한 실시예들에 한정되지 않는다.

본 발명은 예시적 실시예들을 참조하여 설명하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 이하의 청구항의 범위는 여기서 전체적으로 참고로 포함된 상기의 변경 및 동등한 구조 및 기능 모두를 포함하도록 가장 넓게 해석되어야 한다. 본 출원은, 2008년 8월 12일과 2009년 4월 7일에 각각 출원된 일본특허출원번호 2008-207787과 2009-092987의 이점을 청구하고, 여기서 그것의 전체 내용은 참고로 포함된다.

도 1은 본 발명의 화상처리장치를 포함하는 촬상장치의 제1실시예를 나타내는 블록도다.

도 2는 ＣＭＯＳ이미지 센서를 채용하는 제1실시예의 촬상 소자(60)의 개략적 구성을 나타내는 도면이다.

도 3은 상기 ＣＭＯＳ이미지 센서의 단위화소(1화소)(600)의 회로의 일 예를 나타내는 도면이다.

도 4는 제1실시예의 촬상 소자(60)가 채용하는 다채널 구성의 ＣＭＯＳ이미지 센서의 전체 레이아웃을 나타내는 도면이다.

도 5는 화상처리부(100)의 회로 구성 예를 나타내는 블록도다.

도 6은 주파수 성분 분해부(110)의 회로 구성 예를 나타내는 기능 블록도다.

도 7은 입력 화상이 복수의 주파수 성분으로 분해되는 모양을 나타내는 도면이다.

도 8은 주파수 성분 합성부(120)의 회로 구성 예를 나타내는 기능 블록도다.

도 9는 보정부(123)의 구성을 나타내는 블록도다.

도 10a 및 10b는 보정 처리를 설명하는 도면이다.

도 11a 및 11b는, ＬＨ화상에 있어서의 패턴 노이즈 발생 행의 웨이브렛 전개 계수의 절대치와 ＬＨ화상에 있어서의 패턴 노이즈 비발생 행의 웨이브렛 전개 계수의 절대치를 나타내는 도면이다.

도 12a 내지 12d는 상기 노이즈 억제부에 있어서 웨이브렛 전개 계수에 곱해지는 보정 계수를 나타내는 도면이다.

도 13은 보정부에서 실행된 ＬＨ화상에 대한 행마다의 처리의 흐름을 나타내는 플로우챠트다.

도 14는 화상처리부(100)에 있어서의 노이즈 억제 처리를 나타내는 플로우챠트의 일례다.

도 15는 제2실시예의 주파수 성분 합성부(220)의 회로 구성 예를 나타내는 기능 블록도이다.

도 16은 보정부(223)의 구성을 나타내는 블록도이다.

도 17은 제3실시예에 있어서 보정부가 행하는 ＬＨ화상에 대한 행마다의 처리의 흐름을 나타내는 플로우챠트다.

도 18a 및 18b는 강도비Ｗｒ(m)의 산출방법을 나타내는 도면이다.

도 19는 수평위치에 따라 강도차이가 있는 패턴 노이즈가 발생하는 경우의 ＬＨ화상에 있어서의 패턴 노이즈 발생 행의 전개 계수의 절대값 및 임계값Ｗｔｈ'(n,m)을 나타내는 도면이다.

도 20은 강도비Ｗｒ(m)으로 나눈 보정 계수를 나타내는 도면이다.

도 21은 제4실시예에 있어서의 주파수 성분 합성부(420)의 회로 구성 예를 나타내는 기능 블록도이다.

도 22는 보정부(423)의 구성을 나타내는 블록도이다.

도 23은 피사체의 휘도 레벨로부터 휘도계수를 산출하기 위한 그래프다.

도 24는 제5실시예의 화상처리부(500)의 회로 구성 예를 나타내는 블록도이다.

도 25는 주파수 성분 합성부(520)의 회로 구성 예를 나타내는 기능 블록도이다.

도 26은 보정부(523)의 구성을 나타내는 블록도이다.

도 27은 ＣＭＯＳ이미지 센서를 채용하는 제6실시예의 촬상 소자(60)의 개략 구성을 나타내는 도면이다.

도 28a 및 28b는 보정 처리를 설명하는 도면이다.

도 29는 ＬＨ화상에 있어서의 패턴 노이즈 발생 행의 웨이브렛 전개 계수의 절대값을 나타내는 도면이다.

도 30은 보정 계수c'의 그래프다.

도 31은 ＬＨ화상에 있어서의 패턴 노이즈 발생 행에 대하여 노이즈 억제 처리 후의 웨이브렛 전개 계수의 절대값을 나타내는 도면이다.

도 32는 보정부가 행한 ＬＨ화상에 대한 행마다의 처리의 흐름을 나타내는 플로우챠트다.

도 33은 제7실시예에 있어서의 보정부가 행한 ＬＨ화상에 대한 행마다의 처리의 흐름을 나타내는 플로우챠트다.

도 34a 및 34b는 제7실시예에 있어서의 노이즈 억제부가 행한 처리를 설명하는 도면이다.

Claims

차광 화소영역 및 비차광 화소영역을 갖는 촬상 소자로부터 얻은 화상을, 상기 화상에 대해 웨이브렛 변환을 수행하는 것에 의해 저주파수 성분, 수직방향 고주파 성분, 수평방향 고주파 성분 및 대각방향 고주파 성분으로 분해하는 주파수 성분 분해부와,

상기 차광 화소영역의 상기 수직방향 고주파 성분 및 상기 수평방향 고주파 성분의 노이즈량을 산출하는 노이즈량 산출부와,

상기 노이즈량 산출부에 의해 산출한 노이즈량에 따라, 상기 비차광 화소영역의 상기 수직방향 고주파 성분 및 상기 수평방향 고주파 성분의 노이즈 성분을 억제하는 노이즈 억제부와,

상기 노이즈 억제부에 의해 노이즈 성분이 억제된 비차광 화소영역의 상기 수직방향 고주파 성분 및 상기 수평방향 고주파 성분을 합성하고, 상기 비차광 화소영역의 상기 저주파수 성분 및 상기 대각방향 고주파 성분을 합성해서 화성을 형성하는 주파수 성분 합성부를 구비한, 화상처리장치.
제 1 항에 있어서,

상기 노이즈량 산출부에 의해 산출한 노이즈량에 따라, 상기 비차광 화소영역의 주파수 성분의 노이즈 성분과 피사체 성분을 분리하는 노이즈 분리부를 구비하고,

상기 노이즈 억제부는 상기 노이즈 분리부에 의해 분리한 노이즈 성분을 억제하는, 화상처리장치.
제 2 항에 있어서,

상기 노이즈 분리부는, 상기 노이즈량 산출부에 의해 산출한 열 또는 행의 노이즈량을 노이즈 판정 기준값과 비교하여서 열 또는 행마다 노이즈 발생의 유무를 판정하고, 노이즈 발생이 있다고 판정된 열 또는 행의 노이즈 성분과 피사체 성분을 분리하는, 화상처리장치.
제 3 항에 있어서,

상기 노이즈 판정 기준값은, 상기 주파수 성분 분해부에 의해 분해한 대각방향 고주파성분의 차광된 화소영역으로부터 상기 노이즈량 산출부에 의해 산출된 노이즈량에 근거해 결정되는, 화상처리장치.
제 2 항에 있어서,

상기 노이즈량 산출부에 의해 산출한 노이즈량에 근거해 임계값을 결정하는 임계값 결정부를 구비하고,

상기 노이즈 분리부는, 상기 임계값 결정부가 결정한 상기 임계값을 사용해서 노이즈 성분과 피사체 성분을 분리하는, 화상처리장치.
제 5 항에 있어서,

상기 차광 화소영역은, 적어도 대향하는 2변에 의해 차광된 제1 및 제2의 차광 화소영역으로 이루어지고, 상기 임계값 결정부는, 상기 제1의 차광 화소영역과 상기 제2의 차광 화소영역 사이의 노이즈량을 선형 보간해서 그 임계값을 결정하는, 화상처리장치.
제 1 항에 있어서,

상기 노이즈 억제부는, 상기 주파수 성분 분해부에 의해 분해한 2개이상의 주파수 성분 중 고주파 성분에 보정 계수를 곱하여서 상기 노이즈 성분을 억제하는, 화상처리장치.
제 7 항에 있어서,

상기 보정 계수는, 촬영 화상의 휘도에 따라서 변경이 가능한 값인, 화상처리장치.
제 1 항에 있어서,

상기 노이즈 억제부는, 상기 주파수 성분 분해부에 의해 분해한 주파수 성분 중 고주파 성분으로부터 노이즈 성분을 감산하는, 화상처리장치.
제 5 항에 있어서,

상기 노이즈 억제부는, 상기 주파수 성분 분해부에 의해 분해한 주파수 성분 중 고주파성분에 보정 계수를 곱하여서 노이즈 성분을 억제하고, 상기 보정 계수는, 상기 임계값 결정부에 의해 결정한 임계값에 따라서 변경이 가능한 값인, 화상처리장치.
제 1 항에 있어서,

상기 촬상 소자로부터 얻은 화상을, 상기 차광 화소영역에서 얻은 화상과 상기 비차광 화소영역에서 얻은 화상으로 분리하는 화상영역 분리부를 구비하고,

상기 주파수 성분 분해부는, 상기 화상영역 분리부에서 분리된 화상마다 2개이상의 주파수 성분으로 분해하는, 화상처리장치.
제 1 항에 있어서,

상기 주파수 성분 합성부는 역 웨이브렛 변환을 행하는, 화상처리장치.
차광 화소영역 및 비차광 화소영역을 갖는 촬상 소자와,

상기 촬상 소자로부터 얻은 화상을, 상기 화상에 대해 웨이브렛 변환을 수행하는 것에 의해 저주파수 성분, 수직방향 고주파 성분, 수평방향 고주파 성분 및 대각방향 고주파 성분으로 분해하는 주파수 성분 분해부와,

상기 차광 화소영역의 상기 수직방향 고주파 성분 및 상기 수평방향 고주파 성분의 노이즈량을 산출하는 노이즈량 산출부와,

상기 노이즈량 산출부에 의해 산출한 노이즈량에 따라, 상기 비차광 화소영역의 상기 수직방향 고주파 성분 및 상기 수평방향 고주파 성분의 노이즈 성분을 억제하는 노이즈 억제부와,

상기 노이즈 억제부에 의해 노이즈 성분이 억제된 비차광 화소영역의 상기 수직방향 고주파 성분 및 상기 수평방향 고주파 성분을 합성하고, 상기 비차광 화소영역의 상기 저주파수 성분 및 상기 대각방향 고주파 성분을 합성해서 화성을 형성하는 주파수 성분 합성부를 구비한, 촬상장치.
차광 화소영역 및 비차광 화소영역을 갖는 촬상 소자로부터 얻은 화상을, 상기 화상에 대해 웨이브렛 변환을 수행하는 것에 의해 저주파수 성분, 수직방향 고주파 성분, 수평방향 고주파 성분 및 대각방향 고주파 성분으로 분해하는 단계;

상기 차광 화소영역의 상기 수직방향 고주파 성분 및 상기 수평방향 고주파 성분의 노이즈량을 산출하는 단계;

상기 산출한 노이즈량에 따라, 상기 비차광 화소영역의 상기 수직방향 고주파 성분 및 상기 수평방향 고주파 성분의 노이즈 성분을 억제하는 단계; 및

상기 노이즈 억제부에 의해 노이즈 성분이 억제된 비차광 화소영역의 상기 수직방향 고주파 성분 및 상기 수평방향 고주파 성분을 합성하고, 상기 비차광 화소영역의 상기 저주파수 성분 및 상기 대각방향 고주파 성분을 합성해서 화성을 형성하는 단계를 포함하는, 화상처리방법.