KR20060045707A

KR20060045707A - 화상처리장치, 화상처리방법 및 그 프로그램과 기록매체

Info

Publication number: KR20060045707A
Application number: KR1020050031046A
Authority: KR
Inventors: 요시오 이와이; 카츠지 키무라; 타쿠지 요시다
Original assignee: 샤프 가부시키가이샤
Priority date: 2004-04-16
Filing date: 2005-04-14
Publication date: 2006-05-17
Also published as: JP2005311473A; TWI280049B; KR100704209B1; EP1587306A3; EP1587306A2; CN1684499A; TW200541326A; CN100418354C; US20050231616A1

Abstract

촬상광학계인 광학렌즈를 통해서 얻어지는 촬상신호를 처리해서 출력화상 표시부에 출력하는 DSP에 있어서, 촬상신호에 대하여, 상기 광학렌즈(1)의 왜곡수차를 광학렌즈의 광축으로부터의 거리에 기초하여, 광축으로부터 방사방향으로 신축함으로써 보정하는 신호처리를 실시하고, 동시에 재기를 억제하는 화상처리를 실시한다. 이것에 의해 왜곡수차 보정의 방향으로서 촬상광학계의 광축으로부터의 방사방향만을 고려하면서, 왜곡수차 보정시에 화상에 발생할 수 있는 재기를 억제할 수 있는 촬상장치를 실현한다.

Description

화상처리장치, 화상처리방법 및 그 프로그램과 기록매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM FOR PROCESSING IMAGE, AND RECORDING MEDIUM STORING PROGRAM}

도 1은, 본 발명의 실시형태를 나타내는 것이며, 촬상장치의 주요부 구성을 나타내는 블럭도이다.

도 2의 (a) 및 (b)부분은, 도 1의 촬상장치에 의한 왜곡수차 보정의 원리를 설명하기 위한 왜곡수차의 성질을 나타내는 개념도이다.

도 3의 (a) 및 (b)부분은, 도 1의 촬상장치에 의한 왜곡수차 보정처리를 설명하기 위한 개념도이다.

도 4는, 종래 기술을 나타내는 것이며, 촬상장치의 주요부 구성을 나타내는 블럭도이다.

도 5의 (a) 내지 (c)부분은, 왜곡수차를 설명하기 위한 개념도이다.

본 발명은, 예를 들면 비디오 카메라, 전자 스틸 카메라 및 휴대전화용 카메라 등의 전자 카메라에 이용되고, 고체촬상소자로부터 출력된 촬상신호를 처리하는 촬상장치 등의 화상처리장치에 관한 것이다.

최근, 예를 들면 비디오 카메라, 전자 스틸 카메라 및 휴대전화용 카메라 등의 전자 카메라의 용도로, 상기 고체촬상소자를 사용한 고체촬상장치가 폭넓게 사용되고 있다. 이 고체촬상장치로 촬영해서 얻어지는 화상을 보다 고화질로 하는 것이 기대되고 있다. 이를 위해, 고체촬상장치에 있어서는, 촬상광학계를 통해서 얻어지는 촬상신호에 대하여, 상기 촬상광학계의 왜곡수차를 저감하기 위해서, 상기 촬상광학계의 성능을 개선하는 것, 촬상광학계에 있어서 복수매의 광학렌즈를 조합시키는 것, 혹은 신호처리로 왜곡수차를 보정하는 것 등이 행해지고 있다.

도 4는, 종래의 고체촬상장치(101)의 구성을 나타내는 블럭도이다.

도 4에 있어서, 고체촬상장치(101)는, 촬상광학계의 일례인 광학렌즈(1), 고체촬상소자의 일례인 CCD(2), 디지털 신호처리부(3)(이하, DSP(3)라고 한다) 및 출력화상 표시부(4)를 갖고 있다. 여기에서는, CCD(2)로부터 출력되는 촬상신호를 CCD 출력신호(21), DSP(3)로부터 출력되는 촬상신호를 DSP 출력신호(22)라고 한다.

상기 구성에 의해, 피사체로부터의 상은 광학렌즈(1)에 의해 CCD(2)의 수광부 상에 결상된다. 이 CCD(2)의 수광부 상에 도달한 광은, CCD(2)에 의해 광전변환되어서, 아날로그 전기신호(이하, 촬상신호라고 한다)로 되고, CCD 출력신호(21)로서 DSP(3)에 전송된다. 촬상신호는, DSP(3)에서 각종 신호처리된 후에, 표시부에 적합한 DSP 출력신호(22)로서 출력화상 표시부(4)에 전송되어서 표시화면 상에 화상표시된다.

여기에서, DSP(3)의 내부구성에 대해서 더욱 상세하게 설명한다.

DSP(3)는, 촬상신호 사전처리부(11), 아날로그/디지털 변환부(12)(이하, A/D 변환부(12)라고 한다), 촬상신호 메인 처리부(13), 촬상신호 출력부(14), 및 타이밍신호 발생기(15)(이하, TG(15)라고 한다)를 갖고 있다.

촬상신호 사전처리부(11)는, 촬상신호에 대하여, 상관이중 샘플링처리(이하, CDS라고 한다)에 의한 노이즈의 저감과, 오토 게인 컨트롤(이하, AGC라고 한다)에 의한 진폭제어를 행한다.

A/D변환부(12)는, 아날로그 신호인 촬상신호를 디지털 신호로 변환한 후, 촬상신호 메인 처리부(13)에 전송한다.

촬상신호 메인 처리부(13)는, 디지털 신호로 변환된 촬상신호에 대하여, 화이트 밸런스 제어(이하, WB라고 한다), 자동노출 제어(이하, AE라고 한다), 및 감마 보정 등, 각종의 디지털신호 화상처리를 행하고, 촬상신호 출력부(14)에 전송한다.

촬상신호 출력부(14)는, 디지털신호 화상처리가 실시된 촬상신호를, 출력화상 표시부(4)에 대응한 방식의 신호로 변환하고, TG(15)에서 생성된 수직 동기신호(24)(이하, VD(24)라고 한다) 및 수평 동기신호(25)(이하, 이HD(25)고 한다) 등, 출력화상을 표시하기 위해서 필요한 각종 타이밍 신호와 함께 출력화상 표시부(4)에 출력한다. TG(15)로부터 출력되는 타이밍 신호의 일례로서, 타이밍 펄스(23), VD(24), HD(25), 및 클록 펄스(26) 등을 들 수 있고, 이들의 각 타이밍 신호는 각각 관련되는 각 처리부에서 동기신호로서 사용된다.

그러나, 상술한 종래의 고체촬상장치에서는, 촬상광학계를 개재함으로써 일 어날 수 있는 왜곡수차에 의해, 출력화상 표시부(4)에 표시되는 화상이 삐뚤어져버린다고 하는 문제가 있다.

예를 들면, 왜곡수차가 없는 이상적인 촬상광학계를 통해서 고체촬상소자에서 수광하는 화상이 도 5의 (a)부분에 나타내는 바와 같은 격자상의 도형이라고 하면, 왜곡수차가 있는 촬상광학계를 통해서 고체촬상소자에서 수광하는 화상에서는, 도 5의 (b)부분 혹은 도 5의 (c)부분에 나타내는 바와 같이 기하학적인 왜곡이 생겨버린다.

종래, 이러한 왜곡수차를 보정하는 고체촬상장치의 구성이 개시되어 있다.

예를 들면 특허문헌 1: 일본 특허공개 2003-37769호 공보(공개일:2003년2월 7일)에는, 촬상광학계를 통해서 입사되는 피사체 광학상의 화상신호에 대하여, 상기 촬상광학계의 왜곡수차를 보정하는 신호처리장치가 개시되어 있다. 이것은, 화상중에 있어서의 제1 방향의 왜곡수차에 기초하여 상기 제1 방향과 다른 제2 방향의 왜곡수차를 보정하는 기술이며, 이것에 의해 촬상신호에 대한 왜곡수차 보정에 관계되는 처리를 고속으로 행함과 아울러, 화상 전체의 부자연스러움을 해소할 수 있는 것이다.

또 특허문헌 2: 일본 특허 제3035416호 공보(등록일:2000년 2월 18일)(일본 특허공개 평6-165024호 공보, 공개일:1994년 6월 10일, 대응 미국특허 5,905,530호)에는, 촬상광학계에 의한 비뚤어짐을 상기 촬상광학계의 광축 위치를 중심으로 하고, 또한, 외측 및 내측에 화상이 존재하는 화면상의 소정의 원을 기준으로 하여 상기 소정의 원보다 외측의 화상은 외측방향을 향해서, 내측의 화상은 내측방향을 향해서 보정하는 것과 같은 화상신호를 처리하는 보정수단을 가짐으로써, 왜곡수차를 보정할 수 있는 것이 개시되어 있다.

특허문헌 1에서는, 제1 방향의 왜곡수차에 기초하여 상기 제1 방향과 다른 제2 방향의 왜곡수차를 보정한다고 하는 방법을 사용하여, 특정한 방향에 기초하여 왜곡수차 보정을 행함으로써 화질의 개선을 꾀하고 있다. 그러나, 특허문헌 1에 의한 방법에서는, 제1 방향과 제2 방향에 기초하여 개별적으로 보정처리를 행하기 때문에, 제2 방향에 있어서의 보정처리를 고려해서 제1 방향의 보정처리를 행하지 않으면 안되다고 하는 문제가 있다.

또한 왜곡수차가 발생하고 있는 화상에 있어서의 직선에 대하여 왜곡수차 보정처리를 실시하면 곡선으로 되지만, 특허문헌 2에서는, 이 곡선에 재기(jaggy)가 발생해 버린다. 그러나 상기 문헌에는 왜곡수차 보정시에 발생할 수 있는 재기에 대해서, 또 재기의 발생을 회피하는 것에 대해서는 조금도 기재되어 있지 않다.

본 발명의 목적은, 왜곡수차 보정의 방향으로서 촬상광학계의 광축으로부터의 방사방향만을 고려하면서, 왜곡수차 보정시에 화상에 발생할 수 있는 재기를 억제할 수 있는 촬상장치 등의 화상처리장치, 화상처리방법 및 그 프로그램과 기록매체를 실현하는 것에 있다.

본 발명의 촬상장치는, 입사광을 광전변환하는 고체촬상소자로부터 출력된 촬상신호를 신호처리하는 신호처리수단을 갖는 촬상장치에 있어서, 상기 신호처리 수단은, 촬상광학계가 원인이 되어 일어나는 왜곡수차를, 상기 촬상광학계를 통해서 얻어지는 촬상신호에 대하여, 상기 촬상광학계의 광축으로부터의 거리에 기초하여, 상기 광축으로부터 방사방향으로 신축함으로써 보정하고, 화상에 발생할 수 있는 재기를 억제하는 것을 특징으로 하고 있다.

상기의 발명에 의하면, 왜곡수차 보정의 방향으로서 촬상광학계의 광축으로부터의 방사방향만을 고려하면서, 왜곡수차 보정시에 화상에 발생할 수 있는 재기를 억제할 수 있는 촬상장치를 실현할 수 있다고 하는 효과를 갖는다.

또한 신호처리수단에서의 촬상신호의 신호처리에 의해 왜곡수차를 보정하므로, 각각에 고유한 특성을 갖는 상기 촬상광학계의 왜곡수차의 각각에 대하여 용이하게 대응해서 보정할 수 있다고 하는 효과를 갖는다. 이것에 의해 또한, 촬상광학계의 성능을 개선하는 것, 복수매의 촬상광학계를 조합시키는 것 등의 필요가 없어지고, 촬상광학계의 크기를 소형화할 수 있다고 하는 효과를 갖는다.

본 발명의 신호처리방법은, 입사광을 광전변환하는 고체촬상소자로부터 출력된 촬상신호를 신호처리하는 신호처리방법에 있어서, 촬상광학계가 원인이 되어 일어나는 왜곡수차를, 상기 촬상광학계를 통해서 얻어지는 촬상신호에 대하여, 상기 촬상광학계의 광축으로부터의 거리에 기초하여, 상기 광축으로부터 방사방향으로 신축함으로써 보정하고, 화상에 발생할 수 있는 재기를 억제하는 것을 특징으로 하고 있다.

상기의 발명에 의하면, 왜곡수차 보정의 방향으로서 촬상광학계의 광축으로부터의 방사방향만을 고려하면서, 왜곡수차 보정시에 화상에 발생할 수 있는 재기 를 억제할 수 있는 신호처리방법을 실현할 수 있다고 하는 효과를 갖는다.

또한 촬상신호의 신호처리에 의해 왜곡수차를 보정하므로, 각각에 고유한 특성을 갖는 상기 촬상광학계의 왜곡수차의 각각에 대하여 용이하게 대응해서 보정할 수 있다고 하는 효과를 갖는다. 이에 따라 또한, 촬상광학계의 성능을 개선하는 것, 복수매의 촬상광학계를 조합시키는 것 등의 필요가 없어지고, 촬상광학계의 크기를 소형화할 수 있다고 하는 효과를 갖는다.

본 발명의 프로그램은, 상기 신호처리방법을 컴퓨터로 실행시키는 것을 특징으로 하고 있다.

상기 발명에 의하면, 상기 신호처리방법을 범용성이 있는 것으로 할 수 있다고 하는 효과를 갖는다.

본 발명의 기록매체는, 상기 프로그램이 컴퓨터 판독 가능하게 기록된 것을 특징으로 하고 있다.

상기 발명에 의하면, 상기 프로그램을 용이하게 제공할 수 있다고 하는 효과를 갖는다.

본 발명의 촬상장치 및 신호처리방법은, 촬상광학계가 원인이 되어 일어나는 왜곡수차를, 상기 촬상광학계를 통해서 얻어지는 촬상신호에 대하여, 상기 촬상광학계의 광축으로부터의 거리에 기초하여, 상기 광축으로부터 방사방향으로 신축하함으로써 보정하고, 화상에 발생할 수 있는 재기를 억제한다.

따라서, 왜곡수차 보정의 방향으로서 촬상광학계의 광축으로부터의 방사방향만을 고려하면서, 왜곡수차 보정시에 화상에 발생할 수 있는 재기를 억제할 수 있 다고 하는 효과를 갖는다.

본 발명의 화상처리장치는, 광학계를 통해서 입사된 광을 광전변환하는 촬상소자로부터 얻어진 촬상신호를 입력하는 입력부와,

상기 입력부에 의해 입력된 촬상신호에 대응하는 화상에 있어서의 각 화소에 대해서, 상기 화상에 있어서의, 상기 광학계의 광축상의 위치로부터의 거리에 기초하여, 상기 광축상의 위치와 각 화소를 연결하는 방향에, 화소위치를 변경한 보정화상을 생성하는 왜곡수차 보정수단을 포함하는 것을 특징으로 하고 있다.

상기 화상처리장치는, 또한, 상기 보정화상에 대하여, 재기 보정처리로서의 필터처리를 행하는 재기 보정수단을 포함하고,

상기 필터처리는, 상기 보정화상에 있어서의 목표화소의 화소위치에 따른 가중으로 행하는 구성인 것이 바람직하다.

또한 상기 왜곡수차 보정수단은, 왜곡수차가 없는 이상화상의 각 화소의 좌표값을 (x, y)로 하고, 대응하는 왜곡수차 보정대상의 화상의 각 화소의 좌표값을 (x', y')로 했을 때, 하기의 근사식을 이용하여, 왜곡수차 보정을 행하는 것이 바람직하다.

…(a)

…(b)

또한 상기 재기 보정수단은, 이상화상의 각 화소와, 보정대상 화상 상에 있어서의 근방의 각 참조화소와의 거리를, 상기 필터처리에 있어서의 가중의 파라미 터로서 이용하는 구성인 것이 바람직하다.

또한 상기 재기 보정수단은, 상기 왜곡수차 보정수단에 의해, 상기 근사식 (a) 및 (b)에 기초하여 산출된, 상기 이상화상의 각 화소의 좌표값 (x, y)를 이용하여, 상기 가중의 파라미터를 설정하는 구성인 것이 바람직하다.

본 발명의 다른 화상처리장치는, 광학계를 통해서 입사한 광을 광전변환하는 촬상소자로부터 얻어진 촬상신호를 입력하는 입력부와,

상기 입력부에 의해 입력된 촬상신호에 대응하는 화상에 대하여 왜곡수차 보정을 행함으로써 왜곡수차 보정화상을 생성하는 왜곡수차 보정수단과,

상기 왜곡수차 보정화상에 대하여, 필터처리를 행하는 재기 보정수단을 포함하고,

상기 필터처리에서는, 상기 왜곡수차 보정화상에 있어서의 목표화소의 화소위치에 따라, 필터처리에 있어서의 가중을 변경하는 것을 특징으로 하고 있다.

상기 화상처리장치에 있어서, 상기 재기 보정수단은, 이상화상의 각 화소와, 보정대상 화상 상에 있어서의 근방의 각 참조화소와의 거리를, 상기 필터처리에 있어서의 가중의 파라미터로서 이용하는 구성인 것이 바람직하다.

또한 본 발명의 화상처리방법은, 광학계를 통해서 입사된 광을 광전변환하는 촬상소자로부터 얻어진 촬상신호를 입력하는 공정과,

상기 입력부에 의해 입력된 촬상신호에 대응하는 화상에 있어서의 각 화소에 대해서, 상기 화상에 있어서의 상기 광학계의 광축상의 위치로부터의 거리에 기초하여, 상기 광축상의 위치와 각 화소를 연결하는 방향에, 화소위치를 변경한 보정 화상을 생성하는 왜곡수차 보정공정과,

상기 보정화상에 대하여, 재기 보정처리로서의 필터처리를 행하는 재기 보정처리공정을 포함하고,

상기 필터처리는, 상기 보정화상에 있어서의 목표화소의 화소위치에 따른 가중으로 행하는 것을 특징으로 하고 있다.

또한 본 발명의 다른 화상처리방법은, 광학계를 통해서 입사된 광을 광전변환하는 촬상소자로부터 얻어진 촬상신호를 입력하는 공정과,

상기 입력부에 의해 입력된 촬상신호에 대응하는 화상에 대하여 왜곡수차 보정을 행함으로써 왜곡수차 보정화상을 생성하는 왜곡수차 보정공정과,

상기 왜곡수차 보정화상에 대하여, 필터처리를 행하는 재기 보정공정을 포함하고,

또한 본 발명의 화상처리장치의 제어 프로그램은, 컴퓨터를 상기 화상처리장치의 각 수단으로서 기능시키는 것을 특징으로 하고 있다.

또한 본 발명의 기록매체는, 상기 프로그램이 기록된 컴퓨터 판독 가능한 기록매체인 것을 특징으로 하고 있다.

본 발명의 또 다른 목적, 특징, 및 뛰어난 점은, 이하에 나타내는 기재에 의해 충분 알 수 있을 것이다. 또한 본 발명의 이점은, 첨부된 도면을 참조한 다음 설명에서 명백하게 될 것이다.

이하, 첨부된 도면을 참조해서 본 발명의 각 실시형태에 관하여 설명한다.

[제1실시형태]

본 발명의 바람직한 실시형태에서는, 고체촬상소자로부터 전송되는 촬상신호(CCD 출력신호)에 포함되는 촬상광학계가 원인이 되어 일어날 수 있는 왜곡수차에 대하여, 디지털 신호처리부(DSP)에서 왜곡수차 보정을 행하는 동시에, 상기 왜곡수차 보정시에 발생할 수 있는 재기를 필터처리로 보정을 행함으로써 상기 왜곡수차를 보정하여 바람직한 화상을 얻는다.

이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시형태에 관하여 설명 한다. 또, 상기 종래의 기술에서 사용한 도면과 같은 기능의 부재에는 동일한 부호를 붙이고 있다.

도 1에 본 실시형태에 따른 고체촬상장치(촬상장치)(51)의 구성을 나타낸다. 고체촬상장치(51)는, 도 4에 나타낸 종래의 고체촬상장치에 있어서의 DSP(신호처리수단)(3)에, 왜곡수차 보정의 기능과 재기 억제를 위한 필터처리의 기능을 구비하고 있다. 이 양 기능을 행하는 것으로서, A/D변환부(12)와 촬상신호 메인 처리부(13) 사이에 왜곡수차 보정 처리부(16)가 설치되어 있다. 따라서, DSP(3)로부터 출력되는 촬상신호는, 본 발명에 관한 왜곡수차 보정과, 화상의 윤곽부분에 발생할 수 있는 재기의 억제를 위한 필터처리가 실시된 것이다. 또, 고체촬상소자로서는 CCD(2) 이외에 예를 들면 CMOS 촬상소자가 있다.

다음에 DSP(3)에 있어서의 본 실시형태의 왜곡수차 처리에 관하여 설명한다. 본 실시형태에서는, 이상적인 왜곡수차가 없는 화상과 촬상광학계를 통해서 얻어진 왜곡수차가 있는 화상의 대응관계를, 렌즈의 근축이론으로부터 얻어지는 근사식을 이용하여 구한다. 그리고, 이 근사식을 이용하여 왜곡수차 보정을 행한다.

우선, 이상적인 왜곡수차가 없는 화상 f(x, y)와 촬상광학계를 통해서 얻어진 왜곡수차가 있는 화상 f'(x', y')의 대응관계에 대해서 설명한다. 왜곡수차는 화상의 중심으로부터 방사방향으로 화상이 신축하여, 화상이 왜곡되는 것이다. 다만, 화상의 중심은 촬상광학계의 광축이 고체촬상소자와 교차하는 점인 것으로 한다. 예를 들면 도 2의 (a)부분에 나타내는 점 P는 방사방향(화살표 A방향)으로 신축하고, 도 2의 (b)부분에 나타내는 점 P'와 대응한다. 왜곡의 정도는 화상의 중심으로부터의 거리(r)에 의존해서 결정되고, 이상적인 촬상광학계에 있어서의 왜곡수차는 화상의 중심에 대하여 점대칭이다. 왜곡수차가 없는 화상과 왜곡수차가 있는 화상과의 대응관계는, 상기 렌즈의 근축이론에 의하면, 이하의 식 (1)∼ (3)으로 대응시킬 수 있다. 단 k는 비례정수이다.

…(1)

…(2)

…(3)

식(1)을 x축 및 y축 성분으로 분해하면 식 (4) 및 (5)를 얻을 수 있다. 단, θ은 점 P와 원점을 연결하는 선분이 x축의 양의 방향과 이루는 각이다.

또한 r은, 이상적인 왜곡수차가 없는 화상 f(x, y)의 중심으로부터의 거리이 며, r'는, 촬상광학계를 통해서 얻어진 왜곡수차가 있는 화상 f'(x', y')의 중심으로부터의 거리이다.

…(4)

…(5)

왜곡수차를 보정하는 것은, 왜곡수차가 있는 화상으로부터 왜곡수차가 없는 화상으로 식 (4) 및 (5)를 역변환하는 것에 대응하고 있다.

그러나, 식 (4) 및 (5)는 비선형 함수이기 때문에, 역변환을 그대로 행하면 계산량이 커진다. 그래서, r 및 r'와 Δr(=r-r')의 비가 충분히 작은 것, 즉 실제의 촬상광학계에서는 왜곡율이 몇% 정도인 것에 주목하고, 식 (4) 및 (5)에 있어서 r≒r'와 근사하면, 이하의 식 (6) 및 (7)이 얻어진다.

…(6)

…(7)

여기에서, k·r' 2≪1일 때 식 (6) 및 (7)은 이하의 식 (8) 및 (9)에 근사할 수 있다.

…(8)

…(9)

본 실시형태에서는 상기 식 (8) 및 (9)를 사용함으로써 왜곡수차 보정을 행한다. 상기 왜곡수차 보정을 행할 때, 각 화소 근방의 참조 화소를 이용해서 필터처리를 행함으로써 화상의 윤곽부분에 발생할 수 있는 재기의 개선을 행한다.

상기 필터처리의 바람직한 수단의 하나로서는, 상기 왜곡수차 보정시에 상기 식 (8) 및 (9)로 구해지는 좌표(x, y)와 근방 화소와의 거리를 상기 필터처리에 있어서의 가중의 파라미터로서 이용하는 것을 들 수 있다. 보정대상 화상 상에 있어서의 화소(x, y)와 근린 4화소와의 거리는, 왜곡수차의 영향에 의해, 보정 대상화상 상의 위치에 따라 다르다. 즉, 보정대상 화상 상에 있어서 왜곡수차의 정도는 일정하지 않고, 화상 상의 위치에 따라 다르다. 여기에서, 본 실시형태와 같이, 이상화상의 각 화소(x, y)의 좌표값을 산출함에 있어서, 이 화소의 좌표값(x, y)과, 보정대상 화상 상에 있어서의 각 근린 화소와의 거리를 참조하면, 재기를 억제한 왜곡수차 보정을 행할 수 있다.

이것에 의해 무수한 파라미터 설정을 생각할 수 있기 때문에, 종래의 재기 보정처리에서 이용되고 있었던 필터처리용의 한결같은 파라미터 설정에서는 얻을 수 없는 적합한 화상을 얻을 수 있다. 일반적인 재기 보정처리에서는, 기본적으로는 필터처리에 있어서의 목표화소를 이동해도 필터의 각 무게는 변화시키지 않는다. 다만, 재기가 발생하고 있는 엣지의 방향성분을 고려하는 일이 있고, 그 때문에 파라미터 설정의 테이블을 회전시키는 일이 있다. 예를 들면 엣지의 방향성분이 화상의 좌측 아래와 우측 위를 연결하는 직선방향일 때, 필터처리용의 가중의 파라미터가 표 1에 나타내는 테이블1로 설정되어 있다고 한다. 이 때 엣지의 방향성분 이 화상의 좌측 위와 우측 아래를 연결하는 직선방향일 때, 필터처리용의 가중의 파라미터는, 테이블 1을 회전시킨, 표 2에 나타내는 테이블 2와 같이 설정된다고 한다. 이에 따라 화상의 방향에 대응한 재기 보정처리가 되므로 다소 화상이 양호해지지만, 본 실시형태에 있어서는 화소의 좌표값(x, y)에 따른 가중으로 재기 보정처리를 행하기 때문에, 매우 양호한 화상을 얻을 수 있다.

테이블 1

a	b	c
d	e	f
g	h	i

테이블 2

g	d	a
h	e	b
i	f	c

또한 상기 필터처리로서, 예를 들면 도 3의 (a)·(b)부분에 나타내는 바와 같은 2종류의 방법이 생각된다. 첫번째 예로서, 도 3 (a)부분의 좌측 도면에 나타내는 왜곡수차가 없는 이상적인 화상 f(x, y)의 각 화소의 좌표값 (x, y)로부터, 식 (4) 및 (5)을 사용해서 구해지는 도 3 (a)부분의 우측 도면에 나타내는 왜곡수차가 있는 화상 f'(x', y')와 각 화소의 좌표값 (x', y')와 (x', y')의 근방의 참조 화소와의 거리를 이용하여 필터처리의 가중계수 ai(단, ∑ai=1, i=1∼4)를 구하는 방법을 들 수 있다.

여기에서는 근방의 참조화소로서 4화소를 사용했지만, 거리에 따라 화소수를 변경할 수 있는 것으로 한다. 예를 들면 도 3 (a)부분에 있어서 (x', y')가 ([x'], [y'])에 매우 가깝고, 즉 a3≒0의 경우, 필터 연산이 아니라, ([x'], [y'])의 화소의 좌표값을 (x', y')에 대입하는 쪽이 좋다고 생각된다. 또한, (x', y')가 ([x'], [y'])와 ([x'], [y']+1)을 연결하는 선분상 혹은 선분에 가까운 경우, 필터의 연산처리에는 ([x'], [y'])와 ([x'], [y']+1)의 화소의 좌표값을 이용하는 쪽이 좋다고 생각된다.

그리고, 가중계수 ai를 이용하여, 예를 들면 이하의 식 (10)을 사용해서 왜곡수차가 없는 이상적인 화상 f(x, y)를 구하는 방법이 생각된다.

f(x,y)=a1×f'([x'],[y']+1)+a2×f'([x']+1,[y']+1)

+a3×f'([x'],[y'])+a4×f'([x']+1,[y']) …(10)

두번째 예로서, 첫번째 예에서 든 근방화소로부터 식 (8) 및 (9)를 사용하고, 도 3(b)부분의 좌측 도면에 나타내는 이상적인 화상 f(x, y)의 좌표(x, y)를 구하고, (x, y)와 (x, y)의 근방화소와의 거리를 이용하여 필터처리의 가중계수 bjk

를 구하는 방법을 들 수 있다. 여기에서는 근방화소로서 4화소를 사용했지만, 상술과 같이 거리에 따라 화소수를 변경할 수 있는 것으로 한다. 그리고, 가중계수 bjk를 이용하여, 예를 들면 이하의 식 (11)을 이용하여, 도 3 (b)부분의 우측 도면에 나타내는 왜곡수차가 있는 화상 f'(x', y')로부터 왜곡수차가 없는 이상적인 화상 f의 각 화소의 좌표값(x, y)을 구하는 방법이 생각된다.

f(x, y)=b14×f'([x'],[y']+1)+b23×f'([x']+1,[y']+1)

+b32×f'([x'],[y'])+b41×f'([x']+1,[y']) …(11)

본 방법과 같이 , 왜곡수차 보정의 파라미터를 사용함으로써 재기 발생의 억제를 행할 수 있고, 종래의 왜곡수차 보정보다 바람직한 화질의 화상을 얻을 수 있다.

또한 본 실시형태의 신호처리방법은, 고체촬상장치(51)에 구비된 컴퓨터가 도 2나 도 3을 사용하여 설명한 프로세스를 포함하는 프로그램을 실행함으로써 실현할 수 있다. 이것에 의해 고체촬상장치(51)의 신호처리방법을 범용성이 있는 것으로 할 수 있다.

상기 프로그램은, 컴퓨터로 판독가능한 기록매체에 격납하여 사용자에게 제공할 수 있다. 이것에 의해 상기 프로그램을 용이하게 제공할 수 있다. 이 기록매체는, 고체촬상장치(51)의 컴퓨터 본체에 내장된 기억장치 등의 내장 미디어이여도 좋고, 컴퓨터 본체에 대하여 분리 가능하게 구성된 리무버블 미디어라도 좋다. 상기 내장 미디어로서는, ROM; 플래시 메모리 등의 고쳐쓰기 가능한 불휘발성 메모리; 하드디스크 등을 들 수 있다. 또한 상기 리무버블 미디어로서는, CD-ROM, DVD 등의 광기록매체; MO 등의 광자기기록매체; 플로피(등록상표)디스크, 카셋트 데이프, 리무버블 하드디스크 등의 자기기록매체; 메모리 카드 등과 같은 고쳐쓰기 가능한 불휘발성 메모리를 내장한 미디어; ROM 카세트 등과 같은 ROM을 내장한 미디어 등을 들 수 있다.

상기 프로그램은, 도 1의 DSP(3)나 도면에 나타내지 않는 CPU의 액세스에 의해 실행되는 구성이여도 좋고, 기록매체에 격납되어 있는 프로그램을 읽어 내고, 읽어 낸 프로그램을 내장 미디어의 프로그램 기억영역에 전송한 후, 내장 미디어상의 프로그램이 DSP(3)나 CPU의 액세스에 의해 실행되는 구성이라도 좋다. 프로그램의 실행은, DSP(3)나 CPU의 단독동작에 의한 것이여도 좋고, DSP(3)와 CPU의 협조 동작에 의한 것이라도 좋다. 또한 상기 프로그램은, 컴퓨터로 판독가능한 기록매체에 격납된 상태로 판매되는 것에 한정되는 것은 아니고, 인터넷 등의 통신 네트워크를 통해서 사용자의 컴퓨터에 전송하는 형식으로 판매되는 것이라도 된다.

본 발명은, 예를 들면 비디오 카메라, 전자 스틸 카메라 및 휴대전화용 카메라 등의 전자 카메라, 및 이들의 카메라에 내장되는 화상처리장치 등에 사용할 수 있다.

본 발명의 촬상장치는, 입사광을 광전변환하는 고체촬상소자로부터 출력된 촬상신호를 신호처리하는 신호처리수단을 갖는 촬상장치에 있어서, 상기 신호처리수단은, 촬상광학계가 원인이 되어 일어나는 왜곡수차를, 상기 촬상광학계를 통해서 얻어지는 촬상신호에 대하여, 상기 촬상광학계의 광축으로부터의 거리에 기초하여, 상기 광축으로부터 방사방향으로 신축함으로써 보정하고, 화상에 발생할 수 있는 재기를 억제하는 것을 특징으로 하고 있다.

상기 발명에 의하면, 왜곡수차 보정의 방향으로서 촬상광학계의 광축으로부터의 방사방향만을 고려하면서, 왜곡수차 보정시에 화상에 발생할 수 있는 재기를 억제할 수 있는 촬상장치를 실현할 수 있다고 하는 효과를 갖는다.

또한 신호처리수단에서의 촬상신호의 신호처리에 의해 왜곡수차를 보정하므로, 각각에 고유한 특성을 갖는 상기 촬상광학계의 왜곡수차의 각각에 대하여 용이하게 대응해서 보정할 수 있다고 하는 효과를 갖는다. 이에 따라 또한, 촬상광학계의 성능을 개선하는 것, 복수매의 촬상광학계를 조합시키는 것 등의 필요가 없어지고, 촬상광학계의 크기를 소형화할 수 있다고 하는 효과를 갖는다.

상기 발명에 의하면, 왜곡수차 보정의 방향으로서 촬상광학계의 광축으로부터의 방사방향만을 고려하면서, 왜곡수차 보정시에 화상에 발생할 수 있는 재기를 억제할 수 있는 신호처리방법을 실현할 수 있다고 하는 효과를 갖는다.

또한 촬상신호의 신호처리에 의해 왜곡수차를 보정하므로, 각각에 고유한 특성을 갖는 상기 촬상광학계의 왜곡수차의 각각에 대하여 용이하게 대응해서 보정할 수 있다고 하는 효과를 갖는다. 이것에 의해 또한, 촬상광학계의 성능을 개선하는 것, 복수매의 촬상광학계를 조합시키는 것 등의 필요가 없어지고, 촬상광학계의 크기를 소형화할 수 있다고 하는 효과를 갖는다.

본 발명의 촬상장치 및 신호처리방법은, 촬상광학계가 원인이 되어 일어나는 왜곡수차를, 상기 촬상광학계를 통해서 얻어지는 촬상신호에 대하여, 상기 촬상광학계의 광축으로부터의 거리에 기초하여, 상기 광축으로부터 방사방향으로 신축함으로써 보정하고, 화상에 발생할 수 있는 재기를 억제한다.

따라서, 왜곡수차 보정의 방향으로서 촬상광학계의 광축으로부터의 방사방향만을 고려하면서, 왜곡수차 보정시에 화상에 발생할 수 있는 재기를 억제할 수 있다고 하는 효과를 갖는다.

상기 입력부에 의해 입력된 촬상신호에 대응하는 화상에 있어서의 각 화소에 대해서, 상기 화상에 있어서의, 상기 광학계의 광축상의 위치로부터의 거리에 기초하여, 상기 광축상의 위치와 각 화소를 연결하는 방향으로, 화소위치를 변경한 보정화상을 생성하는 왜곡수차 보정수단을 포함하는 것을 특징으로 하고 있다.

…(a)

…(b)

또한 상기 재기 보정수단은, 이상화상의 각 화소와, 보정대상 화상 상에 있어서의 근방의 각 참조화소와의 거리를, 상기 필터처리에 있어서의 가중의 파라미터로서 이용하는 구성인 것이 바람직하다.

또한 상기 재기 보정수단은, 상기 왜곡수차 보정수단에 의해, 상기 근사식 (a) 및 (b)에 기초하여 산출된, 상기 이상화상의 각 화소의 좌표값(x, y)을 이용하여, 상기 가중의 파라미터를 설정하는 구성인 것이 바람직하다.

본 발명의 다른 화상처리장치는, 광학계를 통해서 입사된 광을 광전변환하는 촬상소자로부터 얻어진 촬상신호를 입력하는 입력부와,

상기 입력부에 의해 입력된 촬상신호에 대응하는 화상에 있어서의 각 화소에 대해서, 상기 화상에 있어서의 상기 광학계의 광축상의 위치로부터의 거리에 근거하여, 상기 광축상의 위치와 각 화소를 연결하는 방향으로, 화소위치를 변경한 보정화상을 생성하는 왜곡수차 보정공정과,

또한 본 발명의 화상처리장치의 제어프로그램은, 컴퓨터를 상기 화상처리장치의 각 수단으로서 기능시키는 것을 특징으로 하고 있다.

또한 본 발명의 기록매체는, 상기 프로그램이 기록된 컴퓨터 판독가능한 기록매체인 것을 특징으로 하고 있다.

발명의 상세한 설명의 페이지에 있어서 이루어진 구체적인 실시형태 또는 실시예는, 어디까지나, 본 발명의 기술내용을 명확히 하는 것이며, 그러한 구체예에만 한정해서 협의로 해석되어야 할 것이 아니라, 본 발명의 정신과 다음에 기재하는 특허청구 사항의 범위 내에서, 여러가지로 변경해서 실시할 수 있는 것이다.

따라서, 왜곡수차 보정의 방향으로서 촬상광학계의 광축으로부터의 방사방향 만을 고려하면서, 왜곡수차 보정시에 화상에 발생할 수 있는 재기를 억제할 수 있다고 하는 효과를 갖는다.

Claims

입사광을 광전변환하는 고체촬상소자로부터 출력된 촬상신호를 신호처리하는 신호처리수단을 갖는 촬상장치로서,

상기 신호처리수단은,

촬상광학계가 원인이 되어 일어나는 왜곡수차를, 상기 촬상광학계를 통해서 얻어지는 촬상신호에 대하여, 상기 촬상광학계의 광축으로부터의 거리에 기초하여, 상기 광축으로부터 방사방향으로 신축함으로써 보정하고,

화상에 발생할 수 있는 재기를 억제하는 것을 특징으로 하는 촬상장치.
광학계를 통해서 입사된 광을 광전변환하는 촬상소자로부터 얻어진 촬상신호를 입력하는 입력부; 및

상기 입력부에 의해 입력된 촬상신호에 대응하는 화상에 있어서의 각 화소에 대해서, 상기 화상에 있어서의, 상기 광학계의 광축상의 위치로부터의 거리에 기초하여, 상기 광축상의 위치와 각 화소를 연결하는 방향에, 화소위치를 변경한 보정화상을 생성하는 왜곡수차 보정수단을 포함하는 것을 특징으로 하는 화상처리장치.
제2항에 있어서, 또한, 상기 보정화상에 대하여, 재기 보정처리로서의 필터처리를 행하는 재기 보정수단을 포함하고,

상기 필터처리는, 상기 보정화상에 있어서의 목표화소의 화소위치에 따른 가 중으로 행하는 것을 특징을 하는 화상처리장치.
제2항에 있어서, 상기 왜곡수차 보정수단은, 왜곡수차가 없는 이상화상의 각 화소의 좌표값을 (x, y)로 하고, 대응하는 왜곡수차 보정대상 화상의 각 화소의 좌표값을 (x', y')로 하며, 상기 (x', y')에 있어서의 광학계의 광축상의 위치로부터의 거리를 r'로 했을 때, 하기의 근사식을 이용하여, 왜곡수차 보정을 행하는 것을 특징으로 하는 화상처리장치.

…(a)

…(b)
제3항에 있어서, 상기 왜곡수차 보정수단은, 왜곡수차가 없는 이상화상의 각 화소의 좌표값을 (x, y)로 하고, 대응하는 왜곡수차 보정대상 화상의 각 화소의 좌표값을 (x', y')로 하며, 상기 (x', y')에 있어서의 광학계의 광축상의 위치로부터의 거리를 r'로 했을 때, 하기의 근사식을 이용하여, 왜곡수차 보정을 행하는 것을 특징으로 하는 화상처리장치.

…(a)

…(b)
제5항에 있어서, 상기 재기 보정수단은, 이상화상의 각 화소와, 보정대상 화상 상에 있어서의 근방의 각 참조화소와의 거리를, 상기 필터처리에 있어서의 가중의 파라미터로서 이용하는 것을 특징으로 하는 화상처리장치.
제6항에 있어서, 상기 재기 보정수단은, 상기 왜곡수차 보정수단에 의해, 상기 근사식 (a) 및 (b)에 기초하여 산출된, 상기 이상화상의 각 화소의 좌표값(x, y)을 이용하여, 상기 가중의 파라미터를 설정하는 것을 특징으로 하는 화상처리장치.
광학계를 통해서 입사된 광을 광전변환하는 촬상소자로부터 얻어진 촬상신호를 입력하는 입력부;

상기 입력부에 의해 입력된 촬상신호에 대응하는 화상에 대하여 왜곡수차 보정을 행함으로써 왜곡수차 보정화상을 생성하는 왜곡수차 보정수단; 및

상기 왜곡수차 보정화상에 대하여, 필터처리를 행하는 재기 보정수단을 포함하고,

상기 필터처리에서는, 상기 왜곡수차 보정화상에 있어서의 목표화소의 화소위치에 따라, 필터처리에 있어서의 가중을 변경하는 것을 특징으로 하는 화상처리장치.
제8항에 있어서, 상기 재기 보정수단은, 이상화상의 각 화소와, 보정대상 화 상 상에 있어서의 근방의 각 참조화소와의 거리를, 상기 필터처리에 있어서의 가중의 파라미터로서 이용하는 것을 특징으로 하는 화상처리장치.
입사광을 광전변환하는 고체촬상소자로부터 출력된 촬상신호를 신호처리하는 신호처리방법으로서,

촬상광학계가 원인이 되어 일어나는 왜곡수차를, 상기 촬상광학계를 통해서 얻어지는 촬상신호에 대하여, 상기 촬상광학계의 광축으로부터의 거리에 기초하여, 상기 광축으로부터 방사방향으로 신축함으로써 보정하고,

화상에 발생할 수 있는 재기를 억제하는 것을 특징으로 하는 신호처리방법.
광학계를 통해서 입사된 광을 광전변환하는 촬상소자로부터 얻어진 촬상신호를 입력하는 공정;

상기 입력부에 의해 입력된 촬상신호에 대응하는 화상에 있어서의 각 화소에 대해서, 상기 화상에 있어서의 상기 광학계의 광축상의 위치로부터의 거리에 기초하여, 상기 광축상의 위치와 각 화소를 연결하는 방향에, 화소위치를 변경한 보정화상을 생성하는 왜곡수차 보정공정; 및

상기 보정화상에 대하여, 재기 보정처리로서의 필터처리를 행하는 재기 보정처리공정을 포함하고,

상기 필터처리는, 상기 보정화상에 있어서의 목표화소의 화소위치에 따른 가중으로 행하는 것을 특징으로 하는 화상처리방법.
광학계를 통해서 입사된 광을 광전변환하는 촬상소자로부터 얻어진 촬상신호를 입력하는 공정;

상기 입력부에 의해 입력된 촬상신호에 대응하는 화상에 대하여 왜곡수차 보정을 행함으로써 왜곡수차 보정화상을 생성하는 왜곡수차 보정공정; 및

상기 왜곡수차 보정화상에 대하여, 필터처리를 행하는 재기 보정공정을 포함하고,

상기 필터처리에서는, 상기 왜곡수차 보정화상에 있어서의 목표화소의 화소위치에 따라, 필터처리에 있어서의 가중을 변경하는 것을 특징으로 하는 화상처리방법.
화상처리장치의 제어프로그램으로서, 컴퓨터를 제2항 내지 제9항에 기재된 화상처리수단의 각 수단으로서 기능시키는 것을 특징으로 하는 화상처리장치의 제어프로그램.
제10항에 기재된 신호처리방법을 컴퓨터로 실행시키는 것을 특징으로 하는 프로그램.
제13항에 기재된 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
제14항에 기재된 프로그램이 컴퓨터 판독가능하게 기록된 것을 특징으로 하는 기록매체.