KR100914011B1

KR100914011B1 - 고품질 화상을 양호하게 재생할 수 있는 화상 입력 장치,화상 입력 방법 및 이 화상 입력 장치를 구비한 전자 기기

Info

Publication number: KR100914011B1
Application number: KR1020070045985A
Authority: KR
Inventors: 노부히로 모리타; 유지 야마나카; 노부오 사쿠마
Original assignee: 가부시키가이샤 리코
Priority date: 2006-05-15
Filing date: 2007-05-11
Publication date: 2009-08-28
Also published as: US20120140097A1; KR20070110784A; CN101076085B; EP1858252A2; JP2007304525A; EP1858252A3; US20070285553A1; CN101076085A; EP1858252B1

Abstract

본 발명은 고품질의 결상 광학계를 필요로 하지 않고도 양호한 재생 화상을 얻을 수 있는 화상 입력 장치, 화상 입력 방법의 실현을 과제로 한다.

물체(1)로부터의 광을 결상시키는 하나 이상의 결상 렌즈(2)에 의한 상을 촬상 수단(3)에 의해 촬상하는 화상 입력 장치로서, 결상 렌즈(2)로서 광학 전달 함수의 게인(gain)이 유한하고, 또한 화각으로 인한 상기 게인의 차이가 미소한 단렌즈를 이용하고, 결상 렌즈(2)에 의한 상의 열화를 연산에 의해 보정하는 보정 연산부(4) 및 메모리(5)를 포함하는 보정 연산 수단(20)을 구비하는 화상 입력 장치(100)를 제공한다.

피사체, 결상 렌즈, 촬상 수단, 보정 연산부, 메모리

Description

고품질 화상을 양호하게 재생할 수 있는 화상 입력 장치, 화상 입력 방법 및 이 화상 입력 장치를 구비한 전자 기기{METHOD AND APPARATUS FOR IMAGE CAPTURE CAPABLE OF EFFECTIVELY　REPRODUCING QUALITY IMAGE AND ELECTRONIC APPARATUS USING THE SAME}

도 1a 내지 도 1d는 결상 렌즈의 결상 작용과 그 특성을 설명하는 도면.

도 2는 본 발명의 단일 렌즈를 이용한 화상 입력 장치의 일 실시예를 모식적으로 나타내는 도면.

도 3a 내지 3c는 본 발명의 렌즈 어레이를 이용한 화상 입력 장치의 일 실시예를 설명하기 위한 도면.

도 4는 시차 계산에서 휘도 편차의 최소 제곱합을 설명하기 위한 도면.

도 5는 복안상(複眼像)으로부터 단일 피사체상을 재구성하는 것을 설명하는 도면.

도 6은 렌즈 어레이에 의한 상 열화 보정 처리와 단안상(單眼像)의 재구성 처리에 의해 재구성상을 출력할 때까지의 일련의 처리 흐름을 설명하는 도면.

도 7은 단안상의 재구성 처리에 의해 재구성된 피사체상에 대한 상 열화 보정 처리를 수행하는 경우의 일련의 처리 흐름을 설명하는 도면.

도 8은 피사체 거리 변화에 따른 MTF(Modulaton Transfer Function) 변화 상태를 설명하기 위한 도면.

도 9는 색 수차(收差) 보정 처리를 설명하기 위하여 촬상 소자의 화소와 색 필터 배치를 모식적으로 나타낸 도면.

<도면의 주요 부분에 대한 부호의 설명>

　1　: 피사체

　2　: 결상 렌즈

　3　: 촬상 수단

　4　: 보정 연산부

　5　: 메모리

　6 : 표시 수단 피사체상

　6a : 피사체상

본 발명은 화상 입력 장치, 화상 입력 방법 및 이 화상 입력 장치를 구비한 전자 기기에 관한 것이다. 본 발명의 화상 입력 장치는 화상 판독 장치나, 홍채 인증 또는 얼굴 인증 등의 화상 인식 장치에 이용할 수 있고, 디지털 카메라, 감시 카메라, 차재(車載) 카메라 등으로서 실시할 수 있으며, 또는 상기 카메라 등을 탑재한 전자 기기, 예컨대, 디지털 카메라를 장비한 컴퓨터 등으로서 실시할 수 있다.

물체로부터의 광을 결상 광학계에 의해 결상하고, 결상한 상을 촬상 수단에 의해 촬상하는 화상 입력 장치는 화상 판독 장치나 디지털 카메라나 휴대 전화에 내장된 것이 알려져 있다.

이와 같은 화상 입력 장치에서는 고품질의 화상을 재생하는 것이 큰 과제로 된다. 재생 화상의 질을 향상시키려면, 일반적으로 결상 광학계의 광학 성능을 높이면 되지만, 광학 성능이 높은 결상계를 예컨대 단렌즈와 같이 간단한 구성으로 실현하는 것은 렌즈면에 비구면(非球面)을 채용한다 하여도 용이하지 않다.

결상 광학계의 광학 성능을 높이는 것과는 달리, 결상계의 광학 전달 함수를 이용하여 고품질의 화상을 재생시키는 방법으로서, 일본 특허 공보 제3275010호에 기재된 것이 알려져 있다.　

　즉, 상기 공보에는 결상 렌즈계를 통과하는 광에 소정의 위상 변조(phase modulation)를 부여하는 비구면 소자를 마련하고, 화각(畵角)이나 물체 거리에 대하여 변화가 적도록 광학 전달 함수를 변형시켜 촬상한 위상 변조(phase modulation) 화상을 디지털 필터링하여 광학 전달 함수를 복원함으로써 화각이나 물체 거리에 따른 열화를 억제한 화상을 취득하는 방법이 기재되어 있다.

그러나, 이 방법의 실시에 필요한 상기 결상 렌즈계를 통과하는 광에 소정의 위상 변조(phase modulation)를 부여하는 비구면 소자는 면 형상이 특수하여 제조가 용이하지 않고, 이와 같은 비구면 소자를 결상 렌즈계의 광로 상에 배치하기 위하여 큰 광로 길이가 필요하므로, 화상 입력 장치의 저비용화ㆍ소형화ㆍ박형화는 용이하지 않다.

한편, 박형(薄型)의 화상 입력 장치로서 마이크로 렌즈 어레이 등 복안 광학계를 이용하여 복안상을 결상시켜 촬상 수단에 의해 촬상하고, 개개의 마이크로 렌즈에 의한 단안상으로부터 단일 재생상을 재구성하는 것이　일본 특허 공개 공보 2002－171429호, 일본 특허 공개 공보 2001－061109호, 및 일본 특허 공개 공보 2003－141529호 등에 의해 알려져 있다.

특히, 일본 특허 공개 공보 2003－141529호에 기재된 발명에서는 마이크로 렌즈 어레이에 의한 단안상의 상호 시차를 이용하여 단일 재생상을 구성함으로써, 백 포커스 축소에 의한 렌즈계의 박형화와, 1개의 단안상을 구성하는 화소수가 적음으로써 초래되는 해상력 저하에 대한 보상을 실현하고 있다. 이 공보에 기재된 발명에서는 단안상을 구성하는 화소수가 적음으로써 초래되는 해상력 열화는 보상할 수 있지만, 결상 광학계에 의한 광학적인 열화는 보상할 수 없다.

본 발명은 상술한 실정을 감안하여 이루어진 것으로서, 광학 성능이 높은 결상 광학계를 필요로 하지 않고도 양호한 재생 화상을 얻을 수 있는 화상 입력 장치, 화상 입력 방법 및 이 화상 입력 장치를 구비한 전자 기기를 실현하는 것을 과제로 한다.

　본 발명은 또한, 복안상의 각 단안상으로부터 단일 피사체상을 재구성하는 화상 입력 장치에 있어서, 단안상을 구성하는 화소수가 적음으로써 초래되는 해상력 열화, 결상 광학계에 의한 광학적인 열화 모두를 양호하게 보상하는 것을 과제로 한다.

본 발명의 화상 입력 장치는 물체로부터의 광을 결상시키는 하나 이상의 결상 렌즈에 의한 상을 촬상 수단에 의해 촬상하는 화상 입력 장치이다.　

결상 렌즈는 하나 이상이기 때문에, 촬상 수단이 촬상하는 상도 하나 이상이다. 또, 결상 렌즈를 두 개 이상 이용할 때에는, 각 결상 렌즈는 실질적으로 동등한 것이다. 촬상 수단은 포토 다이오드 등 수광 소자가 2차원 어레이형으로 배열되고, 상을 화소마다 전기 신호화하는 것이며, 예컨대, CCD나 CMOS 등 이미지 센서가 이용된다.

본 발명의 화상 입력 장치는 아래의 점을 특징으로 한다.

즉, 하나 이상의 결상 렌즈로서 광학 전달 함수의 게인이 유한하고, 또한 화각으로 인한 상기 게인의 차이가 미소한 단렌즈를 이용한다.

그리고, 결상 렌즈로 인한 상의 열화를 보정 연산 수단에 의해 결상 렌즈인 단렌즈의 광학 전달 함수를 이용하는 연산으로 보정한다.

광학 전달 함수는 소위 OTF(Optical Transfer Function)이며, 광학 전달 함수의 게인은 OTF의 절대치인 MTF(Modulaton Transfer Function)이다.

결상 렌즈로 인한 상의 열화는 결상 렌즈의 광학 성능으로 인한 광학적인 열화이다.

또, 본 발명의 화상 입력 장치에 이용되는 결상 렌즈는 피사체 측에 0 또는 부(負)의 파워를 가지는 면, 상 측에 정(正)의 파워를 가지는 면을 구비하는 단렌즈일 수 있다(청구항 2).

즉, 상기 화상 입력 장치는 단렌즈에 의한 하나 이상의 결상 렌즈와, 이 결상 렌즈에 의한 하나 이상의 상을 촬상하는 촬상 수단과, 광학 전달 함수를 이용하는 보정 연산을 수행하는 보정 연산 수단을 구비한다.

상기 화각으로 인한 게인의 차이가 미소한 단렌즈에서의 화각은 결상 렌즈를 촬영할 수 있는 최대 화각 내에 있어서, 피사체 각 부로부터의 결상 광선이 결상 렌즈에 입사하는 입사각, 즉, 결상 렌즈로부터 피사체의 각 부를 전망하는 각이다.

물체 측에 0 또는 부의 파워를 가지는 면을 구비하고, 상 측에 정의 파워를 가지는 면을 구비하는 단렌즈로서는 예컨대, 물체 측이 평면이고 상 측이 볼록 구면인 평 볼록 렌즈를 들 수 있다.

그런데, 잘 알려진 바와 같이, 평 볼록 렌즈는 볼록면을 물체 측으로 향하게 하지 않으면 양호한 결상 성능을 실현할 수 없다. 따라서, 평 볼록 렌즈를 촬영 광학계로서 이용하려면, 볼록면을 물체측(피사체측)으로 향하게 하는 것이 광학 기술 상의 상식이다.

광학 전달 함수의 게인(MTF) 면에서는 평 볼록 렌즈의 볼록면을 피사체 측으로 향하게 할 때에 양호한 MTF로 되지만, 평 렌즈면을 피사체 측으로 향하게 하면 MTF는 대부분의 공간 주파수 영역에 걸쳐 유한하고 또한 낮은 값으로 되어 해상성이 낮다.

반면, 평 볼록 렌즈의 볼록면을 피사체 측으로 향하게 한 경우의 MTF는 화각에 따라 크게 상이하여 화각으로 인한 MTF의 차이가 크다. 이것에 대하여, 평 볼록 렌즈의 평 렌즈면을 피사체 측으로 향하게 한 경우의 MTF는 화각으로 인한 차이가 거의 없다. 즉, 평 볼록 렌즈의 평 렌즈면을 피사체 측으로 향하게 할 때의 MTF는 유한하고 또한 낮은 값으로 되지만, 화각으로 인한 MTF의 차이는 적다. 이 경향은 평 볼록 렌즈에 한정되지 않고, 피사체 측에 0 또는 부의 파워를 가지는 면을 구비하고, 상 측에 정의 파워를 가지는 면을 구비하는 단렌즈에서 일반적이다.

본 발명은 이 사실을 이용하여 유한하고 낮지만, 화각으로 인한 차이가 작은 MTF를 특성으로 구비한 단렌즈를 결상 렌즈로서 이용하는 것이다. 이와 같은 결상 렌즈는 일반적으로 높은 광학 성능이 요구되지 않으므로, 염가의 단렌즈로 구성할 수 있다.

또한, 본 발명의 화상 입력 장치의 결상 렌즈는 상기와 같이 하나 이상이 이용되므로, 결상 렌즈가 단일 렌즈일 수 있다(청구항 3).

또한, 본 발명의 화상 입력 장치는 동일한 결상 렌즈를 복수개 배열하여 렌즈 어레이(결상 렌즈의 어레이 배열)를 구성하고, 이 렌즈 어레이에서의 결상 렌즈의 개개가 결상하는 피사체의 단안상의 집합인 복안상으로부터 단일 피사체상을 재구성하는 재구성 연산 수단과, 재구성되는 단일 피사체상의 상 열화를 연산에 의해 보정하기 위한 재구성상 보정 연산 수단을 구비할 수 있다(청구항 4).

재구성되는 단일 피사체상의 상 열화는 개개의 단안상을 결상하는 결상 렌즈의 광학 성능으로 인한 광학적인 열화이다.

상기 화상 입력 장치에 있어서, 재구성 연산 수단에 의한 복안상으로부터 단일 피사체상을 재구성함에 있어서 단안상 간의 상대 위치를 단안상 간의 휘도 편 차의 최소 제곱합에 근거하여 연산할 수 있다(청구항 5).

상기 단안상 간의 상대 위치는 전술한 복안상을 구성하는 단안상 간의 시차이다.

상기 화상 입력 장치에 있어서, 촬상한 복안상으로부터 단일 피사체상을 재구성하기 위해서는 복안상에서의 단안상 간의 시차를 검출할 필요가 있고, 이 검출 방법으로서는 일본 특허 공개 공보 2003-141529호에 의해 공지의 복안상을 형성하는 단안상 간에서의 상호 상관 함수의 피크를 연산에 의해 검출하여 시차를 구하는 방법을 이용할 수 있다.

그러나, 상기 공보에 기재된 방법에서는 상호 상관 함수를 구하는 데에 푸리에 변환을 이용하고 있어 연산 비용이 든다. 이에, 상기 화상 입력 장치와 같이, 단안상 간의 상대 위치를 단안상 간의 휘도 편차의 최소 제곱합에 근거하여 연산하면, 푸리에 변환을 이용하지 않아도 되기 때문에, 연산 비용을 절감할 수 있다.

또한, 본 발명의 화상 입력 장치는 재구성상 보정 연산 수단이 복안상을 구성하는 개개의 단안상에 대하여 광학 전달 함수에 의한 보정 연산을 수행하고, 보정된 단안상에 근거하여 재구성 연산 수단이 단일 피사체상을 재구성하도록 하여도 좋고(청구항 6), 재구성상 보정 연산 수단에 의한 보정 연산이 재구성 연산 수단에 의해 재구성된 단일 피사체상에 대하여 이루어지도록 할 수도 있다(청구항 7).

또한, 본 발명의 화상 입력 장치는 렌즈 어레이를 구성하는 각 결상 렌즈 간의 광선의 혼선(crosstalk)을 방지하기 위하여, 각 결상 렌즈 간을 차광하는 차 광 수단을 구비하는 것이 바람직하다(청구항 8). 차광 수단에 의해 인접하는 결상 렌즈 간의 혼선을 방지함으로써 플레어나 고스트를 억제한 고품질의 화상을 재생할 수 있다.

또한, 본 발명의 화상 입력 장치에 있어서의 결상 렌즈는 전술한 바와 같이, 피사체 측에 0 또는 부의 파워를 가지는 면, 상 측에 정의 파워를 가지는 면을 구비하는 단렌즈로 구성되지만, 이 단렌즈는 예컨대 상면 측에 볼록면을 구비하는 평 볼록 렌즈 또는 상 측으로 볼록면을 향하게 한 메니스커스(meniscus) 렌즈일 수 있다(청구항 9). 그러나, 단렌즈의 형태는 이것에 한정되지 않고, 다른 형태, 예컨대, 상기 단렌즈의 피사체 측에 0 또는 부의 파워를 가지는 면, 상 측에 정의 파워를 가지는 면을 구비하는 요건을 만족시키는 굴절률 분포형의 렌즈나 홀로그램 렌즈, 프레넬 렌즈 등 회절형 렌즈를 이용할 수도 있다.

또한, 본 발명의 화상 입력 장치에서 이용되는 평 볼록 렌즈나 메니스커스 렌즈의 적어도 상면 측의 볼록 렌즈면은 구면일 수도 있고 비구면일 수도 있다(청구항 10). 비구면을 이용하는 경우에는, 예컨대 원추 정수(定數) 등 저차(低次) 비구면 정수를 조정하면 되고, 이에 따라 광학 전달 함수의 광선 각도(화각)에 대한 의존성을 한층 더 절감하여 화각으로 인한 MTF의 차이를 더욱 작게 하거나 MTF 낮음을 보상하는 효과를 얻을 수 있다.

또한, 본 발명의 화상 입력 장치의 결상 렌즈를 상면 측에 볼록면을 구비한 평 볼록 렌즈로 하는 경우, 평 볼록 렌즈의 백 포커스 : b, 볼록면의 곡율 반경 : r, 렌즈 두께 : t, 렌즈 직경 : D 가 조건:

(1)　1.7 ≤｜b/r｜≤ 2.4　

(2)　0.0 ≤｜t/r｜≤ 1.7　

(3)　1.0 ≤｜D/r｜≤ 3.8　

을 만족시키는 것이 바람직하다(청구항 11).

이와 같은 조건은 결상 렌즈로서 상면 측에 볼록면을 구비한 평 볼록 렌즈를 이용하는 경우에, 광학 전달 함수의 게인의 화각으로 인한 차이를 작게 하는 데에 바람직한 조건을 표시하는 것이다.

즉, 상기 b와 t와 D의 각각을 임의로 변화시키면서, 광학 전달 함수의 게인이 피사체의 예상 화각 내에서 유한하고 균일하게 되는 범위의 MTF의 그래프를 육안으로 조사한 결과, 상기 조건 (1)~(3)의 상한을 우회하거나 하한을 하회하게 되면, MTF가 0으로 떨어지거나 MTF의 균일성이 저하된다는 것을 알 수 있었다.

또, 조건 (1)~(3)을 만족시키는 범위에서는 렌즈 직경이 작아져 FNo.가 작아지므로, 결과적으로 피사계(被寫界) 심도가 깊고, 또한 밝은 렌즈로 된다.

또한, 본 발명의 화상 입력 장치에서의 상 열화의 보정 연산은 광의 주요한 파장마다 수행되는 것이 바람직하다(청구항 12).

또한, 상기 화상 입력 장치에서는 결상 렌즈는 단렌즈이므로, 색 수차를 보정할 수 없다. 따라서, 컬러 화상의 입력을 실시하는 경우에는, 색 수차로 인한 상 열화가 문제로 되지만, 상기 화상 입력 장치에서 상 열화의 보정 연산에 파장 정보가 포함되는 것을 이용하고, 보정 연산을 광의 주요한 파장(예컨대, 적·녹·청)마다 실행하며, 파장별로 얻어지는 보정 화상을 합성함으로써 색 수차를 억제한 컬러 화상을 재생할 수 있다.

본 발명의 재생 화상의 보정 방법은 상술한 화상 입력 장치를 이용하여 실시되는 방법이며(청구항 13), 또한 본 발명의 전자 기기는 상술한 화상 입력 장치를 구비한 전자 기기이다(청구항 14). 이와 같은 전자 기기는 휴대 전화나 소형 휴대 단말, 화상 입력 기능을 구비하는 컴퓨터 등으로 실시될 수 있다.

본 발명의 화상 입력 방법은 물체로부터의 광을 결상시키는 하나 이상의 결상 렌즈에 의한 상을 촬상 수단에 의해 촬상하는 화상 입력 방법이며, 결상 렌즈로서 광학 전달 함수의 게인이 유한하고, 또한 화각으로 인한 상기 게인의 차이가 미소한 단렌즈를 이용하며, 결상 렌즈에 의해 결상시킨 물체의 상을 촬상 수단에 의해 촬상하여 데이터화하고, 결상 렌즈로 인한 상의 열화를 보정 연산 수단으로 광학 전달 함수에 의한 보정 연산을 실행하여 보정된 피사체상을 재생하는 것을 기본으로 한다.

결상 렌즈에 의한 렌즈 어레이를 이용하여 물체의 복안상을 결상시키는 경우에는, 재구성 연산 수단에 의해 렌즈 어레이에 의한 복안상으로부터 단일 피사체상을 재구성하고, 재구성된 단일 피사체상의 상 열화를 재구성 보정 연산 수단에 의한 보정 연산으로 보정하여 화상을 취득한다.

설명을 보충하면, 촬상 수단에 의해 촬상되는 피사체 화상의 강도 데이터를 I(x, y), 피사체가 구비하는 강도 데이터를 S(x, y), 결상 렌즈의 광학 전달 함수를 OTF(x, y)로 하면, 이들 사이에 다음의 관계:

　I(x, y)=FFT^－1[FFT{S(x, y)}*OTF(x, y)]　　　(11)　

가 성립되는 것이 알려져 있다. 또한, x, y는 촬상 위치의 위치 좌표이며, FFT는 푸리에 변환 연산자, FFT^－1은 역푸리에 변환 연산자이다.

상기 촬상 수단에 의해 촬상되는 피사체 화상의 강도 데이터 : I(x, y)는 이미지 센서의 촬상면 상의 광 강도 데이터이다. 또, 광학 전달 함수 : OTF(x, y)는 결상 렌즈가 특정되면 광선 추적 시뮬레이션에 의해 결상 렌즈의 파면(波面) 수차를 구하고, 파면 수차로부터 결상 렌즈의 눈동자 함수를 구하여 눈동자 함수의 자기 상관 연산으로부터 계산할 수 있다. 즉, 광학 전달 함수 : OTF(x, y)는 화상 입력 장치에 이용하는 결상 렌즈에 따라 미리 계산에 의해 구할 수 있다.

상기 (11) 식의 양 변에 푸리에 변환 연산자:FFT를 작용시키면,

FFT{I(x, y)}=[FFT{S(x, y)}×OTF(x, y)]

로 된다. 이로부터

FFT{S(x, y)}=FFT｛I(x, y)｝/OTF(x, y)

를 얻을 수 있다.

재생 화상을 R(x, y)로 하면, 피사체가 구비하는 강도 데이터 : S(x, y)와의 대응성이 좋을 수록 피사체에 충실하고 양호한 것이다.

이에, 광학 전달 함수 : OTF(x, y)가 이미 알고 있는 결상 렌즈에 의한 피사체상 강도 데이터 : I(x, y)에 대하여 광학 전달 함수 : OTF(x, y)를 이용하여 다음 식의 오른쪽 연산:

R(x, y)=FFT^－1[FFT{I(x, y)}/(OTF(x, y)＋α)]　　(12)

를 실행할 때, OTF(x, y)가 정확한 것이면, R(x, y)는 피사체가 구비하는 강도 데이터 : S(x, y)를 촬상면 상에 상사적으로 재현한 이상적인 재생상의 강도 데이터로 된다.

이와 같이, 결상 렌즈의 광학 전달 함수가 알려져 있으면, 상기 연산 (12) 식에 의해 양호한 재생상을 얻을 수 있다. 또한, 상기 (12) 식 오른쪽의 α는 나눗셈 시의 영 나눔이나 노이즈 증폭을 억제하기 위한 정수이다.

이와 같은 재생 화상의 보정은 적외나 자외를 포함한 전자파 전체에 대하여 가능하다. 따라서, 감시 카메라나 차재 카메라에 이용되는 적외선 카메라 등에도 본 발명의 화상 입력 장치를 이용할 수 있다.

도 1a 내지 도 1d는 결상 렌즈의 일례인 평 볼록 렌즈의 결상이 렌즈 방향에 따라 어떻게 다른 가를 설명하기 위한 도면이다.

도 1a 및 1b에 있어서, 부호 L은 평 볼록 렌즈, 부호 S는 피사체, 부호 I는 상면을 나타내고 있다. 도 1a에서는 평 볼록 렌즈(L)는 그 볼록면이 상면(I) 측을 향하고 있고, 도 1b에서는 평 볼록 렌즈(L)는 통상의 사용 방법과 같이 볼록면이 물체 측을 향하고 있다. 도 1a 및 1b에는 서로 화각이 다른 3종의 결상 광선(F1, F2, F3)의 결상 상태를 나타내고 있다.

도 1a과 도 1b를 비교하면, 상면(I) 부근에 있어서, 도 1a에서는 입사각이 다른 결상 광선(F1, F2, F3)은 각각 집광성이 나쁘고, 도 1b의 경우와 비교하여 광 선 밀도가 낮지만, 각 광선 간의 확대 차이가 작다.　

한편, 도 1b에서는 결상 광선(F1, F2, F3)의 집광성은 높지만, 상면(I) 부근에서 각 광선 간의 확대 차이가 크다.

이와 같은 평 볼록 렌즈(L)의 렌즈 방향 차이로 인한 결상 상황 차이는 광학 전달 함수의 게인인 MTF를 살펴보면 이해할 수 있다.

도 1c는 도 1a에 나타낸 결상 상황에 대한 MTF를 서로 화각이 다른 결상 광선(F1, F2, F3)에 관하여 나타낸 것이다. 또, 도 1d는 도 1b에 나타낸 결상 상황에 대한 MTF를 서로 화각이 다른 결상 광선(F1, F2, F3)에 관하여 나타낸 것이다. 도 1c와 도 1d를 대비하면, 도 1a, 1b의 결상 상황 차이로 인한 MTF 차이는 일목 요연하다.

도 1c에 있어서, 곡선 2－1은 결상 광선(F1)에 관한 MTF이며, 서지털(sagittal), 탄젠셜(tangential)에 의한 MTF의 변화는 도시할 수 없을 정도로 작다. 곡선 2－2는 결상 광선(F2)에 관한 MTF이며, 서지털, 탄젠셜에 의한 MTF의 변화는 도시할 수 없을 정도로 작다. 곡선 2－3과 2－4는 결상 광선(F3)(화각이 가장 큼)에 관한 MTF이며, 곡선 2－3은 탄젠셜, 2－4는 서지털을 나타내고 있다.

즉, 도 1a의 결상 상황에서는 평 볼록 렌즈(L)에 의한 집광 성능이 낮음으로써 MTF는 전체적으로 유한하고 낮지만, 결상 광선의 화각으로 인한 MTF 차이는 작다. 즉, 평 볼록 렌즈의 볼록면을 상 측으로 향하게 한 피사체상을 결상시키면, 광학 전달 함수의 게인은 화각에 의거하지 않고 유한하고 낮지만, 화각으로 인한 차이가 미소(MTF가 다른 화각에 대하여 대략 동일)하게 된다.

도 1b의 결상 상황에서는 결상 광선의 화각이 작은 경우(결상 광선(F1))에는 양호한 MTF(곡선 2－5, 서지털, 탄젠셜에 의한 MTF의 변화는 도시할 수 없을 정도로 작음)를 얻을 수 있지만, 결상 광선의 화각이 커짐(결상 광선(F2, F3))에 따라 MTF는 크게 저하된다. 곡선 2－6, 2－7은 결상 광선(F2)에 대한 서지털 및 탄젠셜의 MTF를 나타내고, 곡선 2－8, 2－9는 결상 광선(F3)에 대한 서지털 및 탄젠셜의 MTF를 나타내고 있다.

이에, 상술한 (12) 식에 의한 보정 연산을 살펴 보면, 도 1b와 같이 평 볼록 렌즈의 볼록면을 피사체 측으로 향하게 한 결상 상황에서는 결상 광선의 화각에 따른 광학 전달 함수 차이가 크기 때문에 1개의 촬상 화상을 1개의 광학 전달 함수 데이터(예컨대, 결상 광선(F1)에 대한 광학 전달 함수 데이터)로 보정하여도 보정은 불충분하므로 양호한 재생 화상을 얻을 수 없다.

이것을 회피하려면, 결상 광선의 화각에 따라 상이한 광학 전달 함수 데이터를 이용하는 것을 고려할 수 있지만, 화각에 따른 광학 전달 함수의 차이가 클 수록 많은 화각에 대한 광학 전달 함수 데이터가 필요하므로 보정 연산 처리 시간이 방대하게 되어 실용적이지 않다.

또, 보정할 수 있는 최소 단위는 촬상 수단에서의 1 화소이며, 촬상 수단의 화소보다 작은 레벨이고 또한 연속적인 광학 전달 함수 데이터는 제작할 수 없기 때문에, 광학 전달 함수의 변화가 클 수록 재생 오차도 커진다.

이것에 대하여, 도 1a의 결상 상황(평 볼록 렌즈(L)의 볼록면을 상 측으로 향하게 한 결상 상황)에서는 결상 광선의 화각으로 인한 광학 전달 함수 차이가 작 고, 상이한 화각에 대하여 광학 전달 함수는 대략 동일하다. 즉, 화각에 따라 광학 전달 함수가 상이하여도 상호 차이는 근소하며, 도 1a의 결상 상황에서는 유한하고 낮지만, 화각으로 인한 차이가 거의 없는 광학 전달 함수를 얻을 수 있다.

따라서, 임의의 한 화각에서의 광학 전달 함수 데이터, 또는 복수개의 화각에서의 광학 전달 함수 데이터의 평균을 이용하여 전술한 연산에 의해 광학 열화 보정이 가능하다. 보정 정밀도를 높이기 위하여 화각별로 상이한 광학 전달 함수 데이터를 이용하여도 좋다.

하나의 광학 전달 함수 데이터를 이용하면, 연산 처리수가 적어 단시간 내의 연산 수행이 가능하게 된다. 또, 보정 정밀도를 높이기 위하여 화각에 따라 상이한 광학 전달 함수 데이터를 이용하는 경우에도 적은 데이터로 보정 연산을 수행할 수 있으므로 연산 처리 시간이 짧다.

따라서, 평 볼록 렌즈와 같이 간단한 단렌즈를 결상 렌즈로서 이용하여 고품질의 재생 화상을 얻을 수 있다.

도 1a의 결상 상황에서 결상 광선의 화각으로 인한 광학 전달 함수의 차이가 근소한 것은 결상 렌즈 자체가 경사지게 설치되어도 광학 전달 함수에 대한 영향이 거의 없는 것을 의미하기 때문에, 본 발명과 같은 결상 렌즈를 사용함으로써 화상 입력 장치 조립 시의 결상 렌즈의 경사 오차 영향을 아주 작게 할 수 있다.

반대로, 도 1b의 결상 상황의 경우와 같이, 평 볼록 렌즈(L)에 의한 집광 성능이 높으면, 상면(I)의 위치가 광 축 방향으로 약간 어긋나는 것만으로 집광점이 크게 확대되기 때문에 상 열화도 커지지만, 도 1a와 같이 광선의 집광 성능이 낮은 결상 상황에서는 상면(I)의 위치가 광 축 방향으로 다소 어긋나도 집광점의 확대는 그다지 크지 않다. 따라서, 결상 렌즈와 상면의 간격 오차의 영향도 크게 경감시킬 수 있다.

위에서는 보정 방법으로서 FFT를 이용한 주파수 필터링에 의한 방법을 설명하였지만, 주지의 점상(点像) 함수(PSF)를 이용한 역중첩(deconvolution) 연산에서도 마찬가지로 광학 열화 보정, 즉, 상 열화 보정을 실행할 수 있다. 점상 함수 패턴을 이용한 연산은 푸리에 변환에 비하여 단순하므로, 전용 처리 회로 제작 비용을 절감할 수 있다.

실시예

아래에 본 발명의 화상 입력 장치의 실시예에 대하여 상세하게 설명한다.

도 2에 있어서, 부호 100은 화상 입력 장치, 부호 1은 피사체(물체), 부호 2는 결상 렌즈로서의 구면의 평 볼록 렌즈를 각각 나타내고, 부호 3으로 나타내는 촬상 수단은 CCD 카메라이고, 부호 4는 보정 연산부, 부호 5는 메모리, 부호 6은 화상 표시 수단을 나타낸다. 부호 6a는 화상 표시 수단(6)에 표시된 재생 화상(피사체상)을 나타낸다. 화상 표시 수단(6)은 액정 디스플레이 등이다.

보정 연산부(4)와 메모리(5)는 보정 연산 수단(20)을 구성한다. 보정 연산 수단(20)은 제어 전반을 실시하는 컴퓨터 등의 기능 일부로서 구성된다.

도 2에 나타낸 바와 같이, 평 볼록 렌즈(2)는 피사체(1) 측으로 평 렌즈면을 향하게 하고, 볼록면을 상 측, 즉 CCD 카메라(3) 측으로 향하도록 배치된다.

피사체(1)의 평 볼록 렌즈(2)에 의한 상은 CCD 카메라(3)의 촬상면에 결상 되고, CCD 카메라(3)에 의해 촬상되며, 그 촬상 데이터(전술한 I(x, y))는 보정 연산부(4)로 보내진다.

평 볼록 렌즈(2)에 관한 광학 전달 함수:OTF는 광선 추적 시뮬레이션에 의해 결상 렌즈의 파면(波面) 수차를 구하고, 파면 수차로부터 결상 렌즈의 눈동자 함수를 구하며, 눈동자 함수의 자기 상관 연산으로부터 계산하여 미리 구하여 광학 전달 함수 데이터:OTF(x, y)로서 메모리(5)에 기억되며, 보정 연산부(4)는 메모리(5)로부터 OTF(x, y)를 읽어내고, 촬상 데이터:I(x, y)와 읽어낸 OTF(x, y)에 대하여, 상기 (12) 식의 보정 연산을 실행하며, 보정된 데이터:R(x, y)를 화상 표시 수단(6)으로 출력하고, 보정된 재생 화상(6a)으로서 화상 표시 수단(6)에 표시한다. 이와 같이 하여 피사체(1)의 화상 입력 처리가 수행되고, 이 때, 본 발명의 화상 입력 방법(청구항 13)이 실시된다.

즉, 도 2에 실시예를 나타내는 화상 입력 장치는 물체(1)로부터의 광을 결상시키는 하나 이상의 결상 렌즈(2)에 의한 상을 촬상 수단(3)에 의해 촬상하는 화상 입력 장치에 있어서, 결상 렌즈(2)로서 광학 전달 함수의 게인(MTF)이 유한하고, 또한 화각으로 인한 게인의 차이가 미소한 단렌즈를 이용하며, 결상 렌즈(2)에 의한 상의 열화를 광학 전달 함수(OTF)에 의해 보정하는 보정 연산 수단(4, 5)을 구비하는 것이며(청구항 1), 결상 렌즈(2)가 피사체 측에 0의 파워를 가지는 면, 상 측에 정의 파워를 가지는 면을 구비하는 단렌즈이고(청구항 2), 단일의 렌즈이며(청구항 3), 상면 측에 볼록면을 구비하는 평 볼록 렌즈인 것이다(청구항 9).

도 3a 및 3b 내지 도 9를 참조하여 다른 실시예를 설명한다.　

도 3a에 있어서, 부호 200은 화상 입력 장치, 부호 7은 피사체, 부호 8은 렌즈 어레이부, 부호 9는 촬상 수단, 부호 10은 보정 연산부, 부호 11은 메모리, 부호 12는 재구성 연산부, 부호 13은 화상 표시 수단, 부호 13a는 화상 표시 수단(13)에 표시된 재생 화상을 각각 나타내고 있다. 화상 표시 수단(13)은 액정 디스플레이 등이다.

보정 연산부(10)와 메모리(11)는 재구성상 보정 연산 수단(30)을 구성하고, 재구성 연산부(12)는 재구성 연산 수단을 구성한다. 이들 재구성상 보정 연산 수단 및 재구성 연산 수단은 제어 전반을 실행하는 컴퓨터 등의 기능 일부로서 구성된다.

도 3b는 렌즈 어레이부(8)와 촬상 수단(9)의 부분을 설명도적으로 나타내고 있다.

렌즈 어레이부(8)는 결상 렌즈를 배열한 렌즈 어레이(8a)와 차광벽 어레이(8b)에 의해 구성된다.

렌즈 어레이부(8)의 렌즈 어레이(8a)는 광학적으로 등가인 복수개의 평 볼록 렌즈를 결상 렌즈로서 평면을 피사체측, 볼록면을 상측으로 향하게 하여 2차원적으로 배열한 일체 구조의 것이다. 렌즈 어레이(8a)를 구성하는 평 볼록 렌즈는 투명 수지를 이용하여 유리형이나 금형에 의한 수지 성형으로 제작할 수 있다. 유리형이나 금형은 리플로우법이나 면적 계조 마스크에 의한 에칭법, 기계 가공법 등에 의해 제작할 수 있다. 수지제 렌즈의 렌즈 어레이 대신에 유리제 결상 렌즈의 렌즈 어레이를 이용하여도 좋다.

차광벽 어레이(8b)는 인접하는 평 볼록 렌즈 간에 렌즈를 통과한 광선이 상 면상에서 서로 교차되어 플레어나 고스트가 발생하는 것을 방지하기 위하여 마련되며, 투명 수지에 블랙 카본 등 불투명한 재료를 혼합하여 렌즈 어레이와 마찬가지로 유리형이나 금형에 의한 수지 성형으로 제작된다. 이 경우의 유리형이나 금형은 에칭법이나 기계 가공법 등에 의해 제작할 수 있다. 수지에 의한 차광벽 어레이 대신에, 스테인리스 등 금속 재료에 의한 벽 어레이 구조의 표면을 검게 칠한 것을 이용할 수도 있다.

상기 설명 중의 예에서는 차광 벽 어레이의 개개의 렌즈에 대응하는 부분은 통 형상의 차광벽으로 되어 있지만, 차광벽을 테이퍼형 구조로 하여도 좋고, 핀 홀과 같은 박형의 차광 부재로 하여도 좋다. 렌즈 어레이(8a), 차광벽 어레이(8b)를 모두 수지 재료로 구성하는 경우에는 렌즈 어레이(8a)와 차광벽 어레이(8b)를 일체로 성형 가공하여 생산 효율을 향상시킬 수 있지만, 렌즈 어레이와 차광벽 어레이를 각각 별도로 가공한 후에 조합하는 제조 공정으로 하여도 좋다.

렌즈 어레이(8a)와 차광벽 어레이(8b)를 조합하는 경우, 상 측으로 볼록면을 향한 평 볼록 렌즈는 차광벽 어레이(8b)의 구멍에 렌즈 볼록면이 삽입되므로, 렌즈 어레이(8a)와 차광벽 어레이(8b)의 상호 배열이 용이하다.

도 3a 및 3b에 나타내는 촬상 수단(9)은 포토 다이오드가 2차원 어레이형으로 배열된 CCD, CMOS 등 이미지 센서이며, 렌즈 어레이(8a)를 구성하는 각 평 볼록 렌즈의 결상 위치에 촬상면을 대략 합치시키도록 설치된다.

도 3c는 촬상 수단(8)에 의해 취득된 복안상의 상태를 설명도적으로 나타내 고 있다. 도시를 간단하게 하기 위하여, 렌즈 어레이(8a)를 구성하는 결상 렌즈는 25개이고, 5행 5열의 정방 행렬형으로 배열되어 있는 것으로 한다. 렌즈 어레이를 구성하는 개개의 결상 렌즈에 의해 피사체(6)의 단안상이 결상되므로, 전부 25개의 단안상 배열로서 복안상을 얻을 수 있다. 도 3c에 있어서, 부호 PI는 단안상을 나타내고, 단안상 서로를 구분하고 있는 칸 부분은 차광 벽으로 인한 그림자이다.

도 3b에 있어서, 부호 9a는 촬상 수단(8)의 화소를 나타내고, 렌즈 어레이(8a)의 각 결상 렌즈에 의한 단안상을 복수개의 화소에 의해 화상으로서 촬상한다. 예컨대, 촬상 수단(9)의 총 화소수가 500×500이고, 렌즈 어레이(8a)에서의 결상 렌즈의 렌즈 배열이 5×5 이면, 결상 렌즈 한 개 당에 할당할 수 있는 화소수는 100×100이지만, 상기 차광 벽으로 인한 그림자로 되어 촬상되지 않는 화소가 그림자 한 개 당의 한 쪽에 5 화소 있다고 하면, 단안상의 화소수는 90×90으로 된다.

도 3a, 3b에 있어서, 렌즈 어레이(8a)에 의해 결상한 피사체(7)의 복안상은 촬상 수단(9)에 의해 촬상됨으로써 복안상 데이터로 되어 보정 연산부(10)에 전송된다. 메모리(11)에는 렌즈 어레이의 결상 렌즈에 관한 광학 전달 함수 데이터(미리 계산에 의해 구해 둔다. 또, 렌즈 어레이(8a)를 구성하는 결상 렌즈는 광학적으로 동등하기 때문에, 광학 전달 함수 데이터(OTF 데이터)는 단일의 결상 렌즈에 관한 것으로 된다)가 기억되어 있다.

보정 연산부(10)는 메모리(11)로부터 OTF 데이터를 읽어내고, 촬상 수단(9)으로부터 입력되는 복안상 데이터에 대하여 보정 연산 처리를 실행한다. 이 실시 예에서는 보정 연산은 단안상의 개개에 대하여 개별적으로 수행된다. 이 때의 보정 연산은 (12) 식에 의해 실행된다. 따라서, 복안상을 구성하는 단안상 마다 광학 전달 함수에 의한 보정을 수행하여 보정된 단안상에 의한 복안상 데이터를 얻을 수 있다. 이 보정 연산은 보정 연산 수단의 재구성상 보정 연산 수단에 의해 실행된다.

이와 같이 보정된 단안상에 의한 복안상 데이터에 대하여 단일 피사체상을 재구성하는 처리가 재구성 연산 수단을 이루는 재구성 연산부(12)에 의해 실행된다.

복안상을 구성하는 각 단안상은 렌즈 어레이(8a)의 상이한 결상 렌즈로 결상한 피사체상이다. 개개의 결상 렌즈와 피사체(7)의 위치 관계는 결상 렌즈 마다 상이하므로, 단안상 간에는 결상 렌즈와 피사체의 위치 관계에 기인한 시차가 존재하며, 단안상끼리는 시차에 따라 조금씩 시프트된 화상으로 된다. 또한, 이 명세서에서 말하는 시차는 촬상한 복안상 중에서 기준으로 하는 단안상(기준 단안상)에 대한 각 단안상 화상의 시프트량(단위: 길이)을 가리킨다.

화상 입력 장치에 의한 촬상 화상으로서 단안상만을 이용하면, 단안상의 1개 화소보다 작은 피사체의 구조를 얻을 수 없지만, 단안상 간의 시차를 이용하면, 단안상의 1개 화소에 매몰된 피사체의 구조를 재현할 수 있다.

즉, 시차를 수반하는 복안상으로부터 단일 화상을 재구성함으로써, 단안상에 대하여 해상력을 향상시킨 재구성상을 얻을 수 있다.

단안상 간의 시차 검출을 위해서는, 예컨대, 다음의 (13) 식에 의해 정의되 는 단안상 간의 휘도 편차의 최소 제곱합을 이용한다(청구항 6).

E_m = ΣΣ{I_B(x, y)－I_m(x－p_x, y－p_y)}²　　　　　　　(13)

상기 (13) 식에 있어서, I_B(x, y)는 복안상 중에서 임의로 설정한 기준 단안상의 강도 데이터이다. 각 단안상의 시차는 이 기준 단안상에 대한 시차이므로, 기준 단안상이 각 단안상의 시차 기준으로 된다. 첨자 m은 단안상의 번호를 나타내는 정수 첨자로서 1로부터 렌즈 어레이를 구성하는 렌즈 수까지의 값을 취한다. 즉, m의 상한치는 단안상의 총 수이다.

또, I_m(x－p_x, y－p_y)에 있어서, p_x = p_y = 0으로 한 I_m(x, y)는 m번째 단안상의 강도 데이터를 나타내고, p_x, p_y는 각각, x방향, y방향의 시차를 산출하기 위한 파라미터를 나타낸다. (13) 식에 있어서의 이중합은 m번째 단안상의 x방향, y방향의 화소에 관한 합이며, x=1로부터 x=X까지, y=1로부터 y=Y까지의 합을 실행한다. X는 m번째 단안상의 x방향의 화소수, Y는 m번째 단안상의 y방향의 화소수이다.

임의의 단안상을 구성하는 전체 화소에 대하여 해당 단안상과 기준 단안상의 휘도 편차를 취하고, 그 제곱합 : E_m을 구한다. 파라미터 : p_x, p_y를 1 화소분씩 서서히 변화시키고, 변화시킬 때마다 (13) 식에 의해 휘도 편차의 제곱합 : E_m을 계산하여 E_m이 최소로 될 때의 p_x, p_y의 값 : P_x, P_y을 x, y방향에서의 해당 단안상의 기준 단안상에 대한 시차로 한다.

일례로서 m=1의 단안상을 기준 단안상으로 하여 이 기준 단안상 자체의 시차를 구하는 경우를 살펴 보면, 이 경우, 단안상끼리는 동일하므로, 파라미터 : p_x, p_y가 p_x=p_y=0 일 때 단안상끼리는 완전히 중첩되어, (13) 식에 의한 E_m은 0으로 된다.

파라미터 : p_x, p_y의 절대치가 커질 수록 단안상끼리가 중첩되는 영역이 감소하여 Em의 값은 증대한다. 따라서, 동일 단안상끼리의 시차 : P_x, P_y 는 모두 0이다.

예컨대, m번째 단안상에 대하여 시차 : P_x=3, P_y=2로 하면, m번째 단안상은 기준 단안상에 대하여 x방향으로 3 화소, y방향으로 2 화소만큼 시프트되어 있고, m번째 단안상을 x방향으로 -3 화소, y방향으로 -2 화소만큼 시프트시키면, 시프트한 m번째 단안상은 기준 단안상과 가장 잘 중첩된다(즉, 휘도 편차의 2중합:E_m가 최소로 된다).

도 4는 x축을 p_x, y축을 p_y, z축을 E_m로 하였을 때의 p_x, p_y의 변화에 따른 E_m의 변화의 일례를 나타낸다.

상술한 바와 같이, 도 4에서 E가 최소로 될 때의 P_x, P_y가 x, y방향에서 해당 단안상의 기준 단안상에 대한 시차로 된다. 시차는 화소 사이즈의 정수배로서 정해지는 것이지만, (13) 식에 따른 계산으로 얻을 수 있는 시차 : P_x, P_y의 크기가 촬상 소자의 1 화소 사이즈보다 작게 되는 경우에는, 시차 크기가 1 화소 사이즈 또는 화소의 정수배 사이즈로 되도록 연산 시에 단안상을 확대한다.

즉, 인접 화소를 참조하면서 각 화소의 휘도를 결정하는 보간 연산을 이용하여 화소 간에 화소를 보간하는 연산 처리를 실행하여 단안상을 구성하는 화소수를 증가시키고, 확대한 기준 단안상ㆍ단안상 간의 휘도 편차의 최소 제곱합으로부터 시차를 구하면 된다.

상기 보간 연산에서의 확대율은 렌즈 어레이를 구성하는 결상 렌즈의 광학 배율과 렌즈 어레이의 렌즈 피치, 촬상 소자의 화소 사이즈로부터 시차를 미리 대략 추정할 수 있으므로, 추정한 시차가 화소 사이즈 분의 길이로 되도록 확대율을 결정하면 된다. 렌즈 어레이의 렌즈 피치의 가공 정밀도가 충분히 높은 경우에는, 피사체의 렌즈 어레이로부터의 거리를 알면, 단안상 간의 시차는 산출할 수 있다.

예컨대, 1조의 단안상 간의 시차를 검출하여 삼각 측량의 원리로 피사체 거리를 산출하고, 산출한 피사체 거리와 렌즈 피치에 근거하여 기하학적으로 각 단안상 간의 시차를 산출하여도 된다. 그 경우, (13) 식을 이용한 시차 검출 연산은 1회로 끝날 수 있으므로 연산 시간을 단축할 수 있다. 시차의 검출을 위해서는, 휘도 편차의 최소 제곱합을 이용하는 것 외에도, 예컨대 상기 일본 특허 공보 제3275010호나 일본 특허 공개 공보 2002-171429호에 나타낸 방법을 이용할 수도 있다.

복안상으로부터 단일 피사체상을 재구성하려면, 도 5에 나타낸 바와 같이, 복안상(14)의 각 단안상(14a)으로부터 화소 휘도를 취출하고, 단안상(14a)의 위치 와 검출한 시차에 따라 가상 공간에서의 재구성상(130)의 소정 위치에 취출한 화소 휘도를 배치한다. 각 단안상의 전체 화소에 대하여 화소 휘도의 배치를 반복함으로써 재구성상을 얻을 수 있다.

도 5는 복안상(14)의 최상열 좌측 단부의 단안상을 기준 단안상으로 하고, 그 우측에 배열된 단안상의 시차가 순서대로 Px=－1, Px=－2, Px=－3 ‥인 경우이며, 이들 단안상에서의 좌측 상단 화소의 화소 휘도를 재구성 화상(130)에서 시차의 ＋방향(우측 방향)으로 시차만큼 어긋나게 배치하는 경우를 나타내고 있다.

어느 단안상이 기준 단안상에 대하여 P_x, P_y의 시차를 가지고 있는 경우, 상술한 바와 같이, 단안상을 시차 값의 마이너스분만큼 어긋나게 한 시프트 단안상은 기준 단안상과 가장 잘 중첩되고, 이들 중첩된 시프트 단안상과 기준 단안상에서 공통의 화소는 피사체의 대략 동일한 부위의 정보이다.

그러나, 시프트시킨 단안상과 기준 단안상은 이를 결상한 결상 렌즈가 상이한 위치에 있어 피사체와 결상 렌즈의 위치 관계가 동일하지 않기 때문에, 피사체의 동일한 부위의 정보가 아니라, 피사체에서 서로 근처에 있는 대략 동일한 부위의 정보이다.

따라서, 기준 단안상의 각 화소에 촬상된 피사체 정보와 다른 단안상의 각 화소에 촬상된 피사체 정보를 일치시킴으로써 각 단안상의 1개 화소에 매몰된 피사체 구조를 재현할 수 있고, 시차를 수반하는 복안상으로부터 단일 화상을 재구성함으로써, 단안상에 대하여 해상력을 향상시킨 재구성상을 얻을 수 있는 것이다.

시차 크기나 차광 벽의 그림자 등의 영향으로 재구성 화상(130)에 휘도가 결여된 화소가 발생하는 경우에는, 인접하는 화소의 휘도를 참조하여 보간한다. 시차가 1 화소보다 작을 때에는, 상술한 바와 같이, 시차 크기가 1 화소 사이즈 또는 화소의 정수배가 되도록 재구성상을 확대, 즉 재구성상을 구성하는 화소수를 보간에 의해 증가시키고, 확대한 재구성상의 소정 위치에 화소 휘도를 배치하면 된다.

위에 설명한 재구성 처리의 흐름도를 도 6에 나타낸다.　

스텝 S1에서 복안상을 촬상에 의해 취득하고, 스텝 S2에서 렌즈계의 광학 전달 함수(OTF) 데이터(광선 추적 시뮬레이션에 의해 미리 구하여 메모리 내에 기억시킴)를 판독하며, 스텝 S3에서 OTF 데이터를 이용하여 각 단안상의 상 열화를 보정하는 연산을 수행함으로써 상 열화를 보정한 단안상에 의해 구성된 복안상을 취득한다.

이어서 스텝 S4에서 단안상 간의 시차를 검출하기 위한 기준 단안상을 설정하고, 스텝 S5에서 기준 단안상에 대한 각 단안상의 시차를 검출하며, 스텝 S6에서 시차를 이용한 복안상으로부터 단일상으로의 재구성 연산을 실행한 후, 스텝 S7에서 재구성상을 출력한다.　

스텝 S3은 재구성상 보정 연산 수단에 의해 실행되고, 스텝 S4~S6은 재구성 연산 수단에 의해 실행된다(청구항 6).

도 6의 흐름도의 계산 순서를 바꾸어 도 7과 같은 처리 흐름을 이용하여도 좋다.

즉, 스텝 S1에서 복안상을 취득하면, 스텝 S2에서 단안상 간의 시차를 검출하기 위한 기준 단안상을 설정한다. 스텝 S3에서 기준 단안상에 대한 각 단안상의 시차를 검출하고, 스텝 S4에서 복안상으로부터 시차를 이용하여 단일상으로의 재구성 연산을 실행한다.

이어서 스텝 S5에서 OTF 데이터를 판독하고, 스텝 S6에서 OTF 데이터를 이용하여 재구성상의 상 열화 보정 연산을 실행하며, 스텝 S7에서 상 열화를 보정한 재구성상을 출력한다.

이 경우에는, 스텝 S1~S4가 재구성 연산 수단에 의해 실행되고, 스텝 S5~S7이 재구성상 보정 연산 수단에 의해 실행된다(청구항 7).

도 7의 처리는 도 6의 처리에 비하여, 광학 전달 함수에 의한 보정 처리가 1회로 끝남으로써 연산 시간을 단축할 수 있다. 그러나, 광학 전달 함수는 본래 단안상에 관한 것이므로, 재구성상에 적용하면, 도 6의 처리에 비하여 보정 오차가 커진다.

여기서, 도 3a 내지 도 3c에서 설명한 실시예의 렌즈 어레이(8a)를 구성하는 결상 렌즈의 구체적인 수치 예를 든다.

렌즈 어레이(8a)를 구성하는 동일한 결상 렌즈의 개개를 상 측으로 볼록면을 향하게 한 평 볼록 렌즈로 하고, 그 볼록면의 곡율 반경 : r=0.4 mm, 렌즈 직경 : D=0.4 mm, 렌즈 두께 : t=0.4 mm로 하며, 아크릴 수지를 재료로서 형성하였다. 백 포커스 : b=0.8 mm이다.

따라서, 전술한 조건(1)~(3)의 각 파라미터의 값은 b/r=2.0, t/r=1.0, D/r=1.0 이며, 조건(1)~(3)을 만족시킨다(청구항 11).

앞서 설명한, 도 1c에 나타내는 MTF(광학 전달 함수의 게인)는 이 결상 렌즈에 관한 것이다. 즉, 이 결상 렌즈는 결상 렌즈로의 결상 광선 입사 각도 오차나 조립 오차 등에 영향 받기 어렵다.

또, 이 구체적인 예의 결상 렌즈의 피사체 거리를 10 mm로부터 ∞까지 변화시켰을 때의 MTF 상태를 도 8에 나타낸다. 피사체 거리가 상기와 같이 변화하여도 MTF는 실질적으로 변화하지 않는다(변화 상태는 도 8에 표시되지 않을 정도로 작다). 즉, 이 결상 렌즈의 광학 전달 함수의 게인은 피사체 거리의 변화에 영향 받지 않는다. 이것은 렌즈 직경이 작기 때문이다. 렌즈 직경이 작으면 광량이 감소됨으로써 일반적으로는 어두워지지만, 상기 결상 렌즈의 상면 FNo. 은 대략 2로 충분히 작고, 렌즈 직경이 작음에도 불구하고 충분히 밝다. 렌즈계의 초점 거리가 작으면 결상되는 피사체의 사이즈가 작아져 촬상되는 화상의 해상력이 저하되지만 결상 렌즈를 배열하여 렌즈 어레이로 하고, 복안상을 촬상하며 복안상을 구성하는 단안상으로부터 단일 피사체상을 재구성함으로써, 충분한 해상력을 구비하는 피사체상을 화상 입력할 수 있다.

이와 관련하여, 상기 렌즈 두께 : t=0.4 mm, 백 포커스 : b=0.8 mm 이기 때문에, 렌즈 어레이 표면으로부터 상면까지는 1.2 mm이며, 촬상 수단이나, 표시 수단, 재구성 연산 수단, 재구성 보정 연산 수단의 두께를 더하여도 화상 입력 장치는 두께 수mm 정도로 박형으로 구성할 수 있다.

전술한 바와 같이, 결상 렌즈에는 단렌즈나 프레넬 렌즈(Fresnel lens), 홀 로그램 등 회절형 렌즈를 이용할 수 있지만, 컬러 화상을 화상 입력하는 경우에는 색 수차의 영향을 고려해야 할 필요가 있다.

컬러 화상 입력을 수행하는 경우의 일 실시예로서, 도 2의 장치 구성에서 촬상 수단(3)으로서 컬러 CCD 카메라를 이용하는 경우에 대하여 설명한다. 컬러 CCD 카메라에서는 예컨대, 적색 촬상용, 녹색 촬상용, 청색 촬상용으로 촬상 소자의 화소가 기능 분할되고, 각각의 화소 앞에 색 필터가 배치된 구성으로 되어 있다.

도 9는 컬러 CCD 카메라의 화소 배열의 일례를 설명도적으로 나타낸다. 부호 15a는 적색의 휘도 정보를 취득하는 적색 촬상용 화소, 부호 15b는 녹색의 휘도 정보를 취득하는 녹색 촬상용 화소, 부호 15c는 청색의 휘도 정보를 취득하는 청색 촬상용 화소를 나타내고, 각각의 화소 상에는 취득하는 휘도 정보 색에 따라 적색, 녹색, 청색의 필터가 배치되어 있다. 3개의 화소(15a~15c)를 1군으로 하는 화소군이 순차로 배치되어 각 색의 화상 정보가 취득된다.

적색 촬상용 화소로 취득한 화상에 대해서는 적색 파장에 대한 광학 전달 함수 데이터를 이용하여 상 열화 보정 연산을 수행하면, 적색 화상에 대하여 광학 전달 함수에 의한 열화가 보정된 화상을 얻을 수 있다.

마찬가지로, 녹색 촬상용 화소로 취득한 화상에 대해서는 녹색 파장에 대한 광학 전달 함수 데이터를 이용하여 상 열화 보정 연산을 수행하고, 청색 촬상용 화소로 취득한 화상에 대해서는 청색 파장에 대한 광학 전달 함수 데이터를 이용하여 상 열화 보정 연산을 수행한다.

이 경우, 촬상한 컬러 화상을 표시하는 경우에는 컬러 CCD 카메라의 화소와 마찬가지로, 배치된 표시 수단의 화소에 각 색의 화상 휘도 정보를 표시하여도 좋고, 화상의 동일한 위치에서의 각 색의 화상 휘도를 합성하여 표시 장치에서의 대응 화소에 표시하여도 좋다.

색 필터의 배치가 도 9의 것과 상이한 경우에도, 각 색으로 취득되는 화상에 대하여 상기 처리를 실시하여 각 색에 따른 재구성상을 합성하여 출력하면 좋다.

이상으로 설명한 바와 같이, 본 발명의 화상 입력 장치에 있어서, 광학 전달 함수의 게인이 유한하고, 또한 화각으로 인한 게인의 차이가 미소한 단렌즈를 결상 렌즈로서 이용하며, 광학 전달 함수의 게인을 화각에 의거하지 않고 유한하고 낮으며 또한 균일하게 함으로써, 광학적인 상 열화의 보정 연산이 용이하게 되어 연산 처리 시간을 단축할 수 있다.

Claims

물체로부터의 광을 결상시키는 하나 이상의 결상 렌즈에 의한 상을 촬상 수단에 의해 촬상하는 화상 입력 장치에 있어서,

결상 렌즈로서 광학 전달 함수의 게인이 유한하고, 또한 화각으로 인한 상기 게인의 차이가 미소한 단렌즈를 이용하며,

상기 결상 렌즈로 인한 상의 열화를 연산에 의해 보정하는 보정 연산 수단을 구비하는 것을 특징으로 하는 화상 입력 장치.
제1항에 있어서, 결상 렌즈는 피사체 측에 0 또는 부의 파워를 가지는 면, 상 측에 정의 파워를 가지는 면을 구비하는 단렌즈인 것을 특징으로 하는 화상 입력 장치.
제1항에 있어서, 결상 렌즈는 단일 렌즈인 것을 특징으로 하는 화상 입력 장치.
제1항에 있어서, 동일한 결상 렌즈가 복수개 배열되어 렌즈 어레이를 구성하고,

상기 렌즈 어레이에서의 결상 렌즈의 개개가 결상하는 피사체 단안상의 집합인 복안상으로부터 단일 피사체상을 재구성하는 재구성 연산 수단과,

재구성된 단일 피사체상의 상 열화를 연산에 의해 보정하기 위한 재구성상 보정 연산 수단을 구비하는 것을 특징으로 하는 화상 입력 장치.
제4항에 있어서, 재구성 연산 수단은, 복안상으로부터 단일 피사체상을 재구성 시에, 단안상 간의 상대 위치를 상기 단안상 간의 휘도 편차의 최소 제곱합에 근거하여 연산하는 것을 특징으로 하는 화상 입력 장치.
제4항에 있어서, 재구성상 보정 연산 수단은, 복안상을 구성하는 개개의 단안상에 대하여 연산에 의한 보정을 수행하고, 재구성 연산 수단은, 보정된 단안상에 근거하여 단일 피사체상을 재구성하는 것을 특징으로 하는 화상 입력 장치.
제4항에 있어서, 재구성상 보정 연산 수단은, 재구성 연산 수단에 의해 재구성된 단일 피사체상에 대하여 보정을 수행하는 것을 특징으로 하는 화상 입력 장치.
제4항에 있어서, 렌즈 어레이를 구성하는 각 결상 렌즈 간의 광선의 혼선(crosstalk)을 방지하기 위하여, 각 결상 렌즈 간을 차광하는 차광 수단을 구비하는 것을 특징으로 하는 화상 입력 장치.
제1항에 있어서, 결상 렌즈는 상면 측에 볼록면을 구비하는 평 볼록 렌즈 또는 메니스커스(meniscus) 렌즈인 것을 특징으로 하는 화상 입력 장치.
제9항에 있어서,결상 렌즈의 적어도 상면(像面)측 볼록 렌즈면은 구면 또는 비구면인 것을 특징으로 하는 화상 입력 장치.
제9항에 있어서, 결상 렌즈는 상면 측이 볼록형인 평 볼록 렌즈이며, 그 백 포커스 : b, 볼록면의 곡율 반경 : r, 렌즈 두께 : t, 렌즈 직경 : D가 조건

(1)　1.7≤｜b/r｜≤2.4　

(2)　0.0≤｜t/r｜≤1.7　

(3)　1.0≤｜D/r｜≤3.8　

을 만족시키는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제11항 중 어느 한 항에 있어서, 상 열화의 보정 연산이 청색광, 녹색광, 또는 적색광 중 적어도 하나의 광의 파장에 대하여 이루어지는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제11항 중 어느 한 항에 기재된 화상 입력 장치를 이용하여, 물체로부터의 광을 결상시키는 하나 이상의 결상 렌즈에 의한 상을 촬상 수단에 의해 촬상하는 화상 입력 방법.
제1항 내지 제11항 중 어느 한 항에 기재된 화상 입력 장치를 구비한 전자 기기.