KR20110036757A

KR20110036757A - 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법

Info

Publication number: KR20110036757A
Application number: KR1020117004469A
Authority: KR
Inventors: 히로유끼 오사와
Original assignee: 캐논 가부시끼가이샤
Priority date: 2008-08-08
Filing date: 2009-08-07
Publication date: 2011-04-08
Also published as: KR101233013B1; EP2314988A1; CN102112846A; US20100118142A1; JP2010039448A; WO2010016625A1; EP2314988A4; JP5173665B2

Abstract

텔레센트릭 광학계를 사용하거나 하는 광학적 제한이나, 열화 화상 복원 처리를 복수회 행하는 처리량적 제한 등이 존재했다. 복수의 조리개 패턴으로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 관측 화상 촬영부(221)와, 피사체까지의 거리에 따른 광학 전달 특성을 산출하는 산출부(222)와, 복수의 관측 화상과 광학 전달 특성으로부터, 피사체까지의 거리를 산출하는 거리 연산부(206)를 구비한다. 또한, 복수의 조리개 패턴으로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 관측 화상 촬영부(221)와, 피사체까지의 거리에 따른 광학 전달 특성을 산출하는 산출부(222)와, 복수의 관측 화상과 광학 전달 특성으로부터, 흐려짐량이 최소로 되는 광학 전달 특성을 산출하는 광학 전달 특성 연산부(206)와, 흐려짐량이 최소로 되는 광학 전달 특성을 이용하여 화상의 흐려짐을 복원하여 합초 화상을 얻는 흐려짐 복원부(207)를 구비한다.

Description

화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법{IMAGE PHOTOGRAPHING DEVICE, DISTANCE COMPUTING METHOD FOR THE DEVICE, AND FOCUSED IMAGE ACQUIRING METHOD}

본 발명은, 피사체의 거리 분포를 나타내는 거리 화상과, 화상 전역에서 초점이 맞는 합초 화상을 촬영하는 장치에 관한 것이다.

종래, 촬상 장치부터 피사체까지의 거리를 계측하는 방법은, 렌즈와 상면의 위치 관계에 의해 발생하는 흐려짐량으로부터 거리를 계측하는 방법 등 다수 제안되어 왔다. 이하, 촬상 장치부터 피사체까지의 거리를 계측하는 방법의 예에 대하여 설명한다.

　(1) 오토 포커스 카메라 등에서 사용되는 방법

　(2) 렌즈 초점법(Depth from focus)

　(3) 흐려짐 해석법(Depth from defocus)

　(4) 레이저나 패턴광 등을 사용하는 방법

　(5) 마이크로렌즈 어레이 등에 의한 광선 추적 방법

　(6) 패턴화된 조리개 등을 사용하는 방법

오토 포커스 카메라 등에서 사용되는 방법은, 광학계에 두 번째 렌즈 등을 사용하여 거리 계측용 소자 등에 결상시켜, 거리 계측을 행한다.

렌즈 초점법은, 포커스를 수시로 이동하여, 관측 화면이 화면 상에서 가장 영상이 선명해졌을 때의 거리를 추정 거리로서 구한다.

흐려짐 해석법은, 화상 중의 흐려짐 상태를 해석하여, 흐려짐량과 거리의 관계로부터 추정 거리를 구한다.

레이저나 패턴광 등을 사용한 방법은, 레이저광을 실제의 피사체에 쏘아, 반사하여 돌아온 광의 비행 시간을 계측하여 거리 계측을 행하는 방법(Time of flight법(TOF법))이나 피사체에 찍힌 레이저광이나 패턴광을 촬영한 관측 화상으로부터, 삼각 측량법이나 조도 분포법을 사용하여, 추정 거리를 구한다.

마이크로렌즈 어레이 등을 사용한 광선 추적 방법인 참고 문헌 2에 개시하는 방법은, 촬영되는 광선의 각도 정보를 관측 화상으로부터 해석함으로써 추정 거리를 구한다.

패턴화된 조리개 등을 사용하는 방법인 특허문헌 1이나 참고 문헌 1에 개시되는 방법은, 패턴화된 조리개를 사용하여, 관측 화상을 취득하고, 관측 화상을 조리개의 패턴에 기초하여 해석함으로써, 거리 화상 및 합초 화상을 구한다.

일본 특허 제02963990호 명세서

Image and Depth from a Conventional Camera with a Coded Aperture/Anat Levin, Rob Fergus, Fr´edo Durand, William T. Freeman/Massachusetts Institute of Technology, Computer Science and Artificial Intelligence Laboratory/SIGGRAPH2007 Light Field Photography with a Hand-held Plenoptic Camera/Ren Ng, Marc Levoy, Mathieu, Br´edif Gene, Duval† Mark Horowitz, Pat Hanrahan/Stanford University †Duval Design/SIGGRAPH2005

그러나 종래의 방법에는 이하에 설명한 바와 같이, 몇 개의 문제점이 있었다.

오토 포커스 카메라 등에서 사용되는 위상차 방식은, 촬영용 CMOS 이외에, 거리 계측용 소자나 거리 계측용 광학계 등이 필요하게 된다. 또한, 관측 화상 상의 수점 내지 십수점의 거리밖에 거리 계측을 행할 수 없기 때문에, 거리 화상을 얻는 것은 어렵다.

렌즈 초점법은, 포커스의 이동을 필요로 하여, 포커스 렌즈의 기계적 구동을 수반하기 때문에, 거리 화상의 취득에 시간이 걸린다.

흐려짐 해석법은, 텔레센트릭 광학계에 의해 발생하는 흐려짐과 결상의 관계를 사용하고 있다.　그로 인해, 렌즈 설계의 자유도는 낮다.

레이저나 패턴광 등을 사용하는 방법은, 액티브법이라고 불리며, 고정밀도의 거리 계측이 가능하지만, 레이저나 패턴광을 필요로 하기 때문에, 레이저나 패턴광을 사용 불가한 환경 하에서는 사용할 수 없다.

마이크로렌즈 어레이 등에 의한 광선 추적 방법은, 촬영되는 광의 각도 정보를 취득하는 만큼, 합초 화상의 공간 해상도의 저하가 발생한다.

패턴화된 조리개 등을 사용하는 방법의 하나인 특허문헌 1에서는, 거리 화상과 합초 화상이 얻어지지만, 텔레센트릭 광학계를 사용하고 있으며, 또한 핀 홀 개구를 사용한 조리개에 의해 실시되어 있기 때문에, 광량의 저하라는 문제가 있다.

비특허문헌 1에서도 거리 화상과 합초 화상이 얻어지지만, 화상 처리를 행하는 과정에서, MAP 추정에 의한 열화 화상 복원 처리를 거리 해상도의 수만큼 실시하고 있다.

종래예의 화상 촬영 장치의 광학계를 도 13a, 도 13b에 도시한다.

도 13a에 있어서, 1201은, 특허문헌 1의 광학계를 나타내고 있다. 흐려짐의 양과 결상의 크기의 관계를 유지하기 위해, 위치 1203에 2개의 핀 홀을 갖는 개구 마스크(1207)를 조리개로서 사용하고 있다. 그 때문에, 실질적인 F값이 크기 때문에 광량이 적고, 노광 시간이 길어지는 문제점이 존재한다. 또한, CMOS 센서를 위치 1204, 1205, 1206가 되도록 배치하여, 포커스가 다른 관측 화상을 복수매 얻고 있다. 동일 방법을 실현하기 위해서는, 포커스를 기계적 수단에 의해 움직이게 하거나, 분광 등의 광학적 수단을 사용할 필요가 있어, 기계적 가동의 제약(포커스 이동 시간)이나, 광학계적 수단의 제약(광학계의 크기) 등의 문제가 존재한다.

또한, 도 13b에 있어서, 1202는, 패턴화된 조리개 등을 사용하는 방법의 하나인 참고 문헌 1의 광학계를 나타내고 있다. 통상의 디지털 카메라의 광학계의 조리개(1208)의 위치에, 패턴화된 조리개 부호화 개구 마스크(1210)가 배치되고, CMOS 센서(1209)에 의해 관측 화상의 촬영이 행해진다. 비특허문헌 1의 거리 측정의 방법은, 개구 마스크(1210)에 의해 얻어진 관측 화상을 열화 복원 처리를 미리 측정해 둔 피사체까지의 거리에 따른 PSF(점상 분포 함수)를 사용하여 흐려짐을 포함하지 않는 화상을 연산한다.　그리고 흐려짐을 포함하지 않는 최적의 화상을 생성하는 것이 가능한 PSF의 피사체까지의 거리를 추정 거리로 하는 방법이다.

이 방법으로 개시되어 있는 열화 화상 복원 처리를 행하는 수식 3을 이하에 표현한다.

<수식 3>

수식 3에 있어서, y는 관측 화상, h는 광학 전달 특성, x는 흐려짐을 포함하지 않는 추정 복원 화상, λ는 ρ항 조정용 파라미터, ρ(∇xi)는 라플라시안 필터,

는 컨볼루션 연산자를 나타낸다.

수식 3으로 표현되는 열화 화상 복원 처리는, 컨볼루션 연산을 포함하는 반복 연산이 필요하게 되어 처리 시간을 많이 필요로 한다. 또한, 광학 전달 특성(h)의 게인이 0 혹은 0에 가까운 부근에서의 열화 화상 회복은 어렵다.

따라서, 본 발명의 목적은, 상기와 같은 문제를 발생시키지 않고, 안정적이면서 또한 컨볼루션 연산을 과도하게 사용하지 않는 저부하의 처리에 의해, 고정밀도의 피사체의 거리 화상 및 합초 화상을 취득하는 것을 목적으로 하는 화상 촬영 장치를 제공하는 것이다.

본 발명에 관한 제1 화상 촬영 장치는, 복수의 조리개 패턴으로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 관측 화상 촬영 수단과, 상기 피사체까지의 거리에 따른 광학 전달 특성을 산출하는 수단과, 상기 복수의 관측 화상과 상기 광학 전달 특성으로부터, 상기 피사체까지의 거리를 산출하는 거리 연산 수단을 구비하는 것을 특징으로 하는 화상 촬영 장치이다.

본 발명에 관한 제2 화상 촬영 장치는, 복수의 조리개 패턴으로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 관측 화상 촬영 수단과, 상기 피사체까지의 거리에 따른 광학 전달 특성을 산출하는 수단과, 상기 복수의 관측 화상과 상기 광학 전달 특성으로부터, 흐려짐량이 최소로 되도록 광학 전달 특성을 산출하는 광학 전달 특성 연산 수단과, 상기 흐려짐량이 최소로 되는 광학 전달 특성을 이용하여 화상의 흐려짐을 복원하여 합초 화상을 얻는 흐려짐 복원 수단을 구비하는 것을 특징으로 하는 화상 촬영 장치이다.

본 발명에 관한 화상 촬영 장치의 거리 연산 방법은, 복수의 조리개 패턴으로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 스텝과, 상기 피사체까지의 거리에 따른 광학 전달 특성을 산출하는 스텝과, 상기 복수의 관측 화상과 상기 광학 전달 특성으로부터, 상기 피사체까지의 거리를 산출하는 거리 연산 스텝을 구비하는 것을 특징으로 하는 화상 촬영 장치의 거리 연산 방법이다.

본 발명에 관한 화상 촬영 장치의 합초 화상 취득 방법은, 복수의 조리개 패턴으로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 스텝과, 상기 피사체까지의 거리에 따른 광학 전달 특성을 산출하는 스텝과, 상기 복수의 관측 화상과 상기 광학 전달 특성으로부터, 흐려짐량이 최소로 되는 광학 전달 특성을 산출하는 스텝과, 상기 흐려짐량이 최소로 되는 광학 전달 특성을 이용하여 화상의 흐려짐을 복원하여 합초 화상을 얻는 스텝을 구비하는 것을 특징으로 하는 화상 촬영 장치의 합초 화상 취득 방법이다.

본 발명에 따르면, 관찰 화상 상의 각 점의 피사체까지의 거리가 측정 가능하게 된다. 이에 의해, 거리 화상이나 합초 화상의 촬영이 가능하게 된다.

도 1은, 본 발명의 화상 촬영 장치의 일 실시 형태의 장치 구성의 블록도이다.
도 2는, 본 발명의 화상 촬영 장치의 다른 구성예의 장치 구성의 블록도이다.
도 3은, 가변 퓨필 필터를 사용한 화상 촬영 장치의 광학계를 도시하는 도면이다.
도 4a, 도 4b, 도 4c, 도 4d는, 관측 화상과 합초 화상과 거리 화상을 도시하는 도면이다.
도 5는, 본 실시 형태의 화상 촬영 장치의 개관을 도시한 도면이다.
도 6은, 패턴화된 퓨필 필터를 사용한 광학계를 도시하는 도면이다.
도 7은, 패턴화된 퓨필 필터를 사용한 다른 광학계를 도시하는 도면이다.
도 8은, 광학 전달 특성-추정 거리 테이블을 도시하는 도면이다.
도 9는, 거리 연산부의 동작을 나타내는 흐름도이다.
도 10은, 광학 전달 특성 산출부의 동작을 나타내는 흐름도를 나타내고 있다.
도 11은, 추정 거리와 오차 평가값의 관계를 도시하는 도면이다.
도 12는, 흐려짐 복원부의 동작을 나타내는 흐름도이다.
도 13a, 도 13b는, 종래의 화상 촬영 장치의 광학계의 구성을 도시하는 도면이다.

본 발명에 의한 제1 실시 형태의 화상 촬영 장치 및 방법을, 도면을 참조하여 상세하게 설명한다. 또한, 이하에 설명하는 실시 형태의 장치 구성은, 본 발명에 관한 제1 화상 촬영 장치와 제2 화상 촬영 장치를 조합한 것이다.

도 1은, 본 발명의 화상 촬영 장치의 일 실시 형태의 장치 구성의 블록도이다.

본 실시 형태의 화상 촬영 장치는, 복수의 관측 화상을 촬영하기 위한 관측 화상 촬영부(221), 광학 전달 특성 산출부(222), 거리 연산부·최적 광학 특성 연산부(206), 흐려짐 복원부(207), 리포커스 화상 연산부(208)로 구성되어 있다. 관측 화상 촬영부(221)는 관측 화상 촬영 수단이 된다.

관측 화상 촬영부(221)는, 광학 렌즈(광학 렌즈 1)(201), 광 통과부(202), 광학 렌즈(광학 렌즈 2)(219), 광 전기 변환부(203)로 구성되어 있다.

광 렌즈(201)는, 종래의 필름 카메라나 디지털 카메라와 거의 마찬가지의 렌즈를 사용하며, 광(209)을 집광시키는 기능이 있다.

광 렌즈(201)에 의해 집광된 광은, 광 통과부(202)를 사용하여 변조된다.

본 실시 형태에서는, 후술하는 바와 같이, 광 통과부(202)는 조리개를 사용하여 광의 변조를 행하고 있지만, 비구면 렌즈나 곡률 가변 렌즈 등을 사용하여 변조를 행해도 된다. 여기에서는, 동일한 피사체의 관측 화상을 시분할로 촬영하도록 하고, 광 통과부(202)의 광학적 특성을 시간적으로 변경하여, 복수의 관측 화상을 취득하고 있다. 시분할에 의해 복수매의 관측 화상을 촬영하기 위해, 손 떨림이 발생하지 않도록 하는 떨림 방지 수단 등을 추가하거나, 피사체 떨림이 발생하지 않도록 고속의 셔터 속도를 선택해도 좋다.

광 통과부(202)에 의해 변조된 광(211)은, 광학 렌즈(219)에 의해 재차 집광되어 결상된다.

결상된 광은, 광 전기 변환부(203)에 의해 전기 신호로 변환되어, 관측 화상 im1 및 관측 화상 im2(212)로서 촬영된다.

그리고 소프트웨어 처리인 거리 연산부(206), 흐려짐 복원부(207) 및 리포커스 화상 연산부(208)의 인수로서 전달된다.

광 전기 변환부(203)는, CCD 센서나 CMOS 센서 등을 사용하여 광의 결상의 상태를 전기 신호로 변환한다.

도 1에서는, 광 통과부, 광학 렌즈(2) 및 광 전기 변환부를 1조 설치하고, 동일한 피사체의 관측 화상을 시분할로 촬영하도록 하고, 광 통과부의 광학적 특성을 시간적으로 변경하여, 복수의 관측 화상을 취득하고 있다. 그러나 도 2에 도시한 바와 같이, 관측 화상 촬영부(223)로서, 광 통과부(202), 광학 렌즈(광학 렌즈 2)(219) 및 광 전기 변환부(203)와, 광 통과부(204), 광학 렌즈(광학 렌즈 2)(220) 및 광 전기 변환부(205)의 2조 설치해도 좋다. 관측 화상 촬영부(223)는 관측 화상 촬영 수단이 된다. 광 통과부(202)와 광 통과부(204)의 광학적 특성은 상이하다. 또한, 3개 이상의 조를 설치해도 좋다. 이와 같이, 2조 이상을 동시에 가짐으로써, 복수의 관측 화상을 동시에 촬영할 수 있다. 또한, 동일한 피사체의 관측 화상을 시분할로 촬영하도록 하여, 한쪽의 조에서 관측 화상을 얻은 후에, 다른 쪽의 조에서 다른 관측 화상을 얻어도 좋다. 상술한 바와 같이, 시분할에 의해 복수매의 관측 화상을 촬영하는 경우에는, 손 떨림이 발생하지 않도록 하는 떨림 방지 수단 등을 추가하거나, 피사체 떨림이 발생하지 않도록 고속의 셔터 속도를 선택해도 좋다.

광 전달 특성 산출부(222)는, 피사체와의 거리에 의한 광학 전달 특성(제1 광학 전달 특성)을 산출하는 수단이다.

광학 전달 특성은, 수식을 사용하여 산출을 행해도 좋고, 테이블로서 이산값을 유지해도 좋다.

본 실시 형태에서는, 이산값을 보간하는 방법을 사용하고 있지만, 유사한 다른 방법을 사용해도 된다.

거리 연산부(206)는, 관측 화상 im1 및 관측 화상 im2를 사용하여 거리 화상(213)의 산출을 행한다.

또한, 거리 연산부(206)는, 최적 광학 특성 연산부도 구비하고 있다. 최적 광학 특성 연산부는 흐려짐량이 최소로 되는 제2 광학 전달 특성을 산출하는 광학 전달 특성 연산 수단이 된다. 이것은, 이산적으로 산출되는 피사체까지의 추정 거리를 더욱 고정밀도로 연산하기 위한 수단이다.

흐려짐 복원부(207)는, 거리 연산부(206)로부터 거리 화상 및 관측 화상 im1 및 관측 화상 im2의 데이터를 받아, 이들 데이터를 연산함으로써, 합초 화상(214)의 산출을 행하여, 합초 화상을 취득한다.

리포커스 화상 연산부(208)는, 합초 화상(218) 및 거리 화상(216)의 데이터를 받아, 흐리게 하고 싶은 영역에 일부러 흐려짐을 부가함으로써, 리포커스 화상(215)의 산출을 행한다.

리포커스 화상 연산부(208)는, 리포커스 화상(215)의 생성 시에, 카메라 파라미터(포커스 거리나 F 넘버 등)를 설정하여, 여러 렌즈와 피사계 심도에 대응한 화상을 생성하는 것이 가능하다.

본 실시 형태에서는, 거리 화상과 합초 화상으로부터 임의의 포커스 위치의 화상이나 임의의 피사계 심도의 화상, 또한 수차를 재현한 화상 등의 리포커스 화상을 작성할 수 있다.

도 3은, 도 1의 화상 촬영 장치의 관측 화상 촬영부를 도시하는 도면이며, 가변 퓨필 필터를 사용한 관측 화상 촬영부(광학계)를 도시하는 도면이다. 도 3에 도시하는 구성은, 광 통과부, 광학 렌즈 2 및 광 전기 변환부를 1조 설치하고, 동일한 피사체의 관측 화상을 시분할로 촬영하도록 하고, 광 통과부의 광학적 특성을 시간적으로 변경한 것이다.

관측 화상 촬영부로서의 광학계(101)는, 광 통과부로서 개구 마스크(103) 및 개구 마스크(104)를 적용한 조리개(102)에, 입사된 광을 집광하는 광학 렌즈(105)와, 광 전기 변환부로서 광의 결상 상태를 전기 신호로 변환하는 CMOS 센서(106)를 구비한다. 광학 렌즈(105)는 도 1의 광학 렌즈(201) 및 광학 렌즈(219)에 대응한다.

조리개(102)는, 전기적으로 개구 마스크의 패턴을 변경하는 것이 가능한 조리개이며, 개구 마스크(103)의 패턴과 개구 마스크(104)의 패턴으로 변경하는 것이 가능하다.

조리개(102)는, 전기적으로 개구 패턴을 전환하는 것 이외에, 기계적으로 전환하는 방법이나 물성적으로 전환하는 방법 등, 다른 방법을 사용할 수도 있다.

화상 촬영 장치는, 조리개(102)를 개구 마스크(103)와 개구 마스크(104)로 변경한 상태에서 화상을 촬영함으로써, 복수매의 조리개 형상이 상이한 관측 화상을 얻는다.

거리 연산부 및 흐려짐 복원부 및 리포커스 화상 작성부는, 개구 마스크의 패턴이 상이한 복수매의 관측 화상으로부터, 거리 화상 및 합초 화상 및 리포커스 화상의 산출을 행한다.

개구 마스크(103)와 개구 마스크(104)는, 패턴화된 부호화 개구 형상(퓨필계 형상)을 갖는다. 구체적으로는, 개구 마스크(103)는, 개구(107)와 같은 패턴, 개구 마스크(104)는, 개구(108)와 같은 패턴을 구비하고 있다.

개구(107) 및 개구(108)에서 사용되는 패턴은, 거리 연산의 안정성에 크게 영향이 있다. 예를 들어, 개구(107) 및 개구(108)의 개구 패턴이 모두 원형 개구이면, 2개의 흐려짐 화상은, 거의 동일한 화상으로서 촬영되기 때문에 해석이 곤란하게 된다. 이로 인해, 2개의 개구 패턴에 의해 촬영되는 개개의 관측 화상의 흐려짐 특성은, 다른 특성이 되는 것이 바람직하다. 구체적으로는, 촬영되는 화상의 공간 주파수 특성이 상이한 흐려짐을 발생시키는 개구 패턴을 사용한다.

본 실시 형태에서는, 개구 패턴이 2개인 경우의 예를 나타내지만, 개구 패턴을 2개 이상 사용하여, 2회 이상 촬영하여, 2매 이상의 관측 화상을 얻어도 좋다.

이 경우, 복수매의 관측 화상이 얻어지므로, 그 중에서 2매를 선택하여, 본 실시 형태와 마찬가지의 방법으로 거리 화상 및 합초 화상 및 리포커스 화상을 얻을 수 있다.

또한, 2매의 선택의 조합을 모든 조합에 있어서, 마찬가지로 거리 화상 및 합초 화상의 연산을 행하여, 연산 결과를 평균화함으로써, 연산 정밀도를 높이는 것이 가능하다.

조리개(102)를 개구 마스크(103)의 패턴 혹은 개구 마스크(104)의 패턴으로, 변경함으로써 얻어지는 관측 화상은, 공간 주파수 특성은 다르지만 동일 화각이다.

개구 패턴의 선택은, 이하와 같은 조건을 만족함으로써, 거리 연산부 및 합초 복원부의 연산 정밀도를 높일 수 있다.

　(1) 흐려짐의 크기에 관계없이 고주파 영역의 게인이 떨어지지 않는 것

　(2) 복수의 개구 패턴의 주파수 특성에 있어서 게인의 0점이 동일 주파수에 있어서 겹치지 않는 것

　(3) 개구 면적을 될 수 있는 한 크게 하여 노광에 필요한 광량을 얻는 것

　(4) 흐려짐 특성의 해석이 용이한 패턴인 것

　(5) 회절의 영향을 받지 않는 것

상기 조건을 만족하는 조리개 패턴은 복수 생각할 수 있지만, 본 실시 형태에서는, 도 3에 도시한 바와 같은 개구 마스크의 패턴을 선택한다.

이어서, 본 실시 형태에 관련된 화상 데이터에 대하여 나타낸다.

도 4a, 도 4b, 도 4c, 도 4d는, 관측 화상과 합초 화상과 거리 화상을 나타내고 있다.

도 4a, 도 4b의 1001 및 1002는, 관측 화상 im1 및 관측 화상 im2를 나타내고 있다. 각각 다른 패턴의 개구 마스크를 사용하여 촬영되고 있으며, 동일한 화각의 사진이지만, 흐려짐 특성에 차이가 있는 관측 화상이 된다.

도 4c의 1003은, 거리 화상을 나타내고 있다. 거리 화상이란, 피사체까지의 거리를 값으로 하여 관측 화상과 동일 평면의 2차원 배열 데이터이다. 관측 화상과 동일 화각이고, 또한 화소마다의 휘도값이 거리를 나타내고 있다.

본 실시 형태에서는, 관측 화상 상의 도트와 대응하는 거리 화상 상의 도트는, 피사체의 동일 지점 상의 특성을 나타내고 있지만, 관측 화상과 거리 화상의 위치 관계를 인식할 수 있는 것이면, 관측 화상과 거리 화상의 공간 해상도는 달라도 상관없다.

도 4c의 1003에서는, 휘도가 높을수록 가까운 거리, 휘도가 낮을수록 먼 거리를 나타내고 있다.

도 4d의 1004는, 합초 화상을 나타내고 있다. 합초 화상은, 관측 화상 im1 및 관측 화상 im2와 동일 화각이지만, 흐려짐 특성을 포함하지 않는 화상이다. 즉, 합초 화상은, 화상 상에 흐려짐 상태를 포함하지 않는 화상이며, 피사계 심도가 무한대인 화상에 상당한다.

본 실시 형태에서는, 또한 거리 화상과 합초 화상으로부터, 포커스에 관련된 파라미터를 변경한 리포커스 화상을 생성하여, 촬영 후에 임의의 흐려짐 상태를 갖는 화상을 작성한다.

이어서, 본 실시 형태의 화상 촬영 장치의 장치 개관을 나타낸다.

도 5는, 본 실시 형태의 화상 촬영 장치의 개관을 도시한 도면이다.

화상 촬영 장치의 외견은, 통상의 디지털 카메라와 거의 마찬가지이다.

도 3에서 설명한 광학계(101)는, 도 5의 광학계(301)에 상당한다.

광학계(101)는 모두 광학계(301)에 포함되기 때문에, 도 3에 도시된 광학계를 1조로 하여 시분할 촬영으로 실시한 경우, 본체 부분(303)의 하드웨어 부분은 조리개 패턴을 변경하기만 해도 종래의 디지털 카메라를 유용하는 것도 가능하다.

또한, 조리개(102)의 개구 패턴의 하나를 원형 개구나 다각형 개구로 함으로써, 종래의 디지털 카메라와 마찬가지의 관측 화상을 촬영하는 것도 가능하다.

거리 화상 및 합초 화상을 촬영하는 경우의 유저의 조작은, 종래의 디지털 카메라와 마찬가지로 1회의 셔터 버튼 조작을 행하기만 해도 된다.

화상 촬영 장치는, 1회의 셔터 버튼의 동작을 검출한 후, 처리에 필요한 관측 화상 수만큼 조리개 패턴을 변경하고, 복수의 관측 화상을 촬영하여, 거리 화상과 합초 화상을 만든다.

다음에 도 2의 화상 촬영 장치에 사용되는 관측 화상 촬영부로서의 광학계를 나타낸다.

도 6은, 패턴화된 퓨필 필터를 사용한 광학계이며, 도 3과는 다른 광학계이다.

도 3에서의 광학계의 구성은, 광학계(101)가 1조뿐이기 때문에, 시분할에 의한 복수회의 촬영에 의해 복수매의 관측 화상을 얻고 있다. 그로 인해, 손 떨림이나 피사체 떨림에는 약한 측면이 있다.

도 6에서는, 손 떨림이나 피사체 떨림의 발생을 더욱 억제한 광학계의 구성으로 된다. 이 구성예는, 도 2에 도시한 바와 같이, 광 통과부, 광학 렌즈 2 및 광 전기 변환부를 2조 설치한 예가 된다.

도 3의 광학계와 도 6의 광학계의 큰 차이는, 광 스플리터에 의해 광원을 2분한 점에 있다. 즉 광 스플리터에 의해 광속 분할을 행하고 있다.

광 렌즈를 통하여 입사해 온 광은, 광 스플리터(403)에 의해 2분된다.

2분된 광 중의 절반은, 조리개(402)를 통하여 결상되고, CMOS 센서(406)에 의해 관측 화상 im1의 입력을 얻는다. 이때, 조리개(402)는, 개구 패턴(408)과 같은 패턴화된 조리개를 사용하고 있다.

2분된 광의 나머지 절반은, 반사경(404)을 사용하여 광로를 변경하고, 조리개(401)를 통하여 결상되고, CMOS 센서(405)에 의해 관측 화상 im2의 입력을 얻는다. 이때, 조리개(401)는, 개구 패턴(407)과 같은 패턴화된 조리개를 사용하고 있다.

CMOS 센서(406) 및 CMOS 센서(405)의 관측 화상 im1 및 관측 화상 im2의 촬영은, 동시에 행해지기 때문에, 도 2의 광학계를 사용한 화상 촬영 장치보다 손 떨림이나 피사체 떨림에 대하여 더욱 내성이 있다.

도 7에서는, 도 6의 광학계에 변경을 더 가한 구성예를 도시하고 있다.

도 6에 도시된 광학계는, 복수의 관측 화상의 촬영을 동시에 행하는 것이 가능하지만, 촬영 장치 전체를 크게 해 버리게 된다.

도 7에서는, 이 점을 개선하기 위해, 조리개의 위치(506)에서 광을 분할하는 것이 아니고, 집광하고 있는 위치에 광 스플리터(501)를 배치한다.

광 렌즈를 통하여 입사해 온 광은, 광 스플리터(501)에 의해 2분된다.

2분된 광 중 절반은, 패턴화 조리개(502)를 통하여 결상되고, CMOS 센서(503)에 의해 관측 화상 im1로서 입력된다.

2분된 광 중 나머지는, 패턴화 조리개(504)를 통하여 결상되고, CMOS 센서(504)에 의해 관측 화상 im2로서 입력된다.

도 6과 다른 점은, 조리개 패턴의 크기를 포커스 상태에 맞추어 일정해지도록 개구 마스크의 패턴(504 및 502)으로 스케일링을 행하는 것이 요구된다.

그러나 화상 촬영 장치 전체는, 도 6의 광학계를 사용한 화상 촬영 장치보다 작게 설계하는 것이 가능하다.

화상 촬영 장치의 광학계를 도 3, 도 6, 도 7에 도시했지만, 거리 연산부(206), 흐려짐 복원부(207), 리포커스 화상 연산부(208)는, 도 3, 도 6, 도 7의 화상 촬영 장치 모두에 공통으로 실시하는 것이 가능하다.

각각의 광학계에는, 이점이 존재하기 때문에, 적용에 맞게 광학계를 선택하는 것이 가능하다.

이어서, 본 실시 형태의 거리 산출을 위한 알고리즘을 나타낸다.

도 6에 도시한 2개의 개구 마스크를 사용하여, 관측 화상을 2매 촬영한 경우의 예를 나타낸다. 도 7이나 도 3의 광학계를 사용해도 되는 것은 물론이다.

조리개(402)의 개구 마스크로 촬영한 관측 화상(제1 관측 화상이 된다)을 im1, 조리개(401)의 개구 마스크로 촬영한 관측 화상(제2 관측 화상이 된다)을 im2로 하고, 조리개(402)의 개구 마스크에 의한 PSF(점상 분포 함수)를 ha, 조리개(401)의 개구 마스크에 의한 PSF를 hb, 합초 화상을 s로 하면, 이하의 식이 성립된다.

<수식 4>

여기서, 컨볼루션 연산 기호는

로 하고 있다.

수식 4를 푸리에 변환하면, 수식 4는, 수식 5로 된다.

이때 IM1, IM2, Ha, Hb, S는, 각각 im1, im2, ha, hb, s의 주파수 특성을 나타낸다.

<수식 5>

수식 5의 합초 화상(S)은 공통된 항이기 때문에, 식을 통합하면 수식 6을 도출할 수 있다.

<수식 6>

수식 6으로부터 조리개(402)의 개구 마스크로 촬영한 관측 화상 im1에 조리개(401)의 개구 마스크의 PSF에 의한 컨볼루션 연산을 한 결과와, 조리개(401)의 개구 마스크로 촬영한 관측 화상 im2에 조리개(402)의 개구 마스크의 PSF에 의한 컨볼루션 연산을 한 결과는, 동일해지는 것을 알았다.

그러나 실제로는, 오차나 결상의 상태에 따라 완전하게는, 수식 6의 좌변이 0이 되지 않으므로, 이하의 수식으로부터 거리를 구한다.

<수식 7>

z'는 추정 거리를 나타낸다.

수식 7을 만족하는 상태를 고찰한다.

IM1 및 IM2는, 수식 5로부터 Ha·S 및 Hb·S이기 때문에, 적절한 Ha 및 Hb를 수식 7에 대입할 수 있으면, 이하의 수식 8이 최소로 된다.

<수식 8>

광학 전달 특성(Ha, Hb)은, 피사체까지의 거리에 의존하고, 어느 한 거리에 있어서의 Ha와 Hb의 조는, 거리에 대하여 일의적으로 정해진다.

따라서, 미리 피사체까지의 거리(z)와 광학 전달 특성(Ha 및 Hb)의 관계를, 광학 전달 특성 테이블로서 유지해 두고, Ha 및 Hb를 대입함으로써 추정 거리(z')를 구하는 것이 가능하게 된다. 이때, Ha 및 Hb는 설계값을 사용해도 좋고, 실측값을 사용해도 좋다.

즉, Ha 및 Hb는, 피사체까지의 거리에 의존하기 때문에, 수식 7은, 수식 9로서 표현할 수 있다.

<수식 9>

그리고 Ha 및 Hb의 테이블을 이하와 같이 나타낼 수 있다.

<수식 10>

수식 10의 테이블을 사용하여, 이하의 수식 11이 최소값이 되는 z를 구함으로써 수식 9를 만족하는 추정 거리(z')가 구해진다.

<수식 11>

또한, 수식 10은, 후술하는 도 8에 도시된 광학 전달 특성-추정 거리 테이블(광학 전달 특성 테이블이 된다)과 마찬가지의 것이다. 즉, 수식 10은 광학 전달 특성 테이블을 나타내고 있다.

수식 10은, 촬영 장치가, 이동 변동의 광학계인 경우, 촬상 소자의 수광면에 결상하는 촬영면의 각 위치에 있어서의 광학 전달 특성을 나타내는 광학 전달 특성 테이블이며, 촬상면 상에서의 위치에 대하여 준비된다.

또한, 촬영 장치가, 이동 불변의 광학계인 경우, 촬영 소자의 촬영면 상 어디에서나 동일한 광학 전달 특성이 되기 때문에, 수식 10은, 촬영면 상에서의 위치와는 관계없이, 1개의 광학 전달 특성 테이블을 준비하면 된다.

또한, 광학 전달 특성 테이블은, 이산값의 거리에 대응하는 광학 전달 특성이지만, 렌즈의 설계 정보로부터 광학 전달 특성을 거리에 대한 함수식(광학 전달 특성 함수)으로서 유지함으로써, 수식 10을 실현해도 상관없다.

예를 들어, 본 실시 형태에서는, 수식 12에 의해 거리(z)로부터 허용 착란원 크기(pcs)를 산출하고, 허용 착란원 크기(pcs)를 사용하여 광학 전달 특성을 근사 계산하여, 수식 10으로서 산출하고 있다.

<수식 12>

단, Zf는 피사체 거리, Zp는 포커스 거리, f는 초점 거리, d는 렌즈 직경을 나타내고 있다.

이어서, 본 실시 형태에서 사용되는 데이터 테이블에 관하여 나타낸다.

도 8은, 광학 전달 특성-추정 거리 테이블을 도시한 것이다.

도 8의 광학 전달 특성-추정 거리 테이블은, 피사체까지의 거리(z)에 있어서의 PSF(point spread function)의 주파수 변환한 광학 전달 특성을 기재한 것이다.

이 광학 전달 특성-추정 거리 테이블은, 후술하는 광 전달 특성 산출부에 의해 사용되는 데이터 테이블이다.

광학 전달 특성은, 설계값을 사용해도 좋지만, 본 실시 형태에서는, 실측한 값을 사용하고 있다.

실측한 광학 전달 특성을 사용함으로써, 노이즈의 영향이나 광학적 수차 등의 영향에 대하여 캘리브레이션을 행할 수 있다.

피사체 거리(601)는, 피사체에 대한 거리이다.

후술하는 광학 전달 특성(602) 및 광학 전달 특성(603)은, 피사체가 z만큼 이격된 지점에 존재하는 경우의 광학 전달 특성을 나타낸다.

602는, 피사체의 거리(z)에 따른 광학 전달 특성(Ha)이다. 광학 전달 특성(Ha)은, 개구 마스크(103)에 대응하는 광학 전달 특성이다.

마찬가지로, 603은, 피사체의 거리(z)에 따른 광학 전달 특성(Hb)이다. 광학 전달 특성(Hb)은, 개구 마스크(104)에 대응하는 광학 전달 특성이다.

광학 전달 특성은, 광축으로부터의 거리나 광축으로부터의 방향에 따라 변화하기 때문에, 광학 전달 특성을 렌즈의 위치에 따라서 유지해도 좋다. 또한, 포커스 위치에 따라서도 변화하므로, 필요한 테이블은 유지해 둔다.

본 실시 형태에서는, 광학 전달 특성(Ha 및 Hb)의 2개를 유지하고 있지만, 개구 마스크의 수가 2개 이상인 경우에는, 이에 따라 증가시키면 된다.

상기한 바와 같이, 거리에 의한 개구 마스크의 광학 전달 특성을 유지한다.

이어서, 본 실시 형태의 거리 화상 산출에 관한 흐름도를 나타낸다.

도 9는, 거리 연산부의 동작을 나타내는 흐름도를 나타내고 있다.

또한, 도 10은, 광학 전달 특성 산출부의 동작을 나타내는 흐름도를 나타내고 있다.

스텝 S701에서, 거리 연산부에는, 관측 화상 im1과 관측 화상 im2가 입력된다.

거리 연산부는, 스텝 S702에서, 관측 화상 im1 및 관측 화상 im2로부터, 관측 화상보다 작은 윈도우 크기(wx, wy)를, 관측 화면 상의 위치(x, y) 상에서 잘라낸 화상을 관측 화상 i1 및 i2로 한다.

추정 거리(z)는, 이 작은 윈도우마다 측정을 행한다.

추정 거리(z)의 산출은, PSF의 CMOS(106) 상에서의 최대 크기가, 윈도우 크기(wx, wy) 이상이면 피사체의 거리 판정을 정확하게 할 수 없으므로, 이들 사상을 고려하여 wx, wy를 결정할 필요가 있다.

다음에 스텝 S703에서 관측 화상 i1 및 관측 화상 i2를 푸리에 변환하여, I1 및 I2를 산출한다. 또한, 참조 카운터인 m에 0을 대입한다.

스텝 S704에서 광학 전달 특성 산출부를 불러와, 참조 카운터(m)에 대응하는 zm 및 Ha m 및 Hb m을 취득한다.

광학 전달 특성 산출부는, 도 10의 스텝 S1101부터 개시된다.

광학 전달 특성 산출부는, 스텝 S1102에서 전술한 광학 전달 특성-추정 거리 테이블로부터 참조 카운터(m)에 대응하는 zm 및 Ha m 및 Hb m을 취득한다. 그리고 스텝 S1103으로 복귀한다.

이어서, 스텝 S705에서 이하의 수식 13을 연산하여, 오차 평가값(em)을 얻는다.

<수식 13>

오차 평가값(em)을 최소로 하는 zm이 추정 거리(z')로 된다.

수식 13은, 오차 평가값(em)에 의해 수식 9를 평가하기 위하여 사용된다.

이 오차 평가값(em)은, 참조 카운터(m) 모든 경우에 평가할 필요가 있기 때문에, 스텝 S706에서 참조 카운터를 증가시킨 후, 스텝 S704 이후를 반복하여 연산한다.

모든 참조 카운터(m)에 관하여 연산이 종료한 후에, 스텝 S707에서, 오차 평가값(em)을 최소로 하는 m을 구한다.

이어서, 스텝 S708에서, 오차 평가값(em)을 최소로 하는 m에 대응하는 추정 거리(z)를 결정한다.

이들의 관계를 도 11의 추정 거리와 오차 평가값의 관계 그래프로 나타낸다. 도 11의 값을 예로 하면, 오차 평가값(em)은, z4(m=4)의 상태에서 최소값으로 되어 있다. 그 때문에, z4로 표현되는 거리를 추정 거리(z')로 해도 된다.

그러나 도 8에 도시된 광학 전달 특성-추정 거리 테이블에서는, 추정 거리(zm)가 이산값으로 되어 얻어진다.

따라서, 도 11의 901로 나타낸 바와 같이 최소 제곱 근사 등을 사용하여, 최소값(em')을 산출하고, 거기에 대응하는 추정 거리(z')를 구함으로써, 보다 정밀도가 높은 거리를 구해도 좋다.

이상과 같이 하여, 윈도우 크기(wx, wy)에 있어서의 피사체에 대한 거리의 연산을 행한다. 스텝 S709에서, 산출된 추정 거리(z')를 거리 화상의 좌표(x, y)의 화소값(거리값)으로 한다.

스텝 S710에서, 스텝 S702부터 스텝 S709까지의 공정이 화상 상의 모든 화소에 대하여 연산하도록 처리의 루프를 행한다.

또한, 본 실시 형태는, 오차 평가값(em)을 순차적으로 증가시켜 연산하여, 최소값을 구했지만, 이분 탐색법 등을 사용하여, 고속으로 오차 평가값(em)의 최소값을 구할 수도 있다.

또한, 수 13에 오차 평가값(em)을 주파수 영역에서 연산하고 있지만, 이하와 같은 식을 사용함으로써, 공간 영역에서의 연산을 하는 것도 가능하다.

단, i1, hb m, i2, ha m을 관측 화상 1, 관측 화상 2의 점상 분포 함수, 관측 화상 2, 관측 화상 1의 점상 분포 함수로 한다.

이상과 같이 하여 연산 처리를 행함으로써, 거리 화상을 얻을 수 있다.

이어서, 본 실시 형태의 합초 화상 산출을 위한 알고리즘을 나타낸다.

합초 화상은, 수식 5로부터 산출할 수 있다.

수식 5를 변형하면 수식 15가 구해진다.

<수식 15>

그러나 실제로는, 수 15에서는, 광학 전달 특성(Ha 및 Hb) 내에서 0 혹은 0에 가까운 값을 갖는 경우가 있어, 제산이 정확하게 행해지지 못할 가능성이 있다.

따라서, 추정 합초 화상의 푸리에 변환을 S'로 하면, 수식 16을 사용하여 추정 합초 화상(S')을 구할 수 있다.

<수식 16>

H1=Ha, H2=Hb로 한다.

수식 16의 Wm은, 어느 공간 주파수에 있어서, 관측 화상(IM1) 및 관측 화상(IM2) 중 어떤 스펙트럼이 높은지를 나타내는 가중 계수이다.

<수식 17>

Wm은, 수식 17을 만족함으로써, 공간 주파수 응답에 0점이 존재해도, 정확하게 합초 화상을 복원할 수 있다.

또한, 본 실시 형태에서는, 개구 패턴이 2개인 경우, 관측 화상이 2화면인 경우를 나타내고 있지만, 개구 패턴이 2개 이상이어도 마찬가지로 연산하는 것이 가능하다.

이어서, 도 12에 본 실시 형태에 있어서의 합초 화상 산출에 관한 흐름도를 나타낸다.

흐려짐 복원부(207)는, 스텝 S801부터 개시된다.

스텝 S802에서 상술한 수식 17로 표현되는 방법을 사용하여 가중 계수(Wm)를 결정한다.

그리고 스텝 S803에서 수식 16을 연산함으로써, 추정 합초 화상(S')을 구할 수 있다.

추정 합초 화상(S')은, 공간 주파수 특성을 나타내고 있으므로, 역푸리에 변환을 행하여, 추정 합초 화상(s')을 얻는다.

이상과 같이 하여, 합초 화상을 얻는다.

또한, 리포커스 화상 연산부(208)에서 사용되는 거리 화상 및 합초 화상으로부터의 리포커스 화상 생성에 관해서는, 이미 알려진 알고리즘을 사용할 수 있기 때문에, 설명을 생략한다.

본 발명에 의한 제2 실시 형태의 화상 촬영 장치 및 방법에 대하여 상세하게 설명한다.

제2 실시 형태에서는, 도 3에 있어서의 개구 마스크(103) 및 개구 마스크(104)의 광학 전달 특성의 주파수 특성을 정하고, 조건에 맞는 개구 마스크 패턴을 얻음으로써 연산량의 저감과 메모리 사용량의 저감을 도모하는 것이다.

제2 실시 형태에서는, 개구 마스크(103) 및 개구 마스크(104)의 주파수 특성이 이하의 관계를 만족하고 있다.

<수식 18>

이때 Ha, Hb, H1, H2는, 각각 광학 전달 특성(ha, hb, h1, h2)의 주파수 특성을 나타낸다.

관측 화상의 촬영 상태를 수식 4로 한 경우, 피사체까지의 거리를 산출하는 수식 9는, 이하의 수식과 같이 된다.

<수식 19>

이때, H1과 피사체까지의 거리의 관계를 나타내는 테이블을 이하와 같이 표현할 수 있다.

<수식 20>

수식 20의 테이블을 사용하여,

<수식 21>

가 최소로 되는 z를 구함으로써 수식 19를 만족하는 추정 거리(z')가 구해진다.

제1 실시 형태와의 차이는, 수식 19 중에서의 컨볼루션 연산(주파수 영역에서의 승산)이 1회만으로 추정 거리(z')의 평가를 위한 연산이 행해지고 있는 점이다.

컨볼루션 연산은, 처리에 시간이 걸리는 연산이다.

그로 인해, 제2 실시 형태의 수식 19의 연산량은, 제1 실시 형태의 수식 9의 연산량에 비하여, 거의 2분의 1로 된다.

또한, 제1 실시 형태의 광학 특성을 나타내는 테이블인 수식 10과 제2 실시 형태의 수식 20의 차이는, 제2 실시 형태의 경우, 1개의 광학 전달 특성과 거리의 값에 의한 테이블이 되기 때문에, 데이터량은 거의 2분의 1로 된다.

또한, 수식 18을 만족하는 개구 마스크(103) 및 개구 마스크(104)는, 조리개의 개구 패턴을 사용하여 특성을 만족하는 것으로 한다.

또한, H1 및 H2의 광학 특성을 나타내는 조리개를 2매 준비하고, 한쪽의 관측 화상(im1)의 촬영 시에 H1 및 H2의 개구 마스크를 통하여 촬영하고, 이미 한쪽의 관측 화상(im2)은, H2의 개구 마스크만을 통하여 촬영해도 좋다.

이상과 같이, 개구 마스크(103) 및 개구 마스크(104)의 주파수 특성이, 수식 18을 만족함으로써, 거리 산출을 위한 연산량 및 광학 전달 특성을 나타내는 데이터 테이블의 용량은, 제1 실시 형태와 비하여 거의 2분의 1로 되어, 보다 효율적으로 연산을 행하는 것이 가능하게 된다.

(그 밖의 실시예)

또한, 본 발명은, 이하의 처리를 실행함으로써도 실현된다. 즉, 상술한 실시 형태의 기능을 실현하는 소프트웨어(프로그램)를, 네트워크 또는 각종 기억 매체를 통하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터(또는 CPU나 MPU 등)가 프로그램을 판독하여 실행하는 처리이다. 이 경우, 그 프로그램 및 상기 프로그램을 기억한 기억 매체는 본 발명을 구성하게 된다.

이 출원은 2008년 8월 8일에 출원된 일본 특허 출원 번호 제2008-205882호로부터의 우선권을 주장하는 것이며, 그 내용을 인용하여 이 출원의 일부로 하는 것이다.

101: 광학계
102: 조리개
103, 104: 개구 마스크
105: 광학 렌즈
106: CMOS 센서
206: 거리 연산부·최적 광학 특성 연산부
207: 흐려짐 복원부
208: 리포커스 화상 연산부
221: 관측 화상 촬영부
222: 광학 전달 특성 산출부

Claims

복수의 조리개 패턴으로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 관측 화상 촬영 수단과,
상기 피사체까지의 거리에 따른 광학 전달 특성을 산출하는 수단과,
상기 복수의 관측 화상과 상기 광학 전달 특성으로부터, 상기 피사체까지의 거리를 산출하는 거리 연산 수단을 구비하는 것을 특징으로 하는 화상 촬영 장치.
복수의 조리개 패턴으로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 관측 화상 촬영 수단과,
상기 피사체까지의 거리에 따른 제1 광학 전달 특성을 산출하는 광학 전달 특성 산출 수단과,
상기 복수의 관측 화상과 상기 광학 전달 특성으로부터, 흐려짐량이 최소로 되도록 제2 광학 전달 특성을 산출하는 광학 전달 특성 연산 수단과,
상기 제2 광학 전달 특성을 이용하여 화상의 흐려짐을 복원하여 합초 화상을 얻는 흐려짐 복원 수단을 구비하는 것을 특징으로 하는 화상 촬영 장치.
제1항 또는 제2항에 있어서, 상기 광학 전달 특성은, 촬상 소자의 수광면 각 위치에 있어서의 광학 전달 특성과 거리의 관계를 나타내는, 광학 전달 특성 테이블을 이용하여 산출하는 것을 특징으로 하는 화상 촬영 장치.
제1항 또는 제2항에 있어서, 상기 광학 전달 특성은, 촬상 소자의 수광면 각 위치에 있어서의 광학 전달 특성과 거리의 관계를 나타내는, 광학 전달 특성 함수를 이용하여 산출하는 것을 특징으로 하는 화상 촬영 장치.
제1항에 있어서, 상기 복수의 조리개 패턴 중 하나의 조리개 패턴에 의한 관측 화상을 제1 관측 화상, 상기 복수의 조리개 패턴 중 다른 조리개 패턴에 의한 관측 화상을 제2 관측 화상으로 했을 때,
상기 거리 연산 수단은,
컨볼루션 연산자를
로 하면,
│(제1 관측 화상)
(제2 관측 화상의 점상 분포 함수)-(제2 관측 화상)
(제1 관측 화상의 점상 분포 함수)│, 또는
│(제1 관측 화상의 주파수 특성)×(제2 관측 화상의 광학 전달 특성)-(제2 관측 화상의 주파수 특성)×(제1 관측 화상의 광학 전달 특성)│
이 최소로 되도록 거리를 산출하는 것을 특징으로 하는 화상 촬영 장치.
제2항에 있어서, 상기 복수의 조리개 패턴 중 하나의 조리개 패턴에 의한 관측 화상을 제1 관측 화상, 상기 복수의 조리개 패턴 중 다른 조리개 패턴에 의한 관측 화상을 제2 관측 화상으로 했을 때,
상기 광학 전달 특성 연산 수단은,
컨볼루션 연산자를
로 하면,
│(제1 관측 화상)
(제2 관측 화상의 점상 분포 함수)-(제2 관측 화상)
(제1 관측 화상의 점상 분포 함수)│, 또는
│(제1 관측 화상의 주파수 특성)×(제2 관측 화상의 광학 전달 특성)-(제2 관측 화상의 주파수 특성)×(제1 관측 화상의 광학 전달 특성)│
이 최소로 되도록 상기 제2 광학 전달 특성을 산출하는 것을 특징으로 하는 화상 촬영 장치.
제1항 또는 제2항에 있어서, 상기 복수의 관측 화상은, 시분할에 의해 취득하는 것을 특징으로 하는 화상 촬영 장치.
제1항 또는 제2항에 있어서, 상기 복수의 관측 화상은, 광속 분할에 의해 취득하는 것을 특징으로 하는 화상 촬영 장치.
복수의 조리개 패턴으로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 스텝과,
상기 피사체까지의 거리에 따른 광학 전달 특성을 산출하는 스텝과,
상기 복수의 관측 화상과 상기 광학 전달 특성으로부터, 상기 피사체까지의 거리를 산출하는 거리 연산 스텝을 구비하는 것을 특징으로 하는 화상 촬영 장치의 거리 연산 방법.
복수의 조리개 패턴으로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 스텝과,
상기 피사체까지의 거리에 따른 광학 전달 특성을 산출하는 스텝과,
상기 복수의 관측 화상과 상기 광학 전달 특성으로부터, 흐려짐량이 최소로 되는 광학 전달 특성을 산출하는 스텝과,
상기 흐려짐량이 최소로 되는 광학 전달 특성을 이용하여 화상의 흐려짐을 복원하여 합초 화상을 얻는 스텝을 구비하는 것을 특징으로 하는 화상 촬영 장치의 합초 화상 취득 방법.
상이한 광학 전달 특성을 갖는 복수의 부재로 동일한 피사체를 촬영하여 복수의 관측 화상을 얻는 관측 화상 촬영 수단과,
상기 피사체까지의 거리에 따른 광학 전달 특성을 산출하는 수단과,
상기 복수의 관측 화상과 상기 산출된 광학 전달 특성으로부터, 상기 피사체까지의 거리를 산출하는 거리 연산 수단을 구비하는 것을 특징으로 하는 화상 촬영 장치.