KR20170141202A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

본 기술은, 광학 렌즈의 흐려짐 정도를, 정확하게 재현할 수 있도록 하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다. 광선 재현부는, 실공간 내의 실공간 점으로부터, 복수의 시점의 화상을 촬영하는 복수의 촬영부를 합성 개구로 하는 가상 렌즈에 입사하는 광선을 재현한다. 집광 처리부는, 광선이 에뮬레이션 대상의 에뮬레이션 렌즈를 통해서 가상 센서 상에 집광하는 위치의 위치 정렬을, 실공간 점으로부터 발해지는 주 광선이 에뮬레이션 렌즈를 통해서 도달하는 가상 센서 상의 위치인 상면 시프트 위치에 따라 행하고, 광선을, 가상 센서 상에 집광하는 집광 처리를 행한다. 본 기술은, 예를 들어 복수의 시점의 화상으로부터, 다양한 광학 렌즈를 사용해서 촬영을 행한 화상을 재구성하는 라이트 필드 기술에 적용할 수 있다.

Description

화상 처리 장치 및 화상 처리 방법

본 기술은, 화상 처리 장치 및 화상 처리 방법에 관한 것으로, 특히, 예를 들어 광학 렌즈의 흐려짐(blur) 정도를, 정확하게 재현할 수 있도록 하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

복수의 시점의 화상으로부터, 예를 들어 리포커스를 행한 화상, 즉, 광학계의 포커스 위치를 변경해서 촬영을 행한 화상 등을 재구성하는 라이트 필드 기술이 제안되어 있다(예를 들어, 특허문헌 1을 참조).

일본 특허 공개 제2013-238927호 공보

라이트 필드 기술에 대해서는, 실제의 광학 렌즈를 사용해서 촬영을 행한 경우의 화상에 발생하는 흐려짐 정도를 정확하게 재현할 것이 요청되고 있다.

본 기술은, 이러한 상황을 감안하여 이루어진 것이며, 광학 렌즈의 흐려짐 정도를 정확하게 재현할 수 있도록 하는 것이다.

본 기술의 화상 처리 장치는, 실공간 내의 실공간 점으로부터, 복수의 시점의 화상을 촬영하는 복수의 촬영부를 합성 개구로 하는 가상 렌즈에 입사하는 광선을 재현하는 광선 재현부와, 상기 광선 재현부에서 재현된 상기 광선이 에뮬레이션 대상의 에뮬레이션 렌즈를 통해서 가상 센서 상에 집광하는 위치의 위치 정렬을, 상기 실공간 점으로부터 발해지는 주 광선이 상기 에뮬레이션 렌즈를 통해서 도달하는 상기 가상 센서 상의 위치인 상면 시프트 위치에 의해 행하고, 상기 광선을, 상기 가상 센서 상에 집광하는 집광 처리를 행하는 집광 처리부를 구비하는 화상 처리 장치이다.

본 기술의 화상 처리 방법은, 실공간 내의 실공간 점으로부터, 복수의 시점의 화상을 촬영하는 복수의 촬영부를 합성 개구로 하는 가상 렌즈에 입사하는 광선을 재현하는 것과, 상기 광선이 에뮬레이션 대상의 에뮬레이션 렌즈를 통해서 가상 센서 상에 집광하는 위치의 위치 정렬을, 상기 실공간 점으로부터 발해지는 주 광선이 상기 에뮬레이션 렌즈를 통해서 도달하는 상기 가상 센서 상의 위치인 상면 시프트 위치에 의해 행하고, 상기 광선을, 상기 가상 센서 상에 집광하는 집광 처리를 행하는 것을 포함하는 화상 처리 방법이다.

본 기술의 화상 처리 장치 및 화상 처리 방법은, 실공간 내의 실공간 점으로부터, 복수의 시점의 화상을 촬영하는 복수의 촬영부를 합성 개구로 하는 가상 렌즈에 입사하는 광선이 재현된다. 그리고, 상기 광선이 에뮬레이션 대상의 에뮬레이션 렌즈를 통해서 가상 센서 상에 집광하는 위치의 위치 정렬을, 상기 실공간 점으로부터 발해지는 주 광선이 상기 에뮬레이션 렌즈를 통해서 도달하는 상기 가상 센서 상의 위치인 상면 시프트 위치에 의해 행하고, 상기 광선을, 상기 가상 센서 상에 집광하는 집광 처리가 행하여진다.

또한, 화상 처리 장치는, 독립된 장치이어도 되고, 1개의 장치를 구성하고 있는 내부 블록이어도 된다.

또한, 화상 처리 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있고, 그 프로그램은, 전송 매체를 통해서 전송함으로써, 또는 기록 매체에 기록하여, 제공할 수 있다.

본 기술에 의하면, 예를 들어 광학 렌즈의 흐려짐 정도를, 정확하게 재현할 수 있다.

또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 하나의 효과이어도 된다.

도 1은 본 기술을 적용한 화상 처리 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 2는 촬영 장치(11)의 구성예를 도시하는 평면도이다.
도 3은 화상 처리 장치(12)의 구성예를 도시하는 블록도이다.
도 4는 화상 처리 시스템의 처리 예를 설명하는 흐름도이다.
도 5는 시차 정보 생성부(31)의 구성예를 도시하는 블록도이다.
도 6은 기준 시차 맵 생성부(41)에서의 기준 시차 맵의 생성의 예를 설명하는 도면이다.
도 7은 주변 화상(PL#i)의 시차 맵의 생성의 예를 설명하는 도면이다.
도 8은 주변 화상(PL#i)의 시차 맵의 미등록 에어리어에의, 시차의 보간을 설명하는 도면이다.
도 9는 다층 시차 맵의 생성의 예를 설명하는 도면이다.
도 10은 시차 정보 생성부(31)에서의 기준 시차 맵 및 다층 시차 맵 각각의 생성의 처리 예를 설명하는 흐름도이다.
도 11은 실제의 광학 렌즈를 사용하여, 소정의 피사체를 촬영한 실사 화상의 예를 나타내는 도이다.
도 12는 화상 처리 장치(12)에서 얻어지는 에뮬레이션 화상의 예를 나타내는 도이다.
도 13은 포화 화소 복원 처리를 행하지 않는 경우에, 선명한 흐려짐이 재현되지 않는 원리를 설명하는 도면이다.
도 14는 포화 화소 복원 처리를 행함으로써, 선명한 흐려짐이 재현되는 원리를 설명하는 도면이다.
도 15는 표준 휘도 촬영 화상(PL#i) 및 저휘도 촬영 화상(PH#i)을 취득하는 제1 취득 방법을 설명하는 도면이다.
도 16은 포화 화소 복원부(33)의 제1 구성예를 도시하는 블록도이다.
도 17은 포화 화소 복원부(33)에서 행하여지는 포화 화소 복원 처리의 예를 설명하는 흐름도이다.
도 18은 포화 화소 복원부(33)의 제2 구성예를 도시하는 블록도이다.
도 19는 포화 화소 복원부(33)에서 행하여지는 포화 화소 복원 처리의 예를 설명하는 흐름도이다.
도 20은 촬영 장치(11)의 다른 구성예를 도시하는 평면도이다.
도 21은 포화 화소 복원부(33)의 제3 구성예를 도시하는 블록도이다.
도 22는 시차 맵의 시차의 보정의 예를 설명하는 도면이다.
도 23은 포화 화소 복원부(33)에서 행하여지는 포화 화소 복원 처리의 예를 설명하는 흐름도이다.
도 24는 주목 시점의 HDR 촬영 화상의 주목 화소의 화소값을 취득하는 처리의 예를 설명하는 흐름도이다.
도 25는 렌즈 에뮬레이션부(35)의 렌즈 에뮬레이션 처리의 개요를 설명하는 도면이다.
도 26은 실제의 광학 렌즈에 의한 집광 처리와, 렌즈 에뮬레이션 처리의 집광 처리를 설명하는 도면이다.
도 27은 입사 광선 재현부(36)의 구성예를 도시하는 블록도이다.
도 28은 실공간 점을 설명하는 도면이다.
도 29는 다층 시차 맵을 사용하여, 실공간 점을 구하는 방법을 설명하는 도면이다.
도 30은 광선 생성부(102)에서 행하여지는 광선의 생성의 예를 설명하는 도면이다.
도 31은 충돌 판정부(103)에서 행하여지는 충돌 판정과, 휘도 할당부(104)에서 행하여지는 광선에의 휘도의 할당을 설명하는 도면이다.
도 32는 입사 광선 재현부(36)가 행하는 입사 광선 재현 처리에서 얻어지는 최대수의 데이터를 모식적으로 도시하는 도이다.
도 33은 입사 광선 재현부(36)가 행하는 입사 광선 재현 처리의 예를 설명하는 흐름도이다.
도 34는 충돌 판정의 처리의 예를 설명하는 흐름도이다.
도 35는 광선 휘도 할당의 처리의 예를 설명하는 흐름도이다.
도 36은 에뮬레이션 렌즈 정보 생성부(37)에서 생성되는 렌즈 정보를 설명하는 도면이다.
도 37은 렌즈 정보를 생성하는 대상이 되는 실공간 점과 포커스 위치를 설명하는 도면이다.
도 38은 광학 렌즈의 PSF 강도 분포의 예를 나타내는 도이다.
도 39는 PSF 강도 분포를 생성하는 방법의 예를 설명하는 도면이다.
도 40은 에뮬레이션 렌즈 정보 생성부(37)에서 생성되는 PSF 강도 분포를 모식적으로 도시하는 도이다.
도 41은 에뮬레이션 렌즈 정보 생성부(37)에서 생성되는 상면 피치를 모식적으로 도시하는 도이다.
도 42는 PSF 각도 성분 정보를 생성하는 방법의 예를 설명하는 도면이다.
도 43은 PSF 각도 성분 정보를 생성하는 방법의 예를 설명하는 도면이다.
도 44는 PSF 각도 성분 정보의 상세를 설명하는 도면이다.
도 45는 에뮬레이션 렌즈 정보 생성부(37)에서 생성되는 PSF 각도 성분 정보를 모식적으로 도시하는 도이다.
도 46은 상면 시프트 정보를 설명하는 도면이다.
도 47은 PSF 각도 성분 정보를 생성하는 방법의 예를 설명하는 도면이다.
도 48은 에뮬레이션 렌즈 정보 생성부(37)에서 생성되는 상면 시프트 정보를 모식적으로 도시하는 도이다.
도 49는 렌즈 정보를 생성하는 에뮬레이션 렌즈 정보 생성부(37)의 구성예를 도시하는 블록도이다.
도 50은 에뮬레이션 렌즈 정보 생성부(37)가 행하는 에뮬레이션 렌즈 정보 생성 처리의 예를 설명하는 흐름도이다.
도 51은 집광 처리부(38)에서 행하여지는 집광 처리의 개요를 설명하는 도면이다.
도 52는 집광 처리 중, 결상값을 구하는 처리의 예를 설명하는 도면이다.
도 53은 집광 처리 중, 결상값을 구하는 처리의 다른 예를 설명하는 도면이다.
도 54는 집광 처리 중, 결상값(의 분포)을, 가상 센서 상에 가산하는 처리의 예를 설명하는 도면이다.
도 55는 집광 처리부(38)의 구성예를 도시하는 블록도이다.
도 56은 집광 처리부(38)가 행하는 집광 처리의 예를 설명하는 흐름도이다.
도 57은 광선 가산 처리의 예를 설명하는 흐름도이다.
도 58은 렌즈 정보의 정보량의 삭감의 개요를 설명하는 도면이다.
도 59는 렌즈 정보 생성 축의 구체예를 도시하는 도면이다.
도 60은 렌즈 정보 생성 축의 정보 점에 대해서만 렌즈 정보를 생성하는 경우의, 에뮬레이션 렌즈 정보 생성부(37)의 구성예를 도시하는 블록도이다.
도 61은 에뮬레이션 렌즈 정보 생성부(37)가 행하는 에뮬레이션 렌즈 정보 생성 처리의 예를 설명하는 흐름도이다.
도 62는 렌즈 정보 생성 축의 정보 점(에 대응하는 실공간 점)에 대하여 생성된 렌즈 정보를 사용해서 행하여지는 집광 처리의 예를 설명하는 도면이다.
도 63은 광선 회전법에 의한 집광 처리의 예를 나타내고 있다.
도 64는 렌즈 정보 생성 축에 대하여 생성된 렌즈 정보를 사용해서 집광 처리를 행하는 집광 처리부(38)의 구성예를 도시하는 블록도이다.
도 65는 집광 처리부(38)가 행하는 집광 처리의 예를 설명하는 흐름도이다.
도 66은 광선 가산 처리의 예를 설명하는 흐름도이다.
도 67은 광선 회전법에 의한 집광 처리를 행하는 경우에, 회전 전의 광선이 결상하는 가상 센서 상의 결상 위치인 상면 시프트 위치를 구하는 방법을 설명하는 도면이다.
도 68은 상면 시프트 정보의, 정보 점의 배열의 방향의 보간을 설명하는 도면이다.
도 69는 상면 시프트 정보의, 시차 방향의 보간을 설명하는 도면이다.
도 70은 렌즈 에뮬레이션부(35)에 의한 렌즈 에뮬레이션 처리의 결과 얻어지는 에뮬레이션 화상의 예를 나타내는 도이다.
도 71은 렌즈 에뮬레이션부(35)에 의한 렌즈 에뮬레이션 처리의 결과 얻어지는 에뮬레이션 화상의 다른 예를 나타내는 도이다.
도 72는 본 기술을 적용한 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도이다.

<본 기술을 적용한 화상 처리 시스템의 일 실시 형태>

도 1은, 본 기술을 적용한 화상 처리 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.

도 1에서, 화상 처리 시스템은, 촬영 장치(11), 화상 처리 장치(12), 및 표시 장치(13)를 갖는다.

촬영 장치(11)는, 피사체를, 복수의 시점에서 촬영하고, 그 결과 얻어지는 복수의 시점의 촬영 화상을, 화상 처리 장치(12)에 공급한다.

화상 처리 장치(12)는, 촬영 장치(11)로부터의 복수의 시점의 촬영 화상을 사용한 화상 처리를 행함으로써, 에뮬레이션 대상의 광학 렌즈인 에뮬레이션 렌즈를 사용해서 피사체를 촬영한 경우와 마찬가지의 에뮬레이션 화상을 생성하여, 표시 장치(13)에 공급한다.

표시 장치(13)는, 화상 처리 장치(12)로부터의 에뮬레이션 화상을 표시한다.

에뮬레이션 화상은, 예를 들어 SLR 카메라나 미러리스 카메라에 착탈 가능한 광학 렌즈를 사용해서 피사체를 촬영한 화상에 발생하는 흐려짐 정도를 충실하게 재현한 화상으로 되어 있다. 따라서, 유저는, 고가의 광학 렌즈를 구입하지 않아도, 그러한 고가의 광학 렌즈의 흐려짐 정도를 향수할 수 있다.

또한, 도 1에서, 화상 처리 시스템을 구성하는 촬영 장치(11), 화상 처리 장치(12), 및 표시 장치(13)는, 그것들 모두를, 예를 들어 디지털(스틸/비디오) 카메라나, 스마트폰 등의 휴대 단말기 등과 같은, 독립된 장치에 내장시킬 수 있다.

또한, 촬영 장치(11), 화상 처리 장치(12), 및 표시 장치(13)는, 각각을 별개로, 독립된 장치에 내장시킬 수 있다.

또한, 촬영 장치(11), 화상 처리 장치(12), 및 표시 장치(13)는, 그들 중의 임의의 2개와, 나머지 1개를 각각 별개로, 독립된 장치에 내장시킬 수 있다.

예를 들어, 촬영 장치(11) 및 표시 장치(13)를, 유저가 소지하는 휴대 단말기에 내장시키고, 화상 처리 장치(12)를, 클라우드 상의 서버에 내장시킬 수 있다.

또한, 화상 처리 장치(12)의 일부 블록을, 클라우드 상의 서버에 내장시키고, 화상 처리 장치(12)의 나머지 블록과, 촬영 장치(11) 및 표시 장치(13)를, 휴대 단말기에 내장시킬 수 있다.

<촬영 장치(11)의 구성예>

도 2는, 촬영 장치(11)의 구성예를 도시하는 평면도이다.

촬영 장치(11)는, 복수의 카메라 유닛(21_i)을 갖고, 그 복수의 카메라 유닛(21_i)에 의해, 복수의 시점의 촬영 화상을 촬영한다.

도 2에서는, 촬영 장치(11)는, 복수로서의, 예를 들어 7개의 카메라 유닛(21₁, 21₂, 21₃, 21₄, 21₅, 21₆ 및 21₇)을 갖고, 그러한 7개의 카메라 유닛(21₁ 내지 21₇)은, 2차원 평면 상에 배치되어 있다.

또한, 도 2에서는, 7개의 카메라 유닛(21₁ 내지 21₇)은, 그들 중의 1개인, 예를 들어 카메라 유닛(21₁)을 중심으로 해서, 다른 6개의 카메라 유닛(21₂ 내지 21₇)이, 카메라 유닛(21₁)의 주변에, 정육각형을 구성하도록 배치되어 있다.

따라서, 도 2에서는, 7개의 카메라 유닛(21₁ 내지 21₇) 중, 임의의 1개의 카메라 유닛(21_i)(i=1, 2, …, 7)과, 그 카메라 유닛(21_i)에 가장 가까운 다른 1개의 카메라 유닛(21_j)(j=1, 2, …, 7)과의 (광축끼리의) 거리는, 동일한 거리(L)로 되어 있다.

카메라 유닛(21_i)과 (21_j)와의 거리(L)로서는, 예를 들어 20mm 정도를 채용할 수 있다. 이 경우, 촬영 장치(11)는, IC 카드 등의 카드 사이즈 정도의 크기로 구성할 수 있다.

또한, 촬영 장치(11)를 구성하는 카메라 유닛(21_i)의 수는, 7개에 한정되는 것은 아니며, 2개 이상 6개 이하의 수나, 8개 이상의 수를 채용할 수 있다.

또한, 촬영 장치(11)에 있어서, 복수의 카메라 유닛(21_i)은, 상술한 바와 같이 정육각형 등의 정다각형을 구성하도록 배치하는 것 외에, 임의의 위치에 배치할 수 있다.

여기서, 이하, 카메라 유닛(21₁ 내지 21₇) 중, 중심에 배치된 카메라 유닛(21₁)을, 기준 카메라 유닛(21₁)이라고도 하고, 그 기준 카메라 유닛(21₁)의 주변에 배치된 카메라 유닛(21₂ 내지 21₇)을, 주변 카메라 유닛(21₂ 내지 21₇)이라고도 한다.

<화상 처리 장치(12)의 구성예>

도 3은, 도 1의 화상 처리 장치(12)의 구성예를 도시하는 블록도이다.

도 3에서, 화상 처리 장치(12)는, 시차 정보 생성부(31), 캘리브레이션 데이터 취득부(32), 포화 화소 복원부(33), 렌즈 설계 데이터 취득부(34), 및 렌즈 에뮬레이션부(35)를 갖는다.

화상 처리 장치(12)에는, 촬영 장치(11)로부터, 카메라 유닛(21₁ 내지 21₇)에서 촬영된 7 시점의 촬영 화상이 공급된다.

여기서, 촬영 장치(11)가 화상 처리 장치(12)에 공급하는 7 시점의 촬영 화상으로서는, 표준 휘도 촬영 화상(PL1 내지 PL7)과, 저휘도 촬영 화상(PH1 내지 PH7)이 있다.

표준 휘도 촬영 화상(PL#i)은, 카메라 유닛(21_i)에서, 예를 들어 촬영 시에 적절하다고 추정되는 소정의 노광 시간(셔터 스피드)(이하, 표준 노광 시간이라고도 함)으로 촬영된 화상이다. 표준 노광 시간으로서는, 예를 들어 자동 노출 기능에 의해 설정된 노광 시간 등을 채용할 수 있다.

저휘도 촬영 화상(PH#i)은, 카메라 유닛(21_i)에서, 표준 노광 시간보다도 짧은 노광 시간(표준 노광 시간에 대응하는 셔터 스피드보다도 빠른 셔터 스피드)으로 촬영된 화상이다.

따라서, 저휘도 촬영 화상(PH#i)에서는, 대략, 표준 휘도 촬영 화상(PL#i)에 비치는 피사체가, 어둡게 비쳐져 있다.

화상 처리 장치(12)에 있어서, 표준 휘도 촬영 화상(PL#i)은, 시차 정보 생성부(31) 및 포화 화소 복원부(33)에 공급되고, 저휘도 촬영 화상(PH#i)은, 포화 화소 복원부(33)에 공급된다.

시차 정보 생성부(31)는, 촬영 장치(11)로부터 공급되는 표준 휘도 촬영 화상(PL#i)을 사용하여, 시차 정보를 구하고, 렌즈 에뮬레이션부(35)를 구성하는, 후술하는 입사 광선 재현부(36), 에뮬레이션 렌즈 정보 생성부(37), 및 집광 처리부(38)에 공급한다.

즉, 시차 정보 생성부(31)는, 촬영 장치(11)로부터 공급되는 표준 휘도 촬영 화상(PL#i) 각각의, 다른 표준 휘도 촬영 화상(PL#j)과의 시차 정보를 구하는 처리를, 복수의 시점의 표준 휘도 촬영 화상(PL#i)의 화상 처리로서 행한다. 그리고, 시차 정보 생성부(31)는, 그 시차 정보가 등록된 시차 맵을 생성하여, 렌즈 에뮬레이션부(35)에 공급한다.

또한, 시차 정보 생성부(31)는, 표준 휘도 촬영 화상(PL#i) 중, 기준 카메라 유닛(21₁)에서 촬영된 표준 휘도 촬영 화상(PL1)에 대해서는, 후술하는 다층 시차 맵을 생성하여, 렌즈 에뮬레이션부(35)에 공급한다.

여기서, 시차 정보로서는, 시차(disparity) 그 자체 외에, 시차에 대응하는 거리(깊이)를 채용할 수 있다. 본 실시 형태에서는, 시차 정보로서, 시차 및 거리 중, 예를 들어 시차를 채용하기로 한다.

캘리브레이션 데이터 취득부(32)는, 카메라 유닛(21₁ 내지 21₇)의 광학 렌즈의 왜곡값과 쉐이딩 계수를, 캘리브레이션 데이터로서 취득한다.

여기서, 캘리브레이션 데이터는, 예를 들어 도시하지 않은 메모리에 기억되어 있거나, 또는, 인터넷 상의 서버 등으로부터 제공되어 있다. 캘리브레이션 데이터 취득부(32)는, 메모리나 인터넷 상의 서버로부터, 캘리브레이션 데이터를 취득하여, 시차 정보 생성부(31) 및 입사 광선 재현부(36)에 공급한다.

시차 정보 생성부(31) 및 입사 광선 재현부(36)는, 캘리브레이션 데이터 취득부(32)로부터 공급되는 캘리브레이션 데이터를 사용하여, 주변 카메라 유닛(21₂ 내지 21₇)에서 촬영된 촬영 화상(표준 휘도 촬영 화상(PL2 내지 PL7) 또는 후술하는 HDR 촬영 화상(HD2 내지 HD7))을, 기준 카메라 유닛(21₁)에서 촬영된 촬영 화상(표준 휘도 촬영 화상(PL1) 또는 후술하는 HDR 촬영 화상(HD1))에 합치시키는 캘리브레이션 처리를 행한다.

즉, 시차 정보 생성부(31) 및 입사 광선 재현부(36)는, 주변 카메라 유닛(21₂ 내지 21₇) 각각 대신에, 기준 카메라 유닛(21₁)을 사용해서 촬영을 행하면 얻어질 촬영 화상에, 주변 카메라 유닛(21₂ 내지 21₇)에서 촬영된 촬영 화상을 보정하는 캘리브레이션 처리를, 캘리브레이션 데이터를 사용해서 행한다.

그리고, 시차 정보 생성부(31) 및 입사 광선 재현부(36)는, 주변 카메라 유닛(21₂ 내지 21₇)에서 촬영된 촬영 화상에 대해서는, 캘리브레이션 처리 후의 촬영 화상을 사용하여 처리를 행한다.

또한, 이하에서는, 설명을 간단하게 하기 위해서, 캘리브레이션 처리에 대해서는 언급하지 않는다.

포화 화소 복원부(33)는, 카메라 유닛(21_i)으로부터 공급되는 표준 휘도 촬영 화상(PL#i)의 화소 중, 화소값이 포화하고 있는 포화 화소의 화소값을, 카메라 유닛(21_i)으로부터 공급되는 저휘도 촬영 화상(PH#i)을 사용해서 복원한다.

포화 화소 복원부(33)는, 포화 화소의 화소값의 복원에 의해, 표준 휘도 촬영 화상(PL#i)을, 그 표준 휘도 촬영 화상(PL#i)보다도 고다이내믹 레인지의 (화소값에 할당되는 비트수가 많은) 촬영 화상(HD#i)으로 변환하여, 입사 광선 재현부(36)에 공급한다.

또한, 포화 화소 복원부(33)에서, 표준 휘도 촬영 화상(PL#i)보다도 고다이내믹 레인지의 촬영 화상(HD#i)은, 입사 광선 재현부(36) 외에, 시차 정보 생성부(31)에도 공급할 수 있다.

이 경우, 시차 정보 생성부(31)에서는, 표준 휘도 촬영 화상(PL#i) 대신에, 고다이내믹 레인지의 촬영 화상(HD#i)을 사용하여, 시차 정보를 구하는 화상 처리를 행할 수 있다. 고다이내믹 레인지의 촬영 화상(HD#i)을 사용하여 시차 정보를 구하는 경우에는, 시차 정보를 보다 고정밀도로 구할 수 있다.

여기서, 이하, 포화 화소의 화소값의 복원에 의해 얻어지는 고다이내믹 레인지의 촬영 화상(HD#i)을, HDR(High Dynamic Range) 촬영 화상(HD#i)이라고도 한다.

또한, 기준 카메라 유닛(21₁)에서 촬영된 표준 휘도 촬영 화상(PL1) 및 저휘도 촬영 화상(PH1), 및 (그것들의 표준 휘도 촬영 화상(PL1) 및 저휘도 촬영 화상(PH1)으로부터 얻어지는) HDR 촬영 화상(HD1)을, 이하, 기준 화상이라고도 한다.

또한, 주변 카메라 유닛(21_i)에서 촬영된 표준 휘도 촬영 화상(PL#i) 및 저휘도 촬영 화상(PH#i), 및 (그것들의 표준 휘도 촬영 화상(PL#i) 및 저휘도 촬영 화상(PH#i)으로부터 얻어지는) HDR 촬영 화상(HD#i)을, 이하, 주변 화상이라고도 한다.

렌즈 설계 데이터 취득부(34)는, 에뮬레이션 대상의 광학 렌즈인 에뮬레이션 렌즈의 렌즈 설계 데이터를 취득하여, 에뮬레이션 렌즈 정보 생성부(37)에 공급한다.

여기서, 렌즈 설계 데이터는, 예를 들어 도시하지 않은 메모리에 기억되어 있거나, 또는, 인터넷 상의 서버 등으로부터 제공되어 있다. 렌즈 설계 데이터 취득부(34)는, 메모리나 인터넷 상의 서버로부터, 렌즈 설계 데이터를 취득하여, 에뮬레이션 렌즈 정보 생성부(37)에 공급한다.

또한, 에뮬레이션 렌즈는, 실재하는 광학 렌즈일 필요는 없고, 실재하지 않는 광학 렌즈이어도 된다. 실재하지 않는 광학 렌즈는, 이론적으로 있을 수 있는 광학 렌즈이어도 되고, 이론적으로 있을 수 없는 광학 렌즈이어도 된다.

에뮬레이션 렌즈로서, 실재하지 않는 광학 렌즈를 채용하는 경우에는, 그 에뮬레이션 렌즈의 렌즈 설계 데이터는, 예를 들어 유저가 도시하지 않은 조작부를 조작함으로써 입력한다. 렌즈 설계 데이터 취득부(34)는, 유저가 입력하는 렌즈 설계 데이터를 취득한다.

렌즈 에뮬레이션부(35)는, 렌즈 에뮬레이션 처리를 행하여, 그 렌즈 에뮬레이션 처리에 의해 얻어지는 에뮬레이션 화상을, 표시 장치(13)(도 1)에 공급한다.

렌즈 에뮬레이션 처리에서는, 렌즈 에뮬레이션부(35)는, 시차 정보 생성부(31)로부터 공급되는 시차 맵(필요에 따라, 후술하는 다층 시차 맵을 포함함), 포화 화소 복원부(33)로부터 공급되는 7 시점의 촬영 화상(HD1 내지 HD7) 및 렌즈 설계 데이터 취득부(34)로부터 공급되는 렌즈 설계 데이터를 사용하여, 피사체를 에뮬레이션 렌즈를 사용해서 촬영하면 얻어질 화상인 에뮬레이션 화상을 생성한다.

따라서, 렌즈 에뮬레이션부(35)는, 에뮬레이션 렌즈를 갖는 촬영 장치(도시하지 않음)의 에뮬레이션을 행하는 에뮬레이터로서 기능한다.

렌즈 에뮬레이션부(35)는, 입사 광선 재현부(36), 에뮬레이션 렌즈 정보 생성부(37), 및 집광 처리부(38)를 갖는다.

입사 광선 재현부(36)는, 포화 화소 복원부(33)로부터 공급되는 7 시점의 촬영 화상(HD1 내지 HD7)과, 시차 정보 생성부(31)로부터 공급되는 시차 맵을 사용하여, 실공간 내의 실공간 점으로부터, 가상적인 광학 렌즈인 가상 렌즈에 입사하는 광선(의 정보)을 재현하는 입사 광선 재현 처리를, 7 시점의 촬영 화상(HD1 내지 HD7)의 화상 처리로서 행한다.

여기서, 입사 광선 재현부(36)에서 재현되는 광선이 입사하는 가상 렌즈는, 입사 광선 재현부(36)에 공급되는 7 시점의 촬영 화상(HD1 내지 HD7)(PL1 내지 PL7)을 촬영하는 복수의 촬영부로서의 카메라 유닛(21₁ 내지 21₇)을 합성 개구로 하는 가상의 렌즈이다.

카메라 유닛(21₁ 내지 21₇)이, 예를 들어 도 2에 도시한 바와 같이, 정육각형 형상으로 배치되고, 하나의 카메라 유닛(21_i)과, 그 카메라 유닛(21_i)에 가장 가까운 다른 1개의 카메라 유닛(21_j)과의 거리가 L로 되어 있는 경우, 가상 렌즈의 개구인 합성 개구는, 주변 카메라 유닛(21₂ 내지 21₇)의 광축을 연결하는, 직경이 2L인 대략 원 형상으로 된다.

입사 광선 재현부(36)는, 가상 렌즈에 입사하는 광선을 재현하여, 집광 처리부(38)에 공급한다.

에뮬레이션 렌즈 정보 생성부(37)는, 시차 정보 생성부(31)로부터 공급되는 시차 맵과, 렌즈 설계 데이터 취득부(34)로부터 공급되는 렌즈 설계 데이터를 사용하여, 에뮬레이션 렌즈의 특성, 즉, 에뮬레이션 렌즈를 통과하는 광선을 규정하는 에뮬레이션 렌즈 정보를 생성하여, 집광 처리부(38)에 공급한다.

여기서, 이하, 에뮬레이션 렌즈 정보를, 간단히 렌즈 정보라고도 한다.

렌즈 정보는, 에뮬레이션 렌즈와 등가의 가치를 가지므로, 매매의 대상으로 할 수 있다. 렌즈 정보는 전자적인 데이터이며, 복제가 용이하기 때문에, 위법적인 복제를 방지하기 위해서, 렌즈 정보의 사용에는, 인증을 의무화할 수 있다.

집광 처리부(38)는, 시차 정보 생성부(31)로부터 공급되는 시차 맵, 입사 광선 재현부(36)로부터 공급되는 광선, 및 에뮬레이션 렌즈 정보 생성부(37)로부터 공급되는 렌즈 정보를 사용하여, 광선을 에뮬레이션 렌즈를 통해서, 가상적인 이미지 센서인 가상 센서 상에 집광하는 (디지털) 집광 처리를 행한다.

그리고, 집광 처리부(38)는, 집광 처리의 결과 얻어지는 에뮬레이션 화상을, 표시 장치(13)(도 1)에 공급한다.

또한, 화상 처리 장치(12)는, 서버로서 구성할 수도 있고, 클라이언트로서 구성할 수도 있다. 또한, 화상 처리 장치(12)는, 서버 클라이언트 시스템으로서 구성할 수도 있다. 화상 처리 장치(12)를, 서버 클라이언트 시스템으로서 구성하는 경우에는, 화상 처리 장치(12)의 임의의 일부의 블록을 서버로 구성하고, 나머지 블록을 클라이언트로 구성할 수 있다.

<화상 처리 시스템의 처리>

도 4는, 도 1의 화상 처리 시스템의 처리 예를 설명하는 흐름도이다.

스텝 S1에서, 촬영 장치(11)는, 복수의 시점으로서의 7 시점의 촬영 화상(PL1 내지 PL7 및 PH1 내지 PH7)을 촬영한다. 촬영 화상(PL#i)은, 화상 처리 장치(12)(도 3)의 시차 정보 생성부(31) 및 포화 화소 복원부(33)에 공급되고, 촬영 화상(PH#i)은, 포화 화소 복원부(33)에 공급된다.

그리고, 처리는, 스텝 S1에서 스텝 S2로 진행되어, 시차 정보 생성부(31)는, 촬영 장치(11)로부터 공급되는 촬영 화상(PL#i)을 사용하여, 시차 정보를 구하고, 그 시차 정보가 등록된 시차 맵(다층 시차 맵을 포함함)을 생성하는 시차 정보 생성 처리를 행한다.

시차 정보 생성부(31)는, 시차 정보 생성 처리에 의해 얻어지는 시차 맵을, 렌즈 에뮬레이션부(35)를 구성하는 입사 광선 재현부(36), 에뮬레이션 렌즈 정보 생성부(37), 및 집광 처리부(38)에 공급하고, 처리는, 스텝 S2에서 스텝 S3으로 진행된다.

스텝 S3에서는, 포화 화소 복원부(33)는, 카메라 유닛(21_i)으로부터 공급되는 촬영 화상(PL#i)의 화소 중 포화 화소의 화소값을, 카메라 유닛(21_i)으로부터 공급되는 촬영 화상(PH#i)을 사용해서 복원하는 포화 화소 복원 처리를 행한다.

포화 화소 복원부(33)는, 포화 화소 복원 처리에 의해 얻어지는 고다이내믹 레인지의 촬영 화상(HD#i)을, 입사 광선 재현부(36)에 공급하고, 처리는, 스텝 S3에서 스텝 S4로 진행된다.

스텝 S4에서는, 렌즈 설계 데이터 취득부(34)가, 에뮬레이션 렌즈의 렌즈 설계 데이터를 취득하여, 에뮬레이션 렌즈 정보 생성부(37)에 공급한다.

또한, 스텝 S4에서는, 에뮬레이션 렌즈 정보 생성부(37)가, 시차 정보 생성부(31)로부터 공급되는 시차 맵과, 렌즈 설계 데이터 취득부(34)로부터 공급되는 렌즈 설계 데이터를 사용하여, 에뮬레이션 렌즈의 렌즈 정보를 생성하는 에뮬레이션 렌즈 정보 생성 처리를 행한다.

에뮬레이션 렌즈 정보 생성부(37)는, 에뮬레이션 렌즈 정보 생성 처리에 의해 얻어지는 렌즈 정보를, 집광 처리부(38)에 공급하고, 처리는, 스텝 S4에서 스텝 S5로 진행된다.

스텝 S5에서는, 입사 광선 재현부(36)는, 포화 화소 복원부(33)로부터 공급되는 7 시점의 촬영 화상(HD1 내지 HD7)과, 시차 정보 생성부(31)로부터 공급되는 시차 맵을 사용하여, 실공간 내의 실공간 점으로부터, 가상 렌즈에 입사하는 광선을 재현하는 입사 광선 재현 처리를 행한다.

입사 광선 재현부(36)는, 입사 광선 재현 처리에 의해 얻어지는 광선(의 정보)을 집광 처리부(38)에 공급하고, 처리는, 스텝 S5에서 스텝 S6으로 진행된다.

스텝 S6에서는, 집광 처리부(38)는, 시차 정보 생성부(31)로부터 공급되는 시차 맵, 입사 광선 재현부(36)로부터 공급되는 광선, 및 에뮬레이션 렌즈 정보 생성부(37)로부터 공급되는 렌즈 정보를 사용하여, 광선을 에뮬레이션 렌즈를 통해서, 가상 센서 상에 집광하는 집광 처리를 행한다.

집광 처리부(38)는, 집광 처리의 결과 얻어지는 에뮬레이션 화상을, 표시 장치(13)에 공급하고, 처리는, 스텝 S6에서 스텝 S7로 진행된다.

스텝 S7에서는, 표시 장치(13)가, 집광 처리부(38)로부터의 에뮬레이션 화상을 표시한다.

<시차 맵의 생성>

도 5는, 도 3의 시차 정보 생성부(31)의 구성예를 도시하는 블록도이다.

도 5에서, 시차 정보 생성부(31)는, 기준 시차 맵 생성부(41) 및 다층 시차 맵 생성부(42)를 갖는다.

기준 시차 맵 생성부(41)에는, 촬영 장치(11)로부터 촬영 화상(PL1 내지 PL7)이 공급된다.

기준 시차 맵 생성부(41)는, 촬영 장치(11)로부터의 촬영 화상(PL1 내지 PL7) 중, 하나의 화상인 기준 화상(PL1)의, 다른 촬영 화상(주변 화상)(PL2 내지 PL7)과의 시차를 등록한 시차 맵인 기준 시차 맵을 생성하여, 다층 시차 맵 생성부(42)에 공급한다.

다층 시차 맵 생성부(42)는, 예를 들어 기준 시차 맵 생성부(41)로부터의 기준 시차 맵을 사용하여, 주변 화상(PL2 내지 PL7)의 시차 맵을 생성한다.

그리고, 다층 시차 맵 생성부(42)는, 기준 화상(PL1)의 기준 시차 맵 및 주변 화상(PL2 내지 PL7)의 시차 맵을 사용하여, 기준 카메라 유닛(21₁)의 시점(위치)을 기준으로 하는 시차가 등록된 다층 시차 맵을 생성한다.

기준 화상(PL1)의 기준 시차 맵, 주변 화상(PL2 내지 PL7)의 시차 맵, 및 다층 시차 맵 중, 필요한 시차 맵은, 입사 광선 재현부(36), 에뮬레이션 렌즈 정보 생성부(37) 및 집광 처리부(38)(도 3)에 공급된다.

도 6은, 도 5의 기준 시차 맵 생성부(41)에서의 기준 시차 맵의 생성 예를 설명하는 도면이다.

즉, 도 6은, 촬영 화상(PL1 내지 PL7)의 예를 나타내고 있다.

도 6에서는, 촬영 화상(PL1 내지 PL7)에는, 소정의 배경의 전방측에, 전경으로서의 소정의 물체(obj)가 비치고 있다. 촬영 화상(PL1 내지 PL7) 각각에 대해서는, 시점이 상이하기 때문에, 예를 들어 주변 화상(PL2 내지 PL7) 각각에 비추는 물체(obj)의 위치는, 기준 화상(PL1)에 비추는 물체(obj)의 위치로부터, 시점이 상이한 분만큼 어긋나 있다.

기준 시차 맵 생성부(41)는, 기준 화상(PL1)의 화소를, 순차, 주목 화소로 선택하고, 그 주목 화소에 대응하는 대응 화소(대응 점)를, 다른 촬영 화상(PL2 내지 PL7), 즉, 주변 화상(PL2 내지 PL7) 각각으로부터 검출한다.

기준 화상(PL1)의 주목 화소에 대응하는, 주변 화상(PL2 내지 PL7) 각각의 대응 화소를 검출하는 방법으로서는, 예를 들어, 블록 매칭 등의 임의의 방법을 채용할 수 있다.

여기서, 기준 화상(PL1)의 주목 화소로부터, 주변 화상(PL#i)의 대응 화소를 향하는 벡터, 즉, 주목 화소와 대응 화소와의 위치 어긋남을 나타내는 벡터를, 시차 벡터(v#i, 1)라고 하기로 한다.

기준 시차 맵 생성부(41)는, 주변 화상(PL2 내지 PL7) 각각에 대해서 시차 벡터(v2, 1 내지 v7, 1)를 구한다. 그리고, 기준 시차 맵 생성부(41)는, 시차 벡터(v2, 1 내지 v7, 1)의 크기를 대상으로 한 다수결을 행하고, 그 다수결에 승리한 시차 벡터(v#i, 1)의 크기를, 주목 화소(의 위치)의 시차로서 구한다.

여기서, 촬영 장치(11)에 있어서, 도 2에서 설명한 바와 같이, 기준 화상(PL1)을 촬영하는 기준 카메라 유닛(21₁)과, 주변 화상(PL#2 내지 PL#7)을 촬영하는 주변 카메라 유닛(21₂ 내지 21₇) 각각과의 거리가, 동일한 거리(L)로 되어 있는 경우에, 기준 화상(PL1)의 주목 화소에 비치는 부분이, 주변 화상(PL#2 내지 PL#7)에도 비치고 있을 때는, 시차 벡터(v2, 1 내지 v7, 1)로서, 방향이 상이하지만, 크기가 동등한 벡터가 구해진다.

즉, 이 경우, 시차 벡터(v2, 1 내지 v7, 1)는, 기준 카메라 유닛(21₁)에 대한 주변 화상(PL#2 내지 PL#7)의 위치(시점)에 따른 방향의, 크기가 동등한 벡터가 된다.

단, 촬영 화상(PL1 내지 PL7) 각각의 시점은 상이하기 때문에, 주변 화상(PL#2 내지 PL#7) 중에는, 오클루젼이 발생하고 있는 화상, 즉, 기준 화상(PL1)의 주목 화소에 비치는 부분이, 전경에 가려져 비치지 않고 있는 화상이 있을 수 있다.

기준 화상(PL1)의 주목 화소에 비치는 부분이 비치지 않고 있는 주변 화상(이하, 오클루젼 화상이라고도 함)(PL#i)에 대해서는, 주목 화소에 대응하는 대응 화소로서, 올바른 화소를 검출하는 것이 곤란하다.

그 때문에, 오클루젼 화상(PL#i)에 대해서는, 기준 화상(PL1)의 주목 화소에 비치는 부분이 비치고 있는 주변 화상(PL#j)의 시차 벡터(v#j, 1)와는, 크기가 상이한 시차 벡터(v#i, 1)가 구해진다.

주변 화상(PL#2 내지 PL#7) 중에서, 주목 화소에 대해서, 오클루젼이 발생하고 있는 화상은, 오클루젼이 발생하고 있는 화상보다도 적다고 추정된다. 그래서, 기준 시차 맵 생성부(41)는, 상술한 바와 같이, 시차 벡터(v2, 1 내지 v7, 1)의 크기를 대상으로 한 다수결을 행하고, 그 다수결에 승리한 시차 벡터(v#i, 1)의 크기를, 주목 화소의 시차로서 구한다.

도 6에서는, 시차 벡터(v2, 1 내지 v7, 1) 중에서, 3개의 시차 벡터(v2, 1, v3, 1, v7, 1)가 크기가 동등한 벡터로 되어 있다. 또한, 시차 벡터(v4, 1, v5, 1, v6, 1) 각각에 대해서는, 크기가 동등한 시차 벡터가 존재하지 않는다.

그 때문에, 3개의 시차 벡터(v2, 1, v3, 1, v7, 1)가, 크기가, 주목 화소의 시차로서 구해진다.

또한, 기준 화상(PL1)의 주목 화소의, 임의의 주변 화상(PL#i)과의 시차의 방향은, 기준 카메라 유닛(21₁)과, 주변 카메라 유닛(21_i)과의 위치 관계로부터 인식할 수 있다.

기준 시차 맵 생성부(41)는, 기준 화상(PL1)의 화소를, 순차, 주목 화소로 선택하고, 시차를 구한다. 그리고, 기준 시차 맵 생성부(41)는, 기준 화상(PL1)의 각 화소의 위치(xy 좌표)에 대하여, 그 화소의 시차를 등록한 시차 맵을, 기준 시차 맵으로서 생성한다. 따라서, 시차 맵은, 화소의 위치와, 그 화소의 시차를 대응시킨 맵(테이블)이다.

여기서, 기준 화상(PL1)의 시차 맵(기준 시차 맵) 외에, 주변 화상(PL#i)의 시차 맵도, 마찬가지로 생성할 수 있다.

단, 주변 화상(PL#i)의 시차 맵의 생성에 있어서, 시차 벡터의 다수결은, 주변 화상(PL#i)과, 다른 촬영 화상(PL#j)과의 시점의 관계(카메라 유닛(21_i)과 (21_j)와의 위치 관계)에 기초하여, 시차 벡터의 크기를 조정해서 행하여진다.

즉, 예를 들어 주변 화상(PL5)의 시차 맵을 생성하는 경우, 예를 들어 주변 화상(PL5)과 기준 화상(PL1)과의 사이에서 얻어지는 시차 벡터는, 주변 화상(PL5)과 주변 화상(PL2)과의 사이에서 얻어지는 시차 벡터의 2배의 크기가 된다.

이것은, 주변 화상(PL5)을 촬영하는 주변 카메라 유닛(21₅)과, 기준 화상(PL1)을 촬영하는 기준 카메라 유닛(21₁)과의 광축끼리의 거리인 기선 길이가, 거리(L)인 것에 반해, 주변 화상(PL5)을 촬영하는 주변 카메라 유닛(21₅)과, 주변 화상(PL2)을 촬영하는 주변 카메라 유닛(21₂)과의 기선 길이는, 거리(2L)로 되어 있기 때문이다.

그래서, 지금, 예를 들어 주변 카메라 유닛(21₅)과 기준 카메라 유닛(21₁)과의 기선 길이인 거리(L)를, 기준 기선 길이라고 하면, 시차 벡터의 다수결은, 기선 길이가 기준 기선 길이(L)로 환산되도록, 시차 벡터의 크기를 조정해서 행하여진다.

즉, 예를 들어 주변 화상(PL5)을 촬영하는 주변 카메라 유닛(21₅)과, 기준 화상(PL1)을 촬영하는 기준 카메라 유닛(21₁)의 기선 길이(L)는, 기준 기선 길이(L)와 동등하므로, 주변 화상(PL5)과 기준 화상(PL1)과의 사이에서 얻어지는 시차 벡터는, 그 크기가 1배로 조정된다.

또한, 예를 들어 주변 화상(PL5)을 촬영하는 주변 카메라 유닛(21₅)과, 주변 화상(PL2)을 촬영하는 주변 카메라 유닛(21₂)의 기선 길이(2L)는, 기준 기선 길이(L)의 2배와 동등하므로, 주변 화상(PL5)과 기준 화상(PL1)과의 사이에서 얻어지는 시차 벡터는, 그 크기가 1/2배(기준 기선 길이와, 주변 카메라 유닛(21₅)과 주변 카메라 유닛(21₂)과의 기선 길이와의 비의 값배)로 조정된다.

주변 화상(PL5)과 다른 촬영 화상(PL#i)과의 사이에서 얻어지는 시차 벡터에 대해서도, 마찬가지로, 그 크기가, 기준 기선 길이(L)와의 비의 값배로 조정된다.

그리고, 크기의 조정 후의 시차 벡터를 사용하여, 시차 벡터의 다수결이 행하여진다.

또한, 기준 시차 맵 생성부(41)에서, 기준 화상(PL1)(의 각 화소)의 시차는, 예를 들어 촬영 장치(11)에서 촬영되는 촬영 화상의 화소의 정밀도로 구할 수 있다. 또한, 기준 화상(PL1)의 시차는, 예를 들어 촬영 장치(11)에서 촬영되는 촬영 화상의 화소보다 미세한 정밀도(이하, 화소 이하 정밀도라고도 함), 즉, 예를 들어 1/4 화소 등의 정밀도로 구할 수 있다.

시차를 화소 이하 정밀도로 구하는 경우, 시차를 사용하는 처리에서는, 그 화소 이하 정밀도의 시차를 그대로 사용할 수도 있고, 화소 이하 정밀도의 시차의 소수점 이하를, 버림, 올림, 또는 반올림하거나 하여 정수화해서 사용할 수도 있다.

본 실시 형태에서는, 시차를 화소 이하 정밀도로 구하여, 특별히 언급하지 않는 한, 계산의 용이화를 위해서, 화소 이하 정밀도의 시차를 정수화해서 사용하는 것으로 한다.

도 7은, 주변 화상(PL#i)의 시차 맵의 생성의 예를 설명하는 도면이다.

주변 화상(PL#i)의 시차 맵은, 기준 화상(PL1)의 시차 맵(기준 시차 맵)과 마찬가지로 생성할 수 있는 것 외에, 기준 시차 맵을 이용하여, 말하자면 간이적으로 생성할 수 있다.

다층 시차 맵 생성부(42)(도 5)는, 주변 화상(PL#i)의 시차 맵을, 기준 시차 맵을 이용해서 생성할 수 있다.

도 7에서는, 기준 시차 맵을 이용하여, 주변 화상(PL2 및 PL5) 각각의 시차 맵이 생성되어 있다.

여기서, 도 7에는, 기준 화상(PL1), 주변 화상(PL2 및 PL5)과, 그 기준 화상(PL1), 주변 화상(PL2 및 PL5) 각각의 시차 맵이 도시되어 있다.

기준 화상(PL1)의 시차 맵(기준 시차 맵)으로서는, 각 화소의 시차를, 농담으로 표현한 시차 맵의 평면도와, 횡축을 화소의 수평 위치로 함과 함께, 종축을 시차로 하는 시차 맵이 나타나 있다.

주변 화상(PL2 및 PL5)의 시차 맵에 대해서도 마찬가지이다.

다층 시차 맵 생성부(42)는, 기준 시차 맵을 이용하여, 주변 화상(PL#i)의 시차 맵을 생성하는 경우, 기준 시차 맵에 있어서, 기준 화상을 촬영하는 카메라 유닛(21₁)과, 주변 화상(PL#i)을 촬영하는 카메라 유닛(21_i)과의 위치 관계에 따른 방향(이하, 카메라 위치 관계 방향이라고도 함)으로, 각 화소의 위치에 등록되어 있는 시차를, 그 시차만큼 이동함으로써, 주변 화상(PL#i)의 시차 맵을 생성한다.

예를 들어, 주변 화상(PL2)의 시차 맵을 생성하는 경우에는, 주변 화상(PL2)을 촬영하는 카메라 유닛(21₂)에서, 기준 화상을 촬영하는 카메라 유닛(21₁)을 본 방향인 좌측 방향을, 카메라 위치 관계 방향으로 하고, 기준 시차 맵의 각 화소의 위치에 등록되어 있는 시차가, 그 시차만큼, 카메라 위치 관계 방향인 좌측 방향으로 이동됨으로써, 주변 화상(PL2)의 시차 맵이 생성된다.

또한, 예를 들어 주변 화상(PL5)의 시차 맵을 생성하는 경우에는, 주변 화상(PL5)을 촬영하는 카메라 유닛(21₅)에서, 기준 화상을 촬영하는 카메라 유닛(21₁)을 본 방향인 우측 방향을, 카메라 위치 관계 방향으로 하고, 기준 시차 맵의 각 화소의 위치에 등록되어 있는 시차가, 그 시차만큼, 카메라 위치 관계 방향인 우측 방향으로 이동됨으로써, 주변 화상(PL5)의 시차 맵이 생성된다.

이상과 같이, 기준 시차 맵을 이용하여, 주변 화상(PL#i)의 시차 맵이 생성된 경우, 그 주변 화상(PL#i)의 시차 맵에서는, 주변 화상(PL#i)에는 비치고 있지만, 기준 화상(P1)에는 비치지 않고 있는 부분의 화소에 대한 에어리어가, 시차가 등록되어 있지 않은 미등록 에어리어(도 7에서, 사선을 그은 부분)가 된다.

그래서, 다층 시차 맵 생성부(42)는, 기준 시차 맵을 이용해서 생성된 주변 화상(PL#i)의 시차 맵의 미등록 에어리어에, 시차를 보간함으로써, 주변 화상(PL#i)의 시차 맵을 완성시킨다.

도 8은, 주변 화상(PL#i)의 시차 맵의 미등록 에어리어에의, 시차의 보간을 설명하는 도면이다.

여기서, 도 8에서도, 도 7과 마찬가지로, 기준 화상(PL1), 주변 화상(PL2 및 PL5)과, 그 기준 화상(PL1), 주변 화상(PL2 및 PL5) 각각의 시차 맵이 도시되어 있다.

다층 시차 맵 생성부(42)는, 주변 화상(PL#i)의 시차 맵에 있어서, 미등록 에어리어의 화소로부터, 카메라 위치 관계 방향으로 연장되는 직선인 카메라 위치 관계 방향 직선을, 일 방향과 반대 방향과의 각각을 거슬러 올라가서, 최초로 도달하는, 시차가 등록되어 있는 화소인 시차 등록 화소를 검출한다.

또한, 다층 시차 맵 생성부(42)는, 카메라 위치 관계 방향 직선의 일 방향의 시차 등록 화소의 시차와, 반대 방향의 시차 등록 화소의 시차 중, 작은 쪽의 시차(보다 먼 거리에 대응하는 시차)를 미등록 에어리어의 화소의 보간에 사용하는 보간 시차로 선택한다.

그리고, 다층 시차 맵 생성부(42)는, 미등록 에어리어의 화소의 시차를, 보간 시차로 보간해서(미등록 에어리어의 화소 시차로서, 보간 시차를 등록해서), 주변 화상(PL#i)의 시차 맵을 완성시킨다.

도 8에서는, 주변 화상(PL2)의 시차 맵에 대해서는, 미등록 에어리어(도 7)의 우측의 경계에 인접하는 화소(시차 등록 화소)에 등록되어 있는 시차가, 보간 시차로 선택되고, 미등록 에어리어의 화소 시차가, 보간 시차로 보간되어 있다(보간 시차가, 미등록 에어리어의 화소의 시차로서 전반되고 있음).

또한, 도 8에서는, 주변 화상(PL5)의 시차 맵에 대해서는, 미등록 에어리어(도 7)의 좌측의 경계에 인접하는 화소(시차 등록 화소)에 등록되어 있는 시차가, 보간 시차로 선택되고, 미등록 에어리어의 화소 시차가, 보간 시차로 보간되어 있다.

도 9는, 다층 시차 맵의 생성의 예를 설명하는 도면이다.

여기서, 도 9에서도, 도 7 및 도 8과 마찬가지로, 기준 화상(PL1), 주변 화상(PL2 및 PL5)과, 그 기준 화상(PL1), 주변 화상(PL2 및 PL5) 각각의 시차 맵이 도시되어 있다.

다층 시차 맵 생성부(42)는, 기준 화상(PL1)의 기준 시차 맵, 및 주변 화상(PL2 내지 PL7)의 시차 맵(의 하나 이상)을 사용하여, 다층 시차 맵을 생성한다.

즉, 다층 시차 맵 생성부(42)는, 주변 화상(PL#i)의 각 화소를, 순차, 주목 화소로 선택하고, 그 주목 화소에 대응하는, 기준 화상의 대응 화소를 검출한다.

예를 들어, 주변 화상(PL#i)의 주목 화소의 위치로부터, 주변 화상(PL#i)의 시차 맵의 주목 화소에 등록되어 있는 시차만큼, 카메라 위치 관계 방향(여기서는, 카메라 유닛(21₁)에서 카메라 유닛(22_i)을 본 방향)으로 이동한 위치의 기준 화상(PL1)의 화소가, 주변 화상(PL#i)의 주목 화소에 대응하는, 기준 화상(PL1)의 대응 화소로서 검출된다.

그리고, 기준 시차 맵에 있어서, 기준 화상(PL1)의 대응 화소에 대하여, 주변 화상(PL#i)의 주목 화소의 시차가 등록된다.

다층 시차 맵의 생성에서는, 기준 시차 맵에 있어서, 기준 화상(PL1)의 대응 화소에 대하여, 시차가 이미 등록되어 있지만, 주변 화상(PL#i)의 주목 화소의 시차가, 대응 화소에 대하여 이미 등록되어 있는 시차와 상이한 경우에는, 그 이미 등록되어 있는 시차에 추가하는 형태로 등록된다.

이상과 같이, 기준 시차 맵에, 주변 화상(PL#i)의 시차 맵에 등록되어 있는 시차가, 추가되는 형태로, 말하자면 반영되어, 그 반영 후의 기준 시차 맵이, 다층 시차 맵으로 된다.

그 결과, 다층 시차 맵은, 기준 카메라 유닛(21₁)의 시점(이하, 기준 시점이라고도 함)에서 보이는 부분의 시차 외에, 기준 시점에서는, 전경에 가려져 보이지 않는 부분(오클루젼이 발생하고 있는 부분)의 적어도 일부의 시차가 등록된 시차 맵이 된다.

다층 시차 맵에서는, 예를 들어 전경의 영역의 화소에, 그 전경까지의 거리에 대응하는 시차와, 기준 시점에서는, 그 전경의 그림자에 가려져 보이지 않는 배경까지의 거리에 대응하는 시차와의, 말하자면 다층의 시차(복수의 시차)가 등록된다.

도 10은, 도 5의 시차 정보 생성부(31)에서의 기준 시차 맵 및 다층 시차 맵 각각의 생성의 처리의 예를 설명하는 흐름도이다.

기준 시차 맵을 생성하는 기준 시차 맵 생성 처리에서는, 스텝 S11에서, 기준 시차 맵 생성부(41)는, 촬영 장치(11)로부터의 주변 화상(PL2 내지 PL7) 중, 아직, 주목 화상으로 선택하지 않은 화상의 1개를 주목 화상으로 선택하고, 처리는, 스텝 S12로 진행된다.

스텝 S12에서는, 기준 시차 맵 생성부(41)는, 촬영 장치(11)로부터의 기준 화상(PL1)의 각 화소에 대해서, 주목 화상과의 시차 벡터(v)(도 6)를 검출하고, 처리는, 스텝 S13으로 진행된다.

스텝 S13에서는, 기준 시차 맵 생성부(41)는, 주변 화상(PL2 내지 PL7) 모두를, 주목 화상으로 선택했는지 여부를 판정한다.

스텝 S13에서, 아직, 주변 화상(PL2 내지 PL7) 모두를, 주목 화상으로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S11로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S13에서, 주변 화상(PL2 내지 PL7) 모두를, 주목 화상으로 선택했다고 판정된 경우, 처리는, 스텝 S14로 진행된다.

스텝 S14에서는, 기준 시차 맵 생성부(41)는, 도 6에서 설명한 바와 같이, 기준 화상의 각 화소에 대해서, 주변 화상(PL2 내지 PL7) 각각에 대하여 시차 벡터(v2, 1 내지 v7, 1)의 크기를 대상으로 한 다수결을 행하고, 그 다수결에 승리한 시차 벡터(v#i, 1)의 크기를, 시차로 결정한다.

그리고, 기준 시차 맵 생성부(41)는, 기준 화상의 각 화소에 대하여, 시차를 등록한 기준 시차 맵을 생성하여, 다층 시차 맵 생성부(42)에 공급하고, 기준 시차 맵 생성 처리는 종료된다.

다층 시차 맵을 생성하는 다층 시차 맵 생성 처리에서는, 스텝 S21에서, 다층 시차 맵 생성부(42)는, 도 7에서 설명한 바와 같이, 기준 시차 맵 생성부(41)로부터의 기준 시차 맵을 사용하여, 주변 화상(PL2 내지 PL7)의 시차 맵을 생성하고, 처리는, 스텝 S22로 진행된다.

스텝 S22에서는, 다층 시차 맵 생성부(42)는, 도 8에서 설명한 바와 같이, 주변 화상(PL#i)의 시차 맵의 미등록 에어리어에, 시차를 보간함으로써, 주변 화상(PL#i)의 시차 맵을 완성시키고, 처리는, 스텝 S23으로 진행된다.

스텝 S23에서는, 다층 시차 맵 생성부(42)는, 도 9에서 설명한 바와 같이, 기준 시차 맵에, 주변 화상(PL2 내지 PL7)의 시차 맵을 반영함으로써, 다층 시차 맵을 생성하고, 다층 시차 맵 생성 처리는 종료된다.

<포화 화소의 복원>

도 11은, 실제의 광학 렌즈를 사용하여, 소정의 피사체를 촬영한 실사 화상의 예를 모식적으로 도시하는 도이다.

도 11의 A는, 포커스를 팬포커스로 설정한 실사 화상의 예를 나타내고 있다.

도 11의 A의 실사 화상에서는, 안쪽측에 위치하는 전구가, 비교적 흐려지지 않고 선명하게 비치고 있다.

도 11의 B는, 포커스를 (광학 렌즈의 주점으로부터), 비교적 앞의 위치인, 예를 들어 1m의 거리로 설정한 실사 화상의 예를 나타내고 있다.

도 11의 B의 실사 화상에서는, 1m의 거리에 있는 피사체(도 11에서는, 캔)는, 흐려지지 않고 선명하게 비치고 있지만, 그 밖의 거리에 있는 피사체는, 흐려져서 비치고 있다. 또한, 도 11의 B의 실사 화상에서는, 안쪽측에 위치하는 전구가, 흐려져는 있지만, 휘도가 높기 때문에, 비교적 선명하게 비치고 있다.

도 12는, 도 3의 화상 처리 장치(12)에서 얻어지는 에뮬레이션 화상의 예를 나타내는 도이다.

도 12의 A는, 화상 처리 장치(12)에 있어서, 포화 화소 복원 처리를 행하지 않는 경우에 얻어지는 에뮬레이션 화상의 예를 나타내고 있다.

도 12의 A의 에뮬레이션 화상에서는, 도 11의 B의 경우와 마찬가지로, 포커스가 앞쪽의 위치에 설정되어 있고, 그 때문에, 안쪽측에 위치하는 전구가 흐려져 있다.

단, 도 12의 A의 에뮬레이션 화상에서는, 안쪽측에 위치하는 전구가 흐려져는 있지만, 도 11의 B의 경우와는 달리, 그다지 선명하지 않다.

도 12의 B는, 화상 처리 장치(12)에 있어서, 포화 화소 복원 처리를 행하는 경우에 얻어지는 에뮬레이션 화상의 예를 나타내고 있다.

도 12의 B의 에뮬레이션 화상에서는, 도 11의 B의 경우와 마찬가지로, 포커스가 앞쪽의 위치로 설정되어 있고, 그 때문에, 안쪽측에 위치하는 전구가 흐려져 있다.

또한, 도 12의 B의 에뮬레이션 화상에서는, 안쪽측에 위치하는 전구가, 도 11의 B의 경우와 마찬가지로, 선명하게 흐려져 있다.

따라서, 포화 화소 복원 처리에 의하면, 나중에 행하여지는 렌즈 에뮬레이션 처리에 있어서, 실제의 광학 렌즈의 흐려짐 정도를, 정확하게 재현할 수 있다.

즉, 포화 화소 복원 처리에 의하면, 실제의 광학 렌즈를 사용해서 촬영된 실사 화상과 마찬가지의 선명한 흐려짐을 재현할 수 있다.

도 13은, 포화 화소 복원 처리를 행하지 않는 경우에, 선명한 흐려짐이 재현되지 않는 원리를 설명하는 도면이다.

도 13의 A는, 피사체의 광 강도의 예를 나타내고 있다.

도 13의 A에서, 횡축은, 카메라 유닛(21_i)을 구성하는 도시하지 않은 이미지 센서의 수평 방향의 위치(수평 좌표)를 나타내고, 종축은, 그 이미지 센서에 조사되는 피사체로부터의 광의 광 강도를 나타낸다.

도 13의 A에서는, 매우 큰 광 강도(S₀)의 광이, 카메라 유닛(21_i)(의 이미지 센서)에 조사되어 있다.

도 13의 B는, 카메라 유닛(21_i)에서, 광 강도(S₀)의 광을 수광했을 때 출력되는 촬영 화상의 휘도의 예를 나타내고 있다.

도 13의 B에서, 횡축은, 광 강도(S₀)의 광을 수광한 카메라 유닛(21_i)이 출력하는 촬영 화상의 수평 방향의 화소의 위치를 나타내고, 종축은, 그 촬영 화상의 화소의 휘도를 나타낸다.

광 강도(S₀)의 광에 대응하는 휘도는, 카메라 유닛(21_i)이 화소값으로서 출력할 수 있는 최댓값인 촬영 한계 휘도(THL)를 초과하고 있고, 그 때문에, 촬영 화상에서는, 광 강도(S₀)의 광을 발하는 피사체의 휘도가, 촬영 한계 휘도(THL)로 커트(클램프)되어 있다.

여기서, 촬영 한계 휘도(THL)에 대응하는 광 강도를 S₁(<S₀)로 나타내기로 한다.

도 13의 C는, 광 강도(S₀)의 광에 대응하는 휘도가, 광 강도(S₁)에 대응하는 촬영 한계 휘도(THL)로 커트된 촬영 화상을 사용한, 렌즈 에뮬레이션 처리에서 생성되는 에뮬레이션 화상의 예를 나타내고 있다.

도 13의 C에서, 횡축은, 에뮬레이션 화상의 수평 방향의 화소의 위치를 나타내고, 종축은, 그 에뮬레이션 화상의 화소의 휘도를 나타낸다.

에뮬레이션 화상의 생성에 있어서, 광 강도(S₁)에 대응하는 촬영 한계 휘도(THL)를 화소값으로서 갖는 화소에 비치는 피사체가 흐려지는 경우, 그 피사체가 비치는 화소의 주변에, 광 강도(S₁)가 분산되는 형태가 되고, 피사체의 휘도는, 촬영 한계 휘도(THL)에서 더 저하된다.

이상과 같이, 촬영 한계 휘도(THL)에 대응하는 광 강도(S₁)보다도 큰 광 강도(S₀)의 광을 발하는 피사체(예를 들어, 전구 등)는, 촬영 화상에 있어서, 촬영 한계 휘도(THL)에 대응하는 광 강도(S₁)의 광을 발하는 피사체로서 비친다.

그리고, 그러한 촬영 한계 휘도(THL)에 대응하는 광 강도(S₁)의 광을 발하는 피사체가 비치는 촬영 화상을 사용한 에뮬레이션 화상의 생성에 있어서, 피사체가 흐려지면, 원래의 광 강도(S₀)보다도 작은 광 강도(S₁)가 분산되어, 피사체에, 선명함이 나타나지 않는다.

도 14는, 포화 화소 복원 처리를 행함으로써, 선명한 흐려짐이 재현되는 원리를 설명하는 도면이다.

도 14의 A는, 카메라 유닛(21_i)에서, 광 강도(S₀)의 광을 수광했을 때 출력되는 촬영 화상의 휘도의 예를 나타내고 있다.

도 14의 A의 촬영 화상의 휘도는, 도 13의 B와 마찬가지이며, 광 강도(S₀)의 광을 발하는 피사체의 휘도가, 그 광 강도(S₀)보다도 작은 광 강도(S₁)에 대응하는 촬영 한계 휘도(THL)로 커트되어 있다.

도 14의 B는, 포화 화소 복원 처리 후의 촬영 화상의 휘도의 예를 나타내고 있다.

포화 화소 복원 처리에서는, 촬영 화상에 있어서, 화소값이 촬영 한계 휘도(THL)로 커트된 피사체의 화소값으로서, 촬영 한계 휘도(THL)에, 식 S₁+S₂≒S₀을 충족하는 광 강도(S₂)에 대응하는 휘도가 더해진 휘도가 복원된다.

그 결과, 포화 화소 복원 처리 후의 촬영 화상에서는, 화소값이 촬영 한계 휘도(THL)로 커트된 화소는, 거의, 원래의 광 강도(S₀)≒S₁+S₂에 대응하는 휘도를 화소값으로서 갖는다.

도 14의 C는, 포화 화소 복원 처리 후의 촬영 화상을 사용해서 생성되는 에뮬레이션 화상의 예를 나타내고 있다.

도 14의 C에서, 횡축은, 에뮬레이션 화상의 수평 방향의 화소의 위치를 나타내고, 종축은, 그 에뮬레이션 화상의 화소의 휘도를 나타낸다.

에뮬레이션 화상의 생성에 있어서, 광 강도(S₁+S₂)에 대응하는 휘도를 화소값으로서 갖는 화소에 비치는 피사체가 흐려지는 경우, 그 피사체가 비치는 화소의 주변에, 광 강도(S₁+S₂)는 분산되지만, 광 강도(S₁+S₂)는 매우 크기 때문에, 분산되어도, 피사체의 휘도는, 포화 화소 복원 처리를 행하지 않는 경우보다도 높은 휘도가 된다.

이상과 같이, 포화 화소 복원 처리에 의하면, 화소값이 촬영 한계 휘도(THL)로 커트된, 큰 광 강도(S₀)의 광을 발하는 피사체(예를 들어, 전구 등)의 휘도가, (거의) 원래의 큰 광 강도(S₀)에 대응하는 휘도로 복원된다.

그리고, 그러한 큰 광 강도(S₀)에 대응하는 휘도의 피사체가 비치는 촬영 화상을 사용한 에뮬레이션 화상의 생성(렌즈 에뮬레이션 처리)에 있어서, 피사체가 흐려진 경우에는, 피사체에 선명한 흐려짐이 나타난다.

따라서, 실제의 광학 렌즈를 사용해서 촬영된 실사 화상과 마찬가지의 선명한 흐려짐을 재현할 수 있다.

여기서, 포화 화소 복원부(33)는, 도 3에서 설명한 바와 같이, 카메라 유닛(21_i)으로부터 공급되는 표준 휘도 촬영 화상(PL#i)의 화소 중, 화소값이 포화하고 있는 포화 화소의 화소값을, 카메라 유닛(21_i)으로부터 공급되는 저휘도 촬영 화상(PH#i)을 사용해서 복원하는 포화 화소 복원 처리를 행한다.

표준 휘도 촬영 화상(PL#i)의 화소의 화소값이 포화하고 있다는 것은, 도 13 및 도 14에서 설명한 바와 같이, 표준 휘도 촬영 화상(PL#i)의 화소의 화소값이 촬영 한계 휘도(THL)로 커트되어 있거나, 또는 표준 휘도 촬영 화상(PL#i)의 화소의 화소값이, 촬영 한계 휘도(THL)에 가까운 것을 의미한다.

또한, 포화 화소 복원 처리 시에 있어서는, 동일한 피사체가 비친 표준 휘도 촬영 화상(PL#i)과, 저휘도 촬영 화상(PH#i)이 필요해진다. 동일한 피사체가 비친 표준 휘도 촬영 화상(PL#i) 및 저휘도 촬영 화상(PH#i)을 취득하는 방법으로서는, 임의의 방법을 채용할 수 있다.

이하에서는, 동일한 피사체가 비친 표준 휘도 촬영 화상(PL#i) 및 저휘도 촬영 화상(PH#i)을 취득하는 방법으로서, 제1 취득 방법, 제2 취득 방법 및 제3 취득 방법에 대해서 설명한다.

또한, 포화 화소 복원 처리의 대상으로 하는 촬영 화상은, Raw 데이터의 화상, 또는 휘도의 선형성을 유지하기 위해서, 감마 보정 전의 디모자이크 화상인 것이 바람직하다.

도 15는, 표준 휘도 촬영 화상(PL#i) 및 저휘도 촬영 화상(PH#i)을 취득하는 제1 취득 방법을 설명하는 도면이다.

제1 취득 방법에서는, 촬영 장치(11)를 구성하는 모든 카메라 유닛(21₁ 내지 21₇)에서, 노광 시간(셔터 스피드)을 변경해서, 예를 들어 2회 등의 복수회의 촬영을 단시간에 행한다.

즉, 제1 취득 방법에서는, 촬영 장치(11)를 구성하는 모든 카메라 유닛(21₁ 내지 21₇)에서, 표준 노광 시간(촬영 시에 적절하다고 추정되는, 예를 들어 자동 노출 기능에 의해 설정되는 노광 시간 등)에서의 촬영과, 그 표준 노광 시간보다도 짧은 노광 시간에서의 촬영이, 연속해서 행하여진다.

표준 노광 시간에서 촬영된 촬영 화상이, 표준 휘도 촬영 화상(PL#i)이 되고, 표준 노광 시간보다도 짧은 노광 시간에서 촬영된 촬영 화상이, 저휘도 촬영 화상(PH#i)이 된다.

따라서, 제1 취득 방법으로 얻어지는 표준 휘도 촬영 화상(PL#i)과 저휘도 촬영 화상(PH#i)은, 다른 타이밍에서 촬영된 화상이다.

지금, 표준 노광 시간을 X[초]로 나타내기로 하면, 그 표준 노광 시간(X)보다도 짧은, 저휘도 촬영 화상(PH#i)의 노광 시간으로서는, 예를 들어 X/16[초] 등을 채용할 수 있다.

도 15는, 카메라 유닛(21₁, 21₂ 및 21₅) 각각에서 촬영되는 표준 휘도 촬영 화상(PL1, PL2 및 PL5)과, 저휘도 촬영 화상(PH1, PH2 및 PH5)의 예를 나타내고 있다.

저휘도 촬영 화상(PH#i)의 노광 시간은, 표준 휘도 촬영 화상(PL#i)의 표준 노광 시간보다도 짧으므로, 저휘도 촬영 화상(PH#i)에서는, 피사체가, 표준 휘도 촬영 화상(PL#i)보다도 어둡게 비친다.

도 16은, 도 3의 포화 화소 복원부(33)의 제1 구성예를 도시하는 블록도이다.

즉, 도 16은, 표준 휘도 촬영 화상(PL#i) 및 저휘도 촬영 화상(PH#i)이, 제1 취득 방법에 의해 취득되는 경우의, 포화 화소 복원부(33)의 구성예를 나타내고 있다.

도 16에서, 포화 화소 복원부(33)는, 포화 판정부(51) 및 복원부(52)를 갖는다.

포화 판정부(51)에는, 촬영 장치(11)(도 1)로부터 표준 휘도 촬영 화상(PL#i)이 공급된다.

포화 판정부(51)는, 촬영 장치(11)로부터의 표준 휘도 촬영 화상(PL#i)의 각 화소가, 포화 화소인지 여부를 판정하는 포화 판정을 행하고, 그 포화 판정의 판정 결과를, 복원부(52)에 공급한다.

복원부(52)에는, 포화 판정부(51)로부터 포화 판정의 판정 결과가 공급되는 것 외에, 촬영 장치(11)로부터 표준 휘도 촬영 화상(PL#i)과 저휘도 촬영 화상(PH#i)이 공급된다.

복원부(52)는, 촬영 장치(11)로부터의 표준 휘도 촬영 화상(PL#i)의 화소 중 포화 화소를, 포화 판정부(51)로부터의 포화 판정의 판정 결과(포화 판정 결과)에 따라서 특정한다.

또한, 복원부(52)는, 포화 화소의 화소값을, 촬영 장치(11)로부터의 저휘도 촬영 화상(PL#i)을 필요에 따라서 사용해서 복원하고, 그 복원에 의해 얻어지는, 표준 휘도 촬영 화상(PL#i)보다도 고다이내믹 레인지의 HDR 촬영 화상(HD#i)을, 입사 광선 재현부(36)(도 3)에 공급한다.

도 17은, 도 16의 포화 화소 복원부(33)에서 행하여지는 포화 화소 복원 처리의 예를 설명하는 흐름도이다.

스텝 S31에서, 포화 판정부(51)는, 7개의 카메라 유닛(21₁ 내지 21₇)의 시점(위치) 중에서 아직, 주목 시점으로 선택하지 않은 시점의 1개를 주목 시점으로 선택하고, 처리는, 스텝 S32로 진행된다.

스텝 S32에서는, 포화 판정부(51)는, 촬영 장치(11)로부터 공급되는 7 시점의 표준 휘도 촬영 화상(PL1 내지 PL7) 중, 주목 시점의 표준 휘도 촬영 화상(PL#i)의 화소 중에서 아직, 주목 화소로 선택하지 않은 화소의 1개를 주목 화소로 선택하고, 처리는, 스텝 S33으로 진행된다.

스텝 S33에서는, 포화 판정부(51)는, 주목 시점의 표준 휘도 촬영 화상(PL#i)의 주목 화소의 화소값인 표준 화소값이, 소정의 역치(TH1) 이상인지 여부의 포화 판정을 행한다.

스텝 S33에서, 주목 시점의 표준 휘도 촬영 화상(PL#i)의 주목 화소의 표준 화소값이, 역치(TH1) 이상이 아니라고 판정된 경우, 즉, 주목 시점의 표준 휘도 촬영 화상(PL#i)의 주목 화소의 표준 화소값이 포화하지 않은 경우, 포화 판정부(51)는, 표준 화소값이 포화하지 않은 취지의 포화 판정 결과를, 복원부(52)에 공급하고, 처리는, 스텝 S34로 진행된다.

스텝 S34에서는, 복원부(52)는, 포화 판정부(51)로부터의, 표준 화소값이 포화하지 않은 취지의 포화 판정 결과에 따라, 촬영 장치(11)로부터의 주목 시점의 표준 휘도 촬영 화상(PL#i)의 주목 화소의 표준 화소값을, 주목 시점의 HDR 촬영 화상(HD#i)의, 주목 화소의 위치의 화소(이 화소도, 이하, 주목 화소라고도 함)의 화소값으로 선택하고, 처리는, 스텝 S37로 진행된다.

한편, 스텝 S33에서, 주목 시점의 표준 휘도 촬영 화상(PL#i)의 주목 화소의 표준 화소값이, 역치(TH1) 이상이라고 판정된 경우, 즉, 주목 시점의 표준 휘도 촬영 화상(PL#i)의 주목 화소의 표준 화소값이 포화하고 있거나, 또는 포화하고 있을 가능성이 높은 경우, 포화 판정부(51)는, 표준 화소값이 포화하고 있는 취지의 포화 판정 결과를 복원부(52)에 공급하고, 처리는, 스텝 S35로 진행된다.

스텝 S35에서는, 복원부(52)는, 포화 판정부(51)로부터의, 표준 화소값이 포화하고 있는 취지의 포화 판정 결과에 따라, 촬영 장치(11)로부터의 주목 시점의 저휘도 촬영 화상(PH#i)의, 주목 화소의 위치 화소(이 화소도, 이하, 주목 화소라고도 함)의 화소값인 저휘도 화소값이, 역치(TH1)보다도 작은 소정의 역치(TH2) 이상인지 여부를 판정한다.

스텝 S35에서, 주목 시점의 저휘도 촬영 화상(PH#i)의 주목 화소의 저휘도 화소값이, 역치(TH2) 이상이 아니라고 판정된 경우, 즉, 주목 시점의 저휘도 촬영 화상(PH#i)의 주목 화소의 저휘도 화소값이 작아, 노이즈일 가능성이 높은 경우, 처리는, 스텝 S34로 진행된다.

스텝 S34에서는, 상술한 바와 같이, 복원부(52)가, 주목 시점의 표준 휘도 촬영 화상(PL#i)의 주목 화소의 표준 화소값을, 주목 시점의 HDR 촬영 화상(HD#i)의 주목 화소의 화소값으로 선택하고, 처리는, 스텝 S37로 진행된다.

한편, 스텝 S35에서, 주목 시점의 저휘도 촬영 화상(PH#i)의 주목 화소의 저휘도 화소값이, 역치(TH2) 이상이라고 판정된 경우, 즉, 주목 시점의 저휘도 촬영 화상(PH#i)의 주목 화소의 저휘도 화소값이 노이즈가 아니라고 간주할 수 있는, 어느 정도의 값으로 되어 있는 경우, 처리는, 스텝 S36으로 진행된다.

스텝 S36에서는, 복원부(52)는, 주목 시점의 저휘도 촬영 화상(PH#i)의 주목 화소의 저휘도 화소값을 소정 수배로 한 화소값을, 포화 화소를 복원한 복원 화소값으로서 구한다. 또한, 복원부(52)는, 복원 화소값을, 주목 시점의 HDR 촬영 화상(HD#i)의 주목 화소의 화소값으로 선택하고, 처리는, 스텝 S36에서 스텝 S37로 진행된다.

여기서, 복원 화소값을 구할 때 사용하는 소정 수배(이하, 복원 게인이라고도 함)로서는, 표준 휘도 촬영 화상(PL#i)의 노광 시간(표준 노광 시간)과, 저휘도 촬영 화상(PH#i)의 노광 시간과의 비의 값이 채용된다.

따라서, 예를 들어 도 15에서 설명한 바와 같이, 표준 노광 시간이 X[초]이며, 저휘도 촬영 화상(PH#i)의 노광 시간이 X/16[초]인 경우에는, 복원 게인은, 16=X/(X/16)배가 된다.

스텝 S37에서는, 포화 판정부(51)는, 주목 시점의 표준 휘도 촬영 화상(PL#i)의 화소 모두를, 주목 화소로 선택했는지 여부를 판정한다.

스텝 S37에서, 아직, 주목 시점의 표준 휘도 촬영 화상(PL#i)의 화소 모두를, 주목 화소로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S32로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S37에서, 주목 시점의 표준 휘도 촬영 화상(PL#i)의 화소 모두를, 주목 화소로 선택했다고 판정된 경우, 처리는, 스텝 S38로 진행된다.

스텝 S38에서는, 포화 판정부(51)는, 7 시점 모두를 주목 시점으로 선택했는지 여부를 판정한다.

스텝 S38에서, 아직, 7 시점의 모두를 주목 시점으로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S31로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S38에서, 7 시점 모두를 주목 시점으로 선택했다고 판정된 경우, 복원부(52)는, 이상의 처리에 의해 얻어지는 7 시점의 HDR 촬영 화상(HD1 내지 HD7)을, 입사 광선 재현부(36)(도 3)에 공급하고, 포화 화소 복원 처리는 종료된다.

또한, 저휘도 촬영 화상(PH#i)으로서는, 노광 시간이 표준 노광 시간보다 짧은 제1 저휘도 촬영 화상과, 노광 시간이 제1 저휘도 촬영 화상보다도 짧은 제2 저휘도 촬영 화상을 채용할 수 있다.

제1 취득 방법에서는, 촬영 장치(11)에 있어서, 노광 시간을 변경하여, 3회의 촬영을 연속해서 행함으로써, 표준 휘도 촬영 화상(PL#i), 제1 저휘도 촬영 화상 및 제2 저휘도 촬영 화상을 취득할 수 있다.

제2 저휘도 촬영 화상은, 표준 휘도 촬영 화상의 화소값이 포화하고, 또한 제1 저휘도 촬영 화상의 화소값도 포화하고 있는 경우에, 그 화소값이 포화하고 있는 포화 화소의 복원에 사용될 수 있다.

도 18은, 포화 화소 복원부(33)의 제2 구성예를 도시하는 블록도이다.

즉, 도 18은, 동일한 피사체가 비친 표준 휘도 촬영 화상(PL#i) 및 저휘도 촬영 화상(PH#i)을, 제2 취득 방법에 의해 취득하는 경우의, 포화 화소 복원부(33)의 구성예를 나타내고 있다.

또한, 도면 중, 도 16의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있으며, 이하에서는, 그 설명은 적절히 생략한다.

제2 취득 방법에서는, 촬영 장치(11)를 구성하는 모든 카메라 유닛(21₁ 내지 21₇)에서, 표준 노광 시간보다도 작은 일정한 노광 시간에서, 복수회의 촬영을 단시간에 행하는 고속 촬영을 행한다.

그리고, 제2 취득 방법에서는, 카메라 유닛(21_i)의 고속 촬영에 의해 얻어지는 복수의 고속 촬영 화상을, 서로 다른 매수만큼 가산함으로써, 표준 휘도 촬영 화상(PL#i)과 저휘도 촬영 화상(PH#i)이 생성(취득)된다.

예를 들어, 고속 촬영의 노광 시간이 1/4000초인 경우에, 표준 휘도 촬영 화상(PL#i)의 노광 시간(표준 노광 시간)을 1/60초로 함과 함께, 저휘도 촬영 화상(PH#i)의 노광 시간을 1/1000초로 할 때는, 표준 휘도 촬영 화상(PL#i)과 저휘도 촬영 화상(PH#i)은, 이하와 같이 생성할 수 있다.

즉, 표준 휘도 촬영 화상(PL#i)은, 고속 촬영 화상을 66매 또는 67매만 가산함으로써 생성할 수 있다. 또한, 저휘도 촬영 화상(PH#i)은, 고속 촬영 화상을 4매만 가산함으로써 생성할 수 있다.

도 18에서는, 포화 화소 복원부(33)는, 촬영 장치(11)로부터, 고속 촬영 화상이 공급되는 것을 전제로 해서, 그 고속 촬영 화상으로부터, 제2 취득 방법에 의해, 표준 휘도 촬영 화상(PL#i)과 저휘도 촬영 화상(PH#i)을 취득(생성)한다. 그리고, 포화 화소 복원부(33)는, 그 표준 휘도 촬영 화상(PL#i)과 저휘도 촬영 화상(PH#i)을 사용하여, 포화 화소 복원 처리를 행한다.

즉, 도 18에서, 포화 화소 복원부(33)는, 포화 판정부(51), 복원부(52), 표준 휘도 촬영 화상 생성부(61) 및 저휘도 촬영 화상 생성부(62)를 갖는다.

따라서, 도 18의 포화 화소 복원부(33)는, 포화 판정부(51) 및 복원부(52)를 갖는 점에서, 도 16의 경우와 공통된다.

단, 도 18의 포화 화소 복원부(33)는, 표준 휘도 촬영 화상 생성부(61) 및 저휘도 촬영 화상 생성부(62)를 갖는 점에서, 도 16의 경우와 상이하다.

표준 휘도 촬영 화상 생성부(61) 및 저휘도 촬영 화상 생성부(62)에는, 촬영 장치(11)로부터, 고속 촬영에 의해 얻어진 7 시점의 고속 촬영 화상이 공급된다.

표준 휘도 촬영 화상 생성부(61)는, 7 시점 각각에 대해서, 촬영 장치(11)로부터의 고속 촬영 화상을, 소정의 매수만큼 가산함으로써, 표준 휘도 촬영 화상(PL#i)을 생성하여, 포화 판정부(51) 및 복원부(52)에 공급한다.

저휘도 촬영 화상 생성부(62)는, 7 시점 각각에 대해서, 촬영 장치(11)로부터의 고속 촬영 화상을, 표준 휘도 촬영 화상 생성부(61)보다 적은 매수만큼 가산함으로써, 저휘도 촬영 화상(PH#i)을 생성하여, 포화 판정부(51) 및 복원부(52)에 공급한다.

도 19는, 도 18의 포화 화소 복원부(33)에서 행하여지는 포화 화소 복원 처리의 예를 설명하는 흐름도이다.

스텝 S41에서, 표준 휘도 촬영 화상 생성부(61)는, 7 시점 각각에 대해서, 촬영 장치(11)로부터의 고속 촬영 화상을 가산함으로써, 표준 휘도 촬영 화상(PL#i)을 생성하여, 포화 판정부(51) 및 복원부(52)에 공급한다.

또한, 스텝 S41에서는, 저휘도 촬영 화상 생성부(62)는, 7 시점 각각에 대해서, 촬영 장치(11)로부터의 고속 촬영 화상을 가산함으로써, 저휘도 촬영 화상(PH#i)을 생성하여, 포화 판정부(51) 및 복원부(52)에 공급한다.

그리고, 처리는, 스텝 S41에서 스텝 S42로 진행되고, 이하, 스텝 S42 내지 S49에서, 도 17의 스텝 S31 내지 S38과 각각 마찬가지의 처리가 행하여진다.

도 20은, 촬영 장치(11)의 다른 구성예를 도시하는 평면도이다.

즉, 도 20은, 동일한 피사체가 비친 표준 휘도 촬영 화상(PL#i) 및 저휘도 촬영 화상(PH#i)을, 제3 취득 방법에 의해 취득하는 경우의, 촬영 장치(11)의 구성예를 나타내고 있다.

도 20에서는, 촬영 장치(11)는, 19개의 카메라 유닛으로 구성된다.

즉, 도 20에서는, 1개의 카메라 유닛을, 기준 카메라 유닛으로 하고, 기준 카메라 유닛을 중심으로 해서, 수평 방향으로 5개의 카메라 유닛이 배치되어 있다.

또한, 기준 카메라 유닛을 중심으로 하는 5개의 카메라 유닛의 상하 각각에, 수평 방향으로 배열하는 4개의 카메라 유닛이 배치되어 있다.

또한, 기준 카메라 유닛을 중심으로 하는 5개의 카메라 유닛의 상측의 4개의 카메라 유닛 상에는, 수평 방향으로 배열하는 3개의 카메라 유닛이 배치되어 있다.

또한, 기준 카메라 유닛을 중심으로 하는 5개의 카메라 유닛의 하측의 4개의 카메라 유닛 아래에는, 수평 방향으로 배열하는 3개의 카메라 유닛이 배치되어 있다.

또한, 도 20에서는, 촬영 장치(11)를 구성하는 19개의 카메라 유닛 중, 기준 카메라 유닛의 좌측 상방, 좌측 하방, 우측 상방, 및 우측 하방에 각각 인접하는 4개의 카메라 유닛은, ND(Neutral Density) 필터가 장착된 ND 필터 구비 카메라 유닛으로 되어 있다.

여기서, 이하, ND 필터가 장착되어 있지 않은 카메라 유닛을, 통상 카메라 유닛이라고도 한다.

도 20에서, U1은, 통상 카메라 유닛을 나타내고, U2는, ND 필터 구비 카메라 유닛을 나타낸다.

제1 및 제2 취득 방법에서는, 복수회의 촬영을 행함으로써, 동일한 피사체가 비친, 노광 시간이 상이한 표준 휘도 촬영 화상(PL#i)과 저휘도 촬영 화상(PH#i)을 취득했지만, 제3 취득 방법에서는, 1회의 촬영(1shot 촬영)만으로, 표준 휘도 촬영 화상(PL#i)과 저휘도 촬영 화상(PH#i)을 취득한다.

즉, 제3 취득 방법에서는, 촬영 장치(11)의 15=19-4개의 통상 카메라 유닛(U1)과, 4개의 ND 필터 구비 카메라 유닛(U2)에서, 예를 들어 표준 노광 시간의 촬영이 행하여진다.

통상 카메라 유닛(U1)에서, 표준 노광 시간의 촬영이 행해짐으로써, 표준 노광 시간의 표준 휘도 촬영 화상을 취득할 수 있다.

한편, 지금, 4개의 ND 필터 구비 카메라 유닛(U2) 각각에 있어서, ND 필터를 통해서 관측되는 광의 휘도가, ND 필터를 통하지 않는 경우의, 예를 들어 1/16, 1/256, 1/4096, 1/65536인 것으로 한다. 즉, 4개의 ND 필터 구비 카메라 유닛(U2) 각각의 광에 대한 감도가, 통상 카메라 유닛(U1)의 1/16, 1/256, 1/4096, 1/65536인 것으로 한다.

이 경우, 4개의 ND 필터 구비 카메라 유닛(U2) 각각에 있어서, 표준 노광 시간의 촬영이 행해짐으로써, 등가적으로, 표준 노광 시간의 1/16, 1/256, 1/4096, 1/65536의 노광 시간의 제1 저휘도 촬영 화상, 제2 저휘도 촬영 화상, 제3 저휘도 촬영 화상 및 제4 저휘도 촬영 화상을 취득할 수 있다.

따라서, 제3 취득 방법으로 얻어지는 표준 휘도 촬영 화상 및 제1 내지 제4 저휘도 촬영 화상은, 동일한 타이밍에서, 서로 다른 감도로 촬영된, 서로 다른 시점의 화상이다.

도 21은, 포화 화소 복원부(33)의 제3 구성예를 도시하는 블록도이다.

즉, 도 21은, 동일한 피사체가 비친 표준 휘도 촬영 화상 및 저휘도 촬영 화상을, 제3 취득 방법에 의해 취득하는 경우의, 포화 화소 복원부(33)의 구성예를 나타내고 있다.

도 21에서, 포화 화소 복원부(33)는, 시차 정보 취득부(71), 표준 휘도 촬영 화상 생성부(72), 저휘도 촬영 화상 생성부(73), 포화 판정부(74) 및 복원부(75)를 갖는다.

시차 정보 취득부(71)는, 촬영 장치(11)(도 20)를 구성하는 19 시점(19개)의 카메라 유닛에서 촬영되는 촬영 화상(표준 휘도 촬영 화상, 제1 내지 제4 저휘도 촬영 화상) 각각의 시차 맵을 취득하여, 표준 휘도 촬영 화상 생성부(72) 및 저휘도 촬영 화상 생성부(73)에 공급한다.

시차 정보 취득부(71)에서, 19 시점의 카메라 유닛에서 촬영되는 촬영 화상 각각의 시차 맵은, 19 시점의 카메라 유닛에서 촬영되는 촬영 화상을 사용하여, 시차 정보 생성부(31)(도 3)의 경우와 마찬가지로 생성할 수 있다. 또한, 시차 정보 취득부(71)에 있어서, 19 시점의 카메라 유닛에서 촬영되는 촬영 화상 각각의 시차 맵은, 시차 정보 생성부(31)로부터 취득할 수 있다.

표준 휘도 촬영 화상 생성부(72)에는, 시차 정보 취득부(71)로부터 시차 맵이 공급되는 것 외에, 촬영 장치(11)로부터, 15 시점의 통상 카메라 유닛(U1)에서 촬영된 표준 휘도 촬영 화상이 공급된다.

표준 휘도 촬영 화상 생성부(72)는, 4개의 ND 필터 구비 카메라 유닛(U2)의 4 시점(이하, ND 카메라 시점이라고도 함)의 표준 휘도 촬영 화상을, 촬영 장치(11)로부터의 15개의 통상 카메라 유닛(U1)의 15 시점(이하, 통상 카메라 시점이라고도 함)의 표준 휘도 촬영 화상과, 시차 정보 취득부(71)로부터의 시차 맵을 사용해서 생성하여, 촬영 장치(11)로부터의 15개의 통상 카메라 시점의 표준 휘도 촬영 화상과 함께, 포화 판정부(74) 및 복원부(75)에 공급한다.

즉, 표준 휘도 촬영 화상 생성부(72)는, ND 카메라 시점의 (제1 내지 제4) 저휘도 촬영 화상의 화소를, 순차, 주목 화소로 선택하고, 시차 정보 취득부(71)로부터의 시차 맵을 참조함으로써, 주목 화소에 대응하는, 통상 카메라 시점의 표준 휘도 촬영 화상의 대응 화소를 검출한다. 그리고, 표준 휘도 촬영 화상 생성부(72)는, 통상 카메라 시점의 표준 휘도 촬영 화상의 대응 화소의 화소값을, ND 카메라 시점의 표준 휘도 촬영 화상의 주목 화소의 화소값으로서 채용함으로써, ND 카메라 시점의 표준 휘도 촬영 화상을 생성한다.

또한, ND 카메라 시점의 저휘도 촬영 화상의 주목 화소에 대응하는 대응 화소는, 15개의 통상 카메라 시점의 표준 휘도 촬영 화상 각각으로부터 검출할 수 있다.

ND 카메라 시점의 통상 휘도 촬영 화상의 주목 화소의 화소값에는, 15개의 통상 카메라 시점의 표준 휘도 촬영 화상 각각으로부터 검출되는 15개의 대응 화소 중, 예를 들어 기준 카메라 유닛(19개의 카메라 유닛의 중심의 카메라 유닛)의 표준 휘도 촬영 화상의 대응 화소의 화소값을 채용할 수 있다.

또한, ND 카메라 시점의 통상 휘도 촬영 화상의 주목 화소의 화소값에는, 15개의 통상 카메라 시점의 표준 휘도 촬영 화상 각각으로부터 검출되는 15개의 대응 화소 중, 예를 들어 화소값이 가까운 대응 화소의 집합 중에서, 대응 화소의 수가 가장 많은 집합의 대응 화소의 화소값의 평균값을 채용할 수 있다.

저휘도 촬영 화상 생성부(73)에는, 시차 정보 취득부(71)로부터 시차 맵이 공급되는 것 외에, 촬영 장치(11)로부터, 4개의 ND 카메라 시점의 ND 필터 구비 카메라 유닛(U2)에서 촬영된 제1 내지 제4 저휘도 촬영 화상이 공급된다.

저휘도 촬영 화상 생성부(73)는, 15개의 통상 카메라 시점의 제1 내지 제4 저휘도 촬영 화상을, 촬영 장치(11)로부터의 4개의 ND 카메라 시점의 제1 내지 제4 저휘도 촬영 화상과, 시차 정보 취득부(71)로부터의 시차 맵을 사용해서 생성하여, 촬영 장치(11)로부터의 4개의 ND 카메라 시점의 제1 내지 제4 저휘도 촬영 화상과 함께, 복원부(75)에 공급한다.

즉, 저휘도 촬영 화상 생성부(73)는, 통상 카메라 시점의 표준 휘도 촬영 화상의 화소를, 순차, 주목 화소로 선택하고, 시차 정보 취득부(71)로부터의 시차 맵을 참조함으로써, 주목 화소에 대응하는, ND 카메라 시점의 제1 내지 제4 저휘도 촬영 화상 각각의 대응 화소를 검출한다. 그리고, 저휘도 촬영 화상 생성부(73)는, ND 카메라 시점의 제1 내지 제4 저휘도 촬영 화상 각각의 대응 화소의 화소값을, 통상 카메라 시점의 제1 내지 제4 저휘도 촬영 화상 각각의 주목 화소의 화소값으로서 채용함으로써, 통상 카메라 시점의 제1 내지 제4 저휘도 촬영 화상을 생성한다.

이상과 같이, 표준 휘도 촬영 화상 생성부(72)에서, 4개의 ND 카메라 시점의 표준 휘도 촬영 화상을 생성함과 함께, 저휘도 촬영 화상 생성부(73)에서, 15개의 통상 카메라 시점의 제1 내지 제4 저휘도 촬영 화상을 생성함으로써, 촬영 장치(11)(도 20)를 구성하는 19개의 카메라 유닛의 19 시점 모두에 대해서, 표준 휘도 촬영 화상과, 제1 내지 제4 저휘도 촬영 화상을 얻을 수 있다.

또한, 본 실시 형태에서는, 설명을 간단하게 하기 위해서, 4개의 ND 카메라 시점의 표준 휘도 촬영 화상과, 15개의 통상 카메라 시점의 제1 내지 제4 저휘도 촬영 화상을, 미리 생성하는 것으로 했지만, 4개의 ND 카메라 시점의 표준 휘도 촬영 화상의 화소값 및 15개의 통상 카메라 시점의 제1 내지 제4 저휘도 촬영 화상의 화소값은, 필요한 화소에 대해서, 필요할 때 생성할 수 있다.

포화 판정부(74)는, 표준 휘도 촬영 화상 생성부(72)로부터의 19 시점의 표준 휘도 촬영 화상 각각의 각 화소가, 포화 화소인지 여부를 판정하는 포화 판정을 행하고, 그 포화 판정의 판정 결과(포화 판정 결과)를 복원부(75)에 공급한다.

복원부(75)에는, 상술한 바와 같이, 포화 판정부(74)로부터 포화 판정의 판정 결과가 공급된다. 또한, 복원부(75)에는, 상술한 바와 같이, 표준 휘도 촬영 화상 생성부(72)로부터, 19 시점의 표준 휘도 촬영 화상이 공급됨과 함께, 저휘도 촬영 화상 생성부(73)로부터, 19 시점의 제1 내지 제4 저휘도 촬영 화상이 공급된다.

또한, 복원부(75)에는, 예를 들어 도 20의 촬영 장치(11)로부터, 제1 내지 제4 저휘도 촬영 화상용의 복원 게인이 공급된다.

여기서, 제1 저휘도 촬영 화상용의 복원 게인이란, 제1 저휘도 촬영 화상을 사용해서 포화 화소의 복원이 행하여질 때 사용되는, 도 17에서 설명한 복원 게인이다.

따라서, 제1 저휘도 촬영 화상용의 복원 게인은, 표준 휘도 촬영 화상의 노광 시간(표준 노광 시간)과, 제1 저휘도 촬영 화상의 노광 시간과의 비의 값이다.

예를 들어, 도 20에서 설명한 바와 같이, 제1 저휘도 촬영 화상의 노광 시간이, (등가적으로) 표준 노광 시간의 1/16배인 경우에는, 제1 저휘도 촬영 화상용의 복원 게인은, 16=1/(1/16)배가 된다.

제2 내지 제4 저휘도 촬영 화상용의 복원 게인도, 제1 저휘도 촬영 화상용의 복원 게인과 마찬가지로 구할 수 있다.

복원부(75)는, 표준 휘도 촬영 화상 생성부(72)로부터의 19 시점의 표준 휘도 촬영 화상 각각에 대해서, 포화 화소를, 포화 판정부(74)로부터의 포화 판정 결과에 따라서 특정한다.

또한, 복원부(75)는, 포화 화소의 화소값을, 저휘도 촬영 화상 생성부(73)로부터의 제1 내지 제4 저휘도 촬영 화상, 및 촬영 장치(11)(도 20)로부터의 제1 내지 제4 저휘도 촬영 화상용의 복원 게인을, 필요에 따라서 사용해서 복원하고, 그 복원에 의해 얻어지는, 표준 휘도 촬영 화상보다도 고다이내믹 레인지의 HDR 촬영 화상을, 입사 광선 재현부(36)(도 3)에 공급한다.

도 22는, 시차 맵의 시차의 보정의 예를 설명하는 도면이다.

도 21의 포화 화소 복원부(33)에서는, 상술한 바와 같이, 표준 휘도 촬영 화상 생성부(72)에서, 시차 정보 취득부(71)에서 취득된 시차 맵을 참조함으로써, ND 카메라 시점의 저휘도 촬영 화상의 주목 화소에 대응하는, 통상 카메라 시점의 표준 휘도 촬영 화상의 대응 화소가 검출된다. 또한, 저휘도 촬영 화상 생성부(73)에서, 시차 정보 취득부(71)에서 취득된 시차 맵을 참조함으로써, 통상 카메라 시점의 표준 휘도 촬영 화상의 주목 화소에 대응하는, ND 카메라 시점의 (제1 내지 제4) 저휘도 촬영 화상의 대응 화소가 검출된다.

표준 휘도 촬영 화상 생성부(72) 및 저휘도 촬영 화상 생성부(73)에서, 이상과 같이, 어떤 1 시점의 화상의 주목 화소에 대응하는, 다른 1 시점의 화상의 대응 화소를 검출할 때 참조되는 시차 맵에 등록되는 시차는, 필요에 따라서 보정된다.

여기서, 설명을 간단하게 하기 위해서, 촬영 장치(11)가, 도 22에 도시한 바와 같이, 수평 방향으로 배열한 3개의 카메라 유닛(Ua, Ub 및 Uc)으로 구성되는 것으로 한다.

또한, 3개의 카메라 유닛(Ua, Ub 및 Uc) 중, 예를 들어 가장 좌측의 카메라 유닛(Ua)을, 다층 시차 맵이 생성되는 대상의 기준 화상을 촬영하는 기준 카메라 유닛으로 한다.

또한, 기준 카메라 유닛(Ua)과, 가장 우측의 카메라 유닛(Uc)은, 통상 카메라 유닛이며, 중앙의 카메라 유닛(Ub)은, ND 필터 구비 카메라 유닛인 것으로 한다. 기준 카메라 유닛(Ua)과, 통상 카메라 유닛(Uc)에서는, 표준 휘도 촬영 화상이 촬영되고, ND 필터 구비 카메라 유닛(Ub)에서는, 저휘도 촬영 화상이 촬영된다.

여기서, 기준 카메라 유닛(Ua)에서 촬영되는 표준 휘도 촬영 화상을, 기준 화상(Ua) 또는 표준 휘도 촬영 화상(Ua)이라고도 한다. 또한, ND 필터 구비 카메라 유닛(Ub)에서 촬영되는 저휘도 촬영 화상을, 저휘도 촬영 화상(Ub)이라고도 한다. 또한, 통상 카메라 유닛(Uc)에서 촬영되는 표준 휘도 촬영 화상을, 표준 휘도 촬영 화상(Uc)이라고도 한다.

지금, 시차 정보 취득부(71)에서, 기준 카메라 유닛(Ua)과 통상 카메라 유닛(Uc)과의 기선 길이(광축끼리의 거리)를 기준 기선 길이로 해서, 기준 카메라 유닛(Ua)에서 촬영된 표준 휘도 촬영 화상(기준 화상)(Ua)의 시차 맵(기준 시차 맵)이 생성되었다고 한다.

기준 카메라 유닛(Ua)의 시점(기준 시점) 이외의 시점의 시차 맵, 즉, 예를 들어 통상 카메라 유닛(Uc)에서 촬영된 표준 휘도 촬영 화상(Uc)의 시차 맵은, 도 7 및 도 8에서 설명한 바와 같이, 기준 시차 맵을 이용하여, 간이적으로 생성할 수 있다.

구체적으로는, 통상 카메라 유닛(Uc)에서 촬영된 표준 휘도 촬영 화상(Uc)의 시차 맵은, 기준 시차 맵에 있어서, 도 7에서 설명한 바와 같이, 기준 카메라 유닛(Ua)과, 통상 카메라 유닛(Uc)과의 위치 관계에 따른 카메라 위치 관계 방향으로, 각 화소의 위치에 등록되어 있는 시차를, 그 시차만큼 이동하고, 또한 도 8에서 설명한 바와 같이, 미등록 에어리어에, 보간 시차를 보간함으로써 생성할 수 있다.

이와 같이, 기준 시차 맵을 이용해서 생성된, 표준 휘도 촬영 화상(Uc)의 시차 맵에 등록된 시차는, 기준 카메라 유닛(Ua)과 통상 카메라 유닛(Uc)과의 기선 길이인 기준 기선 길이만큼 이격된 2점에 대한 시차이다.

그 때문에, 표준 휘도 촬영 화상(Uc)의 주목 화소에 대응하는, 저휘도 촬영 화상(Ub)의 대응 화소를 검출할 때는, 표준 휘도 촬영 화상(Uc)의 시차 맵에 등록된 시차가, 표준 휘도 촬영 화상(Uc)을 촬영하는 통상 카메라 유닛(Uc)과, 저휘도 촬영 화상(Ub)을 촬영하는 ND 필터 구비 카메라 유닛(Ub)과의 기선 길이만큼 이격된 2점에 대한 시차가 되도록 보정된다.

즉, 지금, 기준 카메라 유닛(Ua)과 통상 카메라 유닛(Uc)과의 기선 길이인 기준 기선 길이를, ac로 나타냄과 함께, ND 필터 구비 카메라 유닛(Ub)과 통상 카메라 유닛(Uc)과의 기선 길이를 bc로 나타내기로 하면, 표준 휘도 촬영 화상(Uc)의 시차 맵에 등록된 시차는, 기선 길이(bc)와 기준 기선 길이와의 비의 값(bc/ac)배가 되도록 보정된다.

예를 들어, 기준 카메라 유닛(Ua)과 ND 필터 구비 카메라 유닛(Ub)과의 기선 길이(ab) 및 ND 필터 구비 카메라 유닛(Ub)과 통상 카메라 유닛(Uc)과의 기선 길이(bc)가, 모두 5mm인 것으로 한다.

이 경우, 기준 카메라 유닛(Ua)과 통상 카메라 유닛(Uc)과의 기선 길이(ac)인 기준 기선 길이는, 10mm가 된다.

지금, 기준 시차 맵을 이용해서 생성된, 표준 휘도 촬영 화상(Uc)의 시차 맵에 등록된 주목 화소의 시차가, 예를 들어 10(화소)이라고 하면, 그 시차 10은, 기선 길이 bc=5mm와 기준 기선 길이 ac=10mm와의 비의 값(5/10)배가 되어, 시차 5로 보정된다.

그리고, 표준 휘도 촬영 화상(Uc)의 주목 화소에 대응하는, 저휘도 촬영 화상(Ub)의 대응 화소로서는, 주목 화소의 위치로부터, 시차 5만큼 어긋난 위치의 저휘도 촬영 화상(Ub)의 화소가 검출된다.

도 23은, 도 21의 포화 화소 복원부(33)에서 행하여지는 포화 화소 복원 처리의 예를 설명하는 흐름도이다.

스텝 S61에서, 시차 정보 취득부(71)는, 촬영 장치(11)(도 20)를 구성하는 19 시점의 카메라 유닛에서 촬영되는 촬영 화상(표준 휘도 촬영 화상, 제1 내지 제4 저휘도 촬영 화상) 각각의 시차 맵을 취득하여, 표준 휘도 촬영 화상 생성부(72) 및 저휘도 촬영 화상 생성부(73)에 공급한다.

또한, 스텝 S61에서는, 표준 휘도 촬영 화상 생성부(72)가, 촬영 장치(11)(도 20)를 구성하는 19 시점의 카메라 유닛 중, 15개의 통상 카메라 시점의 표준 휘도 촬영 화상과, 시차 정보 취득부(71)로부터의 시차 맵을 사용하여, 4개의 ND 카메라 시점의 표준 휘도 촬영 화상을 생성하여, 15개의 통상 카메라 시점의 표준 휘도 촬영 화상과 함께, 포화 판정부(74) 및 복원부(75)에 공급한다.

또한, 스텝 S61에서는, 저휘도 촬영 화상 생성부(73)가, 촬영 장치(11)로부터의 4개의 ND 카메라 시점의 제1 내지 제4 저휘도 촬영 화상과, 시차 정보 취득부(71)로부터의 시차 맵을 사용하여, 15개의 통상 카메라 시점의 제1 내지 제4 저휘도 촬영 화상을 생성하여, 4개의 ND 카메라 시점의 제1 내지 제4 저휘도 촬영 화상과 함께, 복원부(75)에 공급한다.

그리고, 처리는, 스텝 S61에서 스텝 S62로 진행되고, 포화 판정부(74)는, 촬영 장치(11)(도 20)를 구성하는 19개의 카메라 유닛의 19 시점 중에서 아직, 주목 시점으로 선택하지 않은 시점의 1개를, 주목 시점으로 선택하고, 처리는, 스텝 S63으로 진행된다.

스텝 S63에서는, 포화 판정부(74)는, 표준 휘도 화상 생성부(72)로부터 공급되는 19 시점의 표준 휘도 촬영 화상 중, 주목 시점의 표준 휘도 촬영 화상의 화소 중에서 아직, 주목 화소로 선택하지 않은 화소의 1개를, 주목 화소로 선택하고, 처리는, 스텝 S64로 진행된다.

스텝 S64에서는, 주목 시점의 HDR 촬영 화상의 주목 화소(주목 시점의 표준 휘도 촬영 화상의 주목 화소와 동일 위치의 화소)의 화소값을 취득하는 처리가 행하여지고, 처리는, 스텝 S65로 진행된다.

스텝 S65에서는, 포화 판정부(74)는, 주목 시점의 표준 휘도 촬영 화상의 화소 모두를, 주목 화소로 선택했는지 여부를 판정한다.

스텝 S65에서, 아직, 주목 시점의 표준 휘도 촬영 화상의 화소 모두를, 주목 화소로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S63으로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S65에서, 주목 시점의 표준 휘도 촬영 화상의 화소 모두를, 주목 화소로 선택했다고 판정된 경우, 처리는, 스텝 S66으로 진행된다.

스텝 S66에서는, 포화 판정부(74)는, 촬영 장치(11)(도 20)를 구성하는 19개의 카메라 유닛의 19 시점 모두를, 주목 시점으로 선택했는지 여부를 판정한다.

스텝 S66에서, 아직 19 시점 모두를, 주목 시점으로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S62로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S66에서, 19 시점의 모두를, 주목 시점으로 선택했다고 판정된 경우, 복원부(52)는, 이상의 처리에 의해 얻어지는 19 시점의 HDR 촬영 화상을, 입사 광선 재현부(36)(도 3)에 공급하고, 포화 화소 복원 처리는 종료된다.

또한, 도 23에서는, 촬영 장치(11)를 구성하는 19개의 카메라 유닛의 19 시점 모두를 대상으로, 포화 화소 복원 처리를 행하는 것으로 했지만, 포화 화소 복원 처리는, 19 시점 중, 15개의 통상 카메라 시점만을 대상으로 행할 수 있다.

이 경우, 포화 화소 복원 처리에서 얻어지는 HDR 촬영 화상은, 19 시점의 HDR 촬영 화상이 아니라, 15개의 통상 카메라 시점의 HDR 촬영 화상이 되는데, 도 21의 포화 화소 복원부(33)는, 표준 휘도 촬영 화상 생성부(72)를 설치하지 않고 구성할 수 있다.

도 24는, 도 23의 스텝 S64에서 행하여지는, 주목 시점의 HDR 촬영 화상의 주목 화소의 화소값을 취득하는 처리의 예를 설명하는 흐름도이다.

스텝 S71에서, 포화 화소 판정부(74)는, 표준 휘도 촬영 화상 생성부(72)로부터의 주목 시점의 표준 휘도 촬영 화상의 주목 화소의 화소값을, 주목 화소의 표준 화소값으로서 취득하고, 처리는, 스텝 S72로 진행된다.

스텝 S72에서는, 포화 판정부(74)는, 주목 시점의 표준 휘도 촬영 화상의 주목 화소의 표준 화소값이, 역치(TH1) 이상인지 여부의 포화 판정을 행한다.

스텝 S72에서, 주목 시점의 표준 휘도 촬영 화상의 주목 화소의 표준 화소값이, 역치(TH1) 이상이 아니라고 판정된 경우, 즉, 주목 시점의 표준 휘도 촬영 화상의 주목 화소의 표준 화소값이 포화하지 않은 경우, 포화 판정부(74)는, 표준 화소값이 포화하지 않은 취지의 포화 판정 결과를, 복원부(75)(도 21)에 공급하고, 처리는, 스텝 S73으로 진행된다.

스텝 S73에서는, 복원부(75)는, 포화 판정부(74)로부터의, 표준 화소값이 포화하지 않은 취지의 포화 판정 결과에 따라, 표준 휘도 촬영 화상 생성부(72)로부터의 주목 시점의 표준 휘도 촬영 화상의 주목 화소의 표준 화소값을, 주목 시점의 HDR 촬영 화상의 주목 화소(주목 시점의 표준 휘도 촬영 화상의 주목 화소와 동일 위치의 화소)의 화소값으로 선택하고, 처리는 복귀된다.

한편, 스텝 S72에서, 주목 시점의 표준 휘도 촬영 화상의 주목 화소의 표준 화소값이, 역치(TH1) 이상이라고 판정된 경우, 즉, 주목 시점의 표준 휘도 촬영 화상의 주목 화소의 표준 화소값이 포화하고 있거나, 또는 포화하고 있을 가능성이 높은 경우, 포화 판정부(74)는, 표준 화소값이 포화하고 있는 취지의 포화 판정 결과를 복원부(75)에 공급하고, 처리는, 스텝 S74로 진행된다.

스텝 S74에서는, 복원부(75)는, 포화 판정부(74)로부터의, 표준 화소값이 포화하고 있는 취지의 포화 판정 결과에 따라, 저휘도 촬영 화상 생성부(73)로부터의 주목 시점의 제1 내지 제4 저휘도 촬영 화상의 주목 화소(주목 시점의 표준 휘도 촬영 화상의 주목 화소와 동일 위치의 화소)의 화소값을, 각각, 주목 화소의 제1 내지 제4 저휘도 화소값(v1 내지 v4)으로서 취득한다.

또한, 복원부(75)는, 촬영 장치(11)로부터 제1 내지 제4 저휘도 촬영 화상용의 복원 게인(g1 내지 g4)을 취득하고, 처리는, 스텝 S74에서 스텝 S75로 진행된다.

스텝 S75에서는, 복원부(75)는, 주목 시점의 제1 저휘도 촬영 화상의 주목 화소의 화소값인 제1 저휘도 화소값(v1)이, 역치(TH1)와, 역치(TH1)보다 작은 역치(TH2)를 사용한 식 TH2<v1<TH1을 충족하는지 여부를 판정한다.

스텝 S75에서, 제1 저휘도 화소값(v1)이, 식 TH2<v1<TH1을 충족한다고 판정된 경우, 즉, 제1 저휘도 화소값(v1)이, 노이즈와 같이 작은 값이 아니며, 또한 포화도 하고 있지 않은 경우, 처리는, 스텝 S76으로 진행된다.

스텝 S76에서는, 복원부(75)는, 주목 시점의 제1 저휘도 촬영 화상의 주목 화소의 화소값인 제1 저휘도 화소값(v1)을, 제1 저휘도 촬영 화상용의 복원 게인(g1)배로 한 화소값을, 포화 화소를 복원한 복원 화소값으로서 구한다. 또한, 복원부(75)는, 복원 화소값을, 주목 시점의 HDR 촬영 화상의 주목 화소의 화소값으로 선택하고, 처리는 복귀된다.

또한, 스텝 S75에서, 제1 저휘도 화소값(v1)이, 식 TH2<v1<TH1을 충족하지 않는다고 판정된 경우, 처리는, 스텝 S77로 진행된다.

스텝 S77에서는, 복원부(75)는, 주목 시점의 제2 저휘도 촬영 화상의 주목 화소의 화소값인 제2 저휘도 화소값(v2)이, 식 TH2<v2<TH1을 충족하는지 여부를 판정한다.

스텝 S77에서, 제2 저휘도 화소값(v2)이, 식 TH2<v2<TH1을 충족한다고 판정된 경우, 즉, 제2 저휘도 화소값(v2)이, 노이즈와 같이 작은 값이 아니며, 또한 포화도 하고 있지 않은 경우, 처리는, 스텝 S78로 진행된다.

스텝 S78에서는, 복원부(75)는, 주목 시점의 제2 저휘도 촬영 화상의 주목 화소의 화소값인 제2 저휘도 화소값(v2)을, 제2 저휘도 촬영 화상용의 복원 게인(g2)배로 한 화소값을, 포화 화소를 복원한 복원 화소값으로서 구한다. 또한, 복원부(75)는, 복원 화소값을, 주목 시점의 HDR 촬영 화상의 주목 화소의 화소값으로 선택하고, 처리는 복귀된다.

또한, 스텝 S77에서, 제2 저휘도 화소값(v2)이, 식 TH2<v2<TH1을 충족하지 않는다고 판정된 경우, 처리는, 스텝 S79로 진행된다.

스텝 S79에서는, 복원부(75)는, 주목 시점의 제3 저휘도 촬영 화상의 주목 화소의 화소값인 제3 저휘도 화소값(v3)이, 식 TH2<v3<TH1을 충족하는지 여부를 판정한다.

스텝 S79에서, 제3 저휘도 화소값(v3)이, 식 TH2<v3<TH1을 충족한다고 판정된 경우, 즉, 제3 저휘도 화소값(v3)이, 노이즈와 같이 작은 값이 아니며, 또한 포화도 하고 있지 않은 경우, 처리는, 스텝 S80으로 진행된다.

스텝 S80에서는, 복원부(75)는, 주목 시점의 제3 저휘도 촬영 화상의 주목 화소의 화소값인 제3 저휘도 화소값(v3)을, 제3 저휘도 촬영 화상용의 복원 게인(g3)배로 한 화소값을, 포화 화소를 복원한 복원 화소값으로서 구한다. 또한, 복원부(75)는, 복원 화소값을, 주목 시점의 HDR 촬영 화상의 주목 화소의 화소값으로 선택하고, 처리는 복귀된다.

또한, 스텝 S79에서, 제3 저휘도 화소값(v3)이, 식 TH2<v3<TH1을 충족하지 않는다고 판정된 경우, 처리는, 스텝 S81로 진행된다.

스텝 S81에서는, 복원부(75)는, 주목 시점의 제4 저휘도 촬영 화상의 주목 화소의 화소값인 제4 저휘도 화소값(v4)을, 제4 저휘도 촬영 화상용의 복원 게인(g4)배로 한 화소값을, 포화 화소를 복원한 복원 화소값으로서 구한다. 또한, 복원부(75)는, 복원 화소값을, 주목 시점의 HDR 촬영 화상의 주목 화소의 화소값으로 선택하고, 처리는 복귀된다.

또한, 포화 화소 복원 처리의 결과 얻어지는, 고다이내믹 레인지의 복수의 시점의 (HDR) 촬영 화상은, 시차 정보 생성부(31)에서의 시차 정보의 생성이나, 렌즈 에뮬레이션부(35)에서의 에뮬레이션 화상의 생성 외에, 복수의 시점의 촬영 화상이 필요한 임의의 화상 처리의 대상으로 할 수 있다.

또한, 포화 화소 복원 처리는, 복수의 카메라 유닛(21_i)을 갖는 촬영 장치(11) 등에서 촬영된, 복수의 시점의 촬영 화상 외에, 라이트 필드 기술을 적용할 수 있는 임의의 화상을 대상으로 해서 행함으로써, 선명한 흐려짐을 재현할 수 있다.

라이트 필드 기술을 적용할 수 있는 화상을 촬영하는 방법으로서는, 복수의 카메라 유닛(21_i)을 갖는 촬영 장치(11)를 사용해서 복수의 시점의 촬영 화상을 촬영하는 방법 외에, 예를 들어 Ren.Ng, 외 7명, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02에 기재되어 있는, MLA(Micro Lens Array)를 사용해서 촬영을 행하는 방법이 있다.

<렌즈 에뮬레이션부(35)의 렌즈 에뮬레이션 처리의 개요>

도 25는, 도 3의 렌즈 에뮬레이션부(35)의 렌즈 에뮬레이션 처리의 개요를 설명하는 도면이다.

렌즈 에뮬레이션 처리에서는, 입사 광선 재현부(36)(도 3)에서, 촬영 장치(11)의 촬영의 피사체가 된 실공간 내에 존재하는 물체 상의 점 등의 실공간 점으로부터 발해지는 광선(실공간 점 자체가 발광할 경우의, 그 실공간 점이 발하는 광 외에, 실공간 점에서 반사된 반사광을 포함함) 중의, 가상 렌즈에 입사하는 광선이 재현된다.

가상 렌즈는, 촬영 장치(11)(도 2)를 구성하는 카메라 유닛(21₁ 내지 21₇)을 합성 개구로 하는 가상의 렌즈이며, 그 실체는, 카메라 유닛(21₁ 내지 21₇)이다.

또한, 렌즈 에뮬레이션 처리에서는, 에뮬레이션 렌즈 정보 생성부(37)(도 3)에서, 에뮬레이션 렌즈를 통과하는 광선을 규정하는 렌즈 정보(에뮬레이션 렌즈 정보)가 생성된다.

도 3에서 설명한 바와 같이, 에뮬레이션 렌즈는, 실재하는 광학 렌즈이어도 되고, 실재하지 않는 광학 렌즈이어도 된다.

또한, 렌즈 정보로서는, 에뮬레이션 렌즈의, 점 광원에 대한 응답을 나타내는 PSF(Point Spread Function) 강도 분포 등이 있다.

렌즈 에뮬레이션 처리에서는, 집광 처리부(38)(도 3)에서, 에뮬레이션 렌즈 정보 생성부(37)에서 얻어지는 렌즈 정보를 사용하여, 입사 광선 재현부(36)에서 재현되는 광선을, 에뮬레이션 렌즈를 통해서, 가상 센서 상에 집광하는 집광 처리로서의 디지털 신호 처리가 행하여진다.

가상 센서의 실체는, 예를 들어 도시하지 않은 메모리이며, 집광 처리에서는, 렌즈 정보를 사용하여, 광선의 휘도에 대응하는 값이, 메모리(의 기억값)에 가산됨으로써, 에뮬레이션 화상이 생성된다.

도 26은, 실제의 광학 렌즈에 의한 집광 처리와, 렌즈 에뮬레이션 처리의 집광 처리를 설명하는 도면이다.

도 26의 A는, 실제의 광학 렌즈에 의한 집광 처리를 나타내고 있다.

실제의 광학 렌즈는, 실공간 내의 물체로부터 발해지는 무수한 광선을 샘플링하여, 실제의 광학 렌즈의 렌즈 특성에 따라, 결상면에 결상한다.

실제의 광학 렌즈에서는, 예를 들어 조리개에 의해, 광학 렌즈에서 샘플링되는 광선의 각도가 변화한다.

즉, 조리개를 닫은 경우에는, 물체로부터, 광축에 대하여 큰 각도(w)로 확산하는 광선은, 광학 렌즈에서 샘플링되지 않는다. 한편, 조리개를 개방한 경우에는, 물체로부터, 광축에 대하여 큰 각도(w)로 확산하는 광선이, 광학 렌즈에서 샘플링된다.

도 26의 A의 화상(picA)은, 조리개를 닫고 촬영된 화상이며, 피사계 심도가 깊어, 전체적으로 포커스가 맞은 화상으로 되어 있다. 또한, 화상(picA)에서는, 우측 상단의 자녀 캐릭터 뒤에 전구가 존재하는데, 그 전구로부터, 광축에 대하여 큰 각도로 확산하는 광선이, 광학 렌즈에서 샘플링되지 않고, 그 때문에, 자녀 캐릭터 뒤에는, 전구가 비치지 않고 있다.

도 26의 A의 화상(picB)은, 조리개를 개방해서 촬영된 화상이며, 피사계 심도가 얕아, 일부분에만 포커스가 맞고, 다른 대부분이 흐려진 화상으로 되어 있다. 또한, 화상(picB)에서는, 우측 상단의 자녀 캐릭터 뒤에 전구가 존재하고, 그 전구로부터, 광축에 대하여 큰 각도로 확산하는 광선이, 광학 렌즈에서 샘플링되어 있고, 그 때문에, 자녀 캐릭터 뒤에, 전구의 일부가 비치고 있다.

도 26의 B는, 렌즈 에뮬레이션 처리의 집광 처리를 나타내고 있다.

렌즈 에뮬레이션 처리의 집광 처리에서는, 촬영 장치(11)의 복수의 카메라 유닛(21_i)에서 촬영(기록)된, 실공간 내의 물체로부터 발해지는 광선을 사용하여, 그 복수의 카메라 유닛(21_i)을 합성 개구로 하는 가상 렌즈에 입사하는 광선이 재현(생성)된다.

여기서, 도 26의 B에서는, 복수로서의 3개의 카메라 유닛(21₁, 21₂ 및 21₅)에서, 3개의 광선이 촬영되어 있다. 그리고, 그 3개의 광선의 사이를 보간하도록, 가상 렌즈에 입사하는 광선이 재현되어 있다.

렌즈 에뮬레이션 처리의 집광 처리에서는, 이상과 같이, 가상 렌즈에 입사하는 광선이 재현된 후, 그 광선이, 에뮬레이션 렌즈의 렌즈 정보에 따라, 가상 센서 상에 집광된다. 이에 의해, 그 집광의 결과 얻어지는 에뮬레이션 화상에 있어서, 실제로 에뮬레이션 렌즈를 사용해서 촬영한 경우와 마찬가지의 흐려짐 정도가 재현된다.

<가상 렌즈에 입사하는 광선의 재현>

도 27은, 도 3의 입사 광선 재현부(36)의 구성예를 도시하는 블록도이다.

도 27에서, 입사 광선 재현부(36)는, 실공간 점 선택부(101), 광선 생성부(102), 충돌 판정부(103) 및 휘도 할당부(104)를 갖는다.

실공간 점 선택부(101)에는, 시차 정보 생성부(31)로부터 시차 맵이 공급된다.

실공간 점 선택부(101)는, 시차 정보 생성부(31)로부터의 시차 맵 중 다층 시차 맵을 사용하여, 촬영 장치(11)에서 촬영된 실공간 내의 공간 점을, 주목 실공간 점으로 선택하고, 광선 생성부(102)에 공급한다.

광선 생성부(102)는, 실공간 점 선택부(101)로부터의 주목 실공간 점으로부터, 가상 렌즈에 입사하는 광선(으로서의 직선)을 생성하여, 충돌 판정부(103)에 공급한다.

충돌 판정부(103)에는, 광선 생성부(103)로부터 광선이 공급되는 것 외에, 시차 정보 생성부(31)로부터 시차 맵이 공급된다.

충돌 판정부(103)는, 시차 정보 생성부(31)로부터의 시차 맵 중 다층 시차 맵을 사용하여, 광선 생성부(103)로부터의 광선이, 가상 렌즈에 입사할 때까지, 실공간 내의 물체에 충돌하는지 여부를 판정하는 충돌 판정을 행한다.

그리고, 충돌 판정부(103)는, 충돌 판정의 결과 남은 광선을, 휘도 할당부(104)에 공급한다.

휘도 할당부(104)에는, 충돌 판정부(103)로부터 광선이 공급되는 것 외에, 시차 정보 생성부(31)로부터 시차 맵이 공급됨과 함께, 포화 화소 복원부(33)로부터 복수로서의 7 시점의 (HDR) 촬영 화상(HD#i)이 공급된다.

휘도 할당부(104)는, 시차 정보 생성부(31)로부터의 시차 맵과, 포화 화소 복원부(33)로부터의 촬영 화상(HD#i)을 사용하여, 충돌 판정부(103)로부터 광선, 즉, 충돌 판정의 결과 남은 광선에 휘도를 할당하고, 그 휘도의 할당 후의 광선을, 집광 처리부(38)(도 3)에 공급한다.

도 28은, 실공간 점을 설명하는 도면이다.

즉, 도 28은, 가상 렌즈로서의 촬영 장치(11)를 구성하는 카메라 유닛(21_i)에서 촬영되는 실공간을, 위에서 본 경우의 개략 평면도이다.

여기서, 실공간 내의 위치(실공간 점)를 규정하는 3차원 좌표계로서, 가상 렌즈 또는 에뮬레이션 렌즈의 주점을 원점으로 함과 함께, 촬영 장치(11)(도 2)를 정면에서 보았을 때의 수평 방향 및 수직 방향을 x축 및 y축으로, 원점으로부터 깊이 방향(피사체의 방향)을 z축으로 각각 하는 3차원 좌표계를 사용하는 것으로 한다.

기준 화상의 어떤 화소(p)에 비치는 물체(피사체)의 실공간 내의 위치인 실공간 점(x, y, z)은, 화소(p)의 기준 화상 상의 위치(카메라 유닛(21₁)의 도시하지 않은 이미지 센서 상의 위치)와, 그 화소(p)의 시차(d)로부터 구할 수 있다.

그래서, 실공간 점 선택부(101)는, 다층 시차 맵에 등록되어 있는 화소(p)의 위치와 시차(d)로부터, 그 시차(d)가 있는 화소(p)에 대응하는 실공간 점(화소(p)에 비칠 수 있는 물체의 실공간 내의 위치)을 구한다.

지금, 다층 시차 맵에 등록되어 있는 시차(d)가 있는 실공간 점(의 집합)을, 시차 등록 위치라고 하기로 하면, 실공간 점 선택부(101)는, 시차 등록 위치를 구성하는 실공간 점을, 순차, 주목 실공간 점으로 선택한다.

또한, 도 28에서, THETA는, 기준 화상(기준 카메라 유닛(21₁))의 수평 방향의 화각을 나타낸다. 시차 등록 위치는, 가상 렌즈의 광축을 중심으로 해서, 화각(THETA)으로 확산하는 범위에 존재한다.

가상 렌즈의 광축은, 기준 화상의 중심을 통과하는, 기준 화상에 수직인 직선(기준 카메라 유닛(21₁)의 광축)이다.

도 29는, 다층 시차 맵을 사용하여, 실공간 점을 구하는 방법을 설명하는 도면이다.

지금, 다층 시차 맵을 표현하는 다층 시차 맵 공간으로서, 기준 화상의 수평 방향 및 수직 방향의 위치를, x축 및 y축으로 함과 함께, 시차 정보 생성부(31)(도 3)에서 얻어지는 시차가 취할 수 있는 값을 z축으로 하는 3차원 공간을 사용하기로 한다.

이러한 다층 시차 맵 공간에서는, 위치(x, y)의 화소의 시차(d)는, 위치(x, y, d)에, 시차를 등록하는 취지의 시차 플래그를 세움으로써 등록할 수 있다.

여기서, 본 실시 형태에서는, 다층 시차 맵에 등록할 수 있는 시차의 최댓값을, Dmax로 나타냄과 함께, 최솟값을, Dmin으로 나타내기로 한다. 이 경우, 다층 시차 맵 공간의 z축 방향의 사이즈는, Dmax-Dmin+1이 된다. 또한, Dmin으로서는, 예를 들어 0(무한원)을 채용할 수 있다.

또한, 다층 시차 맵에 등록되어 있는 시차(d)는, 예를 들어 식 z=37.4/d에 따라, 가상 렌즈의 주점(기준 카메라 유닛(21₁))으로부터의 깊이 방향의 실공간 내의 거리(z)로 변환할 수 있다.

또한, 시차(d)를, 거리(z)로 변환하는 식은, 식 z=37.4/d에 한정되는 것이 아니라, 기준 카메라 유닛(21₁)의 해상도나, 화각, 초점 거리에 따라 상이하다.

지금, 기준 화상의, x 좌표가 Xpic의 어떤 화소(p)를, 주목 화소(p)로서 주목하면, 도 29의 다층 시차 맵에서는, 주목 화소(p)에 대하여 시차(D₁과 D₂)가 등록되어 있다.

실공간 점 선택부(101)는, 주목 화소(p)에 대한 시차(D₁ 및 D₂)를, 순차, 주목하는 주목 시차로 선택하고, 그 주목 시차가 있는 주목 화소(p)에 대응하는 실공간 점을, 주목 실공간 점으로 선택한다.

지금, 시차(D₁ 및 D₂) 중, 시차(D₁)가, 주목 시차로 선택된 것으로 한다.

또한, 기준 화상(시차 맵)의 수평 방향(x축 방향)의 화소수를, width로 나타냄과 함께, 기준 화상의 수평 방향의 화각을, THEATA로 나타내기로 한다. 또한, 주목 시차(D₁)가 있는 주목 화소(p)에 대응하는 실공간 점(P1)의, 광축으로부터의 x축 방향의 위치(거리)를 x1로 나타내기로 한다.

실공간 점 선택부(101)는, 먼저, 주목 시차(D₁)를, 실공간의 거리(z)=z1로 변환한다.

그리고, 실공간 점 선택부(101)는, 주목 시차(D₁)에 대응하는 거리(z)=z1을 사용하여, 주목 시차(D₁)가 있는 주목 화소(p)에 대응하는 실공간 점(P1)의, 광축으로부터의 x축 방향의 위치(거리)(x1)를 구한다.

즉, 실공간에서의 거리(x1)와, 다층 시차 맵 공간에서의 화소수(Xpic-width/2)는 대응한다. 또한, 실공간에서의, 수평 방향의 화각의 1/2을 나타내는 거리(z1×tan(THEATA/2))와, 다층 시차 맵 공간에서의, 수평 방향의 화각의 1/2을 나타내는 화소수(width/2)는 대응한다.

x1과 Xpic-width/2와의 비와, z1×tan(THEATA/2)와 width/2와의 비는, 일치하므로, 식 x1:Xpic-width/2=z1×tan(THEATA/2):width/2가 성립한다.

따라서, 주목 시차(D₁)가 있는 주목 화소(p)에 대응하는 실공간 점(P1)의, 광축으로부터의 x축 방향의 위치(x1)는, 식 x1=((Xpix-width/2)(z1×tan(THEATA/2))/(width/2)에 따라서 구할 수 있다.

실공간 점 선택부(101)는, 이상과 같이 하여, 주목 시차(D₁)가 있는 주목 화소(p)에 대응하는 실공간 점(P1)의, 광축으로부터의 x축 방향의 위치(x1)를 구한다.

실공간 점 선택부(101)는, 마찬가지로 하여, 주목 시차(D₁)가 있는 주목 화소(p)에 대응하는 실공간 점(P1)의, 광축으로부터의 y축 방향의 위치를 구하고, 이에 의해, 주목 시차(D₁)가 있는 주목 화소(p)에 대응하는 실공간 점(P1)(의 xyz 좌표)을 구한다.

시차(D₂)가 있는 화소(p)에 대응하는 실공간 점도, 마찬가지로 하여 구할 수 있다.

도 30은, 도 27의 광선 생성부(102)에서 행하여지는 광선의 생성의 예를 설명하는 도면이다.

즉, 도 30은, 가상 렌즈를 정면(피사체측)에서 본 정면도이다.

광선 생성부(102)는, 가상 렌즈(의 합성 개구)를 포함하는 에어리어를 렌즈 에어리어로서 설정한다.

도 30에서는, 가상 렌즈를 둘러싸는, 예를 들어 최소의 직사각형의 에어리어가, 렌즈 에어리어로 설정되어 있다.

광선 생성부(102)는, 렌즈 에어리어(에 둘러싸인 가상 렌즈)를, 소 영역인 렌즈 에어리어 유닛으로 분할하고, 실공간 점을 점 광원으로 간주하여, 그 점 광원으로서의 실공간 점으로부터, 각 렌즈 에어리어 유닛(의, 예를 들어 중심)에 입사하는 광선의 생성, 즉, 실공간 점으로부터, 각 렌즈 에어리어 유닛에 입사하는 광선으로서의 직선의 산출을 행한다.

도 30에서는, 렌즈 에어리어는, 수평 방향이 Lx개이고, 수직 방향이 Ly개인, 합계 Lx×Ly개의 렌즈 에어리어 유닛으로 분할되어 있다.

이 경우, 광선 생성부(102)에서는, 1개의 실공간 점에 대해서, 그 실공간 점과, Lx×Ly개의 렌즈 에어리어 유닛 각각을 연결하는 Lx×Ly개의 직선이, 가상 렌즈에 입사하는 광선으로서 밀하게 생성된다.

여기서, 수평 방향 또는 수직 방향으로 인접하는 렌즈 에어리어 유닛(의 중심)끼리의 거리를, 실공간 점으로부터 발해지는 2개의 광선의 각도를 구별할 수 있는 각도 분해능이라고 하기로 한다.

예를 들어, 합성 개구(가상 렌즈의 직경)가 40mm이며, 렌즈 에어리어의 수평 방향 및 수직 방향의 렌즈 에어리어 유닛의 수(Lx 및 Ly)가 21개라고 하면, 각도 분해능은, 40/21mm이다.

또한, 렌즈 에어리어를, 렌즈 에어리어 유닛으로 분할하는 수평 방향의 직선과 수직 방향의 직선과의 교점인 격자점을, 격자점(LP#i)(i=1, 2, …, (Lx+1) (Ly+1))이라고도 기재하기로 한다.

수평 방향 또는 수직 방향으로 인접하는 격자점(LP#i)과 (LP#j)의 거리는, 각도 분해능을 나타낸다.

도 31은, 도 27의 충돌 판정부(103)에서 행하여지는 충돌 판정과, 휘도 할당부(104)에서 행하여지는 광선에의 휘도의 할당을 설명하는 도면이다.

즉, 도 31은, 가상 렌즈로서의 촬영 장치(11)를 구성하는 카메라 유닛(21_i)에서 촬영되는 실공간을, 위에서 본 경우의 개략 평면도이다.

충돌 판정부(103)는, 광선 생성부(103)로부터의, 실공간 점으로부터 발해져서, 가상 렌즈의 Lx×Ly개의 렌즈 에어리어 유닛을 향하는 Lx×Ly개의 광선이, 가상 렌즈에 입사할 때까지, 실공간 내의 물체에 충돌하는지 여부를 판정하는 충돌 판정을, 다층 시차 맵을 사용해서 행한다.

즉, 충돌 판정부(103)는, 실공간 점으로부터 발해져서, 가상 렌즈의 렌즈 에어리어 유닛을 향하는 광선이, 그 렌즈 에어리어 유닛에 입사할 때까지 시차 등록 위치와 충돌하는(교차하는) 경우, 광선이 충돌한다고 판정한다.

한편, 충돌 판정부(103)는, 실공간 점으로부터 발해져서, 가상 렌즈의 렌즈 에어리어 유닛을 향하는 광선이, 그 렌즈 에어리어 유닛에 입사할 때까지 시차 등록 위치와 충돌하지 않는 경우, 광선이 충돌하지 않는다고 판정한다.

그리고, 충돌 판정부(103)는, 충돌 판정의 결과 남은 광선, 즉, 충돌하지 않는다고 판정된 광선을, 휘도 할당부(104)에 공급한다.

또한, 충돌 판정부(103)는, 충돌 판정의 결과 남은 광선에는, 그 광선을 발한 실공간 점(x, y, z)에 대응하는 시차(d=D)를 할당하고, 충돌한다고 판정된 광선에는, 그 광선이 충돌한 시차 등록 위치에 대응하는 시차(d=D')를 할당한다.

충돌 판정 후, 어떤 실공간 점(x, y, z)으로부터 발해진 광선이, 물체에 충돌하지 않고, 가상 렌즈에 입사하는지 여부는, 그 광선에 할당된 시차가, 그 광선을 발한 실공간 점(x, y, z)의 시차에 일치하는지 여부로 인식할 수 있다.

즉, 광선에 할당된 시차가, 그 광선을 발한 실공간 점(x, y, z)의 시차에 일치하는 경우, 그 광선은, 물체에 충돌하지 않고, 가상 렌즈에 입사한다. 한편, 광선에 할당된 시차가, 그 광선을 발한 실공간 점(x, y, z)의 시차에 일치하지 않는 경우, 그 광선은, 광선에 할당된 시차에 대응하는 깊이의 위치에서, 물체에 충돌하여, 가상 렌즈에는 도달하지 않는다.

휘도 할당부(104)는, 다층 시차 맵과, 촬영 화상(HD#i)을 사용하여, 충돌 판정부(103)로부터의, 충돌 판정의 결과 남은 광선에, 휘도를 할당한다.

즉, 휘도 할당부(104)는, 7 시점의 촬영 화상(HD1 내지 HD7) 각각에 대해서, 충돌 판정의 결과 남은 광선을 발하는 실공간 점(x, y, z)에 대응하는 대응 화소를 구한다.

또한, 휘도 할당부(104)는, 시차 맵을 참조함으로써, 촬영 화상(HD1 내지 HD7)의 대응 화소 중에서, 실공간 점(x, y, z)의 깊이(z)에 대응하는 시차(d=D)와 일치하는 시차가 등록되어 있는 화소를, 휘도의 할당에 사용하는 광선 휘도 할당용 화소로서 검출한다.

그리고, 휘도 할당부(104)는, 광선 휘도 할당용 화소의 화소값으로서의 R(Red), G(Green), B(Blue)의 값을 사용하여, 광선에 휘도를 할당한다.

즉, 휘도 할당부(104)는, 예를 들어 광선 휘도 할당용 화소의 화소값(R, G, B의 값)의 평균값을, 광선의 휘도로서, 광선에 할당한다.

이상과 같이, 실공간 점(x, y, z)으로부터 발해진 광선이, 물체에 충돌하여, 가상 렌즈에 입사하지 않는 경우, 충돌 판정부(103)에서, 그 광선에 대하여, 그 광선이 충돌한 시차 등록 위치에 대응하는 시차가 할당된다.

한편, 실공간 점(x, y, z)으로부터 발해진 광선이, 물체에 충돌하지 않고, 가상 렌즈에 입사하는 경우, 충돌 판정부(103)에서, 그 광선에 대하여, 그 광선을 발한 실공간 점(x, y, z)에 대응하는 시차가 할당된다.

또한, 물체에 충돌하지 않고, 가상 렌즈에 입사하는 광선에 대해서는, 휘도 할당부(104)에서, 휘도로서의 화소값(R, G, B의 값)이 할당된다.

도 32는, 도 27의 입사 광선 재현부(36)가 행하는 입사 광선 재현 처리에서 얻어지는 최대수의 데이터를 모식적으로 도시하는 도이다.

지금, 기준 화상(HD1)이, N개의 화소(pix1, pix2, …, pix#N)로 구성되고, 시차 맵(다층 시차 맵)에 등록할 수 있는 시차(d)가, 최솟값(Dmin)부터 최댓값(Dmax)까지의, 1 화소 단위의, DPN=Dmax-Dmin+1개의 정수 값인 것으로 한다.

이 경우, 입사 광선 재현 처리에서는, 최대, 도 32에 도시한 바와 같이, N개의 화소(pix1, pix2, …, pix#N) 중 임의의 화소(pix#n)와, DPN개의 시차(Dmin, Dmin+1, …, Dmax) 중 임의의 시차(d)와의 조합(pix#n, d)에 대응하는 실공간 점에 대하여, 화소값 테이블이 등록된다.

조합(pix#n, d)에 대응하는 실공간 점에 대한 화소값 테이블에는, 도 32에 도시한 바와 같이, 조합(pix#n, d)에 대응하는 실공간 점으로부터, 렌즈 에어리어(도 30)의 Lx×Ly개의 렌즈 에어리어 유닛 중, 좌측에서부터 i번째이고, 위에서부터 j번째인 렌즈 에어리어 유닛(i, j)을 향하는 광선에 할당된 시차(D)가 등록된다.

또한, 조합(pix#n, d)에 대응하는 실공간 점으로부터, 렌즈 에어리어 유닛(i, j)을 향하는 광선에, 휘도로서의 R, G, B의 값이 할당되어 있는 경우에는, 조합(pix#n, d)에 대응하는 실공간 점에 대한 화소값 테이블에는, 그 휘도로서의 R, G, B의 값이 등록된다.

도 33은, 도 27의 입사 광선 재현부(36)가 행하는 입사 광선 재현 처리의 예를 설명하는 흐름도이다.

스텝 S101에서, 입사 광선 재현부(36)(도 27)의 실공간 점 선택부(101), 충돌 판정부(103) 및 휘도 할당부(104)는, 시차 정보 생성부(31)로부터 시차 맵을 취득하고, 처리는, 스텝 S102로 진행된다.

스텝 S102에서는, 실공간 점 선택부(101)는, 기준 화상(HD1)의 화소 중, 아직, 주목 화소로 선택하지 않은 화소의 1개를, 주목 화소로 선택하고, 처리는, 스텝 S103으로 진행된다.

스텝 S103에서는, 실공간 점 선택부(101)는, 시차 정보 생성부(31)로부터의 시차 맵(다층 시차 맵)을 참조하여, 주목 화소에 등록되어 있는 시차 중, 아직, 주목 시차로 선택하지 않은 시차의 1개를, 주목 시차로 선택하고, 처리는, 스텝 S104로 진행된다.

스텝 S104에서는, 실공간 점 선택부(101)는, 주목 시차의 주목 화소(주목 시차가 있는 주목 화소)에 대응하는 실공간 점(x, y, z)=(x0, y0, z0)을, 주목 실공간 점으로 선택하여, 광선 생성부(102)에 공급하고, 처리는, 스텝 S105로 진행된다.

스텝 S105에서는, 광선 생성부(102)는, 가상 렌즈의 렌즈 에어리어 유닛(도 30) 중의, 아직, 주목 렌즈 에어리어 유닛으로 선택하지 않은 렌즈 에어리어 유닛의 1개를, 주목 렌즈 에어리어 유닛으로 선택하고, 처리는, 스텝 S106으로 진행된다.

스텝 S106에서는, 광선 생성부(102)는, 주목 실공간 점(x0, y0, z0)으로부터, 주목 렌즈 에어리어 유닛의 중심점(lx, ly, 0)을 향하는 광선(을 나타내는 직선식)을 주목 광선으로서 생성하여, 충돌 판정부(103)에 공급하고, 처리는, 스텝 S107로 진행된다.

여기서, 주목 실공간 점(x0, y0, z0)으로부터, 주목 렌즈 에어리어 유닛의 중심점(lx, ly, 0)을 향하는 광선으로서의 직선은, 식 (x-lx)/(x0-lx)=(y-ly)/(y0-ly)=z/z0으로 표현된다.

스텝 S107에서는, 충돌 판정부(103)는, 광선 생성부(102)로부터의 주목 광선을 대상으로 한 충돌 판정을 행하고, 처리는, 스텝 S108로 진행된다.

스텝 S108에서는, 휘도 할당부(104)는, 충돌 판정부(103)에서의 충돌 판정의 판정 결과(충돌 판정 결과)에 기초하여, 주목 광선이 충돌하는지 여부를 판정한다.

스텝 S108에서, 주목 광선이 충돌하지 않는다고 판정된 경우, 즉, 충돌 판정부(103)에 의한 스텝 S107에서의 충돌 판정에 있어서, 주목 광선에, 주목 실공간 점에 대응하는 시차(주목 시차)와 동등한 시차가 할당된 경우, 처리는, 스텝 S109로 진행된다.

스텝 S109에서는, 휘도 할당부(104)는, 주목 광선에 휘도를 할당하는 광선 휘도 할당을 행하여, 집광 처리부(38)에 공급하고, 처리는, 스텝 S110으로 진행된다.

한편, 스텝 S108에서, 주목 광선이 충돌한다고 판정된 경우, 즉, 충돌 판정부(103)에 의한 스텝 S107에서의 충돌 판정에 있어서, 주목 광선에, 주목 실공간 점에 대응하는 시차(주목 시차)와 동등하지 않은 시차가 할당된 경우, 처리는, 스텝 S109를 스킵하고, 스텝 S110으로 진행된다.

따라서, 주목 광선이 충돌하는 경우, 그 주목 광선에 대해서는, 스텝 S109의 광선 휘도 할당은 행하여지지 않는다.

스텝 S110에서는, 광선 생성부(102)는, 가상 렌즈의 렌즈 에어리어 유닛 모두를, 주목 렌즈 에어리어 유닛으로 선택했는지 여부를 판정한다.

스텝 S110에서, 아직, 가상 렌즈의 렌즈 에어리어 유닛 모두를, 주목 렌즈 에어리어 유닛으로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S105로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S110에서, 가상 렌즈의 렌즈 에어리어 유닛 모두를, 주목 렌즈 에어리어 유닛으로 선택했다고 판정된 경우, 처리는, 스텝 S111로 진행된다.

스텝 S111에서는, 실공간 점 선택부(101)는, 다층 시차 맵에 있어서 주목 화소에 등록되어 있는 시차 모두를, 주목 시차로 선택했는지 여부를 판정한다.

스텝 S111에서, 아직, 다층 시차 맵에 있어서 주목 화소에 등록되어 있는 시차 모두를, 주목 시차로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S103으로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S111에서, 다층 시차 맵에 있어서 주목 화소에 등록되어 있는 시차 모두를, 주목 시차로 선택했다고 판정된 경우, 처리는, 스텝 S112로 진행된다.

스텝 S112에서는, 실공간 점 선택부(101)는, 기준 화상(HD1)의 화소 모두를, 주목 화소로 선택했는지 여부를 판정한다.

스텝 S112에서, 아직, 기준 화상(HD1)의 화소 모두를, 주목 화소로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S102로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S112에서, 기준 화상(HD1)의 화소 모두를, 주목 화소로 선택했다고 판정된 경우, 입사 광선 재현 처리는 종료된다.

도 34는, 도 33의 스텝 S107의 충돌 판정의 처리의 예를 설명하는 흐름도이다.

스텝 S121에서, 충돌 판정부(103)는, 충돌 판정용 판정용 시차(d)를, 초기값으로서의 최댓값(Dmax)으로 설정하고, 처리는, 스텝 S122로 진행된다.

스텝 S122에서는, 충돌 판정부(103)는, 판정용 시차(d)에 대응하는 깊이(거리)(Z)를 구하고, 처리는, 스텝 S123으로 진행된다.

스텝 S123에서는, 충돌 판정부(103)는, 판정용 시차(d)에 대응하는 깊이(Z)가, 주목 실공간 점(x0, y0, z0)의 깊이(z0)와 동등한지 여부를 판정한다.

스텝 S123에서, 판정용 시차(d)에 대응하는 깊이(Z)가, 주목 실공간 점(x0, y0, z0)의 깊이(z0)와 동등하지 않다고 판정된 경우, 처리는, 스텝 S124로 진행된다.

스텝 S124 이후에는, 주목 실공간 점(x0, y0, z0)으로부터 주목 렌즈 에어리어 유닛의 중심점(lx, ly, 0)을 향하는 주목 광선이, 판정용 시차(d)에 대응하는 깊이(Z)에서, 물체에 충돌하는지 여부가 확인된다.

즉, 스텝 S124에서는, 충돌 판정부(103)는, 식 z=Z로 표현되는 평면, 즉, 깊이(Z)의 위치에 있는 광축에 수직인 평면을, 충돌 판정용의 평면으로서의 판정층으로 설정하고, 처리는, 스텝 S125로 진행된다.

여기서, 시차(d)에 대응하는 깊이(거리)(Z)에 있는 광축에 수직인, 식 z=Z로 표현되는 평면을, 이하, z=Z의 시차 평면이라고도 한다. 스텝 S124에서는, z=Z의 시차 평면이, 판정층으로 설정된다.

스텝 S125에서는, 충돌 판정부(103)는, 주목 광선과 판정층과의 교점(Px, Py, Z)을 구하고, 처리는, 스텝 S126으로 진행된다.

여기서, 도 33에서 설명한 바와 같이, 주목 광선으로서의 직선은, (x-lx)/(x0-lx)=(y-ly)/(y0-ly)=z/z0으로 표현된다.

따라서, 주목 광선의 x 좌표와 y 좌표는, 각각, 식 x=z/z0(x0-lx)+lx와, 식 y=z/z0(y0-ly)+ly로 표현된다.

식 x=z/z0(x0-lx)+lx 및 식 y=z/z0(y0-ly)+ly의 z에, Z를 대입함으로써, 식 z=Z로 표현되는 판정층 상의 주목 광선의 x 좌표 및 y 좌표, 즉, 주목 광선과 판정층과의 교점(Px, Py, Z)의 x 좌표(Px) 및 y 좌표(Py)를 구할 수 있다.

따라서, x 좌표(Px) 및 y 좌표(Py)는, 각각, 식 x=Z/z0(x0-lx)+lx 및 식 y=Z/z0(y0-ly)+ly에 따라서 구할 수 있다.

스텝 S126에서는, 충돌 판정부(103)는, 주목 광선과 판정층과의 교점(Px, Py, Z)에 대응하는 기준 화상의 화소(이하, 교점 화소라고도 함)를 구하고, 처리는, 스텝 S127로 진행된다.

스텝 S127에서는, 충돌 판정부(103)는, 다층 시차 맵에 있어서, 교점 화소(의 위치)에, 판정용 시차(d)가 등록되어 있는지 여부(교점 화소에 등록되어 있는 시차가 판정용 시차(d)와 동등한지 여부)를 판정한다.

스텝 S127에서, 교점 화소에, 판정용 시차(d)가 등록되어 있지 않다고 판정된 경우, 즉, 주목 광선과 판정층과의 교점(Px, Py, Z)에 물체가 없고, 주목 광선이, 교점(Px, Py, Z)에서 충돌하지 않는 경우, 처리는, 스텝 S128로 진행된다.

스텝 S128에서는, 충돌 판정부(103)는, 판정용 시차(d)를 1만큼 디크리먼트하고(감소시키고), 처리는, 스텝 S122로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

여기서, 스텝 S128에서, 판정용 시차(d)가 디크리먼트됨으로써, 판정층은, 시차의 최댓값(Dmax)에 대응하는, 가상 렌즈에 가장 가까운 위치로부터, 주목 실공간 점(x0, y0, z0)을 향해서 이동해 간다.

또한, 스텝 S127에서, 교점 화소에, 판정용 시차(d)가 등록되어 있다고 판정된 경우, 즉, 주목 광선과 판정층과의 교점(Px, Py, Z)에 물체가 있고, 주목 광선이, 교점(Px, Py, Z)에서 충돌하는 경우, 처리는, 스텝 S129로 진행된다.

스텝 S129에서는, 충돌 판정부(103)는, 주목 광선이, 가상 렌즈에 도달하기 전에, 물체에 충돌하는 취지의 충돌 판정 결과를 나타내기 위해서, 주목 광선에, 판정용 시차(d)를 할당하고, 처리는 복귀된다.

한편, 스텝 S123에서, 판정용 시차(d)에 대응하는 깊이(Z)가, 주목 실공간 점(x0, y0, z0)의 깊이(z0)와 동등하다고 판정된 경우, 즉, 시차의 최댓값(Dmax)에 대응하는, 가상 렌즈에 가장 가까운 위치로부터, 주목 실공간 점(x0, y0, z0)까지의 사이에, 주목 광선이 물체에 충돌하지 않은 경우, 처리는, 스텝 S130으로 진행된다.

스텝 S130에서는, 충돌 판정부(103)는, 주목 광선이, 가상 렌즈에 도달할 때까지, 물체에 충돌하지 않는 취지의 충돌 판정 결과를 나타내기 위해서, 주목 광선에, 주목 시차(이 시점에서의 판정용 시차(d)이기도 함), 즉, 주목 실공간 점(x0, y0, z0)에 대응하는 시차(d)를 할당하고, 처리는 복귀된다.

또한, 도 34에서는, 시차의 최댓값(Dmax)을 초기값으로 함과 함께, 주목 실공간 점(x0, y0, z0)에 대응하는 시차를 골로 해서, 판정용 시차를, 초기값으로부터 골이 되는 시차까지 디크리먼트하기로 했지만, 판정용 시차는, 시차의 최댓값(Dmax)으로부터, 주목 실공간 점(x0, y0, z0)에 대응하는 시차까지의 범위에 걸쳐서, 어떻게 값을 바꾸든 상관없다.

도 35는, 도 33의 스텝 S109의 광선 휘도 할당의 처리의 예를 설명하는 흐름도이다.

스텝 S131에서, 휘도 할당부(104)는, 7 시점의 촬영 화상(HD1 내지 HD7) 각각으로부터, 주목 실공간 점(x0, y0, z0)에 대응하는 대응 화소를 검출하고, 처리는, 스텝 S132로 진행된다.

스텝 S132에서는, 휘도 할당부(104)는, 예를 들어 촬영 화상(HD1 내지 HD7) 각각의 시차 맵을 참조함으로써, 촬영 화상(HD1 내지 HD7)의 대응 화소 중에서, 주목 실공간 점(x0, y0, z0)의 깊이(z0)에 대응하는 시차(d), 즉, 주목 시차와 일치하는 시차가 등록되어 있는 화소를, 휘도의 할당에 사용하는 광선 휘도 할당용 화소로서 검출하고, 처리는, 스텝 S133으로 진행된다.

스텝 S133에서는, 휘도 할당부(104)는, 예를 들어 광선 휘도 할당용 화소의 화소값(R, G, B의 값)의 평균값을, 광선의 휘도로서 주목 광선에 할당하고, 처리는 복귀된다.

이상과 같이, 입사 광선 재현부(36)(도 27)에서는, 광선 생성부(102)에서, 다층 맵에 시차가 등록되어 있는 실공간 점, 즉, 촬영 장치(11)가 촬영을 행하는 실공간에 존재하는 물체 상의 점으로부터, 그 촬영 장치(11)를 구성하는 7 시점의 카메라 유닛(21₁ 내지 21₇)을 합성 개구로 하는 가상 렌즈에 입사하는 광선으로서의 직선이 생성된다. 즉, 입사 광선 재현부(36)에서는, 실공간 점으로부터 가상 렌즈에 입사하는 광선으로서, 그 광선을 기하학적으로 기술하는 직선이 구해진다.

또한, 입사 광선 재현부(36)에서는, 충돌 판정부(103)에서, 광선이, 가상 렌즈에 입사할 때까지 물체에 충돌하는지를 판정하는 충돌 판정이 행하여진다.

그리고, 입사 광선 재현부(36)에서는, 휘도 할당부(104)에서, 카메라 유닛(21₁ 내지 21₇)에서 촬영된 7 시점의 촬영 화상(HD1 내지 HD7)을 사용하여, 충돌 판정의 결과 남은 광선에 휘도가 할당된다.

따라서, 7 시점의 촬영 화상(HD1 내지 HD7)을 사용하여, 가상 렌즈, 나아가서는, 에뮬레이션 렌즈에 입사하는 광선 군을 재현할 수 있다.

즉, 에뮬레이션 렌즈를 구성하는, 예를 들어 소위 프론트 렌즈를, 가상 렌즈에 대응시킴으로써, 가상 렌즈에 입사하는 광선 군은, 에뮬레이션 렌즈에 입사하는 광선 군이 된다. 따라서, 가상 렌즈에 입사하는 광선 군을 재현함으로써, 에뮬레이션 렌즈에 입사하는 광선 군을 재현할 수 있다.

그 결과, 에뮬레이션 렌즈에 입사하는 광선 군이, 그 에뮬레이션 렌즈에서 집광됨으로써 발생하는 흐려짐 정도를, 후술하는 집광 처리에서 재현하는 것이 가능하게 된다.

<렌즈 정보의 생성>

도 36은, 도 3의 에뮬레이션 렌즈 정보 생성부(37)에서 생성되는 렌즈 정보를 설명하는 도면이다.

렌즈 정보(에뮬레이션 렌즈 정보)로서는, PSF 강도 분포, 상면 피치, PSF 각도 성분 정보, 및 상면 시프트 정보가 있다.

PSF 강도 분포는, 에뮬레이션 렌즈의, 점 광원으로부터 발해지는 광선에 대한 응답을 나타낸다.

상면 피치는, PSF 강도 분포의 스케일을 나타낸다.

PSF 각도 성분 정보는, 점 광원으로부터 발해지는 광선이, 에뮬레이션 렌즈를 통해서 도달하는 PSF 강도 분포의 위치를 나타낸다.

상면 시프트 정보는, 실공간 점으로부터 발해지는 광선 중, 주 광선이 에뮬레이션 렌즈를 통해서 도달하는 가상 센서 상의 위치인 상면 시프트 위치를 나타낸다.

도 37은, 렌즈 정보를 생성하는 대상이 되는 실공간 점과 포커스 위치를 설명하는 도면이다.

즉, 도 37은, 가상 렌즈로서의 촬영 장치(11)를 구성하는 카메라 유닛(21_i)에서 촬영되는 실공간을, 촬영 장치의 정면에 대하여 우측에서 본 경우의 개략 측면도이다.

렌즈 정보는, 에뮬레이션 렌즈를 통과하는 광선을 규정하는 정보이며, 그 광선은, 실공간 점으로부터 발해진다.

또한, 에뮬레이션 렌즈를 통과하는 광선은, 가상 센서 상에 집광되는데, 광선의 집광 방법은, 에뮬레이션 렌즈의 포커스 위치(초점 거리)(f)에 따라 상이하다.

따라서, 렌즈 정보는, 에뮬레이션 렌즈의 포커스 위치(f)마다, 최대, 화상 처리 장치(12)(도 3)에서 취급해야 할 실공간 점의 최대수(이하, 최대 실공간 점수라고도 함)와 동등한 수만큼 생성할 수 있다.

지금, 도 32에서 설명한 바와 같이, 기준 화상(HD1)이, N개의 화소(pix1, pix2, …, pix#N)로 구성되고, 시차 맵(다층 시차 맵)에 등록할 수 있는 시차(d)가, 최솟값(Dmin)에서부터 최댓값(Dmax)까지의, 1 화소 단위의, DPN=Dmax-Dmin+1개의 정수 값인 것으로 한다.

이 경우, 최대 실공간 점수는, N×DPN개가 된다.

또한, 지금, 에뮬레이션 렌즈의 포커스 위치(f)로서, f1, f2, …, f#Fmax의 Fmax개의 위치를 취할 수 있는 것으로 한다.

이 경우, 렌즈 정보는, 최대, Fmax×N×DPN개만큼 생성할 수 있다.

여기서, 본 실시 형태에서는, 가상 센서의 사이즈(스케일)는, 에뮬레이션 렌즈에 기초하여 규정한다.

예를 들어, 에뮬레이션 렌즈가, 35mm 풀사이즈의 이미지 센서용 광학 렌즈인 경우, 그러한 에뮬레이션 렌즈에 기초하여, 가상 센서의 사이즈는, 35mm 풀사이즈로 설정된다. 즉, 가상 센서의 가로 및 세로의 사이즈는, 예를 들어 각각, 36mm 및 24mm로 설정된다.

또한, 본 실시 형태에서는, 가상 센서의 픽셀 피치는, 기준 화상의 화소수(해상도)에 기초하여, 가상 센서가, 기준 화상의 화소수와 동일한 화소수(또는, 기준 화상의 화소수 미만의 화소수)를 갖도록 규정한다.

예를 들어, 에뮬레이션 렌즈가, 35mm 풀사이즈의 이미지 센서용 광학 렌즈이며, 기준 화상의 수평 방향의 화소수가 Nx 화소인 경우, 상술한 바와 같이 가상 센서의 가로 사이즈는 36mm이므로, 가상 센서의 픽셀 피치는, 36mm/Nx가 된다.

또한, 어떤 실공간 점(X, Y, Z)은, 깊이(z=Z)에 대응하는 시차(d=D)가 있는, 기준 화상의 어떤 화소에 대응한다.

또한, 가상 센서의 픽셀 피치는, 기준 화상의 화소수(해상도)에 기초하여 규정하므로, 가상 센서의 화소는, 기준 화상의 화소에 대응시킬 수 있다. 가상 센서가, 기준 화상의 화소수와 동일한 화소수를 갖는 경우에는, 기준 화상의 화소와, 그 화소와 동일한 위치에 있는 가상 센서의 화소가 대응한다.

또한, 기준 화상의 어떤 화소의 시차를, 그대로, 그 화소에 대응하는 가상 센서의 화소의 시차로서 채용하면, 실공간 점(X, Y, Z)은, 깊이(z=Z)에 대응하는 시차(d=D)가 있는, 가상 센서의 어떤 화소에 대응한다.

이 경우, 어떤 실공간 점에 대한 렌즈 정보는, 그 실공간 점에 대응하는 가상 센서의 화소(위치)와 시차와의 조합에 대한 렌즈 정보라고 간주할 수 있다.

도 38은, 어떤 광학 렌즈의 PSF 강도 분포의 예를 나타내는 도이다.

도 38에서, 수평 방향은, 광학 렌즈의 포커스 위치(f)를 나타내고, 수직 방향은, 광학 렌즈로부터의 광이 결상하는 결상면 상의 결상 위치의, 광학 중심으로부터의 거리인 상 높이를 나타낸다.

여기서, 결상면은, 가상 센서의 면에 상당한다. 또한, 도 38의 수평 방향에 대해서는, 좌측 방향은, 광학 렌즈에 대하여 가까운 포커스 위치(f)를 나타내고, 우측 방향은, 광학 렌즈에 대하여 먼 포커스 위치(f)를 나타낸다. 또한, 도 38의 수직 방향에 대해서는, 상측 방향은, 작은 상 높이를 나타내고, 하측 방향은, 큰 상 높이를 나타낸다.

도 38에 도시한 바와 같이, PSF 강도 분포는, 광학 렌즈의 포커스 위치(f)에 따라 상이하다.

또한, PSF 강도 분포는, 결상 위치의 상 높이, 즉, 가상 센서의 평면 상의 위치에 따라 상이하다.

또한, PSF 강도 분포는, 광학 렌즈의 주점으로부터 피사체(여기서는, 점 광원)까지의 거리, 즉, 피사체의 시차에 따라서 상이하다.

따라서, PSF 강도 분포는, 예를 들어 포커스 위치(f)와, 가상 센서의 화소(의 위치)와, 피사체의 시차와의 조에 따라 상이하다.

도 39는, PSF 강도 분포를 생성하는 방법의 예를 설명하는 도면이다.

도 39는, 도 37과 마찬가지로, 가상 렌즈로서의 촬영 장치(11)를 구성하는 카메라 유닛(21_i)에서 촬영되는 실공간을, 촬영 장치의 정면에 대하여 우측에서 본 경우의 개략을 나타내고 있다.

에뮬레이션 렌즈 정보 생성부(37)는, 최대, Fmax개의 포커스 위치(f) 각각에 대해서, 최대 실공간 점수(N×DPN)의 실공간 점, 즉, 가상 센서를 구성하는 화소의 최대수(N)와, 다층 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의 조합에 대응하는 실공간 점에 대하여 PSF 강도 분포를 생성한다.

여기서, 가상 센서를 구성하는 화소의 최대수(N)는, 기준 화상(HD1)을 구성하는 화소(pix 1 내지 pix#N)의 수(N)와 동등하다. 도 37에서 설명한 바와 같이, 본 실시 형태에서는, 설명을 간단하게 하기 위해서, 가상 센서는, 기준 화상(HD1)과 마찬가지로, 화소(pix 1 내지 pix#N)의 N개로 구성되는 것으로 한다.

에뮬레이션 렌즈 정보 생성부(37)는, 실공간 점에 대하여, 점 광원을 설정하고, 그 실공간 점에 설정한 점 광원으로부터 발해지는 광선을 추적하는 광선 추적을, 에뮬레이션 렌즈의 렌즈 설계 데이터를 사용해서 행함으로써, PSF 강도 분포를 생성한다.

광선 추적에서는, 점 광원으로부터 발해지는 광선을, 입사 벡터로 해서, 그 입사 벡터와, 에뮬레이션 렌즈의 가장 피사체측의 굴절면과의 교점이 산출되고, 그 교점으로부터 입사하는 광선으로서의 입사 벡터가 굴절면에서 굴절되어 사출되는 벡터가, 사출 벡터로서 산출된다.

또한, 광선 추적에서는, 사출 벡터를, 다음 굴절면에의 입사 벡터로 해서, 그 입사 벡터와, 다음 굴절면과의 교점이 산출된다.

광선 추적에서는, 이상의 처리가, 에뮬레이션 렌즈의 최후의 굴절면까지 반복된다.

그리고, 에뮬레이션 렌즈 정보 생성부(37)에서는, 에뮬레이션 렌즈의 최후의 굴절면으로부터 사출된 사출 벡터를, 가상 센서 상에서 관측하고, 그 관측의 결과 얻어지는 사출 벡터로서의 광선의 광 강도를 기록함으로써, PSF 강도 분포가 생성된다.

지금, 에뮬레이션 렌즈 정보 생성부(37)는, 실공간 점(의 점 광원)으로부터 발해지는 주 광선, 즉, 실공간 점으로부터 발해지는 광선 중, 에뮬레이션 렌즈의 주점(O)을 통과하는 광선인 주 광선이 가상 센서에 도달하는 위치를 중심(무게 중심)으로 하는 직사각형의 에어리어를, 분포 에어리어라고 하기로 한다.

분포 에어리어로서는, 예를 들어 실공간 점으로부터 발해지는 주 광선을 중심으로 하는 직사각형의 에어리어이며, 실공간 점으로부터 발해지는 광선이 에뮬레이션 렌즈를 통해서 도달하는 가상 센서 상의 점을 둘러싸는 최소의(또는 최소에 가까운) 직사각형의 에어리어를 채용할 수 있다. 또한, 분포 에어리어는, 가로×세로가 PX×PY의 해상도로, 정보의 기록이 가능한 에어리어로 되어 있는 것으로 한다. PX 및 PY로서는, 예를 들어 255를 채용할 수 있다.

에뮬레이션 렌즈 정보 생성부(37)는, PSF 강도 분포가 되는 광 강도를, 분포 에어리어에, 가로×세로가 PX×PY의 해상도로 기록함으로써, PSF 강도 분포를 생성한다.

도 40은, 에뮬레이션 렌즈 정보 생성부(37)에서 생성되는 PSF 강도 분포를 모식적으로 도시하는 도이다.

도 39에서 설명한 바와 같이, PSF 강도 분포는, 최대, Fmax개의 포커스 위치(f) 각각에 대해서, 가상 센서를 구성하는 N개의 화소(pix1 내지 pix#N) 각각과, 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의, N×DPN개의 조합에 대응하는 실공간 점에 대하여 생성된다.

지금, 예를 들어 도 40에 도시한 바와 같이, 가로 방향을, DPN개의 시차(d)로 함과 함께, 세로 방향을, 가상 센서를 구성하는 N개의 화소(pix1 내지 pix#N)로 해서, 어떤 시차(d)와, 어떤 화소(pix#n)와의 조합에 대응하는 실공간 점에 대한 PSF 강도 분포를 등록한 테이블을, 포커스 위치(f)의 강도 분포 테이블이라고 하기로 한다.

에뮬레이션 렌즈 정보 생성부(37)에서는, Fmax개의 포커스 위치(f) 각각의 강도 분포 테이블이 생성된다.

강도 분포 테이블에 등록되는 PSF 강도 분포는, 도 39에서 설명한 바와 같이, 분포 에어리어에, 가로×세로가 PX×PY의 해상도로 기록되어 있다.

따라서, PSF 강도 분포를 배열에 기록하는 경우, 그 PSF 강도 분포의 배열 수는, 최대, Fmax×N×DPN×PX×PY가 된다.

여기서, 분포 에어리어에 있어서, PSF 강도 분포의 하나의 광 강도가 기록되는 단위(PSF 강도 분포의 샘플링의 단위)를, 분포 에어리어 유닛이라고 하기로 한다. 분포 에어리어 유닛은, 예를 들어 정사각형의 에어리어로서 관념할 수 있다.

분포 에어리어는, 도 39에서 설명한 바와 같이, 실공간 점으로부터 발해지는 광선이 도달하는 가상 센서 상의 점을 둘러싸는 최소의 직사각형의 에어리어이기 때문에, 가변의 사이즈로 되어 있다.

또한, 도 38에서 설명한 바와 같이, PSF 강도 분포는, 포커스 위치(f)나, 결상 위치의 상 높이(실공간 점(점 광원)과 광축과의 거리), 피사체(실공간 점(점 광원))까지의 거리(시차)에 따라 상이하다.

그리고, 그러한 PSF 강도 분포를 둘러싸는 최소의 분포 에어리어의 사이즈(스케일)도, PSF 강도 분포마다 상이하다.

집광 처리에서는, 후술하는 바와 같이, 사이즈가 상이한 분포 에어리어에 기록된 PSF 강도 분포에 따른, 가상 센서 상에 결상하는 광선의 결상값을 가산함으로써, 에뮬레이션 화상이 생성된다.

PSF 강도 분포에 따른 결상값을 가산하는 데 있어서는, 사이즈가 상이한 분포 에어리어에 기록된 PSF 강도 분포에 따른 결상값의 분포의 스케일을, 가상 센서의 스케일에 일치시킬 필요가 있다. 그리고, 그러기 위해서는, PSF 강도 분포의 스케일을 나타내는 정보가 필요해진다.

그래서, 에뮬레이션 렌즈 정보 생성부(37)는, PSF 강도 분포가 기록된 분포 에어리어를 구성하는 분포 에어리어 유닛의 사이즈(피치)인 상면 피치를, PSF 강도 분포의 스케일을 나타내는 정보로서 구한다.

지금, 상면 피치가 IP이며, 가상 센서의 화소 피치가 PP인 것으로 하면, 집광 처리에서는, PSF 강도 분포로부터 구해지는 광선의 결상값의 분포가, IP/PP배로 축소(또는 확대)되어, 가상 센서 상에서 가산된다.

또한, PSF 강도 분포는, 가변의 사이즈가 아니라, 고정의 사이즈의 분포 에어리어에, PX×PY의 해상도로 기록할 수 있다.

PSF 강도 분포를, 가변의 사이즈가 아니라, 고정의 사이즈의 분포 에어리어로 하는 경우에는, 상면 피치는, 그 고정의 사이즈의 하나이면 된다.

단, 분포 에어리어의 고정의 사이즈는, 적어도, 분포가, 가상 센서 상의 주 광선의 도달 위치로부터 가장 확산하는 PSF 강도 분포에 맞출 필요가 발생하므로, 분포가 좁은 PSF 강도 분포의 해상도가 열화된다.

도 41은, 에뮬레이션 렌즈 정보 생성부(37)에서 생성되는 상면 피치를 모식적으로 도시하는 도이다.

상면 피치는, 하나의 PSF 강도 분포마다 생성된다.

지금, 예를 들어 도 41에 도시한 바와 같이, 가로 방향을, DPN개의 시차(d)로 함과 함께, 세로 방향을, 가상 센서를 구성하는 N개의 화소(pix1 내지 pix#N)로 해서, 어떤 시차(d)와, 어떤 화소(pix#n)와의 조합에 대응하는 실공간 점에 대한 PSF 강도 분포의 상면 피치를 등록한 테이블을, 포커스 위치(f)의 상면 피치 테이블이라고 하기로 한다.

에뮬레이션 렌즈 정보 생성부(37)에서는, Fmax개의 포커스 위치(f) 각각의 상면 피치 테이블이 생성된다.

따라서, 상면 피치를 배열에 기록하는 경우, 그 상면 피치의 배열 수는, 최대, Fmax×N×DPN이 된다.

도 42는, PSF 각도 성분 정보를 생성하는 방법의 예를 설명하는 도면이다.

즉, 도 42는, 에뮬레이션 렌즈를 정면(피사체측)에서 본 정면도이다.

에뮬레이션 렌즈 정보 생성부(37)는, 예를 들어 도 30에서 설명한 광선 생성부(102)가 광선의 생성 시에, 가상 렌즈에 대하여 행하는 것과 마찬가지의 처리를, 에뮬레이션 렌즈에 대하여 행한다.

즉, 에뮬레이션 렌즈 정보 생성부(37)는, 에뮬레이션 렌즈의, 예를 들어 프론트 렌즈를 포함하는 에어리어를 렌즈 에어리어로서 설정한다.

도 42에서는, 에뮬레이션 렌즈의 프론트 렌즈를 둘러싸는, 예를 들어 최소의 직사각형의 에어리어가, 렌즈 에어리어로 설정되어 있다.

에뮬레이션 렌즈 정보 생성부(37)는, 렌즈 에어리어(로 둘러싸이는 에뮬레이션 렌즈)를 소 영역인 렌즈 에어리어 유닛으로 분할한다. 그리고, 에뮬레이션 렌즈 정보 생성부(37)는, 실공간 점을 점 광원이라 간주하고, 그 점 광원으로서의 실공간 점으로부터, 각 렌즈 에어리어 유닛에 입사하는 광선이, 에뮬레이션 렌즈를 통해서 도달하는 PSF 강도 분포의 위치를 나타내는 PSF 각도 성분 정보를 구한다.

도 42에서는, 도 30의 가상 렌즈의 경우와 마찬가지로, 렌즈 에어리어는, 수평 방향이 Lx개이고, 수직 방향이 Ly개인, 합계 Lx×Ly개의 렌즈 에어리어 유닛으로 분할되어 있다.

도 42에서도, 도 30의 경우와 마찬가지로, 에뮬레이션 렌즈를 둘러싸는 렌즈 에어리어를, 렌즈 에어리어 유닛으로 분할하는 수평 방향의 직선과 수직 방향의 직선과의 교점인 격자점을, 격자점(LP#i)(i=1, 2, …, (Lx+1)(Ly+1))이라고도 기재한다.

여기서, 본 실시 형태에서는, 설명을 간단하게 하기 위해서, 직경이, 가상 렌즈(의 합성 개구)와 에뮬레이션 렌즈의 프론트 렌즈(의 개구)가 일치하고 있으며, 렌즈 에어리어의 사이즈 및 렌즈 에어리어의 분할 수(Lx×Ly)도, 가상 렌즈와 에뮬레이션 렌즈가 일치하고 있는 것으로 한다.

또한, 집광 처리는, 에뮬레이션 렌즈에 입사하는 광선을 사용해서 행해지기 때문에, 가상 렌즈의 직경이, 에뮬레이션 렌즈의 직경 이상의 직경이면 된다.

또한, 가상 렌즈에 입사하는 광선과, 에뮬레이션 렌즈에 입사하는 광선을 대응시키기 위해서, 가상 렌즈의 렌즈 에어리어 유닛과, 에뮬레이션 렌즈의 렌즈 에어리어 유닛(의 사이즈)은 일치시키기로 한다.

도 43은, PSF 각도 성분 정보를 생성하는 방법의 예를 설명하는 도면이다.

도 43은, 도 37과 마찬가지로, 가상 렌즈로서의 촬영 장치(11)를 구성하는 카메라 유닛(21_i)에서 촬영되는 실공간을, 촬영 장치의 정면에 대하여 우측에서 본 경우의 개략을 나타내고 있다.

에뮬레이션 렌즈 정보 생성부(37)는, 최대, Fmax개의 포커스 위치(f) 각각에 대해서, 최대 실공간 점수(N×DPN)의 실공간 점, 즉, 가상 센서를 구성하는 화소의 최대수(N)와, 다층 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의 조합에 대응하는 실공간 점에 대하여, PSF 각도 성분 정보를 생성한다.

에뮬레이션 렌즈 정보 생성부(37)는, 실공간 점(의 점 광원)으로부터 발해져서, 에뮬레이션 렌즈의 격자점(LP#i)에 입사하는 광선이, 가상 센서에 도달하는 도달 점(AP#i)을 구한다.

그리고, 에뮬레이션 렌즈 정보 생성부(37)는, 가상 센서의 도달 점(AP#i)을, PSF 강도 분포(의 분포 에어리어) 상의 점으로 환산한 분포 에어리어 도달 점(AP#i)(광선이 도달하는 분포 에어리어 유닛)과, 격자점(LP#i)과의 (위치의) 세트를, PSF 각도 성분 정보로서 구한다.

또한, 실공간 점으로부터 발해져서, 에뮬레이션 렌즈에 입사하는 광선은, 반드시 가상 센서에 도달한다고는 할 수 없다. 즉, 에뮬레이션 렌즈에 입사하는 광선 중에는, 도 43에서 점선의 화살표로 나타낸 바와 같이, 가상 센서에 도달하지 않는(가상 센서에서 수광되지 않는) 광선이 존재한다.

도 44는, PSF 각도 성분 정보의 상세를 설명하는 도면이다.

에뮬레이션 렌즈 정보 생성부(37)는, 에뮬레이션 렌즈의 렌즈 에어리어 유닛의 4개의 정점인 4개의 격자점(LP#i1, LP#i2, LP#i3, LP#i4) 각각에 대해서, 실공간 점으로부터 발해져서, 격자점(LP#i1, LP#i2, LP#i3, LP#i4)을 각각 지나서 도달하는 PSF 강도 분포 상의 도달 점인 분포 에어리어 도달 점(AP#i1, AP#i2, AP#i3, AP#i4)을 구한다.

그리고, 에뮬레이션 렌즈 정보 생성부(37)는, 에뮬레이션 렌즈의 렌즈 에어리어 유닛의 4개의 정점인 4개의 격자점(LP#i1, LP#i2, LP#i3, LP#i4)과, 분포 에어리어 도달 점(AP#i1, AP#i2, AP#i3, AP#i4)과의 세트를, 4개의 격자점(LP#i1, LP#i2, LP#i3, LP#i4)을 정점으로 하는 렌즈 에어리어 유닛을 통과하는 광선이 도달하는 PSF 강도 분포의 에어리어(위치)를 나타내는 PSF 각도 성분 정보로서 생성한다.

결국, PSF 각도 성분 정보는, 에뮬레이션 렌즈의 격자점(LP#i)에 입사하는 광선이, 에뮬레이션 렌즈를 통해서, 분포 에어리어 도달 점(AP#i)에 도달하는 경우의, 그 분포 에어리어 도달 점(AP#i)과, 격자점(LP#i)과의 세트가 된다.

여기서, 렌즈 에어리어 유닛을 통과하는 광선이 도달하는 PSF 강도 분포의 에어리어를, 대응 에어리어라고도 한다.

도 44에서는, 대응 에어리어는, 분포 에어리어 도달 점(AP#i1, AP#i2, AP#i3, AP#i4)을 정점으로 하는 사각형의 영역이다.

분포 에어리어 도달 점(AP#i)의 입도(해상도)는, PSF 강도 분포가 기록된 분포 에어리어의 분포 에어리어 유닛(도 40)의 크기가 된다. 즉, 분포 에어리어 도달 점(AP#i)은, 분포 에어리어의, 어떤 분포 에어리어 유닛의 위치를 나타낸다.

도 45는, 에뮬레이션 렌즈 정보 생성부(37)에서 생성되는 PSF 각도 성분 정보를 모식적으로 도시하는 도이다.

PSF 각도 성분 정보는, 최대, Fmax개의 포커스 위치(f) 각각에 대해서, 가상 센서를 구성하는 N개의 화소(pix1 내지 pix#N) 각각과, 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의, N×DPN개의 조합에 대응하는 실공간 점에 대하여 생성된다.

지금, 예를 들어 도 45에 도시한 바와 같이, 가로 방향을, DPN개의 시차(d)로 함과 함께, 세로 방향을, 가상 센서를 구성하는 N개의 화소(pix1 내지 pix#N)로 해서, 어떤 시차(d)와, 어떤 화소(pix#n)와의 조합에 대응하는 실공간 점에 대한 PSF 각도 성분 정보를 등록한 테이블을, 포커스 위치(f)의 PSF 각도 성분 정보 테이블이라고 하기로 한다.

에뮬레이션 렌즈 정보 생성부(37)에서는, Fmax개의 포커스 위치(f) 각각의 PSF 각도 성분 정보 테이블이 생성된다.

PSF 각도 성분 정보 테이블에 등록되는 PSF 각도 성분 정보는, 에뮬레이션 렌즈의 격자점(LP#i)과, 그 격자점(LP#i)에 입사하는 광선이 에뮬레이션 렌즈를 통해서 도달하는 PSF 강도 분포의 분포 에리어 상의 분포 에어리어 도달 점(AP#i)과의 세트이다.

본 실시 형태에서는, 도 42에서 설명한 바와 같이, 에뮬레이션 렌즈의 렌즈 에어리어는, PX×PY개의 렌즈 에어리어 유닛으로 분할되므로, 격자점(LP#i)의 수는, (Lx+1)(Ly+1)개가 된다.

따라서, PSF 각도 성분 정보를 배열에 기록하는 경우, 그 PSF 각도 성분 정보의 배열 수는, 최대, Fmax×N×DPN×(PX+1)×(PY+1)이 된다.

도 46은, 상면 시프트 정보를 설명하는 도면이다.

도 46은, 도 37과 마찬가지로, 가상 렌즈로서의 촬영 장치(11)를 구성하는 카메라 유닛(21_i)에서 촬영되는 실공간을, 촬영 장치의 정면에 대하여 우측에서 본 경우의 개략을 나타내고 있다.

본 실시 형태에서는, 가상 렌즈와, 에뮬레이션 렌즈의 프론트 렌즈를 대응시켜, 입사 광선 재현부(36)에서, 가상 렌즈에 입사하는 광선을, 에뮬레이션 렌즈에 입사하는 광선으로서 재현한다.

그러나, 에뮬레이션 렌즈는, 일반적으로, 복수의 렌즈를 갖기 때문에, 가상 렌즈와, 에뮬레이션 렌즈는, 입사동의(z 방향의) 위치에 어긋남이 발생한다.

그 때문에, 가상 센서에 있어서, 가상 렌즈를 통해서 관찰되는 화상과, 에뮬레이션 렌즈를 통해서 관찰되는 화상이 상이한 경우가 있다.

도 46의 A는, 가상 센서에 있어서, 가상 렌즈를 통해서 관찰되는 화상의 예를 설명하는 도면이다.

도 46의 A에서는, 가상 렌즈에 대하여, 실공간 내의 물체(obj1)로부터 발해지는 주 광선으로서의 직선과, 그 물체(obj2)보다도 전방측에 있는 물체(obj2)로부터 발해지는 주 광선으로서의 직선이 겹쳐 있다.

그 때문에, 물체(obj1)의, 가상 렌즈에 대한 상면 시프트 위치, 즉, 물체(obj1)로부터 발해지는 주 광선이 가상 렌즈를 통해서 도달하는 가상 센서 상의 위치인 상면 시프트 위치와, 물체(obj2)의, 가상 렌즈에 대한 상면 시프트 위치는 일치한다.

그 결과, 가상 센서에 있어서, 물체(obj2)는 관찰되지만, 그 물체(obj2)보다도 안쪽측에 있는 물체(obj1)는, 물체(obj2)에 가려져서 관찰되지 않는다.

도 46의 B는, 가상 센서에 있어서, 에뮬레이션 렌즈를 통해서 관찰되는 화상의 예를 설명하는 도면이다.

도 46의 B에서, 물체(obj1 및 obj2)는, 도 46의 A의 경우와 동일한 위치에 있다.

에뮬레이션 렌즈에 대해서는, 입사동의 위치, 나아가서는, 주점이, 가상 렌즈와의 사이에서 어긋나 있다. 그 때문에, 에뮬레이션 렌즈에 대해서는, 실공간 내의 물체(obj1)로부터 발해지는 주 광선으로서의 직선과, 그 물체(obj2)보다도 전방측에 있는 물체(obj2)로부터 발해지는 주 광선으로서의 직선이, 겹치지 않고 어긋난다.

따라서, 물체(obj1)의, 에뮬레이션 렌즈에 대한 상면 시프트 위치와, 물체(obj2)의, 에뮬레이션 렌즈에 대한 상면 시프트 위치가 일치하지 않으므로, 가상 센서에 있어서, 물체(obj2)와, 그 물체(obj2)보다도 안쪽측에 있는 물체(obj1)의 양쪽이 관찰된다.

이상과 같이, 가상 렌즈와 에뮬레이션 렌즈와의 입사동의 위치 어긋남에 기인하여, 실공간 점의 상면 시프트 위치가, 가상 렌즈와 에뮬레이션 렌즈에서 상이하다.

그래서, 에뮬레이션 렌즈 정보 생성부(37)는, 에뮬레이션 렌즈의 집광을 정확하게 재현하기 위해서, 에뮬레이션 렌즈에 대한 상면 시프트 위치를 나타내는 상면 시프트 정보를, 렌즈 정보의 하나로서 생성한다.

여기서, 상면 시프트 정보는, 가상 렌즈와 에뮬레이션 렌즈와의 입사동의 위치 어긋남을 보정하는 정보라고 할 수 있으며, 이러한 관점에서는, 상면 시프트 정보는, 입사동 보정 정보라고 할 수 있다.

도 47은, 상면 시프트 정보를 생성하는 방법의 예를 설명하는 도면이다.

도 47은, 도 37과 마찬가지로, 가상 렌즈로서의 촬영 장치(11)를 구성하는 카메라 유닛(21_i)에서 촬영되는 실공간을, 촬영 장치의 정면에 대하여 우측에서 본 경우의 개략을 나타내고 있다.

에뮬레이션 렌즈 정보 생성부(37)는, 최대, Fmax개의 포커스 위치(f) 각각에 대해서, 최대 실공간 점수(N×DPN)의 실공간 점, 즉, 가상 센서를 구성하는 화소의 최대수(N)와, 다층 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의 조합에 대응하는 실공간 점에 대하여, 상면 시프트 정보를 생성한다.

에뮬레이션 렌즈 정보 생성부(37)는, 실공간 점(의 점 광원)으로부터 발해져서, 에뮬레이션 렌즈의 주점을 지나는 주 광선이, 가상 센서에 도달하는 도달 점을, 상면 시프트 위치로 하고, 그 상면 시프트 위치를 나타내는, 예를 들어 가상 센서의 중심으로부터의 x축 및 y축 방향의 좌표(거리)를, 상면 시프트 정보로서 구한다.

도 48은, 에뮬레이션 렌즈 정보 생성부(37)에서 생성되는 상면 시프트 정보를 모식적으로 도시하는 도이다.

상면 시프트 정보는, 최대, Fmax개의 포커스 위치(f) 각각에 대해서, 가상 센서를 구성하는 N개의 화소(pix1 내지 pix#N) 각각과, 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의, N×DPN개의 조합에 대응하는 실공간 점에 대하여 생성된다.

지금, 예를 들어 도 48에 도시한 바와 같이, 가로 방향을, DPN개의 시차(d)로 함과 함께, 세로 방향을, 가상 센서를 구성하는 N개의 화소(pix1 내지 pix#N)로 해서, 어떤 시차(d)와, 어떤 화소(pix#n)와의 조합에 대응하는 실공간 점에 대한 상면 시프트 정보를 등록한 테이블을, 포커스 위치(f)의 상면 시프트 정보 테이블이라고 하기로 한다.

에뮬레이션 렌즈 정보 생성부(37)에서는, Fmax개의 포커스 위치(f) 각각의 상면 시프트 정보 테이블이 생성된다.

따라서, 상면 시프트 정보를 배열에 기록하는 경우, 그 상면 시프트 정보의 배열 수는, 최대, Fmax×N×DPN이 된다.

또한, 에뮬레이션 렌즈의 렌즈 정보(PSF 강도 분포, 상면 피치, PSF 각도 성분 정보 및 상면 시프트 정보)는, 그 에뮬레이션 렌즈의 렌즈 설계 데이터를 사용하여, 광선 추적 등의 연산을 행함으로써 구할 수 있는 것 외에, 에뮬레이션 렌즈가, 실재하는 광학 렌즈인 경우에는, 그 광학 렌즈를 사용하여 광선을 실측함으로써 구할 수 있다.

도 49는, 렌즈 정보를 생성하는 에뮬레이션 렌즈 정보 생성부(37)(도 3)의 구성예를 도시하는 블록도이다.

도 49에서, 에뮬레이션 렌즈 정보 생성부(37)는, 실공간 점 선택부(131), 정보 산출부(132) 및 포커스 위치 선택부(133)를 갖는다.

실공간 점 선택부(131)는, 시차 정보 생성부(31)(도 3)로부터 에뮬레이션 렌즈 정보 생성부(37)에 공급되는 다층 시차 맵을 참조하여, 가상 센서를 구성하는 N개의 화소(pix1 내지 pix#N) 각각과, 다층 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의 조합에 대응하는 최대 실공간 점수(N×DPN)의 실공간 점 중에서, 주목 실공간 점을 선택한다.

정보 산출부(132)는, 렌즈 설계 데이터 취득부(34)(도 3)로부터 에뮬레이션 렌즈 정보 생성부(37)에 공급되는 렌즈 설계 데이터를 사용하여, 실공간 점 선택부(131)에서 선택된 주목 실공간 점과, 포커스 위치 선택부(133)에서 선택된 주목 포커스 위치(f)에 대한 렌즈 정보를 생성하여, 집광 처리부(38)에 공급한다.

포커스 위치 선택부(133)는, Fmax개의 포커스 위치(f) 중에서 주목 포커스 위치를 선택한다.

도 50은, 도 49의 에뮬레이션 렌즈 정보 생성부(37)가 행하는 에뮬레이션 렌즈 정보 생성 처리의 예를 설명하는 흐름도이다.

스텝 S141에서, 포커스 위치 선택부(133)는, Fmax개의 포커스 위치(f) 중에서 주목 포커스 위치를 선택하고, 처리는, 스텝 S142로 진행된다.

여기서, 본 실시 형태에서는, 렌즈 정보의 정보량을 삭감하기 위해서, 주목 포커스 위치에 대해서만 렌즈 정보를 생성한다. 주목 포커스 위치의 선택은, 예를 들어 유저의 조작 등에 따라서 행할 수 있다. 또한, 주목 포커스 위치로서는, 예를 들어 미리 정해진 디폴트의 포커스 위치를 선택할 수 있다.

또한, 렌즈 정보는, 주목 포커스 위치뿐만 아니라, Fmax개의 포커스 위치(f) 각각에 대하여 생성할 수 있다.

스텝 S142에서는, 실공간 점 선택부(131)가, 시차 정보 생성부(31)로부터 공급되는 다층 시차 맵을 취득하고, 처리는, 스텝 S143으로 진행된다.

스텝 S143에서는, 실공간 점 선택부(131)는, 가상 센서의 화소 중, 아직, 주목 화소로 하지 않은 화소의 1개를 주목 화소로 선택하고, 처리는, 스텝 S144로 진행된다.

스텝 S144에서는, 실공간 점 선택부(131)는, 시차 정보 생성부(31)로부터의 다층 시차 맵에 등록되어 있는 주목 화소의 시차 중, 아직, 주목 시차로 하지 않은 시차의 1개를 주목 시차로 선택하고, 처리는, 스텝 S145로 진행된다.

스텝 S145에서는, 실공간 점 선택부(131)는, 주목 시차가 있는 주목 화소에 대응하는 실공간 점을, 주목 실공간 점으로 선택하고, 처리는, 스텝 S146으로 진행된다.

스텝 S146에서는, 정보 산출부(132)가, 주목 실공간 점, 즉, 주목 포커스 위치, 주목 화소 및 주목 시차의 세트에 대한 렌즈 정보인 PSF 강도 분포, 상면 피치, PSF 각도 성분 정보 및 상면 시프트 정보를, 도 39 내지 도 48에서 설명한 바와 같이 해서 구하고, 처리는, 스텝 S147로 진행된다.

스텝 S147에서는, 실공간 점 선택부(131)는, 다층 시차 맵에 등록되어 있는 주목 화소의 시차 모두를, 주목 시차로 선택했는지 여부를 판정한다.

스텝 S147에서, 아직, 다층 시차 맵에 등록되어 있는 주목 화소의 시차 모두를, 주목 시차로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S144에 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S147에서, 다층 시차 맵에 등록되어 있는 주목 화소의 시차 모두를, 주목 시차로 선택했다고 판정된 경우, 처리는, 스텝 S148로 진행된다.

스텝 S148에서는, 실공간 점 선택부(131)는, 가상 센서의 화소 모두를, 주목 화소로 선택했는지 여부를 판정한다.

스텝 S148에서, 아직, 가상 센서의 화소 모두를 주목 화소로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S143으로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S148에서, 가상 센서의 화소 모두를 주목 화소로 선택했다고 판정된 경우, 에뮬레이션 렌즈 정보 생성 처리는 종료된다.

<집광 처리>

도 51은, 도 3의 집광 처리부(38)에서 행하여지는 집광 처리의 개요를 설명하는 도면이다.

도 51은, 도 37과 마찬가지로, 가상 렌즈로서의 촬영 장치(11)를 구성하는 카메라 유닛(21_i)에서 촬영되는 실공간을, 촬영 장치의 정면에 대하여 우측에서 본 경우의 개략을 나타내고 있다.

집광 처리부(38)는, 에뮬레이션 렌즈 정보 생성부(37)로부터의 렌즈 정보를 사용하여, 입사 광선 재현부(36)로부터 공급되는 광선 중 충돌 판정의 결과 남은 광선이, 에뮬레이션 렌즈를 통해서 가상 센서에 결상할 때의 결상값을 구하고, 가상 센서 상에 가산하는 처리를, 집광 처리로서 행한다.

도 52는, 집광 처리 중, 결상값을 구하는 처리의 예를 설명하는 도면이다.

또한, 도 52에서는, 도면이 번잡해지는 것을 피하기 위해서, 에뮬레이션 렌즈의 렌즈 에어리어가, 5×5개의 렌즈 에어리어 유닛으로 분할되어 있다.

도 43에서 설명한 바와 같이, 실공간 점으로부터 발해져서, 에뮬레이션 렌즈에 입사하는 광선은, 반드시 가상 센서에 도달한다고는 할 수 없다. 즉, 에뮬레이션 렌즈에 입사하는 광선 중에는, 가상 센서에 도달하는 광선과, 가상 센서에 도달하지 않는 광선이 존재한다.

지금, 실공간 점으로부터 발해져서, 에뮬레이션 렌즈에 입사하는 광선 중에서, 가상 센서에 도달하는 광선이 입사하는 렌즈 에어리어 유닛의 영역을, 유효 광선 영역이라고 하기로 한다.

도 52에서는, 어떤 실공간 점(x, y, z)으로부터 발해지는 광선에 대해서, 5×5개의 렌즈 에어리어 유닛 중, 중앙 부분의 3×3개의 렌즈 에어리어 유닛(rp1 내지 rp9)이, 유효 광선 영역으로 되어 있다.

또한, 도 52에서는, 실공간 점(x, y, z)으로부터 발해져서, 렌즈 에어리어의 격자점(p#i)을 통과하는 광선이 도달하는 분포 에어리어 도달 점이, PSF 강도 분포가 기록된 분포 에어리어의 분포 에어리어 유닛(q#i)으로 되어 있다.

실공간 점(x, y, z)으로부터 발해져서, 렌즈 에어리어의 격자점(p#i)를 통과하는 광선이 도달하는 분포 에어리어 도달 점이 되는 분포 에어리어 유닛(q#i)은, PSF 각도 성분 정보로부터 인식할 수 있다.

도 52에서는, 실공간 점(x, y, z)으로부터 발해져서, 렌즈 에어리어 유닛(rp1)을 통과하는 광선(BL)이, PSF 강도 분포(가 기록된 분포 에어리어)의 대응 에어리어(rq1)에 도달하고 있다.

여기서, 렌즈 에어리어 유닛(rp1)은, 격자점(p1, p2, p5, p6)을 정점으로 하는 렌즈 에어리어 유닛이다.

또한, 도 52에서는, 실공간 점(x, y, z)으로부터 발해져서, 격자점(p1, p2, p5, p6)을 통과하는 광선은, PSF 강도 분포가 기록된 분포 에어리어의 분포 에어리어 유닛(q1, q2, q5, q6)에 각각 도달한다. 이 분포 에어리어 유닛(q1, q2, q5, q6)을 정점으로 하는 영역이, 대응 에어리어(rq1)이다.

PSF 각도 성분 정보에 의하면, 실공간 점(x, y, z)으로부터 발해져서, 격자점(p1, p2, p5, p6)을 통과하는 광선은, PSF 강도 분포가 기록된 분포 에어리어의 분포 에어리어 유닛(q1, q2, q5, q6)에 각각 도달하는 것으로 인식된다. 그 결과, 격자점(p1, p2, p5, p6)을 정점으로 하는 렌즈 에어리어 유닛(rp1)을 통과하는 광선(BL)이, 분포 에어리어 유닛(q1, q2, q5, q6)을 정점으로 하는 대응 에어리어(rq1)에 도달하는 것으로 인식된다.

도 52에서는, 대응 에어리어(rq#j)는, 실공간 점(x, y, z)으로부터 발해져서, 렌즈 에어리어 유닛(rp#j)을 통과하는 광선의 대응 에어리어로 되어 있다.

집광 처리부(38)는, PSF 각도 성분 정보를 사용하여, 실공간 점(x, y, z)으로부터 발해져서, 렌즈 에어리어 유닛(rp1)을 통과하는 광선(BL)에 대해서, 그 광선(BL)이 도달하는 대응 에어리어(rq1)를 특정한다.

그리고, 집광 처리부(38)는, 광선(BL)에 할당되어 있는 휘도와, 대응 에어리어(rq1) 내의 PSF 강도 분포, 즉, 대응 에어리어(rq1)를 구성하는 분포 에어리어 유닛(의 위치) 각각에 기록되어 있는 PSF 강도 분포와의 곱을, 광선(BL)이 에뮬레이션 렌즈를 통해서 가상 센서에 결상할 때의 결상값으로서 구한다.

이상과 같이, 광선(BL)의 결상값은, 광선(BL)에 할당되어 있는 휘도와, 대응 에어리어(rq1)를 구성하는 분포 에어리어 유닛 각각에 기록되어 있는 PSF 강도 분포와의 곱이므로, 분포 에어리어 유닛을 입도로 하는 분포가 된다.

집광 처리부(38)는, 실공간 점(x, y, z)으로부터 발해져서, 렌즈 에어리어 유닛(rp1) 이외의 렌즈 에어리어 유닛을 통과하는 광선에 대해서도, 마찬가지로 하여 결상값을 구한다.

또한, 실공간 점(x, y, z)으로부터 발해져서, 5×5개의 렌즈 에어리어 유닛에 각각 입사하는 광선에 대해서는, 그러한 광선 중, 유효 광선 영역으로 되어 있지 않는 렌즈 에어리어 유닛에 입사하는 광선(이하, 비유효 광선이라고도 함)은, 가상 센서에 도달하지 않는다. 그 때문에, 비유효 광선이 입사하는 렌즈 에어리어 유닛에 대해서는, 그 비유효 광선이 도달하는 대응 에어리어가 존재하지 않는다. 따라서, 결상값은, 유효 광선 영역으로 되어 있는 렌즈 에어리어 유닛(rp1 내지 rp9)을 통과하는 광선에 대해서만 구할 수 있다.

도 53은, 집광 처리 중, 결상값을 구하는 처리의 다른 예를 설명하는 도면이다.

또한, 도 53에서, 도 52와 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있다.

도 53에서는, 5×5개의 렌즈 에어리어 유닛의, 유효 광선 영역으로 되어 있는 중앙 부분의 3×3개의 렌즈 에어리어 유닛(rp1 내지 rp9) 중, 렌즈 에어리어 유닛(rp7 내지 rp9)에는, 실공간 점(x, y, z)으로부터 발해진 광선이, 그 실공간 점(x, y, z)보다도 앞쪽에 있는 물체에 가려짐으로써 도달하지 않는다.

이 때문에, 도 53에서는, 실질적으로 유효 광선 영역으로 되어 있는 렌즈 에어리어 유닛(rp1 내지 rp9) 중, 실공간 점(x, y, z)으로부터 발해진 광선이 도달하는 렌즈 에어리어 유닛(rp1 내지 rp6) 각각을 통과하는 광선에 대해서만, 결상값(의 분포)이 구해진다.

도 54는, 집광 처리 중, 결상값(의 분포)을 가상 센서 상에 가산하는 처리의 예를 설명하는 도면이다.

도 52에서 설명한 바와 같이, 실공간 점(x, y, z)으로부터 발해지는 광선의 결상값은, 분포 에어리어 유닛을 입도로 하는 분포가 된다. 지금, 설명을 이해하기 쉽게 하기 위해서, 실공간 점(x, y, z)으로부터 발해지는 광선의 결상값의 분포가, 그 결상값을 구하는데 사용된 PSF 강도 분포가 기록된 분포 에어리어에 기록되어 있는 것으로 한다. 즉, 실공간 점(x, y, z)으로부터 발해지는 광선의 결상값이, 그 결상값을 구하는데 사용된 PSF 강도 분포가 기록된 분포 에어리어에, 분포 에어리어 유닛 단위로 기록되어 있는 것으로 한다.

집광 처리부(38)는, 실공간 점(x, y, z)에 대한 상면 피치를 사용하여, 그 실공간 점(x, y, z)으로부터 발해지는 광선의 결상값의 분포가 기록된 분포 에어리어의 스케일을, 가상 센서의 스케일에 일치시키도록, 분포 에어리어의 스케일을 조정한다.

즉, 상면 피치가 IP이며, 가상 센서의 화소 피치가 PP라고 하면, 집광 처리부(38)는, 광선의 결상값의 분포가 기록된 분포 에어리어를, IP/PP배로 축소(또는 확대)하는 처리를, 분포 에어리어의 스케일의 조정으로서 행한다.

또한, 집광 처리부(38)는, 실공간 점(x, y, z)으로부터 발해지는 광선이, 에뮬레이션 렌즈를 통해서 가상 센서 상에 집광하는 위치의 위치 정렬을, 그 실공간 점(x, y, z)에 대한 상면 시프트 정보가 나타내는 상면 시프트 위치에 의해 행한다.

즉, 집광 처리부(38)는, 실공간 점(x, y, z)으로부터 발해지는 광선의 결상값의 분포가 기록된, 스케일의 조정 후의 분포 에어리어와 가상 센서와의 위치 정렬을, 분포 에어리어의 중심점(CP)과 가상 센서의 상면 시프트 위치가 일치하도록 행한다.

집광 처리부(38)는, 이상과 같이, 결상값의 분포가 기록된 분포 에어리어의 스케일의 조정을 행하고, 또한 스케일의 조정 후의 분포 에어리어와 가상 센서와의 위치 정렬을 행한 뒤에, 분포 에어리어에 분포하고 있는 결상값을, 가상 센서 상에, 그 가상 센서의 화소 단위로 가산한다.

또한, 결상값(이 기록된 분포 에어리어)의 스케일의 조정과, 위치 정렬에 대해서는, 어느 쪽을 먼저 행해도 상관없으며, 동시에 행해도 된다.

도 55는, 도 3의 집광 처리부(38)의 구성예를 도시하는 블록도이다.

도 55에서, 집광 처리부(38)는, 실공간 점 선택부(141), 결상값 산출부(142), 스케일 조정부(143), 결상 위치 인식부(144) 및 가산부(145)를 갖는다.

실공간 점 선택부(141)는, 시차 정보 생성부(31)(도 3)로부터 집광 처리부(38)에 공급되는 다층 시차 맵을 참조하여, 기준 화상(HD1)을 구성하는 N개의 화소(pix1 내지 pix#N) 각각과, 다층 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의 조합에 대응하는 최대 실공간 점수(N×DPN)의 실공간 점 중에서, 주목 실공간 점을 선택한다.

결상값 산출부(142)는, 에뮬레이션 렌즈 정보 생성부(34)로부터 집광 처리부(38)에 공급되는 렌즈 정보 중, PSF 강도 분포 및 PSF 각도 성분 정보를 사용하여, 입사 광선 재현부(36)로부터 집광 처리부(38)에 공급되는 광선 중, 실공간 점 선택부(131)에서 선택된 주목 실공간 점으로부터 발해지는 광선의 결상값의 분포가 기록된 분포 에어리어를 구하고, 스케일 조정부(143)에 공급한다.

스케일 조정부(143)는, 에뮬레이션 렌즈 정보 생성부(34)로부터 집광 처리부(38)에 공급되는 렌즈 정보 중 상면 피치를 사용하여, 결상값 산출부(142)로부터 공급되는 결상값의 분포가 기록된 분포 에어리어의 스케일을 조정하여, 결상 위치 인식부(144)에 공급한다.

결상 위치 인식부(144)는, 에뮬레이션 렌즈 정보 생성부(34)로부터 집광 처리부(38)에 공급되는 렌즈 정보 중 상면 시프트 정보로부터, 에뮬레이션 렌즈를 통한 광선이 결상하는 가상 센서 상의 결상 위치인 상면 시프트 위치를 인식하고, 스케일 조정부(143)로부터의 스케일의 조정 후의 분포 에어리어와 함께, 가산부(145)에 공급한다.

가산부(145)는, 가상 센서로서의 메모리를 내장하고, 결상 위치 인식부(144)로부터의 스케일의 조정 후의 분포 에어리어와 가상 센서와의 위치 정렬(결상값을 가산하는 가상 센서 상의 위치의 인식)을, 결상 위치 인식부(144)로부터의 상면 시프트 위치에 의해 행한다.

또한, 가산부(145)는, 가상 센서와의 위치 정렬 후의 분포 에어리어에 기록된 결상값을, 가상 센서 상에, 그 가상 센서의 화소 단위로 (누적)가산한다.

그리고, 가산부(145)는, 가상 센서, 즉, 메모리 상에 얻어지는 결상값의 가산 결과를 화소값으로 하는 화상을, 에뮬레이션 화상으로 하여, 표시 장치(13)(도 1)에 공급한다.

도 56은, 도 55의 집광 처리부(38)가 행하는 집광 처리의 예를 설명하는 흐름도이다.

또한, 본 실시 형태에서는, 도 50에서 설명한 바와 같이, 렌즈 정보의 정보량을 삭감하기 위해서, 주목 포커스 위치에 대해서만 렌즈 정보가 생성된다. 그 때문에, 집광 처리는, 포커스 위치가, 렌즈 정보가 생성되었을 때의 주목 포커스 위치로 설정되어 있는 것으로 해서 행하여진다.

단, 렌즈 정보는, Fmax개의 포커스 위치(도 37) 각각에 대하여 미리 생성해 둘 수 있다. 이 경우, 집광 처리부(38)에서는, 주목 포커스 위치를 설정하고, 그 주목 포커스 위치에 대한 렌즈 정보를 사용하여, 집광 처리를 행할 수 있다.

또는, 에뮬레이션 렌즈 정보 생성부(37)에서, 집광 처리부(38)에서 주목 포커스 위치를 설정하고 나서, 그 주목 포커스 위치에 대하여 렌즈 정보를 생성할 수 있다.

스텝 S151에서, 실공간 점 선택부(141)가, 시차 정보 생성부(31)로부터 공급되는 다층 시차 맵을 취득하고, 처리는, 스텝 S152로 진행된다.

스텝 S152에서는, 실공간 점 선택부(141)는, 기준 화상(HD1)의 화소 중, 아직, 주목 화소로 하지 않은 화소의 1개를 주목 화소로 선택하고, 처리는, 스텝 S153으로 진행된다.

스텝 S153에서는, 실공간 점 선택부(141)는, 시차 정보 생성부(31)로부터의 다층 시차 맵에 등록되어 있는 주목 화소의 시차 중, 아직 주목 시차로 하지 않은 시차의 1개를 주목 시차로 선택하고, 처리는, 스텝 S154로 진행된다.

스텝 S154에서는, 실공간 점 선택부(141)는, 주목 시차가 있는 주목 화소에 대응하는 실공간 점을, 주목 실공간 점으로 선택하고, 처리는, 스텝 S155로 진행된다.

스텝 S155에서는, 결상값 산출부(142)가, 에뮬레이션 렌즈의 렌즈 에어리어 유닛 중, 아직, 주목 렌즈 에어리어 유닛으로 하지 않은 렌즈 에어리어 유닛의 1개를 주목 렌즈 에어리어 유닛으로 선택하고, 처리는, 스텝 S156으로 진행된다.

스텝 S156에서는, 결상값 산출부(142)는, 입사 광선 재현부(36)로부터 공급되는 광선 중에서 주목 실공간 점으로부터 주목 렌즈 에어리어 유닛을 향하는 광선을 주목 광선으로서 취득하고, 처리는, 스텝 S157로 진행된다.

스텝 S157에서, 결상값 산출부(142)는, 주목 광선이, 주목 실공간 점으로부터 에뮬레이션 렌즈에 도달하는의 여부를 판정한다.

스텝 S157에서, 주목 광선이 에뮬레이션 렌즈에 도달한다고 판정된 경우, 즉, 주목 광선에 할당되어 있는 시차(도 33 내지 도 35에서 설명한 입사 광선 재현 처리에서 할당된 시차)가 주목 시차와 동등한 경우, 처리는, 스텝 S158로 진행된다.

스텝 S158에서는, 결상값 산출부(142), 스케일 조정부(143), 결상 위치 인식부(144) 및 가산부(145)에서, 에뮬레이션 렌즈에 도달하는 주목 광선, 즉, 충돌 판정의 결과 남아있는 주목 광선을 대상으로 해서, 후술하는 광선 가산 처리가 행하여지고, 처리는, 스텝 S159로 진행된다.

한편, 스텝 S157에서, 주목 광선이 에뮬레이션 렌즈에 도달하지 않는다고 판정된 경우, 즉, 주목 광선에 할당되어 있는 시차(도 33 내지 도 35에서 설명한 입사 광선 재현 처리에서 할당된 시차)가 주목 시차와 동등하지 않은 경우, 처리는, 스텝 S158을 스킵하고, 스텝 S159로 진행된다. 따라서, 주목 광선이 에뮬레이션 렌즈에 도달하지 않는 경우, 주목 광선에 대해서는, 광선 가산 처리는 행하여지지 않는다.

스텝 S159에서는, 결상값 산출부(142)가, 에뮬레이션 렌즈의 렌즈 에어리어 유닛 모두를, 주목 렌즈 에어리어 유닛으로 선택했는지 여부를 판정한다.

스텝 S159에서, 아직, 에뮬레이션 렌즈의 렌즈 에어리어 유닛 모두를, 주목 렌즈 에어리어 유닛으로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S155로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S159에서, 에뮬레이션 렌즈의 렌즈 에어리어 유닛 모두를, 주목 렌즈 에어리어 유닛으로 선택했다고 판정된 경우, 처리는, 스텝 S160으로 진행된다.

스텝 S160에서는, 실공간 점 선택부(141)는, 다층 시차 맵에 등록되어 있는 주목 화소의 시차 모두를, 주목 시차로 선택했는지 여부를 판정한다.

스텝 S160에서, 아직, 다층 시차 맵에 등록되어 있는 주목 화소의 시차 모두를, 주목 시차로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S153으로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S160에서, 다층 시차 맵에 등록되어 있는 주목 화소의 시차 모두를, 주목 시차로 선택했다고 판정된 경우, 처리는, 스텝 S161로 진행된다.

스텝 S161에서는, 실공간 점 선택부(141)는, 기준 화상(HD1)의 화소 모두를, 주목 화소로 선택했는지 여부를 판정한다.

스텝 S161에서, 아직, 기준 화상(HD1)의 화소 모두를, 주목 화소로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S152로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S161에서, 기준 화상(HD1)의 화소 모두를, 주목 화소로 선택했다고 판정된 경우, 가산부(145)는, 지금까지의 처리에 의해 얻어지는, 가상 센서 상의 결상값의 가산 결과를 화소값으로 하는 화상을, 에뮬레이션 화상으로 해서, 표시 장치(13)(도 1)에 공급하고, 집광 처리는 종료된다.

도 57은, 도 56의 스텝 S158에서 행하여지는 광선 가산 처리의 예를 설명하는 흐름도이다.

스텝 S171에서, 결상값 산출부(142)는, 도 52 및 도 53에서 설명한 바와 같이, 에뮬레이션 렌즈 정보 생성부(37)로부터의, 주목 포커스 위치(f)에 관한 주목 실공간 점(에 대응하는 주목 화소 및 주목 시차)에 대한 PSF 강도 분포(가 기록된 분포 에어리어) 및 PSF 각도 성분 정보를 사용하여, 주목 광선이 도달하는 PSF 강도 분포가 기록된 분포 에리어 상의 위치인 대응 에어리어를 구한다.

또한, 결상값 산출부(142)는, 도 52 및 도 53에서 설명한 바와 같이, 대응 에어리어의 PSF 강도 분포와, 주목 광선에 할당된 휘도(도 33 내지 도 35에서 설명한 입사 광선 재현 처리에서 할당된 휘도)와의 곱을, 주목 광선의 결상값(의 분포)으로서 구한다.

그리고, 결상값 산출부(142)는, 주목 광선의 결상값이 기록된 분포 에어리어를, 스케일 조정부(143)에 공급하고, 처리는, 스텝 S171에서 스텝 S172로 진행된다.

스텝 S172에서는, 스케일 조정부(143)는, 도 54에서 설명한 바와 같이, 에뮬레이션 렌즈 정보 생성부(34)로부터의, 주목 포커스 위치(f)에 관한 주목 실공간 점에 대한 상면 피치를 사용하여, 결상값 산출부(142)로부터의 결상값의 분포가 기록된 분포 에어리어를 축소 또는 확대함으로써, 그 분포 에어리어의 스케일을, 가상 센서의 스케일과 일치하는 스케일로 조정한다.

또한, 스케일 조정부(143)는, 스케일의 조정 후의 분포 에어리어를, 결상 위치 인식부(144)를 통해서 가산부(145)에 공급하고, 처리는, 스텝 S172에서 스텝 S173으로 진행된다.

스텝 S173에서는, 결상 위치 인식부(144)는, 에뮬레이션 렌즈 정보 생성부(34)로부터의, 주목 포커스 위치(f)에 관한 주목 실공간 점에 대한 상면 시프트 정보로부터, 에뮬레이션 렌즈를 통한 주목 광선이 결상하는 가상 센서 상의 결상 위치인 상면 시프트 위치를 인식하여, 가산부(145)에 공급하고, 처리는, 스텝 S174로 진행된다.

스텝 S174에서는, 가산부(145)는, 스케일 조정부(143)에서 얻어진 스케일의 조정 후의 분포 에어리어와 가상 센서와의 위치 정렬을, 결상 위치 인식부(144)로부터의 상면 시프트 위치에 의해 행한다.

즉, 가산부(145)는, 스케일의 조정 후의 분포 에어리어의 중심점(CP)(도 54)과, 가상 센서의 상면 시프트 위치가 일치하도록, 스케일의 조정 후의 분포 에어리어와 가상 센서와의 위치 정렬을 행한다.

그리고, 가산부(145)는, 가상 센서와의 위치 정렬 후의 분포 에어리어에 기록된 결상값을, 가상 센서 상에, 그 가상 센서의 화소 단위로 가산한다. 즉, 가산부(145)는, 가상 센서로서의 메모리의 기억값과 결상값을 가산하고, 그 결과 얻어지는 가산값에 의해, 메모리의 기억값을 재기입한다. 또한, 가상 센서로서의 메모리의 기억값은, 집광 처리(도 56)의 개시 시에, 0으로 초기화된다.

이상에 의해, 광선 가산 처리는 종료되고, 처리는 복귀된다.

이상과 같이, 렌즈 에뮬레이션부(35)(도 3)에서는, 입사 광선 재현부(46)에서, 충돌 판정의 결과 남는, 가상 렌즈에 입사하는 광선을 재현한다.

또한, 에뮬레이션 렌즈 정보 생성부(37)에서, 렌즈 정보, 즉, PSF 강도 분포, 상면 피치, PSF 각도 성분 정보, 상면 시프트 정보를 생성한다.

또한, 집광 처리부(38)에서, 충돌 판정의 결과 남는 광선이, 에뮬레이션 렌즈를 통해서 가상 센서에 결상할 때의 결상값으로서, PSF 각도 성분 정보가 나타내는 PSF 강도 분포의 위치에서의 PSF 강도 분포와 광선의 휘도와의 곱을 구한다.

또한, 집광 처리부(38)에서, 상면 피치에 기초하여, 광선의 결상값의 분포의 스케일을, 가상 센서의 스케일에 일치시킨다.

그리고, 집광 처리부(38)에서, 상면 시프트 위치에 의해, 결상값을 가산하는 가상 센서 상의 위치의 위치 정렬을 행하고, 가상 센서 상에서 결상값의 가산을 행하여, 그 가산에 의해 얻어지는 가산값을 화소값으로 하는 에뮬레이션 화상을 생성한다.

이상과 같은 렌즈 에뮬레이션부(35)의 처리에 의하면, 실제의 광학 렌즈와 동등한 집광이, 디지털 신호 처리로 재현되고, 그 결과, 실제의 광학 렌즈의 흐려짐 정도나 기타 집광 특성을 정확하게 재현(반영)한 에뮬레이션 화상을 생성할 수 있다.

따라서, 유저는, 실제의 광학 렌즈를 구입하지 않아도, 그 광학 렌즈를 사용해서 촬영을 한 것 같은 고품위의 촬영 체험(고품위의 광학 렌즈를 사용해서 행하여지는 촬영의 체험)을 향수할 수 있다.

<렌즈 정보의 정보량의 삭감>

도 58은, 렌즈 정보의 정보량의 삭감의 개요를 설명하는 도면이다.

도 58의 A는, 실제의 광학 렌즈의 렌즈 정보 중 PSF 강도 분포의 예를 나타내고 있다.

즉, 도 58의 A는, 광선이 실제의 광학 렌즈를 통해서 결상하는 실제의 이미지 센서 상의 결상 위치와, 그 결상 위치에 결상하는 광선에 적용되는 PSF 강도 분포와의 관계를, 모식적으로 도시하고 있다.

도 38에서 설명한 바와 같이, PSF 강도 분포는, 포커스 위치(f)나, 결상 위치의 상 높이(광축으로부터의 거리), 피사체(실공간 점)까지의 거리(시차)에 따라 상이하다.

즉, 예를 들어 실제의 이미지 센서 상의 결상 위치의 상 높이(그 결상 위치에 결상하는 실공간 점의, 광축으로부터의 거리)가 상이하면, 그 결상 위치에 결상하는 실공간 점으로부터 발해지는 광선에 적용되는 실제의 광학 렌즈의 PSF 강도 분포는 상이하다.

따라서, 실제의 이미지 센서에 있어서, 실제의 광학 렌즈의 PSF 강도 분포는, 결상 위치의 상 높이가 상이하면 상이한 무한의 정보가 된다.

이상과 같이, 결상 위치의 상 높이가 상이하면, PSF 강도 분포는 상이한데, 반대로 말하면, 동일한 상 높이, 즉, 광축으로부터 동일한 거리에 있는 실공간 점에 대해서는, 포커스 위치(f) 및 시차(실공간 점까지의 거리)가 변함없는 한, PSF 강도 분포는 공통이 된다.

즉, 지금, 설명을 간단하게 하기 위해서, 포커스 위치(f) 및 시차가 일정한 것으로 한다.

이미지 센서의 어떤 상 높이(r)의 어떤 위치(pos1)를, 광축을 중심으로 해서 소정의 각도(a)만큼 회전한 회전 후의 위치(pos2)에 대응하는 실공간 점에 대한 PSF 강도 분포는, 위치(pos1)에 대응하는 실공간 점에 대한 PSF 강도 분포를, 광축을 중심으로 해서 소정의 각도(a)만큼 회전한 회전 후의 PSF 강도 분포에 일치한다.

이상과 같이, 위치(pos2)에 대응하는 실공간 점에 대한 PSF 강도 분포가, 위치(pos1)에 대응하는 실공간 점에 대한 PSF 강도 분포를, 광축을 중심으로 해서 소정의 각도(a)만큼 회전한 회전 후의 PSF 강도 분포에 일치하므로, 위치(pos2)에 대응하는 실공간 점에 대한 상면 피치는, 위치(pos1)에 대응하는 실공간 점에 대한 상면 피치에 일치한다.

또한, 위치(pos2)에 대응하는 실공간 점에 대한 PSF 각도 성분 정보는, 위치(pos1)에 대응하는 실공간 점에 대한 PSF 각도 성분 정보를, 광축을 중심으로 해서 소정의 각도(a)만큼 회전한 회전 후의 PSF 각도 성분 정보에 일치한다.

또한, 위치(pos2)에 대응하는 실공간 점에 대한 상면 시프트 정보(가 나타내는 상면 시프트 위치)는, 위치(pos1)에 대응하는 실공간 점에 대한 상면 시프트 정보를, 광축을 중심으로 해서 소정의 각도(a)만큼 회전한 회전 후의 상면 시프트 정보에 일치한다.

이상과 같이, 포커스 위치(f) 및 시차가 일정한 경우, 이미지 센서의 상 높이가 동일한 위치에 대응하는 실공간 점에 대한 렌즈 정보는, 공통이 된다.

그래서, 에뮬레이션 렌즈 정보 생성부(37)에서는, 가상 센서의 모든 화소에 대응하는 실공간 점이 아니라, 가상 센서의 평면의 일부의 복수 위치인 복수의 정보 점에 대응하는 실공간 점에 대해서만 렌즈 정보를 생성함으로써, 렌즈 정보의 정보량을 삭감할 수 있다.

즉, 에뮬레이션 렌즈 정보 생성부(37)는, 예를 들어 가상 센서의 중심(광축)으로부터, 가상 센서의 평면 내에 연장되는 소정의 1축(에 대응하는 실공간 점)을, 렌즈 정보를 생성하는 대상의 렌즈 정보 생성 축으로 해서, 그 렌즈 정보 생성 축 상의 복수 위치(에 대응하는 실공간 점)를 렌즈 정보를 생성하는 정보 점으로 설정한다.

그리고, 에뮬레이션 렌즈 정보 생성부(37)는, 렌즈 정보 생성 축의 정보 점(에 대응하는 실공간 점)에 대한 렌즈 정보를 생성한다.

도 58의 B는, 렌즈 정보 생성 축의 예를 나타내고 있다.

도 58의 B에서는, 가상 센서의 중심으로부터 상측 방향으로 연장되는 1축이, 렌즈 정보 생성 축으로 되어 있다.

이상과 같은 렌즈 정보 생성 축의 정보 점에 대해서 생성된 렌즈 정보는, 예를 들어 가상 센서의 중심을 중심으로 해서 회전함으로써, 그 회전과 동일한 회전각만큼 렌즈 정보 생성 축을 회전했을 때의, 그 회전 후의 렌즈 생성 축에 일치하는 가상 센서의 위치에 대응하는 실공간 점으로부터 발해지는 광선의 집광 처리에 적용할 수 있다.

도 59는, 렌즈 정보 생성 축의 구체예를 도시하는 도면이다.

지금, 도 59에 도시한 바와 같이, 가상 센서의 중심으로부터, 그 가상 센서의, 대각에 있는 하나의 화소를 향하는 축을, 대각축이라고 하기로 한다.

도 59에서는, 대각축에, 15 등의 복수의 위치가, 정보 점으로서 등간격으로 설정되어 있다.

또한, 도 59에서는, 정보 점이 설정된 대각축이, 상측 방향을 향하도록, 가상 센서의 중심을 중심으로 해서 회전되고, 그 회전 후의 대각축이, 렌즈 정보 생성 축으로 되어 있다.

따라서, 도 59에서는, 렌즈 정보 생성 축은, 가로 폭이 0이고, 세로의 길이가, 가상 센서의 대각 길이(대각에 있는 화소끼리의 거리)의 1/2의, 가상 센서의 중심으로부터 수직 방향(상측 방향)으로 연장되는 선분이다.

에뮬레이션 렌즈 정보 생성부(37)에서는, 이상과 같은 렌즈 정보 생성 축의 정보 점에 대응하는 실공간 점에 대해서만, 렌즈 정보를 생성할 수 있다. 렌즈 정보 생성 축의 정보 점에 대응하는 실공간 점은, x=0으로 표현되는 평면 내의 점이 된다.

또한, 렌즈 정보 중, PSF 강도 분포, PSF 각도 성분 정보, 및 상면 피치에 대해서는, 15개 정도의 정보 점으로 충분하지만, 상면 시프트 정보에 대해서는, 15개 정도의 정보 점으로는, 집광 처리에서의 에뮬레이션 렌즈의 집광 특성의 재현성이 저하되는 경우가 있다.

그래서, 상면 시프트 정보에 대해서는, 가상 센서의 중심으로부터, 대각에 있는 하나의 화소까지의 거리(가상 센서의 상 높이의 최댓값)를, 가상 센서의 화소 피치로 나눈 값(가상 센서의 대각의 화소수의 1/2에 가까운 값) 등을, 렌즈 정보 생성 축에 설치하는 정보 점의 수로서 채용할 수 있다.

여기서, 도 40, 도 41, 도 45 및 도 48에서 설명한 바와 같이, 렌즈 정보가, Fmax개의 포커스 위치(f) 각각에 대해서, 가상 센서를 구성하는 N개의 화소(pix1 내지 pix#N) 각각과, 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의, N×DPN개의 조합에 대응하는 실공간 점에 대해서 생성되는 경우, 렌즈 정보의 배열 수는, 이하와 같은 방대한 수가 된다.

즉, PSF 강도 분포의 배열 수는, 도 40에서 설명한 바와 같이, 최대, Fmax×N×DPN×PX×PY가 된다. 상면 피치의 배열 수는, 도 41에서 설명한 바와 같이, 최대, Fmax×N×DPN이 된다. PSF 각도 성분 정보의 배열 수는, 도 45에서 설명한 바와 같이, 최대, Fmax×N×DPN×(PX+1)×(PY+1)이 된다. 상면 시프트 정보의 배열 수는, 도 48에서 설명한 바와 같이, 최대, Fmax×N×DPN이 된다.

또한, PX 및 PY는, 도 42에서 설명한 바와 같이, 렌즈 에어리어를 구성하는 렌즈 에어리어 유닛의 가로(수평 방향) 및 세로(수직 방향)의 수를 각각 나타낸다.

한편, 렌즈 정보 생성 축에 설치하는 정보 점의 수를, Ninfo라고 나타내는 것으로 하면, 렌즈 정보의 배열 수는, 이하와 같이 된다.

즉, PSF 강도 분포의 배열 수는, 최대, Fmax×Ninfo×DPN×PX×PY가 된다. 상면 피치의 배열 수는, 최대, Fmax×Ninfo×DPN이 된다. PSF 각도 성분 정보의 배열 수는, 최대, Fmax×Ninfo×DPN×(PX+1)×(PY+1)이 된다. 상면 시프트 정보의 배열 수는, 최대, Fmax×Ninfo×DPN이 된다.

따라서, 렌즈 정보 생성 축의 정보 점에 대해서만 렌즈 정보를 생성하는 경우에는, Fmax개의 포커스 위치(f) 각각에 대해서, 가상 센서를 구성하는 N개의 화소(pix1 내지 pix#N) 각각과, 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의, N×DPN개의 조합에 대응하는 실공간 점에 대해서 렌즈 정보를 생성하는 경우에 비해, 렌즈 정보의 정보량을, Ninfo/N으로 삭감할 수 있다.

예를 들어, 가상 센서의 화소수(N)가 1892×1052이며, 정보 점의 수(Ninfo)가 15인 경우에는, 렌즈 정보의 정보량을, 15/(1892×1052)로 삭감할 수 있다.

그 결과, 렌즈 정보 생성 축에 의하면, 에뮬레이션 렌즈의 흐려짐 정도나 기타 집광 특성을, 적은 데이터양으로 재현할 수 있다.

도 60은, 렌즈 정보 생성 축의 정보 점에 대해서만 렌즈 정보를 생성하는 경우의, 도 3의 에뮬레이션 렌즈 정보 생성부(37)의 구성예를 도시하는 블록도이다.

또한, 도면 중, 도 49의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있으며, 이하에서는, 그 설명은 적절히 생략한다.

도 60에서, 에뮬레이션 렌즈 정보 생성부(37)는, 실공간 점 선택부(231), 정보 산출부(132) 및 포커스 위치 선택부(133)를 갖는다.

따라서, 도 60의 에뮬레이션 렌즈 정보 생성부(37)는, 정보 산출부(132) 및 포커스 위치 선택부(133)를 갖는 점에서, 도 49의 경우와 공통된다.

단, 도 60의 에뮬레이션 렌즈 정보 생성부(37)는, 실공간 점 선택부(131) 대신에, 실공간 점 선택부(231)가 설치되어 있는 점에서, 도 49의 경우와 상이하다.

실공간 점 선택부(231)는, 시차 정보 생성부(31)(도 3)로부터 공급되는 다층 시차 맵을 참조하여, 가상 센서 상의 렌즈 정보 생성 축의 Ninfo개의 정보 점 각각과, 다층 시차 맵에 등록할 수 있는 DPN개의 시차(d) 각각과의 조합에 대응하는 Ninfo×DPN개의 실공간 점 중에서, 주목 실공간 점을 선택한다.

도 61은, 도 60의 에뮬레이션 렌즈 정보 생성부(37)가 행하는 에뮬레이션 렌즈 정보 생성 처리의 예를 설명하는 흐름도이다.

스텝 S211에서, 포커스 위치 선택부(133)는, 도 50의 스텝 S141과 마찬가지로, Fmax개의 포커스 위치(f) 중에서 주목 포커스 위치를 선택하고, 처리는, 스텝 S212로 진행된다.

스텝 S212에서는, 실공간 점 선택부(231)는, 도 50의 스텝 S142와 마찬가지로, 시차 정보 생성부(31)로부터 공급되는 다층 시차 맵을 취득하고, 처리는, 스텝 S213으로 진행된다.

스텝 S213에서는, 실공간 점 선택부(231)는, 렌즈 정보 중, PSF 강도 분포, PSF 각도 성분 정보 및 상면 피치의 생성에 사용하는 렌즈 정보 생성 축을 설정하고, 처리는, 스텝 S214로 진행된다.

즉, 실공간 점 선택부(231)는, 예를 들어 가상 센서의 최대 상 높이(가상 센서의 중심으로부터, 대각의 1 화소까지의 거리)를 등분하는, 미리 정해진 소정수(예를 들어, 15 등)의 정보 점을 갖는 렌즈 정보 생성 축을, 가상 렌즈의 중심을 시점으로 해서, 수직 방향(상측 방향)으로 설정한다.

스텝 S214에서는, 실공간 점 선택부(231)는, 렌즈 정보 생성 축의 정보 점 중, 아직, 주목 정보 점으로 하지 않은 정보 점의 1개를 주목 정보 점으로 선택하고, 처리는, 스텝 S215로 진행된다.

스텝 S215에서는, 실공간 점 선택부(231)는, 시차 정보 생성부(31)로부터의 다층 시차 맵에 등록되어 있는, 주목 정보 점의 위치 화소(주목 정보 점에 가까운 화소)에 등록될 수 있는 시차 중, 아직, 주목 시차로 하지 않은 시차의 1개를 주목 시차로 선택하고, 처리는, 스텝 S216으로 진행된다.

스텝 S216에서는, 실공간 점 선택부(231)는, 주목 시차가 있는 주목 정보 점(가상 센서의 평면 상의 주목 정보 점의 위치)에 대응하는 실공간 점을, 주목 실공간 점으로 선택하고, 처리는, 스텝 S217로 진행된다.

스텝 S217에서는, 정보 산출부(132)가, 주목 실공간 점, 즉, 주목 포커스 위치, 주목 정보 점 및 주목 시차의 세트에 대한 PSF 강도 분포, 상면 피치 및 PSF 각도 성분 정보를, 도 50의 스텝 S146과 마찬가지로 구하고, 처리는, 스텝 S218로 진행된다.

스텝 S218에서는, 실공간 점 선택부(231)는, 다층 시차 맵에 등록될 수 있는 시차 모두를 주목 시차로 선택했는지 여부를 판정한다.

스텝 S218에서, 아직, 다층 시차 맵에 등록될 수 있는 시차 모두를, 주목 시차로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S215로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S218에서, 다층 시차 맵에 등록될 수 있는 시차 모두를 주목 시차로 선택했다고 판정된 경우, 처리는, 스텝 S219로 진행된다.

스텝 S219에서는, 실공간 점 선택부(231)는, 렌즈 정보 생성 축의 정보 점 모두를, 주목 정보 점으로 선택했는지 여부를 판정한다.

스텝 S219에서, 아직, 렌즈 정보 생성 축의 정보 점 모두를, 주목 정보 점으로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S214로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S219에서, 렌즈 정보 생성 축의 정보 점 모두를, 주목 정보 점으로 선택했다고 판정된 경우, 처리는, 스텝 S220으로 진행되어, 이하, 상면 시프트 정보가 생성된다.

스텝 S220에서는, 실공간 점 선택부(231)는, 렌즈 정보 중, 상면 시프트 정보의 생성에 사용하는 렌즈 정보 생성 축을 설정하고, 처리는, 스텝 S221로 진행된다.

즉, 실공간 점 선택부(231)는, 예를 들어 가상 센서의 최대 상 높이를, 가상 센서의 화소 피치로 나눈 값의 수만큼 정보 점이 등간격으로 배치된 렌즈 정보 생성 축을, 가상 렌즈의 중심을 시점으로 해서, 수직 방향으로 설정한다.

스텝 S221에서는, 실공간 점 선택부(231)는, 렌즈 정보 생성 축의 정보 점 중, 아직, 주목 정보 점으로 하지 않은 정보 점의 1개를, 주목 정보 점으로 선택하고, 처리는, 스텝 S222로 진행된다.

스텝 S222에서는, 실공간 점 선택부(231)는, 시차 정보 생성부(31)로부터의 다층 시차 맵에 등록되어 있는 주목 정보 점의 위치 화소에 등록될 수 있는 시차 중, 아직, 주목 시차로 하지 않은 시차의 1개를 주목 시차로 선택하고, 처리는, 스텝 S223으로 진행된다.

스텝 S223에서는, 실공간 점 선택부(231)는, 주목 시차가 있는 주목 정보 점에 대응하는 실공간 점을, 주목 실공간 점으로 선택하고, 처리는, 스텝 S224로 진행된다.

스텝 S224에서는, 정보 산출부(132)가, 주목 실공간 점, 즉, 주목 포커스 위치, 주목 정보 점 및 주목 시차의 세트에 대한 상면 시프트 정보를, 도 50의 스텝 S146과 마찬가지로 구하고, 처리는, 스텝 S225로 진행된다.

스텝 S225에서는, 실공간 점 선택부(231)는, 다층 시차 맵에 등록될 수 있는 시차 모두를 주목 시차로 선택했는지 여부를 판정한다.

스텝 S225에서, 아직, 다층 시차 맵에 등록될 수 있는 시차 모두를, 주목 시차로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S222로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S225에서, 다층 시차 맵에 등록될 수 있는 시차 모두를, 주목 시차로 선택했다고 판정된 경우, 처리는, 스텝 S226으로 진행된다.

스텝 S226에서는, 실공간 점 선택부(231)는, 렌즈 정보 생성 축의 정보 점 모두를, 주목 정보 점으로 선택했는지 여부를 판정한다.

스텝 S226에서, 아직, 렌즈 정보 생성 축의 정보 점 모두를, 주목 정보 점으로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S221로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S226에서, 렌즈 정보 생성 축의 정보 점 모두를, 주목 정보 점으로 선택했다고 판정된 경우, 에뮬레이션 렌즈 정보 생성 처리는 종료된다.

도 61의 에뮬레이션 렌즈 정보 생성 처리에서는, 이상과 같이 하여, 다층 시차 맵에 등록될 수 있는 시차 각각과, 렌즈 정보 생성 축의 정보 점 각각과의 세트에 대응하는 실공간 점에 대한 렌즈 정보가 구해진다.

도 62는, 이상과 같이, 렌즈 정보 생성 축의 정보 점(에 대응하는 실공간 점)에 대하여 생성된 렌즈 정보를 사용해서 행하여지는 집광 처리의 예를 설명하는 도면이다.

렌즈 정보 생성 축의 정보 점에 대하여 생성된 렌즈 정보를 사용하여, 집광 처리를 행하는 방법으로서는, 렌즈 정보를 회전하는 방법(이하, 렌즈 정보 회전법이라고도 함)과, 집광 처리에 사용하는 광선을 회전하는 방법(이하, 광선 회전법이라고도 함)이 있다.

지금, 예를 들어 있는 실공간 점(rsp)에 대응하는 가상 센서의 화소(위치)가, 렌즈 정보 생성 축 상에 위치하도록, 가상 센서(의 화소) 또는 렌즈 정보 생성 축을, 가상 센서의 중심을 중심으로 해서 회전할 때의 각도를, 일치 회전 각도(ALPHA)라고 하기로 한다.

실공간 점(rsp)에 대응하는 가상 센서의 화소와, 렌즈 정보 생성 축은, 가상 센서의 중심을 중심으로 해서, 일치 회전 각도(ALPHA)를 형성한다.

렌즈 정보 회전법 및 광선 회전법에서는, 실공간 점(rsp)에 대응하는 가상 센서의 화소가, 렌즈 정보 생성 축 상에 위치하도록, 가상 센서(의 화소) 또는 렌즈 정보 생성 축을, 가상 센서의 중심을 중심으로 해서 일치 회전 각도(ALPHA)만큼 회전했을 때, 실공간 점(rsp)에 대응하는 가상 센서의 화소에 가장 가까운 정보 점(이하, 대응 정보 점이라고도 함)이 검출된다.

여기서, 가상 센서의 중심을 중심으로 해서 회전할 때의 회전 각도에 대해서, 시계 방향의 방향을 정으로 한다. 이 경우, 렌즈 정보 생성 축을, 가상 센서의 중심을 중심으로 해서 일치 회전 각도(+ALPHA)만큼 회전하거나, 또는 가상 센서를, 가상 센서의 중심을 중심으로 해서 일치 회전 각도(-ALPHA)만큼 회전함으로써, 실공간 점(rsp)에 대응하는 가상 센서의 화소는, 렌즈 정보 생성 축 상에 위치하는 상태가 된다.

이하, 설명을 간단하게 하기 위해서, 대응 정보 점의 검출 시에 있어서는, 렌즈 정보 생성 축 및 가상 센서 중, 예를 들어 렌즈 정보 생성 축을, 일치 회전 각도(+ALPHA)만큼 회전하기로 한다.

렌즈 정보 회전법 및 광선 회전법에서는, 상술한 바와 같이, 렌즈 정보 생성 축을, 가상 센서의 중심을 중심으로 해서 일치 회전 각도(+ALPHA)만큼 회전했을 때, 실공간 점(rsp)에 대응하는 가상 센서의 화소에 가장 가까운 정보 점이, 대응 정보 점으로서 검출된다.

그리고, 대응 정보 점(에 대응하는 실공간 점)에 대한 렌즈 정보를, 실공간 점(rsp)으로부터 발해지는 광선에 적용하여, 집광 처리가 행하여진다.

단, 렌즈 정보 회전법에서는, 대응 정보 점에 대한 렌즈 정보(중 PSF 강도 분포, PSF 각도 성분 정보 및 상면 시프트 정보)가 일치 회전 각도(+ALPHA)만큼 회전되어, 실공간 점(rsp)으로부터 발해지는 광선에 적용된다.

한편, 광선 회전법에서는, 실공간 점(rsp)으로부터 발해지는 광선이, 일치 회전 각도(-ALPHA)만큼 회전되고, 그 회전 후의 광선에, 대응 정보 점에 대한 렌즈 정보가 적용된다.

도 62는, 렌즈 정보 회전법에 의한 집광 처리의 예를 나타내고 있다.

도 62의 A는, 주목 실공간 점에 대응하는 가상 센서의 주목 화소가, 렌즈 정보 생성 축 상의 화소(이하, 축상 화소라고도 함)인 경우의, 집광 처리에서의 결상값의 산출의 예를 나타내고 있다.

즉, 도 62의 A는, 주목 실공간 점에 대응하는 가상 센서의 주목 화소에 관한 대응 정보 점에 대한 PSF 강도 분포(가 기록된 분포 에어리어)의 예를 나타내고 있다.

도 62의 A에서, 렌즈 에어리어 유닛(U1)에 입사하는 광선은, PSF 강도 분포의 대응 에어리어(UC1)에 도달한다.

주목 실공간 점에 대응하는 가상 센서의 주목 화소가 축상 화소인 경우, 주목 실공간 점으로부터 발해져서, 렌즈 에어리어 유닛(U1)에 입사하는 광선에 대해서는, 주목 화소에 대한 대응 정보 점에 대한 PSF 강도 분포를 (회전하지 않고) 그대로 사용하여, 렌즈 에어리어 유닛(U1)에 입사하는 광선에 할당된 휘도와, 대응 에어리어(UC1)의 PSF 강도 분포와의 곱이, 결상값으로서 구해진다.

도 62의 B는, 주목 실공간 점에 대응하는 가상 센서의 주목 화소가, 렌즈 정보 생성 축을, 가상 센서의 중심을 중심으로 해서, 예를 들어 90도만큼 회전한 직선 상의 화소(이하, 90도 회전 화소라고도 함)인 경우의, 집광 처리에서의 결상값의 산출의 예를 나타내고 있다.

도 62의 B에서, 주목 화소인 90도 회전 화소의 일치 회전 각도(+ALPHA)는, 90도이다.

지금, 주목 화소인 90도 회전 화소에 대한 대응 정보 점이, 도 62의 A의 경우의 축상 화소에 대한 대응 정보 점에 일치하는 것으로 한다.

이 경우, 렌즈 정보 회전법에서는, 주목 실공간 점으로부터 발해진 광선에 대해서는, 주목 화소에 대한 대응 정보 점에 대한 PSF 강도 분포를, 예를 들어 그 PSF 강도 분포가 기록된 분포 에어리어의 중심을 중심으로 해서, 일치 회전 각도(+ALPHA)인 90도만큼 회전한 회전 후의 PSF 강도 분포를 사용하여, 결상값이 구해진다.

회전 후의 PSF 강도 분포(가 기록된 분포 에어리어)에 대해서는, 렌즈 에어리어 유닛(U1)을, 광축을 중심으로 해서 일치 회전 각도(+ALPHA)인 90도만큼 회전했을 경우의 회전 후의 렌즈 에어리어 유닛(U1)의 위치에 있는 렌즈 에어리어 유닛(U2)에 입사하는 광선이, PSF 강도 분포의 대응 에어리어(UC1)에 도달한다.

따라서, 주목 화소가 90도 회전 화소인 경우, 렌즈 정보 회전법에서는, 주목 실공간 점으로부터 발해져서, 렌즈 에어리어 유닛(U2)에 입사하는 광선의 결상값으로서, 렌즈 에어리어 유닛(U2)에 입사하는 광선에 할당된 휘도와, 대응 에어리어(UC1)의 PSF 강도 분포와의 곱이 구해진다.

도 63은, 광선 회전법에 의한 집광 처리의 예를 나타내고 있다.

주목 실공간 점에 대응하는 가상 센서의 주목 화소가, 축상 화소인 경우, 광선 회전법에서는, 주목 실공간 점으로부터 발해진 광선의 결상값은, 렌즈 정보 회전법과 마찬가지로 구해진다.

한편, 주목 실공간 점에 대응하는 가상 센서의 주목 화소가, 예를 들어 90도 회전 화소인 경우, 광선 회전법에서는, 주목 실공간 점으로부터 발해진 광선을, 일치 회전 각도(-ALPHA=-90도)만큼 회전한 회전 후의 광선을 사용하여, 그 광선의 결상값이 구해진다.

도 63의 A는, 주목 실공간 점으로부터 발해진 광선의 회전을 나타내고 있다.

주목 실공간 점에 대응하는 가상 센서의 주목 화소가, 90도 회전 화소인 경우, 에뮬레이션 렌즈에 입사하는 광선을, 광축을 중심으로 해서 일치 회전 각도(-ALPHA=-90도)만큼 회전한다.

도 63의 A에서는, 광선의 회전 전에 있어서, 주목 실공간 점으로부터 렌즈 에어리어 유닛(U1)에, 광선(R1)이 입사하고 있고, 주목 실공간 점으로부터 렌즈 에어리어 유닛(U2)에, 광선(R2)이 입사하고 있다.

렌즈 에어리어 유닛(U2)은, 렌즈 에어리어 유닛(U1)을, 광축을 중심으로 해서 일치 회전 각도(+ALPHA=+90도)만큼 회전한 위치에 있다.

따라서, 에뮬레이션 렌즈에 입사하는 광선을, 광축을 중심으로 해서 일치 회전 각도(-ALPHA=-90도)만큼 회전한 경우, 회전 전에 렌즈 에어리어 유닛(U2)에 입사하고 있었던 광선(R2)이, 렌즈 에어리어 유닛(U1)에 입사한다.

도 63의 B는, 주목 화소인 90도 회전 화소에 관한 대응 정보 점에 대한 PSF 강도 분포(가 기록된 분포 에어리어)의 예를 나타내고 있다.

도 63의 B에서는, 도 62의 A의 경우와 마찬가지로, 렌즈 에어리어 유닛(U1)에 입사하는 광선이, PSF 강도 분포의 대응 에어리어(UC1)에 도달하고 있다.

회전 후의 광선(R2)은, 렌즈 에어리어 유닛(U1)에 입사하므로, 그 광선(R2)의 결상값(VF)은, 그 광선(R2)의 휘도와, 렌즈 에어리어 유닛(U1)에 대한 대응 에어리어(UC1)의 PSF 강도 분포와의 곱으로서 구해진다.

도 63의 C는, 광선(R2)의 결상값(VF)의 역회전의 예를 나타내고 있다.

광선 회전법에서는, 결상값(VF)을, 가상 센서 상에 가산할 때, 그 결상값(VF)(이 기록된 분포 에어리어)이 광축을 중심으로 해서 광선을 회전한 일치 회전 각도(-ALPHA=-90도)만큼 역회전된다.

즉, 결상값(VF)(이 기록된 분포 에어리어)은, 광축을 중심으로 해서 일치 회전 각도(+ALPHA=+90도)만큼 회전되고 나서, 가상 센서 상에 가산된다.

렌즈 정보 생성 축에 대하여 생성된 렌즈 정보를 사용해서 행하는 집광 처리에서는, 렌즈 정보 회전법을 채용해도 되고, 광선 회전법을 채용해도 된다.

렌즈 정보 회전법에 의하면, 광선 회전법보다도, 집광 처리에 요하는 연산량을 적게 할 수 있다.

단, 렌즈 정보 회전법에서는, 에뮬레이션 렌즈의 집광 특성의 재현성이 저하될 수 있다.

즉, 렌즈 정보 회전법에서는, 렌즈 정보(상면 피치를 제외함)가 일치 회전 각도(+ALPHA)만큼 회전된다.

이 경우, 회전 후의 렌즈 정보 중, 예를 들어 PSF 각도 성분 정보가 나타내는 분포 에어리어 도달 점(AP#i)(도 44)의 좌표계는, 일치 회전 각도(+ALPHA)만큼 기운 좌표계가 된다. 그 때문에, 일치 회전 각도(+ALPHA)가, 90도의 정수배인 경우를 제외하고, 회전 전의 PSF 각도 성분 정보가 나타내는 분포 에어리어 도달 점(AP#i)이 될 수 있는 위치와, 회전 후의 PSF 각도 성분 정보가 나타내는 분포 에어리어 도달 점(AP#i)이 될 수 있는 위치와의 사이에는, 어긋남이 발생한다.

PSF 각도 성분 정보가 나타내는 분포 에어리어 도달 점(AP#i)은, 분포 에어리어의 분포 에어리어 유닛(도 40)의 입도로, 광선이 도달하는 PSF 강도 분포 상의 위치를 나타내므로, 그 입도에 따라서는, 회전 전의 PSF 각도 성분 정보가 나타내는 분포 에어리어 도달 점(AP#i)이 될 수 있는 위치와, 회전 후의 PSF 각도 성분 정보가 나타내는 분포 에어리어 도달 점(AP#i)이 될 수 있는 위치와의 사이에 발생하는 어긋남이, 에뮬레이션 렌즈의 집광 특성의 재현에 악영향을 미치는 경우가 있다.

즉, 회전 후의 PSF 각도 성분 정보가 나타내는 대응 에어리어(도 44)에서는, PSF 강도 분포가, 다른 대응 에어리어의 PSF 강도 분포와 일부 중복되는 경우나, 본래, 어떤 대응 에어리어에 포함되어야 할 PSF 강도 분포의 부분이, 그 대응 에어리어에서 부족한 경우가 있다.

이, PSF 강도 분포의 중복이나 부족의 정도가 큰 경우에는, 에뮬레이션 렌즈의 집광 특성의 재현성이 저하된다.

그래서, 집광 처리에는, 광선 회전법을 채용할 수 있다.

단, 분포 에어리어 도달 점(AP#i)이 나타내는, 광선이 도달하는 PSF 강도 분포 상의 위치의 입도가 충분히 미세하면, 집광 처리에 렌즈 정보 회전법을 사용해도, 에뮬레이션 렌즈의 집광 특성을 충분히 정확하게 재현할 수 있으므로, 그 경우에는, 렌즈 정보 회전법을 채용할 수 있다.

도 64는, 렌즈 정보 생성 축에 대하여 생성된 렌즈 정보를 사용해서 집광 처리를 행하는 집광 처리부(38)의 구성예를 도시하는 블록도이다.

또한, 도면 중, 도 55의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있으며, 이하에서는, 그 설명은 적절히 생략한다.

도 64에서, 집광 처리부(38)는, 실공간 점 선택부(141), 결상값 산출부(242), 스케일 조정부(143), 결상 위치 인식부(244), 가산부(245) 및 회전 처리부(246)를 갖는다.

따라서, 도 64의 집광 처리부(38)는, 실공간 점 선택부(141) 및 스케일 조정부(143)를 갖는 점에서, 도 55의 경우와 공통된다.

단, 도 64의 집광 처리부(38)는, 결상값 산출부(142), 결상 위치 인식부(144) 및 가산부(145) 대신에, 각각, 결상값 산출부(242), 결상 위치 인식부(244) 및 가산부(245)가 설치되어 있는 점에서, 도 55의 경우와 상이하다.

또한, 도 64의 집광 처리부(38)는, 회전 처리부(246)가 새롭게 설치되어 있는 점에서, 도 55의 경우와 상이하다.

결상값 산출부(242)는, 렌즈 정보 회전법 또는 광선 회전법에 의해, 실공간 점 선택부(131)에서 선택된 주목 실공간 점으로부터 발해진 광선의 결상값의 분포가 기록된 분포 에어리어를 구하여, 스케일 조정부(143)에 공급한다.

즉, 결상값 산출부(242)는, 광선 회전법에 따라, 회전 처리부(246)로부터 공급되는 PSF 강도 분포 및 PSF 각도 성분 정보를 사용하여, 동일하게 회전 처리부(246)로부터 공급되는, 일치 회전 각도(-ALPHA)만큼 회전된 광선 중, 실공간 점 선택부(131)에서 선택된 주목 실공간 점으로부터 발해진 광선의 결상값의 분포가 기록된 분포 에어리어를 구하여, 스케일 조정부(143)에 공급한다.

또는, 결상값 산출부(242)는, 렌즈 정보 회전법에 따라, 회전 처리부(246)로부터 공급되는, 일치 회전 각도(+ALPHA)만큼 회전된 PSF 강도 분포 및 PSF 각도 성분 정보를 사용하여, 동일하게 회전 처리부(246)로부터 공급되는, 실공간 점 선택부(131)에서 선택된 주목 실공간 점으로부터 발해진 광선의 결상값의 분포가 기록된 분포 에어리어를 구하여, 스케일 조정부(143)에 공급한다.

결상 위치 인식부(244)는, 회전 처리부(246)로부터 공급되는 상면 시프트 정보 또는 일치 회전 각도(+ALPHA)만큼 회전된 상면 시프트 정보로부터, 에뮬레이션 렌즈를 통한 광선이 결상하는 가상 센서 상의 결상 위치인 상면 시프트 위치를 인식하고, 스케일 조정부(143)로부터의 스케일의 조정 후의 분포 에어리어와 함께 가산부(245)에 공급한다.

가산부(245)는, 도 55의 가산부(145)와 마찬가지의 처리를 행한다.

즉, 가산부(245)는, 가상 센서로서의 메모리를 내장하고, 결상 위치 인식부(244)로부터의 스케일의 조정 후의 분포 에어리어와 가상 센서와의 위치 정렬을, 결상 위치 인식부(244)로부터의 상면 시프트 위치에 의해 행한다.

또한, 가산부(245)는, 가상 센서와의 위치 정렬 후의 분포 에어리어에 기록된 결상값을, 가상 센서 상에 그 가상 센서의 화소 단위로 가산한다.

그리고, 가산부(245)는, 가상 센서, 즉, 메모리 상에 얻어지는 결상값의 가산 결과를 화소값으로 하는 화상을 에뮬레이션 화상으로 하여, 표시 장치(13)(도 1)에 공급한다.

또한, 가산부(245)는, 렌즈 정보 회전법에 의한 집광 처리가 행하여지는 경우에는, 상술한 바와 같이, 도 55의 가산부(145)와 마찬가지의 처리를 행한다.

한편, 광선 회전법에 의한 집광 처리가 행하여지는 경우에는, 가산부(245)는, 위치 정렬 후의 분포 에어리어(에 기록된 결상값)를, 회전 처리부(246)에서 광선을 회전했을 때의 일치 회전 각도(-ALPHA)만큼 역회전하고 나서, 즉, 일치 회전 각도(+ALPHA)만큼 회전하고 나서, 그 회전 후의 분포 에어리어에 기록된 결상값을 가상 센서 상에 가산한다.

회전 처리부(246)에는, 입사 광선 재현부(36)(도 3)로부터 광선이 공급됨과 함께, 에뮬레이션 렌즈 정보 생성부(34)(도 3)로부터 렌즈 정보 생성 축의 정보 점에 대한 렌즈 정보가 공급된다.

회전 처리부(246)는, 렌즈 정보 회전법에 의한 집광 처리가 행하여지는 경우에는, 실공간 점 선택부(141)에서 선택된 주목 실공간 점에 대응하는 가상 센서의 화소가, 렌즈 정보 생성 축 상의 화소가 되도록, 렌즈 정보 생성 축을 회전할 때의 일치 회전 각도(+ALPHA)만큼, 에뮬레이션 렌즈 정보 생성부(34)로부터의 렌즈 정보 생성 축의 정보 점에 대한 렌즈 정보 중 PSF 강도 분포, PSF 각도 성분 정보 및 상면 시프트 정보를 회전한다.

그리고, 회전 처리부(246)는, 회전 후의 PSF 강도 분포 및 PSF 각도 성분 정보를 결상값 산출부(242)에 공급함과 함께, 회전 후의 상면 시프트 정보를, 결상 위치 인식부(244)에 공급한다.

또한, 회전 처리부(246)는, 입사 광선 재현부(36)로부터의 광선을 회전하지 않고 그대로, 결상값 산출부(242)에 공급한다.

한편, 회전 처리부(246)는, 광선 회전법에 의한 집광 처리가 행하여지는 경우에는, 실공간 점 선택부(141)에서 선택된 주목 실공간 점에 대응하는 가상 센서의 화소가, 렌즈 정보 생성 축 상의 화소가 되도록, 가상 센서(의 화소)를 회전할 때의 일치 회전 각도(-ALPHA)만큼, 입사 광선 재현부(36)로부터의 광선을 회전한다.

그리고, 회전 처리부(246)는, 회전 후의 광선을, 결상값 산출부(242)에 공급한다.

또한, 회전 처리부(246)는, 에뮬레이션 렌즈 정보 생성부(34)로부터의 렌즈 정보 생성 축의 정보 점에 대한 렌즈 정보 중 PSF 강도 분포 및 PSF 각도 성분 정보를, 회전하지 않고 그대로 결상값 산출부(242)에 공급함과 함께, 상면 시프트 정보를, 회전하지 않고 그대로 결상 위치 인식부(244)에 공급한다.

도 65는, 도 64의 집광 처리부(38)가 행하는 집광 처리의 예를 설명하는 흐름도이다.

또한, 본 실시 형태에서는, 도 61에서 설명한 바와 같이, 렌즈 정보의 정보량을 삭감하기 위해서, 주목 포커스 위치에 대해서만 렌즈 정보가 생성된다. 그 때문에, 집광 처리는, 포커스 위치가, 렌즈 정보가 생성되었을 때의 주목 포커스 위치로 설정되어 있는 것으로 해서 행하여진다.

단, 렌즈 정보는, Fmax개의 포커스 위치(도 37) 각각에 대하여 미리 생성해 둘 수 있다. 이 경우, 집광 처리부(38)에서는, 주목 포커스 위치를 설정하고, 그 주목 포커스 위치에 대한 렌즈 정보를 사용하여 집광 처리를 행할 수 있다.

또는, 에뮬레이션 렌즈 정보 생성부(37)에서, 집광 처리부(38)에서 주목 포커스 위치를 설정하고 나서, 그 주목 포커스 위치에 대하여 렌즈 정보를 생성할 수 있다.

여기서, 도 65에서는, 광선 회전법에 의한 집광 처리를 행하기로 한다.

스텝 S251 내지 S254에서, 도 56의 스텝 S151 내지 S154와 각각 마찬가지의 처리가 행하여진다.

즉, 실공간 점 선택부(141)는, 스텝 S251에서, 시차 정보 생성부(31)로부터 공급되는 다층 시차 맵을 취득하고, 스텝 S252에서, 기준 화상(HD1)의 화소 중, 아직 주목 화소로 하지 않은 화소의 1개를 주목 화소로 선택한다.

또한, 실공간 점 선택부(141)는, 스텝 S253에서, 시차 정보 생성부(31)로부터의 다층 시차 맵에 등록되어 있는 주목 화소의 시차 중, 아직 주목 시차로 하지 않은 시차의 1개를 주목 시차로 선택하고, 스텝 S254에서, 주목 시차가 있는 주목 화소에 대응하는 실공간 점을, 주목 실공간 점으로 선택한다.

그리고, 처리는, 스텝 S254에서 스텝 S255로 진행되고, 회전 처리부(246)는, 실공간 점 선택부(141)에서 선택된 주목 실공간 점에 대응하는 가상 센서의 화소가, 렌즈 정보 생성 축 상의 화소가 되도록, 가상 센서를 회전할 때의 일치 회전 각도(-ALPHA)를 산출하고, 처리는, 스텝 S256으로 진행된다.

스텝 S256에서는, 회전 처리부(246)가, 에뮬레이션 렌즈의 렌즈 에어리어 유닛 중, 아직, 주목 렌즈 에어리어 유닛으로 하지 않은 렌즈 에어리어 유닛의 1개를, 주목 렌즈 에어리어 유닛으로 선택하고, 처리는, 스텝 S257로 진행된다.

스텝 S257에서는, 회전 처리부(246)는, 입사 광선 재현부(36)로부터 공급되는 광선 중에서 주목 실공간 점으로부터 주목 렌즈 에어리어 유닛을 향하는 광선을 주목 광선으로서 취득하고, 처리는, 스텝 S258로 진행된다.

스텝 S258에서는, 회전 처리부(246)는, 주목 광선을, 스텝 S255에서 산출된 일치 회전 각도(-ALPHA)만큼 광축을 중심으로 해서 회전하고, 회전 후의 주목 광선을 결상값 산출부(242)에 공급하고, 처리는, 스텝 S259로 진행된다.

스텝 S259에서는, 결상값 산출부(242)는, 회전 처리부(246)로부터의 회전 후의 주목 광선이, 주목 실공간 점으로부터 에뮬레이션 렌즈에 도달하는의 여부를 판정한다.

스텝 S259에서, 회전 후의 주목 광선이 에뮬레이션 렌즈에 도달한다고 판정된 경우, 즉, 회전 후의 주목 광선에 할당되어 있는 시차(도 33 내지 도 35에서 설명한 입사 광선 재현 처리에서 할당된 시차)가 주목 시차와 동등한 경우, 처리는, 스텝 S260으로 진행된다.

스텝 S260에서는, 결상값 산출부(242), 스케일 조정부(143), 결상 위치 인식부(244) 및 가산부(245)에서, 에뮬레이션 렌즈에 도달한다고 판정된 회전 후의 주목 광선, 즉, 충돌 판정의 결과 남아있는 주목 광선이 회전된, 회전 후의 주목 광선을 대상으로 해서, 후술하는 광선 가산 처리가 행하여지고, 처리는, 스텝 S261로 진행된다.

한편, 스텝 S259에서, 회전 후의 주목 광선이 에뮬레이션 렌즈에 도달하지 않는다고 판정된 경우, 즉, 회전 후의 주목 광선에 할당되어 있는 시차가, 주목 시차와 동등하지 않은 경우, 처리는, 스텝 S260을 스킵하고, 스텝 S261로 진행된다. 따라서, 회전 후의 주목 광선이 에뮬레이션 렌즈에 도달하지 않는 경우, 그 회전 후의 주목 광선에 대해서는, 광선 가산 처리는 행하여지지 않는다.

스텝 S261 내지 S263에서는, 도 56의 스텝 S159 내지 S161과 마찬가지의 처리가 행하여진다.

즉, 스텝 S261에서는, 회전 처리부(246)가, 에뮬레이션 렌즈의 렌즈 에어리어 유닛 모두를, 주목 렌즈 에어리어 유닛으로 선택했는지 여부를 판정하고, 아직, 에뮬레이션 렌즈의 렌즈 에어리어 유닛 모두를, 주목 렌즈 에어리어 유닛으로 선택하지 않았다고 판정한 경우, 처리는, 스텝 S256으로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S261에서, 에뮬레이션 렌즈의 렌즈 에어리어 유닛 모두를, 주목 렌즈 에어리어 유닛으로 선택했다고 판정된 경우, 처리는, 스텝 S262로 진행되고, 실공간 점 선택부(141)는, 다층 시차 맵에 등록되어 있는 주목 화소의 시차 모두를 주목 시차로 선택했는지 여부를 판정한다.

스텝 S262에서, 아직, 다층 시차 맵에 등록되어 있는 주목 화소의 시차 모두를 주목 시차로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S253으로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S262에서, 다층 시차 맵에 등록되어 있는 주목 화소의 시차 모두를 주목 시차로 선택했다고 판정된 경우, 처리는, 스텝 S263으로 진행되고, 실공간 점 선택부(141)는, 기준 화상(HD1)의 화소 모두를 주목 화소로 선택했는지 여부를 판정한다.

스텝 S263에서, 아직, 기준 화상(HD1)의 화소 모두를 주목 화소로 선택하지 않았다고 판정된 경우, 처리는, 스텝 S252로 복귀되어, 이하, 마찬가지의 처리가 반복된다.

또한, 스텝 S263에서, 기준 화상(HD1)의 화소 모두를 주목 화소로 선택했다고 판정된 경우, 가산부(245)는, 지금까지의 처리에 의해 얻어지는, 가상 센서 상의 결상값의 가산 결과를 화소값으로 하는 화상을 에뮬레이션 화상으로 해서, 표시 장치(13)(도 1)에 공급하고, 집광 처리는 종료된다.

도 66은, 도 65의 스텝 S260에서 행하여지는 광선 가산 처리의 예를 설명하는 흐름도이다.

스텝 S271에서, 결상값 산출부(242)는, 주목 실공간 점에 대응하는 가상 센서의 화소(위치)를 도 65의 스텝 S255에서 산출된 일치 회전 각도(-ALPHA)만큼 회전한 회전 후의 화소에 가장 가까운 정보 점인 대응 정보 점을, 렌즈 정보 생성 축의 정보 점 중에서 검출한다.

또한, 결상값 산출부(242)는, 회전 처리부(246)로부터의 렌즈 정보 생성 축의 정보 점에 대한 렌즈 정보 중에서, 대응 정보 점과 주목 시차에 대응하는 실공간 점에 대한 렌즈 정보를 취득한다.

그리고, 결상값 산출부(242)는, 대응 정보 점과 주목 시차에 대응하는 실공간 점에 대한 렌즈 정보 중, 주목 포커스 위치(f)에 관한 PSF 강도 분포(가 기록된 분포 에어리어) 및 PSF 각도 성분 정보를 사용하여, 회전 처리부(246)로부터의 회전 후의 주목 광선이 도달하는 PSF 강도 분포가 기록된 분포 에리어 상의 위치인 대응 에어리어를 구한다.

또한, 결상값 산출부(242)는, 대응 에어리어의 PSF 강도 분포와, 회전 후의 주목 광선에 할당된 휘도(도 33 내지 도 35에서 설명한 입사 광선 재현 처리에서 할당된 휘도)와의 곱을, 회전 후의 주목 광선의 결상값(의 분포)으로서 구한다.

그리고, 결상값 산출부(242)는, 회전 후의 주목 광선의 결상값이 기록된 분포 에어리어를, 스케일 조정부(143)에 공급하고, 처리는, 스텝 S271에서 스텝 S272로 진행된다.

스텝 S272에서는, 스케일 조정부(143)는, 에뮬레이션 렌즈 정보 생성부(34)로부터의 렌즈 정보 생성 축의 정보 점에 대한 렌즈 정보 중에서, 대응 정보 점과 주목 시차에 대응하는 실공간 점에 대한 렌즈 정보를 취득한다.

그리고, 스케일 조정부(143)는, 대응 정보 점과 주목 시차에 대응하는 실공간 점에 대한 렌즈 정보 중, 주목 포커스 위치(f)에 관한 상면 피치를 사용하여, 결상값 산출부(242)로부터의 결상값의 분포가 기록된 분포 에어리어를 축소 또는 확대함으로써, 그 분포 에어리어의 스케일을, 가상 센서의 스케일과 일치하는 스케일로 조정한다.

또한, 스케일 조정부(143)는, 스케일의 조정 후의 분포 에어리어를, 결상 위치 인식부(244)를 통해서 가산부(245)에 공급하고, 처리는, 스텝 S272에서 스텝 S273으로 진행된다.

스텝 S273에서는, 결상 위치 인식부(244)는, 회전 처리부(246)로부터의 렌즈 정보 생성 축의 정보 점에 대한 렌즈 정보 중에서, 대응 정보 점과 주목 시차에 대응하는 실공간 점에 대한 렌즈 정보를 취득한다.

그리고, 결상 위치 인식부(244)는, 대응 정보 점과 주목 시차에 대응하는 실공간 점에 대한 렌즈 정보 중, 주목 포커스 위치(f)에 관한 상면 시프트 정보와, 회전 처리부(246)가 주목 광선을 회전한 일치 회전 각도(-ALPHA)로부터, 에뮬레이션 렌즈를 통한, 회전 전의 주목 광선이 결상하는 가상 센서 상의 결상 위치인 상면 시프트 위치를 인식하여, 가산부(245)에 공급하고, 처리는, 스텝 S274로 진행된다.

스텝 S274에서는, 가산부(245)는, 스케일 조정부(143)에서 얻어진 스케일의 조정 후의 분포 에어리어와 가상 센서와의 위치 정렬을, 결상 위치 인식부(244)로부터의 상면 시프트 위치에 의해 행한다.

즉, 가산부(245)는, 스케일의 조정 후의 분포 에어리어의 중심점(CP)(도 54)과, 가상 센서의 상면 시프트 위치가 일치하도록, 스케일의 조정 후의 분포 에어리어와 가상 센서와의 위치 정렬을 행한다.

또한, 스텝 S274에서는, 가산부(245)는, 위치 정렬 후의 분포 에어리어(에 기록된 결상값)를 회전 처리부(246)가 주목 광선을 회전했을 때의 일치 회전 각도(-ALPHA)만큼 광축(또는 중심점(CP))을 중심으로 해서 역회전하고, 즉, 일치 회전 각도(+ALPHA)만큼 광축(또는 중심점(CP))을 중심으로 해서 회전하고, 처리는, 스텝 S275로 진행된다.

스텝 S275에서는, 가산부(245)는, 회전 후의 분포 에어리어에 기록된 결상값을, 가상 센서 상에, 그 가상 센서의 화소 단위로 가산한다. 즉, 가산부(245)는, 가상 센서로서의 메모리의 기억값과, 결상값을 가산하고, 그 결과 얻어지는 가산값에 의해 메모리의 기억값을 재기입한다.

이상에 의해, 광선 가산 처리는 종료되고, 처리는 복귀된다.

이상과 같이, 렌즈 정보를, 가상 센서의 평면의 일부의 복수 위치인 복수의 정보 점에 대응하는 실공간 점에 대하여 생성하고, 그 렌즈 정보를 사용하여 집광 처리를 행하는 경우에는, 에뮬레이션 렌즈의 흐려짐 정도나 기타 집광 특성을, 적은 데이터양으로 정확하게 재현할 수 있다.

또한, 본 실시 형태에서는, 렌즈 정보 생성 축으로서, 가상 센서의 중심으로부터 수직 방향으로 연장되는, 가상 센서의 대각의 길이의 1/2의 선분(도 59)을 채용했지만, 렌즈 정보 생성 축으로서는, 가상 센서의 중심으로부터 연장되는 임의의 1축을 채용할 수 있다.

즉, 렌즈 정보 생성 축으로서는, 예를 들어 가상 센서의 중심과, 가상 센서의 대각의 1 화소를 연결하는 선분을 채용할 수 있다.

또한, 복수의 정보 점은, 가상 센서의 중심으로부터 연장되는 렌즈 정보 생성 축을 등분하는 복수의 점에 한정되는 것은 아니다.

즉, 복수의 정보 점으로서는, 예를 들어 가상 센서의 평면의 상 높이가 상이한, 직선 상에 배열하는 복수의 점, 또는 직선 상에 배열되지 않은 복수의 점을 채용할 수 있다. 또한, 복수의 정보 점의 상 높이는, 0부터, 가상 센서의 상 높이의 최댓값까지의 범위에, 골고루 산재해 있는 것이 바람직하다.

도 67은, 광선 회전법에 의한 집광 처리(도 65 및 도 66)를 행하는 경우에, 회전 전의 광선이 결상하는 가상 센서 상의 결상 위치인 상면 시프트 위치를 구하는 방법(도 66의 스텝 S273에서 결상 위치를 인식하는 방법)을 설명하는 도면이다.

여기서, 상면 시프트 위치가, 예를 들어 가상 센서의 좌측 상단의 화소를 원점으로 하고, 가상 센서의 화소 피치를 1로 하는 2차원 좌표계의 좌표(x, y)로 표현되는 것으로 한다.

또한, 상면 시프트 정보는, 상면 시프트 위치의, 광축(가상 센서의 중심)(SO)으로부터의, x 방향 및 y 방향 각각의 거리(마이크로미터)를 나타내는 것으로 한다.

결상 위치 인식부(244)는, 도 66의 스텝 S273에서 설명한 바와 같이, 주목 시차가 있는 대응 정보 점에 대응하는 실공간 점에 대한 상면 시프트 정보와, 회전 처리부(246)가 주목 광선을 회전한 일치 회전 각도(-ALPHA)로부터, 회전 전의 주목 광선이 결상하는 가상 센서 상의 결상 위치인 상면 시프트 위치(이하, 회전 전 상면 시프트 위치라고도 함)를 인식한다.

여기서, 대응 정보 점은, 가상 센서의 중심(SO)으로부터 상측 방향으로 연장되는 센서 정보 생성 축 상의 점이며, 그러한 대응 정보 점과 주목 시차에 대응하는 실공간 점에 대한 상면 시프트 정보(img_height)는, 가상 센서의 중심(SO)으로부터, 그 중심(SO)을 지나서, 수직 방향으로 연장되는 직선 상의 위치(A)까지의 거리를 나타낸다. 위치(A)는, 대응 정보 점과 주목 시차에 대응하는 실공간 점으로부터 발해지는 주 광선이, 에뮬레이션 렌즈를 통해서 도달하는 가상 센서 상의 위치이다.

지금, 가상 센서의 가로 폭(좌측 단부의 화소와 우측 단부의 화소와의 사이의 거리)을 width로 나타냄과 함께, 가상 센서의 화소 피치(인접하는 화소끼리의 거리)를 Sensor_pitch로 나타내기로 한다.

회전 전의 주목 광선이 결상하는 가상 센서 상의 결상 위치인 회전 전 상면 시프트 위치는, 위치(A)를, 주목 광선을 회전했을 때의 일치 회전 각도(-ALPHA)만큼 역회전한 위치, 즉, 일치 회전 각도(+ALPHA)만큼 회전한 위치가 된다.

따라서, 회전 전 상면 시프트 위치의 x 좌표(X)는, 식 X=width/2+(img_height×cos(90°-ALPHA))/Sensor_pitch에 따라서 구할 수 있다.

회전 전 상면 시프트 위치의 y 좌표도 마찬가지로 구할 수 있다.

결상 위치 인식부(244)는, 이상과 같이 하여, 회전 전 상면 시프트 위치(의 x 좌표 및 y 좌표)를 구해서 인식한다.

그리고, 가산부(245)에서는, 이상과 같이, 대응 정보 점과 주목 시차에 대응하는 실공간 점에 대한 상면 시프트 정보(img_height)가 나타내는 위치(상면 시프트 위치)(A)를, 주목 광선을 회전했을 때의 일치 회전 각도(-ALPHA)만큼 역회전함(일치 회전 각도(+ALPHA)만큼 회전함)으로써 얻어지는 회전 전 상면 시프트 위치에 의해, 스케일의 조정 후의 분포 에어리어와 가상 센서와의 위치 정렬이 행하여진다.

즉, 가산부(245)에서는, 스케일의 조정 후의 분포 에어리어의 중심점(CP)(도 54)과, 가상 센서의 회전 전 상면 시프트 위치가 일치하도록, 스케일의 조정 후의 분포 에어리어와 가상 센서와의 위치 정렬이 행하여진다.

또한, 회전 전 상면 시프트 위치는, 이상과 같이, 대응 정보 점과 주목 시차에 대응하는 실공간 점에 대한 상면 시프트 정보(img_height)가 나타내는 위치(상면 시프트 위치)를 회전함으로써 구해지기 때문에, 그 회전에 기인하는 라운딩 오차가 발생한다.

이 라운딩 오차에 의해, 회전 전 상면 시프트 위치의 정밀도가 저하되고, 이 회전 전 상면 시프트 위치의 정밀도의 저하에 기인하여, 집광 처리에서의 에뮬레이션 렌즈의 집광 특성의 재현성이 저하되는 경우가 있다.

그래서, 회전 전 상면 시프트 위치의 정밀도의 저하를 억제하기 위해서, 상면 시프트 정보(가 나타내는 상면 시프트 위치)에 대해서는, 보간을 행할 수 있다.

상면 시프트 정보(가 나타내는 상면 시프트 위치)의 보간에는, 정보 점의 배열 방향(광축과 수직인 방향)(상 높이의 방향)의 보간과, 시차 방향의 보간이 있다.

도 68은, 상면 시프트 정보(가 나타내는 상면 시프트 위치)의, 정보 점의 배열 방향의 보간을 설명하는 도면이다.

광선 회전법에 의한 집광 처리는, 주목 실공간 점에 대응하는 가상 센서의 화소(위치)를, 일치 회전 각도(-ALPHA)만큼 회전한 회전 후의 화소(위치)에 가장 가까운 정보 점인 대응 정보 점과 주목 시차에 대응하는 실공간 점에 대한 렌즈 정보(이하, 간단히, 대응 정보 점에 대한 렌즈 정보라고도 함)를 사용해서 행하여진다.

도 68에서는, 주목 실공간 점에 대응하는 가상 센서의 화소(위치)(pp)를, 일치 회전 각도(-ALPHA)만큼 회전한 회전 후의 화소(위치)(pp')가, 인접하는 정보 점 A와 B의 사이에 있고, 그 회전 후의 화소(pp')에 가장 가까운 정보 점인 대응 정보 점이, 정보 점(B)으로 되어 있다.

이 경우, 정보 점의 배열 방향의 보간으로서는, 회전 후의 화소(pp')를 사이에 두는 정보 점(A 및 B) 각각에 대한 상면 시프트 위치(ih1 및 ih2)를 사용한 보간이, 예를 들어 회전 후의 화소(pp')로부터 정보 점(A 및 B) 각각까지의 거리(a 및 b)의 비에 따라서 행하여진다.

즉, 정보 점의 배열 방향의 보간에서는, 예를 들어 식 ih=(ih1×b+ih2×a)/(a+b)에 따라, 정보 점의 배열 방향의 보간값으로서의 상면 시프트 위치(ih)가 구해진다.

그리고, 대응 정보 점인 정보 점(B)에 대한 상면 시프트 위치(ih2) 대신에, 정보 점의 배열 방향의 보간값으로서의 상면 시프트 위치(ih)를 사용하여, 주목 실공간 점으로부터 발해지는 광선의 결상값의 위치 정렬이 행하여진다.

도 69는, 상면 시프트 정보(가 나타내는 상면 시프트 위치)의, 시차 방향의 보간을 설명하는 도면이다.

본 실시 형태에서는, 도 6에서 설명한 바와 같이, 시차를, 예를 들어 1/4 화소의 정밀도로 구하고, 그 1/4 화소의 정밀도의 시차를 정수화해서 사용하는 것으로 하고 있다.

그 때문에, 예를 들어 도 32 등에서는, 시차 맵에 등록할 수 있는 시차(d)를, 최솟값(Dmin)에서부터 최댓값(Dmax)까지의, 1 화소 단위의 DPN=Dmax-Dmin+1개의 정수 값으로 했지만, 시차 맵에는, 1/4 화소의 정밀도의 시차를 등록해 두고, 시차 맵에 등록되어 있는 시차를 사용할 때, 그 시차를 정수화할 수 있다.

이상과 같이, 시차 맵에, 1/4 화소의 정밀도 등의 화소 이하 정밀도의 시차가 등록되어 있는 경우, 상면 시프트 정보의, 시차 방향의 보간은, 시차 맵에 등록되어 있는 화소 이하 정밀도의 시차를, 정수화하지 않고 그대로 사용해서 행할 수 있다.

예를 들어, 지금, 시차 맵에, 1/4 화소의 정밀도의 시차가 등록되어 있는 것으로 한다.

도 61의 에뮬레이션 렌즈 정보 생성 처리에서는, 주목 정보 점 및 주목 시차에 대응하는 주목 실공간 점에 대한 렌즈 정보로서의 상면 시프트 정보(가 나타내는 상면 시프트 위치)가 시차 맵에 등록될 수 있는 시차를, 주목 시차로 선택해서 구해진다.

이 에뮬레이션 렌즈 정보 생성 처리에서 주목 시차로 선택되는, 시차 맵에 등록될 수 있는 시차로서는, 최솟값(Dmin)에서부터 최댓값(Dmax)까지의, 1 화소 단위의 DPN=Dmax-Dmin+1개의 정수 값이 사용된다.

따라서, 에뮬레이션 렌즈 정보 생성 처리에서는, 정수 값의 시차에 대하여 상면 시프트 위치가 구해진다.

도 69에서는, 어떤 정수 값의 시차(D) 다음으로 큰 시차가, 정수 값(D+1)으로 되어 있다. 그리고, 정수 값의 시차(D)에 대하여 상면 시프트 위치(ih1)가 구해지고, 다음으로 큰 정수 값의 시차(D+1)에 대하여 상면 시프트 위치(ih2)가 구해져 있다.

한편, 도 65의 집광 처리에서는, 기준 화상에서 선택된 주목 화소의 시차로서, 시차 맵에 등록되어 있는 시차 중에서 주목 시차가 선택된다(스텝 S253).

이 경우, 시차 맵에 등록되어 있는 시차는, 정수화되어, 주목 시차로 선택된다.

그리고, 집광 처리에서는, 대응 정보 점 및 주목 시차에 대응하는 실공간 점에 대한 렌즈 정보를 사용하여, 광선 가산 처리(도 66)가 행하여진다.

이 광선 가산 처리에서 사용되는 렌즈 정보 중, 상면 시프트 정보(가 나타내는 상면 시프트 위치)에 대해서는, 시차 맵에 등록되어 있는 시차를 정수화하지 않고 사용해서, 시차 방향의 보간을 행할 수 있다.

즉, 도 69에서는, 대응 정보 점 및 주목 시차에 대응하는 실공간 점의 시차(주목 시차)가 1/4 화소의 정밀도의 시차인 D+0.75로 되어 있다.

여기서, 시차 맵에 등록되어 있는 시차가, 1/4 화소의 정밀도의 시차인 경우, 정수 값의 시차(D)에서부터, 다음 정수 값의 시차(D+1)까지의 사이의, 1/4 화소의 정밀도의 시차로서는, D+0.25, D+0.5, D+0.75가 있다.

시차 맵에 등록되어 있는 시차를 정수화해서 사용하는 경우에, 그 정수화를, 예를 들어 소수점 이하의 버림에 의해 행하기로 하면, 주목 시차가, D, D+0.25, D+0.5 또는 D+0.75인 경우에는, 어떤 경우든, 정수 값(D)으로 정수화된다.

그리고, 정수 값(D)으로 정수화된 주목 시차에 대한 상면 시프트 위치(ih1)를 사용하여, 광선 가산 처리(도 66)가 행하여진다.

시차 방향의 보간으로서는, 정수화하지 않은 주목 시차(D+0.75)를 사이에 두는 정수 값의 시차(D 및 D+1) 각각에 대한 상면 시프트 위치(ih1 및 ih2)를 사용한 보간이, 주목 시차(D+0.75)에서부터 정수 값의 시차(D 및 D+1) 각각까지의 거리(0.75 및 0.25)의 비에 따라서 행하여진다.

즉, 시차 방향의 보간에서는, 식 ih=ih1×0.25+ih2×0.75에 따라, 시차 방향의 보간값으로서의 상면 시프트 위치(ih)가 구해진다.

그리고, 정수 값(D)으로 정수화된 주목 시차에 대한 상면 시프트 위치(ih1) 대신에, 시차 방향의 보간값으로서의 상면 시프트 위치(ih)를 사용하여, 광선 가산 처리(중, 광선의 결상값의 위치 정렬)가 행하여진다.

이상과 같은, 상면 시프트 정보(가 나타내는 상면 시프트 위치)의 보간을 행하는 경우에는, 집광 처리에서의 에뮬레이션 렌즈의 집광 특성의 재현성을 향상시킬 수 있다.

또한, 상면 시프트 정보에 대해서는, 정보 점의 배열 방향의 보간 및 시차 방향의 보간 중 한쪽만을 행할 수도 있고, 양쪽을 행할 수도 있다.

<에뮬레이션 결과>

도 70은, 렌즈 에뮬레이션부(35)(도 3)에 의한 렌즈 에뮬레이션 처리의 결과 얻어지는 에뮬레이션 화상의 예를 나타내는 도이다.

도 70은, 물체(obj1)의 전방측에, 막대 형상의 물체(obj2)가 배치되어 있는 실공간을 촬영한 촬영 화상으로부터 얻어진 에뮬레이션 화상을 나타내고 있다.

에뮬레이션 화상에 의하면, 물체(obj1)의, 막대 형상의 물체(obj2)에 의해 가려져 있는 부분이 발하는 광선이, 물체(obj2)에 충돌해서 보이지 않게 되어 있는 것을 확인할 수 있다.

도 71은, 렌즈 에뮬레이션부(35)에 의한 렌즈 에뮬레이션 처리의 결과 얻어지는 에뮬레이션 화상의 다른 예를 나타내는 도이다.

또한, 도 71의 에뮬레이션 화상은, 도 70과 마찬가지로, 물체(obj1)의 전방측에, 막대 형상의 물체(obj2)가 배치되어 있는 실공간을 촬영한 촬영 화상으로부터 얻어진 에뮬레이션 화상이다.

도 71의 A는, 상면 시프트 위치로서, 주 광선이 에뮬레이션 렌즈를 통해서 도달하는 가상 센서 상의 위치가 아니라, 주 광선이 가상 렌즈를 통해서 도달하는 가상 센서 상의 위치를 채용한 경우의 에뮬레이션 화상을 나타내고 있다.

집광 처리에 있어서, 상면 시프트 위치로서, 주 광선이 에뮬레이션 렌즈를 통해서 도달하는 가상 센서 상의 위치가 아니라, 주 광선이 가상 렌즈를 통해서 도달하는 가상 센서 상의 위치를 채용한 경우, 광선의 결상값을 가산하는 가상 센서의 위치에, 가상 렌즈와 에뮬레이션 렌즈와의 입력 퓨필의 위치 어긋남에 기인하는 오차가 발생한다. 그 때문에, 도 71의 A에서는, 에뮬레이션 화상에 있어서, 안쪽측의 물체(obj1) 중, 막대 형상의 물체(obj2)에 의해 가려져 보이지 않을 부분이, 보이고 있다.

도 71의 B는, 상면 시프트 정보의 보간을 행하지 않은 경우의 에뮬레이션 화상을 나타내고 있다.

도 71의 B에서는, 상면 시프트 정보(가 나타내는 상면 시프트 위치)의 회전에 기인하는 라운딩 오차의 영향에 의해, 막대 형상의 물체(obj2)의 윤곽을 형성하는 수직 방향으로 연장되는 선분이, 울퉁불퉁하게 되어 있는 것을 확인할 수 있다.

상면 시프트 위치로서, 주 광선이 에뮬레이션 렌즈를 통해서 도달하는 가상 센서 상의 위치를 채용하는 것이나, 상면 시프트 정보의 보간을 행함으로써, 에뮬레이션 화상에 있어서, 도 71에 나타낸 증상이 발생하는 것을 방지할 수 있다.

<본 기술을 적용한 컴퓨터의 설명>

이어서, 상술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.

도 72는, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도이다.

프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(405)나 ROM(403)에 미리 기록해 둘 수 있다.

또한, 프로그램은, 리무버블 기록 매체(411)에 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체(411)는, 소위 패키지 소프트웨어로서 제공할 수 있다. 여기서, 리무버블 기록 매체(411)로서는, 예를 들어 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.

또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(411)로부터 컴퓨터에 인스톨하는 것 외에, 통신망이나 방송망을 통해서 컴퓨터에 다운로드하여, 내장한 하드 디스크(405)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들어 다운로드 사이트로부터, 디지털 위성 방송용 인공위성을 통해서, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통해서, 컴퓨터에 유선으로 전송할 수 있다.

컴퓨터는, CPU(Central Processing Unit)(402)를 내장하고 있고, CPU(402)에는, 버스(401)를 통해서 입출력 인터페이스(410)가 접속되어 있다.

CPU(402)는, 입출력 인터페이스(410)를 통해서, 유저에 의해, 입력부(407)가 조작되거나 함으로써 명령이 입력되면, 그것에 따라서, ROM(Read Only Memory)(403)에 저장되어 있는 프로그램을 실행한다. 또는, CPU(402)는, 하드 디스크(405)에 저장된 프로그램을, RAM(Random Access Memory)(404)에 로드해서 실행한다.

이에 의해, CPU(402)는, 상술한 흐름도에 따른 처리, 또는 상술한 블록도의 구성에 의해 행하여지는 처리를 행한다. 그리고, CPU(402)는, 그 처리 결과를, 필요에 따라, 예를 들어 입출력 인터페이스(410)를 통해서, 출력부(406)로부터 출력, 또는, 통신부(408)로부터 송신, 나아가, 하드 디스크(405)에 기록 등을 시킨다.

또한, 입력부(407)는, 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(406)는, LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.

여기서, 본 명세서에서, 컴퓨터가 프로그램에 따라서 행하는 처리는, 반드시 흐름도로서 기재된 순서에 따라서 시계열로 행하여질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라서 행하는 처리는, 병렬적 또는 개별로 실행되는 처리(예를 들어, 병렬 처리 또는 오브젝트에 의한 처리)도 포함한다.

또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 먼 곳의 컴퓨터에 전송되어 실행되는 것이어도 된다.

또한, 본 명세서에서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 상관없다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해서 접속되어 있는 복수의 장치 및 1개의 하우징 내에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두, 시스템이다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

예를 들어, 본 기술은, 1개의 기능을 네트워크를 통해서 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 1개의 장치에서 실행하는 것 외에, 복수의 장치에서 분담해서 실행할 수 있다.

또한, 1개의 스텝에 복수의 처리가 포함되는 경우에는, 그 1개의 스텝에 포함되는 복수의 처리는, 1개의 장치에서 실행하는 것 외에, 복수의 장치에서 분담해서 실행할 수 있다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시로서, 한정되는 것은 아니며, 다른 효과가 있어도 된다.

또한, 본 기술은, 이하와 같은 구성을 취할 수 있다.

<1> 실공간 내의 실공간 점으로부터, 복수의 시점의 화상을 촬영하는 복수의 촬영부를 합성 개구로 하는 가상 렌즈에 입사하는 광선을 재현하는 광선 재현부와,

상기 광선 재현부에서 재현된 상기 광선이 에뮬레이션 대상의 에뮬레이션 렌즈를 통해서 가상 센서 상에 집광하는 위치의 위치 정렬을, 상기 실공간 점으로부터 발해지는 주 광선이 상기 에뮬레이션 렌즈를 통해서 도달하는 상기 가상 센서 상의 위치인 상면 시프트 위치에 의해 행하고,

상기 광선을, 상기 가상 센서 상에 집광하는

집광 처리를 행하는 집광 처리부

를 구비하는 화상 처리 장치.

<2> 상기 집광 처리부는, 상기 광선이 상기 에뮬레이션 렌즈를 통해서 상기 가상 센서에 결상할 때의 결상값을, 상기 가상 센서 상에 가산하는 상기 집광 처리를 행하는, <1>에 기재된 화상 처리 장치.

<3> 상기 집광 처리부는, 상기 상면 시프트 위치에 의해, 상기 결상값을 가산하는 상기 가상 센서 상의 위치의 위치 정렬을 행하는 상기 집광 처리를 행하는, <2>에 기재된 화상 처리 장치.

<4> 상기 집광 처리부는, 상기 광선과, 상기 에뮬레이션 렌즈의, 점 광원에 대한 응답을 나타내는 PSF(Point Spread Function) 강도 분포를 사용하여, 상기 결상값을 구하는, <3>에 기재된 화상 처리 장치.

<5> 상기 집광 처리부는, 상기 광선이 도달하는 상기 PSF 강도 분포의 위치를 특정하고, 상기 광선이 도달하는 상기 PSF 강도 분포의 위치에서의 상기 PSF 강도 분포와, 상기 광선의 휘도와의 곱을, 상기 광선의 결상값으로서 구하는, <4>에 기재된 화상 처리 장치.

<6> 상기 집광 처리부는, 상기 PSF 강도 분포와, 상기 광선의 휘도와의 곱으로 구해지는 상기 광선의 결상값의 분포의 스케일을, 상기 가상 센서의 스케일에 일치시키고, 상기 결상값을, 상기 가상 센서 상에 가산하는, <5>에 기재된 화상 처리 장치.

<7> 상기 광선 재현부는, 상기 복수의 시점의 화상을 사용하여, 상기 가상 렌즈에 입사하는 광선에 휘도를 할당하는, <2> 내지 <6> 중 어느 하나에 기재된 화상 처리 장치.

<8> 상기 광선 재현부는, 상기 광선이 상기 가상 렌즈에 입사할 때까지 물체에 충돌하는지를 판정하는 충돌 판정의 결과 남은 광선에 휘도를 할당하는, <2> 내지 <7> 중 어느 하나에 기재된 화상 처리 장치.

<9> 상기 집광 처리부는, 상기 에뮬레이션 렌즈를 통과하는 광선을 규정하는 렌즈 정보를 사용하여, 상기 집광 처리를 행하는, <2> 내지 <8> 중 어느 하나에 기재된 화상 처리 장치.

<10> 상기 집광 처리부는, 상기 상면 시프트 위치를 나타내는 상면 시프트 정보를, 상기 렌즈 정보로서 사용하여, 상기 위치 정렬을 행하는, <9>에 기재된 화상 처리 장치.

<11> 상기 집광 처리부는, 상기 에뮬레이션 렌즈의, 점 광원에 대한 응답을 나타내는 PSF(Point Spread Function) 강도 분포를, 상기 렌즈 정보로서 사용하여, 상기 결상값을 구하는, <9>에 기재된 화상 처리 장치.

<12> 상기 집광 처리부는, 상기 광선이 도달하는 상기 PSF 강도 분포의 위치를 나타내는 PSF 각도 성분 정보를, 상기 렌즈 정보로서 사용하여, 상기 PSF 각도 성분 정보가 나타내는 상기 PSF 강도 분포의 위치에서의 상기 PSF 강도 분포와, 상기 광선의 휘도와의 곱을, 상기 결상값으로서 구하는, <11>에 기재된 화상 처리 장치.

<13> 상기 집광 처리부는, 상기 PSF 강도 분포의 스케일을 나타내는 상면 피치를, 상기 렌즈 정보로서 사용하여, 상기 상면 피치와, 상기 가상 센서의 화소의 스케일을 나타내는 화소 피치에 기초하여, 상기 PSF 강도 분포와 상기 광선의 휘도와의 곱으로 구해지는 상기 광선의 결상값의 분포의 스케일을, 상기 가상 센서의 스케일에 일치시키고, 상기 결상값을, 상기 가상 센서 상에 가산하는, <12>에 기재된 화상 처리 장치.

<14> 상기 집광 처리부는, 상기 가상 센서의 평면의 일부의 복수 위치인 복수의 정보 점에 대응하는 실공간 점에 대하여 생성된, 상기 에뮬레이션 렌즈를 통과하는 광선을 규정하는 렌즈 정보를 사용하여, 상기 집광 처리를 행하는, <1> 내지 <13> 중 어느 하나에 기재된 화상 처리 장치.

<15> 상기 집광 처리부는, 상기 가상 센서의 중심으로부터 연장되는 소정의 1축인 렌즈 정보 생성 축 상의 상기 복수의 정보 점에 대응하는 실공간 점에 대한 상기 렌즈 정보를 사용하여, 상기 집광 처리를 행하는, <14>에 기재된 화상 처리 장치.

<16> 상기 집광 처리부는, 상기 실공간 점에 대응하는 상기 가상 센서의 화소가, 상기 렌즈 정보 생성 축 상에 위치하도록, 상기 가상 센서의 화소, 또는 상기 렌즈 정보 생성 축을, 상기 가상 센서의 중심을 중심으로 해서 회전할 때의 회전 각도만큼, 상기 실공간 점으로부터 발해지는 광선, 또는 상기 렌즈 정보 생성 축의 렌즈 정보를 회전하여, 상기 집광 처리를 행하는, <15>에 기재된 화상 처리 장치.

<17> 상기 집광 처리부는, 상기 가상 센서의 화소, 또는 상기 렌즈 정보 생성 축을, 상기 회전 각도만큼 회전했을 때의, 상기 가상 센서의 화소에 대응하는 상기 정보 점에 대응하는 실공간 점에 대한 상기 렌즈 정보를 사용하여, 상기 집광 처리를 행하는, <16>에 기재된 화상 처리 장치.

<18> 상기 렌즈 정보는, 상기 상면 시프트 위치를 나타내는 상면 시프트 정보를 포함하고,

상기 집광 처리부는, 상기 상면 시프트 위치를, 상기 회전 각도만큼 역회전한 위치에 의해, 상기 위치 정렬을 행하는, <17>에 기재된 화상 처리 장치.

<19> 상기 집광 처리부는, 상기 렌즈 정보에 포함되는 상기 상면 시프트 정보를 사용한 보간에 의해 얻어지는 상기 상면 시프트 위치를 사용하여, 상기 집광 처리를 행하는, <18>에 기재된 화상 처리 장치.

<20> 실공간 내의 실공간 점으로부터, 복수의 시점의 화상을 촬영하는 복수의 촬영부를 합성 개구로 하는 가상 렌즈에 입사하는 광선을 재현하는 것과,

상기 광선이 에뮬레이션 대상의 에뮬레이션 렌즈를 통해서 가상 센서 상에 집광하는 위치의 위치 정렬을, 상기 실공간 점으로부터 발해지는 주 광선이 상기 에뮬레이션 렌즈를 통해서 도달하는 상기 가상 센서 상의 위치인 상면 시프트 위치에 의해 행하고,

상기 광선을, 상기 가상 센서 상에 집광하는

집광 처리를 행하는 것

을 포함하는 화상 처리 방법.

11 : 촬영 장치 12 : 화상 처리 장치
13 : 표시 장치 21₁ 내지 21₇ : 카메라 유닛
31 : 시차 정보 생성부 32 : 캘리브레이션 데이터 취득부
33 : 포화 화소 복원부 34 : 렌즈 설계 데이터 취득부
35 : 렌즈 에뮬레이션부 36 : 입사 광선 재현부
37 : 에뮬레이션 렌즈 정보 생성부 38 : 집광 처리부
41 : 기준 시차 맵 생성부 42 : 다층 시차 맵 생성부
51 : 포화 판정부 52 : 복원부
61 : 표준 휘도 촬영 화상 생성부 62 : 저휘도 촬영 화상 생성부
71 : 시차 정보 취득부 72 : 표준 휘도 촬영 화상 생성부
73 : 저휘도 촬영 화상 생성부 74 : 포화 판정부
75 : 복원부 101 : 실공간 점 선택부
102 : 광선 생성부 103 : 충돌 판정부
104 : 휘도 할당부 131 : 실공간 점 선택부
132 : 정보 산출부 133 : 포커스 위치 선택부
141 : 실공간 점 선택부 142 : 결상값 산출부
143 : 스케일 조정부 144 : 결상 위치 인식부
145 : 가산부 231 : 실공간 점 선택부
242 : 결상값 산출부 244 : 결상 위치 인식부
245 : 가산부 246 : 회전 처리부
401 : 버스 402 : CPU
403 : ROM 404 : RAM
405 : 하드 디스크 406 : 출력부
407 : 입력부 408 : 통신부
409 : 드라이브 410 : 입출력 인터페이스
411 : 리무버블 기록 매체

Claims (20)

1. 실공간 내의 실공간 점으로부터, 복수의 시점의 화상을 촬영하는 복수의 촬영부를 합성 개구로 하는 가상 렌즈에 입사하는 광선을 재현하는 광선 재현부와,
   상기 광선 재현부에서 재현된 상기 광선이 에뮬레이션 대상의 에뮬레이션 렌즈를 통해서 가상 센서 상에 집광하는 위치의 위치 정렬을, 상기 실공간 점으로부터 발해지는 주 광선이 상기 에뮬레이션 렌즈를 통해서 도달하는 상기 가상 센서 상의 위치인 상면 시프트 위치에 의해 행하고,
   상기 광선을, 상기 가상 센서 상에 집광하는
   집광 처리를 행하는 집광 처리부
   를 구비하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 집광 처리부는, 상기 광선이 상기 에뮬레이션 렌즈를 통해서 상기 가상 센서에 결상할 때의 결상값을, 상기 가상 센서 상에 가산하는 상기 집광 처리를 행하는, 화상 처리 장치.
3. 제2항에 있어서,
   상기 집광 처리부는, 상기 상면 시프트 위치에 의해, 상기 결상값을 가산하는 상기 가상 센서 상의 위치의 위치 정렬을 행하는 상기 집광 처리를 행하는, 화상 처리 장치.
4. 제3항에 있어서,
   상기 집광 처리부는, 상기 광선과, 상기 에뮬레이션 렌즈의, 점 광원에 대한 응답을 나타내는 PSF(Point Spread Function) 강도 분포를 사용하여, 상기 결상값을 구하는, 화상 처리 장치.
5. 제4항에 있어서,
   상기 집광 처리부는, 상기 광선이 도달하는 상기 PSF 강도 분포의 위치를 특정하고, 상기 광선이 도달하는 상기 PSF 강도 분포의 위치에서의 상기 PSF 강도 분포와, 상기 광선의 휘도와의 곱을, 상기 광선의 결상값으로서 구하는, 화상 처리 장치.
6. 제5항에 있어서,
   상기 집광 처리부는, 상기 PSF 강도 분포와, 상기 광선의 휘도와의 곱으로 구해지는 상기 광선의 결상값의 분포의 스케일을, 상기 가상 센서의 스케일에 일치시키고, 상기 결상값을, 상기 가상 센서 상에 가산하는, 화상 처리 장치.
7. 제2항에 있어서,
   상기 광선 재현부는, 상기 복수의 시점의 화상을 사용하여, 상기 가상 렌즈에 입사하는 광선에 휘도를 할당하는, 화상 처리 장치.
8. 제2항에 있어서,
   상기 광선 재현부는, 상기 광선이 상기 가상 렌즈에 입사할 때까지 물체에 충돌하는지를 판정하는 충돌 판정의 결과 남은 광선에 휘도를 할당하는, 화상 처리 장치.
9. 제2항에 있어서,
   상기 집광 처리부는, 상기 에뮬레이션 렌즈를 통과하는 광선을 규정하는 렌즈 정보를 사용하여, 상기 집광 처리를 행하는, 화상 처리 장치.
10. 제9항에 있어서,
    상기 집광 처리부는, 상기 상면 시프트 위치를 나타내는 상면 시프트 정보를, 상기 렌즈 정보로서 사용하여, 상기 위치 정렬을 행하는, 화상 처리 장치.
11. 제9항에 있어서,
    상기 집광 처리부는, 상기 에뮬레이션 렌즈의, 점 광원에 대한 응답을 나타내는 PSF(Point Spread Function) 강도 분포를, 상기 렌즈 정보로서 사용하여, 상기 결상값을 구하는, 화상 처리 장치.
12. 제11항에 있어서,
    상기 집광 처리부는, 상기 광선이 도달하는 상기 PSF 강도 분포의 위치를 나타내는 PSF 각도 성분 정보를, 상기 렌즈 정보로서 사용하여, 상기 PSF 각도 성분 정보가 나타내는 상기 PSF 강도 분포의 위치에서의 상기 PSF 강도 분포와, 상기 광선의 휘도와의 곱을, 상기 결상값으로서 구하는, 화상 처리 장치.
13. 제12항에 있어서,
    상기 집광 처리부는, 상기 PSF 강도 분포의 스케일을 나타내는 상면 피치를, 상기 렌즈 정보로서 사용하여, 상기 상면 피치와, 상기 가상 센서의 화소의 스케일을 나타내는 화소 피치에 기초하여, 상기 PSF 강도 분포와 상기 광선의 휘도와의 곱으로 구해지는 상기 광선의 결상값의 분포의 스케일을, 상기 가상 센서의 스케일에 일치시키고, 상기 결상값을, 상기 가상 센서 상에 가산하는, 화상 처리 장치.
14. 제1항에 있어서,
    상기 집광 처리부는, 상기 가상 센서의 평면의 일부의 복수 위치인 복수의 정보 점에 대응하는 실공간 점에 대하여 생성된, 상기 에뮬레이션 렌즈를 통과하는 광선을 규정하는 렌즈 정보를 사용하여, 상기 집광 처리를 행하는, 화상 처리 장치.
15. 제14항에 있어서,
    상기 집광 처리부는, 상기 가상 센서의 중심으로부터 연장되는 소정의 1축인 렌즈 정보 생성 축 상의 상기 복수의 정보 점에 대응하는 실공간 점에 대한 상기 렌즈 정보를 사용하여, 상기 집광 처리를 행하는, 화상 처리 장치.
16. 제15항에 있어서,
    상기 집광 처리부는, 상기 실공간 점에 대응하는 상기 가상 센서의 화소가, 상기 렌즈 정보 생성 축 상에 위치하도록, 상기 가상 센서의 화소, 또는 상기 렌즈 정보 생성 축을, 상기 가상 센서의 중심을 중심으로 해서 회전할 때의 회전 각도만큼, 상기 실공간 점으로부터 발해지는 광선, 또는 상기 렌즈 정보 생성 축의 렌즈 정보를 회전하여, 상기 집광 처리를 행하는, 화상 처리 장치.
17. 제16항에 있어서,
    상기 집광 처리부는, 상기 가상 센서의 화소, 또는 상기 렌즈 정보 생성 축을, 상기 회전 각도만큼 회전했을 때의, 상기 가상 센서의 화소에 대응하는 상기 정보 점에 대응하는 실공간 점에 대한 상기 렌즈 정보를 사용하여, 상기 집광 처리를 행하는, 화상 처리 장치.
18. 제17항에 있어서,
    상기 렌즈 정보는, 상기 상면 시프트 위치를 나타내는 상면 시프트 정보를 포함하고,
    상기 집광 처리부는, 상기 상면 시프트 위치를, 상기 회전 각도만큼 역회전한 위치에 의해, 상기 위치 정렬을 행하는, 화상 처리 장치.
19. 제18항에 있어서,
    상기 집광 처리부는, 상기 렌즈 정보에 포함되는 상기 상면 시프트 정보를 사용한 보간에 의해 얻어지는 상기 상면 시프트 위치를 사용하여, 상기 집광 처리를 행하는, 화상 처리 장치.
20. 실공간 내의 실공간 점으로부터, 복수의 시점의 화상을 촬영하는 복수의 촬영부를 합성 개구로 하는 가상 렌즈에 입사하는 광선을 재현하는 것과,
    상기 광선이 에뮬레이션 대상의 에뮬레이션 렌즈를 통해서 가상 센서 상에 집광하는 위치의 위치 정렬을, 상기 실공간 점으로부터 발해지는 주 광선이 상기 에뮬레이션 렌즈를 통해서 도달하는 상기 가상 센서 상의 위치인 상면 시프트 위치에 의해 행하고,
    상기 광선을, 상기 가상 센서 상에 집광하는
    집광 처리를 행하는 것
    을 포함하는 화상 처리 방법.

Images