KR20200064999A - 정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈 - Google Patents

Abstract

본 기술은, 복수의 시점의 화상을, 용이하게 얻을 수 있도록 하는 정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈에 관한 것이다. 통신부는, 광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈를 갖는 교환 렌즈가 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 수신한다. 기준 위치 산출부는, 기지 기준 위치에 기초하여, 이미지 센서로 촬영되는 다른 촬상 화상 위의 개안 렌즈에 대한 개안 화상 위의 소정의 광선에 대응하는 위치인 미지 기준 위치를 구한다. 본 기술은, 예를 들어 화상을 촬상하는 카메라 시스템 등에 적용할 수 있다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈

본 기술은, 정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈에 관한 것으로, 특히, 예를 들어 복수의 시점의 화상을 용이하게 얻을 수 있도록 하는 정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈에 관한 것이다.

복수의 시점의 화상으로부터, 예를 들어 리포커스를 행한 화상, 즉, 광학계의 포커스를 변경하여 촬상을 행한 것과 같은 화상 등을 재구성하는 라이트 필드 기술이 제안되어 있다(예를 들어, 비특허문헌 1을 참조).

예를 들어, 비특허문헌 1에는, 100대의 카메라로 이루어지는 카메라 어레이를 사용한 리포커스의 방법이 기재되어 있다.

Bennett Wilburn 외, "High Performance Imaging Using Large Camera Arrays"

리포커스 등의 특정한 화상 처리를 행하는 데 있어서는, 복수의 시점의 화상이 필요해진다.

본 기술은, 이와 같은 상황을 감안하여 이루어진 것으로, 복수의 시점의 화상을 용이하게 얻을 수 있도록 하는 것이다.

본 기술의 정보 처리 장치 또는 프로그램은, 광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안(個眼) 렌즈를 갖는 교환 렌즈가 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 수신하는 통신부와, 상기 기지 기준 위치에 기초하여, 상기 이미지 센서로 촬상되는 다른 촬상 화상 위의 상기 개안 렌즈에 대한 상기 개안 화상 위의 상기 소정의 광선에 대응하는 위치인 미지 기준 위치를 구하는 기준 위치 산출부를 구비하는 정보 처리 장치 또는 그와 같은 정보 처리 장치로서 컴퓨터를 기능시키기 위한 프로그램이다.

본 기술의 정보 처리 방법은, 정보 처리 장치가, 광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈를 갖는 교환 렌즈가 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 수신하는 것과, 상기 기지 기준 위치에 기초하여, 상기 이미지 센서로 촬상되는 다른 촬상 화상 위의 상기 개안 렌즈에 대한 상기 개안 화상 위의 상기 소정의 광선에 대응하는 위치인 미지 기준 위치를 구하는 것을 포함하는 정보 처리 방법이다.

본 기술의 정보 처리 장치, 정보 처리 방법 및 프로그램에 있어서는, 광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈를 갖는 교환 렌즈가 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치가 수신된다. 그리고, 상기 기지 기준 위치에 기초하여, 상기 이미지 센서로 촬상되는 다른 촬상 화상 위의 상기 개안 렌즈에 대한 상기 개안 화상 위의 상기 소정의 광선에 대응하는 위치인 미지 기준 위치가 구해진다.

본 기술의 교환 렌즈는, 광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈와, 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 기억하는 기억부와, 상기 기지 기준 위치를 외부로 송신하는 통신부를 구비하는 교환 렌즈이다.

본 기술의 교환 렌즈에 있어서는, 복수의 개안 렌즈가, 광축 방향으로 겹치지 않도록 배치되어 있다. 또한, 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치가 기억되고, 상기 기지 기준 위치가 외부로 송신된다.

또한, 정보 처리 장치는, 독립된 장치여도 되고, 1개의 장치를 구성하고 있는 내부 블록이어도 된다.

또한, 프로그램은, 전송 매체를 통해 전송함으로써, 또는 기록 매체에 기록하여, 제공할 수 있다.

본 기술에 의하면, 복수의 시점의 화상을 용이하게 얻을 수 있다.

또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어느 효과여도 된다.

도 1은 본 기술을 적용한 카메라 시스템의 제1 실시 형태의 구성예를 도시하는 사시도다.
도 2는 카메라 본체(10)의 배면의 구성예를 도시하는 배면도다.
도 3은 카메라 시스템의 전기적 구성예를 도시하는 블록도다.
도 4는 다안 교환 렌즈(20)를 사용하여 행해지는 촬상 화상의 촬상의 개요를 설명하는 도면이다.
도 5는 다안 교환 렌즈(20)에 있어서의 개안 렌즈(31₀ 내지 31₄), 그리고 광원(32L 및 32R)의 배치와, 그 다안 교환 렌즈(20)를 사용하여 촬상되는 촬상 화상의 예를 도시하는 도면이다.
도 6은 다안 교환 렌즈(20)를 카메라 본체(10)에 설치할(장착할) 때의 설치 오차를 설명하는 도면이다.
도 7은 미지 기준 위치로서의 상대 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')를 구하는 제1 산출 방법을 설명하는 도면이다.
도 8은 미지 기준 위치 (dx1',dy1') 내지 (dx4',dy4')을, 제1 산출 방법에 의해 구하는 경우의 기지 기준 위치 등 취득 처리의 예를 설명하는 흐름도다.
도 9는 미지 기준 위치 (dx1',dy1') 내지 (dx4',dy4') 등을, 제1 산출 방법에 의해 구하는 미지 기준 위치 산출 처리의 예를 설명하는 흐름도다.
도 10은 영역 특정부(52)가 행하는, 미지 촬상 화상 위의 각 개안 화상 E#i의 영역을 특정하는 영역 특정 처리의 예를 설명하는 흐름도다.
도 11은 본 기술을 적용한 카메라 시스템의 제2 실시 형태의 구성예를 도시하는 사시도다.
도 12는 카메라 시스템의 전기적 구성예를 도시하는 블록도다.
도 13은 다안 교환 렌즈(20)를 사용하여 행해지는 촬상 화상의 촬상의 개요를 설명하는 도면이다.
도 14는 다안 교환 렌즈(20)에 있어서의 개안 렌즈(31₀ 내지 31₄)의 배치와, 그 다안 교환 렌즈(20)를 사용하여 촬상되는 촬상 화상의 예를 도시하는 도면이다.
도 15는 미지 기준 위치로서의 (상대)광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을 구하는 제2 산출 방법을 설명하는 도면이다.
도 16은 미지 촬상 화상 위의 개안 화상 E#i로부터의 특징점의 추출의 예를 설명하는 도면이다.
도 17은 미지 기준 위치 (dx1',dy1') 내지 (dx4',dy4')을, 제2 산출 방법에 의해 구하는 경우의 기지 기준 위치 등 취득 처리의 예를 설명하는 흐름도다.
도 18은 미지 기준 위치 (dx1',dy1') 내지 (dx4',dy4')을, 제2 산출 방법에 의해 구하는 미지 기준 위치 산출 처리의 예를 설명하는 흐름도다.
도 19는 화상 처리부(53) 중 리포커스를 행하는 부분의 기능적 구성예를 도시하는 블록도다.
도 20은 화상 처리부(53)가 행하는 화상 처리의 예를 설명하는 흐름도다.
도 21은 다안 교환 렌즈(20)의 다른 구성예를 도시하는 배면도다.
도 22는 보간부(82)에서의 보간 화상의 생성의 예를 설명하는 도면이다.
도 23은 시차 정보 생성부(81)에서의 디스패리티 맵의 생성의 예를 설명하는 도면이다.
도 24는 집광 처리부(83)에서 행해지는 집광 처리에 의한 리포커스의 개요를 설명하는 도면이다.
도 25는 디스패리티 변환의 예를 설명하는 도면이다.
도 26은 리포커스를 행하는 집광 처리의 예를 설명하는 흐름도다.
도 27은 서버를 이용하여, 미지 촬상 화상의 미지 기준 위치 (dx#i',dy#i')을 취득하는 처리의 예를 설명하는 도면이다.
도 28은 본 기술을 적용한 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도다.

<본 기술을 적용한 카메라 시스템의 제1 실시 형태>

도 1은, 본 기술을 적용한 카메라 시스템의 제1 실시 형태의 구성예를 도시하는 사시도다.

카메라 시스템은, 카메라 본체(10)와 다안 교환 렌즈(20)로 구성된다.

카메라 본체(10)는, 다안 교환 렌즈(20)가 탈착 가능하게 되어 있다. 즉, 카메라 본체(10)는, 카메라 마운트(11)를 갖고, 그 카메라 마운트(11)에 대하여, 다안 교환 렌즈(20)(의 렌즈 마운트(22))가 설치됨으로써, 카메라 본체(10)에, 다안 교환 렌즈(20)가 장착된다. 또한, 카메라 본체(10)에 대해서는, 다안 교환 렌즈(20) 이외의 일반적인 교환 렌즈도 착탈할 수 있다.

카메라 본체(10)는, 이미지 센서(51)를 내장한다. 이미지 센서(51)는, 예를 들어 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서이고, 카메라 본체(10)(의 카메라 마운트(11))에 장착된 다안 교환 렌즈(20) 그 외의 교환 렌즈에 의해 집광되는 광선을 수광하여 광전 변환을 행함으로써 화상을 촬상한다. 이하, 이미지 센서(51)의 촬상에 의해 얻어지는 화상을, 촬상 화상이라고도 한다.

다안 교환 렌즈(20)는, 경통(21) 및 렌즈 마운트(22)를 갖는다.

경통(21)에는, 광축 방향으로(보아) 겹치지 않도록, 복수의 렌즈인 5개의 개안 렌즈(31₀, 31₁, 31₂, 31₃ 및 31₄)가 배치되어 있다. 도 1에서는, 경통(21)에 있어서, 5개의 개안 렌즈(31₀ 내지 31₄)가, 광축에 직교하는(이미지 센서(51)의 수광면(촬상면)에 평행한) 2차원 평면 위에 있어서, 개안 렌즈(31₀)를 중심(무게 중심)으로 하여, 다른 4개의 개안 렌즈(31₁ 내지 31₄)가, 정사각형의 정점을 구성하도록 배치되어 있다.

개안 렌즈(31₀ 내지 31₄)는, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되었을 때에, 피사체로부터의 광선을 카메라 본체(10)의 이미지 센서(51)에 집광시킨다.

또한, 여기서는, 카메라 본체(10)는, 1개의 이미지 센서(51)를 갖는, 소위 단판식 카메라이지만, 카메라 본체(10)로서는, 복수의 이미지 센서, 즉, 예를 들어RGB(Red, Green, Blue) 각각용의 세 이미지 센서를 갖는, 소위 3판식 카메라를 채용할 수 있다. 3판식 카메라에서는, 개안 렌즈(31₀ 내지 31₄)는, 세 이미지 센서의 각각에, 광선을 집광시킨다.

경통(21)에는, 5개의 개안 렌즈(31₀ 내지 31₄) 외에, 복수인 2개의 광원(32L 및 32R)이 마련되어 있다. 광원(32L 및 32R)은, 다안 교환 렌즈(20)를 정면으로부터 보았을 때에, 경통(21)의 우측단 및 좌측단의 위치에, 각각 마련되어 있다.

광원(32L 및 32R)은, 예를 들어 LED(Light Emitting Diode)나 레이저 등으로 구성되어, 다안 교환 렌즈(20)의 정면측으로부터 배면측을 향해 스폿 광을 조사한다.

따라서, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착된 경우, 광원(32L 및 32R)이 조사하는 스폿 광은, 카메라 본체(10)의 이미지 센서(51)에 의해 수광된다.

렌즈 마운트(22)는, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착될 때에, 카메라 본체(10)의 카메라 마운트(11)에 설치된다.

또한, 도 1에서는, 다안 교환 렌즈(20)에, 5개의 개안 렌즈(31₀ 내지 31₄)가 마련되어 있지만, 다안 교환 렌즈(20)에 마련하는 개안 렌즈의 수는, 5개에 한정되는 것은 아니고, 2개나 3개, 5개 이상의 임의의 복수의 수를 채용할 수 있다.

또한, 다안 교환 렌즈(20)에 마련하는 복수의 개안 렌즈는, 정사각형의 중심과 정점의 위치에 배치하는 것 외에, 2차원 평면 위의 임의의 위치에 배치할 수 있다.

또한, 다안 교환 렌즈(20)에 마련하는 복수의 개안 렌즈로서는, 초점 거리나 F값, 기타의 사양이 다른 복수의 렌즈를 채용할 수 있다. 단, 여기서는, 설명을 간단하게 하기 위해, 사양이 동일한 복수의 렌즈를 채용하기로 한다.

또한, 도 1에서는, 다안 교환 렌즈(20)에, 2개의 광원(32L 및 32R)이 마련되어 있지만, 다안 교환 렌즈(20)에 마련하는 광원의 수는, 2개에 한정되는 것은 아니고, 3개 이상의 임의의 수를 채용할 수 있다.

또한, 광원(32L 및 32R)은, 다안 교환 렌즈(20)의, 5개의 개안 렌즈(31₀ 내지 31₄)가 배치된 평면 위, 즉, 도 1에서는, 대략 원기둥형의 경통(21)의 저면인 원 위의 가장 먼 2점을 잇는 선 위에 배치할 수 있다. 이 경우, 광원(32L 및 32R)은, 경통(21)의 저면인 원의 중심을 지나는 선 위에 배치된다. 후술하는 바와 같이, 광원(32L 및 32R)은, 가능한 한 이격하여 배치하는 것이 바람직하다. 경통(21)의 저면이 원형상인 경우에는, 광원(32L 및 32R)을, 경통(21)의 저면인 원의 중심을 지나는 선 위에 배치함으로써, 광원(32L 및 32R)을 가장 이격하여 배치할 수 있다.

다안 교환 렌즈(20)에 있어서, 복수로서의 5개의 개안 렌즈(31₀ 내지 31₄) 각각은, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되었을 때에, 광축이 이미지 센서(51)의 수광면과 직교하도록 배치되어 있다.

이러한 다안 교환 렌즈(20)가 카메라 본체(10)에 장착된 카메라 시스템에서는, 이미지 센서(51)에 있어서, 5개의 개안 렌즈(31₀ 내지 31₄) 각각에 의해 집광되는 광선에 의해 이미지 센서(51)의 수광면 위에 형성되는 상에 대응하는 화상이 촬상된다.

지금, 1개의 개안 렌즈(31_i)(여기서는, i＝0,1,2,3,4)에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 화상을, 개안 화상이라고 하기로 하면, 1개의 이미지 센서(51)로 촬상되는 촬상 화상에는, 5개의 개안 렌즈(31₀ 내지 31₄) 각각에 대한 5개의 개안 화상(개안 렌즈(31₀ 내지 31₄) 각각에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 화상)이 포함된다.

개안 렌즈(31_i)에 대한 개안 화상은, 개안 렌즈(31_i)의 위치를 시점으로 하는 화상이고, 따라서, 개안 렌즈(31₀ 내지 31₄) 각각에 대한 5개의 개안 화상은, 다른 시점의 화상이다.

또한, 촬상 화상에는, 2개의 광원(32L 및 32R) 각각이 조사하는 스폿 광에 대응하는 화상인 스폿 광상이 포함된다.

도 2는, 카메라 본체(10)의 배면의 구성예를 도시하는 배면도다.

여기서, 카메라 본체(10)에 대해서는, 다안 교환 렌즈(20)가 장착되는 측의 면, 즉, 카메라 마운트(11)가 있는 면을, 정면이라 한다.

카메라 본체(10)의 배면에는, 예를 들어 액정 패널이나 유기 EL(Electro Luminescence) 패널 등으로 구성되는 표시부(54)가 마련되어 있다. 표시부(54)에는, 소위 스루 화상이나, 메뉴, 카메라 본체(10)의 설정 등의 정보가 표시된다.

도 3은, 도 1의 카메라 시스템의 전기적 구성예를 도시하는 블록도다.

카메라 시스템에 있어서, 다안 교환 렌즈(20)는, 기억부(41) 및 통신부(42)를 갖는다.

기억부(41)는, 다안 교환 렌즈(20)에 관한 정보인 렌즈 정보를 기억하고 있다. 렌즈 정보에는, 기지 기준 위치가 포함된다.

기지 기준 위치란, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되었을 때에 (1개의)이미지 센서(51)로 촬상된 기지의 거리에 있는 소정의 피사체가 비치는 기지 촬상 화상 위의 개안 렌즈(31_i)에 대한 개안 화상 위의 소정의 광선에 대응하는 위치이다.

여기서, 개안 렌즈(31_i)에 대한 개안 화상에 있어서, 개안 렌즈(31_i)의 광축을 지나는 광선의 상이 형성되는 위치를 광축 중심 위치라고 하기로 한다.

지금, 개안 렌즈(31_i)에 대한 개안 화상에 대하여, 소정의 광선으로서, 예를 들어 개안 렌즈(31_i)의 광축을 지나는 광선을 채용하기로 하면, 개안 렌즈(31_i)에 대한 개안 화상의 기지 기준 위치는, 그 개안 화상의 광축 중심 위치이다.

또한, 소정의 광선은, 개안 렌즈(31_i)의 광축을 지나는 광선에 한정되는 것은 아니다. 즉, 소정의 광선으로서는, 예를 들어 개안 렌즈(31_i)의 광축으로부터 소정의 거리만큼 이격된 위치를 통해, 광축에 평행한 광선 그 외를 채용할 수 있다.

렌즈 정보에는, 기지 촬상 화상 위의, 개안 렌즈(31_i)에 대한 개안 화상의 기지 기준 위치 외에, 기지 촬상 화상 위의 광원(32L 및 32R) 각각의 스폿 광의 스폿 광상의 위치, 즉, 스폿 광의 조사 위치인 기지 광 위치가 포함된다.

여기서, 다안 교환 렌즈(20)에 대해서는, 유니크한 렌즈 ID(Identification)를 할당하고, 기억부(41)에 기억시키는 렌즈 정보로서는, 다안 교환 렌즈(20)의 렌즈 ID를 채용할 수 있다. 또한, 이 경우, 렌즈 정보로서의 렌즈 ID와, 그 렌즈 ID에 의해 특정되는 다안 교환 렌즈(20)의, 렌즈 ID 이외의 렌즈 정보로서의 기지 기준 위치나 기지 광 위치를 대응지은 데이터베이스를 준비할 수 있다. 이 경우, 렌즈 ID를 키워드로 하여, 데이터베이스를 검색함으로써, 그 렌즈 ID에 대응지어진 다안 교환 렌즈(20)의 기지 기준 위치나 기지 광 위치를 취득할 수 있다.

통신부(42)는, 카메라 본체(10)의 후술하는 통신부(56)와의 사이에서, 유선 또는 무선에 의한 통신을 행한다. 또한, 통신부(42)는, 기타, 필요에 따라, 임의의 통신 방식에 의해, 인터넷상의 서버나, 유선 또는 무선 LAN(Local Area Network)상의 PC(Personal Computer), 기타의 외부의 디바이스와의 사이에서 통신을 행하도록 할 수 있다.

통신부(42)는, 예를 들어 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되었을 때에, 카메라 본체(10)의 통신부(56)와 통신함으로써, 기억부(41)에 기억된 렌즈 정보를, 통신부(56)로 송신한다.

카메라 본체(10)는, 이미지 센서(51), 영역 특정부(52), 화상 처리부(53), 표시부(54), 기억부(55), 통신부(56) 및 기준 위치 산출부(57)를 갖는다.

이미지 센서(51)는, 예를 들어 도 1에서 설명한 바와 같이, CMOS 이미지 센서이고, 이미지 센서(51)의 수광면에는, 카메라 본체(10)에 장착된 다안 교환 렌즈(20)의 개안 렌즈(31₀ 내지 31₄) 각각에 의해 집광되는 광선, 그리고 광원(32L 및 32R)이 조사하는 스폿 광으로서의 광선이 조사된다.

이미지 센서(51)는, 개안 렌즈(31₀ 내지 31₄) 각각에 의해 집광되는 광선, 그리고 광원(32L 및 32R)이 조사하는 스폿 광으로서의 광선을 수광하여 광전 변환을 행함으로써, 개안 렌즈(31₀ 내지 31₄) 각각에 대한 개안 화상(개안 렌즈(31₀ 내지 31₄) 각각에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상), 그리고 광원(32L 및 32R) 각각의 스폿 광의 스폿 광상을 포함하는 촬상 화상을 촬상하여 출력한다. 이미지 센서(51)가 출력하는 촬상 화상(다른 촬상 화상)은, 영역 특정부(52) 및 기준 위치 산출부(57)에 공급된다.

영역 특정부(52)에는, 이미지 센서(51)가 출력하는 촬상 화상이 공급되는 것 외에, 기준 위치 산출부(57)로부터, 이미지 센서(51)가 출력하는 촬상 화상에 포함되는 개안 화상 위의 미지 기준 위치가 공급된다.

여기서, 기지 기준 위치는, 촬상 화상이 기지의 거리에 있는 피사체를 촬상한 기지 촬상 화상인 경우의, 그 기지 촬상 화상에 포함되는 개안 화상 위의 광축 중심 위치이지만, 미지 기준 위치는, 촬상 화상이 임의의 피사체(피사체까지의 거리가 기지인지 여부는 상관없음)를 촬상한 화상(다른 촬상 화상)인 경우의, 그 촬상 화상에 포함되는 개안 화상 위의 광축 중심 위치이다.

영역 특정부(52)는, 기준 위치 산출부(57)로부터의 미지 기준 위치에 기초하여, 이미지 센서(51)로부터의 촬상 화상 위의, 개안 렌즈(31₀ 내지 31₄) 각각에 대한 개안 화상의 영역을 특정하고, 그 영역의 특정한 결과를 나타내는 영역 특정 결과 정보를 출력한다.

즉, 영역 특정부(52)는, 이미지 센서(51)로부터의 촬상 화상의, 예를 들어 촬상 화상의 미지 기준 위치를 중심(무게 중심)으로 하는 소정의 사이즈의 직사각 형상의 영역을, 개안 화상의 영역으로 특정한다.

여기서, 영역 특정부(52)는, 예를 들어 촬상 화상과, 그 촬상 화상 위의 각 개안 화상의 영역을 나타내는 영역 정보의 세트를, 영역 특정 결과 정보로서 출력할 수 있다. 또한, 영역 특정부(52)는, 촬상 화상으로부터, 각 개안 화상을 추출하여(잘라내어), 그 각 개안 화상을, 영역 특정 결과 정보로서 출력할 수 있다.

이하에는, 설명을 간단하게 하기 위해, 예를 들어 영역 특정부(52)는, 촬상 화상으로부터 추출한 각 개안 화상(여기서는, 개안 렌즈(31₀ 내지 31₄) 각각에 대한 개안 화상)을, 영역 특정 결과 정보로서 출력하는 것으로 한다.

영역 특정부(52)가 출력하는 개안 렌즈(31₀ 내지 31₄) 각각에 대한 개안 화상은, 화상 처리부(53)에 공급된다.

화상 처리부(53)는, 영역 특정부(52)로부터의 개안 렌즈(31₀ 내지 31₄) 각각에 대한 개안 화상, 즉, 개안 렌즈(31₀ 내지 31₄) 각각의 위치를 시점으로 하는, 다른 시점의 개안 화상을 사용하여, 예를 들어 시차 정보의 생성이나, 임의의 피사체에 포커스를 맞춘 화상을 생성(재구성)하는 리포커스 등의 화상 처리를 행하고, 그 화상 처리의 결과 얻어지는 처리 결과 화상을, 표시부(54) 및 기억부(55)에 공급한다.

표시부(54)는, 예를 들어 화상 처리부(53)로부터 공급되는 처리 결과 화상 등을, 도 2에서 설명한 바와 같이 스루 화상으로서 표시한다.

기억부(55)는, 도시하지 않은 메모리 카드 등으로 구성되어, 예를 들어 유저의 조작 등에 따라, 화상 처리부(53)로부터 공급되는 처리 결과 화상을 기억한다.

통신부(56)는, 다안 교환 렌즈(20)의 통신부(42) 등과의 사이에서, 유선 또는 무선에 의한 통신을 행한다. 또한, 통신부(56)는, 기타, 필요에 따라, 임의의 통신 방식에 의해, 인터넷상의 서버나, 유선 또는 무선 LAN상의 PC, 기타의 외부의 디바이스와의 사이에서 통신을 행할 수 있다.

통신부(56)는, 예를 들어 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되었을 때에, 다안 교환 렌즈(20)의 통신부(42)와 통신함으로써, 그 통신부(42)로부터 송신되어 오는 다안 교환 렌즈(20)의 렌즈 정보를 수신하고, 기준 위치 산출부(57)에 공급한다.

기준 위치 산출부(57)는, 통신부(56)로부터의 렌즈 정보에 포함되는 기지 기준 위치에 기초하여, 이미지 센서(51)로부터 공급되는 촬상 화상에 포함되는 개안 렌즈(31_i)에 대한 개안 화상 위의 광축 중심 위치인 미지 기준 위치를 구하고, 영역 특정부(52)에 공급한다.

또한, 도 3에 있어서, 기준 위치 산출부(57)는, 이미지 센서(51)로부터 공급되는 촬상 화상에 포함되는 개안 화상 위의 광축 중심 위치인 미지 기준 위치를 구하는 데 있어서, 렌즈 정보에 포함되는 기지 기준 위치 외에, 기지 광 위치를 사용한다.

<다안 교환 렌즈(20)를 사용하여 행해지는 촬상의 개요>

도 4는, 다안 교환 렌즈(20)를 사용하여 행해지는 촬상 화상의 촬상의 개요를 설명하는 도면이다.

다안 교환 렌즈(20)가 장착된 카메라 본체(10)의 이미지 센서(51)에서는, 각 개안 렌즈(31_i)에 있어서 광선이 집광됨으로써 형성되는 상에 대응하는 개안 화상과, 광원(32L 및 32R)이 조사하는 스폿 광의 스폿 광상을 포함하는 촬상 화상이 촬상된다.

여기서, 본 명세서에서는, 개안 렌즈(31_i)의 광축 방향 중, 카메라 본체(10)의 배면측으로부터 정면측을 향하는 방향을 z방향(축)으로 함과 함께, z방향을 향했을 때의 좌측으로부터 우방향을 x방향이라고 하고, 하부로부터 상방향을 y방향이라고 한다.

또한, 화상에 비치는 피사체의 좌우와, 실공간의 피사체의 좌우를 일치시킴과 함께, 개안 렌즈(31_i)의 위치의 좌우와, 그 개안 렌즈(31_i)에 대한 개안 화상의 촬상 화상 위의 좌우를 일치시키기 위해, 이하에는, 특별히 언급하지 않는 한, z방향, 즉, 카메라 본체(10)의 이면측으로부터, 촬상을 행하는 피사체가 존재하는 촬상 방향을 향하고 있는 상태를 기준으로 하여, 촬상 화상 위의 위치나, 개안 렌즈(31_i)의 위치, 피사체 등의 좌우를 기술한다.

또한, 하나의 개안 렌즈(31_i)와 다른 하나의 개안 렌즈(31_j)(i≠j)의 광축끼리를 잇는 직선 또는 선분을, 기선이라고도 하고, 그 광축끼리의 거리를, 기선장이라고도 한다. 또한, 기선의 방향을 나타내는 각도를, 기선각이라고도 한다. 여기서는, 기선각으로서, 예를 들어 x축과 기선이 이루는 각도(에피택셜 폴라선의 각도)를 채용하기로 한다.

도 5는, 다안 교환 렌즈(20)에 있어서의 개안 렌즈(31₀ 내지 31₄), 그리고 광원(32L 및 32R)의 배치와, 그 다안 교환 렌즈(20)를 사용하여 촬상되는 촬상 화상의 예를 도시하는 도면이다.

도 5의 A는, 다안 교환 렌즈(20)에 있어서의 개안 렌즈(31₀ 내지 31₄), 그리고 광원(32L 및 32R)의 배치의 예를 도시하는 배면도다.

도 5의 A에서는, 개안 렌즈(31₀ 내지 31₄)는, 도 1에서 설명한 바와 같이, 이미지 센서(51)의 수광면에 평행한 2차원 평면에 있어서, 개안 렌즈(31₀)를 중심으로 하여, 다른 4개의 개안 렌즈(31₁ 내지 31₄)가, 정사각형의 정점을 구성하도록 배치되어 있다.

즉, 개안 렌즈(31₀ 내지 31₄) 중, 예를 들어 개안 렌즈(31₀)를 기준으로 하면, 도 5에서는, 개안 렌즈(31₁)는, 개안 렌즈(31₀)의 우측 상방에 배치되고, 개안 렌즈(31₂)는, 개안 렌즈(31₀)의 좌측 상방에 배치되어 있다. 또한, 개안 렌즈(31₃)는, 개안 렌즈(31₀)의 좌측 하방에 배치되고, 개안 렌즈(31₄)는, 개안 렌즈(31₀)의 우측 하방에 배치되어 있다.

또한, 도 5의 A에 있어서, 광원(32L)은, 평면이 대략 원형인 다안 교환 렌즈(20)의 좌측단의 위치에 배치되고, 광원(32R)은, 평면이 대략 원형인 다안 교환 렌즈(20)의 중심(중앙)에 대해, 광원(32L)의 반대측의 우측단의 위치에 배치되어 있다.

또한, 광원(32L 및 32R)은, 다안 교환 렌즈(20)(의 경통(21))의 임의의 다른 위치에 배치할 수 있다.

단, 광원(32L 및 32R)은, 이미지 센서(51)로 촬상되는 촬상 화상 위의, 광원(32L 및 32R) 각각이 조사하는 스폿 광의 스폿 광상 PL 및 PR이, 촬상 화상에 포함되는 개안 화상의 영역 외(개안 렌즈(31_i)를 통과한 광이 조사되는 범위 외)에 위치하도록 배치할 수 있다. 이 경우, 스폿 광상 PL이나 PR이, 개안 화상에 중복되어 비쳐서, 개안 화상의 화질이 저하되는 것을 억제할 수 있다.

도 5의 B는, 도 5의 A와 같이 개안 렌즈(310 내지 31₄), 그리고 광원(32L 및 32R)이 배치된 다안 교환 렌즈(20)가 장착된 카메라 본체(10)의 이미지 센서(51)로 촬상되는 촬상 화상의 예를 도시하는 도면이다.

개안 렌즈(31₀ 내지 31₄), 그리고 광원(32L 및 32R)을 갖는 다안 교환 렌즈(20)가 장착된 카메라 본체(10)의 이미지 센서(51)로 촬상되는 촬상 화상에는, 개안 렌즈(31₀ 내지 31₄) 각각에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 E0, E1, E2, E3, E4와, 광원(32L 및 32R) 각각의 스폿 광의 스폿 광상 PL 및 PR이 포함된다.

영역 특정부(52)(도 3)는, 기준 위치 산출부(57)에서 구해지는 각 개안 화상 E#i의 미지 기준 위치인 광축 중심 위치에 기초하여, 각 개안 렌즈(31_i)에 대하여, 그 개안 렌즈(31_i)를 통과한 광선이 조사되는 촬상 화상 위의 영역 중, 개안 화상 E#i의 미지 기준 위치인 광축 중심 위치를 중심으로 하는 소정 사이즈의 직사각 형상의 영역을, 개안 화상 E#i의 영역으로서 특정한다.

이에 의해, 개안 렌즈(31_i)에 대한 개안 화상 E#i는, 개안 렌즈(31_i)의 위치로부터, 독립된 카메라를 사용한 촬상을 행함으로써 얻어지는 촬상 화상, 즉, 개안 렌즈(31_i)의 위치를 시점으로 하는 촬상에 의해 얻어지는 화상과 동일한 화상으로 된다.

그 때문에, 개안 렌즈(31₀ 내지 31₄) 각각에 대한 개안 화상 E0 내지 E4 중 임의의 2개의 개안 화상 E#i와 E#j 사이에는, 시차가 발생한다. 즉, 개안 화상 E#i와 E#j에 비치는 동일한 피사체는, 시차에 따라 어긋난 위치에 비춘다.

<다안 교환 렌즈(20)의 설치 오차>

도 6은, 다안 교환 렌즈(20)를 카메라 본체(10)에 설치할(장착할) 때의 설치 오차를 설명하는 도면이다.

즉, 도 6은, 다안 교환 렌즈(20)를 카메라 본체(10)에 설치한 카메라 시스템으로 촬상되는 촬상 화상의 예를 도시하고 있다.

다안 교환 렌즈(20)를 카메라 본체(10)에 설치한 경우, 카메라 본체(10)의 이미지 센서(51)의 수광면에 대한 다안 교환 렌즈(20)의 설치 위치는, 주로, 횡방향(x방향), 종방향(y방향) 및 회전 방향 중, 특히, 회전 방향으로 어긋날 수 있다. 즉, 다안 교환 렌즈(20)의 설치 위치는, 다안 교환 렌즈(20)를 카메라 본체(10)에 설치할 때나, 다안 교환 렌즈(20)를 카메라 본체(10)에 설치한 카메라 시스템에 충격이 가해졌을 때 등에 변화된다.

지금, 예를 들어 다안 교환 렌즈(20)의 설계상의 설치 위치에 대한 실제의 설치 위치의 오차를, 설치 오차라 하기로 한다. 설치 오차는, 다안 교환 렌즈(20)의 설치 위치와 마찬가지로, 다안 교환 렌즈(20)를 카메라 본체(10)에 설치할 때나, 다안 교환 렌즈(20)를 카메라 본체(10)에 설치한 카메라 시스템에 충격이 가해졌을 때 등에 변화된다.

도 5에서 설명한 바와 같이, 개안 화상 E#i는, 개안 렌즈(31_i)의 위치를 시점으로 하는 촬상에 의해 얻어지는 화상과 동일한 화상이고, 따라서, 개안 화상 E0 내지 E4는, 시점이 다른 화상이다.

시점이 다른 화상인 개안 화상 E0 내지 E4를 사용하여, 예를 들어 시차 정보를 구하는 경우, 개안 렌즈(31₀ 내지 31₄)에 대하여, 도 4에서 설명한 기선장과 기선각이 필요해진다.

개안 렌즈(31₀ 내지 31₄)는, 다안 교환 렌즈(20)에 고정되어 있으므로, 기선장은, 설치 오차에 따라 변화되지 않는 고정의 값이고, 미리 계측해 둘 수 있다.

한편, 기선각은, 다안 교환 렌즈(20)의 회전 방향의 설치 오차에 따라 변화된다. 따라서, 개안 화상 E0 내지 E4를 사용하여, 정확한 시차 정보를 구하기 위해서는, 회전 방향의 설치 오차에 대처할 필요가 있다.

여기서, 횡방향 및 종방향의 설치 오차는, 개안 렌즈(31_i)의 렌즈 수차에 기인하는 화상 변형이 작은 경우에는, 문제가 되지 않아, 무시할 수 있다. 단, 렌즈 수차에 기인하는 화상 변형이 크고, 그 화상 변형의 변형 보정을 행할 필요가 있는 경우에는, 적절한 변형 보정을 행하기 위해, 개안 화상 E#i의 광축 중심 위치를 정확하게 파악할 필요가 있다. 개안 화상 E#i의 광축 중심 위치를 정확하게 파악하기 위해서는, 횡방향 및 종방향의 설치 오차를 파악할 필요가 있다.

지금, 도 6에 도시한 바와 같이, 어느 xy 좌표계(2차원 좌표계)에 있어서, 개안 화상 E0 내지 E4의 광축 중심 위치(의 좌표)를, (x0,y0), (x1,y1), (x2,y2), (x3,y3), (x4,y4)로 나타내기로 한다.

또한, 개안 렌즈(31₀ 내지 31₄) 중, 중앙(중심)에 위치하는 개안 렌즈(31₀)에 대한 개안 화상 E0을, 중앙 화상 E0이라고도 하고, 주변에 위치하는 개안 렌즈(31₁ 내지 31₄)에 대한 개안 화상 E1 내지 E4를, 주변 화상 E1 내지 E4라고도 하기로 한다.

개안 화상 E0 내지 E4 중 하나의 개안 화상, 즉, 예를 들어 중앙 화상 E0을 기준으로 하는, 주변 화상 E1 내지 E4 각각의 상대적인 광축 중심 위치(이하, 상대 광축 중심 위치라고도 함)(dx1,dy1), (dx2,dy2), (dx3,dy3), (dx4,dy4)는, 식(1)에 따라 구할 수 있다.

상대 광축 중심 위치 (dx1,dy1), (dx2,dy2), (dx3,dy3), (dx4,dy4)는, 중앙 화상 E0의 광축 중심 위치 (x0,y0)을 xy 좌표계의 원점으로 한 경우의 주변 화상 E1 내지 E4의 광축 중심 위치 (x1,y1), (x2,y2), (x3,y3), (x4,y4)와 다름없다.

상대 광축 중심 위치 (dx#i,dy#i)(여기서는, i＝1,2,3,4)는, 중앙 화상 E0의 광축 중심 위치 (x0,y0)과, 주변 화상 E#i의 광학 중심 위치 (x#i,y#i)를 연결하는 기선의 방향의 벡터라고 간주할 수 있고, 상대 광축 중심 위치 (dx#i,dy#i)에 의하면, 중앙 화상 E0의 광축 중심 위치 (x0,y0)과 주변 화상 E#i의 광학 중심 위치 (x#i,y#i)를 연결하는 기선 L0#i의 방향을 나타내는 기선각(tan^-1((y#i－y0)/(x#i－x0))＝tan^-1(dy#i/dx#i))을 구할 수 있다.

따라서, 상대 광축 중심 위치 (dx#i,dy#i)를 구할 수 있으면, 그때의 기선 L0#i의 방향을 나타내는 기선각을 구할 수 있고, 그 기선각을 사용하여, 회전 방향의 설치 오차에 영향받지 않는 정확한 시차 정보를 구할 수 있다.

본 기술에서는, 이미지 센서(51)로 촬상된 기지의 거리에 있는 소정의 피사체가 비치는 기지 촬상 화상 위의 개안 화상 E0 내지 E4 각각의 광축 중심 위치 (x0,y0) 내지 (x4,y4), 즉, 중앙 화상 E0의 광축 중심 위치 (x0,y0)을 원점으로 하는 경우에는, 개안 화상 E1 내지 E4 각각의 상대 광축 중심 위치 (dx1,dy1) 내지 (dx4,dy4)를, 기지 기준 위치로서 구해 둔다. 또한, 본 기술에서는, 기지 기준 위치((x0,y0) 내지 (x4,y4) 또는 (dx1,dy1) 내지 (dx4,dy4))와 촬상 화상을 사용하여, 그 촬상 화상의 촬상 시의 촬상 화상 위의 개안 화상 E0 내지 E4 각각의 광축 중심 위치 (x0',y0') 내지 (x4',y4'), 즉, 중앙 화상 E0의 광축 중심 위치 (x0',y0')을 원점으로 하는 경우에는, 개안 화상 E1 내지 E4 각각의 상대 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을, 미지 기준 위치로서 구한다.

미지 기준 위치로서의 촬상 화상 위의 개안 화상 E1 내지 E4 각각의 상대 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')이 얻어지면, 촬상 화상의 촬상 시의 기선각을 구하고, 그 기선각을 사용하여, 회전 방향의 설치 오차에 영향받지 않는 정확한 시차 정보를 구할 수 있다.

도 3의 기준 위치 산출부(57)는, 기지 기준 위치로서의 상대 광축 중심 위치 (dx1,dy1) 내지 (dx4,dy4)를 사용하여, 제1 산출 방법에 의해, 미지 기준 위치로서의 촬상 화상 위의 개안 화상 E1 내지 E4 각각의 상대 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을 구한다.

<미지 기준 위치로서의 촬상 화상 위의 개안 화상 E#i의 상대 광축 중심 위치 (dx#i',dy#i')을 구하는 제1 산출 방법>

도 7은, 미지 기준 위치로서의 상대 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을 구하는 제1 산출 방법을 설명하는 도면이다.

여기서, 이하에는, 설명을 간단하게 하기 위해, 중앙 화상 E0의 광축 중심 위치 (x0,y0)을 원점으로 하는 xy 좌표계를 채용하기로 한다. 이 경우, 상술한 바와 같이, 상대 광축 중심 위치 (dx1,dy1), (dx2,dy2), (dx3,dy3), (dx4,dy4)와, 광축 중심 위치 (x1,y1), (x2,y2), (x3,y3), (x4,y4)는 다름없다.

도 7의 A는, 다안 교환 렌즈(20)가 카메라 본체(10)에 설치된 카메라 시스템에 있어서, 소정의 피사체를 촬상한 기지 촬상 화상의 예를 나타내고 있다.

기지 촬상 화상에 비치는 피사체는, 예를 들어 원의 중심을 지나는 선분으로 4등분된 원 등의 소정의 차트가 그려진 차트 화상이다. 기지 촬상 화상은, 예를 들어 중앙 화상 E0 위의 소정의 점, 즉, 예를 들어 중앙 화상 E0의 광축 중심 위치 (x0,y0)＝(0,0)에, 차트 화상의 차트로서의 원의 중심이 비치도록, 차트 화상을, 개안 렌즈(310)의 광축 상의 기지의 거리 위치에 배치하여 촬상된다. 따라서, 기지 촬상 화상은, 소정의 차트가 그려진 차트 화상을, 기지의 거리에 있어서 촬상한 화상이다.

기지 촬상 화상은, 이상과 같이 촬상되기 때문에, 기지 촬상 화상 위의 중앙 화상 E0에는, 차트로서의 원의 중심이 광축 중심 위치 (x0,y0)＝(0,0)에 위치하는 차트 화상이 비친다. 또한, 주변 화상 E#i에는, 중앙 화상 E0과 마찬가지로, 차트 화상이 비친다. 단, 주변 화상 E#i에 있어서는, 차트로서의 원의 위치는, 중앙 화상 E0과의 사이의 시차에 따라, 중앙 화상 E0에 비치는 차트로서의 원의 위치로부터 어긋난다.

따라서, 기지 촬상 화상 위의 중앙 화상 E0에 있어서는, 차트로서의 원의 중심이, 광축 중심 위치 (x0,y0)＝(0,0)에 위치하지만, 주변 화상 E#i에 있어서는, 차트로서의 원의 중심이, 광축 중심 위치 (x#i,y#i)로부터, 중앙 화상 E0과의 사이의 시차에 따라 어긋난다.

차트 화상은, 기지의 거리에 놓여져 있으므로, 주변 화상 E#i와 중앙 화상 E0 사이의 시차는, 그 기지의 거리와, 기지 촬상 화상을 촬상했을 때의 개안 렌즈(31_i)와 개안 렌즈(31₀) 사이의 기선장 및 기선각으로부터 구할 수 있다.

여기서, 기지 촬상 화상의 촬상은, 예를 들어 다안 교환 렌즈(20)를 공장으로부터 출하하기 전 등에 행할 수 있다. 따라서, 기지 촬상 화상의 촬상 시의 기선각은, 기지 촬상 화상의 촬상 시에 측정할 수 있다. 또는, 기지 촬상 화상의 촬상 시에는, 기선각이 설계값 등의 소정값으로 되도록, 다안 교환 렌즈(20)의 설치를 조정할 수 있다.

주변 화상 E#i의 광축 중심 위치 (x#i,y#i)는, 그 주변 화상 E#i에 비치는 차트로서의 원의 중심으로부터, 중앙 화상 E0과의 사이의 시차에 따라 이동한 위치로 되므로, 주변 화상 E#i에 비치는 차트로서의 원의 중심의 위치와, 중앙 화상 E0 사이의 시차로부터 구할 수 있다.

또한, 기지 촬상 화상 위의 중앙 화상 E0의 광축 중심 위치 (x0,y0)(＝(0,0))에는, 차트 화상의 차트로서의 원의 중심이 비치고 있으므로, 중앙 화상 E0의 광축 중심 위치 (x0,y0)은, 중앙 화상 E0으로부터, 차트로서의 원의 중심의 위치를 검출함으로써 구할 수 있다.

이상과 같이, 기지 촬상 화상으로부터, 그 기지 촬상 화상 위의 중앙 화상 E0의 광축 중심 위치 (x0,y0) 및 주변 화상 E1 내지 E4의 광축 중심 위치 (x1,y1) 내지 (x4,y4)를 구할 수 있다.

기지 촬상 화상 위의 중앙 화상 E0의 광축 중심 위치 (x0,y0)인 기지 기준 위치 및 주변 화상 E#i의 광축 중심 위치 (x#i,y#i)인 기지 기준 위치에 의하면, 중앙 화상 E0의 기지 기준 위치 (x0,y0)을 기준으로 하는, 주변 화상 E#i의 상대적인 기지 기준 위치인 상대 기지 기준 위치로서의 상대 광축 중심 위치 (dx#i,dy#i)가 구해질 수 있고, 그 상대 기지 기준 위치로서의 상대 광축 중심 위치 (dx#i,dy#i)가, 렌즈 정보로서, 도 3의 기억부(41)에 기억된다.

또한, 렌즈 정보로서는, 상대 기지 기준 위치(상대 광축 중심 위치)(dx#i,dy#i)(i＝1,2,3,4)를 채용하는 것 외에, 기지 기준 위치(광축 중심 위치)(x#i,y#i)(i＝0,1,2,3,4)를 채용할 수 있다. 상대 기지 기준 위치 (dx#i,dy#i)는, 기지 기준 위치 (x#i,y#i)로부터 식 (1)에 따라 구할 수 있고, 기지 기준 위치 (x#i,y#i)와 (거의)등가인 정보이기 때문이다.

미지 기준 위치로서의 상대 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을 제1 산출 방법에 의해 구하는 경우에는, 상대 기지 기준 위치 (dx#i,dy#i)(또는 기지 기준 위치 (x#i,y#i)) 외에, 기지 촬상 화상 위의 광원(32L 및 32R) 각각의 스폿 광의 스폿 광상 PL 및 PR의 위치인 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)이 각각 구해진다.

예를 들어, 기지 촬상 화상 위의 스폿 광상 PL의 무게 중심의 위치를, 그 스폿 광상 PL의 기지 광 위치 (X_L,Y_L)로서 채용할 수 있다. 마찬가지로, 기지 촬상 화상 위의 스폿 광상 PR의 무게 중심의 위치를, 그 스폿 광상 PR의 기지 광 위치 (X_R,Y_R)로서 채용할 수 있다.

제1 산출 방법에서는, 또한, 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)에서, 그 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)의 중점 (X_C,Y_C)가 구해지고, 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R) 그리고 중점 (X_C,Y_C)가, 렌즈 정보로서, 도 3의 기억부(41)에 기억된다.

또한, 제1 산출 방법에서는, 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)의 중점 (X_C,Y_C)는, 렌즈 정보로부터 제외할 수 있다. 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)의 중점 (X_C,Y_C)는, 그 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)로부터 구할 수 있기 때문이다.

제1 산출 방법에서는, 상대 기지 기준 위치(이하, 단순히, 기지 기준 위치라고도 함)로서의 상대 광축 중심 위치(이하, 단순히, 광축 중심 위치라고도 함)(dx#i,dy#i), 그리고 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)에 기초하여, 미지 촬상 화상 위의 미지 기준 위치로서의 (상대)광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')이 구해진다.

도 7의 B는, 다안 교환 렌즈(20)가 카메라 본체(10)에 설치된 카메라 시스템에 있어서 촬상되는 미지 촬상 화상의 예를 도시하고 있다.

미지 촬상 화상은, 다안 교환 렌즈(20)가 카메라 본체(10)에 설치된 카메라 시스템에 있어서, 기지 촬상 화상을 촬상할 때와 같은 제약(피사체의 거리가 기지인 것 등의 제약)없이 촬상되는 화상이다.

미지 촬상 화상의 촬상 시에는, 기지 촬상 화상의 촬상 시와는 다른 회전 방향의 설치 오차가 발생할 수 있다.

미지 촬상 화상 위의 중앙 화상 E0의 광축 중심 위치 (x0',y0')을 원점 (0,0)으로 하는 xy 좌표계에 있어서, 미지 촬상 화상 위의 주변 화상 E#i의 광축 중심 위치 (x#i',y#i')(i＝1,2,3,4)는, 중앙 화상 E0의 광축 중심 위치 (x0',y0')을 기준으로 하는 주변 화상 E#i의 상대적인 광축 중심 위치 (dx#i',dy#i')＝(x#i',y#i')－(x0',y0')과 다름없다.

여기서, 미지 촬상 화상 위의 광원(32L 및 32R) 각각의 스폿 광의 스폿 광상 PL 및 PR의 위치인 미지 광 위치를, 각각, (X_L',Y_L') 및 (X_R',Y_R')으로 나타낸다.

미지 광 위치 (X_L',Y_L') 및 (X_R',Y_R')은, 미지 촬상 화상 위의 스폿 광상 PL 및 PR로부터, 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)과 마찬가지로 구할 수 있다.

또한, 미지 광 위치 (X_L',Y_L') 및 (X_R',Y_R')의 중점을, (X_C',Y_C')으로 나타내기로 한다.

지금, 기지 촬상 화상의 촬상 시의 회전 방향의 설치 오차를 기준으로 하는 미지 촬상 화상의 촬상 시의 회전 방향의 설치 오차인 상대적인 회전 오차를 θ_Error로 나타내기로 하면, 상대적인 회전 오차 θ_Error는, 렌즈 정보에 포함되는 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R), 그리고 미지 촬상 화상으로부터 얻어지는 미지 광 위치 (X_L',Y_L') 및 (X_R',Y_R')을 사용하여, 식(2)에 따라 구할 수 있다.

식(2)에 의하면, 상대적인 회전 오차 θ_Error는, 기지 광 위치 (X_L,Y_L)과 (X_R,Y_R)을 연결하는 직선의 방향을 나타내는 각도를 기준으로 하는, 미지 광 위치 (X_L',Y_L')과 (X_R',Y_R')을 연결하는 직선의 방향을 나타내는 각도이고, 기지 광 위치 (X_L,Y_L)과 (X_R,Y_R)이 이격되어 있을수록 (미지 광 위치 (X_L',Y_L')과 (X_R',Y_R')이 이격되어 있을수록), 정밀도가 좋아진다. 따라서, 광원(32L과 32R)을 가능한 한 이격하여 배치함으로써, 상대적인 회전 오차 θ_Error를 고정밀도로 구할 수 있다.

또한, 다안 교환 렌즈(20)에 3개 이상의 광원이 마련되어 있는 경우에는, 그 3개 이상의 광원으로부터 얻어지는 2개의 광원의 페어 각각에 대하여, 식(2)에 따라서 회전 오차 θ_Error를 구하고, 각 페어에 대하여 구해진 회전 오차 θ_Error의 평균값 등을, 최종적인 회전 오차 θ_Error로서 채용할 수 있다.

상대적인 회전 오차 θ_Error는, 미지 광 위치 (X_L',Y_L')(또는 (X_R',Y_R'))과 기지 광 위치 (X_L,Y_L)(또는 (X_R,Y_R)) 사이의 회전각이고, 기지 기준 위치로서의 광축 중심 위치 (dx#i,dy#i)를, 식(3)에 따라, 상대적인 회전 오차 θ_Error에 따라 회전시킴으로써, 그 상대적인 회전 오차 θ_Error가 발생한 미지 촬상 화상 위의 미지 기준 위치로서의 상대 광축 중심 위치 (dx#i',dy#i')을 구할 수 있다.

미지 기준 위치로서의 미지 촬상 화상 위의 개안 화상 E1 내지 E4 각각의 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을, 제1 산출 방법에 의해 구하는 경우, 즉, 식(2) 및 식(3)에 따라 구하는 경우에는, 미지 촬상 화상 위의 광원(32L 및 32R) 각각의 스폿 광상 PL 및 PR의 미지 광 위치 (X_L',Y_L') 및 (X_R',Y_R')과, 기지 촬상 화상 위의 광원(32L 및 32R) 각각의 스폿 광상 PL 및 PR의 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R) 사이의 평행 이동량을 구함으로써, 횡방향 및 종방향의 설치 오차를 구할 수 있다.

즉, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error는, 예를 들어 식(4)에 따라 구할 수 있다.

또한, 식(4)에서는, 미지 촬상 화상 위의 광원(32L 및 32R) 각각의 스폿 광상 PL 및 PR의 미지 광 위치 (X_L',Y_L') 및 (X_R',Y_R')의 중점 (X_C',Y_C')과, 기지 촬상 화상 위의 광원(32L 및 32R) 각각의 스폿 광상 PL 및 PR의 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)의 중점 (X_C,Y_C) 사이의 평행 이동량이, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error로서 구해지지만, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error로서는, 기타, 예를 들어 미지 광 위치 (X_L',Y_L')과 기지 광 위치 (X_L,Y_L)의 평행 이동량이나, 미지 광 위치 (X_R',Y_R')과 기지 광 위치 (X_R,Y_R) 사이의 평행 이동량을 구할 수 있다.

도 8은, 미지 기준 위치로서의 미지 촬상 화상 위의 개안 화상 E1 내지 E4 각각의 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을, 제1 산출 방법에 의해 구하는 경우의 기지 기준 위치 등 취득 처리의 예를 설명하는 흐름도다.

도 8의 기지 기준 위치 등 취득 처리에서는, 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')을 제1 산출 방법으로 구하는 경우에 필요해지는 기지 기준 위치로서의 광축 중심 위치 (dx#i,dy#i) 등이 취득된다.

기지 기준 위치 등 취득 처리는, 카메라 본체(10)나 후술하는 컴퓨터 등에서 행할 수 있다. 기지 기준 위치 등 취득 처리를 행하는 장치를, 편의상, 취득 처리 장치라고 칭하기로 한다.

스텝 S11에 있어서, 취득 처리 장치는, 개안 렌즈(31₀)의 광축 상의 기지의 거리의 위치에, 소정의 피사체로서의 차트 화상을 두고, 그 차트 화상을, 다안 교환 렌즈(20)를 카메라 본체(10)에 설치한 카메라 시스템에 의해 촬상한 기지 촬상 화상을 취득하고, 처리는, 스텝 S12로 진행한다.

스텝 S12에서는, 취득 처리 장치는, 기지 촬상 화상에 포함되는 각 개안 화상 E#i에 비치는 소정의 피사체로서의 차트 화상의 소정의 점, 예를 들어 차트로서의 원의 중심 위치를 구하고, 처리는, 스텝 S13으로 진행한다.

스텝 S13에서는, 취득 처리 장치는, 피사체로서의 차트 화상까지의 거리, 그리고 다안 교환 렌즈(20)의 기선장 및 기선각을 사용하여, 개안 화상(주변 화상) E1 내지 E4 각각에 대하여, 개안 화상 E#i에 비치는 피사체로서의 차트 화상의 소정의 점으로서의 원의 중심의, 개안 화상(중앙 화상) E0에 비치는 피사체로서의 차트 화상의 소정의 점으로서의 원의 중심과의 사이의 시차를 구한다.

또한, 취득 처리 장치는, 개안 화상 E1 내지 E4 각각에 대하여, 개안 화상 E#i에 비치는 피사체로서의 차트 화상의 소정의 점으로서의 원의 중심의 시차에 따라, 그 원의 중심 위치로부터 이동한 위치에 있는 개안 화상 E#i의 광학 중심 위치(기지 촬상 화상 위의 위치)(x#i,y#i)를, 그 개안 화상 E#i의 기지 기준 위치 (x#i,y#i)로서 구한다. 또한, 취득 처리 장치는, 개안 화상 E0에 비치는 피사체로서의 차트 화상의 원의 중심의 위치인 광축 중심 위치 (x0,y0)을, 개안 화상 E0의 기지 기준 위치 (x0,y0)으로서 구하고, 처리는, 스텝 S13으로부터 스텝 S14로 진행한다.

스텝 S14에서는, 취득 처리 장치는, 스텝 S13에서 구해진 기지 기준 위치 (x#i,y#i)를 사용하여, 개안 화상 E1 내지 E4 각각에 대하여, 식(1)에 따라, 개안 화상 E0의 기지 기준 위치 (x0,y0)을 기준으로 하는 개안 화상 E#i의 (상대)기지 기준 위치 (dx#i,dy#i)를 구하고, 처리는 스텝 S15로 진행한다.

스텝 S15에서는, 취득 처리 장치는, 기지 촬상 화상 위의 광원(32L 및 32R)의 스폿 광의 스폿 광상 PL 및 PR 각각의 무게 중심의 위치를, 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)로서 구하고, 기지 기준 위치 등 취득 처리는 종료한다.

스텝 S14에서 구해진 (상대)기지 기준 위치 (dx#i,dy#i), 그리고 스텝 S15에서 구해진 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)은, 렌즈 정보의 일부로서, 도 3의 기억부(41)에 기억된다.

도 9는, 미지 기준 위치로서의 미지 촬상 화상 위의 개안 화상 E1 내지 E4 각각의 상대 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4') 등을, 제1 산출 방법에 의해 구하는 미지 기준 위치 산출 처리의 예를 설명하는 흐름도다.

스텝 S21에 있어서, 기준 위치 산출부(57)(도 3)는, 통신부(56)로부터 공급되는 렌즈 정보를 취득하고, 처리는, 스텝 S22로 진행한다.

즉, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되면, 통신부(56)는, 다안 교환 렌즈(20)의 통신부(42)와의 사이에서 통신을 행하여, 통신부(42)로부터 송신되어 오는 다안 교환 렌즈(20)의 렌즈 정보를 수신하고, 기준 위치 산출부(57)에 공급한다. 기준 위치 산출부(57)는, 이상과 같이 하여 통신부(56)로부터 공급되는 렌즈 정보를 취득한다.

스텝 S22에서는, 기준 위치 산출부(57)는, 임의의 피사체를 촬상한 촬상 화상인 미지 촬상 화상을 취득하고, 처리는, 스텝 S23으로 진행한다. 즉, 기준 위치 산출부(57)는, 다안 교환 렌즈(20)가 카메라 본체(10)에 설치된 카메라 시스템에 있어서, 이미지 센서(51)가 촬상한 촬상 화상을, 미지 촬상 화상으로서 취득한다.

스텝 S23에서는, 기준 위치 산출부(57)는, 미지 촬상 화상에 포함되는 광원(32L 및 32R)의 스폿 광의 스폿 광상 PL 및 PR 각각의 무게 중심의 위치를, 미지 광 위치 (X_L',Y_L') 및 (X_R',Y_R')으로서 구하고, 처리는, 스텝 S24로 진행한다.

스텝 S24에서는, 기준 위치 산출부(57)는, 렌즈 정보에 포함되는 기지 광 위치 (X_L,Y_L)(또는 (X_R,Y_R))과, 스텝 S23에서 구한 미지 광 위치 (X_L',Y_L')(또는 (X_R',Y_R')) 사이의 회전각을, (상대적인)회전 오차를 θ_Error로서 구하고, 처리는, 스텝 S25로 진행한다.

즉, 기준 위치 산출부(57)는, 예를 들어 식(2)에 따라, 렌즈 정보에 포함되는 기지 광 위치 (X_L,Y_L)과 (X_R,Y_R)을 잇는 선분의 방향을 기준으로 하는, 미지 광 위치 (X_L',Y_L')과 (X_R',Y_R')을 잇는 선분의 방향을 나타내는 상대적인 각도를, 회전 오차를 θ_Error로서 구한다.

스텝 S25에서는, 기준 위치 산출부(57)는, 식(3)에 따라, 스텝 S24에서 구해진 회전 오차 θ_Error에 따라, 렌즈 정보에 포함되는 상대 기지 기준 위치로서의 상대 광축 중심 위치 (dx#i,dy#i)를 회전시킴으로써, 회전 오차 θ_Error가 발생하는 미지 촬상 화상에 포함되는 개안 화상 E1 내지 E4 각각의 미지 기준 위치로서의 (상대)광축 중심 위치 (dx#i',dy#i')을 구하고, 처리는, 스텝 S26으로 진행한다.

스텝 S26에서는, 기준 위치 산출부(57)는, 렌즈 정보에 포함되는 기지 광 위치 (X_L,Y_L) 또는 (X_R,Y_R)과, 미지 촬상 화상 위의 광원(32L 및 32R)의 스폿 광상 PL 및 PR의 미지 광 위치 (X_L',Y_L') 또는 (X_R',Y_R') 사이의 평행 이동량을, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error로서 구하고, 미지 기준 위치 산출 처리는 종료한다.

즉, 기준 위치 산출부(57)는, 예를 들어 식(4)에 따라, 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)의 중점 (X_C,Y_C)에 대한, 미지 광 위치 (X_L',Y_L') 및 (X_R',Y_R')의 중점 (X_C',Y_C')의 평행 이동량을, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error로서 구한다.

또한, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error가 필요없는 경우에는, 스텝 S26의 처리는 생략할 수 있다.

<개안 화상의 영역 특정 처리>

도 10은, 도 3의 영역 특정부(52)가 행하는, 미지 촬상 화상 위의 각 개안 화상 E#i의 영역을 특정하는 영역 특정 처리의 예를 설명하는 흐름도다.

스텝 S31에 있어서, 영역 특정부(52)는, 기준 위치 산출부(57)로부터 공급되는, 미지 촬상 화상에 포함되는 개안 화상 E1 내지 E4의 미지 기준 위치로서의 상대 광축 중심 위치 (dx#i',dy#i')을 취득하고, 처리는, 스텝 S32로 진행한다.

스텝 S32에서는, 영역 특정부(52)는, 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')에 기초하여, 미지 촬상 화상 위의 개안 화상 E1 내지 E4의 영역을 특정한다. 즉, 영역 특정부(52)는, 예를 들어 기지 기준 위치 (dx#i,dy#i)를 구할 때의 xy 좌표계에 있어서, 미지 촬상 화상 위의 미지 기준 위치 (dx#i',dy#i')을 중심으로 하는 소정의 사이즈의 직사각 형상의 영역을, 개안 화상 E#i(i＝1,2,3,4)의 영역으로서 특정한다.

또한, 영역 특정부(52)는, 미지 촬상 화상 위의 원점을 중심으로 하는 소정의 사이즈의 직사각 형상의 영역을, 개안 화상 E0의 영역으로서 특정하고, 처리는, 스텝 S32로부터 스텝 S33으로 진행한다.

스텝 S33에서는, 영역 특정부(52)는, 촬상 화상으로부터, 개안 화상 E0 내지 E4 각각을 추출하여, 영역 특정 결과 정보로서 출력하고, 처리를 종료한다.

또한, 영역 특정부(52)는, 도 3에서 설명한 바와 같이, 개안 화상 E0 내지 E4 대신에, 촬상 화상과, 그 촬상 화상 위의 각 개안 화상 E#i의 영역을 나타내는 영역 정보의 세트를, 영역 특정 결과 정보로서 출력할 수 있다.

이상과 같이, 다안 교환 렌즈(20)는, 광축 방향으로(보아) 겹치지 않도록 배치된 개안 렌즈(31₀ 내지 31₄)를 갖고, 소정의 거리에 있는 차트 화상이 비치는 기지 촬상 화상 위의 개안 화상 E#i의 (상대)기지 기준 위치로서의, 예를 들어 광축 중심 위치 (dx#i,dy#i)(또는 (x#i,y#i))를 포함하는 렌즈 정보를, 외부로서의, 예를 들어 카메라 본체(10)로 송신한다. 또한, 카메라 본체(10)는, 렌즈 정보를 수신하고, 그 렌즈 정보에 포함되는 기지 기준 위치 (dx#i,dy#i)에 기초하여, 미지 촬상 화상 위의 개안 화상 E#i에 대하여, 개안 화상 E#i 위의 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')을 구한다.

따라서, 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')에 기초하여, 미지 촬영 화상으로부터, 복수의 시점의 화상, 즉, 개안 렌즈(31_i)의 위치를 시점으로 하는 개안 화상 E#i를 용이하게 얻을 수 있다.

또한, 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')으로부터, 기선 L0#i(도 6)의 방향을 나타내는 기선각 (tan^-1(dy#i/dx#i))를 구할 수 있고, 그 기선각을 사용하여, 다안 교환 렌즈(20)의 회전 방향의 설치 오차에 영향받지 않는 정확한 시차 정보를 구할 수 있다.

여기서, 예를 들어 기지 촬상 화상 위의 개안 화상 E0의 광축 중심 위치 (x0,y0)을 원점으로 하는 xy 좌표계를 채용하기로 하고, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error가 0이라고 하자. 이 경우, 미지 촬상 화상에 있어서, 개안 화상 E0의 미지 기준 위치 (x0',y0')인 광축 중심 위치는, 원점으로 되어, 개안 화상 E0의 영역은, 원점을 중심으로 하는 영역으로 된다.

한편, 횡방향의 설치 오차 X_Error 또는 종방향의 설치 오차 Y_Error가 0이 아닌 경우, 미지 촬상 화상에 있어서, 개안 화상 E0의 광축 중심 위치는, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error만큼, 원점으로부터 어긋난다.

이 경우, 개안 화상 E0의 미지 기준 위치 (x0',y0')인 광축 중심 위치가, 원점인 것을 전제로 하여, 원점을 중심으로 하는 소정의 사이즈의 직사각 형상의 영역을, 개안 화상 E0의 영역으로서 특정하면, 실제의 미지 기준 위치 (x0',y0')인 광축 중심 위치는, 원점으로부터 어긋나 있기 때문에, 미지 촬상 화상 위의, 개안 화상 E0의 실제의 광축 중심 위치로부터 어긋난 위치를 중심으로 하는 소정의 사이즈의 직사각 형상의 영역이, 개안 화상 E0의 영역으로서 특정된다.

그 결과, 다른 개안 화상 E1 내지 E4 각각에 대해서도, 미지 촬상 화상 위의 개안 화상 E#i의 광축 중심 위치 (x#i',y#i')으로부터 어긋난 위치를 중심으로 하는 소정의 사이즈의 직사각 형상의 영역이, 개안 화상 E#i의 영역으로서 특정된다.

즉, 횡방향의 설치 오차 X_Error 또는 종방향의 설치 오차 Y_Error가 0이 아닌 경우, 개안 화상 E0 내지 E4 각각에 대하여, 미지 촬상 화상 위의 개안 화상 E#i의 광축 중심 위치 (x#i',y#i')으로부터 동일한 평행 이동량만큼 어긋난 위치를 중심으로 하는 소정의 사이즈의 직사각 형상의 영역이, 개안 화상 E#i의 영역으로서 특정된다.

단, 횡방향의 설치 오차 X_Error 또는 종방향의 설치 오차 Y_Error가 0이 아닌 경우도, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error가 0인 경우도, 미지 촬상 화상의 촬상 시의 기선각 (tan^-1(dy#i/dx#i))는, 개안 화상 E0의 위치를 기준으로 하는 상대적인 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')으로부터 구해진다.

따라서, 광축 중심 위치 (x#i',y#i')으로부터 동일한 평행 이동량만큼 어긋난 위치를 중심으로 하는 개안 화상 E#i에 대하여 얻어지는 기선각은, 미지 촬상 화상 위의 광축 중심 위치 (x#i',y#i')을 중심으로 하는 개안 화상 E#i에 대하여 얻어지는 기선각과 동일해진다.

즉, 횡방향의 설치 오차 X_Error 또는 종방향의 설치 오차 Y_Error가 0이 아닌 경우라도, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error가 0인 경우와 동일한 기선각을 얻을 수 있다. 그리고, 그 기선각을 사용하여, 미지 촬상 화상 위의 영역이 특정된 개안 화상 E#i로부터, 다안 교환 렌즈(20)의 설치 오차에 영향받지 않는 정확한 시차 정보를 구할 수 있다.

이상과 같이, 기선각은, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error에 구애되지 않고, 동일한 값을 구할 수 있으므로, 이하에는, 설명을 간단하게 하기 위해, 횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error가 0인 것으로 한다(횡방향의 설치 오차 X_Error 및 종방향의 설치 오차 Y_Error에는 언급하지 않음).

이 경우, 미지 촬상 화상에 포함되는 개안 화상 E0의 광축 중심 위치는, 기지 촬상 화상에 포함되는 개안 화상 E0의 광축 중심 위치, 즉, 본 실시 형태에서는, 기지 기준 위치 (dx#i,dy#i)를 구할 때의 xy 좌표계의 원점에 일치한다.

<본 기술을 적용한 카메라 시스템의 제2 실시 형태>

도 11은, 본 기술을 적용한 카메라 시스템의 제2 실시 형태의 구성예를 도시하는 사시도다.

또한, 도면 중, 도 1의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고, 이하에는, 그 설명은 적절히 생략한다.

도 11에 있어서, 카메라 시스템은, 카메라 본체(10)와 다안 교환 렌즈(20)로 구성된다.

따라서, 도 11의 카메라 시스템은, 도 1의 경우와 마찬가지로 구성된다.

단, 도 11의 카메라 시스템에 있어서, 다안 교환 렌즈(20)에는, 광원(32L 및 32R)이 마련되어 있지 않다. 따라서, 도 11의 카메라 시스템은, 다안 교환 렌즈(20)가 광원(32L 및 32R)을 갖지 않는 점에서, 다안 교환 렌즈(20)가 광원(32L 및 32R)을 갖는 도 1의 경우와 상이하다.

도 12는, 도 11의 카메라 시스템의 전기적 구성예를 도시하는 블록도다.

또한, 도면 중, 도 3의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고, 이하에는, 그 설명은 적절히 생략한다.

도 12의 카메라 시스템에 있어서, 다안 교환 렌즈(20)는, 기억부(41) 및 통신부(42)를 갖는다.

또한, 도 12에 있어서, 다안 교환 렌즈(20)는, 도 11에서 설명한 바와 같이, 광원(32L 및 32R)을 갖고 있지 않은 점에서, 도 1의 경우와 상이하다.

또한, 도 12의 다안 교환 렌즈(20)는, 기억부(41)에 기억되는 렌즈 정보에, 기지 촬상 화상 위의 개안 화상 E#i의 기지 기준 위치로서의 광축 중심 위치 (dx#i,dy#i)가 포함되는 점에서, 도 3의 경우와 공통된다.

단, 도 12의 다안 교환 렌즈(20)는, 기억부(41)에 기억되는 렌즈 정보에, 광원(32L 및 32R)의 스폿 광상 PL 및 PR의 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R)이 포함되어 있지 않은 점에서, 도 3의 경우와 상이하다.

또한, 도 12의 다안 교환 렌즈(20)는, 기억부(41)에 기억되는 렌즈 정보에, 기준각이 포함되는 점에서, 도 3의 경우와 상이하다.

기준각이란, 기지 촬상 화상의 촬상 시의 기선 L0#i의 방향을 나타내는 각도, 즉, 기지 촬상 화상 위의 개안 화상 E0의 기지 기준 위치 (x0,y0)과 다른 개안 화상 E#i(i＝1,2,3,4)의 기지 기준 위치 (x#i,y#i)를 잇는 선의 방향을 나타내는 각도, 즉, 원점으로부터 기지 기준 위치 (dx#i,dy#i)를 향하는 방향의 각도이다.

도 12의 카메라 시스템에 있어서, 카메라 본체(10)는, 이미지 센서(51), 영역 특정부(52), 화상 처리부(53), 표시부(54), 기억부(55), 통신부(56) 및 기준 위치 산출부(71)를 갖는다.

따라서, 도 12의 카메라 본체(10)는, 이미지 센서(51) 내지 통신부(56)를 갖는 점에서, 도 3의 경우와 공통된다. 단, 도 12의 카메라 본체(10)는, 기준 위치 산출부(57) 대신에, 기준 위치 산출부(71)가 마련되어 있는 점에서, 도 3의 경우와 상이하다.

기준 위치 산출부(71)는, 통신부(56)로부터의 렌즈 정보에 포함되는 기지 기준 위치 (dx#i,dy#i) 및 기준각에 기초하여, 이미지 센서(51)로부터 공급되는 미지 촬상 화상에 포함되는 개안 화상 E#i 위의 광축 중심 위치인 미지 기준 위치 (dx#i',dy#i')을 구하고, 영역 특정부(52)에 공급한다.

<다안 교환 렌즈(20)를 사용하여 행해지는 촬상의 개요>

도 13은, 도 11의 다안 교환 렌즈(20)를 사용하여 행해지는 촬상 화상의 촬상의 개요를 설명하는 도면이다.

상술한 바와 같이, 도 11의 다안 교환 렌즈(20)는, 광원(32L 및 32R)을 갖지 않는다. 도 11의 다안 교환 렌즈(20)가 장착된 카메라 본체(10)의 이미지 센서(51)에서는, 각 개안 렌즈(31_i)에 있어서 광선이 집광됨으로써 형성되는 상에 대응하는 개안 화상을 포함하는 촬상 화상이 촬상되지만, 그 촬상 화상에는, 광원(32L 및 32R)이 조사하는 스폿 광의 스폿 광상 PL 및 PR은 포함되지 않는다.

도 14는, 도 11의 다안 교환 렌즈(20)에 있어서의 개안 렌즈(31₀ 내지 31₄)의 배치와, 그 다안 교환 렌즈(20)를 사용하여 촬상되는 촬상 화상의 예를 도시하는 도면이다.

도 14의 A는, 다안 교환 렌즈(20)에 있어서의 개안 렌즈(31₀ 내지 31₄)의 배치예를 도시하는 배면도다.

도 14의 A의 개안 렌즈(31₀ 내지 31₄)의 배치는, 도 5의 A의 경우와 마찬가지이므로, 설명을 생략한다.

도 14의 B는, 도 14의 A와 같이 개안 렌즈(31₀ 내지 31₄)가 배치된 다안 교환 렌즈(20)가 장착된 카메라 본체(10)의 이미지 센서(51)로 촬상되는 촬상 화상의 예를 도시하는 도면이다.

도 14의 B의 촬상 화상은, 스폿 광상 PL 및 PR이 없는 것을 제외하고, 도 5의 B의 경우와 마찬가지이므로, 설명을 생략한다.

도 12의 기준 위치 산출부(71)는, 기지 기준 위치로서의 광축 중심 위치 (dx1,dy1) 내지 (dx4,dy4) 및 기준각을 사용하여, 제2 산출 방법에 의해, 미지 기준 위치로서의 미지 촬상 화상 위의 개안 화상 E#i의 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')을 구한다.

광축 중심 위치 (dx#i',dy#i')을 구할 수 있으면, 그 광축 중심 위치 (dx#i',dy#i')을 사용하여, 미지 촬상 화상 위의 개안 화상 E#i의 영역을 특정할 수 있다. 또한, 미지 촬상 화상의 촬상 시의 기선각을 구하고, 그 기선각을 사용하여, 다안 교환 렌즈(20)의 회전 방향의 설치 오차에 영향받지 않는 정확한 시차 정보를 구할 수 있다.

<미지 기준 위치로서의 촬상 화상 위의 개안 화상 E#i의 광축 중심 위치 (dx#i',dy#i')을 구하는 제2 산출 방법>

도 15는, 미지 기준 위치로서의 (상대)광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을 구하는 제2 산출 방법을 설명하는 도면이다.

도 15의 A는, 도 11의 다안 교환 렌즈(20)가 카메라 본체(10)에 설치된 카메라 시스템에 있어서, 소정의 피사체로서의 차트 화상을 촬상한 기지 촬상 화상의 예를 나타내고 있다.

미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')을 구하는 방법으로서, 제2 산출 방법이 채용되는 경우, 제1 산출 방법이 채용되는 경우와 마찬가지로, 기지 촬상 화상을 사용하여, 기지 기준 위치로서의 광축 중심 위치 (dx#i,dy#i)가 구해진다.

도 15의 A의 기지 촬상 화상은, 스폿 광상 PL 및 PR이 없는 것을 제외하고, 도 7의 A의 기지 촬상 화상과 동일한 화상으로 되어 있다. 따라서, 도 15의 A의 기지 촬상 화상은, 중앙 화상 E0 위의 광축 중심 위치 (x0,y0)＝(0,0)에, 차트 화상의 차트로서의 원의 중심이 비치도록, 차트 화상을, 개안 렌즈(31₀)의 광축 상의 기지의 거리의 위치에 배치하여 촬상하는 화상이다.

도 15의 A의 기지 촬상 화상에서는, 도 7의 A의 경우와 마찬가지로, 기지 촬상 화상 위의 중앙 화상 E0에는, 차트로서의 원의 중심이 광축 중심 위치 (x0,y0)＝(0,0)에 위치하는 차트 화상이 비친다. 또한, 주변 화상 E#i에는, 중앙 화상 E0과 마찬가지로, 차트 화상이 비친다. 단, 주변 화상 E#i에 있어서는, 차트로서의 원의 위치는, 중앙 화상 E0과의 사이의 시차에 따라, 중앙 화상 E0에 비치는 차트로서의 원의 위치로부터 어긋난다.

따라서, 기지 촬상 화상 위의 중앙 화상 E0에 있어서는, 차트로서의 원의 중심이, 광축 중심 위치 (x0,y0)＝(0,0)에 위치하지만, 주변 화상 E#i에 있어서는, 차트로서의 원의 중심이, 광축 중심 위치 (x#i,y#i)＝(dx#i,dy#i)로부터, 중앙 화상 E0 사이의 시차에 따라 어긋난다.

차트 화상은, 기지의 거리에 놓여져 있으므로, 주변 화상 E#i와 중앙 화상 E0 사이의 시차는, 그 기지의 거리와, 기지 촬상 화상을 촬상했을 때의 개안 렌즈(31_i)와 개안 렌즈(31₀) 사이의 기선장 및 기선각으로부터 구할 수 있다.

또한, 도 7에서 설명한 바와 같이, 기지 촬상 화상의 촬상 시의 기선각은, 기지 촬상 화상의 촬상 시에 측정할 수 있다. 또는, 기지 촬상 화상의 촬상 시에는, 기선각이 설계값 등의 소정값으로 되도록, 다안 교환 렌즈(20)의 설치를 조정할 수 있다.

여기서, 도 15의 A에 도시한 바와 같이, 기지 촬상 화상 위의 중앙 화상 E0의 광축 중심 위치 (x0,y0)＝(0,0)과 주변 화상 E#i의 광학 중심 위치 (x#i,y#i)＝(dx#i,dy#i)를 연결하는 기선 L0#i의 방향을 나타내는 기선각으로서, 기선 L0#i와 x축이 이루는 각 θ#i를 채용하기로 한다. 기지 촬상 화상의 기선 L0#i의 기선각 θ#i가, 기준각 θ#i이다.

주변 화상 E#i의 광축 중심 위치 (x#i,y#i)＝(dx#i,dy#i)는, 그 주변 화상 E#i에 비치는 차트로서의 원의 중심으로부터, 중앙 화상 E0과의 사이의 시차에 따라 이동한 위치이므로, 주변 화상 E#i에 비치는 차트로서의 원의 중심의 위치와, 중앙 화상 E0 사이의 시차로부터 구할 수 있다.

또한, 기지 촬상 화상 위의 중앙 화상 E0의 광축 중심 위치 (x0,y0)(＝(0,0))에는, 차트 화상의 차트로서의 원의 중심이 비치고 있으므로, 중앙 화상 E0의 광축 중심 위치 (x0,y0)은, 중앙 화상 E0으로부터, 차트로서의 원의 중심의 위치를 검출함으로써 구할 수 있지만, 본 실시 형태에서는, 중앙 화상 E0의 광축 중심 위치 (x0,y0)은 원점이다.

이상과 같이, 기지 촬상 화상으로부터, 기지 기준 위치로서의, 기지 촬상 화상 위의 중앙 화상 E0의 광축 중심 위치 (x0,y0)＝(0,0) 및 주변 화상 E#i의 광축 중심 위치 (x#i,y#i)가 구해진 후, 중앙 화상 E0의 기지 기준 위치 (x0,y0)＝(0,0)을 기준으로 하는 주변 화상 E#i의 기지 기준 위치 (dx#i,dy#i)＝(x#i,y#i)－(x0,y0)＝(x#i,y#i)－(0,0)＝(x#i,y#i)가 구해지고, 렌즈 정보로서, 도 12의 기억부(41)에 기억된다.

제2 산출 방법이 채용되는 경우, 기지 기준 위치 (dx#i,dy#i) 외에, 기준각 θ#i가, 또한, 렌즈 정보로서, 도 12의 기억부(41)에 기억된다.

그리고, 제2 산출 방법에서는, 기지 기준 위치 (dx#i,dy#i) 및 기준각 θ#i에 기초하여, 미지 촬상 화상 위의 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')이 구해진다.

도 15의 B는, 다안 교환 렌즈(20)가 카메라 본체(10)에 설치된 카메라 시스템에 있어서 촬상되는 미지 촬상 화상의 예를 나타내고 있다.

상술한 바와 같이, 미지 촬상 화상의 촬상 시에는, 기지 촬상 화상의 촬상 시와는 다른 회전 방향의 설치 오차가 발생할 수 있다.

여기서, 미지 촬상 화상 위의 중앙 화상 E0의 광축 중심 위치 (x0',y0')을 기준으로 하는 주변 화상 E#i의 (상대)광축 중심 위치 (dx#i',dy#i')(i＝1,2,3,4)는, 미지 촬상 화상 위의 중앙 화상 E0의 광축 중심 위치 (x0',y0')을 원점 (0,0)으로 하는 xy 좌표계 위의 주변 화상 E#i의 광축 중심 위치 (x#i',y#i')과 다름없다.

미지 촬상 화상의 촬상 시에 있어서의, 미지 촬상 화상 위의 중앙 화상 E0의 광축 중심 위치 (x0',y0')＝(0,0)과 주변 화상 E#i의 광학 중심 위치 (x#i',y#i')＝(dx#i',dy#i')을 연결하는 기선 L0#i'의 방향을 나타내는 기선각을, 도 15의 B에 도시한 바와 같이, θ#i'으로 나타내기로 한다.

미지 촬상 화상의 촬상 시의 기선각 θ#i'은, 다안 교환 렌즈(20)의 회전 방향의 설치 오차에 의해, 기지 촬상 화상의 촬상 시의 기준각 θ#i로부터 어긋난다. 이러한 기선각의 어긋남은, θ#i'－θ#i로 표현된다.

다안 교환 렌즈(20)의 회전 방향의 설치 오차에 의해 기선각이 θ#i'으로 된 미지 촬상 화상 위의 주변 화상 E#i의 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')은, 기지 기준 위치로서의 광학 중심 위치 (dx#i,dy#i)가, 기선각의 어긋남 θ#i'－θ#i만큼 회전한 위치로 이동한다. 따라서, 미지 촬상 화상 위의 주변 화상 E#i의 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')은, 기지 기준 위치로서의 광학 중심 위치 (dx#i,dy#i)를, 기선각의 어긋남 θ#i'－θ#i만큼 회전하는 식(5)에 따라 구할 수 있다.

미지 기준 위치로서의 촬상 화상 위의 개안 화상 E1 내지 E4 각각의 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을, 제2 산출 방법에 의해 구하는 경우, 즉, 식(5)에 따라 구하는 경우에는, 기선각의 어긋남 θ#i'－θ#i가 필요하고, 그 기선각의 어긋남 θ#i'－θ#i를 구하기 위해서는, 미지 촬상 화상 위의 주변 화상 E#i의 기선각 θ#i'이 필요해진다.

미지 촬상 화상 위의 주변 화상 E#i의 기선각 θ#i'은, 예를 들어 미지 촬상 화상 위의 개안 화상 E#i(i＝0,1,2,3,4) 각각으로부터 동일한 특징을 갖는 특징점을 추출하고, 그 특징점으로부터 구할 수 있다.

도 16은, 미지 촬상 화상 위의 개안 화상 E#i로부터의 특징점의 추출의 예를 설명하는 도면이다.

특징점의 추출에서는, 미지 촬상 화상 위의 개안 화상 E0 내지 E4 중 하나인, 예를 들어 중앙 화상인 개안 화상 E0으로부터, 예를 들어 해리스의 코너 검출 등에 의해, 특징점의 후보가 되는 후보점이 1점 이상 검출된다. 또한, 나머지의 개안 화상인 주변 화상 E1 내지 E4 각각을 대상으로, 중앙 화상 E0 위의 후보점과 상관이 높은 점이, 블록 매칭 등에 의해 검출되고, 주변 화상 E1 내지 E4 모두로부터, 상관이 높은 점이 검출된 후보점이, 중앙 화상 E0의 특징점으로 결정됨과 함께, 그 특징점과 상관이 높은 주변 화상 E1 내지 E4 각각의 점이 특징점으로 결정된다.

이상과 같이 하여, 미지 촬상 화상 위의 각 개안 화상 E#i로부터, 1점 또는 복수의 점이, 특징점으로서 추출된다.

도 16에서는, 각 개안 화상 E#i로부터, 3점의 특징점 a, b, c가 추출되어 있다.

여기서, 개안 화상 E#i 위의 특징점 a의 좌표를, (Xa#i,Ya#i)로 나타낸다. 마찬가지로, 개안 화상 E#i 위의 특징점 b의 좌표를, (Xb#i,Yb#i)로 나타내고, 개안 화상 E#i 위의 특징점 c의 좌표를, (Xc#i,Yc#i)로 나타낸다.

미지 촬상 화상 위의 주변 화상 E#i의 기선각 θ#i'은, 예를 들어 하나의 개안 화상인 중앙 화상 E0의 특징점과 다른 개안 화상인 주변 화상 E#i의 특징점을 잇는 선의 방향을 나타내는 각도의 평균값으로서, 식(6)에 따라 구할 수 있다.

...(6)

식(6)은, 3개의 특징점 a 내지 c에 대하여 얻어지는, 중앙 화상 E0의 특징점과 주변 화상 E#i의 특징점을 잇는 선의 방향을 나타내는 3개의 각도의 평균값으로 되어 있다. 식(6)의 기선각 θ#i'은, 평균을 취하는 각도의 수가 많을수록, 즉, 각 개안 화상 E#i로부터 추출되는 특징점의 수가 많을수록, 정밀도를 향상시킬 수 있다.

식(6)에 의해 얻어지는 기선각 θ#i'을 사용하여 구해지는 기선각의 어긋남 θ#i'－θ#i는, 하나의 개안 화상인 중앙 화상 E0의 특징점과 다른 개안 화상인 주변 화상 E#i의 특징점을 잇는 선의 방향을 나타내는 각도와, 기준각 θ#i 사이의 회전각일 수 있다.

제2 산출 방법에서는, 식(6)에 따라, 기선각 θ#i'을 구하고, 식(5)에 따라, 기선각 θ#i'을 사용하여 구해지는 기선각의 어긋남 θ#i'－θ#i만큼, 기지 기준 위치로서의 광학 중심 위치 (dx#i,dy#i)를 회전시킴으로써, 미지 촬상 화상 위의 주변 화상 E#i의 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')이 구해진다.

도 17은, 미지 기준 위치로서의 미지 촬상 화상 위의 개안 화상 E1 내지 E4 각각의 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을, 제2 산출 방법에 의해 구하는 경우의 기지 기준 위치 등 취득 처리의 예를 설명하는 흐름도다.

도 17의 기지 기준 위치 등 취득 처리에서는, 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')을 제2 산출 방법으로 구하는 경우에 필요해지는 기지 기준 위치로서의 광축 중심 위치 (dx#i,dy#i) 등이 취득된다.

도 17의 기지 기준 위치 등 취득 처리는, 도 8의 경우와 마찬가지로, 취득 처리 장치로서의 카메라 본체(10)나 컴퓨터 등에서 행할 수 있다.

도 17의 기지 기준 위치당 취득 처리에서는, 취득 처리 장치는, 스텝 S51 내지 54에 있어서, 도 8의 스텝 S11 내지 S14와 각각 동일한 처리를 행한다. 이에 의해, 취득 처리 장치는, 스텝 S54에 있어서, 개안 화상 E0의 기지 기준 위치 (x0,y0)을 기준으로 하는 개안 화상 E#i의 (상대)기지 기준 위치 (dx#i,dy#i)를 구하고, 처리는, 스텝 S55로 진행한다.

스텝 S55에서는, 취득 처리 장치는, 기지 촬상 화상 위의 중앙 화상인 개안 화상 E0의 기지 기준 위치 (x0,y0)＝(0,0)과 주변 화상인 다른 개안 화상 E#i(i＝1,2,3,4)의 기지 기준 위치 (x#i,y#i)＝(dx#i,dy#i)를 연결하는 기선 L0#i의 방향을 나타내는 기선각 θ#i＝tan^-1(dy#i/dx#i)를, 개안 화상 E#i의 기준각 θ#i로서 구하고, 기지 기준 위치 등 취득 처리는 종료한다.

스텝 S54에서 구해진 기지 기준 위치 (dx#i,dy#i), 그리고 스텝 S55에서 구해진 기준각 θ#i는, 렌즈 정보의 일부로서, 도 12의 기억부(41)에 기억된다.

도 18은, 미지 기준 위치로서의 미지 촬상 화상 위의 개안 화상 E1 내지 E4 각각의 상대 광축 중심 위치 (dx1',dy1') 내지 (dx4',dy4')을, 제2 산출 방법에 의해 구하는 미지 기준 위치 산출 처리의 예를 설명하는 흐름도다.

스텝 S61 및 S62에 있어서, 기준 위치 산출부(71)(도 12)는, 도 9의 스텝 S21 및 S22와 각각 동일한 처리를 행하고, 처리는, 스텝 S63으로 진행한다. 스텝 S61 및 S62의 처리에 의해, 기준 위치 산출부(71)는, 다안 교환 렌즈(20)의 렌즈 정보 및 이미지 센서(51)로 촬상된 미지 촬상 화상을 취득한다.

스텝 S63에서는, 기준 위치 산출부(71)는, 미지 촬상 화상에 포함되는 개안 화상 E0 내지 E4(라고 추정되는 영역(예를 들어, 원점을 중심으로 하는 소정의 사이즈의 직사각 형상의 영역 및 렌즈 정보에 포함되는 기지 기준 위치로서의 광축 중심 위치 (dx#i,dy#i)를 중심으로 하는 소정의 사이즈의 직사각 형상의 영역)) 각각으로부터, 동일한 특징량을 갖는 특징점 (Xa#i,Ya#i)를 추출하고, 처리는, 스텝 S64로 진행한다.

또한, 식(6)에서 설명한 바와 같이, 식(6)의 기선각 θ#i'은, 각 개안 화상 E#i로부터 추출되는 특징점의 수가 많을수록, 정밀도를 향상시킬 수 있지만, 여기서는, 설명을 간단하게 하기 위해, 미지 촬상 화상에 포함되는 각 개안 화상 E#i으로부터는, 1개의 특징점을 추출하기로 한다.

스텝 S64에서는, 기준 위치 산출부(71)는, 미지 촬상 화상 위의 주변 화상인 개안 화상 E1 내지 E4 각각에 대하여, 중앙 화상인 개안 화상 E0의 특징점 (Xa0,Ya0)과 주변 화상인 개안 화상 E#i의 특징점 (Xa#i,Ya#i)를 잇는 선인 특징점 접속선의 방향을 나타내는 각도를, 개안 화상 E#i의 기선각 θ#i'으로서 구한다.

또한, 기준 위치 산출부(71)는, 미지 촬상 화상 위의 주변 화상인 개안 화상 E1 내지 E4 각각에 대하여, 기선각 θ#i'과, 렌즈 정보에 포함되는 기준각 θ#i 사이의 회전각, 즉, 예를 들어 기준각 θ#i를 기준으로 하는 특징점 접속 방향선의 방향을 나타내는 상대적인 각도 θ#i'－θ#i를, 다안 교환 렌즈(20)의 회전 방향의 설치 오차에 기인하는 기선각의 어긋남 θ#i'－θ#i로서 구하고, 처리는, 스텝 S64로부터 스텝 S65로 진행한다.

스텝 S65에서는, 기준 위치 산출부(71)는, 식(5)에 따라, 스텝 S64에서 구해진 기선각의 어긋남 θ#i'－θ#i에 따라, 렌즈 정보에 포함되는 기지 기준 위치로서의 (상대) 광축 중심 위치 (dx#i,dy#i)를 회전시킴으로써, 기선각의 어긋남 θ#i'－θ#i가 발생하는 미지 촬상 화상 위의 미지 기준 위치로서의 (상대)광축 중심 위치 (dx#i',dy#i')을 구하고, 미지 기준 위치 산출 처리는 종료한다.

이상과 같이, 렌즈 정보에, 기지 기준 위치로서의 광축 중심 위치 (dx#i,dy#i) 및 기준각 θ#i가 포함되는 경우에는, 다안 교환 렌즈(20)가 광원(32L 및 32R)(도 1)을 갖고 있지 않아도, 렌즈 정보에 포함되는 기지 기준 위치 (dx#i,dy#i) 및 기준각 θ#i에 기초하여, 미지 촬상 화상 위의 개안 화상 E#i에 대하여, 개안 화상 E#i 위의 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')을 구할 수 있다.

따라서, 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')에 기초하여, 미지 촬영 화상으로부터, 복수의 시점의 화상, 즉, 개안 렌즈(31_i)의 위치를 시점으로 하는 개안 화상 E#i를 용이하게 얻을 수 있다.

또한, 미지 기준 위치로서의 광축 중심 위치 (dx#i',dy#i')으로부터, 기선 L0#i의 방향을 나타내는 기선각 (tan^-1(dy#i'/dx#i'))을 구할 수 있고, 그 기선각을 사용하여, 다안 교환 렌즈(20)의 회전 방향의 설치 오차에 영향받지 않는 정확한 시차 정보를 구할 수 있다.

또한, 다안 교환 렌즈(20)가, 기지 기준 위치 (dx#i,dy#i)를 산출할 때에 설치된 카메라 본체(10)와는 별도의 카메라 본체에 설치되는 경우에는, 개체의 변동 등에 기인하여, 카메라 본체(10)에 있어서의 이미지 센서(51)의 설치 위치에 대하여, 별도의 카메라 본체에 있어서의 이미지 센서의 설치 위치가 어긋나 있는 경우가 있을 수 있다.

단, 이와 같은, 별도의 카메라 본체에 있어서의 이미지 센서의 설치 위치의 어긋남은, 그 설치 위치가 어긋난 상태의 이미지 센서를 기준으로 하면, 다안 교환 렌즈(20)의 설치 오차로서 파악할 수 있다. 따라서, 다안 교환 렌즈(20)가 설치되는 별도의 카메라 본체에 있어서의 이미지 센서의 설치 위치에, 예를 들어 회전 방향의 어긋남이 있었다고 해도, 미지 기준 위치 산출 처리에서는, 다안 교환 렌즈(20)가 카메라 본체(10)에 설치되는 경우와 동일한 미지 기준 위치로서의 미지 촬상 화상 위의 개안 화상 E#i의 광축 중심 위치 (dx#i',dy#i')을 산출할 수 있다.

또한, 기준 위치 산출부(71)에서는, 기지 기준 위치 (dx#i,dy#i)로부터 기준각 θ#i＝tan^-1(dy#i/dx#i)를 구할 수 있다. 기준각 θ#i를 기지 기준 위치 (dx#i,dy#i)로부터 구하는 경우에는, 기준각 θ#i를 렌즈 정보에 포함할 필요는 없다.

<화상 처리부(53)의 구성예>

도 19는, 도 3 및 도 12의 화상 처리부(53) 중 리포커스를 행하는 부분의 기능적 구성예를 도시하는 블록도다.

여기서, 다안 교환 렌즈(20)가, 예를 들어 도 5 등에 도시한 바와 같이, 개안 렌즈(31₀ 내지 31₄)를 갖는 경우에는, 그 개안 렌즈(31₀ 내지 31₄)에 대한 개안 화상 E0 내지 E4가, 영역 특정부(52)로부터 화상 처리부(53)로 공급된다. 영역 특정부(52)로부터 화상 처리부(53)로 공급되는, 개안 렌즈(31₀ 내지 31₄)에 대한 개안 화상 E1 내지 E4는, 개안 렌즈(31₀ 내지 31₄)의 위치 각각으로부터, 독립된 카메라를 사용한 촬상을 행함으로써 얻어지는 촬상 화상과 동일한, 개안 렌즈(31₀ 내지 31₄)의 위치 각각을 시점으로 하는 촬상에 의해 얻어지는 화상이고, 다른 시점의 화상이다.

도 19에 있어서, 화상 처리부(53)는, 시차 정보 생성부(81), 보간부(82), 집광 처리부(83) 및 파라미터 설정부(84)를 갖는다.

화상 처리부(53)에는, 영역 특정부(52)로부터, 복수의 시점의 화상인 복수의 시점의 개안 화상 E#i가 공급된다.

또한, 여기서는, 개안 화상 E#i의 시점이란, 개안 렌즈(31_i)의 위치이다.

화상 처리부(53)에 있어서, 개안 화상 E#i는, 시차 정보 생성부(81) 및 보간부(82)에 공급된다.

시차 정보 생성부(81)는, 영역 특정부(52)로부터 공급되는 복수의 시점의 개안 화상 E#i를 사용하여, 시차 정보를 구하고, 보간부(82) 및 집광 처리부(83)에 공급한다.

즉, 시차 정보 생성부(81)는, 예를 들어 영역 특정부(52)로부터 공급되는 개안 화상 E#i 각각의, 다른 개안 화상 E#j와의 시차 정보를 구하는 처리를, 복수의 시점의 개안 화상 E#i의 화상 처리로서 행한다. 그리고, 시차 정보 생성부(81)는, 예를 들어 개안 화상의 화소(의 위치)마다, 시차 정보가 등록된 맵을 생성하여, 보간부(82) 및 집광 처리부(83)에 공급한다.

여기서, 시차 정보로서는, 시차를 화소수로 나타낸 디스패리티(disparity)나, 시차에 대응하는 깊이 방향의 거리 등의 시차로 환산할 수 있는 임의의 정보를 채용할 수 있다. 본 실시 형태에서는, 시차 정보로서, 예를 들어 디스패리티를 채용하는 것으로 하고, 시차 정보 생성부(81)에서는, 그 디스패리티가 등록된 디스패리티 맵이, 시차 정보가 등록된 맵으로서 생성되는 것으로 한다.

보간부(82)는, 영역 특정부(52)로부터의 복수의 개안 화상 E#i와, 시차 정보 생성부(81)로부터의 디스패리티 맵을 사용하여, 개안 화상 E#i의 시점, 즉, 개안 렌즈(31_i)의 위치 이외의 시점으로부터 촬상을 행하면 얻어질 화상을, 보간에 의해 생성한다.

보간부(82)는, 예를 들어 개안 화상 E#i의 시점이 분포하는 영역, 즉, 개안 렌즈(31_i)가 분포하는 영역(예를 들어, 도 1의 개안 렌즈(31₁ 내지 31₄)의 위치를 직선으로 연결함으로써 둘러싸이는 영역) 내의 거의 등간격의 복수의 점을, 보간용 시점으로 하여, 그 보간용 시점의 화상(보간용 시점으로부터 촬상을 행한 경우에 얻어질 화상)을, 보간에 의해 생성한다.

또한, 보간부(82)에서는, 개안 렌즈(31_i)가 분포하는 영역의 외측의 점에 대해서도, 보간용 시점으로서, 그 보간용 시점의 화상을 생성할 수 있다.

보간부(82)는, 보간용 시점의 화상을 생성한 후, 개안 화상 E#i와, 보간용 시점의 화상을, 집광 처리부(83)에 공급한다.

여기서, 보간부(82)에 있어서, 개안 화상을 사용한 보간에 의해 생성된 화상을, 보간 화상이라고도 한다.

또한, 보간부(82)로부터 집광 처리부(83)로 공급되는 개안 화상 E#i와 보간용 시점의 보간 화상을, 통합하여, 시점 화상이라고도 한다.

보간부(82)에서의 보간은, 복수의 시점의 개안 화상 E#i로부터, 더 많은 수의 시점의 시점 화상을 생성하는 처리라고 생각할 수 있다. 이, 많은 수의 시점의 시점 화상을 생성하는 처리는, 실공간 내의 실공간점으로부터 입사하는 광선을 재현하는 처리라고 파악할 수 있다.

집광 처리부(83)는, 보간부(82)로부터의 복수의 시점의 시점 화상을 사용하여, 현실의 카메라에 있어서, 렌즈 등의 광학계를 통과한, 피사체로부터의 광선을, 이미지 센서나 필름 위에 집광시켜, 피사체의 상을 형성하는 것에 상당하는 화상 처리인 집광 처리를 행한다.

집광 처리부(83)의 집광 처리에서는, 임의의 피사체에 포커스를 맞춘 화상을 생성(재구성)하는 리포커스를 행할 수 있다. 리포커스는, 시차 정보 생성부(81)로부터의 디스패리티 맵이나, 파라미터 설정부(84)로부터의 집광 파라미터를 사용하여 행해진다.

집광 처리부(83)의 집광 처리에 의해 얻어지는 화상은, 처리 결과 화상으로서 (표시부(54)나 기억부(55)(도 3))에 출력된다.

파라미터 설정부(84)는, 유저에 의한 도시하지 않은 조작부의 조작이나, 소정의 애플리케이션 등에 의해 지정된 위치에 있는, 1개의 개안 화상 E#i(예를 들어, 개안 화상 E0)의 화소를, 포커싱시킬(피사체가 비칠) 포커싱 대상 화소로 설정하고, 집광 파라미터로서, 집광 처리부(83)에 공급한다.

<화상 처리부(53)의 화상 처리>

도 20은, 도 19의 화상 처리부(53)가 행하는 화상 처리의 예를 설명하는 흐름도이다.

화상 처리부(53)에 있어서, 영역 특정부(52)로부터 공급되는 복수의 시점의 화상인 복수의 시점의 개안 화상 E#i는, 시차 정보 생성부(81) 및 보간부(82)에 공급된다.

화상 처리부(53)에서는, 스텝 S81에 있어서, 시차 정보 생성부(81)가, 영역 특정부(52)로부터의 복수의 시점의 개안 화상 E#i를 사용하여, 시차 정보를 구하고, 그 시차 정보가 등록된 디스패리티 맵을 생성하는 시차 정보 생성 처리를 행한다.

시차 정보 생성부(81)는, 시차 정보 생성 처리에 의해 얻어지는 디스패리티 맵을, 보간부(82) 및 집광 처리부(83)에 공급하고, 처리는, 스텝 S81로부터 스텝 S82로 진행한다.

스텝 S82에서는, 보간부(82)는, 영역 특정부(52)로부터의 복수의 시점의 개안 화상 E#i와, 시차 정보 생성부(81)로부터의 디스패리티 맵을 사용하여, 개안 화상 E#i의 시점 이외의 복수의 보간용 시점의 보간 화상을 생성하는 보간 처리를 행한다.

또한, 보간부(82)는, 영역 특정부(52)로부터의 복수의 시점의 개안 화상 E#i와, 보간 처리에 의해 얻어진 복수의 보간용 시점의 보간 화상을, 복수의 시점의 시점 화상으로서, 집광 처리부(83)에 공급하고, 처리는, 스텝 S82로부터 스텝 S83으로 진행한다.

스텝 S83에서는, 파라미터 설정부(84)는, 유저의 조작 등에 의해 지정된 위치에 있는, 1개의 시점 화상(예를 들어, 개안 화상 E0)의 화소를, 포커싱시킬 포커싱 대상 화소로 설정하는 설정 처리를 행한다.

파라미터 설정부(84)는, 설정 처리에 의해 얻어진 포커싱 대상 화소(의 정보)를, 집광 파라미터로서, 집광 처리부(83)에 공급하고, 처리는, 스텝 S83으로부터 스텝 S84로 진행한다.

여기서, 포커싱 대상 화소는, 이상과 같이, 유저의 지정에 따라 설정하는 것 외에, 예를 들어 애플리케이션으로부터의 지정이나, 미리 결정된 룰에 의한 지정 등에 따라 설정할 수 있다. 예를 들어, 소정의 속도 이상의 움직임이 있는 피사체나, 소정의 시간 이상 연속해서 움직이는 피사체가 비치는 화소를, 포커싱 대상 화소로 설정할 수 있다.

스텝 S84에서는, 집광 처리부(83)는, 보간부(82)로부터의 복수의 시점의 시점 화상, 시차 정보 생성부(81)로부터의 디스패리티 맵 및 파라미터 설정부(84)로부터의 집광 파라미터로서의 포커싱 대상 화소를 사용하여, 피사체로부터의 광선을, 도시하지 않은 가상 센서 위에 집광시키는 것에 상당하는 집광 처리를 행하고, 화상 처리부(53)의 화상 처리는 종료한다.

집광 처리부(83)는, 집광 처리의 결과 얻어지는 처리 결과 화상을, 표시부(54)에 공급한다.

또한, 집광 처리에 있어서, 광선이 집광되는 가상 센서의 실체는, 예를 들어 도시하지 않은 메모리이다. 집광 처리에서는, 복수의 시점의 시점 화상의 화소값이, 가상 센서에 집광되는 광선의 휘도로서, 가상 센서로서의 메모리(의 기억 값)에 적산됨으로써, 광선의 집광에 의해 얻어지는 화상의 화소값이 구해진다.

집광 처리부(83)의 집광 처리에서는, 복수의 시점의 시점 화상의 화소를 화소 시프트하는 화소 시프트양인 후술하는 기준 시프트양 BV를 설정하고, 그 기준 시프트양 BV에 따라, 복수의 시점의 시점 화상의 화소(의 화소값)를 화소 시프트하여 적산함으로써, 실공간 내의 포커싱점에 포커싱된 처리 결과 화상의 각 화소값이 구해지고, 처리 결과 화상이 생성된다.

여기서, 포커싱점이란, 포커스가 맞는, 실공간 내의 실공간점이고, 집광 처리부(83)의 집광 처리에서는, 포커싱점의 집합으로서의 면인 포커싱면이, 파라미터 설정부(84)로부터의 집광 파라미터로서의 포커싱 대상 화소를 사용하여 설정된다.

또한, 화상 처리부(53)(도 19)는, 집광 처리부(83)만으로 구성할 수 있다.

예를 들어, 집광 처리부(83)의 집광 처리를, 보간 화상을 사용하지 않고, 영역 특정부(52)에서 촬상된 개안 화상 E#i를 사용하여 행하는 경우에는, 보간부(82)를 마련하지 않고, 화상 처리부(53)를 구성할 수 있다. 단, 집광 처리를, 개안 화상 E#i 외에, 보간 화상도 사용하여 행하는 경우에는, 처리 결과 화상에 있어서, 포커싱되지 않은 피사체에 링잉이 발생하는 것을 억제할 수 있다.

또한, 예를 들어 개안 화상 E#i의 시차 정보를, 거리 센서 등을 사용하여, 외부의 장치에서 생성하고, 그 외부의 장치로부터 시차 정보를 취득할 수 있는 경우에는, 시차 정보 생성부(81)를 마련하지 않고, 화상 처리부(53)를 구성할 수 있다.

또한, 예를 들어 집광 처리부(83)에 있어서, 미리 결정된 룰에 따라, 포커싱면을 설정하는 경우에는, 파라미터 설정부(84)를 마련하지 않고, 화상 처리부(53)를 구성할 수 있다.

또한, 카메라 본체(10)는, 화상 처리부(53)를 마련하지 않고 구성할 수 있다.

<다안 교환 렌즈의 다른 구성예>

도 21은, 다안 교환 렌즈(20)의 다른 구성예를 도시하는 배면도다.

도 21에서는, 다안 교환 렌즈(20)는, 7개의 개안 렌즈(31₀ 내지 31₆)를 갖고, 그 7개의 개안 렌즈(31₀ 내지 31₆)는, 광축 방향으로 겹치지 않도록, 2차원 평면 위에 배치되어 있다.

또한, 도 21에서는, 7개의 개안 렌즈(31₀ 내지 31₆)는, 그들 중 1개인, 예를 들어 개안 렌즈(31₀)를 중심으로 하여, 다른 6개의 개안 렌즈(31₁ 내지 31₆)가, 개안 렌즈(31₀)의 주변에, 정육각형의 정점을 구성하도록 배치되어 있다.

따라서, 도 21에서는, 7개의 개안 렌즈(31₀ 내지 31₆) 중, 임의의 1개의 개안 렌즈(31_i)(i＝0, 2, …, 6)와, 그 개안 렌즈(31_i)에 가장 가까운 다른 1개의 개안 렌즈(31_j)(i＝0, 2, …, 6)의 (광축끼리의)거리는, 동일한 거리 B로 되어 있다.

이하, 다안 교환 렌즈(20)가, 도 21에 도시한 바와 같이, 7개의 개안 렌즈(31₀ 내지 31₆)를 갖는 경우를 예로 들어 설명을 행한다.

다안 교환 렌즈(20)가, 도 21에 도시한 바와 같이, 7개의 개안 렌즈(31₀ 내지 31₆)를 갖는 경우, 영역 특정부(52)(도 3)로부터 화상 처리부(53)의 시차 정보 생성부(81) 및 보간부(82)로 공급되는 복수의 시점의 개안 화상 E#i는, 7개의 개안 렌즈(31₀ 내지 31₆)에 대한 7시점의 개안 화상 E0 내지 E6이다.

<보간 화상의 생성>

도 22는, 도 19의 보간부(82)에서의 보간 화상의 생성의 예를 설명하는 도면이다.

어느 시점의 보간 화상을 생성하는 경우, 보간부(82)는, 보간 화상의 화소를, 순차, 보간의 대상의 보간 대상 화소로 선택한다. 또한, 보간부(82)는, 7시점의 개안 화상 E0 내지 E6 중 전부, 또는 보간 화상의 시점에 가까운 일부(복수)의 시점의 개안 화상 E#i를, 보간 대상 화소의 화소값의 산출에 사용하는 화소값 산출 화상으로 선택한다. 보간부(82)는, 시차 정보 생성부(81)로부터의 디스패리티 맵과 보간 화상의 시점을 사용하여, 화소값 산출 화상으로 선택된 복수의 시점의 개안 화상 E#i 각각으로부터, 보간 대상 화소에 대응하는 대응 화소(보간 화상의 시점으로부터 촬상을 행했다면, 보간 대상 화소에 비칠 공간점과 동일한 공간점이 비치고 있는 화소)를 구한다.

그리고, 보간부(82)는, 복수의 시점의 개안 화상 E#i의 대응 화소의 화소값의 가중치 부여 가산을 행하고, 그 결과 얻어지는 가중치 부여 가산값을, 보간 대상 화소의 화소값으로서 구한다.

대응 화소의 화소값의 가중치 부여 가산에 사용하는 가중치로서는, 대응 화소를 갖는 화소값 산출 화상으로서의 개안 화상 E#i의 시점과, 보간 대상 화소를 갖는 보간 화상의 시점 사이의 거리에 반비례하는 값을 채용할 수 있다.

<디스패리티 맵의 생성>

도 23은, 도 19의 시차 정보 생성부(81)에서의 디스패리티 맵의 생성의 예를 설명하는 도면이다.

즉, 도 23은, 영역 특정부(52)의 개안 렌즈(31₀ 내지 31₆)에 대한 개안 화상 E0 내지 E6의 예를 도시하고 있다.

도 23에서는, 개안 화상 E0 내지 E6에는, 소정의 배경의 전방측에, 전경으로서의 소정의 물체 obj가 비치고 있다. 개안 화상 E0 내지 E6 각각에 대해서는, 시점이 다르기 때문에, 예를 들어 개안 화상 E1 내지 E6 각각에 비치는 물체 obj의 위치(개안 화상 위의 위치)는, 개안 화상 E0에 비치는 물체 obj의 위치로부터, 시점이 다른 만큼 어긋나 있다.

지금, 개안 렌즈(31_i)의 시점(위치), 즉, 개안 렌즈(31_i)에 대한 개안 화상 E#i의 시점을, vp#i로 나타내기로 한다.

예를 들어, 개안 화상 E0의 시점 vp0의 디스패리티 맵을 생성하는 경우에는, 시차 정보 생성부(81)는, 개안 화상 E0을, 주목하는 주목 화상 E0으로 한다. 또한, 시차 정보 생성부(81)는, 주목 화상 E0의 각 화소를, 순차, 주목하는 주목 화소로 선택하고, 그 주목 화소에 대응하는 대응 화소(대응점)를, 다른 개안 화상 E1 내지 E6 각각으로부터 검출한다.

개안 화상 E1 내지 E6 각각으로부터, 주목 화상 E0의 주목 화소에 대응하는 대응 화소를 검출하는 방법으로서는, 예를 들어, 스테레오 매칭이나 멀티 베이스 라인 스테레오 등의 삼각 측량의 원리를 이용한 방법이 있다.

여기서, 주목 화상 E0의 주목 화소에 대한, 개안 화상 E#i의 대응 화소의 위치 어긋남을 나타내는 벡터를, 디스패리티 벡터 v#i,0이라고 한다.

시차 정보 생성부(81)는, 개안 화상 E1 내지 E6 각각에 대하여 디스패리티 벡터 v1,0 내지 v6,0을 구한다. 그리고, 시차 정보 생성부(81)는, 예를 들어 디스패리티 벡터 v1,0 내지 v6,0의 크기를 대상으로 한 다수결을 행하여, 그 다수결에 승리한 디스패리티 벡터 v#i,0의 크기를, 주목 화소(의 위치)의 디스패리티의 크기로서 구한다.

여기서, 영역 특정부(52)에 있어서, 도 21에서 설명한 바와 같이, 주목 화상 E0이 얻어진 개안 렌즈(31₀)와, 개안 화상 E1 내지 E6이 얻어진 개안 렌즈(31₁ 내지 31₆) 각각의 거리가, 동일한 거리 B로 되어 있는 경우에, 주목 화상 E0의 주목 화소에 비치는 실공간점이, 개안 화상 E1 내지 E6에도 비치고 있을 때에는, 디스패리티 벡터 v1,0 내지 v6,0으로 하여, 방향이 다르지만, 크기가 동등한 벡터가 구해진다.

즉, 이 경우, 디스패리티 벡터 v1,0 내지 v6,0은, 주목 화상 E0의 시점 vp0에 대한 다른 개안 화상 E1 내지 E6의 시점 vp1 내지 vp6의 방향과 역방향의, 크기가 동등한 벡터로 된다.

단, 개안 화상 E1 내지 E6 중에는, 오클루전이 발생하는 화상, 즉, 주목 화상 E0의 주목 화소에 비치는 실공간점이, 전경에 가려져 비치지 않는 화상이 있을 수 있다.

주목 화상 E0의 주목 화소에 비치는 실공간점이 비치지 않는 개안 화상(이하, 오클루전 화상이라고도 함) E#i에 대해서는, 주목 화소에 대응하는 대응 화소로서, 정확한 화소를 검출하는 것이 곤란하다.

그 때문에, 오클루전 화상 E#i에 대해서는, 주목 화상 E0의 주목 화소에 비치는 실공간점이 비치고 있는 개안 화상 E#j의 디스패리티 벡터 v#j,0와는, 크기가 다른 디스패리티 벡터 v#i,0이 구해질 가능성이 매우 높다.

개안 화상 E1 내지 E6 중에서, 주목 화소에 대하여, 오클루전이 발생하는 화상은, 오클루전이 발생하지 않은 화상보다도 적다고 추정된다. 그래서, 시차 정보 생성부(81)는, 상술한 바와 같이, 디스패리티 벡터 v1,0 내지 v6,0의 크기를 대상으로 한 다수결을 행하여, 그 다수결에 승리한 디스패리티 벡터 v#i,0의 크기를, 주목 화소의 디스패리티의 크기로서 구한다.

도 23에서는, 디스패리티 벡터 v1,0 내지 v6,0 중에서, 3개의 디스패리티 벡터 v1,0, v2,0, v6,0의 크기가 동등한 벡터로 되어 있다. 또한, 디스패리티 벡터 v3,0, v4,0, v5,0 각각에 대해서는, 크기가 동등한 디스패리티 벡터가 존재하지 않는다.

그 때문에, 3개의 디스패리티 벡터 v1,0, v2,0, v6,0의 크기가, 주목 화소의 디스패리티의 크기로서 구해진다.

또한, 주목 화상 E0의 주목 화소의, 임의의 개안 화상 E#i와의 사이의 디스패리티의 방향은, 주목 화상 E0의 시점 vp0(개안 렌즈(31₀)의 위치)과, 개안 화상 E#i의 시점 vp#i(개안 렌즈(31_i)의 위치)의 위치 관계(시점 vp0으로부터 시점 vp#i로의 방향 등)로부터 인식할 수 있다.

시차 정보 생성부(81)는, 주목 화상 E0의 각 화소를, 순차, 주목 화소로 선택하여, 디스패리티의 크기를 구한다. 그리고, 시차 정보 생성부(81)는, 주목 화상 E0의 각 화소의 위치 (xy 좌표)에 대하여, 그 화소의 디스패리티의 크기를 등록한 맵을, 디스패리티 맵으로서 생성한다. 따라서, 디스패리티 맵은, 화소의 위치와, 그 화소의 디스패리티의 크기를 대응지은 맵(테이블)이다.

다른 개안 화상 E#i의 시점 vp#i의 디스패리티 맵도, 시점 vp0의 디스패리티 맵과 마찬가지로 생성할 수 있다.

단, 시점 vp#0 이외의 시점 vp#i의 디스패리티 맵의 생성에 있어서, 디스패리티 벡터의 다수결은, 개안 화상 E#i의 시점 vp#i와, 그 개안 화상 E#i 이외의 개안 화상 E#j의 시점 vp#j의 위치 관계(개안 렌즈(31_i와 31_j)의 위치 관계)(시점 vp#i와 시점 vp#j의 거리)에 기초하여, 디스패리티 벡터의 크기를 조정하여 행해진다.

즉, 예를 들어 개안 화상 E4를 주목 화상으로 하여, 디스패리티 맵을 생성하는 경우, 주목 화상 E4와 개안 화상 E1 사이에서 얻어지는 디스패리티 벡터는, 주목 화상 E4와 개안 화상 E0 사이에서 얻어지는 디스패리티 벡터의 2배의 크기로 된다.

이것은, 주목 화상 E4가 얻어지는 개안 렌즈(31₄)와, 개안 화상 E0이 얻어지는 개안 렌즈(31₀)의 광축끼리의 거리인 기선장이, 거리 B인 것에 비해, 주목 화상 E4가 얻어지는 개안 렌즈(31₄)와, 개안 화상 E1이 얻어지는 개안 렌즈(31₁)의 기선장이, 거리 2B로 되어 있기 때문이다.

그래서, 지금, 예를 들어 개안 렌즈(31₀)와, 다른 개안 렌즈(31_i)의 기선장인 거리 B를, 디스패리티를 구하는 기준이 되는 기준 기선장이라고 하기로 한다. 디스패리티 벡터의 다수결은, 기선장이 기준 기선장 B로 환산되도록, 디스패리티 벡터의 크기를 조정하여 행해진다.

즉, 예를 들어 주목 화상 E4가 얻어지는 개안 렌즈(31₄)와, 개안 화상 E0이 얻어지는 개안 렌즈(31₀)의 기선장 B는, 기준 기선장 B와 다름없으므로, 주목 화상 E4와 개안 화상 E0 사이에서 얻어지는 디스패리티 벡터는, 그 크기의 1배로 조정된다.

또한, 예를 들어 주목 화상 E4가 얻어지는 개안 렌즈(31₄)와, 개안 화상 E1이 얻어지는 개안 렌즈(31₁)의 기선장 2B는, 기준 기선장 B의 2배와 다름없으므로, 주목 화상 E4와 개안 화상 E1 사이에서 얻어지는 디스패리티 벡터는, 그 크기가, 기준 기선장 B와, 개안 렌즈(31₄)와 개안 렌즈(31₁)의 기선장 2B의 비의 값배인 1/2배로 조정된다.

주목 화상 E4와 다른 개안 화상 E#i 사이에서 얻어지는 디스패리티 벡터에 대해서도, 마찬가지로, 그 크기가, 기준 기선장 B와의 비의 값배로 조정된다.

그리고, 크기의 조정 후의 디스패리티 벡터를 사용하여, 디스패리티 벡터의 다수결이 행해진다.

또한, 시차 정보 생성부(81)에 있어서, 개안 화상 E#i(의 각 화소)의 디스패리티는, 예를 들어 개안 화상의 화소의 정밀도로 구할 수 있다. 또한, 개안 화상 E#i의 디스패리티는, 예를 들어 그 개안 화상 E#i의 화소보다 미세한 정밀도인 화소 이하 정밀도(예를 들어, 1/4 화소 등의 서브 픽셀의 정밀도)로 구할 수 있다.

디스패리티를 화소 이하 정밀도로 구하는 경우, 디스패리티를 사용하는 처리에서는, 그 화소 이하 정밀도의 디스패리티를, 그대로 사용할 수도 있고, 화소 이하 정밀도의 디스패리티의 소수점 이하를, 버림, 올림, 또는 반올림하거나 하여 정수화하여 사용할 수도 있다.

여기서, 디스패리티 맵에 등록되는 디스패리티의 크기를, 이하, 등록 디스패리티라고도 한다. 예를 들어, 좌측으로부터 우방향의 축을 x축이라고 함과 함께, 하부로부터 상방향의 축을 y축이라고 하는 2차원 좌표계에 있어서, 디스패리티로서의 벡터를 나타내는 경우, 등록 디스패리티는, 개안 화상 E0의 각 화소의, 개안 화상 E0의 좌측 옆의 시점의 개안 화상 E4와의 사이의 디스패리티(개안 화상 E0의 화소로부터, 그 화소에 대응하는 개안 화상 E4의 대응 화소까지의 화소 어긋남을 나타내는 벡터)의 x성분과 다름없다.

<집광 처리에 의한 리포커스>

도 24는, 도 19의 집광 처리부(83)에서 행해지는 집광 처리에 의한 리포커스의 개요를 설명하는 도면이다.

또한, 도 24에서는, 설명을 간단하게 하기 위해, 집광 처리에 사용하는 복수의 시점의 시점 화상이라고 하고, 개안 화상 E0, 개안 화상 E0의 우측 옆의 시점의 개안 화상 E1 및 개안 화상 E0의 좌측 옆의 시점의 개안 화상 E4의 3개의 화상을 사용하기로 한다.

도 24에 있어서, 개안 화상 E0, E1 및 E4에는, 두 물체 obj1 및 obj2가 비치고 있다. 예를 들어, 물체 obj1은 앞쪽에 위치하고 있고, 물체 obj2는 안쪽에 위치하고 있다.

지금, 예를 들어 물체 obj1에 포커싱시키는(초점을 맞추는) 리포커스를 행하고, 그 리포커스 후의 처리 결과 화상으로서, 개안 화상 E0의 시점으로부터 본 화상을 얻는 다고 하자.

여기서, 개안 화상 E0의 물체 obj1이 비치는 화소와의 사이의, 처리 결과 화상의 시점(여기서는, 개안 화상 E0의 시점)의 디스패리티를, DP0으로 나타낸다. 또한, 개안 화상 E1의 물체 obj1이 비치는 화소와의 사이의, 처리 결과 화상의 시점의 디스패리티를, DP1이라고 나타냄과 함께, 개안 화상 E4의 물체 obj1이 비치는 화소와의 사이의, 처리 결과 화상의 시점의 디스패리티를, DP4라고 나타내기로 한다.

또한, 도 24에서는, 처리 결과 화상의 시점은, 개안 화상 E0의 시점과 다름없으므로, 개안 화상 E0의 물체 obj1이 비치는 화소와의 사이의, 처리 결과 화상의 시점의 디스패리티 DP0은, (0,0)으로 된다.

개안 화상 E0, E1 및 E4에 대해서는, 개안 화상 E0, E1 및 E4를, 디스패리티 DP0, DP1 및 DP4에 따라, 각각 화소 시프트하고, 그 화소 시프트 후의 개안 화상 E0, E1 및 E4를 적산함으로써, 물체 obj1에 포커싱된 처리 결과 화상을 얻을 수 있다.

즉, 개안 화상 E0, E1 및 E4를, 디스패리티 DP0, DP1 및 DP4를 캔슬하도록(디스패리티 DP0, DP1 및 DP4의 역방향으로), 각각 화소 시프트함으로써, 화소 시프트 후의 개안 화상 E0, E1 및 E4에서는, 물체 obj1이 비치는 화소의 위치가 일치한다.

따라서, 화소 시프트 후의 개안 화상 E0, E1 및 E4를 적산함으로써, 물체 obj1에 포커싱된 처리 결과 화상을 얻을 수 있다.

또한, 화소 시프트 후의 개안 화상 E0, E1 및 E4에 있어서는, 물체 obj1과 다른 깊이 방향의 위치에 있는 물체 obj2가 비치는 화소의 위치는 일치하지 않는다. 그 때문에, 처리 결과 화상에 비치는 물체 obj2는 흐려진다.

또한, 여기서는, 상술한 바와 같이, 처리 결과 화상의 시점은, 개안 화상 E0의 시점이고, 디스패리티 DP0은 (0,0)이기 때문에, 개안 화상 E0에 대해서는, 실질적으로 화소 시프트를 행할 필요는 없다.

집광 처리부(83)의 집광 처리에서는, 예를 들어 이상과 같이, 복수의 시점의 시점 화상의 화소를, 포커싱 대상이 비치는 포커싱 대상 화소와의 사이의, 처리 결과 화상의 시점(여기서는, 개안 화상 E0의 시점)의 디스패리티를 캔슬하도록 화소 시프트하여 적산함으로써, 포커싱 대상에 리포커스가 행해진 화상이, 처리 결과 화상으로서 구해진다.

<디스패리티 변환>

도 25는, 디스패리티 변환의 예를 설명하는 도면이다.

도 23에서 설명한 바와 같이, 디스패리티 맵에 등록되는 등록 디스패리티는, 오클루전이 발생하는 영역 이외의 부분에 있어서, 개안 화상 E0의 좌측 옆의 시점의 개안 화상 E4의 각 화소와의 사이의, 개안 화상 E0의 화소의 디스패리티의 x성분과 다름없다.

리포커스에서는, 시점 화상을, 포커싱 대상 화소의 디스패리티를 캔슬하도록 화소 시프트할 필요가 있다.

지금, 어느 시점을, 주목 시점으로서 주목하면, 리포커스에 있어서, 주목 시점의 시점 화상의 화소 시프트에 있어서는, 그 주목 시점의 시점 화상과의 사이의, 처리 결과 화상의 포커싱 대상 화소의 디스패리티, 즉, 여기서는, 예를 들어 개안 화상 E0의 포커싱 대상 화소의 디스패리티가 필요해진다.

주목 시점의 시점 화상과의 사이의, 개안 화상 E0의 포커싱 대상 화소의 디스패리티는, 개안 화상 E0의 포커싱 대상 화소(처리 결과 화상의 포커싱 대상 화소에 대응하는 개안 화상 E0의 대응 화소)의 등록 디스패리티로부터, 처리 결과 화상의 시점으로부터 주목 시점의 방향을 가미하여 구할 수 있다.

지금, 처리 결과 화상의 시점인 개안 화상 E0의 시점으로부터 주목 시점의 방향을, x축을 0[radian]으로 하는 반시계 방향의 각도로 나타내기로 한다.

예를 들어, 개안 렌즈(31₁)는, 처리 결과 화상의 시점인 개안 화상 E0의 시점으로부터 기준 기선장 B만큼 ＋x방향으로 이격된 위치에 있고, 처리 결과 화상의 시점인 개안 화상 E0의 시점으로부터 개안 렌즈(31₁)에 대한 개안 화상 E1의 시점의 방향은,0[radian]이다. 이 경우, 개안 렌즈(31₁)에 대한 개안 화상 E1(시점 화상)과의 사이의, 개안 화상 E0의 포커싱 대상 화소의 디스패리티 DP1(로서의 벡터)은, 그 포커싱 대상 화소의 등록 디스패리티 RD로부터, 개안 렌즈(31₁)에 대한 개안 화상 E1의 시점의 방향인 0[radian]을 가미하여, (－RD,0)＝(－(B/B)×RD×cos0,－(B/B)×RD×sin0)으로 구할 수 있다.

또한, 예를 들어 개안 렌즈(31₂)는, 처리 결과 화상의 시점인 개안 화상 E0의 시점으로부터 기준 기선장 B만큼 π/3의 방향으로 이격된 위치에 있고, 처리 결과 화상의 시점인 개안 화상 E0의 시점으로부터 개안 렌즈(31₂)에 대한 개안 화상 E3의 시점 방향은, π/3[radian]이다. 이 경우, 개안 렌즈(31₂)에 대한 개안 화상 E3과의 사이의, 개안 화상 E0의 포커싱 대상 화소의 디스패리티 DP2는, 그 포커싱 대상 화소의 등록 디스패리티 RD로부터, 개안 렌즈(31₂)의 시점의 방향인 π/3[radian]을 가미하여, (－RD×cos(π/3),－RD×sin(π/3))＝(－(B/B)×RD×cos(π/3),－(B/B)×RD×sin(π/3))로 구할 수 있다.

여기서, 보간부(82)에서 얻어지는 보간 화상은, 그 보간 화상의 시점 vp에 위치하는 가상적인 렌즈로 촬상된 화상이라고 간주할 수 있다. 이 가상적인 렌즈로 촬상된 화상의 시점 vp가, 처리 결과 화상의 시점인 개안 화상 E0의 시점으로부터, 거리 L만큼, 각도 θ[radian]의 방향으로 이격된 위치라고 한다. 이 경우, 시점 vp의 시점 화상(가상적인 렌즈로 촬상된 화상)과의 사이의, 개안 화상 E0의 포커싱 대상 화소의 디스패리티 DP는, 그 포커싱 대상 화소의 등록 디스패리티 RD로부터, 시점 vp의 방향인 각도 θ를 가미하여, (－(L/B)×RD×cosθ,－(L/B)×RD×sinθ)로 구할 수 있다.

이상과 같이, 등록 디스패리티 RD로부터, 주목 시점의 방향을 가미하여, 주목 시점의 시점 화상과의 사이의, 개안 화상 E0의 화소의 디스패리티를 구하는 것, 즉, 등록 디스패리티 RD를, 주목 시점의 시점 화상과의 사이의, 개안 화상 E0의 화소(처리 결과 화상의 화소)의 디스패리티로 변환하는 것을, 디스패리티 변환이라고도 한다.

리포커스에서는, 포커싱 대상 화소의 등록 디스패리티 RD로부터, 디스패리티 변환에 의해, 각 시점의 시점 화상과의 사이의, 개안 화상 E0의 포커싱 대상 화소의 디스패리티가 구해지고, 그 포커싱 대상 화소의 디스패리티를 캔슬하도록, 각 시점의 시점 화상이 화소 시프트된다.

리포커스에 있어서, 시점 화상은, 그 시점 화상과의 사이의, 포커싱 대상 화소의 디스패리티를 캔슬하도록 화소 시프트되지만, 이 화소 시프트의 시프트양을, 포커싱 시프트양이라고도 한다.

여기서, 이하, 보간부(82)에서 얻어지는 복수의 시점의 시점 화상 중, i번째의 시점 화상의 시점을, 시점 vp#i라고도 기재한다. 시점 vp#i의 시점 화상의 포커싱 시프트양을, 포커싱 시프트양 SV#i라고도 기재한다.

시점 vp#i의 시점 화상의 포커싱 시프트양 SV#i는, 포커싱 대상 화소의 등록 디스패리티 RD로부터, 처리 결과 화상의 시점인 개안 화상 E0의 시점으로부터 시점 vp#i의 방향을 가미한 디스패리티 변환에 의해, 일의적으로 구할 수 있다.

여기서, 디스패리티 변환에서는, 상술한 바와 같이, 등록 디스패리티 RD로부터, 디스패리티(로서의 벡터)(－(L/B)×RD×cosθ,－(L/B)×RD×sinθ)가 구해진다.

따라서, 디스패리티 변환은, 예를 들어 등록 디스패리티 RD에 대하여,－(L/B)×cosθ 및 －(L/B)×sinθ의 각각을 승산하는 연산, 혹은 등록 디스패리티 RD의 －1배에 대하여, (L/B)×cosθ 및 (L/B)×sinθ의 각각을 승산하는 연산 등으로서 파악할 수 있다.

여기서는, 예를 들어 디스패리티 변환을, 등록 디스패리티 RD의 －1배에 대하여, (L/B)×cosθ 및 (L/B)×sinθ의 각각을 승산하는 연산으로서 파악하기로 한다.

이 경우, 디스패리티 변환의 대상으로 되는 값, 즉, 여기서는, 등록 디스패리티 RD의 －1배는, 각 시점의 시점 화상의 포커싱 시프트양을 구하는 기준이 되는 값이고, 이하, 기준 시프트양 BV라고도 한다.

포커싱 시프트양은, 기준 시프트양 BV의 디스패리티 변환에 의해 일의적으로 결정되므로, 기준 시프트양 BV의 설정에 의하면, 그 설정에 의해, 실질적으로 리포커스에 있어서, 각 시점의 시점 화상의 화소를 화소 시프트하는 화소 시프트양이 설정되게 된다.

또한, 상술한 바와 같이, 기준 시프트양 BV로서, 등록 디스패리티 RD의 －1배를 채용하는 경우에는, 포커싱 대상 화소를 포커싱시킬 때의 기준 시프트양 BV, 즉, 포커싱 대상 화소의 등록 디스패리티 RD의 －1배는, 개안 화상 E1과의 사이의, 포커싱 대상 화소의 디스패리티 x성분과 다름없다.

<리포커스를 행하는 집광 처리>

도 26은, 리포커스를 행하는 집광 처리의 예를 설명하는 흐름도다.

스텝 S91에 있어서, 집광 처리부(83)는, 파라미터 설정부(84)로부터, 집광 파라미터로서의 포커싱 대상 화소(의 정보)를 취득하고, 처리는, 스텝 S92로 진행한다.

즉, 예를 들어 개안 렌즈(310 내지 316)에 대한 개안 화상 E0 내지 E6 중, 개안 화상 E0 등이, 표시부(54)에 표시되고, 유저가, 그 개안 화상 E0 위의 하나의 위치를 지정하면, 파라미터 설정부(84)는, 유저가 지정한 위치의 화소를 포커싱 대상 화소로 설정하고, 그 포커싱 대상 화소(를 나타내는 정보)를, 집광 파라미터로서, 집광 처리부(83)에 공급한다.

스텝 S91에서는, 집광 처리부(83)는, 이상과 같이 하여, 파라미터 설정부(84)로부터 공급되는 포커싱 대상 화소를 취득한다.

스텝 S92에서는, 집광 처리부(83)는, 시차 정보 생성부(81)로부터의 디스패리티 맵에 등록되어 있는 포커싱 대상 화소의 등록 디스패리티 RD를 취득한다. 그리고, 집광 처리부(83)는, 포커싱 대상 화소의 등록 디스패리티 RD에 따라, 기준 시프트양 BV를 설정하고, 즉, 예를 들어 포커싱 대상 화소의 등록 디스패리티 RD의 －1배를, 기준 시프트양 BV로 설정하고, 처리는, 스텝 S92로부터 스텝 S93으로 진행한다.

스텝 S93에서는, 집광 처리부(83)는, 보간부(82)로부터의 복수의 시점의 시점 화상 중 하나의 화상인, 예를 들어 개안 화상 E0에 대응하는 화상, 즉, 개안 화상 E0의 시점으로부터 본, 개안 화상 E0과 동일 사이즈의 화상이며, 화소값이 초기값으로서의 0의 화상을, 처리 결과 화상으로 설정한다. 또한, 집광 처리부(83)는, 그 처리 결과 화상의 화소 중에서, 아직, 주목 화소로 결정하지 않은 화소 중 1화소를, 주목 화소로 결정하고, 처리는, 스텝 S93으로부터 스텝 S94로 진행한다.

스텝 S94에서는, 집광 처리부(83)는, 보간부(82)로부터의 시점 화상의 시점 중, (주목 화소에 대하여,)아직, 주목 시점으로 결정하지 않은 하나의 시점 vp#i를 주목 시점 vp#i로 결정하고, 처리는, 스텝 S95로 진행한다.

스텝 S95에서는, 집광 처리부(83)는, 기준 시프트양 BV로부터, 포커싱 대상 화소를 포커싱시키기(포커싱 대상 화소에 비치는 피사체에 포커스를 맞추기) 위해 필요한, 주목 시점 vp#i의 시점 화상의 각 화소의 포커싱 시프트양 SV#i를 구한다.

즉, 집광 처리부(83)는, 기준 시프트양 BV를, 처리 결과 화상의 시점인 개안 화상 E0의 시점으로부터 주목 시점 vp#i의 방향을 가미하여, 디스패리티 변환하고, 그 디스패리티 변환의 결과 얻어지는 값(벡터)을, 주목 시점 vp#i의 시점 화상의 각 화소의 포커싱 시프트양 SV#i로서 취득한다.

그 후, 처리는, 스텝 S95로부터 스텝 S96으로 진행하고, 집광 처리부(83)는, 주목 시점 vp#i의 시점 화상의 각 화소를, 포커싱 시프트양 SV#i에 따라 화소 시프트하고, 화소 시프트 후의 시점 화상의, 주목 화소의 위치의 화소의 화소값을, 주목 화소의 화소값으로 적산한다.

즉, 집광 처리부(83)는, 주목 시점 vp#i의 시점 화상의 화소 중, 주목 화소의 위치로부터 포커싱 시프트양 SV#i에 대응하는 벡터(여기서는, 예를 들어 포커싱 시프트양 SV#i의 －1배)만큼 이격된 화소의 화소값을, 주목 화소의 화소값으로 적산한다.

그리고, 처리는, 스텝 S96으로부터 스텝 S97로 진행하고, 집광 처리부(83)는, 보간부(82)로부터의 시점 화상의 모든 시점을, 주목 시점으로 했는지 여부를 판정한다.

스텝 S97에 있어서, 아직, 보간부(82)로부터의 시점 화상의 모든 시점을, 주목 시점으로 하고 있지 않다고 판정된 경우, 처리는, 스텝 S94로 복귀되고, 이하, 동일한 처리가 반복된다.

또한, 스텝 S97에 있어서, 보간부(82)로부터의 시점 화상의 모든 시점을, 주목 시점으로 했다고 판정된 경우, 처리는, 스텝 S98로 진행한다.

스텝 S98에서는, 집광 처리부(83)는, 처리 결과 화상의 화소 모두를, 주목 화소로 했는지 여부를 판정한다.

스텝 S98에 있어서, 아직, 처리 결과 화상의 화소 모두를, 주목 화소로 하고 있지 않다고 판정된 경우, 처리는, 스텝 S93으로 복귀되고, 집광 처리부(83)는, 상술한 바와 같이, 처리 결과 화상의 화소 중에서, 아직, 주목 화소로 결정하지 않은 화소 중 1화소를, 주목 화소로 새롭게 결정하고, 이하, 동일한 처리를 반복한다.

또한, 스텝 S98에 있어서, 처리 결과 화상의 화소 모두를, 주목 화소로 했다고 판정된 경우, 집광 처리부(83)는, 처리 결과 화상을 출력하여, 집광 처리를 종료한다.

또한, 도 26의 집광 처리에서는, 실공간 내의 깊이 방향의 거리가 일정한(변화되지 않는) 평면을 포커싱면으로 하고, 그 포커싱면 위(포커싱면의 근방)에 위치하는 피사체에 포커싱된 처리 결과 화상이, 복수의 시점의 시점 화상을 사용하여 생성된다.

이러한 도 26의 집광 처리에서는, 기준 시프트양 BV는, 포커싱 대상 화소의 등록 디스패리티 RD에 따라 설정되고, 주목 화소나 주목 시점 vp#i에 따라서는 변화되지 않는다. 그 때문에, 도 26의 집광 처리에서는, 기준 시프트양 BV는, 주목 화소나 주목 시점 vp#i에 관계없이 설정된다.

또한, 포커싱 시프트양 SV#i는, 주목 시점 vp#i 및 기준 시프트양 BV에 따라 변화되지만, 도 26의 집광 처리에서는, 상술한 바와 같이, 기준 시프트양 BV는, 주목 화소나 주목 시점 vp#i에 따라서는 변화되지 않는다. 따라서, 포커싱 시프트양 SV#i는, 주목 시점 vp#i에 따라 변화되지만, 주목 화소에 따라서는 변화되지 않는다. 즉, 포커싱 시프트양 SV#i는, 하나의 시점의 시점 화상의 각 화소에 대해서는, 주목 화소에 관계없이, 동일한 값으로 된다.

도 26에 있어서, 포커싱 시프트양 SV#i를 구하는 스텝 S95의 처리는, 다른 주목 화소에 대하여, 동일한 시점 vp#i에 대한 포커싱 시프트양 SV#i를 반복해서 산출하는 루프(스텝 S93 내지 스텝 S98의 루프)를 구성하고 있지만, 상술한 바와 같이, 포커싱 시프트양 SV#i는, 하나의 시점의 시점 화상의 각 화소에 대해서는, 주목 화소에 관계없이, 동일한 값으로 된다.

따라서, 도 26에 있어서, 포커싱 시프트양 SV#i를 구하는 스텝 S95의 처리는, 1시점에 대하여 1회만 행하면 된다.

<서버를 이용한 미지 기준 위치 (dx#i,dy#i)의 취득>

도 27은, 서버를 이용하여, 미지 촬상 화상의 미지 기준 위치 (dx#i',dy#i')을 취득하는 처리의 예를 설명하는 도면이다.

또한, 도 27에서는, 다안 교환 렌즈(20)의 기억부(41)에, 그 다안 교환 렌즈(20)의 렌즈 ID가 렌즈 정보로서 기억되고, 렌즈 ID와, 그 렌즈 ID에 의해 특정되는 다안 교환 렌즈(20)의 다른 렌즈 정보(기지 기준 위치 (dx#i,dy#i) 등)가 대응지어진 데이터베이스가 준비되어 있는 것으로 한다.

예를 들어, 다안 교환 렌즈(20)가, 카메라 본체(10)에 장착되면, 스텝 S1111에 있어서, 다안 교환 렌즈(20)(도 3)(도 12)의 통신부(42)가, 기억부(41)에 기억된 렌즈 정보로서 렌즈 ID를, 카메라 본체(10)로 송신한다.

카메라 본체(10)(도 3)(도 12)의 통신부(56)는, 다안 교환 렌즈(20)로부터의 렌즈 ID를 수신한다.

그리고, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착된 카메라 시스템(도 1)(도 11)에서는, 미지 촬상 화상이 촬상되면, 스텝 S121에 있어서, 카메라 본체(10)의 통신부(56)는, 다안 교환 렌즈(20)로부터의 렌즈 ID와, 미지 촬상 화상을, 예를 들어 클라우드 위의 서버(90)로 송신한다.

서버(90)는, 카메라 본체(10)로부터의 렌즈 ID 및 미지 촬상 화상을 수신한다. 또한, 서버(90)는, 스텝 S131에 있어서, 카메라 본체(10)로부터의 렌즈 ID를 키워드로 하여, 데이터베이스(DB)를 검색하고, 그 렌즈 ID에 의해 특정되는 다안 교환 렌즈(20)의 다른 렌즈 정보로서의 기지 촬상 화상의 기지 기준 위치 (dx#i,dy#i)와, 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R), 또는 기준각 θ#i를 취득한다.

그리고, 서버(90)는, 스텝 S132에 있어서, 데이터베이스로부터 검색한 다안 교환 렌즈(20)의 렌즈 정보로서의 기지 촬상 화상의 기지 기준 위치 (dx#i,dy#i)와, 기지 광 위치 (X_L,Y_L) 및 (X_R,Y_R), 또는 기준각 θ#i를 사용하여, 카메라 본체(10)로부터의 미지 촬상 화상에 포함되는 개안 화상 E#i의 미지 기준 위치 (dx#i',dy#i')를 구한다.

또한, 서버(90)는, 스텝 S133에 있어서, 미지 기준 위치 (dx#i',dy#i')을, 카메라 본체(10)로 송신한다.

카메라 본체(10)(도 3)에서는, 통신부(56)가, 서버(90)로부터의 미지 기준 위치 (dx#i',dy#i')을 수신하고, 영역 특정부(52)에 공급한다. 영역 특정부(52)는, 서버(90)로부터의 미지 기준 위치 (dx#i',dy#i')을 사용하여, 미지 촬상 화상 위의 개안 화상 E#i의 영역을 특정한다.

이상과 같이, 미지 기준 위치 (dx#i',dy#i')은, 카메라 본체(10)와는 다른 서버(90)에서 구할 수 있다. 이 경우, 카메라 본체(10)는, 기준 위치 산출부(57)(도 3) 또는 기준 위치 산출부(71)(도 12)를 마련하지 않고 구성할 수 있다.

또한, 서버(90)에서는, 미지 촬상 화상에 포함되는 개안 화상 E#i의 미지 기준 위치 (dx#i',dy#i')을 구한 후, 그 미지 기준 위치 (dx#i',dy#i')을 사용하여, 미지 촬상 화상 위의 개안 화상 E#i의 영역을 특정하고, 그 영역의 특정한 결과를 나타내는 영역 특정 결과 정보를, 카메라 본체(10)로 송신할 수 있다.

이 경우, 카메라 본체(10)는, 기준 위치 산출부(57 또는 71) 및 영역 특정부(52)를 마련하지 않고 구성할 수 있다.

또한, 카메라 본체(10)는, 화상 처리부(53)를 마련하지 않고 구성하여, 미지 촬상 화상, 또는 미지 촬상 화상으로부터 특정된 개안 화상 E#i를, 서버(90)로 송신할 수 있다. 이 경우, 서버(90)에 있어서, 필요에 따라, 미지 촬상 화상으로부터 개안 화상 E#i를 특정하고, 그 미지 촬상 화상으로부터 특정된 개안 화상 E#i, 또는 카메라 본체(10)로부터 송신되어 온 개안 화상 E#i를 사용하여, 화상 처리부(53)와 동일한 화상 처리를 행할 수 있다. 그리고, 서버(90)는, 그 화상 처리에 의해 얻어지는 처리 결과 화상을, 카메라 본체(10)로 송신할 수 있다.

<본 기술을 적용한 컴퓨터의 설명>

이어서, 상술한 영역 특정부(52)나, 화상 처리부(53), 통신부(56), 기준 위치 산출부(57 및 71) 등의 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등으로 인스톨된다.

도 28은, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도다.

프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(205)나 ROM(203)에 미리 기록해 둘 수 있다.

아니면, 프로그램은, 리무버블 기록 매체(211)에 저장(기록)해 둘 수도 있다. 이와 같은 리무버블 기록 매체(211)는, 소위 패키지 소프트웨어로서 제공할 수 있다. 여기서, 리무버블 기록 매체(211)로서는, 예를 들어 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.

또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(211)로부터 컴퓨터로 인스톨하는 것 외에, 통신망이나 방송망을 통해, 컴퓨터에 다운로드하여, 내장하는 하드 디스크(205)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들어 다운로드 사이트로부터, 디지털 위성 방송용의 인공위성을 통해, 컴퓨터로 무선에 의해 전송하거나, LAN(Local Area Network), 인터넷 등의 네트워크를 통해, 컴퓨터로 유선으로 전송할 수 있다.

컴퓨터는, CPU(Central Processing Unit)(202)를 내장하고 있고, CPU(202)에는, 버스(201)를 통해, 입출력 인터페이스(210)가 접속되어 있다.

CPU(202)는, 입출력 인터페이스(210)를 통해, 유저에 의해, 입력부(207)가 조작되거나 함으로써 명령이 입력되면, 그것에 따라, ROM(Read Only Memory)(203)에 저장되어 있는 프로그램을 실행한다. 혹은, CPU(202)는, 하드 디스크(205)에 저장된 프로그램을, RAM(Random Access Memory)(204)에 로드하여 실행한다.

이에 의해, CPU(202)는, 상술한 흐름도에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(202)는, 그 처리 결과를, 필요에 따라, 예를 들어 입출력 인터페이스(210)를 통해, 출력부(206)로부터 출력, 혹은 통신부(208)로부터 송신, 나아가, 하드 디스크(205)에 기록시키거나 한다.

또한, 입력부(207)는, 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(206)는, LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.

여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라 행하는 처리는, 반드시 흐름도로서 기재된 순서에 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다.

또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 원격의 컴퓨터로 전송되어 실행되는 것이어도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 상관없다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해 접속되어 있는 복수의 장치 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 다른 효과가 있어도 된다.

또한, 본 기술은, 이하의 구성을 취할 수 있다.

<1>

광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈를 갖는 교환 렌즈가 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 수신하는 통신부와,

상기 기지 기준 위치에 기초하여, 상기 이미지 센서로 촬영되는 다른 촬상 화상 위의 상기 개안 렌즈에 대한 상기 개안 화상 위의 상기 소정의 광선에 대응하는 위치인 미지 기준 위치를 구하는 기준 위치 산출부

를 구비하는 정보 처리 장치.

<2>

상기 촬상 화상은, 기지의 거리에 있는 상기 소정의 피사체가 비치는 화상인

<1>에 기재된 정보 처리 장치.

<3>

상기 미지 기준 위치에 기초하여, 상기 다른 촬상 화상 위의 상기 복수의 개안 렌즈에 대한 복수의 개안 화상 각각의 영역을 특정하는 영역 특정부를 추가로 구비하는

<1> 또는 <2>에 기재된 정보 처리 장치.

<4>

상기 교환 렌즈는, 광을 조사하는 복수의 광원을 구비하고,

상기 통신부는, 상기 기지 기준 위치와, 상기 촬상 화상 위의 상기 복수의 광원 각각의 광의 조사 위치인 기지 광 위치를 수신하고,

상기 기준 위치 산출부는, 상기 기지 기준 위치와 상기 기지 광 위치에 기초하여, 상기 미지 기준 위치를 구하는

<1> 내지 <3> 중 어느 한 항에 기재된 정보 처리 장치.

<5>

상기 기준 위치 산출부는,

상기 다른 촬상 화상 위의 상기 복수의 광원 각각의 광의 조사 위치와, 상기 기지 광 위치 사이의 회전각을 구하고,

상기 기지 기준 위치를, 상기 회전각에 따라 회전시킴으로써, 상기 미지 기준 위치를 구하는

<4>에 기재된 정보 처리 장치.

<6>

상기 기준 위치 산출부는, 상기 다른 촬상 화상 위의 상기 광원의 광의 조사 위치와, 상기 기지 광 위치 사이의 평행 이동량을 추가로 구하는

<4> 또는 <5>에 기재된 정보 처리 장치.

<7>

상기 기준 위치 산출부는,

상기 다른 촬상 화상 위의 상기 복수의 개안 렌즈에 대한 복수의 개안 화상 각각으로부터, 동일한 특징을 갖는 특징점을 추출하고,

상기 복수의 개안 화상 중 하나의 개안 화상의 상기 특징점과 다른 개안 화상의 상기 특징점을 잇는 선의 방향을 나타내는 각도와, 상기 하나의 개안 화상의 상기 기지 기준 위치와 상기 다른 개안 화상의 상기 기지 기준 위치를 잇는 선의 방향을 나타내는 각도인 기준각 사이의 회전각을 구하고,

상기 기지 기준 위치를, 상기 회전각에 따라 회전시킴으로써, 상기 미지 기준 위치를 구하는

<1> 내지 <3> 중 어느 한 항에 기재된 정보 처리 장치.

<8>

상기 통신부는, 상기 기지 기준 위치와 상기 기준각을 수신하는

<7>에 기재된 정보 처리 장치.

<9>

상기 다른 촬상 화상으로부터 특정된 상기 복수의 개안 화상을 포함하는 복수의 시점의 시점 화상의 화소를 시프트하여 적산함으로써, 깊이 방향의 거리가 소정의 거리의 포커싱점에 포커싱된 처리 결과 화상을 생성하는 집광 처리를 행하는 집광 처리부를 추가로 구비하는

<3>에 기재된 정보 처리 장치.

<10>

상기 집광 처리부는, 상기 복수의 시점의 시점 화상의 시차 정보에 따라, 상기 시점 화상의 화소를 시프트하는 시프트양을 설정하는

<9>에 기재된 정보 처리 장치.

<11>

상기 복수의 시점의 시점 화상은, 상기 복수의 개안 화상과, 상기 복수의 개안 화상을 사용한 보간에 의해 생성되는 복수의 보간 화상을 포함하는

<9> 또는 <10>에 기재된 정보 처리 장치.

<12>

상기 복수의 개안 화상의 시차 정보를 생성하는 시차 정보 생성부와,

상기 개안 화상 및 상기 시차 정보를 사용하여, 다른 시점의 상기 복수의 보간 화상을 생성하는 보간부

를 추가로 구비하는 <11>에 기재된 정보 처리 장치.

<13>

정보 처리 장치가,

광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈를 갖는 교환 렌즈가 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 수신하는 것과,

상기 기지 기준 위치에 기초하여, 상기 이미지 센서로 촬영되는 다른 촬상 화상 위의 상기 개안 렌즈에 대한 상기 개안 화상 위의 상기 소정의 광선에 대응하는 위치인 미지 기준 위치를 구하는 것

을 포함하는 정보 처리 방법.

<14>

광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈를 갖는 교환 렌즈가 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 수신하는 통신부와,

상기 기지 기준 위치에 기초하여, 상기 이미지 센서로 촬영되는 다른 촬상 화상 위의 상기 개안 렌즈에 대한 상기 개안 화상 위의 상기 소정의 광선에 대응하는 위치인 미지 기준 위치를 구하는 기준 위치 산출부로서,

컴퓨터를 기능시키기 위한 프로그램.

<15>

광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈와,

이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 기억하는 기억부와,

상기 기지 기준 위치를 외부로 송신하는 통신부

를 구비하는 교환 렌즈.

<16>

상기 이미지 센서에, 광을 조사하는 복수의 광원을 추가로 구비하고,

상기 기억부는, 상기 기지 기준 위치와, 상기 촬상 화상 위의 상기 복수의 광원 각각의 광의 조사 위치인 기지 광 위치를 기억하고,

상기 통신부는, 상기 기지 기준 위치와 상기 기지 광 위치를 송신하는

<15>에 기재된 교환 렌즈.

<17>

2개의 상기 광원이, 상기 교환 렌즈의, 상기 복수의 개안 렌즈가 배치된 평면 위의 가장 먼 2점을 잇는 선 위에 배치되어 있는

<16>에 기재된 교환 렌즈.

<18>

상기 이미지 센서로 촬상되는 다른 촬상 화상 위의 상기 복수의 광원 각각의 광의 조사 위치가, 상기 다른 촬상 화상에 포함되는 상기 개안 화상의 영역 밖에 위치하도록, 상기 복수의 광원이 마련되어 있는

<16> 또는 <17>에 기재된 교환 렌즈.

<19>

상기 기억부는, 상기 기지 기준 위치와, 상기 복수의 개안 렌즈에 대한 복수의 개안 화상 중 하나의 개안 화상의 상기 기지 기준 위치와 다른 개안 화상의 상기 기지 기준 위치를 잇는 선의 방향을 나타내는 각도인 기준각을 기억하고,

상기 통신부는, 상기 기지 기준 위치와 상기 기준각을 송신하는

<15>에 기재된 교환 렌즈.

10: 카메라 본체
11: 카메라 마운트
20: 다안 교환 렌즈
21: 경통
22: 렌즈 마운트
23: 렌즈 후드
31₀ 내지 31₆: 개안 렌즈
32L, 32R: 광원
41: 기억부
42: 통신부
51: 이미지 센서
52: 영역 특정부
53: 화상 처리부
54: 표시부
55: 기억부
56: 통신부
57, 71: 기준 위치 산출부
81: 시차 정보 생성부
82: 보간부
83: 집광 처리부
84: 파라미터 설정부
90: 서버
201: 버스
202: CPU
203: ROM
204: RAM
205: 하드 디스크
206: 출력부
207: 입력부
208: 통신부
209: 드라이브
210: 입출력 인터페이스
211: 리무버블 기록 매체

Claims (19)

1. 광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈를 갖는 교환 렌즈가 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 수신하는 통신부와,
   상기 기지 기준 위치에 기초하여, 상기 이미지 센서로 촬영되는 다른 촬상 화상 위의 상기 개안 렌즈에 대한 상기 개안 화상 위의 상기 소정의 광선에 대응하는 위치인 미지 기준 위치를 구하는 기준 위치 산출부
   를 구비하는, 정보 처리 장치.
2. 제1항에 있어서, 상기 촬상 화상은, 기지의 거리에 있는 상기 소정의 피사체가 비치는 화상인,
   정보 처리 장치.
3. 제1항에 있어서, 상기 미지 기준 위치에 기초하여, 상기 다른 촬상 화상 위의 상기 복수의 개안 렌즈에 대한 복수의 개안 화상 각각의 영역을 특정하는 영역 특정부를 추가로 구비하는,
   정보 처리 장치.
4. 제1항에 있어서, 상기 교환 렌즈는, 광을 조사하는 복수의 광원을 구비하고,
   상기 통신부는, 상기 기지 기준 위치와, 상기 촬상 화상 위의 상기 복수의 광원 각각의 광의 조사 위치인 기지 광 위치를 수신하고,
   상기 기준 위치 산출부는, 상기 기지 기준 위치와 상기 기지 광 위치에 기초하여, 상기 미지 기준 위치를 구하는,
   정보 처리 장치.
5. 제4항에 있어서, 상기 기준 위치 산출부는,
   상기 다른 촬상 화상 위의 상기 복수의 광원 각각의 광의 조사 위치와, 상기 기지 광 위치 사이의 회전각을 구하고,
   상기 기지 기준 위치를, 상기 회전각에 따라 회전시킴으로써, 상기 미지 기준 위치를 구하는,
   정보 처리 장치.
6. 제4항에 있어서, 상기 기준 위치 산출부는, 상기 다른 촬상 화상 위의 상기 광원의 광의 조사 위치와, 상기 기지 광 위치 사이의 평행 이동량을 추가로 구하는,
   정보 처리 장치.
7. 제1항에 있어서, 상기 기준 위치 산출부는,
   상기 다른 촬상 화상 위의 상기 복수의 개안 렌즈에 대한 복수의 개안 화상 각각으로부터, 동일한 특징을 갖는 특징점을 추출하고,
   상기 복수의 개안 화상 중 하나의 개안 화상의 상기 특징점과 다른 개안 화상의 상기 특징점을 잇는 선의 방향을 나타내는 각도와, 상기 하나의 개안 화상의 상기 기지 기준 위치와 상기 다른 개안 화상의 상기 기지 기준 위치를 잇는 선의 방향을 나타내는 각도인 기준각 사이의 회전각을 구하고,
   상기 기지 기준 위치를, 상기 회전각에 따라 회전시킴으로써, 상기 미지 기준 위치를 구하는,
   정보 처리 장치.
8. 제7항에 있어서, 상기 통신부는, 상기 기지 기준 위치와 상기 기준각을 수신하는,
   정보 처리 장치.
9. 제3항에 있어서, 상기 다른 촬상 화상으로부터 특정된 상기 복수의 개안 화상을 포함하는 복수의 시점의 시점 화상의 화소를 시프트하여 적산함으로써, 깊이 방향의 거리가 소정의 거리의 포커싱점에 포커싱된 처리 결과 화상을 생성하는 집광 처리를 행하는 집광 처리부를 추가로 구비하는,
   정보 처리 장치.
10. 제9항에 있어서, 상기 집광 처리부는, 상기 복수의 시점의 시점 화상의 시차 정보에 따라, 상기 시점 화상의 화소를 시프트하는 시프트양을 설정하는,
    정보 처리 장치.
11. 제9항에 있어서, 상기 복수의 시점의 시점 화상은, 상기 복수의 개안 화상과, 상기 복수의 개안 화상을 사용한 보간에 의해 생성되는 복수의 보간 화상을 포함하는,
    정보 처리 장치.
12. 제11항에 있어서, 상기 복수의 개안 화상의 시차 정보를 생성하는 시차 정보 생성부와,
    상기 개안 화상 및 상기 시차 정보를 사용하여, 다른 시점의 상기 복수의 보간 화상을 생성하는 보간부
    를 추가로 구비하는, 정보 처리 장치.
13. 정보 처리 장치가,
    광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈를 갖는 교환 렌즈가 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 수신하는 것과,
    상기 기지 기준 위치에 기초하여, 상기 이미지 센서로 촬영되는 다른 촬상 화상 위의 상기 개안 렌즈에 대한 상기 개안 화상 위의 상기 소정의 광선에 대응하는 위치인 미지 기준 위치를 구하는 것
    을 포함하는, 정보 처리 방법.
14. 광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈를 갖는 교환 렌즈가 이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 수신하는 통신부와,
    상기 기지 기준 위치에 기초하여, 상기 이미지 센서로 촬영되는 다른 촬상 화상 위의 상기 개안 렌즈에 대한 상기 개안 화상 위의 상기 소정의 광선에 대응하는 위치인 미지 기준 위치를 구하는 기준 위치 산출부로서,
    컴퓨터를 기능시키기 위한, 프로그램.
15. 광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈와,
    이미지 센서를 갖는 카메라 본체에 장착되었을 때에 1개의 상기 이미지 센서로 촬상된 소정의 피사체가 비치는 촬상 화상 위의, 상기 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상 위의 소정의 광선에 대응하는 위치인 기지 기준 위치를 기억하는 기억부와,
    상기 기지 기준 위치를 외부로 송신하는 통신부
    를 구비하는, 교환 렌즈.
16. 제15항에 있어서, 상기 이미지 센서에, 광을 조사하는 복수의 광원을 추가로 구비하고,
    상기 기억부는, 상기 기지 기준 위치와, 상기 촬상 화상 위의 상기 복수의 광원 각각의 광의 조사 위치인 기지 광 위치를 기억하고,
    상기 통신부는, 상기 기지 기준 위치와 상기 기지 광 위치를 송신하는,
    교환 렌즈.
17. 제16항에 있어서, 2개의 상기 광원이, 상기 교환 렌즈의, 상기 복수의 개안 렌즈가 배치된 평면 위의 가장 먼 2점을 잇는 선 위에 배치되어 있는,
    교환 렌즈.
18. 제16항에 있어서, 상기 이미지 센서로 촬상되는 다른 촬상 화상 위의 상기 복수의 광원 각각의 광의 조사 위치가, 상기 다른 촬상 화상에 포함되는 상기 개안 화상의 영역 밖에 위치하도록, 상기 복수의 광원이 마련되어 있는,
    교환 렌즈.
19. 제15항에 있어서, 상기 기억부는, 상기 기지 기준 위치와, 상기 복수의 개안 렌즈에 대한 복수의 개안 화상 중 하나의 개안 화상의 상기 기지 기준 위치와 다른 개안 화상의 상기 기지 기준 위치를 잇는 선의 방향을 나타내는 각도인 기준각을 기억하고,
    상기 통신부는, 상기 기지 기준 위치와 상기 기준각을 송신하는,
    교환 렌즈.

Images