KR20210151815A - 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램 - Google Patents

교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20210151815A
KR20210151815A KR1020217032525A KR20217032525A KR20210151815A KR 20210151815 A KR20210151815 A KR 20210151815A KR 1020217032525 A KR1020217032525 A KR 1020217032525A KR 20217032525 A KR20217032525 A KR 20217032525A KR 20210151815 A KR20210151815 A KR 20210151815A
Authority
KR
South Korea
Prior art keywords
image
ommatidium
unit
information
light
Prior art date
Application number
KR1020217032525A
Other languages
English (en)
Inventor
켄고 하야사카
히데노리 쿠시다
카츠히사 이토
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20210151815A publication Critical patent/KR20210151815A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/565—Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/02—Focusing arrangements of general interest for cameras, projectors or printers moving lens along baseboard
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H04N5/2254—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • G03B2206/004—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing using markings on the photographic material, e.g. to indicate pseudo-panoramic exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

본 기술은, 적절한 처리를 행할 수 있도록 하는 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다. 다안 교환 렌즈는, 경통과, 가동부와, 복수의 개안 렌즈와, 광원을 구비한다. 가동부는, 경통에 대해, 광축을 따라 이동 가능하게 구성된다. 복수의 개안 렌즈는, 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된다. 하나 또는 복수 개의 광원은, 가동부 및 복수의 개안 렌즈와 일체로 되어 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된다. 본 기술은, 예를 들면, 복수의 개안 렌즈가 피딩되는 교환 렌즈나 카메라 시스템 등에 적용할 수 있다.

Description

교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램
본 기술은 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것으로, 특히, 예를 들면, 적절한 처리를 행할 수 있도록 하는 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다.
시점(視點)이 서로 다른 복수의 화상으로 이루어지는 다시점 화상을 사용한 서비스의 편리성을 향상시키는 기술이 제안되고 있다(예를 들면, 특허문헌 1을 참조).
특허문헌 1: 국제공개 제2015/037472호
다시점 화상은, 예를 들면, 광축 방향으로 겹치지 않도록 배치된 복수의 렌즈인 개안 렌즈(individual-eye lens)를 갖는 카메라 시스템에 의해 촬상할 수 있다.
그러나, 카메라 시스템에 있어서, 복수의 개안 렌즈가 광축 방향으로 피딩되어, 포커스 등이 조정되는 경우, 피딩의 전후에서, 이미지 센서에 의해 촬상된 촬상 화상 상의, 개안 렌즈에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상(individual-eye image)의 영역이 변화하는 경우가 있다.
개안 화상의 영역이 변화하면, 카메라 시스템에 있어서 처리를 적절하게 행하는 것이 곤란해지는 경우가 있다.
본 기술은 이러한 상황을 감안하여 이루어진 것으로, 적절한 처리를 행할 수 있도록 하는 것이다.
본 기술의 교환 렌즈는, 경통과, 상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와, 상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와, 상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수 개의 광원을 구비하는 교환 렌즈이다.
본 기술의 교환 렌즈에 있어서는, 가동부가, 상기 경통에 대해, 광축을 따라 이동 가능하게 구성되고, 복수의 개안 렌즈가, 상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된다. 나아가, 하나 또는 복수 개의 광원은, 상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된다.
본 기술의 정보 처리 장치, 또는, 프로그램은, 경통과, 상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와, 상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와, 상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수 개의 광원을 구비하는 렌즈 부의 상기 광원으로부터 조사되는 상기 평행광의, 상기 이미지 센서에 의해 촬상되는 촬상 화상 상의 광상(light image)을 검출하는 검출부와, 상기 검출부의 검출 결과에 따라, 처리를 행하는 처리부를 구비하는 정보 처리 장치, 또는, 그러한 정보 처리 장치로서, 컴퓨터를 기능시키기 위한 프로그램이다.
본 기술의 정보 처리 방법은, 경통과, 상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와, 상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와, 상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수 개의 광원을 구비하는 렌즈부의 상기 광원으로부터 조사되는 상기 평행광의, 상기 이미지 센서에 의해 촬상되는 촬상 화상 상의 광상을 검출하는 검출 단계와, 상기 검출 스텝의 검출 결과에 따라, 처리를 행하는 처리 단계를 포함하는 정보 처리 방법이다.
본 기술의 정보 처리 장치, 정보 처리 방법, 및 프로그램에 있어서는, 경통과, 상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와, 상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와, 상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수 개의 광원을 구비하는 렌즈부의 상기 광원으로부터 조사되는 상기 평행광의, 상기 이미지 센서에 의해 촬상되는 촬상 화상 상의 광상이 검출되고, 그 검출 결과에 따라, 처리가 행해진다.
한편, 정보 처리 장치는, 독립된 장치이어도 되고, 하나의 장치를 구성하고 있는 내부 블록이어도 된다.
또한, 프로그램은, 전송 매체를 통해 전송됨으로써, 또는 기록 매체에 기록되어, 제공할 수 있다.
도 1은 본 기술을 적용한 카메라 시스템의 일 실시형태의 구성예를 나타내는 사시도이다.
도 2는 카메라 시스템(1)의 전기적 구성예를 나타내는 블록도이다.
도 3은 다안 교환 렌즈(20)를 사용하여 행해지는 촬상 화상의 촬상 개요를 설명하는 도면이다.
도 4는 다안 교환 렌즈(20)에 있어서의 개안 렌즈(310 내지 314) 및 광원(32L 및 32R)의 배치와, 그 다안 교환 렌즈(20)를 사용하여 촬상되는 촬상 화상의 예를 나타내는 도면이다.
도 5는 다안 교환 렌즈(20)를 카메라 본체(10)에 부착했을(장착했을) 때의 부착 오차를 설명하는 도면이다.
도 6은 장착 오차 반영 위치 정보로서의 상대 광축 중심 위치 (dx1', dy1') 내지 (dx4', dy4')를 구하는 산출 방법을 설명하는 도면이다.
도 7은 화상 처리부(53)의 구성예를 나타내는 블록도이다.
도 8은 카메라 시스템(1)에 의해 행해지는 캘리브레이션(calibration)을 설명하는 도면이다.
도 9는 복수의 기준 포커스 위치에 대응하는 복수의 피딩량(feeding amount)에 대한 캘리브레이션 데이터의 생성을 설명하는 도면이다.
도 10은 카메라 시스템(1)에 의해 행해지는 일반적인 촬상을 설명하는 도면이다.
도 11은 촬상 포커스 위치(P4)에 대응하는 촬상 피딩량에 대한 캘리브레이션 데이터의 보간에 의한 생성에 대해 설명하는 도면이다.
도 12는 광원(32L 및 32R)의 구성예를 나타내는 단면도이다.
도 13은 다안 교환 렌즈(20)의 구성예를 나타내는 단면도이다.
도 14는 피딩부(23)의 피딩량을 검출하는 제1 검출 방법을 설명하는 도면이다.
도 15는 스폿광으로서의 비평행광의 스폿 사이즈의 변화의 예를 나타내는 도면이다.
도 16은 제1 검출 방법에 의해 피딩량을 검출하는 처리의 예를 설명하는 플로우차트이다.
도 17은 피딩부(23)의 피딩량을 검출하는 제2 검출 방법을 설명하는 도면이다.
도 18은 제2 검출 방법에 의해 피딩량을 검출하는 처리의 예를 설명하는 플로우차트이다.
도 19는 피딩부(23)의 피딩량을 검출하는 제3 검출 방법을 설명하는 도면이다.
도 20은 피딩부(23)를 최소 피딩 상태로부터 최대 피딩 상태까지 이동시켰을 때에, 스폿광으로서의 비평행광이 집광되는 집광점이, 이미지 센서(51)를 포함하는 전방측 및 안쪽의 일방에 위치하는 상태를 설명하는 도면이다.
도 21은 피딩부(23)의 피딩량을 검출하는 제4 검출 방법을 설명하는 도면이다.
도 22는 피딩부(23)가 최소 피딩 상태인 경우의 스폿광의 조사 위치와, 피딩부(23)가 최대 피딩 상태인 경우의 스폿광의 조사 위치를 나타내는 도면이다.
도 23은 피딩부(23)가 최소 피딩 상태인 경우의 스폿광상(PL' 및 PR')이 찍히는 촬상 화상과, 피딩부(23)가 최대 피딩 상태인 경우의 스폿광상(PL" 및 PR")이 찍히는 촬상 화상의 예를 나타내는 도면이다.
도 24는 제4 검출 방법에 의해 피딩량을 검출하는 처리의 예를 설명하는 플로우차트이다.
도 25는 다안 교환 렌즈(20)의 다른 구성예를 나타내는 도면이다.
도 26은 광원(32L 및 32R)의 다른 구성예를 나타내는 단면도이다.
도 27은 렌즈 기울어짐에 따라, 스폿광상의 위치가 변화하고 있는 상태를 나타내는 도면이다.
도 28은 카메라 시스템(1)의 다른 전기적 구성예를 나타내는 블록도이다.
도 29는 연관 정보를 대상으로 하여 포스트 처리(post-processing)를 행하는 포스트 처리 장치의 구성예를 나타내는 블록도이다.
도 30은 연관 정보를 대상으로 하여 포스트 처리를 행하는 포스트 처리 장치의 다른 구성예를 나타내는 블록도이다.
도 31은 본 기술을 적용한 카메라 시스템의 제1 다른 실시형태의 전기적 구성예를 나타내는 블록도이다.
도 32는 본 기술을 적용한 카메라 시스템의 제2 다른 실시형태의 전기적 구성예를 나타내는 블록도이다.
도 33은 본 기술을 적용한 컴퓨터의 일 실시형태의 구성예를 나타내는 블록도이다.
<본 기술을 적용한 카메라 시스템의 일 실시형태>
도 1은 본 기술을 적용한 카메라 시스템(촬상 장치)의 일 실시형태의 구성예를 나타내는 사시도이다.
카메라 시스템(1)은 카메라 본체(10)와 다안 교환 렌즈(20)(렌즈부)로 구성된다.
카메라 본체(10)는, 다안 교환 렌즈(20)가 착탈 가능하도록 되어 있다. 즉, 카메라 본체(10)는 카메라 마운트(11)를 가지며, 그 카메라 마운트(11)에 대해, 다안 교환 렌즈(20)(의 렌즈 마운트(22))가 고정됨(부착됨)으로써, 카메라 본체(10)에, 다안 교환 렌즈(20)가 장착된다. 한편, 카메라 본체(10)에 대해서는, 다안 교환 렌즈(20) 이외의 일반적인 교환 렌즈도 착탈할 수 있다.
카메라 본체(10)는 이미지 센서(51)를 내장한다. 이미지 센서(51)는, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서이며, 카메라 본체(10)(의 카메라 마운트(11))에 장착된 다안 교환 렌즈(20) 또는 그 외의 교환 렌즈에 의해 집광되는 광선을 수광하여 광전 변환을 행함으로써 화상을 촬상한다. 이하, 이미지 센서(51)의 촬상에 의해 얻어지는 화상을, 촬상 화상이라고도 말한다.
다안 교환 렌즈(20)는, 경통(21), 렌즈 마운트(22), 및 피딩부(23)를 갖는다. 피딩부(23)는, 경통(21)에 대해, 경통(21)의 광축을 따라 이동 가능하게 구성된 가동부이다. 피딩부(23)는, 복수로서의 5개의 개안 렌즈(310, 311, 312, 313, 및 314)를 갖는다. 복수의 개안 렌즈(31i)는, 피딩부(23)와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈(31i)를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된다. 나아가, 피딩부(23)는 광원(32L 및 32R)을 갖는다. 광원(32L 및 32R)은, 피딩부(23) 및 복수의 개안 렌즈(31i)와 일체로 되어 경통(21)의 광축을 따라 이동 가능하게 구성되고, 카메라 본체(10)에 설치된 이미지 센서(51)에 조사하는 조사광의 출사 위치가, 복수의 개안 렌즈(31i)의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된다.
경통(21)은 대략 원통 형상을 하고 있고, 그 원통 형상의 하나의 저면측에, 렌즈 마운트(22)가 형성되어 있다.
렌즈 마운트(22)는, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착될 때에, 카메라 본체(10)의 카메라 마운트(11)에 고정된다(부착된다).
피딩부(23)는 대략 원기둥 형상을 하고 있고, 원통 형상의 경통(21) 내에 수납되어 있다.
피딩부(23)에는, 경통(21) 전체의 광축(경통 광축)의 광축 방향으로 (보아서) 겹치지 않도록 배치된 복수로서의 5개의 렌즈인 개안 렌즈(310, 311, 312, 313, 및 314)가 설치되어 있다. 도 1에서는, 5개의 개안 렌즈(310 내지 314)가, 경통 광축에 직교하는 (이미지 센서(51)의 수광면(촬상면)에 평행한) 2차원 평면 상에서, 개안 렌즈(310)를 중심(무게중심(重心))으로 하여, 다른 4개의 개안 렌즈(311 내지 314)가 정방형의 정점을 구성하도록 배치되는 형태로, 피딩부(23)에 설치되어 있다.
개안 렌즈(310 내지 314)는, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되었을 때에, 피사체로부터의 광선을 카메라 본체(10)의 이미지 센서(51)에 집광시킨다.
한편, 여기서는, 카메라 본체(10)는, 1개의 이미지 센서(51)를 갖는, 이른바 단판식의 카메라이지만, 카메라 본체(10)로서는, 복수의 이미지 센서, 즉, 예를 들면, RGB(Red, Green, Blue) 각각을 위한 3개의 이미지 센서를 갖는, 이른바 3판식의 카메라를 채용할 수 있다. 3판식의 카메라에서는, 개안 렌즈(310 내지 314)가 출사하는 광선은, 프리즘 등의 광학계를 이용하여, 3개의 이미지 센서의 각각에 집광된다. 한편, 3판식에 한정되지 않고 2판식 등 이미지 센서의 수는 3개 이외이어도 된다. 또한, 각 이미지 센서는 RGB 각각을 위한 것에 한정되지 않고 모두 모노크롬(monochrome)이어도 되고, 모두가 베이어 배열(Bayer array) 등의 컬러 필터를 구비한 것이어도 된다.
피딩부(23)에는, 5개의 개안 렌즈(310 내지 314) 외에, 복수인 2개의 광원(32L 및 32R)이 설치되어 있다. 광원(32L 및 32R)은, 다안 교환 렌즈(20)를 정면에서 보았을 때에, 피딩부(23)의 우단 및 좌단의 위치에 각각 설치되어 있다.
광원(32L 및 32R)은, 예를 들면, LED(Light Emitting Diode)나 레이저 등으로 구성되고, 다안 교환 렌즈(20)의 정면측(광선이 입사하는 측)으로부터 배면측을 향해 스폿광을 조사한다.
따라서, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착된 경우, 광원(32L 및 32R)이 조사하는 스폿광은, 카메라 본체(10)의 이미지 센서(51)에 의해 수광된다.
피딩부(23)에는, 이상과 같이, 개안 렌즈(310 내지 314)와 함께, 광원(32L 및 32R)이 설치되어 있다.
피딩부(23)는, 원통 형상의 경통(21)의 내부를, 경통 광축의 광축 방향으로 이동(슬라이드) 가능하도록 구성되고, 이에 의해, 경통(21) 내를, 정면측으로 피딩할(안쪽으로 들어갈) 수 있다.
따라서, 다안 교환 렌즈(20)는, 피딩부(23)에 설치된 개안 렌즈(310 내지 314)와 광원(32L 및 32R)이 일체적으로 피딩되는 구성으로 되어 있다.
이상과 같이, 개안 렌즈(310 내지 314)와 광원(32L 및 32R)이 일체적으로 피딩되므로, 카메라 시스템(1)에서는, 적절한 처리를 행할 수 있다.
즉, 이미지 센서(51)가 촬상하는 촬상 화상에는, 광원(32L 및 32R)이 조사하는 스폿광의 상인 스폿광상이 찍히고, 그 스폿광상은, 후술하는 바와 같이, 다안 교환 렌즈(20)의 부착 오차를 구하는 데에 사용할 수 있다.
다안 교환 렌즈(20)에 있어서, 개안 렌즈(310 내지 314)는, 피딩부(23)에 설치됨으로써, 피딩부(23)와 함께 피딩되고, 이에 의해, 예를 들면, 망원 촬영이나 매크로 촬영 등을 행하기 위한 포커스 조정을 행할 수 있다.
이 경우, 광원(32L 및 32R)이, 다안 교환 렌즈(20)의 피딩부(23) 이외의 부분에 설치되어 있으면, 개안 렌즈(310 내지 314)가 피딩되어도, 광원(32L 및 32R)은 피딩되지 않는다. 그리고, 그러한 광원(32L 및 32R)이 조사하는 스폿광의 스폿광상을 사용하는 것으로는, 개안 렌즈(310 내지 314)의 피딩에 의해 변화하는 부착 오차를 정밀하게 구하는 것이 곤란해진다.
반면, 개안 렌즈(310 내지 314)와 광원(32L 및 32R)이 일체적으로 피딩되는 경우에는, 스폿광상을 사용하여, 개안 렌즈(310 내지 314)의 피딩에 의해 변화하는 부착 오차를 정밀하게 구하는 적절한 처리를 행할 수 있다.
나아가, 촬상 화상 상의, 개안 렌즈(310 내지 314) 각각에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상의 영역이, 개안 렌즈(310 내지 314)의 피딩에 의해 변화하여도, 개안 화상의 영역을 정밀하게 특정하는 적절한 처리를 행할 수 있다.
또한, 개안 렌즈(310 내지 314)의 피딩에 의해 변화하는 렌즈 왜곡의 영향을 억제하는 캘리브레이션 데이터를 구하고, 나아가, 그러한 캘리브레이션 데이터를 사용하여, 렌즈 왜곡의 영향을 억제한 시차(視差) 정보를 구하는 등의 적절한 처리를 행할 수 있다.
한편, 도 1에서는, 다안 교환 렌즈(20)에, 5개의 개안 렌즈(310 내지 314)가 설치되어 있지만, 다안 교환 렌즈(20)에 설치되는 개안 렌즈의 수는, 5개에 한정되는 것은 아니고, 2개나 3개, 6개 이상의 임의의 복수의 수를 채용할 수 있다.
나아가, 다안 교환 렌즈(20)에 설치되는 복수의 개안 렌즈는, 정방형의 중심과 정점의 위치에 배치하는 것 외에, 2차원 평면 상의 임의의 위치에 배치할 수 있다.
또한, 다안 교환 렌즈(20)에 설치되는 복수의 개안 렌즈로서는, 초점거리나 F값, 그 외의 사양이 서로 다른 복수의 렌즈를 채용할 수 있다. 다만, 여기서는, 설명을 간단하게 하기 위해, 사양이 동일한 복수의 렌즈를 채용하는 것으로 한다.
나아가, 도 1에서는, 다안 교환 렌즈(20)에 2개의 광원(32L 및 32R)이 설치되어 있지만, 다안 교환 렌즈(20)에 설치되는 광원의 수는, 2개로 한정되는 것은 아니고, 필요에 따라, 1개나, 3개 이상의 임의의 수를 채용할 수 있다.
또한, 다안 교환 렌즈(20)에, 복수로서의, 예를 들면, 2개의 광원(32L 및 32R)을 설치하는 경우에는, 그 2개의 광원(32L 및 32R)은, 다안 교환 렌즈(20)의, 5개의 개안 렌즈(310 내지 314)가 배치된 평면 상, 즉, 도 1에서는, 대략 원기둥형의 피딩부(23)를 정면에서 본 원 위의 가장 먼 2점을 잇는 선 상에 배치할 수 있다. 이 경우, 광원(32L 및 32R)은, 피딩부(23)를 정면에서 본 원의 중심을 지나는 선 상에 배치된다. 후술하는 바와 같이, 광원(32L 및 32R)은, 가능한 한 떨어져 배치하는 것이 바람직하다. 광원(32L 및 32R)을, 피딩부(23)를 정면에서 본 원의 중심을 지나는 선 상에 배치함으로써, 광원(32L 및 32R)을 가장 떨어져 배치할 수 있다.
다안 교환 렌즈(20)에 있어서, 복수로서의 5개의 개안 렌즈(310 내지 314) 각각은, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되었을 때에, 개안 렌즈(31i)의 광축(개안 광축)이 이미지 센서(51)의 수광면과 직교하도록 배치되어 있다.
이러한 다안 교환 렌즈(20)가 카메라 본체(10)에 장착된 카메라 시스템(1)에서는, 이미지 센서(51)에 있어서, 5개의 개안 렌즈(310 내지 314) 각각에 의해 집광되는 광선에 의해 이미지 센서(51)의 수광면 상에 형성되는 상에 대응하는 화상이 촬상된다.
이제, 1개의 개안 렌즈(31i)(여기서는, i=0, 1, 2, 3, 4)에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 화상을, 개안 화상이라고 하면, 1개의 이미지 센서(51)에 의해 촬상되는 촬상 화상에는, 5개의 개안 렌즈(310 내지 314) 각각에 대한 5개의 개안 화상(개안 렌즈(310 내지 314) 각각에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 화상)이 포함된다.
개안 렌즈(31i)에 대한 개안 화상은, 개안 렌즈(31i)의 위치를 시점(視點)으로 하는 화상이며, 이에 따라, 개안 렌즈(310 내지 314) 각각에 대한 5개의 개안 화상은, 서로 다른 시점의 화상이다.
나아가, 촬상 화상에는, 2개의 광원(32L 및 32R) 각각이 조사하는 스폿광에 대응하는 화상인 스폿광상(스폿광에 의해 형성되는 상)이 포함된다.
여기서, 도 1의 카메라 시스템(1)은, 카메라 본체(10)와, 카메라 본체(10)에 착탈 가능한 다안 교환 렌즈(20)로 구성되지만, 본 기술은, 다안 교환 렌즈(20)가 카메라 본체(10)에 고정된, 이른바 렌즈 일체형의 카메라 시스템에도 적용할 수 있다. 즉, 본 기술은, 예를 들면, 렌즈 일체형의 카메라에 적용할 수 있다.
또한, 1개의 개안 렌즈(31i)는, 1매의 렌즈로 구성하는 것 외에, 복수 매의 렌즈를 경통 광축의 광축 방향으로 배열하여 구성할 수 있다.
나아가, 카메라 본체(10)의 후술하는 영역 특정부(52), 화상 처리부(53), 위치 산출부(57), 스폿광상 검출부(62), 및 피딩량 검출부(64)의 처리의 일부 또는 전부는, 카메라 본체(10) 이외, 예를 들면, 클라우드 상의 서버나 재생 전용 기기 등에 의해 행할 수 있다.
또한, 다안 교환 렌즈(20)의 피딩부(23)의 피딩에 의하면, 포커스를 조정하는 것 외에, 줌 배율을 조정할 수 있다. 이하에서는, 설명을 간단하게 하기 위해, 피딩부(23)의 피딩에 의해, 포커스가 조정되는 것으로 한다.
한편, 카메라 본체(10)에 대해서는, 다안 교환 렌즈(20)가 장착되는 측의 면, 즉, 카메라 마운트(11)가 있는 면을, 정면으로 한다.
<카메라 시스템(1)의 전기적 구성예>
도 2는 도 1의 카메라 시스템(1)의 전기적 구성예를 나타내는 블록도이다.
카메라 시스템(1)에 있어서, 다안 교환 렌즈(20)는, 기억부(41), 통신부(42), 및 제어부(43)를 갖는다.
기억부(41)는, 다안 교환 렌즈(20)에 관한 정보인 렌즈 정보를 기억하고 있다. 렌즈 정보에는, 개체차 반영 위치 정보(기지(旣知)의 기준 위치)가 포함된다.
개체차 반영 위치 정보란, 예를 들면, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되었을 때에 (1개의) 이미지 센서(51)에 의해 촬상된 기지의 거리에 있는 소정의 피사체가 찍히는 기지의 촬상 화상 상의 개안 렌즈(31i)에 대한 개안 화상 상의 소정의 광선에 대응하는 위치에 관한 위치 정보이다. 개체차 반영 위치 정보는, 다안 교환 렌즈(20)의 제조시의 제조 오차(제조 편차)에 기인하여, 다안 교환 렌즈(20)의 개체마다 상이한 양만큼(설계 상의 위치로부터) 어긋나는, 소정의 광선의 이미지 센서(51)로의 입사 위치에 관한 위치 정보라고 할 수 있고, 다안 교환 렌즈(20)의 제조시의 개체마다 상이한 제조 오차(에 의한 개안 렌즈(31i)로부터 출사되는 촬상 광의 출사 위치의 어긋남)를 포함하는 위치 정보이다. 개체차 반영 위치 정보로서는, 예를 들면, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되었을 때에 이미지 센서(51)에 의해 촬상된 기지의 거리에 있는 소정의 피사체가 찍히는 기지의 촬상 화상 상의 개안 렌즈(31i)에 대한 개안 화상 상의 소정의 광선에 대응하는 위치 그 자체를 채용할 수 있다.
여기서, 개안 렌즈(31i)에 대한 개안 화상에 있어서, 개안 렌즈(31i)의 광축(개안 광축)을 지나는 광선의 상이 형성되는 위치를 광축 중심 위치라고 한다. 한편, 개안 광축은, 경통(21) 전체의 광축(경통 광축)과 평행하거나, 거리가 일정하게 정해져 배치되어 있을 것이지만 어긋남이 생긴다.
이제, 개안 렌즈(31i)에 대한 개안 화상에 대해, 소정의 광선으로서, 예를 들면, 개안 렌즈(31i)의 개안 광축을 지나는 광선을 채용하는 것으로 하면, 개안 렌즈(31i)에 대한 개안 화상의 개체차 반영 위치 정보는, 그 개안 화상의 광축 중심 위치이다.
한편, 소정의 광선은, 개안 렌즈(31i)의 개안 광축을 지나는 광선에 한정되는 것은 아니다. 즉, 소정의 광선으로서는, 예를 들면, 개안 렌즈(31i)의 개안 광축으로부터 소정의 거리만큼 떨어진 위치를 지나고, 개안 광축에 평행한 광선 등을 채용할 수 있다.
렌즈 정보에는, 기지의 촬상 화상 상의, 개안 렌즈(31i)에 대한 개안 화상의 개체차 반영 위치 정보 외에, 기지의 촬상 화상 상의 광원(32L 및 32R) 각각의 스폿광의 스폿광상의 위치에 관한 개체차 스폿광 위치 정보(기지의 광 위치)가 포함된다. 개체차 스폿광 위치 정보로서는, 기지의 촬상 화상 상의 광원(32L 및 32R) 각각의 스폿광의 스폿광상의 위치 그 자체를 채용할 수 있다. 개체차 스폿광 위치 정보는, 개체차 반영 위치 정보와 마찬가지로, 다안 교환 렌즈(20)의 제조시의 개체마다 상이한 제조 오차를 포함하는 위치 정보이다.
여기서, 다안 교환 렌즈(20)에 대해서는, 유니크한 렌즈 ID(Identification)를 할당하고, 기억부(41)에 기억시키는 렌즈 정보로서는, 다안 교환 렌즈(20)의 렌즈 ID를 채용할 수 있다. 나아가, 이 경우, 렌즈 정보로서의 렌즈 ID와, 그 렌즈 ID에 의해 특정되는 다안 교환 렌즈(20)의, 렌즈 ID 이외의 렌즈 정보로서의 개체차 반영 위치 정보나 개체차 스폿광 위치 정보 등을 대응짓는 데이터베이스를 준비할 수 있다. 이 경우, 렌즈 ID를 키워드로 하여, 데이터베이스를 검색함으로써, 그 렌즈 ID에 대응지어진 다안 교환 렌즈(20)의 개체차 반영 위치 정보나 개체차 스폿광 위치 정보 등을 취득할 수 있다.
통신부(42)는, 카메라 본체(10)의 후술하는 통신부(56)와의 사이에서, 유선 또는 무선에 의한 통신을 행한다. 한편, 통신부(42)는, 그 밖에, 필요에 따라, 임의의 통신 방식에 의해, 인터넷 상의 서버나, 유선 또는 무선 LAN(Local Area Network) 상의 PC(Personal Computer), 그 밖의 외부 디바이스와의 사이에서 통신을 행하도록 할 수 있다.
통신부(42)는, 예를 들면, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착된 경우나 다안 교환 렌즈(20)가 카메라 본체(10)에 장착된 상태에서 전원이 켜진 경우에, 카메라 본체(10)의 통신부(56)와 통신함으로써, 기억부(41)에 기억된 렌즈 정보를 통신부(56)로 송신한다.
또한, 통신부(42)는, 통신부(56)로부터 송신되어 오는 커맨드 및 그 밖의 정보를 수신하여, 제어부(43)에 공급한다. 제어부(43)는, 통신부(42)로부터의 정보에 따라, 피딩부(23)를 피딩(이동)함으로써 포커스 조정 등의 다안 교환 렌즈(20)의 제어를 행한다.
카메라 본체(10)는, 이미지 센서(51), 영역 특정부(52), 화상 처리부(53), 표시부(54), 기억부(55), 통신부(56), 위치 산출부(57), 제어부(61), 스폿광상 검출부(62), 피딩량 정보 기억부(63), 피딩량 검출부(64)를 갖는다.
이미지 센서(51)는, 예를 들면, 도 1에서 설명한 바와 같이, CMOS 이미지 센서이며, 이미지 센서(51)의 수광면에는, 카메라 본체(10)에 장착된 다안 교환 렌즈(20)의 개안 렌즈(310 내지 314) 각각에 의해 집광되는 광선, 및 광원(32L 및 32R)이 조사하는 스폿광으로서의 광선이 조사된다.
이미지 센서(51)는, 개안 렌즈(310 내지 314) 각각에 의해 집광되는 광선, 및 광원(32L 및 32R)이 조사하는 스폿광으로서의 광선을 수광하여 광전 변환을 행함으로써, 개안 렌즈(310 내지 314) 각각에 대한 개안 화상(개안 렌즈(310 내지 314) 각각에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상), 및 광원(32L 및 32R) 각각의 스폿광의 스폿광상을 포함하는 촬상 화상을 촬상하여 출력한다. 이미지 센서(51)가 출력하는 촬상 화상(다른 촬상 화상)은, 영역 특정부(52), 위치 산출부(57), 스폿광상 검출부(62)에 공급된다.
영역 특정부(52)에는, 이미지 센서(51)가 출력하는 촬상 화상이 공급되는 것 외에, 위치 산출부(57)로부터, 이미지 센서(51)가 출력하는 촬상 화상에 포함되는 개안 화상 상의 위치 정보로서의 장착 오차 반영 위치 정보(미지(未知)의 기준 위치)가 공급된다.
장착 오차 반영 위치 정보란, 예를 들면, 다안 교환 렌즈(20)를 카메라 본체(10)에 장착한 상태의(1개의) 이미지 센서(51)에 의해 임의의 피사체(피사체까지의 거리를 알고 있는지 여부는 불문함)를 촬상하여 얻어지는 촬상 화상(다른 촬상 화상) 상의 개안 렌즈(31i)에 대한 개안 화상 상의 소정의 광선에 대응하는 위치에 관한 위치 정보이다. 장착 오차 반영 위치 정보는, 다안 교환 렌즈(20)의 장착시에, 그 다안 교환 렌즈(20)의 장착 오차에 기인하여 어긋나는, 소정의 광선의 이미지 센서(51)로의 입사 위치에 관한 위치 정보라고 할 수 있고, 다안 교환 렌즈(20)의 사용시의 장착 오차(에 의한 개안 렌즈(31i)로부터 출사되는 촬상 광의 출사 위치의 어긋남)를 포함하는 위치 정보이다.
장착 오차란, 다안 교환 렌즈(20)가 카메라 본체(10)에 착탈 가능하게 되어 있는 것에 기인하여 생기는 다안 교환 렌즈(20)의 부착 위치(장착 위치)의 어긋남을 나타낸다. 장착 오차는, 예를 들면, 다안 교환 렌즈(20)를 장착할 때마다 변화할 수 있다. 또한, 장착 오차는, 예를 들면, 다안 교환 렌즈(20)를 카메라 본체(10)에 장착한 카메라 시스템(1)에 충격이 가해졌을 때에 변화하는 경우가 있다.
장착 오차 반영 위치 정보는, 장착 오차 외에, 제조 오차도 포함하는 위치 정보(제조 오차 및 장착 오차에 의한 개안 렌즈(31i)로부터 출사되는 촬상 광의 출사 위치의 어긋남을 포함하는 위치 정보)이다.
여기서, 개체차 반영 위치 정보로서, 예를 들면, 촬상 화상이 기지의 거리에 있는 피사체를 촬상한 기지의 촬상 화상인 경우의, 그 기지의 촬상 화상에 포함되는 개안 화상 상의 광축 중심 위치를 채용하는 경우에는, 장착 오차 반영 위치 정보로서는, 임의의 피사체(피사체까지의 거리를 알고 있는지 여부는 불문함)를 촬상한 촬상 화상(다른 촬상 화상)에 포함되는 개안 화상 상의 광축 중심 위치를 채용할 수 있다.
영역 특정부(52)는, 위치 산출부(57)로부터의 장착 오차 반영 위치 정보에 따라, 이미지 센서(51)로부터의 촬상 화상 상의, 개안 렌즈(310 내지 314) 각각에 대한 개안 화상의 영역을 특정하고, 그 영역의 특정 결과를 나타내는 영역 특정 결과 정보를 출력한다.
즉, 영역 특정부(52)는, 이미지 센서(51)로부터의 촬상 화상의, 예를 들면, 촬상 화상의 장착 오차 반영 위치 정보를 중심(무게중심)으로 하는 소정의 사이즈의 직사각형 형상의 영역을, 개안 화상의 영역으로 특정한다.
여기서, 영역 특정부(52)는, 예를 들면, 촬상 화상 전체와, 그 촬상 화상 전체 상의 각 개안 화상의 영역을 나타내는 영역 정보와의 세트를, 영역 특정 결과 정보로서 출력할 수 있다. 또한, 영역 특정부(52)는, 촬상 화상으로부터, 각 개안 화상을 추출하고(잘라내고), 그 각 개안 화상을, 영역 특정 결과 정보로서 출력할 수 있다. 한편, 각 개안 화상은, 영역 정보와 세트로 하여 출력할 수 있다.
이하에서는, 설명을 간단하게 하기 위해, 예를 들면, 영역 특정부(52)는, 촬상 화상으로부터 추출한 각 개안 화상(개안 렌즈(310 내지 314) 각각에 대한 개안 화상)을, 영역 특정 결과 정보로서 출력하는 것으로 한다.
영역 특정부(52)가 출력하는 개안 렌즈(310 내지 314) 각각에 대한 개안 화상은, 화상 처리부(53)에 공급된다.
화상 처리부(53)는, 후술하는 스폿광상 검출부(62)의 검출 결과에 따라, 처리를 행하는 처리부의 일부이다. 화상 처리부(53)는, 영역 특정부(52)로부터의 개안 렌즈(310 내지 314) 각각에 대한 개안 화상, 즉, 개안 렌즈(310 내지 314) 각각의 위치를 시점으로 하는, 다른 시점의 개안 화상이나, 피딩량 검출부(64)로부터 공급되는 피딩부(23)의 피딩량을 사용하여, 예를 들면, 시차 정보의 생성이나, 임의의 피사체에 포커스를 맞춘 화상을 생성(재구성)하는 리포커스(refocusing) 등의 화상 처리를 행하고, 그 화상 처리의 결과로서 얻어지는 처리 결과 화상을, 표시부(54) 및 기억부(55)에 공급한다.
한편, 화상 처리부(53)에서는, 그 밖에, 결함 보정이나, 노이즈 저감 등의 일반적인 화상 처리를 행할 수 있다. 또한, 화상 처리부(53)에서는, 기억부(55)에 보존하는(기억시키는) 화상과, 표시부(54)에 이른바 스루 화상(through image)으로서 표시시키만 하는 화상의 어느 것도, 화상 처리의 대상으로 할 수 있다.
표시부(54)는, 예를 들면, 액정 패널이나 유기 EL(Electro Luminescence) 패널 등으로 구성되고, 카메라 본체(10)의 배면에 설치되어 있다. 표시부(54)는, 예를 들면, 화상 처리부(53)로부터 공급되는 처리 결과 화상 등을, 스루 화상으로서 표시한다. 스루 화상으로서는, 처리 결과 화상 외에, 이미지 센서(51)에 의해 촬상된 촬상 화상의 전부 또는 일부나, 촬상 화상으로부터 추출된 개안 화상을 표시할 수 있다. 그 밖에, 표시부(54)는, 예를 들면, 메뉴, 카메라 본체(10)의 설정 등의 정보를 표시할 수 있다.
기억부(55)는, 도시하지 않은 메모리 카드 등으로 구성되고, 예를 들면, 사용자의 조작 등에 따라, 화상 처리부(53)로부터 공급되는 처리 결과 화상을 기억한다.
통신부(56)는, 다안 교환 렌즈(20)의 통신부(42) 등과의 사이에서, 유선 또는 무선에 의한 통신을 행한다. 한편, 통신부(56)는, 그 밖에, 필요에 따라, 임의의 통신 방식에 의해, 인터넷 상의 서버나, 유선 또는 무선 LAN 상의 PC, 그 밖의 외부 디바이스와의 사이에서 통신을 행할 수 있다.
통신부(56)는, 예를 들면, 다안 교환 렌즈(20)가 카메라 본체(10)에 장착되었을 때에, 다안 교환 렌즈(20)의 통신부(42)와 통신함으로써, 그 통신부(42)로부터 송신되어 오는 다안 교환 렌즈(20)의 렌즈 정보를 수신하여, 위치 산출부(57) 및 스폿광상 검출부(62)에 공급한다.
또한, 통신부(56)는, 예를 들면, 제어부(61)로부터의 포커스(위치)를 지정하는 정보 등을 통신부(42)로 송신한다.
위치 산출부(57)는, 통신부(56)로부터의 렌즈 정보에 포함되는 개체차 반영 위치 정보에 따라, 이미지 센서(51)로부터 공급되는 촬상 화상에 포함되는 개안 렌즈(31i)에 대한 개안 화상 상의 광축 중심 위치인 장착 오차 반영 위치 정보를 구하여, 영역 특정부(52)에 공급한다.
한편, 도 2에 있어서, 위치 산출부(57)는, 이미지 센서(51)로부터 공급되는 촬상 화상에 포함되는 개안 화상 상의 광축 중심 위치인 장착 오차 반영 위치 정보를 구할 때에, 렌즈 정보에 포함되는 개체차 반영 위치 정보 외에, 개체차 스폿광 위치 정보를 사용한다.
제어부(61)는, 포커스를 조정하는 사용자의 조작 등에 따라, 포커스 등을 제어한다. 예를 들면, 제어부(61)는, 사용자의 조작에 따라, 포커스를 지정하는 정보를, 통신부(56)에 공급한다.
스폿광상 검출부(62)는, 광원(32L 및 32R)으로부터 조사되는 스폿광의 이미지 센서(51)로의 입사 범위를 검출하여, 검출 결과를 피딩량 검출부(64)에 공급한다.
즉, 스폿광상 검출부(62)는, 통신부(56)로부터의 렌즈 정보에 포함되는 개체차 스폿광 위치 정보에 따라, 이미지 센서(51)로부터의 촬상 화상 상의 스폿광상을 검출한다. 나아가, 스폿광상 검출부(62)는, 스폿광상의 (스폿) 사이즈나 위치(검출 광상 위치) 등의 스폿광상에 관한 스폿광상 정보를 검출(생성)하고, 스폿광상의 검출 결과로서 출력한다. 스폿광상 검출부(62)가 출력하는 스폿광상 정보는, 스폿광상 검출부(62)의 검출 결과에 따라 처리를 행하는 처리부의 다른 일부인 피딩량 검출부(64)에 공급된다. 스폿광상 정보로서는, 촬상 화상 상의 스폿광상의 사이즈나 위치를 직접적으로 나타내는 정보(예를 들면, 사이즈나 위치 그 자체) 외에, 촬상 화상 상의 스폿광상의 사이즈나 위치를 간접적으로 나타내는 정보(예를 들면, 촬상 화상 상의 스폿광상의 사이즈 및 위치를 유지한 상태에서, 스폿광상이 찍히는 화상 등)를 채용할 수 있다.
피딩량 정보 기억부(63)는 피딩량 정보를 기억한다. 피딩량 정보란, 피딩부(23)의 피딩량과, 그 피딩량만큼 피딩부(23)가 피딩되어 있을 때의 스폿광상에 관한 스폿광상 정보를 대응짓는 정보이다. 피딩량 정보는, 미리 생성하여, 피딩량 정보 기억부(63)에 기억시켜 둘 수 있다. 또한, 피딩량 정보는, 예를 들면, 다안 교환 렌즈(20)로 공장에서 출하하기 전 등에, 미리 생성하여, 렌즈 정보의 일부로서, 기억부(41)에 기억시켜 둘 수 있다. 피딩량 정보를, 렌즈 정보의 일부로서, 기억부(41)에 기억시켜 두는 경우에는, 통신부(56)가, 통신부(42)와 통신을 행함으로써, 기억부(41)에 기억된 렌즈 정보를 취득하고, 그 렌즈 정보에 포함되는 피딩량 정보를, 피딩량 정보 기억부(63)에 공급하여 기억시킨다.
피딩량 검출부(64)는, 피딩량 정보 기억부(63)에 기억된 피딩량 정보에 있어서, 스폿광상 검출부(62)로부터의 스폿광상 정보에 대응지어져 있는 피딩부(23)의 피딩량을 검출하여, 화상 처리부(53)에 공급한다.
<다안 교환 렌즈(20)를 사용하여 행해지는 촬상의 개요>
도 3은 다안 교환 렌즈(20)를 사용하여 행해지는 촬상 화상의 촬상 개요를 설명하는 도면이다.
다안 교환 렌즈(20)가 장착된 카메라 본체(10)의 이미지 센서(51)에서는, 각 개안 렌즈(31i)에서 광선이 집광됨으로써 형성되는 상에 대응하는 개안 화상과, 광원(32L 및 32R)이 조사하는 스폿광의 스폿광상을 포함하는 촬상 화상이 촬상된다.
여기서, 본 명세서에서는, 개안 렌즈(31i)의 개안 광축의 광축 방향 중, 카메라 본체(10)의 배면측으로부터 정면측을 향하는 방향을 z방향(축)으로 함과 함께, z방향을 향했을 때의 왼쪽으로부터 오른쪽으로의 방향을 x방향으로 하고, 아래로부터 위로의 방향을 y방향으로 한다.
나아가, 화상에 찍히는 피사체의 좌우와, 실제 공간의 피사체의 좌우를 일치시킴과 함께, 개안 렌즈(31i)의 위치의 좌우와, 그 개안 렌즈(31i)에 대한 개안 화상의 촬상 화상 상의 좌우를 일치시키기 위해, 이하에서는, 달리 특정되지 않는 한, z방향, 즉, 카메라 본체(10)의 이면측으로부터, 촬상을 행하는 피사체가 존재하는 촬상 방향을 향하고 있는 상태를 기준으로 하여, 촬상 화상 상의 위치나, 개안 렌즈(31i)의 위치, 피사체 등의 좌우를 기술한다.
한편, 하나의 개안 렌즈(31i)와 다른 하나의 개안 렌즈(31j)(i≠j)의 개안 광축끼리를 잇는 직선 또는 선분을, 기선(基線)이라고도 하고, 그 개안 광축끼리의 거리를, 기선 길이라고도 한다. 또한, 기선의 방향을 나타내는 각도를, 기선각이라고도 한다. 여기서는, 기선각으로서, 예를 들면, x축과 기선이 이루는 각도(에피폴라선(epipolar line)의 각도)를 채용하는 것으로 한다.
또한, 본 명세서(및 청구범위)에 있어서, 피딩부(23)의 피딩이란, 넓게, 피딩부(23)가 경통 광축의 광축 방향으로 이동하는 것을 의미한다. 따라서, 피딩부(23)의 피딩이란, 피딩부가, 전방측으로 이동하는 것, 및 안쪽으로 이동하는 것의 모두를 포함한다.
도 4는 다안 교환 렌즈(20)에 있어서의 개안 렌즈(310 내지 314) 및 광원(32L 및 32R)의 배치와, 그 다안 교환 렌즈(20)를 사용하여 촬상되는 촬상 화상의 예를 나타내는 도면이다.
도 4의 A는, 다안 교환 렌즈(20)에 있어서의 개안 렌즈(310 내지 314) 및 광원(32L 및 32R)의 배치의 예를 나타내는 배면도이다.
도 4의 A에서는, 개안 렌즈(310 내지 314)는, 도 1에서 설명한 바와 같이, 이미지 센서(51)의 수광면에 평행한 2차원 평면에서, 개안 렌즈(310)를 중심으로 하여, 다른 4개의 개안 렌즈(311 내지 314)가 정방형의 정점을 구성하도록 배치되어 있다.
즉, 개안 렌즈(310 내지 314) 중, 예를 들면, 개안 렌즈(310)를 기준으로 하면, 도 4에서는, 개안 렌즈(311)는 개안 렌즈(310)의 우측상부에 배치되고, 개안 렌즈(312)는 개안 렌즈(310)의 좌측상부에 배치되어 있다. 나아가, 개안 렌즈(313)는 개안 렌즈(310)의 좌측하부에 배치되고, 개안 렌즈(314)는 개안 렌즈(310)의 우측하부에 배치되어 있다.
또한, 도 4의 A에 있어서, 광원(32L)은, 평면이 대략 원형인 다안 교환 렌즈(20)의 좌단 위치에 배치되고, 광원(32R)은, 평면이 대략 원형인 다안 교환 렌즈(20)의 중심(중앙)에 대해, 광원(32L)의 반대측의 우단 위치에 배치되어 있다.
한편, 광원(32L 및 32R)은 다안 교환 렌즈(20)(의 피딩부(23))의 임의의 상이한 위치에 배치할 수 있다.
다만, 광원(32L 및 32R)은, 이미지 센서(51)에 의해 촬상되는 촬상 화상 상의, 광원(32L 및 32R) 각각이 조사하는 스폿광의 스폿광상(PL 및 PR)이, 촬상 화상에 포함되는 개안 화상의 영역 밖(개안 렌즈(31i)을 통과한 광이 조사되는 범위 밖)에 위치하도록 배치할 수 있다. 이 경우, 스폿광상(PL이나 PR)이 개안 화상에 중복하여 찍혀, 개안 화상의 화질이 저하되는 것을 억제할 수 있다.
도 4의 B는, 도 4의 A와 같이 개안 렌즈(310 내지 314) 및 광원(32L 및 32R)이 배치된 다안 교환 렌즈(20)가 장착된 카메라 본체(10)의 이미지 센서(51)에 의해 촬상되는 촬상 화상의 예를 나타내는 도면이다.
개안 렌즈(310 내지 314) 및 광원(32L 및 32R)을 갖는 다안 교환 렌즈(20)가 장착된 카메라 본체(10)의 이미지 센서(51)에 의해 촬상되는 촬상 화상에는, 개안 렌즈(310 내지 314) 각각에 의해 집광되는 광선에 의해 형성되는 상에 대응하는 개안 화상(E0, E1, E2, E3, E4)과, 광원(32L 및 32R) 각각의 스폿광의 스폿광상(PL 및 PR)이 포함된다.
영역 특정부(52)(도 2)는, 위치 산출부(57)에서 구해지는 각 개안 화상(E#i)의 장착 오차 반영 위치 정보인 광축 중심 위치에 기초하여, 각 개안 렌즈(31i)에 대해, 그 개안 렌즈(31i)를 통과한 광선이 조사되는 촬상 화상 상의 영역 중, 개안 화상(E#i)의 장착 오차 반영 위치 정보인 광축 중심 위치를 중심으로 하는 소정 사이즈의 직사각형 형상의 영역을, 개안 화상(E#i)의 영역으로서 특정한다.
이에 의해, 개안 렌즈(31i)에 대한 개안 화상(E#i)은, 개안 렌즈(31i)의 위치로부터, 독립된 카메라나 독립된 이미지 센서를 사용한 촬상을 행함으로써 얻어지는 촬상 화상, 즉, 개안 렌즈(31i)의 위치를 시점으로 하는 촬상에 의해 얻어지는 화상과 마찬가지의 화상이 된다.
그 때문에, 개안 렌즈(310 내지 314) 각각에 대한 개안 화상(E0 내지 E4) 중 임의의 2개의 개안 화상(E#i과 E#j)의 사이에는 시차(視差)가 생긴다. 즉, 개안 화상(E#i와 E#j)에 찍히는 동일한 피사체는, 시차에 따라 시프트된 위치에 찍힌다.
<다안 교환 렌즈(20)의 부착 오차>
도 5는 다안 교환 렌즈(20)를 카메라 본체(10)에 부착했을(장착했을) 때의 부착 오차를 설명하는 도면이다.
즉, 도 5는 다안 교환 렌즈(20)를 카메라 본체(10)에 부착한 카메라 시스템(1)에 의해 촬상되는 촬상 화상의 예를 나타내고 있다.
다안 교환 렌즈(20)를 카메라 본체(10)에 부착한 경우, 카메라 본체(10)의 이미지 센서(51)의 수광면에 대한 다안 교환 렌즈(20)의 부착 위치는, 주로, 횡방향(x방향), 종방향(y방향), 및 회전 방향 중, 특히, 회전 방향으로 시프트될 수 있다. 먼저, 다안 교환 렌즈(20)의 부착 위치는, 제조 오차에 따라 개체마다 상이한 양만큼 시프트된다. 나아가, 다안 교환 렌즈(20)의 부착 위치는, 다안 교환 렌즈(20)의 사용시에, 다안 교환 렌즈(20)를 카메라 본체(10)에 부착할 때나, 다안 교환 렌즈(20)를 카메라 본체(10)에 부착한 카메라 시스템(1)에 충격이 가해졌을 때 등에 변화한다.
이제, 예를 들면, 다안 교환 렌즈(20)의 설계상의 부착 위치 등의 소정의 위치에 대한 실제의 부착 위치의 오차를, 부착 오차라고 한다. 설계상의 부착 위치를 기준으로 하는 부착 오차는, 제조 편차 등에 의해 생기고, 다안 교환 렌즈(20)를 카메라 본체(10)에 부착할 때나, 다안 교환 렌즈(20)를 카메라 본체(10)에 부착한 카메라 시스템(1)에 충격이 가해졌을 때 등에 변화한다.
부착 오차는, 다안 교환 렌즈(20)의 실제 부착 위치의 오차이며, 제조 오차 및 장착 오차를 적절히 포함한다. 예를 들면, 다안 교환 렌즈(20)의 설계상의 부착 위치를 기준으로 하는 경우, 부착 오차는, 제조 오차 및 장착 오차의 양쪽 모두를 포함한다. 또한, 예를 들면, 다안 교환 렌즈(20)의 설계상의 부착 위치로부터 제조 오차만큼 시프트된 위치를 기준으로 하는 경우, 부착 오차는, 제조 오차를 포함하지 않고, 장착 오차를 포함한다.
도 4에서 설명한 바와 같이, 개안 화상(E#i)은, 개안 렌즈(31i)의 위치를 시점으로 하는 촬상에 의해 얻어지는 화상과 마찬가지의 화상이며, 이에 따라, 개안 화상(E0 내지 E4)은, 시점이 상이한 화상이다.
시점이 상이한 화상인 개안 화상(E0 내지 E4)을 사용하여, 예를 들면, 시차 정보를 구하는 경우, 개안 렌즈(310 내지 314)에 대해, 도 3에서 설명한 기선 길이와 기선각이 필요한다.
개안 렌즈(310 내지 314)는, 다안 교환 렌즈(20)에 고정되어 있으므로, 기선 길이은, 장착 오차에 따라 변화하지 않는 고정된 값이며, 다안 교환 렌즈(20)의 제조후에 미리 계측해 둘 수 있다.
한편, 기선각은, 다안 교환 렌즈(20)의 회전 방향의 부착 오차(장착 오차)에 의해 변화한다. 따라서, 개안 화상(E0 내지 E4)을 사용하여, 정확한 시차 정보를 구하기 위해서는, 회전 방향의 부착 오차에 대처할 필요가 있다.
여기서, 횡방향 및 종방향의 부착 오차는, 개안 렌즈(31i)의 렌즈 수차에 기인하는 화상 왜곡이 작은 경우에는, 문제가 되지 않고, 무시할 수 있을 때도 있다. 다만, 렌즈 수차에 기인하는 화상 왜곡이 크고, 그 화상 왜곡의 왜곡 보정을 행할 필요가 있는 경우에는, 적절한 왜곡 보정을 행하기 위해, 개안 화상(E#i)의 광축 중심 위치를 정확하게 파악할 필요가 있다. 개안 화상(E#i)의 광축 중심 위치를 정확하게 파악하기 위해서는, 횡방향 및 종방향의 부착 오차(장착 오차)를 파악할 필요가 있다.
이제, 도 5에 나타내는 바와 같이, 어떤 xy 좌표계(2차원 좌표계)에 있어서, 개안 화상(E0 내지 E4)의 광축 중심 위치(의 좌표)를, (x0, y0), (x1, y1), (x2, y2), (x3, y3), (x4, y4)로 표현하는 것으로 한다.
또한, 개안 렌즈(310 내지 314) 중, 중앙(중심)에 위치하는 개안 렌즈(310)에 대한 개안 화상(E0)을, 중앙 화상(E0)이라고 하고, 주변에 위치하는 개안 렌즈(311 내지 314)에 대한 개안 화상(E1 내지 E4)을, 주변 화상(E1 내지 E4)이라고도 하는 것으로 한다.
개안 화상(E0 내지 E4) 중 하나의 개안 화상, 즉, 예를 들면, 중앙 화상(E0)을 기준으로 하는, 주변 화상(E1 내지 E4) 각각의 상대적인 광축 중심 위치(이하, 상대 광축 중심 위치라고도 함) (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)는, 식(1)에 따라 구할 수 있다.
Figure pct00001
상대 광축 중심 위치 (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)는, 중앙 화상(E0)의 광축 중심 위치(x0, y0)를 xy 좌표계의 원점으로 한 경우의 주변 화상(E1 내지 E4)의 광축 중심 위치 (x1, y1), (x2, y2), (x3, y3), (x4, y4)와 같다.
상대 광축 중심 위치(dx#i, dy#i)(여기서는, i=1, 2, 3, 4)는, 중앙 화상(E0)의 광축 중심 위치(x0, y0)와, 주변 화상(E#i)의 광축 중심 위치(x#i, y#i)를 잇는 기선의 방향의 벡터라고 간주할 수 있고, 상대 광축 중심 위치(dx#i, dy#i)에 의하면, 중앙 화상(E0)의 광축 중심 위치(x0, y0)와 주변 화상(E#i)의 광축 중심 위치(x#i, y#i)를 잇는 기선(L0#i)의 방향을 나타내는 기선각(tan-1((y#i-y0)/(x#i-x0))=tan-1(dy#i/dx#i))을 구할 수 있다.
따라서, 상대 광축 중심 위치(dx#i, dy#i)를 구할 수 있으면, 그 때의 기선(L0#i)의 방향을 나타내는 기선각을 구할 수 있고, 그 기선각을 사용하여, 회전 방향의 부착 오차에 의해 영향을 받지 않는 정확한 시차 정보를 구할 수 있다.
본 기술에서는, 이미지 센서(51)에 의해 촬상된 기지의 거리에 있는 소정의 피사체가 찍히는 기지의 촬상 화상 상의 개안 화상(E0 내지 E4) 각각의 광축 중심 위치 (x0, y0) 내지 (x4, y4), 즉, 중앙 화상(E0)의 광축 중심 위치(x0, y0)를 원점으로 하는 경우에는, 개안 화상(E1 내지 E4) 각각의 상대 광축 중심 위치 (dx1, dy1) 내지 (dx4, dy4)를, 개체차 반영 위치 정보로서 구해 둔다. 나아가, 본 기술에서는, 개체차 반영 위치 정보((x0, y0) 내지 (x4, y4) 또는 (dx1, dy1) 내지 (dx4, dy4))와 촬상 화상을 사용하여, 그 촬상 화상의 촬상시의 촬상 화상 상의 개안 화상(E0 내지 E4) 각각의 광축 중심 위치 (x0', y0') 내지 (x4', y4'), 즉, 중앙 화상(E0)의 광축 중심 위치(x0', y0')를 원점으로 하는 경우에는, 개안 화상(E1 내지 E4) 각각의 상대 광축 중심 위치 (dx1', dy1') 내지 (dx4', dy4')를, 장착 오차 반영 위치 정보로서 구한다.
장착 오차 반영 위치 정보로서의 촬상 화상 상의 개안 화상(E1 내지 E4) 각각의 상대 광축 중심 위치 (dx1', dy1') 내지 (dx4', dy4')가 얻어지면, 촬상 화상의 촬상시의 기선각을 구하고, 그 기선각을 사용하여, 회전 방향의 부착 오차에 의해 영향을 받지 않는 정확한 시차 정보를 구할 수 있다.
도 2의 위치 산출부(57)는, 개체차 반영 위치 정보로서의 상대 광축 중심 위치 (dx1, dy1) 내지 (dx4, dy4)를 사용하여, 장착 오차 반영 위치 정보로서의 촬상 화상 상의 개안 화상(E1 내지 E4) 각각의 상대 광축 중심 위치 (dx1', dy1') 내지 (dx4', dy4')를 구한다.
<장착 오차 반영 위치 정보로서의 촬상 화상 상의 개안 화상(E#i)의 상대 광축 중심 위치(dx#i', dy#i')를 구하는 산출 방법>
도 6은 장착 오차 반영 위치 정보로서의 상대 광축 중심 위치 (dx1', dy1') 내지 (dx4', dy4')를 구하는 산출 방법을 설명하는 도면이다.
여기서, 이하에서는, 설명을 간단하게 하기 위해, 중앙 화상(E0)의 광축 중심 위치(x0, y0)를 원점으로 하는 xy 좌표계를 채용하는 것으로 한다. 이 경우, 상술한 바와 같이, 상대 광축 중심 위치 (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)와, 광축 중심 위치 (x1, y1), (x2, y2), (x3, y3), (x4, y4)는 같다.
도 6의 A는, 다안 교환 렌즈(20)가 카메라 본체(10)에 부착된 카메라 시스템(1)에 있어서, 소정의 피사체를 촬상한 기지의 촬상 화상의 예를 나타내고 있다.
기지의 촬상 화상에 찍히는 피사체는, 예를 들면, 원의 중심을 지나는 선분에 의해 4등분된 원 등의 소정의 차트가 그려진 차트 화상이다. 기지의 촬상 화상은, 예를 들면, 중앙 화상(E0) 상의 소정의 점, 즉, 예를 들면, 중앙 화상(E0)의 광축 중심 위치(x0, y0)=(0, 0)에, 차트 화상의 차트로서의 원의 중심이 찍히도록, 차트 화상을, 개안 렌즈(310)의 개안 광축 상의 기지의 거리의 위치에 배치하여 촬상된다. 따라서, 기지의 촬상 화상은, 소정의 차트가 그려진 차트 화상을, 기지의 거리에서 촬상한 화상이다.
기지의 촬상 화상은, 이상과 같이 촬상되기 때문에, 기지의 촬상 화상 상의 중앙 화상(E0)에는, 차트로서의 원의 중심이 광축 중심 위치(x0, y0)=(0, 0)에 위치하는 차트 화상이 찍힌다. 또한, 주변 화상(E#i)에는, 중앙 화상(E0)과 마찬가지로, 차트 화상이 찍힌다. 다만, 주변 화상(E#i)에서는, 차트로서의 원의 위치는, 중앙 화상(E0)과의 사이의 시차에 따라, 중앙 화상(E0)에 찍히는 차트로서의 원의 위치로부터 시프트된다.
따라서, 기지의 촬상 화상 상의 중앙 화상(E0)에 있어서는, 차트로서의 원의 중심이, 광축 중심 위치(x0, y0)=(0, 0)에 위치하지만, 주변 화상(E#i)에서는, 차트로서의 원의 중심이, 광축 중심 위치(x#i, y#i)로부터, 중앙 화상(E0)과의 사이의 시차에 따라 시프트된다.
차트 화상은 기지의 거리에 놓여져 있으므로, 주변 화상(E#i)과 중앙 화상(E0) 간의 시차는, 그 기지의 거리와, 기지의 촬상 화상을 촬상했을 때의 개안 렌즈(31i)와 개안 렌즈(310)의 사이의 기선 길이 및 기선각으로부터 구할 수 있다.
여기서, 기지의 촬상 화상의 촬상은, 예를 들면, 다안 교환 렌즈(20)를 공장에서 출하하기 전 등에 행할 수 있다. 따라서, 기지의 촬상 화상의 촬상시의 기선각은, 기지의 촬상 화상의 촬상시에 측정할 수 있다. 또는, 기지의 촬상 화상의 촬상시에, 기선각이 설계값 등의 소정 값이 되도록, 경통(21)에의 개안 렌즈(31i)의 부착(고정)을 조정할 수 있다.
주변 화상(E#i)의 광축 중심 위치(x#i, y#i)는, 그 주변 화상(E#i)에 찍히는 차트로서의 원의 중심으로부터, 중앙 화상(E0)과의 사이의 시차에 따라 이동한 위치가 되므로, 주변 화상(E#i)에 찍히는 차트로서의 원의 중심 위치와, 중앙 화상(E0)과의 사이의 시차로부터 구할 수 있다.
또한, 기지의 촬상 화상 상의 중앙 화상(E0)의 광축 중심 위치(x0, y0)(=(0, 0))에는, 차트 화상의 차트로서의 원의 중심이 찍히고 있으므로, 중앙 화상(E0)의 광축 중심 위치(x0, y0)는, 중앙 화상(E0)으로부터, 차트로서의 원의 중심 위치를 검출함으로써 구할 수 있다.
이상과 같이, 기지의 촬상 화상으로부터, 그 기지의 촬상 화상 상의 중앙 화상(E0)의 광축 중심 위치(x0, y0), 및, 주변 화상(E1 내지 E4)의 광축 중심 위치 (x1, y1) 내지 (x4, y4)를 구할 수 있다.
기지의 촬상 화상 상의 중앙 화상(E0)의 광축 중심 위치(x0, y0)인 개체차 반영 위치 정보, 및, 주변 화상(E#i)의 광축 중심 위치(x#i, y#i)인 개체차 반영 위치 정보에 의하면, 중앙 화상(E0)의 개체차 반영 위치 정보(x0, y0)를 기준으로 하는, 주변 화상(E#i)의 상대적인 개체차 반영 위치 정보인 개체차 반영 상대 위치 정보로서의 상대 광축 중심 위치(dx#i, dy#i)를 구할 수 있고, 그 개체차 반영 상대 위치 정보로서의 상대 광축 중심 위치(dx#i, dy#i)가, 렌즈 정보로서, 도 2의 기억부(41)에 기억된다. 여기서, 개체차 반영 상대 위치 정보(dx#i, dy#i)에 대조적으로, 개체차 반영 위치 정보(x#i, y#i)를, 개체차 반영 절대 위치 정보라고도 말한다.
한편, 렌즈 정보로서는, 개체차 반영 상대 위치 정보(상대 광축 중심 위치)(dx#i, dy#i)(i=1, 2, 3, 4)를 채용하는 것 외에, 개체차 반영 절대 위치 정보(광축 중심 위치)(x#i, y#i)(i=0, 1, 2, 3, 4)를 채용할 수 있다. 개체차 반영 상대 위치 정보(dx#i, dy#i)는, 개체차 반영 절대 위치 정보(x#i, y#i)로부터 식(1)에 따라 구할 수 있고, 개체차 반영 절대 위치 정보(x#i, y#i)와 (거의) 등가의 정보이기 때문이다.
장착 오차 반영 위치 정보로서의 상대 광축 중심 위치(dx1', dy1') 내지 (dx4', dy4')를 구할 시에는, 개체차 반영 상대 위치 정보(dx#i, dy#i)(또는 개체차 반영 절대 위치 정보(x#i, y#i)) 외에, 기지의 촬상 화상 상의 광원(32L 및 32R) 각각의 스폿광의 스폿광상(PL 및 PR)의 위치인 개체차 스폿광 위치 정보(XL, YL) 및 (XR, YR)이 미리 구해진다.
예를 들면, 기지의 촬상 화상 상의 스폿광상(PL)의 무게중심의 위치를, 그 스폿광상(PL)의 개체차 스폿광 위치 정보(XL, YL)로서 채용할 수 있다. 마찬가지로, 기지의 촬상 화상 상의 스폿광상(PR)의 무게중심의 위치를, 그 스폿광상(PR)의 개체차 스폿광 위치 정보(XR, YR)로서 채용할 수 있다.
개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)에 대해서는, 그 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)의 중점(XC, YC)이 구해지고, 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR) 및 중점(XC, YC)이, 렌즈 정보로서, 도 2의 기억부(41)에 기억된다.
한편, 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)의 중점(XC, YC)은, 렌즈 정보로부터 제외될 수 있다. 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)의 중점(XC, YC)은, 그 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)로부터 구할 수 있기 때문이다.
위치 산출부(57)에서는, 개체차 반영 상대 위치 정보(이하, 단순히, 개체차 반영 위치 정보라고도 함)로서의 상대 광축 중심 위치(이하, 단순히, 광축 중심 위치라고도 함)(dx#i, dy#i) 및 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)에 따라, 미지의 촬상 화상 상의 장착 오차 반영 위치 정보로서의 (상대) 광축 중심 위치 (dx1', dy1') 내지 (dx4', dy4')가 구해진다.
도 6의 B는, 다안 교환 렌즈(20)가 카메라 본체(10)에 부착된 카메라 시스템(1)에 있어서 촬상되는 미지의 촬상 화상의 예를 나타내고 있다.
미지의 촬상 화상은, 다안 교환 렌즈(20)가 카메라 본체(10)에 부착된 카메라 시스템(1)에 있어서, 기지의 촬상 화상을 촬상할 때와 같은 제약(피사체의 거리가 이미 알고 있다는 등의 제약) 없이 촬상되는 화상이다.
미지의 촬상 화상의 촬상시에는, 기지의 촬상 화상의 촬상시와는 다른 회전 방향의 부착 오차(장착 오차)가 생길 수 있다.
미지의 촬상 화상 상의 중앙 화상(E0)의 광축 중심 위치(x0', y0')를 원점(0, 0)으로 하는 xy 좌표계에 있어서, 미지의 촬상 화상 상의 주변 화상(E#i)의 광축 중심 위치(x#i', y#i')(i=1, 2, 3, 4)는, 중앙 화상(E0)의 광축 중심 위치(x0', y0')를 기준으로 하는 주변 화상(E#i)의 상대적인 광축 중심 위치 (dx#i', dy#i')=(x#i', y#i')-(x0', y0')와 같다.
여기서, 미지의 촬상 화상 상의 광원(32L 및 32R) 각각의 스폿광의 스폿광상(PL 및 PR)의 위치에 관한 위치 정보를, 장착 오차 스폿광 위치 정보(미지의 광 위치)라고도 한다. 장착 오차 스폿광 위치 정보는, 장착 오차 반영 위치 정보와 마찬가지로, 다안 교환 렌즈(20)의 제조 오차 및 장착 오차를 포함하는 위치 정보이다. 장착 오차 스폿광 위치 정보로서는, 미지의 촬상 화상 상의 광원(32L 및 32R) 각각의 스폿광의 스폿광상(PL 및 PR)의 위치 그 자체를 채용할 수 있다. 한편, 미지의 촬상 화상 상의 광원(32L 및 32R) 각각의 스폿광의 스폿광상(PL 및 PR)의 위치를, 각각, (XL', YL') 및 (XR', YR')로 표현하는 것으로 한다.
장착 오차 스폿광 위치 정보 (XL', YL') 및 (XR', YR')는, 미지의 촬상 화상 상의 스폿광상(PL 및 PR)으로부터, 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)과 마찬가지로 구할 수 있다.
또한, 장착 오차 스폿광 위치 정보 (XL', YL') 및 (XR', YR')의 중점을, (XC', YC')로 표현하는 것으로 한다.
이제, 기지의 촬상 화상의 촬상시의 회전 방향의 부착 오차를 기준으로 하는 미지의 촬상 화상의 촬상시의 회전 방향의 부착 오차인 상대적인 회전 오차를 θError로 표현하는 것으로 하면, 상대적인 회전 오차(θError)는, 렌즈 정보에 포함되는 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR), 및, 미지의 촬상 화상으로부터 얻어지는 장착 오차 스폿광 위치 정보 (XL', YL') 및 (XR', YR')를 사용하여, 식(2)에 따라 구할 수 있다.
Figure pct00002
(단, XR > XL, XR' > XL') … (2)
식(2)에 의하면, 상대적인 회전 오차(θError)는, 개체차 스폿광 위치 정보 (XL, YL)와 (XR, YR)을 잇는 직선의 방향을 나타내는 각도를 기준으로 하는, 장착 오차 스폿광 위치 정보 (XL', YL')와 (XR', YR')를 잇는 직선의 방향을 나타내는 각도이며, 개체차 스폿광 위치 정보 (XL, YL)와 (XR, YR)이 떨어져 있을수록(장착 오차 스폿광 위치 정보 (XL', YL')와 (XR', YR')가 떨어져 있을수록), 정밀도가 좋아진다. 따라서, 광원(32L과 32R)을 가능한 한 떨어져 배치함으로써, 상대적인 회전 오차(θError)를 정밀하게 구할 수 있다.
한편, 다안 교환 렌즈(20)에 3개 이상의 광원이 설치되어 있는 경우에는, 그 3개 이상의 광원으로부터 얻어지는 2개의 광원의 쌍 각각에 대해, 식(2)에 따라 회전 오차(θError)를 구하고, 각 쌍에 대해 구해진 회전 오차(θError)의 평균값 등을, 최종적인 회전 오차(θError)로서 채용할 수 있다.
상대적인 회전 오차(θError)는, 장착 오차 스폿광 위치 정보(XL', YL')(또는 (XR', YR'))와 개체차 스폿광 위치 정보(XL, YL)(또는 (XR, YR))와의 사이의 회전각이며, 개체차 반영 상대 위치 정보로서의 광축 중심 위치(dx#i, dy#i)를, 식(3)에 따라, 상대적인 회전 오차(θError)에 따라 회전시킴으로써, 그 상대적인 회전 오차(θError)가 생긴 미지의 촬상 화상 상의 장착 오차 반영 위치 정보로서의 상대 광축 중심 위치(dx#i', dy#i')를 구할 수 있다.
Figure pct00003
장착 오차 반영 위치 정보로서의 미지의 촬상 화상 상의 개안 화상(E1 내지 E4) 각각의 광축 중심 위치 (dx1', dy1') 내지 (dx4', dy4')를, 식(2) 및 식(3)에 따라 구하는 경우에는, 미지의 촬상 화상 상의 광원(32L 및 32R) 각각의 스폿광상(PL 및 PR)의 장착 오차 스폿광 위치 정보 (XL', YL') 및 (XR', YR')와, 기지의 촬상 화상 상의 광원(32L 및 32R) 각각의 스폿광상(PL 및 PR)의 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)과의 사이의 평행 이동량을 구함으로써, 횡방향 및 종방향의 부착 오차를 구할 수 있다.
즉, 횡방향의 부착 오차(XError) 및 종방향의 부착 오차(YError)는, 예를 들면, 식(4)에 따라 구할 수 있다.
Figure pct00004
한편, 식(4)에서는, 미지의 촬상 화상 상의 광원(32L 및 32R) 각각의 스폿광상(PL 및 PR)의 장착 오차 스폿광 위치 정보 (XL', YL') 및 (XR', YR')의 중점(XC', YC')과, 기지의 촬상 화상 상의 광원(32L 및 32R) 각각의 스폿광상(PL 및 PR)의 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)의 중점(XC, YC)과의 사이의 평행 이동량이, 횡방향의 부착 오차(XError) 및 종방향의 부착 오차(YError)로서 구해지지만, 횡방향의 부착 오차(XError) 및 종방향의 부착 오차(YError)로서는, 그 밖에, 예를 들면, 장착 오차 스폿광 위치 정보(XL', YL')와 개체차 스폿광 위치 정보(XL, YL)와의 사이의 평행 이동량이나, 장착 오차 스폿광 위치 정보(XR', YR')와 개체차 스폿광 위치 정보(XR, YR)와의 사이의 평행 이동량을 구할 수 있다.
카메라 시스템(1)에 있어서, 장착 오차 반영 위치 정보로서의 미지의 촬상 화상 상의 개안 화상(E1 내지 E4) 각각의 광축 중심 위치 (dx1', dy1') 내지 (dx4', dy4')를 구할 시에는, 먼저, 그 광축 중심 위치(dx#i', dy#i')를 구하는 경우에 필요한 개체차 반영 상대 위치 정보로서의 광축 중심 위치(dx#i, dy#i) 등을 취득하는 개체차 반영 위치 정보 등 취득 처리가 행해진다.
개체차 반영 위치 정보 등 취득 처리는, 카메라 본체(10)나 후술하는 컴퓨터 등에 의해 행할 수 있다. 개체차 반영 위치 정보 등 취득 처리를 행하는 장치를, 편의상, 취득 처리 장치라고 부르는 것으로 한다.
취득 처리 장치는, 개안 렌즈(310)의 개안 광축 상의 기지의 거리의 위치에 놓여진 소정의 피사체로서의 차트 화상을, 다안 교환 렌즈(20)를 카메라 본체(10)에 부착한 카메라 시스템(1)에 의해 촬상한 기지의 촬상 화상을 취득한다.
취득 처리 장치는, 기지의 촬상 화상에 포함되는 각 개안 화상(E#i)에 찍히는 소정의 피사체로서의 차트 화상의 소정의 점, 예를 들면, 차트로서의 원의 중심 위치를 구한다.
취득 처리 장치는, 피사체로서의 차트 화상까지의 거리, 및, 다안 교환 렌즈(20)의 기선 길이 및 기선각을 사용하여, 개안 화상(주변 화상)(E1 내지 E4) 각각에 대해, 개안 화상(E#i)에 찍히는 피사체로서의 차트 화상의 소정의 점으로서의 원의 중심, 개안 화상(중앙 화상)(E0)에 찍히는 피사체로서의 차트 화상의 소정의 점으로서의 원의 중심과의 사이의 시차를 구한다.
나아가, 취득 처리 장치는, 개안 화상(E1 내지 E4) 각각에 대해, 개안 화상(E#i)에 찍히는 피사체로서의 차트 화상의 소정의 점으로서의 원의 중심의 시차에 따라, 그 원의 중심의 위치로부터 이동한 위치에 있는 개안 화상(E#i)의 광축 중심 위치(기지의 촬상 화상 상의 위치)(x#i, y#i)를, 그 개안 화상(E#i)의 개체차 반영 절대 위치 정보(x#i, y#i)로서 구한다. 또한, 취득 처리 장치는, 개안 화상(E0)에 찍히는 피사체로서의 차트 화상의 원 중심 위치인 광축 중심 위치(x0, y0)를, 개안 화상(E0)의 개체차 반영 절대 위치 정보(x0, y0)로서 구한다.
그리고, 취득 처리 장치는, 개체차 반영 절대 위치 정보(x#i, y#i)를 사용하여, 개안 화상(E1 내지 E4) 각각에 대해, 식(1)에 따라, 개안 화상(E0)의 개체차 반영 절대 위치 정보(x0, y0)를 기준으로 하는 개안 화상(E#i)의 개체차 반영 상대 위치 정보(dx#i, dy#i)를 구한다.
나아가, 취득 처리 장치는, 기지의 촬상 화상 상의 광원(32L 및 32R)의 스폿광의 스폿광상(PL 및 PR) 각각의 무게중심의 위치를, 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)로서 구한다.
이상의 개체차 반영 위치 정보 등 취득 처리에서 구해진 개체차 반영 상대 위치 정보(dx#i, dy#i), 및, 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)는, 렌즈 정보의 일부로서, 도 2의 기억부(41)에 기억된다.
다안 교환 렌즈(20)가 카메라 본체에 장착된 카메라 시스템(1)의 사용시에는, 카메라 본체(10)에 있어서, 개체차 반영 상대 위치 정보(dx#i, dy#i), 및, 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)을 사용하여, 장착 오차 반영 위치 정보로서의 미지의 촬상 화상 상의 개안 화상(E1 내지 E4) 각각의 상대 광축 중심 위치 (dx1', dy1') 내지 (dx4', dy4') 등을 구하는 장착 오차 반영 위치 정보 산출 처리가 행해진다.
즉, 카메라 본체(10)(도 2)에서는, 다안 교환 렌즈(20)가 장착되면, 통신부(56)가, 다안 교환 렌즈(20)의 통신부(42)와의 사이에서 통신을 행하고, 통신부(42)로부터 송신되어 오는 다안 교환 렌즈(20)의 렌즈 정보를 수신하여, 위치 산출부(57)에 공급한다. 위치 산출부(57)는, 이상과 같이 하여 통신부(56)로부터 공급되는 렌즈 정보를 취득한다.
위치 산출부(57)는, 임의의 피사체가 찍히는 촬상 화상인 미지의 촬상 화상이 촬상되는 것을 기다려, 그 미지의 촬상 화상을 취득한다. 즉, 위치 산출부(57)는, 다안 교환 렌즈(20)가 카메라 본체(10)에 부착된 카메라 시스템(1)에 있어서, 이미지 센서(51)가 촬상한 촬상 화상을, 미지의 촬상 화상으로서 취득한다.
위치 산출부(57)는, 미지의 촬상 화상에 포함되는 광원(32L 및 32R)의 스폿광의 스폿광상(PL 및 PR)을 검출하고, 나아가, 스폿광상(PL 및 PR) 각각의 위치(검출 광상 위치), 예를 들면, 무게중심의 위치를, 장착 오차 스폿광 위치 정보 (XL', YL') 및 (XR', YR')로서 검출한다. 위치 산출부(57)는, 스폿광상(PL 및 PR)의 검출 결과에 따라, 처리를 행하는 처리부의 일부이며, 스폿광상(PL 및 PR)의 검출 결과로서의 장착 오차 스폿광 위치 정보 (XL', YL') 및 (XR', YR')에 따라, 미지의 촬상 화상에 있어서의 개안 화상의 위치인 촬상 개안 화상 위치를 특정한다.
즉, 위치 산출부(57)는, 장착 오차 스폿광 위치 정보(XL', YL')(또는 (XR', YR'))(검출 광상 위치)와, 렌즈 정보에 포함되는 개체차 스폿광 위치 정보(XL, YL)(또는 (XR, YR))(이미지 센서(51)에 조사되는 광원(32L 및 32R)의 스폿광의 스폿광상(PL 및 PR)의 위치를 나타내는 기억 광상 위치)와의 (위치)관계에 기초하여 촬상 개안 화상 위치를 특정(산출)한다.
예를 들면, 위치 산출부(57)는, 장착 오차 스폿광 위치 정보(XL', YL')(또는 (XR', YR'))(검출 광상 위치)와, 렌즈 정보에 포함되는 개체차 스폿광 위치 정보(XL, YL)(또는 (XR, YR))(기억 광상 위치)와의 (위치)관계에 기초하여, 렌즈 정보에 포함되는 개체차 반영 상대 위치 정보로서의 상대 광축 중심 위치(dx#i, dy#i) (이미지 센서(51)에 있어서의 복수의 개안 렌즈(31i)로부터 출사되는 각 촬상 광의 출사 위치를 나타내는 기억 개안 화상 위치)를 보정함으로써, 촬상 개안 화상 위치, 즉, 미지의 촬상 화상에 포함되는 개안 화상(E1 내지 E4) 각각의 장착 오차 반영 위치 정보로서의 (상대) 광축 중심 위치(dx#i', dy#i')를 특정한다.
구체적으로는, 먼저, 위치 산출부(57)는, 장착 오차 스폿광 위치 정보(XL', YL')(또는 (XR', YR'))와, 렌즈 정보에 포함되는 개체차 스폿광 위치 정보(XL, YL)(또는 (XR, YR))와의 사이의 회전각을, (상대적인) 회전 오차(θError)로서 구한다.
예를 들면, 위치 산출부(57)는, 식(2)에 따라, 렌즈 정보에 포함되는 개체차 스폿광 위치 정보 (XL, YL)와 (XR, YR)을 잇는 선분의 방향을 기준으로 하는, 장착 오차 스폿광 위치 정보 (XL', YL')와 (XR', YR')를 잇는 선분의 방향을 나타내는 상대적인 각도를, 회전 오차(θError)로서 구한다.
위치 산출부(57)는, 식(3)에 따라, 식(2)에 따라서 구해진 회전 오차(θError)에 따라, 렌즈 정보에 포함되는 개체차 반영 상대 위치 정보로서의 상대 광축 중심 위치(dx#i, dy#i)를 회전시킴으로써, 회전 오차(θError)가 생기는 미지의 촬상 화상에 포함되는 개안 화상(E1 내지 E4) 각각의 장착 오차 반영 위치 정보로서의 (상대) 광축 중심 위치(dx#i', dy#i')를 구한다.
나아가, 위치 산출부(57)는, 필요에 따라, 렌즈 정보에 포함되는 개체차 스폿광 위치 정보 (XL, YL) 또는 (XR, YR)과, 미지의 촬상 화상 상의 광원(32L 및 32R)의 스폿광상(PL 및 PR)의 장착 오차 스폿광 위치 정보 (XL', YL') 또는 (XR', YR')와의 사이의 평행 이동량을, 횡방향의 부착 오차(XError) 및 종방향의 부착 오차(YError)로서 구한다.
즉, 위치 산출부(57)는, 예를 들면, 식(4)에 따라, 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)의 중점(XC, YC)에 대한, 장착 오차 스폿광 위치 정보 (XL', YL') 및 (XR', YR')의 중점(XC', YC')의 평행 이동량을, 횡방향의 부착 오차(XError) 및 종방향의 부착 오차(YError)로서 구한다.
카메라 본체(도 2)에 있어서, 영역 특정부(52)는, 이상과 같은 장착 오차 반영 위치 정보 산출 처리에서 구해진 장착 오차 반영 위치 정보로서의 미지의 촬상 화상 상의 개안 화상(E1 내지 E4) 각각의 상대 광축 중심 위치 (dx1', dy1') 내지 (dx4', dy4') 등을 사용하여, 미지의 촬상 화상 상의 각 개안 화상(E#i)의 영역을 특정하는 영역 특정 처리를 행할 수 있다.
영역 특정 처리에서는, 영역 특정부(52)는, 위치 산출부(57)로부터 공급되는, 미지의 촬상 화상에 포함되는 개안 화상(E1 내지 E4)의 장착 오차 반영 위치 정보로서의 상대 광축 중심 위치(dx#i', dy#i')를 취득한다.
그리고, 영역 특정부(52)는, 장착 오차 반영 위치 정보로서의 광축 중심 위치(dx#i', dy#i')에 따라, 미지의 촬상 화상 상의 개안 화상(E1 내지 E4)의 영역을 특정한다. 즉, 영역 특정부(52)는, 예를 들면, 개체차 반영 상대 위치 정보(dx#i, dy#i)를 구할 때의 xy 좌표계에 있어서, 미지의 촬상 화상 상의 장착 오차 반영 위치 정보(dx#i', dy#i')를 중심으로 하는 소정의 사이즈의 직사각형 형상의 영역을, 개안 화상(E#i)(i=1, 2, 3, 4)의 영역으로서 특정한다. 나아가, 영역 특정부(52)는, 미지의 촬상 화상 상의 원점을 중심으로 하는 소정의 사이즈의 직사각형 형상의 영역을, 개안 화상(E0)의 영역으로서 특정한다.
그 후, 영역 특정부(52)는, 촬상 화상으로부터, 개안 화상(E0 내지 E4) 각각을 추출하여, 영역 특정 결과 정보로서 출력한다.
이상과 같이, 경통 광축의 광축 방향으로 (보아) 겹치지 않도록 배치된 개안 렌즈(310 내지 314)와 함께, 광원(32L 및 32R)이 설치된 피딩부(23)를 갖는 다안 교환 렌즈(20)가 장착된 카메라 시스템(1)에 있어서, 미지의 촬상 화상 상의 개안 화상(E#i)에 대해, 개안 화상(E#i) 상의 장착 오차 반영 위치 정보로서의 광축 중심 위치(dx#i', dy#i')가 구해진다.
따라서, 피딩부(23)의 피딩 상태에 관계없이, 미지의 촬영 화상으로부터, 복수의 시점의 화상, 즉, 개안 렌즈(31i)의 위치를 시점으로 하는 개안 화상(E#i)을 용이하게 얻을 수 있다.
나아가, 장착 오차 반영 위치 정보로서의 광축 중심 위치(dx#i', dy#i')로부터, 기선(L0#i)(도 5)의 방향을 나타내는 기선각(tan-1(dy#i/dx#i))을 구할 수 있고, 그 기선각을 사용하여, 다안 교환 렌즈(20)의 회전 방향의 부착 오차에 의해 영향을 받지 않는 정확한 시차 정보를 구할 수 있다.
여기서, 예를 들면, 기지의 촬상 화상 상의 개안 화상(E0)의 광축 중심 위치(x0, y0)를 원점으로 하는 xy 좌표계를 채용하는 것으로 하고, 횡방향의 부착 오차(XError) 및 종방향의 부착 오차(YError)가 0인 것으로 한다. 이 경우, 미지의 촬상 화상에 있어서, 개안 화상(E0)의 장착 오차 반영 위치 정보(x0', y0')인 광축 중심 위치는, 원점이 되고, 개안 화상(E0)의 영역은, 원점을 중심으로 하는 영역이 된다.
한편, 횡방향의 부착 오차(XError) 또는 종방향의 부착 오차(YError)가 0이 아닌 경우, 미지의 촬상 화상에 있어서, 개안 화상(E0)의 광축 중심 위치는, 횡방향의 부착 오차(XError) 및 종방향의 부착 오차(YError) 분만큼, 원점으로부터 시프트된다.
이 경우, 개안 화상(E0)의 장착 오차 반영 위치 정보(x0', y0')인 광축 중심 위치가, 원점인 것을 전제로 하여, 원점을 중심으로 하는 소정의 사이즈의 직사각형 형상의 영역을, 개안 화상(E0)의 영역으로서 특정하면, 실제의 장착 오차 반영 위치 정보(x0', y0')인 광축 중심 위치는, 원점으로부터 시프트되어 있기 때문에, 미지의 촬상 화상 상의, 개안 화상(E0)의 실제 광축 중심 위치로부터 시프트된 위치를 중심으로 하는 소정의 사이즈의 직사각형 형상의 영역이, 개안 화상(E0)의 영역으로서 특정된다.
그 결과, 다른 개안 화상(E1 내지 E4) 각각에 대해서도, 미지의 촬상 화상 상의 개안 화상(E#i)의 광축 중심 위치(x#i', y#i')로부터 시프트된 위치를 중심으로 하는 소정의 사이즈의 직사각형 형상의 영역이, 개안 화상(E#i)의 영역으로서 특정된다.
즉, 횡방향의 부착 오차(XError) 또는 종방향의 부착 오차(YError)가 0이 아닌 경우, 개안 화상(E0 내지 E4) 각각에 대해, 미지의 촬상 화상 상의 개안 화상(E#i)의 광축 중심 위치(x#i', y#i')로부터 동일한 평행 이동량만큼 시프트된 위치를 중심으로 하는 소정의 사이즈의 직사각형 형상의 영역이, 개안 화상(E#i)의 영역으로서 특정된다.
다만, 횡방향의 부착 오차(XError) 또는 종방향의 부착 오차(YError)가 0이 아닌 경우에도, 횡방향의 부착 오차(XError) 및 종방향의 부착 오차(YError)가 0인 경우에도, 미지의 촬상 화상의 촬상시의 기선각(tan-1(dy#i/dx#i))은, 개안 화상(E0)의 위치를 기준으로 하는 상대적인 장착 오차 반영 위치 정보로서의 광축 중심 위치 (dx#i', dy#i')로부터 구해진다.
따라서, 광축 중심 위치(x#i', y#i')로부터 동일한 평행 이동량만큼 시프트된 위치를 중심으로 하는 개안 화상(E#i)에 대해 얻어지는 기선각은, 미지의 촬상 화상 상의 광축 중심 위치(x#i', y#i')를 중심으로 하는 개안 화상(E#i)에 대해 얻어지는 기선각과 동일하게 된다.
즉, 횡방향의 부착 오차(XError) 또는 종방향의 부착 오차(YError)가 0이 아닌 경우에도, 횡방향의 부착 오차(XError) 및 종방향의 부착 오차(YError)가 0인 경우와 동일한 기선각을 얻을 수 있다. 그리고, 그 기선각을 사용하여, 미지의 촬상 화상 상의 영역이 특정된 개안 화상(E#i)으로부터, 다안 교환 렌즈(20)의 부착 오차에 의해 영향을 받지 않는 정확한 시차 정보를 구할 수 있다.
한편, 본 실시형태에서는, 다안 교환 렌즈(20)마다, 개체차 반영 위치 정보 및 개체차 스폿광 위치 정보를 구하여, 렌즈 정보에 포함시켜 기억해 두는 것으로 하였지만, 개체차 반영 위치 정보 및 개체차 스폿광 위치 정보로서는, 다안 교환 렌즈(20)의 기종별로 공통 값을 채용할 수 있다. 기종별 다안 교환 렌즈(20)에 대해, 공통의 개체차 반영 위치 정보 및 개체차 스폿광 위치 정보를 채용하는 경우, 기종별 개체차 반영 상대 위치 정보(dx#i, dy#i) 및 개체차 스폿광 위치 정보 (XL, YL) 및 (XR, YR)을, 식(2) 및 식(3)에 포함시켜 둠으로써, 카메라 본체(10)는, 다안 교환 렌즈(20)의 기종을 인식할 수 있으면, 식(2)의 회전 오차(θError), 나아가서는, 식(3)의 장착 오차 반영 위치 정보로서의 광축 중심 위치(dx#i', dy#i')를 구할 수 있다.
<화상 처리부(53)의 구성예>
도 7은 도 2의 화상 처리부(53)의 구성예를 나타내는 블록도이다.
도 7은 화상 처리부(53) 중, 예를 들면, 시차 정보를 구하는 화상 처리를 행하는 부분의 구성예를 나타내고 있다.
도 7에 있어서, 화상 처리부(53)는, 캘리브레이션 데이터 생성부(101), 캘리브레이션 데이터 기억부(102), 보간부(103), 및 시차 정보 생성부(104)를 갖는다.
화상 처리부(53)는, 영역 특정부(52)로부터 공급되는 개안 화상을 사용하여, 시차에 관한 시차 정보를 생성한다. 여기서, 시차 정보로서는, 시차를 화소수에 의해 표현한 디스패리티(disparity)나, 시차에 대응하는 깊이 방향의 거리 등이 있다.
개안 화상을 사용하여 구해지는 시차 정보는, 개안 렌즈(31i)의 위치나 렌즈 왜곡 등의 영향을 받는다. 이에, 화상 처리부(53)는, 개안 렌즈(31i)의 위치나 렌즈 왜곡 등의 영향을 제거하기 위해, 개안 렌즈(31i)의 위치나 렌즈 왜곡 등에 관한 파라미터를, 캘리브레이션 데이터로서 생성하는 캘리브레이션을 행한다.
캘리브레이션에서는, 예를 들면, 기지의 피사체인 캘리브레이션용의 평면 차트(이하, 캘리브레이션 차트라고도 함)를 촬상함으로써 얻어지는 촬상 화상 상의 각 개안 화상인 캘리브레이션 화상으로부터 캘리브레이션 데이터가 생성된다.
즉, 캘리브레이션에서는, 카메라 시스템(1)의 포커스 위치가 어떤 소정의 거리(의 위치)로 제어되고, 그 포커스 위치에 설치된 캘리브레이션 차트가 촬상된다. 그리고, 캘리브레이션 차트의 촬상에 의해 얻어지는 개안 화상인 캘리브레이션 화상을 사용하여, 포커스 위치가 어떤 소정의 거리로 제어된 카메라 시스템(1)의, 그 포커스 위치에 대한 캘리브레이션 데이터가 생성된다.
이상과 같이 생성되는 캘리브레이션 데이터는, 캘리브레이션 차트가 촬상되었을 때의 카메라 시스템(1)의 포커스 위치에 대한 캘리브레이션 데이터이다. 그 때문에, 예를 들면, 일반적인 피사체를 촬상하는 경우의 포커스 위치와, 캘리브레이션 차트를 촬상한 경우의 포커스 위치가 서로 다른 경우에, 일반적인 피사체를 촬상한 촬상 화상에 찍히는 개안 화상을 사용한 시차 정보의 산출을, 캘리브레이션 차트가 촬상되었을 때의 카메라 시스템(1)의 포커스 위치에 대한 캘리브레이션 데이터를 사용하여 행하면, 시차 정보의 정밀도가 저하된다.
이에, 화상 처리부(53)에서는, 캘리브레이션 데이터를 보간함으로써, 고정밀도의 시차 정보를 구할 수 있다.
캘리브레이션 데이터 생성부(101)는, 영역 특정부(52)로부터 공급되는 개안 화상을 사용하여, 피딩량 검출부(64)로부터 복수의 피딩량 각각에 대한 캘리브레이션 데이터를 생성하여, 캘리브레이션 데이터 기억부(102)에 공급한다.
즉, 캘리브레이션 데이터 생성부(101)에서는, 캘리브레이션에 있어서, 피딩부(23)의 복수의 피딩량에 대응하는 복수의 포커스 위치의 캘리브레이션 차트를 촬상함으로써 얻어지는 복수의 포커스 위치의 캘리브레이션 화상으로서의 개안 화상으로부터 복수의 포커스 위치에 대응하는 복수의 피딩량에 대한 캘리브레이션 데이터를 생성하여, 캘리브레이션 데이터 기억부(102)에 공급한다.
캘리브레이션 데이터 기억부(102)는, 캘리브레이션 데이터 생성부(101)로부터 공급되는 복수의 피딩량에 대한 캘리브레이션 데이터를 기억한다.
보간부(103)는, 피딩량 검출부(64)로부터 공급되는 피딩량 중, 일반적인 피사체(캘리브레이션 차트 이외의 피사체)의 촬상(이하, 일반적인 촬상이라고도 함)이 행하여졌을 때의 피딩량에 대한 캘리브레이션 데이터를, 캘리브레이션 데이터 기억부(102)에 기억된 복수의 피딩량에 대한 캘리브레이션 데이터를 사용한 보간 등에 의해 생성하여, 시차 정보 생성부(104)에 공급한다.
시차 정보 생성부(104)는, 보간부(103)로부터의 캘리브레이션 데이터와, 영역 특정부(52)로부터 공급되는, 일반적인 촬상에 의해 촬상된 촬상 화상(이하, 일반적인 촬상 화상이라고도 함) 상의 개안 화상을 사용하여, 시차 정보를 생성한다. 일반적인 촬상 화상은, 미지의 촬상 화상과 등가이다.
이상과 같은 화상 처리부(53)를 갖는 카메라 시스템(1)에 의하면, 예를 들면, 일반적인 일안 카메라의 경우와 마찬가지의 화질의 개안 화상으로서의 RGB 화상과 Depth 정보로서의 시차 정보의 동시 취득이 가능해진다. 시차 정보는, 예를 들면, 임의의 피사체에 포커스를 맞춘 화상을 생성(재구성)하는 리포커스나, 사용자가 소망하는 원하는 피사체에 있어서의 장해물을 제거한 장해물 제거 화상의 생성, 임의의 특성의 렌즈를 에뮬레이트하는 렌즈 에뮬레이션(lens emulation), CG나 실사를 대상으로 하는 깊이를 고려한 합성 등의 화상 처리에 사용할 수 있다.
카메라 시스템(1)에 대해서는, 예를 들면, 카메라 시스템(1)의 제조 후에, 카메라 시스템(1)의 동작 모드가 캘리브레이션을 행하는 캘리브레이션 모드로 설정되고, 카메라 시스템(1)의 제조 공장 등에서 캘리브레이션이 행해진다.
즉, 카메라 시스템(1)에서는, 다안 교환 렌즈(20)의 포커스가, 캘리브레이션 데이터를 생성하는 포커스 위치(이하, 기준 포커스 위치라고도 함)로 제어되고, 그 기준 포커스 위치에 캘리브레이션 차트가 설치되어 촬상된다. 그리고, 카메라 시스템(1)에서는, 캘리브레이션 데이터 생성부(101)가, 그 캘리브레이션 차트의 촬상에 의해 얻어지는 캘리브레이션 화상으로부터, 기준 포커스 위치에 대응하는 피딩부(23)의 피딩량(이하, 기준 피딩량이라고도 함)에 대한 캘리브레이션 데이터를 생성하여, 캘리브레이션 데이터 기억부(102)에 기억시킨다. 캘리브레이션은, 복수의 기준 포커스 위치에 대해 행하여지고, 이에 의해, 복수의 기준 포커스 위치에 대응하는 복수의 기준 피딩량에 대한 캘리브레이션 데이터가 생성된다.
캘리브레이션이 행하여지고, 카메라 시스템(1)이 제조 공장에서 출하될 때에는, 카메라 시스템(1)의 동작 모드는, 일반적인 촬상을 행하는 일반적인 촬상 모드로 설정된다. 일반적인 촬상 모드에서는, 일반적인 촬상 화상이 촬상되었을 때의 포커스 위치(이하, 촬상 포커스 위치라고도 함)에 대응하는 피딩부(23)의 피딩량(이하, 촬상 피딩량이라고도 함)이, 피딩량 검출부(64)로부터 보간부(103)에 공급된다.
보간부(103)는, 캘리브레이션 데이터 기억부(102)에 기억된 복수의 기준 포커스 위치에 대응하는 복수의 기준 피딩량에 대한 캘리브레이션 데이터를 사용하여, 촬상 포커스 위치에 대응하는 촬상 피딩량에 대한 캘리브레이션 데이터를 보간에 의해 생성하여, 시차 정보 생성부(104)에 공급한다. 한편, 모든 위치의 캘리브레이션 데이터가 있으면 보간이 불필요하다.
시차 정보 생성부(104)는, 보간부(103)로부터의 촬상 피딩량에 대한 캘리브레이션 데이터를 사용하여, 그 촬상 피딩량만큼 피딩부(23)가 피딩된 상태에서 촬상된 일반적인 촬상 화상 상의 개안 화상으로부터 시차 정보를 생성한다. 이에 의해, 렌즈 왜곡 등의 영향이 억제된, 정밀한 시차 정보가 생성된다.
도 8은 카메라 시스템(1)에 의해 행해지는 캘리브레이션을 설명하는 도면이다.
캘리브레이션에서는, 카메라 시스템(1)으로부터 소정의 거리 Zmm의 위치(P)를 기준 포커스 위치(P)로 하고, 그 기준 포커스 위치(P)에 캘리브레이션 차트를 설치하고, 카메라 시스템(1)에 의한 캘리브레이션 차트의 촬상이 행해진다.
도 8에 나타내지는 캘리브레이션 차트는, 예를 들면, 격자 형상의 패선이 그려진 피사체이지만, 캘리브레이션 차트로서는, 위치 관계 등을 알고 있는 임의의 피사체를 채용할 수 있다.
캘리브레이션에서는, 기준 포커스 위치(P)의 캘리브레이션 차트의 촬상에 의해 얻어지는 캘리브레이션 화상으로부터, 기준 포커스 위치(P)에 대응하는 피딩량 P에 대한 캘리브레이션 데이터가 생성된다.
카메라 시스템(1)에 의해 캘리브레이션 차트를 촬상한 캘리브레이션 화상에서는, 예를 들면, 개안 렌즈(31i)의 렌즈 왜곡 등에 의한 위치 어긋남(왜곡), 즉, 캘리브레이션 화상에 피사체가 찍혀야 할 진정한 위치(렌즈 왜곡 등이 없는 경우에 피사체가 원래 찍혀야 할 위치)와, 캘리브레이션 화상에 피사체가 실제로 찍히는 위치와의 위치 어긋남이 생긴다.
캘리브레이션 화상은, 기지의 피사체인 캘리브레이션 차트를, 기지의 위치인 포커스 위치(P)에 설치하여 촬상을 행함으로써 얻어지는 촬상 화상 상의 개안 화상이기 때문에, 캘리브레이션 화상에 있어서, 피사체가 찍혀야 할 진정한 위치, 즉, 캘리브레이션 차트의 각 부(예를 들면, 격자점)가 찍혀야 할 진정한 위치는, 계산에 의해 미리 구할 수 있다.
또한, 캘리브레이션 화상에 있어서, 피사체가 찍히는 실제의 위치는, 캘리브레이션 화상으로부터 구할 수 있다.
캘리브레이션 데이터 생성부(101)에서는, 캘리브레이션 화상으로부터, 피사체(예를 들면, 캘리브레이션 차트의 격자점)가 찍히는 실제의 위치가 구해진다. 그리고, 캘리브레이션 데이터 생성부(101)는, 피사체가 찍히는 실제의 위치와, 계산에 의해 미리 구할 수 있는, 그 피사체가 찍혀야 할 진정한 위치와의 위치 어긋남에 관한 정보를, 캘리브레이션 데이터로서 생성한다.
한편, 캘리브레이션 데이터로서는, 카메라 시스템(1)의 이른바 내부 파라미터 및 외부 파라미터를 생성할 수 있지만, 여기서는, 설명을 간단하게 하기 위해, 카메라 시스템(1)에 의해 캘리브레이션 차트를 촬상함으로써 얻어지는 캘리브레이션 화상에 있어서의 피사체의 위치 어긋남에 관한 정보가 캘리브레이션 데이터로서 생성되는 것으로 한다.
도 9는 복수의 기준 포커스 위치에 대응하는 복수의 피딩량에 대한 캘리브레이션 데이터의 생성을 설명하는 도면이다.
복수의 기준 포커스 위치에 대응하는 복수의 피딩량에 대한 캘리브레이션 데이터의 생성에서는, 처음에, 카메라 시스템(1)으로부터 소정의 거리 Z1mm의 위치(P1)를 기준 포커스 위치(P1)로 하고, 그 기준 포커스 위치(P1)에 캘리브레이션 차트를 설치하고, 카메라 시스템(1)에 의한 캘리브레이션 차트의 촬상이 행해진다.
그리고, 카메라 시스템(1)으로부터 거리 Z1mm와는 다른 거리 Z2mm의 위치(P2)를 기준 포커스 위치(P2)로 하고, 그 기준 포커스 위치(P2)에 캘리브레이션 차트를 설치하고, 카메라 시스템(1)에 의한 캘리브레이션 차트의 촬상이 행해진다.
나아가, 카메라 시스템(1)으로부터 거리 Z1mm 및 Z2mm와는 다른 거리 Z3mm의 위치(P3)를 기준 포커스 위치(P3)로 하고, 그 기준 포커스 위치(P3)에 캘리브레이션 차트를 설치하고, 카메라 시스템(1)에 의한 캘리브레이션 차트의 촬상이 행해진다.
한편, 도 9에서는, 거리 Z1mm, Z2mm, 및 Z3mm는, 식 Z1mm < Z2mm < Z3mm에 의해 표현되는 관계로 되어 있다.
카메라 시스템(1)은, 포커스 위치를 위치(P1)로 제어하고, 위치(P1)에 설치된 캘리브레이션 차트를 촬상한다. 이 촬상에 의해, 기준 포커스 위치(P1)의 캘리브레이션 화상, 즉, 위치(P1)를 기준 포커스 위치로 하는 캘리브레이션 화상이 얻어진다.
마찬가지로, 카메라 시스템(1)은, 포커스 위치를 위치(P2 및 P3)로 각각 제어하고, 위치(P2 및 P3)에 설치된 캘리브레이션 차트를 각각 촬상한다. 이 촬상에 의해, 기준 포커스 위치(P2 및 P3) 각각의 캘리브레이션 화상, 즉, 위치(P2 및 P3)를 각각 기준 포커스 위치로 하는 캘리브레이션 화상이 얻어진다.
한편, 기준 포커스 위치(P1, P2, 및 P3)에 설치된 캘리브레이션 차트를 촬상하는 순서는, 특별히 한정되지 않는다.
또한, 여기서는, 서로 다른 3개의 위치(P1, P2, 및 P3)를 기준 포커스 위치로서 채용하였지만, 기준 포커스 위치로서는, 서로 다른 3개의 위치 외에, 서로 다른 2개의 위치나, 서로 다른 4개 이상의 위치를 채용할 수 있다.
카메라 시스템(1)에서는, 이상과 같이, 포커스 위치가 복수의 위치(기준 포커스 위치(P1, P2, 및 P3))로 제어된 카메라 시스템(1)에 의해 캘리브레이션 차트를 각각 촬상함으로써 얻어지는 캘리브레이션 화상으로부터, 복수의 기준 포커스 위치(기준 포커스 위치(P1, P2, 및 P3))에 대응하는 복수의 피딩량에 대한 캘리브레이션 데이터의 생성이 행해진다.
도 10은 카메라 시스템(1)에 의해 행해지는 일반적인 촬상을 설명하는 도면이다.
일반적인 촬상에서는, 카메라 시스템(1)에 있어서, 카메라 시스템(1)으로부터 임의의 거리 Z4mm의 위치(P4)를 촬상 포커스 위치(P4)로 하고, 그 촬상 포커스 위치(P4)에 존재하는 일반적인 피사체 촬상이 행해진다.
한편, 도 10에서는, 위치(P4)는, 위치(P1, P2, 및 P3)의 어느 것과도 일치하지 않고, 위치(P1)보다 멀고 위치(P2)보다 가까운 위치로 되어 있다.
카메라 시스템(1)에서는, 포커스 위치가 촬상 포커스 위치(P4)로 제어된 카메라 시스템(1)에서 피사체를 촬상함으로써 얻어지는 일반적인 촬상 화상에 화상 처리가 행해진다.
여기서, 카메라 시스템(1)에 있어서, 일반적인 촬상시의 촬상 포커스 위치가, 캘리브레이션 시의 복수의 기준 포커스 위치의 어느 것과도 일치하지 않는 경우, 그 복수의 기준 포커스 위치에 대응하는 복수의 기준 피딩량 중 어느 하나의 기준 피딩량에 대한 캘리브레이션 데이터를 그대로 사용하여, 일반적인 촬상 화상에 화상 처리를 행하면, 부적절한 화상 처리가 행하여질 가능성이 있다.
도 10에서는, 촬상 포커스 위치(P4)가 기준 포커스 위치(P1, P2, 및 P3)의 어느 것과도 일치하지 않으므로, 기준 포커스 위치(P1, P2, 및 P3)에 대응하는 기준 피딩량 P1, P2, 및, P3 중 어느 하나의 기준 피딩량에 대한 캘리브레이션 데이터를 그대로 사용하여, 포커스 위치가 촬상 포커스 위치(P4)로 제어된 카메라 시스템(1), 즉, 촬상 피딩량이 촬상 포커스 위치(P4)에 대응하는 피딩량으로 되어 있는 카메라 시스템(1)에 의해 촬상된 일반적인 촬상 화상에 대해 화상 처리를 행하면, 부적절한 화상 처리가 행하여질 가능성이 있다.
이에, 카메라 시스템(1)에 있어서, 일반적인 촬상 화상에 적절한 화상 처리를 행하기 위해, 보간부(153)(도 7)는, 기준 포커스 위치(P1, P2, 및 P3)에 대응하는 기준 피딩량 P1, P2, 및, P3에 대한 캘리브레이션 데이터를 사용하여, 촬상 포커스 위치(P4)에 대응하는 촬상 피딩량 P4에 대한 캘리브레이션 데이터를 보간에 의해 생성한다.
즉, 포커스 위치, 즉, 피딩부(23)의 피딩량이 다른 경우에는, 카메라 시스템(1)의 렌즈 조건(렌즈 상태)이 다르므로, 일반적인 촬상 화상의 동일한 화소라 하더라, 피딩부(23)의 피딩량이, 어떤 포커스 위치에 대응하는 피딩량의 경우와 다른 포커스 위치에 대응하는 피딩량의 경우와는, 위치 어긋남(량)이 다르다.
그 때문에, 촬상 피딩량과 일치하지 않는 기준 피딩량에 대한 캘리브레이션 데이터를 사용하여, 일반적인 촬상 화상을 대상으로 한 시차 정보의 생성을 행하면, 상술한 위치 어긋남에 기인하는 시차 정보의 오차가 적절하게 보정되지 않고, 정확한 시차 정보를 구할 수 없는 경우가 있다.
카메라 시스템(1)은, 일반적인 촬상 화상에 적절한 화상 처리를 행하기 위해, 즉, 예를 들면, 정확한 시차 정보를 구하기 위해, 복수의 (다른) 기준 포커스 위치의 캘리브레이션 차트를 촬상하고, 그 촬상에 의해 얻어지는 복수의 기준 포커스 위치의 캘리브레이션 화상으로부터, 복수의 기준 포커스 위치에 대응하는 복수의 기준 피딩량에 대한 캘리브레이션 데이터를 생성한다.
나아가, 카메라 시스템(1)은, 복수의 기준 포커스 위치에 대응하는 복수의 기준 피딩량에 대한 캘리브레이션 데이터를 사용하여, 촬상 포커스 위치에 대응하는 촬상 피딩량에 대한 캘리브레이션 데이터를, 보간에 의해 생성하고, 그 촬상 피딩량에 대한 캘리브레이션 데이터를 사용하여, 시차 정보의 생성 등의 화상 처리를 행한다.
도 11은 촬상 포커스 위치(P4)에 대응하는 촬상 피딩량에 대한 캘리브레이션 데이터의 보간에 의한 생성에 대해 설명하는 도면이다.
도 11에 있어서, 수직 방향(종축)은 캘리브레이션 데이터를 나타내고, 수평방향(횡축)은 피딩부(23)의 피딩량을 나타낸다.
도 11에서는, 기준 포커스 위치(P1, P2, 및 P3)에 대응하는 기준 피딩량 P1, P2, 및 P3 각각에 대한 캘리브레이션 데이터가, 동그라미 표시로 나타내어져 있다.
보간부(103)는, 기준 피딩량 P1, P2, 및, P3 각각에 대한 캘리브레이션 데이터 중, 적어도 2개 이상의 기준 피딩량에 대한 캘리브레이션 데이터를 사용하여, 선형 보간이나 그 밖의 보간을 행함으로써, 촬상 포커스 위치(P4)에 대응하는 촬상 피딩량 P4에 대한 캘리브레이션 데이터(도면 중, 삼각형으로 나타내는 부분)를 생성한다.
이상과 같이, 카메라 시스템(1)은, 촬상 피딩량 P4에 대한 캘리브레이션 데이터를, 복수의 피딩량 P1, P2, 및, P3에 대한 캘리브레이션 데이터를 사용하여, 보간에 의해 생성한다.
따라서, 촬상 피딩량 P4에 대한 캘리브레이션 데이터를 사용하여, 피딩부(23)의 피딩량이 촬상 피딩량 P4인 경우의 촬상 포커스 위치(P4)의 일반적인 촬상 화상에 적절한 화상 처리를 행할 수 있다.
화상 처리부(53)에서의 캘리브레이션 데이터를 사용한 화상 처리는, 예를 들면, 촬상 화상으로부터 추출된 개안 화상에 (찍히는 피사체에) 비선형의 왜곡이 있는 경우에 유용하다. 화상 처리부(53)에서의 캘리브레이션 데이터를 사용한 화상 처리에 의하면, 개안 화상의 왜곡을 시정(是正)한 화상 처리를 행할 수 있다. 한편, 캘리브레이션에 있어서, 캘리브레이션 데이터로서의 피사체가 찍혀야 할 진정한 위치로부터의 위치 어긋남에 관한 정보는, 개안 화상의 각 화소에 대해 생성하는 것 외에, 일부 화소에 대해 생성해 두고, 일반적인 촬상시에, 다른 화소에 대해 공간 방향의 보간을 행하여 생성할 수 있다.
<광원(32L 및 32R)의 구성예>
도 12는 광원(32L 및 32R)의 구성예를 나타내는 단면도이다.
여기서, 이하에서는, 광원(32L 및 32R)을 구별할 필요가 없는 한, 광원(32)이라고 기술한다.
도 12에 있어서, 광원(32)은 하우징(121), LED(122), 및 렌즈(123)로 구성된다.
하우징(121)은, 예를 들면, 가늘고 긴 원통 형상의 하우징이며, LED(122) 및 렌즈(123)를 내부에 수납한다.
LED(122)는 스폿광으로서의 광을 발광한다.
렌즈(123)는, LED(122)가 발광하는 스폿광을 집광한다.
이상과 같이 구성되는 광원(32)에서는, LED(122)가 발광하는 스폿광이, 렌즈(123)에 의해 집광된다.
따라서, 도 12의 광원(32)이 조사하는 스폿광은, (이상적으로는) 어떤 1점으로 집광되고, 그 후 퍼져 가므로, 비평행광(평행광이 아닌 광)이다.
여기서, 도 12의 광원(32)이 조사하는 스폿광으로서의 비평행광이 집광되는 점을, 집광점이라고도 말한다.
이하에서는, 광원(32)이, 비평행광을, 스폿광으로서 조사하는 것으로 하여, 피딩부(23)의 피딩량을 검출하는 검출 방법에 대해 설명한다.
<다안 교환 렌즈(20)의 구성예>
도 13은 다안 교환 렌즈(20)의 구성예를 나타내는 단면도이다.
도 1에서 설명한 바와 같이, 피딩부(23)에는, 개안 렌즈(31i) 및 광원(32)이 설치되어 있다. 그리고, 피딩부(23)는, 원통 형상의 경통(21)의 내부를, 경통 광축의 광축 방향(도면 중, 상하 방향)으로 이동 가능하도록 구성되고, 가장 전방측(이미지 센서(51) 측)으로부터 안쪽으로 피딩될 수 있도록 되어 있다. 피딩부(23)의 피딩에 의해, 개안 렌즈(31i)가 이동하여, 포커스가 조정된다.
<피딩량의 제1 검출 방법>
도 14는 피딩부(23)의 피딩량을 검출하는 제1 검출 방법을 설명하는 도면이다.
도 14의 A는, 피딩부(23)가 최소한으로 피딩되어 있는(가장 전방측에 있는) 최소 피딩 상태(와이드단(wide end))인 경우의 다안 교환 렌즈(20)의 단면을 나타내고 있다. 도 14의 B는, 피딩부가 최대한으로 피딩되어 있는(가장 안쪽에 있는) 최대 피딩 상태(텔레단(tele end))인 경우의 다안 교환 렌즈(20)의 단면을 나타내고 있다.
제1 검출 방법을 채용하는 경우, 카메라 시스템(1)은, 이미지 센서(51)가, 피딩부(23)가 최소 피딩 상태일 때에 스폿광으로서의 비평행광이 집광되는 집광점과, 피딩부(23)가 최대 피딩 상태일 때에 스폿광으로서의 비평행광이 집광되는 집광점과의 사이에 위치하도록 구성된다.
나아가, 광원(32)은, 경통 광축과 동일 방향으로, 스폿광으로서의 비평행광을 조사한다.
상술한 바와 같이, 이미지 센서(51)가, 피딩부(23)가 최소 피딩 상태일 때에 스폿광이 집광되는 집광점과, 피딩부(23)가 최대 피딩 상태일 때에 스폿광이 집광되는 집광점과의 사이에 위치하는 경우, 최소 피딩 상태의 스폿광상의 사이즈(이하, 스폿 사이즈라고도 함)(예를 들면, 스폿광상의 직경 등)와 최대 피딩 상태의 스폿 사이즈의 차이는 최소한으로 된다.
광원(32)이 스폿광으로서 비평행광을 조사하는 경우, 피딩부(23)의 피딩량에 따라 스폿 사이즈가 변화한다. 따라서, 스폿 사이즈에 따라, 피딩부(23)의 피딩량을 검출할 수 있다.
도 15는 스폿광으로서의 비평행광의 스폿 사이즈의 변화의 예를 나타내는 (단면)도이다.
도 15에 나타내는 바와 같이, 집광점에서, 스폿 사이즈는 최소가 되고, 집광점으로부터 경통 광축 방향으로 멀어질수록, 스폿 사이즈는 커진다.
이미지 센서(51)가, 피딩부(23)가 최소 피딩 상태인 경우에 스폿광이 집광되는 집광점과, 피딩부(23)가 최대 피딩 상태인 경우에 스폿광이 집광되는 집광점과의 사이에 위치하는 경우, 스폿 사이즈가 동일해지는 피딩량이 2개 존재하는 경우가 있다.
즉, 예를 들면, 도 15에 나타내는 바와 같이, 집광점으로부터 경통 광축 방향으로 동일한 거리에 위치된 2개의 위치에 대해서는, 피딩량은 다르지만, 스폿 사이즈는 동일해진다.
이상과 같이, 어떤 스폿 사이즈에 대해, 2개의 피딩량이 존재하는 것을, 2값 부정성(binary indefiniteness)이라고도 말한다.
어떤 스폿 사이즈에 대해, 2개의 피딩량이 존재하는 경우에는, 그 2개의 피딩량으로부터, 진정한 피딩량, 즉, 그 스폿 사이즈의 스폿광상이 얻어지고 있는 상태의 피딩량을 특정하여, 2값 부정성을 해소할 필요가 있다.
어떤 스폿 사이즈에 대해, 2개의 피딩량이 존재하는 경우에, 그 2개의 피딩량으로부터, 진정한 피딩량을 특정하는 방법으로서는, 스폿광상의 템플릿 매칭(template matching)을 행하는 방법이나, 피딩량을 크게 또는 작게 변화시키고, 피딩량의 변화의 방향에 따라, 스폿 사이즈가 커지는지 또는 작아지는지의 변화의 방향을 검출하는 방법 등이 있다.
도 16은 제1 검출 방법에 의해 피딩량을 검출하는 처리의 예를 설명하는 플로우차트이다.
도 16의 플로우차트에 따른 처리는, 스폿광상의 템플릿 매칭을 행함으로써 2값 부정성을 해소하도록 되어 있다.
스텝(S111)에 있어서, 스폿광상 검출부(62)는, 통신부(56)를 통해, 다안 교환 렌즈(20)로부터 렌즈 정보를 취득하고, 처리는 스텝(S112)로 진행한다.
스텝(S112)에서는, 제어부(61)는, 사용자가 포커스를 조정하도록 조작을 행하는 것을 기다려, 그 조작에 따라, 포커스를 지정하는 정보를, 통신부(56)를 통해, 다안 교환 렌즈(20)로 송신한다. 다안 교환 렌즈(20)에서는, 제어부(43)가, 통신부(56)를 통해 송신되어 오는, 포커스를 지정하는 정보에 따라, 피딩부(23)를 이동시키고(피딩하고), 처리는 스텝(S113)으로 진행한다. 한편, 포커스의 조정은, 사용자의 조작 없이, 제어부(61)가 자동적으로, 오토 포커스의 기능 등에 의해 행할 수 있다.
스텝(S113)에서는, 이미지 센서(51)가 촬상 화상을 촬상하여, 영역 특정부(52), 위치 산출부(57), 및 스폿광상 검출부(62)에 공급하고, 처리는 스텝(S114)로 진행한다.
스텝(S114)에서는, 스폿광상 검출부(62)는, 다안 교환 렌즈(20)로부터 취득한 렌즈 정보에 포함되는 개체차 스폿광 위치 정보에 따라, 이미지 센서(51)로부터의 촬상 화상(의 개체차 스폿광 위치 정보의 주변)로부터 스폿광상을 검출하여, 그 스폿광상으로서의 화상을 피딩량 검출부(64)에 공급하고, 처리는 스텝(S115)로 진행한다.
여기서, 도 6에서 설명한 바와 같이, 개체차 스폿광 위치 정보로서는, 기종별 다안 교환 렌즈(20)에 공통인 값을 채용할 수 있다. 기종별 다안 교환 렌즈(20)에 대해, 공통의 개체차 스폿광 위치 정보를 채용하는 경우에는, 그 기종별 개체차 스폿광 위치 정보를, 카메라 본체(10)에 미리 기억시켜 둠으로써, 카메라 본체(10)에서는, 다안 교환 렌즈(20)로부터 개체차 스폿광 위치 정보(를 포함하는 렌즈 정보)를 취득할 필요는 없다. 후술하는 실시형태에서도 마찬가지이다.
스텝(S115)에서는, 피딩량 검출부(64)는, 피딩량 정보 기억부(63)에 기억된 피딩량 정보에 있어서 피딩량과 대응지어져 있는 스폿광상 정보로부터, 아직, 스폿광상과의 매칭 대상으로 하고 있지 않은 스폿광상 정보를 취득하고, 처리는 스텝(S116)으로 진행한다.
여기서, 제1 검출 방법을 채용하는 경우에는, 피딩량 정보 기억부(63)에는, 스폿광상으로서의 화상을, 스폿광상 정보로 하여, 복수의 피딩량 각각과, 그 피딩량만큼 피딩부(23)가 피딩되어 있을 때의 스폿광상 정보가 대응지어진 피딩량 정보가 기억된다.
스텝(S116)에서는, 피딩량 검출부(64)는, 스텝(S114)에서 촬상 화상으로부터 검출된 스폿광상(이하, 검출 스폿광상이라고도 함)과, 직전의 스텝(S115)에서 취득된 스폿광상 정보와의 (템플릿) 매칭을 행하고, 처리는 스텝(S117)로 진행한다.
스텝(S117)에서는, 피딩량 검출부(64)는, 피딩량 정보 기억부(63)에 기억된 피딩량 정보에 있어서 피딩량과 대응지어져 있는 스폿광상 정보의 모두를 대상으로 하여, 검출 스폿광상과의 매칭을 행하였는지 여부를 판정한다.
스텝(S117)에 있어서, 피딩량 정보 기억부(63)에 기억된 피딩량 정보에 있어서 피딩량과 대응지어져 있는 스폿광상 정보의 모두를 대상으로 하고 있지 않다고 판정된 경우, 처리는 스텝(S115)로 되돌아간다.
그리고, 스텝(S115)에서는, 피딩량 정보 기억부(63)에 기억된 피딩량 정보에 있어서 피딩량과 대응지어져 있는 스폿광상 정보로부터, 아직, 스폿광상과의 매칭 대상으로 하고 있지 않은 스폿광상 정보가 취득되고, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝(S117)에 있어서, 피딩량 정보 기억부(63)에 기억된 피딩량 정보에 있어서 피딩량과 대응지어져 있는 스폿광상 정보의 모두를 대상으로 하였다고 판정된 경우, 처리는 스텝(S118)로 진행한다.
스텝(S118)에서는, 피딩량 정보 기억부(63)에 기억된 피딩량 정보에 있어서 피딩량과 대응지어져 있는 스폿광상 정보로부터, 검출 스폿광상과 가장 매칭되는 스폿광상 정보를 선택하고, 그 스폿광상 정보에 대응지어져 있는 피딩량을, 피딩부(23)의 피딩량으로서 검출하여, 화상 처리부(53)에 공급하고, 처리를 종료한다. 여기서, 예를 들면, 스텝(S112)에서의 포커스의 조정 후의 포커스 위치인 현재의 포커스 위치가, 피딩량 정보를 생성할 때의 포커스 위치로서 사용되고 있지 않은 경우, 현재의 포커스 위치와, 스텝(S118)에서 검출된 피딩량을 갖는 피딩량 정보가 생성되었을 때의 포커스 위치가 완전히 일치하지 않고, 스텝(S118)에서 검출되는 피딩량의 정밀도가 저하되는 경우가 있다. 이에, 피딩량 정보로서는, 피딩량 및 스폿광상 정보 외에, 그 피딩량만큼 피딩부(23)가 피딩되어 있을 때의 포커스 위치를 대응짓는 정보를 채용할 수 있다. 이 경우, 스텝(S112)에서는, 현재의 포커스 위치가, 피딩량 정보가 갖는 포커스 위치의 어느 것과도 일치하지 않을 때에는, 현재의 포커스 위치를, 피딩량 정보가 갖는 포커스 위치 중, 현재의 포커스 위치에 가장 가까운 포커스 위치로 끌어들일(재조정할) 수 있다. 이에 의해, 스텝(S118)에 있어서, 정확한 피딩량을 검출할 수 있다.
한편, 도 16에서는, 스폿광상으로서의 화상을, 스폿광상 정보로서 사용하여, 화상의 매칭을 행함으로써, 피딩량을 검출하는 것으로 하였지만, 그 밖에, 예를 들면, 스폿광상의 1차원 강도 분포나 2차원 강도 분포를, 스폿광상 정보로서 사용하여, 그 1차원 강도 분포나 2차원 강도 분포의 매칭을 행함으로써, 피딩량을 검출할 수 있다.
또한, 제1 검출 방법은, 광원(32)이 1개 이상 설치되어 있는 경우에 채용할 수 있다.
<피딩량의 제2 검출 방법>
도 17은 피딩부(23)의 피딩량을 검출하는 제2 검출 방법을 설명하는 도면이다.
제2 검출 방법을 채용하는 경우, 제1 검출 방법과 마찬가지로, 카메라 시스템(1)은, 이미지 센서(51)가, 피딩부(23)가 최소 피딩 상태인 경우에 스폿광으로서의 비평행광이 집광되는 집광점과, 피딩부(23)가 최대 피딩 상태인 경우에 스폿광으로서의 비평행광이 집광되는 집광점과의 사이에 위치하도록 구성된다.
나아가, 광원(32L 및 32R)은, 제1 검출 방법과 마찬가지로, 경통 광축과 동일 방향으로, 스폿광으로서의 비평행광을 조사한다.
다만, 제2 검출 방법을 채용하는 경우, 각 피딩량에서의 광원(32L)이 조사하는 스폿광의 집광점과, 광원(32R)이 조사하는 스폿광의 집광점이, 이미지 센서(51)로부터의 거리가 서로 다른 점에 위치하도록, 카메라 시스템(1)이 구성된다.
도 17에서는, 어떤 피딩량에서의 광원(32L)이 조사하는 스폿광의 집광점의 이미지 센서(51)로부터의 거리와, 광원(32R)이 조사하는 스폿광의 집광점의 이미지 센서(51)로부터의 거리가 다르다. 즉, 도 17에서는, 도면 중 하측에 이미지 센서(51)가 존재하고, 광원(32L)이 조사하는 스폿광의 집광점은, 광원(32R)이 조사하는 스폿광의 집광점보다도, 이미지 센서(51)에 가까운 위치로 되어 있다.
이 경우, 광원(32L 및 32R) 중 일방이 조사하는 스폿광의 스폿 사이즈만으로는, 2값 부정성을 해소할 수 없지만, 광원(32L 및 32R)이 조사하는 스폿광의 스폿 사이즈의 조합에 의해, 2값 부정성을 해소할 수 있다.
도 18은 제2 검출 방법에 의해 피딩량을 검출하는 처리의 예를 설명하는 플로우차트이다.
도 18의 플로우차트에 따른 처리는, 광원(32L 및 32R)이 조사하는 스폿광의 스폿 사이즈의 조합을 사용함으로써, 2값 부정성을 해소하도록 되어 있다.
스텝(S121 내지 S123)에 있어서, 도 16의 스텝(S111 내지 S113)과 각각 마찬가지의 처리가 행해진다.
그리고, 스텝(S124)에 있어서, 스폿광상 검출부(62)는, 다안 교환 렌즈(20)로부터 취득한 렌즈 정보에 포함되는 개체차 스폿광 위치 정보에 따라, 이미지 센서(51)로부터의 촬상 화상으로부터, 광원(32L)이 조사하는 스폿광의 스폿광상(PL)(으로서의 화상)과, 광원(32R)이 조사하는 스폿광의 스폿광상(PR)을 검출하고, 처리는 스텝(S125)로 진행한다.
스텝(S125)에서는, 스폿광상 검출부(62)는 스폿광상(PL 및 PR)의 스폿 사이즈를 검출하여, 피딩량 검출부(64)에 공급하고, 처리는 스텝(S126)으로 진행한다.
스텝(S126)에서는, 피딩량 검출부(64)는, 피딩량 정보 기억부(63)에 기억된 피딩량 정보에 있어서 피딩량과 대응지어져 있는 스폿광상 정보로부터, 스텝(S125)에서 검출된 스폿광상(PL 및 PR)의 스폿 사이즈의 조합(이하, 검출 스폿 사이즈의 조합이라고도 함)에 합치하는 스폿광상 정보를 선택한다. 나아가, 스텝(S126)에서는, 피딩량 검출부(64)는, 검출 스폿 사이즈의 조합에 합치하는 스폿광상 정보에 대응지어져 있는 피딩량을, 피딩부(23)의 피딩량으로서 검출하여, 화상 처리부(53)에 공급하고, 처리를 종료한다.
여기서, 제2 검출 방법을 채용하는 경우에는, 피딩량 정보 기억부(63)에는, 스폿광상(PL 및 PR)의 스폿 사이즈의 조합을, 스폿광상 정보로 하여, 복수의 피딩량 각각과, 그 피딩량만큼 피딩부(23)가 피딩되어 있을 때의 스폿광상 정보가 대응지어진 피딩량 정보가 기억된다.
제2 검출 방법에서는, 복수의 피딩량 각각과, 그 피딩량만큼 피딩부(23)가 피딩되어 있을 때의 스폿광상 정보로서의 스폿광상(PL 및 PR)의 스폿 사이즈의 조합이 대응지어진 피딩량 정보에 있어서, 검출 스폿 사이즈의 조합에 합치하는, 스폿광상(PL 및 PR)의 스폿 사이즈의 조합에 대응지어져 있는 피딩량이, 피딩부(23)의 피딩량으로서 검출된다.
제2 검출 방법에 의하면, 2값 부정성을 해소하고, 검출 스폿 사이즈(의 조합)에 따라, 피딩부(23)의 피딩량을 검출할 수 있다.
한편, 제2 검출 방법은, 광원(32)이 2개 이상 설치되어 있는 경우에 채용할 수 있다.
<피딩량의 제3 검출 방법>
도 19는 피딩부(23)의 피딩량을 검출하는 제3 검출 방법을 설명하는 도면이다.
도 19의 A는, 피딩부(23)가 최소한으로 피딩되어 있는(가장 전방측에 있는) 최소 피딩 상태인 경우의 다안 교환 렌즈(20)의 단면을 나타내고 있다. 도 19의 B는, 피딩부가 최대한으로 피딩되어 있는(가장 안쪽에 있는) 최대 피딩 상태인 경우의 다안 교환 렌즈(20)의 단면을 나타내고 있다.
제3 검출 방법을 채용하는 경우, 카메라 시스템(1)은, 피딩부(23)를 최소 피딩 상태로부터 최대 피딩 상태까지 이동시켰을 때에, 스폿광으로서의 비평행광이 집광되는 집광점이, 이미지 센서(51)를 포함하는 전방측 및 안쪽의 일방에 위치하도록 구성된다.
나아가, 광원(32)은, 경통 광축과 동일 방향으로, 스폿광으로서의 비평행광을 조사한다.
상술한 바와 같이, 피딩부(23)를 최소 피딩 상태로부터 최대 피딩 상태까지 이동시켰을 경우에, 스폿광으로서의 비평행광이 집광되는 집광점이, 이미지 센서(51)를 포함하는 전방측 및 안쪽의 일방에 위치할 때, 최소 피딩 상태의 스폿광상의 스폿 사이즈와, 최대 피딩 상태의 스폿 사이즈의 차이는, 최대가 된다. 나아가, 피딩부(23)를, 최소 피딩 상태로부터 최대 피딩 상태까지 이동시켰을 경우의 스폿 사이즈는 단조 감소 또는 단조 증가한다. 따라서, 2값 부정성은 생기지 않는다.
도 20은 피딩부(23)를 최소 피딩 상태로부터 최대 피딩 상태까지 이동시켰을 때에, 스폿광으로서의 비평행광이 집광되는 집광점이, 이미지 센서(51) 위를 포함하는 전방측 및 안쪽의 일방에 위치하는 상태를 설명하는 도면이다.
도 20의 A는, 피딩부(23)를 최소 피딩 상태로부터 최대 피딩 상태까지 이동시켰을 때에, 스폿광으로서의 비평행광이 집광되는 집광점이, 이미지 센서(51) 위를 포함하는 전방측(개안 렌즈(31i)가 설치되어 있는 측과 반대측)에 위치하는 상태를 나타내고 있다.
도 20의 A에서는, 피딩부(23)를 최소 피딩 상태로부터 최대 피딩 상태까지 이동시켰을 때, 스폿 사이즈는 단조 감소한다.
도 20의 B는, 피딩부(23)를 최소 피딩 상태로부터 최대 피딩 상태까지 이동시켰을 때에, 스폿광으로서의 비평행광이 집광되는 집광점이, 이미지 센서(51)를 포함하는 안쪽(개안 렌즈(31i)가 설치되어 있는 측)에 위치하는 상태를 나타내고 있다.
도 20의 B에서는, 피딩부(23)를 최소 피딩 상태로부터 최대 피딩 상태까지 이동시켰을 때, 스폿 사이즈는 단조 증가한다.
제3 검출 방법을 채용하는 경우에는, 피딩량 정보 기억부(63)에는, 스폿광상의 스폿 사이즈를 스폿광상 정보로 하여, 복수의 피딩량 각각과, 그 피딩량만큼 피딩부(23)가 피딩되어 있을 때의 스폿광상 정보가 대응지어진 피딩량 정보가 기억된다.
그리고, 제3 검출 방법에서는, 스폿광상 검출부(62)에 있어서, 제2 검출 방법과 마찬가지로, 스폿광상의 스폿 사이즈가 검출된다.
나아가, 피딩량 검출부(64)에 있어서, 복수의 피딩량 각각과, 그 피딩량만큼 피딩부(23)가 피딩되어 있을 때의 스폿광상 정보로서의 스폿광상의 스폿 사이즈가 대응지어진 피딩량 정보에 있어서, 스폿광상 검출부(62)에서 검출된 스폿 사이즈에 합치하는 스폿광상 정보로서의 스폿 사이즈에 대응지어져 있는 피딩량이, 피딩부(23)의 피딩량으로서 검출된다.
제3 검출 방법에 의하면, 2값 부정성이 생기지 않고, 스폿 사이즈에 따라, 피딩부(23)의 피딩량을 검출할 수 있다.
한편, 제3 검출 방법은, 광원(32)이 1개 이상 설치되어 있는 경우에 채용할 수 있다.
<피딩량의 제4 검출 방법>
도 21은 피딩부(23)의 피딩량을 검출하는 제4 검출 방법을 설명하는 도면이다. 한편, 제4 검출 방법은, 스폿광이 비평행광인 경우 외에, 스폿광이 후술하는 바와 같이 평행광인 경우에도 적용할 수 있다.
즉, 도 21은 다안 교환 렌즈(20)의 단면을 나타내고 있다.
제4 검출 방법을 채용하는 경우, 카메라 시스템(1)은, 광원(32)이, 경통 광축 방향으로부터 기울어진 경사 방향으로, 스폿광을 조사하도록 구성된다.
도 21에서는, 광원(32)은, 이미지 센서(51)의 주변부로부터 중심부를 향하는 방향으로, 스폿광을 조사하도록 되어 있다.
도 22는 피딩부(23)가 최소 피딩 상태인 경우의 스폿광의 조사 위치와, 피딩부(23)가 최대 피딩 상태인 경우의 스폿광의 조사 위치를 나타내는 도면이다.
도 22의 A는 피딩부(23)가 최소 피딩 상태인 경우의 스폿광의 조사 위치를 나타내고 있고, 도 22의 B는 피딩부(23)가 최대 피딩 상태인 경우의 스폿광의 조사 위치를 나타내고 있다.
도 22에 있어서, 피딩부(23)가 최소 피딩 상태인 경우의 스폿광의 조사 위치, 즉, 광원(32L 및 32R)이 조사하는 스폿광의 스폿광상(PL' 및 PR')의 위치는, 스폿광의 스폿광상(PL 및 PR)의 가동 범위 중 이미지 센서(51)(에 의해 촬상되는 촬상 화상)의 주변측에 가장 가까운 위치가 된다.
피딩부(23)가 최소 피딩 상태로부터 최대 피딩 상태로 이동해 가면, 스폿광상(PL 및 PR)은 이미지 센서(51)의 중심을 향해 이동해 간다.
그리고, 피딩부(23)가 최대 피딩 상태인 경우의 스폿광의 조사 위치, 즉, 광원(32L 및 32R)이 조사하는 스폿광의 스폿광상(PL" 및 PR")의 위치는, 스폿광의 스폿광상(PL 및 PR)의 가동 범위 중 이미지 센서(51)의 중심측에 가장 가까운 위치가 된다.
도 23은 피딩부(23)가 최소 피딩 상태인 경우의 스폿광상(PL' 및 PR')이 찍히는 촬상 화상과, 피딩부(23)가 최대 피딩 상태인 경우의 스폿광상(PL" 및 PR")이 찍히는 촬상 화상의 예를 나타내는 도면이다.
도 23에 있어서, 피딩부(23)가 최소 피딩 상태인 경우의 스폿광상(PL' 및 PR')은, 촬상 화상의 가장 주변측에 위치한다.
피딩부(23)가 최소 피딩 상태로부터 최대 피딩 상태로 이동해 가면, 스폿광상(PL 및 PR)은, 촬상 화상의 중심을 향해 이동해 간다.
그리고, 피딩부(23)가 최대 피딩 상태인 경우의 스폿광상(PL" 및 PR")은, 촬상 화상의 가장 중심측에 위치한다.
이상과 같이, 광원(32L 및 32R)이 경사 방향으로 스폿광을 조사하는 경우, 피딩부(23)의 피딩량에 따라, 스폿광상(PL 및 PR)의 위치가 변화한다.
나아가, 광원(32L 및 32R)이, 경사 방향으로서의, 예를 들면, 이미지 센서(51)의 주변부로부터 중심부를 향하는 방향으로, 스폿광을 조사하는 경우, 피딩부(23)의 피딩량에 따라, 스폿광상(PL 및 PR)의 위치 외에, 스폿광상(PL 및 PR)(의 위치)의 사이의 거리도 변화한다. 도 23에서는, 피딩부(23)가 최소 피딩 상태인 경우의 스폿광상(PL' 및 PR')의 사이의 거리는, 스폿광상(PL 및 PR)의 사이의 거리의 최대값이 된다. 또한, 피딩부(23)가 최대 피딩 상태인 경우의 스폿광상(PL" 및 PR")의 사이의 거리는, 스폿광상(PL 및 PR)의 사이의 거리의 최소값이 된다.
제4 검출 방법에서는, 스폿광상(PL 및 PR)(중 일방 또는 양쪽 모두)의 위치나, 그 위치로부터 구해지는 스폿광상(PL 및 PR)의 사이의 거리에 따라, 피딩부(23)의 피딩량이 검출된다.
도 24는 제4 검출 방법에 의해 피딩량을 검출하는 처리의 예를 설명하는 플로우차트이다.
스텝(S131 내지 S134)에 있어서, 도 18의 스텝(S121 내지 S124)과 각각 마찬가지의 처리가 행해진다.
그리고, 스텝(S135)에 있어서, 스폿광상 검출부(62)는, 스폿광상(PL 및 PR)의 위치(검출 광상 위치)를 검출하고, 이들 위치끼리의 사이의 거리인 광상간 거리를 검출한다. 스폿광상 검출부(62)는, 광상간 거리를, 피딩량 검출부(64)에 공급하고, 처리는 스텝(S135)로부터 스텝(S136)으로 진행한다.
스텝(S136)에서는, 피딩량 검출부(64)는, 피딩량 정보 기억부(63)에 기억된 피딩량 정보에 있어서 피딩량과 대응지어져 있는 스폿광상 정보로부터, 스텝(S135)에서 검출된 광상간 거리(이하, 검출 광상간 거리라고도 함)에 합치하는 스폿광상 정보를 선택한다. 나아가, 스텝(S136)에서는, 피딩량 검출부(64)는, 검출 광상간 거리에 합치하는 스폿광상 정보에 대응지어져 있는 피딩량을, 피딩부(23)의 피딩량으로서 검출하여, 화상 처리부(53)에 공급하고, 처리를 종료한다.
여기서, 제4 검출 방법을 채용하는 경우에는, 피딩량 정보 기억부(63)에는, 광상간 거리를 스폿광상 정보로 하여, 복수의 피딩량 각각과, 그 피딩량만큼 피딩부(23)가 피딩되어 있을 때의 스폿광상 정보가 대응지어진 피딩량 정보가 기억된다.
제4 검출 방법에서는, 복수의 피딩량 각각과, 그 피딩량만큼 피딩부(23)가 피딩되어 있을 때의 스폿광상 정보로서의 광상간 거리가 대응지어진 피딩량 정보에 있어서, 검출 광상간 거리에 합치하는 광상간 거리에 대응지어져 있는 피딩량이, 피딩부(23)의 피딩량으로서 검출된다.
제4 검출 방법에 의하면, 2값 부정성을 생기게 하지 않고, 검출 광상간 거리에 따라, 피딩부(23)의 피딩량을 검출할 수 있다.
한편, 제4 검출 방법에서는, 광상간 거리 대신에, 스폿광상의 위치(검출 광상 위치)를 스폿광상 정보로서 채용할 수 있다. 스폿광상의 위치를 스폿광상 정보로서 채용하는 경우, 피딩량 정보 기억부(63)에는, 복수의 피딩량 각각과, 그 피딩량만큼 피딩부(23)가 피딩되어 있을 때의 스폿광상 정보로서의 스폿광상의 위치가 대응지어진 피딩량 정보가 기억된다. 나아가, 이 경우, 스폿광상 검출부(62)에 있어서, 스폿광상의 위치가 검출된다.
그리고, 피딩량 검출부(64)에서는, 피딩량 정보 기억부(63)에 기억된 피딩량 정보에 있어서, 스폿광상 검출부(62)에서 검출된 스폿광상의 위치에 합치하는 스폿광상의 위치에 대응지어져 있는 피딩량이, 피딩부(23)의 피딩량으로서 검출된다.
그 밖에, 제4 검출 방법에서는, 제1 검출 방법과 마찬가지로, 스폿광상으로서의 화상을 스폿광상 정보로서 채용하거나, 제2 및 제3 검출 방법과 마찬가지로, 스폿 사이즈를 스폿광상 정보로서 채용할 수 있다.
여기서, 제4 검출 방법에 있어서, 광상간 거리를 스폿광상 정보로서 채용하는 경우에는, 광원(32)이 2개 이상 설치되어 있을 필요가 있다. 다만, 2개 이상의 광원(32)에 대해서는, 그 전부가, 경사 방향으로 스폿광을 조사할 필요는 없고, 적어도 1개의 광원(32)이, 경사 방향으로 스폿광을 조사하는 광원이면 된다.
또한, 제4 검출 방법에 있어서, 스폿광상의 위치를 스폿광상 정보로서 채용하는 경우에는, 광원(32)이 1개 이상 설치되어 있을 필요가 있다.
<다안 교환 렌즈(20)의 다른 구성예>
도 25는 다안 교환 렌즈(20)의 다른 구성예를 나타내는 도면이다.
한편, 도면 중, 도 4나 도 13 등의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고, 이하에서는, 그 설명은 적절히 생략된다.
도 25의 다안 교환 렌즈(20)는, 광원(32L 및 32R)과 마찬가지로 구성되는 광원(32U 및 32D)이 새롭게 설치되어 있는 것을 제외하고, 도 4나 도 13 등의 경우와 마찬가지로 구성된다.
도 25의 다안 교환 렌즈(20)는, 평면에서 보았을 때, 광원(32L과 32R)을 잇는 직선과 평행하지 않은 직선, 예를 들면, 직교하는 직선 상에, 복수로서의 2개의 광원(32U 및 32D)을 설치한 구성으로 되어 있다.
이상과 같은, 광원(32L과 32R)을 잇는 직선과 직교하는 직선 상에, 2개의 광원(32U 및 32D)을 설치한 다안 교환 렌즈(20)가, 카메라 본체(10)에 장착된 경우, 다안 교환 렌즈(20)의 x축 주위의 렌즈 기울어짐이나, y축 주위의 렌즈 기울어짐이 있을 때에는, 렌즈 기울어짐이 없을 때에 비해, 도 25에 나타내는 바와 같이, 광원(32L, 32R, 32U, 32D)이 조사하는 스폿광의 스폿광상의 스폿 사이즈나 위치가 변화한다.
따라서, 스폿광상(의 스폿 사이즈나 위치)에 따라, 다안 교환 렌즈(20)의 x축 주위의 렌즈 기울어짐이나, y축 주위의 렌즈 기울어짐을 검출할 수 있다.
이 경우, 허용되는 양을 초과하는 양의 렌즈 기울어짐이 검출되었을 때에는, 사용자에게, 다안 교환 렌즈(20)의 재부착을 촉구할 수 있다. 나아가, 렌즈 기울어짐의 양을 검출하고, 그 렌즈 기울어짐 양의 영향이 캔슬되도록, 시차 정보를 구하는 것이나, 개안 화상의 영역을 특정하는 것 등을 행할 수 있다.
<광원(32L 및 32R)의 다른 구성예>
도 26은 광원(32L 및 32R)의 다른 구성예를 나타내는 단면도이다.
한편, 도면 중, 도 12의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고, 이하에서는, 그 설명은 적절히 생략된다.
도 26에 있어서, 광원(32)은 하우징(121), LED(122), 렌즈(123 및 124)로 구성된다.
따라서, 도 26의 광원(32)은, 하우징(121) 내지 렌즈(123)를 갖는 점에서, 도 12의 경우와 공통이고, 렌즈(124)가 새롭게 설치되어 있는 점에서, 도 12의 경우와 다르다.
렌즈(124)는 렌즈(123)의 이미지 센서(51) 측에 설치되어 있고, 렌즈(123)가 집광하는 스폿광을 평행광으로 변환하여 출사한다.
따라서, 도 26의 광원(32)이 조사하는 스폿광은 평행광이다. 스폿광으로서 평행광을 조사하는 광원(32)을, 이하, 평행광 광원(32)이라고도 한다.
다안 교환 렌즈(20)의 피딩부(23)에는, 평행광 광원(32)을 설치할 수 있다. 피딩부(23)에 평행광 광원(32)을 설치하는 경우, 스폿 사이즈는, 피딩부(23)의 피딩에 관계없이, 일정한 사이즈가 된다. 그 때문에, 스폿 사이즈를 작게 함으로써, 스폿광으로서, 스폿 사이즈가 변화하는 비평행광을 채용하는 경우에 비교하여, 스폿광상의 무게중심을, 스폿광상의 위치로서 구할 때의 계산 오차 및 계산량이 저감된다. 따라서, 보다 고정밀도로, 부착 오차 및 피딩량을 구할 수 있음과 함께, 부착 오차 및 피딩량을 구할 때의 연산 부하를 경감할 수 있다.
평행광 광원(32)은, 스폿광이 경통 광축과 평행하게 되도록, 피딩부(23)에 설치할 수 있다. 다만, 이 경우, 스폿광(스폿광상)을 사용하여, 부착 오차를 구할 수는 있지만, 피딩량을 검출할 수는 없다.
평행광 광원(32)은, 스폿광이 경통 광축 방향으로부터 기울어진 경사 방향으로 조사되도록, 피딩부(23)에 설치함으로써, 도 21 내지 도 24에서 설명한 제4 검출 방법에 의해, 피딩량을 검출할 수 있다.
또한, 평행광 광원(32)을 채용하는 경우에도, 도 25의 경우와 마찬가지로, 평면에서 보았을 때, 평행광 광원(32L과 32R)을 잇는 직선과 평행하지 않은 직선, 예를 들면, 직교하는 직선 상에, 복수로서의, 예를 들면, 2개의 평행광 광원(32U 및 32D)을 설치할 수 있다.
이 경우, 다안 교환 렌즈(20)가, 카메라 본체(10)에 장착되었을 때, 다안 교환 렌즈(20)의 x축 주위의 렌즈 기울어짐이나, y축 주위의 렌즈 기울어짐에 따라, 평행광 광원(32L, 32R, 32U, 32D)이 조사하는 스폿광의 스폿광상의 위치가 변화한다.
도 27은 렌즈 기울어짐에 따라, 평행광 광원(32)이 조사하는 평행광의 스폿광상의 위치가 변화하는 상태를 나타내는 도면이다.
평행광 광원(32L과 32R)을 잇는 직선과 직교하는 직선 상에, 2개의 평행광 광원(32U 및 32D)을 설치한 다안 교환 렌즈(20)가, 카메라 본체(10)에 장착된 경우에는, 다안 교환 렌즈(20)의 x축 주위의 렌즈 기울어짐이나, y축 주위의 렌즈 기울어짐에 따라, 평행광 광원(32)이 조사하는 평행광의 스폿광상의 위치가 변화한다.
따라서, 스폿광상의 위치에 따라, 다안 교환 렌즈(20)의 x축 주위의 렌즈 기울어짐이나, y축 주위의 렌즈 기울어짐을 검출할 수 있다.
이 경우, 허용되는 양을 초과하는 양의 렌즈 기울어짐이 검출되었을 때에는, 사용자에게, 다안 교환 렌즈(20)의 재부착을 촉구할 수 있다. 나아가, 렌즈 기울어짐의 양을 검출하고, 그 렌즈 기울어짐 양의 영향이 캔슬되도록, 시차 정보를 구하는 것이나, 개안 화상의 영역을 특정하는 것 등을 행할 수 있다.
<카메라 시스템(1)의 다른 전기적 구성예>
도 28은 도 1의 카메라 시스템(1)의 다른 전기적 구성예를 나타내는 블록도이다.
한편, 도면 중, 도 2의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고, 이하에서는, 그 설명은 적절히 생략된다.
여기서, 본 기술을 적용한 카메라 시스템(1)(또는 렌즈 일체형의 카메라 시스템)은, 이미지 센서(51)에 의해 촬상되는 전체 화상(촬상 화상) 위의 각 개안 화상의 위치를 특정하는 개안 화상 위치 정보, 즉, 이미지 센서(51)에 있어서의 복수의 개안 렌즈(31i)로부터 출사되는 각 촬상 광의 출사 위치를 나타내는 개안 화상 위치 정보를 보유하고 있다. 나아가, 카메라 시스템(1)은, 광원(32)의 스폿광의 스폿광상의 위치를 특정하는 스폿광상 위치 정보를 보유하고 있다.
여기서, 전체 화상이란, 이미지 센서(51)에 의해 촬상되는 촬상 화상의 전체, 또는 그 촬상 화상의 전체로부터, 촬상 화상에 포함되는 모든 개안 화상보다도 외측의 일부 또는 전부를 삭제한 화상을 의미한다.
한편, 개안 화상 위치 정보 및 스폿광상 위치 정보는, 카메라 시스템(1) 마다 산출된 정보이어도 되고, 기종별로 산출된 정보이어도 된다.
또한, 개안 화상 위치 정보는, 각 개안 화상의 절대적인 위치의 정보이어도 되고, 소정의 1개의 개안 렌즈(31i)를 기준 렌즈로 하여, 그 기준 렌즈에 대한 개안 화상의 절대적인 위치의 정보와, 기준 렌즈에 대한 개안 화상의 위치를 기준으로 하는, 다른 개안 화상의 상대적인 위치의 정보이어도 된다.
카메라 시스템(1)이 보유하고 있는 개안 화상 위치 정보 및 스폿광상 위치 정보는, 예를 들면, 각각, 개체차 반영 위치 정보(기지의 기준 위치) 및 개체차 스폿광 위치 정보(기지의 광 위치)와 대응하도록 한 값으로서 있어도 되지만, 이에 한정되지 않는다.
카메라 시스템(1)은, 실제 촬상시(일반적인 촬상 화상(미지의 촬상 화상)의 촬상시)의 전체 화상으로부터 검출되는 스폿광상의 위치(검출 스폿광상 위치 정보)를 사용하여, 개안 화상 위치 정보를 수정한다.
카메라 시스템(1)의 다안 교환 렌즈(20)에서는, 각 개안 렌즈(31i)와 광원(32)이 일체적으로 피딩되므로, 포커스(또는 줌)의 조정에 의해, 개안 렌즈(31i)가 피딩되어도, 개안 렌즈(31i)와 일체적으로 피딩되는 광원(32)의 검출 스폿광상 위치 정보를 사용하여, 개안 화상 위치 정보를 정확하게 수정(보정)할 수 있다.
즉, 개안 렌즈(31i)가 피딩됨으로써, 「다양한 이유」로, 피딩량에 따라 상이한 위치 어긋남량이 생기지만, 개안 렌즈(31i)가 피딩되어도, 개안 화상과 광원(32)의 위치 관계, 즉, 개안 화상과 스폿광상의 위치 관계는 변함없다. 그 때문에, 실제 촬상시의 전체 화상 상의 스폿광상의 위치(검출 스폿광상 위치 정보)를 검출하고, 카메라 시스템(1)이 보유하고 있는 스폿광상 위치 정보와의 어긋남을 파악함으로써, 각 개안 화상의 개안 화상 위치 정보를 정확하게 수정할 수 있다.
「다양한 이유」란, 예를 들면, 피딩 시에 일체로 되어 움직이는 개안 렌즈(31i)군(개안 렌즈 유닛)이 기우는 것, 피딩 시에 개안 렌즈 유닛이 회전하는 것, 다안 교환 렌즈(20)에 대해서는, 부착 오차에 의해 동일한 피딩량의 경우에도 부착 시의 회전 오차나 기울기의 오차 등이 있는 것 등이 있다.
카메라 시스템(1)에서는, 이상과 같이, 개안 화상의 개안 화상 위치 정보를 정확하게 수정할 수 있으므로, 그 수정 후의 개안 화상 위치 정보(수정 개안 화상 위치 정보)를 사용하여, 전체 화상으로부터, 예를 들면, 광축 중심 위치를 중심으로 하는 소정의 범위를, 개안 화상으로서, 정확하게 추출하는(잘라내는) 것이나, 렌즈 왜곡 등의 영향을 억제하는 처리(시차 정보의 생성 등)를 행할 수 있다.
한편, 실제 촬상시의 전체 화상으로부터 검출되는 검출 스폿광상 위치 정보는, 예를 들면, 장착 오차 스폿광 위치 정보(미지의 광 위치)와 대응하도록 한 값으로서 있어도 되지만, 이에 한정되지 않는다. 또한, 검출 스폿광상 위치 정보를 사용하여, 개안 화상 위치 정보를 수정한 수정 개안 화상 위치 정보는, 예를 들면, 장착 오차 반영 위치 정보(미지의 기준 위치)와 대응하도록 한 값으로서 있어도 되지만, 이에 한정되지 않는다.
도 28에 있어서, 영역 특정부(52)는, 개안 화상 위치 정보 수정부(211) 및 개안 화상 추출부(212)를 갖는다.
개안 화상 위치 정보 수정부(211)에는, 통신부(56)로부터, 다안 교환 렌즈(20)의 기억부(41)의 렌즈 정보(의 일부)로서 기억된 개안 화상 위치 정보 및 스폿광상 위치 정보가 공급된다. 나아가, 개안 화상 위치 정보 수정부(211)에는, 스폿광상 검출부(62)로부터, 이미지 센서(51)에 의해 촬상된 전체 화상(촬상 화상)으로부터 검출된 검출 스폿광상 위치 정보가 공급된다.
개안 화상 위치 정보 수정부(211)는, 통신부(56)로부터의 스폿광상 위치 정보, 및 스폿광상 검출부(62)로부터의 검출 스폿광상 위치 정보를 사용하여, 통신부(56)로부터의 개안 화상 위치 정보를 수정하고, 그 결과 얻어지는 수정 개안 화상 위치 정보를, 개안 화상 추출부(212) 및 연관부(221)에 공급한다. 개안 화상 위치 정보 수정부(211)에 있어서, 개안 화상 위치 정보의 수정은, 위치 산출부(57)(도 2)에 있어서의 장착 오차 반영 위치 정보를 구하는 처리와 마찬가지로 하여 행해진다.
개안 화상 추출부(212)에는, 상술한 바와 같이, 개안 화상 위치 정보 수정부(211)로부터 수정 개안 화상 위치 정보가 공급되는 것 외에, 이미지 센서(51)로부터 전체 화상(촬상 화상)이 공급된다.
개안 화상 추출부(212)는, 개안 화상 위치 정보 수정부(211)로부터의 수정 개안 화상 위치 정보를 사용하여, 이미지 센서(51)로부터의 전체 화상 상의, 개안 렌즈(310 내지 314) 각각에 대한 개안 화상의 영역을 나타내는 영역 정보를 구한다. 예를 들면, 개안 화상 추출부(212)는, 수정 개안 화상 위치 정보를 중심으로 하는 사각형의 영역을 나타내는 정보를 영역 정보로서 구한다.
그리고, 개안 화상 추출부(212)는, 이미지 센서(51)로부터의 전체 화상으로부터, 영역 정보가 나타내는 영역을, 개안 화상으로서 추출하고, 필요에 따라, 표시부(54) 및 연관부(221)에 공급한다.
또한, 개안 화상 추출부(212)는, 이미지 센서(51)로부터의 전체 화상을, 필요에 따라, 표시부(54) 및 연관부(221)에 공급한다.
표시부(54)에서는, 개안 화상 추출부(212)로부터의 전체 화상이나 개안 화상이 표시된다.
연관부(221)는, 개안 화상 위치 정보 수정부(211)로부터의 수정 개안 화상 위치 정보, 및, 개안 화상 추출부(212)로부터의 개안 화상 또는 전체 화상을 대상으로 한 연관을 행한다.
연관부(221)는, 예를 들면, 개안 화상 추출부(212)로부터의, 동일한 전체 화상으로부터 추출된 각 개안 화상의 연관을 행한다. 또한, 연관부(221)는, 예를 들면, 개안 화상 추출부(212)로부터의, 동일한 전체 화상으로부터 추출된 각 개안 화상, 및 각 개안 화상의 추출에 사용된 수정 개안 화상 위치 정보의 연관을 행한다. 나아가, 연관부(221)는, 예를 들면, 개안 화상 추출부(212)로부터의 전체 화상(촬상 화상)과, 개안 화상 위치 정보 수정부(211)로부터의, 그 전체 화상으로부터 검출된 검출 스폿광상 위치 정보를 사용하여 개안 화상 위치 정보를 수정한 수정 개안 화상 위치 정보(촬상 개안 화상 위치)과의 연관을 행한다.
연관은, 예를 들면, 연관 대상을 동일한 기록 매체에 기록하는 것이나, 연관 대상에, 동일한 ID(Identification)를 부여하는 것 등에 의해 행할 수 있다. 또한, 연관은, 예를 들면, 연관 대상의 메타 데이터(수정 개안 화상 위치 정보를 연관시키는 대상의 개안 화상 또는 전체 화상의 메타 데이터)를 사용하여 행할 수 있다.
연관부(221)는, 연관에 의해 연관된 정보(연관 정보)를, 함께, 기록하거나 전송할 수 있다.
한편, 연관부(221)에서는, 그 밖에, 예를 들면, (렌즈 정보에 포함되는) 스폿광상 위치 정보와, 전체 화상으로부터 검출된 검출 스폿광상 위치 정보를 연관시킬 수 있다.
또한, 연관부(221)에서 얻어지는 연관 정보는, 카메라 시스템(1)이나 외부 기기에서의 포스트 처리의 대상으로 할 수 있다. 포스트 처리에서는, 예를 들면, 전체 화상과 수정 개안 화상 위치 정보를 연관시킨 연관 정보에 포함되는 전체 화상으로부터, 그 연관 정보에 포함되는 수정 개안 화상 위치 정보를 사용하여, 개안 화상을 추출할 수 있다.
나아가, 연관부(221)에서는, 전체 화상(촬상 화상), 그 전체 화상으로부터 검출된 검출 스폿광상 위치 정보(검출 광상 위치), 스폿광상 위치 정보(기억 광상 위치), 및 개안 화상 위치 정보(기억 개안 화상 위치)를 연관시킬 수 있다. 이 경우, 전체 화상, 검출 스폿광상 위치 정보, 스폿광상 위치 정보, 및 개안 화상 위치 정보를 연관시킨 연관 정보를 대상으로 하는 포스트 처리에서는, 검출 스폿광상 위치 정보 및 스폿광상 위치 정보를 사용하여, 개안 화상 위치 정보를 수정하고, 그 결과 얻어지는 수정 개안 화상 위치 정보를 사용하여, 전체 화상으로부터 개안 화상을 추출할 수 있다.
그 밖에, 연관부(221)에서는, 예를 들면, 스폿광상 위치 정보(기억 광상 위치), 스폿광상 위치 정보와 검출 스폿광상 위치 정보의 차분(기억 광상 위치와 검출 광상 위치의 차분), 개안 화상 위치 정보(기억 개안 화상 위치), 및 전체 화상(촬상 화상)을 연관시킬 수 있다.
또한, 연관부(221)에서는, 촬상 화상 상의 개안 화상의 위치를 특정할 수 있는 임의의 연관을 채용할 수 있다.
연관의 대상이 되는 대상 화상으로서는, 전체 화상이나, 전체 화상으로부터 추출된 각 개안 화상 외에, 전체 화상으로부터 추출된 각 개안 화상을 배열한 1매의 합성 화상을 채용할 수 있다.
또한, 대상 화상과 연관되는 대상의 대상 정보로서는, 수정 개안 화상 위치 정보 외에, 촬상 화상 상의 개안 화상의 위치를 특정할 수 있는 임의의 정보를 채용할 수 있다.
대상 정보로서는, 예를 들면, 개안 화상 위치 정보, 스폿광상 위치 정보, 및 검출 스폿광상 위치 정보의 세트를 채용할 수 있다.
대상 화상과 대상 정보의 연관에서는, 대상 화상과 대상 정보를 연관시켜, 기억 매체에 기억시키거나, 전송 매체를 통해 송신하거나, 하나의 파일로 할 수 있다.
여기서는, 「연관」은, 예를 들면, 일방의 데이터를 처리할 때에 타방의 데이터를 이용할 수 있도록 (링크시킬 수 있도록) 하는 것을 의미한다. 대상 화상 및 대상 정보의 데이터(파일)로서의 형태는 임의이다. 예를 들면, 대상 화상과 대상 정보가 하나의 데이터(파일)로서 통합되어도 되고, 각각 개별 데이터(파일)로 되어도 된다. 예를 들면, 대상 화상에 연관된 대상 정보는, 그 대상 화상과는 다른 전송로 상에서 전송되도록 해도 된다. 또한, 예를 들면, 대상 화상에 연관된 대상 정보는, 대상 화상과는 다른 기록 매체, 또는 동일한 기록 매체의 다른 기록 에어리어에 기록되도록 해도 된다. 대상 화상과 대상 정보를 통합하여, 하나의 스트림 데이터로 하거나, 하나의 파일로 할 수도 있다.
대상 화상은, 정지화상이어도 되고 동영상이어도 된다. 동영상의 경우, 각 프레임의 대상 화상과 대상 정보를 연관시킬 수 있다.
「연관」은, 대상 화상의 데이터 전체가 아닌, 데이터(파일)의 일부에 대하여 행할 수 있다. 예를 들면, 대상 화상이 복수의 프레임으로 이루어지는 동영상인 경우, 대상 정보를, 대상 화상의, 복수의 프레임, 1프레임, 또는 프레임 내의 일부분 등의 임의의 단위에 대하여 연관시킬 수 있다.
한편, 대상 화상과 대상 정보가 개별 데이터(파일)로 되는 경우는, 그 대상 화상과 대상 정보의 양쪽 모두에 동일한 ID(식별번호)를 부여하는 것 등에 의해, 양자를 연관시킬 수 있다. 또한, 대상 화상과 대상 정보가 하나의 파일로 통합되는 경우, 예를 들면, 파일의 헤더 등에 대상 정보가 부여되도록 해도 된다.
<포스트 처리 장치>
도 29는 연관 정보를 대상으로 하여 포스트 처리를 행하는 포스트 처리 장치의 구성예를 나타내는 블록도이다.
도 29에 있어서, 포스트 처리 장치(230)는, 영역 특정부(231), 화상 처리부(232), 표시부(233), 기록부(234), 및 전송부(235)를 갖는다. 영역 특정부(231)는, 개안 화상 위치 정보 수정부(241) 및 개안 화상 추출부(242)를 갖는다.
포스트 처리 장치(230)에는, 전체 화상, 검출 스폿광상 위치 정보, 스폿광상 위치 정보, 및, 개안 화상 위치 정보를 연관시킨 연관 정보가, 도시하지 않은 기록 매체나 전송 매체로부터 공급된다.
한편, 어떠한 정보를 연관시켜 두고, 어떻게 수정할지는 다양하게 있을 수 있다. 예를 들면, 검출 스폿광상 위치 정보와 스폿광상 위치 정보로부터 스폿광상 위치의 어긋남을 나타내는 스폿광상 위치 어긋남 정보를 사전에 산출하고, 전체 또는 개안 화상과, 스폿광상 위치 어긋남 정보를 연관시켜 두면, 검출 스폿광상 위치 정보와 스폿광상 위치 정보를 전체 화상 등에 연관시켜 둘 필요는 없다. 또한, 개안 화상 위치 정보를 미리 수정하여 수정 개안 화상 위치 정보와, 전체 화상 또는 개안 화상과 연관시켜 두어도 되고, 이 경우에는 포스트 처리에서의 개안 화상 위치 정보의 수정 등이 불필요해진다. 나아가, 검출 스폿광상 위치 정보로서는, 예를 들면, 전체 화상 상의 스폿광상의 위치 그 자체 외에, 예를 들면, 전체 화상의, 스폿광상이 찍히는 영역의 화상 부분의 정보를 채용할 수 있다. 검출 스폿광상 위치 정보로서, 예를 들면, 전체 화상의, 스폿광상이 찍히는 영역의 화상 부분의 정보를 채용하는 경우에는, 그 정보로부터, 전체 화상 상의 스폿광상의 위치가 구해진다.
연관 정보에 포함되는 검출 스폿광상 위치 정보, 스폿광상 위치 정보, 및, 개안 화상 위치 정보는, 개안 화상 위치 정보 수정부(241)에 공급된다. 연관 정보에 포함되는 전체 화상은, 개안 화상 추출부(242)에 공급된다.
개안 화상 위치 정보 수정부(241)는, 연관 정보에 포함되는 검출 스폿광상 위치 정보, 및, 스폿광상 위치 정보를 사용하여, 연관 정보에 포함되는 개안 화상 위치 정보를 수정하고, 그 결과 얻어지는 수정 개안 화상 위치 정보를, 개안 화상 추출부(242)에 공급한다. 개안 화상 위치 정보 수정부(241)에 있어서, 개안 화상 위치 정보의 수정은, 개안 화상 위치 정보 수정부(211)(도 28)와 마찬가지로 행해진다.
개안 화상 추출부(242)는, 개안 화상 위치 정보 수정부(241)로부터의 수정 개안 화상 위치 정보를 사용하여, 연관 정보에 포함되는 전체 화상 상의, 개안 렌즈(310 내지 314) 각각에 대한 개안 화상의 영역을 나타내는 영역 정보를 구한다.
그리고, 개안 화상 추출부(242)는, 전체 화상으로부터, 영역 정보가 나타내는 영역을, 개안 화상으로서 추출하고, 필요에 따라, 화상 처리부(232), 표시부(233), 기록부(234), 및, 전송부(235)에 공급한다.
한편, 개안 화상 추출부(242)는, 화상 처리부(232), 표시부(233), 기록부(234), 및, 전송부(235)에 대해, 개안 화상 외에, 전체 화상이나, 수정 개안 화상 위치 정보를, 필요에 따라 공급할 수 있다.
화상 처리부(232)는, 개안 화상 추출부(242)로부터의 개안 화상의 화상 처리를 행하고, 그 화상 처리의 결과를, 필요에 따라, 표시부(233), 기록부(234), 및, 전송부(235)에 공급한다. 화상 처리부(232)에서는, 예를 들면, 개안 화상 추출부(242)로부터의 개안 화상, 및, 수정 개안 화상 위치 정보를 사용하여, 시차 정보를 생성하고, 그 시차 정보 및 개안 화상을 사용하여, 리포커스를 행할 수 있다.
표시부(233)는, 개안 화상 추출부(242)로부터의 전체 화상이나, 개안 화상, 수정 개안 화상 위치 정보, 화상 처리부(232)의 화상 처리 결과를, 필요에 따라 표시한다. 기록부(234)는, 개안 화상 추출부(242)로부터의 전체 화상이나, 개안 화상, 수정 개안 화상 위치 정보, 화상 처리부(232)의 화상 처리 결과를, 필요에 따라, 도시하지 않은 기록 매체에 기록한다. 전송부(235)는, 개안 화상 추출부(242)로부터의 전체 화상이나, 개안 화상, 수정 개안 화상 위치 정보, 화상 처리부(232)의 화상 처리 결과를, 필요에 따라, 도시하지 않은 전송 매체를 통해 전송한다.
포스트 처리 장치(230)에서는, 검출 스폿광상 위치 정보, 및, 스폿광상 위치 정보를 사용하여, 개안 화상 위치 정보를 수정하는 처리나, 개안 화상 위치 정보의 수정에 의해 얻어지는 수정 개안 화상 위치 정보를 사용하여, 전체 화상으로부터 개안 화상을 추출하는 처리를, 포스트 처리로서 행할 수 있다.
이상과 같은 포스트 처리 장치(230)는, 개안 화상의 재생, 표시, 화상 처리를 행하는 장치에 설치할 수 있다.
도 30은 연관 정보를 대상으로 하여 포스트 처리를 행하는 포스트 처리 장치의 다른 구성예를 나타내는 블록도이다.
한편, 도면 중, 도 29의 포스트 처리 장치(230)와 대응하는 부분에 대해서는, 동일한 부호를 붙이고, 이하에서는, 그 설명은 적절히 생략된다.
도 30에 있어서, 포스트 처리 장치(250)는, 영역 특정부(231) 내지 전송부(235)를 갖는다. 영역 특정부(231)는, 개안 화상 위치 정보 수정부(241)를 갖는다.
따라서, 포스트 처리 장치(250)는, 영역 특정부(231) 내지 전송부(235)를 갖는 점에서, 도 29의 포스트 처리 장치(230)와 공통이다. 다만, 포스트 처리 장치(250)는, 영역 특정부(231)가 개안 화상 추출부(242)를 갖고 있지 않는 점에서, 포스트 처리 장치(230)와 다르다.
포스트 처리 장치(250)에는, 복수의 개안 화상, 검출 스폿광상 위치 정보, 스폿광상 위치 정보, 및, 각각 복수의 개안 화상에 대응하는 복수의 개안 화상 위치 정보를 연관시킨 연관 정보가, 도시하지 않은 기록 매체나 전송 매체로부터 공급된다.
연관 정보에 포함되는 검출 스폿광상 위치 정보, 스폿광상 위치 정보, 및, 개안 화상 위치 정보는, 개안 화상 위치 정보 수정부(241)에 공급된다. 연관 정보에 포함되는 개안 화상은, 필요에 따라, 화상 처리부(232), 표시부(233), 기록부(234), 및, 전송부(235)에 공급된다.
개안 화상 위치 정보 수정부(241)는, 도 29에서 설명한 바와 같이, 연관 정보에 포함되는 검출 스폿광상 위치 정보, 및, 스폿광상 위치 정보를 사용하여, 연관 정보에 포함되는 개안 화상 위치 정보를 수정한다. 개안 화상 위치 정보 수정부(241)는, 개안 화상 위치 정보의 수정에 의해 얻어지는 수정 개안 화상 위치 정보를, 필요에 따라, 화상 처리부(232), 표시부(233), 기록부(234), 및, 전송부(235)에 공급한다.
화상 처리부(232)는, 개안 화상의 화상 처리를 행하고, 그 화상 처리의 결과를, 필요에 따라, 표시부(233), 기록부(234), 및, 전송부(235)에 공급한다. 화상 처리부(232)에서는, 예를 들면, 도 29의 경우와 마찬가지로, 개안 화상, 및, 수정 개안 화상 위치 정보를 사용하여, 시차 정보를 생성하고, 그 시차 정보 및 개안 화상을 사용하여, 리포커스를 행할 수 있다.
표시부(233)에서는, 개안 화상 추출부(242)로부터의 전체 화상이나, 개안 화상, 수정 개안 화상 위치 정보, 화상 처리부(232)의 화상 처리 결과, 개안 화상 위치 정보 수정부(241)에 의해 얻어지는 수정 개안 화상 위치 정보가, 필요에 따라 표시된다. 기록부(234)에서는, 개안 화상, 수정 개안 화상 위치 정보, 화상 처리부(232)의 화상 처리 결과, 개안 화상 위치 정보 수정부(241)에 의해 얻어지는 수정 개안 화상 위치 정보가, 필요에 따라 기록된다. 전송부(235)에서는, 개안 화상, 수정 개안 화상 위치 정보, 화상 처리부(232)의 화상 처리 결과, 개안 화상 위치 정보 수정부(241)에 의해 얻어지는 수정 개안 화상 위치 정보가, 필요에 따라 전송된다.
포스트 처리 장치(250)에서는, 검출 스폿광상 위치 정보, 및, 스폿광상 위치 정보를 사용하여, 개안 화상 위치 정보를 수정하는 처리를, 포스트 처리로서 행할 수 있다. 한편, 도 30에 있어서, 연관 정보에는, 전체 화상을 포함시킬 수 있다. 전체 화상은, 화상 처리부(232) 내지 전송부(235)에 공급되어, 처리 대상으로 할 수 있다.
이상과 같은 포스트 처리 장치(250)는, 개안 화상의 재생, 표시, 화상 처리를 행하는 장치에 설치할 수 있다. 한편, 상술한 바와 같이 포스트 처리 장치(230) 및 포스트 처리 장치(250)는, 카메라 시스템(1) 내에 포스트 처리 기능으로서 설치되어 있어도 된다.
<본 기술을 적용한 카메라 시스템의 다른 실시형태>
<카메라 시스템의 제1 다른 실시형태>
도 31은 본 기술을 적용한 카메라 시스템의 제1 다른 실시형태의 전기적 구성예를 나타내는 블록도이다.
한편, 도면 중, 도 2의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고, 이하에서는, 그 설명은 적절히 생략된다.
도 31에 있어서, 카메라 시스템(300)은 렌즈 일체형의 카메라 시스템이다. 카메라 시스템(300)은, 렌즈부(320), 이미지 센서(351), RAW 신호 처리부(352), 영역 추출부(353), 카메라 신호 처리부(354), 스루 화상 생성부(355), 영역 특정부(356), 화상 재구성 처리부(357), 버스(360), 표시부(361), 기억부(362), 통신부(364), 파일화부(365), 제어부(381), 기억부(382), 및, 광학계 제어부(384)를 갖는다.
렌즈부(320)는 피딩부(23)를 갖는다. 피딩부(23)는, 도 1 및 도 2에서 설명한 바와 같이, 개안 렌즈(310 내지 314) 및 광원(32L 및 32R)을 갖는다.
피딩부(23)는, 도 31에서는 도시하지 않은 경통(21)(도 1)의 내부를, 경통 광축의 광축 방향으로 이동한다. 피딩부(23)의 이동과 함께, 그 피딩부(23)가 갖는 개안 렌즈(310 내지 314), 및, 광원(32L 및 32R)도 일체적으로 이동한다.
개안 렌즈(31i)는, 각각을 통과하는 광의 광로가 서로 독립하도록 구성된다. 즉, 각 개안 렌즈(31i)를 통과한 광은, 다른 개안 렌즈(31j)에 입사하지 않고 이미지 센서(351)의 수광면(예를 들면, 유효 화소 영역)의 서로 다른 위치에 조사한다. 적어도, 각 개안 렌즈(31i)의 광축은, 이미지 센서(351)의 수광면의 서로 다른 장소에 위치하고 있고, 각 개안 렌즈(31i)를 통과한 광의 적어도 일부가, 이미지 센서(351)의 수광면의 서로 다른 위치에 조사한다.
따라서, 이미지 센서(351)에 의해 생성되는 촬상 화상(이미지 센서(351)의 출력하는 화상 전체)에는, 각 개안 렌즈(31i)를 통해 결상된 피사체의 상이 서로 다른 위치에 형성된다. 환언하면, 촬상 화상으로부터, 각 개안 렌즈(31i)의 위치를 시점으로 하는 화상(개안 화상)이 얻어진다.
이미지 센서(351)는, 예를 들면, 이미지 센서(51)와 마찬가지로, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서이며, 피사체를 촬상하여, 촬상 화상을 생성한다. 이미지 센서(351)의 수광면에는, 개안 렌즈(310 내지 314) 각각에 의해 집광되는 광선이 조사된다. 이미지 센서(351)는, 개안 렌즈(310 내지 314) 각각으로부터의 광선(조사광)을 수광하여 광전 변환을 행함으로써, 각 개안 렌즈(31i)를 시점으로 하는 개안 화상을 포함하는 촬상 화상을 생성한다.
이미지 센서(351)는, 이미지 센서(51)와 마찬가지로, 단색(소위, 모노크롬)의 이미지 센서이어도 되고, 화소군에, 예를 들면 베이어 배열의 컬러 필터가 배치된 컬러 이미지 센서이어도 된다. 즉, 이미지 센서(351)가 출력하는 촬상 화상은, 모노크롬 화상이어도 되고, 컬러 화상이어도 된다. 이하에서는, 이미지 센서(351)가 컬러 이미지 센서이며, RAW 포맷의 촬상 화상을 생성하여, 출력하는 것으로서 설명한다.
한편, 본 실시형태에 있어서 RAW 포맷이란, 이미지 센서(351)의 컬러 필터의 배치의 위치 관계를 유지한 상태의 화상을 의미하고, 이미지 센서(351)로부터 출력된 화상에 대하여 화상 사이즈의 변환 처리, 노이즈 저감 처리, 이미지 센서(351)의 결함 보정 처리 등의 신호 처리나 압축 부호화가 행해진 화상도 포함할 수 있는 것으로 한다.
이미지 센서(351)는, 조사광을 광전 변환하여 생성한 RAW 포맷의 촬상 화상(전체 화상)을 출력할 수 있다. 예를 들면, 이미지 센서(351)는, 그 RAW 포맷의 촬상 화상(전체 화상)을, 버스(360), RAW 신호 처리부(352), 영역 추출부(353), 및 영역 특정부(356) 중 적어도 임의의 하나에 공급할 수 있다.
예를 들면, 이미지 센서(351)는, RAW 포맷의 촬상 화상(전체 화상)을, 버스(360)를 통해 기억부(362)에 공급하여, 기억 매체(363)에 기억시킬 수 있다. 또한, 이미지 센서(351)는, RAW 포맷의 촬상 화상(전체 화상)을, 버스(360)를 통해 통신부(364)에 공급하여, 카메라 시스템(300)의 외부로 송신시킬 수 있다. 나아가, 이미지 센서(351)는, RAW 포맷의 촬상 화상(전체 화상)을, 버스(360)를 통해 파일화부(365)에 공급하여, 파일화시킬 수 있다. 또한, 이미지 센서(351)는, RAW 포맷의 촬상 화상(전체 화상)을, 버스(360)를 통해 화상 재구성 처리부(357)에 공급하여, 화상 재구성 처리를 행하게 할 수 있다.
한편, 이미지 센서(351)는 단판식의 이미지 센서이어도 되고, 예를 들면 3판식의 이미지 센서 등, 복수의 이미지 센서로 이루어지는 1세트의 이미지 센서(복수판식 이미지 센서라고도 칭함)이어도 된다.
한편, 복수판식의 이미지 센서의 경우, 각 이미지 센서는 RGB 각각을 위한 것에 한정되지 않고 모두 모노크롬이어도 되고, 모두가 베이어 배열 등의 컬러 필터를 구비한 것이어도 된다. 한편, 모두가 베이어 배열 등의 컬러 필터로 하는 경우, 모든 배열을 동일한 것으로 하고, 서로의 화소의 위치 관계를 맞춰 두면, 예를 들면 노이즈 저감을 행할 수 있고, RGB의 각 이미지 센서의 위치 관계를 시프트시킴으로써 소위 공간 화소 시프트에 의한 효과를 이용하여 고화질화하는 것도 가능하다.
이러한 복수판식 촬상 장치의 경우에도 각 이미지 센서, 즉 1개의 이미지 센서로부터 출력된 촬상 화상 내에, 복수의 개안 화상이나 복수의 시점 화상이 포함되게 된다.
RAW 신호 처리부(352)는, RAW 포맷의 화상에 대한 신호 처리에 관한 처리를 행한다. 예를 들면, RAW 신호 처리부(352)는, 이미지 센서(351)로부터 공급되는 RAW 포맷의 촬상 화상(전체 화상)을 취득할 수 있다. 또한, RAW 신호 처리부(352)는, 그 취득한 촬상 화상에 대해, 소정의 신호 처리를 실시할 수 있다. 이 신호 처리의 내용은 임의이다. 예를 들면, 결함 보정, 노이즈 저감, 또는 압축(부호화) 등이어도 되고, 이들 이외의 신호 처리이어도 된다. 물론, RAW 신호 처리부(352)는, 촬상 화상에 대하여 복수의 신호 처리를 행할 수도 있다. 한편, RAW 포맷의 화상에 대하여 행할 수 있는 신호 처리는, 신호 처리 후의 화상이, 상술한 바와 같이 이미지 센서(351)의 컬러 필터의 배치의 위치 관계를 유지한 상태의 화상(복수판식 촬상 장치의 경우는 R 화상, G 화상, B 화상의 상태인 채의 화상)인 것에 한정된다.
RAW 신호 처리부(352)는, 신호 처리를 실시한 RAW 포맷의 촬상 화상(RAW') 또는 압축(부호화)한 촬상 화상(압축 RAW)을, 버스(360)를 통해 기억부(362)에 공급하여, 기억 매체(363)에 기억시킬 수 있다. 또한, RAW 신호 처리부(352)는, 신호 처리를 실시한 RAW 포맷의 촬상 화상(RAW') 또는 압축(부호화)한 촬상 화상(압축 RAW)을, 버스(360)를 통해 통신부(364)에 공급하여, 송신시킬 수 있다. 나아가, RAW 신호 처리부(352)는, 신호 처리를 실시한 RAW 포맷의 촬상 화상(RAW') 또는 압축(부호화)한 촬상 화상(압축 RAW)을, 버스(360)를 통해 파일화부(365)에 공급하여, 파일화시킬 수 있다. 또한, RAW 신호 처리부(352)는, 신호 처리를 실시한 RAW 포맷의 촬상 화상(RAW') 또는 압축(부호화)한 촬상 화상(압축 RAW)을, 버스(360)를 통해 화상 재구성 처리부(357)에 공급하여, 화상 재구성 처리를 행하게 할 수 있다. 한편, 이들 RAW, RAW', 및 압축 RAW를 서로 구별하여 설명할 필요가 없는 경우, RAW 화상이라고 칭한다.
영역 추출부(353)는, RAW 포맷의 촬상 화상으로부터의 일부 영역의 추출(부분 화상의 잘라내기)에 관한 처리를 행한다. 예를 들면, 영역 추출부(353)는, 이미지 센서(351)로부터 RAW 포맷의 촬상 화상(전체 화상)을 취득할 수 있다. 또한, 영역 추출부(353)는, 영역 특정부(356)로부터 공급되는, 촬상 화상으로부터 추출하는 영역을 나타내는 정보(추출 영역 정보라고도 칭함)를 취득할 수 있다. 그리고, 영역 추출부(353)는, 그 추출 영역 정보에 기초하여, 촬상 화상으로부터 일부 영역을 추출할(부분 화상을 잘라낼) 수 있다.
예를 들면, 영역 추출부(353)는, 촬상 화상(전체 화상)으로부터, 각 개안 렌즈(31i)의 위치를 시점으로 하는 개안 화상을 잘라낼 수 있다. 또한, 촬상 화상에 있어서, 개안 화상이 잘라내지는 영역(개안 화상에 대응하는 영역)을 개안 화상 영역이라고도 칭한다. 예를 들면, 영역 추출부(353)는, 영역 특정부(356)로부터 공급되는, 개안 화상 영역을 특정하기 위해 사용되는 정보인 시점 관련 정보를, 추출 영역 정보로서 취득하고, 촬상 화상으로부터, 그 시점 관련 정보에 있어서 나타내지는 각 개안 화상 영역을 추출하는 것, 즉, 각 개안 화상을 잘라낼 수 있다. 그리고, 영역 추출부(353)는, 그 잘라낸 각 개안 화상(RAW 포맷)을 카메라 신호 처리부(354)에 공급할 수 있다.
시점 관련 정보는, 예를 들면, 상술한 개체차 반영 위치 정보, 또는, 장착 오차 반영 위치 정보에 대응하도록 한 값으로서 있어도 되지만, 이에 한정되지 않고, 개체차나 장착 오차와 같은 구별이나 이들을 보정하는 것을 의도하여 설정할 필요는 없고, 단순하게, 촬상 화상 상의 개안 화상의 영역과, 스폿광의 위치와의 관계를 나타내는 정보라 하더라도, 상술한 바와 같은 오차를 포함하는 다양한 오차를 가미한 수정이 가능하다.
영역 추출부(353)는, 촬상 화상(전체 화상)으로부터 잘라낸 각 개안 화상을 합성하여, 합성 화상을 생성할 수 있다. 합성 화상은, 각 개안 화상이 합성되어, 1데이터화, 또는, 1매의 화상으로 된 것이다. 예를 들면, 영역 추출부(353)는, 각 개안 화상을 평면 형상으로 배열한 1매의 화상을 합성 화상으로서 생성할 수 있다. 영역 추출부(353)는, 그 생성한 합성 화상(RAW 포맷)을 카메라 신호 처리부(354)에 공급할 수 있다.
또한, 예를 들면, 영역 추출부(353)는, 전체 화상을 카메라 신호 처리부(354)에 공급할 수 있다. 예를 들면, 영역 추출부(353)는, 취득한 촬상 화상으로부터, 모든 개안 화상을 포함하는 일부 영역을 추출하여(즉, 모든 개안 화상을 포함하는 부분 화상을 잘라내어), 그 잘라낸 부분 화상(즉, 촬상 화상에 포함되는 모든 개안 화상보다도 외측의 영역의 일부 또는 전부를 삭제한 화상)을, RAW 포맷의 전체 화상으로서 카메라 신호 처리부(354)에 공급할 수 있다. 이 경우의 추출하는 영역의 장소(범위)는, 영역 추출부(353)에서 미리 정해져 있어도 되고, 영역 특정부(356)로부터 공급되는 시점 관련 정보에 의해 지정되도록 해도 된다.
또한, 영역 추출부(353)는, 취득한 촬상 화상을 (즉, 잘라내진 모든 개안 화상을 포함하는 부분 화상이 아니라 촬상 화상 전체를), RAW 포맷의 전체 화상으로서 카메라 신호 처리부(354)에 공급할 수도 있다.
한편, 영역 추출부(353)는, 상술한 바와 같이 촬상 화상으로부터 잘라낸 RAW 포맷의 부분 화상(전체 화상, 개안 화상, 또는 합성 화상)을, 이미지 센서(351)의 경우와 마찬가지로, 버스(360)를 통해 기억부(362), 통신부(364), 파일화부(365), 또는 화상 재구성 처리부(357) 등에 공급할 수 있다.
또한, 영역 추출부(353)는, RAW 포맷의 부분 화상(전체 화상, 개안 화상, 또는 합성 화상)을, RAW 신호 처리부(352)에 공급하고, 소정의 신호 처리를 실시시키거나, 압축(부호화)시키거나 할 수도 있다. 이 경우에도, RAW 신호 처리부(352)는, 신호 처리를 실시한 RAW 포맷의 촬상 화상(RAW') 또는 압축(부호화)한 촬상 화상(압축 RAW)을, 버스(360)를 통해 기억부(362), 통신부(364), 파일화부(365), 또는 화상 재구성 처리부(357) 등에 공급할 수 있다.
즉, 전체 화상, 개안 화상, 및 합성 화상 중 적어도 임의의 하나는 RAW 화상이도록 해도 된다.
카메라 신호 처리부(354)는, 화상에 대한 카메라 신호 처리에 관한 처리를 행한다. 예를 들면, 카메라 신호 처리부(354)는, 영역 추출부(353)로부터 공급되는 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득할 수 있다. 또한, 카메라 신호 처리부(354)는, 그 취득한 화상에 대해, 카메라 신호 처리(카메라 프로세스)를 실시할 수 있다. 예를 들면, 카메라 신호 처리부(354)는, 처리 대상의 화상에 대해, RGB의 각 색을 분리하여 각각 처리 대상의 화상과 동일한 화소수의 R 화상, G 화상, 및, B 화상을 생성하는 색분리 처리(베이어 배열 등의 모자이크 컬러 필터를 사용한 경우는 디모자이크 처리(demosaic processing))나, 그 색분리 후의 화상의 색공간을 RGB로부터 YC(휘도·색차)로 변환하는 YC 변환 처리 등을 행할 수 있다. 또한, 카메라 신호 처리부(354)는, 처리 대상의 화상에 대해, 결함 보정, 노이즈 저감, AWB(Automatic White Balance), 또는, 감마 보정 등의 처리를 행할 수 있다. 나아가, 카메라 신호 처리부(354)는, 처리 대상의 화상을 압축(부호화)할 수도 있다. 물론, 카메라 신호 처리부(354)는, 처리 대상의 화상에 대해 복수의 카메라 신호 처리를 행할 수도 있고, 상술한 예 이외의 카메라 신호 처리를 행할 수도 있다.
한편, 이하에서는, 카메라 신호 처리부(354)가, RAW 포맷의 화상을 취득하고, 그 화상에 대해 색분리 처리나 YC 변환을 행하여, YC 포맷의 화상(YC)을 출력하는 것으로 한다. 이 화상은 전체 화상이어도 되고, 각 개안 화상이어도 되고, 합성 화상이어도 된다. 또한, 이 YC 포맷의 화상(YC)은 부호화되어 있어도 되고, 부호화되어 있지 않아도 된다. 즉, 카메라 신호 처리부(354)로부터 출력되는 데이터는 부호화 데이터이어도 되고, 부호화되어 있지 않은 화상 데이터이어도 된다.
즉, 전체 화상, 개안 화상, 및 합성 화상 중 적어도 임의의 하나는, 그 YC 포맷의 화상(YC 화상이라고도 칭함)이도록 해도 된다.
또한, 카메라 신호 처리부(354)가 출력하는 화상은, 완전한 현상 처리를 한 것이 아니며, YC 포맷의 화상(YC)으로서, 감마 보정이나 컬러 매트릭스 등의 비가역적인 화질 조정(색 조정)에 관한 처리의 일부 또는 전부를 실시하지 않은 것이어도 된다. 이 경우, 후단이나 재생시 등에서, YC 포맷의 화상(YC)을 거의 열화 없이 RAW 포맷의 화상으로 되돌릴 수 있다.
카메라 신호 처리부(354)는, 카메라 신호 처리를 실시한 YC 포맷의 화상(YC)을 버스(360)를 통해 기억부(362)에 공급하여, 기억 매체(363)에 기억시킬 수 있다. 나아가, 카메라 신호 처리부(354)는, 카메라 신호 처리를 실시한 YC 포맷의 화상(YC)을 버스(360)를 통해 통신부(364)에 공급하여, 외부로 송신시킬 수 있다. 또한, 카메라 신호 처리부(354)는, 카메라 신호 처리를 실시한 YC 포맷의 화상(YC)을 버스(360)를 통해 파일화부(365)에 공급하여, 파일화시킬 수 있다. 나아가, 카메라 신호 처리부(354)는, 카메라 신호 처리를 실시한 YC 포맷의 화상(YC)을 버스(360)를 통해 화상 재구성 처리부(357)에 공급하여, 화상 재구성 처리를 행하게 할 수 있다.
또한, 예를 들면, 카메라 신호 처리부(354)는, YC 포맷의 화상(YC)을 스루 화상 생성부(355)에 공급할 수도 있다.
한편, RAW 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)이 기억 매체(363)에 기억되어 있는 경우, 카메라 신호 처리부(354)는, 그 RAW 포맷의 화상을 기억 매체(363)로부터 판독하여, 신호 처리를 실시할 수 있도록 해도 된다. 이 경우에도, 카메라 신호 처리부(354)는, 카메라 신호 처리를 실시한 YC 포맷의 화상(YC)을, 버스(360)를 통해 표시부(361), 기억부(362), 통신부(364), 파일화부(365), 또는 화상 재구성 처리부(357) 등에 공급할 수 있다.
또한, 이미지 센서(351)로부터 출력되는 RAW 포맷의 촬상 화상(전체 화상)에 대해 카메라 신호 처리부(354)가 카메라 신호 처리를 실시하고, 그 카메라 신호 처리 후의 촬상 화상(전체 화상)으로부터, 영역 추출부(353)가 일부 영역을 추출하도록 해도 된다.
스루 화상 생성부(355)는 스루 화상(이미지)의 생성에 관한 처리를 행한다. 스루 화상은, 촬영시 또는 촬영 준비시(비기록시)에 사용자가 촬영 준비 중인 화상을 확인하기 위해 표시되는 화상이다. 스루 화상은, 라이브 뷰 화상이나 EE(Electronic to Electronic) 화상이라고도 칭해진다. 한편, 정지화상 촬영시에는 촬영 전의 화상이지만, 동영상 촬영시에는, 촬영 준비 중뿐만 아니라 촬영(기록)중인 화상에 대응하는 스루 화상도 표시된다.
예를 들면, 스루 화상 생성부(355)는, 카메라 신호 처리부(354)로부터 공급되는 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득할 수 있다. 또한, 스루 화상 생성부(355)는, 그 취득한 화상을 사용하여, 예를 들면 표시부(361)의 해상도에 따른 화상 사이즈로 변환하는 화상 사이즈(해상도) 변환을 행함으로써, 표시용 화상인 스루 화상을 생성할 수 있다. 스루 화상 생성부(355)는, 생성한 스루 화상을 버스(360)를 통해 표시부(361)에 공급하여, 표시시킬 수 있다.
영역 특정부(356)는, 영역 추출부(353)가 촬상 화상으로부터 추출하는 영역의 특정(설정)에 관한 처리를 행한다. 예를 들면, 영역 특정부(356)는, 촬상 화상으로부터 추출하는 영역을 특정하는 시점 관련 정보 VI를 취득하여, 추출 영역 정보로서, 영역 추출부(353)에 공급한다.
시점 관련 정보 VI는, 예를 들면, 상술한 개체차 반영 위치 정보에 대응하도록 한 값으로서 있어도 되지만, 이에 한정되지 않는다. 시점 관련 정보 VI는, 예를 들면, 촬영 화상에 있어서의 개안 화상의 설계상의 위치나, 기지의 촬상 화상의 촬상시의 위치 등을 나타낸다.
시점 관련 정보 VI는, 예를 들면, 촬상 화상에 있어서의 개안 화상 영역을 나타내는 개안 영역 정보를 포함한다. 개안 영역 정보는, 개안 화상 영역을 임의의 방식으로 나타낼 수도 있다. 예를 들면, 촬상 화상에 있어서의 개안 렌즈(31)의 광축에 대응하는 위치(광축 중심 위치)를 나타내는 좌표(개안 화상 영역의 중심 좌표라고도 칭함)와 개안 화상(개안 화상 영역)의 해상도(화소수)에 의해, 개안 화상 영역이 나타내지도록 해도 된다. 즉, 개안 영역 정보가, 촬상 화상에 있어서의 개안 화상 영역의 중심 좌표와 개안 화상 영역의 해상도를 포함하도록 해도 된다. 이 경우, 개안 화상 영역의 중심 좌표와 그 개안 화상 영역의 해상도(화소수)로부터, 전체 화상 내의 개안 화상 영역의 장소의 특정이 가능해진다.
한편, 개안 영역 정보는 개안 화상 영역마다 설정된다. 즉, 촬상 화상에 복수의 개안 화상이 포함되는 경우, 시점 관련 정보 VI는, 각 개안 화상(각 개안 화상 영역)에 대해, 개안 화상(영역)을 식별하기 위한 시점 식별 정보(예를 들면, ID)와 개안 영역 정보를 포함할 수 있다.
또한, 시점 관련 정보 VI는 그 밖의 임의의 정보를 포함할 수 있다. 예를 들면, 시점 관련 정보 VI가, 개안 화상이 추출되는 촬상 화상이 촬상된 시각을 나타내는 시점 시각 정보를 포함하도록 해도 된다.
영역 특정부(356)는 시점 관련 정보 VI를 버스(360)에 공급할 수 있다. 예를 들면, 영역 특정부(356)는, 시점 관련 정보 VI를 버스(360)를 통해 기억부(362)에 공급하여, 기억 매체(363)에 기억시킬 수 있다. 또한, 영역 특정부(356)는, 시점 관련 정보 VI를 버스(360)를 통해 통신부(364)에 공급하여, 송신시킬 수 있다. 나아가, 영역 특정부(356)는, 시점 관련 정보 VI를 버스(360)를 통해 파일화부(365)에 공급하여, 파일화시킬 수 있다. 또한, 영역 특정부(356)는, 시점 관련 정보 VI를 버스(360)를 통해 화상 재구성 처리부(357)에 공급하여, 화상 재구성 처리에 이용할 수 있다.
예를 들면, 영역 특정부(356)는, 시점 관련 정보 VI를 제어부(381)로부터 취득하여, 영역 추출부(353)나 버스(360)에 공급해도 된다. 이 경우, 제어부(381)는, 기억 매체(383)에 기억되어 있는 시점 관련 정보 VI를, 기억부(382)를 통해 판독하여, 영역 특정부(356)에 공급한다. 영역 특정부(356)는, 그 시점 관련 정보 VI를 영역 추출부(353)나 버스(360)에 공급한다.
이와 같이 버스(360)를 통해 기억부(362), 통신부(364), 또는 파일화부(365)에 공급된 시점 관련 정보 VI는, 거기에서 화상(전체 화상, 개안 화상, 또는 합성 화상)과 연관된다. 예를 들면, 기억부(362)는, 공급된 시점 관련 정보 VI를 화상(전체 화상, 개안 화상, 또는 합성 화상)과 연관시켜, 기억 매체(363)에 기억시킬 수 있다. 또한, 통신부(364)는, 공급된 시점 관련 정보 VI를 화상(전체 화상, 개안 화상, 또는 합성 화상)과 연관시켜, 외부로 송신할 수 있다. 나아가, 파일화부(365)는, 공급된 시점 관련 정보 VI를 화상(전체 화상, 개안 화상, 또는 합성 화상)과 연관시켜, 이들을 포함하는 하나의 파일을 생성할 수 있다.
또한, 영역 특정부(356)는, 이미지 센서(351)로부터 공급되는 RAW 포맷의 촬상 화상을 취득하고, 그 촬상 화상에 기초하여 시점 관련 정보 VI'를 생성하고, 그 생성한 시점 관련 정보 VI'를 영역 추출부(353)나 버스(360)에 공급해도 된다. 이 경우, 영역 특정부(356)는, 촬상 화상으로부터 각 개안 화상 영역을 특정하고, 그 개안 화상 영역을 나타낸다(예를 들면, 촬상 화상에 있어서의 개안 화상 영역의 중심 좌표와 개안 화상 영역의 해상도 등에 의해 개안 화상 영역을 나타내는) 시점 관련 정보 VI'를 생성한다. 그리고, 영역 특정부(356)는, 그 생성한 시점 관련 정보 VI'를 영역 추출부(353)나 버스(360)에 공급한다. 한편, 이 시점 관련 정보 VI'와 함께, 영역 특정부(356)가 촬상 화상에 기초하여 생성한 스폿광 정보 SI'를 공급해도 된다.
스폿광 정보는 스폿광상에 관한 정보이며, 예를 들면, 상술한 개체차 스폿광 위치 정보 또는 장착 오차 스폿광 위치 정보에 대응하도록 한 값으로서 있어도 되지만, 이에 한정되지 않는다.
영역 특정부(356)는, 시점 관련 정보 VI를 제어부(381)로부터 취득하고, 이미지 센서(351)로부터 공급되는 RAW 포맷의 촬상 화상을 취득하고, 그 촬상 화상에 기초하여 스폿광 정보 SI'를 생성하고, 시점 관련 정보 VI에 그 스폿광 정보 SI'를 부가하여, 영역 추출부(353)나 버스(360)에 공급해도 된다. 이 경우, 제어부(381)는, 기억 매체(383)에 기억되어 있는 시점 관련 정보 VI를, 기억부(382)를 통해 판독하여, 영역 특정부(356)에 공급한다. 영역 특정부(356)는, 시점 관련 정보 VI를, 스폿광 정보 SI'를 사용하여 보정하여, 보정 후의 시점 관련 정보 VI'를 생성한다. 영역 특정부(356)는, 그 시점 관련 정보 VI'를 영역 추출부(353)나 버스(360)에 공급한다.
또한, 영역 특정부(356)는, 시점 관련 정보 VI를 제어부(381)로부터 취득하고, 이미지 센서(351)로부터 공급되는 RAW 포맷의 촬상 화상을 취득하고, 그 촬상 화상에 기초하여 스폿광 정보 SI'를 생성하고, 그 스폿광 정보 SI'를 사용하여 시점 관련 정보 VI를 보정하여, 보정 후의 시점 관련 정보 VI'를 영역 추출부(353)나 버스(360)에 공급해도 된다. 이 경우, 제어부(381)는, 기억 매체(383)에 기억되어 있는 시점 관련 정보 VI를, 기억부(382)를 통해 판독하여, 영역 특정부(356)에 공급한다. 영역 특정부(356)는, 그 시점 관련 정보 VI를, 스폿광 정보 SI'를 사용하여 보정하여, 시점 관련 정보 VI'를 생성한다. 영역 특정부(356)는, 그 시점 관련 정보 VI'를 영역 추출부(353)나 버스(360)에 공급한다.
스폿광 정보 SI'는, 예를 들면, 상술한 장착 오차 스폿광 위치 정보, 또는, 스폿광상 정보에 대응하도록 한 값으로서 있어도 되지만, 이에 한정되지 않는다. 스폿광 정보 SI'는, 예를 들면, 촬상 화상에 찍히는 스폿광상의 위치 및/또는 스폿 사이즈 등을 나타낸다.
여기서, 이미지 센서(351)의 수광면에 수직인 방향과, 피딩부(23)의 이동 방향의 시프트나, 피딩부(23)의 이동에 따른 개안 렌즈(31i)의 회전 시프트 등의 피딩부(23)의 이동에 따른 각종의 시프트에 기인하여, 피딩부(23)의 이동에 따라, 촬상 화상에 있어서의 개안 화상의 위치가 시프트되는 경우가 있다.
피딩부(23)의 이동에 따라, 촬상 화상에 있어서의 개안 화상의 위치가 시프트된 경우, 촬상 화상의, 시점 관련 정보 VI가 나타내는 위치로부터 화상을 잘라내면(추출하면), (본래의) 개안 화상의 개안 화상 영역으로부터 시프트된 영역의 화상이, 개안 화상으로서 잘라내진다.
이에, 영역 특정부(356)는, 촬상 화상으로부터 생성된 스폿광 정보 SI'가 나타내는 스폿광상의 위치 및/또는 스폿 사이즈를 사용하여, 촬상 화상에 있어서의 개안 화상의 위치 어긋남(량)을 검출할 수 있다.
그리고, 영역 특정부(356)는, 개안 화상의 위치 어긋남에 따라, 촬상 화상으로부터 개안 화상을 잘라내는 위치를 수정하기 위한 정보를 얻어, 영역 추출부(353)에 공급할 수 있다.
즉, 영역 특정부(356)는, 개안 화상의 위치 어긋남에 따라, 그 위치 어긋남 후의 개안 화상의 위치를 나타내도록, 시점 관련 정보 VI를 보정하고, 그 보정에 의해 얻어지는 시점 관련 정보 VI'를 영역 추출부(353)에 공급한다.
여기서, 기억 매체(383)는, 예를 들면, 시점 관련 정보 VI 및 스폿광 정보 SI를 기억하고 있다. 스폿광 정보 SI는, 예를 들면, 상술한 개체차 스폿광 위치 정보에 대응하도록 한 값으로서 있어도 되지만, 이에 한정되지 않는다. 스폿광 정보 SI는, 예를 들면, 촬영 화상에 있어서의 스폿광상의 설계상의 위치 및/또는 스폿 사이즈나, 기지의 촬상 화상의 촬상시의 위치 및/또는 스폿 사이즈 등을 나타낸다.
시점 관련 정보 VI 및 스폿광 정보 SI는, 동일한 타이밍에서 얻어지는 정보이다. 예를 들면, 시점 관련 정보 VI가, 설계상의 개안 화상의 위치(시점) 등을 나타내는 정보인 경우, 스폿광 정보 SI도, 설계상의 스폿광상의 위치 등을 나타내는 정보이다. 또한, 예를 들면, 시점 관련 정보 VI가, 기지의 촬상 화상의 촬상시에 검출된 개안 화상의 위치 등을 나타내는 정보인 경우, 스폿광 정보 SI도, 기지의 촬상 화상의 촬상시에 검출된 스폿광상의 위치 등을 나타내는 정보이다.
영역 특정부(356)에서는, 예를 들면, 스폿광 정보 SI와, 촬상 화상으로부터 생성된 스폿광 정보 SI'의 차이를, 촬상 화상에 있어서의 개안 화상의 위치 어긋남으로서 검출할 수 있다. 그리고, 영역 특정부(356)에서는, 촬상 화상에 있어서의 개안 화상의 위치 어긋남, 즉, 스폿광 정보 SI와, 촬상 화상으로부터 생성된 스폿광 정보 SI'의 차이를 사용하여, 시점 관련 정보 VI를 보정하고, 촬상 화상에 있어서의 개안 화상의 위치 어긋남 분을 보정(수정)한 시점 관련 정보 VI'를 생성할 수 있다.
그 밖에, 영역 특정부(356)는, 촬상 화상으로부터 생성된 스폿광 정보 SI'를 사용하여, 피딩부(23)의 피딩량을 검출할 수 있다.
화상 재구성 처리부(357)는 화상의 재구성에 관한 처리를 행한다. 예를 들면, 화상 재구성 처리부(357)는, 버스(360)를 통해 카메라 신호 처리부(354)나 기억부(362)로부터 YC 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득할 수 있다. 또한, 화상 재구성 처리부(357)는, 버스(360)를 통해 영역 특정부(356)나 기억부(362)로부터 시점 관련 정보를 취득할 수 있다.
나아가, 화상 재구성 처리부(357)는, 그 취득한 화상과 취득한 화상에 연관된 시점 관련 정보를 사용하여, 예를 들면, 깊이 정보의 생성이나, 임의의 피사체에 포커스를 맞춘 화상을 생성(재구성)하는 리포커스 등의 화상 처리를 행할 수 있다. 예를 들면, 개안 화상을 처리 대상으로 하는 경우, 화상 재구성 처리부(357)는, 그 각 개안 화상을 사용하여 깊이 정보의 생성이나 리포커스 등의 처리를 행한다. 또한, 촬상 화상이나 합성 화상을 처리 대상으로 하는 경우, 화상 재구성 처리부(357)는, 그 촬상 화상이나 합성 화상으로부터 각 개안 화상을 추출하고, 추출한 개안 화상을 사용하여 깊이 정보의 생성이나 리포커스 등의 처리를 행한다.
화상 재구성 처리부(357)는, 생성한 깊이 정보나 리포커스된 화상을 처리 결과로서, 버스(360)를 통해 기억부(362)에 공급하여, 기억 매체(363)에 기억시킬 수 있다. 또한, 화상 재구성 처리부(357)는, 생성한 깊이 정보나 리포커스된 화상을 처리 결과로서, 버스(360)를 통해 통신부(364)에 공급하여, 외부로 송신시킬 수 있다. 나아가, 화상 재구성 처리부(357)는, 생성한 깊이 정보나 리포커스된 화상을 처리 결과로서, 버스(360)를 통해 파일화부(365)에 공급하여, 파일화시킬 수 있다.
버스(360)에는, 이미지 센서(351), RAW 신호 처리부(352), 영역 추출부(353), 카메라 신호 처리부(354), 스루 화상 생성부(355), 영역 특정부(356), 화상 재구성 처리부(357), 표시부(361), 기억부(362), 통신부(364), 및 파일화부(365)가 접속된다. 버스(360)는, 이들 블록간에 주고받는 각종 데이터의 전송 매체(전송로)로서 기능한다. 한편, 이 버스(360)는, 유선에 의해 실현되어도 되고, 무선에 의해 실현되어도 된다.
표시부(361)는, 예를 들면, 액정 패널이나 유기 EL(Electro Luminescence) 패널 등으로 구성되고, 카메라 시스템(300)의 하우징과 일체, 또는 별체로 설치되어 있다. 예를 들면, 표시부(361)는, 카메라 시스템(300)의 하우징 배면(렌즈부(320)가 설치되어 있는 면과 반대측의 면)에 설치되어 있어도 된다.
표시부(361)는 화상의 표시에 관한 처리를 행한다. 예를 들면, 표시부(361)는, 스루 화상 생성부(355)로부터 공급되는 YC 포맷인 스루 화상을 취득하여, RGB포맷으로 변환하여 표시할 수 있다. 그 밖에, 표시부(361)는, 예를 들면, 메뉴, 카메라 시스템(300)의 설정 등의 정보를 표시할 수도 있다.
또한, 표시부(361)는, 기억부(362)로부터 공급되는 YC 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득하여, 표시할 수 있다. 또한, 표시부(361)는, 기억부(362)로부터 공급되는 YC 포맷의 섬네일 화상(thumbnail image)을 취득하여, 표시할 수 있다. 나아가, 표시부(361)는, 카메라 신호 처리부(354)로부터 공급되는 YC 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득하여, 표시할 수 있다.
기억부(362)는, 예를 들면, 반도체 메모리 등으로 이루어지는 기억 매체(363)의 기억을 제어한다. 이 기억 매체(363)는 리무버블 기억 매체이어도 되고, 카메라 시스템(300)에 내장되는 기억 매체이어도 된다. 예를 들면, 기억부(362)는, 제어부(381)나 사용자의 조작 등에 따라, 버스(360)를 통해 공급되는 화상(전체 화상, 개안 화상, 또는 합성 화상)을 기억 매체(363)에 기억시킬 수 있다.
예를 들면, 기억부(362)는, 이미지 센서(351) 또는 영역 추출부(353)로부터 공급되는 RAW 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득하여, 기억 매체(363)에 기억시킬 수 있다. 또한, 기억부(362)는, RAW 신호 처리부(352)로부터 공급되는 신호 처리를 실시한 RAW 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상) 또는 압축(부호화)한 RAW 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득하여, 기억 매체(363)에 기억시킬 수 있다. 나아가, 기억부(362)는, 카메라 신호 처리부(354)로부터 공급되는 YC 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득하여, 기억 매체(363)에 기억시킬 수 있다.
그 때, 기억부(362)는, 영역 특정부(356)로부터 공급되는 시점 관련 정보를 취득하여, 상술한 화상(전체 화상, 개안 화상, 또는 합성 화상)에 연관시킬 수 있다. 즉, 기억부(362)는, 화상(전체 화상, 개안 화상, 또는 합성 화상)과 시점 관련 정보를 서로 연관시켜, 기억 매체(363)에 기억시킬 수 있다. 즉, 기억부(362)는, 전체 화상, 개안 화상, 및 합성 화상 중 적어도 하나와 시점 관련 정보를 연관시키는 연관부로서 기능하게 된다.
또한, 예를 들면, 기억부(362)는, 화상 재구성 처리부(357)로부터 공급되는 깊이 정보나 리포커스된 화상을 취득하여, 기억 매체(363)에 기억시킬 수 있다. 나아가, 기억부(362)는, 파일화부(365)로부터 공급되는 파일을 취득하여, 기억 매체(363)에 기억시킬 수 있다. 이 파일은, 예를 들면, 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보를 포함한다. 즉, 이 파일에 있어서, 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보가 서로 연관되어 있다.
또한, 예를 들면, 기억부(362)는, 제어부(381)나 사용자의 조작 등에 따라, 기억 매체(363)에 기억되어 있는 데이터나 파일 등을 판독하고, 버스(360)를 통해, 카메라 신호 처리부(354), 표시부(361), 통신부(364), 파일화부(365), 또는, 화상 재구성 처리부(357) 등에 공급할 수 있다. 예를 들면, 기억부(362)는, 기억 매체(363)로부터 YC 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 판독하고, 표시부(361)에 공급하여, 표시시킬 수 있다. 또한, 기억부(362)는, 기억 매체(363)로부터 RAW 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 판독하고, 카메라 신호 처리부(354)에 공급하여, 카메라 신호 처리를 실시시킬 수 있다.
또한, 기억부(362)는, 서로 연관되어 기억 매체(363)에 기억되어 있는 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보의 데이터 또는 파일을 판독하여, 다른 처리부에 공급할 수 있다. 예를 들면, 기억부(362)는, 기억 매체(363)로부터, 서로 연관된 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보를 판독하고, 그들을 화상 재구성 처리부(357)에 공급하여, 깊이 정보의 생성이나 리포커스 등의 처리를 행하게 할 수 있다. 또한, 기억부(362)는, 기억 매체(363)로부터, 서로 연관된 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보를 판독하고, 그들을 통신부(364)에 공급하여, 송신시킬 수 있다. 나아가, 기억부(362)는, 기억 매체(363)로부터, 서로 연관된 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보를 판독하고, 그들을 파일화부(365)에 공급하여, 파일화시킬 수 있다.
한편, 기억 매체(363)는, ROM(Read Only Memory)이어도 되고, RAM(Random Access Memory)이나 플래시 메모리 등과 같은 다시쓰기 가능한 메모리이어도 된다. 다시쓰기 가능한 메모리의 경우, 기억 매체(363)는 임의의 정보를 기억할 수 있다.
통신부(364)는, 임의의 통신 방식에 의해, 인터넷 상의 서버나, 유선 또는 무선 LAN 상의 PC, 그 밖의 외부 디바이스 등과의 사이에서 통신을 행한다. 예를 들면, 통신부(364)는, 제어부(381)의 제어나 사용자의 조작 등에 따라, 그 통신에 의해, 화상(전체 화상, 개안 화상, 또는 합성 화상)이나 시점 관련 정보 등의 데이터나 파일을, 스트리밍 방식이나 업로드(upload) 방식 등에 의해, 통신 상대(외부의 디바이스)에 송신할 수 있다.
예를 들면, 통신부(364)는, 이미지 센서(351)나 영역 추출부(353)로부터 공급되는 RAW 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득하여, 송신할 수 있다. 또한, 통신부(364)는, RAW 신호 처리부(352)로부터 공급되는 신호 처리를 실시한 RAW 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)이나 압축(부호화)한 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득하여, 송신할 수 있다. 나아가, 통신부(364)는, 카메라 신호 처리부(354)로부터 공급되는 YC 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득하여, 송신할 수 있다.
그 때, 통신부(364)는, 영역 특정부(356)로부터 공급되는 시점 관련 정보를 취득하여, 상술한 화상(전체 화상, 개안 화상, 또는 합성 화상)에 연관시킬 수 있다. 즉, 통신부(364)는, 화상(전체 화상, 개안 화상, 또는 합성 화상)과 시점 관련 정보를 서로 연관시켜, 송신할 수 있다. 예를 들면, 화상을 스트리밍 방식으로 송신하는 경우, 통신부(364)는, 송신하는 화상(전체 화상, 개안 화상, 또는 합성 화상)을, 그 화상을 공급하는 처리부로부터 취득하고, 그 화상에 영역 특정부(356)로부터 공급되는 시점 관련 정보를 연관시켜 송신하는 처리를 반복한다. 즉, 통신부(364)는, 전체 화상, 개안 화상, 및 합성 화상 중 적어도 하나와 시점 관련 정보를 연관시키는 연관부로서 기능하게 된다.
또한, 예를 들면, 통신부(364)는, 화상 재구성 처리부(357)로부터 공급되는 깊이 정보나 리포커스된 화상을 취득하여, 송신할 수 있다. 나아가, 통신부(364)는, 파일화부(365)로부터 공급되는 파일을 취득하여, 송신할 수 있다. 이 파일은, 예를 들면, 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보를 포함한다. 즉, 이 파일에 있어서, 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보가 서로 연관되어 있다.
파일화부(365)는 파일의 생성에 관한 처리를 행한다. 예를 들면, 파일화부(365)는, 이미지 센서(351) 또는 영역 추출부(353)로부터 공급되는 RAW 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득할 수 있다. 또한, 파일화부(365)는, RAW 신호 처리부(352)로부터 공급되는 신호 처리를 실시한 RAW 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상) 또는 압축(부호화)한 RAW 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득할 수 있다. 나아가, 파일화부(365)는, 카메라 신호 처리부(354)로부터 공급되는 YC 포맷의 화상(전체 화상, 개안 화상, 또는 합성 화상)을 취득할 수 있다. 또한, 예를 들면, 파일화부(365)는, 영역 특정부(356)로부터 공급되는 시점 관련 정보를 취득할 수 있다.
파일화부(365)는, 취득한 복수의 데이터를 파일화하여, 그 복수의 데이터를 포함하는 하나의 파일을 생성함으로써, 그 복수의 데이터를 서로 연관시킬 수 있다. 예를 들면, 파일화부(365)는, 상술한 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보로부터 하나의 파일을 생성함으로써, 그들을 서로 연관시킬 수 있다. 즉, 파일화부(365)는 전체 화상, 개안 화상, 및 합성 화상 중 적어도 하나와 시점 관련 정보를 연관시키는 연관부로서 기능하게 된다.
또한, 예를 들면, 파일화부(365)는, 화상 재구성 처리부(357)로부터 공급되는 깊이 정보나 리포커스된 화상을 취득하여, 파일화할 수 있다. 나아가, 파일화부(365)는, 기억부(362)로부터 공급되는, 서로 연관된 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보로부터 하나의 파일을 생성할 수 있다.
한편, 파일화부(365)는, 파일화할 화상(예를 들면, 개안 화상)의 섬네일 화상을 생성하고, 그것을 생성된 파일에 포함시킬 수 있다. 즉, 파일화부(365)는, 파일화함으로써, 이 섬네일 화상을, 화상(전체 화상, 개안 화상, 또는 합성 화상)이나 시점 관련 정보에 연관시킬 수 있다.
파일화부(365)는, 생성된 파일(서로 연관된 화상 및 시점 관련 정보)을, 예를 들면, 버스(360)를 통해 기억부(362)에 공급하여, 기억 매체(363)에 기억시킬 수 있다. 또한, 파일화부(365)는, 생성된 파일(서로 연관된 화상 및 시점 관련 정보)을, 예를 들면, 버스(360)를 통해 통신부(364)에 공급하여, 송신시킬 수 있다.
이들 기억부(362), 통신부(364), 및 파일화부(365)를 연관부(70)라고도 칭한다. 연관부(70)는, 화상(전체 화상, 개안 화상, 또는 합성 화상)과, 시점 관련 정보를 연관시킨다. 예를 들면, 기억부(362)는, 전체 화상, 개안 화상, 및 합성 화상 중 적어도 하나와 시점 관련 정보를 연관시켜 기억 매체(363)에 기억시킬 수 있다. 또한, 통신부(364)는, 전체 화상, 개안 화상, 및 합성 화상 중 적어도 하나와 시점 관련 정보를 연관시켜 송신할 수 있다. 나아가, 파일화부(365)는, 전체 화상, 개안 화상, 및 합성 화상 중 적어도 하나와 시점 관련 정보로부터 하나의 파일을 생성함으로써, 그들을 연관시킬 수 있다.
연관부(70)에서는, 화상(전체 화상, 개안 화상, 또는 합성 화상) 및 시점 관련 정보 외에, 스폿광 정보도 연관시킬 수 있다.
제어부(381)는 카메라 시스템(300)에 관한 제어 처리를 행한다. 즉, 제어부(381)는, 카메라 시스템(300)의 각 부를 제어하여, 처리를 실행시킬 수 있다. 예를 들면, 제어부(381)는, 광학계 제어부(384)를 통해 렌즈부(320)(각 개안 렌즈(31i))를 제어하여, 조리개나 포커스 위치 등의 촬상에 관한 광학계의 설정을 행하게 할 수 있다. 또한, 제어부(381)는, 이미지 센서(351)를 제어하여, 이미지 센서(351)에 촬상(광전 변환)을 행하게 하여, 촬상 화상을 생성시킬 수 있다.
나아가, 제어부(381)는, 시점 관련 정보 VI, 및 추가로, 스폿광 정보 SI를 영역 특정부(356)에 공급하여, 촬상 화상으로부터 추출하는 영역을 특정시킬 수 있다. 제어부(381)는, 기억 매체(383)에 기억되어 있는 시점 관련 정보 VI나 스폿광 정보 SI를, 기억부(382)를 통해 판독하여, 영역 특정부(356)에 공급할 수 있다.
또한, 제어부(381)는, 버스(360)를 통해 화상을 취득하고, 그 화상의 밝기에 기초하여, 광학계 제어부(384)를 통해 조리개를 제어할 수 있다. 나아가, 제어부(381)는, 그 화상의 선예도에 기초하여, 광학계 제어부(384)를 통해 포커스를 제어할 수 있다. 또한, 제어부(381)는, 그 화상의 RGB 비율에 기초하여 카메라 신호 처리부(354)를 제어하여, 화이트 밸런스 게인을 제어할 수 있다.
기억부(382)는, 예를 들면, 반도체 메모리 등으로 이루어지는 기억 매체(383)의 기억을 제어한다. 기억 매체(383)는 리무버블 기억 매체이어도 되고, 내장 메모리이어도 된다. 기억 매체(383)에는, 예를 들면, 시점 관련 정보 VI가 기억되어 있다. 시점 관련 정보 VI는, 렌즈부(320)(의 각 개안 렌즈(31)) 및 이미지 센서(351)에 대응하는 정보이다. 즉, 시점 관련 정보 VI는, 이 렌즈부(320)의 각 개안 렌즈(31)의 위치를 시점으로 하는 개안 화상에 관한 정보이며, 그 개안 화상 영역을 특정하기 위해 사용되는 정보이다. 기억 매체(383)에는, 스폿광 정보 SI를 더 기억시켜 둘 수 있다.
예를 들면, 기억부(382)는, 제어부(381)나 사용자의 조작 등에 따라, 기억 매체(383)에 기억되어 있는 시점 관련 정보 VI나 스폿광 정보 SI를 판독하여, 제어부(381)에 공급할 수 있다.
한편, 기억 매체(383)는 ROM이어도 되고, RAM이나 플래시 메모리 등과 같은 다시쓰기 가능한 메모리이어도 된다. 다시쓰기 가능한 메모리의 경우, 기억 매체(383)는 임의의 정보를 기억할 수 있다.
또한, 기억부(382) 및 기억 매체(383)를 기억부(362) 및 기억 매체(363)에 의해 대용해도 된다. 즉, 상술한 기억 매체(383)에 기억시키는 정보(시점 관련 정보 VI 등)를 기억 매체(363)에 기억시켜도 된다. 그 경우, 기억부(382) 및 기억 매체(383)는 생략해도 된다.
광학계 제어부(384)는, 제어부(381)의 제어에 따라, 렌즈부(320)(의 피딩부(23)나 각 개안 렌즈(31i) 등)를 제어한다. 예를 들면, 광학계 제어부(384)는, 각 개안 렌즈(31i)나 조리개를 제어하여, 각 개안 렌즈(31i)의 초점거리 또는 F값, 또는, 그 양쪽을 제어할 수 있다. 한편, 카메라 시스템(300)이 전동 포커스 조정 기능을 가지는 경우, 광학계 제어부(384)는, 렌즈부(320)(의 각 개안 렌즈(31i)의) 포커스(초점거리)를 제어할 수 있다. 또한, 광학계 제어부(384)가, 각 개안 렌즈(31i)의 조리개(F값)를 제어할 수 있도록 해도 된다.
한편, 카메라 시스템(300)이, 이러한 전동 포커스 조정 기능을 갖는 대신에, 경통에 설치된 포커스 링을 수동에 의해 조작함으로써, 초점거리를 제어하는 기구(물리적 구성)를 구비하도록 해도 된다. 그 경우, 이 광학계 제어부(384)는 생략할 수 있다.
<시점 관련 정보 등의 연관>
카메라 시스템(300)에서는, 상술한 바와 같이, 렌즈부(320)(복수의 개안 렌즈(31i))를 통해 이미지 센서(351)에 있어서 피사체가 촬상되고, 각 개안 렌즈(31i)에 대응하는 화상인 개안 화상을 포함하는 촬상 화상이 생성된다. 카메라 시스템(300)에서는, 촬상 화상으로부터, 개안 화상의 일부 또는 전부를 추출함으로써, 개안 렌즈(31i)의 위치를 시점으로 하는 개안 화상이 생성된다. 1매의 촬상 화상으로부터 추출된 복수의 개안 화상은 서로 다른 시점의 화상이므로, 이들 개안 화상을 사용하여, 예를 들면 다안 매칭에 의한 깊이 추정이나 다안 렌즈의 부착 오차 억제를 위한 보정 등의 처리를 행할 수 있다. 다만, 이들 처리를 행하기 위해서는, 각 개안 화상 간의 상대 위치 등의 정보가 필요하다.
이에, 카메라 시스템(300)은, 광로가 서로 독립되어 있는 복수의 개안 렌즈(31i)를 통해 피사체를 1개의 촬상 소자로서의 이미지 센서(351)에 의해 촬상하여 생성된 촬상 화상, 그 촬상 화상으로부터 추출된 복수의 개안 렌즈(31i)의 위치 각각을 시점으로 하는 복수의 개안 화상, 또는, 그 복수의 개안 화상이 합성된 합성 화상에 대해, 촬상 화상에 있어서의 복수의 개안 화상의 영역을 특정하기 위해 사용되는 정보인 시점 관련 정보를 연관시킨다.
예를 들면, 연관부(70)는, 화상(전체 화상, 개안 화상, 또는 합성 화상)에 대응하는 시점 관련 정보를 영역 특정부(356)로부터 취득하여, 그 화상, 및, 시점 관련 정보를 연관시킨다. 예를 들면, 기억부(362)가, 전체 화상, 개안 화상, 및 합성 화상 중 적어도 하나와 시점 관련 정보를 연관시켜 기억 매체(363)에 기억시킨다. 또한, 통신부(364)가, 전체 화상, 개안 화상, 및 합성 화상 중 적어도 하나와 시점 관련 정보를 연관시켜 송신한다. 나아가, 파일화부(365)가, 전체 화상, 개안 화상, 및 합성 화상 중 적어도 하나와 시점 관련 정보로부터 하나의 파일을 생성함으로써, 그들을 연관시킨다.
이상과 같은 연관에 의해, 카메라 시스템(300)에서는 물론, 카메라 시스템(300) 이외에서도, 시점 관련 정보를 사용하여, 개안 화상 등을 대상으로 하여 고정밀도의 화상 처리를 행할 수 있다.
연관에서는, 개안 화상 등과, 시점 관련 정보 VI를 연관시킬 수 있다. 또한, 연관에서는, 개안 화상 등과, 시점 관련 정보 VI를 보정한 보정 후의 시점 관련 정보 VI'를 연관시킬 수 있다. 나아가, 연관에서는, 개안 화상 등과, 시점 관련 정보 VI, 스폿광 정보 SI, 및 스폿광 정보 SI'를 연관시킬 수 있다. 또한, 연관에서는, 개안 화상 등과, 시점 관련 정보 VI, 및, 스폿광 정보 SI와 스폿광 정보 SI'의 차이를 연관시킬 수 있다.
개안 화상 등과 시점 관련 정보 VI'를 연관시키는 경우, 개안 화상 등과, 시점 관련 정보 VI, 스폿광 정보 SI, 및, 스폿광 정보 SI'를 연관시키는 경우, 및, 개안 화상 등과, 시점 관련 정보 VI, 및, 스폿광 정보 SI와 스폿광 정보 SI'의 차이를 연관시키는 경우, 피딩부(23)의 이동에 따라, 촬상 화상에 있어서의 개안 화상의 위치 어긋남이 생겨도, 촬상 화상에 있어서의 각 개안 화상의 위치(시점의 위치)를 정확하게 인식할 수 있다.
<렌즈부(320)의 부착 위치의 어긋남에 대한 대처>
렌즈 일체형의 카메라 시스템(300)에서는, 렌즈부(320)의 부착 위치가 제조 오차에 따라 어긋날 수 있다. 나아가, 렌즈부(320)의 부착 위치는, 피딩부(23)의 이동에 따라 어긋날 수 있다. 렌즈부(320)의 부착 위치가 어긋나서, 그 부착 위치에 부착 오차가 생기면, 촬상 화상으로부터의 개안 화상의 잘라내기나, 개안 화상을 사용한 시차 정보의 산출 처리 정밀도가 저하된다.
이에, 영역 특정부(356)에서는, 촬상 화상에 찍히는 스폿광상을 사용하여, 렌즈부(320)의 부착 위치의 어긋남(량)으로서의 부착 오차를 검출할 수 있다.
예를 들면, 영역 특정부(356)는, 촬상 화상으로부터, 광원(32L 및 32R)으로부터 조사되는 스폿광의 이미지 센서(351)로의 입사 범위, 즉, 촬상 화상에 찍히는 스폿광상을 검출하여, 그 스폿광상에 관한 스폿광 정보 SI'를 생성(검출)할 수 있다.
나아가, 영역 특정부(356)는, 스폿광 정보 SI'와 스폿광 정보 SI의 차이, 예를 들면, 스폿광 정보 SI'가 나타내는 스폿광상의 위치와 스폿광 정보 SI가 나타내는 스폿광상의 위치의 차이를, 부착 오차로서 검출할 수 있다.
그리고, 영역 특정부(356)는, 부착 오차를 사용하여 시점 관련 정보 VI를 보정하여, 시점 관련 정보 VI'를 생성할 수 있다. 예를 들면, 영역 특정부(356)는, 시점 관련 정보 VI가 나타내는 개안 화상의 위치를, 스폿광 정보 SI 및 스폿광 정보 SI'에 따라, 스폿광 정보 SI'가 나타내는 스폿광상의 위치와 스폿광 정보 SI가 나타내는 스폿광상의 위치의 차이만큼 보정하여, 부착 오차에 따라 어긋난 개안 화상의 위치를 특정하기 위한 정보로서의 시점 관련 정보 VI'를 생성할 수 있다.
영역 추출부(353)에서는, 시점 관련 정보 VI'를 사용하여, 촬상 화상으로부터 개안 화상을 잘라냄으로써, 개안 화상을 정밀하게 잘라낼 수 있다. 나아가, 시점 관련 정보 VI'를 사용하여, 개안 화상의 시점 위치를 정확하게 특정하여, 그 시점의 위치와 개안 화상을 사용하여, 시차 정보를 정밀하게 구할 수 있다.
여기서, 촬상 화상으로부터 스폿광 정보 SI'를 생성하는 영역 특정부(356)는, 광원(32L 및 32R)으로부터 조사되는 스폿광의 이미지 센서(351)로의 입사 범위를 검출하는 검출부라고 할 수 있다.
나아가, 부착 오차로서의 스폿광 정보 SI'와 스폿광 정보 SI의 차이를 사용하여, 시점 관련 정보 VI를 보정함으로써, 시점 관련 정보 VI'를 생성하는 영역 특정부(356)는, 검출부의 검출 결과, 즉, 촬상 화상 상의 광상에 따라, 시점 관련 정보 VI를 보정하는 처리를 행하는 처리부라고도 할 수 있다.
<카메라 시스템의 제2 다른 실시형태>
도 31은 본 기술을 적용한 카메라 시스템의 제2 다른 실시형태의 전기적 구성예를 나타내는 블록도이다.
한편, 도면 중, 도 2 및 도 31의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고, 이하에서는, 그 설명은 적절히 생략된다.
도 32에 있어서, 카메라 시스템(400)은 렌즈 교환 가능한 카메라 시스템이다. 카메라 시스템(400)은 카메라 본체(410)와 다안 교환 렌즈(420)(렌즈부)로 구성된다. 다안 교환 렌즈(420)가 카메라 본체(410)에 장착된 상태에서 카메라 시스템(400)은 카메라 시스템(300)과 거의 마찬가지의 구성으로 되며, 기본적으로 마찬가지의 처리를 행한다. 즉, 카메라 시스템(400)은 카메라 시스템(300)과 마찬가지의, 피사체를 촬상하여 촬상 화상의 화상 데이터를 생성하는 촬상 장치로서 기능한다.
카메라 본체(410)는, 카메라 본체(10)가 다안 교환 렌즈(20) 등을 착탈할 수 있는 것과 마찬가지로, 다안 교환 렌즈(420)를 포함하는 일반적인 교환 렌즈를 착탈할 수 있는 구성으로 되어 있다.
다안 교환 렌즈(420)는 피딩부(23)를 갖는다. 피딩부(23)는, 도 1 및 도 2에서 설명한 바와 같이, 개안 렌즈(310 내지 314) 및 광원(32L 및 32R)을 갖는다.
피딩부(23)는, 도 32에서는 도시하지 않은 경통(21)(도 1)의 내부를, 경통 광축의 광축 방향으로 이동한다. 피딩부(23)의 이동과 함께, 그 피딩부(23)가 갖는 개안 렌즈(310 내지 314) 및 광원(32L 및 32R)도 일체적으로 이동한다.
도 32에 있어서, 개안 렌즈(31i)는, 카메라 시스템(300)의 경우와 마찬가지로, 각각을 통과하는 광의 광로가 서로 독립되도록 구성된다. 즉, 각 개안 렌즈(31i)를 통과한 광은, 다른 개안 렌즈(31i)에 입사하지 않고 이미지 센서(351)의 수광면(예를 들면, 유효 화소 영역)의 서로 다른 위치에 조사한다. 적어도, 각 개안 렌즈(31i)의 광축은, 이미지 센서(351)의 수광면의 서로 다른 장소에 위치하고 있고, 각 개안 렌즈(31i)를 통과한 광의 적어도 일부가, 이미지 센서(351)의 수광면의 서로 다른 위치에 조사한다.
따라서, 카메라 시스템(400)에서는, 카메라 시스템(300)의 경우와 마찬가지로, 이미지 센서(351)에 의해 생성되는 촬상 화상(이미지 센서(351)의 출력하는 화상 전체)에는, 각 개안 렌즈(31i)를 통해 결상된 피사체의 화상이 서로 다른 위치에 형성된다. 환언하면, 그 촬상 화상으로부터, 각 개안 렌즈(31i)의 위치를 시점으로 하는 개안 화상이 얻어진다. 즉, 다안 교환 렌즈(420)를 카메라 본체(410)에 장착하여 피사체를 촬상함으로써, 복수의 개안 화상을 얻을 수 있다.
카메라 시스템(400)에 있어서, 카메라 본체(410)는, 이미지 센서(351), RAW 신호 처리부(352), 영역 추출부(353), 카메라 신호 처리부(354), 스루 화상 생성부(355), 영역 특정부(356), 화상 재구성 처리부(357), 버스(360), 표시부(361), 기억부(362), 통신부(364), 파일화부(365), 제어부(381), 및 기억부(382)를 갖는다. 즉, 카메라 본체(410)는, 카메라 시스템(300)의 렌즈부(320) 및 광학계 제어부(384) 이외의 구성을 갖는다.
한편, 카메라 본체(410)는, 상술한 구성에 더하여, 통신부(441)를 갖는다. 통신부(441)는, 카메라 본체(410)에 정확하게 장착된 상태의 다안 교환 렌즈(420)(의 통신부(451))와 통신을 행하여, 정보의 주고받음 등을 행한다. 통신부(441)는, 임의의 통신 방식으로 다안 교환 렌즈(420)와 통신을 행할 수 있다. 그 통신은, 유선 통신이어도 되고, 무선 통신이어도 된다.
예를 들면, 통신부(441)는, 제어부(381)에 의해 제어되어, 다안 교환 렌즈(420)(의 통신부(451))와의 통신을 행하여, 다안 교환 렌즈(420)로부터 공급되는 정보를 취득한다. 또한, 예를 들면, 통신부(441)는, 다안 교환 렌즈(420)(의 통신부(451))와의 통신에 의해, 제어부(381)로부터 공급되는 정보를 다안 교환 렌즈(420)에 공급한다. 통신부(441)가 다안 교환 렌즈(420)와 주고받는 정보는 임의이다. 예를 들면, 데이터이어도 되고, 커맨드나 제어 파라미터 등의 제어 정보이어도 된다.
카메라 시스템(400)에 있어서, 다안 교환 렌즈(420)는 광학계 제어부(384), 통신부(451), 및 기억부(452)를 더 갖는다. 통신부(451)는, 카메라 본체(410)에 정확하게 장착된 상태의 다안 교환 렌즈(420)에 있어서, 통신부(441)와 통신을 행한다. 이 통신에 의해, 카메라 본체(410)와 다안 교환 렌즈(420) 간의 정보의 주고받음을 실현한다. 통신부(451)의 통신 방식은 임의이며, 유선 통신이어도 되고, 무선 통신이어도 된다. 또한, 이 통신에 의해 주고받는 정보는 데이터이어도 되고, 커맨드나 제어 파라미터 등의 제어 정보이어도 된다.
예를 들면, 통신부(451)는, 통신부(441)를 통해 카메라 본체(410)로부터 송신되는 제어 정보를 포함하는 각종의 정보를 취득한다. 통신부(451)는, 이와 같이 취득한 정보를, 필요에 따라, 광학계 제어부(384)에 공급하여, 피딩부(23)나 각 개안 렌즈(31i) 등의 제어에 이용할 수 있다.
또한, 통신부(451)는, 그 취득한 정보를 기억부(452)에 공급하여, 기억 매체(453)에 기억시킬 수 있다. 또한, 통신부(451)는, 기억 매체(453)에 기억되어 있는 정보를, 기억부(452)를 통해 판독하여, 그것을 카메라 본체(410)(통신부(441))로 송신할 수 있다.
카메라 시스템(400)에 있어서, 다안 교환 렌즈(420)에 대응하는 시점 관련 정보 VI 및 스폿광 정보 SI의 기억 장소는 임의이다. 예를 들면, 시점 관련 정보 VI 및 스폿광 정보 SI는, 다안 교환 렌즈(420)의 기억 매체(453)에 기억되어 있어도 된다. 그리고, 예를 들면, 카메라 본체(410)의 제어부(381)가, 통신부(451) 및 통신부(441)를 통해 기억부(452)에 액세스하고, 그 기억 매체(453)로부터 시점 관련 정보 VI 및 스폿광 정보 SI를 판독시켜도 된다. 그리고, 제어부(381)가, 시점 관련 정보 VI 및 스폿광 정보 SI를 취득한 후, 영역 특정부(356)에 공급하여, 세트하도록 해도 된다.
예를 들면, 다안 교환 렌즈(420)를 카메라 본체(410)에 정확하게 장착했을 때, 카메라 시스템(400)에 전원을 투입했을 때, 또는 카메라 시스템(400)의 구동 모드가 피사체의 촬상을 행할 수 있는 촬상 모드로 이행했을 때 등의, 촬상보다 시간적으로 앞의 임의의 타이밍 또는 계기에서, 이러한 처리가 행하여져도 된다.
이와 같이 함으로써, 카메라 본체(410)는, 다안 교환 렌즈(420)에 대응하는 시점 관련 정보 VI 및 스폿광 정보 SI를 사용하여, 촬상 화상이나 개안 화상을 대상으로 하는 화상 처리를 행할 수 있다.
또한, 제어부(381)가, 다안 교환 렌즈(420)로부터 취득한 그 다안 교환 렌즈(420)의 시점 관련 정보 VI 및 스폿광 정보 SI를, 다안 교환 렌즈(420)의 ID와 함께 기억부(382)에 공급하여, 기억시켜도 된다. 그 경우, 기억부(382)는, 공급된 ID와 시점 관련 정보 VI 및 스폿광 정보 SI를 대응지어 기억 매체(383)에 기억시킨다. 즉, 카메라 본체(410)에 있어서, 다안 교환 렌즈(420)의 시점 관련 정보 VI 및 스폿광 정보 SI와 ID를 관리할 수 있다. 카메라 본체(410)는, 복수의 다안 교환 렌즈(420)의 시점 관련 정보 VI 및 스폿광 정보 SI를 관리할 수 있다.
이와 같이 함으로써, 제어부(381)는, 다음번부터는 다안 교환 렌즈(420)의 ID를 취득함으로써, 기억부(382)(기억 매체(383))로부터 그 ID에 대응하는 시점 관련 정보 VI 및 스폿광 정보 SI를 판독할 수 있다. 즉, 제어부(381)는, 다안 교환 렌즈(420)에 대응하는 시점 관련 정보 VI 및 스폿광 정보 SI를 용이하게 취득할 수 있다.
또한, 기억 매체(383)가, 미리, 복수의 다안 교환 렌즈(420) 각각에 대해, 시점 관련 정보 VI 및 스폿광 정보 SI를, 다안 교환 렌즈(420)의 ID에 연관시켜 기억하고 있어도 된다. 즉, 이 경우, 카메라 본체(410)가, 미리, 복수의 다안 교환 렌즈(420)의 시점 관련 정보 VI 및 스폿광 정보 SI를 관리하고 있다.
이와 같이 함으로써, 제어부(381)는, 카메라 본체(410)에 정확하게 장착된 다안 교환 렌즈(420)의 ID를 사용하여, 기억부(382)(기억 매체(383))로부터 그 ID에 대응하는 시점 관련 정보 VI 및 스폿광 정보 SI를 용이하게 판독할 수 있다.
<다안 교환 렌즈(420)의 부착 위치의 어긋남에 대한 대처>
렌즈 교환 가능한 카메라 시스템(400)에서는, 렌즈 일체형의 카메라 시스템(300)과 마찬가지로, 제조 오차나, 피딩부(23)의 이동에 의해, 다안 교환 렌즈(420)의 부착 위치가 어긋날 수 있다. 나아가, 렌즈 교환 가능한 카메라 시스템(400)에서는, 장착 오차에 의해서도, 다안 교환 렌즈(420)의 부착 위치가 어긋날 수 있다. 다안 교환 렌즈(420)의 부착 위치가 어긋나서, 그 부착 위치에 부착 오차가 생기면, 촬상 화상으로부터의 개안 화상의 잘라내기나, 개안 화상을 사용한 시차 정보의 산출 처리 정밀도가 저하된다.
이에, 영역 특정부(356)에서는, 촬상 화상에 찍히는 스폿광상을 사용하여, 다안 교환 렌즈(420)의 부착 위치의 어긋남(량)으로서의 부착 오차를 검출할 수 있다.
예를 들면, 영역 특정부(356)는, 촬상 화상으로부터, 그 촬상 화상에 찍히는 스폿광상에 관한 스폿광 정보 SI'를 생성하고, 그 스폿광 정보 SI'와 스폿광 정보 SI의 차이를, 부착 오차로서 검출할 수 있다.
나아가, 영역 특정부(356)는, 부착 오차를 사용하여, 시점 관련 정보 VI를 보정하여, 부착 오차에 따라 어긋난 개안 화상의 위치를 특정하기 위한 정보로서의 시점 관련 정보 VI'를 생성할 수 있다.
그리고, 영역 추출부(353)에서는, 시점 관련 정보 VI'를 사용하여, 촬상 화상으로부터, 개안 화상을 정밀하게 잘라낼 수 있다. 나아가, 시점 관련 정보 VI'를 사용하여, 개안 화상의 시점 위치를 정확하게 특정하고, 그 시점의 위치와 개안 화상을 사용하여, 시차 정보를 정밀하게 구할 수 있다.
이상과 같이, 카메라 시스템(300 및 400)에서는, 개안 렌즈(310 내지 314)와 광원(32L 및 32R)이 일체적으로 피딩되므로, 적절한 처리를 행할 수 있다. 즉, 부착 오차와 장착 오차나 그외 다양한 오차를 합친 것을 개안 화상 위치 오차라고 하면, 개안 렌즈(310 내지 314)와 광원(32L 및 32R)이 피딩부(23)와 일체로 움직임으로써, 어떤 피딩 위치에서도 어떠한 원인으로 생긴 개안 화상 위치 오차인지를 걱정하지 않고, 시점 관련 정보와 검출된 스폿광의 위치로부터의 위치 어긋남을 검출하여, 전체 화상 내의 개안 화상의 정확한 위치를 특정할 수 있다.
<본 기술을 적용한 컴퓨터의 설명>
다음으로, 상술한 영역 특정부(52)나, 화상 처리부(53), 위치 산출부(57), 스폿광상 검출부(62), 피딩량 검출부(64), 영역 추출부(353), 및 영역 특정부(356) 등의 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용 컴퓨터 등에 인스톨된다.
도 33은 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시형태의 구성예를 나타내는 블록도이다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(905)나 ROM(903)에 미리 기록해 둘 수 있다.
또는, 프로그램은, 드라이브(909)에 의해 구동되는 리무버블 기록 매체(911)에 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체(911)는, 이른바 패키지 소프트웨어로서 제공할 수 있다. 여기서, 리무버블 기록 매체(911)로서는, 예를 들면, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.
한편, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(911)로부터 컴퓨터에 인스톨하는 것 외에, 통신망이나 방송망을 통해 컴퓨터에 다운로드하여, 내장된 하드 디스크(905)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들면, 다운로드 사이트로부터 디지털 위성 방송용의 인공위성을 통해 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통해 컴퓨터에 유선으로 전송할 수 있다.
컴퓨터는 CPU(Central Processing Unit)(902)를 내장하고 있고, CPU(902)에는, 버스(901)를 통해 입출력 인터페이스(910)가 접속되어 있다.
CPU(902)는 입출력 인터페이스(910)를 통해, 사용자에 의해, 입력부(907)가 조작되는 등 됨으로써 지령이 입력되면, 그에 따라, ROM(Read Only Memory)(903)에 저장되어 있는 프로그램을 실행한다. 또는, CPU(902)는, 하드 디스크(905)에 저장된 프로그램을, RAM(Random Access Memory)(904)에 로드하여 실행한다.
이에 의해, CPU(902)는, 상술한 플로우차트에 따른 처리 또는 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(902)는, 그 처리 결과를, 필요에 따라, 예를 들면, 입출력 인터페이스(910)를 통해, 출력부(906)로부터 출력, 또는, 통신부(908)로부터 송신, 나아가, 하드 디스크(905)에 기록 등 시킨다.
한편, 입력부(907)는, 키보드, 마우스, 마이크 등으로 구성된다. 또한, 출력부(906)는 LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.
여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라 행하는 처리는, 반드시 플로우차트로서 기재된 순서에 따라 시계열로 행하여질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 또는 개별적으로 실행되는 처리(예를 들면, 병렬 처리 또는 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 나아가, 프로그램은, 먼 곳의 컴퓨터로 전송되어 실행되는 것이어도 된다.
나아가, 본 명세서에 있어서, 시스템이란, 복수의 구성요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되며 네트워크를 통해 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
한편, 본 기술의 실시형태는, 상술한 실시형태에 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들면, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치에 의해 분담하여, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 플로우차트에서 설명한 각 스텝은, 하나의 장치에 의해 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다.
나아가, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에 의해 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 다른 효과가 있어도 된다.
한편, 본 기술은 이하의 구성을 취할 수 있다.
<1>
경통과,
상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와,
상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와,
상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수 개의 광원을 구비하는 교환 렌즈.
<2>
상기 광원은, 상기 평행광을, 상기 광축으로부터 기울어진 경사 방향으로 조사하는 <1>에 기재된 교환 렌즈.
<3>
상기 광원은, 상기 가동부의 상기 광축 중심과 다른 위치에 배치되어 있고, 상기 평행광을 상기 광축의 중심을 향해 기울어진 경사 방향으로 조사하는 <2>에 기재된 교환 렌즈.
<4>
상기 광원을 복수 개 구비하는 <1> 내지 <3> 중 어느 하나에 기재된 교환 렌즈.
<5>
상기 이미지 센서에 조사되는 상기 광원의 위치를 나타내는 스폿광 위치 정보, 및 상기 이미지 센서에 있어서의 상기 복수의 개안 렌즈로부터 출사되는 각 촬상 광의 출사 위치를 나타내는 개안 화상 위치 정보를 기억하는 기억부를 더 구비하는 <1> 내지 <4> 중 어느 하나에 기재된 교환 렌즈.
<6>
경통과,
상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와,
상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와,
상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수의 광원
을 구비하는 렌즈부의 상기 광원으로부터 조사되는 상기 평행광의, 상기 이미지 센서에 의해 촬상되는 촬상 화상 상의 광상을 검출하는 검출부와,
상기 검출부의 검출 결과에 따라, 처리를 행하는 처리부를 구비하는 정보 처리 장치.
<7>
상기 검출부는, 상기 촬상 화상에 있어서의 상기 광상의 위치인 검출 광상 위치를 검출하는 <6>에 기재된 정보 처리 장치.
<8>
상기 처리부는, 상기 검출 광상 위치에 따라, 상기 촬상 화상에 있어서의, 상기 개안 렌즈의 위치를 시점으로 하는 개안 화상의 위치인 촬상 개안 화상 위치를 특정하는 <7>에 기재된 정보 처리 장치.
<9>
상기 이미지 센서에 조사되는 상기 광원의 위치를 나타내는 기억 광상 위치, 및 상기 이미지 센서에 있어서의 상기 복수의 개안 렌즈로부터 출사되는 각 촬상 광의 출사 위치를 나타내는 기억 개안 화상 위치를 기억하는 기억부를 더 구비하고,
상기 처리부는, 상기 기억 광상 위치와 상기 검출 광상 위치의 관계에 기초하여 상기 촬상 개안 화상 위치를 특정하는 <8>에 기재된 정보 처리 장치.
<10>
상기 처리부는, 상기 기억 광상 위치와 상기 검출 광상 위치의 관계에 기초하여 상기 기억 개안 화상 위치를 보정함으로써, 상기 촬상 개안 화상 위치를 특정하는 <9>에 기재된 정보 처리 장치.
<11>
상기 촬상 화상과 상기 촬상 개안 화상 위치를 연관시키는 연관부를 더 구비하는 <8> 내지 <10> 중 어느 하나에 기재된 정보 처리 장치.
<12>
상기 기억 광상 위치, 상기 검출 광상 위치, 및 상기 기억 개안 화상 위치와, 상기 촬상 화상을 연관시키는 연관부를 더 구비하는 <9> 또는 <10>에 기재된 정보 처리 장치.
<13>
상기 기억 광상 위치, 상기 기억 광상 위치와 상기 검출 광상 위치의 차분, 및 상기 기억 개안 화상 위치와, 상기 촬상 화상을 연관시키는 연관부를 더 구비하는 <9> 또는 <10>에 기재된 정보 처리 장치.
<14>
상기 촬상 개안 화상 위치에 따라, 상기 촬상 화상으로부터 상기 개안 화상을 추출하는 추출부를 더 구비하는 <8> 내지 <13> 중 어느 하나에 기재된 정보 처리 장치.
<15>
상기 처리부는, 상기 검출 광상 위치에 따라, 상기 가동부의 피딩량을 검출하는 <7> 내지 <14> 중 어느 하나에 기재된 정보 처리 장치.
<16>
상기 검출부는, 복수의 상기 광원으로부터 각각 조사되는 복수의 상기 평행광의 각각에 대응한 복수의 상기 광상을 검출하는 <6> 내지 <15> 중 어느 하나에 기재된 정보 처리 장치.
<17>
상기 렌즈부를 구비하는 렌즈 일체형의 촬상 장치인 <6> 내지 <16> 중 어느 하나에 기재된 정보 처리 장치.
<18>
상기 렌즈부가 교환 렌즈로서 장착 가능한 촬상 장치인 <6> 내지 <16> 중 어느 하나에 기재된 정보 처리 장치.
<19>
경통과,
상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와,
상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와,
상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수 개의 광원
을 구비하는 렌즈부의 상기 광원으로부터 조사되는 상기 평행광의, 상기 이미지 센서에 의해 촬상되는 촬상 화상 상의 광상을 검출하는 검출 단계와,
상기 검출 단계의 검출 결과에 따라, 처리를 행하는 처리 단계를 포함하는 정보 처리 방법.
<20>
경통과,
상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와,
상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와,
상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수 개의 광원
을 구비하는 렌즈부의 상기 광원으로부터 조사되는 상기 평행광의, 상기 이미지 센서에 의해 촬상되는 촬상 화상 상의 광상을 검출하는 검출부와,
상기 검출부의 검출 결과에 따라, 처리를 행하는 처리부
로서, 컴퓨터를 기능시키기 위한 프로그램.
10: 카메라 본체
11: 카메라 마운트
20: 다안 교환 렌즈
21: 경통
22: 렌즈 마운트
23: 피딩부
310 내지 314: 개안 렌즈
32L, 32R, 32U, 32D: 광원
41: 기억부
42: 통신부
43: 제어부
51: 이미지 센서
52: 영역 특정부
53: 화상 처리부
54: 표시부
55: 기억부
56: 통신부
57: 위치 산출부
61: 제어부
62: 스폿광상 검출부
63: 피딩량 정보 기억부
64: 피딩량 검출부
101: 캘리브레이션 데이터 생성부
102: 캘리브레이션 데이터 기억부
103: 보간부
104: 시차 정보 생성부
121: 하우징
122: LED
123, 124: 렌즈
211: 개안 화상 위치 정보 수정부
212: 개안 화상 추출부
221: 연관부
230: 포스트 처리 장치
231: 영역 특정부
232: 화상 처리부
233: 표시부
234: 기록부
235: 전송부
241: 개안 화상 위치 정보 수정부
242: 개안 화상 추출부
250: 포스트 처리 장치
300: 카메라 시스템
320: 렌즈부
351: 이미지 센서
352: RAW 신호 처리부
353: 영역 추출부
354: 카메라 신호 처리부
355: 스루 화상 생성부
356: 영역 특정부
357: 화상 재구성 처리부
360: 버스
361: 표시부
362: 기억부
363: 기억 매체
364: 통신부
365: 파일화부
370: 연관부
381: 제어부
382: 광학계 제어부
400: 카메라 시스템
410: 카메라 본체
420: 다안 교환 렌즈
441, 451: 통신부
452: 기억부
453: 기억 매체
901: 버스
902: CPU
903: ROM
904: RAM
905: 하드 디스크
906: 출력부
907: 입력부
908: 통신부
909: 드라이브
910: 입출력 인터페이스
911: 리무버블 기록 매체

Claims (20)

  1. 경통과,
    상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와,
    상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈(individual-eye lens)를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와,
    상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수 개의 광원을 구비하는, 교환 렌즈.
  2. 제1항에 있어서,
    상기 광원은, 상기 평행광을, 상기 광축으로부터 기울어진 경사 방향으로 조사하는, 교환 렌즈.
  3. 제2항에 있어서,
    상기 광원은, 상기 가동부의 상기 광축 중심과 다른 위치에 배치되어 있고, 상기 평행광을 상기 광축의 중심을 향해 기울어진 경사 방향으로 조사하는, 교환 렌즈.
  4. 제1항에 있어서,
    상기 광원을 복수 개 구비하는, 교환 렌즈.
  5. 제1항에 있어서,
    상기 이미지 센서에 조사되는 상기 광원의 위치를 나타내는 스폿광 위치 정보, 및 상기 이미지 센서에 있어서의 상기 복수의 개안 렌즈로부터 출사되는 각 촬상 광의 출사 위치를 나타내는 개안 화상 위치 정보를 기억하는 기억부를 더 구비하는, 교환 렌즈.
  6. 경통과,
    상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와,
    상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와,
    상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수의 광원
    을 구비하는 렌즈부의 상기 광원으로부터 조사되는 상기 평행광의, 상기 이미지 센서에 의해 촬상되는 촬상 화상 상의 광상(light image)을 검출하는 검출부와,
    상기 검출부의 검출 결과에 따라, 처리를 행하는 처리부를 구비하는, 정보 처리 장치.
  7. 제6항에 있어서,
    상기 검출부는, 상기 촬상 화상에 있어서의 상기 광상의 위치인 검출 광상 위치를 검출하는, 정보 처리 장치.
  8. 제7항에 있어서,
    상기 처리부는, 상기 검출 광상 위치에 따라, 상기 촬상 화상에 있어서의, 상기 개안 렌즈의 위치를 시점(視點)으로 하는 개안 화상의 위치인 촬상 개안 화상 위치를 특정하는, 정보 처리 장치.
  9. 제8항에 있어서,
    상기 이미지 센서에 조사되는 상기 광원의 위치를 나타내는 기억 광상 위치, 및 상기 이미지 센서에 있어서의 상기 복수의 개안 렌즈로부터 출사되는 각 촬상 광의 출사 위치를 나타내는 기억 개안 화상 위치를 기억하는 기억부를 더 구비하고,
    상기 처리부는, 상기 기억 광상 위치와 상기 검출 광상 위치의 관계에 기초하여 상기 촬상 개안 화상 위치를 특정하는, 정보 처리 장치.
  10. 제9항에 있어서,
    상기 처리부는, 상기 기억 광상 위치와 상기 검출 광상 위치의 관계에 기초하여, 상기 기억 개안 화상 위치를 보정함으로써, 상기 촬상 개안 화상 위치를 특정하는, 정보 처리 장치.
  11. 제8항에 있어서,
    상기 촬상 화상과 상기 촬상 개안 화상 위치를 연관시키는 연관부를 더 구비하는, 정보 처리 장치.
  12. 제9항에 있어서,
    상기 기억 광상 위치, 상기 검출 광상 위치, 및 상기 기억 개안 화상 위치와, 상기 촬상 화상을 연관시키는 연관부를 더 구비하는, 정보 처리 장치.
  13. 제9항에 있어서,
    상기 기억 광상 위치, 상기 기억 광상 위치와 상기 검출 광상 위치의 차분, 및 상기 기억 개안 화상 위치와, 상기 촬상 화상을 연관시키는 연관부를 더 구비하는, 정보 처리 장치.
  14. 제8항에 있어서,
    상기 촬상 개안 화상 위치에 따라, 상기 촬상 화상으로부터 상기 개안 화상을 추출하는 추출부를 더 구비하는, 정보 처리 장치.
  15. 제7항에 있어서,
    상기 처리부는, 상기 검출 광상 위치에 따라, 상기 가동부의 피딩량(feeding amount)을 검출하는, 정보 처리 장치.
  16. 제6항에 있어서,
    상기 검출부는, 복수의 상기 광원으로부터 각각 조사되는 복수의 상기 평행광의 각각에 대응한 복수의 상기 광상을 검출하는, 정보 처리 장치.
  17. 제6항에 있어서,
    상기 렌즈부를 구비하는 렌즈 일체형의 촬상 장치인, 정보 처리 장치.
  18. 제6항에 있어서,
    상기 렌즈부가 교환 렌즈로서 장착 가능한 촬상 장치인, 정보 처리 장치.
  19. 경통과,
    상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와,
    상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와,
    상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수 개의 광원
    을 구비하는 렌즈부의 상기 광원으로부터 조사되는 상기 평행광의, 상기 이미지 센서에 의해 촬상되는 촬상 화상 상의 광상을 검출하는 검출 단계와,
    상기 검출 단계의 검출 결과에 따라, 처리를 행하는 처리 단계를 포함하는, 정보 처리 방법.
  20. 경통과,
    상기 경통에 대해, 광축을 따라 이동 가능하게 구성된 가동부와,
    상기 가동부와 일체로 되어 이동 가능하게 구성되고, 각 개안 렌즈를 통해 출사되는 촬상 광의 출사 위치가 서로 겹치지 않도록 배치된 복수의 개안 렌즈와,
    상기 가동부 및 상기 복수의 개안 렌즈와 일체로 되어 상기 광축을 따라 이동 가능하게 구성되고, 카메라 본체에 설치된 이미지 센서에 조사하는 평행광의 출사 위치가, 상기 복수의 개안 렌즈의 각각의 촬상 광의 출사 위치와 겹치지 않도록 배치된 하나 또는 복수 개의 광원
    을 구비하는 렌즈부의 상기 광원으로부터 조사되는 상기 평행광의, 상기 이미지 센서에 의해 촬상되는 촬상 화상 상의 광상을 검출하는 검출부와,
    상기 검출부의 검출 결과에 따라, 처리를 행하는 처리부
    로서, 컴퓨터를 기능시키기 위한 프로그램.
KR1020217032525A 2019-04-18 2020-04-14 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램 KR20210151815A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-079519 2019-04-18
JP2019079519 2019-04-18
PCT/JP2020/016387 WO2020213594A1 (ja) 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
KR20210151815A true KR20210151815A (ko) 2021-12-14

Family

ID=72837811

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217032532A KR20210148172A (ko) 2019-04-18 2020-04-14 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램
KR1020217032525A KR20210151815A (ko) 2019-04-18 2020-04-14 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217032532A KR20210148172A (ko) 2019-04-18 2020-04-14 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램

Country Status (6)

Country Link
US (2) US11899342B2 (ko)
EP (2) EP3958055A4 (ko)
JP (2) JP7363892B2 (ko)
KR (2) KR20210148172A (ko)
CN (2) CN113678060A (ko)
WO (2) WO2020213594A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems
TWI819894B (zh) * 2022-11-14 2023-10-21 緯創資通股份有限公司 儲存多鏡頭錄製檔的方法以及多鏡頭錄製裝置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015037472A (ja) 2013-08-17 2015-02-26 セイコーエプソン株式会社 画像処理システム及び画像処理システムの制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10268391A (ja) 1997-03-25 1998-10-09 Konica Corp カメラ及び照明装置
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
JP4843344B2 (ja) * 2005-03-18 2011-12-21 株式会社リコー 照明装置及び画像読取装置
US7999873B2 (en) 2005-11-22 2011-08-16 Panasonic Corporation Imaging device with plural lenses and imaging regions
JP4773841B2 (ja) * 2006-02-17 2011-09-14 キヤノン株式会社 撮像装置
US8072486B2 (en) * 2006-08-01 2011-12-06 Panasonic Corporation Camera device, liquid lens, and image pickup method
JP2009003190A (ja) * 2007-06-21 2009-01-08 Olympus Corp 撮像装置
JP2009003191A (ja) 2007-06-21 2009-01-08 Olympus Corp 撮像装置
KR101445185B1 (ko) * 2008-07-10 2014-09-30 삼성전자주식회사 복수 개의 영상촬영유닛을 구비한 플렉시블 영상촬영장치및 그 제조방법
JP5161702B2 (ja) * 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
CN102131044B (zh) * 2010-01-20 2014-03-26 鸿富锦精密工业（深圳）有限公司 相机模组
CN102640488A (zh) * 2010-05-14 2012-08-15 松下电器产业株式会社 照相机主体、可换镜头单元、摄像装置、照相机主体的控制方法、可换镜头单元的控制方法、程序以及记录有程序的记录介质
CN111225199A (zh) 2013-09-11 2020-06-02 索尼公司 图像处理设备及方法
JP6239993B2 (ja) 2014-02-07 2017-11-29 オリンパス株式会社 撮像装置、表示装置、及び制御方法
CN103870805B (zh) * 2014-02-17 2017-08-15 北京释码大华科技有限公司 一种移动终端生物特征成像方法和装置
CN107750345B (zh) * 2015-06-15 2021-03-23 艾格荣有限公司 多光谱成像仪
EP3320398A1 (en) * 2015-07-07 2018-05-16 Essilor International A light collecting device
EP3128750A1 (en) * 2015-08-04 2017-02-08 Thomson Licensing Plenoptic camera and method of controlling the same
JP6702796B2 (ja) 2016-05-16 2020-06-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015037472A (ja) 2013-08-17 2015-02-26 セイコーエプソン株式会社 画像処理システム及び画像処理システムの制御方法

Also Published As

Publication number Publication date
WO2020213594A1 (ja) 2020-10-22
EP3958056A1 (en) 2022-02-23
EP3958056A4 (en) 2022-06-15
JPWO2020213594A1 (ko) 2020-10-22
WO2020213595A1 (ja) 2020-10-22
EP3958055A4 (en) 2022-06-15
KR20210148172A (ko) 2021-12-07
JP7416057B2 (ja) 2024-01-17
US20220179291A1 (en) 2022-06-09
US11868029B2 (en) 2024-01-09
US20220179292A1 (en) 2022-06-09
CN113661442A (zh) 2021-11-16
CN113678060A (zh) 2021-11-19
JPWO2020213595A1 (ko) 2020-10-22
US11899342B2 (en) 2024-02-13
EP3958055A1 (en) 2022-02-23
JP7363892B2 (ja) 2023-10-18

Similar Documents

Publication Publication Date Title
CN106412426B (zh) 全聚焦摄影装置及方法
US11538193B2 (en) Methods and systems for calibrating a camera
KR20150107571A (ko) 깊이 정보를 갖는 영상을 생성하는 영상 획득 장치 및 영상 획득 방법
JP2009031682A (ja) 撮像システム及び画像信号処理プログラム
KR102512247B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈
JP7363892B2 (ja) 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
JP2007017401A (ja) 立体画像情報取得方法並びに装置
JPWO2019220722A1 (ja) 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
JP2013097154A (ja) 距離測定装置、撮像装置、距離測定方法
JP2019129374A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置
JP6304964B2 (ja) 情報処理装置及びその制御方法、及び、システム
US20220413258A1 (en) Imaging apparatus, information processing method, program, and interchangeable lens
CN111527521A (zh) 图像处理装置、图像处理方法和程序
KR101275127B1 (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
WO2021124942A1 (ja) 撮像装置、情報処理方法、およびプログラム
JP2020003432A (ja) 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
KR20150109187A (ko) 구조광 시스템
JP2014194502A (ja) 撮像装置および撮像システム
KR20170102755A (ko) 라이트필드 카메라용 오토포커싱 장치 및 그 방법
JP2019066186A (ja) 撮像装置及び撮像装置の距離算出方法
WO2024167808A1 (en) Sub-pixel sensor alignment in optical systems
CN111557090A (zh) 信息处理设备、信息处理方法、程序和可互换透镜
KR20210139256A (ko) 촬상 장치, 정보처리방법, 및 프로그램
JP5679718B2 (ja) 撮像装置
JP2020008955A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体

Legal Events

Date Code Title Description
A201 Request for examination