KR102540722B1 - 촬상 장치, 촬상 모듈 및 촬상 장치의 제어 방법 - Google Patents

촬상 장치, 촬상 모듈 및 촬상 장치의 제어 방법 Download PDF

Info

Publication number
KR102540722B1
KR102540722B1 KR1020187034207A KR20187034207A KR102540722B1 KR 102540722 B1 KR102540722 B1 KR 102540722B1 KR 1020187034207 A KR1020187034207 A KR 1020187034207A KR 20187034207 A KR20187034207 A KR 20187034207A KR 102540722 B1 KR102540722 B1 KR 102540722B1
Authority
KR
South Korea
Prior art keywords
sub
main
focus
detection area
lens
Prior art date
Application number
KR1020187034207A
Other languages
English (en)
Other versions
KR20190129684A (ko
Inventor
케이스케 사이토
타케시 아카바네
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20190129684A publication Critical patent/KR20190129684A/ko
Application granted granted Critical
Publication of KR102540722B1 publication Critical patent/KR102540722B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/285—Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/18—Motion-picture cameras
    • G03B19/22—Double cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

복수의 렌즈 각각의 초점을 검출하는 촬상 장치에 있어서, 초점의 검출 정밀도를 향상시킨다. 메인측 포커스 제어부는, 메인측 화상 내의 메인측 검출 에리어 내에 초점이 맞는 메인측 렌즈의 위치를 메인측 합초 위치로서 검출한다. 시차 취득부는, 메인측 합초 위치에 기초하여 거리를 구하고 거리에 따른 시차를 취득한다. 서브측 검출 에리어 설정부는, 시차와 상기 메인측 검출 에리어의 위치에 기초하여 서브측 화상 내에 있어서의 서브측 검출 에리어의 위치를 설정한다. 서브측 포커스 제어부는, 서브측 검출 에리어 내에 초점이 맞는 서브측 렌즈의 위치를 서브측 합초 위치로서 검출한다.

Description

촬상 장치, 촬상 모듈 및 촬상 장치의 제어 방법
본 기술은, 촬상 장치, 촬상 모듈 및 촬상 장치의 제어 방법에 관한 것이다. 상세하게는, 복수의 렌즈의 각각의 합초 위치를 검출하는 촬상 장치, 촬상 모듈 및 촬상 장치의 제어 방법에 관한 것이다.
종래부터, 복수의 화상 데이터를 동시에 촬상하기 위해서, 복수의 촬상 소자를 설치한 복안형의 촬상 장치가 이용되고 있다. 예를 들어, 우안용의 촬상 유닛과 좌안용의 촬상 유닛의 양방에 동일한 촬상 파라미터를 설정하고 촬상을 행하는 복안의 촬상 장치가 제안되어 있다(예를 들어, 특허문헌 1 참조).
일본특허공개 제2014-36363호 공보
상술한 종래 기술에서는, 촬상 장치는, 촬상 파라미터를 동일하게 설정함으로써, 동일한 촬상 조건에서 2매의 화상 데이터를 촬상할 수 있다. 그러나, 이 촬상 장치 내의 촬상 유닛의 일방의 포커스 에리어에 초점을 맞추고, 그 포커스 에리어를 촬상 파라미터에 의해 타방에도 설정하여 포커스 제어를 행하면, 일방에서 초점을 맞춘 피사체에 대해 타방에서 초점이 맞지 않게 될 우려가 있다. 이것은, 2개의 촬상 유닛의 각각에서 촬상한 화상에 대해 시차가 크면, 그 시차에 따라 피사체가 찍히는 위치가 어긋나고, 포커스 에리어 내에 피사체가 들어가지 않게 되기 때문이다. 촬상 유닛에 있어서 피사체에 초점이 맞지 않게 되어 초점 검출 정밀도가 저하하면, 그 촬상 유닛으로 촬상한 화상 데이터의 화질이 저하되어 버린다고 하는 문제가 있다.
본 기술은 이러한 상황을 감안하여 이루어진 것으로, 복수의 렌즈의 각각의 초점을 검출하는 촬상 장치에 있어서, 초점의 검출 정밀도를 향상시키는 것을 목적으로 한다.
본 기술은, 상술한 문제점을 해소하기 위해 이루어진 것으로, 그 제1 측면은, 메인측 화상 내의 메인측 검출 에리어 내에 초점이 맞는 메인측 렌즈의 위치를 메인측 합초 위치로서 검출하는 메인측 포커스 제어부와, 상기 메인측 합초 위치에 기초하여 거리를 구하고 상기 거리에 따른 시차를 취득하는 시차 취득부와, 상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 서브측 화상 내에 있어서의 서브측 검출 에리어의 위치를 설정하는 서브측 검출 에리어 설정부와, 상기 서브측 검출 에리어 내에 초점이 맞는 서브측 렌즈의 위치를 서브측 합초 위치로서 검출하는 서브측 포커스 제어부를 구비하는 촬상 장치, 및, 그 제어 방법이다. 이에 의해, 시차와 메인측 검출 에리어의 위치에 기초하여 서브측 검출 에리어의 위치가 설정된다고 하는 작용을 가져온다.
또한, 이 제1 측면에 있어서, 상기 서브측 포커스 제어부는, 상기 서브측 검출 에리어 중 상기 서브측 화상 데이터의 프레임 외의 에리어의 면적이 소정치를 넘지 않는 경우에는 상기 서브측 합초 위치를 검출해도 된다. 이에 의해, 서브측 검출 에리어 중 프레임 외의 에리어의 면적이 소정치 이하인 경우에 서브측 합초 위치가 검출된다고 하는 작용을 가져온다.
또한, 이 제1 측면에 있어서, 상기 메인측 렌즈와 상기 서브측 렌즈의 화각은 다르고, 상기 서브측 검출 에리어 설정부는, 상기 메인측 화상 및 상기 서브측 화상의 일방에 대한 타방의 확대율과 상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 상기 서브측 검출 에리어의 위치 및 사이즈를 설정해도 된다. 이에 의해, 확대율과 시차와 메인측 검출 에리어의 위치에 기초하여 서브측 검출 에리어의 위치 및 사이즈가 설정된다고 하는 작용을 가져온다.
또한, 이 제1 측면에 있어서, 상기 메인측 렌즈를 구동하여 초점을 맞출 수 있는 상기 거리의 범위인 메인측 서치 범위와 상기 서브측 렌즈를 구동하여 초점을 맞출 수 있는 상기 거리의 범위인 서브측 서치 범위는 다르고, 상기 서브측 포커스 제어부는, 상기 서브측 화상 데이터의 프레임 외의 에리어의 면적이 소정치를 넘지 않고, 상기 메인측 합초 위치에 대응하는 거리가 상기 서브측 서치 범위 내인 경우에는 상기 서브측 합초 위치를 검출해도 된다. 이에 의해, 메인측 합초 위치에 대응하는 거리가 서브측 서치 범위 내인 경우에 서브측 합초 위치가 검출된다고 하는 작용을 가져온다.
또한, 이 제1 측면에 있어서, 상기 메인측 화상을 촬상하는 메인측 고체 촬상 소자와, 상기 서브측 화상을 촬상하는 서브측 고체 촬상 소자를 더 구비하고, 상기 메인측 고체 촬상 소자는, 상기 메인측 합초 위치가 검출되면 새로운 메인측 화상을 촬상하고, 상기 서브측 고체 촬상 소자는, 상기 서브측 합초 위치가 검출되면 새로운 서브측 화상을 촬상해도 된다. 이에 의해, 메인측 합초 위치가 검출되면 새로운 화상이 촬상된다고 하는 작용을 가져온다.
또한, 이 제1 측면에 있어서, 상기 메인측 포커스 제어부는, 상기 메인측 검출 에리어 내의 콘트라스트가 가장 강하게 되는 상기 메인측 렌즈의 위치를 상기 메인측 합초 위치로서 검출하고, 상기 서브측 포커스 제어부는, 상기 서브측 검출 에리어 내의 콘트라스트가 가장 강하게 되는 상기 서브측 렌즈의 위치를 상기 서브측 합초 위치로서 검출해도 된다. 이에 의해, 콘트라스트가 가장 강하게 되는 렌즈의 위치가 합초 위치로서 검출된다고 하는 작용을 가져온다.
또한, 이 제1 측면에 있어서, 상기 메인측 포커스 제어부는, 위상차에 기초하여 상기 메인측 합초 위치를 검출하고, 상기 서브측 포커스 제어부는, 위상차에 기초하여 상기 서브측 합초 위치를 검출해도 된다. 이에 의해, 위상차 AF 방식에 의해, 합초 위치가 검출된다고 하는 작용을 가져온다.
또한, 본 기술의 제2 측면은, 메인측 화상 내의 메인측 검출 에리어 내에 초점이 맞는 메인측 렌즈의 위치를 메인측 합초 위치로서 검출하는 메인측 포커스 제어부와, 상기 메인측 합초 위치에 기초하여 거리를 구하고 상기 거리에 따른 시차를 취득하는 시차 취득부와, 상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 서브측 화상 내에 있어서의 서브측 검출 에리어의 위치를 설정하는 서브측 검출 에리어 설정부와, 상기 서브측 검출 에리어 내에 초점이 맞는 서브측 렌즈의 위치를 서브측 합초 위치로서 검출하는 서브측 포커스 제어부와, 상기 메인측 화상 및 상기 서브측 화상 중 적어도 일방을 처리한 화상을 출력하는 화상 출력부를 구비하는 촬상 모듈이다. 이에 의해, 시차와 메인측 검출 에리어의 위치에 기초하여 서브측 검출 에리어의 위치가 설정되고, 메인측 화상 및 서브측 화상 중 적어도 일방을 처리한 화상이 출력된다고 하는 작용을 가져온다.
본 기술에 의하면, 복수의 렌즈의 각각의 초점을 검출하는 촬상 장치에 있어서, 초점의 검출 정밀도를 향상시킬 수 있다고 하는 뛰어난 효과를 발휘할 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 효과여도 좋다.
[도 1] 본 기술의 제1 실시형태에 있어서의 촬상 장치의 일 구성예를 나타내는 블럭도이다.
[도 2] 본 기술의 제1 실시형태에 있어서의 2안 카메라 모듈의 외관의 구성예를 나타내는 도면이다.
[도 3] 본 기술의 제1 실시형태에 있어서의 2안 카메라 모듈의 1 구성예를 나타내는 블럭도이다.
[도 4] 본 기술의 제1 실시형태에 있어서의 메인측 고체 촬상 소자의 일 구성예를 나타내는 블럭도이다.
[도 5] 본 기술의 제1 실시형태에 있어서의 서브측 고체 촬상 소자의 일 구성예를 나타내는 블럭도이다.
[도 6] 본 기술의 제1 실시형태에 있어서의 메인측 화소 어레이부 및 서브측 화소 어레이부의 평면도의 일례이다.
[도 7] 본 기술의 제1 실시형태에 있어서의 메인측 렌즈 위치와 메인측 렌즈 구동량과의 관계의 일례를 나타내는 그래프이다.
[도 8] 본 기술의 제1 실시형태에 있어서의 촬상 제어부의 일 구성예를 나타내는 블럭도이다.
[도 9] 본 기술의 제1 실시형태에 있어서의 메인측 렌즈 위치 및 서브측 렌즈 위치와 거리의 관계의 일례를 나타내는 그래프이다.
[도 10] 본 기술의 제1 실시형태에 있어서의 거리가 먼 경우의 시차를 설명하기 위한 도면이다.
[도 11] 본 기술의 제1 실시형태에 있어서의 거리가 먼 경우의 메인측 화상 데이터 및 서브측 화상 데이터의 일례를 나타내는 도면이다.
[도 12] 본 기술의 제1 실시형태에 있어서의 거리가 먼 경우의 콘트라스트와 메인측 렌즈 위치 및 서브측 렌즈 위치의 관계의 일례를 나타내는 그래프이다.
[도 13] 본 기술의 제1 실시형태에 있어서의 거리가 가까운 경우의 시차를 설명하기 위한 도면이다.
[도 14] 본 기술의 제1 실시형태에 있어서의 거리가 가까운 경우의 메인측 화상 데이터 및 서브측 화상 데이터의 일례를 나타내는 도면이다.
[도 15] 본 기술의 제1 실시형태에 있어서의 거리가 가까운 경우의 시프트 전의 콘트라스트와 메인측 렌즈 위치 및 서브측 렌즈 위치의 관계의 일례를 나타내는 그래프이다.
[도 16] 본 기술의 제1 실시형태에 있어서의 시프트 했을 경우의 시프트 후의 콘트라스트와 서브측 렌즈 위치와의 관계의 일례를 나타내는 그래프이다.
[도 17] 본 기술의 제1 실시형태에 있어서의 서브측 검출 영역이 비어져 나오는 경우의 메인측 화상 데이터 및 서브측 화상 데이터의 일례를 나타내는 도면이다.
[도 18] 본 기술의 제1 실시형태에 있어서의 촬상 장치의 동작의 일례를 나타내는 흐름도이다.
[도 19] 본 기술의 제1 실시형태에 있어서의 AF 처리의 일례를 나타내는 흐름도이다.
[도 20] 본 기술의 제1 실시형태에 있어서의 서브측 검출 에리어 설정 처리의 일례를 나타내는 흐름도이다.
[도 21] 본 기술의 제1 실시형태에 있어서의 서브측 AF 실행 판정 처리의 일례를 나타내는 흐름도이다.
[도 22] 본 기술의 제2 실시형태에 있어서의 2안 카메라 모듈의 일 구성예를 나타내는 블럭도이다.
[도 23] 본 기술의 제2 실시형태에 있어서의 서브측 영역이 비어져 나오지 않는 경우의 메인측 화상 데이터 및 서브측 화상 데이터의 일례를 나타내는 도면이다.
[도 24] 본 기술의 제2 실시형태에 있어서의 서브측 영역이 비어져 나오는 경우의 메인측 화상 데이터 및 서브측 화상 데이터의 일례를 나타내는 도면이다.
[도 25] 본 기술의 제2 실시형태에 있어서의 메인측 서치 범위 및 서브측 서치 범위의 일례를 나타내는 도면이다.
[도 26] 본 기술의 제2 실시형태에 있어서의 AF 처리의 일례를 나타내는 흐름도이다.
[도 27] 본 기술의 제2 실시형태에 있어서의 서브측 검출 에리어 설정 처리의 일례를 나타내는 흐름도이다.
[도 28] 본 기술의 제2 실시형태에 있어서의 서브측 AF 실행 판정 처리 1의 일례를 나타내는 흐름도이다.
[도 29] 본 기술의 제2 실시형태에 있어서의 서브측 AF 실행 판정 처리 2의 일례를 나타내는 흐름도이다.
[도 30] 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블럭도이다.
[도 31] 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
이하, 본 기술을 실시하기 위한 형태(이하, 실시형태라고 함)에 대해 설명한다. 설명은 이하의 순서에 의해 행한다.
1. 제1 실시형태(시차에 따라서 시프트 한 위치에 검출 에리어를 설정하는 예)
2. 제2 실시형태(화각이 좁은 화상 데이터에 있어서 시차에 따라서 시프트 한 위치에 검출 에리어를 설정하는 예)
3. 이동체에의 응용예
<1. 제1 실시형태>
[촬상 장치의 구성예]
도 1은, 본 기술의 제1 실시형태에 있어서의 촬상 장치(100)의 일 구성예를 나타내는 블럭도이다. 이 촬상 장치(100)는, 화상 데이터를 촬상할 수 있는 장치이며, 조작부(110), 2안 카메라 모듈(200), 기록부(120) 및 표시부(130)를 구비한다. 촬상 장치(100)로서, 촬상 기능을 가지는 스마트폰이나 퍼스널 컴퓨터 등이 상정된다.
조작부(110)는, 유저의 조작에 따라 데이터를 생성하는 것이다. 이 조작부(110)는, 예를 들어, 합초 위치를 검출하기 위한 에리어인 검출 에리어의 위치를 지정하는 조작이 행해지면 조작 신호를 생성하고, 신호선(119)을 거쳐 2안 카메라 모듈(200)에 공급한다. 여기서, 검출 에리어의 위치의 지정은, 예를 들어, 표시부(130)를 유저가 손가락으로 탭 함으로써 행해진다. 또한, 조작부(110)는, 유저에 의해 셔터 버튼이 압하되면 화상 데이터의 기록을 지시하는 촬상 개시 신호를 생성하고 2안 카메라 모듈(200)에 신호선(119)을 거쳐 공급한다. 또한, 검출 에리어의 지정은, 손가락으로 탭 하는 조작에 한정되지 않고, 예를 들어, 방향 키와 결정 버튼을 이용한 조작에 의해 지정하는 구성이여도 좋다.
2안 카메라 모듈(200)은, 2개의 고체 촬상 소자에 의해 2매의 화상 데이터를 동시에 촬상하는 것이다. 이 2안 카메라 모듈(200)은, 소정 주파수(예를 들어, 30 헤르쯔)의 수직 동기 신호에 동기하여 화상 데이터를 생성하고, 프리 뷰 화상으로서 표시부(130)에 신호선(209)을 거쳐 공급한다. 또한, 2안 카메라 모듈(200)은, 조작 신호에 따라 검출 에리어를 설정하고, 검출 에리어 내의 피사체에 초점이 맞는 렌즈의 위치를 합초 위치로서 검출한다. 그리고, 2안 카메라 모듈(200)은, 촬상 개시 신호를 받으면, 화상 데이터를 촬상하고, 촬상한 화상 데이터를 기록 화상으로서 신호선(208)을 거쳐 기록부(120)에 공급한다. 또한, 2안 카메라 모듈(200)은, 특허청구의 범위에 기재된 촬상 모듈의 일례이다.
기록부(120)는, 기록 화상을 기록하는 것이다. 기록부(120)로서, 예를 들어, 플래쉬 메모리가 이용된다.
표시부(130)는, 프리 뷰 화상을 표시하는 것이다. 표시부(130)로서, 예를 들어, 터치 패널이 이용된다.
[2안 카메라 모듈의 구성예]
도 2는, 본 기술의 제1 실시형태에 있어서의 2안 카메라 모듈의 외관의 구성예를 나타내는 도면이다. 도 2에 있어서의 a는, 2안 카메라 모듈(200)의 사시도이며, 도 2에 있어서의 b는, 2안 카메라 모듈(200)의 정면도이다.
2안 카메라 모듈(200)은, 복안 방식의 카메라 모듈로서, 단안 카메라 모듈(201)과 단안 카메라 모듈(202)이, 직사각형의 판 모양의 형상으로 이루어지는 연결 부재(203)에 의해 고정됨으로써 구성된다.
단안 카메라 모듈(201)에는, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 고체 촬상 소자나 렌즈 유닛 등이 탑재되어 있다.
단안 카메라 모듈(201)에 있어서, 고체 촬상 소자는, 복수의 화소가 2차원 형상으로 배열되는 화소부나, 화소의 구동이나 A/D(Analog/Digital) 변환 등을 행하는 주변 회로부 등으로 구성되어 있다. 이 고체 촬상 소자에서는, 렌즈 유닛 내의 렌즈로부터 입사되는 광(상 광)이 화소부의 수광면에 결상되고, 결상된 상의 광이 광전 변환됨으로써, 화소 신호가 생성된다.
단안 카메라 모듈(202)은, 단안 카메라 모듈(201)과 마찬가지로, CMOS 이미지 센서나 렌즈 유닛 등이 탑재되어 구성된다. 예를 들어, 2안 카메라 모듈(200)에 있어서는, 단안 카메라 모듈(201)을 메인 카메라로 하는 한편, 단안 카메라 모듈(202)을 서브 카메라로 할 수 있다.
연결 부재(203)는, 단안 카메라 모듈(201)의 렌즈 유닛과, 단안 카메라 모듈(202)의 렌즈 유닛을 나란히 배열했을 때의 평면 방향의 사이즈보다 큰 윤곽의 직사각형의 판 모양의 형상으로 이루어진다. 또한, 연결 부재(203)에는, 단안 카메라 모듈(201)의 렌즈 유닛이 삽입되는 직사각형의 삽입 구멍부와, 단안 카메라 모듈(202)의 렌즈 유닛이 삽입되는 직사각형의 삽입 구멍부가, 대칭으로 관통 형성되어 있다.
2안 카메라 모듈(200)에 있어서는, 연결 부재(203)에 관통 형성된 2개의 직사각형의 삽입 구멍부에 대해, 단안 카메라 모듈(201)의 렌즈 유닛과, 단안 카메라 모듈(202)의 렌즈 유닛이 각각 삽입되어 고정되어 있다. 이에 의해, 2안 카메라 모듈(200)은, 단안 카메라 모듈(201)과 단안 카메라 모듈(202)을 가지는, 복안 방식의 카메라 모듈로서 구성된다. 2안 카메라 모듈(200)은, 이상과 같이 구성된다.
또한, 단안 카메라 모듈(201)과 단안 카메라 모듈(202)은, 연결 부재(203)에 의해 연결되는, 복수의 단안 카메라 모듈의 일례이며, 이하, 그들을 특히 구별할 필요가 없는 경우에는, 단순히, 단안 카메라 모듈(201)이라 칭하여 설명한다.
또한, 단안 카메라 모듈이란, 1개의 고체 촬상 소자(이미지 센서)가 탑재된 카메라 모듈이다. 한편, 2안 카메라 모듈은, 2개의 단안 카메라 모듈을 연결시킴으로써, 2개의 고체 촬상 소자(이미지 센서)가 탑재된 카메라 모듈이다. 다만, 모듈은, 패키지 등의 다른 명칭으로 불리는 경우가 있다.
도 3은, 본 기술의 제1 실시형태에 있어서의 2안 카메라 모듈(200)의 일 구성예를 나타내는 블럭도이다. 이 2안 카메라 모듈(200)은, 촬상 렌즈(211 및 212)와, 메인측 구동부(221)와, 서브측 구동부(222)와, 메인측 고체 촬상 소자(230)와, 서브측 고체 촬상 소자(250)와, 화상 처리부(270)와, 촬상 제어부(280)와, 스위치(290)를 구비한다.
도 3에 있어서의 촬상 렌즈(211), 메인측 구동부(221) 및 메인측 고체 촬상 소자(230)는, 도 2에 있어서의 단안 카메라 모듈(201) 내에 설치된다. 한편, 촬상 렌즈(212), 서브측 구동부(222) 및 서브측 고체 촬상 소자(250)는, 도 2에 있어서의 단안 카메라 모듈(202) 내에 설치된다. 화상 처리부(270), 촬상 제어부(280) 및 스위치(290)는, 단안 카메라 모듈(201 및 202)의 일방에만 설치해도 되고, 단안 카메라 모듈(201 및 202)의 각각 분산하여 설치해도 된다.
촬상 렌즈(211)는, 피사체로부터의 광을 집광하고 메인측 고체 촬상 소자(230)로 안내하는 것이다. 촬상 렌즈(211)로서, 예를 들어, 초점 거리가 고정된 단초점 렌즈가 이용된다. 또한, 촬상 렌즈(211)는, 특허청구의 범위에 기재된 메인측 렌즈의 일례이다.
촬상 렌즈(212)는, 피사체로부터의 광을 집광하여 서브측 고체 촬상 소자(250)로 안내하는 것이다. 촬상 렌즈(212)로서, 예를 들어, 초점 거리가 고정된 단초점 렌즈가 이용된다. 또한, 촬상 렌즈(211 및 212)의 각각의 화각은 동일한 것으로 한다. 또한, 촬상 렌즈(212)는, 특허청구의 범위에 기재된 서브측 렌즈의 일례이다.
메인측 구동부(221)는, 촬상 제어부(280)의 제어에 따라, 광축 방향을 따라 촬상 렌즈(211)를 구동하는 것이다. 예를 들어, DAC(Digital to Analog Converter)나 액추에이터를 설치한 회로가 메인측 구동부(221)로서 이용된다. 서브측 구동부(222)는, 촬상 제어부(280)의 제어에 따라, 광축 방향을 따라 촬상 렌즈(212)를 구동하는 것이다.
메인측 고체 촬상 소자(230)는, 촬상 제어부(280)의 제어에 따라 화상 데이터를 촬상하는 것이다. 이 메인측 고체 촬상 소자(230)는, 색 정보를 포함한 화소 데이터로 이루어지는 컬러의 화상 데이터를 메인측 화상 데이터로서 촬상하고, 그 메인측 화상 데이터를 화상 처리부(270) 및 촬상 제어부(280)에 공급한다. 이 메인측 화상 데이터는, R(Red), G(Green) 및 B(Blue)의 화소 데이터가 베이어 배열에 의해 배열된 것으로, RAW 화상 데이터라고도 불린다.
서브측 고체 촬상 소자(250)는, 촬상 제어부(280)의 제어에 따라 화상 데이터를 촬상하는 것이다. 이 서브측 고체 촬상 소자(250)는, 색 정보를 포함하지 않는 화소 데이터로 이루어지는 모노크롬의 화상 데이터를 서브측 화상 데이터로서 촬상하고, 그 서브측 화상 데이터를 화상 처리부(270) 및 촬상 제어부(280)에 공급한다. 또한, 서브측 화상 데이터의 총 화소수는, 메인측 화상 데이터와 같아도 되고, 달라도 된다.
화상 처리부(270)는, 메인측 화상 데이터 및 서브측 화상 데이터에 대해 소정의 화상 처리를 행하는 것이다. 이 화상 처리부(270)는, 촬상 개시 신호가 입력되어 있지 않은 경우에는, 메인측 화상 데이터에 대해 디모자이크 처리 등을 행하고, 프리 뷰 화상으로서 스위치(290)에 공급한다.
또한, 촬상 개시 신호가 입력되면 화상 처리부(270)는, 메인측 화상 데이터 및 서브측 화상 데이터를 합성하고, 기록 화상으로서 스위치(290)에 공급한다. 베이어 배열의 메인측 화상 데이터는, 디모자이크 처리에 의해 보간을 행할 필요가 있고, 이 처리에 의해, G의 해상도는, 총 화소수의 1/2이 되고, R 및 B의 해상도는, 총 화소수의 1/4이 된다. 한편, 서브측 화상 데이터에서는, 디모자이크 처리는 불필요하기 때문에, 디모자이크 후의 메인측 화상 데이터보다 해상도가 높다. 따라서, 서브측 화상 데이터의 합성에 의해, 메인측 화상 데이터에서 부족한 화소 정보를 보충하고, 합성 화상 데이터의 화질을, 합성하지 않는 경우보다 향상시킬 수 있다. 또한, 화상 처리부(270)는, 디모자이크 처리나 합성 처리 외, 화이트 밸런스 보정이나 얼굴 인식 처리 등의 화상 처리를 필요에 따라 실행할 수도 있다.
촬상 제어부(280)는, 2안 카메라 모듈(200)의 촬상 동작을 제어하는 것이다. 이 촬상 제어부(280)는, 메인측 화상 데이터에 있어서, 조작 신호에 의해 지정된 위치에 직사각형의 소정 사이즈의 에리어를 메인측 검출 에리어로서 설정한다. 그리고, 촬상 제어부(280)는, 메인측 검출 에리어의 콘트라스트에 기초하여, 초점이 맞는 촬상 렌즈(211)의 위치를 메인측 합초 위치로서 검출한다. 그 다음에 촬상 제어부(280)는, 광축 상의 렌즈 위치를 나타내는 디지털값을 메인측 구동부(221)에 공급하고, 메인측 합초 위치로 촬상 렌즈(211)를 구동시킨다.
또한, 촬상 제어부(280)는, 메인측 합초 위치에 기초하여, 피사체까지의 거리를 구하고, 그 거리에 따른 시차를 취득한다. 그리고, 촬상 제어부(280)는, 시차와 메인측 검출 에리어의 위치에 기초하여, 서브측 화상 데이터에 있어서 직사각형의 소정 사이즈의 에리어를 서브측 검출 에리어로서 설정한다. 이 서브측 검출 에리어의 사이즈는, 메인측 검출 에리어와 동일한 것으로 한다. 촬상 제어부(280)는, 서브측 검출 에리어의 콘트라스트에 기초하여, 초점이 맞는 촬상 렌즈(212)의 위치를 서브측 합초 위치로서 검출한다. 그리고, 촬상 제어부(280)는, 광축 상의 렌즈 위치를 나타내는 디지털값을 서브측 구동부(222)에 공급하고, 서브측 합초 위치로 촬상 렌즈(212)를 구동시킨다.
스위치(290)는, 촬상 개시 신호에 따라 화상 데이터의 출력처를 전환하는 것이다. 이 스위치(290)는, 촬상 개시 신호가 입력되어 있지 않은 경우에, 화상 처리부(270)로부터의 프리 뷰 화상을 표시부(130)에 출력한다. 한편, 촬상 개시 신호가 입력되었을 경우에 스위치(290)는, 화상 처리부(270)로부터의 기록 화상을 기록부(120)에 출력한다. 또한, 스위치(290)는, 특허청구의 범위에 기재된 출력부의 일례이다.
또한, 촬상 제어부(280)는, 메인측 고체 촬상 소자(230) 및 서브측 고체 촬상 소자(250) 각각에, 노광 시간이나 게인 등의 노광 파라미터를 설정한다.
[메인측 고체 촬상 소자의 구성예]
도 4는, 본 기술의 제1 실시형태에 있어서의 메인측 고체 촬상 소자(230)의 일 구성예를 나타내는 블럭도이다. 이 메인측 고체 촬상 소자(230)는, 드라이버(231), 메인측 화소 어레이부(240), 아날로그 신호 증폭부(232), AD(Analog to Digital) 변환부(233) 및 디지털 신호 증폭부(234)를 구비한다.
드라이버(231)는, 메인측 화소 어레이부(240)를 주사하는 것이다. 이 드라이버(231)에는, 수직 동기 신호에 동기한 타이밍 신호와, 노광 시간이 입력된다. 드라이버(231)는, 타이밍 신호에 동기하여 메인측 화소 어레이부(240) 내의 라인을 순서대로 선택하고, 그 라인을 노광 시간에 걸쳐 노광시킨다.
메인측 화소 어레이부(240)에는, R, G 및 B 화소가 베이어 배열에 의해 설치된다. R 화소, G 화소 및 B 화소 각각은, 드라이버(231)의 제어에 따라, 아날로그의 화소 신호를 생성하고 아날로그 신호 증폭부(232)에 공급한다.
아날로그 신호 증폭부(232)는, 화소 신호를 증폭하는 것이다. 이 아날로그 신호 증폭부(232)에는, 아날로그 게인이 입력된다. 아날로그 신호 증폭부(232)는, 그 아날로그 게인에 의해, 메인측 화소 어레이부(240)로부터의 화소 신호를 증폭하고 AD 변환부(233)에 공급한다.
AD 변환부(233)는, 아날로그의 화소 신호 각각을, 디지털의 화소 데이터로 변환하는 것이다. 이 AD 변환부(233)는, 화소 데이터 각각을 디지털 신호 증폭부(234)에 공급한다.
디지털 신호 증폭부(234)는, 화소 데이터를 증폭하는 것이다. 이 디지털 신호 증폭부(234)에는, 디지털 게인이 입력된다. 디지털 신호 증폭부(234)는, 그 디지털 게인에 의해 화소 데이터를 증폭하고 화상 처리부(270) 및 촬상 제어부(280)에 출력한다.
[서브측 고체 촬상 소자의 구성예]
도 5는, 본 기술의 제1 실시형태에 있어서의 서브측 고체 촬상 소자(250)의 일 구성예를 나타내는 블럭도이다. 이 서브측 고체 촬상 소자(250)는, 드라이버(251), 서브측 화소 어레이부(260), 아날로그 신호 증폭부(252), AD 변환부(253) 및 디지털 신호 증폭부(254)를 구비한다.
드라이버(251)의 구성은, 메인측의 드라이버(231)와 마찬가지이다. 서브측 화소 어레이부(260)에는 이차원 격자 형상으로 복수의 화소가 배열된다. 아날로그 신호 증폭부(252)는, 메인측의 아날로그 신호 증폭부(232)와 마찬가지의 구성이다. 디지털 신호 증폭부(254)는, 메인측의 디지털 신호 증폭부(234)와 마찬가지의 구성이다.
[화소 어레이부의 구성예]
도 6은, 본 기술의 제1 실시형태에 있어서의 메인측 화소 어레이부(240) 및 서브측 화소 어레이부(260)의 평면도의 일례이다. 동 도면에 있어서의 a는, 메인측 화소 어레이부(240)의 평면도의 일례이며, 동 도에 있어서의 b는, 서브측 화소 어레이부(260)의 평면도의 일례이다.
메인측 화소 어레이부(240)에는, 소정수의 R 화소(241), G 화소(242) 및 B 화소(243)가 베이어 배열에 의해 이차원 격자 형상으로 배열된다. 메인측 화소 어레이부(240)의 총 화소수는, 서브측 화소 어레이부(260)와 같아도 되고, 달라도 된다. R 화소(241)에는, 적색의 광을 투과하는 컬러 필터가 설치되고, G 화소(242)에는, 녹색의 광을 투과하는 컬러 필터가 설치된다. 또한, B 화소(243)에는, 청색의 광을 투과하는 컬러 필터가 설치된다.
한편, 서브측 화소 어레이부(260)에는, 복수의 화소(261)가 이차원 격자 형상으로 배열된다. 그리고, 화소(261) 각각은, 컬러 필터가 설치되지 않는다. 이 때문에, 이 서브측 화소 어레이부(260)에 의해, 색 정보를 포함하지 않은 모노크롬의 화상 데이터가 촬상된다.
도 7은, 본 기술의 제1 실시형태에 있어서의 메인측 렌즈 위치와 메인측 렌즈 구동량과의 관계의 일례를 나타내는 그래프이다. 동 도면에 있어서의 종축은, 메인측 렌즈 위치를 나타내는 값으로서 메인측 구동부(221) 내의 DAC에 설정되는 디지털값을 나타낸다. 또한, 동 도면에 있어서의 횡축은, 메인측 구동부(221) 내의 액추에이터에 의한 촬상 렌즈(211)의 소정 위치로부터의 구동량을 나타낸다. 동 도면에 예시하는 바와 같이, 디지털값과 렌즈 구동량 사이의 관계는, 다음의 식에 의해 나타내진다.
L=c×D＋L0　　···식 1
윗 식에 있어, L은, 메인측 렌즈 위치를 나타내는 디지털값이다. c는, 기울기이며, L0은 절편이다. D는, 메인측 렌즈 구동량이며, 단위는, 예를 들어, 밀리미터(mm)이다.
[촬상 제어부의 구성예]
도 8은, 본 기술의 제1 실시형태에 있어서의 촬상 제어부(280)의 일 구성예를 나타내는 블럭도이다. 이 촬상 제어부(280)는, 메인측 포커스 제어부(281), 시차 취득부(282), 서브측 검출 에리어 설정부(283), 노광 제어부(284), 메인측 검출 에리어 설정부(285) 및 서브측 포커스 제어부(286)를 구비한다.
메인측 검출 에리어 설정부(285)는, 조작 신호에 따라 메인측 검출 에리어를 설정하는 것이다. 예를 들어, 조작 신호를 해석하고 화상 내의 위치 좌표로 변환하는 디코더가 메인측 검출 에리어 설정부(285)로서 이용된다. 메인측 검출 에리어 설정부(285)는, 설정한 위치를 메인측 포커스 제어부(281) 및 서브측 검출 에리어 설정부(283)에 공급한다.
메인측 포커스 제어부(281)는, 메인측 검출 에리어 내에 초점이 맞는 촬상 렌즈(211)의 위치를 메인측 합초 위치로서 검출하는 것이다. 이 메인측 포커스 제어부(281)는, 촬상 렌즈(211)의 렌즈 위치를 조금씩 변화시키고, 그때마다 메인측 화상 데이터 내의 메인측 검출 에리어의 콘트라스트를 참조하여, 콘트라스트가 가장 강하게 되는 촬상 렌즈(211)의 위치를 탐색한다. 이와 같은 포커스 제어 방식은, 일반적으로 콘트라스트 AF(Auto Focus) 방식으로 불린다. 탐색에 있어 메인측 포커스 제어부(281)는, 구동처의 메인측 렌즈 위치를 메인측 구동부(221)에 공급한다.
그리고, 메인측 포커스 제어부(281)는, 탐색한 위치(즉, 메인측 합초 위치)를 시차 취득부(282) 및 서브측 포커스 제어부(286)에 공급한다.
시차 취득부(282)는, 메인측 합초 위치에 기초하여 거리를 구하고, 그 거리에 따른 시차를 취득하는 것이다. 시차 취득부(282)는, 취득한 시차를 서브측 검출 에리어 설정부(283)에 공급한다.
서브측 검출 에리어 설정부(283)는, 시차와, 메인측 검출 에리어의 위치에 기초하여, 서브측 화상 데이터 내에 있어서의 서브측 검출 에리어의 위치를 설정하는 것이다. 이 서브측 검출 에리어 설정부(283)는, 예를 들어, 시차를 픽셀 단위의 값으로 환산하고, 그 값만큼 메인측 검출 에리어의 위치를 시프트 시키고, 그 시프트 후의 위치를 서브측 검출 에리어의 위치로서 설정한다. 그리고, 서브측 검출 에리어 설정부(283)는, 다음 식을 이용하여 프레임 외 에리어 면적 비율(P)을 연산한다.
P=Aout/Asub
윗 식에 있어, Aout는, 서브측 검출 에리어 중, 시프트에 의해 서브측 화상 데이터의 프레임 외로 비어져 나온 에리어의 면적이다. Asub는, 서브측 검출 에리어 전체의 면적이며, 메인측 검출 에리어와 같은 값이 설정된다.
서브측 검출 에리어 설정부(283)는, 서브측 검출 에리어의 위치와, 프레임 외 에리어 면적 비율(P)을 서브측 포커스 제어부(286)에 공급한다.
서브측 포커스 제어부(286)는, 서브측 검출 에리어 내에 초점이 맞는 촬상 렌즈(212)의 위치를 서브측 합초 위치로서 검출하는 것이다. 이 서브측 포커스 제어부(286)는, 프레임 외 에리어 면적 비율(P)이 소정치 이하인지 아닌지를 판단한다. 프레임 외 에리어 면적 비율(P)이 소정치를 넘는 경우, 즉 프레임 외의 에리어의 면적이 넓은 경우에는, 초점을 맞추어야 할 피사체의 대부분이 프레임 외에 있기 때문에, 초점 검출을 행할 필요성이 부족하다. 이 때문에, 서브측 포커스 제어부(286)는, 프레임 외 에리어 면적 비율(P)이 소정치 이하인 경우에, 콘트라스트 AF 방식에 의해 서브측 합초 위치를 검출하고, 그 위치로 촬상 렌즈(212)를 구동시킨다.
노광 제어부(284)는, 노광 시간이나 게인 등의 노광 파라미터를 제어하는 것이다. 이 노광 제어부(284)는, 메인측 화상 데이터 및 서브측 화상 데이터의 밝기를 구하고, 그 밝기에 기초하여 노광 파라미터를 결정하고 메인측 고체 촬상 소자(230) 및 서브측 고체 촬상 소자(250)에 공급한다.
또한, 촬상 제어부(280)는, 콘트라스트 AF 방식에 의해 초점을 검출하고 있지만, 콘트라스트 AF 방식 대신에, 동공 분할된 2개의 상의 위상차에 기초하여 합초 위치를 구하는 위상차 AF 방식에 의해 초점을 검출해도 된다. 위상차 AF 방식은, 상면에 위상차 화소를 마련하는 상면 위상차 AF 방식이어도 좋고, 고체 촬상 소자의 외부에 라인 센서를 마련하는 방식이어도 좋다. 상면 위상차 AF 방식에서는, 예를 들어, 메인측 고체 촬상 소자(230) 및 서브측 고체 촬상 소자(250)의 각각에 위상차 화소가 설치된다. 그리고, 촬상 제어부(280)는, 그들 위상차 화소의 화소 데이터로부터 위상차를 검출하고, 그 위상차에 대응하는 렌즈 위치를 합초 위치로서 구하고, 그 위치로 렌즈를 구동시킨다.
도 9는, 본 기술의 제1 실시형태에 있어서의 메인측 렌즈 위치 및 서브측 렌즈 위치와 거리와의 관계의 일례를 나타내는 그래프이다. 동 도면에 있어서의 a는, 메인측 렌즈 위치와 거리의 관계의 일례를 나타내는 그래프이다. 동 도면에 있어서의 a의 종축은, 초점이 맞는 메인측 렌즈 위치를 나타내는 디지털값이며, 횡축은, 초점을 맞춘 피사체까지의 거리이다. 동 도면에 있어서의 b는, 서브측 렌즈 위치와 거리의 관계의 일례를 나타내는 그래프이다. 동 도면에 있어서의 b의 종축은, 초점이 맞는 서브측 렌즈 위치를 나타내는 디지털값이며, 횡축은, 초점을 맞춘 피사체까지의 거리이다.
도 9에 예시하는 바와 같이, 메인측과 서브측의 각각의 광학 특성의 상위와 제품 편차에 의해, 메인측 렌즈 위치와 거리와의 관계를 나타내는 곡선은, 서브측과 다른 곡선으로 되어 있다. 예를 들어, 제품마다, 그 관계식을 조정하는 조정값이 미리 레지스터 등에 보유지지된다. 촬상 제어부(280)는, 그 조정값을 이용하여 관계식을 조정하고, 메인측 합초 위치에 대응하는 거리를 구한다.
도 10은, 본 기술의 제1 실시형태에 있어서의 거리가 먼 경우의 시차를 설명하기 위한 도면이다. 촬상 렌즈(211 및 212) 사이의 거리를 기선 길이 sd라 하고, 렌즈(촬상 렌즈(211 또는 212))와 고체 촬상 소자(메인측 고체 촬상 소자(230) 또는 서브측 고체 촬상 소자(250)) 사이의 거리를 렌즈 센서간 거리 b라 한다. 또한, 피사체까지의 거리를 피사체 거리 a라 한다. 여기서, 렌즈의 초점 거리를 f라 하면, 다음의 식을 얻을 수 있다.
1/f=(1/a)＋(1/b) ···식 2
윗 식은, 일반적으로 렌즈 공식이라 불린다.
식 2를 변형하면, 다음의 식을 얻을 수 있다.
a=f2/(b－f)＋f　　···식 3
윗 식에 있어서의 (b－f)는, 렌즈의 구동량에 해당한다.
촬상 제어부(280)는, 메인측 합초 위치를 나타내는 디지털값을 식 1에 대입하고 메인측 렌즈 구동량을 연산하고, 그 구동량을 식 3의 (b－f)에 대입하여 피사체 거리 a를 연산한다.
또한, 피사체(700)와, 메인측 고체 촬상 소자(230)의 결상점(704)과 서브측 고체 촬상 소자(250)의 결상점(702)을 정점으로 하는 삼각형은, 촬상 렌즈(212)의 주점(701)과 결상점(702)과 점(703)을 정점으로 하는 삼각형과 상사(相似)이다. 여기서, 점(703)은, 주점(701)으로부터 빼낸 수선과 상면과의 교점이다. 상사 관계에 기초하여, 다음의 식이 성립한다.
(a＋b)：(pd＋sd)=b：pd　　···식 4
기선 길이 sd 및 렌즈 센서간 거리 b는 이미 알고 있기 때문에, 노광 제어부(284)는, 식 4를 이용하여 피사체 거리 a로부터 시차 pd를 연산할 수 있다. 전술한 도 9의 곡선은, 식 1 내지 식 4로부터 얻어진 곡선을 조정값에 의해 조정한 것이다.
도 11은, 본 기술의 제1 실시형태에 있어서의 거리가 먼 경우의 메인측 화상 데이터 및 서브측 화상 데이터의 일례를 나타내는 도면이다. 동 도면에 있어서의 a는, 메인측 화상 데이터의 일례이며, 동 도면에 있어서의 b는, 서브측 화상 데이터의 일례이다.
메인측 화상 데이터(510)에 있어서, 어느 위치가 유저에 의해 지정되면, 2안 카메라 모듈(200)은, 그 위치를 중심으로 하는 직사각형의 에리어를 메인측 검출 에리어(511)로서 설정한다.
그리고, 2안 카메라 모듈(200)은, 메인측 합초 위치를 검출하고, 식 1 내지 식 4를 이용하여 메인측 합초 위치로부터 거리를 연산한다. 그 다음에 2안 카메라 모듈(200)은, 시차를 픽셀 단위의 시프트량으로 환산하고, 서브측 화상 데이터(520)에 있어서, 메인측 검출 에리어(511)의 위치를 시프트량만큼 변위시켜 놓은 위치를 중심으로 하는 서브측 검출 에리어(521)를 설정한다. 도 11에 예시하는 바와 같이, 거리가 먼 경우에는 시차가 비교적 작기 때문에, 시프트량도 작아진다.
도 12는, 본 기술의 제1 실시형태에 있어서의 거리가 먼 경우의 콘트라스트와 메인측 렌즈 위치 및 서브측 렌즈 위치의 관계의 일례를 나타내는 그래프이다. 동 도면에 있어서의 a는, 콘트라스트와 메인측 렌즈 위치와의 관계를 나타내는 그래프이다. 동 도면에 있어서의 a의 종축은 콘트라스트이며, 횡축은 메인측 렌즈 위치이다. 동 도면에 있어서의 b는, 콘트라스트와 서브측 렌즈 위치와의 관계를 나타내는 그래프이다. 동 도면에 있어서의 b의 종축은 콘트라스트이며, 횡축은 서브측 렌즈 위치이다.
2안 카메라 모듈(200)은, 콘트라스트가 가장 강하게 되는 메인측 렌즈 위치를 메인 합초 위치 Pm으로서 검출하고, 콘트라스트가 가장 강하게 되는 서브측 렌즈 위치를 메인 합초 위치 Ps로서 검출한다.
도 13은, 본 기술의 제1 실시형태에 있어서의 거리가 가까운 경우의 시차를 설명하기 위한 도면이다. 동 도면에 예시하는 바와 같이, 거리가 가까운 경우에는, 시차 pd가 비교적 커진다.
도 14는, 본 기술의 제1 실시형태에 있어서의 거리가 가까운 경우의 메인측 화상 데이터 및 서브측 화상 데이터의 일례를 나타내는 도면이다. 동 도면에 있어서의 a는, 메인측 화상 데이터의 일례이며, 동 도면에 있어서의 b는, 서브측 화상 데이터의 일례이다.
메인측 화상 데이터(530)에 있어서, 어느 위치가 유저에 의해 지정되면, 2안 카메라 모듈(200)은, 그 위치를 중심으로 하는 직사각형의 에리어를 메인측 검출 에리어(531)로서 설정한다.
그리고, 2안 카메라 모듈(200)은, 시차에 따른 시프트량을 연산하고, 서브측 화상 데이터(540)에 있어서, 메인측 검출 에리어(531)의 위치를 시프트량만큼 변위시켜 놓은 위치에 서브측 검출 에리어(541)를 설정한다. 도 14에 예시하는 바와 같이, 거리가 가까운 경우에는 시차가 비교적 크기 때문에, 시프트량은 커진다.
또한, 2안 카메라 모듈(200)은, 메인측 합초 위치로부터 시차를 연산하고 있지만, 도 14에 예시한 2매의 화상 데이터를 이용한 화상 처리에 의해 시차를 연산하는 것도 기술적으로는 가능하다. 다만, 이 방법에서는, 계산량이 매우 많아진다. 예를 들어, 2매의 화상 데이터의 각각에서 특징점을 추출하고, 그들 특징점끼리를 대응짓고, 대응하는 점의 좌표의 차분을 시차로서 구하는 방법이 알려져 있지만, 이 방법에서는, 화상 데이터 전체를 처리할 필요가 있다. 이 때문에, 화상 데이터의 해상도가 높아질수록 계산량이 증대되어 버린다. 이에 대해서, 메인측 합초 위치로부터 시차를 연산하는 2안 카메라 모듈(200)에서는, 식 1 내지 식 4 등의 간이한 식으로부터 시차를 연산하기 때문에, 계산량을 삭감할 수 있다.
도 15는, 본 기술의 제1 실시형태에 있어서의 거리가 가까운 경우의 시프트 전의 콘트라스트와 메인측 렌즈 위치 및 서브측 렌즈 위치와의 관계의 일례를 나타내는 그래프이다. 동 도면에 있어서의 a는, 콘트라스트와 메인측 렌즈 위치와의 관계를 나타내는 그래프이다. 동 도면에 있어서의 a의 종축은 콘트라스트이며, 횡축은 메인측 렌즈 위치이다. 동 도면에 있어서의 b는, 메인측에 대해 서브측의 위치 시프트 하지 않는 비교예의 콘트라스트와 서브측 렌즈 위치의 관계를 나타내는 그래프이다. 동 도면에 있어서의 b의 종축은 콘트라스트이며, 횡축은 서브측 렌즈 위치이다.
시차가 큰 경우에 메인측에 대해 서브측을 시프트하지 않고 서브측 검출 에리어를 설정하면, 메인측에서 초점을 맞춘 피사체가 서브측 검출 에리어 내로 들어가지 않게 되는 경우가 있다. 이 결과, 도 15에 예시하는 바와 같이, 서브측의 콘트라스트와 렌즈 위치 사이의 관계가 메인측과 크게 다른 것으로 된다. 따라서, 2안 카메라 모듈(200)에 있어서 메인측에서 초점을 맞춘 피사체에 대해 서브측에서 초점이 맞지 않게 되어 버린다.
도 16은, 본 기술의 제1 실시형태에 있어서의 시프트 했을 경우의 시프트 후의 콘트라스트와 서브측 렌즈 위치와의 관계의 일례를 나타내는 그래프이다. 시차에 따라 시프트 함으로써, 메인측에서 초점을 맞춘 피사체가 서브측 검출 에리어 내에 들어가게 되기 때문에, 서브측의 콘트라스트와 렌즈 위치 사이의 관계가 메인 측에 가까운 것으로 된다. 따라서, 2안 카메라 모듈(200)은, 메인측에서 초점을 맞춘 피사체에 대해 서브측에서도 초점을 맞출 수 있다.
도 17은, 본 기술의 제1 실시형태에 있어서의 서브측 검출 영역이 비어져 나오는 경우의 메인측 화상 데이터 및 서브측 화상 데이터의 일례를 나타내는 도면이다. 동 도면에 있어서의 a는, 메인측 화상 데이터의 일례이며, 동 도면에 있어서의 b는, 서브측 화상 데이터의 일례이다.
메인측 화상 데이터(550)에 있어서, 좌단이나 우단에 가까운 위치에 메인측 검출 에리어(551)가 설정된 것으로 한다. 이 경우, 서브측 화상 데이터(560)에 있어서, 메인에 대해 시프트 한 위치에 서브측 검출 에리어(561)를 설정하면, 도 17에 있어서의 b에 예시하는 바와 같이 서브측 검출 에리어(561)의 일부가 서브측 화상 데이터의 프레임 외로 비어져 나오는 경우가 있다. 비어져 나온 에리어가 넓을 때는, 초점을 맞추어야 할 피사체의 대부분이 프레임 외에 있기 때문에, 초점 검출을 행할 필요성이 부족하다.
따라서, 2안 카메라 모듈(200)은, 프레임 외 에리어 면적 비율(P)이 소정치보다 큰 경우에는, 서브측 합초 위치의 검출을 행하지 않는다. 콘트라스트 AF 방식에서는, 렌즈 위치를 바꾸면서 합초 위치를 탐색할 필요가 있기 때문에, 일반적으로 위상차 AF 방식과 비교하여 초점의 검출까지 걸리는 시간이 길어진다. 위에서 설명한 바와 같이, 2안 카메라 모듈(200)이 불필요한 초점 검출을 행하지 않기 때문에, 기록 화상의 촬상까지의 시간을 짧게 할 수 있다.
[촬상 장치의 동작예]
도 18은, 본 기술의 제1 실시형태에 있어서의 촬상 장치(100)의 동작의 일례를 나타내는 흐름도이다. 이 동작은, 예를 들어, 촬상 장치(100)에 있어서, 촬상을 위한 애플리케이션이 실행되었을 때에 개시된다. 촬상 장치(100)는, 검출 에리어의 위치가 유저에 의해 지정되었는지 아닌지를 판단한다(스텝 S901). 검출 에리어의 위치가 지정되어 있지 않은 경우에(스텝 S901：No), 촬상 장치(100)는, 스텝 S901를 반복한다.
한편, 검출 에리어의 위치가 지정되었을 경우에(스텝 S901：Yes), 촬상 장치(100)는, 초점을 검출하기 위한 AF 처리를 실행한다(스텝 S910). 그리고, 촬상 장치(100)는, 기록 화상을 촬상하기 위한 촬상 조작이 유저에 의해 행해졌는지 아닌지를 판단한다(스텝 S902). 촬상 조작이 행해지지 않은 경우에(스텝 S902：No) 촬상 장치(100)는, 스텝 S902 이하를 반복한다.
한편, 촬상 조작이 행해졌을 경우에(스텝 S902：Yes), 촬상 장치(100)는, 메인 화상 데이터 및 서브 화상 데이터의 촬상을 행한다(스텝 S903). 촬상 장치(100)는, 그들 화상 데이터를 합성하는 처리 등의 화상 처리를 실행하고 기록 화상을 생성한다(스텝 S904). 스텝 S904 후에 촬상 장치(100)는, 촬상을 위한 동작을 종료한다.
또한, 촬상 장치(100)는, AF 처리(스텝 S910) 후에 촬상 조작이 행해지면 촬상을 실시하고 있지만, 촬상 조작이 없더라도 AF 처리 후에 즉시 촬상을 행해도 된다.
도 19는, 본 기술의 제1 실시형태에 있어서의 AF 처리의 일례를 나타내는 흐름도이다. 촬상 제어부(280)는, 콘트라스트 AF 방식에 의해 메인측 합초 위치를 서치한다(스텝 S911).
촬상 제어부(280)는, 메인측 합초 위치로 메인측 렌즈를 구동시킨다(스텝 S912). 촬상 제어부(280)는, 식 1 및 식 3을 이용하여, 메인측 합초 위치로부터 피사체 거리를 연산한다(스텝 S913). 또한, 촬상 제어부(280)는, 도 9에 있어서의 b에 예시한, 피사체 거리와 서브측 렌즈 위치와의 관계에 기초하여, 피사체 거리에 대응하는 위치로 서브측의 촬상 렌즈(212)를 구동시켜 둔다. 이에 의해, 서브측의 렌즈를 메인측에 추종시킬 수 있다(스텝 S914).
그 다음에 촬상 제어부(280)는, 서브측 검출 에리어를 설정하기 위한 서브측 검출 에리어 설정 처리를 행하고(스텝 S950), 서브측에서 초점 검출을 실행하는지 아닌지를 판정하기 위한 서브측 AF 실행 판정 처리를 행한다(스텝 S960).
촬상 제어부(280)는, 서브측 AF 실행 플래그가 온인지 아닌지를 판단한다(스텝 S915). 여기서, 서브측 AF 실행 플래그는, 서브측에서 초점 검출을 실행하는지 아닌지의 판정 결과를 나타내는 플래그이며, 예를 들어, 실행하는 경우에 온이 설정되고, 실행하지 않는 경우에 오프가 설정된다.
서브측 AF 실행 플래그가 온인 경우에(스텝 S915：Yes), 촬상 제어부(280)는, 서브측의 서치 범위를 제한하여 설정하고, 콘트라스트 AF 방식에 의해 서브측 합초 위치를 서치한다(스텝 S916). 그리고, 촬상 제어부(280)는, 그 위치로 서브측의 렌즈를 구동시킨다(스텝 S917).
한편, 서브측 AF 실행 플래그가 오프인 경우(스텝 S915：No), 또는, 스텝 S917의 후에 촬상 제어부(280)는 AF 처리를 종료한다.
도 20은, 본 기술의 제1 실시형태에 있어서의 서브측 검출 에리어 설정 처리의 일례를 나타내는 흐름도이다. 촬상 제어부(280)는, 식 1 및 식 3을 이용하여, 메인측 합초 위치로부터 거리를 연산한다(스텝 S951). 그리고, 촬상 제어부(280)는, 식 4를 이용하여, 거리로부터 시차를 연산하고, 시프트량으로 환산한다(스텝 S952). 계속하여 촬상 제어부(280)는, 메인측의 위치에 대해서, 서브측을 시프트량만큼 시프트 하고 서브측 검출 에리어의 위치를 설정한다(스텝 S954). 또한, 촬상 제어부(280)는, 프레임 외 에리어 면적 비율을 연산하고(스텝 S955), 서브측 검출 에리어 설정 처리를 종료한다.
도 21은, 본 기술의 제1 실시형태에 있어서의 서브측 AF 실행 판정 처리의 일례를 나타내는 흐름도이다. 촬상 제어부(280)는, 프레임 외 에리어 면적 비율이 소정의 허용치 이하인지 아닌지를 판단한다(스텝 S961). 프레임 외 에리어 면적 비율이 허용치 이하인 경우에(스텝 S961：Yes), 촬상 제어부(280)는, 서브측 AF 실행 플래그를 온으로 한다(스텝 S963).
한편, 프레임 외 에리어 면적 비율이 허용치를 넘는 경우에(스텝 S961：No), 촬상 제어부(280)는, 서브측 AF 실행 플래그를 오프로 한다(스텝 S964). 스텝 S963 또는 S964의 후에, 촬상 제어부(280)는, 서브측 AF 실행 판정 처리를 종료한다.
이와 같이, 본 기술의 제1 실시형태에 의하면, 메인측 합초 위치로부터 구한 시차에 의해 메인측의 위치를 시프트 한 위치에 서브측 검출 에리어를 설정하기 때문에, 메인측에서 초점을 맞춘 피사체에 대해 서브측에서도 초점을 맞출 수 있다.
<2. 제2 실시형태>
상술한 제1 실시형태에서는, 화각이 동일한 촬상 렌즈(211 및 212)를 이용하여 줌 배율이 동일한 2매의 화상 데이터를 촬상하고 있었기 때문에, 화질을 저하시키지 않고 줌 배율을 변경하는 것은 곤란하다. 줌 렌즈를 추가하면 광학적으로 줌 배율을 변경할 수 있지만, 2안 카메라 모듈(200)의 사이즈가 커져, 스마트폰 등의 소형 기기에 들어가지 않게 될 우려가 있다. 또한, 전자 줌을 행하는 방법도 있지만, 화질이 저하되어 버린다. 따라서, 제2 실시형태에서는, 화각이 다른 2개의 촬상 렌즈를 설치하고, 그들을 전환함으로써, 화질을 유지하면서, 줌 배율을 변경한다. 이 제2 실시형태의 2안 카메라 모듈(200)은, 화각이 다른 2매의 촬상 렌즈를 마련한 점에 있어 제1 실시형태와 다르다.
도 22는, 본 기술의 제2 실시형태에 있어서의 2안 카메라 모듈(200)의 일 구성예를 나타내는 블럭도이다. 이 제2 실시형태의 2안 카메라 모듈(200)은, 촬상 렌즈(211 및 212) 대신에, 광각 렌즈(213) 및 망원 렌즈(214)를 구비하는 점에 있어 제1 실시형태와 다르다. 또한, 서브측 고체 촬상 소자(250) 대신에 서브측 고체 촬상 소자(255)를 구비하는 점에 있어 제1 실시형태와 다르다.
광각 렌즈(213)는, 화각이 망원 렌즈(214)보다 넓은 단초점 렌즈이다. 이 광각 렌즈(213)는, 광을 집광하여 메인측 고체 촬상 소자(230)로 안내한다. 또한, 광각 렌즈(213)는, 특허청구의 범위에 기재된 메인측 렌즈의 일례이다.
망원 렌즈(214)는, 화각이 광각 렌즈(213)보다 좁은 단초점 렌즈이다. 이 망원 렌즈(214)는, 광을 집광하여 서브측 고체 촬상 소자(250)로 안내한다. 또한, 망원 렌즈(214)는, 특허청구의 범위에 기재된 서브측 렌즈의 일례이다.
또한, 제2 실시형태의 서브측 고체 촬상 소자(255)에는, 메인측과 마찬가지로 컬러 필터가 설치되어 있다.
제2 실시형태의 화상 처리부(270)는, 유저가 소정치 Th1 이상으로 줌 배율을 올리는 조작을 행했을 때에, 합성하지 않고 망원측의 서브측 화상 데이터를 선택하여 출력한다. 또한, 유저가 소정치 Th2 이하로 줌 배율을 내리는 조작을 행했을 때에, 화상 처리부(270)는, 광각측의 메인측 화상 데이터를 선택하여 출력한다. 유저가 소정치 Th1로부터 Th2의 사이로 줌 배율을 조작했을 때에, 화상 처리부(270)는, 광각측의 메인측 화상 데이터와 망원측의 서브측 화상 데이터를 합성하고, 그 줌 배율에 따른 화상을 생성한다.
도 23은, 본 기술의 제2 실시형태에 있어서의 서브측 영역이 비어져 나오지 않는 경우의 메인측 화상 데이터 및 서브측 화상 데이터의 일례를 나타내는 도면이다. 동 도면에 있어서의 a는, 메인측 화상 데이터의 일례이며, 동 도면에 있어서의 b는 서브측 화상 데이터의 일례이다.
메인측 화상 데이터(570)에 있어, 점선으로 둘러싸인 에리어(572) 내의 위치가 유저에 의해 지정되면, 2안 카메라 모듈(200)은, 그 위치에 메인측 검출 에리어(571)를 설정한다. 이 에리어(572)는, 서브측 화상 데이터의 화각에 대응하는 영역이다.
그리고, 2안 카메라 모듈(200)은, 서브측 화상 데이터(580)에 있어, 메인측 검출 에리어(571)의 위치를 시프트량만큼 시프트 한 위치에 서브측 검출 에리어(581)를 설정한다.
여기서, 서브측의 화각은 메인측과 다르기 때문에, 메인측 및 서브측의 각각의 화각에 기초하여 서브측 검출 에리어(581)의 사이즈와 시프트량이 설정된다. 전술한 바와 같이, 서브측은 메인측보다 화각이 좁기 때문에, 서브측에서 피사체가 확대되고, 그 확대율은, 메인측의 화각과 서브측의 화각에 의해 결정된다. 메인측 화상 데이터에 대한 서브측 화상 데이터의 확대율을 m(m는, 실수)이라 하면, 서브측 검출 에리어의 사이즈는, 메인측 검출 에리어의 m배로 설정된다. 또한, 시프트량은, 시차 pd의 환산치의 m배로 설정된다.
도 24는, 본 기술의 제2 실시형태에 있어서의 서브측 영역이 비어져 나오는 경우의 메인측 화상 데이터 및 서브측 화상 데이터의 일례를 나타내는 도면이다. 동 도면에 있어서의 a는, 메인측 화상 데이터의 일례이며, 동 도면에 있어서의 b는 서브측 화상 데이터의 일례이다.
메인측 화상 데이터(590)에 있어서, 서브측 화상 데이터에 대응하는 에리어(592)의 단부에 가까운 위치에 메인측 검출 에리어(591)가 설정된 것으로 한다. 이 경우, 서브측 화상 데이터(600)에 있어서, 메인측의 위치를 시프트 한 위치에 m배의 사이즈의 서브측 검출 에리어(601)를 설정하면, 도 24에 있어서의 b에 예시하는 것처럼 서브측 검출 에리어(601)의 일부가 서브측 화상 데이터의 프레임 외로 비어져 나오는 경우가 있다. 비어져 나오는 에리어가 일정보다 넓을 때는 초점 검출을 행할 필요성이 부족하기 때문에, 2안 카메라 모듈(200)은, 서브측 합초 위치의 검출을 행하지 않는다. 이에 의해, 불필요한 초점 검출 처리를 생략하고, 기록 화상의 기록까지의 시간을 짧게 할 수 있다.
도 25는, 본 기술의 제2 실시형태에 있어서의 메인측 서치 범위 및 서브측 서치 범위의 일례를 나타내는 도면이다. 여기서, 메인측 서치 범위는, 메인측의 광각 렌즈(213)를 구동하여 초점을 맞출 수 있는 거리의 범위이다. 또한, 서브측 서치 범위는, 서브측의 망원 렌즈(214)를 구동하여 초점을 맞출 수 있는 거리의 범위이다. 메인측의 광학계와 서브측의 광학계는 광학 특성이 다르기 때문에, 같은 구동 범위 내에서 렌즈를 구동하여도, 서치 범위가 일치한다고는 할 수 없다. 예를 들어, 메인측 서치 범위보다 서브측 서치 범위 쪽이 좁게 된다. 따라서, 메인측 합초 위치에 대응하는 거리가 서브측 서치 범위 내에 들어가지 않는 경우가 있다. 서브측 합초 위치도 메인측 합초 위치와 크게 다를 것은 없다고 생각되기 때문에, 이 경우에는, 서브측에서 초점을 검출할 수 없을 우려가 있다. 따라서, 메인측 합초 위치에 대응하는 거리가 서브측 서치 범위 내에 들어가지 않는 경우에 촬상 제어부(280)는, 서브측 합초 위치의 검출을 행하지 않는다.
도 26은, 본 기술의 제2 실시형태에 있어서의 AF 처리의 일례를 나타내는 흐름도이다. 촬상 제어부(280)는, 스텝 S911로부터 S914까지를 실행하고, 서브측 AF 실행 판정 처리 1을 행한다(스텝 S960). 그리고, 촬상 제어부(280)는, 서브측 AF 실행 플래그가 온인지 아닌지를 판단한다(스텝 S921).
서브측 AF 실행 플래그가 온인 경우에(스텝 S921：Yes), 촬상 제어부(280)는, 서브측 검출 에리어 설정 처리를 실행하고(스텝 S950), 서브측 실행 판정 처리 2를 행한다(스텝 S970). 그 다음에, 촬상 제어부(280)는, 서브측 AF 실행 플래그가 온인지 아닌지를 판단한다(스텝 S915).
서브측 AF 실행 플래그가 온인 경우에(스텝 S915：Yes), 촬상 제어부(280)는, 스텝 S916 이후를 실행한다.
스텝 S921에서 서브측 AF 실행 플래그가 오프인 경우(스텝 S921：No), 또는, 스텝 S915에서 서브측 AF 실행 플래그가 오프인 경우(스텝 S915：No) 또는 스텝 S917의 후에 촬상 제어부(280)는, AF 처리를 종료한다.
도 27은, 본 기술의 제2 실시형태에 있어서의 서브측 검출 에리어 설정 처리의 일례를 나타내는 흐름도이다. 이 제2 실시형태의 서브측 검출 에리어 설정 처리는, 스텝 S953를 더 실행하는 점에 있어 제1 실시형태와 다르다.
스텝 S951 및 S952의 후에 촬상 제어부(280)는, 확대율 m에 의해, 서브측 검출 에리어의 사이즈 및 시프트량을 조정한다(스텝 S953). 그리고, 촬상 제어부(280)는, 스텝 S954 이후를 실행한다.
도 28은, 본 기술의 제2 실시형태에 있어서의 서브측 AF 실행 판정 처리 1의 일례를 나타내는 흐름도이다. 이 제2 실시형태의 서브측 AF 실행 판정 처리는, 스텝 S961 대신에 스텝 S962를 실행하는 점에 있어 제1 실시형태와 다르다.
촬상 제어부(280)는, 메인측 합초 위치에 대응하는 거리가 서브측 서치 범위 내인지 아닌지를 판단한다(스텝 S962). 메인측 합초 위치에 대응하는 거리가 서브측 서치 범위 내인 경우에(스텝 S962：Yes), 촬상 제어부(280)는, 서브측 AF 실행 플래그를 온으로 한다(스텝 S963).
한편, 대응하는 거리가 서브측 서치 범위 외인 경우에(스텝 S962：No), 촬상 제어부(280)는, 서브측 AF 실행 플래그를 오프로 한다(스텝 S964).
도 29는, 본 기술의 제2 실시형태에 있어서의 서브측 AF 실행 판정 처리 2의 일례를 나타내는 흐름도이다. 촬상 제어부(280)는, 프레임 외 에리어 면적 비율이 소정의 허용치 이하인지 아닌지를 판단한다(스텝 S971). 프레임 외 에리어 면적 비율이 허용치 이하인 경우에(스텝 S971：Yes), 촬상 제어부(280)는, 서브측 AF 실행 플래그를 온으로 한다(스텝 S972).
한편, 프레임 외 에리어 면적 비율이 허용치를 넘는 경우에(스텝 S971：No), 촬상 제어부(280)는, 서브측 AF 실행 플래그를 오프로 한다(스텝 S973). 스텝 S972 또는 S973의 후에, 촬상 제어부(280)는, 서브측 AF 실행 판정 처리를 종료한다.
이와 같이, 본 기술의 제2 실시형태에서는, 광각 렌즈(213) 및 망원 렌즈(214)에 의해 메인측 화상 데이터 및 서브측 화상 데이터를 촬상하고, 그들을 전환하기 때문에, 화질을 유지하면서, 줌 배율을 변경할 수 있다.
<3. 이동체에의 응용예>
본 개시와 관련되는 기술(본 기술)은, 여러 제품에 응용할 수 있다. 예를 들어, 본 개시와 관련되는 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등의 어떤 종류의 이동체에 탑재되는 장치로서 실현되어도 좋다.
도 30은, 본 개시와 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블럭도이다.
차량 제어 시스템(12000)은, 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 30에 나타낸 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(interface)(12053)가 도시되고 있다.
구동계 제어 유닛(12010)은, 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(12010)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및, 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 보디계 제어 유닛(12020)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워윈도우 장치, 혹은, 헤드 램프, 백업 램프, 브레이크 램프, 턴 시그널 또는 포그 램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 열쇠를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은, 이들 전파 또는 신호의 입력을 받아들여, 차량의 도어 락 장치, 파워윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량 외부의 정보를 검출한다. 예를 들어, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차 외의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표식 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는, 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들어, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들어 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 앉아서 졸고 있지 않은지를 판별해도 된다.
마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차 내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하고, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들어, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 이탈 경고 등을 포함하는 ADAS(Adｖanced　Driｖer　Assistance　System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의존하는 일 없이 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차 밖의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해서 제어 지령을 출력할 수 있다. 예를 들어, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로 빔으로 전환하는 등의 눈부심 방지를 꾀함을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차 밖에 대해서, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 가운데 적어도 일방의 출력 신호를 송신한다. 도 30의 예에서는, 출력 장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들어, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 31은, 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 31에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 가진다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들어, 차량(12100)의 프론트 노즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실 내의 프론트 글라스의 상부 등의 위치에 설치된다. 프론트 노즈에 구비되는 촬상부(12101) 및 차실 내의 프론트 글라스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)에서 취득되는 전방의 화상은, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표식 또는 차선 등의 검출에 이용된다.
또한, 도 31에는, 촬상부(12101 내지 12104)의 촬영 범위의 일례가 나타내져 있다. 촬상 범위(12111)는, 프론트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내며, 촬상 범위(12114)는, 리어 범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들어, 촬상부(12101 내지 12104)에서 촬상된 화상 데이터가 겹쳐 맞춰짐으로써, 차량(12100)을 상방으로부터 본 부감(俯瞰) 화상을 얻을 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는, 거리 정보를 취득하는 기능을 가지고 있어도 좋다. 예를 들어, 촬상부(12101 내지 12104) 중 적어도 하나는, 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들어, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대 속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들어, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차에 대해 앞쪽에 미리 확보해야 할 차간 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의존하지 않고서 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들어, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 2륜차, 보통 차량, 대형 차량, 보행자, 전주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들어, 마이크로 컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하고, 충돌 리스크가 설정치 이상이며 충돌 가능성이 있는 상황일 때는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에게 경보를 출력하는 것이나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들어, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들어 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 단계와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 단계에 의해 행해진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 방형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 소망한 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시와 관련되는 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명했다. 본 개시와 관련되는 기술은, 이상 설명한 구성 가운데, 촬상부(12101 내지 12104)에 적용될 수 있다. 예를 들어, 촬상부(12101 내지 12104)의 각각의 내부에 2안 카메라 모듈(200)이 배치된다. 촬상부(12101 내지 12104)에 본 기술을 적용함으로써, 화상 데이터의 화질을 향상시킬 수 있기 때문에, 드라이버의 피로를 경감하는 것이 가능하게 된다.
또한, 상술한 실시형태는 본 기술을 구현화하기 위한 일례를 나타낸 것으로, 실시형태에 있어서의 사항과, 특허청구의 범위에 있어서의 발명 특정 사항은 각각 대응 관계를 가진다. 마찬가지로, 특허청구의 범위에 있어서의 발명 특정 사항과, 이와 동일 명칭을 붙인 본 기술의 실시형태에 있어서의 사항은 각각 대응 관계를 가진다. 다만, 본 기술은 실시형태에 한정되는 것이 아니며, 그 요지를 일탈하지 않는 범위에 있어 실시형태에 여러 가지 변형을 가함으로써 구현화할 수 있다.
또한, 상술한 실시형태에 있어서 설명한 처리 순서는, 이들 일련의 순서를 가지는 방법으로서 파악해도 되고, 또한, 이들 일련의 순서를 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악해도 된다. 이 기록 매체로서, 예를 들어, CD(Compact Disc), MD(MiniDisc), DVD(Digital Versatile Disc), 메모리 카드, 블루레이 디스크(Blu-ray(등록상표) Disc) 등을 이용할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며, 한정되는 것은 아니고, 또한, 다른 효과가 있어도 좋다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
메인측 화상 내의 메인측 검출 에리어 내에 초점이 맞는 메인측 렌즈의 위치를 메인측 합초 위치로서 검출하는 메인측 포커스 제어부와,
상기 메인측 합초 위치에 기초하여 거리를 구하고 상기 거리에 따른 시차를 취득하는 시차 취득부와,
상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 서브측 화상 내에 서브측 검출 에리어의 위치를 설정하는 서브측 검출 에리어 설정부와,
상기 서브측 검출 에리어 내에 초점이 맞는 서브측 렌즈의 위치를 서브측 합초 위치로서 검출하는 서브측 포커스 제어부
를 포함하는 촬상 장치.
(2)
상기 (1)에 있어서,
상기 서브측 포커스 제어부는, 상기 서브측 검출 에리어 중 상기 서브측 화상 데이터의 프레임 외의 에리어의 면적이 소정치를 넘지 않는 경우에는 상기 서브측 합초 위치를 검출하는
촬상 장치.
(3)
상기 (2)에 있어서,
상기 메인측 렌즈와 상기 서브측 렌즈의 화각은 상이하고,
상기 서브측 검출 에리어 설정부는, 상기 메인측 화상 및 상기 서브측 화상의 일방에 대한 타방의 확대율과 상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 상기 서브측 검출 에리어의 위치 및 사이즈를 설정하는,
촬상 장치.
(4)
상기 (3)에 있어서,
상기 메인측 렌즈를 구동하여 초점을 맞출 수 있는 상기 거리의 범위인 메인측 서치 범위와, 상기 서브측 렌즈를 구동하여 초점을 맞출 수 있는 상기 거리의 범위인 서브측 서치 범위는 상이하고,
상기 서브측 포커스 제어부는, 상기 서브측 화상 데이터의 프레임 외의 에리어의 면적이 소정치를 넘지 않고, 상기 메인측 합초 위치에 대응하는 거리가 상기 서브측 서치 범위 내인 경우에는 상기 서브측 합초 위치를 검출하는,
촬상 장치.
(5)
상기 (1) 내지 (4) 중 어느 하나에 있어서,
상기 메인측 화상을 촬상하는 메인측 고체 촬상 소자와,
상기 서브측 화상을 촬상하는 서브측 고체 촬상 소자
를 더 구비하고,
상기 메인측 고체 촬상 소자는, 상기 메인측 합초 위치가 검출되면 새로운 메인측 화상을 촬상하고,
상기 서브측 고체 촬상 소자는, 상기 서브측 합초 위치가 검출되면 새로운 서브측 화상을 촬상하는
촬상 장치.
(6)
상기 (1) 내지 (5) 중 어느 하나에 있어서,
상기 메인측 포커스 제어부는, 상기 메인측 검출 에리어 내의 콘트라스트가 가장 강하게 되는 상기 메인측 렌즈의 위치를 상기 메인측 합초 위치로서 검출하고,
상기 서브측 포커스 제어부는, 상기 서브측 검출 에리어 내의 콘트라스트가 가장 강하게 되는 상기 서브측 렌즈의 위치를 상기 서브측 합초 위치로서 검출하는
촬상 장치.
(7)
상기 (1) 내지 (5) 중 어느 하나에 있어서,
상기 메인측 포커스 제어부는, 위상차에 기초하여 상기 메인측 합초 위치를 검출하고,
상기 서브측 포커스 제어부는, 위상차에 기초하여 상기 서브측 합초 위치를 검출하는
촬상 장치.
(8)
메인측 화상 내의 메인측 검출 에리어 내에 초점이 맞는 메인측 렌즈의 위치를 메인측 합초 위치로서 검출하는 메인측 포커스 제어부와,
상기 메인측 합초 위치에 기초하여 거리를 구하고 상기 거리에 따른 시차를 취득하는 시차 취득부와,
상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 서브측 화상 내에 있어서의 서브측 검출 에리어의 위치를 설정하는 서브측 검출 에리어 설정부와,
상기 서브측 검출 에리어 내에 초점이 맞는 서브측 렌즈의 위치를 서브측 합초 위치로서 검출하는 서브측 포커스 제어부와,
상기 메인측 화상 및 상기 서브측 화상 중 적어도 일방을 처리한 화상을 출력하는 화상 출력부
를 포함하는 촬상 모듈.
(9)
메인측 화상 내의 메인측 검출 에리어 내에 초점이 맞는 메인측 렌즈의 위치를 메인측 합초 위치로서 검출하는 메인측 포커스 제어 단계와,
상기 메인측 합초 위치에 기초하여 거리를 구하고 상기 거리에 따른 시차를 취득하는 시차 취득 단계와,
상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 서브측 화상 내에 있어서의 서브측 검출 에리어의 위치를 설정하는 서브측 검출 에리어 설정 단계와,
상기 서브측 검출 에리어 내에 초점이 맞는 서브측 렌즈의 위치를 서브측 합초 위치로서 검출하는 서브측 포커스 제어 단계
를 포함하는 촬상 장치의 제어 방법.
100: 촬상 장치
110: 조작부
120: 기록부
130: 표시부
200: 2안 카메라 모듈
201, 202: 단안 카메라 모듈
203: 연결 부재
211, 212: 촬상 렌즈
213: 광각 렌즈
214: 망원 렌즈
221: 메인측 구동부
222: 서브측 구동부
230: 메인측 고체 촬상 소자
231, 251: 드라이버
232, 252: 아날로그 신호 증폭부
233, 253: AD 변환부
234, 254: 디지털 신호 증폭부
240: 메인측 화소 어레이부
241: R 화소
242: G 화소
243: B 화소
250, 255: 서브측 고체 촬상 소자
260: 서브측 화소 어레이부
261: 화소
270: 화상 처리부
280: 촬상 제어부
281: 메인측 포커스 제어부
282: 시차 취득부
283: 서브측 검출 에리어 설정부
284: 노광 제어부
285: 메인측 검출 에리어 설정부
286: 서브측 포커스 제어부
290: 스위치
12101, 12102, 12103, 12104, 12105: 촬상부

Claims (9)

  1. 촬상 장치로서,
    메인측 화상 내의 메인측 검출 에리어 내에 초점이 맞는 메인측 렌즈의 위치를 메인측 합초 위치로서 검출하는 메인측 포커스 제어부와,
    상기 메인측 합초 위치에 기초하여 거리를 구하고 상기 거리에 따른 시차를 취득하는 시차 취득부와,
    상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 서브측 화상 내에 있어서의 서브측 검출 에리어의 위치를 설정하는 서브측 검출 에리어 설정부와,
    상기 서브측 검출 에리어 내에 초점이 맞는 서브측 렌즈의 위치를 서브측 합초 위치로서 검출하는 서브측 포커스 제어부
    를 포함하는 촬상 장치.
  2. 제1항에 있어서,
    상기 서브측 포커스 제어부는, 상기 서브측 검출 에리어 중 상기 서브측 화상 데이터의 프레임 외의 에리어의 면적이 소정치를 넘지 않는 경우에는 상기 서브측 합초 위치를 검출하는
    촬상 장치.
  3. 제2항에 있어서,
    상기 메인측 렌즈와 상기 서브측 렌즈의 화각은 상이하고,
    상기 서브측 검출 에리어 설정부는, 상기 메인측 화상 및 상기 서브측 화상의 일방에 대한 타방의 확대율과 상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 상기 서브측 검출 에리어의 위치 및 사이즈를 설정하는,
    촬상 장치.
  4. 제3항에 있어서,
    상기 메인측 렌즈를 구동하여 초점을 맞출 수 있는 상기 거리의 범위인 메인측 서치 범위와, 상기 서브측 렌즈를 구동하여 초점을 맞출 수 있는 상기 거리의 범위인 서브측 서치 범위는 상이하고,
    상기 서브측 포커스 제어부는, 상기 서브측 화상 데이터의 프레임 외의 에리어의 면적이 소정치를 넘지 않고, 상기 메인측 합초 위치에 대응하는 거리가 상기 서브측 서치 범위 내인 경우에는 상기 서브측 합초 위치를 검출하는,
    촬상 장치.
  5. 제1항에 있어서,
    상기 메인측 화상을 촬상하는 메인측 고체 촬상 소자와,
    상기 서브측 화상을 촬상하는 서브측 고체 촬상 소자
    를 더 구비하고,
    상기 메인측 고체 촬상 소자는, 상기 메인측 합초 위치가 검출되면 새로운 메인측 화상을 촬상하고,
    상기 서브측 고체 촬상 소자는, 상기 서브측 합초 위치가 검출되면 새로운 서브측 화상을 촬상하는
    촬상 장치.
  6. 제1항에 있어서,
    상기 메인측 포커스 제어부는, 상기 메인측 검출 에리어 내의 콘트라스트가 가장 강하게 되는 상기 메인측 렌즈의 위치를 상기 메인측 합초 위치로서 검출하고,
    상기 서브측 포커스 제어부는, 상기 서브측 검출 에리어 내의 콘트라스트가 가장 강하게 되는 상기 서브측 렌즈의 위치를 상기 서브측 합초 위치로서 검출하는
    촬상 장치.
  7. 제1항에 있어서,
    상기 메인측 포커스 제어부는, 위상차에 기초하여 상기 메인측 합초 위치를 검출하고,
    상기 서브측 포커스 제어부는, 위상차에 기초하여 상기 서브측 합초 위치를 검출하는
    촬상 장치.
  8. 촬상 모듈로서,
    메인측 화상 내의 메인측 검출 에리어 내에 초점이 맞는 메인측 렌즈의 위치를 메인측 합초 위치로서 검출하는 메인측 포커스 제어부와,
    상기 메인측 합초 위치에 기초하여 거리를 구하고 상기 거리에 따른 시차를 취득하는 시차 취득부와,
    상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 서브측 화상 내에 있어서의 서브측 검출 에리어의 위치를 설정하는 서브측 검출 에리어 설정부와,
    상기 서브측 검출 에리어 내에 초점이 맞는 서브측 렌즈의 위치를 서브측 합초 위치로서 검출하는 서브측 포커스 제어부와,
    상기 메인측 화상 및 상기 서브측 화상 중 적어도 일방을 처리한 화상을 출력하는 화상 출력부
    를 포함하는 촬상 모듈.
  9. 촬상 장치의 제어 방법으로서,
    메인측 화상 내의 메인측 검출 에리어 내에 초점이 맞는 메인측 렌즈의 위치를 메인측 합초 위치로서 검출하는 메인측 포커스 제어 단계와,
    상기 메인측 합초 위치에 기초하여 거리를 구하고 상기 거리에 따른 시차를 취득하는 시차 취득 단계와,
    상기 시차와 상기 메인측 검출 에리어의 위치에 기초하여 서브측 화상 내에 있어서의 서브측 검출 에리어의 위치를 설정하는 서브측 검출 에리어 설정 단계와,
    상기 서브측 검출 에리어 내에 초점이 맞는 서브측 렌즈의 위치를 서브측 합초 위치로서 검출하는 서브측 포커스 제어 단계
    를 포함하는 촬상 장치의 제어 방법.
KR1020187034207A 2017-03-30 2017-12-20 촬상 장치, 촬상 모듈 및 촬상 장치의 제어 방법 KR102540722B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-067102 2017-03-30
JP2017067102A JP2018169517A (ja) 2017-03-30 2017-03-30 撮像装置、撮像モジュールおよび撮像装置の制御方法
PCT/JP2017/045693 WO2018179622A1 (ja) 2017-03-30 2017-12-20 撮像装置、撮像モジュールおよび撮像装置の制御方法

Publications (2)

Publication Number Publication Date
KR20190129684A KR20190129684A (ko) 2019-11-20
KR102540722B1 true KR102540722B1 (ko) 2023-06-07

Family

ID=63674917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187034207A KR102540722B1 (ko) 2017-03-30 2017-12-20 촬상 장치, 촬상 모듈 및 촬상 장치의 제어 방법

Country Status (6)

Country Link
US (1) US10848660B2 (ko)
JP (1) JP2018169517A (ko)
KR (1) KR102540722B1 (ko)
CN (1) CN109073858B (ko)
TW (1) TWI757419B (ko)
WO (1) WO2018179622A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020188310A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 画像認識装置および画像認識方法
CN110769162B (zh) 2019-11-28 2021-07-13 维沃移动通信有限公司 电子设备及对焦方法
JP6814453B1 (ja) * 2020-05-21 2021-01-20 株式会社エクサウィザーズ 撮像装置
CN112835172A (zh) * 2020-12-31 2021-05-25 华兴源创(成都)科技有限公司 一种定倍率成像的自动对焦方法及系统
US11849101B2 (en) 2021-03-29 2023-12-19 Alcon, Inc. Stereoscopic imaging platform with disparity and sharpness control automatic focusing mode
JP2022189536A (ja) * 2021-06-11 2022-12-22 キヤノン株式会社 撮像装置および方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040202461A1 (en) 2003-04-08 2004-10-14 Pentax Corporation Passive autofocus system for a camera
US20110018972A1 (en) 2009-07-27 2011-01-27 Yi Pan Stereoscopic imaging apparatus and stereoscopic imaging method
JP2014022806A (ja) 2012-07-13 2014-02-03 Sharp Corp 撮像装置および撮像装置制御方法
JP2016191927A (ja) 2016-06-09 2016-11-10 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69733233T2 (de) * 1996-09-11 2006-01-19 Canon K.K. Bildverarbeitung zur dreidimensionalen Wiedergabe von Bilddaten auf der Anzeige eines Bildaufnahmegeräts
US6262694B1 (en) * 1997-03-11 2001-07-17 Fujitsu Limited Image display system
JP2002023044A (ja) * 2000-07-12 2002-01-23 Canon Inc 焦点検出装置、測距装置及びカメラ
JP2006173919A (ja) * 2004-12-14 2006-06-29 Matsushita Electric Ind Co Ltd 撮像装置および画像処理プログラム
CN100477739C (zh) * 2004-12-16 2009-04-08 松下电器产业株式会社 复眼摄像装置
US7933512B2 (en) * 2009-03-24 2011-04-26 Patrick Campbell Stereo camera with controllable pivot point
WO2010128640A1 (ja) * 2009-05-07 2010-11-11 コニカミノルタホールディングス株式会社 ステレオ画像取得装置
US8698878B2 (en) * 2009-07-02 2014-04-15 Sony Corporation 3-D auto-convergence camera
US8588600B2 (en) * 2010-07-27 2013-11-19 Texas Instruments Incorporated Stereoscopic auto-focus based on coordinated lens positions
JP5597525B2 (ja) * 2010-07-28 2014-10-01 パナソニック株式会社 立体映像撮像装置および立体映像撮像方法
JP2012103109A (ja) * 2010-11-10 2012-05-31 Panasonic Corp ステレオ画像処理装置、ステレオ画像処理方法及びプログラム
JP5411842B2 (ja) * 2010-12-07 2014-02-12 シャープ株式会社 撮像装置
US8836767B2 (en) * 2010-12-17 2014-09-16 Samsung Electronics Co., Ltd Imaging apparatus and imaging method
WO2012111757A1 (ja) * 2011-02-18 2012-08-23 ソニー株式会社 画像処理装置および画像処理方法
US20130063576A1 (en) * 2011-04-28 2013-03-14 Panasonic Corporation Stereoscopic intensity adjustment device, stereoscopic intensity adjustment method, program, integrated circuit and recording medium
JP5263434B1 (ja) 2012-08-09 2013-08-14 パナソニック株式会社 アンテナ、アンテナ装置および通信装置
US9646383B2 (en) * 2011-12-19 2017-05-09 Sharp Kabushiki Kaisha Image processing apparatus, image capturing apparatus, and display apparatus
JP5948856B2 (ja) * 2011-12-21 2016-07-06 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム
US9124875B2 (en) * 2012-05-23 2015-09-01 Fujifilm Corporation Stereoscopic imaging apparatus
JP2014183206A (ja) * 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
US9565416B1 (en) * 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
JP2016033563A (ja) * 2014-07-31 2016-03-10 キヤノン株式会社 立体映像撮像装置
JP2016054415A (ja) * 2014-09-03 2016-04-14 キヤノン株式会社 立体撮像装置および立体撮像プログラム
KR102023587B1 (ko) * 2015-05-27 2019-09-23 구글 엘엘씨 카메라 리그 및 입체 이미지 캡쳐
WO2016194576A1 (ja) * 2015-05-29 2016-12-08 ソニー株式会社 情報処理装置および方法
JP6584149B2 (ja) * 2015-05-29 2019-10-02 キヤノン株式会社 撮像装置
US9703175B2 (en) * 2015-07-02 2017-07-11 Qualcomm Incorporated Systems and methods for autofocus trigger
US9807294B2 (en) * 2015-08-05 2017-10-31 Omnivision Technologies, Inc. Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods
US9426450B1 (en) * 2015-08-18 2016-08-23 Intel Corporation Depth sensing auto focus multiple camera system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040202461A1 (en) 2003-04-08 2004-10-14 Pentax Corporation Passive autofocus system for a camera
US20110018972A1 (en) 2009-07-27 2011-01-27 Yi Pan Stereoscopic imaging apparatus and stereoscopic imaging method
JP2014022806A (ja) 2012-07-13 2014-02-03 Sharp Corp 撮像装置および撮像装置制御方法
JP2016191927A (ja) 2016-06-09 2016-11-10 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム

Also Published As

Publication number Publication date
TWI757419B (zh) 2022-03-11
WO2018179622A1 (ja) 2018-10-04
KR20190129684A (ko) 2019-11-20
JP2018169517A (ja) 2018-11-01
US20190208132A1 (en) 2019-07-04
CN109073858B (zh) 2022-03-18
TW201904282A (zh) 2019-01-16
US10848660B2 (en) 2020-11-24
CN109073858A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
KR102540722B1 (ko) 촬상 장치, 촬상 모듈 및 촬상 장치의 제어 방법
KR102649782B1 (ko) 신호 처리 장치 및 촬상 장치
US11553117B2 (en) Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
KR102388259B1 (ko) 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법
CN110073652B (zh) 成像装置以及控制成像装置的方法
KR20190139875A (ko) 촬상장치, 전자 기기
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2018016151A1 (ja) 画像処理装置と画像処理方法
US10891706B2 (en) Arithmetic device and sensor to track movement of object between frames
WO2019167363A1 (ja) 画像処理装置と画像処理方法およびプログラム
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2020021826A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US10999488B2 (en) Control device, imaging device, and control method
JP2005271693A (ja) 物体検出装置
US11201997B2 (en) Solid-state imaging device, driving method, and electronic apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant