WO2014141654A1 - 測距装置、撮像装置および測距方法 - Google Patents

測距装置、撮像装置および測距方法 Download PDF

Info

Publication number
WO2014141654A1
WO2014141654A1 PCT/JP2014/001278 JP2014001278W WO2014141654A1 WO 2014141654 A1 WO2014141654 A1 WO 2014141654A1 JP 2014001278 W JP2014001278 W JP 2014001278W WO 2014141654 A1 WO2014141654 A1 WO 2014141654A1
Authority
WO
WIPO (PCT)
Prior art keywords
image signal
image
unit
pixels
imaging
Prior art date
Application number
PCT/JP2014/001278
Other languages
English (en)
French (fr)
Inventor
窪田　憲一
森岡　芳宏
祐介 小野
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2015505274A priority Critical patent/JP6268550B2/ja
Publication of WO2014141654A1 publication Critical patent/WO2014141654A1/ja
Priority to US14/743,979 priority patent/US20150285631A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording

Definitions

  • the present disclosure relates to an imaging apparatus having a plurality of imaging units and capable of imaging a stereoscopic image.
  • Patent Document 1 discloses a digital camera that includes a main imaging unit and a secondary imaging unit and generates a 3D image. This digital camera extracts a parallax generated between a main image signal obtained from the main image pickup unit and a sub image signal obtained from the sub image pickup unit. Then, based on the extracted parallax, a new sub image signal is generated from the main image signal, and a 3D image is generated from the main image signal and the new sub image signal.
  • Patent Document 2 discloses a stereo camera that can perform stereo shooting with the right and left shooting magnifications different.
  • This stereo camera includes first imaging means for generating first image data, and second imaging means for generating second image data having a wider angle of view than the first image data. Then, a range corresponding to the first image data is cut out from the second image data as third image data, and stereo image data is generated from the first image data and the third image data.
  • the main imaging unit has an optical zoom function
  • the secondary imaging unit does not have an optical zoom function but has an electronic zoom function. Is disclosed.
  • Patent Document 3 discloses an electronic camera having a two-lens imaging system. This electronic camera has a zoom lens and a single-focus, fixed-focus sub lens, and performs distance measurement based on an image obtained via the zoom lens and an image obtained via the sub lens.
  • the present disclosure provides a distance measuring device and an imaging device capable of performing distance measurement based on a pair of images or moving images captured by a pair of imaging units having different optical characteristics and imaging device specifications.
  • An imaging apparatus includes a display unit, a first imaging unit, a second imaging unit, an angle-of-view matching unit, a parallax information generation unit, and a distance measuring unit, and displays the second imaging unit. Placed behind the image display surface.
  • the display unit is configured to display the captured image on the image display surface, and is configured to be openable and closable.
  • the first imaging unit is configured to capture a first image and output a first image signal.
  • the second imaging unit is configured to capture a second image having an angle of view greater than or equal to the first image at a higher resolution than the first image and output a second image signal.
  • the angle-of-view matching unit is configured to cut out at least part of the second image signal based on the first image signal and generate a cut-out image signal.
  • the disparity information generation unit is configured to generate disparity information based on the first image signal and the cut-out image signal.
  • the distance measuring unit is configured to calculate a distance to a predetermined subject included in the first image signal based on the parallax information and the first image signal.
  • FIG. 1 is an external view when the monitor of the imaging apparatus according to Embodiment 1 is opened.
  • FIG. 2 is an external view when the monitor of the imaging apparatus according to Embodiment 1 is closed.
  • FIG. 3 is a diagram schematically illustrating a circuit configuration of the imaging apparatus according to the first embodiment.
  • FIG. 4 is a diagram showing the configuration of the imaging apparatus according to Embodiment 1 divided into blocks for each function.
  • FIG. 5 is a diagram schematically showing an example of the processing flow of the image signal of the imaging apparatus according to the first embodiment.
  • FIG. 6 is a flowchart for explaining the operation of the imaging apparatus according to Embodiment 1 when capturing a stereoscopic image.
  • FIG. 7 is a flowchart illustrating the distance measuring operation of the imaging apparatus according to the first embodiment.
  • FIG. 8 is a flowchart for explaining the details of the distance measuring operation of the imaging apparatus according to the first embodiment.
  • FIG. 9 is a diagram schematically illustrating a state of imaging with the imaging apparatus according to the first embodiment.
  • FIG. 10 is a diagram schematically illustrating a setting example of the reference plane in the imaging apparatus according to the first embodiment.
  • FIG. 11 is a diagram illustrating an example of an image on which the calculated distance displayed on the display unit of the imaging apparatus according to Embodiment 1 is superimposed.
  • FIG. 12 is a diagram illustrating the configuration of the imaging device according to the second embodiment, divided into blocks for each function.
  • FIG. 13 is a diagram schematically illustrating an example of a flow of processing of an image signal of the imaging device according to the second embodiment.
  • FIG. 1 is an external view when the monitor 113 of the imaging apparatus 110 according to Embodiment 1 is opened.
  • FIG. 2 is an external view when the monitor 113 of the imaging device 110 in Embodiment 1 is closed.
  • the imaging apparatus 110 includes a monitor 113, an imaging unit having a first lens unit 111 (hereinafter referred to as “first imaging unit”), and an imaging unit having a second lens unit 112 (hereinafter referred to as “second imaging unit”). And).
  • the imaging device 110 has a plurality of imaging units as described above, and can capture still images and moving images with each imaging unit.
  • the first lens unit 111 is provided in front of the main body of the imaging device 110 so that the imaging direction of the first imaging unit faces frontward.
  • the monitor 113 is provided in the main body of the imaging device 110 so as to be openable and closable, and has a display (not shown in FIGS. 1 and 2) for displaying a captured image.
  • the display is provided on the side opposite to the imaging direction of the first imaging unit when the monitor 113 is opened, that is, on the side where a user (not shown) behind the imaging device 110 can observe.
  • the second lens unit 112 is arranged on the opposite side of the monitor 113 from the display installation side, and is configured to capture an image in the same direction as the first imaging unit when the monitor 113 is opened.
  • the first imaging unit is a main imaging unit
  • the second imaging unit is an imaging unit. Then, as shown in FIG. 1, by taking the monitor 113 in an open state, these two imaging units are used to capture a stereoscopic still image (hereinafter referred to as “stereoscopic image”) and stereoscopic viewing. Video (hereinafter referred to as “stereoscopic video”) can be taken.
  • the main first imaging unit has an optical zoom function, and the user can set a zoom function at an arbitrary zoom magnification to capture a still image or a moving image.
  • a right-eye viewpoint image is captured by a first imaging unit and a left-eye viewpoint image is captured by a second imaging unit. Therefore, as shown in FIG. 1, in the imaging device 110, the first lens unit 111 is arranged on the right side in the imaging direction, and the second lens unit 112 is arranged on the left side in the imaging direction.
  • the present embodiment is not limited to this configuration, and the first imaging unit captures a left eye viewpoint image, and the second imaging unit captures a right eye viewpoint image. Also good.
  • an image captured by the first imaging unit is referred to as a “first image”
  • an image captured by the second imaging unit is referred to as a “second image”.
  • the second lens unit 112 included in the second imaging unit is smaller in diameter than the first lens unit 111 and does not have an optical zoom function. Therefore, the volume required for installation of the second imaging unit is smaller than that of the first imaging unit, and can be mounted on the monitor 113.
  • the amount of parallax (deviation) is determined by comparing the right-eye viewpoint image captured by the first imaging unit and the left-eye viewpoint image captured by the second imaging unit. Amount), and the distance from the imaging device 110 to the subject is calculated based on the calculated amount of parallax (deviation amount).
  • This parallax amount is the magnitude of the deviation of the position of the subject that occurs when the first image and the second image are overlapped with the same angle of view. This shift is caused by a difference in position (parallax) between the first imaging unit and the second imaging unit.
  • the optical axis of the first imaging unit and the optical axis of the second imaging unit are horizontal to the ground in the same manner as the parallax direction of the person.
  • the distance is set to be approximately the same as the distance between the left and right eyes.
  • the optical center of each of the first lens unit 111 and the second lens unit 112 is maintained.
  • the respective arrangement positions are set so that the distance between the optical center of the first lens unit 111 and the optical center of the second lens unit 112 is not less than 30 mm and not more than 65 mm.
  • the first lens unit 111 and the second lens unit 112 have substantially equal distances from the respective arrangement positions to the subject. Therefore, in the imaging device 110, the first lens unit 111 and the second lens unit 112 are arranged so as to substantially satisfy epipolar constraints. That is, the first lens unit 111 and the second lens unit 112 are each a single plane whose optical center is substantially parallel to the imaging device of the first imaging unit or the imaging surface of the imaging device of the second imaging unit. Position it so that it is on top.
  • the image can be converted into an image satisfying these conditions by executing affine transformation in which enlargement / reduction, rotation, translation and the like of the image are calculated. Then, the parallax amount (deviation amount) may be calculated using an image subjected to affine transformation.
  • the first lens unit 111 and the second lens unit 112 are arranged so that the optical axis of the first imaging unit and the optical axis of the second imaging unit are parallel to each other (hereinafter referred to as “parallel method”). ").
  • the first lens unit 111 and the second lens unit 112 are arranged so that the optical axis of the first imaging unit and the optical axis of the second imaging unit intersect at a predetermined point (hereinafter referred to as “intersection method”). May be. It is also possible to convert an image captured by the parallel method into an image as if captured by the intersection method by affine transformation.
  • the position of the subject substantially satisfies the epipolar constraint condition.
  • the position of the subject is determined in one image (for example, the first image) in the stereoscopic image generation process described later, the position of the subject in the other image (for example, the second image) is relatively easy. Since it can be calculated, the amount of calculation in the process of generating a stereoscopic image can be reduced. Conversely, as the number of items that are not satisfied by these conditions increases, the amount of computation such as affine transformation increases, so the amount of computation in the process of generating a stereoscopic image increases.
  • FIG. 3 is a diagram schematically illustrating a circuit configuration of the imaging device 110 according to the first embodiment.
  • the imaging device 110 includes a first imaging unit 200 that is a first imaging unit, a second imaging unit 210 that is a second imaging unit, a CPU 220, a RAM 221, a ROM 222, an acceleration sensor 223, a display 225, an encoder 226, a storage device 227, and an input.
  • the first imaging unit 200 includes a first lens group 201, a first CCD (Charge Coupled Device) 202, which is a first imaging element, a first A / D conversion IC 203, and a first actuator 204.
  • a first lens group 201 a first lens group 201, a first CCD (Charge Coupled Device) 202, which is a first imaging element, a first A / D conversion IC 203, and a first actuator 204.
  • a first CCD Charge Coupled Device
  • the first lens group 201 corresponds to the first lens unit 111 illustrated in FIG. 1 and is an optical system including a plurality of lenses including a zoom lens capable of optical zoom and a focus lens capable of focus adjustment. . Further, the first lens group 201 is provided with an optical diaphragm (not shown) for adjusting the amount (light quantity) of light received by the first CCD 202. The light taken in through the first lens group 201 is adjusted as an optical zoom, focus, and light amount by the first lens group 201 and then formed as a subject image on the imaging surface of the first CCD 202. This image is the first image.
  • the first CCD 202 is configured to convert the light received on the imaging surface into an electrical signal and output it.
  • This electric signal is an analog signal whose voltage value changes in accordance with the intensity (light quantity) of light.
  • the first A / D conversion IC 203 is configured to convert an analog electric signal output from the first CCD 202 into a digital electric signal. This digital signal is the first image signal.
  • the first actuator 204 has a motor configured to drive a zoom lens and a focus lens included in the first lens group 201. This motor is controlled by a control signal output from the CPU 220.
  • the first imaging unit 200 outputs the first image as an image signal having “horizontal pixel count 1,920, vertical pixel count 1,080”, and the following description will be given.
  • the first imaging unit 200 is configured not only to capture still images but also to record moving images, and can perform moving image shooting at a frame rate (for example, 60 Hz) similar to general moving images. . Therefore, the first imaging unit 200 can capture a high-quality and smooth moving image.
  • the frame rate is the number of images taken per unit time (for example, 1 second). When a frame rate is set to 60 Hz and moving images are taken, 60 images are taken continuously per second. .
  • the number of pixels of the first image and the frame rate at the time of moving image shooting are not limited to the above numerical values, and are desirably set appropriately according to the specifications of the imaging device 110 and the like.
  • the second imaging unit 210 includes a second lens group 211, a second CCD 212 as a second imaging element, a second A / D conversion IC 213, and a second actuator 214.
  • the second lens group 211 corresponds to the second lens unit 112 shown in FIG. 1 and is an optical system composed of a plurality of lenses including a focus lens capable of focus adjustment.
  • the light taken in through the second lens group 211 is focused on the second lens group 211 and then formed as a subject image on the imaging surface of the second CCD 212. This image is the second image.
  • the second lens group 211 does not have an optical zoom function as described above. Therefore, it has a single focus lens instead of an optical zoom lens.
  • the second lens group 211 includes a lens group that is smaller than the first lens group 201, and the objective lens of the second lens group 211 has a smaller aperture than the objective lens of the first lens group 201. It is used. Accordingly, the second imaging unit 210 is made smaller than the first imaging unit 200, the entire imaging device 110 is miniaturized to improve usability (portability and operability), and freedom regarding the arrangement position of the second imaging unit 210 is achieved. Increasing degree. Thereby, as shown in FIG. 1, the second imaging unit 210 can be mounted on the monitor 113.
  • the second CCD 212 is configured to convert the light received on the imaging surface into an analog electric signal and output it.
  • the second CCD 212 in the present embodiment has a higher resolution than the first CCD 202. Therefore, the image signal of the second image has a higher resolution and a larger number of pixels than the image signal of the first image. This is because a part of the image signal of the second image is taken out and used, or the image is enlarged by electronic zoom. Details of these will be described later.
  • the second A / D conversion IC 213 is configured to convert an analog electrical signal output from the second CCD 212 into a digital electrical signal. This digital signal is the second image signal.
  • the second actuator 214 has a motor configured to drive a focus lens included in the second lens group 211. This motor is controlled by a control signal output from the CPU 220.
  • the second imaging unit 210 outputs the second image as an image signal of “the number of pixels in the horizontal direction of 7,680 and the number of pixels in the vertical direction of 4,320”. Do.
  • the second imaging unit 210 is configured not only to capture still images but also to capture moving images, as with the first imaging unit 200. However, since the second image signal has a higher resolution and a larger number of pixels than the first image signal, the frame rate for moving image shooting in the second imaging unit 210 is the same as that for moving image shooting in the first imaging unit 200. It is lower than the frame rate (for example, 30 Hz).
  • the number of pixels of the second image and the frame rate at the time of moving image shooting are not limited to the above numerical values, and are desirably set appropriately according to the specifications of the imaging device 110 and the like.
  • imaging a series of operations for converting a subject image formed on the imaging surface of the imaging device into an electrical signal and outputting the image signal from the A / D conversion IC is referred to as “imaging”.
  • the first imaging unit captures a first image and outputs a first image signal
  • the second imaging unit captures a second image and outputs a second image signal.
  • CMOS Complementary Metal Oxide Semiconductor
  • a ROM (Read Only Memory) 222 stores various data such as a program for operating the CPU 220 and parameters, and the CPU 220 can arbitrarily read the data.
  • the ROM 222 is composed of a nonvolatile semiconductor memory element, and the stored data is retained even when the power of the imaging device 110 is turned off.
  • the input device 224 is a general term for input devices configured to be able to accept user instructions.
  • the input device 224 includes, for example, various buttons such as a power button and a setting button operated by a user, a touch panel, a lever, and the like. In this embodiment, an example in which a touch panel is provided in the display 225 will be described. However, the input device 224 is not limited to these configurations.
  • the input device 224 may include a voice input device, or a configuration in which all input operations are performed using a touch panel. The input operation may be performed with a button, a lever, or the like.
  • a CPU 220 operates based on programs and parameters read from the ROM 222, user instructions received by the input device 224, and the like, and performs overall control of the imaging device 110 and various arithmetic processes. It is configured.
  • the various arithmetic processes include image signal processing relating to the first image signal and the second image signal. Details of this image signal processing will be described later.
  • a microcomputer is used as the CPU 220.
  • an FPGA Field Programmable Gate Array
  • the microcomputer may be used instead of the microcomputer to perform the same operation.
  • a RAM (Random Access Memory) 221 is composed of a volatile semiconductor memory element, and temporarily stores a part of a program for operating the CPU 220, parameters at the time of program execution, a user instruction, and the like based on an instruction from the CPU 220. It is comprised so that it may memorize
  • the acceleration sensor 223 is a commonly used acceleration detection sensor, and is configured to detect a change in the movement or posture of the imaging device 110.
  • the acceleration sensor 223 detects, for example, whether or not the imaging device 110 is kept parallel to the ground, and the detection result is displayed on the display 225. Therefore, the user looks at the display to determine whether or not the imaging device 110 is kept horizontal with respect to the ground, that is, whether or not the imaging device 110 is in a state (posture) suitable for capturing a stereoscopic image. Can be judged. As a result, the user can capture a stereoscopic image or a stereoscopic moving image while keeping the imaging device 110 in an appropriate posture.
  • the imaging apparatus 110 may be configured to perform optical system control such as camera shake correction based on the detection result of the acceleration sensor 223.
  • the acceleration sensor 223 may be a triaxial gyroscope (triaxial gyro sensor), or may be configured to use a plurality of sensors in combination.
  • the display 225 is composed of a generally used liquid crystal display panel, and is mounted on the monitor 113 shown in FIG.
  • the display 225 has the above-described touch panel attached to the surface thereof, and is configured to be able to simultaneously display an image and accept a user instruction.
  • the image displayed on the display 225 includes (1) an image being picked up by the image pickup device 110 (an image based on an image signal output from the first image pickup unit 200 or the second image pickup unit 210), and (2) a storage device 227. (3) an image based on an image signal processed by the CPU 220, (4) a menu display screen for displaying various setting items of the imaging device 110, and the like.
  • these images are selectively displayed or an image obtained by superimposing a plurality of images on each other is displayed.
  • the display 225 is not limited to the above-described configuration, and may be a thin and low power consumption image display device.
  • the display 225 may be configured by an EL (Electro Luminescence) panel or the like.
  • the encoder 226 is configured to encode (encode) an image signal based on an image captured by the imaging device 110 and information related to the captured image by a predetermined method. This is because the data amount is reduced and stored in the storage device 227.
  • This encoding method is a commonly used image compression method such as MPEG-2 or H.264. H.264 / MPEG-4 AVC, etc.
  • the storage device 227 includes a hard disk drive (HDD) that is a relatively large capacity storage device that can be rewritten arbitrarily, and is configured to store data encoded by the encoder 226 in a readable manner. . Further, the data stored in the storage device 227 includes an image signal of a stereoscopic image generated by the CPU 220, information necessary for displaying the stereoscopic image, and image information associated with the image signal. Note that the storage device 227 may be configured to store the image signal output from the first imaging unit 200 or the second imaging unit 210 as it is without performing the encoding process. In addition, the storage device 227 is not limited to an HDD, and may be configured to store in a removable storage medium such as a memory card or an optical disk with a built-in semiconductor storage element.
  • HDD hard disk drive
  • the above-described image information refers to information relating to an image signal.
  • the image encoding method, bit rate, image size, resolution, frame rate, and image type to be encoded for example, I ⁇ Frame, B-Frame, P-Frame, etc.
  • in-focus distance distance to the subject in focus
  • zoom magnification zoom magnification
  • identifiers for left-eye images and right-eye images parallax information, distance information to a subject captured in the image, and the like.
  • One or more of these pieces of information are stored in the storage device 227 as image information in association with the image signal.
  • FIG. 4 is a diagram illustrating the configuration of the imaging apparatus 110 according to the first embodiment, divided into blocks for each function.
  • the imaging device 110 When the configuration of the imaging device 110 is divided into main functions that operate when capturing a stereoscopic image, the imaging device 110 includes a first imaging unit 300, a second imaging unit, as shown in FIG. 310, an image signal processing unit 320, a display unit 330, a storage unit 340, an input unit 350, and a camera information unit 360.
  • the image signal processing unit 320 temporarily stores an image signal in a storage element such as a frame memory when processing the image signal, but such a storage element is omitted in FIG.
  • the first imaging unit 300 includes a first optical unit 301, a first imaging element 302, and a first optical control unit 303.
  • the first imaging unit 300 corresponds to the first imaging unit 200 shown in FIG.
  • the first optical unit 301 corresponds to the first lens group 201
  • the first imaging element 302 corresponds to the first CCD 202 and the first A / D conversion IC 203
  • the first optical control unit 303 corresponds to the first actuator 204. Since it overlaps, these description is abbreviate
  • the second imaging unit 310 includes a second optical unit 311, a second imaging element 312, and a second optical control unit 313.
  • the second imaging unit 310 corresponds to the second imaging unit 210 shown in FIG.
  • the second optical unit 311 corresponds to the second lens group 211
  • the second imaging element 312 corresponds to the second CCD 212 and the second A / D conversion IC 213
  • the second optical control unit 313 corresponds to the second actuator 214, respectively. Since these are duplicates, their explanation is omitted.
  • the display unit 330 corresponds to the display 225 shown in FIG.
  • the input unit 350 corresponds to the input device 224 illustrated in FIG.
  • the touch panel included in the input unit 350 is attached to the surface of the display unit 330, and the display unit 330 can simultaneously display an image and accept a user instruction.
  • the camera information unit 360 corresponds to the acceleration sensor 223 shown in FIG.
  • the storage unit 340 corresponds to the storage device 227 illustrated in FIG. Since these are duplicates, their explanation is omitted.
  • the image signal processing unit 320 corresponds to the CPU 220 and the encoder 226 shown in FIG.
  • FIG. 4 illustrates arithmetic processing (image signal processing) and control performed by the CPU 220 when a three-dimensional image is captured by the imaging device 110. Only main functions related to operations are shown in blocks, and other functions related to operations are omitted. This is for easy understanding of the operation when the imaging device 110 captures a stereoscopic image.
  • each functional block shown in FIG. 4 as the image signal processing unit 320 merely shows the main processing and control operations performed by the CPU 220 by function, and the inside of the CPU 220 is shown in FIG. It is not physically divided into functional blocks. However, the following description will be made assuming that the image signal processing unit 320 includes each unit illustrated in FIG. 4 for convenience.
  • CPU 220 may be configured by an IC or FPGA including an electronic circuit corresponding to each functional block shown in FIG.
  • the image signal processing unit 320 includes an angle-of-view matching unit 321, a reduction processing unit 322, a parallax information generation unit 323, a distance measurement unit 324, an image generation unit 325, and an imaging control unit 326.
  • the angle-of-view matching unit 321 receives the first image signal output from the first imaging unit 300 and the second image signal output from the second imaging unit 310. Then, image signals that are determined to have the same imaging range are extracted from each input image signal.
  • the first imaging unit 300 can perform imaging using an optical zoom
  • the second imaging unit 310 can perform imaging using a single focus lens. If each imaging unit is set so that the angle of view of the first image when the first optical unit 301 is at the wide-angle end is equal to or less than the angle of view of the second image, the range captured by the second image is as follows: The range that is always captured in the first image is included. For example, the second image, which cannot be optically zoomed at the time of imaging, has a wider angle of view than the first image captured at a higher zoom magnification, and this second image has a wider range than the first image. An image is being taken.
  • the “angle of view” is a range captured as an image, and is generally expressed as an angle.
  • the angle-of-view matching unit 321 extracts a portion corresponding to the range (view angle) captured as the first image from the second image signal using a generally used comparison / collation method such as pattern matching.
  • a generally used comparison / collation method such as pattern matching.
  • an image signal extracted from the second image signal is referred to as a “cutout image signal”
  • an image based on the cutout image signal is referred to as a “cutout image”. Therefore, the cut-out image is an image in a range determined by the angle-of-view matching unit 321 to be equal to the imaging range of the first image.
  • the angle-of-view matching unit 321 outputs the cut-out image signal and the first image signal to the subsequent reduction processing unit 322.
  • the second image signal may be used as it is as a cut-out image signal.
  • the operation in the angle-of-view matching unit 321 is not limited to the above-described operation.
  • the region corresponding to the imaging range of the second image may be extracted from the first image signal and the cut image signal may be generated.
  • an operation is performed so that areas having the same imaging range are extracted from each of the first image signal and the second image signal and output to the subsequent stage. Also good.
  • the method used for comparing the first image signal and the second image signal in the angle-of-view matching unit 321 is not limited to pattern matching, and other comparison / collation methods are used.
  • a cut-out image signal may be generated.
  • the reduction processing unit 322 performs reduction processing to reduce the number of pixels (signal amount) by thinning out the pixels of both the first image signal and the cut-out image signal output from the view angle matching unit 321. This is to reduce the amount of calculation necessary for calculating the disparity information in the disparity information generating unit 323 in the subsequent stage.
  • the reduction processing unit 322 performs respective reduction processing so that the number of pixels after the reduction processing of both image signals becomes equal to each other. This is because the comparison processing of the two image signals performed in the disparity information generation unit 323 at the subsequent stage is performed while reducing the calculation amount and increasing the accuracy.
  • the number of pixels of the cut-out image signal (for example, 3840 ⁇ 2160) is four times the number of pixels of the first image signal (for example, 1920 ⁇ 1080), and the number of pixels of the first image signal is 1 ⁇ 4 (for example, When the reduction process is performed so as to be 960 ⁇ 540), the reduction process is performed so that the number of pixels of the cut-out image signal is 1/16 (for example, 960 ⁇ 540).
  • the parallax information generation unit 323 generates parallax information based on the first image signal and the cut-out image signal that have been reduced by the reduction processing unit 322.
  • the disparity information generation unit 323 compares the reduced first image signal and the reduced cut-out image signal with each other, and determines how much the subject corresponding to each other is shifted between the two image signals in pixel units, Alternatively, the calculation is performed in units of blocks including a plurality of pixels.
  • This “deviation amount (deviation amount)” is calculated in a parallax direction, for example, a direction that is horizontal to the ground when imaging is performed. This “deviation amount” is calculated over the entire area of one image (an image based on the reduced first image signal or an image based on the cut-out image signal subjected to the reduction process). What is associated with the block is parallax information (depth map).
  • disparity information is generated in association with the reduced first image signal, but disparity information (depth map) is generated in association with the cut-out image signal subjected to reduction processing. It may be a configuration.
  • the distance measuring unit 324 is captured in an image based on the parallax information (depth map) generated by the parallax information generating unit 323 and information (information on zoom magnification and focus distance) obtained when the image is captured.
  • the distance to the predetermined subject is calculated. A method for calculating the distance to the predetermined subject will be described later.
  • the predetermined subject is the subject specified by the user via the touch panel in the image displayed on display unit 330 (the subject displayed at the position touched by the user). .
  • the present embodiment is not limited to this configuration, and the predetermined subject may be set by another method, for example, the focused subject is set as the predetermined subject.
  • the image generation unit 325 generates a new second image signal from the first image signal based on the parallax information output from the parallax information generation unit 323.
  • a new second image signal generated from the first image signal is referred to as a “new second image signal”.
  • An image based on the new second image signal is referred to as a “new second image”.
  • the first image signal is used as the right eye image signal
  • the stereoscopic image signal is generated using the new second image signal generated based on the parallax information by the image generation unit 325 as the left eye image signal. Output from the unit 325.
  • the stereoscopic image signal is stored in the storage unit 340, for example, and the stereoscopic image based on the stereoscopic image signal is displayed on the display unit 330.
  • the imaging device 110 generates a new second image signal (for example, a left-eye image signal) to be paired based on the parallax information from the first image signal (for example, the right-eye image signal). Therefore, it is possible to adjust the stereoscopic effect of the generated stereoscopic image by correcting the parallax information.
  • the image generation unit 325 may be configured to correct the parallax information (depth map) so that the stereoscopic effect such as increasing or suppressing the stereoscopic effect of the stereoscopic image can be adjusted.
  • FIG. 5 is a diagram schematically showing an example of the processing flow of the image signal of the imaging apparatus 110 according to the first embodiment.
  • FIG. 6 is a flowchart for explaining the operation of the imaging apparatus 110 according to Embodiment 1 when capturing a stereoscopic image.
  • the first imaging unit 300 outputs a first image signal having a number of pixels of 1920 ⁇ 1080
  • the second imaging unit 310 is a second image having a number of pixels of 7680 ⁇ 4320.
  • the following description will be given on the assumption that an image signal is output.
  • the imaging device 110 When imaging a stereoscopic image, the imaging device 110 mainly performs the following operations.
  • the view angle matching unit 321 extracts a portion corresponding to the range (view angle) captured as the first image from the second image signal, and generates a cut-out image signal (step S501).
  • the imaging control unit 326 of the image signal processing unit 320 controls the optical zoom of the first optical unit 301 via the first optical control unit 303. Therefore, the image signal processing unit 320 can acquire the zoom magnification of the first optical unit 301 when the first image is captured as supplementary information of the first image. On the other hand, since the second optical unit 311 cannot perform optical zoom, the zoom magnification when capturing the second image is fixed.
  • the angle-of-view matching unit 321 calculates the difference in angle of view between the first image and the second image based on these pieces of information, and the imaging range (view angle) of the first image from the second image signal based on the calculation result. The area corresponding to is identified and cut out.
  • the angle-of-view matching unit 321 first cuts out a slightly wider range (for example, a range wider by about 10%) than the area corresponding to the angle of view of the first image. This is because a slight shift may occur between the center of the first image and the center of the second image.
  • the angle-of-view matching unit 321 performs generally used pattern matching on the cut-out range, specifies an area corresponding to the imaging range of the first image, and cuts out again. As a result, it is possible to generate a cut-out image signal at high speed by a relatively light-weight calculation process. Note that a method such as pattern matching that compares two images having different angles of view and resolution to identify an area having a common imaging range is a generally known method, and thus description thereof is omitted.
  • the angle-of-view matching unit 321 extracts an area substantially equal to the imaging range of the first image signal from the second image signal, and generates a cut-out image signal.
  • a cutout image signal may be generated only by pattern matching.
  • FIG. 5 shows an example in which the cut-out image signal is generated as an image signal having 3840 ⁇ 2160 pixels.
  • the number of pixels of the cut-out image signal varies depending on the optical zoom magnification of the first imaging unit 300, and the number of pixels of the cut-out image signal decreases as the zoom magnification at the time of capturing the first image increases.
  • the reduction processing unit 322 reduces the first image signal and the cut-out image signal so that each has a predetermined number of pixels (step S502).
  • FIG. 5 shows an example in which the predetermined number of pixels is 960 ⁇ 540. If the number of pixels of the first image signal is 1920 ⁇ 1080, the number of pixels of the first image signal after the reduction process is reduced to 960 by reducing the first image signal to 1 ⁇ 2 in both the horizontal direction and the vertical direction. It can be set to x540. Further, if the number of pixels of the cut-out image signal is 3840 ⁇ 2160, the cut-out image signal is reduced to 1 ⁇ 4 in each of the horizontal direction and the vertical direction, so that the number of pixels of the cut-out image signal after the reduction process is 960 ⁇ 540.
  • the parallax information generation unit 323 generates parallax information (depth map) based on the first image signal and the cut-out image signal that have been reduced by the reduction processing unit 322 (step S503).
  • the image generation unit 325 uses the first image signal based on the disparity information (depth map) generated by the disparity information generation unit 323 as a new second image signal that is a pair of the first image signal in the stereoscopic image signal. (Step S504).
  • parallax information is expanded in accordance with the number of pixels of the first image signal.
  • this extended parallax information is referred to as an “extended depth map”.
  • the disparity information depth map
  • the disparity information depth map
  • the disparity information is converted into the horizontal direction / vertical direction.
  • Each is expanded twice to generate an extended depth map.
  • the image generation unit 325 generates a new second image signal with 1920 ⁇ 1080 pixels from, for example, a first image signal with 1920 ⁇ 1080 pixels, based on the extended depth map.
  • the new second image signal is generated by the extended depth map based on the parallax information (depth map) to which the above-described correction (correction for adjusting the stereoscopic effect of the stereoscopic image) is added, the stereoscopic effect is adjusted.
  • An image signal is generated. Note that either the process of correcting the parallax information (depth map) or the process of generating the extended depth map may be performed first.
  • the image generating unit 325 outputs a pair of the first image signal and the new second image signal as a stereoscopic image signal (step S505).
  • the first image signal is the right-eye image signal and the new second image signal is the left-eye image signal.
  • the first image signal is the left-eye image signal
  • the new second image signal is the left-eye image signal.
  • the imaging device 110 may be configured so that the image signal is the right-eye image signal.
  • the number of pixels of each image signal and the number of pixels of the image signal after the reduction process are not limited to the numerical values described above.
  • FIG. 7 is a flowchart for explaining the distance measuring operation of the imaging apparatus 110 according to the first embodiment.
  • the imaging apparatus 110 When performing a distance measuring operation for calculating a distance to a predetermined subject, the imaging apparatus 110 mainly performs the following operation.
  • the distance measuring unit 324 calculates the distance from the imaging device 110 to a predetermined subject based on the parallax information (depth map) generated by the parallax information generating unit 323 and the first image signal (step S604).
  • the calculated distance is output from the distance measurement unit 324 to the subsequent image generation unit 325 as a distance information signal. The details of the distance calculation operation in the distance measuring unit 324 will be described later.
  • the image generation unit 325 superimposes the distance information signal output from the distance measurement unit 324 on the image signal (for example, the first image signal) displayed on the display unit 330 and outputs the superimposed signal (step S605).
  • this image signal is referred to as a “generated image signal”.
  • the display unit 330 displays an image based on the image signal after the distance information signal is superimposed.
  • step S604 Details of the operation in step S604 will be described.
  • FIG. 8 is a flowchart for explaining the details of the distance measuring operation of the imaging apparatus 110 according to the first embodiment.
  • the imaging apparatus 110 mainly performs the following operation in step S604 for calculating the distance to a predetermined subject.
  • the ranging unit 324 first sets a reference plane in the first image (step S901).
  • the distance measuring unit 324 sets, in the parallax information (depth map) generated by the parallax information generating unit 323, an area where the “deviation amount” is “0” as the reference plane.
  • FIG. 9 is a diagram schematically illustrating a state of imaging by the imaging device 110 according to the first embodiment.
  • the optical axis of the first imaging unit 300 is indicated by a solid line
  • the optical axis of the second imaging unit 310 is indicated by a broken line.
  • the “deviation amount” in the subject at a position that is substantially at infinity. Becomes “0”. Therefore, the substantial infinity becomes the reference plane.
  • the “shift amount” increases as the position of the subject becomes closer (closer to the imaging device 110).
  • the imaging apparatus 110 it is also possible to set the reference plane based on the focused subject. If affine transformation is performed, an image captured by the parallel method can be converted into an image as if it was captured by the intersection method, and the intersection (cross point, the optical axis of the first imaging unit 300 and the second image at that time). The point where the optical axis of the imaging unit 310 intersects) can be set to an arbitrary position, for example, a position where a focused subject is located.
  • the distance from the imaging apparatus 110 to the focused subject is referred to as “focusing distance”.
  • the imaging apparatus 110 can acquire the in-focus distance when adjusting the focus.
  • the focus lens included in the first optical unit 301 is controlled by the imaging control unit 326 via the first optical control unit 303.
  • the focus state of the subject image formed on the imaging surface of the first imaging element 302 changes. That is, the distance (focusing distance) from the imaging device 110 to the subject that is in focus (focused) on the imaging surface of the first imaging element 302 changes according to the position of the focus lens.
  • the position of the focus lens and the focusing distance can be associated with each other.
  • the imaging control unit 326 (or the first optical control unit 303) is provided with information that associates the position of the focus lens with the in-focus distance in advance, so that the current focus lens position can be compared with the current focus lens position.
  • the focal distance can be acquired. That is, the imaging control unit 326 can acquire the focus distance when controlling the focus lens via the first optical control unit 303. If the in-focus distance is obtained, affine transformation can be performed based on this.
  • the “deviation amount” is “ 0 ". Therefore, the position of the focused subject becomes the reference plane. In this case, the sign of the calculated “deviation amount” is reversed between the subject in front of the reference plane and the subject behind the reference plane.
  • FIG. 10 is a diagram schematically illustrating a setting example of the reference plane in the imaging apparatus 110 according to the first embodiment.
  • FIG. 10 shows an example in which a person with a balloon is focused and a reference plane is set based on this focusing distance. Therefore, in the example shown in FIG. 10, the position where the person holding the balloon is the reference plane.
  • the sign of “deviation amount” relating to the subject behind the reference plane is “positive” and the sign of “deviation amount” relating to the subject in front of the reference plane is “negative”, as shown in FIG.
  • the “deviation amount” increases in the positive direction.
  • the “amount” increases in the negative direction.
  • the first imaging unit 300 and the second imaging unit 310 are configured to perform imaging by a parallel method
  • the image signal processing unit 320 is a first image captured by the first imaging unit 300. It is assumed that the distance measurement operation is performed by setting the position of the subject focused in step 1 as the reference plane.
  • the present embodiment is not limited to this configuration.
  • the position of the imaging device 110 may be set to the reference plane, or a predetermined fixed position may be set to the reference plane, or infinite as described above. You may comprise so that far may be set to a reference plane.
  • the first imaging unit 300 and the second imaging unit 310 may be configured so that imaging by the intersection method is performed, and furthermore, the intersection (cross point) of the optical axes is mechanically determined according to the focus distance. You may comprise so that it may change.
  • step S902 a subject to be measured is set (step S902).
  • the touch panel included in the input unit 350 is attached to the surface of the display unit 330, and the display unit 330 can simultaneously display an image and accept a user instruction.
  • the image for example, the first image
  • the subject specified by the user via the touch panel is The object of distance measurement.
  • the user can easily specify the subject to be measured.
  • a focused object may be configured to be a distance measurement target.
  • the distance measuring unit 324 selects a “deviation amount” corresponding to the selected subject from the parallax information (depth map) (step S903).
  • the distance measuring unit 324 reads the “deviation amount” in the area corresponding to the selected subject from the parallax information (depth map) and sets it as the “deviation amount” in the selected subject.
  • the distance measuring unit 324 uses an average value of the plurality of “deviation amounts” as the “deviation amount” in the selected subject.
  • a “deviation amount” corresponding to a predetermined point (for example, a center point) of the selected subject is selected. It may be configured to be used as the “deviation amount”.
  • the structure which uses the "deviation amount” in the position corresponding to the position of the touch panel which the user touched as it is as parallax information (depth map) may be used.
  • the distance measurement unit 324 calculates a distance based on the “deviation amount” set in step S903 (step S904).
  • the distance measuring unit 324 sets an area where the “deviation amount” is “0” in the parallax information (depth map) generated by the parallax information generating unit 323 as a reference plane. Therefore, the greater the “deviation amount”, the greater the distance from the reference plane. Using this relationship, the distance measuring unit 324 calculates the distance.
  • the distance measuring unit 324 includes information (lookup table) in which the relationship between the magnitude of the “deviation amount” and the distance from the reference plane is set in advance, and the “deviation amount” is determined from this lookup table.
  • the distance information is read based on the size of ".” Then, the read distance information is added (or subtracted) to the distance from the imaging device 110 to the reference plane to calculate the distance to a predetermined subject.
  • the distance from the imaging device 110 to the reference plane can be obtained as the in-focus distance as described above, description thereof is omitted.
  • the relationship between the magnitude of the “deviation amount” and the distance from the reference plane varies depending on the magnification of the optical zoom in the first optical unit 301, so that the ranging unit 324 performs a plurality of lookups corresponding to the zoom magnification. It is desirable to have a table. However, since the magnification of the optical zoom changes continuously, for example, only the lookup table when the magnification of the optical zoom is an integral multiple is provided, and the distance when the magnification of the optical zoom is not an integral multiple is the lookup of them. A plurality of distance information read based on the “deviation amount” from the table may be substituted into a calculation formula set in accordance with the magnification of the optical zoom.
  • the distance measuring unit 324 represents a calculation formula representing a relationship between a preset zoom magnification, the amount of “deviation amount”, and a distance from the reference plane. In preparation, the distance may be calculated by substituting the zoom magnification, the amount of “deviation amount”, or the like into this calculation formula.
  • the distance measuring unit 324 can acquire various information necessary for distance measurement, such as optical zoom magnification and focus distance, as image information accompanying the image signal as described above.
  • the relationship between the magnitude of the “deviation amount” and the distance from the reference surface is not necessarily linear, and may be nonlinear depending on the optical characteristics of the first optical unit 301.
  • the method of reading the distance information from the lookup table described above can appropriately cope with even if there is a very complicated non-linearity in the relationship between the magnitude of the “deviation amount” and the distance from the reference plane. it can.
  • step S604 the distance to the predetermined subject is calculated in this way.
  • a number indicating the calculated distance is superimposed on the display image and displayed on the display unit 330 in a form as shown in FIG. 11, for example.
  • FIG. 11 is a diagram illustrating an example of an image on which the calculated distance displayed on the display unit 330 of the imaging device 110 according to Embodiment 1 is superimposed.
  • the display unit 330 displays the result of the distance measurement in the vicinity of the person with the balloon. A number “5 m” is displayed.
  • the number indicating the distance measurement result is displayed in the vicinity of the subject selected as the target for distance measurement, so that the user can determine the distance to the designated subject. Can be understood at a glance.
  • the subject to be measured may be indicated by a symbol such as an arrow.
  • the present embodiment is not limited to these configurations, and the numerical value indicating the distance measurement result may be displayed anywhere on the display unit 330. Further, the subject that is the object of distance measurement may be displayed by changing the color or outline.
  • the zoom magnification of the first optical unit 301 and the resolution of the second image sensor 312 are such that the resolution of the cut-out image signal when the first optical unit 301 is at the telephoto end (tele end) is equal to or higher than the resolution of the first image signal. It is desirable to set so that This is to prevent the cut-out image signal from having a lower resolution than the first image signal when the first optical unit 301 is at the telephoto end.
  • the present embodiment is not limited to this configuration.
  • the second optical unit 311 is preferably configured to have a field angle substantially equal to or wider than the angle of view when the first optical unit 301 is at the wide angle end (wide end). This is to prevent the first image from having a wider angle of view than the second image when the first optical unit 301 is at the wide angle end.
  • the present embodiment is not limited to this configuration, and the angle of view of the first image when the first optical unit 301 is at the wide-angle end may be wider than that of the second image. .
  • the distance measuring operation in the present embodiment is performed according to the user's instruction, and is not performed without the user's instruction.
  • the imaging device 110 is not limited to a configuration in which a ranging operation is performed only when a stereoscopic image is captured. Even when a stereoscopic image is not captured, if the monitor 113 is in an open state, a ranging operation is performed by executing the steps shown in FIGS. 7 and 8 according to a user instruction. It is good.
  • the imaging apparatus 110 includes the display unit 330, the first imaging unit 300, the second imaging unit 310, the angle-of-view matching unit 321, and the parallax information configured to be openable and closable.
  • a generation unit 323 and a distance measurement unit 324 are provided.
  • the display unit 330 is configured to display the captured image on the image display surface.
  • the first imaging unit 300 is configured to capture a first image and output a first image signal.
  • the second imaging unit 310 is configured to capture a second image having an angle of view greater than or equal to the first image at a higher resolution than the first image and output a second image signal.
  • the angle-of-view matching unit 321 is configured to generate a cut-out image signal by cutting out at least a part of the second image signal based on the first image signal.
  • the disparity information generation unit 323 is configured to generate disparity information based on the first image signal and the cut-out image signal.
  • the distance measuring unit 324 is configured to calculate a distance to a predetermined subject included in the first image signal based on the parallax information and the first image signal.
  • the second imaging unit 310 is disposed on the back side of the image display surface of the display unit 330.
  • the imaging device 110 can calculate the distance to a predetermined subject that is captured in the captured image, together with the imaging of the stereoscopic image.
  • imaging such as an angle of view (imaging range), resolution (number of pixels), zoom magnification, and the like is performed. It is desirable to align the conditions with each other so that they are as equal as possible.
  • the second imaging unit must also have a similar optical zoom function.
  • the size of the imaging apparatus main body increases, and the usability as an imaging apparatus is deteriorated.
  • the imaging apparatus 110 includes the optical zoom function in the first imaging unit 300, and can capture the first image with good quality.
  • the second imaging unit 310 since the second imaging unit 310 does not have an optical zoom function and has a single focus lens, the second imaging unit 310 is made smaller than the first imaging unit 300, and the entire imaging device 110 is made smaller. To achieve good usability (portability and operability). Furthermore, since the second imaging unit 310 is downsized to increase the degree of freedom regarding the arrangement position, the second imaging unit 310 can be mounted on the monitor 113.
  • first imaging unit 300 and the second imaging unit 310 have different optical system specifications, it is difficult to obtain highly accurate parallax information.
  • the imaging device 110 is configured as described above, and based on the first image captured by the first imaging unit 300, a cut-out image signal is generated from the second image signal, and the first image signal and Processing for matching the number of pixels of the cut-out image signal with each other is performed to generate highly accurate parallax information.
  • the imaging apparatus 110 can perform distance measurement with high accuracy.
  • the distance measuring unit 324 sets a reference plane and calculates the distance from the reference plane, it is possible to accurately measure a distance even for an object that is not focused, for example.
  • the new second image signal is generated from the first image signal based on highly accurate parallax information, a stereoscopic image signal with good quality can be generated.
  • the user can also close the monitor 113 when the second image pickup unit 310 does not need to be used.
  • the imaging device 120 in the second embodiment has substantially the same appearance, configuration, and function as the imaging device 110 shown in the first embodiment, and operates substantially the same, and thus detailed description thereof is omitted. Further, the operation when the user captures a stereoscopic image and performs distance measurement is substantially the same as that of the first embodiment. However, since there is a difference in processing operations in the image signal processing unit, this difference will be described below.
  • FIG. 12 is a diagram showing the configuration of the imaging apparatus 120 according to the second embodiment, divided into blocks for each function.
  • FIG. 13 is a diagram schematically showing an example of the processing flow of the image signal of the imaging apparatus 120 according to the second embodiment. Note that the numerical values shown in FIG. 13 are merely examples, and the present embodiment is not limited to these numerical values.
  • the image signal processing unit 420 of the imaging device 120 has substantially the same configuration as the image signal processing unit 320 illustrated in FIG. 4, but instead of the reduction processing unit 322, The difference is that the number matching unit 422 is provided.
  • the pixel number matching unit 422 compares the number of pixels of the first image signal output from the angle-of-view matching unit 321 and the image signal of the cut-out image signal, and determines the pixel number of the image signal having the larger number of pixels, The image is reduced in accordance with the number of pixels of the image signal having the smaller number of pixels. Thus, the number of pixels of both image signals is made equal to each other.
  • the cut-out image signal is halved in each of the horizontal direction and the vertical direction. Reduction processing is performed to obtain an image signal having 1920 ⁇ 1080 pixels.
  • the pixel number matching unit 422 reduces the number of pixels of the first image signal in accordance with the number of pixels of the cut-out image signal.
  • a restriction may be provided such that the above-described processing is performed when the number of pixels of the cut-out image signal is 1 ⁇ 4 or more of the number of pixels of the first image signal.
  • the imaging apparatus 120 configured as described above does not perform the image signal reduction processing performed by the reduction processing unit 322, and thus the accuracy of the parallax information calculation in the subsequent-stage parallax information generation unit 323 is described in Embodiment 1. Compared to other configurations, it can be increased.
  • the parallax information generation unit 323 generates parallax information (depth map) based on an image signal having the number of pixels of 1920 ⁇ 1080. This is four times the amount of information compared to the example shown in the first embodiment.
  • the imaging apparatus 120 in the present embodiment can perform distance measurement with higher accuracy than the imaging apparatus 110 shown in the first embodiment.
  • Embodiments 1 and 2 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, and the like are performed. Moreover, it is also possible to combine each component demonstrated in the said Embodiment 1, 2 and it can be set as a new embodiment.
  • the imaging apparatus may be configured to include both the reduction processing unit 322 shown in the first embodiment and the pixel number matching unit 422 shown in the second embodiment.
  • parallax information depth map
  • the imaging apparatus may be configured to include both the reduction processing unit 322 shown in the first embodiment and the pixel number matching unit 422 shown in the second embodiment.
  • parallax information depth map
  • the imaging apparatus may be configured to include both the reduction processing unit 322 shown in the first embodiment and the pixel number matching unit 422 shown in the second embodiment.
  • parallax information depth map
  • the imaging apparatus may be configured to include both the reduction processing unit 322 shown in the first embodiment and the pixel number matching unit 422 shown in the second embodiment.
  • the imaging apparatus is configured to capture the first image with the first imaging unit 300 and the second image with the second imaging unit 310 .
  • the first image input unit is provided instead of the unit 300
  • the second image input unit is provided instead of the second imaging unit 310
  • the first image is acquired through the first image input unit
  • the second is input through the second image input unit. You may comprise so that an image may be acquired.
  • the configuration for performing distance measurement in the imaging apparatus has been described.
  • the configuration and operation for distance measurement described in the present embodiment may be performed by a device that is not intended for capturing a stereoscopic image (for example, It can also be applied to distance measuring devices.
  • the configuration and operation shown in the first and second embodiments can be applied even when shooting a moving image.
  • the image angle matching unit 321 selects an image signal with a lower frame rate as an image with a higher frame rate.
  • the frame rate is increased in accordance with the signal, and the frame rate is set equal to the higher frame rate. For example, if the frame rate of the first image signal is 60 Hz and the frame rate of the second image signal is 30 Hz, the second image signal or the cut-out image signal is increased to 60 Hz.
  • the frame rate conversion method used at this time may be a known one. As described above, it is assumed that the parallax information is generated in a state in which it is easy to compare the moving image signal. As a result, distance measurement can be performed with high accuracy even during moving image capturing.
  • the first optical unit 301 (first lens group 201) and the second optical unit 311 (second lens group 211) are not limited to the configuration shown in the first embodiment.
  • a focus lens capable of focus adjustment instead of a focus lens capable of focus adjustment, a configuration using a pan focus (deep focus) lens that does not require focus adjustment may be used.
  • the second optical unit 311 may include an optical diaphragm that adjusts the amount of light received by the second image sensor 312 (second CCD 212).
  • the second optical unit 311 may include an optical zoom lens instead of the single focus lens. In that case, for example, when a stereoscopic image is captured or measured by the imaging apparatus, the second optical unit 311 may be configured to be automatically at the wide-angle end.
  • the imaging device may be configured such that when the first optical unit 301 is at the telephoto end (tele end), the cut-out image signal has a lower resolution than the first image signal. In that case, for example, when the resolution of the cut-out image signal becomes equal to or lower than the resolution of the first image signal in the process of increasing the zoom magnification of the first optical unit 301, the imaging mode is automatically changed from a stereoscopic image to a normal image.
  • the imaging device may be configured as described above.
  • a switch that is turned on when the monitor 113 is opened to a position suitable for capturing and measuring a stereoscopic image, and that is otherwise turned off is provided in the imaging apparatus, and the stereoscopic image is displayed only when the switch is turned on.
  • the imaging device may be configured so that it is possible to perform imaging or ranging.
  • the present disclosure can be applied to an imaging apparatus that includes a plurality of imaging units and can capture a stereoscopic image.
  • the present disclosure can be applied to a digital video camera, a digital still camera, a mobile phone with a camera function, a smartphone, or the like that can capture a stereoscopic image.
  • First imaging unit 201 First lens group 202 First CCD 203 1st A / D conversion IC 204 First actuator 210 Second imaging unit 211 Second lens group 212 Second CCD 213 2nd A / D conversion IC 214 Second actuator 220 CPU 221 RAM 222 ROM 223 Acceleration sensor 224 Input device 225 Display 226 Encoder 227 Storage device 300 First imaging unit 301 First optical unit 302 First imaging device 303 First optical control unit 310 Second imaging unit 311 Second optical unit 312 Second imaging device 313 Second optical control unit 320, 420 Image signal processing unit 321 Angle of view matching unit 322 Reduction processing unit 323 Parallax information generation unit 324 Distance measurement unit 325 Image generation unit 326 Imaging control unit 330 Display unit 340 Storage unit 350 Input unit 360 Camera information Section 422 Pixel number matching section

Abstract

　立体画像の撮像と共に測距を行えるようにする。そのために、撮像装置（１１０）は、開閉可能に構成された表示部（３３０）と、第１撮像部（３００）と、第１画像以上の画角と解像度を有する第２画像信号を出力する第２撮像部（３１０）と、第１画像信号に基づき第２画像信号から切り出し画像信号を生成する画角合わせ部（３２１）と、第１画像信号と切り出し画像信号とに基づき視差情報を生成する視差情報生成部（３２３）と、視差情報と第１画像信号とに基づき、第１画像信号に含まれる所定の被写体までの距離を算出する測距部（３２４）と、を備える。この撮像装置において、第２撮像部は、表示部の画像表示面の裏側に配置される。

Description

測距装置、撮像装置および測距方法
　本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。
　特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。
　特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。
　また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。
　特許文献３は、２眼の撮像系を有する電子カメラを開示する。この電子カメラは、ズームレンズと単焦点で固定焦点のサブレンズを有し、ズームレンズを介して得られた画像と、サブレンズを介して得られた画像とに基づいて、測距を行う。
特開２００５－２０６０６号公報 特開２００５－２１０２１７号公報 特開２００６－９３８５９号公報
　本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮影される一対の画像または動画に基づき測距を行うことが可能な測距装置および撮像装置を提供する。
　本開示の撮像装置は、表示部と、第１撮像部と、第２撮像部と、画角合わせ部と、視差情報生成部と、測距部と、を備え、第２撮像部を、表示部の画像表示面の裏側に配置する。表示部は、撮像画像を画像表示面に表示するように構成され、開閉可能に構成されている。第１撮像部は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画角合わせ部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。視差情報生成部は、第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成されている。測距部は、視差情報と第１画像信号とに基づき、第１画像信号に含まれる所定の被写体までの距離を算出するように構成されている。
図１は、実施の形態１における撮像装置のモニターを開いたときの外観図である。 図２は、実施の形態１における撮像装置のモニターを閉じたときの外観図である。 図３は、実施の形態１における撮像装置の回路構成を概略的に示す図である。 図４は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。 図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。 図６は、実施の形態１における撮像装置の立体画像撮像時の動作を説明するフローチャートである。 図７は、実施の形態１における撮像装置の測距動作を説明するフローチャートである。 図８は、実施の形態１における撮像装置の測距動作の詳細を説明するフローチャートである。 図９は、実施の形態１における撮像装置での撮像の様子を概略的に示す図である。 図１０は、実施の形態１における撮像装置での基準面の設定例を概略的に示す図である。 図１１は、実施の形態１における撮像装置の表示部に表示される算出距離が重畳された画像の一例を示す図である。 図１２は、実施の形態２における撮像装置の構成を機能毎にブロック分けして示す図である。 図１３は、実施の形態２における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　（実施の形態１）
　以下、図１～図１１を用いて、実施の形態１を説明する。
　［１－１．構成］
　図１は、実施の形態１における撮像装置１１０のモニター１１３を開いたときの外観図である。
　図２は、実施の形態１における撮像装置１１０のモニター１１３を閉じたときの外観図である。
　撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。
　第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。
　モニター１１３は、図１、図２に示すように、開閉可能に撮像装置１１０本体に設けられており、撮像画像を表示するためのディスプレイ（図１、図２には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。
　第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。
　撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。
　本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。
　なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。
　本実施の形態では、詳細は後述するが、第１撮像部で撮像される右眼視点の画像と、第２撮像部で撮像される左眼視点の画像とを比較することで視差量（ずれ量）を算出し、算出した視差量（ずれ量）にもとづき撮像装置１１０から被写体までの距離を算出する。
　この視差量（ずれ量）とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。
　そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。
　また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ　Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。
　なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量（ずれ量）を算出すればよい。
　また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。
　なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。
　図３は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。
　撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＣＰＵ２２０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、エンコーダー２２６、記憶装置２２７、入力装置２２４を有する。
　第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。
　第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。
　第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。
　第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。
　第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。
　本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。
　なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
　第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、第２Ａ／Ｄ変換ＩＣ２１３、および第２アクチュエーター２１４を備える。
　第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が可能なフォーカスレンズを含む複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２レンズ群２１１でフォーカスの調節がなされた後、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。
　なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。
　第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用したり、電子ズームにより画像拡大をするためである。これらの詳細は後述する。
　第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。
　第２アクチュエーター２１４は、第２レンズ群２１１に含まれるフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。
　本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。
　なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
　なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。
　なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。
　ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。
　入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。
　本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を用い、同様の動作を行うように構成してもよい。
　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。
　加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。
　なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。
　ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。
　エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ－２や、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ、等である。
　記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、画像信号に付随する画像情報が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。
　なお、上述の画像情報とは、画像信号に関する情報のことであり、例えば、画像の符号化方式、ビットレート、画像のサイズ、解像度、フレームレート、符号化される画像種類（一例として、Ｉ－Ｆｒａｍｅ、Ｂ－Ｆｒａｍｅ、Ｐ－Ｆｒａｍｅ、等）、撮像時の合焦距離（フォーカスが合っている被写体までの距離）、ズーム倍率、立体画像であるか否か、立体画像である場合には、左眼用画像と右眼用画像との識別子、視差情報、画像に写された被写体までの距離情報、等が挙げられる。これらのうちの単数または複数の情報が、画像情報として画像信号に関連付けられて記憶装置２２７に記憶される。
　［１－２．動作］
　以上のように構成された撮像装置１１０について、その動作を説明する。
　以下では、撮像装置１１０で立体画像を撮像しているときに行われる主な動作を、機能毎にブロック分けして説明する。
　図４は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。
　撮像装置１１０の構成を、立体画像の撮像をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図４に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３３０、記憶部３４０、入力部３５０、カメラ情報部３６０、の７つのブロックに大別することができる。
　なお、画像信号処理部３２０では、画像信号を処理する際に、フレームメモリ等の記憶素子に一時的に画像信号を記憶するが、図４では、そのような記憶素子は省略している。
　第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１光学制御部３０３、を備える。第１撮像部３００は、図３に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２および第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０３は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。
　第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、第２光学制御部３１３、を備える。第２撮像部３１０は、図３に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２および第２Ａ／Ｄ変換ＩＣ２１３に、第２光学制御部３１３は第２アクチュエーター２１４に、それぞれ相当する。重複するのでこれらの説明は省略する。
　表示部３３０は、図３に示したディスプレイ２２５に相当する。入力部３５０は、図３に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。カメラ情報部３６０は、図３に示した加速度センサ２２３に相当する。記憶部３４０は、図３に示した記憶装置２２７に相当する。重複するのでこれらの説明は省略する。
　画像信号処理部３２０は、図３に示したＣＰＵ２２０およびエンコーダー２２６に相当する。
　なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図４には、撮像装置１１０で立体画像の撮像を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体画像を撮像するときの動作を分かりやすく示すためである。
　なお、画像信号処理部３２０として図４に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図４に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図４に示す各部を有するものとして説明を行う。
　なお、ＣＰＵ２２０は、図４に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。
　画像信号処理部３２０は、図４に示すように、画角合わせ部３２１、縮小処理部３２２、視差情報生成部３２３、測距部３２４、画像生成部３２５、撮像制御部３２６、を有する。
　画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。
　第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。例えば、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。
　なお、「画角（Ａｎｇｌｅ　ｏｆ　ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。
　そこで、画角合わせ部３２１では、パターンマッチング等の一般に用いられている比較・照合手法を用いて、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。
　なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。
　そして、画角合わせ部３２１は、切り出し画像信号と第１画像信号を後段の縮小処理部３２２に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。
　なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。
　なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。
　縮小処理部３２２は、画角合わせ部３２１から出力される第１画像信号と切り出し画像信号の両画像信号を、画素を間引いて画素数（信号量）を削減する縮小処理を行う。これは、後段の視差情報生成部３２３における視差情報の算出に必要な演算量を低減するためである。
　また、縮小処理部３２２は、両画像信号の縮小処理後の画素数が互いに等しくなるように、それぞれの縮小処理を行う。これは、後段の視差情報生成部３２３において行う２つの画像信号の比較処理を、演算量を低減するとともに精度を高めて行うためである。例えば、切り出し画像信号の画素数（例えば、３８４０×２１６０）が第１画像信号の画素数（例えば、１９２０×１０８０）の４倍であり、第１画像信号を画素数が１／４（例えば、９６０×５４０）になるように縮小処理する場合は、切り出し画像信号に関しては画素数が１／１６（例えば、９６０×５４０）になるように縮小処理を行う。なお、縮小処理を行う際は、フィルタリング処理等を行い、できるだけ情報が損なわれないようにすることが望ましい。
　視差情報生成部３２３は、縮小処理部３２２で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報を生成する。視差情報生成部３２３は、縮小処理された第１画像信号と縮小処理された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば、撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（縮小処理された第１画像信号にもとづく画像、または、縮小処理された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。
　本実施の形態では、縮小処理された第１画像信号に関連付けて視差情報（デプスマップ）を生成するものとするが、縮小処理された切り出し画像信号に関連付けて視差情報（デプスマップ）を生成する構成であってもよい。
　測距部３２４は、視差情報生成部３２３で生成された視差情報（デプスマップ）と、その画像の撮像時に得られる情報（ズーム倍率や合焦距離に関する情報）とにもとづいて、画像に写された所定の被写体までの距離を算出する。所定の被写体までの距離算出方法については後述する。なお、本実施の形態では、所定の被写体は、表示部３３０に表示されている画像において、使用者がタッチパネルを介して指定した被写体（使用者が触れた位置に表示されている被写体）とする。なお、本実施の形態は何らこの構成に限定されるものではなく、例えば合焦している被写体を所定の被写体とする等、他の方法で所定の被写体を設定してもよい。
　画像生成部３２５は、視差情報生成部３２３から出力される視差情報にもとづいて、第１画像信号から新たな第２画像信号を生成する。以下、第１画像信号から生成される新たな第２画像信号を「新第２画像信号」と記す。また、新第２画像信号による画像を「新第２画像」と記す。
　本実施の形態では、第１画像信号を右眼用画像信号とし、画像生成部３２５で視差情報にもとづき生成される新第２画像信号を左眼用画像信号とする立体画像信号を、画像生成部３２５から出力する。
　この立体画像信号は、例えば記憶部３４０に記憶され、また、この立体画像信号にもとづく立体画像は表示部３３０に表示される。
　撮像装置１１０では、第１画像信号（例えば、右眼用画像信号）から、視差情報にもとづき、対となる新第２画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報に補正を加えることで、生成される立体画像の立体感を調整することが可能である。そこで、立体画像の立体感を増す、あるいは抑制する、等の立体感の調整ができるように、画像生成部３２５において、視差情報（デプスマップ）に補正を加えられるように構成してもよい。
　なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。
　次に、撮像装置１１０における立体画像の撮像動作および所定の被写体までの距離を算出する測距動作について、図面を用いて説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。
　以下、まず立体画像の撮像動作について説明し、次に測距動作について説明する。
　図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。
　図６は、実施の形態１における撮像装置１１０の立体画像撮像時の動作を説明するフローチャートである。
　ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０の第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０の第２画像信号を出力するものとして、以下の説明を行う。
　なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。
　立体画像の撮像を行うとき、撮像装置１１０では主に以下の動作を行う。
　まず、画角合わせ部３２１において、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出して、切り出し画像信号を生成する（ステップＳ５０１）。
　画像信号処理部３２０の撮像制御部３２６は、第１光学制御部３０３を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。
　このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。
　次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。
　このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。
　なお、本実施の形態は何らこの構成に限定されるものではなく、例えばパターンマッチングだけで切り出し画像信号を生成する等してもかまわない。
　図５には、切り出し画像信号が画素数３８４０×２１６０の画像信号として生成される例を示す。切り出し画像信号の画素数は、第１撮像部３００の光学ズーム倍率の大きさによって異なり、第１画像を撮像する際のズーム倍率が大きいほど、切り出し画像信号の画素数は小さくなる。
　次に、縮小処理部３２２において、第１画像信号と切り出し画像信号を、それぞれが所定の画素数になるように、縮小処理する（ステップＳ５０２）。
　図５には、所定の画素数を９６０×５４０とする例を示す。第１画像信号の画素数が１９２０×１０８０であれば、第１画像信号を水平方向・垂直方向それぞれに１／２に縮小処理することで、縮小処理後の第１画像信号の画素数を９６０×５４０にすることができる。また、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／４に縮小処理することで、縮小処理後の切り出し画像信号の画素数を９６０×５４０にすることができる。
　次に、視差情報生成部３２３において、縮小処理部３２２で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報（デプスマップ）を生成する（ステップＳ５０３）。
　次に、画像生成部３２５において、立体画像信号において第１画像信号の対となる新第２画像信号を、視差情報生成部３２３で生成された視差情報（デプスマップ）にもとづき、第１画像信号から生成する（ステップＳ５０４）。
　画像生成部３２５では、まず、視差情報（デプスマップ）を、第１画像信号の画素数に合わせて拡張する。以下、この拡張された視差情報（デプスマップ）を「拡張デプスマップ」と呼称する。例えば、視差情報（デプスマップ）が画素数９６０×５４０の画像信号にもとづき生成され、第１画像信号の画素数が１９２０×１０８０であれば、視差情報（デプスマップ）を、水平方向・垂直方向それぞれに２倍に拡張して、拡張デプスマップを生成する。
　そして、画像生成部３２５は、拡張デプスマップにもとづき、例えば画素数１９２０×１０８０の第１画像信号から、画素数１９２０×１０８０の新第２画像信号を生成する。
　このとき、上述した補正（立体画像の立体感を調整するための補正）を加えた視差情報（デプスマップ）にもとづく拡張デプスマップにより新第２画像信号を生成すると、立体感が調整された立体画像信号が生成される。なお、視差情報（デプスマップ）に補正を加える処理と、拡張デプスマップを生成する処理は、どちらが先に行われてもかまわない。
　そして、画像生成部３２５は、第１画像信号と新第２画像信号の対を立体画像信号として出力する（ステップＳ５０５）。
　なお、本実施の形態では、第１画像信号を右眼用画像信号とし、新第２画像信号を左眼用画像信号としているが、第１画像信号を左眼用画像信号とし、新第２画像信号を右眼用画像信号とするように撮像装置１１０を構成してもかまわない。また、各画像信号の画素数および縮小処理後の画像信号の画素数は、何ら上述した数値に限定されるものではない。
　次に、撮像装置１１０における測距動作について説明する。
　図７は、実施の形態１における撮像装置１１０の測距動作を説明するフローチャートである。
　所定の被写体までの距離を算出する測距動作を行うとき、撮像装置１１０では主に以下の動作を行う。
　なお、図７に示すステップＳ５０１からステップＳ５０３までの各動作は、図６に示したステップＳ５０１からステップＳ５０３までの各動作と実質的に等しいので、説明を省略する。
　測距部３２４は、視差情報生成部３２３が生成した視差情報（デプスマップ）と第１画像信号とにもとづき、撮像装置１１０から所定の被写体までの距離を算出する（ステップＳ６０４）。算出された距離は、距離情報信号として、測距部３２４から後段の画像生成部３２５に出力される。なお、測距部３２４における距離の算出動作の詳細は、後述する。
　画像生成部３２５は、測距部３２４から出力される距離情報信号を、表示部３３０に表示する画像信号（例えば、第１画像信号等）に重畳して出力する（ステップＳ６０５）。図５には、この画像信号を「生成画像信号」と記す。表示部３３０には、距離情報信号が重畳された後の画像信号にもとづく画像が表示される。
　次に、ステップＳ６０４における動作の詳細を説明する。
　図８は、実施の形態１における撮像装置１１０の測距動作の詳細を説明するフローチャートである。
　撮像装置１１０では、所定の被写体までの距離を算出するステップＳ６０４において、主に以下の動作を行う。
　測距部３２４は、まず、第１画像において基準面を設定する（ステップＳ９０１）。
　測距部３２４は、視差情報生成部３２３が生成した視差情報（デプスマップ）において、「ずれ量」が「０」となる領域を基準面に設定する。
　図９は、実施の形態１における撮像装置１１０での撮像の様子を概略的に示す図である。図９には、第１撮像部３００の光軸を実線で示し、第２撮像部３１０の光軸を破線で示す。
　例えば、平行法にもとづく撮像が行われるように第１撮像部３００および第２撮像部３１０の光軸がそれぞれ設定されていれば、実質的に無限遠となる位置にある被写体において「ずれ量」は「０」となる。したがって、実質的な無限遠が基準面となる。この場合は、被写体の位置が近景になるほど（撮像装置１１０に近づくほど）「ずれ量」は大きくなる。
　撮像装置１１０では、合焦した被写体にもとづき基準面を設定することも可能である。アフィン変換を行えば、平行法で撮像された画像を、交差法で撮像されたかのような画像に変換することができ、そのときの交差点（クロスポイント、第１撮像部３００の光軸と第２撮像部３１０の光軸とが交差する点のこと）を、任意の位置、例えば合焦した被写体がある位置、に設定することも可能である。なお、以下、撮像装置１１０から合焦した被写体までの距離を「合焦距離」と記す。
　撮像装置１１０では、合焦距離を、フォーカス調節の際に取得することができる。第１光学部３０１に含まれるフォーカスレンズは、撮像制御部３２６が第１光学制御部３０３を介して制御する。このフォーカスレンズが第１光学部３０１の光軸方向に移動すると、第１撮像素子３０２の撮像面に結像する被写体像のフォーカス状態が変化する。すなわち、撮像装置１１０から、第１撮像素子３０２の撮像面においてフォーカスが合う（合焦する）被写体までの距離（合焦距離）は、フォーカスレンズの位置に応じて変化する。このように、フォーカスレンズの位置と合焦距離は、互いに対応付けすることができる。例えば、撮像制御部３２６（または、第１光学制御部３０３）に、フォーカスレンズの位置と合焦距離とを対応付けた情報をあらかじめ備えておくことで、現在のフォーカスレンズの位置から現在の合焦距離を取得することができる。すなわち、撮像制御部３２６は、第１光学制御部３０３を介してフォーカスレンズを制御する際に、合焦距離を取得することができる。合焦距離が得られれば、これにもとづきアフィン変換を行うことができる。
　合焦した被写体の位置が光軸の仮想的な交差点（クロスポイント）となるようにアフィン変換を行うと、実質的に合焦距離だけ撮像装置１１０から離れている被写体において「ずれ量」は「０」となる。したがって、合焦した被写体の位置が基準面となる。この場合、基準面より手前にある被写体と、基準面より奥にある被写体とでは、算出される「ずれ量」の符号が逆になる。
　図１０は、実施の形態１における撮像装置１１０での基準面の設定例を概略的に示す図である。図１０には、風船を持った人物にフォーカスが合わせられ、この合焦距離にもとづき基準面が設定された例を示す。したがって、図１０に示す例では、風船を持った人物がいる位置が基準面となる。
　例えば、基準面より奥にある被写体に関する「ずれ量」の符号を「正」、基準面より手前にある被写体に関する「ずれ量」の符号を「負」とすると、図１０に示すように、被写体の位置が基準面から遠景になるほど（基準面から遠ざかるほど）「ずれ量」は正方向に大きくなり、被写体の位置が基準面から近景になるほど（基準面から撮像装置１１０に近づくほど）「ずれ量」は負方向に大きくなる。
　本実施の形態では、第１撮像部３００および第２撮像部３１０は、平行法による撮像が行われるように構成され、画像信号処理部３２０は、第１撮像部３００で撮像される第１画像において合焦した被写体のある位置を基準面に設定して測距動作を行うように構成されているものとする。
　しかし、本実施の形態は何らこの構成に限定されるものではない。例えば、撮像装置１１０の位置を基準面に設定するように構成してもよく、または、所定の固定された位置を基準面に設定するように構成してもよく、あるいは、上述したように無限遠を基準面に設定するように構成してもよい。また、交差法による撮像が行われるように第１撮像部３００および第２撮像部３１０を構成してもよく、さらには、合焦距離に応じて機構的に光軸の交差点（クロスポイント）が変化するように構成してもよい。
　次に、測距部３２４では、測距の対象となる被写体が設定される（ステップＳ９０２）。
　上述したように、入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。本実施の形態では、表示部３３０に表示されている画像（例えば、第１画像）において、使用者がタッチパネルを介して指定した被写体（使用者が触れた位置に表示されている被写体）を、測距の対象とする。使用者は、これにより測距対象となる被写体を容易に指定することができる。
　なお、本実施の形態は、何らこの構成に限定されるものではなく、他の手法により測距の対象となる被写体を選択（設定）する構成であってもよい。例えば、合焦した被写体を測距の対象とするように構成してもよい。
　次に、測距部３２４は、選択された被写体に対応する「ずれ量」を視差情報（デプスマップ）から選定する（ステップＳ９０３）。
　具体的には、測距部３２４は、視差情報（デプスマップ）から、選択された被写体に対応する領域にある「ずれ量」を読み取り、選択された被写体における「ずれ量」とする。
　なお、視差情報（デプスマップ）の、選択された被写体に対応する領域からは、その被写体の大きさに応じて複数の「ずれ量」を読み取ることができる。したがって、測距部３２４では、それら複数の「ずれ量」の平均値を、選択された被写体における「ずれ量」として用いるものとする。しかし、本実施の形態は、何らこの構成に限定されるものではなく、例えば、選択された被写体の所定の一点（例えば、中心点、等）に対応する「ずれ量」を選択された被写体における「ずれ量」として用いる構成としてもよい。あるいは、視差情報（デプスマップ）の、使用者が触れたタッチパネルの位置に相当する位置にある「ずれ量」をそのまま用いる構成であってもよい。
　そして、測距部３２４は、ステップＳ９０３で設定された「ずれ量」にもとづき、距離を算出する（ステップＳ９０４）。
　測距部３２４では、視差情報生成部３２３が生成した視差情報（デプスマップ）において、「ずれ量」が「０」となる領域を基準面に設定する。したがって、「ずれ量」が大きいほど、基準面からの距離は大きくなる。この関係を利用して、測距部３２４は距離の算出を行う。
　具体的には、測距部３２４は、「ずれ量」の大きさと基準面からの距離との関係があらかじめ設定された情報（ルックアップテーブル）を備えており、このルックアップテーブルから「ずれ量」の大きさにもとづいて距離情報を読み出す。そして、読み出した距離情報を、撮像装置１１０から基準面までの距離に加算（または減算）して、所定の被写体までの距離を算出する。
　撮像装置１１０から基準面までの距離は、上述したように合焦距離として得ることができるので、説明を省略する。
　なお、「ずれ量」の大きさと基準面からの距離との関係は、第１光学部３０１における光学ズームの倍率に応じて異なるので、測距部３２４は、ズーム倍率に応じた複数のルックアップテーブルを備えておくことが望ましい。ただし、光学ズームの倍率は連続的に変化するので、例えば、光学ズームの倍率が整数倍のときのルックアップテーブルだけを備え、光学ズームの倍率が整数倍でないときの距離は、それらのルックアップテーブルから「ずれ量」にもとづき読み出した複数の距離情報を、光学ズームの倍率に応じて設定される計算式に代入して算出する構成としてもよい。
　本実施の形態は、何らこの構成に限定されるものではなく、例えば、あらかじめ設定されたズーム倍率と「ずれ量」の大きさと基準面からの距離との関係を表す計算式を測距部３２４に備え、この計算式にズーム倍率や「ずれ量」の大きさ等を代入して、距離を算出する構成であってもよい。
　なお、測距部３２４は、光学ズームの倍率や合焦距離等の、測距に必要な各種情報は、上述したように、画像信号に付随する画像情報として取得することが可能である。
　なお、「ずれ量」の大きさと基準面からの距離との関係は必ずしも線形ではなく、第１光学部３０１における光学特性に応じて非線形となる場合もある。しかし、上述したルックアップテーブルから距離情報を読み取る方式では、たとえ「ずれ量」の大きさと基準面からの距離との関係に非常に複雑な非線形性があったとしても、適切に対応することができる。
　ステップＳ６０４では、このようにして、所定の被写体までの距離を算出する。算出された距離を示す数字は表示画像に重畳され、例えば図１１に示すような形態で表示部３３０に表示される。
　図１１は、実施の形態１における撮像装置１１０の表示部３３０に表示される算出距離が重畳された画像の一例を示す図である。
　例えば、測距部３２４において所定の被写体（風船を持った人物）までの距離が「５ｍ」と算出されれば、表示部３３０には、風船を持った人物の近傍に、測距の結果を示す「５ｍ」という数字が表示される。
　このように、表示部３３０に表示される画像には、測距の対象として選択された被写体の近傍に測距の結果を示す数字が表示されるので、使用者は、指定した被写体までの距離を一目で把握することができる。
　表示部３３０に所定の被写体までの距離を表示する際、例えば図１１に示すように、測距の対象となっている被写体を矢印等の記号で指し示してもよい。
　なお、本実施の形態は、何らこれらの構成に限定されるものではなく、測距の結果を示す数値は、表示部３３０のどこに表示されてもかまわない。また、測距の対象となっている被写体を色や輪郭線を変えて表示する等してもよい。
　なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。
　なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。
　なお、本実施の形態における測距動作は、使用者の指示により行われ、使用者の指示が無ければ行われないものとする。また、撮像装置１１０は、立体画像撮像時だけに測距動作が行われる構成に限定されるものではない。立体画像を撮像しないときであっても、モニター１１３が開かれた状態であれば、使用者の指示により、図７、図８に示したステップを実行することで、測距動作が行われる構成としてもよい。
　［１－３．効果等］
　以上のように、本実施の形態において、撮像装置１１０は、開閉可能に構成された表示部３３０と、第１撮像部３００と、第２撮像部３１０と、画角合わせ部３２１と、視差情報生成部３２３と、測距部３２４と、を備える。表示部３３０は、撮像画像を画像表示面に表示するように構成されている。第１撮像部３００は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部３１０は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画角合わせ部３２１は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。視差情報生成部３２３は、第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成されている。測距部３２４は、視差情報と第１画像信号とに基づき、第１画像信号に含まれる所定の被写体までの距離を算出するように構成されている。そして、第２撮像部３１０は、表示部３３０の画像表示面の裏側に配置されている。
　これにより、撮像装置１１０では、立体画像の撮像とともに、撮像された画像に写された所定の被写体までの距離を算出することができる。
　所定の被写体までの距離を精度を高めて算出するためには、精度の高い視差情報を生成する必要があり、そのためには、視差を有する２枚の画像を良好な品質で取得する必要がある。
　このような画像を取得するためには、対となる右眼視点の画像と左眼視点の画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。
　しかしながら、そのような条件を整えようとすると、例えば第１撮像部が光学ズーム機能を備えていれば、第２撮像部にも同様の光学ズーム機能を備えなければならなくなる。しかし、そのような構成では、撮像装置本体の大きさが増大し、撮像装置としての使い勝手が悪くなる。
　本実施の形態の撮像装置１１０は、第１撮像部３００に光学ズーム機能を備えており、第１画像を良好な品質で撮像することができる。
　一方、第２撮像部３１０は、光学ズーム機能を備えておらず、単焦点レンズを有する構成であるので、第２撮像部３１０を第１撮像部３００よりも小型化し、撮像装置１１０全体を小型化して良好な使い勝手（携帯性、操作性）を実現している。さらに、第２撮像部３１０を小型化して配置位置に関する自由度を高めているので、第２撮像部３１０をモニター１１３に搭載することができる。
　しかし、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なるので、精度の高い視差情報を得ることは困難である。
　そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像にもとづき、第２画像信号から切り出し画像信号を生成し、さらに、第１画像信号と切り出し画像信号の画素数を互いに合わせる処理を施して、精度の高い視差情報を生成している。
　これにより、本実施の形態の撮像装置１１０では、精度の高い測距を行うことができる。このとき、測距部３２４では、基準面を設定し、基準面からの距離を算出するので、例えば合焦していない被写体であっても、精度良く測距を行うことが可能である。また、精度の高い視差情報にもとづき第１画像信号から新第２画像信号を生成しているので、良好な品質の立体画像信号を生成することができる。
　さらに、撮像装置１１０では、第２撮像部３１０を使用する必要がないとき使用者はモニター１１３を閉じておくこともできるので、携帯時等の利便性が向上する。
　（実施の形態２）
　以下、図１２、図１３を用いて、実施の形態２を説明する。
　［２－１．構成］
　実施の形態２における撮像装置１２０は、実施の形態１に示した撮像装置１１０と実質的に同じ外観、構成、機能であり、実質的に同じ動作をするので、詳細な説明を省略する。また、使用者が立体画像の撮像および測距を行うときの動作も、実施の形態１と実質的に同様である。ただし、画像信号処理部における処理動作に差異があるので、以下、この差異について説明する。
　図１２は、実施の形態２における撮像装置１２０の構成を機能毎にブロック分けして示す図である。
　図１３は、実施の形態２における撮像装置１２０の画像信号の処理の流れの一例を概略的に示す図である。なお、図１３に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。
　なお、以下では、実施の形態１に示した構成要素と実質的に同じ動作、機能、構成を有する構成要素については実施の形態１で示した符号と同一の符号を付与し、説明を省略する。
　図１２に示すように、本実施の形態における撮像装置１２０の画像信号処理部４２０は、図４に示した画像信号処理部３２０とほぼ同様の構成であるが、縮小処理部３２２に代えて画素数合わせ部４２２を有する点が異なる。
　画素数合わせ部４２２は、画角合わせ部３２１から出力される第１画像信号と切り出し画像信号の両画像信号の画素数を比較し、いずれか画素数が多い方の画像信号の画素数を、画素数が少ない方の画像信号の画素数に合わせて、縮小する。こうして、両画像信号の画素数を互いに等しくする。
　例えば、図１３に示すように、第１画像信号の画素数が１９２０×１０８０、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／２に縮小処理して、画素数１９２０×１０８０の画像信号にする。
　第１画像信号の画素数の方が切り出し画像信号の画素数よりも多いときには、画素数合わせ部４２２は、第１画像信号の画素数を、切り出し画像信号の画素数に合わせて縮小する。
　なお、画素数合わせ部４２２においては、例えば、切り出し画像信号の画素数が第１画像信号の画素数の１／４以上のときに上述の処理を行う、といった制限を設けてもよい。
　［２－２．動作］
　以上のように構成された撮像装置１２０の動作は、縮小処理部３２２で行った縮小処理に代えて画素数合わせ部４２２で上述の画素数を合わせる処理が行われる点が異なる以外は実施の形態１に示した撮像装置１１０と実質的に同じ動作であるので、詳細な説明を省略する。
　［２－３．効果等］
　以上のように構成された撮像装置１２０では、縮小処理部３２２で行った画像信号の縮小処理を行わないので、後段の視差情報生成部３２３における視差情報の算出精度を、実施の形態１に示した構成と比較して、高めることができる。
　例えば、図１３に示す例では、視差情報生成部３２３は、画素数１９２０×１０８０の画像信号にもとづく視差情報（デプスマップ）を生成する。これは、実施の形態１に示した例と比較して、４倍の情報量になる。
　したがって、本実施の形態における撮像装置１２０では、実施の形態１に示した撮像装置１１０と比較して、より精度の高い測距を行うことができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下、他の実施の形態を例示する。
　例えば、撮像装置に、実施の形態１に示した縮小処理部３２２と実施の形態２に示した画素数合わせ部４２２の両方を備える構成としてもよい。この構成では、例えば、立体画像の撮像（新第２画像信号の生成）を行うときは、縮小処理部３２２を通した画像信号にもとづき視差情報（デプスマップ）を生成し、測距を行うときは画素数合わせ部４２２を通した画像信号にもとづき視差情報（デプスマップ）を生成する、といったように、用途に応じて２種類の視差情報（デプスマップ）を生成することができる。
　本実施の形態では、撮像装置を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。
　実施の形態１、２では、撮像装置において測距を行う構成を説明したが、本実施の形態に示した測距のための構成および動作は、立体画像の撮像を目的としていない機器（例えば、測距装置、等）にも適応可能である。
　実施の形態１、２に示した構成および動作は、動画撮影時にも適応可能である。ただし、第１画像信号および第２画像信号が動画であって、フレームレートが互いに異なるときは、画角合わせ部３２１において、いずれかフレームレートが低い方の画像信号をフレームレートが高い方の画像信号に合わせて高フレームレート化し、高いに等しいフレームレートにするものとする。例えば、第１画像信号のフレームレートが６０Ｈｚ、第２画像信号のフレームレートが３０Ｈｚであれば、第２画像信号または切り出し画像信号を６０Ｈｚに高フレームレート化する。なお、この際に用いるフレームレート変換手法は、公知のものでかまわない。このように、動画信号に対しては、比較を行いやすい状態にして、視差情報生成を行うものとする。これにより動画撮像時においても高い精度で測距を行うことができる。
　なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。
　また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置で立体画像の撮像や測距を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。
　また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置を構成してもよい。その場合、例えば、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置を構成してもよい。
　なお、モニター１１３が立体画像の撮像および測距に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置に設け、そのスイッチがオンになったときのみ立体画像の撮像または測距ができるように撮像装置を構成してもよい。
　なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。
　本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。
　１１０，１２０　　撮像装置
　１１１　　第１レンズ部
　１１２　　第２レンズ部
　１１３　　モニター
　２００　　第１撮像ユニット
　２０１　　第１レンズ群
　２０２　　第１ＣＣＤ
　２０３　　第１Ａ／Ｄ変換ＩＣ
　２０４　　第１アクチュエーター
　２１０　　第２撮像ユニット
　２１１　　第２レンズ群
　２１２　　第２ＣＣＤ
　２１３　　第２Ａ／Ｄ変換ＩＣ
　２１４　　第２アクチュエーター
　２２０　　ＣＰＵ
　２２１　　ＲＡＭ
　２２２　　ＲＯＭ
　２２３　　加速度センサ
　２２４　　入力装置
　２２５　　ディスプレイ
　２２６　　エンコーダー
　２２７　　記憶装置
　３００　　第１撮像部
　３０１　　第１光学部
　３０２　　第１撮像素子
　３０３　　第１光学制御部
　３１０　　第２撮像部
　３１１　　第２光学部
　３１２　　第２撮像素子
　３１３　　第２光学制御部
　３２０，４２０　　画像信号処理部
　３２１　　画角合わせ部
　３２２　　縮小処理部
　３２３　　視差情報生成部
　３２４　　測距部
　３２５　　画像生成部
　３２６　　撮像制御部
　３３０　　表示部
　３４０　　記憶部
　３５０　　入力部
　３６０　　カメラ情報部
　４２２　　画素数合わせ部

Claims (11)

  1. 第１画像信号と、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号と、が入力され、前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
    前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部と、
    前記視差情報と前記第１画像信号とに基づき、前記第１画像信号に含まれる所定の被写体までの距離を算出するように構成された測距部と、
    を備える測距装置。
  2. 前記第１画像信号の画素数と前記切り出し画像信号の画素数とをそれぞれ所定の画素数に縮小するように構成された縮小処理部をさらに備え、
    前記視差情報生成部は、前記縮小の処理が施された前記第１画像信号と前記縮小の処理が施された前記切り出し画像信号とに基づいて前記視差情報を生成するように構成された、
    請求項１に記載の測距装置。
  3. 前記第１画像信号の画素数と前記切り出し画像信号の画素数とを比較し、画素数が小さい方の画像信号の画素数に基づき、画素数が大きい方の画像信号の画素数を縮小するように構成された画素数合わせ部、をさらに備え、
    前記視差情報生成部は、前記画素数が小さい方の画像信号と、前記画素数合わせ部で画素数が縮小された画像信号と、に基づき前記視差情報を算出するように構成された、
    請求項１に記載の測距装置。
  4. 撮像画像を画像表示面に表示するように構成され、開閉可能に構成された表示部と、
    第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、
    前記第１画像以上の画角を有する第２画像を、前記第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、
    前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
    前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部と、
    前記視差情報と前記第１画像信号とに基づき、前記第１画像信号に含まれる所定の被写体までの距離を算出するように構成された測距部と、を備え、
    前記第２撮像部を、前記表示部の前記画像表示面の裏側に配置した
    撮像装置。
  5. 前記視差情報に基づき前記第１画像信号から新第２画像信号を生成し、前記第１画像信号と前記新第２画像信号との少なくとも一方に基づく画像を前記画像表示面に表示するように構成された画像生成部、をさらに備え、
    前記表示部は、使用者に触れられた位置を検出するように構成されたタッチパネルを前記画像表示面に有し、
    前記測距部は、前記画像表示面に表示された前記画像において、前記タッチパネルが検出した前記位置に表示された被写体を前記所定の被写体として前記距離を算出するように構成され、
    前記画像生成部は、前記画像に前記距離を表す数字を重畳して前記画像表示面に表示するように構成された
    請求項４に記載の撮像装置。
  6. 前記第１撮像部は、光学的なズーム機能を備えた第１光学部と、前記第１光学部を透過した光を電気信号に変換して前記第１画像信号を出力するように構成された第１撮像素子と、を備え、
    前記第２撮像部は、前記第１光学部以上の画角を有する第２光学部と、前記第２光学部を透過した光を前記第１撮像素子よりも高い解像度で電気信号に変換して前記第２画像信号を出力するように構成された第２撮像素子と、を備え、
    前記第２撮像部は、前記表示部を開いたときに、前記第１撮像部の撮像方向と実質的に同一方向を撮像できるように構成された
    請求項４に記載の撮像装置。
  7. 前記第１画像信号の画素数と前記切り出し画像信号の画素数とをそれぞれ所定の画素数に縮小するように構成された縮小処理部をさらに備え、
    前記視差情報生成部は、前記縮小の処理が施された前記第１画像信号と前記縮小の処理が施された前記切り出し画像信号とに基づいて前記視差情報を生成するように構成された、
    請求項４に記載の撮像装置。
  8. 前記第１画像信号の画素数と前記切り出し画像信号の画素数とを比較し、画素数が小さい方の画像信号の画素数に基づき、画素数が大きい方の画像信号の画素数を縮小するように構成された画素数合わせ部、をさらに備え、
    前記視差情報生成部は、前記画素数が小さい方の画像信号と、前記画素数合わせ部で画素数が縮小された画像信号と、に基づき前記視差情報を算出するように構成された、
    請求項４に記載の撮像装置。
  9. 第１画像信号に基づき、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、
    前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成し、
    前記視差情報と前記第１画像信号とに基づき、前記第１画像信号に含まれる所定の被写体までの距離を算出する、
    測距方法。
  10. 前記第１画像信号の画素数と前記切り出し画像信号の画素数とをそれぞれ所定の画素数に縮小し、
    前記縮小の処理が施された前記第１画像信号と前記縮小の処理が施された前記切り出し画像信号とに基づいて前記視差情報を生成する、
    請求項９に記載の測距方法。
  11. 前記第１画像信号の画素数と前記切り出し画像信号の画素数とを比較し、画素数が小さい方の画像信号の画素数に基づき、画素数が大きい方の画像信号の画素数を縮小し、
    前記画素数が小さい方の画像信号と、前記画素数合わせ部で画素数が縮小された画像信号と、に基づき前記視差情報を算出する、
    請求項９に記載の測距方法。
PCT/JP2014/001278 2013-03-13 2014-03-07 測距装置、撮像装置および測距方法 WO2014141654A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015505274A JP6268550B2 (ja) 2013-03-13 2014-03-07 測距装置、撮像装置および測距方法
US14/743,979 US20150285631A1 (en) 2013-03-13 2015-06-18 Distance measuring apparatus, imaging apparatus, and distance measuring method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013050012 2013-03-13
JP2013-050012 2013-03-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/743,979 Continuation US20150285631A1 (en) 2013-03-13 2015-06-18 Distance measuring apparatus, imaging apparatus, and distance measuring method

Publications (1)

Publication Number Publication Date
WO2014141654A1 true WO2014141654A1 (ja) 2014-09-18

Family

ID=51536333

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/001278 WO2014141654A1 (ja) 2013-03-13 2014-03-07 測距装置、撮像装置および測距方法

Country Status (2)

Country Link
US (1) US20150285631A1 (ja)
WO (1) WO2014141654A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107850902A (zh) * 2015-07-08 2018-03-27 深圳市大疆创新科技有限公司 可移动物体上的相机配置
WO2018061175A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム 画面共有システム、画面共有方法及びプログラム
JP2018067836A (ja) * 2016-10-20 2018-04-26 日立オートモティブシステムズ株式会社 カメラ装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102210054B1 (ko) 2013-04-08 2021-02-02 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
JP2016197795A (ja) * 2015-04-03 2016-11-24 日立オートモティブシステムズ株式会社 撮像装置
WO2022022682A1 (zh) * 2020-07-30 2022-02-03 宁波舜宇光电信息有限公司 摄像模组装置、多摄摄像模组、摄像系统、电子设备和自动变焦成像方法
USD981465S1 (en) * 2022-07-27 2023-03-21 Gaodi Digital (Qingdao) Co., Ltd. Telescope

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020606A (ja) * 2003-06-27 2005-01-20 Sharp Corp デジタルカメラ
JP2005073038A (ja) * 2003-08-26 2005-03-17 Casio Comput Co Ltd 立体的表示機能付電子機器
JP2005210217A (ja) * 2004-01-20 2005-08-04 Olympus Corp ステレオカメラ
JP2006093859A (ja) * 2004-09-21 2006-04-06 Olympus Corp ２眼撮像系を搭載したカメラ及びステレオ撮影可能なカメラ
JP2011119810A (ja) * 2009-12-01 2011-06-16 Victor Co Of Japan Ltd 映像処理装置および映像処理方法
WO2011096251A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 ステレオカメラ
JP2011160299A (ja) * 2010-02-02 2011-08-18 Konica Minolta Holdings Inc 三次元画像撮影システムおよび三次元画像撮影システム用カメラ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094228B2 (en) * 2007-06-06 2012-01-10 Fujifilm Corporation Image taking apparatus
JP5511540B2 (ja) * 2010-06-22 2014-06-04 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP2012029245A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 撮像装置
JP5243663B2 (ja) * 2011-01-26 2013-07-24 富士フイルム株式会社 画像処理装置、撮像装置、再生装置および画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020606A (ja) * 2003-06-27 2005-01-20 Sharp Corp デジタルカメラ
JP2005073038A (ja) * 2003-08-26 2005-03-17 Casio Comput Co Ltd 立体的表示機能付電子機器
JP2005210217A (ja) * 2004-01-20 2005-08-04 Olympus Corp ステレオカメラ
JP2006093859A (ja) * 2004-09-21 2006-04-06 Olympus Corp ２眼撮像系を搭載したカメラ及びステレオ撮影可能なカメラ
JP2011119810A (ja) * 2009-12-01 2011-06-16 Victor Co Of Japan Ltd 映像処理装置および映像処理方法
WO2011096251A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 ステレオカメラ
JP2011160299A (ja) * 2010-02-02 2011-08-18 Konica Minolta Holdings Inc 三次元画像撮影システムおよび三次元画像撮影システム用カメラ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107850902A (zh) * 2015-07-08 2018-03-27 深圳市大疆创新科技有限公司 可移动物体上的相机配置
WO2018061175A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム 画面共有システム、画面共有方法及びプログラム
JP2018067836A (ja) * 2016-10-20 2018-04-26 日立オートモティブシステムズ株式会社 カメラ装置

Also Published As

Publication number Publication date
JPWO2014141654A1 (ja) 2017-02-16
US20150285631A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
WO2014141654A1 (ja) 測距装置、撮像装置および測距方法
CN102722080B (zh) 一种基于多镜头拍摄的多用途立体摄像方法
US9167224B2 (en) Image processing device, imaging device, and image processing method
CN107040718B (zh) 显示控制装置及其控制方法
WO2014148031A1 (ja) 画像生成装置、撮像装置および画像生成方法
JP2011077900A (ja) 画像処理装置、カメラ及び画像処理方法
JP2015004960A (ja) 撮像装置および撮像画像の表示方法
JP6155471B2 (ja) 画像生成装置、撮像装置および画像生成方法
JP5874192B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5647740B2 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
JP2017041887A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2014154907A (ja) 立体撮像装置
WO2012124331A1 (ja) ３ｄ撮像装置
JP6690637B2 (ja) 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置
US20130343635A1 (en) Image processing apparatus, image processing method, and program
JP2011166497A (ja) 撮像装置
JP6268550B2 (ja) 測距装置、撮像装置および測距方法
CN103430095A (zh) 用于3d视频摄影的透镜系统
US20130093856A1 (en) Stereoscopic imaging digital camera and method of controlling operation of same
US20120069148A1 (en) Image production device, image production method, program, and storage medium storing program
WO2013046833A1 (ja) 画像表示装置及びその視差調整表示方法並びに画像撮像装置
JP2013175805A (ja) 表示装置および撮像装置
JP2016134886A (ja) 撮像装置およびその制御方法
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体
JP6063662B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14762543

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015505274

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14762543

Country of ref document: EP

Kind code of ref document: A1