WO2017159027A1 - 撮像制御装置、および撮像制御方法、ならびに撮像装置 - Google Patents

撮像制御装置、および撮像制御方法、ならびに撮像装置 Download PDF

Info

Publication number
WO2017159027A1
WO2017159027A1 PCT/JP2017/001384 JP2017001384W WO2017159027A1 WO 2017159027 A1 WO2017159027 A1 WO 2017159027A1 JP 2017001384 W JP2017001384 W JP 2017001384W WO 2017159027 A1 WO2017159027 A1 WO 2017159027A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
imaging device
raw data
exposure
view
Prior art date
Application number
PCT/JP2017/001384
Other languages
English (en)
French (fr)
Inventor
真透 舘
浩章 山丈
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780016425.3A priority Critical patent/CN108781250B/zh
Priority to KR1020187021360A priority patent/KR20180121879A/ko
Priority to US16/083,007 priority patent/US11290619B2/en
Publication of WO2017159027A1 publication Critical patent/WO2017159027A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present disclosure relates to an imaging control apparatus, an imaging control method, and an imaging apparatus related to control of a plurality of imaging devices.
  • the exposure timing is appropriately controlled between the imaging devices.
  • An imaging control apparatus includes an exposure timing of a first imaging device that performs exposure by a rolling shutter method, and a first that performs exposure by a rolling shutter method under an imaging condition different from that of the first imaging device.
  • the imaging control part which synchronizes the exposure timing of 2 imaging devices based on an imaging condition is provided.
  • An imaging control method includes an exposure timing of a first imaging device that performs exposure by a rolling shutter method, and exposure that is performed by a rolling shutter method under an imaging condition different from that of the first imaging device.
  • the exposure timing of the second imaging device is synchronously controlled based on the imaging conditions.
  • An imaging apparatus includes a first imaging device that performs exposure using a rolling shutter method, and a second imaging device that performs exposure using a rolling shutter method under imaging conditions different from the first imaging device. And an imaging control unit that synchronizes the exposure timing of the first imaging device and the exposure timing of the second imaging device based on the imaging conditions.
  • the exposure timing of the first imaging device that performs exposure by a rolling shutter method and imaging conditions that are different from those of the first imaging device are used.
  • the exposure timing of the second imaging device that performs exposure by the rolling shutter system is appropriately synchronized and controlled based on the imaging conditions.
  • the exposure timing of the first imaging device and the exposure timing of the second imaging device are appropriately set based on the imaging conditions. Since the synchronization control is performed, the same subject can be imaged at substantially the same exposure timing by a plurality of imaging devices. Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 10 is a timing diagram illustrating an example of exposure timing when the first and second imaging devices capture images with different angles of view and the same resolution (number of pixels) by the rolling shutter method. It is explanatory drawing which shows an example of the exposure timing in the case of imaging with a different view angle and the same resolution (number of pixels) by the rolling shutter system in the first and second imaging devices.
  • FIG. 10 is a timing diagram illustrating an example of exposure timing when the first and second imaging devices capture images with different angles of view and the same resolution (number of pixels) by the rolling shutter method. It is explanatory drawing which shows an example of the exposure timing in the case of imaging with a different view angle and the same resolution (number of pixels) by the rolling shutter system in the first and second imaging devices.
  • FIG. 21 is a timing chart showing an example in which the exposure timing of FIG. 20 is optimized based on a difference in resolution (number of pixels). It is a block diagram which shows the 1st structural example of the control part for performing synchronous control of exposure timing.
  • FIG. 1 It is a block diagram which shows schematic structure of the imaging device which concerns on 2nd Embodiment. It is a block diagram showing an example of the functional block of the imaging device of FIG. It is a block diagram showing an example of the functional block of the synthetic
  • First embodiment an imaging apparatus that generates and combines two image data having different angles of view by two imaging devices
  • 1.1 Overview of imaging device Figs. 1 to 5
  • 1.2 Detailed description of the composition processing unit FIGS. 5 to 12
  • Description of synchronization control between two imaging devices FIGS. 13 to 27
  • Effects 1.5 Modification of First Embodiment FIG. 28
  • Second embodiment an imaging apparatus that generates and combines three image data having different angles of view by three imaging devices
  • FIG. 29 to 31 3.
  • First Embodiment> [1.1 Outline of imaging device] 1 and 2 show an example of a schematic configuration of the imaging apparatus 1 according to the first embodiment of the present disclosure.
  • the imaging apparatus 1 makes it possible to obtain a high-resolution image with a wide angle of view using two imaging devices, the first imaging device 10 and the second imaging device 20. Is.
  • the first imaging device 10 and the second imaging device 20 are arranged so that their physical arrangements are horizontal to each other.
  • the optical axis AX1 of the first imaging device 10 and the optical axis AX2 of the second imaging device 20 may be parallel to each other, for example, as illustrated in FIG. Alternatively, for example, as shown in FIG. 2, the optical axis AX1 and the optical axis AX2 may be non-parallel to each other.
  • the gap between the optical axis AX1 and the optical axis AX2 is narrowed as the distance from the imaging device 1 increases.
  • the first imaging device 10 and the second imaging device 20 can image the same subject with different imaging areas.
  • the second imaging device 20 can set the imaging area R2 in the imaging area R1 of the first imaging device 10 except for the outer edge.
  • the first and second imaging devices 10 and 20 can generate first and second RAW data Iraw1 and Iraw2 having different angles of view as image data (imaging data).
  • imaging device 10 generates the first RAW data Iraw1 having a relatively wide angle of view by imaging.
  • the imaging device 20 generates second RAW data Iraw2 having a narrower angle of view than the first RAW data Iraw1 by imaging. Specific examples of the first and second RAW data Iraw1 and Iraw2 will be described in detail later.
  • FIG. 3 illustrates an example of functional blocks of the imaging apparatus 1.
  • the imaging device 1 includes, for example, first and second imaging devices 10 and 20, a signal processing unit 30, and a control unit 40.
  • the control unit 40 controls the first and second imaging devices 10 and 20 and the signal processing unit 30.
  • the first imaging device 10 includes, for example, a first imaging element 11 and a first optical lens 12.
  • the first optical lens 12 condenses the first subject light L1 and makes it incident on the light incident surface of the first image sensor 11.
  • the first optical lens 12 is fixed in the first imaging device 10.
  • the focal length of the first imaging device 10 is fixed at a constant value.
  • the first imaging device 10 may further include, for example, an iris or a variable optical LPF (low-pass filter) on the light incident surface side of the first imaging device 11. The configuration of the first image sensor 11 will be described later.
  • the second imaging device 20 includes, for example, a second imaging element 21 and a second optical lens 22.
  • the second optical lens 22 condenses the second subject light L2 and makes it incident on the light incident surface of the second image sensor 21.
  • the second optical lens 22 is fixed in the second imaging device 20.
  • the focal length of the second imaging device 20 is fixed at a constant value.
  • the second imaging device 20 may further include, for example, an iris or a variable optical LPF on the light incident surface side of the second imaging element 21.
  • the first image pickup device 10 and the second image pickup device 20 can optically change the angle of view by, for example, the first optical lens 12 and the second optical lens 22.
  • the first optical lens 12 and the second optical lens 22 are both zoom lenses, so that each angle of view can be optically varied. It has become.
  • one of the first optical lens 12 and the second optical lens 22 is a zoom lens, and the other is a single focus lens. It may be possible to make the corners different.
  • the first optical lens 12 and the second optical lens 22 may be configured by single focus lenses (fixed focus lenses) having different angles of view.
  • the first and second imaging elements 11 and 21 include, for example, a light receiving unit in which a plurality of photoelectric conversion elements are two-dimensionally arranged at a predetermined interval, and a color filter array arranged on a light incident surface of the light receiving unit. is doing.
  • the first and second imaging elements 11 and 21 are, for example, single-plate solid-state imaging elements, and are configured by, for example, a single-plate CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal-Oxide Semiconductor
  • the color filter array may be an RGBW array in which, for example, W (white) is added to R, G, and B.
  • the arrangement may be Y (yellow), C (cyan), M (magenta), or the like.
  • W white
  • C cyan
  • M magenta
  • a case where the color filter array is a Bayer array including an RGB array will be described as an example.
  • the first and second imaging elements 11 and 21 receive the first and second subject lights L1 and L2 that have entered through the first and second optical lenses 12 and 22 and the like, First and second raw data Iraw1 and Iraw2 are generated by discrete sampling with the color filter array.
  • the first imaging device 11 generates, for example, first RAW data Iraw1 having a relatively wide angle of view.
  • the first RAW data Iraw1 with a relatively wide angle of view is obtained by relatively shortening the focal length of the first optical lens 12.
  • the second image sensor 21 generates, for example, second RAW data Iraw2 having a narrower angle of view than the first RAW data Iraw1.
  • second RAW data Iraw2 having a relatively narrow angle of view is obtained.
  • the first and second RAW data Iraw1 and Iraw2 are, for example, mosaic data in which any one type of color information among a plurality of types of color information included in the color filter array is set for each pixel.
  • the color filter array is a Bayer array consisting of RGB arrays
  • the first and second RAW data Iraw1 and Iraw2 are among red information, green information and blue information included in the color filter array. Any one type of color information is mosaic data set for each pixel.
  • all the color information for all the pixels is generated from the first and second RAW data Iraw1 and Iraw2.
  • Demosaic processing is required.
  • the synthesis is performed on the first and second raw data Iraw1 and Iraw2 before performing the demosaic process. The synthesis of the first and second RAW data Iraw1 and Iraw2 will be described in detail later.
  • the signal processing unit 30 includes, for example, a synthesis processing unit 31 and a camera signal processing unit 32 as illustrated in FIG.
  • the combining processing unit 31 generates combined RAW data Iraw by combining the first and second RAW data Iraw1 and Iraw2 generated by the first and second imaging devices 10 and 20 with each other.
  • the camera signal processing unit 32 generates color image data Icol by performing demosaic processing on the combined RAW data Iraw generated by the combining processing unit 31.
  • the color image data Icol includes, for example, all types of color information included in the color filter array for each pixel. When the color filter array has an RGB Bayer array, the color image data Icol includes, for example, RGB color information for each pixel.
  • FIG. 5 shows an example of the concept of signal processing in the synthesis processing unit 31.
  • FIG. 5 is a concise explanation because priority is given to easy understanding of signal processing in the synthesis processing unit 31. Therefore, in FIG. 5, a code different from the above code is used.
  • the composition processing unit 31 acquires wide image data Iwide from the first imaging device 10 and acquires tele image data Itele from the second imaging device 20.
  • the tele image data Itele has a smaller angle of view than the wide image data Iwide.
  • the tele image data Item corresponds to a predetermined area ⁇ excluding the outer edge of the wide image data Iwide.
  • the composition processing unit 31 sets a predetermined region ⁇ based on the magnification of the first and second imaging devices 10 and 20 and the image sizes of the wide image data Iwide and the tele image data Item.
  • the composition processing unit 31 generates image data Iwide ′ by cutting out a predetermined region ⁇ from the wide image data Iwide.
  • the composition processing unit 31 generates the image data Item ′ by reducing the tele image data Item based on the magnifications of the first and second imaging devices 10 and 20.
  • the compositing processing unit 31 generates composite image data Ifusion by compositing the image data Iwide 'and the image data Itele' with each other.
  • the magnification of the first imaging device 10 is 1 and the magnification of the second imaging device 20 is 2 times. At this time, for example, when the magnification specified by the user is 1, the composition processing unit 31 outputs the wide image data Iwide as the composite RAW data Iraw.
  • the composition processing unit 31 when the magnification designated by the user is 2 times or more, the composition processing unit 31 outputs the tele image data Item expanded to the magnification designated by the user as composite RAW data Iraw. For example, when the magnification specified by the user is 1 to 2 times, the composition processing unit 31 combines the composite image data Image obtained by replacing the predetermined area ⁇ with the composite image data Ifusion in the wide image data Iwide. Output as Iraw.
  • the image data Iwide ′ and the image data Itele ′ may have a positional shift caused by parallax, a difference in sensitivity and a difference in exposure between the first and second imaging devices 10 and 20.
  • the composite image data Ifusion may include a high frequency component exceeding the Nyquist frequency of the first and second imaging devices 10 and 20.
  • the composition processing unit 31 performs various kinds of signal processing as described below on the image data Iwide ′ and the image data Itele ′.
  • FIG. 6 illustrates an example of functional blocks of the composition processing unit 31.
  • FIG. 7 illustrates an example of a signal processing procedure in the synthesis processing unit 31.
  • the composition processing unit 31 includes an alignment unit 130 and a composition unit 140.
  • the alignment unit 130 aligns the first and second RAW data Iraw1 and Iraw2 based on the first and second RAW data Iraw1 and Iraw2 generated by the first and second imaging devices 10 and 20. Generate data.
  • the synthesizer 140 synthesizes the first and second RAW data Iraw1 and Iraw2 with each other based on the alignment data generated by the alignment unit 130.
  • the alignment unit 130 includes, for example, a cutout unit 131, a gain correction unit 132, pixel correction units 133 and 134, a reduction unit 135, and a parallax calculation unit 136.
  • the cutout unit 131 designates a fusion area ⁇ (corresponding to the area ⁇ in FIG. 5) to be combined with the second RAW data Iraw2 in the first RAW data Iraw1. Specifically, the cutout unit 131 specifies the fusion region ⁇ based on the magnification of the first and second imaging devices 10 and 20 and the image size of the first and second RAW data Iraw1 and Iraw2. To do. For example, the cutout unit 131 in the first RAW data Iraw1 based on the magnification of the first and second imaging devices 10 and 20 and the image size of the first and second RAW data Iraw1 and Iraw2, Specify the coordinates of the fusion area ⁇ . For example, the cutout unit 131 cuts out the RAW data Iraw1a corresponding to the fusion region ⁇ from the first RAW data Iraw1 based on the designated coordinates (step S101).
  • the composition processing unit 31 may perform OPB (Optical Black) subtraction on the RAW data Iraw1a and the second RAW data Iraw2.
  • OPB subtraction refers to excluding noise components caused by dark current or the like.
  • the synthesis processing unit 31 may exclude noise components generated when the first and second imaging devices 10 and 20 are shielded from the RAW data Iraw1a and the second RAW data Iraw2.
  • the composition processing unit 31 stores the coordinates of the pixel.
  • the gain correction unit 132 calculates a gain ratio (for example, RGB gain ratio) for each color information in the RAW data Iraw1a and the second RAW data Iraw2. For example, the gain correction unit 132 calculates an average value in the RAW data Iraw1a for each color information and calculates an average value in the second RAW data Iraw2 for each color information. For example, the gain correction unit 132 calculates a correction gain for each color information from a ratio of average values for each color information in the RAW data Iraw1a and Iraw2. The gain correction unit 132 corrects the second RAW data Iraw2 based on the calculated correction gain (Step S102), thereby generating RAW data Iraw2a.
  • a gain ratio for example, RGB gain ratio
  • the pixel correction unit 133 interpolates all pixels included in the RAW data Iraw1a based on a predetermined type of color information (for example, green information) included in the RAW data Iraw1a, thereby obtaining a predetermined type as alignment data.
  • Interpolated RAW data Iraw1b consisting of the color information (for example, green information) is generated (step S103).
  • the pixel correction unit 134 interpolates all the pixels included in the RAW data Iraw2a based on a predetermined type of color information (for example, green information) included in the RAW data Iraw2a, thereby obtaining a predetermined type as alignment data.
  • Interpolated RAW data Iraw2b consisting of the color information (for example, green information) is generated.
  • the pixel correction unit 133 generates interpolated RAW data Iraw1b including green information from RAW data Iraw1a having a Bayer array including RGB arrays. Further, for example, as illustrated in FIG. 8, the pixel correction unit 133 generates interpolated RAW data Iraw2b including green information from RAW data Iraw2a having a Bayer array including RGB arrays.
  • the pixel correction unit 133 corrects the green information of the center pixel using, for example, an interpolation filter F as shown in FIG.
  • the center pixel (interpolation target pixel) is an R pixel or a B pixel
  • the pixel correction unit 133 generates the color information of the center pixel by using, for example, the interpolation filter F as illustrated in FIG. Replace with information.
  • the reduction unit 135 reduces the interpolated RAW data Iraw2b based on the magnifications of the first and second imaging devices 10 and 20 (step S104).
  • the parallax calculation unit 136 calculates parallax information Disp as alignment data based on the interpolated RAW data Iraw1b and Iraw2c (step S105).
  • the parallax information Disp corresponds to the amount of positional deviation on the image caused by the positions of the first imaging device 10 and the second imaging device 20 not matching each other.
  • the parallax calculation unit 136 generates parallax information Disp from the interpolated RAW data Iraw1b and Iraw2c using, for example, a motion vector estimation method between two images.
  • the synthesizing unit 140 includes, for example, a fusion unit 141, an LPF (low-pass filter) unit 142, a correlation processing unit 143, a merge unit 144, and a selection unit 145.
  • LPF low-pass filter
  • the fusion unit 141 generates the combined RAW data Iraw3a by combining the two interpolated RAW data Iraw1b and Iraw2c (step S106). Specifically, the fusion unit 141 generates the combined RAW data Iraw3a by combining the two interpolated RAW data Iraw1b and Iraw2c based on the parallax information Disp.
  • the LPF unit 142 generates combined RAW data Iraw3b by attenuating high frequency components included in the combined RAW data Iraw3a that exceed the Nyquist frequencies of the first and second imaging devices 10 and 20 (step S107). . Thereby, generation
  • the correlation processing unit 143 performs correlation processing on the combined RAW data Iraw3a or the combined RAW data Iraw3b obtained by performing predetermined processing on the combined RAW data Iraw3a (step S108). For example, as illustrated in FIG. 11, the correlation processing unit 143 performs a color difference component (Iraw1- Iraw1b) is added. A color ratio can also be used for the correlation processing. For example, as illustrated in FIG. 12, the correlation processing unit 143 performs a color ratio component (Iraw1) that is a ratio of the first RAW data Iraw1 and the interpolated RAW data Iraw1b to the combined RAW data Iraw3a or the combined RAW data Iraw3b. / Iraw1b) may be multiplied. As a result, the correlation processing unit 143 generates RAW data Iraw3c having an arrangement corresponding to the arrangement of the first and second RAW data Iraw1 and Iraw2.
  • the merge unit 144 generates demo data RAW data Iraw3d by synthesizing the first RAW data Iraw1 and the RAW data Iraw3c (step S109). At this time, the merging unit 144 aligns the image size of the RAW data Iraw3c with the image size of the first RAW data Iraw1, for example, by providing a frame-shaped region with zero color information at the periphery of the RAW data Iraw3c. Subsequently, the merge unit 144 sets, for example, the color information of the fusion area ⁇ in the first RAW data Iraw1 to zero.
  • the merge unit 144 adds, for example, the RAW data Iraw3c aligned with the image size of the first RAW data Iraw1 to the first RAW data Iraw1. That is, for example, the merging unit 144 replaces the fusion area ⁇ in the first RAW data Iraw1 with the RAW data Iraw3c.
  • the merge unit 144 adds the noise component excluded by the OPB subtraction to the RAW data Iraw3c in consideration of the sign before performing the synthesis processing. May be.
  • the selection unit 145 selects the composite RAW data Iraw to be output according to the magnification specified by the user. It is assumed that the magnification of the first imaging device 10 is 1 and the magnification of the second imaging device 20 is 2 times. At this time, for example, when the magnification specified by the user is 1, the selection unit 145 outputs the first RAW data Iraw1 as the combined RAW data Iraw. For example, when the magnification specified by the user is 2 times or more, the composition processing unit 31 outputs the second RAW data Iraw2 expanded to the magnification specified by the user as the composite RAW data Iraw. For example, when the magnification specified by the user is 1 to 2 times, the composition processing unit 31 outputs the RAW data Iraw3d as the composite RAW data Iraw.
  • the imaging apparatus 1 In the imaging apparatus 1 according to the present embodiment, the area excluding the outer edge of the imaging area R1 of the first imaging device 10 is the imaging area R2 of the second imaging device 20. Furthermore, in the imaging device 1, the first and second imaging are performed by using the first RAW data Iraw1 having a relatively wide angle of view and the second RAW data Iraw2 having a narrower angle of view than the first RAW data Iraw1. Generated by the devices 10 and 20. As a result, a predetermined region (fusion region ⁇ ) excluding the outer edge of the combined RAW data Iraw and the second RAW data Iraw2 are combined with each other.
  • fusion region ⁇ excluding the outer edge of the combined RAW data Iraw and the second RAW data Iraw2 are combined with each other.
  • the second RAW data Iraw2 is inserted into the frame-shaped first RAW data Iraw1.
  • a high-resolution image with a wide angle of view can be obtained using the first and second imaging devices 10 and 20.
  • both the first and second optical lenses 12 and 22 in the first and second imaging devices 10 and 20 are configured by fixed focus lenses, an optical zoom can be realized without using a mechanical zoom mechanism. it can.
  • the synthesizing process can be performed with the same accuracy as when the synthesizing process is performed after the demosaic process is performed on the first and second RAW data Iraw1 and Iraw2.
  • disparity information Disp as alignment data is generated based on the two interpolation raw data Iraw1b and Iraw2b generated from the first and second raw data Iraw1 and Iraw2.
  • the imaging apparatus 1 high-frequency components exceeding the Nyquist frequency of each of the first and second imaging devices 10 and 20 included in the combined RAW data Iraw3a are attenuated by the LPF unit 142. Thereby, when the RAW data Irawa1 and the RAW data Iraw3c are combined with each other, generation of false colors can be suppressed.
  • a color difference component (Iraw1-Iraw1b) is added to the composite RAW data Iraw3c or the composite RAW data Iraw3a obtained by performing a predetermined process (combined RAW data Iraw3b).
  • the imaging apparatus 1 after the color information is reduced and the synthesis process is performed, the lost color information is returned to the synthesized RAW data Iraw3c or the synthesized RAW data Iraw3b. Therefore, the imaging apparatus 1 can increase the synthesis accuracy while reducing the processing cost and power consumption required for the synthesis process.
  • demosaic processing is performed on the RAW data Iraw3d generated by combining the first RAW data Iraw1 and the RAW data Iraw3c.
  • demosaic processing is performed after combining with RAW data, so that processing costs and power consumption can be reduced compared to the case where combining is performed after demosaic processing is performed. Can do.
  • a global shutter system and a rolling shutter system are known as an electronic shutter system in an imaging device including an image sensor such as a CMOS.
  • the electronic shutter operation is simultaneously performed on all the pixels.
  • the exposure timing is the same for all pixels.
  • the rolling shutter system for example, an electronic shutter operation is performed for each horizontal line.
  • the exposure timing is shifted by, for example, one horizontal line.
  • the technique of synchronization control according to the present disclosure is the imaging apparatus shown in FIGS. 1 to 3 and the like.
  • the present invention can be applied to configurations other than one.
  • the synchronization control technique according to the present disclosure is also applicable to a case where the image data generated by the first and second imaging devices 10 and 20 is synthesized by a method other than the image synthesis processing technique of the above-described embodiment. Applicable.
  • the technique of synchronization control according to the present disclosure can be applied to a case where only two image data are generated and image synthesis is not performed.
  • synchronization control between two imaging devices will be described as an example. However, as in a second embodiment described later, when three imaging devices are used, or four or more imaging devices are used. Even in this case, it is possible to apply the synchronization control technique according to the present disclosure.
  • FIG. 13 and FIG. 14 show an example of exposure timing when the first and second imaging devices 10 and 20 capture images with the same angle of view and the same resolution (number of pixels) by the rolling shutter method.
  • image data generated by the first imaging element 11 of the first imaging device 10 and exposure timing are schematically shown.
  • image data generated by the second image sensor 12 of the second imaging device 20 and exposure timing are schematically shown.
  • FIG. 14 the timing of the synchronization signal XVS for imaging in the first and second imaging devices 10, 20, the shutter timing (reset timing) and the pixels in the first imaging element 11 and the second imaging element 12 are shown. Data read timing is shown. The same timing is shown in FIGS. 17 to 21 described later.
  • the imaging areas are substantially the same.
  • the imaging (exposure) start position is substantially the same position p1 in the subject.
  • the same subject position can be imaged (exposed) at the same timing.
  • the readout period and the exposure period in the second image sensor 12 are the same as the readout period Tr1 and the exposure period Te1 in the first image sensor 11.
  • FIG. 15 and FIG. 16 show an example of exposure timing when the first and second imaging devices 10 and 20 capture images with different angles of view and the same resolution (number of pixels) by the rolling shutter method.
  • the imaging areas are different from each other.
  • the first imaging device 10 performs imaging with a wide field angle having a relatively wide field angle
  • the second imaging device 20 performs imaging with a tele field angle with a relatively narrow field angle. It is carried out.
  • the imaging area of the second imaging device 20 is relatively narrow compared to the first imaging device 10.
  • the imaging (exposure) start position of the first imaging device 10 is the position p1 in the subject
  • the imaging (exposure) start position of the second imaging device 20 is a position p2 inside the position p1 in the subject. Become.
  • the shutter timings and the pixel data readout timings of the first and second image sensors 11 and 21 are made the same, and the readout period Tr1 and the exposure period Te1 are also the first and second image sensors 11 and 21. If the same, the first image sensor 11 and the second image sensor 21 image (exposure) the same subject position at different timings. As described above, when the same subject position is imaged (exposed) at different timings, the images are captured by the first and second imaging devices 10 and 20 when, for example, there is camera shake or the subject moves. There is a risk that the correlation between the images cannot be obtained.
  • FIGS. 17 and 18 show an example of the exposure timing when the first and second imaging devices 10 and 20 capture images at different angles of view and the same resolution (number of pixels) by the rolling shutter method.
  • FIG. 18 shows an example in which the exposure timing in FIG. 16 is optimized based on the difference in the angle of view between the first and second imaging devices 10 and 20.
  • the first and second imaging devices 10 and 20 capture images with different angles of view and the same resolution (number of pixels), as shown in FIG.
  • the pixel data readout speed of the second image sensor 21 that performs imaging with a narrow angle of view is higher than the pixel data readout speed of the first image sensor 11 that performs imaging with a wide angle of view. .
  • FIG. 18 shows an example in which the exposure timing in FIG. 16 is optimized based on the difference in the angle of view between the first and second imaging devices 10 and 20.
  • the read start timing of the first image sensor 11 is time t1.
  • the readout start timing of the second image sensor 21 is a time t2 delayed from the time t1 according to the difference in the angle of view.
  • the readout period of the second image sensor 21 is a period Tr2 that is speeded up according to the difference in the angle of view with respect to the readout period Tr1 of the first image sensor 11.
  • the reading speed may be increased by binning.
  • Binning is a technique for adding a plurality of pixels of the same color in the vicinity in an analog manner. By reducing the number of readout pixels by binning, the readout speed can be increased.
  • FIGS. 19 and 20 show an example of exposure timing when the first and second imaging devices 10 and 20 capture images with the same angle of view and different resolutions (number of pixels) by the rolling shutter method.
  • the imaging regions themselves are mutually It is almost the same.
  • the reading speeds of the pixel data in the first and second imaging elements 11 and 21 are the same, the number of pixels is different, so that there is a difference in the reading period regardless of the same imaging area. End up.
  • the first image sensor 11 has a relatively large number of pixels and images with a high resolution
  • the second image sensor 21 has a relatively small number of pixels and images with a low resolution.
  • the readout period of the second image sensor 21 is a period Tr2 that is speeded up according to the difference in the number of pixels with respect to the readout period Tr1 of the first image sensor 11. For this reason, the first image sensor 11 and the second image sensor 21 capture (exposure) the same subject position at different timings.
  • FIG. 21 shows an example in which the exposure timing of FIG. 20 is optimized based on the difference in resolution (number of pixels) in the first and second imaging devices 10 and 20.
  • the first and second imaging devices 10 and 20 capture the same subject at the same angle of view and at different resolutions (number of pixels), as shown in FIG.
  • the pixel data read speed of the second image sensor 21 be slower than the pixel data read speed of the first image sensor 11 having a relatively large number of pixels.
  • the pixel data read speed of the first image sensor 11 having a large number of pixels be higher than the pixel data read speed of the second image sensor 21 having a small number of pixels.
  • the first and second imaging devices 10 and 20 can capture (exposure) the same subject position at the same timing.
  • FIGS. 22 and 23 are configuration examples when the first optical lens 12 of the first imaging device 10 and the second optical lens 22 of the second imaging device 20 both have zoom lenses. .
  • control unit 40 may include an initial value storage unit 41, an imaging control unit 60, and a lens control unit 70. Note that, as illustrated in FIG. 23, the initial value storage unit 41, the imaging control unit 60, and the lens control unit 70 may be provided outside the control unit 40.
  • the imaging control unit 60 may include a readout control unit 61 and a shutter control unit 62.
  • the read control unit 61 controls the read timing of each pixel data in the first and second image sensors 11 and 21.
  • the shutter control unit 62 controls the respective shutter timings in the first and second image sensors 11 and 21.
  • the lens control unit 70 may include a focus control unit 71 and a zoom control unit 72.
  • the focus control unit 71 controls focusing of the first and second optical lenses 12 and 22.
  • the zoom control unit 72 controls zooming of the first and second optical lenses 12 and 22.
  • the zoom control unit 72 transmits the zoom magnification information of the first and second optical lenses 12 and 22 to the read control unit 61 and the shutter control unit 62.
  • the initial value storage unit 41 stores information on initial imaging conditions in the first imaging device 10 and the second imaging device 20.
  • the initial imaging conditions may include parameters that affect the exposure timing, such as the angle of view, the number of pixels, the clock speed, the frame rate, the exposure time, and the operation mode.
  • the imaging control unit 60 includes the exposure timing of the first imaging device 10 that performs exposure using the rolling shutter method, and the second imaging device 20 that performs exposure using the rolling shutter method under imaging conditions different from the first imaging device 10.
  • the exposure timing is synchronized based on the imaging conditions.
  • the imaging condition may include at least one of an angle of view and the number of pixels.
  • the imaging condition of the second imaging device 20 may be different in at least one of the angle of view and the number of pixels from the imaging condition of the first imaging device 10.
  • the imaging condition may include the zoom magnification of the zoom lens.
  • the imaging control unit 60 may dynamically synchronize the exposure timing of the first imaging device 10 and the exposure timing of the second imaging device 20 based on the zoom magnification.
  • the imaging control unit 60 performs exposure start timing of an imaging device that performs imaging with a relatively narrow angle of view among the first imaging device 10 and the second imaging device 20. May be controlled to be delayed with respect to the exposure start timing of an imaging device that performs imaging with a relatively wide angle of view. In this case, the imaging control unit 60 performs control to increase the pixel data readout speed in the imaging device that performs imaging with a narrow angle of view, compared to the pixel data readout speed in the imaging device that performs imaging with a wide angle of view. Also good.
  • the imaging control unit 60 reads pixel data in an imaging device having a relatively large number of pixels among the first imaging device 10 and the second imaging device 20. Control may be performed so that the speed is higher than the reading speed of pixel data in an imaging device having a relatively small number of pixels.
  • FIG. 24 shows a third configuration example of the control unit for performing exposure timing synchronization control.
  • the configuration example of FIG. 24 includes a first optical lens 12A instead of the first optical lens 12 in the configuration example of FIG.
  • the first optical lens 12A includes a fixed focus lens instead of the zoom lens.
  • the zoom control unit 72 controls zooming of the second optical lens 22.
  • Other configurations may be substantially the same as the configuration example of FIG.
  • FIG. 25 shows a fourth configuration example of the control unit for performing exposure timing synchronization control.
  • the configuration example of FIG. 25 includes a first optical lens 12A in place of the first optical lens 12 in the configuration example of FIG. Further, a second optical lens 22A is provided instead of the second optical lens 22 in the configuration example of FIG.
  • the first and second optical lenses 12A and 22A include fixed focus lenses instead of the zoom lenses.
  • a lens control unit 70A in which the zoom control unit 72 is omitted from the lens control unit 70 can be provided.
  • the imaging control unit 60 synchronizes the exposure timing of the first imaging device 10 and the exposure timing of the second imaging device 20 based on the initial imaging conditions stored in the initial value storage unit 41.
  • FIG. 26 shows an example of synchronous control of exposure timing when at least one of the first and second imaging devices performs zooming (configuration examples of FIGS. 22 to 24).
  • the imaging control unit 60 reads the initial parameters from the initial value storage unit 41 (step S202).
  • the initial parameters may be initial imaging conditions that affect the exposure timing, such as the number of pixels, clock speed, frame rate, exposure time, and operation mode. Since the angle of view dynamically changes depending on the zoom magnification, the imaging control unit 60 reads information on the zoom magnification of the zoom lens from the zoom control unit 72 (step S203). Thereby, the angle of view according to the zoom magnification is determined. Next, the imaging control unit 60 determines the readout timing of each pixel data in the first and second imaging elements 11 and 21 based on the acquired imaging conditions such as the angle of view (step S204).
  • the imaging control unit 60 determines the respective shutter timings in the first and second imaging elements 11 and 21 based on the acquired imaging conditions such as the angle of view (step S205). Next, the imaging control unit 60 causes the first and second imaging elements 11 and 21 to start imaging at the determined shutter timing and readout timing (step S206).
  • FIG. 27 shows an example of exposure timing synchronization control when both the first and second imaging devices perform imaging with a fixed focus (configuration example of FIG. 25).
  • the imaging control unit 60 reads the initial parameters from the initial value storage unit 41 (step S202A).
  • the initial parameters may be initial imaging conditions that affect the exposure timing such as the angle of view, the number of pixels, the clock speed, the frame rate, the exposure time, and the operation mode.
  • the imaging control unit 60 determines the readout timing of each pixel data in the first and second imaging elements 11 and 21 based on the acquired imaging conditions such as the angle of view (step S204).
  • the imaging control unit 60 determines the respective shutter timings in the first and second imaging elements 11 and 21 based on the acquired imaging conditions such as the angle of view (step S205).
  • the imaging control unit 60 causes the first and second imaging elements 11 and 21 to start imaging at the determined shutter timing and readout timing (step S206).
  • the exposure timing of the first imaging device 10 and the exposure timing of the second imaging device 20 are appropriately synchronously controlled based on the imaging conditions.
  • the same subject can be imaged with substantially the same exposure timing.
  • FIG. 28 shows a schematic configuration of an imaging apparatus 200 according to a modification of the first embodiment.
  • the camera signal processing unit 32 is provided at the subsequent stage of the synthesis processing unit 31, but the first and second camera signal processes are performed as in the imaging device 200 illustrated in FIG.
  • the composition processing unit 250 may be provided after the units 230 and 240.
  • the imaging apparatus 200 includes a camera signal processing unit 230 that converts the first RAW data Iraw1 obtained by the first imaging device 10 into a color image Icol1, and second RAW data obtained by the second imaging device 20. And a camera signal processing unit 240 that converts Iraw2 into a color image Icol2.
  • the imaging apparatus 200 further includes a synthesis processing unit 250 that generates the color image Icol3 by synthesizing the color images Icol1 and Icol2 obtained by the first and second camera signal processing units 230 and 240. .
  • color imaging demosaic processing
  • image synthesis is performed after color imaging (demosaic processing) is performed.
  • the first and second RAW data Iraw1 and Iraw2 are based on the alignment data generated based on the first and second RAW data Iraw1 and Iraw2 having different angles of view. Synthesized with each other. That is, in the imaging apparatus 1 described above, since the composition is performed at the stage of the RAW data before the demosaic process is performed, the number of demosaic processes can be reduced to one. Furthermore, in the imaging device 1 described above, the first and second RAW data Iraw1 and Iraw2 that are the synthesis targets are pixel by pixel compared to the color image data Icol1 and Icol2 that are the synthesis targets of the imaging device 200 of the present modification. Therefore, the amount of calculation required for the composition can be suppressed. Therefore, in the imaging device 1 described above, it is possible to reduce the processing cost and power consumption required for the demosaic processing and the synthesis processing, compared to the imaging device 200 of the present modification.
  • the RAW data Iraw is output from the composition processing unit 31.
  • a normal camera signal processing unit or the like can be used as it is without modification in the camera signal processing unit 32 subsequent to the synthesis processing unit 31. That is, in the imaging apparatus 1 described above, the camera signal processing unit 32 can be applied to the RAW output of a single imaging device without any change in the processing configuration after the demosaic process. Therefore, in the imaging apparatus 1 described above, the processing cost and power consumption required for the demosaic process and the synthesis process can be reduced with the same simplicity as when a single imaging device is used.
  • the imaging apparatus 1 includes the first and second imaging devices 10 and 20, but may include three or more imaging devices.
  • the imaging apparatus 1 may include three imaging devices of first and second imaging devices 10 and 20 and a third imaging device 50.
  • the first, second, and third imaging devices 10, 20, and 50 are arranged such that the physical arrangement is horizontal to each other.
  • the optical axis AX1 of the first imaging device 10, the optical axis AX2 of the second imaging device 20, and the optical axis AX3 of the third imaging device 50 are not parallel to each other as shown in FIG. 29, for example. It has become.
  • the optical axes AX1, AX2, and AX3 are oriented in the direction in which the gaps between the optical axes AX1, AX2, and AX3 become narrower from each other as the distance from the imaging device 1 increases.
  • the optical axes AX1, AX2, and AX3 may be parallel to each other.
  • the alignment unit 130 includes three or more RAW data Iraw1, Iraw2, and Iraw4 generated by each of the first, second, and third imaging devices 10, 20, and 50. Alignment data of one or more RAW data Iraw1, Iraw2, Iraw4 is generated.
  • the synthesizing unit 140 synthesizes three or more RAW data Iraw1, Iraw2, and Iraw4 with each other based on the alignment data generated by the alignment unit 130.
  • the second imaging device 20 sets the area other than the outer edge of the imaging area R1 of the first imaging device 10 as the imaging area R2.
  • the third imaging device 50 includes a third imaging element 51 and a third optical lens 52, and an area excluding the outer edge of the imaging area R2 of the second imaging device 20 is defined as an imaging area R3.
  • the third optical lens 52 condenses the third subject light L3 and makes it incident on the light incident surface of the third image sensor 51.
  • the first, second, and third imaging devices 10, 20, and 50 generate first, second, and third RAW data Iraw1, Iraw2, and Iraw4, each having a different angle of view.
  • the first imaging device 10 generates the first RAW data Iraw1 having the widest angle of view by imaging.
  • the second imaging device 20 generates the second RAW data Iraw2 having a narrower angle of view than the first RAW data Iraw1 by imaging.
  • the third imaging device 50 generates third RAW data Iraw4 having a narrower angle of view than the second RAW data Iraw2 by imaging.
  • the composition processing unit 31 combines the predetermined area excluding the outer edge in the first RAW data Iraw1, the composition of the RAW data Irawa2, the predetermined area excluding the outer edge in the RAW data Iraw2, 3 RAW data Iraw4.
  • FIG. 31 shows an example of functional blocks of the composition processing unit 31 in the present embodiment.
  • the alignment unit 130 includes a signal processing block for the third RAW data Iraw4, and includes, for example, a gain correction unit 137, a pixel correction unit 138, and a reduction unit 139.
  • the gain correction unit 137 calculates a gain ratio (for example, RGB gain ratio) for each color information in the second and third RAW data Iraw2 and Iraw4. For example, the gain correction unit 137 calculates an average value in the second RAW data Iraw2 for each color information and calculates an average value in the third RAW data Iraw4 for each color information. For example, the gain correction unit 137 calculates a correction gain for each color information from a ratio of average values for each color information in the second and third RAW data Iraw2 and Iraw4. The gain correction unit 137 corrects the third RAW data Iraw4 based on the calculated correction gain, thereby generating RAW data Iraw4a.
  • a gain ratio for example, RGB gain ratio
  • the pixel correction unit 138 interpolates all the pixels included in the RAW data Iraw4a based on a predetermined type of color information (for example, green information) included in the RAW data Iraw4a, thereby obtaining a predetermined type as alignment data.
  • Interpolated raw data Iraw4b consisting of the color information (for example, green information) is generated.
  • the pixel correction unit 138 interpolates all the pixels included in the RAW data Iraw4a based on a predetermined type of color information (for example, green information) included in the RAW data Iraw4a, thereby obtaining a predetermined type as alignment data.
  • Interpolated raw data Iraw4b consisting of the color information (for example, green information) is generated.
  • the pixel correction unit 138 generates interpolated RAW data Iraw4b including green information from RAW data Iraw4a having a Bayer array including RGB arrays.
  • the pixel correction unit 138 corrects the green information of the center pixel using, for example, an interpolation filter F as shown in FIG.
  • the pixel correction unit 133 generates the color information of the center pixel by using, for example, the interpolation filter F as illustrated in FIG. Replace with information.
  • the reduction unit 139 reduces the interpolated raw data Iraw4b based on the magnifications of the second and third imaging devices 20 and 50.
  • the parallax calculation unit 136 calculates parallax information Disp as alignment data based on the interpolated RAW data Iraw1b, Iraw2c, and Iraw4c.
  • the parallax information Disp includes the amount of positional deviation on the image caused by the positions of the first imaging device 10 and the second imaging device 20 not matching each other, and the second imaging device 20 and the third imaging device. This corresponds to the amount of positional deviation on the image caused by the fact that the position 50 does not match each other.
  • the parallax calculation unit 136 generates parallax information Disp from the interpolated RAW data Iraw1b, Iraw2c, and Iraw4c using, for example, a motion vector estimation method between two images.
  • the fusion unit 141 combines the two interpolated raw data Iraw1b and Iraw2c and generates the combined raw data Iraw3a by combining the two interpolated raw data Iraw2c and Iraw4c. Specifically, the fusion unit 141 combines the two interpolated RAW data Iraw1b and Iraw2c based on the parallax information Disp, and generates the combined RAW data Iraw3a by combining the two interpolated RAW data Iraw2c and Iraw4c. .
  • the first and second RAW data Iraw1 and Iraw2 are combined with each other based on the alignment data generated based on the first and second RAW data Iraw1 and Iraw2 having different angles of view.
  • the second and third RAW data Iraw2 and Iraw4 are combined with each other based on the alignment data generated based on the second and third RAW data Iraw2 and Iraw4 having different angles of view. That is, in the present embodiment, since the synthesis is performed at the stage of the RAW data before the demosaic process is performed, the number of demosaic processes can be reduced.
  • the first, second, and third RAW data Iraw1, Iraw2, and Iraw4 that are the synthesis targets in the present embodiment have less color information for each pixel than the color image data that is the conventional synthesis target. Therefore, the processing cost and power consumption required for demosaic processing and synthesis processing can be reduced.
  • the area excluding the outer edge of the imaging area R1 of the first imaging device 10 is the imaging area R2 of the second imaging device 20, and the imaging area R2 of the second imaging device 20 The area excluding the outer edge is the imaging area R3 of the third imaging device 50.
  • the third RAW data Iraw4 having a narrow angle of view is generated by the first, second and third imaging devices 10, 20, and 50.
  • a predetermined region (fusion region ⁇ ) excluding the outer edge of the combined RAW data Iraw and the second RAW data Iraw2 are combined with each other.
  • a predetermined area excluding the outer edge of the second RAW data Iraw2 and the third RAW data Iraw4 are combined with each other.
  • the second RAW data Iraw2 is fitted into the frame-shaped first RAW data Iraw1
  • the third RAW data Iraw4 is fitted into the frame-shaped second RAW data Iraw2.
  • the first optical lens 12 or the like may be fixed or replaceable.
  • the lens control unit 70 and the imaging control unit 60 shown in FIGS. 22 and 23 or the like may be provided on the camera body side or replaced. It may be provided on the lens part side of the equation.
  • the color image data Icol generated by the signal processing unit 30 may be stored in an external memory or displayed on a display. Further, instead of storing and displaying, the color image data Icol may be transmitted to another device via a network.
  • the signal processing unit 30 illustrated in FIG. 1 may be different from the main body of the imaging device 1. For example, the signal processing unit 30 may be at the end of a network connected to the imaging device 1. Further, instead of performing image processing in the main body of the imaging apparatus 1, image data may be stored in an external memory and image processing may be performed by another apparatus such as a PC (personal computer).
  • the processing of the signal processing unit 30 can be executed as a computer program.
  • the program of the present disclosure is a program provided by, for example, a storage medium to an information processing apparatus or a computer system that can execute various program codes. By executing such a program by the program execution unit on the information processing apparatus or the computer system, processing according to the program is realized.
  • a series of image processing according to the present technology can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as an internal hard disk.
  • this technique can take the following composition.
  • An exposure timing of a first imaging device that performs exposure by a rolling shutter system and an exposure timing of a second imaging device that performs exposure by a rolling shutter system under an imaging condition different from that of the first imaging device are the imaging conditions.
  • An imaging control device comprising an imaging control unit that is synchronized based on (2)
  • the imaging condition includes at least one of an angle of view and the number of pixels,
  • the imaging control apparatus according to (1), wherein an imaging condition of the second imaging device is different in at least one of an angle of view and the number of pixels with respect to the imaging condition of the first imaging device.
  • the imaging control unit synchronizes the exposure timing of the first imaging device and the exposure timing of the second imaging device based on the initial imaging conditions.
  • At least one of the first imaging device and the second imaging device has a zoom lens,
  • the imaging condition includes at least a zoom magnification of the zoom lens,
  • the imaging control unit synchronizes the exposure timing of the first imaging device and the exposure timing of the second imaging device based on the zoom magnification. Any one of (1) to (3) The imaging control device described.
  • the imaging condition includes at least an angle of view
  • the imaging control unit performs imaging with a relatively wide angle of view at an exposure start timing of an imaging device that performs imaging with a relatively narrow angle of view among the first imaging device and the second imaging device.
  • the imaging control device according to any one of (1) to (4), wherein the imaging device is delayed with respect to an exposure start timing of the imaging device.
  • the imaging control unit sets the pixel data readout speed of the imaging device that performs imaging with a narrow angle of view to be higher than the pixel data readout speed of the imaging device that performs imaging with a wide angle of view. The imaging control device described.
  • the imaging condition includes at least the number of pixels
  • the imaging control unit determines a pixel data reading speed in an imaging device having a relatively large number of pixels among the first imaging device and the second imaging device, and a pixel in an imaging device having a relatively small number of pixels.
  • the imaging control apparatus according to any one of (1) to (4), wherein the imaging control apparatus is configured to be faster than a data reading speed.
  • An exposure timing of a first imaging device that performs exposure by a rolling shutter system and an exposure timing of a second imaging device that performs exposure by a rolling shutter system under an imaging condition different from that of the first imaging device are the imaging conditions.
  • An imaging control method that performs synchronous control based on the.
  • the synthesis unit is The two image data are combined so that image data having a relatively narrow angle of view is included in a predetermined area excluding an outer edge of the image data having a relatively wide angle of view among the two image data.

Abstract

本開示の撮像制御装置は、ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、撮像条件に基づいて同期させる撮像制御部を備える。

Description

撮像制御装置、および撮像制御方法、ならびに撮像装置
　本開示は、複数の撮像デバイスの制御に関する撮像制御装置、および撮像制御方法、ならびに撮像装置に関する。
　従来から、２つの撮像装置を用いて、高視野かつ高解像度の画像を撮像する撮像システムが提案されている（例えば、特許文献１参照）。
特開２００３－１３４３７５号公報
　複数の撮像デバイスを用いた撮像を行う場合、各撮像デバイス間で露光タイミングが適切に制御されていることが望ましい。
　複数の撮像デバイスで同一被写体を略同一の露光タイミングで撮像することができるようにした撮像制御装置、および撮像制御方法、ならびに撮像装置を提供することが望ましい。
　本開示の一実施の形態に係る撮像制御装置は、ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、撮像条件に基づいて同期させる撮像制御部を備えたものである。
　本開示の一実施の形態に係る撮像制御方法は、ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、撮像条件に基づいて同期制御するようにしたものである。
　本開示の一実施の形態に係る撮像装置は、ローリングシャッタ方式により露光を行う第１の撮像デバイスと、第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスと、第１の撮像デバイスの露光タイミングと第２の撮像デバイスの露光タイミングとを、撮像条件に基づいて同期させる撮像制御部とを備えたものである。
　本開示の一実施の形態に係る撮像制御装置、撮像制御方法、または撮像装置では、ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとが、撮像条件に基づいて適切に同期制御される。
　本開示の一実施の形態に係る撮像制御装置、撮像制御方法、または撮像装置によれば、第１の撮像デバイスの露光タイミングと第２の撮像デバイスの露光タイミングとを撮像条件に基づいて適切に同期制御するようにしたので、複数の撮像デバイスで同一被写体を略同一の露光タイミングで撮像することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の第１の実施の形態に係る撮像装置の第１の概略構成を示す構成図である。 第１の実施の形態に係る撮像装置の第２の概略構成を示す構成図である。 第１の実施の形態に係る撮像装置の機能ブロックの一例を表すブロック図である。 撮像素子の画素配列の一例を表す説明図である。 図３の合成処理部の信号処理の概念の一例を表す説明図である。 図３の合成処理部の機能ブロックの一例を表すブロック図である。 図６の合成処理部における信号処理手順の一例を表す流れ図である。 画素補間の一例を表す説明図である。 中心画素がＧ画素のときの補間フィルタの一例を表す説明図である。 中心画素がＲ画素またはＢ画素のときの補間フィルタの一例を表す説明図である。 図６の相関処理部における相関処理の一例を表す説明図である。 図６の相関処理部における相関処理の一例を表す説明図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに同一画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示す説明図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに同一画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示すタイミング図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに異なる画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示す説明図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに異なる画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示すタイミング図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに異なる画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示す説明図である。 画角の違いに基づいて図１６の露光タイミングを最適化した例を示すタイミングである。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに同一画角、かつ異なる解像度（画素数）で撮像する場合の露光タイミングの一例を示す図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに同一画角、かつ異なる解像度（画素数）で撮像する場合の露光タイミングの一例を示すタイミング図である。 解像度（画素数）の違いに基づいて図２０の露光タイミングを最適化した例を示すタイミング図である。 露光タイミングの同期制御を行うための制御部の第１の構成例を示すブロック図である。 露光タイミングの同期制御を行うための制御部の第２の構成例を示すブロック図である。 露光タイミングの同期制御を行うための制御部の第３の構成例を示すブロック図である。 露光タイミングの同期制御を行うための制御部の第４の構成例を示すブロック図である。 第１および第２の撮像デバイスの少なくとも一方がズーミングを行う場合の露光タイミングの同期制御の一例を示す流れ図である。 第１および第２の撮像デバイスが双方とも固定焦点で撮像を行う場合の露光タイミングの同期制御の一例を示す流れ図である。 第１の実施の形態の変形例に係る撮像装置の概略構成を示す構成図である。 第２の実施の形態に係る撮像装置概略構成を示す構成図である。 図２９の撮像装置の機能ブロックの一例を表すブロック図である。 図３０の合成処理部の機能ブロックの一例を表すブロック図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（２つの撮像デバイスによって互いに画角の異なる２つの画像データを生成し、合成する撮像装置）
　　１．１　撮像装置の概要（図１～図５）
　　１．２　合成処理部の詳細説明（図５～図１２）
　　１．３　２つの撮像デバイス間の同期制御の説明（図１３～図２７）
　　１．４　効果
　　１．５　第１の実施の形態の変形例（図２８）
　２．第２の実施の形態（３つの撮像デバイスによって互いに画角の異なる３つの画像データを生成し、合成する撮像装置）（図２９～図３１）
　３．その他の実施の形態
＜１．第１の実施の形態＞
［１．１　撮像装置の概要］
　図１および図２は、本開示の第１の実施の形態に係る撮像装置１の概略構成の一例を示している。
　本実施の形態に係る撮像装置１は、第１の撮像デバイス１０と第２の撮像デバイス２０との２つの撮像デバイスを用いて、画角の広い、高解像度の画像を得ることを可能にするものである。
　第１の撮像デバイス１０と第２の撮像デバイス２０は、例えば、物理的な配置が互いに水平となるように配置されている。第１の撮像デバイス１０の光軸ＡＸ１と第２の撮像デバイス２０の光軸ＡＸ２とは、例えば、図１に示したように、互いに平行となっていてもよい。または、例えば図２に示したように、光軸ＡＸ１と光軸ＡＸ２とが互いに非平行となっていてもよい。光軸ＡＸ１と光軸ＡＸ２とが互いに非平行である場合、撮像装置１から離れるにつれて光軸ＡＸ１と光軸ＡＸ２との間隙が狭まる方向を向いていることが好ましい。
　第１の撮像デバイス１０と第２の撮像デバイス２０は、同一の被写体を、撮像領域が互いに異なるようにして撮像することが可能となっている。例えば、図１および図２に示したように、第２の撮像デバイス２０は、第１の撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域を撮像領域Ｒ２とすることが可能となっている。これにより、第１および第２の撮像デバイス１０，２０は、画像データ（撮像データ）として、各々で画角の互いに異なる第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を生成することが可能となっている。撮像デバイス１０は、例えば、相対的に画角の広い第１のＲＡＷデータＩｒａｗ１を撮像により生成する。撮像デバイス２０は、例えば、第１のＲＡＷデータＩｒａｗ１よりも画角の狭い第２のＲＡＷデータＩｒａｗ２を撮像により生成する。第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の具体例については、後に詳述する。
　図３は、撮像装置１の機能ブロックの一例を表したものである。撮像装置１は、例えば、第１および第２の撮像デバイス１０，２０と、信号処理部３０と、制御部４０とを備えている。制御部４０は、第１および第２の撮像デバイス１０，２０と信号処理部３０とを制御する。
（第１の撮像デバイス１０）
　第１の撮像デバイス１０は、例えば、第１の撮像素子１１および第１の光学レンズ１２を有している。第１の光学レンズ１２は、第１の被写体光Ｌ１を集光して、第１の撮像素子１１の光入射面に入射させる。第１の光学レンズ１２は、例えば、第１の撮像デバイス１０において固定されている。このとき、第１の撮像デバイス１０の焦点距離が一定値で固定されている。第１の撮像デバイス１０は、さらに、例えば、アイリスや可変光学ＬＰＦ（ローパスフィルタ）を、第１の撮像素子１１の光入射面側に有していてもよい。第１の撮像素子１１の構成については後述する。
（第２の撮像デバイス２０）
　第２の撮像デバイス２０は、例えば、第２の撮像素子２１および第２の光学レンズ２２を有している。第２の光学レンズ２２は、第２の被写体光Ｌ２を集光して、第２の撮像素子２１の光入射面に入射させる。第２の光学レンズ２２は、例えば、第２の撮像デバイス２０において固定されている。このとき、第２の撮像デバイス２０の焦点距離が一定値で固定されている。第２の撮像デバイス２０は、さらに、例えば、アイリスや可変光学ＬＰＦを、第２の撮像素子２１の光入射面側に有していてもよい。
　第１の撮像デバイス１０と第２の撮像デバイス２０は、例えば第１の光学レンズ１２と第２の光学レンズ２２とによって、光学的に各々の画角を異ならせることが可能となっている。例えば、後述する図２２等に示すように、第１の光学レンズ１２と第２の光学レンズ２２とを双方ともズームレンズとすることによって、光学的に各々の画角を異ならせることが可能となっている。または、後述する図２４に示すように、第１の光学レンズ１２と第２の光学レンズ２２とのいずれか一方をズームレンズとし、他方を単焦点レンズとすることによって、光学的に各々の画角を異ならせることを可能にしてもよい。または、後述する図２５に示すように、第１の光学レンズ１２と第２の光学レンズ２２とを画角が互いに異なる単焦点レンズ（固定焦点レンズ）で構成してもよい。
（第１および第２の撮像素子１１，２１）
　次に、第１および第２の撮像素子１１，２１について説明する。第１および第２の撮像素子１１，２１は、例えば、複数の光電変換素子が所定の間隔で２次元配置された受光部と、受光部の光入射面に配置されたカラーフィルタアレイとを有している。第１および第２の撮像素子１１，２１は、例えば単板式の固体撮像素子であり、例えば、単板式のＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサによって構成されている。第１および第２の撮像素子１１，２１において、カラーフィルタアレイは、例えば、図４に示したように、Ｒ（赤），Ｇ（緑），Ｂ（青）の３つの色の配列からなるベイヤ配列となっている。なお、カラーフィルタアレイは、例えば、Ｒ，Ｇ，ＢにＷ（白）を加えたＲＧＢＷ配列となっていてもよい。または、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の配列となっていてもよい。なお、以下では、カラーフィルタアレイが、ＲＧＢ配列からなるベイヤ配列となっている場合を例にして説明する。
　第１および第２の撮像素子１１，２１は、例えば、第１および第２の光学レンズ１２，２２等を経由して入射してきた第１および第２の被写体光Ｌ１，Ｌ２を、受光部およびカラーフィルタアレイで離散的にサンプリングすることにより、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を生成する。
　第１の撮像素子１１は、例えば、相対的に画角の広い第１のＲＡＷデータＩｒａｗ１を生成する。第１の撮像デバイス１０では、例えば、第１の光学レンズ１２の焦点距離を相対的に短くすることにより、画角が相対的に広い第１のＲＡＷデータＩｒａｗ１が得られる。
　第２の撮像素子２１は、例えば、第１のＲＡＷデータＩｒａｗ１よりも画角の狭い第２のＲＡＷデータＩｒａｗ２を生成する。第２の撮像デバイス２０では、例えば、第２の光学レンズ２２の焦点距離を相対的に長くすることにより、画角が相対的に狭い第２のＲＡＷデータＩｒａｗ２が得られる。
　第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、それぞれ、例えば、カラーフィルタアレイに含まれる複数種類の色情報のうちのいずれか１種類の色情報が画素ごとに設定されたモザイクデータである。例えば、カラーフィルタアレイが、ＲＧＢ配列からなるベイヤ配列となっている場合には、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、カラーフィルタアレイに含まれる赤色情報、緑色情報および青色情報のうちのいずれか１種類の色情報が画素ごとに設定されたモザイクデータとなっている。この場合、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２からカラー画像データＩｃｏｌを生成するためには、全ての画素について全ての色情報を、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２から生成するデモザイク処理が必要となる。本実施の形態では、デモザイク処理を行う前の第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２において合成が行われる。第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の合成については、後に詳述する。
（信号処理部３０）
　次に、信号処理部３０について説明する。信号処理部３０は、例えば、図３に示したように、合成処理部３１およびカメラ信号処理部３２を有している。合成処理部３１は、第１および第２の撮像デバイス１０，２０によって生成された第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を互いに合成することにより、合成ＲＡＷデータＩｒａｗを生成する。カメラ信号処理部３２は、合成処理部３１で生成された合成ＲＡＷデータＩｒａｗに対してデモザイク処理を行うことにより、カラー画像データＩｃｏｌを生成する。カラー画像データＩｃｏｌは、例えば、カラーフィルタアレイに含まれる全ての種類の色情報を画素ごとに含んで構成されている。カラーフィルタアレイがＲＧＢのベイヤ配列となっている場合には、カラー画像データＩｃｏｌは、例えば、画素ごとにＲＧＢの色情報を含んで構成されている。
　図５は、合成処理部３１における信号処理の概念の一例を表したものである。図５は、合成処理部３１における信号処理の分かりやすさが優先されている関係で、簡潔な説明となっている。そのため、図５では、上記の符号とは異なる符号が用いられている。
　合成処理部３１は、第１の撮像デバイス１０からワイド画像データＩｗｉｄｅを取得し、第２の撮像デバイス２０からテレ画像データＩｔｅｌｅを取得する。テレ画像データＩｔｅｌｅは、ワイド画像データＩｗｉｄｅと比べて、画角が小さくなっている。テレ画像データＩｔｅｌｅは、ワイド画像データＩｗｉｄｅの外縁を除く所定の領域αと対応している。合成処理部３１は、第１および第２の撮像デバイス１０，２０の倍率と、ワイド画像データＩｗｉｄｅおよびテレ画像データＩｔｅｌｅの画像サイズとに基づいて、所定の領域αを設定する。
　合成処理部３１は、ワイド画像データＩｗｉｄｅから、所定の領域αを切り出すことにより、画像データＩｗｉｄｅ’を生成する。合成処理部３１は、第１および第２の撮像デバイス１０，２０の倍率に基づいて、テレ画像データＩｔｅｌｅを縮小することにより、画像データＩｔｅｌｅ’を生成する。合成処理部３１は、画像データＩｗｉｄｅ’と画像データＩｔｅｌｅ’とを互いに合成することにより、合成画像データＩｆｕｓｉｏｎを生成する。ここで、第１の撮像デバイス１０の倍率が１倍となっており、第２の撮像デバイス２０の倍率が２倍となっているとする。このとき、合成処理部３１は、例えば、ユーザによって指定された倍率が１倍のときには、ワイド画像データＩｗｉｄｅを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が２倍以上のときには、テレ画像データＩｔｅｌｅをユーザによって指定された倍率に拡大したものを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が１倍～２倍のときには、ワイド画像データＩｗｉｄｅにおいて、所定の領域αを合成画像データＩｆｕｓｉｏｎに置き換えた合成画像データＩｍｅｒｇｅを、合成ＲＡＷデータＩｒａｗとして出力する。
　なお、実際には、画像データＩｗｉｄｅ’と画像データＩｔｅｌｅ’とには、視差に起因する位置ずれや、第１および第２の撮像デバイス１０，２０間の感度違いおよび露光違いがある場合がある。また、合成画像データＩｆｕｓｉｏｎには、第１および第２の撮像デバイス１０，２０のナイキスト周波数を超える高周波成分が含まれている場合もある。そもそも、画像データＩｗｉｄｅ’や画像データＩｔｅｌｅ’はモザイクデータであるので、画像データＩｗｉｄｅ’と画像データＩｔｅｌｅ’とを互いに精度よく合成するためには、画像データＩｗｉｄｅ’や画像データＩｔｅｌｅ’に対して画素補間を行うことが好ましい。従って、合成処理部３１は、画像データＩｗｉｄｅ’や画像データＩｔｅｌｅ’に対して、以下に示したような各種の信号処理を行うことが好ましい。
［１．２　合成処理部の詳細説明］
　図６は、合成処理部３１の機能ブロックの一例を表したものである。図７は、合成処理部３１における信号処理手順の一例を表したものである。
　合成処理部３１は、位置合わせ部１３０および合成部１４０を有している。位置合わせ部１３０は、第１および第２の撮像デバイス１０，２０によって生成された第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に基づいて、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の位置合わせデータを生成する。合成部１４０は、位置合わせ部１３０によって生成された位置合わせデータに基づいて第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を互いに合成する。
　位置合わせ部１３０は、例えば、切出部１３１、ゲイン補正部１３２、画素補正部１３３，１３４、縮小部１３５および視差算出部１３６を有している。
　切出部１３１は、第１のＲＡＷデータＩｒａｗ１において、第２のＲＡＷデータＩｒａｗ２との合成を行うフュージョン領域β（図５の領域αに相当）を指定する。具体的には、切出部１３１は、第１および第２の撮像デバイス１０，２０の倍率と、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の画像サイズとに基づいて、フュージョン領域βを指定する。切出部１３１は、例えば、第１および第２の撮像デバイス１０，２０の倍率と、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の画像サイズとに基づいて、第１のＲＡＷデータＩｒａｗ１における、フュージョン領域βの座標を指定する。切出部１３１は、例えば、指定した座標に基づいて、フュージョン領域βに対応するＲＡＷデータＩｒａｗ１ａを、第１のＲＡＷデータＩｒａｗ１から切り出す（ステップＳ１０１）。
　なお、合成処理部３１は、ＲＡＷデータＩｒａｗ１ａおよび第２のＲＡＷデータＩｒａｗ２に対して、ＯＰＢ（Optical Black）減算を行ってもよい。ＯＰＢ減算とは、暗電流などに起因して生じるノイズ成分を除外することを指している。合成処理部３１は、例えば、ＲＡＷデータＩｒａｗ１ａおよび第２のＲＡＷデータＩｒａｗ２から、第１および第２の撮像デバイス１０，２０が遮光されているときに生じるノイズ成分を除外してもよい。このとき、ノイズ成分の除外により、ＲＡＷデータＩｒａｗ１ａおよび第２のＲＡＷデータＩｒａｗ２において値が負となる画素がある場合には、合成処理部３１は、その画素の座標を記憶しておく。
　ゲイン補正部１３２は、ＲＡＷデータＩｒａｗ１ａおよび第２のＲＡＷデータＩｒａｗ２における色情報ごとのゲイン比（例えば、ＲＧＢゲイン比）を算出する。ゲイン補正部１３２は、例えば、ＲＡＷデータＩｒａｗ１ａ内の平均値を色情報ごとに算出するとともに、第２のＲＡＷデータＩｒａｗ２内の平均値を色情報ごとに算出する。ゲイン補正部１３２は、例えば、ＲＡＷデータＩｒａｗ１ａ，Ｉｒａｗ２における、色情報ごとの平均値の比から、補正ゲインを色情報ごとに算出する。ゲイン補正部１３２は、算出した補正ゲインに基づいて、第２のＲＡＷデータＩｒａｗ２を補正し（ステップＳ１０２）、これにより、ＲＡＷデータＩｒａｗ２ａを生成する。
　画素補正部１３３は、ＲＡＷデータＩｒａｗ１ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ１ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ１ｂを生成する（ステップＳ１０３）。画素補正部１３４は、ＲＡＷデータＩｒａｗ２ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ２ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ２ｂを生成する。
　画素補正部１３３は、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ１ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ１ｂを生成する。画素補正部１３３は、さらに、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ２ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ２ｂを生成する。このとき、中心画素（補間対象の画素）がＧ画素のときには、画素補正部１３３は、例えば、図９に示したような補間フィルタＦを用いて、中心画素の緑色情報を補正する。また、中心画素（補間対象の画素）がＲ画素またはＢ画素のときには、画素補正部１３３は、中心画素の色情報を、例えば、図１０に示したような補間フィルタＦを用いて生成した緑色情報に置き換える。
　縮小部１３５は、第１および第２の撮像デバイス１０，２０の倍率に基づいて、補間ＲＡＷデータＩｒａｗ２ｂを縮小する（ステップＳ１０４）。視差算出部１３６は、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐを算出する（ステップＳ１０５）。視差情報Ｄｉｓｐは、第１の撮像デバイス１０と第２の撮像デバイス２０との位置が互いに一致していないことから生じる画像上の位置ずれ量に相当するものである。視差算出部１３６は、例えば、２つの画像間での動きベクトル推定法などを用いて、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃから視差情報Ｄｉｓｐを生成する。
　合成部１４０は、例えば、フュージョン部１４１、ＬＰＦ（ローパスフィルタ）部１４２、相関処理部１４３、マージ部１４４および選択部１４５を有している。
　フュージョン部１４１は、２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ１０６）。具体的には、フュージョン部１４１は、視差情報Ｄｉｓｐに基づいて２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する。
　ＬＰＦ部１４２は、合成ＲＡＷデータＩｒａｗ３ａに含まれる、第１および第２の撮像デバイス１０，２０のそれぞれのナイキスト周波数を超える高周波成分を減衰させることにより、合成ＲＡＷデータＩｒａｗ３ｂを生成する（ステップＳ１０７）。これにより、偽色の発生が抑制される。
　相関処理部１４３は、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ａに所定の処理を行った合成ＲＡＷデータＩｒａｗ３ｂに対して、相関処理を行う（ステップＳ１０８）。相関処理部１４３は、例えば、図１１に示したように、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、第１のＲＡＷデータＩｒａｗ１と補間ＲＡＷデータＩｒａｗ１ｂとの差分である色差成分（Ｉｒａｗ１－Ｉｒａｗ１ｂ）を付加する。相関処理には色比を用いることも可能である。相関処理部１４３は、例えば、図１２に示したように、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、第１のＲＡＷデータＩｒａｗ１と補間ＲＡＷデータＩｒａｗ１ｂとの比である色比成分（Ｉｒａｗ１／Ｉｒａｗ１ｂ）を乗じてもよい。これにより、相関処理部１４３は、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の配列に対応する配列のＲＡＷデータＩｒａｗ３ｃを生成する。
　マージ部１４４は、第１のＲＡＷデータＩｒａｗ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成することにより、デモザイク処理用のＲＡＷデータＩｒａｗ３ｄを生成する（ステップＳ１０９）。このとき、マージ部１４４は、例えば、ＲＡＷデータＩｒａｗ３ｃの周縁に、色情報ゼロの額縁状の領域を設けることにより、ＲＡＷデータＩｒａｗ３ｃの画像サイズを、第１のＲＡＷデータＩｒａｗ１の画像サイズに揃える。続いて、マージ部１４４は、例えば、第１のＲＡＷデータＩｒａｗ１のうちのフュージョン領域αの色情報をゼロにする。さらに、マージ部１４４は、例えば、第１のＲＡＷデータＩｒａｗ１に、第１のＲＡＷデータＩｒａｗ１の画像サイズに揃えたＲＡＷデータＩｒａｗ３ｃを足し合わせる。つまり、マージ部１４４は、例えば、第１のＲＡＷデータＩｒａｗ１のうちのフュージョン領域αを、ＲＡＷデータＩｒａｗ３ｃに置き換える。
　なお、合成処理部３１がＯＰＢ減算を行った場合には、マージ部１４４は、合成処理を行う前に、ＯＰＢ減算によって除外したノイズ成分を、符号も考慮した上で、ＲＡＷデータＩｒａｗ３ｃに加算してもよい。
　選択部１４５は、ユーザによって指定される倍率に応じて、出力する合成ＲＡＷデータＩｒａｗを選択する。第１の撮像デバイス１０の倍率が１倍となっており、第２の撮像デバイス２０の倍率が２倍となっているとする。このとき、選択部１４５は、例えば、ユーザによって指定された倍率が１倍のときには、第１のＲＡＷデータＩｒａｗ１を、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が２倍以上のときには、第２のＲＡＷデータＩｒａｗ２をユーザによって指定された倍率に拡大したものを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が１倍～２倍のときには、ＲＡＷデータＩｒａｗ３ｄを、合成ＲＡＷデータＩｒａｗとして出力する。
（撮像装置１における合成処理の効果）
　本実施の形態に係る撮像装置１では、第１の撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域が第２の撮像デバイス２０の撮像領域Ｒ２となっている。さらに、撮像装置１では、相対的に画角の広い第１のＲＡＷデータＩｒａｗ１と、第１のＲＡＷデータＩｒａｗ１よりも画角の狭い第２のＲＡＷデータＩｒａｗ２とが、第１および第２の撮像デバイス１０，２０によって生成される。これにより、合成ＲＡＷデータＩｒａｗのうち外縁を除く所定の領域（フュージョン領域β）と、第２のＲＡＷデータＩｒａｗ２とが互いに合成される。言い換えると、枠状の第１のＲＡＷデータＩｒａｗ１に、第２のＲＡＷデータＩｒａｗ２が嵌め込まれる。その結果、第１および第２の撮像デバイス１０，２０を用いて、画角の広い、高解像度の画像を得ることができる。また、第１および第２の撮像デバイス１０，２０における第１および第２の光学レンズ１２，２２の双方を固定焦点レンズで構成したとしても、機械的なズーム機構を用いずに光学ズームを実現できる。
　また、撮像装置１では、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に含まれる所定種類の色情報に基づいて、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に含まれる全ての画素の補間が行われる。これにより、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に対してデモザイク処理を行った上で合成処理を行うときと同程度の精度で、合成処理を行うことができる。
　また、撮像装置１では、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２から生成した２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｂに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐが生成される。これにより、視差情報Ｄｉｓｐを用いることにより、補間ＲＡＷデータＩｒａｗ１ｂと補間ＲＡＷデータＩｒａｗ２ｃとの合成精度を高くすることができる。
　また、撮像装置１では、合成ＲＡＷデータＩｒａｗ３ａに含まれる、第１および第２の撮像デバイス１０，２０の各々のナイキスト周波数を超える高周波成分がＬＰＦ部１４２によって減衰される。これにより、ＲＡＷデータＩｒａｗａ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成したときに、偽色の発生を抑えることができる。
　また、撮像装置１では、合成ＲＡＷデータＩｒａｗ３ｃまたは合成ＲＡＷデータＩｒａｗ３ａに所定の処理を行ったもの（合成ＲＡＷデータＩｒａｗ３ｂ）に対して、色差成分（Ｉｒａｗ１－Ｉｒａｗ１ｂ）が付加される。このように、撮像装置１では、色情報を少なくして合成処理が行われた後に、合成ＲＡＷデータＩｒａｗ３ｃまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、失われた色情報が戻される。従って、撮像装置１では、合成処理に要する処理コストや消費電力を低減しつつ、合成精度を高くすることができる。
　また、撮像装置１では、第１のＲＡＷデータＩｒａｗ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成することにより生成したＲＡＷデータＩｒａｗ３ｄに対してデモザイク処理が行われる。このように、撮像装置１では、ＲＡＷデータでの合成がなされた後にデモザイク処理が行われるので、デモザイク処理が行われた後に合成がなされる場合と比べて、処理コストや消費電力を低減することができる。
［１．３　２つの撮像デバイス間の同期制御の説明］
　上記した撮像装置１のように、第１および第２の撮像デバイス１０，２０を用いた撮像を行う場合、各撮像デバイス間で露光タイミングが適切に制御されていることが望ましい。一般に、ＣＭＯＳ等のイメージセンサを備える撮像デバイスにおける電子シャッタの方式としては、グローバルシャッタ方式とローリングシャッタ方式とが知られている。グローバルシャッタ方式では、全ての画素に同時に電子シャッタ動作を行う。このため、グローバルシャッタ方式では露光のタイミングが全画素で同じである。一方、ローリングシャッタ方式では、例えば１水平ラインずつ電子シャッタ動作を行う。このため、ローリングシャッタ方式では、露光のタイミングが例えば１水平ラインずつ、シフトした状態となる。このため、特に、第１および第２の撮像デバイス１０，２０においてローリングシャッタ方式により露光を行う場合、各撮像デバイス間で露光タイミングが適切に制御されていることが望ましい。
　なお、以下では、適宜、図１ないし図３等に示した撮像装置１の構成に対応付けた説明を行うが、本開示による同期制御の技術は、図１ないし図３等に示した撮像装置１の構成以外にも適用可能である。例えば、本開示による同期制御の技術は、第１および第２の撮像デバイス１０，２０で生成された画像データを、上記した本実施の形態の画像合成処理技術以外の方法で合成する場合にも適用可能である。また、本開示による同期制御の技術は、単に２つの画像データを生成するのみで画像合成を行わない場合にも、適用可能である。また、以下では、２つの撮像デバイス間の同期制御を例にして説明するが、後述する第２の実施の形態のように、３つの撮像デバイスを用いる場合、または４つ以上の撮像デバイスを用いる場合にも本開示による同期制御の技術を適用することが可能である。
（同一画角、かつ同一解像度（画素数）で撮像する場合）
　図１３および図１４は、第１および第２の撮像デバイス１０，２０においてローリングシャッタ方式によって互いに同一画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示している。図１３の左側には、第１の撮像デバイス１０の第１の撮像素子１１によって生成される画像データおよび露光タイミングを模式的に示す。図１３の右側には、第２の撮像デバイス２０の第２の撮像素子１２によって生成される画像データおよび露光タイミングを模式的に示す。図１４には、第１および第２の撮像デバイス１０，２０における撮像の同期信号ＸＶＳのタイミングと、第１の撮像素子１１および第２の撮像素子１２におけるそれぞれのシャッタタイミング（リセットタイミング）および画素データの読み出しタイミングとを示す。後述する図１７ないし図２１にも、同様のタイミングを示す。
　図１３および図１４に示したように、第１および第２の撮像デバイス１０，２０において、同一の被写体を互いに同一画角で撮像する場合、撮像領域は互いに略同一である。この場合、撮像（露光）の開始位置は被写体における略同一の位置ｐ１である。このため、第１および第２の撮像素子１１，２１におけるそれぞれのシャッタタイミングおよび画素データの読み出しタイミングを同じにすれば、同一の被写体位置を互いに同じタイミングで撮像（露光）することができる。また、その場合、第２の撮像素子１２における読み出し期間および露光期間は、第１の撮像素子１１における読み出し期間Ｔｒ１および露光期間Ｔｅ１と同じになる。
（異なる画角で撮像する場合）
　図１５および図１６は、第１および第２の撮像デバイス１０，２０においてローリングシャッタ方式によって互いに異なる画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示している。
　図１５および図１６に示したように、第１および第２の撮像デバイス１０，２０において、同一の被写体を互いに異なる画角で撮像する場合、撮像領域は互いに異なる。図１５および図１６の例では、第１の撮像デバイス１０は相対的に画角の広いワイド画角で撮像を行い、第２の撮像デバイス２０は相対的に画角の狭いテレ画角で撮像を行っている。この場合、第２の撮像デバイス２０の撮像領域は、第１の撮像デバイス１０に比べて相対的に狭い。第１の撮像デバイス１０の撮像（露光）の開始位置が被写体における位置ｐ１であるとすると、第２の撮像デバイス２０の撮像（露光）の開始位置は被写体における位置ｐ１よりも内側の位置ｐ２となる。このため、第１および第２の撮像素子１１，２１におけるそれぞれのシャッタタイミングおよび画素データの読み出しタイミングを同じにし、また、読み出し期間Ｔｒ１および露光期間Ｔｅ１も第１および第２の撮像素子１１，２１で同じにすると、第１の撮像素子１１と第２の撮像素子２１とで、同一の被写体位置を異なるタイミングで撮像（露光）することになる。このように、同一の被写体位置を互いに異なるタイミングで撮像（露光）すると、例えば手ぶれがあった場合や、被写体に動きがある場合に、第１および第２の撮像デバイス１０，２０で撮像された互いの画像間で相関が取れなくなるおそれがある。
　図１７および図１８は、第１および第２の撮像デバイス１０，２０においてローリングシャッタ方式によって互いに異なる画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示している。
　図１８では、第１および第２の撮像デバイス１０，２０における画角の違いに基づいて図１６の露光タイミングを最適化した例を示している。第１および第２の撮像デバイス１０，２０において互いに異なる画角、かつ同一解像度（画素数）で撮像する場合、図１８に示したように、相対的に画角の狭い撮像を行う第２の撮像素子２１の露光開始タイミングを、相対的に画角の広い撮像を行う第１の撮像素子１１の露光開始タイミングに対して遅延させることが望ましい。また、画角の狭い撮像を行う第２の撮像素子２１における画素データの読み出し速度を、画角の広い撮像を行う第１の撮像素子１１における画素データの読み出し速度よりも高速にすることが望ましい。図１８の例では第１の撮像素子１１の読み出し開始タイミングは時間ｔ１である。第２の撮像素子２１の読み出し開始タイミングは時間ｔ１から、画角の違いに応じて遅延させた時間ｔ２となっている。また、第２の撮像素子２１の読み出し期間は、第１の撮像素子１１の読み出し期間Ｔｒ１に対し、画角の違いに応じて高速化された期間Ｔｒ２となっている。このようなタイミング制御を行うことにより、第１および第２の撮像デバイス１０，２０において、同一の被写体位置を互いに同じタイミングで撮像（露光）することができる。
　なお、読み出し速度の高速化は、ビニング（binning）によって行ってもよい。ビニングとは、近傍にある複数の同色画素をアナログ的に加算する技術である。ビニングによって読み出し画素数を減らすことで、読み出し速度の高速化を図ることができる。
（異なる解像度（画素数）で撮像する場合）
　図１９および図２０は、第１および第２の撮像デバイス１０，２０においてローリングシャッタ方式によって互いに同一画角、かつ異なる解像度（画素数）で撮像する場合の露光タイミングの一例を示している。
　図１９および図２０に示したように、第１および第２の撮像デバイス１０，２０において、同一の被写体を互いに同一画角、かつ異なる解像度（画素数）で撮像する場合、撮像領域自体は互いに略同一である。この場合、第１および第２の撮像素子１１，２１におけるそれぞれの画素データの読み出し速度を同じにすると、画素数が異なるために、撮像領域が同じであるに関わらず、読み出し期間に違いが生じてしまう。図２０の例では、第１の撮像素子１１は相対的に画素数が多く高解像度で撮像を行い、第２の撮像素子２１は相対的に画素数が少なく低解像度で撮像を行っている。この場合、第２の撮像素子２１の読み出し期間は、第１の撮像素子１１の読み出し期間Ｔｒ１に対し、画素数の違いに応じて高速化された期間Ｔｒ２となる。このため、第１の撮像素子１１と第２の撮像素子２１とで、同一の被写体位置を異なるタイミングで撮像（露光）することになる。
　図２１は、第１および第２の撮像デバイス１０，２０における解像度（画素数）の違いに基づいて図２０の露光タイミングを最適化した例を示している。第１および第２の撮像デバイス１０，２０において、同一の被写体を互いに同一画角、かつ異なる解像度（画素数）で撮像する場合、図２１に示したように、相対的に画素数の少ない第２の撮像素子２１における画素データの読み出し速度を、相対的に画素数の多い第１の撮像素子１１における画素データの読み出し速度よりも遅くすることが望ましい。逆にいうと、画素数の多い第１の撮像素子１１における画素データの読み出し速度を、画素数の少ない第２の撮像素子２１における画素データの読み出し速度よりも高速にすることが望ましい。このようなタイミング制御を行うことにより、第１および第２の撮像デバイス１０，２０において、同一の被写体位置を互いに同じタイミングで撮像（露光）することができる。
（露光タイミングの同期制御を行うための制御部の構成例）
　図２２および図２３は、露光タイミングの同期制御を行うための制御部の第１および第２の構成例を示している。図２２および図２３は、第１の撮像デバイス１０の第１の光学レンズ１２と、第２の撮像デバイス２０の第２の光学レンズ２２とが、双方ともズームレンズを有する場合の構成例である。
　図２２に示したように、制御部４０は、初期値格納部４１と、撮像制御部６０と、レンズ制御部７０とを有していてもよい。なお、図２３に示したように、初期値格納部４１、撮像制御部６０、およびレンズ制御部７０を、制御部４０の外に設けてもよい。
　撮像制御部６０は、読み出し制御部６１と、シャッタ制御部６２とを含んでもよい。読み出し制御部６１は、第１および第２の撮像素子１１，２１におけるそれぞれの画素データの読み出しタイミングを制御する。シャッタ制御部６２は、第１および第２の撮像素子１１，２１におけるそれぞれのシャッタタイミングを制御する。
　レンズ制御部７０は、フォーカス制御部７１と、ズーム制御部７２とを含んでもよい。フォーカス制御部７１は、第１および第２の光学レンズ１２，２２のフォーカシングの制御を行う。ズーム制御部７２は、第１および第２の光学レンズ１２，２２のズーミングの制御を行う。ズーム制御部７２は、第１および第２の光学レンズ１２，２２のズーム倍率の情報を、読み出し制御部６１とシャッタ制御部６２とに送信する。
　初期値格納部４１は、第１の撮像デバイス１０および第２の撮像デバイス２０における初期の撮像条件の情報を格納する。初期の撮像条件は、例えば、画角、画素数、クロック速度、フレームレート、露光時間、および動作モード等の露光タイミングに影響を与えるパラメータを含んでいてもよい。
　撮像制御部６０は、ローリングシャッタ方式により露光を行う第１の撮像デバイス１０の露光タイミングと、第１の撮像デバイス１０とは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイス２０の露光タイミングとを、撮像条件に基づいて同期させる。
　ここで、撮像条件は、画角および画素数の少なくとも１つを含んでいてもよい。第２の撮像デバイス２０の撮像条件は、第１の撮像デバイス１０の撮像条件に対して画角および画素数の少なくとも一方が異なっていてもよい。
　また、撮像条件は、ズームレンズのズーム倍率を含んでいてもよい。撮像制御部６０は、第１の撮像デバイス１０の露光タイミングと第２の撮像デバイス２０の露光タイミングとを、ズーム倍率に基づいて動的に同期させてもよい。
　撮像制御部６０は、上述の図１８に示した例のように、第１の撮像デバイス１０および第２の撮像デバイス２０のうち、相対的に画角の狭い撮像を行う撮像デバイスの露光開始タイミングを、相対的に画角の広い撮像を行う撮像デバイスの露光開始タイミングに対して遅延させる制御を行ってもよい。この場合、撮像制御部６０は、画角の狭い撮像を行う撮像デバイスにおける画素データの読み出し速度を、画角の広い撮像を行う撮像デバイスにおける画素データの読み出し速度よりも高速化させる制御を行ってもよい。
　また、撮像制御部６０は、上述の図２１に示した例のように、第１の撮像デバイス１０および第２の撮像デバイス２０のうち、相対的に画素数の多い撮像デバイスにおける画素データの読み出し速度を、相対的に画素数の少ない撮像デバイスにおける画素データの読み出し速度よりも高速にする制御を行ってもよい。
　図２４は、露光タイミングの同期制御を行うための制御部の第３の構成例を示している。図２４の構成例は、図２２の構成例における第１の光学レンズ１２に代えて第１の光学レンズ１２Ａを備えている。第１の光学レンズ１２Ａは、ズームレンズに代えて固定焦点レンズを含んでいる。この構成例では、ズーム制御部７２は、第２の光学レンズ２２のズーミングの制御を行う。その他の構成は、図２２の構成例と略同様であってもよい。
　図２５は、露光タイミングの同期制御を行うための制御部の第４の構成例を示している。図２５の構成例は、図２２の構成例における第１の光学レンズ１２に代えて第１の光学レンズ１２Ａを備えている。また、図２２の構成例における第２の光学レンズ２２に代えて第２の光学レンズ２２Ａを備えている。第１および第２の光学レンズ１２Ａ，２２Ａは、ズームレンズに代えて固定焦点レンズを含んでいる。
　図２５の構成例では、レンズ制御部７０からズーム制御部７２を省いたレンズ制御部７０Ａを備えた構成にすることができる。この構成例では、撮像制御部６０は、第１の撮像デバイス１０の露光タイミングと第２の撮像デバイス２０の露光タイミングとを、初期値格納部４１に格納された初期の撮像条件に基づいて同期させる。その他の構成は、図２２の構成例と略同様であってもよい。
　図２６は、第１および第２の撮像デバイスの少なくとも一方がズーミングを行う場合（図２２ないし図２４の構成例）における露光タイミングの同期制御の一例を示している。
　撮像制御部６０は、電源がオンされると（ステップＳ２０１）、初期値格納部４１から初期パラメータを読み込む（ステップＳ２０２）。初期パラメータは、例えば、画素数、クロック速度、フレームレート、露光時間、および動作モード等の露光タイミングに影響を与える初期の撮像条件であってもよい。ズーム倍率によって画角は動的に変わるので、次に、撮像制御部６０は、ズーム制御部７２からズームレンズのズーム倍率の情報を読み込む（ステップＳ２０３）。これにより、ズーム倍率に応じた画角が決定される。次に、撮像制御部６０は、取得した画角等の撮像条件に基づいて、第１および第２の撮像素子１１，２１におけるそれぞれの画素データの読み出しタイミングを決定する（ステップＳ２０４）。次に、撮像制御部６０は、取得した画角等の撮像条件に基づいて、第１および第２の撮像素子１１，２１におけるそれぞれのシャッタタイミングを決定する（ステップＳ２０５）。次に、撮像制御部６０は、決定したシャッタタイミングおよび読み出しタイミングで、第１および第２の撮像素子１１，２１に撮像を開始させる（ステップＳ２０６）。
　図２７は、第１および第２の撮像デバイスが双方とも固定焦点で撮像を行う場合（図２５の構成例）における露光タイミングの同期制御の一例を示している。
　撮像制御部６０は、電源がオンされると（ステップＳ２０１）、初期値格納部４１から初期パラメータを読み込む（ステップＳ２０２Ａ）。初期パラメータは、例えば、画角、画素数、クロック速度、フレームレート、露光時間、および動作モード等の露光タイミングに影響を与える初期の撮像条件であってもよい。次に、撮像制御部６０は、取得した画角等の撮像条件に基づいて、第１および第２の撮像素子１１，２１におけるそれぞれの画素データの読み出しタイミングを決定する（ステップＳ２０４）。次に、撮像制御部６０は、取得した画角等の撮像条件に基づいて、第１および第２の撮像素子１１，２１におけるそれぞれのシャッタタイミングを決定する（ステップＳ２０５）。次に、撮像制御部６０は、決定したシャッタタイミングおよび読み出しタイミングで、第１および第２の撮像素子１１，２１に撮像を開始させる（ステップＳ２０６）。
［１．４　効果］
　以上のように、本実施の形態によれば、第１の撮像デバイス１０の露光タイミングと第２の撮像デバイス２０の露光タイミングとを撮像条件に基づいて適切に同期制御するようにしたので、複数の撮像デバイスで同一被写体を略同一の露光タイミングで撮像することができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
［１．５　第１の実施の形態の変形例］
　図２８は、第１の実施の形態の変形例に係る撮像装置２００の概略構成を示している。
　上記した撮像装置１では、合成処理部３１の後段にカメラ信号処理部３２を設けた構成となっているが、図２８に示した撮像装置２００のように、第１および第２のカメラ信号処理部２３０，２４０の後段に合成処理部２５０を設けた構成であってもよい。
　撮像装置２００は、第１の撮像デバイス１０で得られた第１のＲＡＷデータＩｒａｗ１をカラー画像Ｉｃｏｌ１に変換するカメラ信号処理部２３０と、第２の撮像デバイス２０で得られた第２のＲＡＷデータＩｒａｗ２をカラー画像Ｉｃｏｌ２に変換するカメラ信号処理部２４０とを備えている。撮像装置２００は、さらに、第１および第２のカメラ信号処理部２３０，２４０で得られたカラー画像Ｉｃｏｌ１，Ｉｃｏｌ２を互いに合成することにより、カラー画像Ｉｃｏｌ３を生成する合成処理部２５０を備えている。このように、撮像装置２００では、カラー画像化（デモザイク処理）が第１および第２の撮像デバイス１０，２０ごとに行われるとともに、カラー画像化（デモザイク処理）がなされた後に、画像合成がなされる。
　なお、上記した撮像装置１では、画角の互いに異なる第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に基づいて生成された位置合わせデータに基づいて、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２が互いに合成される。つまり、上記した撮像装置１では、デモザイク処理が行われる前のＲＡＷデータの段階で合成が行われるので、デモザイク処理の回数を１回に減らすことができる。さらに、上記した撮像装置１では、合成対象である第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、本変形例の撮像装置２００の合成対象であるカラー画像データＩｃｏｌ１，Ｉｃｏｌ２と比べて、画素ごとの色情報が少ないので、合成のために必要な演算量を抑えることができる。従って、上記した撮像装置１では、本変形例の撮像装置２００に比べて、デモザイク処理および合成処理に要する処理コストや消費電力を低減することができる。
　また、上記した撮像装置１では、合成処理部３１からはＲＡＷデータＩｒａｗが出力される。これにより、合成処理部３１の後段であるカメラ信号処理部３２には、通常のカメラ信号処理部等を、改変を加えずにそのまま用いることもできる。つまり、上記した撮像装置１では、カメラ信号処理部３２に対して、単一の撮像デバイスのＲＡＷ出力に対する、デモザイク処理以降の処理構成に一切の変更を行っていないものを適用することができる。従って、上記した撮像装置１では、単一の撮像デバイスを使ったときと同様の簡便さで、デモザイク処理および合成処理に要する処理コストや消費電力を低減することができる。
＜２．第２の実施の形態＞
　次に、本開示の第２の実施の形態について説明する。以下では、上記第１の実施の形態と略同様の構成および作用を有する部分については、適宜説明を省略する。
　上記第１の実施の形態では、撮像装置１は第１および第２の撮像デバイス１０，２０を備えていたが、３つ以上の撮像デバイスを備えていてもよい。例えば、図２９および図３０に示したように、撮像装置１は第１および第２の撮像デバイス１０，２０と第３の撮像デバイス５０との３つの撮像デバイスを備えていてもよい。第１、第２および第３の撮像デバイス１０，２０，５０は、例えば、物理的な配置が互いに水平となるように配置されている。第１の撮像デバイス１０の光軸ＡＸ１と、第２の撮像デバイス２０の光軸ＡＸ２と、第３の撮像デバイス５０の光軸ＡＸ３とは、例えば、図２９示したように、互いに非平行となっている。このとき、光軸ＡＸ１，ＡＸ２，ＡＸ３は、撮像装置１から離れるにつれて光軸ＡＸ１，ＡＸ２，ＡＸ３のそれぞれの間隙が互いに狭まる方向を向いていることが好ましい。光軸ＡＸ１，ＡＸ２，ＡＸ３は、互いに平行となっていてもよい。
　本実施の形態では、位置合わせ部１３０は、第１、第２および第３の撮像デバイス１０，２０，５０の各々によって生成された３つ以上のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４に基づいて、３つ以上のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４の位置合わせデータを生成する。合成部１４０は、位置合わせ部１３０によって生成された位置合わせデータに基づいて３つ以上のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４を互いに合成する。
　本実施の形態では、第２の撮像デバイス２０は、第１の撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域を撮像領域Ｒ２としている。第３の撮像デバイス５０は、第３の撮像素子５１および第３の光学レンズ５２を有しており、第２の撮像デバイス２０の撮像領域Ｒ２のうち外縁を除く領域を撮像領域Ｒ３としている。第３の光学レンズ５２は、第３の被写体光Ｌ３を集光して、第３の撮像素子５１の光入射面に入射させる。第１、第２および第３の撮像デバイス１０，２０，５０は、各々で画角の互いに異なる第１、第２および第３のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４を生成する。第１の撮像デバイス１０は、最も画角の広い第１のＲＡＷデータＩｒａｗ１を撮像により生成する。第２の撮像デバイス２０は、第１のＲＡＷデータＩｒａｗ１よりも画角の狭い第２のＲＡＷデータＩｒａｗ２を撮像により生成する。第３の撮像デバイス５０は、第２のＲＡＷデータＩｒａｗ２よりも画角の狭い第３のＲＡＷデータＩｒａｗ４を撮像により生成する。
　本実施の形態では、合成処理部３１は、第１のＲＡＷデータＩｒａｗ１のうち外縁を除く所定の領域と、ＲＡＷデータＩｒａｗａ２との合成と、ＲＡＷデータＩｒａｗａ２のうち外縁を除く所定の領域と、第３のＲＡＷデータＩｒａｗ４との合成とを行う。
　図３１は、本実施の形態における合成処理部３１の機能ブロックの一例を表したものである。本実施の形態では、位置合わせ部１３０は、第３のＲＡＷデータＩｒａｗ４用の信号処理ブロックを有しており、例えば、ゲイン補正部１３７、画素補正部１３８および縮小部１３９を有している。
　ゲイン補正部１３７は、第２および第３のＲＡＷデータＩｒａｗ２，Ｉｒａｗ４における色情報ごとのゲイン比（例えば、ＲＧＢゲイン比）を算出する。ゲイン補正部１３７は、例えば、第２のＲＡＷデータＩｒａｗ２内の平均値を色情報ごとに算出するとともに、第３のＲＡＷデータＩｒａｗ４内の平均値を色情報ごとに算出する。ゲイン補正部１３７は、例えば、第２および第３のＲＡＷデータＩｒａｗ２，Ｉｒａｗ４における、色情報ごとの平均値の比から、補正ゲインを色情報ごとに算出する。ゲイン補正部１３７は、算出した補正ゲインに基づいて、第３のＲＡＷデータＩｒａｗ４を補正し、これにより、ＲＡＷデータＩｒａｗ４ａを生成する。
　画素補正部１３８は、ＲＡＷデータＩｒａｗ４ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ４ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ４ｂを生成する。画素補正部１３８は、ＲＡＷデータＩｒａｗ４ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ４ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ４ｂを生成する。
　画素補正部１３８は、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ４ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ４ｂを生成する。このとき、中心画素（補間対象の画素）がＧ画素のときには、画素補正部１３８は、例えば、図９に示したような補間フィルタＦを用いて、中心画素の緑色情報を補正する。また、中心画素（補間対象の画素）がＲ画素またはＢ画素のときには、画素補正部１３３は、中心画素の色情報を、例えば、図１０に示したような補間フィルタＦを用いて生成した緑色情報に置き換える。
　縮小部１３９は、第２および第３の撮像デバイス２０，５０の倍率に基づいて、補間ＲＡＷデータＩｒａｗ４ｂを縮小する。視差算出部１３６は、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃ，Ｉｒａｗ４ｃに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐを算出する。視差情報Ｄｉｓｐは、第１の撮像デバイス１０と第２の撮像デバイス２０との位置が互いに一致していないことから生じる画像上の位置ずれ量と、第２の撮像デバイス２０と第３の撮像デバイス５０との位置が互いに一致していないことから生じる画像上の位置ずれ量とに相当するものである。視差算出部１３６は、例えば、２つの画像間での動きベクトル推定法などを用いて、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃ，Ｉｒａｗ４ｃから視差情報Ｄｉｓｐを生成する。
　本実施の形態では、フュージョン部１４１は、２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成するとともに、２つの補間ＲＡＷデータＩｒａｗ２ｃ，Ｉｒａｗ４ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する。具体的には、フュージョン部１４１は、視差情報Ｄｉｓｐに基づいて、２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成するとともに、２つの補間ＲＡＷデータＩｒａｗ２ｃ，Ｉｒａｗ４ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する。
　本実施の形態では、画角の互いに異なる第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に基づいて生成された位置合わせデータに基づいて、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２が互いに合成される。さらに、画角の互いに異なる第２および第３のＲＡＷデータＩｒａｗ２，Ｉｒａｗ４に基づいて生成された位置合わせデータに基づいて、第２および第３のＲＡＷデータＩｒａｗ２，Ｉｒａｗ４が互いに合成される。つまり、本実施の形態では、デモザイク処理が行われる前のＲＡＷデータの段階で合成が行われるので、デモザイク処理の回数を減らすことができる。さらに、本実施の形態における合成対象である第１、第２および第３のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４は、従来の合成対象であるカラー画像データと比べて、画素ごとの色情報が少ない。従って、デモザイク処理および合成処理に要する処理コストや消費電力を低減することができる。
　また、本実施の形態では、第１の撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域が第２の撮像デバイス２０の撮像領域Ｒ２となっており、第２の撮像デバイス２０の撮像領域Ｒ２のうち外縁を除く領域が第３の撮像デバイス５０の撮像領域Ｒ３となっている。さらに、本実施の形態では、相対的に画角の広い第１のＲＡＷデータＩｒａｗ１と、第１のＲＡＷデータＩｒａｗ１よりも画角の狭い第２のＲＡＷデータＩｒａｗ２と、第２のＲＡＷデータＩｒａｗ２よりも画角の狭い第３のＲＡＷデータＩｒａｗ４とが第１、第２および第３の撮像デバイス１０，２０，５０によって生成される。これにより、合成ＲＡＷデータＩｒａｗのうち外縁を除く所定の領域（フュージョン領域β）と、第２のＲＡＷデータＩｒａｗ２とが互いに合成される。さらに、第２のＲＡＷデータＩｒａｗ２のうち外縁を除く所定の領域と、第３のＲＡＷデータＩｒａｗ４とが互いに合成される。言い換えると、枠状の第１のＲＡＷデータＩｒａｗ１に、第２のＲＡＷデータＩｒａｗ２が嵌め込まれるとともに、枠状の第２のＲＡＷデータＩｒａｗ２に、第３のＲＡＷデータＩｒａｗ４が嵌め込まれる。その結果、第１、第２および第３の撮像デバイス１０，２０，５０を用いて、画角の広い、高解像度の画像を得ることができる。また、第１、第２および第３の撮像デバイス１０，２０，５０における第１、第２および第３の光学レンズ１２，２２，５２の全てを固定焦点レンズで構成したとしても、機械的なズーム機構を用いずに光学ズームを実現できる。
　その他の構成および動作、ならびに効果は、上記第１の実施の形態と略同様であってもよい。
＜３．その他の実施の形態＞
　本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
　図１に示した撮像装置１等が適用されるカメラとしてのバリエーションは様々な形態を考えることができる。第１の光学レンズ１２等は、固定式でも交換式でもよい。第１の光学レンズ１２等が交換式のレンズ部である場合、図２２および図２３等に示したレンズ制御部７０および撮像制御部６０は、カメラ本体側に設けられていてもよいし、交換式のレンズ部側に設けられていてもよい。
　また、図１に示した撮像装置１等において、信号処理部３０で生成されたカラー画像データＩｃｏｌを、外部メモリに保存したり、ディスプレイに表示するようにしてもよい。また、保存や表示の代わりに、カラー画像データＩｃｏｌをネットワークで他の装置に伝送しても構わない。また、図１に示した信号処理部３０が、撮像装置１の本体とは別であっても構わない。例えば、信号処理部３０が、撮像装置１に接続されたネットワークの先にあっても構わない。また、撮像装置１の本体では画像処理を行わずに、外部メモリに画像データを保存してＰＣ（パーソナルコンピュータ）等の別の装置で画像処理を行っても構わない。
　なお、信号処理部３０の処理は、コンピュータによるプログラムとして実行することが可能である。本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
　また、本技術による一連の画像処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体にあらかじめ記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　また、例えば、本技術は以下のような構成を取ることができる。
（１）
　ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期させる撮像制御部
　を備えた撮像制御装置。
（２）
　前記撮像条件は、画角および画素数の少なくとも１つを含み、
　前記第２の撮像デバイスの撮像条件は、前記第１の撮像デバイスの撮像条件に対して画角および画素数の少なくとも一方が異なる
　上記（１）に記載の撮像制御装置。
（３）
　前記第１の撮像デバイスおよび前記第２の撮像デバイスの初期の前記撮像条件の情報を格納する格納部をさらに備え、
　前記撮像制御部は、前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記初期の撮像条件に基づいて同期させる
　上記（１）または（２）に記載の撮像制御装置。
（４）
　前記第１の撮像デバイスおよび前記第２の撮像デバイスの少なくとも一方は、ズームレンズを有し、
　前記撮像条件は、少なくとも前記ズームレンズのズーム倍率を含み、
　前記撮像制御部は、前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記ズーム倍率に基づいて同期させる
　上記（１）ないし（３）のいずれか１つに記載の撮像制御装置。
（５）
　前記撮像条件は、少なくとも画角を含み、
　前記撮像制御部は、前記第１の撮像デバイスおよび前記第２の撮像デバイスのうち、相対的に画角の狭い撮像を行う撮像デバイスの露光開始タイミングを、相対的に画角の広い撮像を行う撮像デバイスの露光開始タイミングに対して遅延させる
　上記（１）ないし（４）のいずれか１つに記載の撮像制御装置。
（６）
　前記撮像制御部は、前記画角の狭い撮像を行う撮像デバイスにおける画素データの読み出し速度を、前記画角の広い撮像を行う撮像デバイスにおける画素データの読み出し速度よりも高速にする
　上記（５）に記載の撮像制御装置。
（７）
　前記撮像条件は、少なくとも画素数を含み、
　前記撮像制御部は、前記第１の撮像デバイスおよび前記第２の撮像デバイスのうち、相対的に画素数の多い撮像デバイスにおける画素データの読み出し速度を、相対的に画素数の少ない撮像デバイスにおける画素データの読み出し速度よりも高速にする
　上記（１）ないし（４）のいずれか１つに記載の撮像制御装置。
（８）
　ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期制御する
　撮像制御方法。
（９）
　ローリングシャッタ方式により露光を行う第１の撮像デバイスと、
　前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスと、
　前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期させる撮像制御部と
　を備えた撮像装置。
（１０）
　前記第１の撮像デバイスおよび前記第２の撮像デバイスにおいて互いに異なる画角で撮像されることにより生成された、互いに撮像領域の異なる２つの画像データを合成する合成部
　をさらに備えた
　上記（９）に記載の撮像装置。
（１１）
　前記合成部は、
　前記２つの画像データのうち相対的に画角の広い画像データにおける外縁を除く所定の領域内に、相対的に画角の狭い画像データが含まれるように、前記２つの画像データを合成する
　上記（１０）に記載の撮像装置。
　本出願は、日本国特許庁において２０１６年３月１７日に出願された日本特許出願番号第２０１６－０５３９９５号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (11)

  1. 　ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期させる撮像制御部
    　を備えた撮像制御装置。
  2. 　前記撮像条件は、画角および画素数の少なくとも１つを含み、
    　前記第２の撮像デバイスの撮像条件は、前記第１の撮像デバイスの撮像条件に対して画角および画素数の少なくとも一方が異なる
    　請求項１に記載の撮像制御装置。
  3. 　前記第１の撮像デバイスおよび前記第２の撮像デバイスの初期の前記撮像条件の情報を格納する格納部をさらに備え、
    　前記撮像制御部は、前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記初期の撮像条件に基づいて同期させる
    　請求項１に記載の撮像制御装置。
  4. 　前記第１の撮像デバイスおよび前記第２の撮像デバイスの少なくとも一方は、ズームレンズを有し、
    　前記撮像条件は、少なくとも前記ズームレンズのズーム倍率を含み、
    　前記撮像制御部は、前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記ズーム倍率に基づいて同期させる
    　請求項１に記載の撮像制御装置。
  5. 　前記撮像条件は、少なくとも画角を含み、
    　前記撮像制御部は、前記第１の撮像デバイスおよび前記第２の撮像デバイスのうち、相対的に画角の狭い撮像を行う撮像デバイスの露光開始タイミングを、相対的に画角の広い撮像を行う撮像デバイスの露光開始タイミングに対して遅延させる
    　請求項１に記載の撮像制御装置。
  6. 　前記撮像制御部は、前記画角の狭い撮像を行う撮像デバイスにおける画素データの読み出し速度を、前記画角の広い撮像を行う撮像デバイスにおける画素データの読み出し速度よりも高速にする
    　請求項５に記載の撮像制御装置。
  7. 　前記撮像条件は、少なくとも画素数を含み、
    　前記撮像制御部は、前記第１の撮像デバイスおよび前記第２の撮像デバイスのうち、相対的に画素数の多い撮像デバイスにおける画素データの読み出し速度を、相対的に画素数の少ない撮像デバイスにおける画素データの読み出し速度よりも高速にする
    　請求項１に記載の撮像制御装置。
  8. 　ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期制御する
    　撮像制御方法。
  9. 　ローリングシャッタ方式により露光を行う第１の撮像デバイスと、
    　前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスと、
    　前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期させる撮像制御部と
    　を備えた撮像装置。
  10. 　前記第１の撮像デバイスおよび前記第２の撮像デバイスにおいて互いに異なる画角で撮像されることにより生成された、互いに撮像領域の異なる２つの画像データを合成する合成部
    　をさらに備えた
    　請求項９に記載の撮像装置。
  11. 　前記合成部は、
    　前記２つの画像データのうち相対的に画角の広い画像データにおける外縁を除く所定の領域内に、相対的に画角の狭い画像データが含まれるように、前記２つの画像データを合成する
    　請求項１０に記載の撮像装置。
PCT/JP2017/001384 2016-03-17 2017-01-17 撮像制御装置、および撮像制御方法、ならびに撮像装置 WO2017159027A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780016425.3A CN108781250B (zh) 2016-03-17 2017-01-17 摄像控制装置、摄像控制方法和摄像装置
KR1020187021360A KR20180121879A (ko) 2016-03-17 2017-01-17 촬상 제어 장치, 및 촬상 제어 방법, 및 촬상 장치
US16/083,007 US11290619B2 (en) 2016-03-17 2017-01-17 Imaging control apparatus, imaging control method, and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-053995 2016-03-17
JP2016053995A JP2017169111A (ja) 2016-03-17 2016-03-17 撮像制御装置、および撮像制御方法、ならびに撮像装置

Publications (1)

Publication Number Publication Date
WO2017159027A1 true WO2017159027A1 (ja) 2017-09-21

Family

ID=59852217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001384 WO2017159027A1 (ja) 2016-03-17 2017-01-17 撮像制御装置、および撮像制御方法、ならびに撮像装置

Country Status (5)

Country Link
US (1) US11290619B2 (ja)
JP (1) JP2017169111A (ja)
KR (1) KR20180121879A (ja)
CN (1) CN108781250B (ja)
WO (1) WO2017159027A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109835266A (zh) * 2017-11-29 2019-06-04 株式会社电装 摄像装置模块
US20190253633A1 (en) * 2018-02-14 2019-08-15 Samsung Electronics Co., Ltd. Electronic device and method for controlling display of images

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810751B2 (en) * 2017-06-23 2020-10-20 Panasonic Intellectual Property Corporation Of America Distance measuring apparatus and distance measuring method
JP2019102889A (ja) * 2017-11-29 2019-06-24 株式会社デンソー カメラシステム
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
JP7242332B2 (ja) 2019-02-18 2023-03-20 キヤノン株式会社 同期制御装置、同期制御方法、及びプログラム
JP2020167626A (ja) * 2019-03-29 2020-10-08 キヤノン株式会社 撮像装置およびその制御方法
CN110290322A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
KR20220075028A (ko) * 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175970A (ja) * 2003-12-11 2005-06-30 Canon Inc 撮像システム
JP2012227773A (ja) * 2011-04-20 2012-11-15 Toyota Motor Corp 画像認識装置
US20140198184A1 (en) * 2013-01-15 2014-07-17 Mobileye Technologies Ltd. Stereo assist with rolling shutters

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134375A (ja) 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
US7663662B2 (en) * 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
KR101351100B1 (ko) * 2009-06-16 2014-01-14 인텔 코오퍼레이션 핸드헬드 디바이스의 카메라 응용
US20120075489A1 (en) * 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
CN113472989A (zh) * 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
CN108989647B (zh) * 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175970A (ja) * 2003-12-11 2005-06-30 Canon Inc 撮像システム
JP2012227773A (ja) * 2011-04-20 2012-11-15 Toyota Motor Corp 画像認識装置
US20140198184A1 (en) * 2013-01-15 2014-07-17 Mobileye Technologies Ltd. Stereo assist with rolling shutters

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109835266A (zh) * 2017-11-29 2019-06-04 株式会社电装 摄像装置模块
CN109835266B (zh) * 2017-11-29 2023-08-08 株式会社电装 摄像装置模块
US20190253633A1 (en) * 2018-02-14 2019-08-15 Samsung Electronics Co., Ltd. Electronic device and method for controlling display of images
US10911687B2 (en) * 2018-02-14 2021-02-02 Samsung Electronics Co., Ltd. Electronic device and method for controlling display of images

Also Published As

Publication number Publication date
KR20180121879A (ko) 2018-11-09
CN108781250A (zh) 2018-11-09
US20190098180A1 (en) 2019-03-28
CN108781250B (zh) 2021-02-19
US11290619B2 (en) 2022-03-29
JP2017169111A (ja) 2017-09-21

Similar Documents

Publication Publication Date Title
WO2017159027A1 (ja) 撮像制御装置、および撮像制御方法、ならびに撮像装置
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
JP5917054B2 (ja) 撮像装置、画像データ処理方法、およびプログラム
JP5701785B2 (ja) カメラモジュール
JP6711612B2 (ja) 画像処理装置、画像処理方法、および撮像装置
US10075640B2 (en) Motion compensation for image sensor with a block based analog-to-digital converter
US10469728B2 (en) Imaging device having a lens array of micro lenses
JP2013092552A (ja) 固体撮像装置及びカメラモジュール
JPH10336686A (ja) 撮像装置
US20210149283A1 (en) Signal processing apparatus and imaging apparatus
JP2007243917A (ja) 撮像装置および画像処理プログラム
JP2009044637A (ja) 撮像装置
WO2015186510A1 (ja) 撮像装置および方法、並びにプログラム
US20200389596A1 (en) Image sensor and image processing system including thereof
JP5363872B2 (ja) 画像補正装置及びそのプログラム
JP2007049301A (ja) 画像処理装置及び画像処理方法
JP2010010958A (ja) マルチバンド画像撮像方法および装置
US11218679B2 (en) Image processing device, image processing method, and imaging device
JP7237164B2 (ja) 撮像装置、撮像方法、および映像処理プログラム
WO2019053764A1 (ja) 撮像装置
JP2008066910A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011176584A (ja) 撮像装置
JP2011109231A (ja) 撮像装置
JP2016158106A (ja) 撮像装置および撮像装置の制御方法
JP2009171378A (ja) 撮像信号処理回路、撮像信号処理方法、プログラムおよび撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187021360

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17766035

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17766035

Country of ref document: EP

Kind code of ref document: A1