WO2017195459A1 - 撮像装置、および撮像方法 - Google Patents

撮像装置、および撮像方法 Download PDF

Info

Publication number
WO2017195459A1
WO2017195459A1 PCT/JP2017/010137 JP2017010137W WO2017195459A1 WO 2017195459 A1 WO2017195459 A1 WO 2017195459A1 JP 2017010137 W JP2017010137 W JP 2017010137W WO 2017195459 A1 WO2017195459 A1 WO 2017195459A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
exposure amount
unit
imaging unit
Prior art date
Application number
PCT/JP2017/010137
Other languages
English (en)
French (fr)
Inventor
和幸 奥池
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/097,913 priority Critical patent/US10771711B2/en
Publication of WO2017195459A1 publication Critical patent/WO2017195459A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/18—Motion-picture cameras
    • G03B19/22—Double cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Definitions

  • the present disclosure relates to an imaging apparatus that captures a plurality of images and an imaging method.
  • An imaging apparatus includes a first imaging unit that sequentially captures a plurality of images including a first image, and a first imaging unit that captures at least one image including a second image.
  • a plurality of images including the first image are sequentially captured by the first imaging unit, and at least one image including the second image is captured first.
  • the feature amount of the subject is calculated on the basis of shooting with the second imaging unit, combining a plurality of images shot with the first imaging unit, and the first image and the second image. And controlling the first imaging unit and the second imaging unit so as to reduce the difference between the exposure amount of the first image and the exposure amount of the second image. is there.
  • a plurality of images including the first image are sequentially captured by the first imaging unit, and at least one including the second image Are captured by the second imaging unit.
  • the first imaging unit and the second imaging unit are controlled so as to reduce the difference between the exposure amount of the first image and the exposure amount of the second image.
  • the difference in the exposure amount between the first image and the second image used for calculating the feature amount of the subject is reduced.
  • the feature amount of the subject can be calculated with high accuracy while creating an image with a wide dynamic range. Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus according to a first embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration example of a first signal processing unit in the imaging apparatus illustrated in FIG. 1. It is a block diagram which shows one structural example of the 2nd signal processing part in the imaging device shown in FIG.
  • FIG. 2 is a block diagram illustrating a configuration example of a feature amount calculation unit in the imaging apparatus illustrated in FIG. 1.
  • 2 is a flowchart illustrating an example of exposure amount control by an exposure amount control unit in the imaging apparatus illustrated in FIG. 1.
  • 3 is a flowchart illustrating an example of a first exposure amount control process by an exposure amount control unit in the imaging apparatus illustrated in FIG. 1.
  • First embodiment an image pickup apparatus capable of performing ranging with high accuracy while creating an image with a wide dynamic range
  • Figs. 1 to 4 1.2 Operation (Figs. 5-14)
  • Effects Second embodiment FIG. 15
  • Third embodiment (FIG. 16) 4).
  • Fourth embodiment (FIG. 17) 5).
  • Fifth Embodiment (Analysis System Using Imaging Device) (FIGS. 18 to 23) 6).
  • Sixth embodiment (application example to a moving object) (FIGS. 24 to 25) 7).
  • First Embodiment> There has been proposed a technique of an imaging apparatus that can simultaneously generate a wide dynamic range image and measure a subject based on a plurality of images having parallax and different exposure amounts.
  • this technology in order to obtain an image with a wide dynamic range, when performing distance measurement using two images with different exposure amounts, gain is applied to an image with a small exposure amount to make the brightness the same. Then measure the distance. For this reason, the ranging accuracy is reduced due to noise amplified by applying gain. In addition, it is difficult to measure the distance with high accuracy even when the exposure amount is different or when an image after image processing including nonlinear processing with different parameters is used.
  • an imaging device technique capable of performing ranging with high accuracy while creating an image with a wide dynamic range.
  • FIG. 1 illustrates a configuration example of an imaging apparatus according to the first embodiment of the present disclosure.
  • the imaging apparatus includes a first imaging unit 11, a second imaging unit 12, a first AD (analog / digital) circuit 21, a second AD circuit 22, and a first signal.
  • a processing unit 31, a second signal processing unit 32, a feature amount calculation unit 40, and an exposure amount control unit 50 are provided.
  • the first imaging unit 11 includes a first imaging element 11A.
  • the second imaging unit 12 has a second imaging element 12A.
  • the first image sensor 11A and the second image sensor 12A are arranged at different positions. As a result, the image captured by the first image sensor 11A and the image captured by the second image sensor 12A are in a state of having parallax.
  • the first signal processing unit 31 includes a plurality of image selection units 71, 72, 73, a plurality of image buffers 74, 75, 76, and a wide dynamic range image generation unit 77. is doing.
  • the second signal processing unit 32 includes a plurality of image selection units 81, 82, 83, a plurality of image buffers 84, 85, 86, and a wide dynamic range image generation unit 87. is doing.
  • the feature amount calculation unit 40 includes an image selection unit 41, a plurality of image buffers 42 and 43, and a distance information calculation unit 44.
  • the first imaging unit 11 sequentially captures a plurality of images.
  • a plurality of images captured by the first imaging unit 11 are converted into digital signals by the first AD circuit 21 and input to the first signal processing unit 31.
  • the first signal processing unit 31 combines a plurality of images and outputs a first combined image with an expanded dynamic range.
  • the second imaging unit 12 sequentially captures a plurality of images.
  • the plurality of images captured by the second imaging unit 12 are converted into digital signals by the second AD circuit 22 and input to the second signal processing unit 32.
  • the second signal processing unit 32 combines a plurality of images and outputs a second combined image with an expanded dynamic range.
  • the feature amount calculation unit 40 calculates distance information as feature amount information.
  • the exposure amount control unit 50 controls the exposure amount and the exposure timing for the first imaging unit 11 and the second imaging unit 12. Further, the exposure amount control unit 50 performs image selection control on the first signal processing unit 31, the second signal processing unit 32, and the feature amount calculation unit 40.
  • the first signal processing unit 31 includes, for example, three images taken with the exposure amounts a1, a2, and a3 from the first imaging unit 11 via the first AD circuit 21, respectively. Images p1, p2, and p3 are input.
  • the first signal processing unit 31 selects an image to be used for wide dynamic range synthesis based on the image selection information notified from the exposure amount control unit 50. In the present embodiment, for example, wide dynamic range synthesis is performed using three images p1, p2, and p3, and the first synthesized image is output.
  • the second signal processing unit 32 includes, for example, three images taken with the exposure amounts b1, b2, and b3 from the second imaging unit 12 via the second AD circuit 22, respectively. Images q1, q2, and q3 are input.
  • the second signal processing unit 32 selects an image to be used for wide dynamic range composition based on the image selection information notified from the exposure amount control unit 50.
  • wide dynamic range composition is performed using, for example, three images q1, q2, and q3, and a second composite image is output.
  • the feature amount calculation unit 40 selects an image to be used for calculating the feature amount of the subject based on the image selection information notified from the exposure amount control unit 50.
  • the exposure amount control unit 50 controls the exposure amount a1 of the image p1 and the exposure amount b1 of the image q1 to be substantially the same.
  • the feature amount calculation unit 40 includes three images p1, p2, and p3 captured by the first imaging unit 11 and three images q1, q2, and q3 captured by the second imaging unit 12. Based on the two images p1 and q1 whose exposure amounts are substantially the same, distance information is calculated as the feature amount information of the subject.
  • the exposure amount control unit 50 is a control unit that determines the exposure amounts a1, a2, and a3 and the exposure amounts b1, b2, and b3.
  • FIG. 5 shows an example of exposure amount control by the exposure amount control unit 50.
  • FIG. 6 shows an example of a first exposure amount control process by the exposure amount controller 50.
  • FIG. 7 shows an example of the second exposure amount control process by the exposure amount control unit 50.
  • the exposure amount control unit 50 performs a first exposure amount control process (step S101) and a second exposure amount control process (step S102).
  • the first exposure amount control process relates to control of the exposure amount of an image used for calculation of the feature amount by the feature amount calculation unit 40.
  • the exposure amount controller 50 determines, for example, the exposure amount a1 of the image p1 and the exposure amount b1 of the image q1 by the first exposure amount control process.
  • the second exposure amount control process relates to control of the exposure amount of the remaining image.
  • the exposure amount control unit 50 determines, for example, the exposure amounts a2 and a3 of the images p2 and p3 and the exposure amounts b2 and b3 of the images q2 and q3 by the second exposure amount control process.
  • the first exposure amount control process (step S101) and the second exposure amount control process (step S102) may be performed simultaneously, or the order of the processes may be reversed.
  • the exposure amount control unit 50 first performs a process of obtaining a composite luminance value from the detection value of the image p1 and the detection value of the image q1 (step S111). Next, the exposure amount control unit 50 obtains the exposure amounts a1 and b1 so that the combined luminance value becomes the target value (step S112).
  • the exposure amount control unit 50 first calculates the luminance values of the images p2 and p3 and the images q2 and q3 (step S121). Next, the exposure amount control unit 50 determines the exposure amounts a2 and a3 and the exposure amounts b2 and b3 so that the luminance values of the respective images become target values (step S122).
  • FIG. 8 shows an example of the exposure amount and the exposure timing in each of the first imaging unit 11 and the second imaging unit 12.
  • FIG. 8 shows shutter timing and image readout timing (read timing) in each of the first imaging unit 11 and the second imaging unit 12.
  • the exposure amount controller 50 does not necessarily need to completely control the exposure amount a1 and the exposure amount b1, and the exposure amount a1 and the exposure amount b1 are such that the feature amount can be calculated with high accuracy. Control may be performed so as to reduce the difference.
  • the exposure amount control unit 50 does not necessarily need to completely control the exposure timing of the image p1 and the exposure timing of the image q1, and the image p1 can be calculated with high accuracy.
  • Q1 may be controlled to reduce the difference in exposure timing.
  • the exposure amount control unit 50 determines the exposure amount a1 and the exposure amount b1, as will be described later, if a combination of i and j that minimizes the difference between the target values is selected, an image with a wide dynamic range composition is selected. Impact is minimized.
  • the outline of exposure amount control by the exposure amount control unit 50 described above is described in the order of execution as follows. (1) Find a set that minimizes the difference in target values. The exposure amount control unit 50 obtains a set of i and j that minimizes the target value
  • the Evref values are rearranged so that the group with the smallest difference in target values is the first exposure.
  • the exposure amount control unit 50 replaces Evref values that minimize the difference between the obtained target values with Evref_a1 and Evref_b1, respectively.
  • recombination is not performed when recombination is impossible because the exposure amount must be a1>a2> a3 due to device restrictions and the like.
  • Evref_a1 ⁇ Evref_ai (the value Evref_ai obtained in (1) is set to Evref_a1) Evref_ai ⁇ Evref_a1 (Because Evref_ai is now Evref_a1, the original Evref_a1 is assumed to be Evref_ai)
  • Evref_b1 ⁇ Evref_bj (the value Evref_bj obtained in (1) is set to Evref_b1)
  • Evref_bj ⁇ Evref_b1 (Because Evref_bj is now Evref_b1, the original Evref_b1 is set to Evref_bj)
  • the exposure control unit 50 determines a composite target value Evref_com from Evref_a1 and Evref_b1. There are two methods for determining the average, that is, a method of using one of the two averages, and a method of setting one of them as a synthesis target value.
  • the exposure amount control unit 50 applies the calculated exposure amount to a1 and b1, so that a1 and b1 become substantially the same exposure amount.
  • each of a2, a3 and b2, b3 independently calculates the luminance value from the average of the detected values as f (x) below, and calculates the exposure amount independently so that this becomes the target value. .
  • FIG. 9 shows an example of a detection frame used for calculation of the luminance value.
  • the total luminance value included in the region (detection frame) i is expressed as x p1 , j .
  • the number of pixels included in the region i is y p1 , j .
  • the average luminance value f (p1) of the image p1 is obtained by the following equation (1).
  • the combined luminance value g (p1, q1) is obtained as follows (A) to (E).
  • the conversion method from the exposure amount to the shutter speed and gain may be a method that is determined from a table that has been conventionally used, or may be another method.
  • (Variation of exposure amount and exposure timing control) 10 to 14 show first to fifth examples of exposure amounts and exposure timings in the first imaging unit 11 and the second imaging unit 12, respectively.
  • the exposure amount control unit 50 includes, for example, the exposure amounts a1, a2, and a3 and exposure timings of the images p1, p2, and p3 photographed by the first imaging unit 11, and the second imaging unit. 12 may be controlled so that the exposure amounts b1, b2, b3 and the exposure timing of the images q1, q2, q3 photographed at 12 are substantially the same. Further, the exposure amount control unit 50 may control the exposure amounts a1, a2, and a3 to be different from each other in order to generate a first composite image with an expanded dynamic range. In this case, the exposure amount control unit 50 may control the exposure amount so that a1 ⁇ a2 ⁇ a3.
  • the exposure amount control unit 50 may control the exposure amounts b1, b2, and b3 to be different from each other in order to generate a second composite image with an expanded dynamic range. In this case, the exposure amount control unit 50 may control the exposure amount so that b1 ⁇ b2 ⁇ b3.
  • the exposure amount control unit 50 includes, for example, exposure amounts a1, a2, a3 and exposure timings of images p1, p2, and p3 photographed by the first imaging unit 11, and a second imaging unit. 12 may be controlled so that the exposure amounts b1, b2, b3 and the exposure timing of the images q1, q2, q3 taken at 12 are different from each other. However, it is desirable that the exposure amount control unit 50 reduce the difference between the exposure amount a1 and the exposure amount b1, for example, to such an extent that the feature amount can be calculated.
  • the exposure amount control unit 50 controls the exposure amounts a1, a2, and a3 of the images p1, p2, and p3 photographed by the first imaging unit 11 so that a1 ⁇ a2 ⁇ a3. May be. That is, the exposure amount may be controlled to increase sequentially.
  • the exposure amounts b1, b2, and b3 of the images q1, q2, and q3 photographed by the second imaging unit 12 may be controlled to satisfy b1> b2> b3. That is, the exposure amount may be controlled so as to decrease sequentially. In this case, the difference between the first exposure amount a1 and the exposure amount b1 is the largest, and is not suitable for calculating the feature amount.
  • the exposure amount control unit 50 has, for example, the first exposure amount a1 in the first imaging unit 11 and the second exposure amount b2 in the second imaging unit 12 to the extent that the feature amount can be calculated. Control may be performed so as to reduce the difference. In addition, the exposure amount control unit 50 calculates, for example, the second exposure amount a2 and the third exposure amount b3 in the second imaging unit 12 in the first imaging unit 11 to such an extent that the feature amount can be calculated. Control may be performed to reduce the difference.
  • the first imaging unit 11 sequentially captures the three images p1, p2, and p3, and the second imaging unit 12 sequentially captures the three images q1, q2, and q3.
  • the number of images taken by each imaging unit is not limited to this example. Further, the first imaging unit 11 and the second imaging unit 12 may capture different numbers of images.
  • the first imaging unit 11 captures three images p1, p2, and p3, and the second imaging unit 12 captures two images q1 and q2. Also good.
  • the first imaging unit 11 captures three images p1, p2, and p3, and the second imaging unit 12 captures one image q1. Good. However, in this case, an image with a wide dynamic range cannot be obtained from the image captured by the second imaging unit 12.
  • the exposure amount a1 of the image p1 captured by the first imaging unit 11 and the exposure amount b1 of the image q1 captured by the second imaging unit 12 Since the difference is reduced, the feature quantity of the subject can be calculated with high accuracy while creating an image with a wide dynamic range.
  • an image with a wide dynamic range is obtained using images of frames at the same time. It can be created and the distance can be measured accurately.
  • the accuracy is lowered due to noise due to gain or the influence of nonlinear processing, but in this technology, a decrease in accuracy is suppressed.
  • FIG. 15 shows a configuration example of an imaging apparatus according to the second embodiment.
  • the imaging apparatus according to the present embodiment includes the first signal processing unit 31, the second signal processing unit 32, and the feature amount calculation unit 40 in the configuration example of the imaging apparatus in FIG.
  • the unit 30 is configured.
  • the signal processing unit 30 may calculate the feature amount based on the first composite image and the second composite image.
  • the exposure amount control unit 50 captures exposure amounts and exposure timings of a plurality of images captured by the first image capturing unit 11 and the second image capturing unit 12. It is desirable to synchronize the exposure amount and the exposure timing of a plurality of images.
  • FIG. 16 shows a configuration example of an imaging apparatus according to the third embodiment.
  • the imaging device according to the present embodiment includes a first signal processing unit 31, a second signal processing unit 32, a feature amount calculation unit 40, and an exposure amount control unit 50 in the configuration example of the imaging device in FIG. Are configured by one signal processing unit 30A.
  • FIG. 17 shows a configuration example of an imaging apparatus according to the fourth embodiment.
  • the configuration example is expanded to the above integer).
  • the imaging apparatus further includes an Nth imaging unit 1N including the Nth imaging element 1NA and an Nth AD circuit 2N.
  • the signal processing unit 30A outputs N composite images.
  • FIG. 18 shows a configuration example of an analysis system using the imaging apparatus according to the fifth embodiment.
  • the analysis system further includes an analysis unit 60 and various sensors with respect to the imaging apparatus of FIG.
  • the analysis unit 60 receives the first composite image, the second composite image, and feature amount information from the imaging device, and sensor information from various sensors.
  • the analysis system includes a shooting mode (WD mode) for performing wide dynamic range (WD) composition and a shooting mode (LED flicker) for LED (light-emitting diode) flicker countermeasures. Mode).
  • the analysis unit 60 performs exposure amount control by the exposure amount control unit 50 according to the shooting mode.
  • the various sensors include, for example, a GPS (Global Positioning System) 61, a millimeter wave radar 62, an ultrasonic sensor 63, an illuminance sensor 64, and an acceleration sensor 65.
  • FIG. 21 shows an example of mounting various sensors on a vehicle, but the mounting position and number of various sensors are not limited to the illustrated example.
  • FIG. 19 shows an example of processing of the analysis unit 60 in the analysis system shown in FIG.
  • the analysis unit 60 first detects the presence or absence of LED flicker (step S201). When the LED flicker is detected (step S201: Y), the analysis unit 60 transitions to the LED flicker mode (step S202). When the LED flicker is not detected (step S201: N), the analysis unit 60 transitions to the WD mode (step S203). The analysis unit 60 performs exposure amount control by the exposure amount control unit 50 in accordance with the shooting mode (step S204).
  • FIG. 22 shows a first example of the exposure amount and the exposure timing in each of the first imaging unit 11 and the second imaging unit 12 when taking measures against LED flicker.
  • the LED flicker mode it is desirable that the exposure amounts a1, a2, and a3 of the images p1, p2, and p3 photographed by the first imaging unit 11 are substantially the same in order to suppress the LED flicker phenomenon.
  • the exposure amounts b1, b2, and b3 of the images q1, q2, and q3 taken by the second imaging unit 12 are substantially the same.
  • the first signal processing unit 31 can generate a first composite image in which the flicker phenomenon is suppressed by combining a plurality of images p1, p2, and p3 having substantially the same exposure amount.
  • the second signal processing unit 32 can generate a second combined image in which the flicker phenomenon is suppressed by combining a plurality of images q1, q2, and q3 having substantially the same exposure amount.
  • FIG. 23 shows a second example of the exposure amount and the exposure timing in each of the first imaging unit 11 and the second imaging unit 12 when taking measures against LED flicker.
  • FIG. 22 shows an example in which both the first imaging unit 11 and the second imaging unit 12 are set to the LED flicker mode.
  • the exposure amount control unit 50 may Exposure control may be performed so that one of them is in the LED flicker mode and the other is in the WD mode.
  • the exposure amount control unit 50 may perform the exposure amount control so that the first imaging unit 11 is set in the LED flicker mode and the second imaging unit 12 is set in the WD mode. In this case, for example, as shown in FIG.
  • exposure amounts a1, a2, and a3 of images p1, p2, and p3 photographed by the first imaging unit 11 are made substantially the same to suppress the LED flicker phenomenon. Also good.
  • the exposure amounts b1, b2, and b3 of the images q1, q2, and q3 photographed by the second imaging unit 12 may be different from each other in order to generate a second composite image with an expanded dynamic range.
  • the exposure amount control unit 50 is such that any one of the exposure amounts a1, a2, and a3 is substantially the same as any one of the exposure amounts b1, b2, and b3 to the extent that the feature amount can be calculated. It is desirable to perform exposure amount control. In the example of FIG. 23, an example in which the exposure amount a1 and the exposure amount b1 are substantially the same is shown.
  • FIG. 20 shows an example of the procedure of LED flicker detection processing in the analysis system shown in FIG.
  • the analysis unit 60 first performs object recognition using the first composite image, the second composite image, and the feature amount information (step S211). Next, the analysis unit 60 determines whether there is an LED flicker target (step S212). The analysis unit 60 determines that there is an LED flicker object if there is an object (for example, a traffic light, a sign, a car tail lamp, etc.) for which countermeasures against LED flicker are to be implemented among the objects subjected to object recognition. If the analysis unit 60 determines that there is an LED flicker target as a result of object recognition (step S212: Y), it is considered that LED flicker has been detected (step S218).
  • object for example, a traffic light, a sign, a car tail lamp, etc.
  • the analysis unit 60 determines that there is no LED flicker object as a result of the object recognition (step S212: N)
  • the analysis unit 60 uses the result of the object recognition and information on the acceleration sensor 65 and the GPS 60 to determine its own position. Estimation is performed (step S213), and it is determined whether there is an LED flicker target (step S214).
  • the analysis unit 60 compares the result of the self-position estimation with the map information stored in advance, and confirms whether there is an object (a traffic light, a sign, etc.) at which the LED flicker countermeasure is to be implemented at the current location. If so, it is considered that there is an LED flicker target.
  • the analysis unit 60 determines that there is an LED flicker target based on the self-position estimation execution result (step S214: Y)
  • the analysis unit 60 considers that LED flicker has been detected (step S218).
  • the analysis unit 60 determines that there is no LED flicker target based on the result of the self-position estimation (step S214: N)
  • the analysis unit 60 uses the millimeter wave radar 62 and the ultrasonic sensor 63 to Environment estimation is performed (step S215), and it is determined whether there is an LED flicker target (step S216).
  • the analysis unit 60 determines whether or not there is an object (such as a car tail lamp) for which LED flicker countermeasures are desired in the vicinity, and the information of the illuminance sensor 64 is added to the target. If the illuminance is less than or equal to and there is an object, it is considered that there is an LED flicker object.
  • step S216: Y If the analysis unit 60 determines that there is an LED flicker target based on the surrounding environment estimation (step S216: Y), it is considered that LED flicker has been detected (step S218). If the analysis unit 60 determines that there is no LED flicker object based on the surrounding environment estimation (step S216: N), it determines that LED flicker has not been detected (step S217).
  • the feature amount information calculated by the feature amount calculation unit 40 can be applied to object recognition (car detection, white line recognition, pedestrian detection, traffic light detection, etc.).
  • the object recognition in this case may be feature amount information based on an image photographed by one of the first imaging unit 11 and the second imaging unit 12.
  • feature amount information based on an image photographed by one imaging unit can be used for object tracking and the like.
  • feature amount information based on a plurality of images taken by two or more imaging units can be used for distance measurement, self-position estimation (SLAM), and the like.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 24 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 25 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 25 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the first imaging unit and the second imaging unit in the technology according to the present disclosure can be applied to the imaging unit 12031 in FIG.
  • the first imaging unit and the second imaging unit in the technology according to the present disclosure can be applied to each of the imaging units 12101, 12102, 12103, 12104, and 12105 in FIG.
  • the functions of the signal processing unit, the feature amount calculation unit, and the exposure amount control unit in the technology according to the present disclosure can be realized by the microcomputer 12051.
  • the present technology can take the following configurations.
  • a first imaging unit that sequentially captures a plurality of images including the first image;
  • a second imaging unit that captures at least one image including the second image;
  • a signal processing unit that combines the plurality of images captured by the first imaging unit;
  • a feature amount calculator that calculates a feature amount of a subject based on the first image and the second image;
  • An exposure amount control unit for controlling an exposure amount between the first imaging unit and the second imaging unit so as to reduce a difference between an exposure amount of the first image and an exposure amount of the second image;
  • An imaging apparatus comprising: (2)
  • the exposure amount control unit controls the first imaging unit and the second imaging unit so as to reduce a difference between an exposure timing of the first image and an exposure timing of the second image.
  • the imaging apparatus according to (1) or (2), wherein the first image is an image taken as a first image among the plurality of images.
  • the exposure amount control unit controls the first imaging unit so that exposure amounts of the plurality of images are different from each other;
  • the imaging apparatus according to any one of (1) to (3), wherein the signal processing unit generates a composite image with an expanded dynamic range by combining the plurality of images.
  • the exposure amount control unit controls the first imaging unit so that exposure amounts of the plurality of images are the same;
  • the imaging apparatus according to any one of (1) to (3), wherein the signal processing unit generates the composite image in which the flicker phenomenon is suppressed by combining the plurality of images.
  • the exposure amount control unit controls the first imaging unit based on a flicker detection result so that the exposure amounts of the plurality of images are the same or different from each other.
  • (1) to (3) The imaging device according to any one of the above.
  • the second imaging unit sequentially captures a plurality of images including the second image,
  • the signal processing unit combines the plurality of images captured by the first imaging unit to generate a first composite image, and the plurality of images captured by the second imaging unit.
  • the feature amount calculation unit calculates a feature amount of the subject based on the first composite image and the second composite image.
  • the exposure amount control unit includes an exposure amount and exposure timing of the plurality of images captured by the first imaging unit, and an exposure amount and exposure of the plurality of images captured by the second imaging unit.
  • the imaging device according to (8), wherein timing is synchronized with each other.
  • the second imaging unit sequentially captures a plurality of images including the second image,
  • the first image is an image taken as the first image among the plurality of images taken by the first imaging unit,
  • the said 2nd image is an image image
  • the first image and the second image are images having parallax with each other,
  • the feature amount calculating unit calculates a distance of a subject based on a parallax between the first image and the second image;
  • the imaging device according to any one of (1) to (10) above.
  • the exposure amount control unit includes the first imaging unit, the second imaging unit, and the second imaging unit based on a combined luminance value calculated from the luminance value of the first image and the luminance value of the second image.
  • the imaging device according to any one of (1) to (11), wherein the exposure amount is controlled.
  • the exposure amount control unit is configured to output the first imaging unit, the second imaging unit, and the like based on one of the luminance value of the first image and the luminance value of the second image.
  • the imaging device according to any one of (1) to (11), wherein the exposure amount is controlled.
  • the exposure amount control unit is configured to control the first imaging unit and the second imaging unit based on a luminance value that is larger or smaller of a luminance value of the first image and a luminance value of the second image.
  • the imaging device according to (13), wherein an exposure amount with the imaging unit is controlled.
  • the exposure amount control unit is configured to determine an exposure amount of the first imaging unit and the second imaging unit based on an average luminance value of the luminance value of the first image and the luminance value of the second image.
  • the imaging device according to any one of (1) to (11).
  • the exposure amount control unit divides the first image and the second image into a plurality of regions, respectively, and an average luminance value for each of the divided regions in the first image and the second image.
  • the exposure amount of the first imaging unit and the second imaging unit is controlled based on the result of calculating the average luminance value for each of the divided areas in any one of (1) to (11)
  • the imaging device as described in any one.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本開示の撮像装置は、第１の画像を含む複数枚の画像を順次、撮影する第１の撮像部と、第２の画像を含む少なくとも１枚の画像を撮影する第２の撮像部と、第１の撮像部によって撮影された複数枚の画像を合成する信号処理部と、第１の画像と第２の画像とに基づいて、被写体の特徴量を算出する特徴量算出部と、第１の画像の露光量と第２の画像の露光量との差を減少させるように第１の撮像部と第２の撮像部との露光量を制御する露光量制御部とを備える。

Description

撮像装置、および撮像方法
　本開示は、複数の画像の撮影を行う撮像装置、および撮像方法に関する。
　視差を有し、かつ露光量の異なる複数枚の画像に基づいて、広ダイナミックレンジの画像の生成と被写体の測距とを同時に行うことができる撮像装置の技術が提案されている。
特開２０１１－２５４１７０号公報
　しかしながら、広ダイナミックレンジの画像を作成しつつ、高い精度で測距を行うことは困難である。
　広ダイナミックレンジの画像を作成しつつ、高い精度で被写体の特徴量を算出することができるようにした撮像装置、および撮像方法を提供することが望ましい。
　本開示の一実施の形態に係る撮像装置は、第１の画像を含む複数枚の画像を順次、撮影する第１の撮像部と、第２の画像を含む少なくとも１枚の画像を撮影する第２の撮像部と、第１の撮像部によって撮影された複数枚の画像を合成する信号処理部と、第１の画像と第２の画像とに基づいて、被写体の特徴量を算出する特徴量算出部と、第１の画像の露光量と第２の画像の露光量との差を減少させるように第１の撮像部と第２の撮像部との露光量を制御する露光量制御部とを備えたものである。
　本開示の一実施の形態に係る撮像方法は、第１の画像を含む複数枚の画像を第１の撮像部によって順次、撮影することと、第２の画像を含む少なくとも１枚の画像を第２の撮像部によって撮影することと、第１の撮像部によって撮影された複数枚の画像を合成することと、第１の画像と第２の画像とに基づいて、被写体の特徴量を算出することと、第１の画像の露光量と第２の画像の露光量との差を減少させるように第１の撮像部と第２の撮像部とを制御することとを含むようにしたものである。
　本開示の一実施の形態に係る撮像装置、または撮像方法では、第１の画像を含む複数枚の画像が第１の撮像部によって順次、撮影されると共に、第２の画像を含む少なくとも１枚の画像が第２の撮像部によって撮影される。第１の画像の露光量と第２の画像の露光量との差を減少させるように第１の撮像部と第２の撮像部とが制御される。
　本開示の一実施の形態に係る撮像装置、または撮像方法によれば、被写体の特徴量の算出に用いられる第１の画像と第２の画像との露光量の差を減少させるようにしたので、広ダイナミックレンジの画像を作成しつつ、高い精度で被写体の特徴量を算出することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の第１の実施の形態に係る撮像装置の一構成例を示すブロック図である。 図１に示した撮像装置における第１の信号処理部の一構成例を示すブロック図である。 図１に示した撮像装置における第２の信号処理部の一構成例を示すブロック図である。 図１に示した撮像装置における特徴量算出部の一構成例を示すブロック図である。 図１に示した撮像装置における露光量制御部による露光量制御の一例を示す流れ図である。 図１に示した撮像装置における露光量制御部による第１の露光量制御処理の一例を示す流れ図である。 図１に示した撮像装置における露光量制御部による第２の露光量制御処理の一例を示す流れ図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの説明図である。 輝度値の算出に用いる検波枠の一例を示す説明図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第１の例を示す説明図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第２の例を示す説明図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第３の例を示す説明図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第４の例を示す説明図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第５の例を示す説明図である。 第２の実施の形態に係る撮像装置の一構成例を示すブロック図である。 第３の実施の形態に係る撮像装置の一構成例を示すブロック図である。 第４の実施の形態に係る撮像装置の一構成例を示すブロック図である。 第５の実施の形態に係る撮像装置を用いた解析システムの一構成例を示すブロック図である。 図１８に示した解析システムにおける解析部の処理の一例を示す流れ図である。 図１８に示した解析システムにおけるＬＥＤフリッカ検出処理の手順の一例を示す流れ図である。 車両への各種センサの搭載例を示す構成図である。 ＬＥＤフリッカ対策を行う場合の第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第１の例を示す説明図である。 ＬＥＤフリッカ対策を行う場合の第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第２の例を示す説明図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（広ダイナミックレンジの画像を作成しつつ、高い精度で測距を行うことを可能にする撮像装置）
　　１．１　構成（図１～図４）
　　１．２　動作（図５～図１４）
　　１．３　効果
　２．第２の実施の形態（図１５）
　３．第３の実施の形態（図１６）
　４．第４の実施の形態（図１７）
　５．第５の実施の形態（撮像装置を用いた解析システム）（図１８～図２３）
　６．第６の実施の形態（移動体への応用例）（図２４～図２５）
　７．その他の実施の形態
＜１．第１の実施の形態＞
　視差を有し、かつ露光量の異なる複数枚の画像に基づいて、広ダイナミックレンジの画像の生成と被写体の測距とを同時に行うことができる撮像装置の技術が提案されている。この技術では、広ダイナミックレンジの画像を得るために、異なる露光量の２枚の画像を用いて、測距を行う際に、露光量の少ない画像に対してゲインをかけて明るさを同じにしてから測距を行う。このため、ゲインをかけることによって増幅されるノイズによる測距精度の低下が生じる。また、露光量が異なる場合や、パラメータが異なる非線形処理を含む画像処理後の画像を使用した場合も、高い精度で測距を行うことは困難である。一方で、測距精度を良くするために露光量の同じ２枚の画像を用いると、広ダイナミックレンジの画像を得ることが困難となる。
　そこで、本実施の形態では、広ダイナミックレンジの画像を作成しつつ、高い精度で測距を行うことが可能な撮像装置の技術を提供する。
［１．１　構成］
　図１は、本開示の第１の実施の形態に係る撮像装置の一構成例を示している。
　本実施の形態に係る撮像装置は、第１の撮像部１１と、第２の撮像部１２と、第１のＡＤ（アナログデジタル）回路２１と、第２のＡＤ回路２２と、第１の信号処理部３１と、第２の信号処理部３２と、特徴量算出部４０と、露光量制御部５０とを備えている。
　第１の撮像部１１は、第１の撮像素子１１Ａを有している。第２の撮像部１２は、第２の撮像素子１２Ａを有している。第１の撮像素子１１Ａと第２の撮像素子１２Ａは、互いに異なる位置に配置されている。これにより、第１の撮像素子１１Ａで撮影される画像と第２の撮像素子１２Ａで撮影される画像は、互いに視差を有した状態となる。
　第１の信号処理部３１は、図２に示したように、複数の画像選択部７１，７２，７３と、複数の画像バッファ７４，７５，７６と、広ダイナミックレンジ画像生成部７７とを有している。
　第２の信号処理部３２は、図３に示したように、複数の画像選択部８１，８２，８３と、複数の画像バッファ８４，８５，８６と、広ダイナミックレンジ画像生成部８７とを有している。
　特徴量算出部４０は、図４に示したように、画像選択部４１と、複数の画像バッファ４２，４３と、距離情報算出部４４とを有している。
［１．２　動作］
　第１の撮像部１１は、複数枚の画像を順次、撮影する。第１の撮像部１１で撮影された複数枚の画像は、第１のＡＤ回路２１でそれぞれデジタル信号に変換されて第１の信号処理部３１に入力される。第１の信号処理部３１は、複数枚の画像を合成してダイナミックレンジの拡大された第１の合成画像を出力する。
　同様に、第２の撮像部１２は、複数枚の画像を順次、撮影する。第２の撮像部１２で撮影された複数枚の画像は、第２のＡＤ回路２２でそれぞれデジタル信号に変換されて第２の信号処理部３２に入力される。第２の信号処理部３２は、複数枚の画像を合成してダイナミックレンジの拡大された第２の合成画像を出力する。
　また、第１の撮像部１１で撮影された複数枚の画像のうちの１枚の画像（第１の画像）と第２の撮像部１２で撮影された複数枚の画像のうちの１枚の画像（第２の画像）とに基づいて、特徴量算出部４０で特徴量情報として距離情報が計算される。
　露光量制御部５０は、第１の撮像部１１と第２の撮像部１２とに対して露光量や露光タイミングの制御を行う。また、露光量制御部５０は、第１の信号処理部３１と第２の信号処理部３２と特徴量算出部４０とに対して画像選択の制御を実施する。
　第１の信号処理部３１には、第１のＡＤ回路２１を介して第１の撮像部１１から、図２に示したように、例えばそれぞれ露光量ａ１，ａ２，ａ３で撮影された３枚の画像ｐ１，ｐ２，ｐ３が入力される。第１の信号処理部３１では、露光量制御部５０より通知される画像選択情報を元に広ダイナミックレンジ合成に使用する画像を選択する。本実施の形態では、例えば３枚の画像ｐ１，ｐ２，ｐ３を使用して広ダイナミックレンジ合成を行い、第１の合成画像として出力する。
　第２の信号処理部３２には、第２のＡＤ回路２２を介して第２の撮像部１２から、図３に示したように、例えばそれぞれ露光量ｂ１，ｂ２，ｂ３で撮影された３枚の画像ｑ１，ｑ２，ｑ３が入力される。第２の信号処理部３２では、露光量制御部５０より通知される画像選択情報を元に広ダイナミックレンジ合成に使用する画像を選択する。本実施の形態では、例えば３枚の画像ｑ１，ｑ２，ｑ３を使用して広ダイナミックレンジ合成を行い、第２の合成画像を出力する。
　特徴量算出部４０では、露光量制御部５０より通知される画像選択情報を元に被写体の特徴量の算出に使用する画像を選択する。本実施の形態では、露光量制御部５０によって例えば画像ｐ１の露光量ａ１と画像ｑ１の露光量ｂ１とが略同じになるように制御される。特徴量算出部４０は、例えば第１の撮像部１１で撮影された３枚の画像ｐ１，ｐ２，ｐ３と第２の撮像部１２で撮影された３枚の画像ｑ１，ｑ２，ｑ３とのうち、露光量が略同じにされた２枚の画像ｐ１，ｑ１に基づいて、被写体の特徴量情報として距離情報を算出する。
　露光量制御部５０は、露光量ａ１，ａ２，ａ３と露光量ｂ１，ｂ２，ｂ３とを決める制御部になる。
　図５は、露光量制御部５０による露光量制御の一例を示している。図６は、露光量制御部５０による第１の露光量制御処理の一例を示している。図７は、露光量制御部５０による第２の露光量制御処理の一例を示している。
　露光量制御部５０は、第１の露光量制御処理（ステップＳ１０１）と第２の露光量制御処理（ステップＳ１０２）とを行う。第１の露光量制御処理は、特徴量算出部４０による特徴量の算出に用いられる画像の露光量の制御に関する。露光量制御部５０は、第１の露光量制御処理によって、例えば、画像ｐ１の露光量ａ１と画像ｑ１の露光量ｂ１とを決める。第２の露光量制御処理は、残りの画像の露光量の制御に関する。露光量制御部５０は、第２の露光量制御処理によって、例えば、画像ｐ２，ｐ３の露光量ａ２，ａ３と画像ｑ２，ｑ３の露光量ｂ２，ｂ３とを決める。なお、第１の露光量制御処理（ステップＳ１０１）と第２の露光量制御処理（ステップＳ１０２）は同時に行ってもよいし、処理の順番を逆にしてもよい。
　露光量制御部５０は、例えば、第１の露光量制御処理として、まず、画像ｐ１の検波値と画像ｑ１の検波値とから合成輝度値を求める処理を行う（ステップＳ１１１）。次に、露光量制御部５０は、合成輝度値が目標値となるように露光量ａ１，ｂ１を求める（ステップＳ１１２）。
　露光量制御部５０は、例えば、第２の露光量制御処理として、まず、画像ｐ２，ｐ３と画像ｑ２，ｑ３とのそれぞれの輝度値を計算する（ステップＳ１２１）。次に、露光量制御部５０は、それぞれの画像の輝度値が目標値となるように露光量ａ２，ａ３と露光量ｂ２，ｂ３とを求める（ステップＳ１２２）。
　図８は、第１の撮像部１１と第２の撮像部１２とのそれぞれにおける露光量と露光タイミングとの一例を示している。図８には、第１の撮像部１１と第２の撮像部１２とのそれぞれにおけるシャッタタイミングと画像の読み出しタイミング（リードタイミング）とを示す。露光量制御部５０は、露光量ａ１，ａ２，ａ３のいずれかが、露光量ｂ１，ｂ２，ｂ３のいずれかと略同じになるように決める機能を有する。特に、ａ１＝ｂ１となるように、つまり、第１の撮像部１１と第２の撮像部１２とで露光量の略同じ画像を最初に露光するように露光タイミングも合わせることが望ましい。これにより、正確な特徴量のデータを得ることできる。ただし、露光量制御部５０は、必ずしも完全に露光量ａ１と露光量ｂ１とを同じに制御する必要はなく、精度の高い特徴量の算出が可能となる程度に、露光量ａ１と露光量ｂ１との差を減少させるように制御を行えばよい。同様に、露光量制御部５０は、必ずしも完全に画像ｐ１の露光タイミングと画像ｑ１の露光タイミングとを同じに制御する必要はなく、精度の高い特徴量の算出が可能となる程度に、画像ｐ１，ｑ１の露光タイミングの差を減少させるように制御を行えばよい。
　また、露光量制御部５０において、露光量ａ１と露光量ｂ１とを決める際、後述するように目標値の差が一番小さくなるｉとｊの組を選択すると広ダイナミックレンジ合成される画像に対する影響が最小になる。露光量制御部５０は、露光時間の長いものから撮像しなければいけないなど、第１の撮像部１１と第２の撮像部１２とにデバイスとしての制約があり、ａ１＝ｂ１にできない場合は、デバイスの制約の範囲内で、ａ１＝ｂ２，ａ２＝ｂ３などとなるように露光量を求める機能を有する。露光量を求める手順としては、輝度値が目標値になるように露光量を制御する。
　以上で述べた露光量制御部５０による露光量の制御の概略を実行順に記載すると下記のようになる。
（１）目標値の差が最小となる組を求める。
　露光量制御部５０は、目標値｜Ｅvref＿ａｉ－Ｅvref＿ｂｊ｜が最小となるｉとｊの組を求める。ここで、Ｅvref＿ａｉは、ａｉ（ｉ＝１～３）の露光量を決めるための目標値を表し、Ｅvref＿ｂｉは、ｂｉ（ｉ＝１～３）の露光量を決めるための目標値を表す。
（２）目標値の差が最小となる組が最初の露光になるようにＥvref値を組み替える。
　露光量制御部５０は、求められた目標値の差が最小になるＥvref値をそれぞれ、Ｅvref＿ａ１，Ｅvref＿ｂ１と置き換える。ただし、デバイスの制約等によって、露光量がａ１＞ａ２＞ａ３とならなければいけないなどのため、組み換えができない場合は、組み換えを実施しない。
　Ｅvref＿ａ１←Ｅvref＿ａｉ（（１）で求められた値Ｅvref＿ａｉをＥvref＿ａ１とする）
　Ｅvref＿ａｉ←Ｅvref＿ａ１（Ｅvref＿ａｉはＥvref＿ａ１になったので、元々のＥvref＿ａ１をＥvref＿ａｉとする）
　Ｅvref＿ｂ１←Ｅvref＿ｂｊ（（１）で求められた値Ｅvref＿ｂｊをＥvref＿ｂ１とする）
　Ｅvref＿ｂｊ←Ｅvref＿ｂ１（Ｅvref＿ｂｊはＥvref＿ｂ１になったので、元々のＥvref＿ｂ１をＥvref＿ｂｊとする）
（３）合成目標値を決める。
　露光量制御部５０は、Ｅvref＿ａ１，Ｅvref＿ｂ１から合成目標値Ｅvref＿ｃｏｍを決める。決め方は、２つの平均を用いる方法や、どちらか一方を合成目標値とする方法がある。
　露光量制御部５０は、ａ１＝ｂ１というように露光量を合わせたい場合は、画像ｐ１と画像ｑ１との検波値を用いて下記ｇ（ｘ，ｙ）を計算することで合成された輝度値を求め、これが合成目標値Ｅvref＿ｃｏｍとなるように露光量を計算する。露光量制御部５０は、求められた露光量をａ１とｂ１とに適用することより、ａ１とｂ１とが略同一の露光量になるようにする。
　一方、ａ２，ａ３およびｂ２，ｂ３は、各々独立に下記ｆ（ｘ）のように検波値の平均から輝度値を計算して、これが目標値になるようにそれぞれ独立して露光量を計算する。
　図９は、輝度値の算出に用いる検波枠の一例を示している。図９に示すように、例えば画像ｐ１の各画素をＮ個（ｓ行、ｔ列）の複数の領域に分割したときに、領域（検波枠）ｉに含まれる輝度値の合計をｘp1、jとする。また、領域ｉに含まれる画素数をｙp1、jとする。
　画像ｐ１の平均輝度値ｆ（ｐ１）は下記の式（１）で求められる。
Figure JPOXMLDOC01-appb-M000001
　画像ｐ１の検波値と画像ｑ１の検波値とから、合成輝度値ｇ（ｐ１，ｑ１）は下記の（Ａ）～（Ｅ）ように求められる。
（Ａ）画像ｐ１の輝度値と画像ｑ１の輝度値との平均を合成輝度値とする場合
Figure JPOXMLDOC01-appb-M000002
（Ｂ）画像ｐ１の輝度値と画像ｑ１の輝度値とをそれぞれ求めて、大きい方を合成輝度値とする場合
Figure JPOXMLDOC01-appb-M000003
（Ｃ）検波枠毎に、画像ｐ１の輝度値と画像ｑ１の輝度値との平均の大きい方を加算し、その合計を合成輝度値とする場合
Figure JPOXMLDOC01-appb-M000004
（Ｄ）画像ｐ１の輝度値と画像ｑ１の輝度値とをそれぞれ求めて、小さい方を合成輝度値とする場合
Figure JPOXMLDOC01-appb-M000005
（Ｅ）検波枠毎に、画像ｐ１の輝度値と画像ｑ１の輝度値との平均の小さい方を加算し、その合計を合成輝度値とする場合
Figure JPOXMLDOC01-appb-M000006
　以上のように求めた露光量に基づいてシャッタ速度およびゲインを求めて第１の撮像部１１と第２の撮像部１２とで撮影を行う。露光量からシャッタ速度およびゲインへの換算方法は従来から良く用いられているテーブルから決める方法でも良いし、他の方法でも良い。
（露光量と露光タイミングの制御のバリエーション）
　図１０ないし図１４は、第１の撮像部１１と第２の撮像部１２とのそれぞれにおける露光量と露光タイミングとの第１ないし第５の例を示している。
　露光量制御部５０は、図１０に示したように、例えば第１の撮像部１１で撮影される画像ｐ１，ｐ２，ｐ３の露光量ａ１，ａ２，ａ３および露光タイミングと、第２の撮像部１２で撮影される画像ｑ１，ｑ２，ｑ３の露光量ｂ１，ｂ２，ｂ３および露光タイミングとを略同一となるように制御してもよい。また、露光量制御部５０は、ダイナミックレンジの拡大された第１の合成画像を生成するために、露光量ａ１，ａ２，ａ３が互いに異なるように制御してもよい。この場合、露光量制御部５０は、露光量がａ１＜ａ２＜ａ３となるように制御してもよい。同様に、露光量制御部５０は、ダイナミックレンジの拡大された第２の合成画像を生成するために、露光量ｂ１，ｂ２，ｂ３が互いに異なるように制御してもよい。この場合、露光量制御部５０は、露光量がｂ１＜ｂ２＜ｂ３となるように制御してもよい。
　露光量制御部５０は、図１１に示したように、例えば第１の撮像部１１で撮影される画像ｐ１，ｐ２，ｐ３の露光量ａ１，ａ２，ａ３および露光タイミングと、第２の撮像部１２で撮影される画像ｑ１，ｑ２，ｑ３の露光量ｂ１，ｂ２，ｂ３および露光タイミングとを、互いに異なるように制御してもよい。ただし、露光量制御部５０は、特徴量の算出が可能となる程度に、例えば露光量ａ１と露光量ｂ１との差を減少させることが望ましい。
　露光量制御部５０は、図１２に示したように、第１の撮像部１１で撮影される画像ｐ１，ｐ２，ｐ３の露光量ａ１，ａ２，ａ３がａ１＜ａ２＜ａ３となるように制御してもよい。すなわち、露光量が順次、増加するように制御してもよい。一方、第２の撮像部１２で撮影される画像ｑ１，ｑ２，ｑ３の露光量ｂ１，ｂ２，ｂ３がｂ１＞ｂ２＞ｂ３となるように制御してもよい。すなわち、露光量が順次、減少するように制御してもよい。この場合、互いの１番目の露光量ａ１と露光量ｂ１とが一番露光量の差が大きくなってしまい、特徴量の算出には適さなくなる。このため、露光量制御部５０は、特徴量の算出が可能となる程度に、例えば第１の撮像部１１における１番目の露光量ａ１と第２の撮像部１２における２番目の露光量ｂ２との差を減少させるように制御してもよい。また、露光量制御部５０は、特徴量の算出が可能となる程度に、例えば第１の撮像部１１における第２の撮像部１２における２番目の露光量ａ２と３番目の露光量ｂ３との差を減少させるように制御してもよい。
　以上の説明では、第１の撮像部１１によって３枚の画像ｐ１，ｐ２，ｐ３を順次、撮影すると共に、第２の撮像部１２によって３枚の画像ｑ１，ｑ２，ｑ３を順次、撮影する場合を例にしたが、各撮像部で撮影する画像の枚数はこの例に限らない。また、第１の撮像部１１と第２の撮像部１２とで異なる枚数の画像を撮影してもよい。
　例えば、図１３に示したように、第１の撮像部１１では３枚の画像ｐ１，ｐ２，ｐ３を撮影し、第２の撮像部１２では２枚の画像ｑ１，ｑ２を撮影するようにしてもよい。
　また、例えば図１４に示したように、第１の撮像部１１では３枚の画像ｐ１，ｐ２，ｐ３を撮影し、第２の撮像部１２では１枚の画像ｑ１を撮影するようにしてもよい。ただし、この場合、第２の撮像部１２による撮影画像からは広ダイナミックレンジの画像を得ることはできない。
［１．３　効果］
　以上のように、本実施の形態によれば、第１の撮像部１１で撮影された例えば画像ｐ１の露光量ａ１と、第２の撮像部１２で撮影された画像ｑ１の露光量ｂ１との差を減少させるようにしたので、広ダイナミックレンジの画像を作成しつつ、高い精度で被写体の特徴量を算出することができる。
　本実施の形態によれば、第１の撮像部１１と第２の撮像部１２とで異なる露出設定を行っている場合においても、同時刻のフレームの画像を用いて、広ダイナミックレンジの画像を作成でき、測距も正確に実施することができる。従来技術では、ゲインによるノイズや非線形処理の影響で精度が落ちることが考えられるが、本技術では精度の低下は抑制される。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．第２の実施の形態＞
　次に、本開示の第２の実施の形態に係る撮像装置について説明する。なお、以下では、上記第１の実施の形態に係る撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図１５は、第２の実施の形態に係る撮像装置の一構成例を示している。
　本実施の形態に係る撮像装置は、上記図１の撮像装置の構成例における第１の信号処理部３１と、第２の信号処理部３２と、特徴量算出部４０とを、１つの信号処理部３０で構成している。
　本実施の形態では、信号処理部３０が、第１の合成画像と第２の合成画像とに基づいて特徴量を算出してもよい。この場合、露光量制御部５０は、例えば図１０に示したように、第１の撮像部１１によって撮影された複数枚の画像の露光量および露光タイミングと、第２の撮像部１２によって撮影された複数枚の画像の露光量および露光タイミングとを互いに同期させることが望ましい。
　その他の構成および動作、ならびに効果は、上記第１の実施の形態に係る撮像装置と略同様であってもよい。
＜３．第３の実施の形態＞
　次に、本開示の第３の実施の形態に係る撮像装置について説明する。なお、以下では、上記第１または第２の実施の形態に係る撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図１６は、第３の実施の形態に係る撮像装置の一構成例を示している。
　本実施の形態に係る撮像装置は、上記図１の撮像装置の構成例における第１の信号処理部３１と、第２の信号処理部３２と、特徴量算出部４０と、露光量制御部５０とを、１つの信号処理部３０Ａで構成している。
　その他の構成および動作、ならびに効果は、上記第１または第２の実施の形態に係る撮像装置と略同様であってもよい。
＜４．第４の実施の形態＞
　次に、本開示の第４の実施の形態に係る撮像装置について説明する。なお、以下では、上記第１、第２または第３の実施の形態に係る撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図１７は、第４の実施の形態に係る撮像装置の一構成例を示している。
　本実施の形態に係る撮像装置は、上記図１６の撮像装置の構成例における第１および第２の撮像部１１，１２と、第１および第２のＡＤ回路２１，２２とをＮ（＝３以上の整数）個にまで拡張した構成例となっている。
　本実施の形態に係る撮像装置は、第Ｎの撮像素子１ＮＡを含む第Ｎの撮像部１Ｎと、第ＮのＡＤ回路２Ｎとをさらに備えている。信号処理部３０Ａは、Ｎ個の合成画像を出力する。
　その他の構成および動作、ならびに効果は、上記第１、第２または第３の実施の形態に係る撮像装置と略同様であってもよい。
＜５．第５の実施の形態＞（撮像装置を用いた解析システム）
　次に、本開示の第５の実施の形態について説明する。なお、以下では、上記第１ないし第４の実施の形態に係る撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図１８は、第５の実施の形態に係る撮像装置を用いた解析システムの一構成例を示している。
　本実施の形態に係る解析システムは、上記図１の撮像装置に対し、解析部６０と、各種センサとをさらに備えている。解析部６０には、撮像装置からの第１の合成画像、第２の合成画像、および特徴量情報と、各種センサからのセンサ情報とが入力される。
　本実施の形態に係る解析システムは、撮影モードとして、広ダイナミックレンジ（ＷＤ）合成を行うための撮影モード（ＷＤモード）と、ＬＥＤ（light emitting diode:）フリッカ対策のための撮影モード（ＬＥＤフリッカモード）とを有している。解析部６０は、撮影モードに応じて露光量制御部５０による露光量制御を行う。
　各種センサは、例えば、ＧＰＳ（Global Positioning System）６１と、ミリ波レーダ６２と、超音波センサ６３と、照度センサ６４と、加速度センサ６５とを含んでいる。図２１には、車両への各種センサの搭載例を示すが、各種センサの搭載位置や搭載する数は図示した例に限定されるものではない。
　図１９は、図１８に示した解析システムにおける解析部６０の処理の一例を示している。解析部６０では、まず、ＬＥＤフリッカの有無を検出する（ステップＳ２０１）。ＬＥＤフリッカが検出された場合（ステップＳ２０１：Ｙ）には、解析部６０は、ＬＥＤフリッカモードへ遷移する（ステップＳ２０２）。ＬＥＤフリッカが検出されなかった場合（ステップＳ２０１：Ｎ）には、解析部６０は、ＷＤモードへ遷移する（ステップＳ２０３）。解析部６０では、撮影モードに応じて露光量制御部５０による露光量制御を行う（ステップＳ２０４）。
　図２２は、ＬＥＤフリッカ対策を行う場合の第１の撮像部１１と第２の撮像部１２とのそれぞれにおける露光量と露光タイミングとの第１の例を示している。ＬＥＤフリッカモードでは、ＬＥＤフリッカ現象を抑制するために第１の撮像部１１によって撮影された画像ｐ１，ｐ２，ｐ３の露光量ａ１，ａ２，ａ３をそれぞれ略同一にすることが望ましい。同様に、ＬＥＤフリッカモードでは、ＬＥＤフリッカ現象を抑制するために第２の撮像部１２によって撮影された画像ｑ１，ｑ２，ｑ３の露光量ｂ１，ｂ２，ｂ３をそれぞれ略同一にすることが望ましい。第１の信号処理部３１は、略同じ露光量の複数枚の画像ｐ１，ｐ２，ｐ３を合成してフリッカ現象の抑制された第１の合成画像を生成することができる。同様に、第２の信号処理部３２は、略同じ露光量の複数枚の画像ｑ１，ｑ２，ｑ３を合成してフリッカ現象の抑制された第２の合成画像を生成することができる。
　図２３は、ＬＥＤフリッカ対策を行う場合の第１の撮像部１１と第２の撮像部１２とのそれぞれにおける露光量と露光タイミングとの第２の例を示している。図２２では、第１の撮像部１１と第２の撮像部１２との双方をＬＥＤフリッカモードにする例を示したが、露光量制御部５０は、解析部６０の解析結果に基づいて、いずれか一方をＬＥＤフリッカモードとし、他方をＷＤモードにするような露光量制御を行うようにしてもよい。例えば、露光量制御部５０は、第１の撮像部１１をＬＥＤフリッカモードとし、第２の撮像部１２をＷＤモードにするような露光量制御を行うようにしてもよい。この場合、例えば図２３に示したように、ＬＥＤフリッカ現象を抑制するために第１の撮像部１１によって撮影される画像ｐ１，ｐ２，ｐ３の露光量ａ１，ａ２，ａ３をそれぞれ略同一にしてもよい。一方、ダイナミックレンジの拡大された第２の合成画像を生成するために、第２の撮像部１２によって撮影される画像ｑ１，ｑ２，ｑ３の露光量ｂ１，ｂ２，ｂ３を互いに異ならせてもよい。また、この場合、露光量制御部５０は、特徴量の算出が可能となる程度に、露光量ａ１，ａ２，ａ３のいずれかが、露光量ｂ１，ｂ２，ｂ３のいずれかと略同じになるように露光量制御を行うことが望ましい。図２３の例では、露光量ａ１と露光量ｂ１とを略同じにした例を示している。
　図２０は、図１８に示した解析システムにおけるＬＥＤフリッカ検出処理の手順の一例を示している。
　解析部６０は、まず、第１の合成画像と第２の合成画像と特徴量情報とを用いて物体認識を実施する（ステップＳ２１１）。次に、解析部６０は、ＬＥＤフリッカ対象物があるか否かを判断する（ステップＳ２１２）。解析部６０は、物体認識を実施した物体の中に、ＬＥＤフリッカ対策を実施したい対象物（例えば信号機、標識、および車のテールランプ等）があればＬＥＤフリッカ対象物があると判断する。解析部６０は、物体認識の結果、ＬＥＤフリッカ対象物があると判断した場合（ステップＳ２１２：Ｙ）には、ＬＥＤフリッカを検出したとみなす（ステップＳ２１８）。
　解析部６０は、物体認識の結果、ＬＥＤフリッカ対象物がないと判断した場合（ステップＳ２１２：Ｎ）には、次に、物体認識の結果と加速度センサ６５とＧＰＳ６０との情報を用いて自己位置推定を実施し（ステップＳ２１３）、ＬＥＤフリッカ対象物があるか否かを判断する（ステップＳ２１４）。解析部６０は、自己位置推定の実施結果と予め保持しておいた地図情報とを比較して現在の場所にＬＥＤフリッカ対策を実施したい対象物（信号機や標識等）があるか否かを確認し、あれば、ＬＥＤフリッカ対象物ありとみなす。解析部６０は、自己位置推定の実施結果に基づいてＬＥＤフリッカ対象物があると判断した場合（ステップＳ２１４：Ｙ）には、ＬＥＤフリッカを検出したとみなす（ステップＳ２１８）。
　解析部６０は、自己位置推定の実施結果に基づいてＬＥＤフリッカ対象物がないと判断した場合（ステップＳ２１４：Ｎ）には、次に、ミリ波レーダ６２と超音波センサ６３とを用いて周辺環境推定を実施し（ステップＳ２１５）、ＬＥＤフリッカ対象物があるか否かを判断する（ステップＳ２１６）。解析部６０は、周辺環境推定に基づいて、付近にＬＥＤフリッカ対策を実施したい対象物（車のテールランプ等）があるか否かを判断し、これに照度センサ６４の情報も加味して、特定の照度以下でかつ対象物がある場合、ＬＥＤフリッカ対象物ありとみなす。解析部６０は、周辺環境推定に基づいてＬＥＤフリッカ対象物があると判断した場合（ステップＳ２１６：Ｙ）には、ＬＥＤフリッカを検出したとみなす（ステップＳ２１８）。解析部６０は、周辺環境推定に基づいてＬＥＤフリッカ対象物がないと判断した場合（ステップＳ２１６：Ｎ）には、ＬＥＤフリッカ未検出とする（ステップＳ２１７）。
　本実施の形態のように、特徴量算出部４０で算出された特徴量情報は、物体認識（車検出、白線認識、歩行者検出、および信号機検出等）に応用可能である。この場合の物体認識は、第１の撮像部１１および第２の撮像部１２のうちの１つで撮影された画像に基づく特徴量情報であってもよい。また、１つの撮像部で撮影された画像に基づく特徴量情報は、物体追尾などに使用することもできる。また、２つ以上の撮像部で撮影された複数の画像に基づく特徴量情報は、測距や自己位置推定（ＳＬＡＭ）などに用いることができる。
＜６．第６の実施の形態＞（移動体への応用例）
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２５は、撮像部１２０３１の設置位置の例を示す図である。
　図２５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術における第１の撮像部および第２の撮像部は、図２４の撮像部１２０３１に適用することができる。また、本開示に係る技術における第１の撮像部および第２の撮像部は、図２５の撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５のそれぞれに適用することができる。また、本開示に係る技術における信号処理部、特徴量算出部、および露光量制御部の機能は、マイクロコンピュータ１２０５１によって実現可能である。本開示に係る技術を車両制御システムに適用することで、高い精度で被写体の特徴量を算出し、測距等を正確に実施することができる。
＜７．その他の実施の形態＞
　本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることができる。
（１）
　第１の画像を含む複数枚の画像を順次、撮影する第１の撮像部と、
　第２の画像を含む少なくとも１枚の画像を撮影する第２の撮像部と、
　前記第１の撮像部によって撮影された前記複数枚の画像を合成する信号処理部と、
　前記第１の画像と前記第２の画像とに基づいて、被写体の特徴量を算出する特徴量算出部と、
　前記第１の画像の露光量と前記第２の画像の露光量との差を減少させるように前記第１の撮像部と前記第２の撮像部との露光量を制御する露光量制御部と
　を備えた撮像装置。
（２）
　前記露光量制御部は、前記第１の画像の露光タイミングと前記第２の画像の露光タイミングとの差を減少させるように前記第１の撮像部と前記第２の撮像部とを制御する
　上記（１）に記載の撮像装置。
（３）
　前記第１の画像は、前記複数枚の画像のうち１枚目に撮影された画像である
　上記（１）または（２）に記載の撮像装置。
（４）
　前記露光量制御部は、前記複数枚の画像の露光量が互いに異なるように前記第１の撮像部を制御し、
　前記信号処理部は、前記複数枚の画像を合成してダイナミックレンジの拡大された合成画像を生成する
　上記（１）ないし（３）のいずれか１つに記載の撮像装置。
（５）
　前記露光量制御部は、前記複数枚の画像の露光量が互いに同一となるように前記第１の撮像部を制御し、
　前記信号処理部は、前記複数枚の画像を合成してフリッカ現象の抑制された合成画像を生成する
　上記（１）ないし（３）のいずれか１つに記載の撮像装置。
（６）
　前記露光量制御部は、フリッカの検出結果に基づいて、前記複数枚の画像の露光量が互いに同一、または互いに異なるように前記第１の撮像部を制御する
　上記（１）ないし（３）のいずれか１つに記載の撮像装置。
（７）
　前記第２の撮像部は、前記第２の画像を含む複数枚の画像を順次、撮影し、
　前記信号処理部は、前記第１の撮像部によって撮影された前記複数枚の画像を合成して第１の合成画像を生成すると共に、前記第２の撮像部によって撮影された前記複数枚の画像を合成して第２の合成画像を生成する
　上記（１）ないし（６）のいずれか１つに記載の撮像装置。
（８）
　前記特徴量算出部は、前記第１の合成画像と前記第２の合成画像とに基づいて、前記被写体の特徴量を算出する
　上記（７）に記載の撮像装置。
（９）
　前記露光量制御部は、前記第１の撮像部によって撮影された前記複数枚の画像の露光量および露光タイミングと、前記第２の撮像部によって撮影された前記複数枚の画像の露光量および露光タイミングとを互いに同期させる
　上記（８）に記載の撮像装置。
（１０）
　前記第２の撮像部は、前記第２の画像を含む複数枚の画像を順次、撮影し、
　前記第１の画像は、前記第１の撮像部で撮影された前記複数枚の画像のうち１枚目に撮影された画像であり、
　前記第２の画像は、前記第２の撮像部で撮影された前記複数枚の画像のうち１枚目に撮影された画像である
　上記（１）ないし（９）のいずれか１つに記載の撮像装置。
（１１）
　前記第１の画像と前記第２の画像は互いに視差のある画像であり、
　前記特徴量算出部は、前記第１の画像と前記第２の画像との間の視差に基づいて、被写体の距離を算出する、
　上記（１）ないし（１０）のいずれか１つに記載の撮像装置。
（１２）
　前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とから算出された合成輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
　上記（１）ないし（１１）のいずれか１つに記載の撮像装置。
（１３）
　前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とのいずれか一方の輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
　上記（１）ないし（１１）のいずれか１つに記載の撮像装置。
（１４）
　前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とのいずれか大きい方または小さい方の輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
　上記（１３）に記載の撮像装置。
（１５）
　前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値との平均輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
　上記（１）ないし（１１）のいずれか１つに記載の撮像装置。
（１６）
　前記露光量制御部は、前記第１の画像と前記第２の画像とをそれぞれ複数の領域に分割し、前記第１の画像における前記分割された領域ごとの平均輝度値と前記第２の画像における前記分割された領域ごとの平均輝度値とを算出した結果に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
　上記（１）ないし（１１）のいずれか１つに記載の撮像装置。
（１７）
　第１の画像を含む複数枚の画像を第１の撮像部によって順次、撮影することと、
　第２の画像を含む少なくとも１枚の画像を第２の撮像部によって撮影することと、
　前記第１の撮像部によって撮影された前記複数枚の画像を合成することと、
　前記第１の画像と前記第２の画像とに基づいて、被写体の特徴量を算出することと、
　前記第１の画像の露光量と前記第２の画像の露光量との差を減少させるように前記第１の撮像部と前記第２の撮像部とを制御することと
　を含む撮像方法。
　本出願は、日本国特許庁において２０１６年５月１０日に出願された日本特許出願番号第２０１６－０９４６０２号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (17)

  1. 　第１の画像を含む複数枚の画像を順次、撮影する第１の撮像部と、
    　第２の画像を含む少なくとも１枚の画像を撮影する第２の撮像部と、
    　前記第１の撮像部によって撮影された前記複数枚の画像を合成する信号処理部と、
    　前記第１の画像と前記第２の画像とに基づいて、被写体の特徴量を算出する特徴量算出部と、
    　前記第１の画像の露光量と前記第２の画像の露光量との差を減少させるように前記第１の撮像部と前記第２の撮像部との露光量を制御する露光量制御部と
    　を備えた撮像装置。
  2. 　前記露光量制御部は、前記第１の画像の露光タイミングと前記第２の画像の露光タイミングとの差を減少させるように前記第１の撮像部と前記第２の撮像部とを制御する
    　請求項１に記載の撮像装置。
  3. 　前記第１の画像は、前記複数枚の画像のうち１枚目に撮影された画像である
    　請求項１に記載の撮像装置。
  4. 　前記露光量制御部は、前記複数枚の画像の露光量が互いに異なるように前記第１の撮像部を制御し、
    　前記信号処理部は、前記複数枚の画像を合成してダイナミックレンジの拡大された合成画像を生成する
    　請求項１に記載の撮像装置。
  5. 　前記露光量制御部は、前記複数枚の画像の露光量が互いに同一となるように前記第１の撮像部を制御し、
    　前記信号処理部は、前記複数枚の画像を合成してフリッカ現象の抑制された合成画像を生成する
    　請求項１に記載の撮像装置。
  6. 　前記露光量制御部は、フリッカの検出結果に基づいて、前記複数枚の画像の露光量が互いに同一、または互いに異なるように前記第１の撮像部を制御する
    　請求項１に記載の撮像装置。
  7. 　前記第２の撮像部は、前記第２の画像を含む複数枚の画像を順次、撮影し、
    　前記信号処理部は、前記第１の撮像部によって撮影された前記複数枚の画像を合成して第１の合成画像を生成すると共に、前記第２の撮像部によって撮影された前記複数枚の画像を合成して第２の合成画像を生成する
    　請求項１に記載の撮像装置。
  8. 　前記特徴量算出部は、前記第１の合成画像と前記第２の合成画像とに基づいて、前記被写体の特徴量を算出する
    　請求項７に記載の撮像装置。
  9. 　前記露光量制御部は、前記第１の撮像部によって撮影された前記複数枚の画像の露光量および露光タイミングと、前記第２の撮像部によって撮影された前記複数枚の画像の露光量および露光タイミングとを互いに同期させる
    　請求項８に記載の撮像装置。
  10. 　前記第２の撮像部は、前記第２の画像を含む複数枚の画像を順次、撮影し、
    　前記第１の画像は、前記第１の撮像部で撮影された前記複数枚の画像のうち１枚目に撮影された画像であり、
    　前記第２の画像は、前記第２の撮像部で撮影された前記複数枚の画像のうち１枚目に撮影された画像である
    　請求項１に記載の撮像装置。
  11. 　前記第１の画像と前記第２の画像は互いに視差のある画像であり、
    　前記特徴量算出部は、前記第１の画像と前記第２の画像との間の視差に基づいて、被写体の距離を算出する、
    　請求項１に記載の撮像装置。
  12. 　前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とから算出された合成輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
    　請求項１に記載の撮像装置。
  13. 　前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とのいずれか一方の輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
    　請求項１に記載の撮像装置。
  14. 　前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とのいずれか大きい方または小さい方の輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
    　請求項１３に記載の撮像装置。
  15. 　前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値との平均輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
    　請求項１に記載の撮像装置。
  16. 　前記露光量制御部は、前記第１の画像と前記第２の画像とをそれぞれ複数の領域に分割し、前記第１の画像における前記分割された領域ごとの平均輝度値と前記第２の画像における前記分割された領域ごとの平均輝度値とを算出した結果に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
    　請求項１に記載の撮像装置。
  17. 　第１の画像を含む複数枚の画像を第１の撮像部によって順次、撮影することと、
    　第２の画像を含む少なくとも１枚の画像を第２の撮像部によって撮影することと、
    　前記第１の撮像部によって撮影された前記複数枚の画像を合成することと、
    　前記第１の画像と前記第２の画像とに基づいて、被写体の特徴量を算出することと、
    　前記第１の画像の露光量と前記第２の画像の露光量との差を減少させるように前記第１の撮像部と前記第２の撮像部とを制御することと
    　を含む撮像方法。
PCT/JP2017/010137 2016-05-10 2017-03-14 撮像装置、および撮像方法 WO2017195459A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/097,913 US10771711B2 (en) 2016-05-10 2017-03-14 Imaging apparatus and imaging method for control of exposure amounts of images to calculate a characteristic amount of a subject

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-094602 2016-05-10
JP2016094602A JP2017204699A (ja) 2016-05-10 2016-05-10 撮像装置、および撮像方法

Publications (1)

Publication Number Publication Date
WO2017195459A1 true WO2017195459A1 (ja) 2017-11-16

Family

ID=60267831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010137 WO2017195459A1 (ja) 2016-05-10 2017-03-14 撮像装置、および撮像方法

Country Status (3)

Country Link
US (1) US10771711B2 (ja)
JP (1) JP2017204699A (ja)
WO (1) WO2017195459A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7309327B2 (ja) * 2018-06-22 2023-07-18 キヤノン株式会社 撮像システム、撮像装置、その方法およびプログラム
US10944912B2 (en) * 2019-06-04 2021-03-09 Ford Global Technologies, Llc Systems and methods for reducing flicker artifacts in imaged light sources
CN112087580B (zh) * 2019-06-14 2022-03-18 Oppo广东移动通信有限公司 图像采集方法和装置、电子设备、计算机可读存储介质
JP7418986B2 (ja) * 2019-07-26 2024-01-22 キヤノン株式会社 撮像装置および撮像装置の制御方法
WO2021043892A1 (en) * 2019-09-03 2021-03-11 Jaguar Land Rover Limited Method and system for mitigating image flicker from strobed lighting systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11201740A (ja) * 1998-01-09 1999-07-30 Omron Corp 画像処理方法およびその装置
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2006254470A (ja) * 2006-03-23 2006-09-21 Hitachi Kokusai Electric Inc テレビジョンカメラ
JP2015207944A (ja) * 2014-04-22 2015-11-19 日本放送協会 ビデオカメラ装置、映像信号の処理方法および映像信号処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5367640B2 (ja) 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
JP6041593B2 (ja) * 2012-09-14 2016-12-14 キヤノン株式会社 固体撮像装置
CN104301624B (zh) * 2014-10-30 2018-04-03 青岛海信移动通信技术股份有限公司 一种图像拍摄亮度控制方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11201740A (ja) * 1998-01-09 1999-07-30 Omron Corp 画像処理方法およびその装置
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2006254470A (ja) * 2006-03-23 2006-09-21 Hitachi Kokusai Electric Inc テレビジョンカメラ
JP2015207944A (ja) * 2014-04-22 2015-11-19 日本放送協会 ビデオカメラ装置、映像信号の処理方法および映像信号処理装置

Also Published As

Publication number Publication date
JP2017204699A (ja) 2017-11-16
US10771711B2 (en) 2020-09-08
US20190149711A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
TWI814804B (zh) 距離測量處理設備，距離測量模組，距離測量處理方法及程式
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7014218B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2017195459A1 (ja) 撮像装置、および撮像方法
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6977722B2 (ja) 撮像装置、および画像処理システム
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2020241294A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2018008426A1 (ja) 信号処理装置および方法、並びに撮像装置
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2019145021A (ja) 情報処理装置、撮像装置、及び撮像システム
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
JP7030607B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021106624A1 (ja) 測距センサ、測距システム、および、電子機器
CN113661700B (zh) 成像装置与成像方法
KR20230028248A (ko) 제어 장치, 투영 시스템, 제어 방법 및 프로그램
US20210217146A1 (en) Image processing apparatus and image processing method
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
WO2020203331A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2022004441A1 (ja) 測距装置および測距方法
JP7517349B2 (ja) 信号処理装置、信号処理方法、および、測距装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17795820

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17795820

Country of ref document: EP

Kind code of ref document: A1