WO2012086139A1 - 撮像装置および画像データ形成方法 - Google Patents
撮像装置および画像データ形成方法 Download PDFInfo
- Publication number
- WO2012086139A1 WO2012086139A1 PCT/JP2011/006810 JP2011006810W WO2012086139A1 WO 2012086139 A1 WO2012086139 A1 WO 2012086139A1 JP 2011006810 W JP2011006810 W JP 2011006810W WO 2012086139 A1 WO2012086139 A1 WO 2012086139A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- imaging
- light
- image
- subject
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000012937 correction Methods 0.000 claims abstract description 93
- 238000009499 grossing Methods 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims description 436
- 238000001514 detection method Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 28
- 238000003702 image correction Methods 0.000 description 26
- 238000013500 data storage Methods 0.000 description 15
- 230000001678 irradiating effect Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
- G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2215/00—Special procedures for taking photographs; Apparatus therefor
- G03B2215/05—Combinations of cameras with electronic flash units
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2215/00—Special procedures for taking photographs; Apparatus therefor
- G03B2215/05—Combinations of cameras with electronic flash units
- G03B2215/0503—Built-in units
Definitions
- the present invention relates to an image pickup apparatus and an image data forming method that are provided in a digital still camera, a mobile phone equipped with a camera module, and the like, and form image data by correcting image pickup data of a subject irradiated by an irradiation unit.
- the photographing apparatus includes an illuminating unit such as a strobe device that irradiates auxiliary light or an LED lamp in order to compensate for the shortage of the light amount of the subject in the imaging range.
- an illuminating unit such as a strobe device that irradiates auxiliary light or an LED lamp in order to compensate for the shortage of the light amount of the subject in the imaging range.
- the irradiation unit is required to uniformly irradiate the subject in the imaging range with the same amount of light as that in the outdoors in fine weather.
- the irradiation unit has a deviation (variation) in the amount of light irradiated depending on the irradiation position due to the shape of the light emitting source constituting the irradiation unit.
- a digital still camera includes a light emitting module that includes an LED element as a light source, and a lens array that controls light distribution so that light emitted from the LED element is substantially uniform in the imaging range.
- a light emitting module that includes an LED element as a light source
- a lens array that controls light distribution so that light emitted from the LED element is substantially uniform in the imaging range.
- the irradiating unit irradiates the subject by controlling the light distribution so that the optical path of the light emitted from the LED element is substantially uniform over the entire imaging range by the lens array.
- the irradiation unit described in Patent Document 1 has a complicated lens array configuration. For this reason, when the light that irradiates the subject only with the lens array is made completely uniform, the lens array needs to be large and have high dimensional accuracy. Therefore, it is practically impossible to irradiate uniformly.
- the current imaged image data is corrected so that the light irradiated to the subject after shooting is evenly irradiated without shooting with the irradiation light irradiated to the subject completely uniform (for example, , See Patent Document 2).
- the image correction apparatus described in Patent Document 2 includes a digital still camera and an external electronic device.
- the digital still camera includes a flash discharge tube, an imaging device that images a subject, a photometric device that detects the luminance of the main subject, a distance measuring device that measures the distance to the main subject, and an imaging that stores imaging data of the subject A data storage unit; and a storage device that stores shooting information such as a distance to the main subject and luminance of the main subject.
- the external electronic device has an interface for reading imaging data and imaging information from a digital still camera, a camera information storage unit for storing camera information such as a light emission amount of the flash discharge tube and a light distribution characteristic of the flash discharge tube, and an imaging data And a central processing unit (CPU) that performs correction based on shooting information and camera information.
- a camera information storage unit for storing camera information such as a light emission amount of the flash discharge tube and a light distribution characteristic of the flash discharge tube
- an imaging data And a central processing unit (CPU) that performs correction based on shooting information and camera information.
- CPU central processing unit
- FIG. 7A is a diagram illustrating a relationship between an imaging range of a conventional imaging device and an irradiation range before correction.
- FIG. 7B is a diagram illustrating a relationship between an imaging range of a conventional imaging device and a corrected irradiation range.
- FIG. 7C is a diagram illustrating a light distribution characteristic of auxiliary light before and after correction of a conventional imaging apparatus. The solid line in FIG. 7C indicates the light distribution characteristic of the flash discharge tube in the imaging range Q before correction shown in FIG. 7A. 7C indicates the light distribution characteristics of the flash discharge tube in the imaging range Q after correction shown in FIG. 7B.
- the light distribution characteristic before correction of the flash discharge tube 20 in the imaging range Q has the highest light amount at the intermediate position in the longitudinal direction of the flash discharge tube 20, as indicated by the solid line in FIG.
- the amount of light is decreasing from the outside toward the outer periphery.
- the irradiation range with an effective light distribution angle of ⁇ 30 ° to + 30 ° shown in FIG. 7C corresponds to the substantially elliptical irradiation range R shown in FIG. 7A. Therefore, it can be seen that the amount of light at the outer peripheral portion of the irradiation range R is insufficient in the imaging range Q.
- the image correction apparatus corrects the image data captured under the imaging conditions having the light distribution characteristics shown in FIG. 7A to the light distribution characteristics shown by the broken lines in FIG. 7C.
- the amount of light in the irradiation range R (effective light distribution angle of ⁇ 30 ° to + 30 °) of the flash discharge tube 20 is made uniform from the shooting information and camera information. .
- the image correction apparatus disclosed in Patent Document 2 corrects image data with an external electronic device after taking an image with an imaging apparatus such as a digital still camera. Therefore, the corrected image data cannot be confirmed on the screen of the digital still camera.
- the light distribution characteristics of the flash discharge tube used for correction by the external electronic device have unique characteristics for each imaging device, but the image correction apparatus previously obtained the light distribution characteristics of an ideal subject. Correction is made uniformly according to the light distribution characteristics of the flash discharge tube. Therefore, there is a problem that it is impossible to accurately correct each subject in the imaging range Q according to the distance for each actual subject existing in large numbers in the imaging range Q and the actual reflectance of the subject.
- the present invention includes an imaging device that images a subject and an image forming unit that forms image data based on imaging data acquired from the imaging device, and irradiates the subject with light from the irradiation unit.
- An imaging apparatus having a first imaging mode in which the first imaging data is acquired in a state where the imaging is not performed, and a second imaging mode in which the second imaging data is acquired in a state where the subject is irradiated with light from the irradiation unit.
- the image forming unit multiplies the multiplication data obtained by multiplying the difference data calculated based on the first imaging data and the second imaging data by the light distribution correction data for smoothing the light distribution characteristics of the irradiation unit.
- image data is formed as a correction value for the second imaging data.
- the image data forming method of the present invention includes an image sensor that images a subject and an image forming unit that forms image data based on image data acquired from the image sensor, and irradiates the subject with light from the irradiation unit.
- An image data forming method in an imaging apparatus having a first imaging mode in which first imaging data is acquired in a state in which the subject is not exposed, and a second imaging mode in which second imaging data is acquired in a state in which the subject is irradiated with light from the irradiation unit.
- calculate difference data based on the first imaging data and the second imaging data calculate smooth the difference data and the light distribution characteristics of the irradiation unit. Multiplication data with the light distribution correction data is calculated, and image data is formed using the multiplication data as a correction value for the second imaging data.
- FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 2 is a flowchart showing the correction operation of the imaging data of the imaging apparatus according to the embodiment.
- FIG. 3A is a diagram exemplifying a light distribution characteristic of a light emitting element for each pixel in an imaging range imaged by the imaging element of the imaging device according to the embodiment.
- FIG. 3B is a diagram exemplifying light distribution correction data for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 3C is a diagram exemplifying first imaging data for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 3D is a diagram exemplifying second imaging data for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 4A is a diagram exemplifying difference data for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 4B is a diagram exemplifying multiplication data (image correction data) for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 4C is a diagram exemplifying the second imaging data (image data) corrected for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 5A is a diagram showing a relationship between the imaging range of the imaging apparatus and the irradiation range before correction in the embodiment.
- FIG. 5B is a diagram illustrating a relationship between the imaging range of the imaging apparatus and the corrected irradiation range in the embodiment.
- FIG. 6 is a block diagram of the imaging apparatus according to Embodiment 2 of the present invention.
- FIG. 7A is a diagram illustrating a relationship between an imaging range of a conventional imaging device and an irradiation range before correction.
- FIG. 7B is a diagram illustrating a relationship between an imaging range of a conventional imaging device and a corrected irradiation range.
- FIG. 7C is a diagram illustrating a light distribution characteristic of auxiliary light before and after correction of a conventional imaging apparatus.
- FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
- the imaging apparatus 1 includes at least a photographing lens 2, a lens driving unit 3, an imaging element 4, an image forming unit 5, an irradiation unit 6, an operation unit 7,
- the storage unit 8, the display unit 9, and the external storage medium 10 are configured.
- the taking lens 2 is provided so as to be movable in the optical axis direction, and focuses on the subject.
- the lens driving unit 3 drives the photographing lens 2 in the optical axis direction.
- the image sensor 4 receives reflected light from the subject via the photographing lens 2 and images the subject.
- the image forming unit 5 forms image data based on the imaging data acquired by the imaging element 4.
- the irradiating unit 6 is externally attached, for example, and irradiates the subject with light to compensate for the amount of light applied to the subject.
- the operation unit 7 includes, for example, a mode switch that selects a shooting mode, a shutter switch that opens a shutter, and the like.
- the storage unit 8 is configured by a memory such as a RAM or a ROM that stores captured image data and various setting conditions, and is built in the imaging apparatus.
- the display unit 9 includes, for example, a liquid crystal monitor that displays captured image data and various setting conditions of the image data.
- the external storage medium 10 is configured by, for example, a removable memory card that stores captured image data and various setting conditions.
- the irradiation unit 6 includes at least a light emitting element 14, an optical panel 15, a driving unit 16 that drives the light emitting element 14, and a light distribution correction data storage unit 17.
- the light emitting element 14 is composed of one or a plurality of light sources such as a flash discharge tube such as a xenon tube or an LED lamp, and emits light toward the subject in order to supplement the amount of light of the subject.
- the light distribution correction data storage unit 17 includes, for example, a light distribution correction value memory, and stores light distribution correction data for irradiating light (auxiliary light) from the light emitting element 14 substantially uniformly over the entire imaging range. To do.
- the light distribution correction data storage unit 17 may be a read-only light distribution correction value memory such as a ROM that stores the light distribution correction data in a non-rewritable manner before shipment.
- a readable / writable light distribution correction value memory such as a RAM that stores the light distribution correction data in a rewritable manner after shipment may be used.
- the optical panel 15 shapes the light (auxiliary light) emitted from the light emitting element 14 so as to be substantially uniform over the entire imaging range, based on the light distribution correction data in the light distribution correction data storage unit 17. To do.
- the image forming unit 5 includes at least an AD conversion unit 11, a buffer memory 12, and a control unit 13.
- the AD conversion unit 11 converts the reflected light from the subject received as an analog signal by the image sensor 4 into a digital signal.
- the buffer memory 12 temporarily stores imaging data being converted by the AD conversion unit 11 (for example, data obtained by converting reflected light into a digital signal).
- control unit 13 of the image forming unit 5 controls each component of the imaging apparatus such as the lens driving unit 3, the imaging device 4, the AD conversion unit 11, and the buffer memory 12 according to the setting conditions.
- control unit 13 of the image forming unit 5 in the present embodiment will be described.
- control unit 13 controls an imaging operation performed successively in the order of the first imaging mode and the second imaging mode. At this time, after acquiring the first imaging data in the first imaging mode, the control unit 13 acquires the second imaging data in the second imaging mode.
- the control unit 13 controls two different imaging modes including the first imaging mode and the second imaging mode for one imaging.
- the first imaging mode is an imaging mode in which imaging is performed in a state in which the subject is not irradiated with light and the first imaging data is acquired
- the second imaging mode is a second mode in which imaging is performed with the subject irradiated with light.
- This is an imaging mode for acquiring imaging data.
- the control unit 13 receives from the light distribution correction data storage unit 17 of the irradiation unit 6 light distribution correction data for uniformly correcting the light irradiated from the irradiation unit 6 based on the light distribution characteristics of the irradiation unit 6.
- the light distribution characteristic of the irradiation unit 6 is a light emission amount or a light emission coefficient when the subject is irradiated under a predetermined condition in the imaging range of the imaging data in which the subject is imaged.
- control unit 13 acquires, from the image sensor 4, first imaging data imaged in the first imaging mode and second imaging data imaged in the second imaging mode.
- imaging environment correction data based on the imaging environment in which the subject is imaged is calculated based on the acquired first imaging data and second imaging data.
- the control unit 13 calculates and acquires difference data, which is a difference in light amount between the first imaging data and the second imaging data, as imaging environment correction data.
- control unit 13 corrects the second imaging data based on the difference data (imaging environment correction data) and the light distribution correction data received from the light distribution correction data storage unit 17 of the irradiation unit 6. Calculate correction data. Specifically, the control unit 13 calculates the image correction data by multiplying the light distribution correction data and the difference data. Thereby, in the imaging range, the light irradiated to the subject via the irradiation unit 6 can be imaged uniformly based on the imaging environment of the subject.
- the storage unit 8 includes the first imaging data and the second imaging data captured by the imaging element 4, the difference data calculated by the control unit 13, the image correction data, and the corrected second imaging data.
- the light distribution correction data read from the light distribution correction data storage unit 17 of the irradiation unit 6 is stored.
- the storage unit 8 is connected to the control unit 13 and transmits / receives the data stored in response to a control signal from the control unit 13 to the control unit 13.
- the imaging apparatus As described above, the imaging apparatus according to the present embodiment is configured.
- FIG. 2 is a flowchart showing an imaging data correction operation of the imaging apparatus according to the embodiment.
- FIG. 3A is a diagram exemplifying a light distribution characteristic of a light emitting element for each pixel in an imaging range imaged by the imaging element of the imaging device according to the embodiment.
- FIG. 3B is a diagram exemplifying light distribution correction data for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 3C is a diagram exemplifying first imaging data for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 3D is a diagram exemplifying second imaging data for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 3A is a diagram exemplifying a light distribution characteristic of a light emitting element for each pixel in an imaging range imaged by the imaging element of the imaging device according to the embodiment.
- FIG. 3B is a diagram exemplifying light distribution correction data for each pixel in
- FIG. 4A is a diagram exemplifying difference data for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 4B is a diagram exemplifying multiplication data (image correction data) for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- FIG. 4C is a diagram exemplifying the second imaging data (image data) corrected for each pixel in the imaging range of the imaging apparatus according to the embodiment.
- the imaging range is described by expressing the horizontal (x-axis direction) 5 pixels (pixels) ⁇ vertical (y-axis direction) 5 pixels (pixels).
- the light distribution correction data K1 is correction data obtained by calculation so as to obtain uniform light distribution in the imaging range from light distribution characteristic data measured by actually emitting light for each product before product shipment. is there.
- the light distribution correction data K1 is stored in the light distribution correction value memory of the light distribution correction data storage unit 17 of the irradiation unit 6.
- the light distribution correction data K1 is obtained by calculation for each pixel in the imaging range formed by the imaging device 4 and formed from a plurality of ranges. Specifically, the light distribution correction data K1 is based on the light distribution characteristic data d, and the difference between the light amount of the reference pixel and the light quantity based on the light distribution characteristic data d of the irradiation unit 6 for each pixel in the imaging range. It is obtained as a value divided by the amount of light. Thereby, the light distribution correction data K1 represents the relative variation of the light amount of each pixel in the imaging range with respect to the light amount of the specific pixel as a reference.
- the light distribution characteristic data d is a light amount value for each pixel in the imaging range received by the imaging device 4 when the subject is irradiated with light under a specific imaging condition.
- the specific shooting condition means a case where the subject is in the same condition in the entire imaging range.
- the distance to the subject is uniformly 1 m and the reflectance of the subject is uniformly 18% in the entire imaging range will be described as an example of specific imaging conditions.
- the light distribution characteristic data d of the irradiation unit 6 imaged under the above-described imaging conditions is a value as shown in FIG. 3A.
- the value of each pixel in the imaging range is represented by the relative ratio of the difference from the central pixel when the light quantity of the central pixel serving as the reference is 100.
- the position of each pixel is expressed by the following (Equation 1). It is represented by the formula shown by.
- the light distribution correction data K1 of each pixel is a value obtained by dividing the difference between the light amount corresponding to the position of the central pixel and the light amount corresponding to the position of each pixel by the light amount corresponding to the pixel position. Specifically, the light distribution correction data K1 is obtained by calculating the light distribution characteristic data of FIG. 3A using the following equation (Equation 2) to thereby calculate the light distribution correction data K1 of each pixel shown in FIG. 3B. Is required.
- step S10 it is determined whether or not the shutter switch has been pressed by the photographer (step S10). At this time, if the shutter switch is not pressed halfway (NO in step S10), the determination in step S10 is repeated until the shutter switch is pressed halfway.
- step S10 When the shutter switch is pressed halfway (YES in step S10), the lens driving unit 3 is controlled by the control unit 13 of the image forming unit 5 to drive the photographing lens 2 (step S20).
- the control unit 13 of the image forming unit 5 takes in the light distribution correction data K1 from the light distribution correction value memory of the light distribution correction data storage unit 17 of the irradiation unit 6 (step S30), and stores it in the storage unit 8 such as a memory.
- the light distribution correction data K1 is a value shown in FIG. 3B described above.
- the light distribution correction data K1 of the irradiation unit 6 externally attached to the imaging apparatus before imaging is taken into the control unit 13 from the light distribution correction data storage unit 17, and the light distribution correction data K1 can be used. it can.
- step S50 it is determined whether or not the shutter switch has been fully pressed by the photographer (step S50). At this time, if the shutter switch is not fully pressed (NO in step S50), the process returns to the determination in step S10, and the subsequent operations are repeated until the shutter switch is fully pressed.
- the reflectance of the subject is set to 36%.
- the subject reflectance is 9%.
- the reflectance of the subject is 18%.
- first imaging data d1 is assumed to be a value shown in FIG. 3C, and the first imaging data d1 can be expressed by the following equation (Equation 3).
- n 1,2,3,4,5
- m 1,2,3,4,5
- the control unit 13 controls the driving unit 16 of the irradiation unit 6 to emit light that supplements the amount of light of the subject from the light emitting element 14 to the subject via the optical panel 15. Irradiate (step S80).
- the control unit 13 receives the reflected light from the subject irradiated with the supplemented light amount by the imaging device 4, acquires the second imaging data d2 (step S90), and stores it in the storage unit 8 (step S100). ).
- the second imaging data d2 is expressed by the following equation (Equation 4). That is, the second imaging data d2 can be calculated from the first imaging data d1, the distance L0 to the subject, and the reflectance R0 of the subject, as shown in (Equation 4).
- the difference data ⁇ d is, for example, a value shown in FIG. 4A, and the difference data ⁇ d is expressed by the following equation (Equation 5).
- “multiplication” refers to multiplication in the case of multiplying the first imaging data and the second imaging data as they are, or a state in which at least one of the first imaging data and the second imaging data is multiplied by a predetermined coefficient. The case of is also included.
- the image correction data ⁇ i is, for example, a value shown in FIG. 4B, and the image correction data ⁇ i is expressed by the following equation (Equation 6).
- Image correction data: ⁇ i (x (n), y (m)) ⁇ d (x (n), y (m)) ⁇ K1 (x (n), y (m)) (Equation 6)
- n 1,2,3,4,5
- m 1,2,3,4,5 ⁇ d (x (n), y (m)): difference data K1 (x (n), y (m)): light distribution correction data
- the corrected second imaging data D2 is stored as image data in the storage unit 8 (step S170).
- the corrected second imaging data D2 is, for example, the value shown in FIG. 4C, and the corrected second imaging data D2 is expressed by the following equation (Equation 7).
- the reflected light from the subject is acquired as the first imaging data d1 from the imaging element 4 before the subject is irradiated with light by the irradiation unit 6 (not irradiated).
- the reflected light from the subject is acquired from the imaging element 4 as the second imaging data d2.
- the image forming unit 5 calculates the difference data ⁇ d between the first imaging data d1 and the second imaging data d2 acquired by the above method. Thereby, the difference data ⁇ d based on the imaging environment in which the subject is actually imaged (distance from the imaging element 4 for each subject, the reflectance of the subject, etc.) is calculated.
- the image forming unit 5 calculates light distribution correction data K1 based on the light distribution characteristic data d of the irradiation unit 6 that irradiates under a predetermined condition in consideration of the difference data ⁇ d, and image correction data based on the imaging environment of the subject. ⁇ i is calculated.
- the second imaging data d2 is corrected with the image correction data ⁇ i, and the corrected second imaging data D2 is calculated.
- the light emitted from the light emitting element 14 of the irradiating unit 6 is shaped into, for example, a subject by shaping the amount of light, distribution, and the like with a lens array of the optical panel 15, for example. Irradiate.
- FIG. 5A is a diagram illustrating a relationship between the imaging range of the imaging apparatus according to the present embodiment and the irradiation range before correction.
- FIG. 5B is a diagram illustrating a relationship between the imaging range of the imaging apparatus according to the present embodiment and the irradiation range after correction.
- an imaging apparatus that forms image data by uniformly correcting the amount of imaging data in accordance with the situation of the subject in the imaging range.
- the afterglow of light is eliminated. There is no need to wait for the acquisition of the second imaging data. For this reason, it is possible to acquire the second imaging data d2 obtained by imaging the subject in a state in which light is irradiated immediately after acquiring the first imaging data. Accordingly, it is possible to realize an imaging apparatus that forms image data in which the light amount of the imaging data is uniformly corrected in a short time.
- FIG. 6 is a block diagram showing a configuration of the imaging apparatus according to Embodiment 2 of the present invention.
- the imaging device 18 of the present embodiment includes a light amount detection unit 19 and acquires the first imaging data d1 in the first imaging mode after acquiring the second imaging data d2 in the second imaging mode. This is different from the imaging device of the first embodiment. Since other configurations and operations are the same as those in the first embodiment, description thereof is omitted.
- the imaging device 18 includes at least a photographing lens 2, a lens driving unit 3, an imaging element 4, an image forming unit 5, an irradiation unit 6, an operation unit 7,
- the storage unit 8, the display unit 9, the external storage medium 10, and the light amount detection unit 19 are configured.
- the light quantity detection unit 19 detects the light quantity of the light irradiated by the irradiation unit 6.
- the control part 13 acquires the 1st imaging data d1, after detecting that the light quantity detection part 19 became below predetermined light quantity.
- the light amount detection unit 19 detects the light amount of the reflected light from the subject after irradiating the subject with light from the irradiation unit 6 and acquiring the second imaging data and before acquiring the first imaging data d1.
- the state in which the subject is not irradiated with light is determined.
- the light amount detection unit 19 is configured by, for example, a photodiode or a phototransistor, and detects that the amount of reflected light from the subject is equal to or less than a predetermined amount.
- the light amount detection unit 19 may be configured to detect, for example, a switch that turns on / off when the reflected light from the subject is greater than or equal to a predetermined light amount or less than a predetermined light amount.
- the first imaging data acquisition and the second imaging data acquisition order according to the first embodiment are different from each other in that the image data is formed. Therefore, the flow of different parts will be mainly described.
- the image forming unit 5 acquires the second imaging data d2 from the imaging element 4 after irradiating the subject with light by the irradiation unit 6.
- the image forming unit 5 detects the amount of afterglow of the reflected light from the subject after the light amount detection unit 19 stops the light irradiation by the irradiation unit 6. At this time, when the light amount detected by the light amount detection unit 19 exceeds a predetermined light amount, the first imaging data is not acquired and the apparatus stands by.
- the image pickup element 4 acquires the first imaging data d1. That is, the image forming unit 5 can image the subject at the acquisition timing of the second imaging data d2 without being influenced by the acquisition of the first imaging data.
- the image forming unit 5 does not need to acquire the second imaging data d2 after acquiring the first imaging data d1 in order to form the image correction data (multiplication data) ⁇ i.
- the acquisition timing of the second imaging data for imaging the subject is not delayed, so that the subject can be reliably imaged without missing an imaging opportunity.
- the image forming unit 5 detects when the afterglow of light, which is the acquisition timing of the first imaging data d1, is less than or equal to the predetermined light amount by the light amount detection unit 19. Thereby, the first imaging data d1 can be acquired from the imaging element 4 at the timing when the afterglow of light becomes equal to or less than the predetermined light quantity. Therefore, it is possible to reliably acquire the first imaging data d1 by preventing the influence of the afterglow of the reflected light from the subject after the irradiation is performed and the irradiation is stopped when the second imaging data d2 is acquired. As a result, it is possible to realize an imaging apparatus that forms image data by correcting the amount of light for acquiring the second imaging data more uniformly in accordance with the state of the subject in the imaging range.
- the present invention is not limited to this.
- a current measurement unit that measures a current value flowing through the light emitting element 14 of the irradiation unit 6 is provided, and after the current measurement unit detects a predetermined current value or less, the first imaging data d1 is obtained. It is good also as a structure acquired from the image pick-up element 4.
- the current measurement unit is an ammeter that measures a light emission current that causes the light emitting element 14 to emit light.
- the image forming unit 5 acquires the second imaging data d2 from the imaging element 4 after irradiating the subject with light by the irradiation unit 6.
- the image forming unit 5 is a current measuring unit, and detects light emission current supplied to the light emitting element 14 of the irradiation unit 6 after stopping irradiation of light by at least the irradiation unit 6. At this time, when the light emission current detected by the current measuring unit exceeds a predetermined current value, the first imaging data d1 is not acquired and the apparatus waits.
- the image forming unit 5 can image the subject at the acquisition timing of the second imaging data d2.
- a delay circuit (timer) is provided in the control unit 13, and after the current measurement unit detects a predetermined current value or less, the first imaging data d1 is obtained after a lapse of a delay time in which the light amount of the subject is equal to or less than the predetermined light amount. It is preferable to obtain.
- the control unit 13 detects that the light amount of the subject is equal to or less than the predetermined light amount after delaying the detection result by the current measuring unit that is equal to or less than the predetermined current value by the delay circuit. Then, control is performed by the control unit 13. Thereby, the influence of the afterglow radiated
- the image forming unit 5 can detect the timing when the afterglow of the light acquired by the first imaging data d1 is equal to or less than the predetermined light amount by the current value flowing through the irradiation unit 6 in the current measurement unit. .
- the first imaging data d1 can be acquired from the imaging element 4 at the timing when the afterglow of light becomes equal to or less than the predetermined light quantity. Therefore, it is possible to reliably acquire the first imaging data d1 by preventing the influence of the afterglow of the reflected light from the subject after the irradiation is performed and the irradiation is stopped when the second imaging data d2 is acquired.
- an imaging apparatus that forms image data by correcting the amount of light for acquiring the second imaging data more uniformly in accordance with the state of the subject in the imaging range.
- imaging device and the image data forming method in the embodiments of the present invention are not limited to the above-described embodiments, and various modifications may be made without departing from the gist of the present invention.
- the imaging apparatus has been described with an example in which the irradiation unit 6 is externally attached.
- the present invention is not limited thereto, and a configuration in which the irradiation unit 6 is built in the imaging apparatus may be used.
- the light distribution correction data K1 may be stored in the light distribution correction data storage unit 17 of the irradiation unit 6 or may be stored in the storage unit 8 such as a memory.
- the light distribution correction data K1 is read from the light distribution correction data storage unit 17 of the irradiating unit 6 and then stored in the storage unit 8 after the photographing lens 2 is driven. Not limited to this.
- the light distribution correction data K1 may be stored once in the memory of the storage unit 8 and continuously stored until the irradiation unit 6 is removed from the imaging apparatus. Further, in any step before the calculation of the image correction data ⁇ i described with reference to FIG. 2, it may be fetched from the light distribution correction data storage unit 17 of the irradiation unit 6 and stored in the storage unit 8.
- the imaging apparatus has been described with an example in which image data is formed by adding multiplication data (image correction data) to the second imaging data
- the present invention is not limited to this.
- the multiplication data image correction data
- the present invention includes an image pickup device that picks up an image of a subject and an image forming unit that forms image data based on image pickup data acquired from the image pickup device.
- An imaging apparatus having a first imaging mode for acquiring data and a second imaging mode for acquiring second imaging data in a state in which the subject is irradiated with light from the irradiation unit. Then, the image forming unit multiplies the multiplication data obtained by multiplying the difference data calculated based on the first imaging data and the second imaging data by the light distribution correction data for smoothing the light distribution characteristics of the irradiation unit.
- the image data is formed as a correction value for the second imaging data.
- the imaging device images the subject twice under the different conditions, the first imaging mode and the second imaging mode. That is, in the first imaging mode, the image forming unit acquires first imaging data from the imaging element in a state where light is not irradiated on the subject by the irradiation unit. The image forming unit acquires the second imaging data from the imaging element in the second imaging mode in a state where the subject is irradiated with light by the irradiation unit.
- the image forming unit creates difference data by subtracting the first imaging data and the second imaging data.
- the imaging environment correction data based on the imaging environment in which the subject is actually imaged (the distance from the imaging element for each subject, the reflectance of the subject, etc.) is calculated.
- the image forming unit captures the subject by using light distribution correction data for smoothing the light distribution characteristic of the irradiation unit in the imaging range and multiplication data obtained by multiplying the difference data (imaging environment correction data). Calculate image correction data based on the environment.
- the light distribution correction data is correction data required for the light distribution characteristics of the irradiation unit when it is assumed that light from the irradiation unit is uniformly irradiated in the imaging range.
- the image forming unit corrects the second imaging data using the multiplication data (image correction data) as a correction value, and forms image data with a uniform light amount.
- the image forming unit of the imaging apparatus of the present invention has a configuration for acquiring the second imaging data after acquiring the first imaging data.
- the image forming unit can acquire the first imaging data d1 obtained by imaging the subject in a state where there is no afterglow of light before the irradiation unit 6 emits light. There is no need to wait for the acquisition of the second imaging data until there is no more. Therefore, it is possible to acquire the second imaging data d2 obtained by imaging the subject that is irradiated with light immediately after acquiring the first imaging data. Accordingly, it is possible to realize an imaging apparatus that forms image data in which the light amount of the imaging data is uniformly corrected in a short time.
- the image forming unit of the imaging apparatus of the present invention has a configuration for acquiring the first imaging data after acquiring the second imaging data.
- the image forming unit acquires the second imaging data from the imaging element in a state where the subject is irradiated with light by the irradiation unit. Thereafter, the image forming unit acquires the first imaging data after the light amount becomes a predetermined light amount or less that is not affected by the afterglow of light. Therefore, the image forming unit can capture images at the acquisition timing of the second imaging data. Thereby, it is not necessary to acquire the second imaging data after acquiring the first imaging data to form the image correction data (multiplication data). As a result, the acquisition timing of the second imaging data for imaging the subject is not delayed, so that the subject can be reliably imaged without missing an imaging opportunity.
- the imaging apparatus of the present invention further includes a light amount detection unit that detects the amount of light emitted by the irradiation unit, and the image forming unit receives the first imaging data after the light amount detection unit detects a predetermined light amount or less. It has a configuration to acquire.
- the image forming unit detects when the afterglow of light, which is the acquisition timing of the first imaging data, becomes equal to or less than the predetermined light amount by the light amount detection unit.
- the first image data can be acquired from the image sensor at the timing when the afterglow of the light becomes a predetermined light amount or less. Therefore, the first imaging data is irradiated by the irradiation unit when acquiring the second imaging data, and the influence of the afterglow of the reflected light from the subject after the irradiation is stopped is prevented, and the first imaging data is reliably acquired. it can.
- the imaging apparatus of the present invention further includes a current measurement unit that measures a current value flowing through the irradiation unit in order for the irradiation unit to emit light, and the image forming unit detects that the current measurement unit detects a predetermined current value or less. After that, the first imaging data is acquired.
- the image forming unit can detect the timing when the afterglow of the light acquired by the first imaging data is equal to or less than the predetermined light amount from the current value of the light emission current flowing through the irradiation unit in the current measurement unit.
- the first image data can be acquired from the image sensor at the timing when the afterglow of the light becomes a predetermined light amount or less. Therefore, it is possible to reliably acquire the first imaging data by preventing the influence of the afterglow of the reflected light from the subject after the irradiation is performed and the irradiation is stopped when the second imaging data is acquired.
- the present invention includes an image pickup device that picks up an image of a subject and an image forming unit that forms image data based on image pickup data acquired from the image pickup device.
- This is an image data forming method in an imaging apparatus having a first imaging mode for acquiring data and a second imaging mode for acquiring second imaging data in a state in which the subject is irradiated with light from the irradiation unit. Then, the first imaging data and the second imaging data are acquired, the difference data is calculated based on the first imaging data and the second imaging data, and the difference data and the light distribution characteristics of the irradiation unit are smoothed. Multiplication data with the light distribution correction data is calculated, and image data is formed using the multiplication data as a correction value for the second imaging data.
- the imaging device and the image data forming method of the present invention are useful in technical fields such as a digital still camera, a mobile phone equipped with a camera module, and a small electronic device.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
Abstract
本発明は、被写体を撮像する撮像素子と、撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射部による光を被写体に照射していない状態で第1撮像データを取得する第1撮像モードと、照射部による光を被写体に照射した状態で第2撮像データを取得する第2撮像モードとを有する撮像装置である。そして、画像形成部は、第1撮像データと第2撮像データとに基づいて演算した差分データと、照射部の配光特性を平滑化するための配光補正データと、を乗算した乗算データを、第2撮像データに対する補正値として画像データを形成する構成を有する。
Description
本発明は、デジタルスチルカメラや、カメラモジュールを備えた携帯電話機などに設けられ、照射部により照射された被写体の撮像データを補正して画像データを形成する撮像装置および画像データ形成方法に関する。
従来から、撮像装置による被写体の撮影は、撮像範囲におけるすべての被写体に光量が均一に照射される晴天時の屋外で行われることが理想とされている。これは、光源としての太陽が被写体に対して無限遠に位置している。そのため、被写体が撮像範囲のどこに位置しても、どのような動きをしても、均一に太陽の光が、被写体に照射されるためである。
しかし、夜間や屋内などで撮影する場合、太陽の光が遮られるため、被写体の撮影に必要な光量が不足する場合がある。そこで、通常、上記の環境での撮影において、撮像範囲にある被写体の光量不足を補うために、撮影装置は補助光を照射するストロボ装置やLEDランプなどの照射部を備えている。
そのため、照射部は、撮像範囲の被写体を晴天時の屋外と同様の光量で均一に照射することが求められている。しかし、一般的に、照射部は、照射部を構成する発光源の形状などにより、照射する位置によって照射される光量に偏り(バラツキ)がある。
そこで、LED素子を光源として備える発光モジュールと、LED素子から照射される光が撮像範囲で略均一となるように配光を制御するレンズアレイとを有する照射部を備えるデジタルスチルカメラが提案されている(例えば、特許文献1参照)。そして、照射部は、LED素子から照射される光の光路をレンズアレイで撮像範囲全体に亘り略均一となるように配光を制御して被写体を照射する。
しかし、特許文献1に記載された照射部は、レンズアレイの構成が複雑である。そのため、レンズアレイのみで被写体を照射する光を完全に均一化する場合、レンズアレイの大型化や高い寸法精度が必要となるので、均一に照射することは、現実的には不可能である。
そこで、現状の撮像される撮像データは、被写体に照射する照射光を完全に均一にして撮影せずに、撮影後に被写体に照射された光が均一に照射されたように補正している(例えば、特許文献2参照)。
特許文献2に記載された画像補正装置は、デジタルスチルカメラと外部電子機器とを備える。デジタルスチルカメラは、閃光放電管と、被写体を撮像する撮像装置と、主被写体の輝度を検出する測光装置と、主被写体までの距離を測定する測距装置と、被写体の撮像データを記憶する撮像データ記憶部と、主被写体までの距離および主被写体の輝度などの撮影情報を記憶する記憶装置とを備える。外部電子機器は、デジタルスチルカメラから撮像データと撮影情報とを読み取るインターフェースと、閃光放電管の発光量および閃光放電管の配光特性などのカメラ情報を記憶するカメラ情報記憶部と、撮像データを撮影情報およびカメラ情報に基づき補正する中央演算装置(CPU)とを備える。
以下に、特許文献2に開示された画像補正装置の撮像データの補正について、図7Aから図7Cを用いて、具体的に説明する。
図7Aは、従来の撮像装置の撮像範囲と補正前の照射範囲との関係を示す図である。図7Bは、従来の撮像装置の撮像範囲と補正後の照射範囲との関係を示す図である。図7Cは、従来の撮像装置の補正前と補正後の補助光の配光特性を示す図である。なお、図7Cの実線は、図7Aに示す補正前の撮像範囲Qにおける閃光放電管の配光特性を示している。また、図7Cの破線は、図7Bに示す補正後の撮像範囲Qにおける閃光放電管の配光特性を示している。
図7Aに示すように、撮像範囲Qにおける閃光放電管20の補正前の配光特性は、図7Cに実線で示すように、閃光放電管20の長手方向における中間位置の光量が最も高く、中心から外周に向かって光量が低下している。このとき、図7Cに示す、例えば有効配光角-30°~+30°の照射範囲は、図7Aに示す略楕円形の照射範囲Rに相当する。そのため、撮像範囲Qにおいて照射範囲Rの外周部分の光量が不足していることがわかる。
そこで、画像補正装置は、図7Aに示す配光特性を有する撮影条件で撮影された撮像データを、図7Cの破線で示す配光特性に補正している。これにより、図7Bに示すように、撮像範囲Qにおいて、撮影情報およびカメラ情報から閃光放電管20の照射範囲R(有効配光角-30°~+30°の範囲)の光量を均一にしている。
しかし、特許文献2に開示された画像補正装置は、デジタルスチルカメラなどの撮像装置で撮影した後、外部電子機器で撮影データを補正している。そのため、補正後の撮像データをデジタルスチルカメラの画面上で確認することができない。
また、外部電子機器が補正に用いる閃光放電管の配光特性は、撮像装置ごとに固有の特性を有しているが、画像補正装置は、事前に理想的な被写体で配光特性を求めた閃光放電管の配光特性により一律に補正を行う。そのため、撮像範囲Qに多数存在する実際の被写体ごとの距離や、被写体の実際の反射率に応じて、撮像範囲Q内の各被写体を正確に補正できないという課題がある。
上記課題を解決するために、本発明は、被写体を撮像する撮像素子と、撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射部による光を被写体に照射していない状態で第1撮像データを取得する第1撮像モードと、照射部による光を被写体に照射した状態で第2撮像データを取得する第2撮像モードとを有する撮像装置である。そして、画像形成部は、第1撮像データと第2撮像データとに基づいて演算した差分データと、照射部の配光特性を平滑化するための配光補正データと、を乗算した乗算データを、第2撮像データに対する補正値として画像データを形成する。
これにより、撮像範囲の被写体の状況に対応して撮像データの光量を均一に補正した画像データを形成できる撮像装置を実現できる。
また、本発明の画像データ形成方法は、被写体を撮像する撮像素子と、撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射部による光を被写体に照射していない状態で第1撮像データを取得する第1撮像モードと、照射部による光を被写体に照射した状態で第2撮像データを取得する第2撮像モードとを有する撮像装置における画像データ形成方法であって、第1撮像データと第2撮像データを取得し、第1撮像データと第2撮像データとに基づいて差分データを演算し、差分データと、照射部の配光特性を平滑化するための配光補正データとの乗算データを演算し、乗算データを第2撮像データに対する補正値として画像データを形成する。
これにより、撮像範囲の被写体の状況に対応して撮像データの光量を均一に補正した画像データを形成できる。
以下、本発明の実施の形態の撮像装置について、図面を参照しながら説明する。なお、本実施の形態によって本発明が限定されるものではない。
(実施の形態1)
以下に、本発明の実施の形態1における撮像装置の構成について説明する。図1は、本発明の実施の形態1における撮像装置の構成を示すブロック図である。
以下に、本発明の実施の形態1における撮像装置の構成について説明する。図1は、本発明の実施の形態1における撮像装置の構成を示すブロック図である。
図1に示すように、本実施の形態の撮像装置1は、少なくとも撮影レンズ2と、レンズ駆動部3と、撮像素子4と、画像形成部5と、照射部6と、操作部7と、記憶部8と、表示部9と、外部記憶媒体10とから構成されている。撮影レンズ2は、光軸方向に移動可能に設けられ、被写体との焦点を合わせる。レンズ駆動部3は、撮影レンズ2を光軸方向に駆動する。撮像素子4は、撮影レンズ2を介して被写体からの反射光を受光して被写体を撮像する。画像形成部5は、撮像素子4で取得した撮像データに基づいて画像データを形成する。照射部6は、例えば外付けされ、被写体に光を照射して、被写体へ照射される光量を補う。操作部7は、例えば撮影モードを選択するモードスイッチや、シャッターを開くシャッタースイッチなどを有する。記憶部8は、撮像した撮像データや各種設定条件などを記憶する、例えばRAMやROMなどのメモリで構成され、撮像装置に内蔵されている。表示部9は、撮像した撮像データや撮像データの各種設定条件などを表示する、例えば液晶モニタから構成されている。外部記憶媒体10は、撮像した撮像データや各種設定条件などを記憶する、例えば取り外し可能なメモリカードなどで構成されている。
ここで、照射部6は、少なくとも発光素子14と、光学パネル15と、発光素子14を駆動する駆動部16と、配光補正データ記憶部17とを備える。発光素子14は、例えばキセノン管などの閃光放電管やLEDランプなどの、単数または複数の光源で構成され、被写体の光量を補うために被写体に向かって発光する。配光補正データ記憶部17は、例えば配光補正値メモリから構成され、発光素子14からの光(補助光)を、撮像範囲全体に亘って略均一に照射するための配光補正データを記憶する。なお、配光補正データ記憶部17は、出荷時までに配光補正データを書き換え不能に記憶するROMなどの読み取り専用の配光補正値メモリでもよい。また、出荷後に配光補正データを書き換え可能に記憶するRAMなどの読み書き可能な配光補正値メモリでもよい。そして、光学パネル15は、配光補正データ記憶部17の配光補正データに基づいて、発光素子14から発光された光(補助光)を、撮像範囲全体に亘って略均一になるように整形する。
また、画像形成部5は、少なくともAD変換部11と、バッファメモリ12と、制御部13とを備える。AD変換部11は、撮像素子4でアナログ信号として受光した被写体からの反射光を、デジタル信号に変換する。バッファメモリ12は、AD変換部11で変換途中の撮像データ(例えば、反射光をデジタル信号に変換したデータなど)を一時的に記憶する。
そして、画像形成部5の制御部13は、設定条件に従って、レンズ駆動部3、撮像素子4、AD変換部11、およびバッファメモリ12など撮像装置の各構成要素を制御する。
以下に、本実施の形態における画像形成部5の制御部13の制御動作について、説明する。
まず、本実施の形態においては、制御部13は、第1撮像モードと第2撮像モードの順で連続して行う撮像動作を制御する。このとき、制御部13は、第1撮像モードで第1撮像データを取得した後、第2撮像モードで第2撮像データを取得する。
つまり、制御部13は、1回の撮像に対して、第1撮像モードと第2撮像モードとからなる2回の異なる撮像モードを制御する。ここで、第1撮像モードは被写体に光を照射していない状態で撮像して第1撮像データを取得する撮像モードで、第2撮像モードは被写体に光を照射した状態で撮像して第2撮像データを取得する撮像モードである。そして、制御部13は、照射部6の配光特性に基づいて、照射部6から照射される光を均一に補正する配光補正データを、照射部6の配光補正データ記憶部17から受信する。ここで、照射部6の配光特性とは、被写体が撮像される撮像データの撮像範囲において、被写体を所定条件で照射したときの発光量または発光係数である。
つぎに、制御部13は、第1撮像モードで撮像される第1撮像データと、第2撮像モードで撮像される第2撮像データとを撮像素子4から取得する。
つぎに、取得した第1撮像データおよび第2撮像データに基づいて、被写体を撮像した撮像環境に基づく撮像環境補正データを演算する。具体的には、制御部13は、撮像環境補正データとして、第1撮像データと第2撮像データとの光量の差である差分データを演算して取得する。
つぎに、制御部13は、上記差分データ(撮像環境補正データ)と、照射部6の配光補正データ記憶部17から受信した配光補正データとに基づいて、第2撮像データを補正する画像補正データを演算する。具体的には、制御部13は、配光補正データと差分データとを乗算することによって画像補正データを演算する。これにより、撮像範囲において、照射部6を介して被写体に照射する光を被写体の撮像環境に基づいて均一にして撮像することができる。
このとき、記憶部8は、撮像素子4で撮像された第1撮像データおよび第2撮像データと、制御部13で演算された差分データ、画像補正データ、および、補正された第2撮像データと、照射部6の配光補正データ記憶部17から読み取られた配光補正データとを記憶する。そして、記憶部8は、制御部13に接続され、制御部13の制御信号により記憶している上記データを制御部13に送・受信する。
上記で説明したように、本実施の形態における撮像装置が構成されている。
以下に、本発明の実施の形態1における撮像装置1の画像データ形成方法について、図2から図4Cを用いて、具体的に説明する。
図2は、同実施の形態における撮像装置の撮像データの補正動作を示すフローチャートである。図3Aは、同実施の形態における撮像装置の撮像素子によって撮像される撮像範囲の画素ごとに発光素子の配光特性を数値化して例示した図である。図3Bは、同実施の形態における撮像装置の撮像範囲の画素ごとに配光補正データを数値化して例示した図である。図3Cは、同実施の形態における撮像装置の撮像範囲の画素ごとに第1撮像データを数値化して例示した図である。図3Dは、同実施の形態における撮像装置の撮像範囲の画素ごとに第2撮像データを数値化して例示した図である。図4Aは、同実施の形態における撮像装置の撮像範囲の画素ごとに差分データを数値化して例示した図である。図4Bは、同実施の形態における撮像装置の撮像範囲の画素ごとに乗算データ(画像補正データ)を数値化して例示した図である。図4Cは、同実施の形態における撮像装置の撮像範囲の画素ごとに補正された第2撮像データ(画像データ)を数値化して例示した図である。
なお、図3Aから図4Cは、説明を簡単にするために、撮像範囲を横(x軸方向)5画素(ピクセル)×縦(y軸方向)5画素(ピクセル)で表現して説明する。
はじめに、撮像データの補正に必要となる配光補正データK1について、説明する。ここで、配光補正データK1は、製品出荷前に、製品ごとに実際に発光させて測定した配光特性データから、撮像範囲において均一な配光になるように計算により求められた補正データである。そして、配光補正データK1は、照射部6の配光補正データ記憶部17の配光補正値メモリに記憶される。
このとき、配光補正データK1は、撮像素子4により撮像された、複数の範囲から形成される撮像範囲の画素ごとに演算して求められる。具体的には、配光補正データK1は、基準とする画素の光量と、撮像範囲の画素ごとにおける照射部6の配光特性データdに基づく光量との差を、配光特性データdに基づく光量で除した値として求められる。これにより、配光補正データK1は、基準とする特定の画素の光量に対する、撮像範囲の各画素の光量の相対的なバラツキを表すことになる。
また、配光特性データdは、特定の撮影条件で被写体に光を照射した場合に、撮像素子4に受光された撮像範囲の画素ごとの光量の値である。なお、特定の撮影条件とは、全ての撮像範囲で被写体が同一条件にある場合を意味している。
ここで、本実施の形態においては、特定の撮影条件として、全ての撮像範囲で被写体との距離が一律1mで、被写体の反射率が一律18%である場合を例に説明する。このとき、上記の撮影条件で撮影された照射部6の配光特性データdは、図3Aに示すような値であると仮定する。図3Aは、撮像範囲の各画素の値は、基準となる中心の画素の光量を100としたときの中心画素との差の相対比で表し、各画素の位置は、以下の(数1)で示す式で表される。
配光特性データ:d ( x ( n ) , y ( m ))・・・・・・・・・(数1)
但し、n=1,2,3,4,5、m=1,2,3,4,5
また、本実施の形態において、特定の撮像範囲の画素の位置は、中心画素の位置とする。このとき、中心画素に対応する光量は、光量が最も多い位置に相当する。
但し、n=1,2,3,4,5、m=1,2,3,4,5
また、本実施の形態において、特定の撮像範囲の画素の位置は、中心画素の位置とする。このとき、中心画素に対応する光量は、光量が最も多い位置に相当する。
そして、各画素の配光補正データK1は、中心画素の位置に対応する光量と、各画素の位置に対応する光量との差を、画素の位置に対応する光量で除した値である。具体的には、配光補正データK1は、図3Aの配光特性データを、以下の(数2)で示す式を用いて演算することにより、図3Bに示す各画素の配光補正データK1が求められる。
以下に、制御部13による第2撮像データの補正動作について、図2から図4Cを用いて説明する。
図2に示すように、まず、撮影者によってシャッタースイッチが中押しされたか否かを判断する(ステップS10)。このとき、シャッタースイッチが中押しされていない場合(ステップS10のNO)、中押しされるまでステップS10の判断を繰り返す。
そして、シャッタースイッチが中押しされた場合(ステップS10のYES)、画像形成部5の制御部13によりレンズ駆動部3を制御して、撮影レンズ2を駆動させる(ステップS20)。
つぎに、画像形成部5の制御部13は、照射部6の配光補正データ記憶部17の配光補正値メモリから配光補正データK1を取り込み(ステップS30)、メモリなどの記憶部8に記憶する(ステップS40)。なお、配光補正データK1は、上記した図3Bに示す値である。これにより、撮像する前に撮像装置に外付けされた照射部6の配光補正データK1が、配光補正データ記憶部17から制御部13に取り込まれ、配光補正データK1を利用することができる。
つぎに、撮影者によってシャッタースイッチが全押しされたか否かを判断する(ステップS50)。このとき、シャッタースイッチが全押しされていない場合(ステップS50のNO)、ステップS10の判断に戻り、以降の操作を、シャッタースイッチが全押しされるまで繰り返す。
そして、シャッタースイッチが全押しされた場合(ステップS50のYES)、制御部13は、撮像素子4を制御して、被写体に光を照射せずに、第1撮像データd1を、以下の撮影条件で、取得し(ステップS60)、記憶部8に記憶する(ステップS70)。このとき、例えば、撮影者が撮影する被写体の撮影条件として、x軸がx=1~3で、y軸がy=1~5の撮像範囲の場合、撮像装置1と被写体との距離を2mとする。また、x軸がx=4、5で、y軸がy=1~5の撮像範囲の場合、撮像装置1と被写体との距離を1mとする。そして、x軸がx=1で、y軸がy=1~5の撮像範囲の場合、被写体の反射率を36%とする。また、x軸がx=2,5で、y軸がy=1~5の撮像範囲の場合、被写体の反射率を9%とする。さらに、x軸がx=3,4で、y軸がy=1~5の撮像範囲の場合、被写体の反射率を18%とする。
なお、第1撮像データd1は、図3Cに示す値と仮定し、第1撮像データd1は、下記の(数3)の式で表すことができる。
第1撮像データ:d1 (x(n) , y(m))・・・(数3)
但し、n=1,2,3,4,5、m=1,2,3,4,5
つぎに、制御部13は、第1撮像データd1を取得した後、照射部6の駆動部16を制御して、被写体の光量を補う光を、発光素子14から光学パネル15を介して被写体に照射する(ステップS80)。そして、制御部13は、補われた光量で照射された被写体からの反射光を撮像素子4で受光し、第2撮像データd2を取得し(ステップS90)、記憶部8に記憶する(ステップS100)。このとき、例えば、図3Dに示す値が、取得した第2撮像データd2として記憶される。なお、第2撮像データd2は、下記の(数4)に示す式で表される。つまり、第2撮像データd2は、(数4)に示すように、第1撮像データd1、被写体との距離L0および被写体の反射率R0から演算することができる。
但し、n=1,2,3,4,5、m=1,2,3,4,5
つぎに、制御部13は、第1撮像データd1を取得した後、照射部6の駆動部16を制御して、被写体の光量を補う光を、発光素子14から光学パネル15を介して被写体に照射する(ステップS80)。そして、制御部13は、補われた光量で照射された被写体からの反射光を撮像素子4で受光し、第2撮像データd2を取得し(ステップS90)、記憶部8に記憶する(ステップS100)。このとき、例えば、図3Dに示す値が、取得した第2撮像データd2として記憶される。なお、第2撮像データd2は、下記の(数4)に示す式で表される。つまり、第2撮像データd2は、(数4)に示すように、第1撮像データd1、被写体との距離L0および被写体の反射率R0から演算することができる。
つぎに、制御部13は、記憶部8に収納された第1撮像データd1と第2撮像データd2とを、記憶部8から読み込む(ステップS110)。そして、第1撮像データd1および第2撮像データd2の光量の差分である差分データΔd(=d2-d1)を演算する(ステップS120)。なお、「差分」とは、第1撮像データと第2撮像データとの減算値を求める場合や、第1撮像データと第2撮像データの少なくともいずれか一方に所定の係数を乗算した状態での減算値の場合も含んでいる。
このとき、差分データΔdは、例えば、図4Aに示す値となり、差分データΔdは、下記の(数5)の式で表される。
差分データ:Δd (x(n) , y(m)) = d2 (x(n) , y(m)) - d1 (x(n) , y(m))・・(数5)
但し、n=1,2,3,4,5、m=1,2,3,4,5
d1 (x(n) , y(m)):第1撮像データ
d2 (x(n) , y(m)):第2撮像データ
つぎに、制御部13は、記憶部8から配光補正データK1を読み込む(ステップS130)。そして、記憶部8から読み込んだ配光補正データK1と、第1撮像データd1と第2撮像データd2とから演算された差分データΔdと、を乗算して乗算データ(画像補正データ)Δi(=Δd×K1)を演算する(ステップS140)。なお、「乗算」とは、第1撮像データと第2撮像データとをそのまま掛け合わせる場合や、第1撮像データと第2撮像データの少なくともいずれか一方に所定の係数を乗算した状態での乗算の場合も含んでいる。
但し、n=1,2,3,4,5、m=1,2,3,4,5
d1 (x(n) , y(m)):第1撮像データ
d2 (x(n) , y(m)):第2撮像データ
つぎに、制御部13は、記憶部8から配光補正データK1を読み込む(ステップS130)。そして、記憶部8から読み込んだ配光補正データK1と、第1撮像データd1と第2撮像データd2とから演算された差分データΔdと、を乗算して乗算データ(画像補正データ)Δi(=Δd×K1)を演算する(ステップS140)。なお、「乗算」とは、第1撮像データと第2撮像データとをそのまま掛け合わせる場合や、第1撮像データと第2撮像データの少なくともいずれか一方に所定の係数を乗算した状態での乗算の場合も含んでいる。
このとき、画像補正データΔiは、例えば、図4Bに示す値となり、画像補正データΔiは、下記の(数6)の式で表される。
画像補正データ:Δi (x(n) , y(m)) = Δd (x(n) , y(m)) × K1 (x(n) , y(m))・(数6)
但し、n=1,2,3,4,5、m=1,2,3,4,5
Δd (x(n) , y(m)):差分データ
K1 (x(n) , y(m)):配光補正データ
つぎに、制御部13は、記憶部8から第2撮像データd2を読み込む(ステップS150)。そして、読み込んだ第2撮像データd2に画像補正データΔiを加算して、補正された第2撮像データD2(=d2+Δi)を演算して求める(ステップS160)。そして、補正された第2撮像データD2を、画像データとして記憶部8に記憶する(ステップS170)。なお、補正された第2撮像データD2は、例えば、図4Cに示す値となり、補正された第2撮像データD2は、下記の(数7)の式で表される。
但し、n=1,2,3,4,5、m=1,2,3,4,5
Δd (x(n) , y(m)):差分データ
K1 (x(n) , y(m)):配光補正データ
つぎに、制御部13は、記憶部8から第2撮像データd2を読み込む(ステップS150)。そして、読み込んだ第2撮像データd2に画像補正データΔiを加算して、補正された第2撮像データD2(=d2+Δi)を演算して求める(ステップS160)。そして、補正された第2撮像データD2を、画像データとして記憶部8に記憶する(ステップS170)。なお、補正された第2撮像データD2は、例えば、図4Cに示す値となり、補正された第2撮像データD2は、下記の(数7)の式で表される。
補正された第2撮像データ:
D2 (x(n) , y(m)) = d2 (x(n) , y(m)) + Δi (x(n) , y(m))・・(数7)
但し、n=1,2,3,4,5、m=1,2,3,4,5
d2 (x(n) , y(m)):第2撮像データ
Δi (x(n) , y(m)):画像補正データ
上記で説明したように、本実施の形態の撮像装置1は、まず、第1撮像モードと第2撮像モードの2回、異なる撮影条件で被写体を撮像し、第1撮像データd1と第2撮像データd2を取得する。すなわち、第1撮像モードは、照射部6で光を被写体に照射される前(照射せず)に、被写体からの反射光を撮像素子4から第1撮像データd1として取得する。第2撮像モードは、照射部6で補助光が被写体に照射された後に、被写体からの反射光を撮像素子4から第2撮像データd2として取得する。
D2 (x(n) , y(m)) = d2 (x(n) , y(m)) + Δi (x(n) , y(m))・・(数7)
但し、n=1,2,3,4,5、m=1,2,3,4,5
d2 (x(n) , y(m)):第2撮像データ
Δi (x(n) , y(m)):画像補正データ
上記で説明したように、本実施の形態の撮像装置1は、まず、第1撮像モードと第2撮像モードの2回、異なる撮影条件で被写体を撮像し、第1撮像データd1と第2撮像データd2を取得する。すなわち、第1撮像モードは、照射部6で光を被写体に照射される前(照射せず)に、被写体からの反射光を撮像素子4から第1撮像データd1として取得する。第2撮像モードは、照射部6で補助光が被写体に照射された後に、被写体からの反射光を撮像素子4から第2撮像データd2として取得する。
そして、画像形成部5は、上記方法で取得した第1撮像データd1と第2撮像データd2との差分データΔdを演算する。これにより、実際に被写体を撮像した撮像環境(被写体ごとの撮像素子4との距離や被写体の反射率など)に基づく差分データΔdが演算される。
つぎに、画像形成部5は、所定条件で照射する照射部6の配光特性データdに基づく配光補正データK1を差分データΔdを考慮して演算し、被写体の撮像環境に基づく画像補正データΔiを演算する。
つぎに、第2撮像データd2を、上記画像補正データΔiで補正して、補正された第2撮像データD2を演算する。
そして、補正された第2撮像データD2に基づいて、照射部6の発光素子14から放射される光を、光学パネル15の、例えばレンズアレイで、例えば光量や分布などを整形して、被写体に照射する。
これにより、図5Aに示す被写体に照射する光の照射範囲Rを、撮像範囲の被写体の撮影状況に対応して、撮像データの光量を図5Bに示すように撮像範囲Qで、照射範囲Rに的確に補正できる。なお、図5Aは、本実施の形態における撮像装置の撮像範囲と補正前の照射範囲との関係を示す図である。図5Bは、本実施の形態における撮像装置の撮像範囲と補正後の照射範囲との関係を示す図である。
つまり、本実施の形態によれば、撮像範囲の被写体の状況に対応して、撮像データの光量を均一に補正して画像データを形成する撮像装置を実現できる。
また、本実施の形態によれば、照射部6により光が照射される前の、光の残光のない状態で被写体を撮像した第1撮像データd1を取得できるので、光の残光がなくなるまで第2撮像データの取得を待つ必要がない。そのため、第1撮像データを取得した後、すぐに光が照射された状態で被写体を撮像した第2撮像データd2を取得できる。これにより、撮像データの光量を均一に補正した画像データを短期間に形成する撮像装置を実現できる。
(実施の形態2)
以下に、本発明の実施の形態2における撮像装置について、図6を用いて説明する。
以下に、本発明の実施の形態2における撮像装置について、図6を用いて説明する。
図6は、本発明の実施の形態2における撮像装置の構成を示すブロック図である。
すなわち、本実施の形態の撮像装置18は、光量検知部19を備え、第2撮像モードで第2撮像データd2を取得した後に、第1撮像モードで第1撮像データd1を取得する点で、実施の形態1の撮像装置とは異なる。なお、他の構成や動作は、実施の形態1と同様であるので、説明を省略する。
図6に示すように、本実施の形態の撮像装置18は、少なくとも撮影レンズ2と、レンズ駆動部3と、撮像素子4と、画像形成部5と、照射部6と、操作部7と、記憶部8と、表示部9と、外部記憶媒体10と、光量検知部19とから構成されている。光量検知部19は、照射部6が照射した光の光量を検知する。そして、制御部13は、光量検知部19が所定の光量以下となったことを検知した後に、第1撮像データd1を取得する。
つまり、光量検知部19は、被写体に照射部6から光を照射して、第2撮像データを取得後、第1撮像データd1を取得する前に、被写体からの反射光の光量を検知して、被写体に光が照射されていない状態を判断する。このとき、光量検知部19は、例えばフォトダイオードやフォトトランジスタなどで構成され、被写体からの反射光の光量が所定の光量以下であることを検知する。なお、光量検知部19は、被写体からの反射光が所定の光量以上で、または所定の光量以下でON/OFFする、例えばスイッチなどで構成して検知してもよい。
以下に、本発明の実施の形態2における撮像装置18の画像データ形成方法について、簡単に説明する。基本的には、実施の形態1の第1撮像データの取得と、第2撮像データの取得する順序を入れ替えて、画像データを形成する点で異なるので、異なる部分の流れを中心に説明する。
まず、画像形成部5は、照射部6により光を被写体に照射した後に、撮像素子4から第2撮像データd2を取得する。
つぎに、画像形成部5は、光量検知部19で、照射部6による光の照射を停止した後に、被写体からの反射光の残光の光量を検知する。このとき、光量検知部19で検知した光量が、所定の光量を超える場合、第1撮像データを取得せず、待機する。
そして、光量検知部19で検知した光量が、所定の光量以下になった場合、撮像素子4で第1撮像データd1を取得する。つまり、画像形成部5は、第1撮像データの取得に左右されずに、被写体を第2撮像データd2の取得タイミングで撮像できる。
本実施の形態によれば、画像形成部5は、画像補正データ(乗算データ)Δiを形成するために第1撮像データd1を取得した後に、第2撮像データd2を取得する必要がない。その結果、被写体を撮像する第2撮像データの取得のタイミングが遅れないので、撮像チャンスを逃さず、確実に被写体を撮像できる。
また、本実施の形態によれば、画像形成部5は、光量検知部19により第1撮像データd1の取得タイミングである光の残光が所定の光量以下となったときを検知する。これにより、光の残光が所定の光量以下となったタイミングで第1撮像データd1を撮像素子4から取得できる。そのため、第2撮像データd2の取得時に照射部で照射し、照射を停止した後の被写体からの反射光の残光の影響を防止して、確実に第1撮像データd1を取得できる。その結果、撮像範囲の被写体の状況に対応して、第2撮像データを取得する光量をより均一に補正して画像データを形成する撮像装置を実現できる。
なお、本実施の形態では、撮像装置18に光量検知部19を設けて、被写体からの残光を検出して制御する例で説明したが、これに限られない。例えば、被写体に光を照射するために照射部6の発光素子14に流れる電流値を計測する電流計測部を設け、電流計測部が所定の電流値以下を検知した後に、第1撮像データd1を撮像素子4から取得する構成としてもよい。
以下に、撮像装置に電流計測部を設けた場合に、第1撮像データd1を撮像素子4から取得して画像データを形成する方法について、簡単に説明する。なお、電流計測部は、発光素子14を発光させる発光電流を計測する電流計とする。
まず、画像形成部5は、照射部6により光を被写体に照射した後に、撮像素子4から第2撮像データd2を取得する。
つぎに、画像形成部5は、電流計測部で、少なくとも照射部6により光の照射を停止した後に、照射部6の発光素子14に供給される発光電流を検知する。このとき、電流計測部で検知した発光電流が、所定の電流値を超える場合、第1撮像データd1を取得せず、待機する。
そして、電流計測部で検知した発光電流が、所定の電流値以下になった場合、撮像素子4で第1撮像データd1を取得する。これにより、光量検知部19で光量を検知して制御する場合と同様に、画像形成部5は、被写体を第2撮像データd2の取得タイミングで撮像できる。
しかし、電流計測部で検知する発光電流で制御する撮像装置の場合、発光素子14に供給される発光電流が、略ゼロ(ゼロを含む)Aの場合でも、発光素子14から光が放射されることがある。
そこで、例えば制御部13に遅延回路(タイマ)設け、電流計測部が所定の電流値以下を検知した後、被写体の光量が所定の光量以下となる遅延時間の経過後に、第1撮像データd1を取得することが、好ましい。具体的には、制御部13は、電流計測部による所定の電流値以下の検知結果を、遅延回路で所定の遅延時間遅らせた後、被写体の光量が所定の光量以下となったことを検知して制御部13で制御する。これにより、発光電流がゼロの場合に発生する発光素子14から放射される残光の影響を回避して、第1撮像データd1を取得することができる。
上記本実施の形態によれば、画像形成部5は、第1撮像データd1の取得する光の残光が所定の光量以下のタイミングを、電流計測部で照射部6に流れる電流値により検知できる。これにより、光の残光が所定の光量以下となったタイミングで第1撮像データd1を撮像素子4から取得できる。そのため、第2撮像データd2の取得時に照射部で照射し、照射を停止した後の被写体からの反射光の残光の影響を防止して、確実に第1撮像データd1を取得できる。その結果、撮像範囲の被写体の状況に対応して、第2撮像データを取得する光量をより均一に補正して画像データを形成する撮像装置を実現できる。
なお、本発明の実施の形態における撮像装置および画像データ形成方法は、上記の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えてもよい。
例えば、本実施の形態における撮像装置は、照射部6を外付けする例で説明したが、これに限られず、照射部6を撮像装置に内蔵する構成でもよい。この場合、配光補正データK1は、照射部6の配光補正データ記憶部17に記憶してもよく、またメモリなどの記憶部8に記憶してもよい。
また、本実施の形態における撮像装置は、配光補正データK1を撮影レンズ2を駆動させた後に照射部6の配光補正データ記憶部17から取り込み、記憶部8に記憶する例で説明したが、これに限られない。例えば、撮像開始時に、一度記憶部8のメモリ内に配光補正データK1を記憶させて、照射部6を撮像装置から取り外すまで継続して記憶させてもよい。また、図2で説明した画像補正データΔiを演算する前までのいずれかのステップにおいて、照射部6の配光補正データ記憶部17から取り込み、記憶部8に記憶させてもよい。
また、本実施の形態における撮像装置は、乗算データ(画像補正データ)を第2撮像データに加算して画像データを形成した例で説明したが、これに限られない。例えば、乗算データ(画像補正データ)と第2撮像データの少なくともいずれか一方に所定の係数を乗算した状態で、乗算データ(画像補正データ)を第2撮像データに加算してもよい。これにより、画像データの種々の補正が可能となる。
本発明は、被写体を撮像する撮像素子と、撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射部による光を被写体に照射していない状態で第1撮像データを取得する第1撮像モードと、照射部による光を被写体に照射した状態で第2撮像データを取得する第2撮像モードとを有する撮像装置である。そして、画像形成部は、第1撮像データと第2撮像データとに基づいて演算した差分データと、照射部の配光特性を平滑化するための配光補正データと、を乗算した乗算データを、第2撮像データに対する補正値として画像データを形成する構成を有する。
この構成によれば、撮像装置は、第1撮像モードと第2撮像モードの2回、異なる条件で被写体を撮像する。すなわち、画像形成部は、第1撮像モードで、照射部により光が被写体に照射されていない状態で撮像素子から第1撮像データを取得する。また、画像形成部は、第2撮像モードで、照射部により光が被写体に照射された状態で撮像素子から第2撮像データを取得する。
つぎに、画像形成部は、第1撮像データと第2撮像データとを差分して、差分データを作成する。これにより、実際に被写体を撮像した撮像環境(被写体ごとの撮像素子との距離や被写体の反射率など)に基づく撮像環境補正データが演算される。
つぎに、画像形成部は、撮像範囲における照射部の配光特性を平滑化するための配光補正データと、差分データ(撮像環境補正データ)に乗算して求めた乗算データにより、被写体の撮像環境に基づく画像補正データを演算する。ここで、配光補正データは、照射部からの光が、撮像範囲において均一に照射される状況を仮定する場合、照射部の配光特性に対して必要となる補正データである。
そして、画像形成部は、乗算データ(画像補正データ)を補正値として用いて、第2撮像データを補正して、光量が均一な画像データを形成する。
これにより、撮像範囲の被写体の状況に対応して撮像データの光量を均一に補正した画像データを形成できる撮像装置を実現できる。
また、本発明の撮像装置の画像形成部は、第1撮像データを取得した後、第2撮像データを取得する構成を有する。
この構成によれば、画像形成部は、照射部6により光が照射される前の、光の残光のない状態で被写体を撮像した第1撮像データd1を取得できるので、光の残光がなくなるまで第2撮像データの取得を待つ必要がない。そのため、第1撮像データを取得した後、すぐに光が照射された状態の被写体を撮像した第2撮像データd2を取得できる。これにより、撮像データの光量を均一に補正した画像データを短期間に形成する撮像装置を実現できる。
また、本発明の撮像装置の画像形成部は、第2撮像データを取得した後、第1撮像データを取得する構成を有する。
この構成によれば、画像形成部は、照射部により光を被写体に照射した状態で、撮像素子から第2撮像データを取得する。その後、画像形成部は、光の残光の影響のない所定の光量以下になった後に、第1撮像データを取得する。そのため、画像形成部は、第2撮像データの取得タイミングで撮像できる。これにより、画像補正データ(乗算データ)を形成するために第1撮像データを取得した後に、第2撮像データを取得する必要がない。その結果、被写体を撮像する第2撮像データの取得のタイミングが遅れないので、撮像チャンスを逃さず、確実に被写体を撮像できる。
また、本発明の撮像装置は、照射部が照射した光の光量を検知する光量検知部をさらに備え、画像形成部は、光量検知部が所定の光量以下を検知した後に、第1撮像データを取得する構成を有する。
この構成によれば、画像形成部は、光量検知部により第1撮像データの取得タイミングである光の残光が所定の光量以下となったときを検知する。これにより、光の残光が所定の光量以下となったタイミングで第1撮像データを撮像素子から取得できる。そのため、第1撮像データを、第2撮像データの取得時に照射部で照射し、照射を停止した後の被写体からの反射光の残光の影響を防止して、確実に第1撮像データを取得できる。
また、本発明の撮像装置は、照射部が光を照射するために照射部に流れる電流値を計測する電流計測部をさらに備え、画像形成部は、電流計測部が所定の電流値以下を検知した後に、第1撮像データを取得する構成を有する。
この構成によれば、画像形成部は、第1撮像データの取得する光の残光が所定の光量以下のタイミングを、電流計測部で照射部に流れる発光電流の電流値により検知できる。これにより、光の残光が所定の光量以下となったタイミングで第1撮像データを撮像素子から取得できる。そのため、第2撮像データの取得時に照射部で照射し、照射を停止した後の被写体からの反射光の残光の影響を防止して、確実に第1撮像データを取得できる。
本発明は、被写体を撮像する撮像素子と、撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射部による光を被写体に照射していない状態で第1撮像データを取得する第1撮像モードと、照射部による光を被写体に照射した状態で第2撮像データを取得する第2撮像モードとを有する撮像装置における画像データ形成方法である。そして、第1撮像データと第2撮像データを取得し、第1撮像データと第2撮像データとに基づいて差分データを演算し、差分データと、照射部の配光特性を平滑化するための配光補正データとの乗算データを演算し、乗算データを第2撮像データに対する補正値として画像データを形成する。
これにより、撮像範囲の被写体の状況に対応して撮像データの光量を均一に補正した画像データを形成できる。
本発明の撮像装置および画像データ形成方法は、デジタルスチルカメラや、カメラモジュールを備えた携帯電話機や小型の電子機器などの技術分野に有用である。
1 撮像装置
2 撮影レンズ
3 レンズ駆動部
4 撮像素子
5 画像形成部
6 照射部
7 操作部
8 記憶部
9 表示部
10 外部記憶媒体
11 AD変換部
12 バッファメモリ
13 制御部
14 発光素子
15 光学パネル
16 駆動部
17 配光補正データ記憶部
18 撮像装置
19 光量検知部
20 閃光放電管
d 配光特性データ
d1 第1撮像データ
d2 第2撮像データ
K1 配光補正データ
Δd 差分データ
Δi 乗算データ(画像補正データ)
D2 補正された第2撮像データ(画像データ)
2 撮影レンズ
3 レンズ駆動部
4 撮像素子
5 画像形成部
6 照射部
7 操作部
8 記憶部
9 表示部
10 外部記憶媒体
11 AD変換部
12 バッファメモリ
13 制御部
14 発光素子
15 光学パネル
16 駆動部
17 配光補正データ記憶部
18 撮像装置
19 光量検知部
20 閃光放電管
d 配光特性データ
d1 第1撮像データ
d2 第2撮像データ
K1 配光補正データ
Δd 差分データ
Δi 乗算データ(画像補正データ)
D2 補正された第2撮像データ(画像データ)
Claims (6)
- 被写体を撮像する撮像素子と、前記撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射部による光を被写体に照射していない状態で第1撮像データを取得する第1撮像モードと、前記照射部による光を前記被写体に照射した状態で第2撮像データを取得する第2撮像モードとを有する撮像装置であって、
前記画像形成部は、前記第1撮像データと前記第2撮像データとに基づいて演算した差分データと、前記照射部の配光特性を平滑化するための配光補正データと、を乗算した乗算データを、前記第2撮像データに対する補正値として画像データを形成する撮像装置。 - 前記画像形成部は、前記第1撮像データを取得した後、前記第2撮像データを取得する請求項1に記載の撮像装置。
- 前記画像形成部は、前記第2撮像データを取得した後、前記第1撮像データを取得する請求項1に記載の撮像装置。
- 前記照射部が照射した光の光量を検知する光量検知部をさらに備え、前記画像形成部は、前記光量検知部が所定の光量以下を検知した後に、前記第1撮像データを取得する請求項3に記載の撮像装置。
- 前記照射部が光を照射するために前記照射部に流れる電流値を計測する電流計測部をさらに備え、前記画像形成部は、前記電流計測部が所定の電流値以下を検知した後に、前記第1撮像データを取得する請求項3に記載の撮像装置。
- 被写体を撮像する撮像素子と、前記撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射部による光を被写体に照射していない状態で第1撮像データを取得する第1撮像モードと、前記照射部による光を前記被写体に照射した状態で第2撮像データを取得する第2撮像モードとを有する撮像装置における画像データ形成方法であって、
第1撮像データと第2撮像データを取得し、
前記第1撮像データと前記第2撮像データとに基づいて差分データを演算し、
前記差分データと、前記照射部の配光特性を平滑化するための配光補正データとの乗算データを演算し、
前記乗算データを前記第2撮像データに対する補正値として画像データを形成する画像データ形成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011800621552A CN103270748A (zh) | 2010-12-22 | 2011-12-06 | 摄像装置以及图像数据形成方法 |
US13/821,584 US20130176465A1 (en) | 2010-12-22 | 2011-12-06 | Image pickup apparatus and method of forming image data |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-285602 | 2010-12-22 | ||
JP2010285602A JP5056938B2 (ja) | 2010-12-22 | 2010-12-22 | 撮像装置及び画像データ形成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012086139A1 true WO2012086139A1 (ja) | 2012-06-28 |
Family
ID=46313433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/006810 WO2012086139A1 (ja) | 2010-12-22 | 2011-12-06 | 撮像装置および画像データ形成方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130176465A1 (ja) |
JP (1) | JP5056938B2 (ja) |
CN (1) | CN103270748A (ja) |
WO (1) | WO2012086139A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6524675B1 (en) | 1999-05-13 | 2003-02-25 | 3M Innovative Properties Company | Adhesive-back articles |
US10805523B2 (en) * | 2012-05-30 | 2020-10-13 | Easy Printing Network Limited | Article authentication apparatus having a built-in light emitting device and camera |
JP6390163B2 (ja) * | 2014-05-16 | 2018-09-19 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003283922A (ja) * | 2002-03-20 | 2003-10-03 | Olympus Optical Co Ltd | 電子カメラ |
JP2004135183A (ja) * | 2002-10-11 | 2004-04-30 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP2010087790A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 撮影装置および方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3551854B2 (ja) * | 1999-09-01 | 2004-08-11 | ミノルタ株式会社 | デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体 |
US6859565B2 (en) * | 2001-04-11 | 2005-02-22 | Hewlett-Packard Development Company, L.P. | Method and apparatus for the removal of flash artifacts |
JP4329617B2 (ja) * | 2004-05-19 | 2009-09-09 | ソニー株式会社 | 撮像装置および撮像方法 |
JP2007107926A (ja) * | 2005-10-11 | 2007-04-26 | Rohm Co Ltd | 電流検出回路およびそれを用いた受光装置ならびに電子機器 |
US7755672B2 (en) * | 2006-05-15 | 2010-07-13 | Zoran Corporation | Techniques for modifying image field data obtained using illumination sources |
JP2007336470A (ja) * | 2006-06-19 | 2007-12-27 | Sony Corp | 撮像装置及び撮像方法 |
US7697062B2 (en) * | 2006-11-08 | 2010-04-13 | Sony Ericsson Mobile Communications Ab | Camera and method in a camera |
JP5197083B2 (ja) * | 2008-03-21 | 2013-05-15 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5214485B2 (ja) * | 2009-02-12 | 2013-06-19 | オリンパス株式会社 | 画像撮像装置、画像処理方法、および画像処理プログラム |
JP5141733B2 (ja) * | 2010-08-18 | 2013-02-13 | カシオ計算機株式会社 | 撮像装置、撮像方法、及びプログラム |
US9516238B2 (en) * | 2011-02-10 | 2016-12-06 | Hewlett-Packard Development Company, L.P. | Noise suppression |
-
2010
- 2010-12-22 JP JP2010285602A patent/JP5056938B2/ja not_active Expired - Fee Related
-
2011
- 2011-12-06 WO PCT/JP2011/006810 patent/WO2012086139A1/ja active Application Filing
- 2011-12-06 CN CN2011800621552A patent/CN103270748A/zh active Pending
- 2011-12-06 US US13/821,584 patent/US20130176465A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003283922A (ja) * | 2002-03-20 | 2003-10-03 | Olympus Optical Co Ltd | 電子カメラ |
JP2004135183A (ja) * | 2002-10-11 | 2004-04-30 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP2010087790A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 撮影装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
US20130176465A1 (en) | 2013-07-11 |
JP2012134794A (ja) | 2012-07-12 |
JP5056938B2 (ja) | 2012-10-24 |
CN103270748A (zh) | 2013-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI293532B (ja) | ||
JP2008076902A (ja) | デジタルカメラおよびその制御方法 | |
JP2006074144A (ja) | 撮像装置及び露出制御方法 | |
JP2003066321A (ja) | Af制御装置およびaf制御方法 | |
JP2006050337A (ja) | 撮像装置、撮像方法および撮像制御プログラム | |
JP5848662B2 (ja) | 画像処理装置およびその制御方法 | |
US9894339B2 (en) | Image processing apparatus, image processing method and program | |
JP2012085720A (ja) | 内視鏡装置 | |
JP2008164731A (ja) | 撮影装置及びその制御方法 | |
WO2012086139A1 (ja) | 撮像装置および画像データ形成方法 | |
JP2005065054A (ja) | 撮像装置 | |
JP4300936B2 (ja) | 撮像装置 | |
JP6883855B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2009124309A (ja) | 撮像装置 | |
JP2016005250A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP5344152B2 (ja) | 電子機器 | |
JP5587083B2 (ja) | 撮像装置及びその制御方法 | |
JP4604112B2 (ja) | 被写体情報測定方法及び被写体情報測定装置、並びに露光制御方法及び、露光制御装置 | |
JP2009014495A (ja) | 計測装置及びこれを用いた計測方法 | |
JP4640108B2 (ja) | カメラ | |
JP5515541B2 (ja) | 撮像装置 | |
JP2011114442A (ja) | 電子カメラ | |
JP2010008717A (ja) | 撮影装置 | |
JP2010191266A5 (ja) | ||
JP6260213B2 (ja) | 撮像装置および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11850271 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13821584 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11850271 Country of ref document: EP Kind code of ref document: A1 |