WO2017154827A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2017154827A1
WO2017154827A1 PCT/JP2017/008745 JP2017008745W WO2017154827A1 WO 2017154827 A1 WO2017154827 A1 WO 2017154827A1 JP 2017008745 W JP2017008745 W JP 2017008745W WO 2017154827 A1 WO2017154827 A1 WO 2017154827A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
image
imaging unit
lens
Prior art date
Application number
PCT/JP2017/008745
Other languages
English (en)
French (fr)
Inventor
神谷　毅
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2018504473A priority Critical patent/JPWO2017154827A1/ja
Priority to CN201780016072.7A priority patent/CN108780263A/zh
Publication of WO2017154827A1 publication Critical patent/WO2017154827A1/ja
Priority to US16/122,674 priority patent/US10823935B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/028—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with means for compensating for changes in temperature or for controlling the temperature; thermal stabilisation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/22—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with temperature or height, e.g. in aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Definitions

  • the present invention relates to an imaging apparatus suitable for a sensing camera mounted on a moving body such as an automobile or a surveillance camera used outdoors.
  • JP 2010-276752 A International Publication No. 2010/061604 Pamphlet JP 2004-325603 A
  • the environmental temperature range of lenses used in in-vehicle cameras is very wide, with a lower limit of about -60 to -40 ° C and an upper limit of about 80 ° C to 105 ° C. Therefore, the lens is very out of focus due to temperature changes. As a result, the sharpness of the image is greatly reduced.
  • the amount of focus deviation is solved by analyzing the image data obtained by the image sensor and moving the lens in the optical axis direction so as to increase the sharpness and adjusting the focus. .
  • the cam and / or gear grease for moving the lens hardens at low temperatures due to the wide range of environmental temperatures used, and Then, it may flow out and the cam and / or gear may be fixed, or the cam and / or gear may be shaved due to the vibration of the vehicle and the play may increase. As a result, it is difficult to move the lens appropriately, and it may be difficult to obtain an image with high sharpness.
  • Patent Document 1 proposes a method of appropriately selecting a lens material and lens power and suppressing a focus shift amount.
  • Patent Document 2 proposes a method of offsetting the amount of focus shift between the thermal expansion of the lens and the thermal expansion of the spacer.
  • Patent Document 3 proposes a method of providing heat generating means in order to maintain the temperature of the lens within a certain range.
  • Patent Document 1 In consideration of imaging in a wide wavelength range such as from visible light to the near-infrared region (maximum wavelength of about 1000 nm), the method of Patent Document 1 has few choices of lens materials, and the lens power can be selected. Since it is a main solution, there is a low degree of design freedom. For this reason, there is a problem that it is difficult to make a high-performance lens, for example, to cope with a wide wavelength range or to reduce aberrations.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging apparatus that can stably acquire high-quality images over a long period of time in a wide temperature range.
  • An imaging apparatus includes a plurality of lens units whose optical axes are aligned in the same direction and one or more imaging elements, and an imaging unit combined with the imaging element is configured for each lens unit. Imaging units having different in-focus temperatures, an image processing unit that calculates the sharpness of an image acquired for each imaging unit, a selection unit that selects an imaging unit that acquires a use image based on the sharpness, an imaging unit, An image processing unit and a control unit that controls the selection unit are provided.
  • a plurality of lens units whose optical axes are aligned in the same direction means that a plurality of lens units are arranged in a state in which photographing in substantially the same direction is possible in an imaging unit combined with an imaging device for each lens unit. It is not limited to a mode in which the optical axis directions of the lens units are completely matched, and the inclinations of the optical axes of the remaining lens units are all ⁇ on the basis of the optical axis of one lens unit. It means that it is within the range of 10 °.
  • the control unit causes the image processing unit to calculate the sharpness of the image acquired by the imaging unit that is acquiring the usage image, and the sharpness of the usage image falls below the set threshold value
  • An imaging unit that causes the imaging unit to perform imaging on a plurality of imaging units causes the image processing unit to calculate the sharpness of the image acquired for each imaging unit, and acquires a use image to the selection unit May be selected again.
  • control unit causes the imaging unit to perform shooting on a plurality of imaging units at a set time, and causes the image processing unit to calculate and select the sharpness of the image acquired for each imaging unit.
  • the imaging unit that acquires the use image may be selected again by the unit.
  • the control unit uses the imaging unit to reselect the imaging unit that acquires the usage image.
  • the imaging unit that is acquiring the image, the imaging unit that has the closest focusing temperature in the range higher than the focusing temperature of the imaging unit that is acquiring the usage image, and the lowest that is lower than the focusing temperature of the imaging unit that is acquiring the usage image Shoot with the imaging unit with the closest focusing temperature, and let the image processing unit have the closest focusing temperature in the range higher than the focusing temperature of the imaging unit that is acquiring the usage image and the imaging unit that is acquiring the usage image.
  • the sharpness of only the image acquired by the imaging unit with the closest focusing temperature in the range lower than the focusing temperature of the imaging unit and the imaging unit being used is being calculated is calculated Good.
  • the selection unit may select the imaging unit that has acquired the image with the highest sharpness as the imaging unit that acquires the use image.
  • the imaging unit may be configured such that distances on the optical axis from the rear end of the lens of each lens unit to the imaging element are different from each other.
  • the lens configuration of two or more lens units among the plurality of lens units may be the same.
  • the lens configuration of two or more lens units among the plurality of lens units may be different.
  • leading edges of the lenses of the plurality of lens units may be on the same plane orthogonal to the optical axis.
  • the imaging unit may be configured such that individual imaging elements are combined for each lens unit.
  • the imaging unit may share one imaging device with a plurality of lens units.
  • the imaging device of the present invention includes a plurality of imaging units each having a different in-focus temperature, calculates the sharpness of an image acquired for each imaging unit, and acquires a use image based on the calculated sharpness.
  • a high-quality image can be acquired over a wide temperature range over a long period of time without the need to provide a mechanical focus adjustment mechanism. It is possible to obtain an imaging device capable of acquiring the image.
  • FIG. 1 is a configuration diagram of an automobile equipped with an imaging device according to a first embodiment of the present invention.
  • Block diagram of the imaging apparatus shown in FIG. Schematic configuration diagram of an imaging unit of the imaging apparatus shown in FIG. Graph showing the relationship between temperature and sharpness for each imaging unit Flowchart during operation of the imaging apparatus shown in FIG. The flowchart of the other aspect at the time of operation
  • movement of the imaging device shown in FIG. Schematic block diagram of the imaging part of the imaging device concerning the 2nd Embodiment of this invention
  • Schematic block diagram of the imaging part of the imaging device concerning the 3rd Embodiment of this invention The schematic block diagram of the other aspect of the imaging part of the imaging device concerning the 3rd Embodiment of this invention.
  • FIG. 1 is a configuration diagram of an automobile equipped with an imaging apparatus according to a first embodiment of the present invention
  • FIG. 2 is a block diagram of the imaging apparatus shown in FIG.
  • the imaging device 10 of the present embodiment is attached to the inside of the front window of the automobile 1 and includes first to fourth imaging units 11 to 14 each having a different in-focus temperature. Included in the usage image, the image processing unit 22 that calculates the sharpness of the image acquired for each imaging unit, the selection unit 23 that selects the imaging unit that acquires the usage image based on the sharpness, and the usage image An image analysis unit 24 for recognizing a lane to be detected or a vehicle, a pedestrian, and / or an obstacle, and a control for controlling the imaging unit 21, image processing unit 22, selection unit 23, and image analysis unit 24 Part 25.
  • the imaging unit 21, the image processing unit 22, the selection unit 23, the image analysis unit 24, and the control unit 25 are connected to the signal bus 20 in the imaging device 10 and configured to be able to exchange signals with each other. ing.
  • the signal bus 20 in the imaging device 10 is connected to the signal bus 2 in the vehicle 1 so that the analysis result in the image analysis unit 24 can be transmitted from the imaging device 10 to the vehicle control unit 3 in the vehicle 1. Accordingly, the vehicle 1 can perform vehicle movement control such as automatic driving, automatic braking, and / or lane departure prevention control on the side of the vehicle 1 based on the analysis result in the image analysis unit 24.
  • vehicle movement control such as automatic driving, automatic braking, and / or lane departure prevention control on the side of the vehicle 1 based on the analysis result in the image analysis unit 24.
  • CAN Controller (Area Network) or the like can be used as the signal bus 2 in the automobile 1 and the signal bus 20 in the imaging device 10.
  • CAN Controller (Area Network) or the like
  • the first image pickup unit 11 to the fourth image pickup unit 14 each include a lens unit and an image pickup device, and each lens unit is attached to the image pickup apparatus 10 in a horizontal line so that the optical axes are aligned in the same direction.
  • each of the first imaging unit 11 to the fourth imaging unit 14 is configured to be able to shoot in the same direction.
  • FIG. 1 Schematic configuration diagram of the imaging unit is shown in FIG.
  • the first imaging unit 11 to the fourth imaging unit 14 have substantially the same configuration, and only a part of the configuration is different. Therefore, only the first imaging unit 11 will be described here with reference to the drawings.
  • the first imaging unit 11 houses a lens unit composed of an optical system 31 including a plurality of lenses and a lens barrel 32 that houses the optical system 31, an imaging element 33, and the like in a housing 36.
  • the transmitted light is configured to enter the image sensor 33.
  • the optical system 31 is composed of four lenses.
  • the image signal acquired by the image sensor 33 is transmitted to the signal bus 20 via the wiring 37.
  • the lens configuration of the optical system 31 is not limited to the lens configuration such as the number of lenses and the lens shape shown in FIG. 3, and may be a configuration of three or less lenses or five or more lenses.
  • the lens material can be made of various materials such as plastic, glass, or ceramic.
  • the image pickup element 33 is a two-dimensional array of a large number of photodiodes.
  • a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor can be used.
  • Each photodiode has a predetermined arrangement of color filters of a predetermined color (for example, three primary colors of red (R), green (G), and blue (B) and near infrared (Ir)). It is arranged to be.
  • the color of the color filter is not limited to the above.
  • a color filter of a complementary color system may be used, or color filters of four primary colors R, G, B, and R + G + B + Ir are arranged, and image data A method may be used in which R, G, and B are subtracted from R + G + B + Ir to obtain a data value of Ir.
  • R, G, and B are subtracted from R + G + B + Ir to obtain a data value of Ir.
  • the lens is germanium in addition to the above.
  • a lens using chalcogenide or zinc sulfide may be used as appropriate.
  • an image sensor using indium gallium arsenide, vanadium oxide, silicon oxide, or the like is preferable as the image sensor, and a color filter may be used as appropriate according to a necessary wavelength.
  • the image pickup device 33 is fixed on a substrate 34, and the lens barrel 32 and the substrate 34 are held in a housing 36 by a holder 35.
  • the thickness of the holder 35 causes the image pickup device from the rear end of the lens of the optical system 31.
  • a distance L to 33 is determined.
  • the first imaging unit 11 to the fourth imaging unit 14 differ only in the thickness of the holder 35 (the dimension of the optical system in the optical axis direction).
  • FIG. 4 shows a graph showing the relationship between the temperature and the sharpness for each imaging unit.
  • the horizontal axis indicates the lens temperature and the vertical axis indicates the sharpness, and the characteristics S1 to S4 of the first imaging unit 11 are shown.
  • Table 1 shows the relationship between each imaging unit and the distance L from the rear end of the lens to the imaging element 33.
  • the first imaging unit 11 to the fourth imaging unit 14 have different temperatures (focusing temperatures) at which the sharpness becomes maximum.
  • the focusing temperature of the first imaging unit 11 is set to ⁇ 30 ° (error ⁇ 5 ° C.)
  • the focusing temperatures of the second imaging unit 12 to the fourth imaging unit 14 are the first imaging unit. It is set so as to be shifted from the in-focus temperature of 11 by 40 ° C.
  • the usable temperature range of each imaging unit is ⁇ 30 ° C. centering on the in-focus temperature.
  • the lens units of the first imaging unit 11 to the fourth imaging unit 14 are all common, and the distance L from the rear end of the lens of the optical system 31 to the imaging element 33 in each imaging unit is changed due to the difference in the thickness of the holder 35. is doing.
  • This distance L is set so as to be the back focus length of the lens unit at the focusing temperature of each imaging unit with reference to the third imaging unit 13 that is an intermediate focusing temperature.
  • the imaging position of the lens unit moves to the object side as the temperature decreases.
  • the imaging position may move to the image side as the temperature decreases, or the imaging position may not reach a certain lower temperature. It may move to the object side and move to the image side at a lower temperature.
  • the temperature at which the sharpness is maximized is appropriately determined, and the thickness of the holder 35 may be adjusted so that the sharpness is maximized at that temperature.
  • the lens units of each imaging unit are arranged so that the most distal ends of the lenses are on the same plane orthogonal to the optical axis. Since it is possible to prevent images output when the imaging units have the same temperature from having the same sharpness, such an arrangement is preferable.
  • FIG. 5 is a flowchart when the imaging apparatus operates. Note that the processing here is performed by the control unit 25 in the imaging apparatus 10 performing integrated control of the imaging unit 21, the image processing unit 22, the selection unit 23, and the image analysis unit 24.
  • step ST1 when the power of the imaging device 10 is turned on (step ST1), shooting is performed by the first imaging unit 11 to the fourth imaging unit 14 (step ST2). Next, the sharpness of the image acquired for each imaging unit is calculated, and it is determined whether there is a difference in predetermined sharpness between the images (step ST3).
  • the calculation of the sharpness of the image in the image processing unit 22 will be described in detail.
  • the same method as the method of calculating the image sharpness by the known contrast AF (Auto-Focus) can be used.
  • the contrast AF method can be used as it is.
  • gain correction and / or offset correction can be performed, or only a spatial region appropriate for calculating the sharpness of the image can be extracted.
  • Various methods can be used, such as obtaining the sharpness obtained by weighting and adding them to different coefficients.
  • step ST3 when a difference in predetermined sharpness is not recognized, an NG (no good) notification indicating that the image output from the imaging unit is not reliable is transmitted to the vehicle control unit 3 (step ST4).
  • step ST4 After the elapse of time, retry is performed from the process of step ST2. If there is no difference in sharpness between images, the image pickup unit is faulty, the acquired image is black because the light incident on the image pickup unit is minimal, or the light incident on the image pickup unit is maximal. For this reason, it is conceivable that the acquired image is overexposed.
  • the headlight of the automobile 1 is not turned on at night and / or in a dark place, or snow or mud adheres to the front window in front of the imaging device 10.
  • the state which is carrying out is considered.
  • a situation where the acquired image is blown out for example, a state in which sunlight and / or a headlight of an oncoming vehicle or the like is directly incident on the imaging unit can be considered. In any case, since the reliability of the image acquired in such a state is low, it is possible to prevent erroneous control on the side of the vehicle 1 by transmitting an NG notification to the vehicle control unit 3.
  • step ST3 when a difference in predetermined sharpness is recognized, an imaging unit that acquires an image using an imaging unit that has acquired an image with the highest sharpness from the first imaging unit 11 to the fourth imaging unit 14. Is selected (step ST5), and the usage image data is analyzed to recognize a lane included in the usage image, or to recognize a car, a pedestrian, and / or an obstacle (step ST6). Data is transmitted to the vehicle control unit 3 (step ST7). Thus, vehicle movement control can be performed on the automobile 1 side based on the analysis data.
  • the power consumption can be reduced or the life of the parts can be reduced. Can be extended.
  • step ST8 photographing is performed with the imaging unit selected in step ST5 (step ST8), and the sharpness of the use image acquired by the selected imaging unit is calculated and set above the lower limit of the allowable sharpness. It is determined whether there is a sharpness equal to or greater than the threshold value (step ST9). If it is determined in step ST9 that the sharpness is below the threshold, the temperature of the surrounding environment of the automobile 1 on which the imaging device 10 is mounted changes, and the first imaging unit 11 to the fourth imaging unit 14 are changed. Since there is a possibility that the imaging unit that can acquire the image with the highest sharpness from among the images changes, the process returns to step ST2 to reselect the imaging unit.
  • the in-focus temperatures of the first imaging unit 11 to the fourth imaging unit 14 are set so as to be shifted by 40 ° C., but it is considered that the ambient environment temperature of the automobile 1 changes by 40 ° C. or more in a short time. Hateful. Therefore, when re-selecting the image pickup unit, the sharpness is calculated only for the image pickup unit for which the use image is being acquired and the image pickup units at the in-focus temperatures on both sides thereof, and the image obtained by acquiring the image with the highest sharpness from among them By selecting the unit as the imaging unit that acquires the use image, it is possible to reduce the calculation cost when the imaging unit is reselected.
  • the threshold value for determining the sharpness in step ST9 is slightly higher than the sharpness at which the selected imaging unit has the same sharpness as that of the adjacent imaging unit.
  • step ST9 when sharpness equal to or greater than the threshold value is recognized, the usage image data is analyzed to recognize a lane included in the usage image, or to recognize a car, a pedestrian, and / or an obstacle. (Step ST10), the analysis data is transmitted to the vehicle control unit 3 (Step ST11), and then the process returns to Step ST8 to continue the subsequent photographing.
  • the imaging device 10 can be obtained.
  • both of the two problems of suppressing aberration fluctuation due to temperature and suppressing chromatic aberration at a wide wavelength range are solved.
  • the imaging apparatus 10 of the present embodiment is particularly effective.
  • step ST9 movement of the flowchart shown in FIG. 6 not only in the operation
  • movement of the flowchart shown in FIG. FIG. 6 is different from the flowchart shown in FIG. 5 only in step ST9. Specifically, instead of determining whether there is a sharpness greater than or equal to a predetermined value, it is determined whether or not a predetermined time has elapsed since step ST2. If YES in step ST2, the imaging unit is selected again. If not, the subsequent imaging process is continued. Even in such an aspect, the same effects as described above can be obtained.
  • step ST5 when the process proceeds from step ST5 to step ST8, that is, when the next image is taken, step ST5, step ST6, step ST7, and step ST8
  • step ST6 and step ST7 may be removed from the process flow of the flowcharts shown in FIG. 5 and FIG. 6 and performed in parallel with the next image capturing simultaneously.
  • step ST10 and step ST11 in the loop after step ST8.
  • FIG. 7 is a schematic configuration diagram of an imaging unit of an imaging apparatus according to the second embodiment of the present invention.
  • the imaging apparatus of the second embodiment is obtained by changing only the configuration of the imaging unit as compared with the imaging apparatus of the first embodiment. Here, there is no change from the imaging apparatus of the first embodiment. The description about the part is omitted.
  • the imaging unit 21 a of the present embodiment includes a plurality of lens units each having a different in-focus temperature and an imaging device 44 for each lens unit housed in one housing 40.
  • each lens unit are integrally configured by a lens array, and the lens units are arranged in order from the object side, the lens 41a to the lens for the fourth imaging unit 14a for constituting the lens unit for the first imaging unit 11a.
  • the second lens array 43 is formed by laminating a lens 43d for forming a lens unit for the imaging unit 14a.
  • the imaging elements 44 for the first imaging unit 11a to the fourth imaging unit 14a are fixed on the same substrate 45, and the distance between each lens unit and the imaging element as in the imaging unit of the first embodiment. Can be changed individually, the configuration of each lens unit is changed by appropriately selecting the curvature of the lens, the distance between lenses, and / or the lens material of each lens unit. The sharpness is maximized at a desired temperature. Thereby, the first imaging unit 11a to the fourth imaging unit 14a having different in-focus temperatures are configured.
  • each lens unit different as described above, it is possible to make an optimum lens design for each imaging unit, so compared to the case where the lens configuration of each lens unit is the same, It becomes easy to improve the optical performance of the lens unit.
  • FIG. 8 is a schematic configuration diagram of an imaging unit of an imaging apparatus according to the third embodiment of the present invention.
  • the imaging apparatus according to the third embodiment is obtained by changing only the configuration of the imaging unit as compared with the imaging apparatus according to the first embodiment. Here, there is no change from the imaging apparatus according to the first embodiment. The description about the part is omitted.
  • the imaging unit 21b of the present embodiment selectively switches between transmission and reflection of light with the first lens unit 51 to the fourth lens unit 54 corresponding to the first imaging unit to the fourth imaging unit.
  • the light control device 55 includes a light control device 55 to a light control device 57, a mirror 58, an image sensor 59, and a light shielding member 60 that absorbs light.
  • Each lens unit is arranged in a state where the optical axes are aligned in the same direction.
  • each lens unit is schematically shown, and does not show an actual lens configuration, but may have any configuration.
  • a light control element that can selectively switch between transmission and reflection of light, for example, an element described in Japanese Patent Application Laid-Open No. 2014-26262 can be used.
  • the first lens unit 51 to the fourth lens unit 54 have the same configuration, and the first imaging unit to the fourth imaging unit are different in focusing temperature by changing the optical path length from the rear end of the lens of each lens unit to the imaging element 59.
  • An imaging unit can be configured.
  • the light adjusting element 55 to the light adjusting element 57 are all in a transmission state, so that the light imaged by the first lens unit 51 is imaged. 59 is incident.
  • the light adjusted by the second lens unit 52 is incident on the image sensor 59 by setting all of the light control elements 55 to 57 to the reflection state. become.
  • the light adjusting element 55 and the light adjusting element 57 are in the reflecting state and the light adjusting element 56 is in the transmitting state, so that the light imaged by the third lens unit 53 is reflected.
  • the light enters the image sensor 59.
  • the image of the fourth imaging unit is acquired, the light imaged by the fourth lens unit 54 is obtained by setting the light control element 55 in the reflection state and the light control element 56 and the light control element 57 in the transmission state.
  • the light enters the image sensor 59.
  • the imaging unit 21c transmits and reflects light with the first lens unit 61 to the fourth lens unit 64 corresponding to the first imaging unit to the fourth imaging unit.
  • the light control element 65 and the light control element 67 which can be switched selectively, the mirror 66 and the mirror 68, the image sensor 69 and the image sensor 70, and the light shielding member 71 which absorbs light are comprised.
  • the first lens unit 61 and the third lens unit 63 have the same configuration
  • the second lens unit 62 and the fourth lens unit 64 have the same configuration
  • the first lens unit 61 and the second lens unit 62 share the image sensor 69.
  • the third lens unit 63 and the fourth lens unit 64 are configured to share the image sensor 70. Further, the distance from the light control element 65 to the image sensor 69 is different from the distance from the light control element 67 to the image sensor 70.
  • First to fourth imaging units can be configured.
  • the mode of switching the optical path using the light control element may be a mode different from those shown in FIGS.
  • the number of imaging units is not limited to four and may be two or more other numbers.
  • the arrangement of the plurality of imaging units is not limited to the arrangement in the horizontal direction, but may be an arrangement in the vertical direction, or may be a two-dimensional arrangement in the horizontal direction and / or the vertical direction.
  • the arrangement order of a plurality of imaging units each having a different in-focus temperature is not limited to the order in which they are arranged in the order of the in-focus temperature. May be arranged in the central part where it is easy to keep warm.
  • the arrangement position of the imaging unit is not limited to the inside of the front window of the automobile, but may be arranged in other places such as a front bumper and / or a front grill.
  • the output image of the other image capturing unit is weighted and added, and the use image is obtained. You may get it.
  • a high-intensity image can be obtained even if there is little incident light to an imaging unit at night etc.
  • the image data in the frontal area has a relatively high sharpness, but on the other hand, the headlight does not reach the remote area and it is often very dark, so the output images of multiple imaging units are not simply added. Only the image data may be extracted and added.
  • the form of the imaging device is not limited to that mounted on the automobile as described above, and various forms such as mounting on other types of moving bodies such as airplanes and artificial satellites, and using as an outdoor monitoring camera are possible. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)
  • Cameras In General (AREA)
  • Automatic Focus Adjustment (AREA)
  • Mechanical Engineering (AREA)

Abstract

【課題】広い温度範囲で長期にわたって安定して高画質の画像を取得可能な撮像装置を提供する。 【解決手段】同一方向に光軸が揃えられた複数のレンズユニットおよび１個以上の撮像素子を備え、レンズユニット毎に撮像素子と組み合わせた撮像ユニットが構成され、各撮像ユニットは各々合焦温度が異なる撮像部（２１）と、撮像ユニット毎に取得された画像の鮮鋭度を算出する画像処理部（２２）と、鮮鋭度に基づいて利用画像を取得する撮像ユニットを選択する選択部（２３）と、撮像部（２１）、画像処理部（２２）、および選択部（２３）を制御する制御部（２５）とを備える。

Description

撮像装置
　本発明は、自動車等の移動体に搭載されるセンシング用カメラや屋外で使用される監視カメラ等に好適な撮像装置に関するものである。
　近年、車にカメラを搭載し、車体前方を撮影した画像に基づいて、車線を認識したり、車、歩行者、および／または障害物等を認識し、これらの情報を車の自動運転、自動ブレーキ、および／または車線逸脱防止制御等の車両移動制御に供することが提案されている。このような車載カメラとして使用される撮像装置としては、例えば下記特許文献１～３に記載のものが知られている。
特開２０１０－２７６７５２号公報 国際公開第２０１０／０６１６０４号パンフレット 特開２００４－３２５６０３号公報
　車載カメラに用いられるレンズの使用される環境温度範囲は、下限は－６０～－４０℃程度、上限は８０℃～１０５℃程度と大変広いため、レンズは温度変化によるピントのズレ量が非常に大きくなり、結果として画像の鮮鋭度が大きく低下する。
　デジタルカメラ用レンズでは、ピントのズレ量について、撮像素子で得られた画像データを解析し、鮮鋭度が高くなるようにレンズを光軸方向に移動させてピント調整を行うことで解決している。
　しかし、同様の解決策を車載カメラに用いるレンズに適用すると、レンズ移動のためのカムおよび／またはギアのグリースが、使用される環境温度範囲の広さに起因して低温下では硬化し高温下では流出して、カムおよび／またはギアが固着したり、車の振動に起因してカムおよび／またはギアが削れてガタが大きくなるおそれがある。その結果、レンズを適切に移動させることが難しくなり、鮮鋭度の高い画像を得ることが難しくなるおそれがある。
　このため、車載カメラに用いられるレンズにおいては、ピントのズレ量をレンズの移動で補正する解決策でなく、そもそものピントのズレ量を抑えることで解決することが好ましい。特許文献１では、レンズ材料とレンズのパワーを適切に選択して、ピントのズレ量を抑える方法が提案されている。特許文献２では、レンズの熱膨張とスペーサの熱膨張とでピントのズレ量を相殺する方法が提案されている。特許文献３では、レンズの温度を一定範囲に維持するために発熱手段を設ける方法が提案されている。
　しかしながら、車載カメラに用いられるレンズに必要な、５～１０年間といった長期間にわたる信頼性の確保、今後の高画素化に伴う画素の小サイズ化、より高温への対応（例えば１２５℃以上）、および／または可視光から近赤外領域（最長波長１０００ｎｍ程度）までといった広い波長範囲の結像等を考慮したとき、特許文献１の方法では、レンズ材料の選択肢が少なく、レンズのパワーの選択を主要な解決手段としているため、設計の自由度が少なく、そのため、例えば、広い波長範囲に対応させたり、収差を少なくさせたりする等、高性能なレンズとすることが難しいという問題がある。特許文献２の方法では、部材の熱膨張による伸縮量を長期間にわたって一定値に維持することは難しく、装置の信頼性が低下する可能性が高いという問題がある。特許文献３の方法では、ヒータが長期の使用で劣化して、装置の信頼性が低下する可能性が高いという問題がある。
　なお、上記のような広い温度範囲で使用する撮像装置におけるピントズレの問題は、車載カメラに限らず、監視カメラおよび／または航空宇宙用のカメラ等のように過酷な環境で使用されることが想定される撮像装置においても同様の問題が生じる。
　本発明は上記事情に鑑みなされたものであり、広い温度範囲で長期にわたって安定して高画質の画像を取得可能な撮像装置を提供することを目的とするものである。
　本発明の撮像装置は、同一方向に光軸が揃えられた複数のレンズユニットおよび１個以上の撮像素子を備え、レンズユニット毎に撮像素子と組み合わせた撮像ユニットが構成され、各撮像ユニットは各々合焦温度が異なる撮像部と、撮像ユニット毎に取得された画像の鮮鋭度を算出する画像処理部と、鮮鋭度に基づいて利用画像を取得する撮像ユニットを選択する選択部と、撮像部、画像処理部、および選択部を制御する制御部とを備えたことを特徴とするものである。
　ここで、「同一方向に光軸が揃えられた複数のレンズユニット」とは、レンズユニット毎に撮像素子と組み合わせた撮像ユニットにおいて略同一方向の撮影が可能な状態に複数のレンズユニットが配置されていることを意味し、各レンズユニットの光軸の方向が完全に一致している態様に限らず、一つのレンズユニットの光軸を基準として、残りのレンズユニットの光軸の傾きが全て±１０°以内の範囲に納まっていることを意味する。
　本発明の撮像装置において、制御部は、画像処理部に対して利用画像取得中の撮像ユニットにより取得された画像の鮮鋭度を算出させ、利用画像の鮮鋭度が設定された閾値を下回った場合に、撮像部に対して複数の撮像ユニットに撮影を行わせ、画像処理部に対して撮像ユニット毎に取得された画像の鮮鋭度を算出させ、選択部に対して利用画像を取得する撮像ユニットを再選択させるものとしてもよい。
　また、制御部は、設定された時間毎に、撮像部に対して複数の撮像ユニットに撮影を行わせ、画像処理部に対して撮像ユニット毎に取得された画像の鮮鋭度を算出させ、選択部に対して利用画像を取得する撮像ユニットを再選択させるものとしてもよい。
　制御部について上記のように利用画像を取得する撮像ユニットの再選択を行わせるものとした場合、制御部は、利用画像を取得する撮像ユニットの再選択の際に、撮像部に対して、利用画像取得中の撮像ユニット、利用画像取得中の撮像ユニットの合焦温度よりも高い範囲で最も近い合焦温度の撮像ユニット、および利用画像取得中の撮像ユニットの合焦温度よりも低い範囲で最も近い合焦温度の撮像ユニットで撮影を行わせ、画像処理部に対して、利用画像取得中の撮像ユニット、利用画像取得中の撮像ユニットの合焦温度よりも高い範囲で最も近い合焦温度の撮像ユニット、および利用画像取得中の撮像ユニットの合焦温度よりも低い範囲で最も近い合焦温度の撮像ユニットにより取得された画像のみの鮮鋭度を算出させるものとしてもよい。
　また、選択部は、鮮鋭度が最も高い画像を取得した撮像ユニットを利用画像を取得する撮像ユニットとして選択するものとしてもよい。
　また、撮像部は、各レンズユニットのレンズの最後端から撮像素子までの光軸上の距離が互いに異なる状態に構成されているものとしてもよい。
　また、複数のレンズユニットのうち、２つ以上のレンズユニットのレンズ構成が同じようにしてもよい。
　また、複数のレンズユニットのうち、２つ以上のレンズユニットのレンズ構成が異なるようにしてもよい。
　また、複数のレンズユニットのレンズの最先端が光軸と直交する同一平面にあるようにしてもよい。
　また、撮像部は、レンズユニット毎に個別の撮像素子が組み合わされているようにしてもよい。
　また、撮像部は、複数のレンズユニットで１つの撮像素子を共用するようにしてもよい。
　本発明の撮像装置は、各々合焦温度が異なる複数の撮像ユニットを備え、撮像ユニット毎に取得された画像の鮮鋭度を算出して、算出された鮮鋭度に基づいて利用画像を取得するのに好適な撮像ユニットを選択するようにし、機械的なピント調整機構を設けなくても広い温度範囲で鮮鋭度の高い画像を取得できるようにしたので、広い温度範囲で長期にわたって安定して高画質の画像を取得可能な撮像装置とすることができる。
本発明の第１の実施形態にかかる撮像装置を搭載した自動車の構成図 図１に示す撮像装置のブロック図 図１に示す撮像装置の撮像ユニットの概略構成図 撮像ユニット毎の温度と鮮鋭度の関係を示すグラフ 図１に示す撮像装置の動作時のフローチャート 図１に示す撮像装置の動作時の他の態様のフローチャート 本発明の第２の実施形態にかかる撮像装置の撮像部の概略構成図 本発明の第３の実施形態にかかる撮像装置の撮像部の概略構成図 本発明の第３の実施形態にかかる撮像装置の撮像部の他の態様の概略構成図
　以下、本発明の第１の実施形態について図面を参照して詳細に説明する。図１は本発明の第１の実施形態にかかる撮像装置を搭載した自動車の構成図、図２は図１に示す撮像装置のブロック図である。
　図１および図２に示す通り、本実施形態の撮像装置１０は、自動車１のフロントウィンドウ内側に取り付けられるものであり、各々合焦温度が異なる第１撮像ユニット１１～第４撮像ユニット１４を備えた撮像部２１と、撮像ユニット毎に取得された画像の鮮鋭度を算出する画像処理部２２と、鮮鋭度に基づいて利用画像を取得する撮像ユニットを選択する選択部２３と、利用画像に含まれる車線を認識したり、車、歩行者、および／または障害物等を認識する画像解析部２４と、これら撮像部２１、画像処理部２２、選択部２３、および画像解析部２４を制御する制御部２５とから構成されている。
　撮像部２１、画像処理部２２、選択部２３、画像解析部２４、および制御部２５は、撮像装置１０内の信号バス２０に接続されており、相互に信号のやり取りが可能なように構成されている。
　また、撮像装置１０内の信号バス２０は、自動車１内の信号バス２に接続されており、画像解析部２４における解析結果を撮像装置１０から自動車１内の自動車制御部３へ送信可能なように構成されており、これにより自動車１側では画像解析部２４における解析結果に基づいて、自動車１の自動運転、自動ブレーキ、および／または車線逸脱防止制御等の車両移動制御を行うことが可能となる。自動車１内の信号バス２および撮像装置１０内の信号バス２０としては、例えばＣＡＮ（Controller Area Network）等を用いることができる。なお、本実施形態の説明では自動車１側の構成や制御内容についての詳細な説明は省略する。
　第１撮像ユニット１１～第４撮像ユニット１４は各々レンズユニットと撮像素子を備え、各レンズユニットは同一方向に光軸が揃えられた状態になるように水平方向一列に撮像装置１０に取り付けられており、第１撮像ユニット１１～第４撮像ユニット１４の各々で同一方向の撮影が可能なように構成されている。
　撮像ユニットの概略構成図を図３に示す。なお、第１撮像ユニット１１～第４撮像ユニット１４は略同じ構成であり、一部の構成のみが異なるものであるため、ここでは第１撮像ユニット１１についてのみ図面を用いて説明する。
　第１撮像ユニット１１は、複数のレンズを含む光学系３１およびこの光学系３１を収容する鏡筒３２から構成されるレンズユニットと撮像素子３３等を筐体３６内に収容し、光学系３１を透過した光が撮像素子３３に入射するように構成されている。光学系３１は、４枚のレンズで構成されている。また、撮像素子３３により取得された画像信号は配線３７を介して信号バス２０へ送信される。
　なお、光学系３１のレンズ構成は、図３に示すレンズ枚数およびレンズ形状等のレンズ構成に限定されるものではなく、３枚以下もしくは５枚以上のレンズ構成としてもよい。また、レンズ材料についても、プラスチック、ガラス、またはセラミック等、種々の材料のレンズとすることができる。
　また、撮像素子３３は、多数のフォトダイオードが２次元的に配列されたものであり、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いることができる。各フォトダイオードには所定の色（例えば、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色と、近赤外（Ｉｒ）の計４原色）のカラーフィルタが所定の配列となるように配置されている。なお、カラーフィルタの色は上記に限定されるものではなく、例えば、補色系のカラーフィルタを用いてもよいし、Ｒ、Ｇ、Ｂ、およびＲ＋Ｇ＋Ｂ＋Ｉｒの４原色のカラーフィルタを配列し、画像データにてＲ＋Ｇ＋Ｂ＋ＩｒからＲ、Ｇ、およびＢを差し引いてＩｒのデータ値を求める手法を用いてもよい。このような構成とすることで、可視光から近赤外の領域で、被写体の画像を得ることが可能である。
　上記は、可視光から近赤外領域の撮像を目的とした場合の構成を説明したが、短波赤外から遠赤外までの撮像を目的とする場合には、レンズとしては上記に加えてゲルマニウム、カルコゲナイド、硫化亜鉛を用いたレンズを適宜用いれば良い。また、撮像素子としてはインジウムガリウム砒素、酸化バナジウム、または酸化シリコン等を用いた撮像素子が好適であり、カラーフィルタについては必要な波長に合わせて適宜用いれば良い。
　撮像素子３３は基板３４上に固着されており、筐体３６内において鏡筒３２と基板３４はホルダ３５によって保持されており、このホルダ３５の厚さにより光学系３１のレンズ最後端から撮像素子３３までの距離Ｌが決定される。第１撮像ユニット１１～第４撮像ユニット１４は、このホルダ３５の厚さ（光学系の光軸方向の寸法）のみが異なる。
　撮像ユニット毎の温度と鮮鋭度の関係を示すグラフを図４に示す。図４では、横軸をレンズ温度、縦軸を鮮鋭度とし、第１撮像ユニット１１の特性Ｓ１～第４撮像ユニット１４の特性Ｓ４を示している。また、各撮像ユニットとレンズ最後端から撮像素子３３までの距離Ｌとの関係を表１に示す。
Figure JPOXMLDOC01-appb-T000001
　表１に示す通り、第１撮像ユニット１１～第４撮像ユニット１４は、鮮鋭度が最大となる温度（合焦温度）が異なる。具体的には、第１撮像ユニット１１は合焦温度が－３０°（誤差±５℃）に設定されており、第２撮像ユニット１２～第４撮像ユニット１４の合焦温度は第１撮像ユニット１１の合焦温度から４０℃ずつずらして設定されている。各撮像ユニットの使用可能温度範囲は合焦温度を中心に±３０℃である。
　第１撮像ユニット１１～第４撮像ユニット１４のレンズユニットは全て共通であり、ホルダ３５の厚さの違いにより、各撮像ユニットにおける光学系３１のレンズ最後端から撮像素子３３までの距離Ｌを変更している。この距離Ｌは、中間の合焦温度である第３撮像ユニット１３を基準として、各撮像ユニットの合焦温度におけるレンズユニットのバックフォーカス長となるように設定される。このような構成とすることで、レンズユニットのレンズ構成が同じでありながら合焦温度の異なる撮像ユニットを実現することができるため、設計を容易にしたり、コストを抑えることができる。
　なお、表１においては、例として、温度が低くなるほどレンズユニットの結像位置が物体側に移動するものを記載している。レンズおよび／または鏡筒の材料および／または形状、レンズと鏡筒間の接続方法等によっては、温度が低くなるほど結像位置が像側に移動する場合や、ある低い温度までは結像位置が物体側へ移動し、さらに低い温度では像側へ移動する場合もありうる。これらの場合も、鮮鋭度が最大となる温度を適宜決定し、その温度において鮮鋭度が最大になるようにホルダ３５の厚さを調節すればよい。
　第１撮像ユニット１１～第４撮像ユニット１４の光軸方向の配置位置に関しては、各撮像ユニットのレンズユニットのレンズの最先端が光軸と直交する同一平面にあるようにして配置することで、各撮像ユニットが同一温度の際に出力する画像が同一の鮮鋭度にならないようにすることができるため、このような配置とすることが好ましい。
　逆に、第１撮像ユニット１１～第４撮像ユニット１４の光軸方向の配置位置に関して、各撮像ユニットの撮像素子３３の光入射面が光軸と直交する同一平面にあるようにして配置すると、レンズユニットの焦点距離および／または被写体が極めて至近にある等の特定の条件下で各撮像ユニットが同一温度の際に出力する画像が同一の鮮鋭度になってしまうおそれがあるため、あまり好ましくない。
　次に、撮像装置１０の動作時の処理について説明する。図５は撮像装置の動作時のフローチャートである。なお、ここでの処理については撮像装置１０内の制御部２５が、撮像部２１、画像処理部２２、選択部２３、および画像解析部２４を統合制御することで行われるものである。
　まず、撮像装置１０の電源が投入されると（ステップＳＴ１）、第１撮像ユニット１１～第４撮像ユニット１４で撮影が行われる（ステップＳＴ２）。次に、撮像ユニット毎に取得された画像の鮮鋭度を算出し、各画像間で所定の鮮鋭度の差があるか判定を行う（ステップＳＴ３）。
　ここで、画像処理部２２における画像の鮮鋭度の算出について詳細に説明する。画像の鮮鋭度算出については、公知のコントラストＡＦ（Auto Focus）にて画像の鮮鋭度を算出する手法と同一の手法を用いることができる。鮮鋭度の算出値の妥当性を上げるために、コントラストＡＦの手法をそのまま活用でき、例えば、ゲイン補正および／またはオフセット補正を行ったり、画像の鮮鋭度の算出に妥当な空間領域のみを抽出して算出したり、時間的に連続して撮影された複数画像の時間方向の連続性を考慮する算出を行ったり、１枚の画像について複数の空間周波数でフーリエ変換を行って複数の部分鮮鋭度を求め、それらに異なる係数をかけて重み付け加算した鮮鋭度を求める等、種々の手法を用いることができる。
　ステップＳＴ３において、所定の鮮鋭度の差が認められなかった場合は、撮像ユニットが出力する画像が信頼できない旨を示すＮＧ（no good）通知を自動車制御部３へ送信し（ステップＳＴ４）、所定時間経過後にステップＳＴ２の処理から再試行を行う。各画像間に鮮鋭度の差がない場合は、撮像ユニットの故障であったり、撮像ユニットに入射する光が極小なために取得画像が黒とびしていたり、撮像ユニットに入射する光が極大なために取得画像が白とびしていたりすることが考えられる。なお、取得画像が黒とびする状況としては、例えば、夜間および／または暗い場所で自動車１のヘッドライトを点灯していない状態、または、撮像装置１０の前方のフロントウィンドウに雪や泥等が付着している状態等が考えられる。また、取得画像が白とびする状況としては、例えば、太陽光および／または対向車のヘッドライト等が撮像ユニットに直接入射している状態等が考えられる。いずれにしても、このような状態で取得された画像については信頼性が低いため、ＮＧ通知を自動車制御部３へ送信することで、自動車１側での誤制御を防止することができる。
　ステップＳＴ３において、所定の鮮鋭度の差が認められた場合は、第１撮像ユニット１１～第４撮像ユニット１４の中から鮮鋭度が最も高い画像を取得した撮像ユニットを利用画像を取得する撮像ユニットとして選択し（ステップＳＴ５）、利用画像データを解析して、利用画像に含まれる車線を認識したり、車、歩行者、および／または障害物等を認識したりし（ステップＳＴ６）、この解析データを自動車制御部３へ送信する（ステップＳＴ７）。これにより、自動車１側では解析データに基づいて車両移動制御を行うことが可能となる。
　なお、ステップＳＴ５で選択された撮像ユニット以外の撮像ユニットについては、電源供給を停止したり駆動周波数を低下させることが好ましく、このような態様とすることで、消費電力を低減したり部品の寿命を延長することができる。
　その後、ステップＳＴ５で選択された撮像ユニットで撮影を行い（ステップＳＴ８）、選択中の撮像ユニットで取得された利用画像の鮮鋭度を算出して、許容される鮮鋭度の下限よりも上に設定された閾値以上の鮮鋭度があるか判定を行う（ステップＳＴ９）。ステップＳＴ９において、鮮鋭度が閾値を下回っていることが認められた場合は、撮像装置１０が搭載された自動車１の周辺環境の温度が変化して、第１撮像ユニット１１～第４撮像ユニット１４の中から鮮鋭度が最も高い画像を取得できる撮像ユニットが変化する可能性があるため、ステップＳＴ２に戻り、撮像ユニットの再選択を行う。
　なお、上記の通り第１撮像ユニット１１～第４撮像ユニット１４の合焦温度は４０℃ずつずらして設定されているが、自動車１の周辺環境温度が短時間で４０℃以上変化することは考えにくい。そのため、撮像ユニットの再選択の際には、利用画像取得中の撮像ユニットとその両隣の合焦温度の撮像ユニットについてのみ鮮鋭度を算出し、その中から鮮鋭度が最も高い画像を取得した撮像ユニットを利用画像を取得する撮像ユニットとして選択するようにすることで、撮像ユニット再選択の際の計算コストを抑えることができる。
　また、ステップＳＴ９における鮮鋭度の判定の閾値は、図４に示す通り、選択中の撮像ユニットの鮮鋭度が合焦温度が隣接する撮像ユニットの鮮鋭度と同じになる鮮鋭度よりも若干高めの鮮鋭度に設定することで、温度変化に伴って最も高い画像を取得する撮像ユニットが変化する直前から撮像ユニットの再選択処理を行えるようになるため、温度変化に対して遅れることなく最も高い画像を取得する撮像ユニットを選択することが可能となる。
　ステップＳＴ９において、閾値以上の鮮鋭度が認められた場合は、利用画像データを解析して、利用画像に含まれる車線を認識したり、車、歩行者、および／または障害物等を認識したりし（ステップＳＴ１０）、この解析データを自動車制御部３へ送信し（ステップＳＴ１１）、その後ステップＳＴ８に戻って以降の撮影を継続する。
　このような構成とすることで、機械的なピント調整機構を設けなくても広い温度範囲で鮮鋭度の高い画像を取得でき、広い温度範囲で長期にわたって安定して高画質の画像を取得可能な撮像装置１０とすることが可能となる。また、本実施形態のように可視光から近赤外光までの広域の波長で撮影を行う場合には、温度による収差変動の抑制と広域の波長での色収差の抑制の２つの課題を両方解決する必要があるが、このような場合に本実施形態の撮像装置１０は特に効果を発揮する。
　また、上記の通り、レンズユニット毎に個別の撮像素子を組み合わせることで、複数の撮像ユニットで同時並列的に撮影を行うことができるため、撮像ユニット選択時の処理時間を短くすることができる。
　なお、本実施形態の撮像装置１０の動作時の処理については、図５に示すフローチャートの動作に限らず、図６に示すフローチャートの動作としてもよい。図６は図５に示すフローチャートと比較してステップＳＴ９のみが異なり、具体的には、所定以上の鮮鋭度があるか判定を行う代わりに、ステップＳＴ２から所定時間経過したか判定し、経過している場合にはステップＳＴ２に戻って再度撮像ユニットの選択をやりなおし、経過していない場合には以後の撮影処理等を継続する。このような態様としても、上記と同様の効果を奏することができる。
　また、図５および図６のいずれに示すフローチャートの動作においても、ステップＳＴ５からステップＳＴ８へ移行、すなわち次の画像の撮影に移行する際に、ステップＳＴ５、ステップＳＴ６、ステップＳＴ７、およびステップＳＴ８と順に処理を行う態様に限らず、ステップＳＴ６およびステップＳＴ７の処理は図５および図６に示すフローチャートの処理の流れから外して、次の画像の撮影と同時並列的に行うようにしてもよい。ステップＳＴ８以降のループにおけるステップＳＴ１０およびステップＳＴ１１の処理についても同様である。
　次いで、本発明の第２の実施形態について図面を参照して詳細に説明する。図７は本発明の第２の実施形態にかかる撮像装置の撮像部の概略構成図である。
　第２の実施形態の撮像装置は、上記第１の実施形態の撮像装置と比較して、撮像部の構成のみを変更したものであり、ここでは第１の実施形態の撮像装置から変更がない部分についての説明は省略する。
　図７に示す通り、本実施形態の撮像部２１ａは、各々合焦温度が異なる複数のレンズユニットと各レンズユニット用の撮像素子４４が一つの筐体４０内に収容されたものである。
　各レンズユニットのレンズはレンズアレイにより一体的に構成されており、レンズユニットは物体側から順に、第１撮像ユニット１１ａ用のレンズユニットを構成するためのレンズ４１ａ～第４撮像ユニット１４ａ用のレンズユニットを構成するためのレンズ４１ｄが一体的に形成された第１レンズアレイ４１と、絞りとして機能する遮光シート４２と、第１撮像ユニット１１ａ用のレンズユニットを構成するためのレンズ４３ａ～第４撮像ユニット１４ａ用のレンズユニットを構成するためのレンズ４３ｄが一体的に形成された第２レンズアレイ４３とが積層されてなるものである。
　第１撮像ユニット１１ａ～第４撮像ユニット１４ａ用の各々の撮像素子４４は同じ基板４５上に固着されており、上記第１の実施形態の撮像部のように各レンズユニットと撮像素子との間隔を個別に変化させることはできない代わりに、各レンズユニットを構成するレンズの曲率、レンズ間距離、および／またはレンズ材料を適宜選択することで各レンズユニットの構成を変更して、各レンズユニットが所望の温度で鮮鋭度が最高となるように構成する。これにより、各々合焦温度が異なる第１撮像ユニット１１ａ～第４撮像ユニット１４ａが構成される。
　また、上記の通り各レンズユニットのレンズ構成を異なるものとすることで、各撮像ユニットに最適なレンズ設計とすることができるため、各レンズユニットのレンズ構成を同じにする場合と比較して、レンズユニットの光学性能を高めることが容易となる。
　このような構成としても、上記第１の実施形態と同様の効果を奏することができる。
　次いで、本発明の第３の実施形態について図面を参照して詳細に説明する。図８は本発明の第３の実施形態にかかる撮像装置の撮像部の概略構成図である。
　第３の実施形態の撮像装置は、上記第１の実施形態の撮像装置と比較して、撮像部の構成のみを変更したものであり、ここでは第１の実施形態の撮像装置から変更がない部分についての説明は省略する。
　図８に示す通り、本実施形態の撮像部２１ｂは、第１撮像ユニット～第４撮像ユニットに対応した第１レンズユニット５１～第４レンズユニット５４と、光の透過と反射を選択的に切替可能な調光素子５５～調光素子５７と、ミラー５８と、撮像素子５９と、光を吸収する遮光部材６０とから構成される。
　各レンズユニットは同一方向に光軸が揃えられた状態に配置されている。なお、図８において各レンズユニットは模式的に示しており、実際のレンズ構成を示すものではなく、どのような構成としてもよい。また、光の透過と反射を選択的に切替可能な調光素子については、例えば特開２０１４－２６２６２号公報に記載されているような素子を用いることができる。
　第１レンズユニット５１～第４レンズユニット５４は同じ構成であり、各レンズユニットのレンズ最後端から撮像素子５９までの光路長を変えることで、各々合焦温度が異なる第１撮像ユニット～第４撮像ユニットを構成することができる。
　具体的には、第１撮像ユニットの画像を取得する際には、調光素子５５～調光素子５７を全て透過状態とすることで、第１レンズユニット５１により結像された光が撮像素子５９に入射することになる。第２撮像ユニットの画像を取得する際には、調光素子５５～調光素子５７を全て反射状態とすることで、第２レンズユニット５２により結像された光が撮像素子５９に入射することになる。第３撮像ユニットの画像を取得する際には、調光素子５５および調光素子５７を反射状態、調光素子５６を透過状態とすることで、第３レンズユニット５３により結像された光が撮像素子５９に入射することになる。第４撮像ユニットの画像を取得する際には、調光素子５５を反射状態、調光素子５６および調光素子５７を透過状態とすることで、第４レンズユニット５４により結像された光が撮像素子５９に入射することになる。
　上記の通り、複数のレンズユニットで１つの撮像素子を共用することで、コストの高い撮像素子の使用数を少なくすることができるため、撮像部のコストを抑えることができる。
　このような構成としても、上記第１の実施形態と同様の効果を奏することができる。
　なお、調光素子を用いて光路を切り替える態様としては、図８の態様に限定されるものではなく、図９に示す態様としてもよい。
　図９に示す通り、本実施形態の他の態様の撮像部２１ｃは、第１撮像ユニット～第４撮像ユニットに対応した第１レンズユニット６１～第４レンズユニット６４と、光の透過と反射を選択的に切替可能な調光素子６５および調光素子６７と、ミラー６６およびミラー６８と、撮像素子６９および撮像素子７０と、光を吸収する遮光部材７１とから構成される。
　第１レンズユニット６１と第３レンズユニット６３は同じ構成、第２レンズユニット６２と第４レンズユニット６４は同じ構成であり、第１レンズユニット６１および第２レンズユニット６２で撮像素子６９を共用し、第３レンズユニット６３および第４レンズユニット６４で撮像素子７０を共用するように構成されている。また、調光素子６５から撮像素子６９までの距離と、調光素子６７から撮像素子７０までの距離は異なるように構成されている。
　調光素子６５および調光素子６７の透過状態と反射状態を切り替えることで、各レンズユニットのレンズ最後端から撮像素子６９または撮像素子７０までの光路長を変えることで、各々合焦温度が異なる第１撮像ユニット～第４撮像ユニットを構成することができる。
　このような構成としても、上記第１の実施形態と同様の効果を奏することができる。
　また、調光素子を用いて光路を切り替える態様としては、図８および図９とはさらに異なる態様としてもよい。
　以上、実施形態および実施例を挙げて本発明を説明したが、本発明は上記実施形態および実施例に限定されず、種々の変形が可能である。
　例えば、撮像ユニットの数については４つに限らず、２つ以上の他の数としてもよい。
　また、複数の撮像ユニットの配列についても、水平方向一列の配列に限らず、垂直方向一列の配列としたり、水平方向および／または垂直方向に複数列の２次元状の配列としてもよい。
　また、各々合焦温度が異なる複数の撮像ユニットの配列順についても、合焦温度順に並べる態様に限らず、高温に適したものを冷却しやすい外縁や外周部に配置し、低温に適したものを保温しやすい中心部に配置してもよい。
　また、撮像ユニットの配置位置についても、自動車のフロントウィンドウ内側に限らず、フロントバンパーおよび／またはフロントグリル等の他の場所に配置してもよい。
　また、撮像部に複数の撮像素子を搭載している場合には、選択中の撮像ユニットの出力画像の輝度値が低い場合に、他の撮像ユニットの出力画像を重み付け加算して、利用画像を取得してもよい。このような態様とすることで、夜間等で撮像ユニットへの入射光が少ない場合でも輝度の高い画像を得ることができる。なお、正面遠方の画像データは比較的鮮鋭度が高いが、一方で遠方はヘッドライトが届かず極めて暗いことが多いため、単純に複数の撮像ユニットの出力画像を加算するのでなく、特に正面遠方の画像データのみ抽出して加算してもよい。
　撮像装置の形態についても、上記のような自動車に搭載されるものに限らず、飛行機や人工衛星等の他の種類の移動体に搭載したり、屋外監視カメラとして用いる等、種々の態様とすることができる。
　上記以外にも、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。
　　１　　自動車
　　２　　信号バス
　　３　　自動車制御部
　　１０　　撮像装置
　　１１～１４　　撮像ユニット
　　１１ａ～１４ａ　　撮像ユニット
　　２０　　信号バス
　　２１、２１ａ、２１ｂ、２１ｃ　　撮像部
　　２２　　画像処理部
　　２３　　選択部
　　２４　　画像解析部
　　２５　　制御部
　　３１　　光学系
　　３２　　鏡筒
　　３３　　撮像素子
　　３４　　基板
　　３５　　ホルダ
　　３６　　筐体
　　３７　　配線
　　４０　　筐体
　　４１　　レンズアレイ
　　４１ａ～４１ｄ　　レンズ
　　４２　　遮光シート
　　４３　　レンズアレイ
　　４３ａ～４３ｄ　　レンズ
　　４４　　撮像素子
　　４５　　基板
　　５１～５４　　レンズユニット
　　５５～５７　　調光素子
　　５８　　ミラー
　　５９　　撮像素子
　　６０　　遮光部材
　　６１～６４　　レンズユニット
　　６５、６７　　調光素子
　　６６、６８　　ミラー
　　６９、７０　　撮像素子
　　７１　　遮光部材
　　Ｓ１～Ｓ４　　各撮像ユニットの特性
　　ＳＴ１～ＳＴ１１　　ステップ

Claims (11)

  1. 　同一方向に光軸が揃えられた複数のレンズユニットおよび１個以上の撮像素子を備え、前記レンズユニット毎に前記撮像素子と組み合わせた撮像ユニットが構成され、各撮像ユニットは各々合焦温度が異なる撮像部と、
    　前記撮像ユニット毎に取得された画像の鮮鋭度を算出する画像処理部と、
    　前記鮮鋭度に基づいて利用画像を取得する撮像ユニットを選択する選択部と、
    　前記撮像部、前記画像処理部、および前記選択部を制御する制御部とを備えたことを特徴とする撮像装置。
  2. 　前記制御部は、前記画像処理部に対して利用画像取得中の撮像ユニットにより取得された画像の鮮鋭度を算出させ、利用画像の鮮鋭度が設定された閾値を下回った場合に、前記撮像部に対して複数の撮像ユニットに撮影を行わせ、前記画像処理部に対して前記撮像ユニット毎に取得された画像の鮮鋭度を算出させ、前記選択部に対して利用画像を取得する撮像ユニットを再選択させるものである
    　請求項１記載の撮像装置。
  3. 　前記制御部は、設定された時間毎に、前記撮像部に対して複数の撮像ユニットに撮影を行わせ、前記画像処理部に対して前記撮像ユニット毎に取得された画像の鮮鋭度を算出させ、前記選択部に対して利用画像を取得する撮像ユニットを再選択させるものである
    　請求項１記載の撮像装置。
  4. 　前記制御部は、利用画像を取得する撮像ユニットの再選択の際に、前記撮像部に対して、利用画像取得中の撮像ユニット、該利用画像取得中の撮像ユニットの合焦温度よりも高い範囲で最も近い合焦温度の撮像ユニット、および前記利用画像取得中の撮像ユニットの合焦温度よりも低い範囲で最も近い合焦温度の撮像ユニットで撮影を行わせ、前記画像処理部に対して、前記利用画像取得中の撮像ユニット、該利用画像取得中の撮像ユニットの合焦温度よりも高い範囲で最も近い合焦温度の撮像ユニット、および前記利用画像取得中の撮像ユニットの合焦温度よりも低い範囲で最も近い合焦温度の撮像ユニットにより取得された画像のみの鮮鋭度を算出させるものである
    　請求項２または３記載の撮像装置。
  5. 　前記選択部は、鮮鋭度が最も高い画像を取得した撮像ユニットを利用画像を取得する撮像ユニットとして選択するものである
    　請求項１から４のいずれか１項記載の撮像装置。
  6. 　前記撮像部は、各レンズユニットのレンズの最後端から前記撮像素子までの光軸上の距離が互いに異なる状態に構成されている
    　請求項１から５のいずれか１項記載の撮像装置。
  7. 　前記複数のレンズユニットのうち、２つ以上のレンズユニットのレンズ構成が同じである
    　請求項１から６のいずれか１項記載の撮像装置。
  8. 　前記複数のレンズユニットのうち、２つ以上のレンズユニットのレンズ構成が異なる
    　請求項１から７のいずれか１項記載の撮像装置。
  9. 　前記複数のレンズユニットのレンズの最先端が前記光軸と直交する同一平面にある
    　請求項１から８のいずれか１項記載の撮像装置。
  10. 　前記撮像部は、前記レンズユニット毎に個別の撮像素子が組み合わされている
    　請求項１から９のいずれか１項記載の撮像装置。
  11. 　前記撮像部は、複数の前記レンズユニットで１つの撮像素子を共用する
    　請求項１から９のいずれか１項記載の撮像装置。
PCT/JP2017/008745 2016-03-11 2017-03-06 撮像装置 WO2017154827A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018504473A JPWO2017154827A1 (ja) 2016-03-11 2017-03-06 撮像装置
CN201780016072.7A CN108780263A (zh) 2016-03-11 2017-03-06 摄像装置
US16/122,674 US10823935B2 (en) 2016-03-11 2018-09-05 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016048072 2016-03-11
JP2016-048072 2016-03-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/122,674 Continuation US10823935B2 (en) 2016-03-11 2018-09-05 Imaging device

Publications (1)

Publication Number Publication Date
WO2017154827A1 true WO2017154827A1 (ja) 2017-09-14

Family

ID=59790595

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/008745 WO2017154827A1 (ja) 2016-03-11 2017-03-06 撮像装置

Country Status (4)

Country Link
US (1) US10823935B2 (ja)
JP (1) JPWO2017154827A1 (ja)
CN (1) CN108780263A (ja)
WO (1) WO2017154827A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801288A (zh) * 2019-01-25 2019-05-24 淮阴师范学院 一种基于方向统计特性的图像聚焦测度实现方法
US11348206B2 (en) * 2019-10-02 2022-05-31 Pony Ai Inc. System and method for increasing sharpness of image
CN115327849B (zh) * 2022-09-05 2024-02-06 同济人工智能研究院(苏州)有限公司 一种全景镜头及气体监测设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH116951A (ja) * 1997-06-16 1999-01-12 Canon Inc レンズ装置または光学機器
JP2005109622A (ja) * 2003-09-29 2005-04-21 Minolta Co Ltd 多眼式撮像装置及び移動体通信端末
JP2005348319A (ja) * 2004-06-07 2005-12-15 Canon Inc 撮像記録装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
JP2003143459A (ja) 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP2004325603A (ja) 2003-04-22 2004-11-18 Kyocera Corp レンズモジュールおよびそれを用いたカメラ
JP2006217131A (ja) * 2005-02-02 2006-08-17 Matsushita Electric Ind Co Ltd 撮像装置
JP4673202B2 (ja) * 2005-12-06 2011-04-20 株式会社リコー 画像入力装置
JP4378434B2 (ja) * 2008-01-11 2009-12-09 パナソニック株式会社 複眼カメラモジュール
JP5522052B2 (ja) 2008-11-28 2014-06-18 住友電気工業株式会社 レンズユニット及び車載用赤外線レンズユニット
JP2010276752A (ja) 2009-05-27 2010-12-09 Kyocera Corp 広角レンズ
US20120176528A1 (en) * 2009-08-31 2012-07-12 Connaught Electronics Limited Method for determining the sharpness of a fixed-focus camera, test device for testing the sharpness of a fixed-focus camera, fixed-focus camera as well as method for assembling a fixed-focus camera
JP2012221103A (ja) * 2011-04-06 2012-11-12 Denso Corp 車両用画像処理装置
US8960860B2 (en) * 2011-04-27 2015-02-24 Hewlett-Packard Development Company, L.P. Printhead die
JP6057255B2 (ja) 2012-06-20 2017-01-11 国立研究開発法人産業技術総合研究所 反射型調光素子。
JP2016004152A (ja) * 2014-06-17 2016-01-12 コニカミノルタ株式会社 撮像装置および撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH116951A (ja) * 1997-06-16 1999-01-12 Canon Inc レンズ装置または光学機器
JP2005109622A (ja) * 2003-09-29 2005-04-21 Minolta Co Ltd 多眼式撮像装置及び移動体通信端末
JP2005348319A (ja) * 2004-06-07 2005-12-15 Canon Inc 撮像記録装置

Also Published As

Publication number Publication date
JPWO2017154827A1 (ja) 2019-02-14
US20190004284A1 (en) 2019-01-03
US10823935B2 (en) 2020-11-03
CN108780263A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
JP6363813B2 (ja) 撮像装置
US20220342178A1 (en) Focus adjustment apparatus, imaging apparatus and lens barrel
TWI495335B (zh) 取像模組及其運作方法
US7463342B2 (en) Optical tracking device using micromirror array lenses
US20180249065A1 (en) Focus adjustment device and imaging apparatus
EP2335404B1 (en) Dithered focus evaluation
KR20060122714A (ko) 촬상 모듈
RU2015156050A (ru) Устройство формирования изображения с широким полем обзора (fov) с возможностью активного наведения взора на цель
KR101841198B1 (ko) 비냉각 열화상카메라 6배율 연속줌 광학계
WO2017154827A1 (ja) 撮像装置
WO2006050430A2 (en) Optical tracking system using variable focal length lens
JP2010160312A (ja) 可視光・赤外光撮影用レンズアダプタ
KR101053983B1 (ko) 오토포커스 카메라 시스템 및 그 제어방법
JP2019102888A (ja) カメラモジュール
JP2005309072A (ja) 可視光・赤外光撮影用アダプター
JP2010102281A (ja) 可視光・赤外光撮影用レンズアダプタ
JP6167661B2 (ja) レンズ鏡筒及び焦点調節装置
JP5899735B2 (ja) 交換レンズ
KR101511226B1 (ko) 광학 렌즈 시스템 및 이의 활용.
JP5589424B2 (ja) 撮像装置及び撮像システム
JP6583355B2 (ja) レンズ鏡筒
KR101815106B1 (ko) 고반사 코팅 처리가 된 디지털 마이크로 미러 디바이스(Digital Micromirror Device)와 적외선 컷오프 코팅(IR Cut off coating)처리가 된 윈도우가 장착된 전자영상광학시스템
JP2019186847A (ja) 撮像装置及びその駆動方法
JP2006084693A (ja) レンズ装置
JP5545278B2 (ja) レンズアダプタおよびカメラボディ

Legal Events

Date Code Title Description
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2018504473

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17763167

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17763167

Country of ref document: EP

Kind code of ref document: A1