WO2018235709A1 - 測距カメラおよび測距方法 - Google Patents

測距カメラおよび測距方法 Download PDF

Info

Publication number
WO2018235709A1
WO2018235709A1 PCT/JP2018/022674 JP2018022674W WO2018235709A1 WO 2018235709 A1 WO2018235709 A1 WO 2018235709A1 JP 2018022674 W JP2018022674 W JP 2018022674W WO 2018235709 A1 WO2018235709 A1 WO 2018235709A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
distance
color
distance measuring
Prior art date
Application number
PCT/JP2018/022674
Other languages
English (en)
French (fr)
Inventor
覚 須藤
正人 江原
賢 安食
Original Assignee
ミツミ電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミツミ電機株式会社 filed Critical ミツミ電機株式会社
Publication of WO2018235709A1 publication Critical patent/WO2018235709A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present invention generally relates to a distance measuring camera and a distance measuring method for measuring the distance to an object, and more specifically, the amount of blurring of an object image in each of a plurality of color image signals acquired by an imaging device.
  • the present invention relates to a distance measuring camera and a distance measuring method for measuring a distance to an object based on a detected and detected amount of blur.
  • a distance measuring camera capable of acquiring an image of a subject and measuring a distance to the subject.
  • a stereo comprising two or more pairs of an optical system for imaging light from an object and an imaging device for converting an object image formed by the optical system into an image signal
  • Camera-based distance measuring camera for example, see Patent Document 1
  • a projector for irradiating a subject with light of a certain pattern (for example, a lattice pattern), and imaging a subject irradiated with light of a certain pattern
  • a distance-measuring camera of a DFD (Depth From Defocus) system for estimating the distance to the subject by analyzing the amount of blur of the subject image.
  • the stereo camera type distance measuring camera acquires a plurality of images having different parallaxes by using two or more pairs of an optical system and an imaging device, and calculates the distance to the subject based on the parallaxes of the acquired images. . Therefore, it is necessary to use two or more pairs of an optical system and an imaging device.
  • Providing a combination of two or more optical systems and an imaging device in one ranging camera causes problems such as complication of the configuration of the ranging camera, an increase in size, and an increase in cost.
  • it is necessary to obtain a large parallax so it is necessary to place two or more optical systems at a large distance apart in one ranging camera. . Also for this reason, the size of the distance measuring camera is increased.
  • the power consumption of the distance measuring camera is increased because two or more image sensors are used.
  • a subject In a pattern irradiation type distance measuring camera, a subject is irradiated with light of a certain pattern, and distortion of the certain pattern projected on the subject is analyzed to measure the distance to the subject. Therefore, in the case of the distance measuring camera of the pattern irradiation type, a projector for irradiating the light of the constant pattern to the subject is required, and the configuration of the distance measuring camera becomes large. Also, with a distance measuring camera using a pattern irradiation method, both the two-dimensional image of the subject in the state where the constant pattern is irradiated and the two-dimensional image of the subject in the state where the constant pattern is not irradiated are acquired by one shooting. I can not
  • the distance to the subject is calculated by analyzing the amount of blur included in one image of the subject.
  • Such measurement of the distance to the subject by the DFD method is susceptible to the noise contained in the image, and the stability of the accuracy of the distance measurement is low.
  • the optical path length of the light from the subject is changed using a prism or a half mirror, and further different blur amounts are calculated using a plurality of imaging elements. It is also performed to acquire a plurality of images.
  • a prism, a half mirror, and an additional imaging device need to be provided in the distance measuring camera, which causes problems such as complication of the configuration of the distance measuring camera, an increase in size, and an increase in cost.
  • the amount of light incident on one imaging device is reduced by the spectroscopy by the prism or the half mirror, the influence of noise becomes large, and the measurement accuracy of the distance to the subject is lowered.
  • the present invention has been made in view of the above-described conventional problems, and an object thereof is to provide a distance measuring camera and a distance measuring method capable of measuring a distance to an object by utilizing chromatic aberration of an optical system. It is in.
  • An optical system for imaging light from a subject An imaging device having a plurality of color filters, capturing an object image formed by the optical system, and acquiring a plurality of color image signals corresponding to each of the plurality of color filters; A blur detection unit that detects a blur amount of the subject image in each of the plurality of color image signals; A distance calculating unit for calculating the distance to the subject based on the blur amount of the subject image in each of the plurality of color image signals detected by the blur detection unit; camera.
  • the information processing apparatus further includes an association information storage unit that stores association information that associates the amount of blurring of the subject image in each of the plurality of color image signals with the distance from the optical system to the subject.
  • the distance calculation unit is configured to calculate the subject based on the blur amount of the subject image in each of the plurality of color image signals calculated by the blur detection unit, and the association information in the association information storage unit.
  • the ranging camera according to the above (1), which calculates the distance up to.
  • the plurality of color image signals include at least two of a red image signal, a green image signal, and a blue image signal
  • the plurality of color filters are the red image signal and the green image among the red color filter for the red image signal, the green color filter for the green image signal, and the blue color filter for the blue image signal.
  • the plurality of color filters further include a plurality of band pass filters that transmit only light of a specific wavelength band and substantially block light of other wavelength bands, The particular wavelength bands of each of the plurality of band pass filters are different from one another,
  • the distance measuring camera according to (3) wherein the plurality of color image signals include a plurality of band pass image signals obtained by light passing through each of the plurality of band pass filters.
  • the plurality of color filters further include at least one of an infrared color filter and an ultraviolet color filter
  • the blur detection unit extracts an edge portion of the subject image in each of the plurality of color image signals, and further, the edge portion of the subject image extracted in each of the plurality of color image signals To detect the amount of
  • the distance calculation unit calculates the distance to the edge portion of the subject based on the blur amount of the edge portion of the subject image in each of the plurality of color image signals detected by the blur detection unit.
  • the distance measuring camera according to any one of the above (1) to (5).
  • a three-dimensional image generation unit that generates a three-dimensional image of the subject based on the plurality of color image signals acquired by the imaging device and the distance to the subject measured by the distance calculation unit
  • the distance measuring camera according to any one of the above (1) to (6), further comprising:
  • a distance measuring method for measuring the distance to an object Imaging light from the subject using an optical system; Acquiring a plurality of color image signals of a formed subject image using an imaging element; Detecting a blur amount of the subject image in each of the plurality of color image signals using a processor; Calculating the distance to the subject based on the amount of blur of the subject image in each of the plurality of detected color image signals using the processor.
  • the distance measuring camera and distance measuring method of the present invention since the distance to the subject can be measured from the image of one subject obtained from the pair of optical systems and the image sensor, the combination of the optical system and the image sensor There is no need to use multiple pairs. Therefore, as compared with a stereo camera type ranging camera, downsizing of the ranging camera, reduction of power consumption, and cost reduction are possible. Further, in the distance measuring camera according to the present invention, unlike the distance measuring camera of the stereo camera system, an image having parallax is not used, and therefore, it is executed when generating a three-dimensional image in the distance measuring camera of the conventional stereo camera system. The fitting process for correcting the parallax is unnecessary. Therefore, processing time for generating a three-dimensional image can be shortened and power consumption can be reduced.
  • the distance measuring camera and the distance measuring method of the present invention unlike the distance measuring camera of the pattern irradiation type, it is not necessary to use a special light source such as a projector which irradiates light of a fixed pattern to the object. Therefore, the system of the distance measuring camera and the configuration for executing the distance measuring method can be simplified. Also, with a distance measurement camera using a pattern irradiation method, it is not possible to acquire both an image of an object in a state where a constant pattern is irradiated and an image of an object in a state where a constant pattern is not irradiated in one imaging.
  • the measurement of the distance to the subject and the acquisition of the image of the subject on which the constant pattern is not irradiated can not be performed in one imaging.
  • it is not necessary to irradiate a subject with a constant pattern so measurement of the distance to the subject and acquisition of an image of a subject without light with a constant pattern are performed once. Can be performed by
  • the distance measuring camera and the distance measuring method of the present invention unlike the DFD distance measuring camera, it is not necessary to use an optical component for changing the optical path length of light such as a prism or a half mirror. Therefore, the configuration of the ranging camera system and the system for executing the ranging method can be simplified. Further, in the distance measuring camera and the distance measuring method of the present invention, unlike the DFD distance measuring camera, information on a plurality of blur amounts is used to measure the distance to the subject. Therefore, the ranging camera and the ranging method of the present invention are less susceptible to the noise of the image of the subject as compared with the DFD ranging camera.
  • FIG. 1 is a block diagram schematically showing a distance measuring camera according to a first embodiment of the present invention.
  • FIG. 2 is a view schematically showing an example of use of the distance measuring camera shown in FIG.
  • FIG. 3 is a diagram for explaining the chromatic aberration of the optical system of the distance measuring camera shown in FIG.
  • FIG. 3A is a view for explaining the chromatic aberration of the optical system of the distance measuring camera shown in FIG. 1 when the subject is located at a long distance.
  • FIG. 3B is a view for explaining the chromatic aberration of the optical system of the distance measuring camera shown in FIG. 1 when the subject is located at an intermediate distance.
  • FIG. 3C is a diagram for explaining the chromatic aberration of the optical system of the distance measuring camera shown in FIG.
  • FIG. 4 is a diagram showing the characteristics of the color filter of the image sensor of the distance measuring camera shown in FIG.
  • FIG. 5 is a diagram for explaining edge portion extraction processing performed by the blur detection unit of the distance measuring camera shown in FIG.
  • FIG. 6 is a diagram for explaining the difference in the amount of blurring of the edge portion of the subject between a plurality of color image signals acquired by the imaging device of the distance measuring camera shown in FIG.
  • FIG. 7 is a diagram for describing association information that associates the amount of blur of a subject image in a plurality of color image signals with the distance to the subject.
  • FIG. 8 is a view showing a distance image representing the distance to the subject calculated by the distance calculation unit of the distance measuring camera shown in FIG. FIG.
  • FIG. 9 is a view showing a three-dimensional image generated by the three-dimensional image generation unit of the distance measuring camera shown in FIG.
  • FIG. 10 is a diagram showing the characteristics of the color filter of the imaging device of the distance measuring camera according to the second embodiment of the present invention.
  • FIG. 11 is a view for explaining the adjustment of the transmission wavelength band of the band pass filter used in the distance measuring camera according to the second embodiment of the present invention.
  • FIG. 12 is a flowchart showing the distance measuring method of the present invention.
  • FIG. 13 schematically shows an example of a distance measuring system.
  • FIG. 14 is a diagram schematically illustrating another example of the distance measurement system.
  • FIG. 1 is a block diagram schematically showing a distance measuring camera according to a first embodiment of the present invention.
  • FIG. 2 is a view schematically showing an example of use of the distance measuring camera shown in FIG.
  • FIG. 3 is a diagram for explaining the chromatic aberration of the optical system of the distance measuring camera shown in FIG.
  • FIG. 4 is a diagram showing the characteristics of the color filter of the image sensor of the distance measuring camera shown in FIG.
  • FIG. 5 is a diagram for explaining edge portion extraction processing performed by the blur detection unit of the distance measuring camera shown in FIG.
  • FIG. 6 is a diagram for explaining the difference in the amount of blurring of the edge portion of the subject between a plurality of color image signals acquired by the imaging device of the distance measuring camera shown in FIG.
  • FIG. 7 is a diagram for describing association information that associates the amount of blur of a subject image in a plurality of color image signals with the distance to the subject.
  • FIG. 8 is a view showing a distance image representing the distance to the subject calculated by the distance calculation unit of the distance measuring camera shown in FIG.
  • FIG. 9 is a view showing a three-dimensional image generated by the three-dimensional image generation unit of the distance measuring camera shown in FIG.
  • the distance measuring camera 1 shown in FIG. 1 includes a control unit 2 that controls the distance measuring camera 1, an optical system 3 that forms an image of light from an object, an autofocus function, a zoom function, and / or a shake correction function.
  • an imaging device 5 for capturing a subject image formed by the optical system 3 and acquiring a plurality of color image signals, and a plurality of color image signals
  • the blur detection unit 6 that detects the blur amount of the subject image in each, and association information that associates the blur amount of the subject image in each of the plurality of color image signals with the distance from the optical system 3 to the subject is stored.
  • a three-dimensional image generation unit 9 that generates a three-dimensional image of an object based on a plurality of color image signals and the distance to the object calculated by the distance calculation unit 8 and arbitrary information such as a liquid crystal panel To send and receive data among the components of the distance measuring camera 1 and the operation unit 11 for inputting an operation by the user, the communication unit 12 for executing communication with an external device, and And a data bus 13 for the purpose.
  • the distance measuring camera 1 of the present invention acquires a two-dimensional image of a subject (in the example of FIG. 2, a near object, an intermediate object and a distant object in the example of FIG. It is used to measure the distance to Hereinafter, each component of the ranging camera 1 will be described in detail.
  • the control unit 2 exchanges various data and various instructions with each component via the data bus 13 and executes control of the distance measuring camera 1.
  • the control unit 2 includes a processor for executing arithmetic processing and a memory for storing data, programs, modules, etc. necessary for controlling the distance measuring camera 1.
  • the processor of the control unit 2 Executes control of the distance measuring camera 1 by using data, programs, modules and the like stored in the memory. Further, the processor of the control unit 2 can provide desired functions by using each component of the distance measuring camera 1. For example, by using the blur detection unit 6, the processor of the control unit 2 can execute processing for detecting the amount of blur of the subject image in each of the plurality of color image signals.
  • the processor of the control unit 2 is, for example, one or more microprocessors, microcomputers, microcontrollers, digital signal processors (DSPs), central processing units (CPUs), memory control units (MCUs), image processing processing units (GPU)
  • DSPs digital signal processors
  • CPUs central processing units
  • MCUs memory control units
  • GPU image processing processing units
  • a computing unit that performs arithmetic operations such as signal operations based on computer readable instructions such as state machines, logic circuits, application specific integrated circuits (ASICs), or combinations thereof.
  • the processor of the control unit 2 is configured to fetch computer readable instructions (eg, data, programs, modules etc.) stored in the memory of the control unit 2 and to perform signal manipulation and control.
  • the memory of the control unit 2 may be a volatile storage medium (for example, RAM, SRAM, DRAM), a non-volatile storage medium (for example, ROM, EPROM, EEPROM, flash memory, hard disk, optical disk, CD-ROM, digital versatile disk ( A removable or non-removable computer readable medium comprising a DVD), a magnetic cassette, a magnetic tape, a magnetic disk), or a combination thereof.
  • a volatile storage medium for example, RAM, SRAM, DRAM
  • a non-volatile storage medium for example, ROM, EPROM, EEPROM, flash memory, hard disk, optical disk, CD-ROM, digital versatile disk ( A removable or non-removable computer readable medium comprising a DVD), a magnetic cassette, a magnetic tape, a magnetic disk), or a combination thereof.
  • the optical system 3 has a function of imaging light from a subject.
  • the optical system 3 includes optical elements such as one or more lenses and an aperture, condenses light incident from a subject, and forms a subject image on the imaging surface of the imaging element 5.
  • the optical system 3 optionally includes at least one of a focus lens for providing an auto focus function, a zoom lens for providing a zoom function, and a camera shake correction lens for providing a camera shake correction function. May be included. That is, the optical system 3 may be configured to provide only the function of forming an object image, and in addition to the function, it is configured to provide only the autofocus function as an additional function. In addition to the function, it may be configured to provide all of an auto focus function, a zoom function, and a shake correction function as additional functions.
  • the optical system 3 is configured to provide at least one of an autofocus function, a zoom function, and a camera shake correction function
  • the focus lens, the zoom lens, and / or the camera shake correction lens of the optical system 3 drive the optical system.
  • Drive control is performed by the unit 4.
  • the optical system 3 is configured to have large chromatic aberration unlike the optical system used in a general imaging camera.
  • An outline of the chromatic aberration of the optical system 3 is shown in FIG.
  • the focal length of the optical system 3 depends on the wavelength of light, the focal length for long wavelength light (for example, red light) is long, and the focal length for short wavelength light (for example, blue light) The distance will be shorter. Therefore, light having a long wavelength is focused at a position further away from the optical system 3, and light having a shorter wavelength is focused at a position closer to the optical system 3.
  • the focal length for long wavelength light for example, red light
  • the focal length for short wavelength light for example, blue light
  • the blur amount of light having a long wavelength is relatively large.
  • the amount of blurring of light that is large and short in wavelength is relatively small.
  • the mode of blurring of the image of the subject changes according to the distance from the optical system 3 to the subject.
  • the amount of blurring of light having a short wavelength blue light
  • light having an intermediate wavelength green light
  • the amount of blurring is the second largest
  • the amount of blurring of light having a long wavelength red light
  • the amount of blurring of light having an intermediate wavelength is the smallest, light having a long wavelength (red light) and light having a short wavelength ( The amount of blur of blue light) is larger than the amount of blur of light (green light) having an intermediate wavelength.
  • the amount of blurring of light having a short wavelength blue light
  • the amount of blurring of light having an intermediate wavelength green light
  • the amount of blurring of the small, long wavelength light red light
  • the distance to the subject can be calculated by analyzing the difference in the amount of blur among the colors of the subject image.
  • a general camera for imaging uses an optical system in which the chromatic aberration is minimized by combining a plurality of lenses, so the change in the difference in the amount of blurring between the colors of the subject image according to the distance to the subject as described above Is small.
  • the change in the amount of blurring of light of wavelengths of all visible light regions is substantially the same, and the amount of blurring between colors of the subject image according to the distance to the subject The change in the difference is small.
  • the optical system 3 used in the distance measuring camera 1 of the present invention is configured to have a large chromatic aberration as described above, the subject is analyzed by analyzing the difference in the amount of blur between each color of the subject image. The distance to the point can be accurately calculated.
  • the optical system drive unit 4 has a function to realize an auto focus function, a zoom function and / or a camera shake correction function by driving the focus lens, the zoom lens and / or the camera shake correction lens of the optical system 3.
  • the optical system drive unit 4 adjusts the focus of the optical system 3 by moving the focus lens of the optical system 3 in the optical axis direction, for example, and moves the zoom lens of the optical system 3 in the optical axis direction.
  • the magnification of 3 is adjusted, and the camera shake is corrected by moving the optical system 3 shake correction lens in a direction perpendicular to the optical axis direction.
  • the optical system drive unit 4 is not particularly limited as long as it can drive the focus lens, zoom lens and / or camera shake correction lens of the optical system 3, but is configured by an actuator such as a DC motor, stepping motor, voice coil motor, etc. be able to.
  • the image pickup device 5 has a plurality of color filters arranged in a fixed pattern such as a Bayer pattern or a honeycomb pattern on the image pickup surface, and picks up an object image formed on the image pickup surface by the optical system 3 Thus, it has a function of acquiring a plurality of color image signals corresponding to each of the plurality of color filters.
  • the plurality of color filters included in the imaging device 5 include a red color filter for red image signal, a green color filter for green image signal, and a blue color filter for blue image signal as shown in FIG. It is a primary color filter of the Bayer arrangement including, and a plurality of color image signals (red image signal, green image signal, blue image signal) constituting a color two-dimensional image of the subject by the imaging device 5 capturing a subject image. You can get
  • the plurality of color filters included in the imaging device 5 are not particularly limited as long as they can acquire a plurality of color image signals for forming a color two-dimensional image of the subject.
  • a color filter for cyan image signals It may be a Bayer-arranged complementary color filter including a C filter, a color filter for magenta image signal (M filter), and a color filter for yellow image signal (Y filter).
  • the plurality of color filters included in the imaging device 5 are a combination of a plurality of color filters constituting a primary color filter, a plurality of color filters constituting a complementary color filter, and at least two other arbitrary color filters. It may be for example, the plurality of color filters may be any two of the primary color filters, or any two of the complementary color filters, or one of the primary color filters. Or a combination of one or more optional color filters and one or more optional color filters among complementary color filters.
  • the plurality of color filters may include an optional additional color filter such as a white (W) filter, an infrared filter, an ultraviolet filter, etc. .
  • the above-mentioned optional additional color filters are arranged in a predetermined pattern (for example, a Bayer pattern) of a plurality of color filters.
  • the plurality of color filters may include an IR (infrared) cut filter, an ultraviolet cut filter, or the like disposed on the front surface or the back surface of the above-described primary color filter or complementary color filter.
  • the difference in the amount of blurring between the colors largely changes according to the distance from the subject to the distance measuring camera 1 (optical system 3). Therefore, the amount of blurring of the subject image in at least two of a plurality of color image signals (in the present embodiment, a red image signal, a green image signal, and a blue image signal) acquired by imaging the subject image by the imaging device 5
  • a plurality of color image signals in the present embodiment, a red image signal, a green image signal, and a blue image signal
  • an arbitrary object for example, a close object, an intermediate object, and a distant object
  • an arbitrary color image signal for example, a green image signal
  • the autofocusing by the optical system drive unit 4 may be performed such that any one of the above becomes the best focus.
  • the increase in the amount of blurring of the subject image due to defocusing becomes gentler as the amount of defocusing increases. Therefore, if the defocus amount is too large, the change in the difference in the amount of blurring between the colors of the subject image according to the distance from the subject to the distance measuring camera 1 (optical system 3) becomes small, and each color of the subject image It becomes difficult to calculate the distance to the subject based on the amount of blur of.
  • the optical system drive unit 4 causes any subject to be in best focus in any color image signal. It is preferable to perform autofocus. As a result, it is possible to sufficiently increase the change in the difference in the amount of blur among the colors of the subject image according to the distance from the subject to the distance measuring camera 1 (optical system 3).
  • the zoom on the subject by the unit 4 may be performed. Thereby, the blur amount of each color of the subject image can be accurately detected.
  • the blur detection unit 6 determines the blur amount of the subject image in each of a plurality of color image signals (in the present embodiment, a red image signal, a green image signal, and a blue image signal) acquired by the imaging device 5. It has a function to detect.
  • a plurality of color image signals in the present embodiment, a red image signal, a green image signal, and a blue image signal
  • the blur detection unit 6 performs filter processing such as Canny on each of the plurality of color image signals acquired by the imaging device 5, and the blur detection unit 6 detects each of the plurality of color image signals. Extract the edge part of the subject. Thereafter, the blur detection unit 6 detects an edge portion of the corresponding subject image, that is, an edge portion of the subject image at the same position, in each of the plurality of color image signals acquired by the imaging device 5. Further, the blur detection unit 6 detects the blur amount of the edge portion of the subject image at the same position detected in each of the plurality of color image signals.
  • filter processing such as Canny
  • the optical system 3 used in the distance measuring camera 1 of the present invention has a large chromatic aberration, the amount of blurring of the edge portion of the object image in each of the plurality of color image signals is largely different. ing.
  • the blur amount (the degree of rounding of the edge part) of the edge part of the subject is the smallest in the red image signal and the second smallest in the green image signal. Largest in signal.
  • the amount of blurring of the edge portion of the subject is the smallest for the green image signal, and is approximately the same for the red image signal and the blue image signal.
  • the blur amount of the edge portion of the subject is the smallest in the blue image signal, the second smallest in the green image signal, and the largest in the red image signal.
  • the edge portion of the subject image in each of the plurality of color image signals can be regarded as a line spread function (LSF)
  • LSF line spread function
  • the edge portion of the subject image in each of the plurality of color image signals is By differentiating in the direction in which the edge portion is formed (the direction perpendicular to the edge portion), it is possible to obtain a one-dimensional point spread function (PSF) in each color image signal.
  • PSF point spread function
  • the blur detection unit 6 may execute the detection of the blur amount for all of the edge portions of the extracted subject image, or may perform the detection of the blur amount for only some of the edge portions. Good.
  • the associated information storage unit 7 is any non-volatile information for storing association information that relates the blur amount of the subject image in each of the plurality of color image signals to the distance from the optical system 3 to the subject. Recording media (eg, hard disk, flash memory).
  • the association information stored in the association information storage unit 7 includes the amount of blurring of the object image in each of the plurality of color image signals created in advance based on the chromatic aberration characteristic of the optical system 3 and the optical system 3. It is information associating the distance to the subject.
  • the amount of blurring of the subject image in each of the plurality of color image signals changes in accordance with the distance from the optical system 3 (the distance measuring camera 1) to the subject.
  • the blur amount of the subject image in each of the plurality of color image signals is calculated for each main wavelength of each color filter as follows.
  • EFL a at the time of focus adjustment of the optical system 3 serving as a reference is calculated using the following equation (1).
  • f ( ⁇ ref ) is the focal length of the optical system 3 with respect to light of wavelength ⁇ ref used as a reference (for example, green light of wavelength 527.039 nm), and L a is up to the subject at the time of focus adjustment Distance (unique reference value).
  • the EFL a calculated by the above equation (1) is not only for calculating the blur amount for the green image signal corresponding to the light of the wavelength used as the reference (in the above example, green light), but also red It is also used to calculate the amount of blurring for the image signal and the amount of blurring for the blue image signal. That is, the same value of EFL a is used in all calculations of the blur amount for the green image signal, the blur amount for the red image signal, and the blur amount for the blue image signal.
  • f ( ⁇ ) is the wavelength ⁇ of the highest light transmittance of each color filter (in the case of a green color filter, the wavelength of green light, in the case of a red color filter, the wavelength of red light, blue If it is a color filter, it is the focal length of the optical system 3 with respect to the wavelength of blue light, and Lm is the distance (arbitrary fluctuation value) from the optical system 3 (ranging camera 1) to the subject.
  • EFL m ( ⁇ ) calculated here is calculated for each color image signal, and EFL m ( ⁇ ) for each different color (ie, EFL m (R) for red image signal, for green image signal EFL m (G) and EFL m (B) for the blue image signal are obtained.
  • F NO is the F number of the optical system 3.
  • An amount Bk (R) and a blur amount Bk (B) of the subject image for the blue image signal are calculated.
  • the blur amounts Bk (R), Bk (G), and Bk (B) calculated here are color image signals corresponding to the light of the wavelength ⁇ ref used when calculating EFL a at the time of focus adjustment (upper In the example of (1), it is a relative blur amount based on the blur amount of the subject at the best focus in the green image signal), and changes according to the distance to the subject.
  • the blur amount Bk (R) of the subject image for the red image signal, the blur amount Bk (G) of the subject image for the green image signal, and the subject image for the blue image signal are calculated in this way.
  • the blur amount Bk (B), 1 example of the distance L m to the object is shown.
  • Association information is created by associating the) and the distance to the subject.
  • the format of the association information is not particularly limited, for example, the association information can be configured in a table format in which the distance to the subject and the blur amount of the subject image in each of the plurality of color image signals are associated.
  • the association information is a table (for example, the distance to the subject is 1 m) which uniquely associates the distance to an arbitrary subject with the blur amount Bk (.lambda.) Of the subject image in each of the plurality of color image signals. It includes a plurality of tables, such as a table for 1.5 m. Such association information is stored in the association information storage unit 7 at the time of manufacture or shipment of the distance measuring camera 1.
  • the amount of blurring of the subject image in each of the plurality of color image signals calculated by the blurring detection unit 6 and the object in each of the plurality of color image signals of the associated information stored in the associated information storage unit 7 By checking the amount of blurring of the image, it is possible to calculate the distance to the subject.
  • the distance calculation unit 8 has a function of calculating the distance to the subject based on the amount of blur of the subject image in each of the plurality of color image signals detected by the blur detection unit 6. More specifically, the distance calculation unit 8 determines the amount of blur of the edge portion of the subject image in each of the plurality of color image signals calculated by the blur detection unit 6 and the associated information in the associated information storage unit 7. The distance to the edge portion of the subject is calculated (specified) by checking the amount of blurring of the subject image in each of the plurality of color image signals.
  • the distance calculation unit 8 calculates the distance to the subject based on the amount of blurring of the subject image of all color image signals (that is, three types of red image signal, green image signal, and blue image signal). However, the distance to the subject can be calculated based on the blur amount of the subject image of at least two of the plurality of color image signals.
  • the distance to the subject When calculating the distance to the subject based on the amount of blur of the subject image of at least two color image signals, based on the amount of blur of the subject image of the red image signal and the blue image signal acquired by the light having a large wavelength difference, It is preferable to calculate the distance to the subject.
  • the distance calculation unit 8 may calculate the distance for all the edge parts of the subject, or may calculate the distance for only some of the edge parts.
  • the distance calculation unit 8 generates a distance image of the subject as shown in FIG. 8 based on the calculated distance to the subject.
  • the three-dimensional image generator 9 is based on the two-dimensional image of the subject including the distance to the subject calculated by the distance calculator 8 and the plurality of color image signals acquired by the imaging device 5. As shown in FIG. 9, it has a function of generating a three-dimensional image of a subject.
  • the “three-dimensional image of the subject” referred to herein means data in which the calculated distance of the subject is associated with the pixel of the color two-dimensional image of the normal subject.
  • the calculated distance of the subject may be associated with all the pixels of the two-dimensional image of the subject, or the calculation is performed only for part of the pixels of the two-dimensional image of the subject.
  • the distance of the subject may be associated.
  • the calculated distance of the subject may be associated only with the edge portion of the two-dimensional image of the subject.
  • the display unit 10 is a panel type display unit such as a liquid crystal display unit, and the two-dimensional image of the subject acquired by the imaging device 5 in accordance with a signal from the processor of the control unit 2.
  • a distance image of the subject, an image such as a three-dimensional image of the subject generated by the three-dimensional image generator 9, information for operating the distance measuring camera 1, etc. are displayed on the display 10 in the form of characters or images. .
  • the operation unit 11 is used by the user of the distance measuring camera 1 to execute an operation.
  • the operation unit 11 is not particularly limited as long as the user of the distance measuring camera 1 can execute the operation.
  • a mouse, a keyboard, a ten key, a button, a dial, a lever, a touch panel, etc. can be used as the operation unit 11 .
  • the operation unit 11 transmits, to the processor of the control unit 2, a signal corresponding to the operation of the user of the distance measurement camera 1.
  • the communication unit 12 has a function of inputting data to the distance measuring camera 1 or outputting data from the distance measuring camera 1 to an external device.
  • the communication unit 12 may be connected to a network such as the Internet. In this case, by using the communication unit 12, the distance measuring camera 1 can communicate with an external device such as a web server or a data server provided outside.
  • the plurality of color filters include a primary color filter including a red color filter, a green color filter, and a blue color filter, but the present invention is not limited to this.
  • the distance calculation unit 8 can calculate the distance to the subject based on the amount of blurring of the subject image of at least two color image signals (preferably, red image signal and blue image signal). Therefore, in order for the distance measuring camera 1 of the present embodiment to calculate the distance to the subject, the imaging device 5 includes at least two of the red color filter, the green color filter, and the blue color filter as a plurality of color filters. And preferably at least a red color filter and a blue color filter.
  • the imaging device 5 includes only two of the red color filter, the green color filter, and the blue color filter, preferably, the two color filters, the red color filter and the blue color filter, Within the scope of the present invention.
  • the plurality of color image signals include two types of color image signals corresponding to the two types of color filters.
  • FIG. 10 is a diagram showing the characteristics of the color filter of the imaging device of the distance measuring camera according to the second embodiment of the present invention.
  • FIG. 11 is a view for explaining the adjustment of the transmission wavelength band of the band pass filter used in the distance measuring camera according to the second embodiment of the present invention.
  • the distance measuring camera 1 of the second embodiment will be described focusing on differences from the distance measuring camera 1 of the first embodiment, and the description of the same matters will be omitted.
  • the plurality of color filters of the imaging device 5 further include a plurality of band pass filters, and the plurality of color image signals acquired by the imaging device 5 are a plurality of band pass image signals. Except that the distance measuring camera 1 is the same as the distance measuring camera 1 of the first embodiment.
  • the imaging device 5 of the distance measuring camera 1 is a primary color composed of a red color filter, a green color filter, and a blue color filter as in the first embodiment.
  • band pass filters for red, green and blue are further included. Therefore, in addition to the red image signal, the green image signal, and the blue image signal similar to the first embodiment, the plurality of color image signals acquired by the imaging device 5 of the present embodiment are each of a plurality of band pass filters. And a plurality of band pass image signals (a red band pass image signal, a green band pass image signal, and a blue band pass image signal) obtained by light passing therethrough.
  • the band pass filter referred to herein means a color filter that transmits only light of a specific wavelength band and substantially blocks light of other wavelength bands. As shown in FIG. 10, the specific wavelength bands (transmission wavelength bands) of the red, green and blue band pass filters are different from each other and do not overlap.
  • Each of the plurality of band pass filters may be incorporated in a predetermined pattern such as a Bayer pattern of a primary color filter, or may be provided on the front or rear surface of a part of the primary color filter.
  • a band pass filter for red is provided on the front or back of a portion of the red color filter
  • a band pass filter for green is provided on the front or back of a portion of the green color filter
  • a band pass filter for blue may be provided on a front surface or a rear surface of a part of the blue color filter.
  • the imaging device 5 further includes three types of band pass filters for red, green and blue in addition to the primary color filter, but the present invention is not limited to this.
  • the imaging device 5 may further include at least two band pass filters in addition to the primary color filter.
  • a primary color filter used in a general imaging camera has a wide transmission wavelength band. Therefore, for example, light passing through a red color filter for a red image signal is mixed light including not only red light but also green light and blue light.
  • the amount of blur theoretically calculated for each light of each wavelength is calculated on the premise that the light is monochromatic light or substantially monochromatic light. Therefore, the actual amount of blur of the subject in the color image signal obtained by imaging the mixed color light passing through the primary color filter is different from the theoretical amount of blur calculated for each wavelength of light. Such a difference between the actual blur amount and the theoretical blur amount causes the accuracy of calculation of the distance to the subject to be reduced.
  • a plurality of color image signals (red image signal, green image signal, and blue image signal) obtained by light having passed through the primary color filter is configured as a two-dimensional image signal of the subject.
  • a band pass image signal obtained by light passing through at least two types of band pass filters is used.
  • the distance calculation unit 8 of the distance measuring camera 1 can calculate the distance to the subject with higher accuracy based on at least two band pass image signals.
  • the blur amount of the subject image of the red band pass image signal and the blue band pass image signal having a large wavelength difference is calculated. It is preferable to calculate the distance to the subject.
  • the transmission wavelength band of each band pass filter may be adjusted to increase the difference in the amount of blurring of the subject image due to the chromatic aberration between each band pass image signal.
  • the transmission wavelength band of the red band pass filter is shifted to the long wavelength side in order to increase the difference in the amount of blurring of the subject image in the red band pass image signal and the blue band pass image signal.
  • the transmission wavelength band of the band pass filter for this is shifted to the short wavelength side.
  • the plurality of color filters used in the present embodiment include primary color filters corresponding to the visible light wavelength region and band pass filters corresponding to the respective colors of the primary color filters, the present invention is not limited thereto.
  • the plurality of color filters may be color filters and / or band pass filters corresponding to invisible light regions such as infrared wavelength bands and ultraviolet wavelength bands (eg, infrared color filters and infrared band pass filters, and / or ultraviolet light And a band pass filter for ultraviolet light).
  • an embodiment in which the plurality of color filters include a primary color filter and a color filter and / or a band pass filter corresponding to an invisible light region such as an infrared wavelength band or an ultraviolet wavelength band is also within the scope of the present invention. It is inside.
  • a color image signal for example, an infrared image signal, an ultraviolet image signal, an infrared band pass image, an ultraviolet band pass image
  • a color filter or a band pass filter corresponding to invisible light
  • the distance measuring camera 1 is based on the blur amount of the subject image of at least two band pass image signals (preferably, a red band pass image signal and a blue band pass image signal).
  • the distance to the subject can be calculated. Therefore, in order for the distance measuring camera 1 of the present embodiment to calculate the distance to the subject, the imaging device 5 includes at least two types of band pass filters (preferably red band pass filters and a plurality of color filters) as a plurality of color filters. It is sufficient to have a blue band pass filter).
  • An embodiment in which the imaging device 5 includes only two types of band pass filters, preferably two types of band pass filters such as a red band pass filter and a blue band pass filter is also within the scope of the present invention. is there.
  • the plurality of color filters include a primary color filter including a red color filter, a green color filter, and a blue color filter, but the present invention is not limited thereto. It is not limited.
  • the imaging device 5 does not have a primary color filter and has at least two infrared color filters (or infrared band pass filters) having different sensitivities in the infrared region as a plurality of color filters. It is also good.
  • the imaging device 5 is a custom imaging device in which at least two color filters having different sensitivities in the infrared region are mounted on the imaging surface.
  • the distance measuring camera 1 using such an imaging device 5 has at least two colors obtained by light passing through at least two infrared color filters (or infrared band pass filters) having different sensitivities in the infrared region.
  • the image signal (for example, the first infrared image signal and the second infrared image signal) is used to calculate the distance to the subject. Thereby, even in a dark place or night where the amount of visible light is extremely small, the distance to the subject can be measured using the distance measuring camera 1.
  • the distance measuring camera 1 can calculate the distance to the subject based on the amount of blur of the subject image in each of the plurality of color image signals.
  • the distance measuring camera 1 can measure the distance to the subject only with the image of one subject acquired from the pair of optical systems 3 and the imaging device 5, the combination of the optical system and the imaging device There is no need to use multiple pairs. Therefore, the ranging camera 1 can be downsized, reduced in power consumption, and reduced in cost as compared with a stereo camera type ranging camera. Further, unlike the distance measuring camera of the stereo camera system, the distance measuring camera 1 does not use an image having parallax, so the parallax executed when generating a three-dimensional image with the conventional distance measuring camera of the stereo camera system There is no need for a fitting process to correct the Therefore, processing time for generating a three-dimensional image can be shortened and power consumption can be reduced.
  • the distance measuring camera 1 does not need to use a special light source such as a projector which irradiates a subject with a predetermined pattern. Therefore, the system configuration of the distance measuring camera 1 can be simplified. Also, with a distance measurement camera using a pattern irradiation method, it is not possible to acquire both an image of an object in a state where a constant pattern is irradiated and an image of an object in a state where a constant pattern is not irradiated in one imaging. The measurement of the distance to the subject and the acquisition of the image of the subject on which the constant pattern is not irradiated can not be performed in one imaging.
  • the distance measuring camera 1 it is not necessary to irradiate the subject with a constant pattern, so measurement of the distance to the subject and acquisition of an image of the subject without light with a constant pattern can be performed at one time. It can be done.
  • the distance measuring camera 1 does not need to use an optical component such as a prism or a half mirror for changing the optical path length of light. Therefore, the system configuration of the distance measuring camera 1 can be simplified. Further, unlike the distance measuring camera of the DFD method, the distance measuring camera 1 uses information on the amount of blur of the object obtained from a plurality of color image signals in order to measure the distance to the object. Therefore, in comparison with a DFD distance measuring camera which estimates the distance to the object based on the information on the amount of blur of the object obtained from one image, the distance measuring camera 1 is affected by the noise of the image of the object. It is hard to receive.
  • FIG. 12 is a flowchart showing the distance measuring method of the present invention.
  • the distance measuring method of the present invention can be implemented using any device having the same function as the above-described distance measuring camera 1 of the present invention and the distance measuring camera 1 of the present invention. It will be described as being performed using the ranging camera 1.
  • a distance measuring method S100 shown in FIG. 12 is started by the user of the distance measuring camera 1 using the operation unit 11 to execute an operation for measuring the distance to the subject.
  • step S110 the auto-focusing by the optical system drive unit 4 is performed such that an arbitrary subject in an arbitrary color image signal (for example, a green image signal) has the best focus.
  • an arbitrary subject in an arbitrary color image signal for example, a green image signal
  • the zoom by the unit 4 is performed. If the optical system 3 of the distance measuring camera 1 is not configured to provide an autofocus function or a zoom function, the process S110 is omitted.
  • step S120 the imaging device 5 captures a subject image formed on the imaging surface by the optical system 3 to obtain a plurality of color images corresponding to the plurality of color filters of the imaging device 5. Get a signal.
  • the optical system 3 is configured to provide a shake correction function
  • the shake correction by the optical system drive unit 4 may be performed. As a result, it is possible to prevent that the amount of blurring of the subject image due to the chromatic aberration of the optical system 3 in each of the plurality of color image signals can not be accurately detected due to the blurring of the subject image caused by camera shake.
  • step S130 the blur detection unit 6 detects the amount of blur of the subject image in each of the plurality of color image signals. More specifically, the blur detection unit 6 first performs filter processing such as Canny on each of the plurality of color image signals acquired by the imaging device 5, and the subject in each of the plurality of color image signals Extract the edge part of Next, the blur detection unit 6 detects an edge portion of the subject image corresponding to each other in each of the plurality of color image signals, that is, an edge portion of the subject image at the same position, and further detects the same at the same position detected. The blur amount of the edge portion of a certain subject image is detected.
  • filter processing such as Canny
  • step S130 the detection of the blur amount of the edge portion of the subject in step S130 may be performed on all of the edge portions of the extracted subject, or performed on only a part of the edge portion of the extracted subject It may be done.
  • step S140 the distance calculation unit 8 calculates the distance to the subject based on the blur amount of the subject image in each of the plurality of color image signals detected by the blur detection unit 6. More specifically, the distance calculation unit 8 determines the amount of blur of the edge portion of the object image in each of the plurality of color image signals detected by the blur detection unit 6 and the associated information in the associated information storage unit 7. The distance to the edge portion of the subject is calculated by comparing the amount of blurring of the subject image in each of the plurality of color image signals.
  • step S140 the process proceeds to step S150.
  • step S150 the three-dimensional image generation unit 9 calculates the distance to the subject calculated by the distance calculation unit 8 and the two-dimensional image of the subject including the plurality of color image signals acquired by the imaging device 5 Generate a three-dimensional image of the subject. Thereafter, the two-dimensional image of the subject, the distance image of the subject, and / or the three-dimensional image of the subject generated in the steps up to here are displayed on the display unit 10 or transmitted by the communication unit 12 to an external device The distance method S100 ends.
  • each component of the present invention can be replaced with any component capable of performing the same function, or any component can be added to each component of the present invention.
  • each component of the distance measuring camera 1 may be realized as hardware, software, or a combination thereof.
  • the number and type of steps of the distance measuring method S100 shown in FIG. 12 are merely examples for the purpose of explanation, and the present invention is not necessarily limited thereto. It is also within the scope of the present invention that an optional step is added or combined for any purpose or an optional step is omitted without departing from the principle and the intention of the present invention.
  • the distance measuring method S100 of the present invention has been described as being executed by the distance measuring camera 1.
  • the distance measuring method S100 of the present invention and the distance measuring method S100 of the present invention have similar effects
  • the ranging method can also be performed by a ranging system as shown in FIGS. 13 and 14.
  • FIG. 13 schematically shows an example of a distance measuring system.
  • FIG. 14 is a diagram schematically illustrating another example of the distance measurement system.
  • the distance measuring system shown in FIG. 13 includes a plurality of projectors for irradiating different monochromatic light to the subject, and a distance measuring camera for imaging the subject in a state where the monochromatic light is irradiated by each of the plurality of projectors. It is done.
  • the plurality of projectors are a red light projector for irradiating the subject with red monochromatic light, a green light projector for irradiating the subject with green monochromatic light, and a subject for the blue monochromatic light. And a blue light projector for irradiating the light.
  • the distance measuring camera picks up an optical system having a large chromatic aberration similar to the optical system 3 of the distance measuring camera 1 of the present invention, and an object image formed by the optical system to obtain a two-dimensional image of the object.
  • the image sensor of The imaging device does not have a color filter, and the two-dimensional image of the subject acquired by the imaging device is a black and white image.
  • the red image signal, the green image signal, and the blue image signal are individually acquired by imaging the subject by synchronizing the irradiation timing of each of the plurality of projectors with the imaging timing of the imaging device of the distance measuring camera.
  • Ru Specifically, a red image signal can be obtained by imaging a subject in a state in which only the red light projector is activated, and by imaging a subject in a state in which only the green light projector is activated.
  • the green image signal can be acquired, and the blue image signal can be acquired by imaging the subject while only the blue light projector is activated.
  • the distance to the subject can be calculated by analyzing the blur amount of the subject image in each of the plurality of color image signals acquired as described above by the same method as the distance measuring camera 1 of the present invention .
  • the distance measurement system shown in FIG. 14 is configured of a spectral prism for spectrally separating light from a subject, and a plurality of image pickup devices for imaging light from the subject spectrally separated by the spectral prism.
  • the spectroscopic prism and the plurality of imaging elements are provided in a distance measuring camera provided with an optical system having a large chromatic aberration similar to the optical system 3 of the distance measuring camera 1 of the present invention.
  • the light from the subject is split into red light, green light, and blue light by the spectral prism, and on the optical path of each light split, an imaging element for each color (red light imaging element, green light imaging element, And an imaging element for blue light).
  • Each of the plurality of imaging devices used in the present illumination system does not have a color filter, and the two-dimensional image of the subject acquired by this imaging device is a black and white image.
  • the light from the subject is dispersed by the spectral prism, all light incident on the imaging device for each color is monochromatic light. That is, the light incident on the red light imaging element is red light, the light incident on the green light imaging element is green light, and the light incident on the blue light imaging element is blue light.
  • Different color image signals (a red image signal, a green image signal, and a blue image signal) are obtained respectively from the imaging elements for the respective colors.
  • the distance to the subject can be calculated by analyzing the blur amount of the subject image in each of the plurality of color image signals acquired as described above by the same method as the distance measuring camera 1 of the present invention .
  • the application example of the distance measuring camera 1 and the distance measuring method S100 according to the present invention is not particularly limited.
  • the distance measuring camera 1 and the distance measuring camera 1 may be used to obtain a three-dimensional image of the subject A ranging method S100 can be used.
  • the distance measuring camera 1 and the distance measuring method S100 of the present invention can be used in a handler robot used for assembly and inspection of a precision instrument.
  • the ranging camera 1 and the ranging method S100 when assembling a precision instrument, the distance from the handler robot body or the arm of the handler robot to the precision instrument or parts of the precision instrument can be measured.
  • the component can be gripped accurately by the grip portion of the
  • the ranging camera 1 and the ranging method S100 of the present invention since the distance to the subject can be measured, three-dimensional information of the subject can be acquired. Such three-dimensional information of a subject can be used for producing a three-dimensional structure by a 3D printer.
  • the distance measuring camera 1 of the present invention in an automobile, the distance from the automobile to any object such as a pedestrian or an obstacle can be measured.
  • the calculated information on the distance to any object can be used for an automatic braking system of an automobile or automatic driving.
  • the distance measuring camera and distance measuring method of the present invention since the distance to the subject can be measured from the image of one subject obtained from the pair of optical systems and the image sensor, the combination of the optical system and the image sensor There is no need to use multiple pairs. Therefore, as compared with a stereo camera type ranging camera, downsizing of the ranging camera, reduction of power consumption, and cost reduction are possible. Further, in the distance measuring camera according to the present invention, unlike the distance measuring camera of the stereo camera system, an image having parallax is not used, and therefore, it is executed when generating a three-dimensional image in the distance measuring camera of the conventional stereo camera system. The fitting process for correcting the parallax is unnecessary. Therefore, processing time for generating a three-dimensional image can be shortened and power consumption can be reduced. Thus, the present invention has industrial applicability.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

測距カメラ１は、被写体からの光を結像する光学系３と、複数のカラーフィルターを有し、光学系３により結像された被写体像を撮像し、複数のカラーフィルターのそれぞれに対応する複数の色画像信号を取得する撮像素子５と、複数の色画像信号のそれぞれにおける被写体像のボケ量を検出するボケ検出部６と、ボケ検出部６によって検出された複数の色画像信号のそれぞれにおける被写体像のボケ量に基づいて、被写体までの距離を算出する距離算出部８と、を備える。

Description

測距カメラおよび測距方法
　本発明は、一般に、被写体までの距離を測定するための測距カメラおよび測距方法に関し、より具体的には、撮像素子によって取得された複数の色画像信号のそれぞれにおける被写体像のボケ量を検出し、検出したボケ量に基づいて、被写体までの距離を測定する測距カメラおよび測距方法に関する。
　近年、被写体の画像を取得することができるとともに、被写体までの距離を測定することができる測距カメラが提案されている。このような測距カメラとしては、被写体からの光を結像するための光学系と、該光学系によって結像された被写体像を画像信号に変換するための撮像素子とを２対以上備えるステレオカメラ方式の測距カメラ（例えば、特許文献１参照）や、被写体に対して一定パターン（例えば、格子パターン）の光を照射するためのプロジェクターと、一定パターンの光が照射された被写体を撮像するための撮像系とを備えるパターン照射式の測距カメラや被写体像のボケ量を解析することにより、被写体までの距離を推定するＤＦＤ（Ｄｅｐｔｈ　Ｆｒｏｍ　Ｄｅｆｏｃｕｓ）方式の測距カメラ（例えば、特許文献２）等が知られている。
　ステレオカメラ方式の測距カメラでは、光学系と撮像素子の組み合わせを２対以上用いることにより、異なる視差を有する複数の画像を取得し、取得した画像の視差に基づいて被写体までの距離を算出する。そのため、光学系と撮像素子の組み合わせを２対以上用いることが必要となる。２対以上の光学系と撮像素子の組み合わせを１つの測距カメラ内に設けることは、測距カメラの構成の複雑化、サイズの増大、コストの増加等の問題を引き起こす。また、被写体までの距離を正確に算出するためには、大きな視差を取得する必要があるため、１つの測距カメラ内において、２つ以上の光学系をそれぞれ大きく離間して配置する必要がある。このような理由によっても、測距カメラのサイズが増大してしまう。また、２つ以上の撮像素子を用いるため、測距カメラの消費電力が増大してしまう。
　また、２つ以上の撮像素子が取得した画像間には視差が存在するため、算出した被写体までの距離と、２つ以上の撮像素子が取得した２次元画像とに基づいて、被写体の３次元画像を生成するためには、画像間の視差を補正するためのフィッティング処理が必要となる。このようなフィッティング処理によって、処理時間の増大、消費電力量の増加といった問題が発生する。
　パターン照射方式の測距カメラでは、被写体に対して一定パターンの光を照射し、被写体に投影された一定パターンの歪みを解析することにより被写体までの距離を測定している。そのため、パターン照射方式の測距カメラでは、被写体に対して一定パターンの光を照射するためのプロジェクターが必要となり、測距カメラの構成が大規模になってしまう。また、パターン照射方式の測距カメラでは、一定パターンが照射された状態の被写体の２次元画像と一定パターンが照射されていない状態の被写体の２次元画像の双方を１度の撮影により取得することができない。
　ＤＦＤ方式の測距カメラでは、被写体の１枚の画像に含まれるボケ量を解析することで被写体までの距離を算出している。このようなＤＦＤ方式による被写体までの距離の測定は、画像に含まれるノイズの影響を受けやすく、距離測定の精度の安定性が低い。また、ＤＦＤ方式による被写体までの距離の測定精度を高めるために、プリズムやハーフミラーを用いて被写体からの光の光路長を変更し、さらに、複数の撮像素子を用いて、それぞれ異なるボケ量を有する複数の画像を取得することも行われている。しかしながら、この場合、プリズム、ハーフミラー、および追加の撮像素子を測距カメラ内に設ける必要があり、測距カメラの構成の複雑化、サイズの増大、コストの増加等の問題を引き起こす。また、プリズムやハーフミラーによる分光により、１つの撮像素子に入射される光の量が減少してしまうため、ノイズの影響が大きくなり、被写体までの距離の測定精度が低下してしまう。
特開２０１３－１９０３９４号公報 特開平７－２０９５７６号公報
　本発明は、上記従来の問題点を鑑みたものであり、その目的は、光学系の色収差を利用することにより被写体までの距離を測定することができる測距カメラおよび測距方法を提供することにある。
　このような目的は、以下の（１）～（８）の本発明により達成される。
　（１）被写体からの光を結像する光学系と、
　複数のカラーフィルターを有し、前記光学系により結像された被写体像を撮像し、前記複数のカラーフィルターのそれぞれに対応する複数の色画像信号を取得する撮像素子と、
　前記複数の色画像信号のそれぞれにおける前記被写体像のボケ量を検出するボケ検出部と、
　前記ボケ検出部によって検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量に基づいて、前記被写体までの距離を算出する距離算出部と、を備えることを特徴とする測距カメラ。
　（２）前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量と、前記光学系から前記被写体までの距離とを関連付ける関連付情報を記憶している関連付情報記憶部をさらに備え、
　前記距離算出部は、前記ボケ検出部によって算出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量と、前記関連付情報記憶部内の前記関連付情報とに基づいて、前記被写体までの前記距離を算出する上記（１）に記載の測距カメラ。
　（３）前記複数の色画像信号は、赤色画像信号と、緑色画像信号と、青色画像信号との少なくとも２つを含み、
　前記複数のカラーフィルターは、前記赤色画像信号用の赤色カラーフィルターと、前記緑色画像信号用の緑色カラーフィルターと、前記青色画像信号用の青色カラーフィルターとのうち、前記赤色画像信号、前記緑色画像信号、および前記青色画像信号の前記少なくとも２つに対応する少なくとも２つを含む上記（１）または（２）に記載の測距カメラ。
　（４）前記複数のカラーフィルターは、特定の波長帯の光のみを透過させ、それ以外の波長帯の光を実質的に遮断する複数のバンドパスフィルターをさらに含み、
　前記複数のバンドパスフィルターのそれぞれの前記特定の波長帯は、互いに異なっており、
　前記複数の色画像信号は、前記複数のバンドパスフィルターのそれぞれを通過する光によって得られた複数のバンドパス画像信号を含む上記（３）に記載の測距カメラ。
　（５）　前記複数のカラーフィルターは、赤外線用カラーフィルターまたは紫外線用カラーフィルターの少なくとも一方をさらに含み、
　前記複数の色画像信号は、赤外線画像信号と紫外線画像信号の少なくとも一方をさらに含む上記（３）または（４）に記載の測距カメラ。
　（６）前記ボケ検出部は、前記複数の色画像信号のそれぞれにおいて、前記被写体像のエッジ部を抽出し、さらに、前記複数の色画像信号のそれぞれにおいて抽出された前記被写体像の前記エッジ部のボケ量を検出し、
　前記距離算出部は、前記ボケ検出部によって検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記エッジ部の前記ボケ量に基づいて、前記被写体の前記エッジ部までの距離を算出する上記（１）ないし（５）のいずれかに記載の測距カメラ。
　（７）前記撮像素子が取得した前記複数の色画像信号と、前記距離算出部によって測定された前記被写体までの前記距離とに基づいて、前記被写体の３次元画像を生成する３次元画像生成部をさらに備える上記（１）ないし（６）のいずれかに記載の測距カメラ。
　（８）被写体までの距離を測定するための測距方法であって、
　光学系を用いて、前記被写体からの光を結像する工程と、
　撮像素子を用いて、結像された被写体像の複数の色画像信号を取得する工程と、
　プロセッサーを用いて、前記複数の色画像信号のそれぞれにおける前記被写体像のボケ量を検出する工程と、
　前記プロセッサーを用いて、検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量に基づいて、前記被写体までの距離を算出する工程と、を備えることを特徴とする測距方法。
　本発明の測距カメラおよび測距方法では、１対の光学系と撮像素子から取得した１枚の被写体の画像から、被写体までの距離を測定することができるため、光学系と撮像素子の組み合わせを複数対用いる必要がない。そのため、ステレオカメラ方式の測距カメラと比較して、測距カメラの小型化、低消費電力化、および低コスト化が可能である。また、本発明の測距カメラでは、ステレオカメラ方式の測距カメラとは異なり、視差のある画像を用いないので、従来のステレオカメラ方式の測距カメラにおいて３次元画像を生成する際に実行される視差を修正するためのフィッティング処理が不要である。そのため、３次元画像を生成するための処理時間の短縮、および、消費電力の削減が可能である。
　また、本発明の測距カメラおよび測距方法では、パターン照射方式の測距カメラと異なり、一定パターンの光を被写体に照射するプロジェクター等の特殊な光源を用いる必要がない。そのため、測距カメラのシステム、および、測距方法を実行するための構成をシンプルにすることができる。また、パターン照射方式の測距カメラでは、１度の撮像で、一定パターンが照射された状態の被写体の画像と一定パターンが照射されていない状態の被写体の画像の双方を取得することができないため、被写体までの距離の測定と、一定パターンが照射されていない被写体の画像の取得を１度の撮像で実行することはできない。一方、本発明の測距カメラおよび測距方法では、一定パターンを被写体に照射する必要がないため、被写体までの距離の測定と、一定パターンが照射されていない被写体の画像の取得とを１度の撮像で実行することができる。
　また、本発明の測距カメラおよび測距方法では、ＤＦＤ方式の測距カメラと異なり、プリズムやハーフミラー等の光の光路長を変えるための光学部品を用いる必要がない。そのため、測距カメラのシステム、および、測距方法を実行するためのシステムの構成をシンプルにすることができる。また、本発明の測距カメラおよび測距方法では、ＤＦＤ方式の測距カメラと異なり、複数のボケ量に関する情報を被写体までの距離を測定するために用いている。そのため、ＤＦＤ方式の測距カメラと比較して、本発明の測距カメラおよび測距方法は、被写体の画像のノイズの影響を受けにくい。
図１は、本発明の第１実施形態に係る測距カメラを概略的に示すブロック図である。 図２は、図１に示す測距カメラの使用例を概略的に示す図である。 図３は、図１に示す測距カメラの光学系の色収差を説明するための図である。図３（ａ）は、被写体が遠距離に位置する場合の図１に示す測距カメラの光学系の色収差を説明するための図である。図３（ｂ）は、被写体が中距離に位置する場合の図１に示す測距カメラの光学系の色収差を説明するための図である。図３（ｃ）は、被写体が近距離に位置する場合の図１に示す測距カメラの光学系の色収差を説明するための図である。 図４は、図１に示す測距カメラの撮像素子が有するカラーフィルターの特性を示す図である。 図５は、図１に示す測距カメラのボケ検出部によって実行されるエッジ部抽出処理を説明するための図である。 図６は、図１に示す測距カメラの撮像素子によって取得された複数の色画像信号間の被写体のエッジ部のボケ量の差を説明するための図である。 図７は、複数の色画像信号における被写体像のボケ量と、被写体までの距離とを関連付ける関連付情報を説明するための図である。 図８は、図１に示す測距カメラの距離算出部によって算出された被写体までの距離を表す距離画像を示す図である。 図９は、図１に示す測距カメラの３次元画像生成部によって生成される３次元画像を示す図である。 図１０は、本発明の第２実施形態に係る測距カメラの撮像素子が有するカラーフィルターの特性を示す図である。 図１１は、本発明の第２実施形態に係る測距カメラにおいて用いられるバンドパスフィルターの透過波長帯の調整を説明するための図である。 図１２は、本発明の測距方法を示すフローチャートである。 図１３は、測距システムの１例を概略的に示す図である。 図１４は、測距システムの別の例を概略的に示す図である。
　以下、本発明の測距カメラおよび測距方法を添付図面に示す好適な実施形態に基づいて説明する。
　＜第１実施形態＞
　最初に図１～図９を参照して、本発明の第１実施形態に係る測距カメラの構成を詳述する。
　図１は、本発明の第１実施形態に係る測距カメラを概略的に示すブロック図である。図２は、図１に示す測距カメラの使用例を概略的に示す図である。図３は、図１に示す測距カメラの光学系の色収差を説明するための図である。図４は、図１に示す測距カメラの撮像素子が有するカラーフィルターの特性を示す図である。図５は、図１に示す測距カメラのボケ検出部によって実行されるエッジ部抽出処理を説明するための図である。図６は、図１に示す測距カメラの撮像素子によって取得された複数の色画像信号間の被写体のエッジ部のボケ量の差を説明するための図である。図７は、複数の色画像信号における被写体像のボケ量と、被写体までの距離とを関連付ける関連付情報を説明するための図である。図８は、図１に示す測距カメラの距離算出部によって算出された被写体までの距離を表す距離画像を示す図である。図９は、図１に示す測距カメラの３次元画像生成部によって生成される３次元画像を示す図である。
　図１に示す測距カメラ１は、測距カメラ１の制御を行う制御部２と、被写体からの光を結像する光学系３と、オートフォーカス機能、ズーム機能、および／または手振れ補正機能を実現するために光学系３を駆動する光学系駆動部４と、光学系３により結像された被写体像を撮像し、複数の色画像信号を取得する撮像素子５と、複数の色画像信号のそれぞれにおける被写体像のボケ量を検出するボケ検出部６と、複数の色画像信号のそれぞれにおける被写体像のボケ量と、光学系３から被写体までの距離とを関連付ける関連付情報を記憶している関連付情報記憶部７と、ボケ検出部６によって検出された複数の色画像信号のそれぞれにおける被写体像のボケ量に基づいて、被写体までの距離を算出する距離算出部８と、撮像素子５が取得した複数の色画像信号と、距離算出部８によって算出された被写体までの距離とに基づいて、被写体の３次元画像を生成する３次元画像生成部９と、液晶パネル等の任意の情報を表示するための表示部１０と、使用者による操作を入力するための操作部１１と、外部デバイスとの通信を実行するための通信部１２と、測距カメラ１の各コンポーネント間のデータの授受を実行するためのデータバス１３とを備えている。
　図２に示すように、本発明の測距カメラ１は、被写体（図２の例では、近接物体、中間物体、および遠方物体）の２次元画像を取得するとともに、測距カメラ１から各被写体までの距離を測定するために用いられる。以下、測距カメラ１の各コンポーネントについて詳述する。
　制御部２は、データバス１３を介して、各コンポーネントとの間の各種データや各種指示の授受を行い、測距カメラ１の制御を実行する。制御部２は、演算処理を実行するためのプロセッサーと、測距カメラ１の制御を行うために必要なデータ、プログラム、モジュール等を保存しているメモリーとを備えており、制御部２のプロセッサーは、メモリー内に保存されているデータ、プログラム、モジュール等を用いることにより、測距カメラ１の制御を実行する。また、制御部２のプロセッサーは、測距カメラ１の各コンポーネントを用いることにより、所望の機能を提供することができる。例えば、制御部２のプロセッサーは、ボケ検出部６を用いることにより、複数の色画像信号のそれぞれにおける被写体像のボケ量を検出するための処理を実行することができる。
　制御部２のプロセッサーは、例えば、１つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー（ＤＳＰ）、中央演算処理装置（ＣＰＵ）、メモリーコントロールユニット（ＭＣＵ）、画像処理用演算処理装置（ＧＰＵ）、状態機械、論理回路、特定用途向け集積回路（ＡＳＩＣ）、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、制御部２のプロセッサーは、制御部２のメモリー内に保存されているコンピューター可読命令（例えば、データ、プログラム、モジュール等）をフェッチし、信号操作および制御を実行するよう構成されている。
　制御部２のメモリーは、揮発性記憶媒体（例えば、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ）、不揮発性記憶媒体（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、ハードディスク、光ディスク、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、磁気カセット、磁気テープ、磁気ディスク）、またはこれらの組み合わせを含む着脱式または非着脱式のコンピューター可読媒体である。
　光学系３は、被写体からの光を結像する機能を有する。光学系３は、１つ以上のレンズや絞り等の光学素子から構成され、被写体から入射してくる光を集光し、撮像素子５の撮像面上に被写体像を形成する。また、光学系３は、任意選択的に、オートフォーカス機能を提供するためのフォーカスレンズ、ズーム機能を提供するためのズームレンズ、および手振れ補正機能を提供するための手振れ補正レンズの少なくとも１つを含んでいてもよい。すなわち、光学系３は、被写体像を結像する機能のみを提供するよう構成されていてもよいし、該機能に加えて、追加的な機能として、オートフォーカス機能のみを提供するよう構成されていてもよく、該機能に加えて、追加的な機能として、オートフォーカス機能、ズーム機能、および手振れ補正機能の全てを提供するよう構成されていてもよい。光学系３が、オートフォーカス機能、ズーム機能、および手振れ補正機能の少なくとも１つを提供するよう構成されている場合、光学系３のフォーカスレンズ、ズームレンズおよび／または手振れ補正レンズは、光学系駆動部４によって駆動制御される。
　本発明の測距カメラ１において、光学系３は、一般的な撮像用のカメラにおいて用いられる光学系と異なり、大きな色収差を有するよう構成されている。図３には、光学系３の色収差の概要が示されている。
　光学系３の焦点距離は、光の波長に依存するので、波長の長い光（例えば、赤色光）に対しての焦点距離は長く、波長の短い光（例えば、青色光）に対しての焦点距離は短くなる。そのため、波長の長い光は、光学系３からより離間した位置で焦点を結び、波長の短い光は、光学系３により近い位置で焦点を結ぶ。
　図３に示すように、被写体が点光源であり、かつ、撮像素子５の撮像面の位置が固定であると仮定すると、被写体が遠距離に位置する場合（図３（ａ）参照）、光学系３によって撮像素子５の撮像面上に結像される点像においては、波長の長い光のボケ量が比較的小さく、波長の短い光のボケ量が比較的大きくなる。また、被写体が中距離に位置する場合（図３（ｂ）参照）、光学系３によって撮像素子５の撮像面上に結像される点像においては、波長が中間程度の光（例えば、緑色光）のボケ量が比較的少なく、波長の長い光および波長の短い光のボケ量が比較的大きくなる。また、被写体が近距離に位置する場合（図３（ｃ）参照）、光学系３によって撮像素子５の撮像面上に結像される点像においては、波長の長い光のボケ量が比較的大きく、波長の短い光のボケ量が比較的小さくなる。
　そのため、図３に示すように、光学系３から被写体までの距離に応じて、被写体の像（図３中では点像）のボケの様態が変化する。図３に示す例では、被写体が遠距離に位置する場合（図３（ａ）参照）、波長の短い光（青色光）のボケ量が最も大きく、波長が中間程度の光（緑色光）のボケ量が次に大きく、波長の長い光（赤色光）のボケ量が最も小さくなる。また、被写体が中距離に位置する場合（図３（ｂ）参照）、波長が中間程度の光（緑色光）のボケ量が最も小さく、波長が長い光（赤色光）と波長が短い光（青色光）のボケ量が、波長が中間程度の光（緑色光）のボケ量よりも大きくなっている。また、被写体が近距離に位置する場合（図３（ｃ）参照）、波長の短い光（青色光）のボケ量が最も小さく、波長が中間程度の光（緑色光）のボケ量が次に小さく、波長の長い光（赤色光）のボケ量が最も大きくなっている。
　このように、比較的大きな色収差を有する光学系３を用いた場合、光学系３から被写体までの距離に応じて、結像される被写体像のボケの様態が大きく変化する。したがって、このような被写体像の各色間のボケ量の差を解析することにより、被写体までの距離を算出することが可能となる。
　一般的な撮像用のカメラでは、複数のレンズの組み合わせにより色収差を極力小さくした光学系を用いることから、上述のような被写体までの距離に応じた被写体像の各色間のボケ量の差の変化は小さい。換言すれば、一般的な撮像用のカメラでは、全ての可視光領域の波長の光のボケ量の変化がほぼ同一となっており、被写体までの距離に応じた被写体像の各色間のボケ量の差の変化が小さい。
　このように光学系の色収差を極力小さくすることは、撮像される被写体の画像の画質を向上させるためには必要であるが、一方、被写体までの距離に応じた被写体像の各色間のボケ量の差の変化が小さくなるため、色収差が小さい光学系を用いて取得された被写体の画像は、被写体までの距離を測定する用途には不向きである。
　一方、本発明の測距カメラ１において用いられる光学系３は、上述のように、大きな色収差を有するよう構成されているので、被写体像の各色間のボケ量の差を解析することにより、被写体までの距離を正確に算出することができる。
　図１に戻り、光学系駆動部４は、光学系３のフォーカスレンズ、ズームレンズおよび／または手振れ補正レンズを駆動させることにより、オートフォーカス機能、ズーム機能および／または手振れ補正機能を実現する機能を有している。光学系駆動部４は、例えば、光学系３のフォーカスレンズを光軸方向に移動させることにより光学系３のフォーカスを調整し、光学系３のズームレンズを光軸方向に移動させることにより光学系３の倍率を調整し、光学系３の手振れ補正レンズを光軸方向に対して垂直な方向に移動させることにより手振れを補正する。光学系駆動部４は、光学系３のフォーカスレンズ、ズームレンズおよび／または手振れ補正レンズを駆動させることができれば特に限定されないが、例えば、ＤＣモーター、ステッピングモーター、ボイスコイルモーター等のアクチュエーターにより構成することができる。
　撮像素子５は、その撮像面にベイヤーパターンやハニカムパターン等の一定パターンで配列された複数のカラーフィルターを有しており、光学系３によって撮像面上に結像された被写体像を撮像することにより、複数のカラーフィルターのそれぞれに対応する複数の色画像信号を取得する機能を有している。本実施形態では、撮像素子５が有する複数のカラーフィルターは、図４に示すような赤色画像信号用の赤色カラーフィルター、緑色画像信号用の緑色カラーフィルター、および青色画像信号用の青色カラーフィルターを含むベイヤー配列の原色系カラーフィルターであり、撮像素子５が被写体像を撮像することにより、被写体のカラー２次元画像を構成する複数の色画像信号（赤色画像信号、緑色画像信号、青色画像信号）を取得することができる。
　なお、撮像素子５が有する複数のカラーフィルターは、被写体のカラー２次元画像を構成するための複数の色画像信号を取得することができれば特に限定されず、例えば、シアン画像信号用のカラーフィルター（Ｃフィルター）、マゼンダ画像信号用のカラーフィルター（Ｍフィルター）、およびイエロー画像信号用のカラーフィルター（Ｙフィルター）を含むベイヤー配列の補色系カラーフィルターであってもよい。
　また、撮像素子５が有する複数のカラーフィルターは、原色系カラーフィルターを構成する複数のカラーフィルター、補色系カラーフィルターを構成する複数のカラーフィルター、およびその他任意のカラーフィルターのうちの少なくとも２つの組み合わせであってもよい。例えば、複数のカラーフィルターは、原色系カラーフィルターのうちの任意の２つであってもよいし、補色系カラーフィルターのうちの任意の２つであってもよいし、原色系カラーフィルターのうちの１つ以上の任意のカラーフィルターと、補色系カラーフィルターのうちの１つ以上の任意のカラーフィルターとの組み合わせであってもよい。
　また、複数のカラーフィルターは、上述の原色系カラーフィルターや補色系カラーフィルターに加えて、ホワイト（Ｗ）フィルターや、赤外線フィルター、紫外線フィルター、等の任意追加的なカラーフィルターを含んでいてもよい。この場合、複数のカラーフィルターの一定パターン（例えば、ベイヤーパターン）内に、上述の任意追加的なカラーフィルターが配置される。また、複数のカラーフィルターは、上述の原色系カラーフィルターや補色系カラーフィルターの前面または後面に配置されたＩＲ（赤外線）カットフィルターや紫外線カットフィルター等を含んでいてもよい。
　前述のように、光学系３によって結像される被写体像においては、被写体から測距カメラ１（光学系３）までの距離に応じて、各色間のボケ量の差が大きく変化する。そのため、撮像素子５が被写体像を撮像することにより取得される複数の色画像信号（本実施形態では、赤色画像信号、緑色画像信号、および青色画像信号）の少なくとも２つにおける被写体像のボケ量を解析することにより、被写体から測距カメラ１（光学系３）までの距離を算出することができる。
　なお、撮像素子５が光学系３によって結像された被写体像を撮像する前に、任意の色画像信号（例えば、緑色画像信号）における任意の被写体（例えば、近接物体、中間物体、および遠方物体のいずれか１つ）がベストフォーカスとなるように光学系駆動部４によるオートフォーカスが実行されてもよい。一般に、デフォーカスによる被写体像のボケ量の増加は、デフォーカス量が大きくなればなるほど緩やかになる。そのため、デフォーカス量が大きすぎると、被写体から測距カメラ１（光学系３）までの距離に応じた、被写体像の各色間のボケ量の差の変化が小さくなってしまい、被写体像の各色のボケ量に基づいて被写体までの距離を算出することが困難となってしまう。このような理由により、撮像素子５が光学系３によって結像された被写体像を撮像する前に、いずれかの色画像信号において、任意の被写体がベストフォーカスとなるように光学系駆動部４によるオートフォーカスを実行することが好ましい。これにより、被写体から測距カメラ１（光学系３）までの距離に応じた、被写体像の各色間のボケ量の差の変化を十分に大きくすることができる。
　また、撮像素子５の撮像面において光学系３によって結像された被写体像が占める割合が小さく（すなわち、被写体像が小さいとき）、被写体像のボケ量を正確に検出できない場合は、光学系駆動部４による被写体に対するズームが実行されてもよい。これにより、被写体像の各色のボケ量を正確に検出することができる。
　図１に戻り、ボケ検出部６は、撮像素子５が取得した複数の色画像信号（本実施形態では、赤色画像信号、緑色画像信号、および青色画像信号）のそれぞれにおける被写体像のボケ量を検出する機能を有している。
　最初に、ボケ検出部６は、図５に示すように、撮像素子５が取得した複数の色画像信号のそれぞれに対して、Ｃａｎｎｙのようなフィルター処理を施し、複数の色画像信号のそれぞれにおける被写体のエッジ部を抽出する。その後、ボケ検出部６は、撮像素子５が取得した複数の色画像信号のそれぞれにおいて、互いに対応する被写体像のエッジ部、すなわち、同じ位置にある被写体像のエッジ部を検出する。さらに、ボケ検出部６は、複数の色画像信号のそれぞれにおいて、検出された同じ位置にある被写体像のエッジ部のボケ量を検出する。
　前述のように、本発明の測距カメラ１において用いられる光学系３は、大きな色収差を有しているので、複数の色画像信号のそれぞれにおける被写体像のエッジ部のボケ量は、それぞれ大きく異なっている。
　図６に示すように、被写体が遠方物体である場合には、被写体のエッジ部のボケ量（エッジ部のなまり度合）は、赤色画像信号で最も小さく、緑色画像信号で次に小さく、青色画像信号で最も大きい。また、被写体が中間物体である場合には、被写体のエッジ部のボケ量は、緑色画像信号で最も小さく、赤色画像信号および青色画像信号で同程度となっている。また、被写体が近接物体である場合には、被写体のエッジ部のボケ量は、青色画像信号で最も小さく、緑色画像信号で次に小さく、赤色画像信号で最も大きい。
　このような複数の色画像信号のそれぞれにおける被写体像のエッジ部は、線像分布関数（ＬＳＦ：Line Spread Function）とみなすことができるので、複数の色画像信号のそれぞれにおける被写体像のエッジ部を、エッジ部が形成されている方向（エッジ部に対して垂直な方向）に微分することにより、各色画像信号における１次元の点像分布関数（ＰＳＦ：Point Spread Function）を取得することができる。この点像分布関数の半値全幅等の広がりを取得することにより、複数の色画像信号のそれぞれにおける被写体像のボケ量を検出することができる。
　なお、ボケ検出部６は、抽出した被写体像のエッジ部の全てに対してボケ量の検出を実行してもよいし、一部のエッジ部のみに対してボケ量の検出を実行してもよい。
　図１に戻り、関連付情報記憶部７は、複数の色画像信号のそれぞれにおける被写体像のボケ量と、光学系３から被写体までの距離とを関連付ける関連付情報を記憶するための任意の不揮発性記録媒体（例えば、ハードディスク、フラッシュメモリー）である。関連付情報記憶部７に保存されている関連付情報は、光学系３の色収差特性に基づいて事前に作成された、複数の色画像信号のそれぞれにおける被写体像のボケ量と、光学系３から被写体までの距離とを関連付ける情報である。
　複数の色画像信号のそれぞれにおける被写体像のボケ量は、光学系３（測距カメラ１）から被写体までの距離に応じて変化する。複数の色画像信号のそれぞれにおける被写体像のボケ量は、以下のように、各カラーフィルターの主たる波長毎に算出される。
　最初に、下記式（１）を用いて、基準となる光学系３のフォーカス調整時のＥＦＬａが算出される。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｆ（λｒｅｆ）は、基準として用いる波長λｒｅｆの光（例えば、波長５２７．０３９ｎｍの緑色の光）に対する光学系３の焦点距離であり、Ｌａは、フォーカス調整時の被写体までの距離（一意の基準値）である。
　なお、上記式（１）によって算出されたＥＦＬａは、基準として用いた波長の光（上の例では、緑色の光）に対応する緑色画像信号用のボケ量算出のためだけでなく、赤色画像信号用のボケ量および青色画像信号用のボケ量の算出のためにも用いられる。すなわち、緑色画像信号用のボケ量、赤色画像信号用のボケ量、および青色画像信号用のボケ量の算出の全てにおいて、同じ値のＥＦＬａが用いられる。
　次に、下記式（２）を用いて、任意の距離に位置する被写体に対してのＥＦＬｍ（λ）が算出される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｆ（λ）は、各カラーフィルターの最も光の透過率の高い波長λ（緑色カラーフィルターであれば、緑色の光の波長、赤色カラーフィルターであれば、赤色の光の波長、青色カラーフィルターであれば、青色の光の波長）に対する光学系３の焦点距離であり、Ｌｍは、光学系３（測距カメラ１）から被写体までの距離（任意の変動値）である。なお、ここで算出されるＥＦＬｍ（λ）は、各色画像信号用に算出され、互いに異なる各色用のＥＦＬｍ（λ）（すなわち、赤色画像信号用のＥＦＬｍ（Ｒ）、緑色画像信号用のＥＦＬｍ（Ｇ）、および青色画像信号用のＥＦＬｍ（Ｂ））が取得される。
　算出されたＥＦＬｍ（λ）とＥＦＬａとの差ΔＥＦＬ＝ＥＦＬｍ（λ）－ＥＦＬａから、下記式（３）によって、光学系３（測距カメラ１）から被写体までの距離に応じて変化する、各色画像信号用の被写体像のボケ量Ｂｋ（λ）が算出される。
Figure JPOXMLDOC01-appb-M000003
　ここで、ＦＮＯは、光学系３のＦナンバーである。
　このような手順により、光学系３（測距カメラ１）から被写体までの距離に応じて変化する、緑色画像信号用の被写体像のボケ量Ｂｋ（Ｇ）、赤色画像信号用の被写体像のボケ量Ｂｋ（Ｒ）、および青色画像信号用の被写体像のボケ量Ｂｋ（Ｂ）が算出される。ここで算出されるボケ量Ｂｋ（Ｒ）、Ｂｋ（Ｇ）、およびＢｋ（Ｂ）は、フォーカス調整時のＥＦＬａを算出する際に用いた波長λｒｅｆの光に対応する色画像信号（上の例では、緑色画像信号）におけるベストピント時の被写体のボケ量を基準とした相対的なボケ量であって、被写体までの距離に応じて変化する。
　図７には、このようにして算出された赤色画像信号用の被写体像のボケ量Ｂｋ（Ｒ）、緑色画像信号用の被写体像のボケ量Ｂｋ（Ｇ）および青色画像信号用の被写体像のボケ量Ｂｋ（Ｂ）と、被写体までの距離Ｌｍの１例が示されている。
　このようにして算出された赤色画像信号用の被写体像のボケ量Ｂｋ（Ｒ）、緑色画像信号用の被写体像のボケ量Ｂｋ（Ｇ）および青色画像信号用の被写体像のボケ量Ｂｋ（Ｂ）と被写体までの距離と関連付けることにより関連付情報が作成される。関連付情報の形式は特に限定されないが、例えば、被写体までの距離と、複数の色画像信号のそれぞれにおける被写体像のボケ量とを関連付けたテーブル形式で関連付情報を構成することができる。この場合、関連付情報は、任意の被写体までの距離と、複数の色画像信号のそれぞれにおける被写体像のボケ量Ｂｋ（λ）とを一意に関連付けたテーブル（例えば、被写体までの距離が１ｍのときのテーブル、１．５ｍのときのテーブル等）を複数含む。このような関連付情報は、測距カメラ１の製造時または出荷時に、関連付情報記憶部７内に記憶される。
　これにより、ボケ検出部６が算出した複数の色画像信号のそれぞれにおける被写体像のボケ量と、関連付情報記憶部７内に保存されている関連付情報の複数の色画像信号のそれぞれにおける被写体像のボケ量とを照合することにより、被写体までの距離を算出することが可能となる。
　図１に戻り、距離算出部８は、ボケ検出部６によって検出された複数の色画像信号のそれぞれにおける被写体像のボケ量に基づいて、被写体までの距離を算出する機能を有する。より具体的には、距離算出部８は、ボケ検出部６によって算出された複数の色画像信号のそれぞれにおける被写体像のエッジ部のボケ量と、関連付情報記憶部７内の関連付情報の複数の色画像信号のそれぞれにおける被写体像のボケ量とを照合することにより、被写体のエッジ部までの距離を算出（特定）する。
　なお、距離算出部８は、全ての色画像信号（すなわち、赤色画像信号、緑色画像信号、および青色画像信号の３種類）の被写体像のボケ量に基づいて、被写体までの距離を算出してもよいが、複数の色画像信号のうちの少なくとも２つの色画像信号の被写体像のボケ量に基づいて、被写体までの距離を算出することができる。
　少なくとも２つの色画像信号の被写体像のボケ量に基づいて被写体までの距離を算出する場合、波長差の大きい光によって取得された赤色画像信号と青色画像信号の被写体像のボケ量に基づいて、被写体までの距離を算出することが好ましい。
　このような被写体までの距離の算出は、被写体のエッジ部毎に実行される。距離算出部８は、被写体の全てのエッジ部に対して距離の算出を実行してもよいし、一部のエッジ部に対してのみ距離の算出を実行してもよい。距離算出部８は、算出した被写体までの距離に基づいて、図８に示すような被写体の距離画像を生成する。
　図１に戻り、３次元画像生成部９は、距離算出部８によって算出された被写体までの距離と、撮像素子５が取得した複数の色画像信号から構成される被写体の２次元画像に基づいて、図９に示すように、被写体の３次元画像を生成する機能を有している。ここで言う「被写体の３次元画像」とは、通常の被写体のカラー２次元画像のピクセルに対して、算出された被写体の距離が関連付けられているデータを意味する。
　なお、被写体の３次元画像においては、被写体の２次元画像の全てのピクセルに、算出された被写体の距離が関連付けられていてもよいし、被写体の２次元画像の一部のピクセルだけに、算出された被写体の距離が関連付けられていてもよい。例えば、被写体の２次元画像のエッジ部にのみ、算出された被写体の距離が関連付けられていてもよい。
　表示部１０は、液晶表示部等のパネル型表示部であり、制御部２のプロセッサーからの信号に応じて、撮像素子５によって取得された被写体の２次元画像、距離算出部８によって生成された被写体の距離画像、３次元画像生成部９によって生成された被写体の３次元画像のような画像、測距カメラ１を操作するための情報等が文字または画像の様態で表示部１０に表示される。
　操作部１１は、測距カメラ１の使用者が操作を実行するために用いられる。操作部１１は、測距カメラ１の使用者が操作を実行することができれば特に限定されず、例えば、マウス、キーボード、テンキー、ボタン、ダイヤル、レバー、タッチパネル等を操作部１１として用いることができる。操作部１１は、測距カメラ１の使用者による操作に応じた信号を制御部２のプロセッサーに送信する。
　通信部１２は、測距カメラ１に対するデータの入力または測距カメラ１から外部デバイスへのデータの出力を行う機能を有している。通信部１２は、インターネットのようなネットワークに接続されていてもよい。この場合、測距カメラ１は、通信部１２を用いることにより、外部に設けられたウェブサーバーやデータサーバーのような外部デバイスと通信を行うことができる。
　なお、本実施形態においては、複数のカラーフィルターは、赤色カラーフィルター、緑色カラーフィルター、および青色カラーフィルターから構成される原色系カラーフィルターを含んでいるが、本発明はこれに限られない。上述のように、距離算出部８は、少なくとも２つの色画像信号（好ましくは、赤色画像信号と青色画像信号）の被写体像のボケ量に基づいて、被写体までの距離を算出することができる。そのため、本実施形態の測距カメラ１が被写体までの距離を算出するためには、撮像素子５が、複数のカラーフィルターとして、赤色カラーフィルター、緑色カラーフィルター、および青色カラーフィルターのうちの少なくとも２つ、好ましくは、少なくとも赤色カラーフィルターと青色カラーフィルターを有していればよい。撮像素子５が、赤色カラーフィルター、緑色カラーフィルター、および青色カラーフィルターのうちの２つ、好ましくは、赤色カラーフィルターと青色カラーフィルターの２種類のカラーフィルターのみを有しているような様態も、本発明の範囲内である。なお、撮像素子５が２種類のカラーフィルターのみを有している場合、複数の色画像信号は、該２種類のカラーフィルターに対応した２種類の色画像信号を含む。
　＜第２実施形態＞
　次に、図１０および図１１を参照して、本発明の第２実施形態に係る測距カメラ１について詳述する。図１０は、本発明の第２実施形態に係る測距カメラの撮像素子が有するカラーフィルターの特性を示す図である。図１１は、本発明の第２実施形態に係る測距カメラにおいて用いられるバンドパスフィルターの透過波長帯の調整を説明するための図である。
　以下、第２実施形態の測距カメラ１について、第１実施形態の測距カメラ１との相違点を中心に説明し、同様の事項については、その説明を省略する。第２実施形態の測距カメラ１では、撮像素子５の複数のカラーフィルターが、複数のバンドパスフィルターをさらに含み、撮像素子５によって取得される複数の色画像信号が、複数のバンドパス画像信号をさらに含んでいる点を除き、第１実施形態の測距カメラ１と同様である。
　図１０に示すように、本発明の第２実施形態に係る測距カメラ１の撮像素子５は、第１実施形態と同様の赤色カラーフィルター、緑色カラーフィルター、および青色カラーフィルターから構成される原色系カラーフィルターに加え、赤色用、緑色用、および青色用のバンドパスフィルターをさらに含んでいる。したがって、本実施形態の撮像素子５によって取得される複数の色画像信号は、第１実施形態と同様の赤色画像信号、緑色画像信号、および青色画像信号に加えて、複数のバンドパスフィルターのそれぞれを通過する光によって得られた複数のバンドパス画像信号（赤色バンドパス画像信号、緑色バンドパス画像信号、および青色バンドパス画像信号）を含んでいる。
　ここでいうバンドパスフィルターとは、特定の波長帯の光のみを透過させ、それ以外の波長帯の光を実質的に遮断するカラーフィルターを意味する。図１０に示すように、赤色用、緑色用、および青色用のバンドパスフィルターのそれぞれの特定の波長帯（透過波長帯）は互いに異なっており、重複していない。
　複数のバンドパスフィルターのそれぞれは、原色系カラーフィルターのベイヤーパターン等の一定パターン内に組み込まれていてもよいし、原色系カラーフィルターの一部の前面上または後面上に設けられていてもよい。例えば、赤色用のバンドパスフィルターが赤色カラーフィルターの一部の前面上または後面上に設けられており、緑色用のバンドパスフィルターが緑色カラーフィルターの一部の前面上または後面上に設けられており、青色用のバンドパスフィルターが青色カラーフィルターの一部の前面上または後面上に設けられていてもよい。
　なお、本実施形態では、撮像素子５は、原色系カラーフィルターに加え、赤色用、緑色用、および青色用の３種類のバンドパスフィルターをさらに備えているが、本発明はこれに限られず、撮像素子５は、原色系カラーフィルターに加え、少なくとも２種類のバンドパスフィルターをさらに備えていればよい。
　図１０に示すように、一般的な撮像用のカメラで用いられる原色系カラーフィルターは、透過波長帯が広い。そのため、例えば、赤色画像信号用の赤色カラーフィルターを通過する光は、赤色光だけでなく、緑色光や青色光も含んだ混色光となっている。一方、関連付情報を生成する際に、各波長の光毎に理論的に算出されたボケ量は、光が単色光または実質的に単色光であることを前提として算出されている。そのため、原色系カラーフィルターを通過する混色光を撮像することによって得られた色画像信号における被写体の実際のボケ量は、各波長の光毎に算出された理論上のボケ量と異なってしまう。このような実際のボケ量と理論上のボケ量の差は、被写体までの距離の算出精度を低下させる原因となる。
　そこで、本実施形態においては、原色系カラーフィルターを通過した光によって得られた複数の色画像信号（赤色画像信号、緑色画像信号、および青色画像信号）を、被写体の２次元画像信号を構成するために用い、少なくとも２種類のバンドパスフィルターを通過した光によって得られたバンドパス画像信号を、被写体までの距離を算出するために用いている。
　バンドパスフィルターを通過した光は、単色光なので、バンドパスフィルターを通過する単色光を撮像することによって得られたバンドパス画像信号における被写体の実際のボケ量と、各波長の光毎に算出された理論上のボケ量との差は非常に小さい。そのため、本実施形態の測距カメラ１の距離算出部８は、少なくとも２つのバンドパス画像信号に基づいて、被写体までの距離を、より高い精度で算出することができる。
　また、少なくとも２つのバンドパス画像信号の被写体像のボケ量に基づいて被写体までの距離を算出する場合、波長差の大きい赤色バンドパス画像信号と青色バンドパス画像信号の被写体像のボケ量に基づいて、被写体までの距離を算出することが好ましい。
　また、図１１に示すように、各バンドパスフィルターの透過波長帯を調整し、各バンドパス画像信号間の色収差による被写体像のボケ量の差を大きくしてもよい。図１１の例では、赤色バンドパス画像信号と青色バンドパス画像信号における被写体像のボケ量の差を大きくするために、赤色用のバンドパスフィルターの透過波長帯が長波長側にシフトされ、青色用のバンドパスフィルターの透過波長帯が短波長側にシフトされている。これにより、各バンドパス画像信号間の色収差による被写体像のボケ量の差が大きくなり、測距カメラ１の距離算出部８は、少なくとも２つのバンドパス画像信号に基づいて、被写体までの距離を、より高い精度で算出することが可能となる。
　また、本実施形態において用いられる複数のカラーフィルターは、可視光波長領域に対応する原色カラーフィルターおよび原色カラーフィルターの各色に対応するバンドパスフィルターを含んでいるが、本発明はこれに限られない。例えば、複数のカラーフィルターは、赤外線波長帯や紫外線波長帯等の不可視光領域に対応するカラーフィルターおよび／またはバンドパスフィルター（例えば、赤外線用カラーフィルターおよび赤外線用バンドパスフィルター、および／または、紫外線用カラーフィルターおよび紫外線用バンドパスフィルター）をさらに含んでいてもよい。また、複数のカラーフィルターが、原色系カラーフィルターと、赤外線波長帯や紫外線波長帯等の不可視光領域に対応するカラーフィルターおよび／またはバンドパスフィルターとを含むような様態もまた、本発明の範囲内である。
　これにより、不可視光に対応するカラーフィルターまたはバンドパスフィルターを通過した光によって取得された色画像信号（例えば、赤外線画像信号、紫外線画像信号、赤外線バンドパス画像、紫外線バンドパス画像）を用いた、被写体までの距離の算出が可能となる。例えば、赤外線画像信号を用いて被写体までの距離を算出する場合、夜間であっても被写体までの距離を算出することが可能となる。
　また、上述のように、本実施形態の測距カメラ１は、少なくとも２つのバンドパス画像信号（好ましくは、赤色バンドパス画像信号と青色バンドパス画像信号）の被写体像のボケ量に基づいて、被写体までの距離を算出することができる。そのため、本実施形態の測距カメラ１が被写体までの距離を算出するためには、撮像素子５が、複数のカラーフィルターとして、少なくとも２種類のバンドパスフィルター（好ましくは、赤色用バンドパスフィルターおよび青色用バンドパスフィルター）を有していればよい。撮像素子５が、２種類のバンドパスフィルター、好ましくは、赤色用バンドパスフィルターと青色用バンドパスフィルターの２種類のバンドパスフィルターのみを有しているような様態も、本発明の範囲内である。
　また、上述の第１および第２実施形態において、複数のカラーフィルターは、赤色カラーフィルター、緑色カラーフィルター、および青色カラーフィルターから構成される原色系カラーフィルターを含んでいるが、本発明はこれに限られない。例えば、撮像素子５は、原色系カラーフィルターを有さず、複数のカラーフィルターとして、赤外線領域において互いに異なる感度を有する少なくとも２つの赤外線用カラーフィルター（または赤外線用バンドパスフィルター）を有していてもよい。この場合、撮像素子５は、その撮像面上に、赤外線領域にそれぞれ異なる感度を有する少なくとも２つのカラーフィルターを搭載したカスタム撮像素子である。
　このような撮像素子５を用いた測距カメラ１は、赤外線領域において互いに異なる感度を有する少なくとも２つの赤外線用カラーフィルター（または赤外線用バンドパスフィルター）を通過した光によって取得された少なくとも２つの色画像信号（例えば、第１の赤外線画像信号および第２の赤外線画像信号）を用いて、被写体までの距離を算出する。これにより、可視光の光量が極めて少ない暗所や夜であっても、測距カメラ１を用いて、被写体までの距離を測定することができる。
　ここまで詳述したように、本発明の測距カメラ１は、複数の色画像信号のそれぞれにおける被写体像のボケ量に基づいて、被写体までの距離を算出することができる。
　また、測距カメラ１は、１対の光学系３と撮像素子５から取得した１枚の被写体の画像だけで、被写体までの距離を測定することができるため、光学系と撮像素子の組み合わせを複数対用いる必要がない。そのため、ステレオカメラ方式の測距カメラと比較して、測距カメラ１の小型化、低消費電力化、および低コスト化が可能である。また、測距カメラ１では、ステレオカメラ方式の測距カメラとは異なり、視差のある画像を用いないので、従来のステレオカメラ方式の測距カメラにおいて３次元画像を生成する際に実行される視差を修正するためのフィッティング処理が不要である。そのため、３次元画像を生成するための処理時間の短縮、および、消費電力の削減が可能である。
　また、測距カメラ１では、パターン照射方式の測距カメラと異なり、一定パターンを被写体に照射するプロジェクター等の特殊な光源を用いる必要がない。そのため、測距カメラ１のシステムの構成をシンプルにすることができる。また、パターン照射方式の測距カメラでは、１度の撮像で、一定パターンが照射された状態の被写体の画像と一定パターンが照射されていない状態の被写体の画像の双方を取得することができないため、被写体までの距離の測定と、一定パターンが照射されていない被写体の画像の取得を１度の撮像で実行することはできない。一方、本発明の測距カメラ１では、一定パターンを被写体に照射する必要がないため、被写体までの距離の測定と、一定パターンが照射されていない被写体の画像の取得とを１度の撮像で実行することができる。
　また、測距カメラ１では、ＤＦＤ方式の測距カメラと異なり、プリズムやハーフミラー等の光の光路長を変えるための光学部品を用いる必要がない。そのため、測距カメラ１のシステムの構成をシンプルにすることができる。また、測距カメラ１では、ＤＦＤ方式の測距カメラと異なり、複数の色画像信号から得た被写体のボケ量に関する情報を被写体までの距離を測定するために用いている。そのため、１枚の画像から得た被写体のボケ量に関する情報に基づいて被写体までの距離を推定するＤＦＤ方式の測距カメラと比較して、測距カメラ１は、被写体の画像のノイズの影響を受けにくい。
　＜測距方法＞
　次に図１２を参照して、本発明の測距方法について説明する。図１２は、本発明の測距方法を示すフローチャートである。なお、本発明の測距方法は、上述した本発明の測距カメラ１および本発明の測距カメラ１と同等の機能を有する任意の装置を用いて実行することができるが、説明のため、測距カメラ１を用いて実行されるものとして説明する。
　図１２に示す測距方法Ｓ１００は、測距カメラ１の使用者が操作部１１を用いて、被写体までの距離を測定するための操作を実行することにより開始される。工程Ｓ１１０において、任意の色画像信号（例えば、緑色画像信号）における任意の被写体がベストフォーカスとなるように光学系駆動部４によるオートフォーカスが実行される。また、撮像素子５の撮像面において光学系３によって結像された被写体像が占める割合が小さく（すなわち、被写体像が小さいとき）、被写体像のボケ量を正確に検出できない場合は、光学系駆動部４によるズームが実行される。なお、測距カメラ１の光学系３がオートフォーカス機能やズーム機能を提供するよう構成されていない場合には、工程Ｓ１１０は省略される。
　次に、工程Ｓ１２０において、撮像素子５が、光学系３によって撮像面上に結像された被写体像を撮像することにより、撮像素子５が有する複数のカラーフィルターのそれぞれに対応する複数の色画像信号を取得する。この際、光学系３が手振れ補正機能を提供するよう構成されている場合には、光学系駆動部４による手振れ補正が実行されてもよい。これにより、手振れに起因する被写体像のボケによって、複数の色画像信号のそれぞれにおける光学系３の色収差による被写体像のボケ量が正確に検出できなくなることを防止することができる。
　工程Ｓ１２０において複数の色画像信号が取得されると、処理は、工程Ｓ１３０に移行する。工程Ｓ１３０において、ボケ検出部６は、複数の色画像信号のそれぞれにおける被写体像のボケ量を検出する。より具体的には、ボケ検出部６は、最初に、撮像素子５が取得した複数の色画像信号のそれぞれに対して、Ｃａｎｎｙのようなフィルター処理を施し、複数の色画像信号のそれぞれにおける被写体のエッジ部を抽出する。次に、ボケ検出部６は、複数の色画像信号のそれぞれにおいて、互いに対応する被写体像のエッジ部、すなわち、同じ位置にある被写体像のエッジ部を検出し、さらに、検出された同じ位置にある被写体像のエッジ部のボケ量を検出する。
　なお、工程Ｓ１３０における被写体のエッジ部のボケ量の検出は、抽出された被写体のエッジ部の全てに対して実行されてもよいし、抽出された被写体のエッジ部の一部に対してのみ実行されてもよい。
　工程Ｓ１３０において複数の色画像信号のそれぞれにおける被写体像のボケ量が検出されると、処理は、工程Ｓ１４０に移行する。工程Ｓ１４０において、距離算出部８は、ボケ検出部６によって検出された複数の色画像信号のそれぞれにおける被写体像のボケ量に基づいて、被写体までの距離を算出する。より具体的には、距離算出部８は、ボケ検出部６によって検出された複数の色画像信号のそれぞれにおける被写体像のエッジ部のボケ量と、関連付情報記憶部７内の関連付情報の複数の色画像信号のそれぞれにおける被写体像のボケ量とを照合することにより、被写体のエッジ部までの距離を算出する。
　工程Ｓ１４０において被写体までの距離が算出されると、処理は、工程Ｓ１５０に移行する。工程Ｓ１５０において、３次元画像生成部９が、距離算出部８によって算出された被写体までの距離と、撮像素子５が取得した複数の色画像信号から構成される被写体の２次元画像に基づいて、被写体の３次元画像を生成する。その後、ここまでの工程において生成された被写体の２次元画像、被写体の距離画像、および／または被写体の３次元画像が、表示部１０に表示され、または通信部１２によって外部デバイスに送信され、測距方法Ｓ１００は終了する。
　以上、本発明の測距カメラおよび測距方法を図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではない。本発明の各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の各構成に任意の構成のものを付加することができる。
　例えば、図１に示された測距カメラ１のコンポーネントの数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意のコンポーネントが追加若しくは組み合わされ、または任意のコンポーネントが削除された様態も、本発明の範囲内である。また、測距カメラ１の各コンポーネントは、ハードウェア的に実現されていてもよいし、ソフトウェア的に実現されていてもよいし、これらの組み合わせによって実現されていてもよい。
　また、図１２に示された測距方法Ｓ１００の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合され、または、任意の工程が削除される様態も、本発明の範囲内である。
　＜測距システム＞
　上述の説明では、本発明の測距方法Ｓ１００は、測距カメラ１によって実行されるものとして説明したが、本発明の測距方法Ｓ１００および本発明の測距方法Ｓ１００と同等の効果を奏する測距方法は、図１３および図１４に示すような測距システムによっても実行することができる。
　以下、図１３および図１４を参照して、本発明の測距方法Ｓ１００を実行可能な測距システムについて説明する。図１３は、測距システムの１例を概略的に示す図である。図１４は、測距システムの別の例を概略的に示す図である。
　図１３に示す測距システムは、被写体に対しそれぞれ異なる単色光を照射するための複数のプロジェクターと、複数のプロジェクターのそれぞれによって単色光が照射された状態の被写体を撮像する測距カメラとから構成されている。
　図示の例では、複数のプロジェクターは、赤色の単色光を被写体に照射するための赤色光用プロジェクターと、緑色の単色光を被写体に照射するための緑色光用プロジェクターと、青色の単色光を被写体に照射するための青色光用プロジェクターとを含んでいる。
　測距カメラは、本発明の測距カメラ１の光学系３と同様の大きな色収差を有する光学系と、該光学系により結像された被写体像を撮像し、被写体の２次元画像を取得するための撮像素子を備えている。この撮像素子は、カラーフィルターを有しておらず、この撮像素子によって取得される被写体の２次元画像は、白黒画像である。
　複数のプロジェクターのそれぞれの照射タイミングと、測距カメラの撮像素子の撮像タイミングとを同期させ、被写体を撮像することにより、赤色画像信号、緑色画像信号、および青色画像信号のそれぞれが個別に取得される。具体的には、赤色光用プロジェクターのみを起動した状態で、被写体を撮像することにより、赤色画像信号を取得することができ、緑色光用プロジェクターのみを起動した状態で、被写体を撮像することにより、緑色画像信号を取得することができ、青色光用プロジェクターのみを起動した状態で、被写体を撮像することにより、青色画像信号を取得することができる。
　本照射システムの測距カメラにおいて用いられる光学系は、上述のように大きな色収差を有しているので、被写体までの距離に応じた被写体像の各色間のボケ量の差が大きい。そのため、上述のように取得した複数の色画像信号のそれぞれにおける被写体像のボケ量を、本発明の測距カメラ１と同様の方法により解析することにより、被写体までの距離を算出することができる。
　図１４に示す測距システムは、被写体からの光を分光するための分光プリズムと、分光プリズムによって分光された被写体からの光を撮像するための複数の撮像素子とから構成されている。なお、分光プリズムと複数の撮像素子は、本発明の測距カメラ１の光学系３と同様の大きな色収差を有する光学系を備える測距カメラ内に設けられている。
　被写体からの光は、分光プリズムによって赤色光、緑色光、および青色光に分光され、分光された各光の光路上に、各色用の撮像素子（赤色光用撮像素子、緑色光用撮像素子、および青色光用撮像素子）が配置されている。本照射システムにおいて用いられる複数の撮像素子のそれぞれは、カラーフィルターを有しておらず、この撮像素子によって取得される被写体の２次元画像は、白黒画像である。
　被写体からの光は分光プリズムによって分光されるので、各色用の撮像素子に入射する光はすべて単色光である。すなわち、赤色光用撮像素子に入射される光は赤色光であり、緑色光用撮像素子に入射される光は緑色光であり、青色光用撮像素子に入射される光は青色光である。各色用の撮像素子のそれぞれから、それぞれ異なる色画像信号（赤色画像信号、緑色画像信号、および青色画像信号）が取得される。
　本照射システムの測距カメラにおいて用いられる光学系は、上述のように大きな色収差を有しているので、被写体までの距離に応じた被写体像の各色間のボケ量の差が大きい。そのため、上述のように取得した複数の色画像信号のそれぞれにおける被写体像のボケ量を、本発明の測距カメラ１と同様の方法により解析することにより、被写体までの距離を算出することができる。
　＜利用例＞
　本発明の測距カメラ１および測距方法Ｓ１００の利用例は特に限定されないが、例えば、被写体のポートレートを撮像するとともに、被写体の顔の３次元画像を取得するために、測距カメラ１および測距方法Ｓ１００を用いることができる。このような利用様態では、本発明の測距カメラ１をスマートフォンや携帯電話等のモバイルデバイス内に組み込むことが好ましい。
　また、本発明の測距カメラ１および測距方法Ｓ１００は、精密機器の組み立てや検査のために用いられるハンドラーロボットにおいて利用することができる。測距カメラ１および測距方法Ｓ１００によれば、精密機器を組み立てる際に、ハンドラーロボット本体またはハンドラーロボットのアームから、精密機器または精密機器の部品までの距離を測定することができることから、ハンドラーロボットの把持部によって正確に部品を把持することができる。
　また、本発明の測距カメラ１および測距方法Ｓ１００によれば、被写体までの距離を測定することができることから、被写体の３次元情報を取得することができる。このような被写体の３次元情報は、３Ｄプリンターによる３次元構造体の作製に用いることができる。
　また、自動車内において、本発明の測距カメラ１を利用することにより、自動車から歩行者や障害物等の任意の物体までの距離を測定することができる。算出された任意の物体までの距離に関する情報は、自動車の自動ブレーキシステムや自動運転に用いることができる。
　以上、本発明の測距カメラおよび測距方法の利用例について説明したが、本発明の測距カメラおよび測距方法の利用は、上述の例に限られるものではない。本分野における当業者が想到し得る様々な用途において、本発明の測距カメラおよび測距方法を利用することができる。
　本発明の測距カメラおよび測距方法では、１対の光学系と撮像素子から取得した１枚の被写体の画像から、被写体までの距離を測定することができるため、光学系と撮像素子の組み合わせを複数対用いる必要がない。そのため、ステレオカメラ方式の測距カメラと比較して、測距カメラの小型化、低消費電力化、および低コスト化が可能である。また、本発明の測距カメラでは、ステレオカメラ方式の測距カメラとは異なり、視差のある画像を用いないので、従来のステレオカメラ方式の測距カメラにおいて３次元画像を生成する際に実行される視差を修正するためのフィッティング処理が不要である。そのため、３次元画像を生成するための処理時間の短縮、および、消費電力の削減が可能である。したがって、本発明は、産業上の利用可能性を有する。

Claims (8)

  1. 　被写体からの光を結像する光学系と、
    　複数のカラーフィルターを有し、前記光学系により結像された被写体像を撮像し、前記複数のカラーフィルターのそれぞれに対応する複数の色画像信号を取得する撮像素子と、
    　前記複数の色画像信号のそれぞれにおける前記被写体像のボケ量を検出するボケ検出部と、
    　前記ボケ検出部によって検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量に基づいて、前記被写体までの距離を算出する距離算出部と、を備えることを特徴とする測距カメラ。
  2. 　前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量と、前記光学系から前記被写体までの距離とを関連付ける関連付情報を記憶している関連付情報記憶部をさらに備え、
    　前記距離算出部は、前記ボケ検出部によって算出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量と、前記関連付情報記憶部内の前記関連付情報とに基づいて、前記被写体までの前記距離を算出する請求項１に記載の測距カメラ。
  3. 　前記複数の色画像信号は、赤色画像信号と、緑色画像信号と、青色画像信号との少なくとも２つを含み、
    　前記複数のカラーフィルターは、前記赤色画像信号用の赤色カラーフィルターと、前記緑色画像信号用の緑色カラーフィルターと、前記青色画像信号用の青色カラーフィルターとのうち、前記赤色画像信号、前記緑色画像信号、および前記青色画像信号の前記少なくとも２つに対応する少なくとも２つを含む請求項１または２に記載の測距カメラ。
  4. 　前記複数のカラーフィルターは、特定の波長帯の光のみを透過させ、それ以外の波長帯の光を実質的に遮断する複数のバンドパスフィルターをさらに含み、
    　前記複数のバンドパスフィルターのそれぞれの前記特定の波長帯は、互いに異なっており、
    　前記複数の色画像信号は、前記複数のバンドパスフィルターのそれぞれを通過する光によって得られた複数のバンドパス画像信号を含む請求項３に記載の測距カメラ。
  5. 　前記複数のカラーフィルターは、赤外線用カラーフィルターまたは紫外線用カラーフィルターの少なくとも一方をさらに含み、
    　前記複数の色画像信号は、赤外線画像信号と紫外線画像信号の少なくとも一方をさらに含む請求項３または４に記載の測距カメラ。
  6. 　前記ボケ検出部は、前記複数の色画像信号のそれぞれにおいて、前記被写体像のエッジ部を抽出し、さらに、前記複数の色画像信号のそれぞれにおいて抽出された前記被写体像の前記エッジ部のボケ量を検出し、
    　前記距離算出部は、前記ボケ検出部によって検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記エッジ部の前記ボケ量に基づいて、前記被写体の前記エッジ部までの距離を算出する請求項１ないし５のいずれかに記載の測距カメラ。
  7. 　前記撮像素子が取得した前記複数の色画像信号と、前記距離算出部によって測定された前記被写体までの前記距離とに基づいて、前記被写体の３次元画像を生成する３次元画像生成部をさらに備える請求項１ないし６のいずれかに記載の測距カメラ。
  8. 　被写体までの距離を測定するための測距方法であって、
    　光学系を用いて、前記被写体からの光を結像する工程と、
    　撮像素子を用いて、結像された被写体像の複数の色画像信号を取得する工程と、
    　プロセッサーを用いて、前記複数の色画像信号のそれぞれにおける前記被写体像のボケ量を検出する工程と、
    　前記プロセッサーを用いて、検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量に基づいて、前記被写体までの距離を算出する工程と、を備えることを特徴とする測距方法。
PCT/JP2018/022674 2017-06-23 2018-06-14 測距カメラおよび測距方法 WO2018235709A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-123411 2017-06-23
JP2017123411A JP2019007826A (ja) 2017-06-23 2017-06-23 測距カメラおよび測距方法

Publications (1)

Publication Number Publication Date
WO2018235709A1 true WO2018235709A1 (ja) 2018-12-27

Family

ID=64737028

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/022674 WO2018235709A1 (ja) 2017-06-23 2018-06-14 測距カメラおよび測距方法

Country Status (2)

Country Link
JP (1) JP2019007826A (ja)
WO (1) WO2018235709A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019897A1 (ja) * 2019-07-26 2021-02-04 富士フイルム株式会社 制御装置、投影システム、制御方法、制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206150A (ja) * 1997-01-22 1998-08-07 Takashi Matsuyama 多重フォーカス測距装置
JP2011095026A (ja) * 2009-10-28 2011-05-12 Kyocera Corp 被写体距離推定装置
WO2013129387A1 (ja) * 2012-03-01 2013-09-06 日産自動車株式会社 距離計測装置及び距離計測方法
JP2016090568A (ja) * 2014-10-31 2016-05-23 キヤノン株式会社 距離計測装置、撮像装置、および距離計測方法
US20160314372A1 (en) * 2015-04-27 2016-10-27 Pixart Imaging Inc. Object distance computing method and object distance computing apparatus
JP2017040642A (ja) * 2015-08-20 2017-02-23 株式会社東芝 画像処理装置及び撮影装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03204277A (ja) * 1990-01-05 1991-09-05 Canon Inc 合焦検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206150A (ja) * 1997-01-22 1998-08-07 Takashi Matsuyama 多重フォーカス測距装置
JP2011095026A (ja) * 2009-10-28 2011-05-12 Kyocera Corp 被写体距離推定装置
WO2013129387A1 (ja) * 2012-03-01 2013-09-06 日産自動車株式会社 距離計測装置及び距離計測方法
JP2016090568A (ja) * 2014-10-31 2016-05-23 キヤノン株式会社 距離計測装置、撮像装置、および距離計測方法
US20160314372A1 (en) * 2015-04-27 2016-10-27 Pixart Imaging Inc. Object distance computing method and object distance computing apparatus
JP2017040642A (ja) * 2015-08-20 2017-02-23 株式会社東芝 画像処理装置及び撮影装置

Also Published As

Publication number Publication date
JP2019007826A (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
US10567646B2 (en) Imaging apparatus and imaging method
JP7104296B2 (ja) 測距カメラ
US9008412B2 (en) Image processing device, image processing method and recording medium for combining image data using depth and color information
JP7104294B2 (ja) 測距カメラ
JP6991957B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP7288226B2 (ja) 測距カメラ
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
JP6173065B2 (ja) 撮像装置、画像処理装置、撮像方法及び画像処理方法
CN107181905B (zh) 一种成像方法和装置
WO2019181622A1 (ja) 測距カメラ
JP2013097154A (ja) 距離測定装置、撮像装置、距離測定方法
WO2018235709A1 (ja) 測距カメラおよび測距方法
JP2015046777A (ja) 撮像装置および撮像装置の制御方法
JP6529214B2 (ja) 撮像装置
JP6983531B2 (ja) 測距装置、測距システム、および測距方法
JP2012203278A (ja) 撮像装置、レンズ装置、およびカメラシステム
JP2012168429A (ja) 撮像装置
JP6136364B2 (ja) デフォーカス量検出装置およびカメラ
WO2020162003A1 (ja) 測距カメラ
JP6838608B2 (ja) 画像処理装置及び画像処理方法
JP2022128516A (ja) 測距カメラ
JP2022036505A (ja) 撮像装置
JP2016177215A (ja) 撮像装置
JP2021175052A (ja) 撮像装置
JP2017138621A (ja) デフォーカス量検出装置およびカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18819586

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18819586

Country of ref document: EP

Kind code of ref document: A1