WO2020162003A1 - 測距カメラ - Google Patents

測距カメラ Download PDF

Info

Publication number
WO2020162003A1
WO2020162003A1 PCT/JP2019/046955 JP2019046955W WO2020162003A1 WO 2020162003 A1 WO2020162003 A1 WO 2020162003A1 JP 2019046955 W JP2019046955 W JP 2019046955W WO 2020162003 A1 WO2020162003 A1 WO 2020162003A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
distance
optical system
target point
Prior art date
Application number
PCT/JP2019/046955
Other languages
English (en)
French (fr)
Inventor
文也 永井
Original Assignee
ミツミ電機株式会社
文也 永井
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミツミ電機株式会社, 文也 永井 filed Critical ミツミ電機株式会社
Priority to CN201980091467.2A priority Critical patent/CN113424020B/zh
Priority to US17/428,613 priority patent/US11842507B2/en
Publication of WO2020162003A1 publication Critical patent/WO2020162003A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images

Definitions

  • the present invention generally relates to a distance measurement camera for measuring a distance to a distance measurement target point of a subject, and more specifically, a change in magnification of a subject image according to a distance to a distance measurement target point of a subject is changed.
  • the present invention relates to a distance-measuring camera that measures a distance to a distance-measurement target point of a subject based on an image magnification ratio of at least two subject images formed by at least two different optical systems.
  • a distance measurement camera measures the distance to an arbitrary distance measurement target point of a subject by capturing an image of the subject.
  • a distance measuring camera at least an optical system for condensing light from a subject to form a subject image and an image sensor for converting the subject image formed by the optical system into an image are provided.
  • a stereo camera type ranging camera having two pairs is known (for example, refer to Patent Document 1).
  • a stereo camera type distance measuring camera as disclosed in Patent Document 1 is a distance measuring object of two object images formed by two optical systems arranged to be shifted in a direction perpendicular to an optical axis direction. It is possible to calculate the translational parallax between points (parallax in the direction perpendicular to the optical axis direction), and calculate the distance to the distance measurement target point of the subject based on the value of the translational parallax.
  • the distance measurement target point of the subject image for calculating the translational parallax is shown in one image from the relationship of the visual fields of the obtained images, but The situation occurs that it is not shown in the image. In order to avoid this situation, it is necessary to arrange the two optical systems close to each other. However, when the two optical systems are arranged close to each other, the translational parallax between the distance measurement target points of the subject image becomes small and the accuracy of distance measurement deteriorates. Therefore, it is difficult to accurately calculate the distance to the distance measurement target point of the subject located at a short distance by using the distance measurement based on the translation parallax between the distance measurement target points of the subject image.
  • the inventors of the present invention determine the distance to the distance measurement target point of the subject based on the image magnification ratio (magnification ratio) between the two subject images formed by the two optical systems.
  • An image magnification ratio type ranging camera for calculating has been proposed.
  • the image magnification ratio type ranging camera uses a first optical system and a second optical system in which changes in the magnification of a subject image depending on the distance to the distance measurement target point of the subject are different from each other.
  • the distance to the distance measurement target point of the subject is calculated based on the image magnification ratio (magnification ratio) between the first subject image formed by the system and the second subject image formed by the second optical system. (See Patent Document 2).
  • the image magnification ratio range finding camera proposed by the present inventors provides a distance between a first subject image formed by the first optical system and a second subject image formed by the second optical system.
  • the extension line of the chief ray at each image height in the image space of each optical system and the optical axis of each optical system In order to calculate the distance to the distance measurement target point of the subject based on the image magnification ratio (magnification ratio), the extension line of the chief ray at each image height in the image space of each optical system and the optical axis of each optical system.
  • the position of the intersection with is used.
  • the position of the intersection of the extension line of the chief ray of each image height and the optical axis of the optical system in the image space of the optical system is the The value of the image height in the image space does not change, and coincides with the position of the exit pupil of the optical system.
  • the image magnification ratio range finding camera proposed by the present inventors calculates the distance from the subject to the object point for distance measurement, in order to calculate the distance from the exit pupil of the first optical system to the subject at infinity.
  • the image magnification ratio ranging camera proposed by the inventors It was possible to accurately calculate the distance to the distance measurement target point.
  • the image height of the distance measurement target point of the subject image corresponding to the distance measurement target point of the subject in the image space of the optical system becomes higher, the influence due to the above-mentioned vignetting becomes larger, and the image of the optical system becomes larger.
  • the difference between the position of the intersection of the extension line of the chief ray of the image height and the optical axis of the optical system in space and the position of the exit pupil of the optical system becomes large.
  • the image magnification ratio type range finding camera proposed by the present inventors is used. Then, as the image height of the distance measurement target point of the subject image in the image space of the optical system increases, there is a problem that the error in the measurement of the distance to the distance measurement target point of the subject increases.
  • the present invention has been made in view of the above conventional problems, and an object of the present invention is to provide a first optical system and a second optical system that are used for calculating a distance of a subject to a distance measurement target point.
  • a first subject image formed by the first optical system and a second subject formed by the second optical system which is an optical system in which vignetting occurs and which corresponds to a distance measurement target point of the subject. Even if the image height of the distance measurement target point of the image is high, the distance to the distance measurement target point of the subject is determined based on the image magnification between the magnification of the first subject image and the magnification of the second subject image.
  • An object of the present invention is to provide a distance measuring camera capable of accurately calculating a distance.
  • a distance measuring camera for calculating a distance to a distance measurement target point of an object, A first optical system for collecting light from the subject and forming a first subject image; A second optical system for collecting the light from the subject and forming a second subject image; An image pickup section for picking up the first subject image formed by the first optical system and the second subject image formed by the second optical system; The first image captured by the image capturing unit is calculated by performing calculation according to the image height of the distance measurement target point of the first subject image and the second subject image corresponding to the distance measurement target point of the subject.
  • a distance calculation unit for calculating the distance to the distance measurement target point of the subject based on one subject image and the second subject image calculates the distance to the distance measurement target point of the subject based on an image magnification ratio of a magnification of the first subject image and a magnification of the second subject image. And ranging camera.
  • vignetting occurs according to the image height of the distance measurement target point of the first subject image corresponding to the distance measurement target point of the subject, and the first optical system
  • the intersection of the extension line of the principal ray at the image height of the distance measurement target point of the first subject image in the image space of the optical system and the optical axis of the first optical system is the first subject image.
  • the second optical system causes vignetting according to the image height of the distance measurement target point of the second subject image corresponding to the distance measurement target point of the subject,
  • the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the second subject image in the image space and the optical axis of the second optical system is the measurement of the second subject image.
  • the distance calculation unit includes the extension line of the chief ray at the image height of the distance measurement target point of the first subject image in the image space of the first optical system and the first optical system.
  • the distance measurement camera according to (1) which is configured to calculate the distance to the distance measurement target point of the subject.
  • the first optical system and the second optical system are configured such that the focal length of the first optical system and the focal length of the second optical system are different from each other.
  • the change in the magnification of the first subject image according to the distance to the distance measurement target point of the subject causes the second subject to change according to the distance of the subject to the distance measurement target point.
  • the rangefinder camera according to (2) above which is different from the change in the magnification of the image.
  • the first optical system and the second optical system are the chief rays at the image height of the distance measurement target point of the first subject image in the image space of the first optical system. From the intersection of the extension line of the above and the optical axis of the first optical system, the combination of the first subject image formed by the first optical system when the subject exists at infinity. The distance to the image position, the extension line of the chief ray at the image height of the distance measurement target point of the second subject image in the image space of the second optical system, and the second optics. The distance from the point of intersection with the optical axis of the system to the image formation position of the second subject image formed by the second optical system when the subject exists at infinity is different.
  • association information that associates the image magnification ratio of the magnification of the first subject image and the magnification of the second subject image with the distance to the distance measurement target point of the subject. Further comprising an associated information storage unit, The distance calculation unit, based on the image magnification ratio of the magnification of the first subject image and the magnification of the second subject image, and the association information in the association information storage unit, 6.
  • the distance measurement camera according to any one of (1) to (5) above, wherein the distance to the distance measurement target point of the subject is calculated.
  • the distance calculation unit may include the image height of the distance measurement target point of the first subject image corresponding to the distance measurement target point of the subject, and the distance measurement target point of the subject.
  • the ratio of the image height of the distance measurement target point of the second subject image is calculated as the image magnification ratio of the magnification of the first subject image and the magnification of the second subject image.
  • the distance measuring camera according to any one of 1) to (6).
  • the image pickup unit includes the first image pickup element for picking up the first subject image and the second image pickup element for picking up the second subject image.
  • the distance measuring camera according to any one of (7).
  • the distance measuring camera of the present invention uses at least two optical systems in which the change in magnification of the subject image according to the distance to the distance measuring target point of the subject is different from each other, and further, the first distance measuring target point corresponding to the subject is measured.
  • the image magnification ratio (magnification ratio) of the two subject images respectively formed by the two optical systems is calculated. Based on this, the distance of the subject to the distance measurement target point can be measured. Therefore, each of the first optical system and the second optical system used for calculating the distance to the distance measurement target point of the subject is an optical system in which vignetting occurs, and the distance measurement target point of the subject is determined. Corresponding to the first subject image formed by the first optical system and the second subject image formed by the second optical system, even if the image height of the distance measurement target point is high, It is possible to accurately measure the distance to the distance measurement target point.
  • FIG. 1 is a diagram for explaining the distance measuring principle of the distance measuring camera of the present invention.
  • FIG. 2 is a diagram for explaining the distance measuring principle of the distance measuring camera of the present invention.
  • 3 is an image magnification of the magnification of the first subject image formed by the first optical system shown in FIG. 2 and the magnification of the second subject image formed by the second optical system shown in FIG. 6 is a graph for explaining that the ratio changes according to the distance to the distance measurement target point of the subject.
  • FIG. 4 shows that in an optical system in which no vignetting occurs, the position of the intersection of the extension line of the chief ray of each image height and the optical axis of the optical system in the image space of the optical system does not change, and the exit pupil of the optical system does not change.
  • FIG. 5 shows, in an optical system in which vignetting occurs, when the value of the image height in the image space of the optical system changes, the intersection of the extension line of the chief ray of the image height in the image space of the optical system and the optical axis of the optical system It is a figure for demonstrating that the position of changes.
  • FIG. 6 is a block diagram schematically showing the distance measuring camera according to the first embodiment of the present invention.
  • FIG. 7 is a block diagram schematically showing a distance measuring camera according to the second embodiment of the present invention.
  • FIG. 8 is a block diagram schematically showing a distance measuring camera according to the third embodiment of the present invention.
  • FIG. 9 is a block diagram schematically showing a distance measuring camera according to the fourth embodiment of the present invention.
  • FIG. 10 is a block diagram schematically showing a distance measuring camera according to the fifth embodiment of the present invention.
  • FIG. 11 is a block diagram schematically showing a distance measuring camera according to the sixth embodiment of the present invention.
  • FIG. 12 is a block diagram schematically showing a distance measuring camera according to the seventh embodiment of the present invention.
  • FIG. 13 is a flow chart for explaining the distance measuring method executed by the distance measuring camera of the present invention.
  • the optical system used in the rangefinder camera is an optical system that does not cause vignetting due to the size and thickness of the lenses that make up the optical system, mechanical aperture stop (flare cutter), etc.
  • the principle for calculating the distance to the distance target point will be described.
  • the magnification m OD of the distance measurement target point of the subject image formed by the optical system corresponding to the distance measurement target point of the subject is the distance from the front principal point (front principal surface) of the optical system to the subject distance measurement target point.
  • (Subject distance) a, the distance b OD from the rear principal point (rear principal surface) of the optical system to the image formation position of the subject point of the subject image, and the focal length f of the optical system from the lens formula It can be expressed as the following formula (1).
  • Y OD is the magnification m OD of the distance measurement target point of the subject image and the actual size of the distance measurement target point of the subject in the object space (space closer to the subject than the optical system) (perpendicular to the optical axis of the optical system.
  • the distance (sz) from the optical axis of the optical system in each direction) sz can be expressed by the following equation (2).
  • the image height Y OD of the distance measurement target point of the subject image may be expressed by the above formula (2). It can.
  • the image height Y OD of the distance measurement target point of the subject image can be obtained using the above equation (2).
  • the optical system is a fixed focus system that does not have an autofocus function
  • the image pickup surface of the image pickup device such as a sensor is not at the imaging position of the subject image, that is, when defocus exists
  • the image pickup of the image pickup device is performed.
  • the defocus amount that is, the image forming position of the subject image and the position of the image pickup surface of the image pickup element in the depth direction (optical axis It is necessary to consider the difference (shift amount) in the direction.
  • the distance measurement target point of the subject image corresponding to the distance measurement target point of the subject is formed on the image pickup surface of the image pickup element on the image space side of the optical system.
  • the optical axis of the optical system from the intersection point to the image formation position of the subject image when the subject exists at infinity the image height of the distance measurement target point of the subject image in the optical system image space is defined as EP.
  • subject in the image space of the optical system EP FD is the distance (focus adjustment distance: Focus Distance) from the intersection of the extension of the chief ray and the optical axis of the optical system at the image height of the image distance measurement target point to the image pickup surface of the image pickup element.
  • the distance from the rear principal point of the optical system to the image forming position of the subject image when the subject is present at an arbitrary distance a is defined as b OD, and the distance from the rear principal point of the optical system to the imaging surface of the image sensor is set. Is defined as b FD .
  • the distance measurement target point of the subject image in the image space of the optical system Irrespective of the image height value of, the position of the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the distance measurement target point of the subject image in the image space of the optical system is the exit pupil of the optical system. Match the position of.
  • the distance b OD from the principal point on the rear side of the optical system to the image formation position of the subject image when the subject is present at an arbitrary distance a can be calculated from the lens formula by the following formula (3).
  • the distance b FD from the rear principal point of the optical system to the image pickup surface of the image sensor is the distance measurement target point of the subject from the front principal point of the optical system when the subject image is in best focus on the image pickup surface of the image sensor.
  • the distance a FD can be calculated by the following formula (5) from the lens formula.
  • the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the distance measurement target point of the subject image in the image space of the optical system is one of the vertices, and
  • a right-angled triangle whose one side is the image height Y OD of the distance measurement target point of the subject image at the imaging position of the subject image, and the measurement of the subject image in the image space of the optical system
  • the intersection of the extension line of the principal ray and the optical axis of the optical system at the image height of the distance target point is defined as one of the vertices, and the image height Y FD of the distance measurement target point of the subject image on the imaging surface of the image sensor is set to one side.
  • EP OD :EP FD Y OD :Y FD holds from the similar relationship, and the image height Y FD of the distance measurement target point of the subject image on the imaging surface of the image sensor can be obtained from the following equation (7). ..
  • the image height Y FD of the subject distance measuring point of the subject image on the imaging surface of the image sensor in the image space of the optical system is the actual distance measuring target point of the subject in the object space.
  • Size distance from the optical axis of the optical system in a direction orthogonal to the optical axis of the optical system
  • sz focal length f of the optical system
  • image height of a distance measurement target point of a subject image in the image space of the optical system The distance EP from the intersection of the extension line of the chief ray and the optical axis of the optical system to the image formation position of the subject image when the subject exists at infinity, the distance from the optical system to the distance measurement target point of the subject ( It can be expressed as a function of the subject distance) a and the distance a FD from the optical system to the distance measurement target point of the subject when the subject image is in best focus on the imaging surface of the image sensor.
  • the first imaging system IS1 collects light from the subject 100 to form a first subject image, and a first subject image formed by the first optical system OS1.
  • a first image sensor S1 for capturing an image is provided.
  • the second imaging system IS2 collects the light from the subject 100 and forms a second subject image, and a second optical system OS2 and a second subject image formed by the second optical system OS2.
  • the second image sensor S2 for capturing an image is provided.
  • the optical axis of the first optical system OS1 of the first image sensor S1 and the optical axis of the second optical system OS2 of the second image sensor S2 are parallel. , Do not match.
  • the first optical system OS1 and the second optical system OS2 are fixed-focus optical systems having focal lengths f 1 and f 2 , respectively.
  • the position (lens position) of the first optical system OS1 that is, the distance between the first optical system OS1 and the first imaging element S1 is an arbitrary distance a.
  • the first subject image of the subject 100 at FD1 is formed on the imaging surface of the first image sensor S1, that is, the subject 100 at an arbitrary distance a FD1 is adjusted to have the best focus.
  • the position (lens position) of the second optical system OS2 that is, the separation distance between the second optical system OS2 and the second imaging element S2 is arbitrary.
  • the second subject image of the subject 100 at the distance a FD2 is formed on the imaging surface of the second image sensor S2, that is, the subject 100 at the arbitrary distance a FD2 is adjusted to have the best focus. ing.
  • the subject 100 is infinite from the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the first subject image in the image space of the first optical system OS1 and the optical axis of the first optical system.
  • the distance to the image formation position of the first subject image when present at a distance is EP 1
  • the distance at the image height of the distance measurement target point of the second subject image in the image space of the second optical system OS2 is the main.
  • the distance from the intersection of the extension line of the light beam and the optical axis of the second optical system to the image formation position of the second subject image when the subject 100 exists at infinity is EP 2 .
  • the first optical system OS1 and the second optical system OS2 are between the front principal point (front principal surface) of the first optical system OS1 and the front principal point (front principal surface) of the second optical system OS2. Is configured and arranged so that there is a difference D in the depth direction (optical axis direction). That is, assuming that the distance from the front principal point of the first optical system OS1 to the subject distance measurement target point (subject distance) is a, the distance from the front principal point of the second optical system OS2 to the subject distance measurement target point is The distance is a+D.
  • magnification m 1 of the first subject image formed on the image pickup surface of the first image pickup device S1 by the first optical system OS1 can be calculated by the following formula: It can be represented by (8).
  • EP OD1 is from the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the first subject image in the image space of the first optical system OS1 and the optical axis of the first optical system.
  • the distance to the image forming position of the first subject image when the subject 100 is present at the distance a and EP FD1 is a distance measurement target of the first subject image in the image space of the first optical system OS1. It is the distance from the intersection of the extension line of the chief ray at the image height of the point and the optical axis of the first optical system to the image pickup surface of the first image pickup element S1.
  • the positional relationship between the distance EP OD1 and the distance EP FD1 is such that when the first imaging system IS1 is configured, the position of the first optical system OS1 is such that the subject 100 at an arbitrary distance a FD1 is in the best focus. It is determined by adjusting (lens position). Further, ⁇ b OD1 is the focal length f 1 and the distance b OD1 from the rear principal point of the first optical system OS1 to the image forming position of the first subject image when the subject 100 is present at the distance a.
  • ⁇ b FD1 is the difference between the focal length f 1 and the distance b FD1 from the rear principal point of the first optical system OS1 to the imaging surface of the first image sensor S1, and m OD1 is , The magnification of the first subject image at the imaging position of the first subject image when the subject 100 exists at the distance a.
  • a FD1 is the distance from the front principal point of the first optical system OS1 to the distance measurement target point of the subject 100 when the first subject image is in best focus on the imaging surface of the first image sensor S1. Is.
  • magnification m 2 of the second subject image formed on the imaging surface of the second image sensor S2 by the second optical system OS2 can be expressed by the following formula (10).
  • EP OD2 is from the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the second subject image in the image space of the second optical system OS2 and the optical axis of the second optical system.
  • EP FD2 is a distance measurement target of the second subject image in the image space of the second optical system OS2 when the subject 100 exists at the distance a+D. It is the distance from the intersection of the extension of the chief ray at the image height of the point and the optical axis of the second optical system to the image pickup surface of the second image pickup element S2.
  • the positional relationship between the distance EP OD2 and the distance EP FD2 is the position of the second optical system OS2 so that the subject 100 at an arbitrary distance a FD2 is in the best focus when the second imaging system IS2 is configured. It is determined by adjusting (lens position). Further, ⁇ b OD2 is the focal length f 2 and the distance b OD2 from the rear principal point of the second optical system OS2 to the image formation position of the second subject image when the subject 100 exists at the distance a+D.
  • ⁇ b FD2 is the difference between the focal length f 2 and the distance b FD2 from the rear principal point of the second optical system OS2 to the imaging surface of the second image sensor S2, and m OD2 is , FD2 is the magnification of the second subject image at the image forming position of the second subject image when the subject 100 is present at the distance a+D, and a FD2 is the second subject image on the imaging surface of the second image sensor S2. Is the distance from the front principal point of the second optical system OS2 to the distance measurement target point of the subject 100 when is in the best focus.
  • the image magnification ratio MR of the second subject image formed above and the magnification m 2 can be expressed by the following equation (11).
  • K is a coefficient, and from fixed values f 1 , f 2 , EP 1 , EP 2 , a FD1 , and a FD2 that are determined by the configurations of the first imaging system IS1 and the second imaging system IS2. It is represented by the following formula (12).
  • the magnification m 1 of the first subject image formed on the imaging surface of the first image sensor S1 by the first optical system OS1 and the second optical system OS2 The image magnification ratio MR with the magnification m 2 of the second subject image formed on the imaging surface of the second image sensor S2 depends on the distance a from the subject 100 to the front principal point of the first optical system OS1. You can see that it changes.
  • f 1 , f 2 , EP 1 , EP 2 , D and K are fixed values determined by the configurations of the first image pickup system IS1 and the second image pickup system IS2, and thus the image magnification If the ratio MR can be obtained, the distance a from the subject 100 to the front principal point of the first optical system OS1 can be calculated.
  • the magnification m 1 of the first subject image formed on the imaging surface of the first image sensor S1 by the first optical system OS1 calculated based on the above equation (13)
  • the image magnification ratio MR of the second subject image formed on the imaging surface of the second image sensor S2 by the second optical system OS2 to the image magnification ratio MR, and the distance a of the subject 100 to the distance measurement target point An example of the relationship is shown. As is clear from FIG. 3, there is a one-to-one relationship between the value of the image magnification ratio MR and the distance a of the subject 100 to the distance measurement target point.
  • the image magnification ratio MR can be calculated by the following equation (14).
  • sz is the actual size of the distance measurement target point of the subject 100 in the object space (distance from the optical axis of the first optical system OS1 in the direction orthogonal to the optical axis of the first optical system OS1).
  • Y FD1 is the image height (orthogonal to the optical axis of the first optical system of the first subject image formed on the image pickup surface of the first image pickup device S1 by the first optical system OS1 at the distance measurement target point).
  • Y FD2 is a measurement of the second subject image formed on the imaging surface of the second image sensor S2 by the second optical system OS2. This is the image height of the distance target point (distance from the optical axis of the second optical system in the direction orthogonal to the optical axis of the second optical system).
  • the image height Y FD1 of the distance measurement target point of the first subject image and the image height Y FD2 of the distance measurement target point of the second subject image are the first image pickup element S1 and the second image pickup element S2. It can be calculated from the image signal of the first subject image and the image signal of the second subject image, which are acquired by capturing the subject image and the second subject image.
  • the image signal of the first subject image and the image signal of the second subject image obtained by actually capturing the subject 100 using the first imaging system IS1 and the second imaging system IS2 The image height Y FD1 of the distance measurement target point of the first subject image and the image height Y FD2 of the distance measurement target point of the second subject image are measured, and the magnification m 1 of the first subject image and the second It is possible to obtain the image magnification ratio MR with the magnification m 2 of the subject image.
  • the distance measuring camera of the present invention is based on the image height Y FD1 of the distance measurement target point of the first subject image and the image height Y FD2 of the distance measurement target point of the second subject image which are actually measured.
  • the subject 100 is at infinity from the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the first subject image in the image space of the system OS1 and the optical axis of the first optical system.
  • the change in the magnification m 1 of the first subject image according to the distance a to the distance measurement target point of the subject 100 changes the second subject image according to the distance a to the distance measurement target point of the subject 100. It becomes the same as the change of the magnification m 2 , and it becomes impossible to calculate the distance a from the first optical system OS1 to the object distance measurement target point based on the image magnification ratio MR.
  • the image magnification ratio MR is the distance. It does not hold as a function of a, and the image magnification ratio MR becomes a constant. Even in such a special case, it becomes impossible to calculate the distance a from the first optical system OS1 to the object distance measurement target point based on the image magnification ratio MR.
  • the first optical system OS1 and the second optical system OS2 are configured and arranged so that at least one of the following three conditions is satisfied, whereby the distance measurement of the subject 100 is performed.
  • the change in the magnification m 1 of the first subject image according to the distance a to the target point is different from the change in the magnification m 2 of the second subject image according to the distance a of the subject 100 to the distance measurement target point. It has become.
  • the focal length f 1 of the (first condition) first optical system OS1, the focal length f 2 of the second optical system OS2 are different from each other (f 1 ⁇ f 2) (Second condition) From the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the first subject image in the image space of the first optical system OS1 and the optical axis of the first optical system, The distance EP 1 to the image formation position of the first subject image when the subject 100 is at infinity and the image height of the distance measurement target point of the second subject image in the image space of the second optical system OS2.
  • the image magnification ratio MR does not hold as a function of the distance a, and the distance a from the first optical system OS1 to the object distance measurement target point based on the image magnification ratio MR. Becomes impossible to calculate. Therefore, in order to calculate the distance a from the first optical system OS1 to the distance measurement target point of the subject based on the image magnification ratio MR, the distance measurement camera of the present invention uses the image magnification ratio MR as a function of the distance a. It is configured to further satisfy the fourth condition of being satisfied.
  • the image height Y FD1 of the distance measurement target point of the first subject image actually measured from the image signal of the first subject image and the image signal of the second subject image acquired by using the distance measurement camera of the present invention.
  • the distance a from the front principal point of the first optical system OS1 to the distance measurement target point of the subject 100 is calculated. It can be calculated.
  • each of the first optical system OS1 and the second optical system OS2 causes vignetting due to the size and thickness of a lens forming the optical system, a mechanical aperture stop (flare cutter), or the like.
  • the first optical system OS1 is an optical system that causes vignetting according to the image height of the distance measurement target point of the first subject image corresponding to the distance measurement target point of the subject 100
  • the second optical system OS1 is an optical system that causes vignetting according to the image height of the distance measurement target point of the second subject image corresponding to the distance measurement target point of the subject 100.
  • FIG. 4A shows a subject image in the image space of the optical system in the case where the image height of the distance measurement target point of the subject image corresponding to the distance measurement target point of the subject 100 is high in the optical system in which vignetting does not occur.
  • the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the distance measurement target point is shown.
  • FIG. 4B shows a subject image in the image space of the optical system in the case where the image height of the distance measurement target point of the subject image corresponding to the distance measurement target point of the subject 100 is low in the optical system in which vignetting does not occur.
  • the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the distance measurement target point is shown.
  • the image height value of the distance measurement target point of the subject image corresponding to the distance measurement target point of the subject 100 is Even if it changes, the position of the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the distance measurement target point of the subject image in the image space of the optical system does not change. Further, the position of the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the distance measurement target point of the subject image in the image space of the optical system coincides with the position of the exit pupil of the optical system.
  • the first subject image in the image space of the first optical system OS1 is irrespective of the image height of the distance measurement target point of the subject image in the image space of the optical system.
  • the distance EP from the intersection of the extension line of the chief ray at the image height of the distance measurement target point and the optical axis of the first optical system OS1 to the image formation position of the first subject image when the subject 100 is at infinity. 1 is equal to the distance from the exit pupil of the first optical system OS1 to the image formation position of the first subject image when the subject 100 is at infinity.
  • the subject 100 is detected from the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the second subject image in the image space of the second optical system OS2 and the optical axis of the second optical system OS2, the subject 100 is detected.
  • the distance EP 2 to the image forming position of the second subject image when the subject 100 is at infinity is the formation of the second subject image when the subject 100 is at infinity from the exit pupil of the second optical system OS2. Equal to the distance to the image position. In this way, when vignetting does not occur in the optical system, EP 1 and EP 2 do not change even if the image height value of the distance measurement target point of the subject image corresponding to the distance measurement target point of the subject 100 changes. ..
  • EP 1 is a fixed value determined when the first optical system OS 1 is configured and arranged
  • EP 2 is a fixed value determined when the second optical system OS 2 is configured and arranged.
  • EP 1 and EP 2 are set as the distance measurement target points of the first subject image and the second subject image. Can be treated as a fixed value that does not change with respect to the image height.
  • FIG. 5A corresponds to the distance measurement target point of the subject in the optical system in which the vignetting according to the image height of the distance measurement target point of the subject image corresponding to the distance measurement target point of the subject 100 occurs.
  • the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the distance measurement target point of the subject image in the image space of the optical system when the image height of the distance measurement target point of the subject image is high is shown.
  • FIG. 5B shows an object image corresponding to a distance measurement target point of an object in an optical system where vignetting occurs depending on the image height of the distance measurement target point of the object image corresponding to the distance measurement target point of the object 100.
  • the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the object point of the object image in the image space of the optical system when the image height of the object point of distance measurement is low is shown.
  • FIG. 5A when the image height of the object point of the object image is high, the size and thickness of the lens forming the optical system and the vignetting of the light flux by the mechanical aperture stop occur.
  • the peripheral portion of the light flux that is focused on the distance measurement target point of the subject does not pass through the aperture stop, and the diameter of the light flux that is focused on the distance measurement target point of the subject image changes.
  • the chief ray at an arbitrary image height in the image space of the optical system is the central ray of the light beam condensed at the image height in the image space, and therefore, as shown in FIG.
  • the position of the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the distance measurement target point of the subject image in the image space of the optical system changes.
  • the position of the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the distance measurement target point of the subject image in the image space of the optical system and the position of the exit pupil of the optical system do not match. ..
  • the measurement of the subject image corresponding to the distance measurement target point of the subject 100 is performed.
  • the position of the intersection of the extension line of the chief ray and the optical axis of the optical system at the image height of the distance measurement target point of the subject image in the image space of the optical system changes depending on the image height of the distance corresponding point.
  • EP 1 and EP 2 used in the above general formula (13) until the distance a of the subject to the distance measurement target point is calculated based on the image magnification ratio MR are the first subject image and the second subject.
  • the calculated object measurement is performed as the image height of the distance measurement target point of the subject image corresponding to the distance measurement target point of the subject 100 increases.
  • the error between the distance a to the distance target point and the distance a to the actual distance measurement target point of the subject increases.
  • EP 1 used in the general formula (13) is not a fixed value that does not change with respect to the image height of the distance measurement target point of the first subject image, It is treated as a variable that changes according to the image height of the distance measurement target point of the first subject image, and similarly, EP 2 is a fixed value that does not change with respect to the image height of the distance measurement target point of the second subject image. Instead, it is configured to be treated as a variable that changes according to the image height of the distance measurement target point of the second subject image.
  • a distance measuring camera of the present invention for calculating a distance a from the front principal point of the first optical system OS1 to a distance measurement target point of the subject 100 using the above-described principle will be described below with reference to a preferred embodiment shown in the accompanying drawings. It will be described in detail based on the form.
  • FIG. 6 is a block diagram schematically showing the distance measuring camera according to the first embodiment of the present invention.
  • the distance measuring camera 1 shown in FIG. 6 has a function of calculating the distance to the distance measurement target point of the subject 100.
  • the ranging camera 1 includes a control unit 2 that controls the ranging camera 1, a first optical system OS 1 that collects light from the subject 100 to form a first subject image, and the subject 100. Formed by a second optical system OS2 for condensing the light of to form a second subject image and a first subject image and a second optical system OS2 formed by the first optical system OS1.
  • the image pickup unit S for picking up the second subject image, the image magnification ratio MR of the magnification m 1 of the first subject image and the magnification m 2 of the second subject image, and the distance measurement target point of the subject 100.
  • Associated information storage unit 3 that stores association information that associates the distance a with the distance a to the distance measurement target points of the first subject image and the second subject image that correspond to the distance measurement target points of the subject 100.
  • a distance calculation for calculating the distance to the distance measurement target point of the subject 100 based on the first subject image and the second subject image captured by the image capturing unit S by performing the calculation according to the image height.
  • a three-dimensional image generation unit 5 for generating a three-dimensional image, a display unit 6 for displaying arbitrary information such as a liquid crystal panel, an operation unit 7 for inputting a user's operation, and an external device.
  • the communication unit 8 for executing the communication and the data bus 9 for exchanging data between the respective components of the distance measuring camera 1 are provided.
  • the distance measuring camera 1 has the first optical system OS1 among the above three conditions required to calculate the distance a to the distance measurement target point of the subject 100 based on the image magnification ratio MR.
  • a focal length f 2 of the second optical system OS2 is different (f 1 ⁇ f 2) first so the condition is met that the first optical system OS1 and second mutually An optical system OS2 is configured.
  • the first optical system OS1 and the second optical system OS2 are designed to satisfy the other two conditions (EP 1 ⁇ EP 2 and D ⁇ 0) out of the above-mentioned three conditions. Not configured and deployed.
  • the distance measuring camera 1 of the present embodiment is configured to satisfy the fourth condition that the image magnification ratio MR is satisfied as a function of the distance a.
  • Ranging camera 1 of this embodiment calculates the Zobaihi MR with magnification m 2 magnification m 1 and a second object image of the first object image by imaging a subject 100 by the imaging unit S, Further, the distance a to the distance measurement target point of the subject 100 is calculated using the above equation (15).
  • the control unit 2 sends and receives various data and various instructions to and from each component via the data bus 9, and controls the distance measuring camera 1.
  • the control unit 2 includes a processor for executing arithmetic processing and a memory for storing data, programs, modules, etc. necessary for controlling the distance measuring camera 1, and the processor of the control unit 2 Controls the rangefinder camera 1 by using data, programs, modules, etc. stored in the memory. Further, the processor of the control unit 2 can provide a desired function by using each component of the distance measuring camera 1. For example, the processor of the control unit 2 uses the distance calculation unit 4, and based on the first subject image and the second subject image captured by the image capturing unit S, the distance to the distance measurement target point of the subject 100. Processing for calculating a can be executed.
  • the processor of the control unit 2 is, for example, one or more microprocessors, microcomputers, microcontrollers, digital signal processors (DSP), central processing units (CPU), memory control units (MCU), arithmetic processing units for image processing. (GPU), a state machine, a logic circuit, an application specific integrated circuit (ASIC), or a combination thereof, which is an arithmetic unit that executes arithmetic processing such as signal operation based on computer readable instructions.
  • the processor of controller 2 is configured to fetch computer-readable instructions (eg, data, programs, modules, etc.) stored in the memory of controller 2 and perform signal manipulation and control.
  • the memory of the control unit 2 includes a volatile storage medium (eg, RAM, SRAM, DRAM), a non-volatile storage medium (eg, ROM, EPROM, EEPROM, flash memory, hard disk, optical disk, CD-ROM, digital versatile disk ( DVD), magnetic cassette, magnetic tape, magnetic disk), or a removable or non-removable computer readable medium including a combination thereof.
  • a volatile storage medium eg, RAM, SRAM, DRAM
  • a non-volatile storage medium eg, ROM, EPROM, EEPROM, flash memory, hard disk, optical disk, CD-ROM, digital versatile disk ( DVD), magnetic cassette, magnetic tape, magnetic disk
  • a removable or non-removable computer readable medium including a combination thereof.
  • the first optical system OS1 has a function of collecting light from the subject 100 and forming a first subject image on the image pickup surface of the first image pickup device S1 of the image pickup unit S.
  • the second optical system OS2 has a function of condensing light from the subject 100 and forming a second subject image on the imaging surface of the second image sensor S2 of the imaging unit S.
  • the first optical system OS1 and the second optical system OS2 are composed of one or more lenses and optical elements such as a diaphragm. Further, as shown in the figure, the optical axis of the first optical system OS1 and the optical axis of the second optical system OS2 are parallel, but do not match.
  • the first optical system OS1 generates vignetting according to the image height of the distance measurement target point of the first subject image corresponding to the distance measurement target point of the subject 100, and the image space of the first optical system OS1.
  • the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the first subject image and the optical axis of the first optical system OS1 becomes the image height of the distance measurement target point of the first subject image at It is an optical system that changes accordingly.
  • vignetting occurs according to the image height of the distance measurement target point of the second subject image corresponding to the distance measurement target point of the subject 100, and the image of the second optical system OS2 is generated.
  • the intersection of the extension line of the chief ray and the optical axis of the second optical system OS2 at the image height of the distance measurement target point of the second object image in space is the image height of the distance measurement target point of the second object image. It is an optical system that changes according to.
  • the first optical system OS1 and a second optical system OS2 is a focal length f 1 of the first optical system OS1 and the focal length f 2 of the second optical system OS2 are different from each other ( f 1 ⁇ f 2 ).
  • a change according to the distance a of the object 100 having the magnification m 1 of the first object image formed by the first optical system OS1 to the distance measurement target point is formed by the second optical system OS2. It is different from the change according to the distance to the distance measurement target point of the subject 100 at the magnification m 2 of the second subject image.
  • the configuration of the first optical system OS1 and the configuration and arrangement of the second optical system OS2 in the present embodiment satisfy the above-described first condition (f 1 ⁇ f 2 ), whereby the subject
  • the change in the magnification m 1 of the first subject image with respect to the distance a to the distance measurement target point of 100 and the change in the magnification m 2 of the second subject image with respect to the distance a to the distance measurement target point of subject 100 are: Any mode may be used as long as they are different from each other.
  • the image capturing section S captures a first subject image formed by the first optical system OS1 and a second subject image formed by the second optical system OS2, and outputs an image signal of the first subject image and a first subject image. It has a function of acquiring the image signal of the subject image of No. 2.
  • the imaging unit S captures a first subject image, captures a first image sensor S1 for acquiring an image signal of the first subject image, and a second subject image, The second image sensor S2 for acquiring the image signal of the second subject image.
  • the first image sensor S1 and the first optical system OS1 are provided in the same housing, and the second image sensor S2 and the second optical system OS2 are different from each other.
  • the present invention is not limited to this.
  • a mode in which the first optical system OS1, the second optical system OS2, the first image sensor S1, and the second image sensor S2 are all provided in the same housing is also within the scope of the present invention. is there.
  • the first image sensor S1 and the second image sensor S2 are CMOS image sensors or CCD images having color filters such as RGB primary color system color filters or CMY complementary color system color filters arranged in an arbitrary pattern such as Bayer array. It may be a color image pickup device such as a sensor or a monochrome image pickup device having no such color filter.
  • the first optical system OS1 forms a first subject image on the imaging surface of the first image sensor S1, and the first image sensor S1 acquires a color or monochrome image signal of the first subject image. It The acquired image signal of the first subject image is sent to the control unit 2 and the distance calculation unit 4 via the data bus 9.
  • the second optical system OS2 forms a second object image on the imaging surface of the second image sensor S2, and the second image sensor S2 outputs a color or monochrome image signal of the second object image. Is obtained. The acquired image signal of the second subject image is sent to the control unit 2 and the distance calculation unit 4 via the data bus 9.
  • the image signal of the first subject image and the image signal of the second subject image sent to the distance calculation unit 4 are used to calculate the distance a to the distance measurement target point of the subject 100.
  • the image signal of the first subject image and the image signal of the second subject image sent to the control unit 2 are used for image display by the display unit 6 and communication of the image signal by the communication unit 8.
  • Association information storage unit 3 and the magnification m 1 of the first object image and Zobaihi MR (m 2 / m 1) and magnification m 2 of the second object image, the front of the first optical system OS1 It is an arbitrary non-volatile recording medium (for example, a hard disk, a flash memory) for storing associated information that associates with a distance (subject distance) a from the principal point to the distance measurement target point of the subject 100. Association information stored in the association information storage unit 3, from Zobaihi MR (m 2 / m 1) between the magnification m 1 of the first object image and the magnification m 2 of the second object image, This is information for calculating the distance a of the subject 100 to the distance measurement target point.
  • Zobaihi MR m 2 / m 1
  • the association information stored in the association information storage unit 3 is the above equation (15) (for calculating the distance a to the distance measurement target point of the subject 100 based on the image magnification ratio MR.
  • the above-mentioned fixed value determined by the configuration and arrangement of the first optical system OS1 and the second optical system OS2 in the formula (fixed for the above formula (15).
  • Values f 1 , f 2 , and K) information for specifying EP 1 according to the image height of the distance measurement target point of the first subject image, and the distance measurement target point of the second subject image This is information for specifying EP 2 according to the image height of.
  • each of the first optical system OS1 and the second optical system OS2 is an optical system in which vignetting occurs. Therefore, from the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the first subject image in the image space of the first optical system OS1 and the optical axis of the first optical system OS1, the subject 100
  • the distance EP 1 to the image formation position of the first subject image when existing at infinity depends on the image height of the distance measurement target point of the first subject image in the image space of the first optical system OS1. It is a variable that changes.
  • the distance EP 2 to the image formation position of the second subject image when 100 exists at infinity is the image height of the distance measurement target point of the second subject image in the image space of the second optical system OS2. It is a variable that changes accordingly.
  • the value of EP 1 corresponding to each image height of the distance measurement target point of the first subject image is measured or simulated in advance when the first optical system OS1 is configured, and the value of EP 1 of the distance measurement target point of the first subject image is calculated.
  • a lookup table or a mathematical expression for uniquely specifying the value of EP 1 from each image height is stored in the association information storage unit 3 as one of the association information.
  • the value of EP 2 corresponding to each image height of the distance measurement target point of the second subject image is measured or simulated in advance when the second optical system OS2 is configured, and the distance of the second subject image is measured.
  • a lookup table or a mathematical expression for uniquely specifying the value of EP 2 from each image height of the target point is stored in the association information storage unit 3 as one of the association information.
  • the value of EP 2 can be uniquely specified from the actually calculated image height Y FD2 of the distance measurement target point of the second subject image.
  • association information stored in the association information storage unit 3 it becomes possible to calculate the distance a to the distance measurement target point of the subject 100 based on the image magnification ratio MR.
  • the distance calculation unit 4 is imaged by the imaging unit S by performing calculation according to the image heights of the distance measurement target points of the first subject image and the second subject image corresponding to the distance measurement target points of the subject 100. It has a function of calculating the distance a to the distance measurement target point of the subject 100 based on the first subject image and the second subject image. More specifically, the distance calculator 4 calculates the image height Y FD1 of the distance measurement target point of the first subject image from the image signal of the first subject image, and further calculates the calculated first subject image. The value of EP 1 is specified from the image height Y FD1 of the distance measurement target point.
  • the distance calculation unit 4 calculates the image height Y FD2 of the distance measurement target point of the second subject image from the image signal of the second subject image, and further calculates the calculated distance of the second subject image.
  • the value of EP 2 is specified from the image height Y FD2 of the target point.
  • the distance calculation unit 4 determines the EP 1 and the second subject identified from the association information stored in the association information storage unit 3 and the image height Y FD1 of the distance measurement target point of the first subject image.
  • the distance calculation unit 4 receives the image signal of the first subject image from the first image sensor S1 of the image capturing unit S, and further receives the image signal of the second subject image from the second image sensor S2 of the image capturing unit S. Receives the image signal of. After that, the distance calculation unit 4 performs a filtering process such as Canny on the image signal of the first subject image and the image signal of the second subject image to obtain the first signal in the image signal of the first subject image. The target distance measurement point of the subject image and the target distance measurement point of the second subject image in the image signal of the second subject image are extracted.
  • a filtering process such as Canny
  • the distance calculation unit 4 calculates, based on the distance between the distance measurement target point of the extracted first subject image in the image signal of the first subject image and the pixel corresponding to the optical axis of the first optical system OS1, The image height (distance from the optical axis of the first optical system OS1 in the direction perpendicular to the optical axis of the first optical system OS1) Y FD1 of the distance measurement target point of the first subject image is calculated, and , The second subject image based on the distance between the distance measurement target point of the extracted second subject image in the image signal of the second subject image and the pixel corresponding to the optical axis of the second optical system OS2. The image height (distance between the second optical system OS2 and the optical axis of the second optical system OS2 in the direction perpendicular to the optical axis of the second optical system OS2) Y FD2 is calculated.
  • the distance calculation unit 4 uniquely specifies the value of EP 1 from the image height Y FD1 of the distance measurement target point of the first subject image stored as one of the association information in the association information storage unit 3.
  • the value of EP 1 is specified from the image height Y FD1 of the calculated object point of the first subject image by referring to a look-up table or a mathematical formula.
  • the distance calculation unit 4 uniquely sets the value of EP 2 from the image height Y FD2 of the distance measurement target point of the second subject image stored as one of the association information in the association information storage unit 3.
  • the value of EP 2 is specified from the calculated image height Y FD2 of the distance measurement target point of the second subject image with reference to a look-up table or a mathematical expression.
  • the distance calculation unit 4 identifies from the association information stored in the association information storage unit 3 and the image height Y FD1 of the distance measurement target point of the first subject image. Referring to the value of the EP 2 identified from an image height Y FD2 distance measuring target point value and the second object image of EP 1 was based on the Zobaihi MR, distance to the object point of the object 100 a is calculated (specified).
  • the distance calculation unit 4 corresponds to EP 1 corresponding to the image height of the distance measurement target point of the first subject image corresponding to the distance measurement target point of the subject 100 and the distance measurement target point of the subject 100 corresponding to the image height.
  • the distance calculation unit 4 uses EP 1 and EP 2 according to the image heights of the distance measurement target points of the first subject image and the second subject image corresponding to the distance measurement target points of the subject 100. By performing the calculation, the distance a to the distance measurement target point of the subject 100 is calculated (specified) based on the image magnification ratio MR.
  • each of the first optical system OS1 and the second optical system OS2 is an optical system in which vignetting occurs according to the image height of the distance measurement target point of the subject image, and the distance measurement target point of the subject 100 is measured. Even when the image heights of the distance measurement target points of the first subject image and the second subject image corresponding to are high, the distance calculation unit 4 accurately determines the distance a to the distance measurement target point of the subject 100. It can be calculated.
  • the three-dimensional image generation unit 5 calculates the distance a to the distance measurement target point of the subject 100 calculated by the distance calculation unit 4 and the two-dimensional image of the subject 100 acquired by the imaging unit S (image signal of the first subject image or It has a function of generating a three-dimensional image of the subject 100 based on the image signal of the second subject image.
  • the “three-dimensional image of the subject 100” referred to here is associated with the calculated distance a to the distance measurement target point of the subject 100 with respect to each pixel of the normal color or monochrome two-dimensional image of the subject 100.
  • the display unit 6 is a panel-type display unit such as a liquid crystal display unit, and a two-dimensional image of the subject 100 (image of the first subject image obtained by the imaging unit S in response to a signal from the processor of the control unit 2). Signal or image signal of the second subject image), the distance a to the distance measurement target point of the subject 100 calculated by the distance calculation unit 4, and the three-dimensional image of the subject 100 generated by the three-dimensional image generation unit 5 Images, information for operating the distance measuring camera 1, and the like are displayed on the display unit 6 in the form of characters or images.
  • the operation unit 7 is used by the user of the distance measuring camera 1 to execute an operation.
  • the operation unit 7 is not particularly limited as long as the user of the distance measuring camera 1 can perform the operation, and for example, a mouse, a keyboard, a numeric keypad, a button, a dial, a lever, a touch panel, etc. can be used as the operation unit 7. ..
  • the operation unit 7 transmits a signal according to an operation of the user of the distance measuring camera 1 to the processor of the control unit 2.
  • the communication unit 8 has a function of inputting data to the ranging camera 1 or outputting data from the ranging camera 1 to an external device.
  • the communication unit 8 may be configured to be connectable to a network such as the Internet.
  • the distance measuring camera 1 can communicate with an external device such as a web server or a data server provided outside by using the communication unit 8.
  • the first optical system OS1 and the second optical system OS2 have the focal length f 1 of the first optical system OS1 and the focal length of the second optical system OS2.
  • f 2 and f 2 are configured to be different from each other (f 1 ⁇ f 2 ), whereby the change in the magnification m 1 of the first subject image with respect to the distance a to the distance measurement target point of the subject 100 and the subject The change of the magnification m 2 of the second subject image with respect to the distance a to the distance measurement target point of 100 is different from each other.
  • the distance measurement camera 1 of the present invention based on the Zobaihi MR (m 2 / m 1) between the magnification m 1 of the first object image and the magnification m 2 of the second subject image, the subject 100 It is possible to uniquely calculate the distance a to the distance measurement target point.
  • FIG. 7 is a block diagram schematically showing a distance measuring camera according to the second embodiment of the present invention.
  • the distance measuring camera 1 of the second embodiment will be described focusing on the differences from the distance measuring camera 1 of the first embodiment, and the description of the same matters will be omitted.
  • the image pickup section S is composed of only the first image pickup element S1, and the first optical system OS1 and the second optical system OS2 are provided in the same housing.
  • the distance measuring camera 1 is the same as the distance measuring camera 1 of the first embodiment except that the first shutter 10a, the second shutter 10b, the mirror 11 and the prism 12 are provided in the housing.
  • the first optical system OS1 and the second optical system OS2 are arranged in the same housing. Further, a first shutter 10a that blocks the incidence of light from the subject 100 onto the first optical system OS1 is arranged on the front side (subject side) of the first optical system OS1 and the second optical system OS2. A second shutter 10b that blocks the incidence of light from the subject 100 on the second optical system OS2 is disposed on the front side of the.
  • the first shutter 10a and the second shutter 10b are controlled by the processor of the control unit 2 and open/close in response to a signal from the processor of the control unit 2.
  • the first shutter 10a and the second shutter 10b are controlled so that only one of them is opened, and they are not opened at the same time.
  • a mirror 11 and a prism 12 are arranged on the optical path of the light condensed by the second optical system OS2.
  • the light passing through the second shutter 10b and condensed by the second optical system OS2 passes through the mirror 11 and the prism 12 and reaches the image pickup surface of the first image pickup element S1.
  • the second subject image is formed on the imaging surface of the first imaging element S1.
  • the optical axis of the first optical system OS1 and the optical axis of the second optical system OS2 coincide with each other in the section from the prism 12 to the first image sensor S1, but Other sections, for example, sections from the subject 100 to the first optical system OS1 or the second optical system OS2 do not match.
  • the first shutter 10a When the first shutter 10a is opened, light from the subject 100 is incident on the first optical system OS1 and a first subject image is formed on the imaging surface of the first image sensor S1. At this time, the first image sensor S1 acquires the image signal of the first subject image and sends the image signal of the first subject image to the control unit 2 and the distance calculation unit 4.
  • the first image sensor S1 acquires the image signal of the second subject image and sends the image signal of the second subject image to the control unit 2 and the distance calculation unit 4.
  • either the first shutter 10a or the second shutter 10b is opened under the control of the processor of the control unit 2.
  • the distance measuring camera 1 can separately acquire the image signal of the first subject image and the image signal of the second subject image.
  • the image pickup unit S is a single unit for picking up both a first subject image formed by the first optical system OS1 and a second subject image formed by the second optical system OS2. Image sensor (first image sensor S1). Therefore, downsizing and cost reduction of the distance measuring camera 1 can be realized.
  • FIG. 8 is a block diagram schematically showing a distance measuring camera according to the third embodiment of the present invention.
  • the distance measuring camera 1 of the third embodiment will be described focusing on the differences from the distance measuring camera 1 of the first embodiment, and the description of the same matters will be omitted.
  • the distance measuring camera 1 of the present embodiment is the same as the distance measuring camera 1 of the first embodiment except that the configurations of the first optical system OS1 and the second optical system OS2 are changed.
  • the distance measuring camera 1 has the first optical system OS1 among the above three conditions required to calculate the distance a to the distance measurement target point of the subject 100 based on the image magnification ratio MR.
  • the subject 100 is at infinity from the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the first subject image in the image space of 1st and the optical axis of the first optical system OS1.
  • a second condition is that the distance EP 2 from the intersection with the optical axis of OS2 to the image forming position of the second subject image when the subject 100 is at infinity is different (EP 1 ⁇ EP 2 ).
  • the first optical system OS1 and the second optical system OS2 are configured so as to be satisfied.
  • the first optical system OS1 and the second optical system OS2 are designed to satisfy the other two conditions (f 1 ⁇ f 2 and D ⁇ 0) among the above-mentioned three conditions. Not configured and deployed.
  • the distance measuring camera 1 of the present embodiment is configured to satisfy the fourth condition that the image magnification ratio MR is satisfied as a function of the distance a.
  • the distance EP 1 from the intersection with the optical axis of OS1 to the image formation position of the first subject image when the subject 100 is at infinity, and the second subject image in the image space of the second optical system OS2. From the intersection of the extension line of the chief ray at the image height of the distance measurement target point and the optical axis of the second optical system OS2 to the image formation position of the second subject image when the subject 100 is at infinity.
  • the first optical system OS1 and the second optical system OS2 are configured such that EP 2 and EP 2 are different from each other (EP 1 ⁇ EP 2 ), whereby the distance a to the distance measurement target point of the subject 100 is set.
  • the change in the magnification m 1 of the first subject image and the change in the magnification m 2 of the second subject image with respect to the distance a of the subject 100 to the distance measurement target point are different from each other. Therefore, the distance measurement camera 1 of this embodiment, based on Zobaihi MR (m 2 / m 1) between the magnification m 1 of the first object image and the magnification m 2 of the second subject image, the subject 100 It is possible to uniquely calculate the distance a to the distance measurement target point.
  • the same effect as that of the above-described first embodiment can be exhibited.
  • the configurations and arrangements of the first optical system OS1 and the second optical system OS2 in the present embodiment satisfy the above-mentioned second condition (EP 1 ⁇ EP 2 ), and thus the subject 100
  • the change in the magnification m 1 of the first subject image with respect to the distance a to the distance measurement target point and the change in the magnification m 2 of the second subject image with respect to the distance a of the subject 100 to the distance measurement target point are different from each other. Any configuration may be used as long as it is as described above.
  • FIG. 9 is a block diagram schematically showing a distance measuring camera according to the fourth embodiment of the present invention.
  • the difference between the distance measuring camera 1 of the present embodiment and the distance measuring camera 1 of the third embodiment is the difference between the distance measuring camera 1 of the second embodiment and the distance measuring camera 1 of the first embodiment described above.
  • the image pickup section S is composed of only the first image pickup element S1, and the first optical system OS1 and the second optical system OS2 are in the same housing.
  • the distance measuring camera 1 is the same as the distance measuring camera 1 of the third embodiment except that the first shutter 10a, the second shutter 10b, the mirror 11 and the prism 12 are provided in the housing.
  • the first optical system OS1 and the second optical system OS2 are arranged in the same housing. Further, a first shutter 10a that blocks the incidence of light from the subject 100 onto the first optical system OS1 is arranged on the front side (subject side) of the first optical system OS1 and the second optical system OS2. A second shutter 10b that blocks the incidence of light from the subject 100 on the second optical system OS2 is disposed on the front side of the.
  • the distance measuring camera 1 uses only a single image sensor (first image sensor S1). , The image signal of the first subject image and the image signal of the second subject image can be separately obtained.
  • the same effect as that of the above-described third embodiment can be exhibited.
  • the image pickup unit S is formed by the first subject image formed by the first optical system OS1 and the second image formed by the second optical system OS2.
  • FIG. 10 is a block diagram schematically showing a distance measuring camera according to the fifth embodiment of the present invention.
  • the distance measuring camera 1 of the present embodiment is the same as the distance measuring camera 1 of the first embodiment except that the configurations and arrangements of the first optical system OS1 and the second optical system OS2 are changed.
  • the distance measuring camera 1 has the first optical system OS1 among the above three conditions required to calculate the distance a to the distance measurement target point of the subject 100 based on the image magnification ratio MR.
  • the optical system OS1 and the second optical system OS2 are configured and arranged.
  • the first optical system OS1 and the second optical system OS2 satisfy the other two conditions (f 1 ⁇ f 2 and EP 1 ⁇ EP 2 ) among the above three conditions. Is not configured to.
  • the distance measuring camera 1 of the present embodiment is configured to satisfy the fourth condition that the image magnification ratio MR is satisfied as a function of the distance a.
  • D ⁇ 0 the change in the magnification m 1 of the first subject image with respect to the distance a to the distance measurement target point of the subject 100 and the distance measurement of the subject 100
  • the change in the magnification m 2 of the second subject image with respect to the distance a to the target point is different from each other.
  • the distance measurement camera 1 of this embodiment based on Zobaihi MR (m 2 / m 1) between the magnification m 1 of the first object image and the magnification m 2 of the second subject image, the subject 100 It is possible to uniquely calculate the distance a to the distance measurement target point.
  • the same effect as that of the above-described first embodiment can be exhibited.
  • the configuration of the first optical system OS1 and the configuration and arrangement of the second optical system OS2 in the present embodiment satisfy the above-mentioned third condition (D ⁇ 0), and thus the subject 100 is
  • the change in the magnification m 1 of the first subject image with respect to the distance a to the distance measurement target point and the change in the magnification m 2 of the second subject image with respect to the distance a of the subject 100 to the distance measurement target point are different from each other. Any configuration may be used as long as it is as described above.
  • FIG. 11 is a block diagram schematically showing a distance measuring camera according to the sixth embodiment of the present invention.
  • the difference between the distance measuring camera 1 of the present embodiment and the distance measuring camera 1 of the fifth embodiment is the difference between the distance measuring camera 1 of the second embodiment and the distance measuring camera 1 of the first embodiment described above
  • the difference between the distance measuring camera 1 of the fourth embodiment and the distance measuring camera 1 of the third embodiment described above is the same. That is, in the distance measuring camera 1 of the sixth embodiment, the image pickup section S is composed of only the first image pickup element S1, and the first optical system OS1 and the second optical system OS2 are in the same housing.
  • the distance measuring camera 1 is the same as the distance measuring camera 1 of the fifth embodiment except that the first shutter 10a, the second shutter 10b, the mirror 11 and the prism 12 are provided in the housing.
  • the first optical system OS1 and the second optical system OS2 are arranged on the same straight line in a direction orthogonal to the depth direction (optical axis direction) in the same housing.
  • the first optical system OS1 and the second optical system OS2 have a distance from the first optical system OS1 to the front principal point of the first optical system OS1 and a distance from the second optical system OS2 to the second optical system OS2.
  • the distance to the front principal point of the system OS2 is different, and therefore, the depth direction between the front principal point of the first optical system OS1 and the front principal point of the second optical system OS2 ( A difference D in the optical axis direction exists (D ⁇ 0).
  • the first optical system OS1 and the second optical system OS2 are arranged in the same housing. .. Further, a first shutter 10a that blocks the incidence of light from the subject 100 onto the first optical system OS1 is arranged on the front side (subject side) of the first optical system OS1 and the second optical system OS2. A second shutter 10b that blocks the incidence of light from the subject 100 on the second optical system OS2 is disposed on the front side of the.
  • the range-finding camera 1 has a single image sensor (first image sensor S1). ) Alone, the image signal of the first subject image and the image signal of the second subject image can be separately acquired.
  • the same effect as that of the above-described fifth embodiment can be exhibited.
  • the image pickup unit S is formed by the first subject image formed by the first optical system OS1 and the second image formed by the second optical system OS2.
  • FIG. 12 is a block diagram schematically showing a distance measuring camera according to the seventh embodiment of the present invention.
  • the distance measuring camera 1 of the seventh embodiment is the same as the distance measuring camera 1 of the first embodiment except that the configurations and arrangements of the first optical system OS1 and the second optical system OS2 are changed. ..
  • the first optical system OS1 and the second optical system OS2 are arranged so that there is a difference in position in the depth direction within the same housing. Therefore, the first optical system OS1 and the second optical system OS2 have a distance from the first optical system OS1 to the front principal point of the first optical system OS1 and a distance from the second optical system OS2 to the second optical system OS2. Even if the distance to the front principal point of the system OS2 is equal, the front principal point of the first optical system OS1 and the front principal point of the second optical system OS2 are A difference D in the depth direction (optical axis direction) can be secured (D ⁇ 0). Also according to this embodiment, the same effect as that of the above-described sixth embodiment can be exhibited.
  • the rangefinder camera 1 of the present invention does not use parallax between a plurality of images and does not irradiate a subject with a fixed pattern.
  • the distance a to the distance measurement target point of the subject 100 is uniquely calculated based on the image magnification ratio MR (m 2 /m 1 ) of the subject image magnification m 1 and the second subject image magnification m 2. be able to.
  • the distance measuring camera 1 of the present invention does not need to secure a large parallax unlike the conventional distance measuring camera of the stereo camera system using the parallax between a plurality of images, and therefore the first optical system OS1 and the first optical system OS1 Even if the two optical systems OS2 are arranged close to each other, the distance a to the distance measurement target point of the subject 100 can be accurately calculated. As a result, the distance measuring camera 1 can be miniaturized as compared with the conventional stereo camera type distance measuring camera. Further, since the distance measuring camera 1 of the present invention does not use parallax to calculate the distance of the subject 100 to the distance measurement target point, even when the subject 100 is in a position close to the distance measuring camera 1. The distance a of the subject 100 to the distance measurement target point can be accurately measured. Further, according to the present invention, since it is not necessary to design the distance measuring camera 1 in consideration of parallax, the degree of freedom in designing the distance measuring camera 1 can be increased.
  • the distance calculating unit 4 uses the image height of the distance measurement target point of the first subject image in the image space of the first optical system OS1 to determine the first optical system.
  • the subject 100 is at infinity from the intersection of the extension line of the chief ray at the image height of the distance measurement target point of the first subject image in the image space of OS1 and the optical axis of the first optical system OS1
  • the value of the distance EP 1 to the image formation position of the first subject image is specified, and similarly, by using the image height of the distance measurement target point of the second subject image in the image space of the second optical system OS2,
  • the subject 100 becomes infinity from the intersection of the extension line of the principal ray at the image height of the distance measurement target point of the second subject image in the image space of the second optical system OS2 and the optical axis of the second optical system OS2.
  • each of the first optical system OS1 and the second optical system OS2 is an optical system in which vignetting occurs according to the image height of the distance measurement target point of the subject image, and the distance measurement target point of the subject 100 is measured. Even when the image heights of the distance measurement target points of the first subject image and the second subject image corresponding to are high, the distance calculation unit 4 accurately determines the distance a to the distance measurement target point of the subject 100. It can be calculated.
  • the distance measuring camera 1 of the present invention does not need to use a special light source such as a projector that irradiates a subject with light of a fixed pattern. Therefore, the system configuration of the distance measuring camera 1 can be simplified. As a result, the ranging camera 1 can be made smaller, lighter in weight, lower in power consumption, and lower in cost than the conventional range-finding type ranging camera.
  • the above general formula (13) used for calculating the distance a to the distance measurement target point of the subject 100 based on the image magnification ratio MR is
  • the first optical system OS1 and the second optical system OS2 are fixed focus systems that do not have an autofocus function, and the image pickup surface of the first image pickup element S1 is not at the image formation position of the first subject image, In order to calculate the distance a to the distance measurement target point of the subject 100 even when the image pickup surface of the second image pickup device S2 is not at the image forming position of the second subject image, that is, even when defocus exists. Can be used for.
  • the distance measuring camera 1 of the present invention it is not necessary to use the lens drive system for providing the autofocus function of the first optical system OS1 and the second optical system OS2. Therefore, the number of parts of the distance measuring camera 1 can be reduced, and the distance measuring camera 1 can be reduced in size, weight, and cost. Further, it is not necessary to consume the power to drive the first optical system OS1 and the second optical system OS2, so that the power consumption of the distance measuring camera 1 can be reduced. Further, since the processing time required for the focus operation is also unnecessary, it is possible to shorten the measurement time required for calculating the distance a of the subject 100 to the distance measurement target point.
  • the additional optical system changes the magnification of the subject image formed by the additional optical system with respect to the distance a to the distance measurement target point of the subject 100 at the magnification m 1 of the first subject image.
  • the distance a to the distance measurement target point and the change in the magnification m 2 of the second subject image to the distance measurement target point a of the subject are different from each other.
  • each of the above-described embodiments satisfies one of the above-mentioned three conditions required to calculate the distance a to the distance measurement target point of the subject 100 based on the image magnification ratio MR.
  • the first optical system OS1 and the second optical system OS2 are constructed and arranged, but the first optical system OS1 and the second optical system OS2 are so arranged that at least one of the above-mentioned three conditions is satisfied.
  • the present invention is not limited to this as long as it is configured and arranged.
  • an aspect in which the first optical system OS1 and the second optical system OS2 are configured and arranged so that all or any combination of the above-mentioned three conditions is satisfied is also within the scope of the present invention. ..
  • FIG. 13 is a flow chart for explaining the distance measuring method executed by the distance measuring camera of the present invention.
  • the distance measuring method described in detail below should be executed using the distance measuring camera 1 according to the above-described first to seventh embodiments of the present invention and any device having a function equivalent to that of the distance measuring camera 1. However, for the sake of explanation, the description will be given assuming that the distance measurement camera 1 according to the first embodiment is used.
  • the distance measuring method S100 shown in FIG. 13 is started when the user of the distance measuring camera 1 uses the operation unit 7 to perform an operation for measuring the distance a to the distance measurement target point of the subject 100. ..
  • the first image sensor S1 of the image capturing unit S captures a first subject image formed by the first optical system OS1 and acquires an image signal of the first subject image.
  • the image signal of the first subject image is sent to the control unit 2 and the distance calculation unit 4 via the data bus 9.
  • the distance calculation unit 4 determines, based on the received image signal of the first subject image, the image height of the distance measurement target point of the first subject image (in the direction perpendicular to the optical axis of the first optical system OS1). (Distance from the optical axis of the first optical system OS1) Y FD1 is calculated.
  • step S130 the second image sensor S2 of the image capturing unit S captures the second subject image formed by the second optical system OS2, and the image signal of the second subject image is acquired.
  • the image signal of the second subject image is sent to the control unit 2 and the distance calculation unit 4 via the data bus 9.
  • step S140 the distance calculation unit 4 determines, based on the received image signal of the second subject image, the image height of the distance measurement target point of the second subject image (in the direction perpendicular to the optical axis of the second optical system OS2). (Distance from the optical axis of the second optical system OS2) Y FD2 is calculated.
  • the acquisition of the image signal of the first subject image and the calculation of the image height Y FD1 of the distance measurement target point of the first subject image in steps S110 and S120 are performed using the second subject image in steps S130 and S140. This may be performed simultaneously with the acquisition of the image signal and the calculation of the image height Y FD2 of the distance measurement target point of the second subject image, or may be performed separately.
  • step S160 the distance calculation unit 4 changes from the image height Y FD1 of the distance measurement target point of the first subject image stored in the association information storage unit 3 as one of the association information to EP 1 .
  • the value of EP 1 is specified from the image height Y FD1 of the calculated distance measurement target point of the first subject image with reference to a lookup table or a mathematical expression for uniquely specifying the value.
  • the distance calculation unit 4 uniquely sets the value of EP 2 from the image height Y FD2 of the distance measurement target point of the second subject image stored as one of the association information in the association information storage unit 3.
  • the value of EP 2 is specified from the calculated image height Y FD2 of the distance measurement target point of the second subject image with reference to a look-up table or a mathematical expression.
  • the distance calculation unit 4 determines the EP 1 and the second subject identified from the association information stored in the association information storage unit 3 and the image height Y FD1 of the distance measurement target point of the first subject image.
  • EP 2 specified from the image height Y FD2 of the distance measurement target point of the image is referred to, and the distance a to the distance measurement target point of the subject 100 is calculated (specified) based on the calculated image magnification ratio MR.
  • the process proceeds to step S170.
  • step S170 the three-dimensional image generation unit 5 causes the three-dimensional image generation unit 5 to calculate the distance a to the distance measurement target point of the subject 100 and the two-dimensional image of the subject 100 acquired by the imaging unit S (first subject image). 3D image of the subject 100 is generated based on the image signal of (1) or the image signal of the second subject image). After that, the two-dimensional image of the subject, the distance a to the distance measurement target point of the subject 100, and/or the three-dimensional image of the subject 100 acquired in the steps up to this point are displayed on the display unit 6 or the communication unit. 8 to the external device, and the distance measuring method S100 ends.
  • the distance measuring camera of the present invention has been described above based on the illustrated embodiment, but the present invention is not limited to this.
  • Each configuration of the present invention can be replaced with any configuration capable of exhibiting the same function, or any configuration can be added to each configuration of the present invention.
  • each component of the distance measuring camera may be realized by hardware, may be realized by software, or may be realized by a combination thereof.
  • the number and types of steps of the distance measuring method S100 shown in FIG. 13 are merely examples for explanation, and the present invention is not necessarily limited to this. An embodiment in which any step is added or combined for any purpose or any step is deleted without departing from the principle and intent of the present invention is also within the scope of the present invention.
  • the use example of the distance measuring camera 1 of the present invention is not particularly limited, but for example, the distance measuring camera 1 can be used for capturing a portrait of a subject and acquiring a three-dimensional image of the face of the subject. In such a usage mode, it is preferable to incorporate the distance measuring camera 1 of the present invention into a mobile device such as a smartphone or a mobile phone.
  • the distance measuring camera 1 of the present invention can be used in a handler robot used for assembling and inspecting precision equipment. According to the range-finding camera 1, since the distance from the handler robot main body or the arm of the handler robot to the precision device or a component of the precision device can be measured when assembling the precision device, the distance can be accurately measured by the grip portion of the handler robot. The parts can be gripped.
  • the distance to the distance measurement target point of the subject can be measured, so that the three-dimensional information of the subject can be acquired.
  • Such three-dimensional information of a subject can be used for producing a three-dimensional structure by a 3D printer.
  • the distance measuring camera 1 of the present invention in a car, the distance from the car to any object such as a pedestrian or an obstacle can be measured.
  • Information on the calculated distance to an arbitrary object can be used for an automatic braking system and automatic driving of a vehicle.
  • the distance measuring camera of the present invention uses at least two optical systems in which the change in magnification of the subject image according to the distance to the distance measuring target point of the subject is different from each other, and further, the first distance measuring target point corresponding to the subject is measured.
  • the image magnification ratio (magnification ratio) of the two subject images respectively formed by the two optical systems is calculated. Based on this, the distance of the subject to the distance measurement target point can be measured. Therefore, each of the first optical system and the second optical system used for calculating the distance to the distance measurement target point of the subject is an optical system in which vignetting occurs, and the distance measurement target point of the subject is determined.
  • the present invention has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

第1の被写体像を形成するための第1の光学系OS1と、第2の被写体像を形成するための第2の光学系OS2と、第1の被写体像および第2の被写体像を撮像するための撮像部Sと、被写体100の測距対象点に対応する第1の被写体像および第2の被写体像の測距対象点の像高に応じた計算を行うことにより、第1の被写体像の倍率と第2の被写体像の倍率との像倍比に基づいて、被写体100までの距離を算出するための距離算出部4とを備える測距カメラ1。

Description

測距カメラ
 本発明は、一般に、被写体の測距対象点までの距離を測定するための測距カメラに関し、より具体的には、被写体の測距対象点までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも2つの光学系によって形成された少なくとも2つの被写体像の像倍比に基づいて、被写体の測距対象点までの距離を測定する測距カメラに関する。
 従来、被写体を撮像することにより、被写体の任意の測距対象点までの距離を測定する測距カメラが提案されている。このような測距カメラとしては、被写体からの光を集光し、被写体像を形成するための光学系と、該光学系によって形成された被写体像を画像に変換するための撮像素子とを少なくとも2対備えるステレオカメラ方式の測距カメラが知られている(例えば、特許文献1参照)。
 特許文献1が開示するようなステレオカメラ方式の測距カメラは、光軸方向に対して垂直な方向に互いにシフトして配置された2つの光学系によって形成された2つの被写体像の測距対象点間の並進視差(光軸方向に対して垂直な方向の視差)を算出し、この並進視差の値に基づいて、被写体の測距対象点までの距離を算出することができる。
 このようなステレオカメラ方式の測距カメラでは、被写体像の測距対象点間の並進視差が小さいと、被写体の測距対象点までの距離を正確に算出することができない。よって、被写体像の測距対象点間の並進視差を十分に大きくするために、2つの光学系を光軸方向に対して垂直な方向に大きく離間して配置する必要がある。このことは、測距カメラのサイズを小さくすることを困難としている。
 また、被写体が近距離に位置していると、得られる画像の視野の関係から、並進視差を算出するための被写体像の測距対象点が一方の画像内には写っているが、他方の画像内では写っていないという状況が発生してしまう。この状況を避けるためには、2つの光学系を近接して配置する必要がある。しかしながら、2つの光学系を近接して配置すると被写体像の測距対象点間の並進視差が小さくなってしまい、測距の精度が低下する。そのため、被写体像の測距対象点間の並進視差に基づく測距を用いて、近距離に位置する被写体の測距対象点までの距離を正確に算出することは困難である。
 このような問題に対し、本発明者らによって、2つの光学系によってそれぞれ形成された2つの被写体像間の像倍比(倍率の比)に基づいて、被写体の測距対象点までの距離を算出する像倍比方式の測距カメラが提案されている。像倍比方式の測距カメラでは、被写体の測距対象点までの距離に応じた被写体像の倍率の変化が互いに異なる第1の光学系および第2の光学系が用いられ、第1の光学系によって形成された第1の被写体像および第2の光学系によって形成された第2の被写体像間の像倍比(倍率の比)に基づいて、被写体の測距対象点までの距離が算出される(特許文献2参照)。
 このような像倍比方式の測距カメラでは、被写体の測距対象点までの距離を算出するために被写体像の測距対象点間の並進視差が利用されないため、第1の光学系および第2の光学系を近接して配置しても、被写体の測距対象点までの距離を正確に算出することができる。そのため、測距カメラのサイズを小さくすることができる。また、第1の被写体像および第2の被写体像間の像倍比は、被写体が近距離に位置する場合であっても正確に取得することが可能なので、像倍比方式の測距カメラは、近距離に位置する被写体の測距対象点までの距離を正確に算出することができる。
 本発明者らによって提案された像倍比方式の測距カメラは、第1の光学系によって形成された第1の被写体像と第2の光学系によって形成された第2の被写体像と間の像倍比(倍率の比)に基づいて、被写体の測距対象点までの距離を算出するために、各光学系の像空間における各像高の主光線の延長線と各光学系の光軸との交点の位置を利用している。光学分野において良く知られているように、ビネッティングが生じない光学系において、光学系の像空間における各像高の主光線の延長線と光学系の光軸との交点の位置は、光学系の像空間における像高の値が変化しようと不変であり、光学系の射出瞳の位置と一致する。そのため、本発明者らによって提案された像倍比方式の測距カメラは、被写体の測距対象点までの距離を算出するために、第1の光学系の射出瞳から、被写体が無限遠に存在する場合の第1の光学系によって形成される第1の被写体像の結像位置までの距離EPと、第2の光学系の射出瞳から、被写体が無限遠に存在する場合の第2の光学系によって形成される第2の被写体像の結像位置までの距離EPとを利用していた。
 一方、像高に応じたビネッティングが生じる光学系においては、光学系の像空間における像高の値が変化すると、光学系の像空間における該像高の主光線の延長線と光学系の光軸との交点の位置が変化する。光学系の像空間における被写体の測距対象点に対応する被写体像の測距対象点の像高が低ければ、上述のようなビネッティングに起因する影響も小さく、光学系の像空間における該像高の主光線の延長線と光学系の光軸との交点の位置は、光学系の射出瞳の位置とほぼ一致している。そのため、光学系の像空間における被写体の測距対象点に対応する被写体像の測距対象点の像高が低ければ、本発明者らによって提案された像倍比方式の測距カメラは、被写体の測距対象点までの距離を正確に算出することができていた。一方、光学系の像空間における被写体の測距対象点に対応する被写体像の測距対象点の像高が高くなるにつれて、上述のようなビネッティングに起因する影響が大きくなり、光学系の像空間における該像高の主光線の延長線と光学系の光軸との交点の位置と、光学系の射出瞳の位置との差が大きくなる。そのため、第1の光学系および第2の光学系のそれぞれが、像高に応じたビネッティングが生じる光学系である場合、本発明者らによって提案された像倍比方式の測距カメラを用いると、光学系の像空間における被写体像の測距対象点の像高が高くなるにつれて、被写体の測距対象点までの距離の測定の誤差が増大してしまうという問題があった。
特開2012-26841号公報 特願2017-241896号
 本発明は、上記従来の問題点を鑑みたものであり、その目的は、被写体の測距対象点までの距離を算出するために用いられる第1の光学系および第2の光学系のそれぞれが、ビネッティングが生じる光学系であり、かつ、被写体の測距対象点に対応し、第1の光学系によって形成される第1の被写体像および第2の光学系によって形成される第2の被写体像の測距対象点の像高が高い場合であっても、第1の被写体像の倍率と第2の被写体像の倍率との間の像倍に基づいて、被写体の測距対象点までの距離を正確に算出することが可能な測距カメラを提供することにある。
 このような目的は、以下の(1)~(9)の本発明により達成される。
 (1)被写体の測距対象点までの距離を算出するための測距カメラであって、
 前記被写体からの光を集光し、第1の被写体像を形成するための第1の光学系と、
 前記被写体からの前記光を集光し、第2の被写体像を形成するための第2の光学系と、
 前記第1の光学系によって形成された前記第1の被写体像および前記第2の光学系によって形成された前記第2の被写体像を撮像するための撮像部と、
 前記被写体の前記測距対象点に対応する前記第1の被写体像および前記第2の被写体像の測距対象点の像高に応じた計算を行うことにより、前記撮像部によって撮像された前記第1の被写体像および前記第2の被写体像に基づいて、前記被写体の前記測距対象点までの前記距離を算出するための距離算出部と、を備え、
 前記距離算出部は、前記第1の被写体像の倍率と前記第2の被写体像の倍率との像倍比に基づいて、前記被写体の前記測距対象点までの前記距離を算出することを特徴とする測距カメラ。
 (2)前記第1の光学系は、前記被写体の前記測距対象点に対応する前記第1の被写体像の前記測距対象点の前記像高に応じたビネッティングが生じ、前記第1の光学系の像空間での前記第1の被写体像の前記測距対象点の前記像高における主光線の延長線と前記第1の光学系の光軸との交点が、前記第1の被写体像の前記測距対象点の前記像高に応じて変化する光学系であり、
 前記第2の光学系は、前記被写体の前記測距対象点に対応する前記第2の被写体像の前記測距対象点の前記像高に応じたビネッティングが生じ、前記第2の光学系の像空間での前記第2の被写体像の前記測距対象点の前記像高における主光線の延長線と前記第2の光学系の光軸との交点が、前記第2の被写体像の前記測距対象点の前記像高に応じて変化する光学系であり、
 前記距離算出部は、前記第1の光学系の前記像空間での前記第1の被写体像の前記測距対象点の前記像高における前記主光線の前記延長線と前記第1の光学系の前記光軸との前記交点から、前記被写体が無限遠に存在する場合の前記第1の被写体像の結像位置までの距離、および、前記第2の光学系の前記像空間での前記第2の被写体像の前記測距対象点の前記像高における前記主光線の前記延長線と前記第2の光学系の前記光軸との交点から、前記被写体が無限遠に存在する場合の前記第2の被写体像の結像位置までの距離を用いた前記計算を行うことにより、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比に基づいて、前記被写体の前記測距対象点までの前記距離を算出するよう構成されている上記(1)に記載の測距カメラ。
 (3)前記第1の光学系および前記第2の光学系は、前記第1の光学系の焦点距離と、前記第2の光学系の焦点距離とが、互いに異なるよう構成されており、これにより、前記被写体の前記測距対象点までの前記距離に応じた前記第1の被写体像の前記倍率の変化が、前記被写体の前記測距対象点までの前記距離に応じた前記第2の被写体像の前記倍率の変化と異なるようになっている上記(2)に記載の測距カメラ。
 (4)前記第1の光学系および前記第2の光学系は、前記第1の光学系の前記像空間での前記第1の被写体像の前記測距対象点の前記像高における前記主光線の前記延長線と前記第1の光学系の前記光軸との前記交点から、前記被写体が無限遠に存在する場合の前記第1の光学系によって形成される前記第1の被写体像の前記結像位置までの前記距離と、前記第2の光学系の前記像空間での前記第2の被写体像の前記測距対象点の前記像高における前記主光線の前記延長線と前記第2の光学系の前記光軸との前記交点から、前記被写体が無限遠に存在する場合の前記第2の光学系によって形成される前記第2の被写体像の前記結像位置までの前記距離とが異なるように構成されており、これにより、前記被写体の前記測距対象点までの前記距離に応じた前記第1の被写体像の前記倍率の変化が、前記被写体の前記測距対象点までの前記距離に応じた前記第2の被写体像の前記倍率の変化と異なるようになっている上記(2)または(3)のいずれかに記載の測距カメラ。
 (5)前記第1の光学系の前側主点と前記第2の光学系の前側主点との間に奥行方向の差が存在し、これにより、前記被写体の前記測距対象点までの前記距離に応じた前記第1の被写体像の前記倍率の変化が、前記被写体の前記測距対象点までの前記距離に応じた前記第2の被写体像の前記倍率の変化と異なるようになっている(2)ないし(4)のいずれかに記載の測距カメラ。
 (6)前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比と、前記被写体の前記測距対象点までの前記距離とを関連付ける関連付情報を記憶している関連付情報記憶部をさらに備え、
 前記距離算出部は、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比と、前記関連付情報記憶部内の前記関連付情報とに基づいて、前記被写体の前記測距対象点までの前記距離を算出する上記(1)ないし(5)のいずれかに記載の測距カメラ。
 (7)前記距離算出部は、前記被写体の前記測距対象点に対応する前記第1の被写体像の前記測距対象点の前記像高と、前記被写体の前記測距対象点に対応する前記第2の被写体像の前記測距対象点の前記像高との比を、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比として算出する上記(1)ないし(6)のいずれかに記載の測距カメラ。
 (8)前記撮像部は、前記第1の被写体像を撮像するための第1の撮像素子と、前記第2の被写体像を撮像するための第2の撮像素子とを含む上記(1)ないし(7)のいずれかに記載の測距カメラ。
 (9)前記撮像部は、前記第1の被写体像および前記第2の被写体像の双方を撮像する単一の撮像素子である上記(1)ないし(7)のいずれかに記載の測距カメラ。
 本発明の測距カメラでは、被写体の測距対象点までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも2つの光学系を用い、さらに、被写体の測距対象点に対応する第1の被写体像および第2の被写体像の測距対象点の像高に応じた計算を行うことにより、該2つの光学系によってそれぞれ形成された2つの被写体像の像倍比(倍率の比)に基づいて、被写体の測距対象点までの距離を測定することができる。そのため、被写体の測距対象点までの距離を算出するために用いられる第1の光学系および第2の光学系のそれぞれが、ビネッティングが生じる光学系であり、かつ、被写体の測距対象点に対応し、第1の光学系によって形成される第1の被写体像および第2の光学系によって形成される第2の被写体像の測距対象点の像高が高い場合であっても、被写体の測距対象点までの距離を正確に測定することができる。
図1は、本発明の測距カメラの測距原理を説明するための図である。 図2は、本発明の測距カメラの測距原理を説明するための図である。 図3は、図2に示す第1の光学系によって形成される第1の被写体像の倍率と、図2に示す第2の光学系によって形成される第2の被写体像の倍率との像倍比が、被写体の測距対象点までの距離に応じて変化することを説明するためのグラフである。 図4は、ビネッティングが生じない光学系において、光学系の像空間における各像高の主光線の延長線と光学系の光軸との交点の位置が不変であり、光学系の射出瞳の位置と一致することを説明するための図である。 図5は、ビネッティングが生じる光学系において、光学系の像空間における像高の値が変化すると、光学系の像空間における該像高の主光線の延長線と光学系の光軸との交点の位置が変化することを説明するための図である。 図6は、本発明の第1実施形態に係る測距カメラを概略的に示すブロック図である。 図7は、本発明の第2実施形態に係る測距カメラを概略的に示すブロック図である。 図8は、本発明の第3実施形態に係る測距カメラを概略的に示すブロック図である。 図9は、本発明の第4実施形態に係る測距カメラを概略的に示すブロック図である。 図10は、本発明の第5実施形態に係る測距カメラを概略的に示すブロック図である。 図11は、本発明の第6実施形態に係る測距カメラを概略的に示すブロック図である。 図12は、本発明の第7実施形態に係る測距カメラを概略的に示すブロック図である。 図13は、本発明の測距カメラによって実行される測距方法を説明するためのフローチャートである。
 最初に、本発明の測距カメラにおいて用いられている、被写体の測距対象点までの距離を算出するための原理について説明する。測距カメラにおいて用いられる光学系は、光学系を構成するレンズの大きさや厚み、機械的な開口絞り(フレアカッター)等によるビネッティングが生じない光学系であるものと仮定して、被写体の測距対象点までの距離を算出するための原理について説明する。
 被写体の測距対象点に対応し、光学系により形成される被写体像の測距対象点の倍率mODは、光学系の前側主点(前側主面)から被写体の測距対象点までの距離(被写体距離)a、光学系の後側主点(後側主面)から被写体像の測距対象点の結像位置までの距離bOD、および光学系の焦点距離fによって、レンズの公式から下記式(1)のように表すことができる。
Figure JPOXMLDOC01-appb-M000001
 また、光学系の像空間(光学系よりも撮像素子側の空間)における被写体像の測距対象点の像高(光学系の光軸に直交する方向での光学系の光軸からの離間距離)YODは、被写体像の測距対象点の倍率mODと、物空間(光学系よりも被写体側の空間)における被写体の測距対象点の実際のサイズ(光学系の光軸に直交する方向での光学系の光軸からの離間距離)szから、下記式(2)のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
 センサー等の撮像素子の撮像面が被写体像の結像位置にある場合、すなわち、ベストピントである場合、被写体像の測距対象点の像高YODは、上記式(2)で表すことができる。光学系がオートフォーカス機能を有しており、常にベストピントで撮像を行う場合には、上記式(2)を用いて被写体像の測距対象点の像高YODを求めることができる。
 しかしながら、光学系がオートフォーカス機能を有さない固定焦点系であり、センサー等の撮像素子の撮像面が被写体像の結像位置にない場合、すなわち、デフォーカスが存在する場合、撮像素子の撮像面上に形成される被写体像の測距対象点の像高YFDを求めるためには、デフォーカス量、すなわち、被写体像の結像位置と撮像素子の撮像面の位置の奥行方向(光軸方向)の差(シフト量)を考慮する必要がある。
 図1に示すように、被写体の測距対象点に対応する被写体像の測距対象点が、光学系の像空間側の撮像素子の撮像面上に形成される。図1中では、光学系の像空間での被写体像の測距対象点の像高(光学系の光軸に直交する方向での光学系の光軸からの離間距離)における主光線の延長線と光学系の光軸との交点から、被写体が無限遠に存在する場合の被写体像の結像位置までの距離をEPとし、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点から、被写体が任意の距離aに存在する場合の被写体像の結像位置までの距離をEPODとし、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点から撮像素子の撮像面までの距離(フォーカス調整距離:Focus Distance)をEPFDとしている。また、光学系の後側主点から、被写体が任意の距離aに存在する場合の被写体像の結像位置までの距離をbODとし、光学系の後側主点から撮像素子の撮像面までの距離をbFDとしている。図1に示すように、光学系を構成するレンズの大きさや厚み、機械的な開口絞り(フレアカッター)等によるビネッティングが生じない場合、光学系の像空間での被写体像の測距対象点の像高の値に関わらず、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点の位置は、光学系の射出瞳の位置と一致する。
 光学系の後側主点から、任意の距離aに被写体が存在する場合の被写体像の結像位置までの距離bODは、レンズの公式から下記式(3)によって求めることができる。
Figure JPOXMLDOC01-appb-M000003
 したがって、焦点距離fと距離bODとの差ΔbODは、下記式(4)によって求めることができる。
Figure JPOXMLDOC01-appb-M000004
 また、光学系の後側主点から撮像素子の撮像面までの距離bFDは、撮像素子の撮像面で被写体像がベストピントとなる場合の光学系の前側主点から被写体の測距対象点までの距離aFDを用いて、レンズの公式から下記式(5)によって求めることができる。
Figure JPOXMLDOC01-appb-M000005
 よって、焦点距離fと距離bFDとの差ΔbFDは、下記式(6)によって求めることができる。
Figure JPOXMLDOC01-appb-M000006
 また、図1から明らかなように、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点を頂点の一つとし、任意の距離aに被写体が存在する場合の被写体像の結像位置における被写体像の測距対象点の像高YODを1つの辺とする直角三角形と、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点を頂点の一つとし、撮像素子の撮像面における被写体像の測距対象点の像高YFDを1つの辺とする直角三角形とは相似関係にある。そのため、相似関係から、EPOD:EPFD=YOD:YFDが成立し、下記式(7)から撮像素子の撮像面における被写体像の測距対象点の像高YFDを求めることができる。
Figure JPOXMLDOC01-appb-M000007
 上記式(7)から明らかなように、光学系の像空間での撮像素子の撮像面における被写体像の測距対象点の像高YFDは、物空間での被写体の測距対象点の実際のサイズ(光学系の光軸に直交する方向での光学系の光軸からの離間距離)sz、光学系の焦点距離f、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点から、被写体が無限遠に存在する場合の被写体像の結像位置までの距離EP、光学系から被写体の測距対象点までの距離(被写体距離)a、および撮像素子の撮像面で被写体像がベストピントとなる場合の光学系から被写体の測距対象点までの距離aFDの関数として表すことができる。
 次に、図2に示すように、同じ被写体100を、2つの撮像系IS1、IS2を用いて撮像した場合を想定する。第1の撮像系IS1は、被写体100からの光を集光し、第1の被写体像を形成する第1の光学系OS1と、第1の光学系OS1によって形成された第1の被写体像を撮像するための第1の撮像素子S1とを備えている。第2の撮像系IS2は、被写体100からの光を集光し、第2の被写体像を形成する第2の光学系OS2と、第2の光学系OS2によって形成された第2の被写体像を撮像するための第2の撮像素子S2とを備えている。また、図2から明らかなように、第1の撮像素子S1の第1の光学系OS1の光軸と、第2の撮像素子S2の第2の光学系OS2の光軸は、平行であるが、一致していない。
 第1の光学系OS1および第2の光学系OS2は、それぞれ焦点距離f、fを有する固定焦点の光学系である。第1の撮像系IS1が構成される際において、第1の光学系OS1の位置(レンズ位置)、すなわち、第1の光学系OS1と第1の撮像素子S1の離間距離は、任意の距離aFD1にある被写体100の第1の被写体像が第1の撮像素子S1の撮像面上に形成される、すなわち、任意の距離aFD1にある被写体100がベストピントとなるように調整されている。同様に、第2の撮像系IS2が構成される際において、第2の光学系OS2の位置(レンズ位置)、すなわち、第2の光学系OS2と第2の撮像素子S2の離間距離は、任意の距離aFD2にある被写体100の第2の被写体像が第2の撮像素子S2の撮像面上に形成される、すなわち、任意の距離aFD2にある被写体100がベストピントとなるように調整されている。
 また、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系の光軸との交点から、被写体100が無限遠に存在する場合の第1の被写体像の結像位置までの距離はEPであり、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高における主光線の延長線と第2の光学系の光軸との交点から、被写体100が無限遠に存在する場合の第2の被写体像の結像位置までの距離はEPである。
 第1の光学系OS1および第2の光学系OS2は、第1の光学系OS1の前側主点(前側主面)と、第2の光学系OS2の前側主点(前側主面)との間に、奥行方向(光軸方向)の差Dが存在するよう構成および配置されている。すなわち、第1の光学系OS1の前側主点から被写体の測距対象点までの距離(被写体距離)をaとすると、第2の光学系OS2の前側主点から被写体の測距対象点までの距離は、a+Dとなる。
 図1を参照して説明した相似関係を利用することにより、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mは、下記式(8)で表すことができる。
Figure JPOXMLDOC01-appb-M000008
 ここで、EPOD1は、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系の光軸との交点から、距離aに被写体100が存在する場合の第1の被写体像の結像位置までの距離であり、EPFD1は、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系の光軸との交点から、第1の撮像素子S1の撮像面までの距離である。これら距離EPOD1および距離EPFD1の位置関係は、第1の撮像系IS1が構成される際において、任意の距離aFD1にある被写体100がベストピントとなるように第1の光学系OS1の位置(レンズ位置)を調整することにより決定される。また、ΔbOD1は、焦点距離fと、第1の光学系OS1の後側主点から、距離aに被写体100が存在する場合の第1の被写体像の結像位置までの距離bOD1との差であり、ΔbFD1は、焦点距離fと、第1の光学系OS1の後側主点から第1の撮像素子S1の撮像面までの距離bFD1との差であり、mOD1は、距離aに被写体100が存在する場合の第1の被写体像の結像位置における第1の被写体像の倍率である。
 上記式(1)、(4)および(6)が第1の光学系OS1による結像にも適用できるので、上記式(8)は、下記式(9)で表すことができる。
Figure JPOXMLDOC01-appb-M000009
 ここで、aFD1は、第1の撮像素子S1の撮像面で第1の被写体像がベストピントとなる場合の第1の光学系OS1の前側主点から被写体100の測距対象点までの距離である。
 同様に、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mは、下記式(10)で表すことができる。
Figure JPOXMLDOC01-appb-M000010
 ここで、EPOD2は、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高における主光線の延長線と第2の光学系の光軸との交点から、距離a+Dに被写体100が存在する場合の第2の被写体像の結像位置までの距離であり、EPFD2は、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高における主光線の延長線と第2の光学系の光軸との交点から第2の撮像素子S2の撮像面までの距離である。これら距離EPOD2および距離EPFD2の位置関係は、第2の撮像系IS2が構成される際において、任意の距離aFD2にある被写体100がベストピントとなるように第2の光学系OS2の位置(レンズ位置)を調整することにより決定される。また、ΔbOD2は、焦点距離fと、第2の光学系OS2の後側主点から、距離a+Dに被写体100が存在する場合の第2の被写体像の結像位置までの距離bOD2との差であり、ΔbFD2は、焦点距離fと、第2の光学系OS2の後側主点から第2の撮像素子S2の撮像面までの距離bFD2との差であり、mOD2は、距離a+Dに被写体100が存在する場合の第2の被写体像の結像位置における第2の被写体像の倍率であり、aFD2は、第2の撮像素子S2の撮像面で第2の被写体像がベストピントとなる場合の第2の光学系OS2の前側主点から被写体100の測距対象点までの距離である。
 したがって、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mと、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mとの像倍比MRは、下記式(11)で表すことができる。
Figure JPOXMLDOC01-appb-M000011
 ここで、Kは、係数であり、第1の撮像系IS1および第2の撮像系IS2の構成により決定される固定値f、f、EP、EP、aFD1、およびaFD2から構成される下記式(12)で表される。
Figure JPOXMLDOC01-appb-M000012
 上記式(11)から明らかなように、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mと、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mとの像倍比MRは、被写体100から第1の光学系OS1の前側主点までの距離aに応じて変化することがわかる。
 また、上記式(11)を距離aについて解くと、被写体100の測距対象点までの距離aについての一般式(13)を得ることができる。
Figure JPOXMLDOC01-appb-M000013
 上記式(13)中において、f、f、EP、EP、DおよびKは、第1の撮像系IS1および第2の撮像系IS2の構成により決定される固定値なので、像倍比MRを得ることができれば、被写体100から第1の光学系OS1の前側主点までの距離aを算出することができる。
 図3には、上記式(13)に基づいて算出された、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mと、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mとの像倍比MRと、被写体100の測距対象点までの距離aとの関係の1例が示されている。図3から明らかなように、像倍比MRの値と、被写体100の測距対象点までの距離aとの間には、一対一関係が成立している。
 一方、像倍比MRは、下記式(14)によって算出することができる。
Figure JPOXMLDOC01-appb-M000014
 ここで、szは、物空間における被写体100の測距対象点の実際のサイズ(第1の光学系OS1の光軸に直交する方向での第1の光学系OS1の光軸からの離間距離)、YFD1は、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の測距対象点の像高(第1の光学系の光軸に直交する方向での第1の光学系の光軸からの離間距離)、YFD2は、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の測距対象点の像高(第2の光学系の光軸に直交する方向での第2の光学系の光軸からの離間距離)である。
 第1の被写体像の測距対象点の像高YFD1および第2の被写体像の測距対象点の像高YFD2は、第1の撮像素子S1および第2の撮像素子S2が第1の被写体像および第2の被写体像を撮像することにより取得される、第1の被写体像の画像信号および第2の被写体像の画像信号から算出することができる。そのため、実際に被写体100を第1の撮像系IS1および第2の撮像系IS2を用いて撮像することにより得られた第1の被写体像の画像信号および第2の被写体像の画像信号から、第1の被写体像の測距対象点の像高YFD1および第2の被写体像の測距対象点の像高YFD2を実測し、それに基づいて、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを得ることができる。
 本発明の測距カメラは、上述の原理により、実測される第1の被写体像の測距対象点の像高YFD1および第2の被写体像の測距対象点の像高YFD2に基づいて、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出することにより、第1の光学系OS1の前側主点から被写体100の測距対象点までの距離aを算出する。
 なお、上記式(11)から明らかなように、第1の光学系OS1の焦点距離fが第1の光学系OS1の焦点距離fと等しく(f=f)、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系の光軸との交点から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPが、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高における主光線の延長線と第2の光学系の光軸との交点から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPと等しく(EP=EP)、かつ、第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間の奥行方向(光軸方向)の差Dが存在しない(D=0)場合、像倍比MRが距離aの関数として成立せず、像倍比MRは定数となる。この場合、被写体100の測距対象点までの距離aに応じた第1の被写体像の倍率mの変化が、被写体100の測距対象点までの距離aに応じた第2の被写体像の倍率mの変化と同一になってしまい、像倍比MRに基づいて第1の光学系OS1から被写体の測距対象点までの距離aを算出することが不可能となる。
 また、特別な条件として、f≠f、EP≠EP、かつD=0の場合であっても、f=EPかつf=EPの場合、像倍比MRが距離aの関数として成立せず、像倍比MRは定数となる。このような特別な場合にも、像倍比MRに基づいて第1の光学系OS1から被写体の測距対象点までの距離aを算出することが不可能となる。
 したがって、本発明の測距カメラでは、以下の3つの条件の少なくとも1つが満たされるよう、第1の光学系OS1および第2の光学系OS2が構成および配置され、これにより、被写体100の測距対象点までの距離aに応じた第1の被写体像の倍率mの変化が、被写体100の測距対象点までの距離aに応じた第2の被写体像の倍率mの変化と異なるようになっている。
 (第1の条件)第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとが、互いに異なる(f≠f
 (第2の条件)第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系の光軸との交点から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPと、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高における主光線の延長線と第2の光学系の光軸との交点から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPとが、互いに異なる(EP≠EP
 (第3の条件)第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間に奥行方向(光軸方向)の差Dが存在する(D≠0)
 加えて、上記第1~第3の条件の少なくとも1つを満たしていたとしても、上述したような特別な場合(f≠f、EP≠EP、D=0、f=EPかつf=EP)には、像倍比MRが距離aの関数として成立せず、像倍比MRに基づいて、第1の光学系OS1から被写体の測距対象点までの距離aを算出することが不可能となる。したがって、像倍比MRに基づいて第1の光学系OS1から被写体の測距対象点までの距離aを算出するために、本発明の測距カメラは、像倍比MRが距離aの関数として成立しているという第4の条件をさらに満たすよう構成されている。
 そのため、本発明の測距カメラを用いて取得された第1の被写体像の画像信号および第2の被写体像の画像信号から実測される第1の被写体像の測距対象点の像高YFD1および第2の被写体像の測距対象点の像高YFD2から像倍比MRを算出することにより、第1の光学系OS1の前側主点から被写体100の測距対象点までの距離aを算出することができる。
 ここまで説明した原理では、第1の光学系OS1および第2の光学系OS2のそれぞれが、光学系を構成するレンズの大きさや厚み、機械的な開口絞り(フレアカッター)等によるビネッティングが生じない光学系であるものとしている。次に、第1の光学系OS1が、被写体100の測距対象点に対応する第1の被写体像の測距対象点の像高に応じたビネッティングが生じる光学系であり、さらに、第2の光学系OS2が、被写体100の測距対象点に対応する第2の被写体像の測距対象点の像高に応じたビネッティングが生じる光学系である場合について説明する。
 図4(a)には、ビネッティングが生じない光学系における、被写体100の測距対象点に対応する被写体像の測距対象点の像高が高い場合の光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点が示されている。図4(b)には、ビネッティングが生じない光学系における、被写体100の測距対象点に対応する被写体像の測距対象点の像高が低い場合の光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点が示されている。
 図4(a)および図4(b)から明らかなように、光学系にビネッティングが生じない場合、被写体100の測距対象点に対応する被写体像の測距対象点の像高の値が変化しても、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点の位置は変化しない。また、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点の位置は、光学系の射出瞳の位置と一致する。したがって、光学系にビネッティングが生じない場合、光学系の像空間での被写体像の測距対象点の像高に関わらず、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系OS1の光軸との交点から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPは、第1の光学系OS1の射出瞳から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離に等しい。同様に、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高における主光線の延長線と第2の光学系OS2の光軸との交点から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPは、第2の光学系OS2の射出瞳から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離に等しい。このように、光学系にビネッティングが生じない場合、被写体100の測距対象点に対応する被写体像の測距対象点の像高の値が変化しても、EPおよびEPは変化しない。そのため、EPは、第1の光学系OS1の構成および配置時に決定される固定値となり、EPは、第2の光学系OS2の構成および配置時に決定される固定値となる。第1の光学系OS1および第2の光学系OS2のそれぞれが、ビネッティングが生じない光学系である場合、EPおよびEPを第1の被写体像および第2の被写体像の測距対象点の像高に対して変化しない固定値として扱うことができる。
 一方、図5(a)には、被写体100の測距対象点に対応する被写体像の測距対象点の像高に応じたビネッティングが生じる光学系における、被写体の測距対象点に対応する被写体像の測距対象点の像高が高い場合の光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点が示されている。図5(b)には、被写体100の測距対象点に対応する被写体像の測距対象点の像高に応じたビネッティングが生じる光学系における、被写体の測距対象点に対応する被写体像の測距対象点の像高が低い場合の光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点が示されている。図5(a)に示すように被写体像の測距対象点の像高が高い場合、光学系を構成するレンズの大きさや厚み、機械的な開口絞りによる光束のビネッティングが生じる。その結果、被写体の測距対象点に集光する光束の周辺部が開口絞りを通過しなくなり、被写体像の測距対象点に集光する光束の径が変化する。良く知られているように、光学系の像空間における任意の像高での主光線は、像空間の該像高に集光される光束の中心光線なので、図5(a)に示すように、ビネッティングが生じる場合、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点の位置が、変化する。その結果、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点の位置と、光学系の射出瞳の位置が一致しなくなる。一方、図5(b)では、被写体100の測距対象点に対応する被写体像の測距対象点の像高が低いため、ビネッティングが生じていないか、実質的に無視できるほど小さい。この場合、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点の位置は、光学系の射出瞳の位置と一致または略一致する。
 このように、光学系に被写体100の測距対象点に対応する被写体像の測距対象点の像高に応じたビネッティングが生じる場合、被写体100の測距対象点に対応する被写体像の測距対応点の像高に応じて、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点の位置が変化する。特に、被写体像の測距対象点の像高が高くなるにつれて、光学系の像空間での被写体像の測距対象点の像高における主光線の延長線と光学系の光軸との交点の位置と、光学系の射出瞳との位置との差が大きくなる。そのため、像倍比MRに基づいて被写体の測距対象点までの距離aを算出するまでの上記一般式(13)において用いられるEPおよびEPを、第1の被写体像および第2の被写体像の測距対象点の像高に対して変化しない固定値として扱うと、被写体100の測距対象点に対応する被写体像の測距対象点の像高が大きくなるにつれて、算出した被写体の測距対象点までの距離aと実際の被写体の測距対象点までの距離aとの誤差が増大してしまう。
 このような理由により、本発明の測距カメラは、上記一般式(13)において用いられるEPを、第1の被写体像の測距対象点の像高に対して変化しない固定値ではなく、第1の被写体像の測距対象点の像高に応じて変化する変数として扱い、同様に、EPを、第2の被写体像の測距対象点の像高に対して変化しない固定値ではなく、第2の被写体像の測距対象点の像高に応じて変化する変数として扱うよう構成されている。このような構成により、被写体100の測距対象点に対応する第1の被写体像および第2の被写体像の測距対象点の像高が高くても、被写体100の測距対象点までの距離を正確に測定することができる。
 以下、上述の原理を利用して、第1の光学系OS1の前側主点から被写体100の測距対象点までの距離aを算出する本発明の測距カメラを、添付図面に示す好適な実施形態に基づいて詳述する。
 <第1実施形態>
 最初に、図6を参照して本発明の測距カメラの第1実施形態を説明する。図6は、本発明の第1実施形態に係る測距カメラを概略的に示すブロック図である。
 図6に示す測距カメラ1は、被写体100の測距対象点までの距離を算出する機能を有している。測距カメラ1は、測距カメラ1の制御を行う制御部2と、被写体100からの光を集光し、第1の被写体像を形成するための第1の光学系OS1と、被写体100からの光を集光し、第2の被写体像を形成するための第2の光学系OS2と、第1の光学系OS1によって形成された第1の被写体像および第2の光学系OS2によって形成された第2の被写体像を撮像するための撮像部Sと、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRと、被写体100の測距対象点までの距離aとを関連付ける関連付情報を記憶している関連付情報記憶部3と、被写体100の測距対象点に対応する第1の被写体像および第2の被写体像の測距対象点の像高に応じた計算を行うことにより、撮像部Sによって撮像された第1の被写体像および第2の被写体像に基づいて、被写体100の測距対象点までの距離を算出するための距離算出部4と、撮像部Sが取得した第1の被写体像または第2の被写体像と、距離算出部4によって算出された被写体100の測距対象点までの距離aとに基づいて、被写体100の3次元画像を生成するための3次元画像生成部5と、液晶パネル等の任意の情報を表示するための表示部6と、使用者による操作を入力するための操作部7と、外部デバイスとの通信を実行するための通信部8と、測距カメラ1の各コンポーネント間のデータの授受を実行するためのデータバス9と、を備えている。
 本実施形態の測距カメラ1は、像倍比MRに基づいて被写体100の測距対象点までの距離aを算出するために要求される上述の3つの条件の内、第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとが、互いに異なる(f≠f)という第1の条件が満たされるよう、第1の光学系OS1および第2の光学系OS2が構成されていることを特徴とする。一方、本実施形態では、第1の光学系OS1および第2の光学系OS2は、上述の3つの条件の内、その他の2つの条件(EP≠EPおよびD≠0)を満たすように構成および配置されていない。さらに、本実施形態の測距カメラ1は、像倍比MRが距離aの関数として成立しているという第4の条件が満たされるよう構成されている。
 そのため、像倍比MRを用いて被写体100の測距対象点までの距離aを算出するための上記一般式(13)は、EP=EP=EPおよびD=0の条件により単純化され、下記式(15)で表すことができる。
Figure JPOXMLDOC01-appb-M000015
 ここで、係数Kは、下記式(16)で表される。
Figure JPOXMLDOC01-appb-M000016
 本実施形態の測距カメラ1は、撮像部Sによって被写体100を撮像することにより第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出し、さらに、上記式(15)を用いて、被写体100の測距対象点までの距離aを算出する。
 以下、測距カメラ1の各コンポーネントについて詳述する。制御部2は、データバス9を介して、各コンポーネントとの間の各種データや各種指示の授受を行い、測距カメラ1の制御を実行する。制御部2は、演算処理を実行するためのプロセッサーと、測距カメラ1の制御を行うために必要なデータ、プログラム、モジュール等を保存しているメモリーとを備えており、制御部2のプロセッサーは、メモリー内に保存されているデータ、プログラム、モジュール等を用いることにより、測距カメラ1の制御を実行する。また、制御部2のプロセッサーは、測距カメラ1の各コンポーネントを用いることにより、所望の機能を提供することができる。例えば、制御部2のプロセッサーは、距離算出部4を用いることにより、撮像部Sによって撮像された第1の被写体像および第2の被写体像に基づいて、被写体100の測距対象点までの距離aを算出するための処理を実行することができる。
 制御部2のプロセッサーは、例えば、1つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー(DSP)、中央演算処理装置(CPU)、メモリーコントロールユニット(MCU)、画像処理用演算処理装置(GPU)、状態機械、論理回路、特定用途向け集積回路(ASIC)、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、制御部2のプロセッサーは、制御部2のメモリー内に保存されているコンピューター可読命令(例えば、データ、プログラム、モジュール等)をフェッチし、信号操作および制御を実行するよう構成されている。
 制御部2のメモリーは、揮発性記憶媒体(例えば、RAM、SRAM、DRAM)、不揮発性記憶媒体(例えば、ROM、EPROM、EEPROM、フラッシュメモリー、ハードディスク、光ディスク、CD-ROM、デジタル多用途ディスク(DVD)、磁気カセット、磁気テープ、磁気ディスク)、またはこれらの組み合わせを含む着脱式または非着脱式のコンピューター可読媒体である。
 第1の光学系OS1は、被写体100からの光を集光し、撮像部Sの第1の撮像素子S1の撮像面上に第1の被写体像を形成する機能を有する。第2の光学系OS2は、被写体100からの光を集光し、撮像部Sの第2の撮像素子S2の撮像面上に第2の被写体像を形成するための機能を有する。第1の光学系OS1および第2の光学系OS2は、1つ以上のレンズと絞り等の光学素子から構成されている。また、図示のように、第1の光学系OS1の光軸と、第2の光学系OS2の光軸は、平行であるが、一致してない。
 また、第1の光学系OS1は、被写体100の測距対象点に対応する第1の被写体像の測距対象点の像高に応じたビネッティングが生じ、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系OS1の光軸との交点が、第1の被写体像の測距対象点の像高に応じて変化する光学系である。同様に、第2の光学系OS2は、被写体100の測距対象点に対応する第2の被写体像の測距対象点の像高に応じたビネッティングが生じ、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高における主光線の延長線と第2の光学系OS2の光軸との交点が、第2の被写体像の測距対象点の像高に応じて変化する光学系である。
 上述のように、第1の光学系OS1および第2の光学系OS2は、第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとが、互いに異なるよう(f≠f)、構成されている。これにより、第1の光学系OS1によって形成される第1の被写体像の倍率mの被写体100の測距対象点までの距離aに応じた変化が、第2の光学系OS2によって形成される第2の被写体像の倍率mの被写体100の測距対象点までの距離に応じた変化と異なるようになっている。
 なお、本実施形態における第1の光学系OS1の構成および第2の光学系OS2の構成および配置は、上述の第1の条件(f≠f)が満たされており、それにより、被写体100の測距対象点までの距離aに対する第1の被写体像の倍率mの変化と、被写体100の測距対象点までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっていれば、如何なる態様であってもよい。
 撮像部Sは、第1の光学系OS1によって形成された第1の被写体像および第2の光学系OS2によって形成された第2の被写体像を撮像し、第1の被写体像の画像信号および第2の被写体像の画像信号を取得する機能を有している。本実施形態では、撮像部Sは、第1の被写体像を撮像し、第1の被写体像の画像信号を取得するための第1の撮像素子S1と、第2の被写体像を撮像し、第2の被写体像の画像信号を取得するための第2の撮像素子S2と、を備えている。
 なお、図示の形態では、第1の撮像素子S1および第1の光学系OS1が、同一の筐体内に設けられており、第2の撮像素子S2および第2の光学系OS2が、別の同一の筐体内に設けられているが、本発明はこれに限られない。第1の光学系OS1、第2の光学系OS2、第1の撮像素子S1、および第2の撮像素子S2がすべて同一の筐体内に設けられているような様態も、本発明の範囲内である。
 第1の撮像素子S1および第2の撮像素子S2は、ベイヤー配列等の任意のパターンで配列されたRGB原色系カラーフィルターやCMY補色系カラーフィルターのようなカラーフィルターを有するCMOS画像センサーやCCD画像センサー等のカラー撮像素子であってもよいし、そのようなカラーフィルターを有さない白黒撮像素子であってもよい。
 第1の光学系OS1によって、第1の撮像素子S1の撮像面上に第1の被写体像が形成され、第1の撮像素子S1によって第1の被写体像のカラーまたは白黒の画像信号が取得される。取得された第1の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。同様に、第2の光学系OS2によって、第2の撮像素子S2の撮像面上に第2の被写体像が形成され、第2の撮像素子S2によって第2の被写体像のカラーまたは白黒の画像信号が取得される。取得された第2の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。距離算出部4に送られた第1の被写体像の画像信号および第2の被写体像の画像信号は、被写体100の測距対象点までの距離aを算出するために用いられる。一方、制御部2に送られた第1の被写体像の画像信号および第2の被写体像の画像信号は、表示部6による画像表示や通信部8による画像信号の通信のために用いられる。
 関連付情報記憶部3は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)と、第1の光学系OS1の前側主点から被写体100の測距対象点までの距離(被写体距離)aとを関連付ける関連付情報を記憶するための任意の不揮発性記録媒体(例えば、ハードディスク、フラッシュメモリー)である。関連付情報記憶部3に保存されている関連付情報は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)から、被写体100の測距対象点までの距離aを算出するための情報である。
 典型的には、関連付情報記憶部3に保存されている関連付情報は、像倍比MRに基づいて被写体100の測距対象点までの距離aを算出するための上記式(15)(または、一般式(13))、該式中の第1の光学系OS1および第2の光学系OS2の構成および配置によって決定される上述の固定値(上記式(15)用であれば、固定値であるf、f、およびK)、第1の被写体像の測距対象点の像高に応じてEPを特定するための情報、並びに、第2の被写体像の測距対象点の像高に応じてEPを特定するための情報である。
 特に、本発明の測距カメラ1においては、第1の光学系OS1および第2の光学系OS2のそれぞれは、ビネッティングが生じる光学系である。そのため、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系OS1の光軸との交点から、被写体100が無限遠に存在する場合の第1の被写体像の結像位置までの距離EPは、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高に応じて変化する変数である。同様に、第2の光学系OS2の像空間での第2の被写体像OS2の測距対象点の像高における主光線の延長線と第2の光学系OS2の光軸との交点から、被写体100が無限遠に存在する場合の第2の被写体像の結像位置までの距離EPは、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高に応じて変化する変数である。第1の被写体像の測距対象点の各像高に対応するEPの値は、第1の光学系OS1の構成時に測定または事前にシミュレーションされ、第1の被写体像の測距対象点の各像高から、EPの値を一意に特定するためのルックアップテーブルまたは数式が関連付情報の1つとして、関連付情報記憶部3に保存されている。同様に、第2の被写体像の測距対象点の各像高に対応するEPの値は、第2の光学系OS2の構成時に測定または事前にシミュレーションされ、第2の被写体像の測距対象点の各像高から、EPの値を一意に特定するためのルックアップテーブルまたは数式が関連付情報の1つとして、関連付情報記憶部3に保存されている。このような関連付情報を参照することにより、実際に算出される第1の被写体像の測距対象点の像高YFD1から、EPの値を一意に特定することができる。同様に、実際に算出される第2の被写体像の測距対象点の像高YFD2から、EPの値を一意に特定することができる。関連付情報記憶部3に保存されているこのような関連付情報を参照することにより、像倍比MRに基づいて被写体100の測距対象点までの距離aを算出することが可能となる。
 距離算出部4は、被写体100の測距対象点に対応する第1の被写体像および第2の被写体像の測距対象点の像高に応じた計算を行うことにより、撮像部Sによって撮像された第1の被写体像および第2の被写体像に基づいて、被写体100の測距対象点までの距離aを算出する機能を有している。より具体的には、距離算出部4は、第1の被写体像の画像信号から第1の被写体像の測距対象点の像高YFD1を算出し、さらに、算出された第1の被写体像の測距対象点の像高YFD1からEPの値を特定する。同様に、距離算出部4は、第2の被写体像の画像信号から第2の被写体像の測距対象点の像高YFD2を算出し、さらに、算出された第2の被写体像の測距対象点の像高YFD2からEPの値を特定する。その後、距離算出部4は、関連付情報記憶部3に保存されている関連付情報、並びに、第1の被写体像の測距対象点の像高YFD1から特定したEPおよび第2の被写体像の測距対象点の像高YFD2から特定したEPを参照し、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRに基づいて、被写体100の測距対象点までの距離aを算出する。以下、距離算出部4が実行する処理について詳述する。
 最初に、距離算出部4は、撮像部Sの第1の撮像素子S1から第1の被写体像の画像信号を受信し、さらに、撮像部Sの第2の撮像素子S2から第2の被写体像の画像信号を受信する。その後、距離算出部4は、第1の被写体像の画像信号および第2の被写体像の画像信号に対して、Cannyのようなフィルター処理を施し、第1の被写体像の画像信号内における第1の被写体像の測距対象点および第2の被写体像の画像信号内における第2の被写体像の測距対象点を抽出する。距離算出部4は、第1の被写体像の画像信号中における抽出した第1の被写体像の測距対象点と第1の光学系OS1の光軸に対応する画素との離間距離に基づいて、第1の被写体像の測距対象点の像高(第1の光学系OS1の光軸に垂直な方向での第1の光学系OS1の光軸からの離間距離)YFD1を算出し、さらに、第2の被写体像の画像信号中における抽出した第2の被写体像の測距対象点と第2の光学系OS2の光軸に対応する画素との離間距離に基づいて、第2の被写体像の測距対象点の像高(第2の光学系OS2の光軸に垂直な方向での第2の光学系OS2の光軸からの離間距離)YFD2を算出する。
 その後、距離算出部4は、関連付情報記憶部3に関連付情報の1つとして保存されている第1の被写体像の測距対象点の像高YFD1からEPの値を一意に特定するためのルックアップテーブルまたは数式を参照し、算出した第1の被写体像の測距対象点の像高YFD1からEPの値を特定する。同様に、距離算出部4は、関連付情報記憶部3に関連付情報の1つとして保存されている第2の被写体像の測距対象点の像高YFD2からEPの値を一意に特定するためのルックアップテーブルまたは数式を参照し、算出した第2の被写体像の測距対象点の像高YFD2からEPの値を特定する。その後、距離算出部4は、算出した第1の被写体像の測距対象点の像高YFD1および第2の被写体像の測距対象点の像高YFD2に基づき、上記式(14)MR=YFD2/YFD1によって、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出する。像倍比MRが算出されると、距離算出部4は、関連付情報記憶部3に保存されている関連付情報、並びに、第1の被写体像の測距対象点の像高YFD1から特定したEPの値および第2の被写体像の測距対象点の像高YFD2から特定したEPの値を参照し、像倍比MRに基づいて、被写体100の測距対象点までの距離aを算出(特定)する。
 このように、距離算出部4は、被写体100の測距対象点に対応する第1の被写体像の測距対象点の像高に応じたEPおよび被写体100の測距対象点に対応する第2の被写体像の測距対象点の像高に応じたEPを用いて、上記式(15)(または、一般式(13))の計算を行うことにより、被写体100の測距対象点までの距離aを算出するよう構成されている。このように、距離算出部4は、被写体100の測距対象点に対応する第1の被写体像および第2の被写体像の測距対象点の像高に応じたEPおよびEPを用いた計算を行うことにより、像倍比MRに基づいて、被写体100の測距対象点までの距離aを算出(特定)する。そのため、第1の光学系OS1および第2の光学系OS2のそれぞれが、被写体像の測距対象点の像高に応じたビネッティングが生じる光学系であり、かつ、被写体100の測距対象点に対応する第1の被写体像および第2の被写体像の測距対象点の像高が高い場合であっても、距離算出部4は、被写体100の測距対象点までの距離aを正確に算出することができる。
 3次元画像生成部5は、距離算出部4によって算出された被写体100の測距対象点までの距離aおよび撮像部Sが取得した被写体100の2次元画像(第1の被写体像の画像信号または第2の被写体像の画像信号)に基づいて、被写体100の3次元画像を生成する機能を有している。ここで言う「被写体100の3次元画像」とは、通常の被写体100のカラーまたは白黒の2次元画像の各ピクセルに対して、算出された被写体100の測距対象点までの距離aが関連付けられているデータを意味する。
 表示部6は、液晶表示部等のパネル型表示部であり、制御部2のプロセッサーからの信号に応じて、撮像部Sによって取得された被写体100の2次元画像(第1の被写体像の画像信号または第2の被写体像の画像信号)、距離算出部4によって算出された被写体100の測距対象点までの距離a、3次元画像生成部5によって生成された被写体100の3次元画像のような画像、測距カメラ1を操作するための情報等が文字または画像の形態で表示部6に表示される。
 操作部7は、測距カメラ1の使用者が操作を実行するために用いられる。操作部7は、測距カメラ1の使用者が操作を実行することができれば特に限定されず、例えば、マウス、キーボード、テンキー、ボタン、ダイヤル、レバー、タッチパネル等を操作部7として用いることができる。操作部7は、測距カメラ1の使用者による操作に応じた信号を制御部2のプロセッサーに送信する。
 通信部8は、測距カメラ1に対するデータの入力または測距カメラ1から外部デバイスへのデータの出力を行う機能を有している。通信部8は、インターネットのようなネットワークに接続可能に構成されていてもよい。この場合、測距カメラ1は、通信部8を用いることにより、外部に設けられたウェブサーバーやデータサーバーのような外部デバイスと通信を行うことができる。
 このように、本実施形態の測距カメラ1では、第1の光学系OS1および第2の光学系OS2が、第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとが、互いに異なるよう(f≠f)、構成されており、これにより、被写体100の測距対象点までの距離aに対する第1の被写体像の倍率mの変化と、被写体100の測距対象点までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっている。そのため、本発明の測距カメラ1は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に基づいて、被写体100の測距対象点までの距離aを一意に算出することができる。
 <第2実施形態>
 次に、図7を参照して、本発明の第2実施形態に係る測距カメラ1について詳述する。図7は、本発明の第2実施形態に係る測距カメラを概略的に示すブロック図である。
 以下、第2実施形態の測距カメラ1について、第1実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。第2実施形態の測距カメラ1は、撮像部Sが第1の撮像素子S1のみから構成されている点、第1の光学系OS1および第2の光学系OS2が同一の筐体内に設けられている点、該筐体内に第1のシャッター10a、第2のシャッター10b、ミラー11とプリズム12が設けられている点を除き、第1実施形態の測距カメラ1と同様である。
 図7に示すように、本実施形態では、第1の光学系OS1および第2の光学系OS2が同一筐体内に配置されている。また、第1の光学系OS1の前面側(被写体側)に、第1の光学系OS1への被写体100からの光の入射を遮断する第1のシャッター10aが配置され、第2の光学系OS2の前面側に、第2の光学系OS2への被写体100からの光の入射を遮断する第2のシャッター10bが配置されている。
 第1のシャッター10aおよび第2のシャッター10bは、制御部2のプロセッサーによって制御され、制御部2のプロセッサーからの信号に応じて開閉する。第1のシャッター10aおよび第2のシャッター10bは、双方のいずれか一方のみが開かれるように制御され、同時に開かれることはない。
 また、第2の光学系OS2によって集光される光の光路上には、ミラー11およびプリズム12が配置されている。第2のシャッター10bを通過し、第2の光学系OS2によって集光された光は、ミラー11およびプリズム12を通過し、第1の撮像素子S1の撮像面上に到達する。これにより、第2の被写体像が、第1の撮像素子S1の撮像面上に形成される。図示のように、本実施形態では、第1の光学系OS1の光軸と、第2の光学系OS2の光軸は、プリズム12から第1の撮像素子S1までの区間において一致するが、それ以外の区間、例えば、被写体100から第1の光学系OS1または第2の光学系OS2までの区間では、一致しない。
 第1のシャッター10aが開かれると、被写体100からの光が第1の光学系OS1へ入射し、第1の撮像素子S1の撮像面上に第1の被写体像が形成される。この際、第1の撮像素子S1は、第1の被写体像の画像信号を取得し、制御部2や距離算出部4に第1の被写体像の画像信号を送る。
 一方、第2のシャッター10bが開かれると、被写体100からの光が第2の光学系OS2へ入射し、ミラー11やプリズム12を介して、第1の撮像素子S1の撮像面上に第2の被写体像が形成される。この際、第1の撮像素子S1は、第2の被写体像の画像信号を取得し、制御部2や距離算出部4に第2の被写体像の画像信号を送る。
 このように、本実施形態においては、制御部2のプロセッサーによる制御によって、第1のシャッター10aおよび第2のシャッター10bのいずれか一方が開かれる。このような制御によって、測距カメラ1は、第1の被写体像の画像信号および第2の被写体像の画像信号を分離して取得することができる。
 本実施形態によっても、上述の第1実施形態と同様の効果を発揮することができる。また、本実施形態では、撮像部Sを、第1の光学系OS1によって形成される第1の被写体像および第2の光学系OS2によって形成される第2の被写体像の双方を撮像する単一の撮像素子(第1の撮像素子S1)で構成することができる。そのため、測距カメラ1の小型化および低コスト化を実現することができる。
 <第3実施形態>
 次に、図8を参照して、本発明の第3実施形態に係る測距カメラ1について詳述する。図8は、本発明の第3実施形態に係る測距カメラを概略的に示すブロック図である。
 以下、第3実施形態の測距カメラ1について、第1実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1は、第1の光学系OS1および第2の光学系OS2の構成が変更されている点を除き、第1実施形態の測距カメラ1と同様である。
 本実施形態の測距カメラ1は、像倍比MRに基づいて被写体100の測距対象点までの距離aを算出するために要求される上述の3つの条件の内、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系OS1の光軸との交点から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPと、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高における主光線の延長線と第2の光学系OS2の光軸との交点から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPとが、互いに異なる(EP≠EP)という第2の条件が満たされるよう、第1の光学系OS1および第2の光学系OS2が構成されていることを特徴とする。一方、本実施形態では、第1の光学系OS1および第2の光学系OS2は、上述の3つの条件の内、その他の2つの条件(f≠fおよびD≠0)を満たすように構成および配置されていない。さらに、本実施形態の測距カメラ1は、像倍比MRが距離aの関数として成立しているという第4の条件が満たされるよう構成されている。
 そのため、像倍比MRに基づいて被写体100の測距対象点までの距離aを算出するための上記一般式(13)は、f=f=fおよびD=0の条件により単純化され、下記式(17)で表すことができる。
Figure JPOXMLDOC01-appb-M000017
 ここで、係数Kは、下記式(18)で表される。
Figure JPOXMLDOC01-appb-M000018
 このように、本実施形態の測距カメラ1では、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系OS1の光軸との交点から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPと、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高における主光線の延長線と第2の光学系OS2の光軸との交点から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPとが、互いに異なるよう(EP≠EP)、第1の光学系OS1および第2の光学系OS2が構成されており、これにより、被写体100の測距対象点までの距離aに対する第1の被写体像の倍率mの変化と、被写体100の測距対象点までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっている。そのため、本実施形態の測距カメラ1は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に基づいて、被写体100の測距対象点までの距離aを一意に算出することができる。
 本実施形態によっても、上述の第1実施形態と同様の効果を発揮することができる。なお、本実施形態における第1の光学系OS1および第2の光学系OS2の構成および配置は、上述の第2の条件(EP≠EP)が満たされており、それにより、被写体100の測距対象点までの距離aに対する第1の被写体像の倍率mの変化と、被写体100の測距対象点までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっていれば、如何なる態様であってもよい。
 <第4実施形態>
 次に、図9を参照して、本発明の第4実施形態に係る測距カメラ1について詳述する。図9は、本発明の第4実施形態に係る測距カメラを概略的に示すブロック図である。
 以下、第4実施形態の測距カメラ1について、第3実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1と第3実施形態の測距カメラ1との相違点は、上述した第2実施形態の測距カメラ1と第1実施形態の測距カメラ1との相違点と同様である。すなわち、第4実施形態の測距カメラ1では、撮像部Sが第1の撮像素子S1のみから構成されている点、第1の光学系OS1および第2の光学系OS2が同一の筐体内に設けられている点、該筐体内に第1のシャッター10a、第2のシャッター10b、ミラー11とプリズム12が設けられている点を除き、第3実施形態の測距カメラ1と同様である。
 第2実施形態の測距カメラ1と同様に、本実施形態の測距カメラ1では、第1の光学系OS1および第2の光学系OS2が同一筐体内に配置されている。また、第1の光学系OS1の前面側(被写体側)に、第1の光学系OS1への被写体100からの光の入射を遮断する第1のシャッター10aが配置され、第2の光学系OS2の前面側に、第2の光学系OS2への被写体100からの光の入射を遮断する第2のシャッター10bが配置されている。
 第1のシャッター10aおよび第2のシャッター10bは、上述した第2実施形態と同様の動作を行うので、測距カメラ1は、単一の撮像素子(第1の撮像素子S1)のみを用いて、第1の被写体像の画像信号および第2の被写体像の画像信号を分離して取得することができる。
 本実施形態によっても、上述の第3実施形態と同様の効果を発揮することができる。また、上述した第2実施形態と同様に、本実施形態では、撮像部Sを、第1の光学系OS1によって形成される第1の被写体像および第2の光学系OS2によって形成される第2の被写体像の双方を撮像する単一の撮像素子(第1の撮像素子S1)で構成することができる。そのため、測距カメラ1の小型化および低コスト化を実現することができる。
 <第5実施形態>
 次に、図10を参照して、本発明の第5実施形態に係る測距カメラ1について詳述する。図10は、本発明の第5実施形態に係る測距カメラを概略的に示すブロック図である。
 以下、第5実施形態の測距カメラ1について、第1実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1は、第1の光学系OS1および第2の光学系OS2の構成および配置が変更されている点を除き、第1実施形態の測距カメラ1と同様である。
 本実施形態の測距カメラ1は、像倍比MRに基づいて被写体100の測距対象点までの距離aを算出するために要求される上述の3つの条件の内、第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間に奥行方向(光軸方向)の差Dが存在する(D≠0)という第3の条件が満たされるよう、第1の光学系OS1および第2の光学系OS2が構成および配置されていることを特徴とする。一方、本実施形態では、第1の光学系OS1および第2の光学系OS2は、上述の3つの条件の内、その他の2つの条件(f≠fおよびEP≠EP)を満たすように構成されていない。さらに、本実施形態の測距カメラ1は、像倍比MRが距離aの関数として成立しているという第4の条件が満たされるよう構成されている。
 そのため、像倍比MRに基づいて被写体100の測距対象点までの距離aを算出するための上記一般式(13)は、f=f=fおよびEP=EP=EPの条件により単純化され、下記式(19)で表すことができる。
Figure JPOXMLDOC01-appb-M000019
 ここで、係数Kは、下記式(20)で表される。
Figure JPOXMLDOC01-appb-M000020
 このように、本実施形態の測距カメラ1では、第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間に奥行方向(光軸方向)の差Dが存在するよう(D≠0)、構成および配置されており、これにより、被写体100の測距対象点までの距離aに対する第1の被写体像の倍率mの変化と、被写体100の測距対象点までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっている。そのため、本実施形態の測距カメラ1は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に基づいて、被写体100の測距対象点までの距離aを一意に算出することができる。
 本実施形態によっても、上述の第1実施形態と同様の効果を発揮することができる。なお、本実施形態における第1の光学系OS1の構成および第2の光学系OS2の構成および配置は、上述の第3の条件(D≠0)が満たされており、それにより、被写体100の測距対象点までの距離aに対する第1の被写体像の倍率mの変化と、被写体100の測距対象点までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっていれば、如何なる態様であってもよい。
 <第6実施形態>
 次に、図11を参照して、本発明の第6実施形態に係る測距カメラ1について詳述する。図11は、本発明の第6実施形態に係る測距カメラを概略的に示すブロック図である。
 以下、第6実施形態の測距カメラ1について、第5実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1と第5実施形態の測距カメラ1との相違点は、上述した第2実施形態の測距カメラ1と第1実施形態の測距カメラ1との相違点、および、上述した第4実施形態の測距カメラ1と第3実施形態の測距カメラ1との相違点と同様である。すなわち、第6実施形態の測距カメラ1では、撮像部Sが第1の撮像素子S1のみから構成されている点、第1の光学系OS1および第2の光学系OS2が同一の筐体内に設けられている点、該筐体内に第1のシャッター10a、第2のシャッター10b、ミラー11とプリズム12が設けられている点を除き、第5実施形態の測距カメラ1と同様である。
 なお、本実施形態では、図示のように、第1の光学系OS1および第2の光学系OS2は、同一の筐体内において、奥行方向(光軸方向)に直交する方向の同一直線上に配置されている。一方、第1の光学系OS1および第2の光学系OS2は、第1の光学系OS1から第1の光学系OS1の前側主点までの距離と、第2の光学系OS2から第2の光学系OS2の前側主点までの距離とが異なるように構成されており、そのため、第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間に奥行方向(光軸方向)の差Dが存在している(D≠0)。
 第2実施形態および第4実施形態の測距カメラ1と同様に、本実施形態の測距カメラ1では、第1の光学系OS1および第2の光学系OS2が同一筐体内に配置されている。また、第1の光学系OS1の前面側(被写体側)に、第1の光学系OS1への被写体100からの光の入射を遮断する第1のシャッター10aが配置され、第2の光学系OS2の前面側に、第2の光学系OS2への被写体100からの光の入射を遮断する第2のシャッター10bが配置されている。
 第1のシャッター10aおよび第2のシャッター10bは、上述した第2実施形態および第4実施形態と同様の動作を行うので、測距カメラ1は、単一の撮像素子(第1の撮像素子S1)のみを用いて、第1の被写体像の画像信号および第2の被写体像の画像信号を分離して取得することができる。
 本実施形態によっても、上述の第5実施形態と同様の効果を発揮することができる。また、上述した第2実施形態と同様に、本実施形態では、撮像部Sを、第1の光学系OS1によって形成される第1の被写体像および第2の光学系OS2によって形成される第2の被写体像の双方を撮像する単一の撮像素子(第1の撮像素子S1)で構成することができる。そのため、測距カメラ1の小型化および低コスト化を実現することができる。
 <第7実施形態>
 次に、図12を参照して、本発明の第7実施形態に係る測距カメラ1について詳述する。図12は、本発明の第7実施形態に係る測距カメラを概略的に示すブロック図である。
 以下、第7実施形態の測距カメラ1について、第6実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。第7実施形態の測距カメラ1では、第1の光学系OS1および第2の光学系OS2の構成および配置が変更されている点を除き、第1実施形態の測距カメラ1と同様である。
 図12に示すように、本実施形態では、第1の光学系OS1および第2の光学系OS2は、同一の筐体内において、奥行方向の位置の差が存在するよう配置されている。そのため、第1の光学系OS1および第2の光学系OS2が、第1の光学系OS1から第1の光学系OS1の前側主点までの距離と、第2の光学系OS2から第2の光学系OS2の前側主点までの距離とが等しくなるよう構成されている場合であっても、第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間の奥行方向(光軸方向)の差Dを確保することができる(D≠0)。本実施形態によっても、上述の第6実施形態と同様の効果を発揮することができる。
 ここまで各実施形態を参照して詳述したように、本発明の測距カメラ1は、複数の画像間の視差を用いず、かつ、被写体への一定パターンの照射を行わずに、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に基づいて、被写体100の測距対象点までの距離aを一意に算出することができる。
 そのため、本発明の測距カメラ1では、従来の複数の画像間の視差を用いたステレオカメラ方式の測距カメラと異なり、大きな視差を確保する必要がないため、第1の光学系OS1および第2の光学系OS2を近接して配置しても、被写体100の測距対象点までの距離aを正確に算出することができる。これにより、従来のステレオカメラ方式の測距カメラと比較して、測距カメラ1の小型化を実現することができる。また、本発明の測距カメラ1では、被写体100の測距対象点までの距離を算出するために視差を用いていないため、被写体100が測距カメラ1から近い位置にある場合であっても、被写体100の測距対象点までの距離aを正確に測定することができる。また、本発明によれば、視差を考慮して測距カメラ1を設計する必要がなくなるため、測距カメラ1の設計の自由度を増大させることができる。
 また、本発明の測距カメラ1では、距離算出部4は、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高を用いて、第1の光学系OS1の像空間での第1の被写体像の測距対象点の像高における主光線の延長線と第1の光学系OS1の光軸との交点から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPの値を特定し、同様に、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高を用いて、第2の光学系OS2の像空間での第2の被写体像の測距対象点の像高における主光線の延長線と第2の光学系OS2の光軸との交点から被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPの値を特定する。そのため、第1の光学系OS1および第2の光学系OS2のそれぞれが、被写体像の測距対象点の像高に応じたビネッティングが生じる光学系であり、かつ、被写体100の測距対象点に対応する第1の被写体像および第2の被写体像の測距対象点の像高が高い場合であっても、距離算出部4は、被写体100の測距対象点までの距離aを正確に算出することができる。
 また、本発明の測距カメラ1では、パターン照射方式の測距カメラと異なり、一定パターンの光を被写体に照射するプロジェクター等の特殊な光源を用いる必要がない。そのため、測距カメラ1のシステム構成をシンプルにすることができる。これにより、従来のパターン照射方式の測距カメラと比較して、測距カメラ1の小型化、軽量化、低消費電力化、および低コスト化を実現することができる。
 また、上述のように、本発明の測距カメラ1において、像倍比MRに基づいて、被写体100の測距対象点までの距離aを算出するために用いられる上記一般式(13)は、第1の光学系OS1および第2の光学系OS2がオートフォーカス機能を有さない固定焦点系であり、第1の撮像素子S1の撮像面が第1の被写体像の結像位置になく、第2の撮像素子S2の撮像面が第2の被写体像の結像位置にない場合、すなわち、デフォーカスが存在する場合であっても、被写体100の測距対象点までの距離aを算出するために用いることができる。
 したがって、本発明の測距カメラ1では、第1の光学系OS1および第2の光学系OS2のオートフォーカス機能を提供するためのレンズ駆動系を用いる必要がない。そのため、測距カメラ1の部品点数を削減することができ、測距カメラ1の小型化、軽量化、および低コスト化を達成することができる。また、電力を消費して第1の光学系OS1および第2の光学系OS2を駆動させる必要もないので、測距カメラ1の消費電力を削減することができる。また、フォーカス動作に要する処理時間も不要となるため、被写体100の測距対象点までの距離aを算出するために要する測定時間を短縮することもできる。
 また、上記各実施形態では、第1の光学系OS1および第2の光学系OS2の2つの光学系が用いられているが、用いられる光学系の数はこれに限られない。例えば、第1の光学系OS1および第2の光学系OS2に加え、追加的な光学系をさらに備えるような態様もまた本発明の範囲内である。この場合、追加的な光学系は、追加的な光学系によって形成される被写体像の倍率の被写体100の測距対象点までの距離aに対する変化は、第1の被写体像の倍率mの被写体の測距対象点までの距離aに対する変化および第2の被写体像の倍率mの被写体の測距対象点までの距離aに対する変化と異なるように構成および配置されている。
 なお、上述した各実施形態は、像倍比MRに基づいて被写体100の測距対象点までの距離aを算出するために要求される上述の3つの条件の内のいずれか1つを満たすよう第1の光学系OS1および第2の光学系OS2が構成および配置されているが、上述の3つの条件の内の少なくとも1つが満たされるよう、第1の光学系OS1および第2の光学系OS2が構成および配置されていれば、本発明はこれに限られない。例えば、上述の3つの条件の内の全てまたは任意の組み合わせが満たされるよう、第1の光学系OS1および第2の光学系OS2が構成および配置されている態様も、本発明の範囲内である。
 <測距方法>
 次に、図13を参照して、本発明の測距カメラ1によって実行される測距方法について説明する。図13は、本発明の測距カメラによって実行される測距方法を説明するためのフローチャートである。なお、以下に詳述する測距方法は、上述した本発明の第1~第7実施形態に係る測距カメラ1および測距カメラ1と同等の機能を有する任意の装置を用いて実行することができるが、説明のため、第1実施形態に係る測距カメラ1を用いて実行されるものとして説明する。
 図13に示す測距方法S100は、測距カメラ1の使用者が操作部7を用いて、被写体100の測距対象点までの距離aを測定するための操作を実行することにより開始される。工程S110において、撮像部Sの第1の撮像素子S1によって、第1の光学系OS1によって形成された第1の被写体像が撮像され、第1の被写体像の画像信号が取得される。第1の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。工程S120において、距離算出部4は、受信した第1の被写体像の画像信号から、第1の被写体像の測距対象点の像高(第1の光学系OS1の光軸に垂直な方向での第1の光学系OS1の光軸からの離間距離)YFD1を算出する。
 一方、工程S130において、撮像部Sの第2の撮像素子S2によって、第2の光学系OS2によって形成された第2の被写体像が撮像され、第2の被写体像の画像信号が取得される。第2の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。工程S140において、距離算出部4は、受信した第2の被写体像の画像信号から、第2の被写体像の測距対象点の像高(第2の光学系OS2の光軸に垂直な方向での第2の光学系OS2の光軸からの離間距離)YFD2を算出する。
 なお、工程S110および工程S120における第1の被写体像の画像信号の取得と第1の被写体像の測距対象点の像高YFD1の算出は、工程S130および工程S140における第2の被写体像の画像信号の取得と第2の被写体像の測距対象点の像高YFD2の算出と同時に実行されてもよいし、別々に実行されてもよい。
 第1の被写体像の測距対象点の像高YFD1および第2の被写体像の測距対象点の像高YFD2の双方が算出されると、処理は、工程S150に移行する。工程S150において、距離算出部4は、第1の被写体像の測距対象点の像高YFD1および第2の被写体像の測距対象点の像高YFD2から、上記式(14)MR=YFD2/YFD1に基づいて、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出する。
 次に、工程S160において、距離算出部4は、関連付情報記憶部3に関連付情報の1つとして保存されている第1の被写体像の測距対象点の像高YFD1からEPの値を一意に特定するためのルックアップテーブルまたは数式を参照し、算出した第1の被写体像の測距対象点の像高YFD1からEPの値を特定する。同様に、距離算出部4は、関連付情報記憶部3に関連付情報の1つとして保存されている第2の被写体像の測距対象点の像高YFD2からEPの値を一意に特定するためのルックアップテーブルまたは数式を参照し、算出した第2の被写体像の測距対象点の像高YFD2からEPの値を特定する。その後、距離算出部4は、関連付情報記憶部3に保存されている関連付情報、並びに、第1の被写体像の測距対象点の像高YFD1から特定したEPおよび第2の被写体像の測距対象点の像高YFD2から特定したEPを参照し、算出した像倍比MRに基づいて、被写体100の測距対象点までの距離aを算出(特定)する。工程S160において被写体100の測距対象点までの距離aが算出されると、処理は、工程S170に移行する。
 工程S170において、3次元画像生成部5が、距離算出部4によって算出された被写体100の測距対象点までの距離aおよび撮像部Sが取得した被写体100の2次元画像(第1の被写体像の画像信号または第2の被写体像の画像信号)に基づいて、被写体100の3次元画像を生成する。その後、ここまでの工程において取得された被写体の2次元画像、被写体100の測距対象点までの距離a、および/または、被写体100の3次元画像が、表示部6に表示され、または通信部8によって外部デバイスに送信され、測距方法S100は終了する。
 以上、本発明の測距カメラを図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。本発明の各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の各構成に任意の構成のものを付加することができる。
 本発明の属する分野および技術における当業者であれば、本発明の原理、考え方、および範囲から有意に逸脱することなく、記述された本発明の測距カメラの構成の変更を実行可能であろうし、変更された構成を有する測距カメラもまた、本発明の範囲内である。例えば、第1実施形態から第7実施形態の測距カメラを任意に組み合わせた態様も、本発明の範囲内である。
 また、図6~12に示された測距カメラのコンポーネントの数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意のコンポーネントが追加若しくは組み合わされ、または任意のコンポーネントが削除された態様も、本発明の範囲内である。また、測距カメラの各コンポーネントは、ハードウェア的に実現されていてもよいし、ソフトウェア的に実現されていてもよいし、これらの組み合わせによって実現されていてもよい。
 また、図13に示された測距方法S100の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合され、または、任意の工程が削除される態様も、本発明の範囲内である。
 <利用例>
 本発明の測距カメラ1の利用例は特に限定されないが、例えば、被写体のポートレートを撮像するとともに、被写体の顔の3次元画像を取得するために、測距カメラ1を用いることができる。このような利用形態では、本発明の測距カメラ1をスマートフォンや携帯電話等のモバイルデバイス内に組み込むことが好ましい。
 また、本発明の測距カメラ1は、精密機器の組み立てや検査のために用いられるハンドラーロボットにおいて利用することができる。測距カメラ1によれば、精密機器を組み立てる際に、ハンドラーロボット本体またはハンドラーロボットのアームから、精密機器または精密機器の部品までの距離を測定することができることから、ハンドラーロボットの把持部によって正確に部品を把持することができる。
 また、本発明の測距カメラ1によれば、被写体の測距対象点までの距離を測定することができることから、被写体の3次元情報を取得することができる。このような被写体の3次元情報は、3Dプリンターによる3次元構造体の作製に用いることができる。
 また、自動車内において、本発明の測距カメラ1を利用することにより、自動車から歩行者や障害物等の任意の物体までの距離を測定することができる。算出された任意の物体までの距離に関する情報は、自動車の自動ブレーキシステムや自動運転に用いることができる。
 本発明の測距カメラでは、被写体の測距対象点までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも2つの光学系を用い、さらに、被写体の測距対象点に対応する第1の被写体像および第2の被写体像の測距対象点の像高に応じた計算を行うことにより、該2つの光学系によってそれぞれ形成された2つの被写体像の像倍比(倍率の比)に基づいて、被写体の測距対象点までの距離を測定することができる。そのため、被写体の測距対象点までの距離を算出するために用いられる第1の光学系および第2の光学系のそれぞれが、ビネッティングが生じる光学系であり、かつ、被写体の測距対象点に対応し、第1の光学系によって形成される第1の被写体像および第2の光学系によって形成される第2の被写体像の測距対象点の像高が高い場合であっても、被写体の測距対象点までの距離を正確に測定することができる。したがって、本発明は、産業上の利用可能性を有する。

Claims (9)

  1.  被写体の測距対象点までの距離を算出するための測距カメラであって、
     前記被写体からの光を集光し、第1の被写体像を形成するための第1の光学系と、
     前記被写体からの前記光を集光し、第2の被写体像を形成するための第2の光学系と、
     前記第1の光学系によって形成された前記第1の被写体像および前記第2の光学系によって形成された前記第2の被写体像を撮像するための撮像部と、
     前記被写体の前記測距対象点に対応する前記第1の被写体像および前記第2の被写体像の測距対象点の像高に応じた計算を行うことにより、前記撮像部によって撮像された前記第1の被写体像および前記第2の被写体像に基づいて、前記被写体の前記測距対象点までの前記距離を算出するための距離算出部と、を備え、
     前記距離算出部は、前記第1の被写体像の倍率と前記第2の被写体像の倍率との像倍比に基づいて、前記被写体の前記測距対象点までの前記距離を算出することを特徴とする測距カメラ。
  2.  前記第1の光学系は、前記被写体の前記測距対象点に対応する前記第1の被写体像の前記測距対象点の前記像高に応じたビネッティングが生じ、前記第1の光学系の像空間での前記第1の被写体像の前記測距対象点の前記像高における主光線の延長線と前記第1の光学系の光軸との交点が、前記第1の被写体像の前記測距対象点の前記像高に応じて変化する光学系であり、
     前記第2の光学系は、前記被写体の前記測距対象点に対応する前記第2の被写体像の前記測距対象点の前記像高に応じたビネッティングが生じ、前記第2の光学系の像空間での前記第2の被写体像の前記測距対象点の前記像高における主光線の延長線と前記第2の光学系の光軸との交点が、前記第2の被写体像の前記測距対象点の前記像高に応じて変化する光学系であり、
     前記距離算出部は、前記第1の光学系の前記像空間での前記第1の被写体像の前記測距対象点の前記像高における前記主光線の前記延長線と前記第1の光学系の前記光軸との前記交点から、前記被写体が無限遠に存在する場合の前記第1の被写体像の結像位置までの距離、および、前記第2の光学系の前記像空間での前記第2の被写体像の前記測距対象点の前記像高における前記主光線の前記延長線と前記第2の光学系の前記光軸との交点から、前記被写体が無限遠に存在する場合の前記第2の被写体像の結像位置までの距離を用いた前記計算を行うことにより、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比に基づいて、前記被写体の前記測距対象点までの前記距離を算出するよう構成されている請求項1に記載の測距カメラ。
  3.  前記第1の光学系および前記第2の光学系は、前記第1の光学系の焦点距離と、前記第2の光学系の焦点距離とが、互いに異なるよう構成されており、これにより、前記被写体の前記測距対象点までの前記距離に応じた前記第1の被写体像の前記倍率の変化が、前記被写体の前記測距対象点までの前記距離に応じた前記第2の被写体像の前記倍率の変化と異なるようになっている請求項2に記載の測距カメラ。
  4.  前記第1の光学系および前記第2の光学系は、前記第1の光学系の前記像空間での前記第1の被写体像の前記測距対象点の前記像高における前記主光線の前記延長線と前記第1の光学系の前記光軸との前記交点から、前記被写体が無限遠に存在する場合の前記第1の光学系によって形成される前記第1の被写体像の前記結像位置までの前記距離と、前記第2の光学系の前記像空間での前記第2の被写体像の前記測距対象点の前記像高における前記主光線の前記延長線と前記第2の光学系の前記光軸との前記交点から、前記被写体が無限遠に存在する場合の前記第2の光学系によって形成される前記第2の被写体像の前記結像位置までの前記距離とが異なるように構成されており、これにより、前記被写体の前記測距対象点までの前記距離に応じた前記第1の被写体像の前記倍率の変化が、前記被写体の前記測距対象点までの前記距離に応じた前記第2の被写体像の前記倍率の変化と異なるようになっている請求項2または3に記載の測距カメラ。
  5.  前記第1の光学系の前側主点と前記第2の光学系の前側主点との間に奥行方向の差が存在し、これにより、前記被写体の前記測距対象点までの前記距離に応じた前記第1の被写体像の前記倍率の変化が、前記被写体の前記測距対象点までの前記距離に応じた前記第2の被写体像の前記倍率の変化と異なるようになっている請求項2ないし4のいずれかに記載の測距カメラ。
  6.  前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比と、前記被写体の前記測距対象点までの前記距離とを関連付ける関連付情報を記憶している関連付情報記憶部をさらに備え、
     前記距離算出部は、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比と、前記関連付情報記憶部内の前記関連付情報とに基づいて、前記被写体の前記測距対象点までの前記距離を算出する請求項1ないし5のいずれかに記載の測距カメラ。
  7.  前記距離算出部は、前記被写体の前記測距対象点に対応する前記第1の被写体像の前記測距対象点の前記像高と、前記被写体の前記測距対象点に対応する前記第2の被写体像の前記測距対象点の前記像高との比を、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比として算出する請求項1ないし6のいずれかに記載の測距カメラ。
  8.  前記撮像部は、前記第1の被写体像を撮像するための第1の撮像素子と、前記第2の被写体像を撮像するための第2の撮像素子とを含む請求項1ないし7のいずれかに記載の測距カメラ。
  9.  前記撮像部は、前記第1の被写体像および前記第2の被写体像の双方を撮像する単一の撮像素子である請求項1ないし7のいずれかに記載の測距カメラ。
PCT/JP2019/046955 2019-02-06 2019-12-02 測距カメラ WO2020162003A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980091467.2A CN113424020B (zh) 2019-02-06 2019-12-02 测距摄像机
US17/428,613 US11842507B2 (en) 2019-02-06 2019-12-02 Distance measuring camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-020123 2019-02-06
JP2019020123A JP7256368B2 (ja) 2019-02-06 2019-02-06 測距カメラ

Publications (1)

Publication Number Publication Date
WO2020162003A1 true WO2020162003A1 (ja) 2020-08-13

Family

ID=71947867

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046955 WO2020162003A1 (ja) 2019-02-06 2019-12-02 測距カメラ

Country Status (4)

Country Link
US (1) US11842507B2 (ja)
JP (1) JP7256368B2 (ja)
CN (1) CN113424020B (ja)
WO (1) WO2020162003A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03200007A (ja) * 1989-12-28 1991-09-02 Nippon Telegr & Teleph Corp <Ntt> ステレオ計測装置
JP2001141422A (ja) * 1999-11-10 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
US20160379066A1 (en) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Method and Camera System for Distance Determination of Objects from a Vehicle
JP2019032295A (ja) * 2017-08-09 2019-02-28 ミツミ電機株式会社 測距カメラ
WO2019124040A1 (ja) * 2017-12-18 2019-06-27 ミツミ電機株式会社 測距カメラ
WO2019181622A1 (ja) * 2018-03-19 2019-09-26 ミツミ電機株式会社 測距カメラ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3200007B2 (ja) 1996-03-26 2001-08-20 シャープ株式会社 光結合器及びその製造方法
WO2008079301A2 (en) * 2006-12-21 2008-07-03 Massachusetts Institute Of Technology Methods and apparatus for 3d surface imaging using active wave-front sampling
WO2010073547A1 (ja) * 2008-12-25 2010-07-01 パナソニック株式会社 画像処理装置及び擬似立体画像生成装置
JP5489897B2 (ja) 2010-07-22 2014-05-14 パナソニック株式会社 ステレオ測距装置及びステレオ測距方法
JP5963514B2 (ja) * 2012-04-19 2016-08-03 キヤノン株式会社 測距装置、測距方法及び撮像システム
US10869020B2 (en) * 2012-06-29 2020-12-15 Inb Vision Ag Method for capturing images of a preferably structured surface of an object and device for image capture
RU2595759C2 (ru) * 2014-07-04 2016-08-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для захвата изображения и одновременного извлечения глубины
EP3026628A1 (en) * 2014-11-26 2016-06-01 Thomson Licensing Method and apparatus for estimating depth of unfocused plenoptic data
US9693038B2 (en) * 2015-04-21 2017-06-27 Hand Held Products, Inc. Systems and methods for imaging
US9727775B2 (en) * 2015-12-01 2017-08-08 Intel Corporation Method and system of curved object recognition using image matching for image processing
JP7009091B2 (ja) * 2017-06-20 2022-01-25 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム
US11682131B2 (en) * 2017-10-27 2023-06-20 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling image capturing apparatus
JP6986683B2 (ja) * 2018-01-05 2021-12-22 パナソニックIpマネジメント株式会社 視差値算出装置、視差値算出方法及びプログラム
US10685446B2 (en) * 2018-01-12 2020-06-16 Intel Corporation Method and system of recurrent semantic segmentation for image processing
US11195257B2 (en) * 2018-08-24 2021-12-07 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03200007A (ja) * 1989-12-28 1991-09-02 Nippon Telegr & Teleph Corp <Ntt> ステレオ計測装置
JP2001141422A (ja) * 1999-11-10 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
US20160379066A1 (en) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Method and Camera System for Distance Determination of Objects from a Vehicle
JP2019032295A (ja) * 2017-08-09 2019-02-28 ミツミ電機株式会社 測距カメラ
WO2019124040A1 (ja) * 2017-12-18 2019-06-27 ミツミ電機株式会社 測距カメラ
WO2019181622A1 (ja) * 2018-03-19 2019-09-26 ミツミ電機株式会社 測距カメラ

Also Published As

Publication number Publication date
US20220120562A1 (en) 2022-04-21
CN113424020A (zh) 2021-09-21
JP7256368B2 (ja) 2023-04-12
CN113424020B (zh) 2024-04-09
JP2020126029A (ja) 2020-08-20
US11842507B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
JP7104294B2 (ja) 測距カメラ
JP4894939B2 (ja) 撮像装置、表示方法、および、プログラム
JP7104296B2 (ja) 測距カメラ
JP2008026802A (ja) 撮像装置
JP2007158825A (ja) 画像入力装置
JP7288226B2 (ja) 測距カメラ
JP2008241733A (ja) 撮像装置
WO2019181622A1 (ja) 測距カメラ
JP6357646B2 (ja) 撮像装置
CN112368544B (zh) 测距摄像机
CN108540693A (zh) 图像捕获装置和图像捕获单元
WO2013069279A1 (ja) 撮像装置
WO2020162003A1 (ja) 測距カメラ
JP2014194502A (ja) 撮像装置および撮像システム
JP7328589B2 (ja) 測距カメラ
JP7288227B2 (ja) 測距カメラ
WO2018235709A1 (ja) 測距カメラおよび測距方法
JP2015022264A (ja) 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置
JP2015060047A (ja) 撮像装置及び焦点検出方法
JP2017076051A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP2016142778A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19914683

Country of ref document: EP

Kind code of ref document: A1