WO2020090358A1 - 測距カメラ - Google Patents

測距カメラ Download PDF

Info

Publication number
WO2020090358A1
WO2020090358A1 PCT/JP2019/039471 JP2019039471W WO2020090358A1 WO 2020090358 A1 WO2020090358 A1 WO 2020090358A1 JP 2019039471 W JP2019039471 W JP 2019039471W WO 2020090358 A1 WO2020090358 A1 WO 2020090358A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
distance
feature points
subject image
Prior art date
Application number
PCT/JP2019/039471
Other languages
English (en)
French (fr)
Inventor
覚 須藤
Original Assignee
ミツミ電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミツミ電機株式会社 filed Critical ミツミ電機株式会社
Priority to CN201980052688.9A priority Critical patent/CN112585423B/zh
Priority to US17/269,521 priority patent/US11385053B2/en
Priority to EP19878225.2A priority patent/EP3875900A4/en
Publication of WO2020090358A1 publication Critical patent/WO2020090358A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention generally relates to a distance measuring camera for measuring a distance to a subject, and more specifically, it is formed by at least two optical systems in which a change in magnification of a subject image according to a distance to the subject is different from each other. Further, the present invention relates to a distance measuring camera that measures a distance to a subject based on an image magnification ratio between at least two subject images.
  • a range-finding camera that measures the distance to a subject by capturing an image of the subject.
  • a range-finding camera at least an optical system for condensing light from a subject to form a subject image and an image pickup device for converting the subject image formed by the optical system into an image.
  • a stereo camera type ranging camera having two pairs is known (for example, refer to Patent Document 1).
  • a stereo camera distance measuring camera as disclosed in Patent Document 1 is a translational parallax between two subject images formed by two optical systems that are arranged so as to be shifted from each other in a direction perpendicular to the optical axis direction. (Parallax in the direction perpendicular to the optical axis direction) can be calculated, and the distance to the subject can be calculated based on this translational parallax value.
  • the distance to the subject cannot be accurately calculated if the translational parallax between the subject images is small. Therefore, in order to sufficiently increase the translational parallax between the subject images, it is necessary to dispose the two optical systems at a large distance from each other in the direction perpendicular to the optical axis direction. This makes it difficult to reduce the size of the distance measuring camera.
  • the feature points of the subject image for calculating the translational parallax are shown in one image due to the field of view of the obtained image, but in the other image. Then, the situation that it is not reflected occurs. In order to avoid this situation, it is necessary to arrange the two optical systems close to each other. However, if the two optical systems are arranged close to each other, the translational parallax between the subject images becomes small, and the accuracy of distance measurement deteriorates. Therefore, it is difficult to accurately calculate the distance to a subject located at a short distance by using distance measurement based on translational parallax between subject images.
  • the present inventors have proposed an image magnification ratio type ranging camera that calculates a distance to a subject based on an image magnification ratio (magnification ratio) between two subject images.
  • the image magnification ratio type distance measuring camera uses two optical systems in which the change in the magnification of the subject image according to the distance to the subject is different from each other, and the image between the two subject images formed by the two optical systems is used.
  • the distance to the subject is calculated based on the multiplication ratio (ratio of magnifications) (see Patent Document 2).
  • the translational parallax between the subject images is not used to calculate the distance to the subject. Therefore, even if the two optical systems are arranged close to each other, the distance to the subject is reduced. Can be accurately calculated. Therefore, the size of the distance measuring camera can be reduced. Further, the image magnification ratio between the subject images can be accurately acquired even when the subject is located at a short distance. The distance can be calculated accurately.
  • Image magnification ratio between subject images is calculated from the ratio of the sizes of the two subject images.
  • a plurality of feature points of the subject image for example, both ends in the height direction or the width direction of the distance measurement target
  • it is acquired by measuring the distance between the feature points in the image.
  • it is necessary to obtain the size of the same portion of the two subject images. Therefore, after detecting a plurality of feature points of one subject image, corresponding feature point detection for detecting a plurality of feature points of the other subject image respectively corresponding to the plurality of detected feature points of the one subject image You need to perform some processing.
  • Such matching feature point detection processing is generally executed by searching the entire area of the image acquired by capturing the other subject image.
  • searching the entire area of the image requires a lot of processing time, and the processing time required for the corresponding feature point detection processing becomes long.
  • the processing time for calculating the distance to the subject based on the image magnification ratio between the subject images becomes long.
  • the present invention has been made in view of the above-mentioned conventional problems, and an object thereof is to provide a range-finding camera capable of shortening the processing time for calculating the distance to a subject based on the image magnification ratio between subject images. To do.
  • the second optical system is arranged so as to be shifted with respect to the first optical system in a direction perpendicular to the optical axis direction of the first optical system, collects the light from the subject, and forms a second subject image.
  • a size acquisition unit for acquiring the size of the second subject image by measuring the distance between the plurality of feature points of the image; Magnification of the first subject image and magnification of the second subject image obtained as a ratio of the size of the first subject image acquired by the size obtaining unit to the size of the second subject image
  • a distance calculation unit for calculating the distance to the subject based on the image magnification ratio of The size acquisition unit, only in a search region of the second image, the first imaging region corresponding to the first image and the second imaging region corresponding to the second image may overlap, Detecting the plurality of feature points of the second subject image in the second image by searching on a plurality of epipolar lines respectively corresponding to the plurality of feature points of the first subject image.
  • a characteristic rangefinder camera for acquiring the size of the second subject image by measuring the distance between the plurality of feature points of the image;
  • the first image pickup system and the second image pickup system have a distance equal to or more than the distance measurement start distance determined by the arrangement and characteristics of the first image pickup system and the second image pickup system. It is configured such that, when the subject located is photographed, all of the first photographing region corresponding to the first image is included in the second photographing region corresponding to the second image.
  • the distance measuring camera according to (1).
  • the size acquisition unit may include the first imaging region corresponding to the first image and the second imaging region based on the arrangement and the characteristics of the first imaging system and the second imaging system.
  • the size acquisition unit identifies positions in the first image of the plurality of feature points of the first subject image, and further, the plurality of feature points of the first subject image.
  • the rangefinder camera according to any one of (1) to (4) above, which is configured to limit the search area of the second image based on the position.
  • the size acquisition unit determines whether each of the plurality of feature points of the first subject image is located in a region on the left side of the center of the first image, or on the right side of the center of the first image. It is specified whether or not it is located in the area, and further, the plurality of feature points of the second subject image in the second image corresponding to the plurality of feature points of the first subject image are detected. At this time, based on whether each of the plurality of feature points of the first subject image is located in the left area of the first image or in the right area of the first image.
  • the rangefinder camera according to (5), which is configured to limit the search area of the second image.
  • the second image pickup system which is obtained by the second image pickup system and which corresponds to the plurality of feature points of the first subject image in the first image obtained by the first image pickup system, respectively.
  • a feature point search using epipolar lines based on epipolar geometry is executed. Therefore, it is possible to reduce the processing time for calculating the distance to the subject based on the image magnification ratio between the subject images.
  • the first shooting area corresponding to the first image and the second shooting area corresponding to the second image may overlap.
  • the search on the epipolar line is executed only in the search region in the image of. Therefore, in the distance measuring camera of the present invention, the search area in the second image is limited as compared with the case where the search on the epipolar line is executed in the entire area of the second image. With such processing, the processing time for calculating the distance to the subject based on the image magnification ratio between the subject images can be further shortened.
  • FIG. 1 is a block diagram schematically showing a distance measuring camera according to a first embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing an example of epipolar lines in the second image derived by the distance measuring camera shown in FIG.
  • FIG. 3 shows an example of the arrangement of the first image pickup system and the second image pickup system of the rangefinder camera shown in FIG. 1 and the first position corresponding to the feature points in the first image according to the distance to the subject. It is a figure for demonstrating the change of the position of the characteristic point in the image of FIG.
  • FIG. 4 is a diagram illustrating an arrangement example of the first image pickup system and the second image pickup system shown in FIG.
  • FIG. 5 corresponds to another example of the arrangement of the first image pickup system and the second image pickup system of the rangefinder camera shown in FIG. 1 and the characteristic points in the first image according to the distance to the subject.
  • FIG. 6 is a diagram for explaining a change in the position of a feature point in the second image that is displayed.
  • FIG. 6 is a diagram illustrating an arrangement example of the first image pickup system and the second image pickup system shown in FIG. 5, in which a first image pickup area corresponding to the first image and a second image pickup area corresponding to the second image It is a figure for demonstrating the range where and can overlap.
  • FIG. 7 is a flow chart for explaining a distance measuring method executed by the distance measuring camera according to the first embodiment of the present invention.
  • FIG. 8 is a flowchart showing details of corresponding feature point detection processing in the distance measuring method of FIG.
  • FIG. 9 shows an example of the arrangement of the first image pickup system and the second image pickup system of the distance measuring camera according to the second embodiment of the present invention, and the features in the first image according to the distance to the subject. It is a figure for demonstrating the change of the position of the characteristic point in the 2nd image corresponding to a point.
  • FIG. 10 is a diagram illustrating an example of the arrangement of the first image pickup system and the second image pickup system shown in FIG.
  • FIG. 9 shows an example of the arrangement of the first image pickup system and the second image pickup system shown in FIG. 9 in the second image corresponding to the feature point in the first image according to the distance to the subject. It is another figure for demonstrating the change of the position of a characteristic point.
  • FIG. 12 is a diagram illustrating an example of the arrangement of the first image pickup system and the second image pickup system shown in FIG. 9, in which the right side region of the first image pickup region corresponding to the first image and the second region corresponding to the second image.
  • FIG. 6 is a diagram for explaining a range in which the image capturing area can overlap.
  • FIG. 13 is a diagram illustrating another example of the arrangement of the first image pickup system and the second image pickup system, in which a left side region of the first image pickup region corresponding to the first image and a second image pickup corresponding to the second image are taken. It is a figure for explaining the range which can overlap with a field.
  • FIG. 14 is a diagram illustrating another example of the arrangement of the first image pickup system and the second image pickup system, in which the right side area of the first image pickup area corresponding to the first image and the second image pickup area corresponding to the second image. It is a figure for explaining the range which can overlap with a field.
  • FIG. 1 is a block diagram schematically showing a distance measuring camera according to a first embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing an example of epipolar lines in the second image derived by the distance measuring camera shown in FIG.
  • FIG. 3 shows an example of the arrangement of the first image pickup system and the second image pickup system of the distance measuring camera shown in FIG. It is a figure for demonstrating the change of the position of the characteristic point in the image of FIG.
  • FIG. 4 is a diagram showing an example of the arrangement of the first image pickup system and the second image pickup system shown in FIG.
  • FIG. 5 corresponds to another example of the arrangement of the first image pickup system and the second image pickup system of the rangefinder camera shown in FIG. 1 and the characteristic points in the first image according to the distance to the subject.
  • FIG. 6 is a diagram for explaining a change in the position of a feature point in the second image that is displayed.
  • FIG. 6 is a diagram illustrating an example of the arrangement of the first image pickup system and the second image pickup system shown in FIG. 5, in which the first image pickup area corresponding to the first image and the second image pickup area corresponding to the second image. It is a figure for demonstrating the range where and can overlap.
  • the ranging camera 1 according to the first embodiment of the present invention shown in FIG. 1 has a function of measuring the distance (subject distance) from the ranging camera 1 to the subject 100 by imaging the subject 100. .. More specifically, the distance measuring camera 1 is based on the image magnification ratio MR of at least two subject images formed by at least two optical systems in which the magnification of the subject image changes according to the distance to the subject 100. The distance measuring camera 1 has a function of measuring the distance from the object 100. Note that the distance measuring camera 1 includes at least two optical systems in which the change in the magnification of the subject image according to the distance to the subject 100 is different from each other.
  • the distance measuring camera 1 uses the subject A first optical system OS1 of a first image pickup system IS1 and a second optical system OS2 of a second image pickup system IS2, which have different changes in magnification of a subject image according to the distance to 100, are provided. Will be detailed below.
  • the rangefinder camera 1 shown in FIG. 1 includes a control unit 2 that controls the rangefinder camera 1, and a first optical system OS1 that collects light from a subject 100 and forms a first subject image.
  • a first imaging system IS1 having a first imaging element S1 for capturing a first image including a first subject image and a first image including the first subject image, and a first optical system OS1.
  • the first optical system OS1 is arranged with a distance P shifted in the direction perpendicular to the optical axis direction of the first optical system OS1 to collect light from the subject 100 and form a second subject image.
  • a second image pickup system IS2 having a second optical system OS2 and a second image pickup element S2 for picking up a second subject image and obtaining a second image including the second subject image;
  • a size acquisition unit 3 for acquiring the size of the first subject image and the size of the second subject image;
  • a distance calculation unit 5 for calculating the distance to the subject 100, and a first image acquired by the first image sensor S1 or a second image acquired by the second image sensor S2.
  • a three-dimensional image generation unit 6 for generating a three-dimensional image of the subject 100 based on the distance to the subject 100 calculated by the distance calculation unit 5, and for displaying arbitrary information such as a liquid crystal panel. Display 7 and by user
  • An operation unit 8 for inputting a work, a communication unit 9 for executing communication with an external device, and a data bus 10 for exchanging data between each component of the distance measuring camera 1 are provided. ing.
  • the first optical system OS1 of the first imaging system IS1 and the second optical system OS2 of the second imaging system IS2 image the subject 100 with the first imaging system IS1.
  • the change of the magnification m 1 according to the distance to the subject 100 of the first subject image included in the first image obtained by the above is obtained by capturing the subject 100 by the second imaging system IS2. It is configured and arranged so as to be different from the change of the magnification m 2 according to the distance to the subject 100 of the second subject image included in the second image.
  • the condition under which the change in the magnification m 1 of the first subject image depending on the distance to the subject 100 and the change in the magnification m 2 of the second subject image depending on the distance to the subject 100 are different are:
  • the optical system OS1 and the second optical system OS2 are configured and arranged so as to satisfy at least one of the following three conditions.
  • the focal length f 1 of the (first condition) first optical system OS1, the focal length f 2 of the second optical system OS2 are different from each other (f 1 ⁇ f 2)
  • the distance EP 2 from the pupil to the image formation position of the second subject image when the subject 100 is at infinity is different from each other (EP 1 ⁇ EP 2 ).
  • a difference (depth parallax) D in the depth direction (optical axis direction) exists between the front principal point of the first optical system OS1 and the front principal point of the second optical system OS2 ( D ⁇ 0)
  • the image magnification ratio MR which is the ratio of the magnification m 1 of the first subject image and the magnification m 2 of the second subject image, does not hold as a function of the distance to the subject 100. Therefore, the first optical system OS1 and the second optical system OS2 are configured to further satisfy the fourth condition that the image magnification ratio MR holds as a function of the distance to the subject 100.
  • the first image pickup system IS1 and the second image pickup system IS2 further start the distance measurement (MS) which is determined from the arrangement and characteristics of the first image pickup system IS1 and the second image pickup system IS2. : MeasurementStart) When a subject 100 located at a distance equal to or more than the distance is photographed, all of the first photographing area corresponding to the first image is the second photographing area corresponding to the second image. It is constructed and arranged to fit inside.
  • the first imaging system IS1 and the second imaging system IS2 take a first image of the subject 100 located at a distance equal to or more than the distance measurement start distance from the first imaging system IS1.
  • the image is captured using the system IS1 and the second image capturing system IS2
  • all of the first image capturing area corresponding to the first image acquired by the first image capturing system IS1 is captured by the second image capturing system IS2. It is constructed and arranged so as to be included in a second imaging region corresponding to the acquired second image.
  • FIG. 2 shows an example of the first image and the second image.
  • the entire first shooting area corresponding to the first image is included in the second shooting area corresponding to the second image.
  • first imaging area corresponding to the first image means that when the first image is captured by the first imaging system IS1 and the first image is acquired, It means the real world domain that corresponds to all domains.
  • second imaging region corresponding to the second image means that when the second world is captured by the second imaging system IS2 and the second image is acquired, It means the real world domain that corresponds to all domains.
  • the first shooting area corresponding to the first image is a real-world area corresponding to a certain area including black circles, black squares, and black triangles represented by the first image.
  • the second imaging region corresponding to the second image refers to the real world region corresponding to the region represented by the second image.
  • the first shooting area is narrower than the second shooting area, and the entire first shooting area is included in the second shooting area.
  • the first shooting area corresponding to the first image is narrower than the second shooting area corresponding to the second image. That is, the angle of view of the first imaging system IS1 used to acquire the first image is narrower than the angle of view of the second imaging system IS2 used to acquire the second image. .. Further, the image pickup magnification of the first image pickup system IS1 is larger than the image pickup magnification of the second image pickup system IS2.
  • the entire first shooting area corresponding to the first image acquired by the imaging system IS1 is included in the second shooting area corresponding to the first image acquired by the second imaging system IS2.
  • the requirement is that when the size of the first image pickup device S1 of the first image pickup system IS1 is equal to the size of the second image pickup device S2 of the second image pickup system IS2, the first optical system OS1 and the second optical system OS1 It is realized by configuring the optical system OS2 so as to satisfy the following conditions.
  • the focal length f 1 of the first optical system OS1 is longer than the focal length f 2 of the second optical system OS2 (f 1 > f 2 ).
  • the first image pickup device S1 of the first image pickup system IS1 is equal to the size of the second image pickup device S2 of the second image pickup system IS2 and the above-mentioned fifth condition is satisfied.
  • the field angle of the system IS1 becomes narrower than the field angle of the second imaging system IS2.
  • the image pickup magnification of the first image pickup system IS1 is larger than the image pickup magnification of the second image pickup system IS2. Therefore, by configuring the first optical system OS1 and the second optical system OS2 so as to satisfy the above-mentioned fifth condition, a distance equal to or more than the distance measurement start distance from the first imaging system IS1.
  • the subject 100 located at is imaged using the first imaging system IS1 and the second imaging system IS2, the first imaging region corresponding to the first image acquired by the first imaging system IS1. Will be included in the second imaging region corresponding to the second image acquired by the second imaging system IS2.
  • the first optical system OS1 and the second optical system OS2 have at least one of the above-described first to third conditions, the fourth condition, and the fifth condition. Is configured and arranged to meet.
  • the “distance measurement start distance” refers to the distance from the first imaging system IS1 to the object 100 that enables the distance measurement camera 1 of the present invention to measure the distance to the object 100.
  • FIG. 3 On the upper side of FIG. 3, an example of the arrangement of the first imaging system IS1 and the second imaging system IS2 is shown.
  • FIG. 5 another example of the arrangement of the first imaging system IS1 and the second imaging system IS2 is shown.
  • two lines radially extending from the first image pickup system IS1 and the second image pickup system IS2 in the Y-axis direction in the drawing indicate the first image pickup system IS1 and the second image pickup system IS1.
  • the respective angles of view of the second imaging system IS2 are shown.
  • all of the first imaging region (the region covered by the angle of view of the first imaging system IS1) corresponding to the first image acquired by the first imaging system IS1 is ,
  • the first image pickup system to be included in the second image pickup region (the region covered by the angle of view of the second image pickup system IS2) corresponding to the second image acquired by the second image pickup system IS2.
  • the distance from IS1 to the subject 100 is referred to as the “distance measurement start distance”.
  • the distance-measuring camera 1 of the present invention targets a subject 100 located at a distance equal to or more than the distance-measuring start distance from the first imaging system IS1.
  • the translation parallax P x in the x-axis direction in the drawing from the first imaging system IS1 to the second imaging system IS2 is shown. Is a positive value (P x > 0).
  • the second image pickup system IS2 is located on the right side of the drawing with respect to the first image pickup system IS1.
  • the intersection of the left line showing the angle of view of the first imaging system IS1 and the left line showing the angle of view of the second imaging system IS2 is included, and the first line of the first imaging system IS1 is included.
  • the distance from the first imaging system IS1 to the plane perpendicular to the optical axis of the optical system OS1 is the distance measurement start distance.
  • P x has a negative value (P x ⁇ 0).
  • the second image pickup system IS2 is located on the left side of the drawing with respect to the first image pickup system IS1.
  • the intersection of the right line indicating the angle of view of the first imaging system IS1 and the right line indicating the angle of view of the second imaging system IS2 is included, and the first line of the first imaging system IS1 is included.
  • the distance from the first image pickup system IS1 to the plane perpendicular to the optical axis of the optical system OS1 is the distance measurement start distance.
  • the magnification m 1 of the first subject image and the magnification m 2 of the second subject image are used by using the first image pickup system IS1 and the second image pickup system IS2 as described above. It is possible to calculate the distance to the subject 100 based on the image magnification ratio MR, which is the ratio of the, and the processing time required to calculate the distance to the subject 100.
  • the control unit 2 exchanges various data and various instructions with each component via the data bus 10, and controls the distance measuring camera 1.
  • the control unit 2 includes a processor for executing arithmetic processing and a memory for storing data, programs, modules, etc. necessary for controlling the ranging camera 1, and the processor of the control unit 2 Executes the control of the distance measuring camera 1 by using data, programs, modules, etc. stored in the memory. Further, the processor of the control unit 2 can provide a desired function by using each component of the distance measuring camera 1.
  • the processor control unit 2 by using the distance calculation unit 5, based on Zobaihi MR with magnification m 1 of the first object image and the magnification m 2 of the second object image to the object 100 A process for calculating the distance can be executed.
  • the processor of the control unit 2 is, for example, one or more microprocessors, microcomputers, microcontrollers, digital signal processors (DSP), central processing units (CPU), memory control units (MCU), arithmetic processing units for image processing. (GPU), a state machine, a logic circuit, an application specific integrated circuit (ASIC), or a combination thereof, which is an arithmetic unit that executes arithmetic processing such as signal operation based on computer readable instructions.
  • the processor of the controller 2 is configured to fetch computer readable instructions (eg, data, programs, modules, etc.) stored in the memory of the controller 2 and perform operations, signal manipulations and controls. There is.
  • the memory of the control unit 2 includes a volatile storage medium (eg, RAM, SRAM, DRAM), a non-volatile storage medium (eg, ROM, EPROM, EEPROM, flash memory, hard disk, optical disk, CD-ROM, digital versatile disk ( DVD), Blu-ray disc (BD), magnetic cassette, magnetic tape, magnetic disc), or a combination of removable and non-removable computer readable media.
  • a volatile storage medium eg, RAM, SRAM, DRAM
  • a non-volatile storage medium eg, ROM, EPROM, EEPROM, flash memory, hard disk, optical disk, CD-ROM, digital versatile disk ( DVD), Blu-ray disc (BD), magnetic cassette, magnetic tape, magnetic disc
  • BD Blu-ray disc
  • parameters relating to the configurations and arrangements of the first imaging system IS1 and the second imaging system IS2 are stored.
  • the parameters stored in the memory of the control unit 2 are parameters relating to the configuration and arrangement of the first imaging system IS1 and the second imaging system IS2, the focal length f of the first optical system OS1 of the first imaging system IS1. 1 , the focal length f 2 of the second optical system OS2 of the second imaging system IS2, and the imaging position of the first subject image when the subject 100 is at infinity from the exit pupil of the first optical system OS1.
  • These parameters are fixed values determined when the first imaging system IS1 and the second imaging system IS2 are configured and arranged, and the magnification m 1 of the first subject image and the magnification m 2 of the second subject image. 2 is referred to by the processor of the control unit 2 when measuring the distance to the object 100 based on the image magnification ratio MR of 2 and the image.
  • the first image pickup system IS1 has a first optical system OS1 and a first image pickup element S1.
  • the first optical system OS1 has a function of collecting light from the subject 100 and forming a first subject image on the image pickup surface of the first image pickup element S1.
  • the first image sensor S1 has a function of capturing a first subject image formed on the imaging surface and acquiring a first image including the first subject image.
  • the second image pickup system IS2 has a second optical system OS2 and a second image pickup element S2.
  • the second optical system OS2 has a function of collecting light from the subject 100 and forming a second subject image on the imaging surface of the second image sensor S2.
  • the second image sensor S2 has a function of capturing a second subject image formed on the image capturing surface and acquiring a second image including the second subject image.
  • the first optical system OS1 and the second optical system OS2 are configured and arranged so as to satisfy at least one of the above-described first to third conditions and the fourth condition. .. Therefore, in the rangefinder camera 1 of the present invention, the change in the magnification m 1 of the first subject image formed by the first optical system OS1 depending on the distance to the subject 100 is formed by the second optical system OS2.
  • the change according to the distance to the subject 100 at the magnification m 2 of the second subject image is different.
  • Zobaihi MR Such first magnification m 1 of the first subject image obtained by the optical system OS1 and a second optical system OS2 to be the ratio of the magnification m 2 of the second subject image, the subject Used to calculate the distance to 100.
  • the optical axis of the first optical system OS1 and the optical axis of the second optical system OS2 are parallel, but do not match.
  • P x is between the first optical system OS1 and the second optical system OS2 in the x-axis direction when the optical axis of the first optical system OS1 and the second optical system OS2 is the z-axis. Translational parallax.
  • P y is between the first optical system OS1 and the second optical system OS2 in the y-axis direction when the optical axis of the first optical system OS1 and the second optical system OS2 is the z-axis. Translational parallax.
  • the size of the first image pickup device S1 of the first image pickup system IS1 is equal to the size of the second image pickup device S2 of the second image pickup system IS2, and the first optical system OS1 and the second optical system OS2 is configured to satisfy the fifth condition described above (f 1> f 2). Therefore, when the subject 100 located at a distance equal to or more than the distance measurement start distance from the first imaging system IS1 is imaged using the first imaging system IS1 and the second imaging system IS2, All of the first imaging region corresponding to the first image acquired by the first imaging system IS1 is included in the second imaging region corresponding to the first image acquired by the second imaging system IS2. To be done.
  • the first image pickup element S1 and the first optical system OS1 that form the first image pickup system IS1 are provided in the same housing, and form the second image pickup system IS2.
  • the second image sensor S2 and the second optical system OS2 are provided in another same housing, but the present invention is not limited to this.
  • a mode in which the first optical system OS1, the second optical system OS2, the first image sensor S1, and the second image sensor S2 are all provided in the same housing is also within the scope of the present invention. is there.
  • Each of the first image sensor S1 and the second image sensor S2 is a CMOS image sensor having a color filter such as an RGB primary color filter or a CMY complementary color filter arranged in an arbitrary pattern such as a Bayer array. It may be a color image pickup device such as a CCD image sensor or a monochrome image pickup device having no such color filter.
  • the first image obtained by the first image sensor S1 and the second image obtained by the second image sensor S2 are color or monochrome luminance information of the subject 100.
  • each of the first image sensor S1 and the second image sensor S2 may be a phase sensor that acquires phase information of the subject 100.
  • the first image obtained by the first image sensor S1 and the second image obtained by the second image sensor S2 are phase information of the subject 100.
  • the first optical system OS1 forms a first subject image on the imaging surface of the first image sensor S1, and the first image sensor S1 acquires a first image including the first subject image. ..
  • the acquired first image is sent to the control unit 2 and the size acquisition unit 3 via the data bus 10.
  • the second optical system OS2 forms a second subject image on the imaging surface of the second image sensor S2, and the second image sensor S2 produces a second image including the second subject image. To be acquired.
  • the acquired second image is sent to the control unit 2 and the size acquisition unit 3 via the data bus 10.
  • the first image and the second image sent to the size acquisition unit 3 are used to acquire the size of the first subject and the size of the second subject.
  • the first image and the second image sent to the control unit 2 are used for image display by the display unit 7 and communication of image signals by the communication unit 9.
  • the size acquisition unit 3 has a function of acquiring the size of the first subject and the size of the second subject from the first image including the first subject image and the second image including the second subject image. is doing. Specifically, the size acquisition unit 3 detects a plurality of feature points of the first subject image in the first image, and measures a distance between the plurality of detected feature points of the first subject image. Thus, the size of the first subject image is acquired. Further, the size acquisition unit 3 detects a plurality of feature points of the second subject image in the second image, which correspond to the plurality of feature points of the detected first subject image, respectively, and detects the detected second feature image. The size of the second subject image is acquired by measuring the distances between the plurality of feature points of the subject image.
  • the size acquisition unit 3 performs a filtering process such as Canny on the first image to extract the edge portion of the first subject image in the first image. After that, the size acquisition unit 3 detects some arbitrary edge portions of the extracted first subject image as a plurality of feature points of the first subject image, and measures the distances between the plurality of feature points. Thus, the size of the first subject image is acquired. In this case, the size acquisition unit 3 detects edge portions corresponding to both ends in the height direction of the first subject image as a plurality of feature points of the first subject image, and calculates the distances between the feature points as the first and second distances.
  • a filtering process such as Canny
  • the size (image height) of one subject image may be used, or edge portions corresponding to both ends of the first subject image in the width direction are detected as a plurality of feature points of the first subject image, and the feature points are separated from each other.
  • the separation distance may be used as the size (image width) of the first subject image.
  • the size acquisition unit 3 After acquiring the size of the first subject image, the size acquisition unit 3 determines the plurality of features of the second subject image in the second image corresponding to the detected plurality of feature points of the first subject image. Corresponding feature point detection processing for detecting points is executed. The size acquisition unit 3 uses an epipolar line based on epipolar geometry in the corresponding feature point detection process.
  • the feature point in the second image acquired by the other imaging system that corresponds to the feature point in the first image acquired by one imaging system is Be sure to exist on the epipolar line in the second image that is derived based on the characteristics (focal length, exit pupil position, etc.) and arrangement of the two imaging systems, and the positions of the feature points in the first image. become. Therefore, in the corresponding feature point detection process, if a search is performed on the calculated epipolar line in the second image without searching the entire region of the second image, the feature point in the first image is obtained. Feature points in the second image can be detected.
  • the size acquisition unit 3 receives the first image from the first image sensor S1 and further receives the second image from the second image sensor S2. After that, the size acquisition unit 3 detects arbitrary feature points of the first subject image in the first image.
  • the method by which the size acquisition unit 3 detects arbitrary plural feature points of the first subject image in the first image is not particularly limited, and the size acquisition unit 3 uses various methods known in the art.
  • the arbitrary plurality of feature points of the first subject image in the first image can be detected.
  • the coordinates (x 1 , y 1 ) of each of the plurality of feature points detected by the size acquisition unit 3 are temporarily stored in the memory of the control unit 2.
  • the size acquisition unit 3 refers to the parameters stored in the memory of the control unit 2 to derive the epipolar line corresponding to the feature point of the selected first subject image.
  • the size acquisition unit 3 determines the characteristics and arrangement of the first and second imaging systems IS and IS2, and the coordinates (x 1 ,
  • the method for deriving the epipolar line based on y 1 ) is not particularly limited.
  • the size acquisition unit 3 can derive the epipolar line in the second image using any method known in the field of epipolar geometry.
  • FIG. 2 shows an example of the epipolar line in the derived second image.
  • the characteristics and arrangement of the first imaging system IS1 and the second imaging system IS2 and the position (coordinates) of the selected first subject image in the first image. Based on this, the epipolar line in the second image corresponding to the selected feature point of the first subject image is derived.
  • the size acquisition unit 3 searches for the derived epipolar line in the second image to determine the second subject image in the second image corresponding to the selected feature point of the first subject image. Detect feature points. As described above, the size acquisition unit 3 uses the epipolar line based on the epipolar geometry in the corresponding feature point detection process, and the second feature in the second image corresponding to the feature point of the selected first subject image is used. The search for the characteristic points of the subject image is executed. Therefore, the size acquisition unit 3 does not search the entire area of the second image, but searches the calculated epipolar line to determine the feature point of the selected first subject image in the first image. The characteristic point of the second subject image in the corresponding second image can be detected. With such a structure, shortening the processing time for calculating the distance to the object 100 based on the image magnification ratio MR between the magnification m 1 of the first object image and the magnification m 2 of the second object image Can be made
  • the size acquisition unit 3 limits the area in the second image to be searched in the corresponding feature point detection processing, and thus the magnification of the first subject image.
  • the processing time for calculating the distance to the subject 100 based on the image magnification ratio MR between m 1 and the magnification m 2 of the second subject image is further shortened.
  • the limitation of the area in the second image to be searched in the corresponding feature point detection processing will be described in detail with reference to FIGS. 3 to 6.
  • the inventor has found that the first imaging region corresponding to the first image acquired by the first imaging system IS1 and the second imaging region corresponding to the second image acquired by the second imaging system IS2.
  • We have discovered a phenomenon in which a region that can overlap with a region is limited to a partial region of the second image instead of the entire region of the second image, and based on such a phenomenon, the first image
  • the idea that the search on the epipolar line is performed only in an area in which the first imaging area corresponding to the second imaging area and the second imaging area corresponding to the second image acquired by the second imaging system IS2 may overlap each other
  • the present invention has been completed.
  • first imaging region corresponding to the first image acquired by the first imaging system IS1 and a second imaging region corresponding to the second image acquired by the second imaging system IS2 A phenomenon will be described in which the region that can overlap is not limited to the entire region of the second image but is limited to a partial region of the second image.
  • the first image pickup system IS1 and the second image pickup system IS2 are located at a distance from the first image pickup system IS1 that is equal to or more than the distance measurement start distance.
  • the entire first imaging region corresponding to the first image acquired by the first imaging system IS1 Are included in the second imaging region corresponding to the second image acquired by the second imaging system IS2.
  • the second imaging system IS2 is located on the right side of the first imaging system IS1.
  • subject distance distance measurement start distance
  • the feature point in the second image (the round dot in (a) in FIG. 3) corresponding to the feature point at the left end of the first image exists at the left end of the second image.
  • the feature points (circle points in (c) in FIG. 3) in the second image are present at positions further shifted to the right from the position shown in (b) in FIG.
  • the feature point in the second image corresponding to the feature point existing at the left end of the first image is plotted in the x-axis direction according to the distance from the first imaging system IS1 to the subject 100.
  • the position shown in (a) of FIG. 3 is shifted to the position shown in (c) of FIG.
  • the feature point in the second image (the square point in (d) in FIG. 3) corresponding to the feature point existing at the right end of the first image is shifted from the left end to the right side of the second image. Exists in a position.
  • the feature points in the second image square points in (e) in FIG. 3 corresponding to the feature points existing at the right end of the first image are , Is located at a position further shifted to the right.
  • the feature points (square points of (f) in FIG. 3) in the second image exist at positions further shifted to the right from the position shown in (e) of FIG.
  • the feature points in the second image corresponding to the feature points existing at the right end of the first image are plotted in the x-axis direction according to the distance from the first imaging system IS1 to the subject 100. 3 is shifted from the left end shown in (d) to the position shown in (f) in FIG.
  • any feature point in the first image exists at any position between the left edge and the right edge of the first image in the x-axis direction, it corresponds to any feature point in the first image.
  • the position of the feature point in the second image in the x-axis direction in the second image is limited between the position shown in (a) of FIG. 3 and the position shown in (f) of FIG. It will be.
  • the second image corresponding to arbitrary feature points in the first image corresponds to an area where the feature points in the second image corresponding to arbitrary feature points in the first image can be located, that is, to correspond to the first imaging area and the second image corresponding to the first image.
  • the area that can overlap with the second image capturing area is not the entire area of the second image but the limited area of the second image.
  • FIG. 4 shows an example of the arrangement of the first image pickup system IS1 and the second image pickup system IS2 shown in FIG. 3, in which the first image pickup area corresponding to the first image and the first image pickup area corresponding to the second image are displayed. An area in which the two imaging areas may overlap is shown.
  • the area where the first shooting area corresponding to the first image and the second shooting area corresponding to the second image may overlap is the object 100 shown in (a) of FIG.
  • the distance is the distance measurement start distance
  • the position of the feature point in the second image corresponding to the feature point at the left end of the first image and the distance to the subject 100 shown in (f) in FIG. 3 are infinite. It is a region between the feature point at the right end of the first image and the position of the feature point in the second image at a distance.
  • the feature points in the first image are always in the x-axis direction as shown in FIG.
  • the first shooting area corresponding to the first image and the second shooting area corresponding to the second image exist in the area where they can overlap. Therefore, in the corresponding feature point detection process, when searching on the epipolar line in the derived second image, it is not necessary to search on the epipolar line of the entire region in the second image, and it corresponds to the first image. It suffices to search the epipolar line only within the search range of the second image in which the first shooting region and the second shooting region corresponding to the second image may overlap.
  • the second imaging system IS2 is located on the left side of the first imaging system IS1.
  • subject distance distance measurement start distance
  • the feature point in the second image (the round dot in (a) in FIG. 5) corresponding to the feature point at the left end of the first image exists at the position shifted to the left from the right end of the second image. To do.
  • the feature points in the second image (circle points in (c) of FIG. 5) are present at positions further shifted to the left from the position shown in (b) of FIG.
  • the feature point in the second image corresponding to the feature point at the left end in the first image is, in the x-axis direction, in accordance with the distance from the first imaging system IS1 to the subject 100.
  • the position shown in (a) of FIG. 5 is shifted to the position shown in (c) of FIG.
  • the feature point in the second image (the square point of (d) in FIG. 5) corresponding to the feature point at the right end of the first image exists at the right end of the second image.
  • the feature points (square points of (f) in FIG. 5) in the second image exist at positions further shifted to the left from the position shown in (e) of FIG.
  • the feature point in the second image corresponding to the feature point existing at the right end in the first image is, in the x-axis direction, in accordance with the distance from the first imaging system IS1 to the subject 100.
  • the right end shown in FIG. 5D is shifted to the position shown in FIG. 5F.
  • any feature point in the first image exists at any position between the left edge and the right edge of the first image in the x-axis direction, it corresponds to any feature point in the first image.
  • the position of the feature point in the second image in the second image is limited to the position shown in (c) of FIG. 5 and the position shown in (d) of FIG.
  • the second image corresponding to arbitrary feature points in the first image corresponds to an area where the feature points in the second image corresponding to arbitrary feature points in the first image can be located, that is, to correspond to the first imaging area and the second image corresponding to the first image.
  • the area that can overlap with the second image capturing area is not the entire area of the second image but the limited area of the second image.
  • FIG. 6 shows another example of the arrangement of the first image pickup system IS1 and the second image pickup system IS2 shown in FIG. 5, which corresponds to the first image pickup region corresponding to the first image and the second image pickup region. An area that can overlap the second shooting area is shown.
  • the region where the first image-capturing region corresponding to the first image and the second image-capturing region corresponding to the second image may overlap is up to the subject 100 shown in (c) of FIG.
  • the range in which the first shooting area corresponding to the first image and the second shooting area corresponding to the second image may overlap is not the entire area of the second image, but the second image.
  • the size acquisition unit 3 limits the area of the second image in which the search on the eppola line is executed in the corresponding feature point detection processing.
  • An area in which the first shooting area corresponding to the first image and the second shooting area corresponding to the second image shown in FIGS. 4 and 6 may overlap (hereinafter referred to as a search area for the second image) Is the characteristics and arrangement of the first imaging system IS1 and the second imaging system IS2 (more specifically, the angle of view of the first imaging system IS1 and the second imaging system IS2, and the first imaging system IS2). From the translation parallax P x , P y between the IS1 and the second imaging system IS2, and the depth parallax D), it is possible to specify based on geometrical optics.
  • the size acquisition unit 3 determines that the first image pickup system IS1 and the second image pickup system IS2. Based on the characteristics and arrangement of the second image area (the second image area) in which the first image area corresponding to the first image and the second image area corresponding to the second image may overlap.
  • the search area can be specified.
  • the size acquisition unit 3 determines the first image capturing area and the second image capturing area corresponding to the first image based on the characteristics and arrangement of the first image capturing system IS1 and the second image capturing system IS2.
  • the search area of the second image that may overlap with the second imaging area corresponding to the image and executing the search on the derived epipolar line only in the search area of the second image.
  • the area in the second image in which the search on the epipolar line is executed is the first imaging area corresponding to the first image and the first imaging area. It is limited to the search area of the second image that can overlap the second imaging area corresponding to the two images. Therefore, in the distance measuring camera 1 of the present invention, the area to be searched is limited as compared with the case where the search on the epipolar line is executed in the entire area of the second image, so that the corresponding feature point detection processing is performed. The time required for can be shortened. As a result, it is possible to further reduce the processing time for calculating the distance to the subject 100 based on the image magnification ratio MR of the magnification m 1 of the first subject image and the magnification m 2 of the second subject image.
  • the size acquisition unit 3 executes the search on the derived epipolar line only in the search region in the second image. Specifically, the size acquisition unit 3 first refers to the coordinates (x 1 , y 1 ) of a plurality of feature points of the first subject image stored in the memory of the control unit 2 and is detected. Any one of the plurality of feature points of the first subject image is selected. After that, the size acquisition unit 3 determines an area of a predetermined size centered on the selected feature point in the first image (for example, a 5 ⁇ 5 pixel area centered on the selected feature point, 7 ⁇ 7). A region of pixels, etc.) is cut out to obtain a search block for the selected feature point. This search block is used to search for a feature point of the second subject image in the second image that corresponds to the selected feature point of the first subject. The acquired search block is temporarily stored in the memory of the control unit 2.
  • the size obtaining unit 3 uses the parameters stored in the memory of the control unit 2 to derive the epipolar line corresponding to the feature point of the selected first subject image. After that, the size acquisition unit 3 determines the first imaging region corresponding to the first image and the first imaging region corresponding to the second image based on the characteristics and arrangement of the first imaging system IS1 and the second imaging system IS2. A search area of the second image that may overlap with the two shooting areas is specified.
  • the size acquisition unit 3 When the size acquisition unit 3 derives the epipolar line in the second image and further specifies the search area of the second image, the size acquisition unit 3 searches for the epipolar line in the search area of the second image. Through such processing, the size acquisition unit 3 detects the feature point of the second subject image in the second image corresponding to the selected feature point of the first subject image.
  • the size acquisition unit 3 searches the search block for the feature point of the selected first subject image stored in the memory of the control unit 2 and the epipolar line in the search region of the second image.
  • a convolution operation convolution integration
  • the correlation value between the search block and the epipolar line surrounding region is calculated.
  • the calculation of this correlation value is performed along the derived epipolar line in the second image.
  • the size acquisition unit 3 selects the center pixel (that is, the pixel on the epipolar line) of the peripheral region of the epipolar line having the highest correlation value as the second pixel in the second image corresponding to the selected feature point of the first subject image. It is detected as the feature point of the subject image of No. 2.
  • the calculated coordinates (x 2 , y 2 ) of the characteristic points of the second subject image are temporarily stored in the memory of the control unit 2.
  • pixel interpolation for the search block or the second image may be performed when performing the convolution operation of the search block and the epipolar line peripheral region. Any method known in the art may be used in the corresponding feature point detection process in order to accurately obtain the correlation value between such two regions.
  • Such processing is performed until the selected first subject image is detected until the feature points of the second subject image in the second image corresponding to all the detected feature points of the first subject image are detected.
  • the feature points of are changed and repeatedly executed. Therefore, the size acquisition unit 3 derives a plurality of epipolar lines respectively corresponding to the plurality of detected feature points of the first subject image, and the derived epipolar lines of the derived plurality of epipolar lines in the search region of the second image.
  • searching each of the above as described above a plurality of feature points of the second subject image in the second image corresponding to the plurality of detected feature points of the first subject image are detected.
  • the corresponding feature point detection processing by the size acquisition unit 3 ends.
  • the size acquisition unit 3 After executing the corresponding feature point detection processing, the size acquisition unit 3 detects from the coordinates (x 2 , y 2 ) of the plurality of feature points of the second subject image temporarily stored in the memory of the control unit 2. The size of the second subject image is acquired by measuring the distance between the plurality of feature points of the generated second subject image.
  • the ratio of the size of the first subject image and the size of the second subject image acquired by the size acquisition unit 3 is the image magnification of the magnification m 1 of the first subject image and the magnification m 2 of the second subject image. It corresponds to the ratio MR (m 2 / m 1 ). Therefore, the ratio of the size of the first subject image and the size of the second subject image acquired by the size acquisition unit 3 is used as the image magnification ratio MR for calculating the distance to the subject 100.
  • Association information storage unit 4 and the magnification m 1 of the first object image and Zobaihi MR with magnification m 2 of the second object image from the front principal point of the first optical system OS1 to the subject 100 It is an arbitrary non-volatile recording medium (for example, a hard disk, a flash memory) for storing association information that is associated with a distance (subject distance). Association information stored in the association information storage unit 4, calculates the magnification m 1 of the first object image from Zobaihi MR with magnification m 2 of the second object image, the distance to the subject 100 This is information for doing.
  • a non-volatile recording medium for example, a hard disk, a flash memory
  • the association information stored in the association information storage unit 4 is the following formula (1) for calculating the distance to the subject 100 based on the image magnification ratio MR.
  • a is a first distance to the front principal point of the optical system OS1
  • f 1 is the focal length of the first optical system OS1
  • f 2 is the second optical system of the first imaging system IS1 from an object 100 OS2 focal length of
  • EP 1 from the exit pupil of the first optical system OS1
  • EP 2 from the exit pupil of the first optical system OS1
  • D is the front principal point of the first optical system OS1 and the front principal point of the second optical system OS2.
  • K in the above equation (1) is a coefficient represented by the following equation (2), which is a fixed value determined by the configuration and arrangement of the first imaging system IS1 and the second imaging system IS2. is there.
  • a FD1 is the distance from the front principal point of the first optical system OS1 to the subject 100 when the first subject image is in best focus on the imaging surface of the first image sensor S1
  • a FD2 Is the distance from the front principal point of the second optical system OS2 to the subject 100 when the second subject image is in best focus on the imaging surface of the second image sensor S2.
  • f 1 , f 2 , EP 1 , EP 2 , D and K are fixed values determined by the configurations and arrangements of the first imaging system IS1 and the second imaging system IS2.
  • Image of the magnification m 1 of the first subject image and the magnification m 2 of the second subject image obtained from the ratio of the size of the first subject image and the size of the second subject image acquired by the size obtaining unit 3.
  • the distance from the subject 100 to the front principal point of the first optical system OS1 can be calculated based on the multiplication ratio MR.
  • the association information stored in the association information storage unit 4 may be a lookup table that uniquely associates the image magnification ratio MR with the distance to the subject 100.
  • the distance to the subject 100 can be calculated based on the image magnification ratio MR.
  • the association information is the above-described formula for calculating the distance to the subject 100
  • the parameters stored in the memory of the control unit 2 are also referred to in addition to the association information, and Is calculated.
  • the distance calculation unit 5 calculates the magnification m 1 of the first subject image and the second subject image obtained as a ratio of the size of the first subject image acquired by the size obtaining unit 3 to the size of the second subject image. It has a function of calculating the distance to the subject 100 based on the image magnification ratio MR with the magnification m 2 . Specifically, the distance calculation unit 5 calculates the ratio of the size of the first subject image and the size of the second subject image acquired by the size acquisition unit 3 to the magnification m 1 of the first subject image and the second ratio. The image magnification ratio MR of the subject image and the magnification m 2 is calculated.
  • the distance calculation unit 5 refers to the association information stored in the association information storage unit 4 (if the association information is the above-mentioned formula for calculating the distance to the subject 100, the control is performed.
  • the parameters stored in the memory of the unit 2 are also referred to), and the distance to the subject 100 is calculated (specified) based on the image magnification ratio MR.
  • the three-dimensional image generation unit 6 calculates the distance to the subject 100 calculated by the distance calculation unit 5 and the brightness information of the subject 100 acquired by the first imaging system IS1 or the second imaging system IS2. Image of the subject 100 or a second image of the subject 100.
  • the “three-dimensional image of the subject 100” referred to here is associated with the calculated distance to the subject 100 with respect to each pixel of the two-dimensional image representing the color or monochrome luminance information of the normal subject 100. Means data.
  • the first image pickup device S1 of the first image pickup system IS1 and the second image pickup device S2 of the second image pickup system IS2 are phase sensors that acquire the phase information of the subject 100, a three-dimensional image is obtained.
  • the generation unit 6 is omitted.
  • the display unit 7 is a panel-type display unit such as a liquid crystal display unit, and the color of the subject 100 acquired by the first imaging system IS1 or the second imaging system IS2 according to a signal from the processor of the control unit 2.
  • monochrome luminance information or phase information of the subject 100 first image or second image
  • a distance to the subject 100 calculated by the distance calculation unit 5 and a distance of the subject 100 generated by the three-dimensional image generation unit 6
  • a three-dimensional image, information for operating the ranging camera 1 and the like are displayed on the display unit 7 in the form of characters or images.
  • the operation unit 8 is used by the user of the distance measuring camera 1 to execute an operation.
  • the operation unit 8 is not particularly limited as long as the user of the distance measuring camera 1 can perform the operation, and for example, a mouse, a keyboard, a numeric keypad, a button, a dial, a lever, a touch panel, etc. can be used as the operation unit 8. ..
  • the operation unit 8 transmits a signal according to an operation of the user of the distance measuring camera 1 to the processor of the control unit 2.
  • the communication unit 9 has a function of inputting data to the ranging camera 1 or outputting data from the ranging camera 1 to an external device.
  • the communication unit 9 may be configured to be connectable to a network such as the Internet.
  • the ranging camera 1 can communicate with an external device such as a web server or a data server provided outside by using the communication unit 9.
  • the first imaging system IS1 and the second imaging system IS2 change the magnification m 1 of the first subject image with respect to the distance to the subject 100 and And the change of the magnification m 2 of the second subject image with respect to the distance are different from each other. Therefore, the distance measurement camera 1 of the present invention, based on the Zobaihi MR (m 2 / m 1) between the magnification m 1 of the first object image and the magnification m 2 of the second object image to the object 100 The distance can be uniquely calculated.
  • the epipolar line based on the epipolar geometry is used in the corresponding feature point detection processing executed by the size acquisition unit 3. Therefore, the processing time required for the corresponding feature point detection processing can be significantly reduced, and the processing time required for calculating the distance to the subject 100 can be significantly reduced.
  • the area in the second image in which the search on the epipolar line is executed corresponds to the first image.
  • the first image capturing area and the second image capturing area corresponding to the second image are limited to the search area of the second image that may overlap. Therefore, in the distance measuring camera 1 of the present invention, the area of the second image to be searched is limited as compared with the case where the search on the epipolar line is executed in the entire area of the second image.
  • the time required for the corresponding feature point detection processing can be shortened. As a result, it is possible to further reduce the processing time for calculating the distance to the subject 100 based on the image magnification ratio MR of the magnification m 1 of the first subject image and the magnification m 2 of the second subject image.
  • FIG. 7 is a flow chart for explaining a distance measuring method executed by the distance measuring camera according to the first embodiment of the present invention.
  • FIG. 8 is a flowchart showing details of corresponding feature point detection processing in the distance measuring method of FIG.
  • the distance measuring method described in detail below can be executed using the above-described distance measuring camera 1 and any device having a function equivalent to that of the distance measuring camera 1.
  • the distance measuring method according to the first embodiment It will be described as being executed by using the camera 1.
  • the distance measuring method S100 shown in FIG. 7 is started when the user of the distance measuring camera 1 uses the operation unit 8 to execute an operation for measuring the distance to the subject 100.
  • the first imaging element S1 of the first imaging system IS1 captures the first subject image formed by the first optical system OS1, and a first image including the first subject image is obtained. To be acquired. The first image is sent to the control unit 2 and the size acquisition unit 3 via the data bus 10.
  • the second imaging element S2 of the second imaging system IS2 captures the second subject image formed by the second optical system OS2, and the second subject image including the second subject image is captured. Image is acquired. The second image is sent to the control unit 2 and the size acquisition unit 3 via the data bus 10.
  • the acquisition of the first image in S110 and the acquisition of the second image in S120 may be performed simultaneously or separately.
  • step S130 the size acquisition unit 3 detects arbitrary plural feature points of the first subject image in the first image.
  • the arbitrary plurality of feature points of the first subject image detected by the size acquisition unit 3 in step S130 are, for example, both ends in the height direction of the first subject image or both ends in the width direction of the first subject image. It is a department.
  • the coordinates (x 1 , y 1 ) of each of the plurality of feature points of the first subject image detected by the size acquisition unit 3 are temporarily stored in the memory of the control unit 2.
  • step S140 the size acquisition unit 3 refers to the respective coordinates (x 1 , y 1 ) of the plurality of feature points of the first subject image temporarily stored in the memory of the control unit 2 and is detected.
  • the size of the first subject image is obtained by measuring the distances between the plurality of feature points of the first subject image.
  • the size of the first subject image acquired in step S140 is temporarily stored in the memory of the control unit 2.
  • step S150 the size acquisition unit 3 detects a plurality of feature points of the second subject image in the second image, which correspond to the plurality of feature points of the first subject image detected in step S130.
  • Corresponding feature point detection processing for FIG. 8 shows a flowchart showing details of the corresponding feature point detection processing executed in step S150.
  • the size acquisition unit 3 refers to the coordinates (x 1 , y 1 ) of each of the plurality of feature points of the first subject image stored in the memory of the control unit 2 and detects the detected first position. Any one of the plurality of feature points of one subject image is selected.
  • the size acquisition unit 3 causes the area of a predetermined size centered on the feature point of the selected first subject image in the first image (for example, 5 ⁇ centered on the feature point). A region of 5 pixels, a region of 7 ⁇ 7 pixels, etc.) is cut out and a search block for the selected feature point is acquired. The acquired search block is temporarily stored in the memory of the control unit 2.
  • step S153 the size acquisition unit 3 uses the parameters stored in the memory of the control unit 2 to generate the second image corresponding to the feature point of the first subject image selected in step S151.
  • the epipolar line inside is derived.
  • the derivation of the epipolar lines in the second image in step S153 is performed using any method known in the field of epipolar geometry.
  • the size acquisition unit 3 determines the first image capturing area and the second image corresponding to the first image based on the characteristics and arrangement of the first image capturing system IS1 and the second image capturing system IS2.
  • the search area of the second image that may overlap with the second imaging area corresponding to is specified.
  • the size acquisition unit 3 includes the fields of view of the first imaging system IS1 and the second imaging system IS2, which are stored in the memory of the control unit 2, and the first imaging system IS1 and the second imaging system IS1.
  • the search region of the second image is specified based on the translation parallaxes P x and P y with the imaging system IS2 and the depth parallax D.
  • step S155 the size acquisition unit 3 searches the specified second image search area for the feature points of the selected first subject image stored in the memory of the control unit 2. And a pixel on the derived epipolar line as a center, a convolution operation (convolution integration) between the search block and an epipolar line peripheral region having the same size as the search block is performed, and the convolution operation between the search block and the epipolar line peripheral region is performed. Calculate the correlation value.
  • the calculated correlation value is temporarily stored in the memory of the control unit 2. This calculation of the correlation value is also called block matching, and is performed along the derived epipolar line in the search region of the second image.
  • step S150 proceeds to step S156.
  • the size acquisition unit 3 determines the center pixel (that is, the pixel on the epipolar line) of the peripheral region of the epipolar line having the highest correlation value in the search region of the second image as the selected first subject image. It is detected as a feature point of the second subject image in the second image corresponding to the feature point.
  • the calculated coordinates (x 2 , y 2 ) of the characteristic points of the second subject image are temporarily stored in the memory of the control unit 2.
  • step S157 it is determined whether or not all of the plurality of feature points of the first subject image detected in step S130 have been selected in step S151.
  • step S157 No
  • the process of step S150 returns to step S151.
  • step S151 an unselected one of the plurality of feature points of the first subject image is newly selected, and the feature point of the selected first subject image is changed.
  • the processes of steps S151 to S157 are performed until the feature points of the second subject image in the second image corresponding to all the feature points of the detected first subject image are detected.
  • the feature point of the subject image of is changed and repeatedly executed.
  • the distance measuring method S100 proceeds to step S160.
  • step S160 the size acquisition unit 3 acquires the size of the second subject image by measuring the distance between the plurality of detected feature points of the second subject image.
  • the size of the second subject image acquired in step S160 is temporarily stored in the memory of the control unit 2.
  • step S170 the distance calculation unit 5 determines, based on the ratio of the size of the first subject image and the size of the second subject image temporarily stored in the memory of the control unit 2, the magnification m 1 of the first subject image. And an image magnification ratio MR which is a ratio of the magnification m 2 of the second subject image.
  • step S180 the distance calculation unit 5 refers to the association information stored in the association information storage unit 4 and calculates the distance to the subject 100 based on the calculated image magnification ratio MR.
  • the association information is the above equation (1) for calculating the distance to the subject 100
  • the distance calculation unit 5 is stored in the memory of the control unit 2 in addition to the association information.
  • the distance to the subject 100 is calculated by also referring to the parameters.
  • step S190 the three-dimensional image generation unit 6 causes the distance to the subject 100 calculated by the distance calculation unit 5 and the color or monochrome brightness of the subject 100 acquired by the first imaging system IS1 or the second imaging system IS2.
  • a three-dimensional image of the subject 100 is generated based on the information (first image or second image). If the first image pickup device S1 of the first image pickup system IS1 and the second image pickup device S2 of the second image pickup system IS2 are phase sensors that acquire the phase information of the subject 100, step S190 is performed. Omitted.
  • color or monochrome luminance information or phase information (first image and / or second image) of the subject 100 acquired in the steps up to this point, the distance to the subject 100, and / or the three-dimensional shape of the subject 100.
  • the image is displayed on the display unit 7 or transmitted to the external device by the communication unit 9, and the distance measuring method S100 ends.
  • FIG. 9 shows an example of the arrangement of the first image pickup system and the second image pickup system of the distance measuring camera according to the second embodiment of the present invention, and the features in the first image according to the distance to the subject. It is a figure for demonstrating the change of the position of the characteristic point in the 2nd image corresponding to a point.
  • FIG. 10 is a diagram illustrating an example of the arrangement of the first image pickup system and the second image pickup system shown in FIG. 9, in which the left side region of the first image pickup region corresponding to the first image and the second image region corresponding to the second image.
  • FIG. 6 is a diagram for explaining a range in which the image capturing area can overlap.
  • FIG. 11 shows an example of the arrangement of the first image pickup system and the second image pickup system shown in FIG. 9 in the second image corresponding to the feature point in the first image according to the distance to the subject. It is another figure for demonstrating the change of the position of a characteristic point.
  • FIG. 12 is a diagram illustrating an example of the arrangement of the first image pickup system and the second image pickup system shown in FIG. 9, in which the right side region of the first image pickup region corresponding to the first image and the second region corresponding to the second image.
  • FIG. 6 is a diagram for explaining a range in which the image capturing area can overlap.
  • FIG. 11 shows an example of the arrangement of the first image pickup system and the second image pickup system shown in FIG. 9 in the second image corresponding to the feature point in the first image according to the distance to the subject. It is another figure for demonstrating the change of the position of a characteristic point.
  • FIG. 12 is a diagram
  • FIG. 13 is a diagram illustrating another example of the arrangement of the first image pickup system and the second image pickup system, in which a left side region of the first image pickup region corresponding to the first image and a second image pickup corresponding to the second image are taken. It is a figure for explaining the range which can overlap with a field.
  • FIG. 14 is a diagram illustrating another example of the arrangement of the first image pickup system and the second image pickup system, in which the right side area of the first image pickup area corresponding to the first image and the second image pickup area corresponding to the second image. It is a figure for explaining the range which can overlap with a field.
  • the ranging camera 1 of the second embodiment will be described focusing on the differences from the ranging camera 1 of the first embodiment, and the description of the same matters will be omitted.
  • the size acquisition unit 3 identifies the positions of the respective feature points of the first subject in the first image, and the second image
  • the distance measuring camera 1 is the same as the distance measuring camera 1 of the first embodiment except that the inside search area is limited.
  • the size acquisition unit 3 specifies the positions in the first image of the plurality of feature points of the first subject image, and further determines the positions of the plurality of feature points of the first subject image, respectively.
  • the second feature image is detected based on the respective positions in the first image of the plurality of feature points of the first subject image. Is configured to limit the search area of the image.
  • the first image is divided into the left side region and the right side region with the center in the x-axis direction as the boundary.
  • FIG. 9 Similar to the first embodiment described with reference to FIG. 3, as shown in (a) to (c) of FIG. 9, it corresponds to the feature point existing at the left end in the first image.
  • the feature points in the second image are shown in FIG. 9 from the position shown in FIG. 9A in the x-axis direction according to the distance from the first imaging system IS1 to the subject 100. Shift to the position shown in (c).
  • the square points in (d) are present at positions shifted from the left end to the right side of the second image.
  • the feature points (square points in (f) in FIG. 9) in the second image corresponding to the feature points are present at a position further shifted to the right from the position shown in (e) in FIG. To do.
  • the feature point in the second image corresponding to the feature point existing at the center in the x-axis direction in the first image is x depending on the distance from the first imaging system IS1 to the subject 100.
  • the position is shifted from the position shown in (d) of FIG. 9 to the position shown in (f) of FIG.
  • the arbitrary feature point in the first image exists in the left area of the first image
  • the arbitrary feature point in the first image is in the x-axis direction from the left end of the first image in the x-axis direction. Since it exists at an arbitrary position up to the center of, the position of the feature point in the second image corresponding to the arbitrary feature point in the left side region of the first image in the second image is The position is limited to the position shown in (a) of FIG. 9 and the position shown in (f) of FIG.
  • a feature point in the second image corresponding to any feature point in the left side region of the first image will be The region that can be located, that is, the region where the left side region of the first image capturing region corresponding to the first image and the second image capturing region corresponding to the second image can overlap is the entire region of the second image. Instead, it becomes a limited area in the second image.
  • FIG. 10 shows an example of the arrangement of the first image pickup system IS1 and the second image pickup system IS2 shown in FIG. 9 in the left side region of the first image pickup region and the second image corresponding to the first image. An area where the corresponding second imaging area may overlap is shown.
  • FIG. 9 An area where the left side area of the first image capturing area corresponding to the first image and the second image capturing area corresponding to the second image may overlap in the x-axis direction is shown in (a) of FIG. 9.
  • the position of the feature point in the second image corresponding to the feature point at the left end of the first image when the distance to the subject 100 is the distance measurement start distance, and up to the subject 100 shown in (f) of FIG. It is a region between the feature point in the second image and the position of the feature point corresponding to the feature point existing in the center in the x-axis direction in the first image when the distance is infinity.
  • the feature points existing in the left side area of the first image are always as shown in FIG.
  • the left side area of the first image capturing area corresponding to the first image and the second image capturing area corresponding to the second image exist in an area that can overlap.
  • FIG. 11 and FIG. 12 consider the case where the feature points in the first image exist in the right side region of the first image. Similar to the first embodiment described with reference to FIG. 3, as shown in (a) to (c) of FIG. 11, it corresponds to the feature point existing at the right end in the first image.
  • the feature points in the second image are shown in FIG. 11 from the position shown in (a) in FIG. 11 in the x-axis direction according to the distance from the first imaging system IS1 to the subject 100. Shift to the position shown in (c).
  • the square points in (d) are present at positions shifted from the left end to the right side of the second image.
  • the feature points (square points of (f) in FIG. 11) in the second image corresponding to the feature points are present at a position further shifted to the right from the position shown in (e) of FIG. To do.
  • the feature point in the second image corresponding to the feature point existing at the center in the x-axis direction in the first image is x depending on the distance from the first imaging system IS1 to the subject 100.
  • the arbitrary feature point in the first image exists in the right area of the first image
  • the arbitrary feature point in the first image is in the x-axis direction from the right end of the first image to the x-axis. Since it exists at an arbitrary position between the centers of directions, the position in the second image of the characteristic point in the second image corresponding to the arbitrary characteristic point in the first image is as shown in FIG. The position is limited to the position shown in (c) and the position shown in (d) in FIG. 11.
  • FIG. 12 shows an example of the arrangement of the first imaging system IS1 and the second imaging system IS2 shown in FIG. 11, in which the right side area of the first imaging area and the second image corresponding to the first image are displayed. An area where the corresponding second imaging area may overlap is shown.
  • FIG. 11 An area where the right side area of the first imaging area corresponding to the first image and the second imaging area corresponding to the second image may overlap in the x-axis direction is shown in (d) of FIG. 11.
  • the position of the feature point in the second image corresponding to the feature point at the right end of the first image when the distance to the subject 100 is the distance measurement start distance, and the distance to the subject 100 shown in (c) of FIG. It is a region between the position of the feature point in the second image and the position of the feature point existing in the center in the x-axis direction in the first image when the distance is infinity.
  • the feature points existing in the right side region of the first image are always as shown in FIG.
  • the right side area of the first image capturing area corresponding to the first image and the second image capturing area corresponding to the second image exist in the area that can overlap.
  • FIG. 13 shows an area in which the two shooting areas may overlap.
  • FIG. 14 shows a case in which the second imaging system IS2 is located on the left side of the first imaging system IS1, the right side area of the first imaging area corresponding to the first image and the second area corresponding to the second image. 2 shows an area that can overlap the image capturing area of.
  • the size acquisition unit 3 uses the principle described above and arranges the first imaging system IS1 and the second imaging system IS2 (that is, the second imaging system IS2 is located on the right side of the first imaging system IS1). Information of whether it is located or located on the left side), and whether the detected feature point of the first subject image exists in the left side area or the right side area of the first image. Thus, the search area of the second image can be limited.
  • the size acquisition unit 3 detects the first feature point detected when the plurality of feature points of the first subject image included in the first image are detected in step S130 of the distance measuring method S100 described above. Is configured to specify whether each of the plurality of feature points of the subject image exists in the left side region or the right side region of the first image. Furthermore, in step S154 of the above-described distance measuring method S100, the size acquisition unit 3 arranges the first image pickup system IS1 and the second image pickup system IS2 (that is, when the search region of the second image is specified). Information indicating whether the second imaging system IS2 is located on the right side or the left side of the first imaging system IS1), and the detected feature points of the first subject image are on the left side of the first image. It is configured to limit the search area of the second image based on the information of whether it exists in the area or the right area based on the principle described with reference to FIGS. 9 to 14.
  • the search area of the second image to be searched in the corresponding feature point detection processing is limited, The time required for the feature point detection process can be further shortened. As a result, it is possible to further reduce the processing time for calculating the distance to the subject 100 based on the image magnification ratio MR of the magnification m 1 of the first subject image and the magnification m 2 of the second subject image.
  • the distance measuring camera of the present invention has been described above based on the illustrated embodiment, but the present invention is not limited to this.
  • Each configuration of the present invention can be replaced with any configuration capable of exhibiting the same function, or any configuration can be added to each configuration of the present invention.
  • each component of the distance measuring camera shown in FIG. 1 is merely examples for explanation, and the present invention is not necessarily limited to this. It is also within the scope of the present invention that any component is added or combined or any component is deleted without departing from the principle and intent of the present invention. Further, each component of the distance measuring camera may be realized by hardware, software, or a combination thereof.
  • the size acquisition unit 3 determines that each of the plurality of feature points of the first subject image in the first image is on the left side of the first image. Whether it is located in the area or in the right area of the first image, and further, a plurality of feature points of the second subject image corresponding to the plurality of feature points of the first subject image are identified. Upon detection, the plurality of feature points of the first subject image are respectively located in the left side region of the first image or in the right side region of the first image according to the second Although the search area of the image is limited, the size acquisition section 3 does not limit the search area of the second image based on the position of the feature point of the first subject image in the first image. ..
  • the first image is divided into three regions along the x-axis direction, that is, a left region, a central region, and a right region, and the size acquisition unit 3 determines that the first subject image in the first image.
  • the plurality of feature points of the first image are located in the left side region, the central region, and the right side region of the first image, and the search region of the second image is limited based on the identification result. May be.
  • the second image pickup system which is obtained by the second image pickup system and which corresponds to the plurality of feature points of the first subject image in the first image obtained by the first image pickup system, respectively.
  • a feature point search using epipolar lines based on epipolar geometry is executed. Therefore, it is possible to reduce the processing time for calculating the distance to the subject based on the image magnification ratio between the subject images.
  • the first shooting area corresponding to the first image and the second shooting area corresponding to the second image may overlap.
  • the search on the epipolar line is executed only in the search region in the image of. Therefore, in the distance measuring camera of the present invention, the search area in the second image is limited as compared with the case where the search on the epipolar line is executed in the entire area of the second image. With such processing, the processing time for calculating the distance to the subject based on the image magnification ratio between the subject images can be further shortened. Therefore, the present invention has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

測距カメラ1は、第1の画像を取得するための第1の撮像系IS1と、第2の画像を取得するための第2の撮像系IS2と、第1の画像中の第1の被写体像の複数の特徴点間の距離を測定することにより、第1の被写体像のサイズを取得し、さらに、第1の被写体像の複数の特徴点にそれぞれ対応する第2の被写体像の複数の特徴点間の距離を測定することにより、第2の被写体像のサイズを取得するためのサイズ取得部3と、を備える。サイズ取得部3は、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る第2の画像の探索領域中においてのみ、エピポーラ線上を探索することにより、第2の被写体像の複数の特徴点を検出する。

Description

測距カメラ
 本発明は、一般に、被写体までの距離を測定するための測距カメラに関し、より具体的には、被写体までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも2つの光学系によって形成された少なくとも2つの被写体像間の像倍比に基づいて、被写体までの距離を測定する測距カメラに関する。
 従来より、被写体を撮像することにより、被写体までの距離を測定する測距カメラが提案されている。このような測距カメラとしては、被写体からの光を集光し、被写体像を形成するための光学系と、該光学系によって形成された被写体像を画像に変換するための撮像素子とを少なくとも2対備えるステレオカメラ方式の測距カメラが知られている(例えば、特許文献1参照)。
 特許文献1が開示するようなステレオカメラ方式の測距カメラは、光軸方向に対して垂直な方向に互いにシフトして配置された2つの光学系によって形成された2つの被写体像間の並進視差(光軸方向に対して垂直な方向の視差)を算出し、この並進視差の値に基づいて、被写体までの距離を算出することができる。
 このようなステレオカメラ方式の測距カメラでは、被写体像間の並進視差が小さいと、被写体までの距離を正確に算出することができない。よって、被写体像間の並進視差を十分に大きくするために、2つの光学系を光軸方向に対して垂直な方向に大きく離間して配置する必要がある。このことは、測距カメラのサイズを小さくすることを困難としている。
 また、被写体が近距離に位置していると、得られる画像の視野の関係から、並進視差を算出するための被写体像の特徴点が一方の画像内には写っているが、他方の画像内では写っていないという状況が発生してしまう。この状況を避けるためには、2つの光学系を近接して配置する必要がある。しかしながら、2つの光学系を近接して配置すると被写体像間の並進視差が小さくなってしまい、測距の精度が低下する。そのため、被写体像間の並進視差に基づく測距を用いて、近距離に位置する被写体までの距離を正確に算出することは困難である。
 このような問題に対し、本発明者らによって、2つの被写体像間の像倍比(倍率の比)に基づいて、被写体までの距離を算出する像倍比方式の測距カメラが提案されている。像倍比方式の測距カメラでは、被写体までの距離に応じた被写体像の倍率の変化が互いに異なる2つの光学系が用いられ、該2つの光学系によって形成された2つの被写体像間の像倍比(倍率の比)に基づいて、被写体までの距離が算出される(特許文献2参照)。
 このような像倍比方式の測距カメラでは、被写体までの距離を算出するために被写体像間の並進視差が利用されないため、2つの光学系を近接して配置しても、被写体までの距離を正確に算出することができる。そのため、測距カメラのサイズを小さくすることができる。また、被写体像間の像倍比は、被写体が近距離に位置する場合であっても正確に取得することが可能なので、像倍比方式の測距カメラは、近距離に位置する被写体までの距離を正確に算出することができる。
 被写体像間の像倍比は、2つの被写体像のサイズの比から算出される。被写体像のサイズを取得するためには、被写体像を撮像することによって得られた画像中の被写体像の複数の特徴点(例えば、測距対象の高さ方向または幅方向の両端部)を検出し、画像中の該特徴点間の距離を測定することにより取得される。また、被写体像間の像倍比を取得するためには、2つの被写体像の同じ部分のサイズを取得する必要がある。そのため、一方の被写体像の複数の特徴点を検出した後、検出された一方の被写体像の複数の特徴点にそれぞれ対応する他方の被写体像の複数の特徴点を検出するための対応特徴点検出処理を実行する必要がある。
 このような対応特徴点検出処理は、他方の被写体像を撮像することによって取得された画像の全領域を探索することにより実行されるのが一般的である。しかしながら、画像の全領域の探索は、多くの処理時間を要する作業であり、対応特徴点検出処理に要する処理時間が長くなってしまう。その結果、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間が、長くなってしまうという問題があった。
特開2012-26841号公報 特願2017-241896号
 本発明は、上記従来の問題点を鑑みたものであり、その目的は、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間を短縮可能な測距カメラを提供することにある。
 このような目的は、以下の(1)~(6)の本発明により達成される。
 (1)被写体からの光を集光し、第1の被写体像を形成するための第1の光学系と、前記第1の被写体像を撮像することにより、前記第1の被写体像を含む第1の画像を取得するための第1の撮像素子とを有する第1の撮像系と、
 前記第1の光学系に対して、前記第1の光学系の光軸方向に対して垂直な方向にシフトして配置され、前記被写体からの前記光を集光し、第2の被写体像を形成するための第2の光学系と、前記第2の被写体像を撮像することにより、前記第2の被写体像を含む第2の画像を取得するための第2の撮像素子とを有する第2の撮像系と、
 前記第1の画像中の前記第1の被写体像の複数の特徴点を検出し、前記第1の被写体像の前記複数の特徴点間の距離を測定することにより、前記第1の被写体像のサイズを取得し、さらに、前記第1の被写体像の前記複数の特徴点にそれぞれ対応する前記第2の画像中の前記第2の被写体像の複数の特徴点を検出し、前記第2の被写体像の前記複数の特徴点間の距離を測定することにより、前記第2の被写体像のサイズを取得するためのサイズ取得部と、
 前記サイズ取得部によって取得された前記第1の被写体像の前記サイズと前記第2の被写体像の前記サイズとの比として得られる前記第1の被写体像の倍率と前記第2の被写体像の倍率との像倍比に基づいて、前記被写体までの距離を算出するための距離算出部と、を備え、
 前記サイズ取得部は、前記第1の画像に対応する第1の撮影領域と前記第2の画像に対応する第2の撮影領域とが重複し得る前記第2の画像の探索領域中においてのみ、前記第1の被写体像の前記複数の特徴点にそれぞれ対応する複数のエピポーラ線上を探索することにより、前記第2の画像中の前記第2の被写体像の前記複数の特徴点を検出することを特徴とする測距カメラ。
 (2)前記第1の撮像系および前記第2の撮像系は、前記第1の撮像系および前記第2の撮像系の配置および特性から定まる測距開始距離と等しいまたはそれより離れた距離に位置する前記被写体を撮影したとき、前記第1の画像に対応する前記第1の撮影領域の全てが前記第2の画像に対応する前記第2の撮影領域内に収まるよう、構成されている上記(1)に記載の測距カメラ。
 (3)前記第1の光学系の焦点距離は、前記第2の光学系の焦点距離より長い上記(2)に記載の測距カメラ。
 (4)前記サイズ取得部は、前記第1の撮像系および前記第2の撮像系の前記配置および前記特性に基づいて、前記第1の画像に対応する前記第1の撮影領域と前記第2の画像に対応する前記第2の撮影領域とが重複し得る前記第2の画像の前記探索領域を特定するよう構成されている上記(2)または(3)に記載の測距カメラ。
 (5)前記サイズ取得部は、前記第1の被写体像の前記複数の特徴点のそれぞれの前記第1の画像中の位置を特定し、さらに、前記第1の被写体像の前記複数の特徴点にそれぞれ対応する前記第2の画像中の前記第2の被写体像の前記複数の特徴点を検出する際に、前記第1の被写体像の前記複数の特徴点のそれぞれの前記第1の画像中の前記位置に基づいて、前記第2の画像の前記探索領域を限定するよう構成されている上記(1)ないし(4)のいずれかに記載の測距カメラ。
 (6)前記サイズ取得部は、前記第1の被写体像の前記複数の特徴点のそれぞれが前記第1の画像の中央より左側領域に位置しているか、前記第1の画像の前記中央より右側領域に位置しているかを特定し、さらに、前記第1の被写体像の前記複数の特徴点にそれぞれ対応する前記第2の画像中の前記第2の被写体像の前記複数の特徴点を検出する際に、前記第1の被写体像の前記複数の特徴点のそれぞれが前記第1の画像の前記左側領域に位置しているか、前記第1の画像の前記右側領域に位置しているかに基づいて、前記第2の画像の前記探索領域を限定するよう構成されている上記(5)に記載の測距カメラ。
 本発明の測距カメラにおいては、第1の撮像系によって取得された第1の画像中の第1の被写体像の複数の特徴点にそれぞれ対応する第2の撮像系によって取得された第2の画像中の第2の被写体像の複数の特徴点を検出するための対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線を利用した特徴点の探索が実行される。そのため、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間を短縮することができる。
 さらに、本発明の測距カメラにおいては、対応特徴点検出処理において、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る第2の画像中の探索領域においてのみ、エピポーラ線上の探索が実行される。そのため、本発明の測距カメラにおいては、第2の画像の領域全てにおいて、エピポーラ線上の探索が実行される場合と比較して、第2の画像中の探索領域が限定されている。このような処理により、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間をさらに短縮することができる。
図1は、本発明の第1実施形態に係る測距カメラを概略的に示すブロック図である。 図2は、図1に示す測距カメラによって導出される第2の画像中のエピポーラ線の一例を示す概略図である。 図3は、図1に示す測距カメラの第1の撮像系と第2の撮像系の配置の1例と、被写体までの距離に応じた、第1の画像中の特徴点に対応する第2の画像中の特徴点の位置の変化を説明するための図である。 図4は、図3に示す第1の撮像系と第2の撮像系の配置の例において、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。 図5は、図1に示す測距カメラの第1の撮像系と第2の撮像系の配置の別の1例と、被写体までの距離に応じた、第1の画像中の特徴点に対応する第2の画像中の特徴点の位置の変化を説明するための図である。 図6は、図5に示す第1の撮像系と第2の撮像系の配置の例において、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。 図7は、本発明の第1実施形態に係る測距カメラによって実行される測距方法を説明するためのフローチャートである。 図8は、図7の測距方法における対応特徴点検出処理の詳細を示すフローチャートである。 図9は、本発明の第2実施形態にかかる測距カメラの第1の撮像系と第2の撮像系の配置の1例と、被写体までの距離に応じた、第1の画像中の特徴点に対応する第2の画像中の特徴点の位置の変化を説明するための図である。 図10は、図9に示す第1の撮像系と第2の撮像系の配置の例において、第1の画像に対応する第1の撮影領域の左側領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。 図11は、図9に示す第1の撮像系と第2の撮像系の配置の例において、被写体までの距離に応じた、第1の画像中の特徴点に対応する第2の画像中の特徴点の位置の変化を説明するための別の図である。 図12は、図9に示す第1の撮像系と第2の撮像系の配置の例において、第1の画像に対応する第1の撮影領域の右側領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。 図13は、第1の撮像系と第2の撮像系の配置の別の例において、第1の画像に対応する第1の撮影領域の左側領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。 図14は、第1の撮像系と第2の撮像系の配置の別の例において、第1の画像に対応する第1の撮影領域の右側領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。
 <第1実施形態>
 最初に、図1~図6を参照して、本発明の第1実施形態に係る測距カメラを詳述する。図1は、本発明の第1実施形態に係る測距カメラを概略的に示すブロック図である。図2は、図1に示す測距カメラによって導出される第2の画像中のエピポーラ線の一例を示す概略図である。図3は、図1に示す測距カメラの第1の撮像系と第2の撮像系の配置の1例と、被写体までの距離に応じた、第1の画像中の特徴点に対応する第2の画像中の特徴点の位置の変化を説明するための図である。図4は、図3に示す第1の撮像系と第2の撮像系の配置の例において、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。図5は、図1に示す測距カメラの第1の撮像系と第2の撮像系の配置の別の1例と、被写体までの距離に応じた、第1の画像中の特徴点に対応する第2の画像中の特徴点の位置の変化を説明するための図である。図6は、図5に示す第1の撮像系と第2の撮像系の配置の例において、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。
 図1に示す本発明の第1実施形態に係る測距カメラ1は、被写体100を撮像することによって、測距カメラ1から被写体100までの距離(被写体距離)を測定する機能を有している。より具体的には、測距カメラ1は、被写体100までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも2つの光学系によって形成された少なくとも2つの被写体像の像倍比MRに基づいて、測距カメラ1から被写体100までの距離を測定する機能を有している。なお、測距カメラ1は、被写体100までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも2つの光学系を備えているが、説明の簡略化のため、測距カメラ1は、被写体100までの距離に応じた被写体像の倍率の変化が互いに異なる第1の撮像系IS1の第1の光学系OS1と、第2の撮像系IS2の第2の光学系OS2と、を備えているものとして以下に詳述される。
 図1に示す測距カメラ1は、測距カメラ1の制御を行う制御部2と、被写体100からの光を集光し、第1の被写体像を形成するための第1の光学系OS1と、第1の被写体像を撮像し、第1の被写体像を含む第1の画像を取得するための第1の撮像素子S1とを有する第1の撮像系IS1と、第1の光学系OS1に対して、第1の光学系OS1の光軸方向に対して垂直な方向に距離Pだけシフトして配置され、被写体100からの光を集光し、第2の被写体像を形成するための第2の光学系OS2と、第2の被写体像を撮像し、第2の被写体像を含む第2の画像を取得するための第2の撮像素子S2とを有する第2の撮像系IS2と、第1の被写体像のサイズおよび第2の被写体像のサイズを取得するためのサイズ取得部3と、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRと、被写体100までの距離とを関連付ける関連付情報を記憶している関連付情報記憶部4と、サイズ取得部3によって取得された第1の被写体像のサイズおよび第2の被写体像のサイズの比として得られる第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRに基づいて、被写体100までの距離を算出するための距離算出部5と、第1の撮像素子S1によって取得された第1の画像または第2の撮像素子S2によって取得された第2の画像と、距離算出部5によって算出された被写体100までの距離とに基づいて、被写体100の3次元画像を生成するための3次元画像生成部6と、液晶パネル等の任意の情報を表示するための表示部7と、使用者による操作を入力するための操作部8と、外部デバイスとの通信を実行するための通信部9と、測距カメラ1の各コンポーネント間のデータの授受を実行するためのデータバス10と、を備えている。
 本発明の測距カメラ1において、第1の撮像系IS1の第1の光学系OS1および第2の撮像系IS2の第2の光学系OS2は、被写体100を第1の撮像系IS1によって撮像することによって取得される第1の画像に含まれる第1の被写体像の被写体100までの距離に応じた倍率mの変化が、被写体100を第2の撮像系IS2によって撮像することによって取得される第2の画像に含まれる第2の被写体像の被写体100までの距離に応じた倍率mの変化と異なるように、構成および配置されている。
 被写体100までの距離に応じた第1の被写体像の倍率mの変化と、被写体100までの距離に応じた第2の被写体像の倍率mの変化が異なるようになる条件は、第1の光学系OS1および第2の光学系OS2が、以下の3つの条件の少なくとも1つを満たされるよう、構成および配置されていることである。
 (第1の条件)第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとが、互いに異なる(f≠f
 (第2の条件)第1の光学系OS1の射出瞳から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPと、第2の光学系OS2の射出瞳から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPとが、互いに異なる(EP≠EP
 (第3の条件)第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間に奥行方向(光軸方向)の差(奥行視差)Dが存在する(D≠0)
 加えて、上記第1~第3の条件の少なくとも1つを満たしていたとしても、f≠f、EP≠EP、D=0、f=EPかつf=EPという条件を満たす特別な場合には、第1の被写体像の倍率mと第2の被写体像の倍率mの比である像倍比MRが被写体100までの距離の関数として成立しない。そのため、第1の光学系OS1および第2の光学系OS2は、像倍比MRが被写体100までの距離の関数として成立しているという第4の条件をさらに満たすよう構成されている。
 第1の光学系OS1および第2の光学系OS2が上述の条件を満たす場合に、被写体100までの距離に応じた第1の被写体像の倍率mの変化と、被写体100までの距離に応じた第2の被写体像の倍率mの変化が異なるようになる原理、および、第1の被写体像の倍率mと第2の被写体像の倍率mの比である像倍比MRに基づいて被写体100までの距離を算出するための原理については、本発明者らによって既に出願されている上述の特許文献2(特願2017-241896号)に詳述されているので、説明を省略する。該特許文献2の開示内容の全てが参照によりここに援用される。
 本発明の測距カメラ1において、第1の撮像系IS1および第2の撮像系IS2は、さらに、第1の撮像系IS1および第2の撮像系IS2の配置および特性から定まる測距開始(MS:Measurement Start)距離と等しいまたはそれより離れた距離に位置する被写体100を撮影したとき、第1の画像に対応する第1の撮影領域の全てが第2の画像に対応する第2の撮影領域内に収まるよう、構成および配置されている。
 具体的には、第1の撮像系IS1および第2の撮像系IS2は、第1の撮像系IS1から測距開始距離と等しいまたはそれより離れた距離に位置する被写体100を、第1の撮像系IS1および第2の撮像系IS2を用いて撮像した場合に、第1の撮像系IS1によって取得される第1の画像に対応する第1の撮影領域の全てが、第2の撮像系IS2によって取得される第2の画像に対応する第2の撮影領域内に包含されるよう、構成および配置されている。
 例えば、図2には、第1の画像と第2の画像の例が示されている。図2において、第1の画像に対応する第1の撮影領域の全てが、第2の画像に対応する第2の撮影領域に包含されている。ここで、「第1の画像に対応する第1の撮影領域」との文言は、第1の撮像系IS1によって実世界を撮影し、第1の画像を取得した際に、第1の画像の全領域に対応する実世界の領域を意味している。同様に、「第2の画像に対応する第2の撮影領域」との文言は、第2の撮像系IS2によって実世界を撮影し、第2の画像を取得した際に、第2の画像の全領域に対応する実世界の領域を意味している。例えば、図2の例では、第1の画像に対応する第1の撮影領域とは、第1の画像によって表される黒丸、黒四角、黒三角を含む一定の領域に対応する実世界の領域をいう。同様に、図2の例では、第2の画像に対応する第2の撮影領域とは、第2の画像によって表される領域に対応する実世界の領域をいう。図2の例では、第1の撮影領域は、第2の撮影領域よりも狭く、第1の撮影領域の全てが第2の撮影領域に包含されている。
 図2に示す第1の画像と第2の画像の1例では、第1の画像に対応する第1の撮影領域が第2の画像に対応する第2の撮影領域よりも狭い。すなわち、第1の画像を取得するために用いられた第1の撮像系IS1の画角は、第2の画像を取得するために用いられた第2の撮像系IS2の画角よりも、狭い。さらに、第1の撮像系IS1の撮影倍率は、第2の撮像系IS2の撮影倍率よりも大きい。
 第1の撮像系IS1から測距開始距離と等しいまたはそれより離れた距離に位置する被写体100を、第1の撮像系IS1および第2の撮像系IS2を用いて撮像した場合に、第1の撮像系IS1によって取得される第1の画像に対応する第1の撮影領域の全てが、第2の撮像系IS2によって取得される第1の画像に対応する第2の撮影領域内に包含されるという要件は、第1の撮像系IS1の第1の撮像素子S1のサイズと第2の撮像系IS2の第2の撮像素子S2のサイズとが等しい場合、第1の光学系OS1および第2の光学系OS2を以下の条件を満たすように構成することにより実現される。
 (第5の条件)第1の光学系OS1の焦点距離fが第2の光学系OS2の焦点距離fよりも長い(f>f
 第1の撮像系IS1の第1の撮像素子S1のサイズと第2の撮像系IS2の第2の撮像素子S2のサイズとが等しく、上述の第5の条件が満たされる場合、第1の撮像系IS1の画角が、第2の撮像系IS2の画角よりも狭くなる。さらに、第1の撮像系IS1の撮影倍率は、第2の撮像系IS2の撮影倍率よりも大きくなる。そのため、上述の第5の条件を満たすよう、第1の光学系OS1および第2の光学系OS2を構成することにより、第1の撮像系IS1から測距開始距離と等しいまたはそれより離れた距離に位置する被写体100を、第1の撮像系IS1および第2の撮像系IS2を用いて撮像した場合に、第1の撮像系IS1によって取得される第1の画像に対応する第1の撮影領域の全てが、第2の撮像系IS2によって取得される第2の画像に対応する第2の撮影領域内に包含されるという要件が満たされることになる。
 したがって、本発明の測距カメラ1において、第1の光学系OS1および第2の光学系OS2は、上述した第1~第3の条件の少なくとも1つ、第4の条件、および第5の条件を満たすよう、構成および配置されている。
 次に、図3および図5を参照して、「測距開始距離」について説明する。本明細書において「測距開始距離」とは、本発明の測距カメラ1による被写体100までの距離の測定が可能となる、第1の撮像系IS1から被写体100までの距離をいう。
 図3の上側には、第1の撮像系IS1と第2の撮像系IS2の配置の1例が示されている。図5の上側には、第1の撮像系IS1と第2の撮像系IS2の配置の別の1例が示されている。図3および図5の上側において、第1の撮像系IS1および第2の撮像系IS2のそれぞれから図中のY軸方向に向かって放射状に延びる2本の線は、第1の撮像系IS1および第2の撮像系IS2のそれぞれの画角を表している。
 図3および図5に示すように、第1の撮像系IS1によって取得される第1の画像に対応する第1の撮影領域(第1の撮像系IS1の画角がカバーする領域)の全てが、第2の撮像系IS2によって取得される第2の画像に対応する第2の撮影領域(第2の撮像系IS2の画角がカバーする領域)に包含されるようになる第1の撮像系IS1から被写体100までの距離を「測距開始距離」という。
 第1の撮像系IS1から測距開始距離よりも近い距離に位置している被写体100を第1の撮像系IS1および第2の撮像系IS2で撮像した場合、第1の撮像系IS1によって取得された第1の画像に含まれる被写体100の特徴点が、第2の撮像系IS2によって取得された第2の画像内に含まれない場合がある。この場合、後述するような第1の画像に含まれる第1の被写体像の特徴点に対応する、第2の画像に含まれる第2の被写体像の特徴点を検出することができず、測距カメラ1による被写体100までの距離の測定ができない。そこで、本発明の測距カメラ1は、第1の撮像系IS1から測距開始距離と等しいまたはそれより離れて位置する被写体100を測距対象としている。
 図3に示す第1の撮像系IS1と第2の撮像系IS2の配置の1例では、第1の撮像系IS1から第2の撮像系IS2までの図中のx軸方向の並進視差Pが正の値となっている(P>0)。換言すれば、図3に示す例において、第2の撮像系IS2が第1の撮像系IS1よりも図中の右側に位置している。この場合、第1の撮像系IS1の画角を示す左側の線と、第2の撮像系IS2の画角を示す左側の線との交点を含み、かつ、第1の撮像系IS1の第1の光学系OS1の光軸と垂直に交差する平面までの第1の撮像系IS1からの距離が、測距開始距離である。
 図5に示す第1の撮像系IS1と第2の撮像系IS2の配置の別の1例では、第1の撮像系IS1から第2の撮像系IS2までの図中のx軸方向の並進視差Pが負の値となっている(P<0)。換言すれば、図5に示す例において、第2の撮像系IS2が第1の撮像系IS1よりも図中の左側に位置している。この場合、第1の撮像系IS1の画角を示す右側の線と、第2の撮像系IS2の画角を示す右側の線との交点を含み、かつ、第1の撮像系IS1の第1の光学系OS1の光軸と垂直に交差する平面までの第1の撮像系IS1からの距離が、測距開始距離となる。
 図3および図5に示す例において、被写体100が、第1の撮像系IS1から測距開始距離と等しいまたはそれより離れた距離に位置している場合、第1の撮像系IS1によって取得される第1の画像に対応する第1の撮影領域の全てが、第2の撮像系IS2によって取得される第2の画像に対応する第2の撮影領域に包含される。
 本発明の測距カメラ1では、上述のような第1の撮像系IS1および第2の撮像系IS2を用いることにより、第1の被写体像の倍率mと第2の被写体像の倍率mとの比である像倍比MRに基づいて被写体100までの距離を算出すること、および、被写体100までの距離を算出するために要する処理時間を短縮することが可能となっている。
 以下、図1に戻り、測距カメラ1の各コンポーネントについて詳述する。制御部2は、データバス10を介して、各コンポーネントとの間の各種データや各種指示の授受を行い、測距カメラ1の制御を実行する。制御部2は、演算処理を実行するためのプロセッサーと、測距カメラ1の制御を行うために必要なデータ、プログラム、モジュール等を保存しているメモリーとを備えており、制御部2のプロセッサーは、メモリー内に保存されているデータ、プログラム、モジュール等を用いることにより、測距カメラ1の制御を実行する。また、制御部2のプロセッサーは、測距カメラ1の各コンポーネントを用いることにより、所望の機能を提供することができる。例えば、制御部2のプロセッサーは、距離算出部5を用いることにより、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRに基づいて、被写体100までの距離を算出するための処理を実行することができる。
 制御部2のプロセッサーは、例えば、1つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー(DSP)、中央演算処理装置(CPU)、メモリーコントロールユニット(MCU)、画像処理用演算処理装置(GPU)、状態機械、論理回路、特定用途向け集積回路(ASIC)、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、制御部2のプロセッサーは、制御部2のメモリー内に保存されているコンピューター可読命令(例えば、データ、プログラム、モジュール等)をフェッチし、演算、信号操作および制御を実行するよう構成されている。
 制御部2のメモリーは、揮発性記憶媒体(例えば、RAM、SRAM、DRAM)、不揮発性記憶媒体(例えば、ROM、EPROM、EEPROM、フラッシュメモリー、ハードディスク、光ディスク、CD-ROM、デジタル多用途ディスク(DVD)、ブルーレイディスク(BD)、磁気カセット、磁気テープ、磁気ディスク)、またはこれらの組み合わせを含む着脱式または非着脱式のコンピューター可読媒体である。
 また、制御部2のメモリー内には、第1の撮像系IS1および第2の撮像系IS2の構成および配置に関するパラメーターが保存されている。制御部2のメモリー内に保存されたパラメーターは、第1の撮像系IS1および第2の撮像系IS2の構成および配置に関するパラメーター、第1の撮像系IS1の第1の光学系OS1の焦点距離f、第2の撮像系IS2の第2の光学系OS2の焦点距離f2、第1の光学系OS1の射出瞳から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EP、第2の光学系OS2の射出瞳から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EP2、第1の光学系OS1と第2の光学系OS2のx軸方向の並進視差Pおよびy軸方向の並進視差P、並びに、奥行視差D、第1の撮像素子S1の撮像面で第1の被写体像がベストピントとなる場合の第1の光学系OS1の前側主点から被写体100までの距離aFD1、第2の撮像素子S2の撮像面で第2の被写体像がベストピントとなる場合の第2の光学系OS2の前側主点から被写体100までの距離aFD2を含む。
 これらパラメーターは、第1の撮像系IS1および第2の撮像系IS2の構成および配置の際に決定される固定値であり、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRに基づく被写体100までの距離の測定の際に、制御部2のプロセッサーによって参照される。
 第1の撮像系IS1は、第1の光学系OS1と、第1の撮像素子S1とを有している。第1の光学系OS1は、被写体100からの光を集光し、第1の撮像素子S1の撮像面上に第1の被写体像を形成する機能を有する。第1の撮像素子S1は、撮像面上に形成された第1の被写体像を撮像し、第1の被写体像を含む第1の画像を取得する機能を有している。第2の撮像系IS2は、第2の光学系OS2と、第2の撮像素子S2とを有している。第2の光学系OS2は、被写体100からの光を集光し、第2の撮像素子S2の撮像面上に第2の被写体像を形成する機能を有する。第2の撮像素子S2は、撮像面上に形成された第2の被写体像を撮像し、第2の被写体像を含む第2の画像を取得する機能を有している。
 上述のように、第1の光学系OS1および第2の光学系OS2は、上述した第1~第3の条件の少なくとも1つ、および、第4の条件を満たすよう、構成および配置されている。そのため、本発明の測距カメラ1において、第1の光学系OS1によって形成される第1の被写体像の倍率mの被写体100までの距離に応じた変化が、第2の光学系OS2によって形成される第2の被写体像の倍率mの被写体100までの距離に応じた変化と異なるようになっている。このような第1の光学系OS1および第2の光学系OS2によって得られる第1の被写体像の倍率mと第2の被写体像の倍率mとの比である像倍比MRは、被写体100までの距離を算出するために用いられる。
 また、図示のように、第1の光学系OS1の光軸と、第2の光学系OS2の光軸は、平行であるが、一致していない。さらに、第2の光学系OS2は、第1の光学系OS1の光軸方向に対して垂直な方向に距離P=(P +P 1/2だけシフトして配置されている。ここで、Pは、第1の光学系OS1および第2の光学系OS2の光軸をz軸としたときのx軸方向の第1の光学系OS1および第2の光学系OS2の間の並進視差である。同様に、Pは、第1の光学系OS1および第2の光学系OS2の光軸をz軸としたときのy軸方向の第1の光学系OS1および第2の光学系OS2の間の並進視差である。
 さらに、第1の撮像系IS1の第1の撮像素子S1のサイズと第2の撮像系IS2の第2の撮像素子S2のサイズは等しく、かつ、第1の光学系OS1および第2の光学系OS2は、上述した第5の条件(f>f)を満たすよう構成されている。そのため、第1の撮像系IS1から測距開始距離と等しいまたはそれより離れた距離に位置する被写体100を、第1の撮像系IS1および第2の撮像系IS2を用いて撮像した場合に、第1の撮像系IS1によって取得される第1の画像に対応する第1の撮影領域の全てが、第2の撮像系IS2によって取得される第1の画像に対応する第2の撮影領域内に包含される。
 なお、図示の形態では、第1の撮像系IS1を構成する第1の撮像素子S1および第1の光学系OS1が、同一の筐体内に設けられており、第2の撮像系IS2を構成する第2の撮像素子S2および第2の光学系OS2が、別の同一の筐体内に設けられているが、本発明はこれに限られない。第1の光学系OS1、第2の光学系OS2、第1の撮像素子S1、および第2の撮像素子S2がすべて同一の筐体内に設けられているような様態も、本発明の範囲内である。
 第1の撮像素子S1および第2の撮像素子S2のそれぞれは、ベイヤー配列等の任意のパターンで配列されたRGB原色系カラーフィルターやCMY補色系カラーフィルターのようなカラーフィルターを有するCMOS画像センサーやCCD画像センサー等のカラー撮像素子であってもよいし、そのようなカラーフィルターを有さない白黒撮像素子であってもよい。この場合、第1の撮像素子S1によって得られる第1の画像および第2の撮像素子S2によって得られる第2の画像は、被写体100のカラーまたは白黒の輝度情報である。
 また、第1の撮像素子S1および第2の撮像素子S2のそれぞれは、被写体100の位相情報を取得する位相センサーであってもよい。この場合、第1の撮像素子S1によって得られる第1の画像および第2の撮像素子S2によって得られる第2の画像は、被写体100の位相情報である。
 第1の光学系OS1によって、第1の撮像素子S1の撮像面上に第1の被写体像が形成され、第1の撮像素子S1によって第1の被写体像を含む第1の画像が取得される。取得された第1の画像は、データバス10を介して、制御部2およびサイズ取得部3に送られる。同様に、第2の光学系OS2によって、第2の撮像素子S2の撮像面上に第2の被写体像が形成され、第2の撮像素子S2によって第2の被写体像を含む第2の画像が取得される。取得された第2の画像は、データバス10を介して、制御部2およびサイズ取得部3に送られる。
 サイズ取得部3に送られた第1の画像および第2の画像は、第1の被写体のサイズおよび第2の被写体のサイズを取得するために用いられる。一方、制御部2に送られた第1の画像および第2の画像は、表示部7による画像表示や通信部9による画像信号の通信のために用いられる。
 サイズ取得部3は、第1の被写体像を含む第1の画像および第2の被写体像を含む第2の画像から、第1の被写体のサイズおよび第2の被写体のサイズを取得する機能を有している。具体的には、サイズ取得部3は、第1の画像中の第1の被写体像の複数の特徴点を検出し、検出された第1の被写体像の複数の特徴点間の距離を測定することにより、第1の被写体像のサイズを取得する。さらに、サイズ取得部3は、検出された第1の被写体像の複数の特徴点にそれぞれ対応する第2の画像中の第2の被写体像の複数の特徴点を検出し、検出された第2の被写体像の複数の特徴点間の距離を測定することにより、第2の被写体像のサイズを取得する。
 1つの例において、サイズ取得部3は、第1の画像に対し、Cannyのようなフィルター処理を施し、第1の画像内における第1の被写体像のエッジ部を抽出する。その後、サイズ取得部3は、抽出した第1の被写体像のエッジ部の任意のいくつかを第1の被写体像の複数の特徴点として検出し、該複数の特徴点間の離間距離を測定することにより第1の被写体像のサイズを取得する。この場合、サイズ取得部3は、第1の被写体像の高さ方向の両端部に相当するエッジ部を第1の被写体像の複数の特徴点として検出し、該特徴点間の離間距離を第1の被写体像のサイズ(像高)としてもよいし、第1の被写体像の幅方向の両端部に相当するエッジ部を第1の被写体像の複数の特徴点として検出し、該特徴点間の離間距離を第1の被写体像のサイズ(像幅)としてもよい。
 第1の被写体像のサイズを取得した後、サイズ取得部3は、検出された第1の被写体像の複数の特徴点にそれぞれ対応する第2の画像中の第2の被写体像の複数の特徴点を検出するための対応特徴点検出処理を実行する。サイズ取得部3は、対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線を利用する。
 よく知られているように、エピポーラ幾何によれば、一方の撮像系によって取得された第1の画像内の特徴点に対応する他方の撮像系によって取得された第2の画像内の特徴点は、2つの撮像系の特性(焦点距離、射出瞳位置等)および配置、並びに、第1の画像内の特徴点の位置に基づいて導出される第2の画像中のエピポーラ線上に必ず存在することになる。そのため、対応特徴点検出処理において、第2の画像の全ての領域を探索せずとも、第2の画像中の算出されたエピポーラ線上を探索すれば、第1の画像内の特徴点に対応する第2の画像内の特徴点を検出できる。
 具体的には、サイズ取得部3は、第1の撮像素子S1から第1の画像を受信し、さらに、第2の撮像素子S2から第2の画像を受信する。その後、サイズ取得部3は、第1の画像中における第1の被写体像の任意の複数の特徴点を検出する。サイズ取得部3が第1の画像中における第1の被写体像の任意の複数の特徴点を検出する方法は特に限定されず、サイズ取得部3は、本分野において既知の種々の方法を用いて、第1の画像中における第1の被写体像の任意の複数の特徴点を検出することができる。サイズ取得部3によって検出された複数の特徴点のそれぞれの座標(x,y)は、制御部2のメモリー内に一時保存される。
 その後、サイズ取得部3は、制御部2のメモリー内に保存されているパラメーターを参照して、選択された第1の被写体像の特徴点に対応するエピポーラ線を導出する。なお、サイズ取得部3が、第1の撮像系ISおよび第2の撮像系IS2の特性および配置、並びに、選択された第1の被写体の特徴点の第1の画像中の座標(x,y)に基づいてエピポーラ線を導出するため方法は、特に限定されない。サイズ取得部3は、エピポーラ幾何の分野において既知の任意の方法を用いて、第2の画像中のエピポーラ線を導出することができる。
 図2には、導出された第2の画像中のエピポーラ線の例が示されている。図2に示されているように、第1の撮像系IS1および第2の撮像系IS2の特性および配置、並びに、選択された第1の被写体像の第1の画像中の位置(座標)に基づいて、選択された第1の被写体像の特徴点に対応する第2の画像中のエピポーラ線が導出される。
 サイズ取得部3は、第2の画像中において、導出されたエピポーラ線上を探索することにより、選択された第1の被写体像の特徴点に対応する第2の画像中の第2の被写体像の特徴点を検出する。このように、サイズ取得部3は、対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線を利用し、選択された第1の被写体像の特徴点に対応する第2の画像中の第2の被写体像の特徴点の探索を実行する。そのため、サイズ取得部3は、第2の画像の全領域を探索せずとも、算出されたエピポーラ線上を探索することにより、第1の画像内の選択された第1の被写体像の特徴点に対応する第2の画像内の第2の被写体像の特徴点を検出できる。このような構成により、第1の被写体像の倍率mと第2の被写体像の倍率mとの間の像倍比MRに基づいて被写体100までの距離を算出するための処理時間を短縮させることができる。
 サイズ取得部3は、このようなエピポーラ幾何に基づくエピポーラ線の利用に加えて、対応特徴点検出処理において探索すべき第2の画像中の領域を限定することにより、第1の被写体像の倍率mと第2の被写体像の倍率mとの間の像倍比MRに基づいて被写体100までの距離を算出するための処理時間をさらに短縮させている。
 対応特徴点検出処理において探索すべき第2の画像中の領域の限定について、図3~図6を参照して詳述する。本発明者は、第1の撮像系IS1によって取得された第1の画像に対応する第1の撮影領域と、第2の撮像系IS2によって取得された第2の画像に対応する第2の撮影領域とが重複し得る領域が、第2の画像の全領域ではなく、第2の画像の一部の領域に限定されるという現象を発見し、そのような現象に基づいて、第1の画像に対応する第1の撮影領域と、第2の撮像系IS2によって取得された第2の画像に対応する第2の撮影領域とが重複し得る領域でのみ、エピポーラ線上の探索を実行するとの着想を得、本発明を完成させるに至った。以下、第1の撮像系IS1によって取得された第1の画像に対応する第1の撮影領域と、第2の撮像系IS2によって取得された第2の画像に対応する第2の撮影領域とが重複し得る領域が、第2の画像の全領域ではなく、第2の画像の一部の領域に限定されるという現象について説明する。
 上述のように、本発明の測距カメラ1において、第1の撮像系IS1および第2の撮像系IS2は、第1の撮像系IS1から測距開始距離と等しいまたはそれより離れた距離に位置する被写体100を、第1の撮像系IS1および第2の撮像系IS2を用いて撮像した場合に、第1の撮像系IS1によって取得される第1の画像に対応する第1の撮影領域の全てが、第2の撮像系IS2によって取得される第2の画像に対応する第2の撮影領域内に包含されるよう構成されている。
 図3に示す第1の撮像系IS1と第2の撮像系IS2の配置の1例では、第2の撮像系IS2が第1の撮像系IS1よりも右側に位置している。被写体100が第1の撮像系IS1から測距開始距離と等しい距離だけ離れて位置している場合(被写体距離=測距開始距離)、図3中の(a)に示されているように、第1の画像の左端に存在する特徴点に対応する第2の画像中の特徴点(図3中の(a)の丸点)は、第2の画像の左端に存在する。
 被写体100が第1の撮像系IS1から測距開始距離より離れた任意の距離に位置している場合(被写体距離=任意の距離)、図3中の(b)に示されているように、第1の画像の左端に存在する特徴点に対応する第2の画像中の特徴点(図3中の(b)の丸点)は、第2の画像の左端から右側にシフトした位置に存在する。
 さらに、被写体100が無限遠に位置している場合(被写体距離=無限遠)、図3中の(c)に示されているように、第1の画像の左端に存在する特徴点に対応する第2の画像中の特徴点(図3中の(c)の丸点)は、図3中の(b)に示されている位置から、右側にさらにシフトした位置に存在する。
 このように、第1の画像の左端に存在する特徴点に対応する第2の画像中の特徴点は、第1の撮像系IS1から被写体100までの距離に応じて、x軸方向において、図3中の(a)に示されている位置から、図3中の(c)に示されている位置までシフトする。
 同様に、被写体100が第1の撮像系IS1から測距開始距離と等しい距離だけ離れて位置している場合(被写体距離=測距開始距離)、図3中の(d)に示されているように、第1の画像の右端に存在する特徴点に対応する第2の画像中の特徴点(図3中の(d)の四角点)は、第2の画像の左端から右側にシフトした位置に存在する。
 被写体100が第1の撮像系IS1から測距開始距離より離れた任意の距離に位置している場合(被写体距離=任意の距離)、図3中の(e)に示されているように、第1の画像の右端に存在する特徴点に対応する第2の画像中の特徴点(図3中の(e)の四角点)は、図3中の(d)に示されている位置から、右側にさらにシフトした位置に存在する。
 さらに、被写体100が無限遠に位置している場合(被写体距離=無限遠)、図3中の(f)に示されているように、第1の画像の右端に存在する特徴点に対応する第2の画像中の特徴点(図3中の(f)の四角点)は、図3中の(e)に示されている位置から、右側にさらにシフトした位置に存在する。
 このように、第1の画像の右端に存在する特徴点に対応する第2の画像中の特徴点は、第1の撮像系IS1から被写体100までの距離に応じて、x軸方向において、図3中の(d)に示されている左端から、図3中の(f)に示されている位置までシフトする。
 第1の画像中の任意の特徴点は、x軸方向において、第1の画像の左端から右端の間の任意の位置に存在するのだから、第1の画像中の任意の特徴点に対応する第2の画像中の特徴点の第2の画像中におけるx軸方向の位置は、図3中の(a)に示す位置と図3中の(f)に示す位置との間に限定されることになる。
 したがって、第1の画像中の任意の特徴点に対応する第2の画像中の特徴点が位置し得る領域、すなわち、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る領域は、第2の画像の全領域ではなく、第2の画像の限定された領域となる。
 図4には、図3に示す第1の撮像系IS1と第2の撮像系IS2の配置の1例において、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る領域が示されている。
 x軸方向において、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る領域は、図3中の(a)に示す被写体100までの距離が測距開始距離のときの第1の画像の左端の特徴点に対応する第2の画像中の特徴点の位置と、図3中の(f)に示す被写体100までの距離が無限遠のときの第1の画像の右端の特徴点に対応する第2の画像中の特徴点の位置との間の領域である。
 第1の撮像系IS1から被写体100までの距離が測距開始距離から無限遠の範囲にある場合、第1の画像中の特徴点は、x軸方向において、必ず、図4に示すような、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る領域内に存在することになる。そのため、対応特徴点検出処理において、導出された第2の画像中のエピポーラ線上を探索する際に、第2の画像中の全領域のエピポーラ線上を探索する必要はなく、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る第2の画像の探索範囲内においてのみ、エピポーラ線上を探索すればよい。
 図5に示す第1の撮像系IS1と第2の撮像系IS2の配置の別の1例では、第2の撮像系IS2が第1の撮像系IS1よりも左側に位置している。被写体100が第1の撮像系IS1から測距開始距離と等しい距離だけ離れて位置している場合(被写体距離=測距開始距離)、図5中の(a)に示されているように、第1の画像の左端に存在する特徴点に対応する第2の画像中の特徴点(図5中の(a)の丸点)は、第2の画像の右端から左側にシフトした位置に存在する。
 被写体100が第1の撮像系IS1から測距開始距離より離れた任意の距離に位置している場合(被写体距離=任意の距離)、図5中の(b)に示されているように、第1の画像の左端に存在する特徴点に対応する第2の画像中の特徴点(図5中の(b)の丸点)は、図5中の(a)に示されている位置から、左側にさらにシフトした位置に存在する。
 さらに、被写体100が無限遠に位置している場合(被写体距離=無限遠)、図5中の(c)に示されているように、第1の画像の左端に存在する特徴点に対応する第2の画像中の特徴点(図5中の(c)の丸点)は、図5中の(b)に示されている位置から、左側にさらにシフトした位置に存在する。
 このように、第1の画像中において左端に存在する特徴点に対応する第2の画像中の特徴点は、第1の撮像系IS1から被写体100までの距離に応じて、x軸方向において、図5中の(a)に示されている位置から、図5中の(c)に示されている位置までシフトする。
 同様に、被写体100が第1の撮像系IS1から測距開始距離と等しい距離だけ離れて位置している場合(被写体距離=測距開始距離)、図5中の(d)に示されているように、第1の画像の右端に存在する特徴点に対応する第2の画像中の特徴点(図5中の(d)の四角点)は、第2の画像の右端に存在する。
 被写体100が第1の撮像系IS1から測距開始距離より離れた任意の距離に位置している場合(被写体距離=任意の距離)、図5中の(e)に示されているように、第1の画像の右端に存在する特徴点に対応する第2の画像中の特徴点(図5中の(e)の四角点)は、図5中の(d)に示されている位置から、左側にシフトした位置に存在する。
 さらに、被写体100が無限遠に位置している場合(被写体距離=無限遠)、図5中の(f)に示されているように、第1の画像の右端に存在する特徴点に対応する第2の画像中の特徴点(図5中の(f)の四角点)は、図5中の(e)に示されている位置から、左側にさらにシフトした位置に存在する。
 このように、第1の画像中において右端に存在する特徴点に対応する第2の画像中の特徴点は、第1の撮像系IS1から被写体100までの距離に応じて、x軸方向において、図5中の(d)に示されている右端から、図5中の(f)に示されている位置までシフトする。
 第1の画像中の任意の特徴点は、x軸方向において、第1の画像の左端から右端の間の任意の位置に存在するのだから、第1の画像中の任意の特徴点に対応する第2の画像中の特徴点の第2の画像中における位置は、図5中の(c)に示す位置と図5中の(d)に示す位置との間に限定されることになる。
 したがって、第1の画像中の任意の特徴点に対応する第2の画像中の特徴点が位置し得る領域、すなわち、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る領域は、第2の画像の全領域ではなく、第2の画像の限定された領域となる。
 図6には、図5に示す第1の撮像系IS1と第2の撮像系IS2の配置の別の1例において、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る領域が示されている。
 x軸方向において、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る領域は、図5中の(c)に示す被写体100までの距離が無限遠のときの第1の画像の左端の特徴点に対応する第2の画像中の特徴点の位置と、図5中の(d)に示す被写体100までの距離が測距開始距離のときの第1の画像の右端の特徴点に対応する第2の画像中の特徴点の位置との間の領域である。
 このように、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲が第2の画像の全領域ではなく、第2の画像の限定された領域になるとの現象に基づき、サイズ取得部3は、対応特徴点検出処理においてエポピーラ線上の探索が実行される第2の画像の領域を限定する。
 図4および図6に示す第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る領域(以下、第2の画像の探索領域という)は、第1の撮像系IS1および第2の撮像系IS2の特性および配置(より具体的には、第1の撮像系IS1および第2の撮像系IS2の画角、並びに、第1の撮像系IS1と第2の撮像系IS2との間の並進視差P、P、および奥行視差D)から、幾何光学に基づいて特定することができる。第1の撮像系IS1および第2の撮像系IS2の特性および配置は、測距カメラ1の構成時に決定されるので、サイズ取得部3は、第1の撮像系IS1および第2の撮像系IS2の特性および配置に基づいて、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る第2の画像の領域(第2の画像の探索領域)を特定することができる。
 サイズ取得部3は、対応特徴点検出処理において、第1の撮像系IS1および第2の撮像系IS2の特性および配置に基づいて、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る第2の画像の探索領域を特定し、第2の画像の探索領域中においてのみ、導出されたエピポーラ線上の探索を実行することにより、第1の画像に含まれる第1の被写体像の特徴点に対応する第2の画像に含まれる第2の被写体像の特徴点を検出する。
 このように、サイズ取得部3によって実行される対応特徴点検出処理において、エピポーラ線上の探索が実行される第2の画像中の領域が、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る第2の画像の探索領域に限定される。したがって、本発明の測距カメラ1においては、第2の画像の全領域においてエピポーラ線上の探索が実行される場合と比較して、探索すべき領域が限定されているので、対応特徴点検出処理に要する時間を短縮することができる。その結果、第1の被写体像の倍率mと第2の被写体像の倍率mの像倍比MRに基づいて被写体100までの距離を算出するための処理時間をさらに短縮することができる。
 上述のように、サイズ取得部3は、第2の画像中の探索領域においてのみ、導出されたエピポーラ線上の探索を実行する。具体的には、サイズ取得部3は、最初に、制御部2のメモリー内に保存されている第1の被写体像の複数の特徴点の座標(x,y)を参照し、検出された第1の被写体像の複数の特徴点のいずれか1つを選択する。その後、サイズ取得部3は、第1の画像中の選択された特徴点を中心とする所定のサイズの領域(例えば、選択された特徴点を中心とする5×5ピクセルの領域、7×7ピクセルの領域等)を切り出し、選択された特徴点用の探索ブロックを取得する。この探索ブロックは、選択された第1の被写体の特徴点に対応する第2の画像中の第2の被写体像の特徴点を探索するために用いられる。取得された探索ブロックは、制御部2のメモリー内に一時保存される。
 その後、サイズ取得部3は、制御部2のメモリー内に保存されているパラメーターを用いて、選択された第1の被写体像の特徴点に対応するエピポーラ線を導出する。その後、サイズ取得部3は、第1の撮像系IS1および第2の撮像系IS2の特性および配置に基づいて、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る第2の画像の探索領域を特定する。
 サイズ取得部3は、第2の画像中のエピポーラ線を導出し、さらに、第2の画像の探索領域を特定すると、第2の画像の探索領域において、導出されたエピポーラ線上を探索する。このような処理により、サイズ取得部3は、選択された第1の被写体像の特徴点に対応する第2の画像中の第2の被写体像の特徴点を検出する。
 具体的には、サイズ取得部3は、制御部2のメモリー内に保存されている選択された第1の被写体像の特徴点用の探索ブロックと、第2の画像の探索領域中のエピポーラ線上の画素を中心とし、探索ブロックと同じサイズを有するエピポーラ線周辺領域との間のコンボリューション演算(畳み込み積分)を実行し、探索ブロックとエピポーラ線周辺領域との間の相関値を算出する。この相関値の算出は、第2の画像中の導出されたエピポーラ線に沿って実行される。サイズ取得部3は、相関値が最も高かったエピポーラ線周辺領域の中心画素(すなわち、エピポーラ線上の画素)を、選択された第1の被写体像の特徴点に対応する第2の画像中の第2の被写体像の特徴点として検出する。算出された第2の被写体像の特徴点の座標(x,y)は、制御部2のメモリー内に一時保存される。
 なお、探索ブロックとエピポーラ線周辺領域とのコンボリューション演算を実行する際に、探索ブロックまたは第2の画像に対する画素の補間が実行されてもよい。このような2つの領域間の相関値を正確に取得するために本分野において既知の任意の手法が、対応特徴点検出処理において用いられてもよい。
 このような処理は、検出された第1の被写体像の特徴点の全てに対応する第2の画像中の第2の被写体像の特徴点が検出されるまで、選択された第1の被写体像の特徴点を変更して、繰り返し実行される。したがって、サイズ取得部3は、検出された第1の被写体像の複数の特徴点にそれぞれ対応する複数のエピポーラ線を導出し、第2の画像の探索領域において、導出された複数のエピポーラ線のそれぞれ上を上述のように探索することにより、検出された第1の被写体像の複数の特徴点にそれぞれ対応する第2の画像中の第2の被写体像の複数の特徴点を検出する。検出された第1の被写体像の特徴点の全てに対応する第2の画像中の第2の被写体像の特徴点が検出されると、サイズ取得部3による対応特徴点検出処理が終了する。
 対応特徴点検出処理を実行した後、サイズ取得部3は、制御部2のメモリー内に一時保存されている第2の被写体像の複数の特徴点の座標(x,y)から、検出された第2の被写体像の複数の特徴点間の離間距離を測定することにより、第2の被写体像のサイズを取得する。
 サイズ取得部3によって取得された第1の被写体像のサイズと第2の被写体像のサイズの比は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に対応する。そのため、サイズ取得部3によって取得された第1の被写体像のサイズと第2の被写体像のサイズの比が、被写体100までの距離を算出するための像倍比MRとして用いられる。
 関連付情報記憶部4は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRと、第1の光学系OS1の前側主点から被写体100までの距離(被写体距離)とを関連付ける関連付情報を記憶するための任意の不揮発性記録媒体(例えば、ハードディスク、フラッシュメモリー)である。関連付情報記憶部4に保存されている関連付情報は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRから、被写体100までの距離を算出するための情報である。
 典型的には、関連付情報記憶部4に保存されている関連付情報は、像倍比MRに基づいて被写体100までの距離を算出するための以下の式(1)である。
Figure JPOXMLDOC01-appb-M000001
 ここで、aは被写体100から第1の撮像系IS1の第1の光学系OS1の前側主点までの距離、fは第1の光学系OS1の焦点距離、fは第2の光学系OS2の焦点距離、EPは第1の光学系OS1の射出瞳から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離、EPは第2の光学系OS2の射出瞳から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離、Dは第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間の奥行視差である。
 さらに、上記式(1)中のKは、以下の式(2)で表される係数であり、第1の撮像系IS1および第2の撮像系IS2の構成および配置により決定される固定値である。
Figure JPOXMLDOC01-appb-M000002
 ここで、aFD1は、第1の撮像素子S1の撮像面で第1の被写体像がベストピントとなる場合の第1の光学系OS1の前側主点から被写体100までの距離であり、aFD2は、第2の撮像素子S2の撮像面で第2の被写体像がベストピントとなる場合の第2の光学系OS2の前側主点から被写体100までの距離である。
 上記式(1)中において、f、f、EP、EP、DおよびKは、第1の撮像系IS1および第2の撮像系IS2の構成および配置により決定される固定値なので、サイズ取得部3によって取得された第1の被写体像のサイズと第2の被写体像のサイズの比から得られる第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRに基づいて、被写体100から第1の光学系OS1の前側主点までの距離を算出することができる。
 像倍比MRに基づいて被写体100までの距離を算出するための上記式(1)の導出については、本発明者らによって既に出願されている上述の特許文献2(特願2017-241896号)に詳述されているので、説明を省略する。
 代替的に、関連付情報記憶部4に保存されている関連付情報は、像倍比MRと被写体100までの距離とを一意に対応づけたルックアップテーブルであってもよい。関連付情報記憶部4に保存されているこのような関連付情報を参照することにより、像倍比MRに基づいて被写体100までの距離を算出することが可能となる。なお、関連付情報が被写体100までの距離を算出するための前述の式である場合には、関連付情報に加え、制御部2のメモリー内に保存されているパラメーターも参照され、被写体100までの距離が算出される。
 距離算出部5は、サイズ取得部3によって取得された第1の被写体像のサイズと第2の被写体像のサイズとの比として得られる第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRに基づいて、被写体100までの距離を算出する機能を有している。具体的には、距離算出部5は、サイズ取得部3によって取得された第1の被写体像のサイズおよび第2の被写体像のサイズの比を、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出する。その後、距離算出部5は、関連付情報記憶部4に保存されている関連付情報を参照し(関連付情報が被写体100までの距離を算出するための前述の式である場合には、制御部2のメモリー内に保存されているパラメーターも参照される)、像倍比MRに基づいて、被写体100までの距離を算出(特定)する。
 3次元画像生成部6は、距離算出部5によって算出された被写体100までの距離および第1の撮像系IS1または第2の撮像系IS2が取得した被写体100のカラーまたは白黒の輝度情報(第1の画像または第2の画像)に基づいて、被写体100の3次元画像を生成する機能を有している。ここで言う「被写体100の3次元画像」とは、通常の被写体100のカラーまたは白黒の輝度情報を表す2次元画像の各ピクセルに対して、算出された被写体100までの距離が関連付けられているデータを意味する。なお、第1の撮像系IS1の第1の撮像素子S1および第2の撮像系IS2の第2の撮像素子S2が、被写体100の位相情報を取得する位相センサーである場合には、3次元画像生成部6は省略される。
 表示部7は、液晶表示部等のパネル型表示部であり、制御部2のプロセッサーからの信号に応じて、第1の撮像系IS1または第2の撮像系IS2によって取得された被写体100のカラーまたは白黒の輝度情報または被写体100の位相情報(第1の画像または第2の画像)、距離算出部5によって算出された被写体100までの距離、3次元画像生成部6によって生成された被写体100の3次元画像、測距カメラ1を操作するための情報等が文字または画像の形態で表示部7に表示される。
 操作部8は、測距カメラ1の使用者が操作を実行するために用いられる。操作部8は、測距カメラ1の使用者が操作を実行することができれば特に限定されず、例えば、マウス、キーボード、テンキー、ボタン、ダイヤル、レバー、タッチパネル等を操作部8として用いることができる。操作部8は、測距カメラ1の使用者による操作に応じた信号を制御部2のプロセッサーに送信する。
 通信部9は、測距カメラ1に対するデータの入力または測距カメラ1から外部デバイスへのデータの出力を行う機能を有している。通信部9は、インターネットのようなネットワークに接続可能に構成されていてもよい。この場合、測距カメラ1は、通信部9を用いることにより、外部に設けられたウェブサーバーやデータサーバーのような外部デバイスと通信を行うことができる。
 このように、本発明の測距カメラ1では、第1の撮像系IS1および第2の撮像系IS2が、被写体100までの距離に対する第1の被写体像の倍率mの変化と、被写体100までの距離に対する第2の被写体像の倍率mの変化とが、互いに異なるように構成および配置されている。そのため、本発明の測距カメラ1は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に基づいて、被写体100までの距離を一意に算出することができる。
 また、本実施形態の測距カメラ1では、サイズ取得部3によって実行される対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線が利用されている。そのため、対応特徴点検出処理に必要な処理時間を大幅に短縮することができ、被写体100までの距離を算出するために必要な処理時間を大幅に短縮することができる。
 さらに、本実施形態の測距カメラ1では、サイズ取得部3によって実行される対応特徴点検出処理において、エピポーラ線上の探索が実行される第2の画像中の領域が、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る第2の画像の探索領域に限定される。したがって、本発明の測距カメラ1においては、第2の画像の全領域においてエピポーラ線上の探索が実行される場合と比較して、探索すべき第2の画像の領域が限定されているので、対応特徴点検出処理に要する時間を短縮することができる。その結果、第1の被写体像の倍率mと第2の被写体像の倍率mの像倍比MRに基づいて被写体100までの距離を算出するための処理時間をさらに短縮することができる。
 (測距方法)
 次に、図7および図8を参照して、上述の測距カメラ1によって実行される測距方法を詳述する。図7は、本発明の第1実施形態に係る測距カメラによって実行される測距方法を説明するためのフローチャートである。図8は、図7の測距方法における対応特徴点検出処理の詳細を示すフローチャートである。
 なお、以下に詳述する測距方法は、上述の測距カメラ1および測距カメラ1と同等の機能を有する任意の装置を用いて実行することができるが、第1実施形態に係る測距カメラ1を用いて実行されるものとして説明する。
 図7に示す測距方法S100は、測距カメラ1の使用者が操作部8を用いて、被写体100までの距離を測定するための操作を実行することにより開始される。工程S110において、第1の撮像系IS1の第1の撮像素子S1によって、第1の光学系OS1によって形成された第1の被写体像が撮像され、第1の被写体像を含む第1の画像が取得される。第1の画像は、データバス10を介して、制御部2およびサイズ取得部3に送られる。同様に、工程S120において、第2の撮像系IS2の第2の撮像素子S2によって、第2の光学系OS2によって形成された第2の被写体像が撮像され、第2の被写体像を含む第2の画像が取得される。第2の画像は、データバス10を介して、制御部2およびサイズ取得部3に送られる。S110における第1の画像の取得と、S120における第2の画像の取得は、同時に実行されてもよいし、別々に実行されてもよい。
 工程S110における第1の画像の取得および工程S120における第2の画像の取得の後、測距方法S100は、工程S130に移行する。工程S130において、サイズ取得部3は、第1の画像中の第1の被写体像の任意の複数の特徴点を検出する。工程S130においてサイズ取得部3によって検出される第1の被写体像の任意の複数の特徴点は、例えば、第1の被写体像の高さ方向の両端部または第1の被写体像の幅方向の両端部である。サイズ取得部3によって検出された第1の被写体像の複数の特徴点のそれぞれの座標(x,y)は、制御部2のメモリー内に一時保存される。
 工程S140において、サイズ取得部3は、制御部2のメモリー内に一時保存されている第1の被写体像の複数の特徴点のそれぞれの座標(x,y)を参照し、検出された第1の被写体像の複数の特徴点間の距離を測定することにより、第1の被写体像のサイズを取得する。工程S140において取得された第1の被写体像のサイズは、制御部2のメモリー内に一時保存される。
 その後、工程S150において、サイズ取得部3は、工程S130において検出された第1の被写体像の複数の特徴点にそれぞれ対応する第2の画像中の第2の被写体像の複数の特徴点を検出するための対応特徴点検出処理を実行する。図8には、工程S150において実行される対応特徴点検出処理の詳細を示すフローチャートが示されている。
 工程S151において、サイズ取得部3は、制御部2のメモリー内に保存されている第1の被写体像の複数の特徴点のそれぞれの座標(x,y)を参照し、検出された第1の被写体像の複数の特徴点のいずれか1つを選択する。次に、工程S152において、サイズ取得部3は、第1の画像中の選択された第1の被写体像の特徴点を中心とする所定のサイズの領域(例えば、特徴点を中心とする5×5ピクセルの領域、7×7ピクセルの領域等)を切り出し、選択された特徴点用の探索ブロックを取得する。取得された探索ブロックは、制御部2のメモリー内に一時保存される。
 次に、工程S153において、サイズ取得部3は、制御部2のメモリー内に保存されているパラメーターを用いて、工程S151において選択された第1の被写体像の特徴点に対応する第2の画像中のエピポーラ線を導出する。工程S153における第2の画像中のエピポーラ線の導出は、エピポーラ幾何の分野において既知の任意の方法を用いて実行される。
 その後、工程S154において、サイズ取得部3は、第1の撮像系IS1および第2の撮像系IS2の特性および配置に基づいて、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る第2の画像の探索領域を特定する。具体的には、サイズ取得部3は、制御部2のメモリー内に保存されている第1の撮像系IS1および第2の撮像系IS2の視野、並びに、第1の撮像系IS1と第2の撮像系IS2との間の並進視差P、P、および奥行視差Dから、第2の画像の探索領域を特定する。
 その後、工程S155において、サイズ取得部3は、特定された第2の画像の探索領域において、制御部2のメモリー内に保存されている選択された第1の被写体像の特徴点用の探索ブロックと、導出されたエピポーラ線上の画素を中心とし、探索ブロックと同じサイズを有するエピポーラ線周辺領域との間のコンボリューション演算(畳み込み積分)を実行し、探索ブロックとエピポーラ線周辺領域との間の相関値を算出する。算出された相関値は、制御部2のメモリー内に一時保存される。この相関値の算出は、ブロックマッチングとも称され、第2の画像の探索領域中の導出されたエピポーラ線に沿って実行される。
 第2の画像の探索領域におけるエピポーラ線に沿った相関値の算出が終了すると、工程S150の処理は、工程S156に移行する。工程S156において、サイズ取得部3は、第2の画像の探索領域において相関値が最も高かったエピポーラ線周辺領域の中心画素(すなわち、エピポーラ線上の画素)を、選択された第1の被写体像の特徴点に対応する第2の画像中の第2の被写体像の特徴点として検出する。算出された第2の被写体像の特徴点の座標(x,y)は、制御部2のメモリー内に一時保存される。
 その後、工程S157において、工程S130において検出された第1の被写体像の複数の特徴点の全てが、工程S151において選択済みか否かが判別される。工程S130において検出された第1の被写体像の複数の特徴点の全てが、工程S151において選択済みではない場合(工程S157=No)、工程S150の処理は、工程S151に戻る。工程S151において、第1の被写体像の複数の特徴点のうち、未選択の1つが新たに選択され、選択された第1の被写体像の特徴点が変更される。工程S151~工程S157の処理は、検出された第1の被写体像の特徴点の全てに対応する第2の画像中の第2の被写体像の特徴点が検出されるまで、選択された第1の被写体像の特徴点を変更して、繰り返し実行される。
 工程S130において検出された第1の被写体像の複数の特徴点の全てが、工程S151において選択済みである場合(工程S157=Yes)、工程S150の処理は終了する。工程S150の処理が終了すると、測距方法S100は、工程S160に移行する。
 図7に戻り、工程S160において、サイズ取得部3は、検出された第2の被写体像の複数の特徴点間の距離を測定することにより、第2の被写体像のサイズを取得する。工程S160において取得された第2の被写体像のサイズは、制御部2のメモリー内に一時保存される。
 サイズ取得部3によって第1の被写体像のサイズおよび第2の被写体像のサイズが取得されると、測距方法S100は、工程S170に移行する。工程S170において、距離算出部5は、制御部2のメモリー内に一時保存されている第1の被写体像のサイズおよび第2の被写体像のサイズの比から、第1の被写体像の倍率mと第2の被写体像の倍率mとの比である像倍比MRを算出する。次に、工程S180において、距離算出部5は、関連付情報記憶部4に保存されている関連付情報を参照し、算出した像倍比MRに基づいて、被写体100までの距離を算出する。なお、関連付情報が被写体100までの距離を算出するための上記式(1)である場合には、距離算出部5は、関連付情報に加え、制御部2のメモリー内に保存されているパラメーターも参照し、被写体100までの距離を算出する。
 工程S180において、距離算出部5が、被写体100までの距離を算出すると、測距方法S100は、工程S190に移行する。工程S190において、3次元画像生成部6が、距離算出部5によって算出された被写体100までの距離および第1の撮像系IS1または第2の撮像系IS2が取得した被写体100のカラーまたは白黒の輝度情報(第1の画像または第2の画像)に基づいて、被写体100の3次元画像を生成する。なお、第1の撮像系IS1の第1の撮像素子S1および第2の撮像系IS2の第2の撮像素子S2が、被写体100の位相情報を取得する位相センサーである場合には、工程S190は省略される。
 その後、ここまでの工程において取得された被写体100のカラー若しくは白黒の輝度情報または位相情報(第1の画像および/または第2の画像)、被写体100までの距離、および/または被写体100の3次元画像が、表示部7に表示され、または通信部9によって外部デバイスに送信され、測距方法S100は終了する。
 <第2実施形態>
 次に、図9~図14を参照して、本発明の第2実施形態に係る測距カメラを詳述する。図9は、本発明の第2実施形態にかかる測距カメラの第1の撮像系と第2の撮像系の配置の1例と、被写体までの距離に応じた、第1の画像中の特徴点に対応する第2の画像中の特徴点の位置の変化を説明するための図である。図10は、図9に示す第1の撮像系と第2の撮像系の配置の例において、第1の画像に対応する第1の撮影領域の左側領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。図11は、図9に示す第1の撮像系と第2の撮像系の配置の例において、被写体までの距離に応じた、第1の画像中の特徴点に対応する第2の画像中の特徴点の位置の変化を説明するための別の図である。図12は、図9に示す第1の撮像系と第2の撮像系の配置の例において、第1の画像に対応する第1の撮影領域の右側領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。図13は、第1の撮像系と第2の撮像系の配置の別の例において、第1の画像に対応する第1の撮影領域の左側領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。図14は、第1の撮像系と第2の撮像系の配置の別の例において、第1の画像に対応する第1の撮影領域の右側領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲を説明するための図である。
 以下、第2実施形態の測距カメラ1について、第1実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1は、対応特徴点検出処理において、サイズ取得部3が、第1の画像中の第1の被写体の複数の特徴点のそれぞれの位置を特定し、第2の画像中の探索領域を限定するよう構成されている点を除き、第1実施形態の測距カメラ1と同様である。
 本実施形態においては、サイズ取得部3は、第1の被写体像の複数の特徴点のそれぞれの第1の画像中の位置を特定し、さらに、第1の被写体像の複数の特徴点にそれぞれ対応する第2の画像中の第2の被写体像の複数の特徴点を検出する際に、第1の被写体像の複数の特徴点のそれぞれの第1の画像中の位置に基づいて、第2の画像の探索領域を限定するよう構成されている。
 以下、本実施形態における第2の画像の探索領域の限定について詳述する。図9の上側に示す第1の撮像系IS1と第2の撮像系IS2の配置の1例では、第1の撮像系IS1から第2の撮像系IS2までの図中のx軸方向の並進視差Pが正の値となっている(P>0)。換言すれば、図9に示す例において、第2の撮像系IS2は、第1の撮像系IS1よりも右側に位置している。
 図9および図10を参照して、第1の画像中の特徴点が、第1の画像の左側領域に存在するケースを考える。図9および図10を参照して説明するケースでは、第1の画像は、x軸方向の中央を境界とし、左側領域および右側領域に分けられるものとする。
 図3を参照して説明した第1実施形態と同様に、図9中の(a)~(c)に示されているように、第1の画像中において左端に存在する特徴点に対応する第2の画像中の特徴点は、第1の撮像系IS1から被写体100までの距離に応じて、x軸方向において、図9中の(a)に示されている位置から、図9中の(c)に示されている位置までシフトする。
 一方、第1の画像中においてx軸方向の中心に存在する特徴点は、被写体100が第1の撮像系IS1から測距開始距離と等しい距離だけ離れて位置している場合(被写体距離=測距開始距離)、図9中の(d)に示されているように、第1の画像中のx軸方向の中心に存在する特徴点に対応する第2の画像中の特徴点(図9中の(d)の四角点)は、第2の画像の左端から右側にシフトした位置に存在する。
 被写体100が第1の撮像系IS1から測距開始距離より離れた任意の距離に位置している場合(被写体距離=任意の距離)、図9中の(e)に示されているように、第1の画像中のx軸方向の中心に存在する特徴点に対応する第2の画像中の特徴点(図9中の(e)の四角点)は、図9中の(d)に示されている位置から、右側にさらにシフトした位置に存在する。
 さらに、被写体100が無限遠に位置している場合(被写体距離=無限遠)、図9中の(f)に示されているように、第1の画像中のx軸方向の中心に存在する特徴点に対応する第2の画像中の特徴点(図9中の(f)の四角点)は、図9中の(e)に示されている位置から、右側にさらにシフトした位置に存在する。
 このように、第1の画像中においてx軸方向の中心に存在する特徴点に対応する第2の画像中の特徴点は、第1の撮像系IS1から被写体100までの距離に応じて、x軸方向において、図9中の(d)に示されている位置から、図9中の(f)に示されている位置までシフトする。
 第1の画像中の任意の特徴点が第1の画像の左側領域に存在する場合、第1の画像中の任意の特徴点は、x軸方向において、第1の画像の左端からx軸方向の中心までの間の任意の位置に存在するのだから、第1の画像の左側領域中の任意の特徴点に対応する第2の画像中の特徴点の第2の画像中における位置は、図9中の(a)に示す位置と図9中の(f)に示す位置との間に限定されることになる。
 したがって、第1の画像中の任意の特徴点が第1の画像の左側領域に存在する場合、第1の画像の左側領域中の任意の特徴点に対応する第2の画像中の特徴点が位置し得る領域、すなわち、第1の画像に対応する第1の撮影領域の左側領域と第2の画像に対応する第2の撮影領域とが重複し得る領域は、第2の画像の全領域ではなく、第2の画像中の限定された領域となる。
 図10には、図9に示す第1の撮像系IS1と第2の撮像系IS2の配置の1例において、第1の画像に対応する第1の撮影領域の左側領域と第2の画像に対応する第2の撮影領域とが重複し得る領域が示されている。
 x軸方向において、第1の画像に対応する第1の撮影領域の左側領域と第2の画像に対応する第2の撮影領域とが重複し得る領域は、図9中の(a)に示す被写体100までの距離が測距開始距離のときの第1の画像の左端の特徴点に対応する第2の画像中の特徴点の位置と、図9中の(f)に示す被写体100までの距離が無限遠のときの第1の画像中のx軸方向の中央に存在する特徴点に対応する第2の画像中の特徴点の位置との間の領域である。
 第1の撮像系IS1から被写体100までの距離が測距開始距離から無限遠の範囲にある場合、第1の画像の左側領域に存在する特徴点は、必ず、図10に示すような、第1の画像に対応する第1の撮影領域の左側領域と第2の画像に対応する第2の撮影領域とが重複し得る領域内に存在することになる。
 次に、図11および図12を参照して、第1の画像中の特徴点が、第1の画像の右側領域に存在するケースを考える。図3を参照して説明した第1実施形態と同様に、図11中の(a)~(c)に示されているように、第1の画像中において右端に存在する特徴点に対応する第2の画像中の特徴点は、第1の撮像系IS1から被写体100までの距離に応じて、x軸方向において、図11中の(a)に示されている位置から、図11中の(c)に示されている位置までシフトする。
 一方、第1の画像中においてx軸方向の中心に存在する特徴点は、被写体100が第1の撮像系IS1から測距開始距離と等しい距離だけ離れて位置している場合(被写体距離=測距開始距離)、図11中の(d)に示されているように、第1の画像中のx軸方向の中心に存在する特徴点に対応する第2の画像中の特徴点(図11中の(d)の四角点)は、第2の画像の左端から右側にシフトした位置に存在する。
 被写体100が第1の撮像系IS1から測距開始距離より離れた任意の距離に位置している場合(被写体距離=任意の距離)、図11中の(e)に示されているように、第1の画像中のx軸方向の中心に存在する特徴点に対応する第2の画像中の特徴点(図11中の(e)の四角点)は、図11中の(d)に示されている位置から、右側にさらにシフトした位置に存在する。
 さらに、被写体100が無限遠に位置している場合(被写体距離=無限遠)、図11中の(f)に示されているように、第1の画像中のx軸方向の中心に存在する特徴点に対応する第2の画像中の特徴点(図11中の(f)の四角点)は、図11中の(e)に示されている位置から、右側にさらにシフトした位置に存在する。
 このように、第1の画像中においてx軸方向の中心に存在する特徴点に対応する第2の画像中の特徴点は、第1の撮像系IS1から被写体100までの距離に応じて、x軸方向において、図11中の(d)に示されている左端から、図11中の(f)に示されている位置までシフトする。
 第1の画像中の任意の特徴点が第1の画像の右側領域に存在する場合は、第1の画像中の任意の特徴点は、x軸方向において、第1の画像の右端からx軸方向の中心の間の任意の位置に存在するのだから、第1の画像中の任意の特徴点に対応する第2の画像中の特徴点の第2の画像中における位置は、図11中の(c)に示す位置と図11中の(d)に示す位置との間に限定されることになる。
 図12には、図11に示す第1の撮像系IS1と第2の撮像系IS2の配置の1例において、第1の画像に対応する第1の撮影領域の右側領域と第2の画像に対応する第2の撮影領域とが重複し得る領域が示されている。
 x軸方向において、第1の画像に対応する第1の撮影領域の右側領域と第2の画像に対応する第2の撮影領域とが重複し得る領域は、図11中の(d)に示す被写体100までの距離が測距開始距離のときの第1の画像の右端の特徴点に対応する第2の画像中の特徴点の位置と、図11中の(c)に示す被写体100までの距離が無限遠であるのときの第1の画像中のx軸方向の中央に存在する特徴点に対応する第2の画像中の特徴点の位置との間の領域である。
 第1の撮像系IS1から被写体100までの距離が測距開始距離から無限遠の範囲にある場合、第1の画像の右側領域に存在する特徴点は、必ず、図12に示すような、第1の画像に対応する第1の撮影領域の右側領域と第2の画像に対応する第2の撮影領域とが重複し得る領域内に存在することになる。
 このような考え方は、図5に示すような第2の撮像系IS2が第1の撮像系IS1の左側に位置するような場合(P<0)であっても適用可能である。図13には、第2の撮像系IS2が第1の撮像系IS1の左側に位置するケースにおいて、第1の画像に対応する第1の撮影領域の左側領域と第2の画像に対応する第2の撮影領域とが重複し得る領域を示している。図14は、第2の撮像系IS2が第1の撮像系IS1の左側に位置するケースにおいて、第1の画像に対応する第1の撮影領域の右側領域と第2の画像に対応する第2の撮影領域とが重複し得る領域を示している。
 図13および図14から明らかなように、第2の撮像系IS2が第1の撮像系IS1よりも左側に位置するケース(P<0)において、図13に示されている第1の画像に対応する第1の撮影領域の左側領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲と、図14に示されている第1の画像に対応する第1の撮影領域の右側領域と第2の画像に対応する第2の撮影領域とが重複し得る範囲は異なったものとなる。
 サイズ取得部3は、上で説明した原理を利用し、第1の撮像系IS1および第2の撮像系IS2の配置(すなわち、第2の撮像系IS2が、第1の撮像系IS1の右側に位置するか、左側に位置するかの情報)、および、検出された第1の被写体像の特徴点が、第1の画像の左側領域に存在するか、右側領域に存在するかの情報に基づいて、第2の画像の探索領域を限定することができる。
 本実施形態では、サイズ取得部3は、上述の測距方法S100の工程S130において、第1の画像に含まれる第1の被写体像の複数の特徴点を検出した際に、検出された第1の被写体像の複数の特徴点のそれぞれが、第1の画像の左側領域に存在するか、右側領域に存在するかを特定するよう構成されている。さらに、サイズ取得部3は、上述の測距方法S100の工程S154において、第2の画像の探索領域の特定の際に、第1の撮像系IS1および第2の撮像系IS2の配置(すなわち、第2の撮像系IS2が第1の撮像系IS1の右側に位置するか、左側に位置するかの情報)、および、検出された第1の被写体像の特徴点が、第1の画像の左側領域に存在するか、右側領域に存在するかの情報に基づいて、図9~図14を参照して説明した原理に基づき、第2の画像の探索領域を限定するよう構成されている。
 したがって、本発明の測距カメラ1においては、第1実施形態の測距カメラ1と比較して、対応特徴点検出処理において探索すべき第2の画像の探索領域が限定されているので、対応特徴点検出処理に要する時間をさらに短縮することができる。その結果、第1の被写体像の倍率mと第2の被写体像の倍率mの像倍比MRに基づいて被写体100までの距離を算出するための処理時間をさらに短縮することができる。
 以上、本発明の測距カメラを図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。本発明の各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の各構成に任意の構成のものを付加することができる。
 本発明の属する分野および技術における当業者であれば、本発明の原理、考え方、および範囲から有意に逸脱することなく、記述された本発明の測距カメラの構成の変更を実行可能であろうし、変更された構成を有する測距カメラもまた、本発明の範囲内である。
 また、図1に示された測距カメラのコンポーネントの数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意のコンポーネントが追加若しくは組み合わされ、または任意のコンポーネントが削除された態様も、本発明の範囲内である。また、測距カメラの各コンポーネントは、ハードウェア的に実現されていてもよいし、ソフトウェア的に実現されていてもよいし、これらの組み合わせによって実現されていてもよい。
 また、図7および図8に示された測距方法S100の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合され、または、任意の工程が削除される態様も、本発明の範囲内である。
 また、図9~図14を参照して説明した第2実施形態では、サイズ取得部3は、第1の画像中の第1の被写体像の複数の特徴点のそれぞれが第1の画像の左側領域に位置しているか、第1の画像の右側領域に位置しているかを特定し、さらに、第1の被写体像の複数の特徴点にそれぞれ対応する第2の被写体像の複数の特徴点を検出する際に、第1の被写体像の複数の特徴点のそれぞれが第1の画像の左側領域に位置しているか、第1の画像の右側領域に位置しているかに応じて、第2の画像の探索領域を限定しているが、サイズ取得部3による第1の画像中の第1の被写体像の特徴点の位置に基づく第2の画像の探索領域の限定は、これに限られない。
 例えば、第1の画像をx軸方向に沿った3つの領域、すなわち、左側領域、中央領域、および右側領域に分けて考え、サイズ取得部3が、第1の画像中の第1の被写体像の複数の特徴点のそれぞれが第1の画像の左側領域、中央領域、および右側領域のいずれに存在するかを特定し、特定結果に基づいて第2の画像の探索領域を限定するよう構成されていてもよい。
 サイズ取得部3が実行する対応特徴点検出処理における第1の画像の領域の分け方(例えば、第2実施形態のような左側領域および右側領域のような分け方)は、任意に設定することができる。本分野における当業者であれば、第1の画像および第2の画像の画素数や第1の撮像系IS1および第2の撮像系IS2の特性および配置に応じて、対応特徴点検出処理における第1の画像の領域の分け方を適切に設定することができるであろうし、そのような態様もまた、本発明の範囲内である。
 本発明の測距カメラにおいては、第1の撮像系によって取得された第1の画像中の第1の被写体像の複数の特徴点にそれぞれ対応する第2の撮像系によって取得された第2の画像中の第2の被写体像の複数の特徴点を検出するための対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線を利用した特徴点の探索が実行される。そのため、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間を短縮することができる。さらに、本発明の測距カメラにおいては、対応特徴点検出処理において、第1の画像に対応する第1の撮影領域と第2の画像に対応する第2の撮影領域とが重複し得る第2の画像中の探索領域においてのみ、エピポーラ線上の探索が実行される。そのため、本発明の測距カメラにおいては、第2の画像の領域全てにおいて、エピポーラ線上の探索が実行される場合と比較して、第2の画像中の探索領域が限定されている。このような処理により、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間をさらに短縮することができる。したがって、本発明は、産業上の利用可能性を有する。

Claims (6)

  1.  被写体からの光を集光し、第1の被写体像を形成するための第1の光学系と、前記第1の被写体像を撮像することにより、前記第1の被写体像を含む第1の画像を取得するための第1の撮像素子とを有する第1の撮像系と、
     前記第1の光学系に対して、前記第1の光学系の光軸方向に対して垂直な方向にシフトして配置され、前記被写体からの前記光を集光し、第2の被写体像を形成するための第2の光学系と、前記第2の被写体像を撮像することにより、前記第2の被写体像を含む第2の画像を取得するための第2の撮像素子とを有する第2の撮像系と、
     前記第1の画像中の前記第1の被写体像の複数の特徴点を検出し、前記第1の被写体像の前記複数の特徴点間の距離を測定することにより、前記第1の被写体像のサイズを取得し、さらに、前記第1の被写体像の前記複数の特徴点にそれぞれ対応する前記第2の画像中の前記第2の被写体像の複数の特徴点を検出し、前記第2の被写体像の前記複数の特徴点間の距離を測定することにより、前記第2の被写体像のサイズを取得するためのサイズ取得部と、
     前記サイズ取得部によって取得された前記第1の被写体像の前記サイズと前記第2の被写体像の前記サイズとの比として得られる前記第1の被写体像の倍率と前記第2の被写体像の倍率との像倍比に基づいて、前記被写体までの距離を算出するための距離算出部と、を備え、
     前記サイズ取得部は、前記第1の画像に対応する第1の撮影領域と前記第2の画像に対応する第2の撮影領域とが重複し得る前記第2の画像の探索領域中においてのみ、前記第1の被写体像の前記複数の特徴点にそれぞれ対応する複数のエピポーラ線上を探索することにより、前記第2の画像中の前記第2の被写体像の前記複数の特徴点を検出することを特徴とする測距カメラ。
  2.  前記第1の撮像系および前記第2の撮像系は、前記第1の撮像系および前記第2の撮像系の配置および特性から定まる測距開始距離と等しいまたはそれより離れた距離に位置する前記被写体を撮影したとき、前記第1の画像に対応する前記第1の撮影領域の全てが前記第2の画像に対応する前記第2の撮影領域内に収まるよう、構成されている請求項1に記載の測距カメラ。
  3.  前記第1の光学系の焦点距離は、前記第2の光学系の焦点距離より長い請求項2に記載の測距カメラ。
  4.  前記サイズ取得部は、前記第1の撮像系および前記第2の撮像系の前記配置および前記特性に基づいて、前記第1の画像に対応する前記第1の撮影領域と前記第2の画像に対応する前記第2の撮影領域とが重複し得る前記第2の画像の前記探索領域を特定するよう構成されている請求項2または3に記載の測距カメラ。
  5.  前記サイズ取得部は、前記第1の被写体像の前記複数の特徴点のそれぞれの前記第1の画像中の位置を特定し、さらに、前記第1の被写体像の前記複数の特徴点にそれぞれ対応する前記第2の画像中の前記第2の被写体像の前記複数の特徴点を検出する際に、前記第1の被写体像の前記複数の特徴点のそれぞれの前記第1の画像中の前記位置に基づいて、前記第2の画像の前記探索領域を限定するよう構成されている請求項1ないし4のいずれかに記載の測距カメラ。
  6.  前記サイズ取得部は、前記第1の被写体像の前記複数の特徴点のそれぞれが前記第1の画像の中央より左側領域に位置しているか、前記第1の画像の前記中央より右側領域に位置しているかを特定し、さらに、前記第1の被写体像の前記複数の特徴点にそれぞれ対応する前記第2の画像中の前記第2の被写体像の前記複数の特徴点を検出する際に、前記第1の被写体像の前記複数の特徴点のそれぞれが前記第1の画像の前記左側領域に位置しているか、前記第1の画像の前記右側領域に位置しているかに基づいて、前記第2の画像の前記探索領域を限定するよう構成されている請求項5に記載の測距カメラ。
PCT/JP2019/039471 2018-11-01 2019-10-07 測距カメラ WO2020090358A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980052688.9A CN112585423B (zh) 2018-11-01 2019-10-07 测距摄像机
US17/269,521 US11385053B2 (en) 2018-11-01 2019-10-07 Distance measuring camera
EP19878225.2A EP3875900A4 (en) 2018-11-01 2019-10-07 DISTANCE MEASURING CAMERA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-206290 2018-11-01
JP2018206290A JP7132501B2 (ja) 2018-11-01 2018-11-01 測距カメラ

Publications (1)

Publication Number Publication Date
WO2020090358A1 true WO2020090358A1 (ja) 2020-05-07

Family

ID=70464061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039471 WO2020090358A1 (ja) 2018-11-01 2019-10-07 測距カメラ

Country Status (5)

Country Link
US (1) US11385053B2 (ja)
EP (1) EP3875900A4 (ja)
JP (1) JP7132501B2 (ja)
CN (1) CN112585423B (ja)
WO (1) WO2020090358A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7121269B2 (ja) * 2018-07-06 2022-08-18 ミツミ電機株式会社 測距カメラ
US11379683B2 (en) * 2019-02-28 2022-07-05 Stats Llc System and method for generating trackable video frames from broadcast video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231373A (ja) * 1996-02-26 1997-09-05 Nec Corp 三次元位置計測装置
WO2011096251A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 ステレオカメラ
JP2012026841A (ja) 2010-07-22 2012-02-09 Panasonic Corp ステレオ測距装置及びステレオ測距方法
JP2012209895A (ja) * 2011-03-30 2012-10-25 Fujitsu Ltd ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3906615B2 (ja) * 1999-10-29 2007-04-18 株式会社明電舎 回帰的対応点探索方法、これを利用した三次元位置計測方法、これらの装置、並びに、記録媒体
JP2001141422A (ja) * 1999-11-10 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
US7853038B2 (en) * 2007-01-04 2010-12-14 Industrial Technology Research Institute Systems and methods for object dimension estimation
JP4886716B2 (ja) * 2008-02-26 2012-02-29 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2009231373A (ja) * 2008-03-19 2009-10-08 Toshiba Corp 不揮発性半導体記憶装置
JP2012002683A (ja) * 2010-06-17 2012-01-05 Fuji Electric Co Ltd ステレオ画像処理方法およびステレオ画像処理装置
CN102959942B (zh) * 2010-06-28 2016-04-20 富士胶片株式会社 立体观看用图像拍摄装置及其控制方法
JP2012160864A (ja) * 2011-01-31 2012-08-23 Sanyo Electric Co Ltd 撮像装置
CN103514625A (zh) * 2012-06-20 2014-01-15 上海路同信息科技有限公司 基于多视角自适应特征配准的三维重建方法
JP7104294B2 (ja) 2017-12-18 2022-07-21 ミツミ電機株式会社 測距カメラ
WO2020017377A1 (ja) * 2018-07-18 2020-01-23 ミツミ電機株式会社 測距カメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231373A (ja) * 1996-02-26 1997-09-05 Nec Corp 三次元位置計測装置
WO2011096251A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 ステレオカメラ
JP2012026841A (ja) 2010-07-22 2012-02-09 Panasonic Corp ステレオ測距装置及びステレオ測距方法
JP2012209895A (ja) * 2011-03-30 2012-10-25 Fujitsu Ltd ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3875900A4

Also Published As

Publication number Publication date
US11385053B2 (en) 2022-07-12
JP2020071160A (ja) 2020-05-07
CN112585423A (zh) 2021-03-30
JP7132501B2 (ja) 2022-09-07
US20210262793A1 (en) 2021-08-26
EP3875900A1 (en) 2021-09-08
CN112585423B (zh) 2023-06-06
EP3875900A4 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
JP5762211B2 (ja) 画像処理装置および画像処理方法、プログラム
CN111492201B (zh) 测距摄像机
JP2012058076A (ja) 3次元計測装置及び3次元計測方法
JP2011191568A (ja) 撮像装置、表示方法、および、プログラム
JP2019032295A (ja) 測距カメラ
WO2020090358A1 (ja) 測距カメラ
JP7288226B2 (ja) 測距カメラ
JP7121269B2 (ja) 測距カメラ
WO2019181622A1 (ja) 測距カメラ
WO2020017377A1 (ja) 測距カメラ
JP2013178684A (ja) 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
JP2013044597A (ja) 画像処理装置および方法、プログラム
JP6789899B2 (ja) 計測装置および計測装置の作動方法
JP2019022147A (ja) 光源方向推定装置
CN112424566B (zh) 测距摄像机
JP7256368B2 (ja) 測距カメラ
JP2017028606A (ja) 撮像装置
JP7328589B2 (ja) 測距カメラ
JP6292785B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2016136114A (ja) 画像計測装置
JP2014165799A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19878225

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019878225

Country of ref document: EP

Effective date: 20210601