WO2012176556A1 - 対応点探索装置、および距離測定装置 - Google Patents

対応点探索装置、および距離測定装置 Download PDF

Info

Publication number
WO2012176556A1
WO2012176556A1 PCT/JP2012/061952 JP2012061952W WO2012176556A1 WO 2012176556 A1 WO2012176556 A1 WO 2012176556A1 JP 2012061952 W JP2012061952 W JP 2012061952W WO 2012176556 A1 WO2012176556 A1 WO 2012176556A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
search
evaluation value
corresponding point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/061952
Other languages
English (en)
French (fr)
Inventor
藤原　浩次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2013521500A priority Critical patent/JP5776771B2/ja
Priority to US14/127,373 priority patent/US9279677B2/en
Publication of WO2012176556A1 publication Critical patent/WO2012176556A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention relates to a technique for searching for corresponding points between two or more images, and a technique for measuring a distance from an imaging device to a subject.
  • a technique for searching for corresponding points between two images of a reference image and a reference image obtained by imaging the same object (subject) from two different viewpoints with two imaging devices is known.
  • a parallax with respect to the same object is obtained based on a correlation degree by performing a correlation calculation by an SAD (Sum Absolute Difference) calculation method or the like.
  • a plurality of images having different resolutions are generated to have a hierarchical structure for each resolution, and the correlation operation is sequentially repeated from the lower resolution upper layer to the higher resolution lower layer. Processing is known. In this process, since the search area in the next layer is set based on the parallax obtained in the upper layer with the low resolution, the time required for the arithmetic processing up to the lowest layer with the highest resolution can be shortened.
  • the approximate parallax is calculated by the SAD calculation method, and the resolution layer and the search region where the calculation process using the POC calculation method is started based on the approximate parallax
  • a technique for performing the setting is proposed (for example, Patent Document 1). With this technique, the corresponding point search process can be performed with high accuracy and high speed.
  • the present invention has been made in view of the above problems, and can provide a technique capable of searching for a corresponding point between a plurality of images with high accuracy and high speed, and a distance from an imaging device to a subject with high accuracy and high speed. It aims at providing the technique which can be calculated.
  • the corresponding point search device is in a focused state in which a movable unit including at least one of the optical system and the imaging unit moves to focus on the subject.
  • a first image obtained by imaging the subject by the first imaging device, a second image obtained by imaging the subject by a second imaging device from a different viewpoint from the first imaging device, and the first imaging device A reference point in the one image with respect to one of the first image and the second image and the other image of the information acquisition unit that acquires the position information of the movable part when the is in the focused state
  • a search range determining unit for determining, based on the position information, a search range in which the corresponding point is searched for by the search unit in the other image.
  • the corresponding point search device according to the second aspect is the corresponding point search device according to the first aspect, and further includes the first imaging device and the second imaging device.
  • the corresponding point search device is the corresponding point search device according to the first or second aspect, and is obtained by the imaging unit when the first imaging device is in the focused state.
  • An evaluation value calculation unit that calculates an evaluation value at the time of focusing indicating the degree of focusing on the subject of the first imaging device for one or more image regions in the focused image using the data of the focused image; Further, the search range determination unit determines the search range based on the position information and the evaluation value at the time of focusing.
  • the corresponding point search device is the corresponding point search device according to the third aspect, wherein the evaluation value calculation unit is configured to sequentially display the movable units at a plurality of positions.
  • a plurality of evaluation values indicating the degree of focus on the subject of the first imaging device are respectively calculated using data of a plurality of images respectively obtained by the imaging unit, and the movable unit is based on the plurality of evaluation values Is further provided with an in-focus control unit that sets the first imaging device in the in-focus state.
  • the corresponding point search device is the corresponding point search device according to the third or fourth aspect, wherein the relationship between the evaluation value at the time of focusing and the information of the optical transfer function related to the optical system.
  • a function information specifying unit that specifies information of an optical transfer function corresponding to the evaluation value at the time of focusing calculated by the evaluation value calculating unit from the relation information indicating the image, and the search unit includes the one image
  • a search process for searching for the corresponding points based on a frequency component related to a reference area including the reference point and a frequency component related to a reference area of the other image, and in the search process, According to the information of the optical transfer function specified by the function information specifying unit, calculation is performed by weighting each frequency, and the search range includes the reference area in the other image.
  • the corresponding point search device is the corresponding point search device according to the fifth aspect, wherein the evaluation value calculation unit is included in the focused image using the data of the focused image. For each of the plurality of image areas, an evaluation value at the time of in-focus indicating the degree of focus on the subject of the first imaging device is calculated, and the function information specifying unit calculates the evaluation for each of the image areas from the relation information.
  • the optical transfer function information corresponding to each evaluation value at the time of focusing calculated by the value calculation unit is specified, and the search unit includes the reference point of the plurality of image regions and the reference point in the search process.
  • the weighting is performed for each frequency according to the information of the optical transfer function specified by the function information specifying unit for at least one image region having a predetermined positional relationship.
  • the corresponding point search device is the corresponding point search device according to the sixth aspect, wherein the predetermined positional relationship includes a positional relationship within a predetermined distance from the reference point, and the at least one One image region includes two or more image regions, and the search unit has the highest frequency among the information of the optical transfer function respectively specified by the function information specifying unit for the two or more image regions in the search process. Weighting is performed for each frequency in accordance with information on the optical transfer function that maintains a high contrast.
  • the corresponding point search device is the corresponding point search device according to the third aspect, and shows a relationship between the evaluation value at the time of focusing and information on the optical transfer function related to the optical system.
  • a function information specifying unit that specifies information of an optical transfer function corresponding to the evaluation value at the time of focusing calculated by the evaluation value calculating unit from information, and the search unit includes the one of the one images
  • the corresponding point is searched based on the frequency component related to the reference region including the reference point and the frequency component related to the reference region of the other image, and the search range is the reference of the other image.
  • the search range determination unit includes a region, and determines the sizes of the reference region and the reference region according to the information of the optical transfer function specified by the function information specifying unit.
  • the corresponding point search device is the corresponding point search device according to any one of the third to fifth aspects, wherein the evaluation value calculation unit uses the data of the focused image, For each of a plurality of image regions included in the focused image, an evaluation value at the time of focusing indicating the degree of focusing on the subject of the first imaging device is calculated, and the search range determination unit determines the search range as follows: Determined based on the evaluation value at the time of focusing calculated by the evaluation value calculation unit and the position information for at least one image area having a predetermined positional relationship with the reference point among the plurality of image areas. To do.
  • a corresponding point search device is the corresponding point search device according to the ninth aspect, wherein the predetermined positional relationship includes a positional relationship within a predetermined distance from the reference point, and the at least one One image region includes two or more image regions, and the search range determination unit calculates the evaluation value at the time of focusing and the position information respectively calculated by the evaluation value calculation unit for the two or more image regions. And obtaining two or more parallax candidates between the reference point in the one image and the corresponding point in the other image, and performing the search based on a minimum parallax candidate of the two or more parallax candidates. Determine the range.
  • the corresponding point search device is the corresponding point search device according to any one of the third to fifth aspects, wherein the evaluation value calculation unit uses the data of the focused image, For each of a plurality of image regions included in the focused image, an evaluation value at the time of focusing indicating the degree of focusing on the subject of the first imaging device is calculated, and the search range determination unit determines the search range as follows: The plurality of image regions are determined on the basis of a plurality of representative values calculated by the evaluation value calculation unit and the position information.
  • a distance measuring device is disposed within or outside the corresponding point searching device according to any one of the first to eleventh aspects, and the reference point in the one image Of the subject and the position of the corresponding point in the other image, and the parameters relating to the settings of the first and second imaging devices, from the first and second imaging devices, A distance calculation unit that calculates a distance to a portion captured by the reference point.
  • the search range of the corresponding point is determined based on the position information of the movable part at the time of focusing of the imaging device. Corresponding points can be searched with high accuracy and high speed.
  • the search range of the corresponding points is determined based on the degree of focusing of the imaging device and the position information of the movable part at the time of focusing. Can be As a result, corresponding points can be searched between a plurality of images with higher accuracy and higher speed.
  • the corresponding point search device even if an imaging device having a general-purpose autofocus adjustment function is used, corresponding points can be searched between a plurality of images with high accuracy and at high speed. Therefore, for example, the manufacturing cost of the corresponding point search device can be reduced and the size can be reduced.
  • the corresponding point search device According to the corresponding point search device according to the fifth aspect, it is possible to improve the corresponding point search accuracy by improving the S / N ratio and to speed up the corresponding point search by reducing the calculation amount.
  • the correspondence point search accuracy is improved by improving the S / N ratio and the calculation amount is reduced for each region where the reference point is located. Speeding up of the point search can be achieved.
  • the balance between the improvement of the S / N ratio and the reduction of the amount of information used for the calculation can be adjusted. That is, the improvement of the search accuracy of the corresponding points by improving the S / N ratio and the speeding up of the search of the corresponding points by reducing the calculation amount can be made more appropriate.
  • the corresponding point search device According to the corresponding point search device according to the eighth aspect, it is possible to maintain the corresponding point search accuracy by securing the information amount.
  • the search range can be determined more appropriately for each region where the reference point is located, not uniform. As a result, it is possible to appropriately maintain the search accuracy of the corresponding points by securing the information amount for each region.
  • the corresponding point search device According to the corresponding point search device according to the tenth aspect, it is difficult to set a search range greatly deviating from the corresponding point, so that the corresponding point search accuracy is stabilized.
  • corresponding points can be searched at high speed among a plurality of images by reducing the amount of calculation.
  • the corresponding point can be searched for between the plurality of images with high accuracy and at high speed.
  • the distance from the imaging device to the subject can be calculated with high accuracy and high speed.
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment and a modification.
  • FIG. 2 is a block diagram illustrating a functional configuration of the distance measuring device according to the embodiment.
  • FIG. 3 is a diagram illustrating an area in which an evaluation value is calculated in one image.
  • FIG. 4 is a graph illustrating the relationship between the spatial frequency and contrast according to MTF.
  • FIG. 5 is a diagram illustrating an example of how the reference points are set for the reference image.
  • FIG. 6 is a diagram illustrating an example of how the reference area is set for the reference image.
  • FIG. 7 is a diagram illustrating an example of how the reference area is set for the reference image.
  • FIG. 8 is a diagram illustrating a calculation flow in the corresponding point search processing according to the embodiment.
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment and a modification.
  • FIG. 2 is a block diagram illustrating a functional configuration of the distance measuring
  • FIG. 9 is a diagram illustrating a distribution of POC values.
  • FIG. 10 is a flowchart illustrating a flow of a distance measurement operation according to an embodiment.
  • FIG. 11 is a flowchart illustrating the operation flow of the focusing operation.
  • FIG. 12 is a block diagram illustrating a functional configuration of a distance measuring device according to a modification.
  • FIG. 13 is a diagram illustrating an example of how the reference area is set for the reference image.
  • FIG. 14 is a diagram illustrating an example of how the reference area is set for the reference image.
  • FIG. 15 is a flowchart illustrating a flow of a distance measurement operation according to a modification.
  • FIG. 1 is a diagram illustrating a schematic configuration of a distance measuring device 100 according to an embodiment.
  • the distance measuring device 100 includes a first camera 1, a second camera 2, and an information processing device 3.
  • the first camera 1 and the second camera 2 are connected via a communication line L12 so that data transmission is possible.
  • the first camera 1 is connected to the information processing device 3 via the communication line L1 so as to be able to transmit data
  • the second camera 2 is connected to be able to transmit data to the information processing device 3 via the communication line L2.
  • the communication lines L1, L2, and L12 may be any of a wired line and a wireless line.
  • the first and second cameras 1 and 2 are imaging devices that respectively acquire images by imaging a subject. These first and second cameras 1 and 2 are arranged side by side in one direction.
  • the one direction may be, for example, the horizontal direction.
  • the optical axis of the imaging lens of the first camera 1 and the optical axis of the imaging lens of the second camera 2 are spaced apart in the horizontal direction.
  • the distance between the optical axis of the imaging lens of the first camera 1 and the optical axis of the imaging lens of the second camera 2 is the base line length related to the first and second cameras 1 and 2.
  • the first and second cameras 1 and 2 image, for example, a subject located in front of the camera from different viewpoints at the same timing.
  • the two images captured at the same timing by the first and second cameras 1 and 2 are so-called stereo images. That is, the stereo image includes an image (also referred to as a first image) acquired by imaging with the first camera 1 and an image (also referred to as a second image) acquired by imaging with the second camera 2.
  • the data Ma relating to the first image and the data Mb relating to the second image can be transmitted from the first and second cameras 1 and 2 to the information processing device 3 via the communication lines L1 and L2.
  • the information processing apparatus 3 may be a personal computer (personal computer), for example, and includes an operation unit 31, a display unit 32, an interface (I / F) unit 33, a storage unit 34, an input / output (I / O) unit 35, and A control unit 36 is provided.
  • personal computer personal computer
  • the operation unit 31 includes, for example, a mouse and a keyboard.
  • the display unit 32 includes, for example, a liquid crystal display.
  • the I / F unit 33 exchanges data between the first and second cameras 1 and 2 and the information processing apparatus 3.
  • the storage unit 34 includes, for example, a hard disk and stores the program PG and various data.
  • the I / O unit 35 includes, for example, a disk drive, receives the storage medium 4 such as an optical disk, and exchanges data between the storage medium 4 and the control unit 36.
  • the control unit 36 includes, for example, a CPU 36a that functions as a processor, a memory 36b that temporarily stores information, and the like. The control unit 36 implements various functions and information processing by reading and executing the program PG in the storage unit 34.
  • the aberrations of the first and second cameras 1 and 2 are corrected well, and the first and second cameras 1 and 2 are substantially parallel (preferably Is completely parallel). That is, the optical axes of the first and second cameras 1 and 2 are set to be substantially parallel (preferably completely parallel), and the subject captured in the first and second images is located at the outer edge of the first and second images. In contrast, they have substantially the same angular relationship (preferably completely the same angular relationship). However, if the actual first and second cameras 1 and 2 are not in such a condition, they may be converted into a stereo image that is regarded as being captured under the same condition by image processing.
  • FIG. 2 is a block diagram illustrating a functional configuration of a main part of the distance measuring apparatus 100 according to the present embodiment.
  • FIG. 2 shows a functional configuration related to an operation for measuring the distance from the first and second cameras 1 and 2 to the subject (also referred to as a distance measurement operation).
  • the first camera 1 as the first imaging device includes an optical system 11, a drive unit 12, a position detection unit 13, an imaging unit 14, an evaluation value calculation unit 15, a control calculation unit 16, and an interface (I / F) unit 17. I have.
  • the optical system 11 includes, for example, a plurality of optical lenses.
  • the plurality of optical lenses are optical members formed of glass or plastics.
  • the plurality of optical lenses include one or more optical lenses as movable parts that are movable in the optical axis direction of the optical system 11 with respect to the main body of the first camera 1. Then, one or more optical lenses (also referred to as focusing lenses) 11 a serving as a movable unit can be focused on the subject by moving with the driving force of the driving unit 12.
  • the drive unit 12 may be an actuator using a piezoelectric element or the like, for example.
  • the drive unit 12 generates a driving force in accordance with a control signal from the control calculation unit 16, and moves the focusing lens 11a in the optical axis direction.
  • AF adjustment automatic focus adjustment
  • the focusing lens 11a is sequentially arranged at a plurality of focusing positions (also referred to as AF positions) by the drive unit 12. The Thereby, the position of the focusing lens 11a when the first camera 1 focuses on the subject is detected.
  • the plurality of AF positions include, for example, positions where the focusing lens 11a has moved by a predetermined distance from the initial position in the movable range of the focusing lens 11a toward one direction.
  • the initial position may be, for example, one end of the movable range of the focusing lens 11a
  • one direction may be, for example, a direction from one end of the movable range of the focusing lens 11a to the other end. .
  • the position detector 13 may be an electromagnetic sensor, for example.
  • the position detector 13 detects the position of the focusing lens 11a in the optical axis direction within the movable range of the focusing lens 11a.
  • Information indicating the position of the focusing lens 11 a detected by the position detection unit 13 (also referred to as position information) is sent to the control calculation unit 16.
  • the imaging unit 14 includes, for example, an imaging element such as a CCD.
  • the imaging unit 14 receives light from the subject via the optical system 11 and captures the subject to acquire a first image capturing the subject.
  • the imaging unit 14 when the AF adjustment is performed in the first camera 1, the imaging unit 14 has the subject in each state in which the focusing lens 11 a is sequentially arranged at a plurality of AF positions by the driving unit 12. To obtain a plurality of AF adjustment images (also referred to as AF images).
  • the imaging unit 14 captures an image of the subject by capturing the subject in a state where the first camera 1 is focused on the subject (also referred to as a focused state) (first focused image). (Also called).
  • the first image data including the AF image and the first focused image acquired by the imaging unit 14 is sent to the evaluation value calculation unit 15 and the control calculation unit 16.
  • the evaluation value calculation unit 15 may be configured by, for example, a dedicated electronic circuit, or may be functionally realized by executing software with a processor.
  • the evaluation value calculator 15 uses the first image data to calculate an evaluation value indicating the degree of focus of the first camera 1 on the subject (also referred to as the degree of focus).
  • the evaluation value may be, for example, a value indicating contrast (also referred to as a contrast value).
  • a contrast value for example, a high frequency component of the data of the first image is extracted by a digital filter functioning as a high pass filter, a detection circuit, and an integration circuit, and the positive and negative components of the signal of the high frequency component are aligned in the same direction and integrated. Can be calculated.
  • evaluation values are calculated for each of a predetermined number of regions included in the first image G1.
  • the predetermined number is set to 9
  • evaluation values are respectively calculated for the first to ninth image regions A1 to A9 near the center of the first image G1.
  • the evaluation value calculation unit 15 calculates evaluation values for each of the image areas A1 to A9 based on the data of each AF image.
  • the evaluation value calculation unit 15 performs an AF adjustment evaluation value (AF evaluation value) according to a predetermined rule from a plurality of evaluation values for the first to ninth image regions A1 to A9 for each AF image data.
  • AF evaluation value AF evaluation value
  • the predetermined rule may be a rule for calculating an average value of a plurality of evaluation values for the first to ninth image regions A1 to A9, for example.
  • the evaluation value calculation unit 15 uses the data of the first focused image to calculate evaluation values (also referred to as evaluation values at the time of focusing) for each of the image areas A1 to A9 included in the first focused image. calculate.
  • the control arithmetic unit 16 may be configured by, for example, a dedicated electronic circuit, or may be functionally realized by executing software on a processor.
  • the control calculation unit 16 as a focusing control unit performs a so-called hill-climbing AF adjustment. Specifically, when AF adjustment is performed, the control calculation unit 16 moves the focusing lens 11 a based on the plurality of AF evaluation values calculated by the evaluation value calculation unit 15, so that the first The camera 1 is set to an in-focus state.
  • the control calculation unit 16 acquires the position information of the focusing lens 11a from the position detection unit 13, and moves the focusing lens 11a to move the focusing lens 11a to a plurality of AF positions. Move sequentially. At this time, the control calculation unit 16 acquires the AF evaluation value from the evaluation value calculation unit 15 when the focusing lens 11a is moved to each AF position, so that the AF evaluation value is obtained for each position information. To get.
  • each AF evaluation value is a contrast value
  • the control calculation unit 16 calculates the position of the focusing lens 11a corresponding to the peak of the contrast value (also referred to as a focusing lens position). .
  • the first camera 1 can be set to the in-focus state by moving the focusing lens 11 a to the focusing lens position under the control of the control calculation unit 16.
  • the control calculation unit 16 determines whether each of the first to ninth image areas A1 to A9 is in the front focus state or the rear focus state. Is performed (also referred to as a focus state determination process).
  • the front focus state refers to a state in which the focus of the first camera 1 is in the foreground than the subject
  • the rear focus state refers to a state in which the focus of the first camera 1 is in the distance from the subject.
  • the control calculation unit 16 for example, when AF adjustment is performed, the first to ninth image regions A1 to A9 of the AF image acquired in each state where the focusing lens 11a is disposed at each AF position. Based on the evaluation values calculated for each of the first to ninth image regions A1 to A9 when the first camera 1 is in focus, the respective focus state determination processing is performed.
  • control calculation unit 16 receives data indicating the evaluation values at the time of focusing on the first to ninth image regions A1 to A9 from the evaluation value calculation unit 15, and receives data of the first focused image from the imaging unit 14. . Then, the control calculation unit 16 includes data indicating evaluation values at the time of focusing on the first to ninth image areas A1 to A9, information indicating the determination result of the focus state determination process (also referred to as pre-focus information), and first information
  • the focused image data is sent to the information processing apparatus 3 via the I / F unit 17.
  • control calculation unit 16 sends information on the focusing lens position (also referred to as focusing position information) to the second camera 2 and the information processing device 3 via the I / F unit 17.
  • the second camera 2 as the second imaging device includes an optical system 21, a drive unit 22, a position detection unit 23, an imaging unit 24, a control unit 26, and an interface (I / F) unit 27.
  • the optical system 21 has a configuration similar to that of the optical system 11, for example. Specifically, in the optical system 21, one or more optical lenses (focusing lenses) 21 a serving as a movable unit can be focused on the subject by moving with the driving force of the driving unit 22.
  • the drive unit 22 may be an actuator using a piezoelectric element or the like, for example, similarly to the drive unit 12.
  • the driving unit 22 generates a driving force according to a control signal from the control unit 26, and moves the focusing lens 21a in the optical axis direction.
  • the position detection unit 23 may be an electromagnetic sensor or the like, for example, similarly to the position detection unit 13.
  • the position detector 23 detects the position of the focusing lens 21a in the optical axis direction within the movable range of the focusing lens 21a.
  • Information (position information) indicating the position of the focusing lens 21 a detected by the position detection unit 23 is sent to the control unit 26.
  • the imaging unit 24 includes an imaging element such as a CCD, for example, similarly to the imaging unit 14.
  • the imaging unit 24 receives light from the subject via the optical system 21 and captures the subject, thereby acquiring a second image capturing the subject.
  • the imaging unit 24 captures an image of the subject in the in-focus state in which the second camera 2 is in focus on the subject (also referred to as a second focused image). Say) to get. Note that the data of the second focused image acquired by the imaging unit 24 is sent to the control unit 26.
  • the control unit 26 may be configured by, for example, a dedicated electronic circuit, or may be functionally realized by executing software by a processor.
  • the control unit 26 acquires in-focus position information from the first camera 1 via the I / F unit 27. Then, the control unit 26 controls the driving unit 22 while referring to the position information obtained from the position detection unit 23, and focuses the focusing lens 21 a according to the focusing position information of the first camera 1. Move to the lens position. Thereby, the 2nd camera 2 can be set to an in-focus state.
  • control unit 26 receives the data of the second focused image from the imaging unit 24. Then, the control unit 26 sends the data of the second focused image to the information processing device 3 via the I / F unit 27.
  • the information processing apparatus 3 includes the I / F unit 33, the storage unit 34, and the control unit 36.
  • the I / F unit 33 functions as a portion (also referred to as an information acquisition unit) that acquires information from the first and second cameras 1 and 2.
  • the I / F unit 33 includes data of the first focused image, data indicating evaluation values at the time of focusing on the first to ninth image areas A1 to A9, information before and after focusing, and focusing position information. Obtained from the first camera 1 and data of the second focused image is obtained from the second camera 2. Then, the I / F unit 33 includes data on the first and second focused images, data indicating the evaluation values at the time of focusing on the first to ninth image areas A1 to A9 input from the first camera 1, focus, The front-rear information and the in-focus position information are sent to the control unit 36.
  • the storage unit 34 stores, for example, a parallax table 341, a function table 342, and a size conversion formula 343.
  • the parallax table 341 is a table in which the relationship between the focusing information related to the focusing of the first camera 1 and the parallax is described.
  • the focus information is, for example, a combination of focus position information about the first camera 1, data indicating evaluation values at the time of focusing on the first to ninth image areas A1 to A9, and information before and after focusing. Any information may be used.
  • the parallax corresponds to a shift amount of a position where the same portion of the subject is captured between the first focused image and the second focused image.
  • the parallax table 341 can be obtained in advance by, for example, an optical simulation using optical design values of the first and second cameras 1 and 2.
  • the parallax table 341 can be obtained in advance by experiments, for example. In the experiment, for example, when the positional relationship between the first and second cameras 1 and 2 and the subject is known, the information on the parallax table 341 can be obtained by actually obtaining the focusing information.
  • the function table 342 is a table indicating MTF (Modulation Transfer Function) included in the spatial transfer function.
  • the MTF is one of the indexes for evaluating the lens performance.
  • the MTF expresses how faithfully the contrast of the subject can be reproduced as a spatial frequency characteristic.
  • the horizontal axis represents spatial frequency and the vertical axis represents contrast.
  • the higher the contrast of the low frequency left side of the graph in FIG. 4
  • the higher the high frequency right side of the graph in FIG. 4
  • the function table 342 information indicating the MTF is described for each evaluation value at the time of focusing. That is, the function table 342 describes information (also referred to as relationship information) indicating the relationship between the evaluation value at the time of focusing and the MTF as the optical transfer function information related to the optical systems 11 and 21.
  • the function table 342 can be obtained in advance, for example, by optical simulation using optical design values of the first and second cameras 1 and 2.
  • the size conversion equation 343 is an equation for converting the cutoff frequency of the MTF into the size of a window (also referred to as a search window) that defines the search range of corresponding points.
  • the cutoff frequency of the MTF refers to a spatial frequency that is lower than a predetermined contrast in the MTF as shown in FIG. 4 in which the contrast decreases as the spatial frequency increases.
  • the cutoff frequency is f
  • the predetermined constant is k
  • the length of one side of the square search window is L
  • the unit of the cutoff frequency is (1 / pixel). If the maximum contrast value (also referred to as the maximum contrast value) is 1, the predetermined contrast may be a value obtained by multiplying the maximum contrast value by a predetermined number, for example. The predetermined value may be any of 0.5, 0.6, and 0.8, for example.
  • the size conversion formula 343 may be a table in which information in which the cutoff frequency of the MTF is associated with the size of the search window is described.
  • the control unit 36 includes, as functional configurations, a parallax conversion unit 361, an initial parallax determination unit 362, a function information identification unit 363, a size setting unit 364, a reference region setting unit 365, a reference region setting unit 366, a weighting setting unit 367, A search unit 368 and a distance calculation unit 369 are provided.
  • the parallax conversion unit 361 converts the focusing information into parallax according to the parallax table 341.
  • parallax corresponding to the focusing information obtained from the first camera 1 is recognized from the parallax table 341.
  • the initial parallax determination unit 362 searches for corresponding points between the first focused image G1 and the second focused image G2 based on the parallax recognized by the parallax conversion unit 361 for each of the image regions A1 to A9.
  • An initial value of parallax in the process (also referred to as initial parallax) is determined.
  • the first focused image G1 is used as a reference image (also referred to as a reference image) when searching for corresponding points.
  • a reference image also referred to as a reference image
  • a pixel (also referred to as a reference point) Sp1 is set as a reference when searching for.
  • the reference point Sp1 for example, an upper left pixel of the reference image G1 is set first, and all pixels included in the reference image G1 are sequentially set.
  • the parallax obtained in 361 is determined as the initial parallax related to the reference point Sp1. That is, the initial parallax is determined in consideration of not only the in-focus position of the first camera 1 but also information before and after focusing on each of the first to ninth image areas A1 to A9.
  • the minimum value or the maximum value of the parallax obtained in 361 may be determined as the initial parallax.
  • the parallax conversion unit 361 for the image region closest to the reference point Sp1 among the first to ninth image regions A1 to A9. Is determined as the initial parallax for the reference point Sp1.
  • the function information specifying unit 363 specifies the MTF as information of the optical transfer function corresponding to the evaluation value at the time of focusing from the function table 342.
  • the MTF also referred to as a representative MTF
  • the representative value of the evaluation value may be an average value of the evaluation values at the time of focusing on the first to ninth image regions A1 to A9, or may be an average value of the top N pieces. good.
  • the function information specifying unit 363 may specify the nth MTF corresponding to the evaluation value at the time of focusing for each nth image region An (n is an integer of 1 to 9).
  • the size setting unit 364 sets the size of the search window according to the MTF specified by the function information specifying unit 363.
  • the search window includes a reference area set by the reference area setting unit 365 and a reference area set by the reference area setting unit 366.
  • the size of the search window can be set based on the cutoff frequency of the representative MTF and the size conversion formula 343. Thereby, the amount of information that can be deficient in accordance with the MTF is ensured by setting the size of the search window in accordance with the MTF, and the search accuracy of the corresponding points can be maintained.
  • the size setting unit 364 may set the size of the search window for each image area An based on the cutoff frequency of the nth MTF and the size conversion equation 343 described above. For example, when the reference point Sp1 is included in the nth image region An, the nth image region An is determined based on the cutoff frequency of the nth MTF specified for the nth image region An and the size conversion equation 343. The size of the search window can be set. Further, for example, when the reference point Sp1 is located in the vicinity of the boundary between the first to ninth image areas A1 to A9, the MTF specified for a plurality of image areas in contact with the boundary among the first to ninth image areas A1 to A9.
  • the size of the search window can be set based on the cut-off frequency and the size conversion formula 343.
  • the size of the search window can be set based on the minimum value or the maximum value among the cutoff frequencies of the MTF specified for a plurality of image regions in contact with the boundary and the size conversion formula 343. For example, when the reference point Sp1 is not included in the first to ninth image regions A1 to A9, the nth image region An closest to the reference point Sp1 among the first to ninth image regions A1 to A9 is specified.
  • the size of the search window can be set based on the cut-off frequency of the MTF and the size conversion equation 343.
  • the reference area setting unit 365 sets a reference search window (also referred to as a reference area) in the reference image G1. Specifically, as shown in FIG. 6, a reference area W1 including the reference point Sp1 is set with the reference point Sp1 as a reference.
  • the size of the reference area W ⁇ b> 1 only needs to be set by the size setting unit 364.
  • the reference region W1 may be set with the reference point Sp1 as the center, for example. In this case, the reference area W1 is defined by the reference point Sp1.
  • the reference area setting unit 366 uses the second focused image G2 as the other image (also referred to as a reference image) that is referred to when searching for corresponding points, and a search window (also referred to as a reference area) that defines a reference target for the reference image G2.
  • a search window also referred to as a reference area
  • a pixel also referred to as a reference point
  • Pp ⁇ b> 1 that serves as a reference reference when searching for a corresponding point
  • a reference area W2 including the reference point Pp1 is set based on the reference point Pp1.
  • the amount of deviation between the position of the reference point Pp1 in the reference image G2 and the position of the reference point Sp1 in the reference image G1 is set based on the initial disparity determined by the initial disparity determining unit 362. For example, the amount of deviation and the initial parallax need only match.
  • the size of the reference area W2 may be set by the size setting unit 364 in the same manner as the size of the standard area W1.
  • the reference region W2 may be set around the reference point Pp1, for example. In this case, the reference area W2 is defined by the reference point Pp1.
  • the reference area W2 is a range (also referred to as a search range) in which the search unit 368 searches for the corresponding point corresponding to the reference point Sp1 in the reference image G2. Therefore, the search range is determined by the parallax conversion unit 361, the initial parallax determination unit 362, the size setting unit 364, and the reference region setting unit 366 based on the focusing information. That is, the parallax conversion unit 361, the initial parallax determination unit 362, the size setting unit 364, and the reference region setting unit 366 function as a part (also referred to as a search range determination unit) 360 that determines a search range.
  • the search range when the corresponding point of each reference point Sp1 is searched by the initial parallax determining unit 362 is one or more having a predetermined positional relationship with each reference point Sp1 in the first to ninth image regions A1 to A9. It can be determined based on the evaluation value at the time of focusing on the image area and focusing position information.
  • the predetermined positional relationship may be, for example, a positional relationship closest to the reference point Sp1 in the first to ninth image regions A1 to A9.
  • the weight setting unit 367 sets a weighting coefficient for each spatial frequency in accordance with the MTF specified by the function information specifying unit 363.
  • a weighting coefficient is set for each spatial frequency in accordance with the MTF specified for one or more image regions having a predetermined positional relationship with each reference point Sp1 in the first to ninth image regions A1 to A9.
  • the predetermined positional relationship may be, for example, the positional relationship including the reference point Sp1 in the first to ninth image regions A1 to A9 or the closest positional relationship.
  • the contrast of each spatial frequency in the MTF can be set as a weighting coefficient of the corresponding spatial frequency.
  • the search unit 368 searches the reference image G2 for a corresponding point corresponding to the reference point Sp1 in the reference image G1.
  • the search unit 368 uses a phase-only correlation (POC) calculation method, and corresponds to the reference point Sp1 based on the frequency component related to the region image included in the reference region W1 and the frequency component related to the reference region W2. Corresponding points are searched. Thereby, the information processing apparatus 3 works as a corresponding point search apparatus.
  • weighting is performed for each frequency using the weighting coefficient for each frequency set by the weighting setting unit 367 in the corresponding point search processing.
  • the influence on the search result is reduced by the calculation related to the spatial frequency in which the contrast is low in the MTF.
  • the corresponding point search accuracy can be improved by improving the S / N ratio, and the corresponding point search speed can be increased by reducing the calculation amount.
  • a weighting coefficient is set for each spatial frequency in accordance with the MTF specified for one or more image areas having a predetermined positional relationship with each reference point Sp1 in the first to ninth image areas A1 to A9.
  • the corresponding point search process is further optimized. That is, it is not uniform, and for each region where the reference point Sp1 is located, it is possible to improve the corresponding point search accuracy by improving the S / N ratio and to speed up the corresponding point search by reducing the calculation amount.
  • the corresponding point search process using the POC calculation method in the search unit 368 will be described.
  • correlation calculation is performed to obtain a numerical value indicating the degree of correlation (similarity) between images using a phase component signal in which the amplitude component is suppressed among the frequency resolved signals of the image pattern.
  • FIG. 8 is a diagram for explaining the corresponding point search processing using the POC calculation method.
  • the reference area W1 and the reference region W2 is the pixel a predetermined number N 1 in the X direction, each array of pixels of the predetermined number N 2 along the Y direction is treated as an image area to be arranged.
  • These image areas are expressed by the following equation (1).
  • f (n 1 , n 2 ) in the above equation 1 indicates a region image (also referred to as a reference region image) included in the reference region W1
  • g (n 1 , n 2 ) in the above equation 1 is , A region image (also referred to as a reference region image) included in the reference region W2.
  • N 1 and N 2 are substituted for the subscript P of W in the proviso of the above formula 2, and 1 and 2 are substituted for the subscript s of k. Note that (k 1 , k 2 ) indicates a two-dimensional spatial frequency.
  • Equation 4 Wt (k 1 , k 2 ) expressed by Equation 4 is a weighting coefficient corresponding to the spatial frequency (k 1 , k 2 ) set by the weight setting unit 367. That is, the weighting process C4 using the arithmetic expression expressed by Equation 4 is performed.
  • Equation 5 a two-dimensional inverse Fourier transform process C5 is performed using the arithmetic expression shown in Equation 5. Thereby, the correlation calculation between the images is performed, and the result (POC value) is output.
  • a calculation result (POC value) indicating the correlation between the reference region image related to the reference region W1 and the reference region image related to the reference region W2 is obtained.
  • a result (POC value) as shown in FIG. ) Is obtained.
  • the POC value is obtained discretely. For this reason, if an interpolation operation is performed between adjacent pixels and the position of the peak Jc is estimated with a subpixel size smaller than the size of one pixel, the corresponding points can be detected more finely.
  • a method of the interpolation calculation a method in which a parabola function is obtained from the distribution of the POC values obtained discretely can be considered.
  • the search unit 368 determines the position of the corresponding point in the reference image G2, the position of the reference point Sp1 in the reference image G1, and the position of the corresponding point in the reference image G2. Is detected (also referred to as parallax).
  • the distance calculation unit 369 calculates the distance from the first and second cameras 1 and 2 to the portion of the subject captured by the reference point Sp1 based on the search result by the search unit 368. Specifically, the distance is the amount of deviation between the position of the reference point Sp1 in the reference image G1 and the position of the corresponding point in the reference image G2, the internal parameters and the external parameters of the first and second cameras 1 and 2. Is calculated using triangulation techniques.
  • the internal parameters include, for example, parameters indicating the focal lengths of the optical systems 11 and 21, the image centers, the inclinations of the imaging units 14 and 24, and the like.
  • the external parameters include, for example, parameters indicating the positional relationship and posture relationship between the first camera 1 and the second camera 2.
  • FIG. 10 and FIG. 11 are flowcharts showing an example of a distance measurement operation flow in the distance measurement apparatus 100. This flow can be realized by the control of the control calculation unit 16, the control unit 26, and the control unit 36, for example.
  • step S1 the first camera 1 performs an operation of focusing on the subject (also referred to as a focusing operation).
  • the operation flow shown in FIG. 11 can be executed.
  • the focusing lens 11a is set to the initial position under the control of the control calculation unit 16 (step S101).
  • a first image is acquired by the imaging unit 14 (step S102).
  • the evaluation value calculation unit 15 calculates the evaluation value for each of the first to ninth image areas A1 to A9 for the first image acquired in step S102, and the AF evaluation value is calculated based on the evaluation value (step S103). ).
  • the focusing lens 11a moves in one direction by a predetermined distance under the control of the control calculation unit 16 (step S104).
  • a first image is acquired by the imaging unit 14 (step S105).
  • the evaluation value for each of the first to ninth image areas A1 to A9 is calculated by the evaluation value calculation unit 15 for the first image acquired in step S105, and the AF evaluation value is calculated based on the evaluation value (step S106).
  • Step S107 the control calculation unit 16 determines whether or not the AF evaluation value exceeds the peak based on the AF evaluation value calculated in Step S103 and Step S106 (Step S107).
  • the processing of steps S104 to S107 is repeated until the AF evaluation value exceeds the peak.
  • the control calculation unit 16 calculates the focus lens position corresponding to the peak.
  • in-focus position information indicating the in-focus lens position is transmitted from the control calculation unit 16 to the control unit 26 of the second camera 2 and the information processing apparatus 3.
  • the focus lens 11a is moved to the focus lens position under the control of the control calculation unit 16 (step S109). Thereby, the focusing operation in step S1 is completed.
  • the above is the so-called hill-climbing AF adjustment.
  • step S2 the focusing operation of the second camera 2 is performed.
  • the focusing lens 21 a is moved to the focusing lens position corresponding to the focusing position information of the first camera 1. Note that step S2 may be executed in parallel with step S109 described above.
  • step S3 the first and second focused images G1, G2 are acquired by the first and second cameras 1, 2.
  • step S4 the evaluation value calculation unit 15 calculates the evaluation value at the time of focusing for each of the image areas A1 to A9 of the first focused image G1 acquired in step S3.
  • step S5 the control calculation unit 16 performs a focus state determination process.
  • the first to ninth image areas are calculated based on the evaluation values calculated for the first to ninth image areas A1 to A9 of the respective AF images acquired in the operations of steps S103 and S106 of step S1. It can be determined whether each of the nine image areas A1 to A9 is in the front focus state or the rear focus state.
  • step S6 the parallax conversion unit 361 converts the focusing information for each of the image areas A1 to A9 into parallax according to the parallax table 341.
  • step S7 the initial parallax determining unit 362 sets the first focused image G1 acquired in step S3 as a reference image, and the reference point Sp1 is set in the reference image G1.
  • step S8 the initial parallax determining unit 362 determines the initial parallax related to the reference point Sp1 set in step S7 based on the parallax obtained in step S6.
  • Step S9 the MTF corresponding to the evaluation value at the time of focusing calculated in Step S4 is specified from the function table 342 by the function information specifying unit 363.
  • step S10 the size setting unit 364 sets the size of the search window according to the MTF specified in step S9.
  • step S11 the weighting setting unit 367 sets a weighting coefficient for each spatial frequency in accordance with the MTF specified in step S9.
  • step S12 the reference area setting unit 365 uses the reference point Sp1 set in step S7 as a reference, and the reference area W1 corresponding to the size of the search window set in step S10 is set in the reference image G1.
  • the reference area setting unit 366 sets the second focused image G2 as a reference image, and sets the reference area W2 in the reference image G2.
  • the reference point Pp1 is set in the reference image G2 based on the position of the reference point Sp1 set in step S7 in the reference image G1 and the initial parallax determined in step S8. Then, the reference point Pp1 is used as a reference, and a reference area W2 corresponding to the size of the search window set in step S10 is set in the reference image G2.
  • step S14 the search unit 368 searches the reference image G2 for a corresponding point corresponding to the reference point Sp1 in the reference image G1.
  • the corresponding points are searched by the POC calculation method using the weighting coefficient set in step S11.
  • the position of the corresponding point in the reference image G2 and the amount of deviation (also referred to as parallax) between the position of the reference point Sp1 in the reference image G1 and the position of the corresponding point in the reference image G2 are detected.
  • step S15 the distance calculation unit 369 calculates the distance from the first and second cameras 1 and 2 to the portion of the subject captured at the reference point Sp1 based on the search result in step S14. At this time, information indicating the distance related to the reference point Sp1 is stored in the storage unit 34.
  • step S16 the initial parallax determining unit 362 calculates the distance from the first and second cameras 1 and 2 to the subject captured at the reference point Sp1 in the reference image G1 (also referred to as a distance measurement point). Whether or not remains is determined. Here, if the distance measurement point remains, the process returns to step S7, and the processes of steps S7 to S16 are repeated until the distance measurement point remains. If there are no points to be measured, the operation flow ends.
  • the corresponding points are based on the position information (focus position information) of the focusing lens 11a when the first camera 1 is in focus.
  • the search range is determined.
  • the fact that the approximate distance from the first camera 1 to the subject is known by the AF adjustment is used, and the search range of the corresponding points is narrowed down. For this reason, corresponding points can be searched for between the standard image G1 and the reference image G2 with high accuracy and high speed.
  • the corresponding points can be searched between the plurality of images with high accuracy and at high speed. As a result, the distance from the first and second cameras 1 and 2 to the subject can be calculated with high accuracy and high speed. .
  • the search range of the corresponding points is determined based on the evaluation value at the time of focusing indicating the degree of focus of the first camera 1 and the focus position information, so that the search range can be further optimized.
  • an imaging device that performs hill-climbing AF adjustment can be employed as the first camera 1.
  • an imaging device having a general-purpose AF adjustment function is used, and corresponding points can be searched between the standard image G1 and the reference image G2 with high accuracy and at high speed.
  • the manufacturing cost and the size of the information processing device 3 and the distance measuring device 100 can be reduced.
  • evaluation values at the time of focusing are calculated for the first to ninth image areas A1 to A9 of the reference image G1. Then, an evaluation value and information before and after focusing on one or more image areas having a predetermined positional relationship with the reference point Sp1 in the first to ninth image areas A1 to A9, and for focusing at the time of focusing
  • the search range of the corresponding points is determined based on the position information of the lens 11a. As a result, the search range can be determined more appropriately for each region where the reference point is located, rather than being uniform. As a result, the amount of information used for calculation of the corresponding point search process is ensured for each region, and the corresponding point search accuracy can be appropriately maintained.
  • the corresponding point search process weighting is performed for each frequency according to the MTF specified from the focusing information of the first camera 1.
  • the frequency components included in the search range for the corresponding points can be roughly understood by the MTF specified based on the focusing information. Therefore, in the corresponding point search process, weighting is performed for each frequency according to the MTF.
  • the corresponding point search accuracy can be improved by improving the S / N ratio, and the corresponding point search speed can be increased by reducing the calculation amount. That is, it is possible to improve the robustness and speed up in the corresponding point search process.
  • the focusing information on the first camera 1 and the evaluation values at the time of focusing on the first to ninth image areas A1 to A9 are included in the focusing information on the first camera 1.
  • the information indicating the combination of the data to be displayed and the information before and after the focus is included, but is not limited thereto.
  • the focusing information related to the first camera 1 may not include at least one of the evaluation value at the time of focusing on the first to ninth image areas A1 to A9 and the information before and after focusing.
  • at least one of the setting of the search window size according to the MTF and the weighting for each frequency according to the MTF may not be performed.
  • the corresponding point search process using another calculation such as the SAD calculation method may be performed.
  • the device 100A will be described.
  • FIG. 12 is a block diagram showing a functional configuration of a distance measuring apparatus 100A according to a modification.
  • FIG. 12 shows a functional configuration relating to a distance measuring operation for measuring the distance from the first and second cameras 1A, 2 to the subject.
  • a distance measuring device 100A according to a modification is a function realized by the first camera 1, the program PG and information stored in the storage unit 34, and the control unit 36 in the distance measuring device 100 according to the one embodiment.
  • the general structure has been changed.
  • the first camera 1 is replaced with a first camera 1A including an evaluation value calculation unit 15A and a control calculation unit 16A instead of the evaluation value calculation unit 15 and the control calculation unit 16.
  • the storage unit 34 stores the program PGA instead of the program PG, does not store the function table 342 and the size conversion formula 343, and stores the parallax table 341A instead of the parallax table 341.
  • the search range determination unit 360 is changed to a search range determination unit 360A including a parallax conversion unit 361A, a standard parallax determination unit 362A, an upper limit parallax setting unit 370A, and a reference collation range setting unit 366A.
  • the reference region setting unit 365 and the search unit 368 are changed to a reference region setting unit 365A and a search unit 368A.
  • the evaluation value calculation unit 15A compares the evaluation value calculation unit 15 according to the above-described embodiment with the first camera for the subject for the entire image region including the first to ninth image regions A1 to A9 shown in FIG. The difference is that an evaluation value indicating the degree of focus of 1A is calculated.
  • the control calculation unit 16A as the focus control unit performs a so-called hill-climbing AF adjustment in the same manner as the control calculation unit 16 according to the above-described embodiment.
  • the control calculation unit 16A does not perform the focus state determination process, and does not receive data indicating the evaluation value at the time of focusing for each of the first to ninth image areas A1 to A9 from the evaluation value calculation unit 15A. It differs from the control calculation part 16 which concerns on embodiment.
  • the focus information related to the first camera 1A sent to the information processing apparatus 3 by the control calculation unit 16A includes the evaluation value at the time of focusing and the information before and after focusing on the first to ninth image areas A1 to A9. In-focus position information is included.
  • the parallax table 341A is a table in which the relationship between the focusing information and the parallax related to the first camera 1A is described, similarly to the parallax table 341 according to the above-described embodiment.
  • the focusing information of the parallax table 341A does not include the evaluation value at the time of focusing on the first to ninth image areas A1 to A9 and the information before and after focusing, and it is sufficient that the focusing position information is included.
  • the parallax table 341A can be obtained in advance, for example, by optical simulation or experiment using optical design values of the first and second cameras 1A, 2 in the same manner as the parallax table 341 according to the above-described embodiment.
  • the parallax conversion unit 361A converts in-focus position information as in-focus information related to the first camera 1A into parallax according to the parallax table 341A.
  • the parallax corresponding to the in-focus position information related to the first camera 1A is recognized from the parallax table 341A.
  • the standard parallax determination unit 362A uses standard parallax (standard parallax) for the corresponding point search processing between the first focused image G1 and the second focused image G2. (Also called).
  • standard parallax standard parallax
  • the first focused image G1 is set as a reference image, and as shown in FIG. 13, the reference point Sp1 is set in the reference image G1, and the parallax recognized by the parallax conversion unit 361A
  • the standard parallax can be determined. Thereby, the standard parallax can be determined without adding another function to the imaging apparatus having a general-purpose AF adjustment function. As a result, the manufacturing cost and size of the first camera 1A and the distance measuring device 100A can be reduced.
  • the upper limit parallax setting unit 370A sets an upper limit of parallax (also referred to as upper limit parallax) that defines the scanning range of the search window in the corresponding point search process using the SAD calculation method.
  • the upper limit parallax may be, for example, a value obtained by adding a predetermined room to the standard parallax set by the standard parallax determination unit 362A.
  • the predetermined margin may be a fixed value such as a predetermined number of pixels, or may be a value that increases in proportion to the standard parallax obtained by multiplying the standard parallax by a predetermined value.
  • the reference area setting unit 365A sets a reference search window (also referred to as a reference area) W1A for the reference image G1.
  • a reference area W1A that includes the reference point Sp1 is set with the reference point Sp1 as a reference.
  • the reference region W1A for example, along the X direction is the pixel array of a predetermined number N 1, it may be any image region pixel of the predetermined number N 2 is arranged along the Y direction.
  • the reference area W1A is defined by the reference point Sp1, and may be set around the reference point Sp1, for example.
  • the reference collation range setting unit 366A uses the second focused image G2 as a reference image, and in the reference image G2, sets a setting range of a region image to be collated with the standard region image included in the standard region W1A. Specifically, the size of the reference area W2A having the same size as the standard area W1A is set, and one end Ps and the other end Pe of a range where the reference point Pp1 defining the reference area W2A is set in the reference image G2 are set.
  • the direction in which the reference region W2A is scanned in the reference image G2 is a direction corresponding to the direction in which the optical axis of the imaging lens of the first camera 1A and the optical axis of the imaging lens of the second camera 2 are separated from each other.
  • the X direction may correspond to the horizontal direction.
  • one end Ps of a range in which the reference area W2A is scanned in the reference image G2 is set based on, for example, an upper limit parallax.
  • the one end Ps is provided so that, for example, the amount of deviation between the position of the one end Ps in the reference image G2 and the position of the reference point Sp1 in the reference image G1 matches the upper limit parallax.
  • the other end Pe is provided so that, for example, the position of the other end Pe in the reference image G2 matches the position of the reference point Sp1 in the reference image G1, that is, the parallax is 0 (zero).
  • a range in which the reference region W2A is set in the reference image G2 is determined. That is, a range in which the reference image G2 is scanned in the reference area W2A that is a search window is determined.
  • the search range in which the corresponding point is searched for by the search unit 368A in the reference image G2 is determined based on the focus position information.
  • the search unit 368A searches the reference image G2 for a corresponding point corresponding to the reference point Sp1 in the reference image G1, using the SAD calculation method. Thereby, the information processing apparatus 3 works as a corresponding point search apparatus.
  • search unit 368A a corresponding point search process is performed based on the search range determined by search range determination unit 360A.
  • the search unit 368A when one reference point Sp1 is set, as shown in FIG. 14, in the reference image G2, the reference point set while being shifted by a predetermined pixel from one end Ps to the other end Pe.
  • a plurality of reference areas W2A are sequentially set based on Pp1.
  • the predetermined pixel may be, for example, one pixel.
  • the correlation between the region image (also referred to as a reference region image) related to the reference region W1A in the reference image G1 and the region image (also referred to as a reference region image) related to each reference region W2A in the reference image G2 is SAD. It is calculated by correlation calculation using a calculation method.
  • the reference area image related to the reference area W2A having the highest degree of correlation with the reference area image related to the reference area W1A is detected, and the reference point Pp1 defining the reference area W2A is the corresponding point corresponding to the reference point Sp1. Detected.
  • the search unit 368A detects the image data value (also referred to as a reference image data value) of each pixel constituting the reference area image related to the reference area W1A, and detects each pixel constituting the reference area image related to the reference area W2A.
  • An image data value (also referred to as a reference image data value) is detected.
  • the absolute value of the difference between the standard image data value and the reference image data value is calculated for each pixel occupying the same position between the standard region image and the reference region image. Further, all the absolute values of the differences calculated for each pixel are added. At this time, the smaller the value after the addition, the higher the degree of correlation. If the standard area image and the reference area image are substantially the same image, the correlation value approaches 0 as much as possible.
  • FIG. 15 is a flowchart showing the flow of the distance measuring operation in the distance measuring apparatus 100A. This flow can be realized by the control of the control calculation unit 16A, the control unit 26, and the control unit 36, for example.
  • step S21 a focusing operation is performed in the first camera 1 (step S21).
  • step S21 for example, the operation flow shown in FIG. 11 can be executed.
  • in-focus position information indicating the in-focus lens position is transmitted from the control calculation unit 16A to the control unit 26 of the second camera 2 and the information processing device 3, respectively.
  • step S22 the focusing operation of the second camera 2 is performed.
  • the focusing lens 21a is moved to the focusing lens position under the control of the control unit 26.
  • step S23 the first and second focused images G1, G2 are acquired by the first and second cameras 1, 2.
  • step S24 the parallax conversion unit 361A converts the in-focus position information as the in-focus information obtained in step S21 into parallax according to the parallax table 341A.
  • step S25 the standard parallax determining unit 362A sets the first focused image G1 acquired in step S23 as a reference image, and sets the reference point Sp1 in the reference image G1.
  • step S26 the standard parallax determining unit 362A determines the standard parallax related to the reference point Sp1 set in step S25 based on the parallax obtained in step S24.
  • step S27 the upper limit parallax setting unit 370A sets the upper limit parallax that defines the scanning range of the search window in the corresponding point search process based on the parallax obtained in step S24.
  • step S28 the reference area W1A based on the reference point Sp1 set in step S25 is set in the reference image G1 by the reference area setting unit 365A.
  • step S29 the reference collation range setting unit 366A uses the second focused image G2 as a reference image, and in the reference image G2, the set range of the region image to be collated with the standard region image included in the standard region W1A is determined in step S27. Is set based on the upper limit parallax and the position where the parallax is 0 (zero). Thereby, the search range is determined.
  • step S30 the search unit 368A searches the reference image G2 for a corresponding point corresponding to the reference point Sp1 in the reference image G1.
  • the corresponding points are searched by the SAD calculation method.
  • the position of the corresponding point in the reference image G2 and the amount of deviation (also referred to as parallax) between the position of the reference point Sp1 in the reference image G1 and the position of the corresponding point in the reference image G2 are detected.
  • step S31 the distance calculation unit 369 calculates the distance from the first and second cameras 1A and 2 to the portion captured by the reference point Sp1 of the subject based on the search result in step S30. At this time, information indicating the distance related to the reference point Sp1 is stored in the storage unit 34.
  • step S32 the standard parallax determining unit 362A calculates the distance from the first and second cameras 1A, 2 to the subject captured by the reference point Sp1 in the reference image G1 (also referred to as a distance measurement point). Whether or not remains is determined. Here, if the distance measurement point remains, the process returns to step S25, and the processes of steps S25 to S32 are repeated until the distance measurement point remains. If there are no points to be measured, the operation flow ends.
  • the focusing lens 11a serves as a movable part that is movable in the optical axis direction, but is not limited thereto.
  • the imaging unit 14 may serve as a movable unit that can move in the optical axis direction, or both the focusing lens 11a and the imaging unit 14 may be in the optical axis direction. You may play the role as a movable part which can move.
  • the imaging unit 24 may serve as a movable unit that is movable in the optical axis direction, and both the focusing lens 21a and the imaging unit 24 are in the optical axis direction. You may play the role as a movable part which can move.
  • the parallax conversion unit 361 converts the combination of the representative value related to the evaluation value at the time of focusing on the first to ninth image regions A1 to A9 and the focusing position information into parallax.
  • the representative value related to the evaluation value at the time of focusing may be an average value of the evaluation values at the time of focusing on the first to ninth image regions A1 to A9, or may be a maximum value.
  • the search range determination unit 360 the search range when searching for the corresponding point corresponding to each reference point Sp1 is the representative value related to the evaluation value at the time of focusing for the first to ninth image regions A1 to A9. And the in-focus position information.
  • the representative value related to the evaluation value at the time of focusing is, for example, the evaluation at the time of focusing on one or more image areas having a predetermined positional relationship with the reference point Sp1 in the first to ninth image areas A1 to A9. You may obtain
  • the predetermined positional relationship may be a positional relationship within a predetermined distance, for example.
  • the initial parallax determining unit 362 determines the parallax representative values related to the first to ninth image regions A1 to A9 obtained by the parallax converting unit 361 as the initial parallax related to the reference point Sp1. May be.
  • the representative value of the parallax may be an average value of parallax related to the first to ninth image regions A1 to A9, or may be a maximum value, or the top N (N is a natural number) It may be an average value.
  • the average value, the maximum value, or the minimum value may be used as the initial parallax.
  • interpolation using the parallax obtained by the parallax conversion unit 361 for one or more image areas having a predetermined positional relationship with the reference point Sp1 among the first to ninth image areas A1 to A9. Extrapolation, bilinear interpolation, and the like.
  • the predetermined positional relationship may be, for example, a positional relationship within a predetermined distance.
  • the minimum parallax value obtained by the parallax conversion unit 361 for one or more image areas having a predetermined positional relationship with the reference point Sp1 in the first to ninth image areas A1 to A9 is set as the initial parallax.
  • the search range is determined as follows. For example, it is assumed that M image areas (M is an integer of 2 or more) of the first to ninth image areas A1 to A9 satisfy a predetermined positional relationship with the reference point Sp1. In this case, M disparity candidates between the reference point Sp1 in the reference image G1 and the corresponding points in the reference image G2 based on the evaluation value at the time of focusing on the M image regions and the focus position information. Is required.
  • the search range is determined based on the smallest parallax candidate among the M parallax candidates. If such a configuration is adopted, it becomes difficult to set a search range greatly deviating from the corresponding points, so that the corresponding point search accuracy is stabilized.
  • the weight setting unit 367 maintains high contrast up to the highest spatial frequency among the MTFs related to the first to ninth image regions A1 to A9 specified by the function information specifying unit 363.
  • a weighting coefficient may be set for each frequency according to the MTF.
  • a weighting coefficient may be set for each frequency in accordance with the MTF for which is maintained. If such a configuration is adopted, the balance between the improvement in the S / N ratio and the reduction in the amount of information used for computation can be adjusted. That is, the improvement of the search accuracy of the corresponding points by improving the S / N ratio and the speeding up of the search of the corresponding points by reducing the calculation amount can be made more appropriate.
  • nine first to ninth image areas A1 to A9 are set as evaluation value calculation targets in the reference image G1, but the present invention is not limited to this.
  • the image area as an evaluation value calculation target in the reference image G1 may be two or more. Further, there may be one image area as an evaluation value calculation target in the reference image G1.
  • the initial parallax is determined by the parallax conversion unit 361 and the initial parallax determination unit 362 based on the data indicating the evaluation value at the time of focusing, the information before and after the focus, and the focus position information.
  • the standard parallax is determined based on the in-focus position information by the parallax conversion unit 361A and the standard parallax determination unit 362A.
  • the initial parallax or the standard parallax may be determined based on data indicating an evaluation value at the time of focusing and focusing position information.
  • the parallax tables 341 and 341A may be tables that describe the relationship between the combination of the evaluation value at the time of focusing and the focusing position information and the parallax.
  • the first focused image G1 is used as a reference image serving as a reference when searching for corresponding points, and the second focused image G2 searches for corresponding points.
  • the present invention is not limited to this.
  • the first focused image G1 is used as a reference image as the other image to which reference is made when searching for corresponding points
  • the second focused image G2 is a reference image as one image that serves as a reference when searching for corresponding points. It may be said.
  • the reference point Sp1 set in the reference image G2 is included in an image region corresponding to the first to ninth image regions A1 to A9 in the reference image G2, or the first to ninth image regions A1.
  • Information such as whether or not the image area corresponding to .about.A9 has a predetermined positional relationship can be used in the calculation.
  • AF adjustment is performed in the first cameras 1 and 1A, but is not limited thereto.
  • a focusing operation in which the focus is adjusted by a manual operation may be executed.
  • a third camera may be added.
  • the image picked up by the third camera is used as the second reference image, and the corresponding point search process is performed based on the base image and the second reference image, as in the above-described one embodiment and one modification. It may be done. Then, the distance from the three cameras to the subject may be calculated based on the average value of the two parallaxes obtained for one reference point Sp1 by the corresponding point search process.
  • the initial parallax (or the standard disparity)
  • a shift amount (parallax) closer to (parallax) may be employed.
  • the distance from the three cameras to the subject can be calculated based on the adopted amount of deviation (parallax).
  • the third camera is arranged away from the first camera 1 (1A) in a direction different from the direction in which the first camera 1 (1A) and the second camera 2 are separated from each other.
  • a fourth and subsequent cameras may be added. That is, two or more cameras may be provided. According to such a configuration, corresponding points can be searched for a plurality of images with high accuracy and at high speed.
  • the focusing operation is performed in both the first camera 1 (1A) and the second camera 2, but the present invention is not limited to this.
  • the second camera 2 may employ so-called pan focus in which the focus is fixed without performing the focusing operation.
  • the POC calculation method is used in the corresponding point search process.
  • the present invention is not limited to this, and for example, the rotation invariant phase-only correlation method (RIPOC: Rotation ⁇ ⁇ Invariant POC) may be used.
  • the SAD calculation method is used in the corresponding point search process.
  • the present invention is not limited to this.
  • other methods such as SSD (Sum of Squared intensity Difference) calculation method and normalized cross-correlation An arithmetic method may be used.
  • the search process for corresponding points between a set of images of the base image G1 and the reference image G2 is simply performed, but the present invention is not limited to this.
  • a plurality of sets of images having different resolutions are generated for the base image G1 and the reference image G2 to have a hierarchical structure for each resolution, and between the images in each layer from the lower resolution upper layer to the higher resolution lower layer.
  • a process in which the correlation calculation is sequentially performed may be executed for each reference point Sp1.
  • the search range in the next hierarchy is based on the disparity obtained by performing the corresponding point search process similar to that in the above-described embodiment and the modified example for the lowest resolution upper layer. It should just be set.
  • the distance calculation unit 369 is disposed inside the information processing device 3 that functions as a corresponding point search device, but is not limited thereto. .
  • the distance calculation unit 369 may be arranged outside the information processing device 3 that functions as a corresponding point search device.
  • the distance calculation unit 369 may be realized, for example, in another information processing apparatus connected to the information processing apparatus 3 so as to be able to transmit and receive data.
  • the search range of the corresponding points is determined based on the position information from the movable part at the time of focusing of the imaging apparatus, but the present invention is not limited to this.
  • the search range of the corresponding points may be determined based on the prediction information of the focus position from the imaging device at the time of focus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　複数の画像の間で高精度かつ高速に対応点を探索することが出来る技術、ならびに撮像装置から被写体までの距離を高精度かつ高速に算出することができる技術を提供するために、対応点探索装置が、情報取得部と探索部と探索範囲決定部とを備える。情報取得部は、光学系および撮像部の少なくとも一方を含む可動部が移動して被写体に合焦している合焦状態にある第１撮像装置によって該被写体が撮像されて得られる第１画像と、第１撮像装置とは異なる視点から第２撮像装置によって該被写体が撮像されて得られる第２画像と、第１撮像装置が合焦状態にある際における可動部の位置情報とを取得する。探索部は、第１および第２画像のうちの一方画像と他方画像とについて、一方画像内の基準点に対応する対応点を他方画像において探索する。探索範囲決定部は、他方画像のうちの探索部によって対応点が探索される探索範囲を、位置情報に基づいて決定する。

Description

対応点探索装置、および距離測定装置
　本発明は、２以上の画像の間における対応点を探索する技術、ならびに撮像装置から被写体までの距離を測定する技術に関する。
　２つの撮像装置によって同一対象物（被写体）を異なる視点から撮像することで得られた基準画像と参照画像とについて、両画像間における対応点を探索する技術が知られている。この技術では、例えば、ＳＡＤ（Sum of Absolute Difference）演算法等による相関演算が行われることで、相関度に基づいて同一対象物に対する視差が求められる。
　また、例えば、基準画像と参照画像とについて、解像度の異なる複数の画像がそれぞれ生成されて解像度別に階層構造とされ、低解像度の上位層から高解像度の下位層に向かって相関演算が順次に繰り返される処理が知られている。この処理では、低解像度の上位層で得られた視差に基づいて次の階層における探索領域が設定されるため、最高解像度の最下層までの演算処理に要する時間が短縮され得る。
　ところで、対応点の探索処理にＰＯＣ（Phase-Only Correlation）演算法が採用されれば、外乱等に拘わらず、高精度な演算結果が得られることが知られている。但し、ＰＯＣ演算法は、フーリエ変換および位相情報の抽出等を含む演算の処理量が大きく、処理時間の長時間化による作業効率の低下等を招き得る。
　そこで、各点に係る対応点の探索処理において、ＳＡＤ演算法によって大凡の視差が算出され、この大凡の視差に基づいて、ＰＯＣ演算法を用いた演算処理が開始される解像度の層および探索領域の設定が行われる技術が提案されている（例えば、特許文献１等）。この技術では、対応点の探索処理が高精度かつ高速に行われ得る。
特開２００８－２０９２７５号公報
　しかしながら、上記特許文献１の技術では、基準画像と参照画像とについてＳＡＤ演算法を用いて大凡の視差が求められる処理の演算量が比較的大きく、処理時間の長時間化による作業効率の低下等を招き得る。
　また、基準画像および参照画像のうちの少なくとも一方が呆けて不鮮明な画像となると、画像の詳細情報が欠落し、対応点の探索精度が低下し得る。このような問題は、被写体中に撮像装置からの距離が短い対象物から長い対象物まで幅広く含まれる場合に、顕著と成り得る。
　本発明は、上記課題に鑑みてなされたものであり、複数の画像の間で高精度かつ高速に対応点を探索することが出来る技術、ならびに撮像装置から被写体までの距離を高精度かつ高速に算出することができる技術を提供することを目的とする。
　上記課題を解決するために、第１の態様に係る対応点探索装置は、光学系および撮像部のうちの少なくとも一方を含む可動部が移動して被写体に合焦している合焦状態にある第１撮像装置によって該被写体が撮像されて得られる第１画像、前記第１撮像装置とは異なる視点から第２撮像装置によって該被写体が撮像されて得られる第２画像、および前記第１撮像装置が前記合焦状態にある際における前記可動部の位置情報を取得する情報取得部と、前記第１画像および前記第２画像のうちの一方画像と他方画像とについて、前記一方画像内の基準点に対応する対応点を前記他方画像において探索する探索部と、前記他方画像のうちの前記探索部によって前記対応点が探索される探索範囲を、前記位置情報に基づいて決定する探索範囲決定部と、を備える。
　第２の態様に係る対応点探索装置は、第１の態様に係る対応点探索装置であって、前記第１撮像装置と、前記第２撮像装置と、を更に備える。
　第３の態様に係る対応点探索装置は、第１または第２の態様に係る対応点探索装置であって、前記第１撮像装置が前記合焦状態にある際に前記撮像部によって得られる合焦画像のデータを用いて、該合焦画像内の１以上の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値を算出する評価値算出部、を更に備え、前記探索範囲決定部が、前記位置情報と前記合焦時の評価値とに基づいて、前記探索範囲を決定する。
　第４の態様に係る対応点探索装置は、第３の態様に係る対応点探索装置であって、前記評価値算出部が、前記可動部が複数の位置に順次に配置されている各状態において前記撮像部によってそれぞれ得られる複数の画像のデータを用いて、前記第１撮像装置の前記被写体に対する合焦度合いを示す複数の評価値をそれぞれ算出し、前記複数の評価値に基づいて前記可動部を移動させることで、前記第１撮像装置を前記合焦状態に設定する合焦制御部、を更に備える。
　第５の態様に係る対応点探索装置は、第３または第４の態様に係る対応点探索装置であって、前記合焦時の評価値と前記光学系に係る光学伝達関数の情報との関係を示す関係情報から、前記評価値算出部によって算出される前記合焦時の評価値に対応する光学伝達関数の情報を特定する関数情報特定部、を更に備え、前記探索部が、前記一方画像のうちの前記基準点を包含する基準領域に係る周波数成分と、前記他方画像のうちの参照領域に係る周波数成分とに基づき、前記対応点を探索する探索処理を行い、該探索処理において、前記関数情報特定部で特定される前記光学伝達関数の情報に応じて、周波数毎に重み付けを施して演算を行い、前記探索範囲が、前記他方画像内の前記参照領域を含む。
　第６の態様に係る対応点探索装置は、第５の態様に係る対応点探索装置であって、前記評価値算出部が、前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、前記関数情報特定部が、前記関係情報から、各前記画像領域について前記評価値算出部によって算出される各前記合焦時の評価値にそれぞれ対応する光学伝達関数の情報を特定し、前記探索部が、前記探索処理において、前記複数の画像領域のうちの前記基準点と所定の位置関係を有する少なくとも１つの画像領域について前記関数情報特定部で特定される光学伝達関数の情報に応じて、周波数毎に前記重み付けを施す。
　第７の態様に係る対応点探索装置は、第６の態様に係る対応点探索装置であって、前記所定の位置関係が、前記基準点から所定距離内である位置関係を含み、前記少なくとも１つの画像領域が、２以上の画像領域を含み、前記探索部が、前記探索処理において、前記２以上の画像領域について前記関数情報特定部によってそれぞれ特定される光学伝達関数の情報のうち、最も高周波まで高いコントラストが維持される光学伝達関数の情報に応じて、周波数毎に重み付けを施す。
　第８の態様に係る対応点探索装置は、第３の態様に係る対応点探索装置であって、前記合焦時の評価値と前記光学系に係る光学伝達関数の情報との関係を示す関係情報から、前記評価値算出部によって算出される前記合焦時の評価値に対応する光学伝達関数の情報を特定する関数情報特定部、を更に備え、前記探索部が、前記一方画像のうちの前記基準点を包含する基準領域に係る周波数成分と、前記他方画像のうちの参照領域に係る周波数成分とに基づき、前記対応点を探索し、前記探索範囲が、前記他方画像のうちの前記参照領域を含み、前記探索範囲決定部が、前記関数情報特定部で特定される前記光学伝達関数の情報に応じて前記基準領域および前記参照領域のサイズを決定する。
　第９の態様に係る対応点探索装置は、第３から第５の何れか１つの態様に係る対応点探索装置であって、前記評価値算出部が、前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、前記探索範囲決定部が、前記探索範囲を、前記複数の画像領域のうちの前記基準点と所定の位置関係を有する少なくとも１つの画像領域について前記評価値算出部によって算出される前記合焦時の評価値と、前記位置情報とに基づいて決定する。
　第１０の態様に係る対応点探索装置は、第９の態様に係る対応点探索装置であって、前記所定の位置関係が、前記基準点から所定距離内である位置関係を含み、前記少なくとも１つの画像領域が、２以上の画像領域を含み、前記探索範囲決定部が、前記２以上の画像領域について前記評価値算出部によってそれぞれ算出される各前記合焦時の評価値と前記位置情報とに基づいて、前記一方画像における前記基準点と前記他方画像における前記対応点との間における２以上の視差候補を求め、該２以上の視差候補のうちの最小の視差候補に基づいて、前記探索範囲を決定する。
　第１１の態様に係る対応点探索装置は、第３から第５の何れか１つの態様に係る対応点探索装置であって、前記評価値算出部が、前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、前記探索範囲決定部が、前記探索範囲を、前記複数の画像領域について前記評価値算出部によって算出される複数の前記合焦時の評価値に係る代表値と、前記位置情報とに基づいて決定する。
　第１２の態様に係る距離測定装置は、第１から第１１の何れか１つの態様に係る対応点探索装置と、前記対応点探索装置の内部または外部に配置され、前記一方画像における前記基準点の位置と前記他方画像における前記対応点の位置とのずれ量と、前記第１および第２撮像装置の設定に係るパラメータとに基づいて、前記第１および第２撮像装置から前記被写体のうちの前記基準点で捉えられている部分までの距離を算出する距離算出部と、を備える。
　第１から第１１の何れの態様に係る対応点探索装置によっても、撮像装置の合焦時における可動部の位置情報に基づいて対応点の探索範囲が決定されるため、複数の画像の間で高精度かつ高速に対応点が探索され得る。
　第３の態様に係る対応点探索装置によれば、撮像装置の合焦度合いと合焦時における可動部の位置情報とに基づいて対応点の探索範囲が決定されるため、探索範囲がより適正化され得る。その結果、複数の画像の間で更に高精度かつ高速に対応点が探索され得る。
　第４の態様に係る対応点探索装置によれば、汎用のオートフォーカス調節の機能を有する撮像装置が用いられても、複数の画像の間で対応点が高精度かつ高速に探索され得る。従って、例えば、対応点探索装置の製造コストの低減ならびに小型化が図られ得る。
　第５の態様に係る対応点探索装置によれば、Ｓ／Ｎ比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。
　第６の態様に係る対応点探索装置によれば、画一的でなく、基準点が位置する領域毎に、Ｓ／Ｎ比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。
　第７の態様に係る対応点探索装置によれば、Ｓ／Ｎ比の改善と演算に使用する情報量の低減とのバランスが調整され得る。すなわち、Ｓ／Ｎ比の改善による対応点の探索精度の向上と、演算量の低減による対応点の探索の高速化とがより適正化され得る。
　第８の態様に係る対応点探索装置によれば、情報量の確保によって対応点の探索精度の維持が図られ得る。
　第９の態様に係る対応点探索装置によれば、画一的でなく、基準点が位置する領域毎に探索範囲がより適正に決定され得る。その結果、領域毎に情報量の確保による対応点の探索精度の維持が適正に図られ得る。
　第１０の態様に係る対応点探索装置によれば、対応点から大きく外れた探索範囲が設定され難くなるため、対応点の探索精度が安定する。
　第１１の態様に係る対応点探索装置によれば、演算量の低減により、複数の画像の間で高速に対応点が探索され得る。
　第１２の態様に係る距離測定装置によれば、複数の画像の間で高精度かつ高速に対応点が探索され得る結果、撮像装置から被写体までの距離が高精度かつ高速に算出され得る。
図１は、一実施形態および一変形例に係る距離測定装置の構成例を示す図である。 図２は、一実施形態に係る距離測定装置の機能的な構成を例示するブロック図である。 図３は、一画像のうちの評価値が算出される領域を例示する図である。 図４は、ＭＴＦに係る空間周波数とコントラストとの関係を例示するグラフである。 図５は、基準画像に対する基準点の設定態様を例示する図である。 図６は、基準画像に対する基準領域の設定態様を例示する図である。 図７は、参照画像に対する参照領域の設定態様を例示する図である。 図８は、一実施形態に係る対応点の探索処理における演算フローを例示する図である。 図９は、ＰＯＣ値の分布を例示する図である。 図１０は、一実施形態に係る距離測定動作のフローを例示するフローチャートである。 図１１は、合焦動作の動作フローを例示するフローチャートである。 図１２は、一変形例に係る距離測定装置の機能的な構成を示すブロック図である。 図１３は、基準画像に対する基準領域の設定態様を例示する図である。 図１４は、参照画像に対する参照領域の設定態様を例示する図である。 図１５は、一変形例に係る距離測定動作のフローを例示するフローチャートである。
　以下、本発明の一実施形態を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構造のサイズおよび位置関係等は正確に図示されたものではない。
　＜（１）距離測定装置の概略構成＞
　図１は、一実施形態に係る距離測定装置１００の概略構成を示す図である。距離測定装置１００は、第１カメラ１と第２カメラ２と情報処理装置３とを備えている。
　第１カメラ１と第２カメラ２とが、通信回線Ｌ１２を介してデータ伝送可能に接続されている。また、第１カメラ１が通信回線Ｌ１を介して情報処理装置３に対してデータ伝送可能に接続され、第２カメラ２が通信回線Ｌ２を介して情報処理装置３に対してデータ伝送可能に接続されている。通信回線Ｌ１，Ｌ２，Ｌ１２は、有線回線および無線回線の何れであっても良い。
　第１および第２カメラ１，２は、被写体を撮像することで画像をそれぞれ取得する撮像装置である。これらの第１および第２カメラ１，２は、一方向に並んで配置されている。ここで、一方向は、例えば、水平方向であれば良い。一方向が水平方向である場合、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが水平方向に離隔配置されている。そして、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸との離隔距離が、第１および第２カメラ１，２に係る基線長である。
　また、第１および第２カメラ１，２は、例えば、カメラの正面に位置する被写体を、同じタイミングで相互に異なる視点から撮像する。第１および第２カメラ１，２によって同じタイミングで撮像される２つの画像は、いわゆるステレオ画像である。つまり、ステレオ画像は、第１カメラ１の撮像によって取得される画像（第１画像とも言う）と、第２カメラ２の撮像によって取得される画像（第２画像とも言う）とを含む。第１画像に係るデータＭａと第２画像に係るデータＭｂは、第１および第２カメラ１，２から通信回線Ｌ１，Ｌ２を介して情報処理装置３に送信され得る。
　情報処理装置３は、例えば、パーソナルコンピュータ（パソコン）であれば良く、操作部３１、表示部３２、インターフェース（Ｉ／Ｆ）部３３、記憶部３４、入出力（Ｉ／Ｏ）部３５、および制御部３６を備えている。
　操作部３１は、例えば、マウスおよびキーボードを含む。表示部３２は、例えば、液晶ディスプレイを含む。Ｉ／Ｆ部３３は、例えば、第１および第２カメラ１，２と情報処理装置３との間におけるデータの授受を行う。記憶部３４は、例えば、ハードディスク等を含み、プログラムＰＧおよび各種データを格納する。Ｉ／Ｏ部３５は、例えば、ディスクドライブを備え、光ディスク等の記憶媒体４を受け付けて該記憶媒体４と制御部３６との間におけるデータの授受を行う。制御部３６は、例えば、プロセッサーとして働くＣＰＵ３６ａ、および情報を一時的に記憶するメモリ３６ｂ等を含む。なお、制御部３６は、記憶部３４内のプログラムＰＧを読み込んで実行することで、各種機能および情報処理等を実現する。
　なお、本実施形態では、説明を簡素化するために、第１および第２カメラ１，２の収差が良好に補正されており、且つ第１および第２カメラ１，２は、略平行（好ましくは完全に平行）に設定されている。つまり、第１および第２カメラ１，２の光軸が略平行（好ましくは完全に平行）に設定され、第１および第２画像で捉えられた被写体は、第１および第２画像の外縁に対して略同一の角度関係（好ましくは完全に同一の角度関係）を有する。但し、実際の第１および第２カメラ１，２が、このような条件にない場合は、画像処理によって同等の条件で撮像されたものと同視されるステレオ画像に変換されれば良い。
　＜（２）距離測定装置の機能的な構成＞
　図２は、本実施形態に係る距離測定装置１００の主要部の機能的な構成を示すブロック図である。図２では、第１および第２カメラ１，２から被写体までの距離を測定する動作（距離測定動作とも言う）に係る機能的な構成が示されている。
　　＜（２－１）第１カメラの機能的な構成＞
　第１撮像装置としての第１カメラ１は、光学系１１、駆動部１２、位置検出部１３、撮像部１４、評価値算出部１５、制御演算部１６、およびインターフェース（Ｉ／Ｆ）部１７を備えている。
　光学系１１は、例えば、複数の光学レンズを含む。複数の光学レンズは、ガラスまたはプラスチックス等によって形成された光学部材である。また、複数の光学レンズは、第１カメラ１の本体に対して光学系１１の光軸方向に移動可能である可動部としての１以上の光学レンズを含む。そして、可動部としての１以上の光学レンズ（合焦用レンズとも言う）１１ａが、駆動部１２の駆動力によって移動することで、被写体に対して合焦し得る。
　駆動部１２は、例えば、圧電素子等を用いたアクチュエーターであれば良い。駆動部１２は、制御演算部１６からの制御信号に応じて駆動力を発生し、合焦用レンズ１１ａを光軸方向に移動させる。第１カメラ１において自動焦点調節（ＡＦ調節とも言う）が行われる際には、駆動部１２によって合焦用レンズ１１ａが合焦用の複数の位置（ＡＦ用位置とも言う）に順次に配置される。これにより、第１カメラ１が被写体に合焦する際の合焦用レンズ１１ａの位置が検出される。複数のＡＦ用位置には、例えば、合焦用レンズ１１ａの可動範囲のうちの初期位置から一方向に向かって該合焦用レンズ１１ａが所定距離ずつ移動した位置が含まれる。ここで、初期位置は、例えば、合焦用レンズ１１ａの可動範囲の一端であれば良く、一方向は、例えば、合焦用レンズ１１ａの可動範囲の一端から他端に向かう方向であれば良い。
　位置検出部１３は、例えば、電磁センサー等であれば良い。位置検出部１３は、合焦用レンズ１１ａの可動範囲のうちの該合焦用レンズ１１ａの光軸方向における位置を検出する。位置検出部１３で検出される合焦用レンズ１１ａの位置を示す情報（位置情報とも言う）は、制御演算部１６に送出される。
　撮像部１４は、例えば、ＣＣＤ等の撮像素子を含む。該撮像部１４は、光学系１１を介して被写体からの光を受光し、該被写体を撮像することで、該被写体を捉えている第１画像を取得する。
　具体的には、撮像部１４は、第１カメラ１においてＡＦ調節が行われる際、駆動部１２によって合焦用レンズ１１ａが複数のＡＦ用位置に順次に配置されている各状態において、該被写体を撮像して、複数のＡＦ調整用の画像（ＡＦ用画像とも言う）を取得する。また、撮像部１４は、第１カメラ１が該被写体に合焦している状態（合焦状態とも言う）において該被写体を撮像することで、該被写体を捉えている画像（第１合焦画像とも言う）を取得する。なお、撮像部１４で取得されたＡＦ用画像および第１合焦画像を含む第１画像のデータは、評価値算出部１５および制御演算部１６に送出される。
　評価値算出部１５は、例えば、専用の電子回路で構成されても良いし、ソフトウェアがプロセッサーで実行されることで機能的に実現されても良い。評価値算出部１５は、第１画像のデータを用いて、第１カメラ１が被写体に合焦している度合い（合焦度合いとも言う）を示す評価値を算出する。該評価値は、例えば、コントラストを示す値（コントラスト値とも言う）であれば良い。コントラスト値は、例えば、ハイパスフィルタ、検波回路、および積分回路として機能するデジタルフィルタによって第１画像のデータの高周波成分が抽出され、該高周波成分の信号の正負の成分が同一方向に揃えられて積分されることで算出され得る。
　そして、評価値算出部１５では、例えば、図３で示されるように、第１画像Ｇ１に含まれる所定数の複数の領域についてそれぞれ評価値が算出される。ここでは、所定数が９に設定され、第１画像Ｇ１の中央付近の第１～９画像領域Ａ１～Ａ９について評価値がそれぞれ算出されるものとする。
　具体的には、ＡＦ調節が行われる際、評価値算出部１５は、各ＡＦ用画像のデータに基づいて、各画像領域Ａ１～Ａ９についての評価値をそれぞれ算出する。このとき、例えば、評価値算出部１５は、各ＡＦ用画像のデータに対し、第１～９画像領域Ａ１～Ａ９についての複数の評価値から所定ルールでＡＦ調節用の評価値（ＡＦ用評価値とも言う）をそれぞれ算出する。ここで、所定ルールは、例えば、第１～９画像領域Ａ１～Ａ９についての複数の評価値の平均値を算出するルールであれば良い。また、評価値算出部１５は、第１合焦画像のデータを用いて、第１合焦画像に含まれる各画像領域Ａ１～Ａ９について、評価値（合焦時の評価値とも言う）をそれぞれ算出する。
　制御演算部１６は、例えば、専用の電子回路で構成されても良いし、ソフトウェアがプロセッサーで実行されることで機能的に実現されても良い。合焦制御部としての制御演算部１６は、いわゆる山登り方式のＡＦ調節を行う。具体的には、ＡＦ調節が行われる際、制御演算部１６は、評価値算出部１５で算出された複数のＡＦ用評価値に基づいて、合焦用レンズ１１ａを移動させることで、第１カメラ１を合焦状態に設定する。
　詳細には、制御演算部１６は、位置検出部１３から合焦用レンズ１１ａの位置情報を取得しつつ、合焦用レンズ１１ａを移動させることで、合焦用レンズ１１ａを複数のＡＦ用位置まで順次に移動させる。このとき、制御演算部１６は、合焦用レンズ１１ａが各ＡＦ用位置まで移動された際に、評価値算出部１５からＡＦ用評価値を取得することで、位置情報毎にＡＦ用評価値を取得する。ここで、制御演算部１６では、例えば、各ＡＦ用評価値がコントラスト値であれば、該コントラスト値のピークに対応する合焦用レンズ１１ａの位置（合焦レンズ位置とも言う）が算出される。そして、制御演算部１６の制御によって、合焦用レンズ１１ａが合焦レンズ位置に移動させられることで、第１カメラ１が合焦状態に設定され得る。
　さらに、制御演算部１６は、第１カメラ１が合焦状態に設定されている際に、第１～９画像領域Ａ１～Ａ９毎のそれぞれが前ピント状態にあるのか、後ピント状態にあるのかを判定する処理（ピント状態判定処理とも言う）を行う。ここで、前ピント状態とは、第１カメラ１の焦点が被写体よりも近景にある状態を言い、後ピント状態とは、第１カメラ１の焦点が被写体よりも遠景にある状態を言う。制御演算部１６では、例えば、ＡＦ調節が行われる際に、各ＡＦ用位置に合焦用レンズ１１ａが配置されている各状態において取得されたＡＦ用画像の第１～９画像領域Ａ１～Ａ９についてそれぞれ算出された評価値に基づき、第１カメラ１が合焦状態にある時の第１～９画像領域Ａ１～Ａ９のそれぞれのピント状態判定処理が行われる。
　また、制御演算部１６は、評価値算出部１５から第１～９画像領域Ａ１～Ａ９に係る合焦時の評価値を示すデータを受け取り、撮像部１４から第１合焦画像のデータを受け取る。そして、制御演算部１６は、第１～９画像領域Ａ１～Ａ９に係る合焦時の評価値を示すデータ、ピント状態判定処理の判定結果を示す情報（ピント前後情報とも言う）、および第１合焦画像のデータをＩ／Ｆ部１７を介して情報処理装置３に送出する。また、制御演算部１６は、合焦レンズ位置の情報（合焦位置情報とも言う）を、Ｉ／Ｆ部１７を介して第２カメラ２および情報処理装置３に送出する。
　　＜（２－２）第２カメラの機能的な構成＞
　第２撮像装置としての第２カメラ２は、光学系２１、駆動部２２、位置検出部２３、撮像部２４、制御部２６、およびインターフェース（Ｉ／Ｆ）部２７を備えている。
　光学系２１は、例えば、光学系１１と同様な構成を有する。具体的には、光学系２１では、可動部としての１以上の光学レンズ（合焦用レンズ）２１ａが、駆動部２２の駆動力によって移動することで、被写体に対して合焦し得る。
　駆動部２２は、例えば、駆動部１２と同様に、圧電素子等を用いたアクチュエーターであれば良い。駆動部２２は、制御部２６からの制御信号に応じて駆動力を発生し、合焦用レンズ２１ａを光軸方向に移動させる。
　位置検出部２３は、例えば、位置検出部１３と同様に、電磁センサー等であれば良い。位置検出部２３は、合焦用レンズ２１ａの可動範囲のうちの該合焦用レンズ２１ａの光軸方向における位置を検出する。位置検出部２３で検出される合焦用レンズ２１ａの位置を示す情報（位置情報）は、制御部２６に送出される。
　撮像部２４は、撮像部１４と同様に、例えば、ＣＣＤ等の撮像素子を含む。該撮像部２４は、光学系２１を介して被写体からの光を受光し、該被写体を撮像することで、該被写体を捉えている第２画像を取得する。具体的には、撮像部２４は、第２カメラ２が該被写体に合焦している合焦状態において、該被写体を撮像することで、該被写体を捉えている画像（第２合焦画像とも言う）を取得する。なお、撮像部２４で取得された第２合焦画像のデータは、制御部２６に送出される。
　制御部２６は、例えば、専用の電子回路で構成されても良いし、ソフトウェアがプロセッサーで実行されることで機能的に実現されても良い。制御部２６は、Ｉ／Ｆ部２７を介して第１カメラ１から合焦位置情報を取得する。そして、制御部２６は、位置検出部２３から得られる位置情報を参照しつつ、駆動部２２を制御して、合焦用レンズ２１ａを、第１カメラ１の合焦位置情報に応じた合焦レンズ位置まで移動させる。これにより、第２カメラ２が合焦状態に設定され得る。
　また、制御部２６は、撮像部２４から第２合焦画像のデータを受け取る。そして、制御部２６は、第２合焦画像のデータをＩ／Ｆ部２７を介して情報処理装置３に送出する。
　　＜（２－３）情報処理装置の機能的な構成＞
　上述したように、情報処理装置３は、Ｉ／Ｆ部３３、記憶部３４、および制御部３６を備えている。
　図２で示されるように、Ｉ／Ｆ部３３は、第１および第２カメラ１，２から情報を取得する部分（情報取得部とも言う）として働く。例えば、Ｉ／Ｆ部３３は、第１合焦画像のデータ、第１～９画像領域Ａ１～Ａ９に係る合焦時の評価値を示すデータ、およびピント前後情報と、合焦位置情報とを第１カメラ１から取得し、第２合焦画像のデータを第２カメラ２から取得する。そして、Ｉ／Ｆ部３３は、第１および第２合焦画像のデータ、第１カメラ１から入力される第１～９画像領域Ａ１～Ａ９に係る合焦時の評価値を示すデータ、ピント前後情報、および合焦位置情報を制御部３６に送出する。
　記憶部３４は、例えば、視差テーブル３４１、関数テーブル３４２、およびサイズ変換式３４３を格納している。
　視差テーブル３４１は、第１カメラ１の合焦に係る合焦情報と、視差との関係が記述されているテーブルである。ここで、合焦情報は、例えば、第１カメラ１についての合焦位置情報と、第１～９画像領域Ａ１～Ａ９についての合焦時の評価値を示すデータおよびピント前後情報との組合せを示す情報であれば良い。また、視差は、第１合焦画像と第２合焦画像との間において、被写体の同じ部分を捉えた位置のズレ量に対応する。
　視差テーブル３４１は、例えば、第１および第２カメラ１，２の光学的な設計値を用いた光学シミュレーションによって予め求められ得る。該視差テーブル３４１は、例えば、実験によっても予め求められ得る。該実験では、例えば、第１および第２カメラ１，２と被写体との位置関係が既知である場合に、合焦情報が実際に得られることで、視差テーブル３４１の情報が求められ得る。
　関数テーブル３４２は、空間伝達関数に含まれるＭＴＦ（Modulation Transfer Function）を示すテーブルである。該ＭＴＦは、レンズ性能を評価する指標のひとつであり、レンズの結像性能を知るために、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したもので、図４に例示するように、横軸に空間周波数をとり、縦軸にコントラストをとって表す。一般的に、低周波（図４のグラフの左側）のコントラストが高いほどヌケの良いレンズであり、高周波（図４のグラフの右側）のコントラストが高いほど高解像なレンズといえる。
　また、関数テーブル３４２には、合焦時の評価値毎に、ＭＴＦを示す情報が記述されている。つまり、関数テーブル３４２には、合焦時の評価値と光学系１１，２１に係る光学伝達関数の情報としてのＭＴＦとの関係を示す情報（関係情報とも言う）が記述されている。そして、関数テーブル３４２は、例えば、第１および第２カメラ１，２の光学的な設計値を用いた光学シミュレーションによって予め求められ得る。
　サイズ変換式３４３は、ＭＴＦのカットオフ周波数を、対応点の探索範囲を規定するウインドウ（探索ウインドウとも言う）のサイズに変換するための式である。ここで、ＭＴＦのカットオフ周波数は、図４で示されるようなＭＴＦにおいて、空間周波数が高くなるにつれてコントラストが減少し、所定のコントラストを下回る空間周波数のことを言う。例えば、カットオフ周波数がｆとされ、所定の定数がｋとされ、正方形の探索ウインドウの一辺の長さがＬとされると、サイズ変換式３４３は、Ｌ＝（ｋ／ｆ）を示す。
　なお、カットオフ周波数の単位は、（１／画素）である。また、コントラストの最大値（最大コントラスト値とも言う）が１であれば、所定のコントラストは、例えば、最大コントラスト値に所定数を乗じた値であれば良い。所定値は、例えば、０．５、０．６，０．８の何れであっても良い。なお、サイズ変換式３４３は、ＭＴＦのカットオフ周波数と、探索ウインドウのサイズとが関連付けられた情報が記述されているテーブルであっても良い。
　制御部３６は、機能的な構成として、視差変換部３６１、初期視差決定部３６２、関数情報特定部３６３、サイズ設定部３６４、基準領域設定部３６５、参照領域設定部３６６、重み付け設定部３６７、探索部３６８、および距離算出部３６９を備えている。
　視差変換部３６１は、視差テーブル３４１に従って、合焦情報を視差に変換する。視差変換部３６１では、視差テーブル３４１から、第１カメラ１から得た合焦情報に対応する視差が認識される。
　初期視差決定部３６２は、各画像領域Ａ１～Ａ９について、視差変換部３６１によって認識された視差に基づいて、第１合焦画像Ｇ１と第２合焦画像Ｇ２との間についての対応点の検索処理における視差の初期値（初期視差とも言う）を決定する。
　具体的には、まず、第１合焦画像Ｇ１が対応点を探索する際の基準となる一方画像（基準画像とも言う）とされ、図５で示されるように、該基準画像Ｇ１に対応点を探索する際の基準となる画素（基準点とも言う）Ｓｐ１が設定される。なお、基準点Ｓｐ１として、例えば、基準画像Ｇ１の左上の画素が最初に設定され、基準画像Ｇ１に含まれる全画素が順次に設定される態様が考えられる。
　次に、基準点Ｓｐ１が、基準画像Ｇ１における第１～９画像領域Ａ１～Ａ９に含まれる場合、第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１が含まれる画像領域について視差変換部３６１で得られた視差が基準点Ｓｐ１に係る初期視差として決定される。つまり、第１カメラ１の合焦位置だけでなく、第１～９画像領域Ａ１～Ａ９の各々についてのピント前後情報も加味して初期視差が決定される。なお、基準点Ｓｐ１が、第１～９画像領域Ａ１～Ａ９の境界近傍に位置する場合、例えば、第１～９画像領域Ａ１～Ａ９のうちの該境界に接する複数の画像領域について視差変換部３６１で得られた視差の最小値または最大値が、初期視差として決定されても良い。一方、基準点Ｓｐ１が、第１～９画像領域Ａ１～Ａ９に含まれていない場合、例えば、第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１から最も近い画像領域について視差変換部３６１で得られた視差が、基準点Ｓｐ１に係る初期視差として決定される。
　関数情報特定部３６３は、関数テーブル３４２から、合焦時の評価値に対応する光学伝達関数の情報としてのＭＴＦを特定する。ここでは、例えば、第１～９画像領域Ａ１～Ａ９に係る合焦時の評価値から求まる評価値の代表値に対応するＭＴＦ（代表ＭＴＦとも言う）が特定される。ここで、評価値の代表値は、例えば、第１～９画像領域Ａ１～Ａ９に係る合焦時の評価値についての平均値であっても良いし、上位Ｎ個の平均値であっても良い。また、関数情報特定部３６３は、例えば、各第ｎ画像領域Ａｎ（ｎは１～９の整数）について、合焦時の評価値に対応する第ｎのＭＴＦを特定しても良い。
　サイズ設定部３６４は、関数情報特定部３６３で特定されたＭＴＦに応じて、探索ウインドウのサイズを設定する。探索ウインドウには、基準領域設定部３６５で設定される基準領域と、参照領域設定部３６６で設定される参照領域とが含まれる。サイズ設定部３６４では、例えば、代表ＭＴＦのカットオフ周波数とサイズ変換式３４３とに基づいて探索ウインドウのサイズが設定され得る。これにより、ＭＴＦに応じて不足し得る情報量が、ＭＴＦに応じた探索ウインドウのサイズの設定によって確保され、対応点の探索精度の維持が図られ得る。
　なお、サイズ設定部３６４では、上述した第ｎのＭＴＦのカットオフ周波数とサイズ変換式３４３とに基づいて、各画像領域Ａｎについて探索ウインドウのサイズが設定されても良い。例えば、基準点Ｓｐ１が第ｎ画像領域Ａｎに含まれる場合、該第ｎ画像領域Ａｎについて特定された第ｎのＭＴＦのカットオフ周波数とサイズ変換式３４３とに基づいて、第ｎ画像領域Ａｎについての探索ウインドウのサイズが設定され得る。また、例えば、基準点Ｓｐ１が第１～９画像領域Ａ１～Ａ９の境界近傍に位置する場合、第１～９画像領域Ａ１～Ａ９のうちの該境界に接する複数の画像領域について特定されたＭＴＦのカットオフ周波数とサイズ変換式３４３とに基づいて、探索ウインドウのサイズが設定され得る。この場合、例えば、該境界に接する複数の画像領域について特定されたＭＴＦのカットオフ周波数のうちの最小値または最大値とサイズ変換式３４３とに基づいて、探索ウインドウのサイズが設定され得る。また、例えば、基準点Ｓｐ１が、第１～９画像領域Ａ１～Ａ９に含まれていない場合、第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１から最も近い第ｎ画像領域Ａｎについて特定されたＭＴＦのカットオフ周波数とサイズ変換式３４３とに基づいて、探索ウインドウのサイズが設定され得る。
　基準領域設定部３６５は、基準画像Ｇ１に基準となる探索ウインドウ（基準領域とも言う）を設定する。具体的には、図６で示されるように、基準点Ｓｐ１が基準とされて該基準点Ｓｐ１を包含する基準領域Ｗ１が設定される。ここで、基準領域Ｗ１のサイズは、サイズ設定部３６４で設定されたものであれば良い。また、基準領域Ｗ１は、例えば、基準点Ｓｐ１を中心として設定されれば良い。この場合、基準点Ｓｐ１によって基準領域Ｗ１が規定される。
　参照領域設定部３６６は、第２合焦画像Ｇ２を対応点の探索時に参照する他方画像（参照画像とも言う）とし、該参照画像Ｇ２に参照の対象を規定する探索ウインドウ（参照領域とも言う）を設定する。具体的には、図７で示されるように、参照画像Ｇ２に対応点の探索時において参照の基準となる画素（参照点とも言う）Ｐｐ１が設定される。そして、図７で示されるように、参照点Ｐｐ１が基準とされて該参照点Ｐｐ１を包含する参照領域Ｗ２が設定される。
　ここで、参照画像Ｇ２における参照点Ｐｐ１の位置と、基準画像Ｇ１における基準点Ｓｐ１の位置とのズレ量は、初期視差決定部３６２によって決定された初期視差に基づいて設定される。例えば、該ズレ量と初期視差とが一致すれば良い。また、参照領域Ｗ２のサイズは、基準領域Ｗ１のサイズと同様にサイズ設定部３６４で設定されたものであれば良い。更に、参照領域Ｗ２は、例えば、参照点Ｐｐ１を中心として設定されれば良い。この場合、参照点Ｐｐ１によって参照領域Ｗ２が規定される。
　そして、参照領域Ｗ２は、探索部３６８によって基準点Ｓｐ１に対応する対応点が参照画像Ｇ２において探索される範囲（探索範囲とも言う）となる。このため、該探索範囲が、視差変換部３６１、初期視差決定部３６２、サイズ設定部３６４、および参照領域設定部３６６によって、合焦情報に基づいて決定される。すなわち、視差変換部３６１、初期視差決定部３６２、サイズ設定部３６４、および参照領域設定部３６６が、探索範囲を決定する部分（探索範囲決定部とも言う）３６０として働く。また、初期視差決定部３６２により、各基準点Ｓｐ１の対応点を検索する際の探索範囲が、第１～９画像領域Ａ１～Ａ９のうちの各基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域に係る合焦時の評価値と合焦位置情報とに基づいて決定され得る。ここで、所定の位置関係は、例えば、第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１から最も近い位置関係であれば良い。
　重み付け設定部３６７は、関数情報特定部３６３で特定されたＭＴＦに応じて、空間周波数毎に重み付け係数を設定する。ここでは、例えば、第１～９画像領域Ａ１～Ａ９のうちの各基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域について特定されたＭＴＦに応じて、空間周波数毎に重み付け係数が設定されれば良い。ここで、所定の位置関係は、例えば、第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１が含まれる位置関係か、または最も近い位置関係であれば良い。そして、ここでは、例えば、ＭＴＦにおける各空間周波数のコントラストが、それぞれ対応する空間周波数の重み付け係数として設定され得る。
　探索部３６８は、基準画像Ｇ１内の基準点Ｓｐ１に対応する対応点を参照画像Ｇ２において探索する。探索部３６８では、位相限定相関（ＰＯＣ）演算法が用いられて、基準領域Ｗ１に含まれる領域画像に係る周波数成分と、参照領域Ｗ２に係る周波数成分とに基づいて、基準点Ｓｐ１に対応する対応点が探索される。これにより、情報処理装置３が対応点探索装置として働く。なお、探索部３６８では、対応点の探索処理において、重み付け設定部３６７によって設定された周波数毎の重み付け係数により、周波数毎に重み付けが施される。
　この重み付けにより、対応点の探索処理において、ＭＴＦにおいてコントラストが低くなる空間周波数に係る演算が探索結果に及ぼす影響が小さくなる。その結果、Ｓ／Ｎ比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。また、第１～９画像領域Ａ１～Ａ９のうちの各基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域について特定されたＭＴＦに応じて、空間周波数毎に重み付け係数が設定されれば、基準点Ｓｐ１が位置する領域毎に、対応点の探索処理がより適正化される。すなわち、画一的でなく、基準点Ｓｐ１が位置する領域毎に、Ｓ／Ｎ比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。
　ここで、探索部３６８におけるＰＯＣ演算法が用いられた対応点の探索処理について説明する。この対応点の探索処理では、画像パターンの周波数分解信号のうち、振幅成分を抑制した位相成分の信号を用いて、画像間における相関度（類似度）を示す数値を求める相関演算が行われる。
　図８は、ＰＯＣ演算法を用いた対応点の探索処理を説明するための図である。
　ここでは、基準領域Ｗ１および参照領域Ｗ２は、それぞれＸ方向に沿って所定数Ｎ１の画素が配列され、Ｙ方向に沿って所定数Ｎ２の画素が配列される画像領域として取り扱われる。そして、これらの画像領域については、次の数１で表されるものとする。
Figure JPOXMLDOC01-appb-M000001
　ここで、上記の数１におけるｆ(ｎ１,ｎ２)は、基準領域Ｗ１に含まれる領域画像（基準領域画像とも言う）を示し、上記の数１におけるｇ(ｎ１,ｎ２)は、参照領域Ｗ２に含まれる領域画像（参照領域画像とも言う）を示す。また、Ｎ１およびＮ２は、例えば、Ｎ１＝２Ｍ１＋１、Ｎ２＝２Ｍ２＋１と設定される。
　そして、まず、基準領域Ｗ１に含まれる基準領域画像と参照領域Ｗ２に含まれる参照領域画像とに対し、次の数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。
Figure JPOXMLDOC01-appb-M000002
　なお、上記の数２の但し書におけるＷの添字Ｐには、Ｎ１，Ｎ２が代入され、またｋの添字ｓには、１、２が代入される。なお、（ｋ１,ｋ２）は、２次元の空間周波数を示す。
　このようなフーリエ変換処理Ｃ１１，Ｃ２１が施された各領域画像に対しては、次の数３で示される演算式を用いて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。
Figure JPOXMLDOC01-appb-M000003
　規格化処理Ｃ１２，Ｃ２２が完了すると、次の数４で示される演算式を用いた合成処理Ｃ３が行われる。数４で示されるＷｔ（ｋ１,ｋ２）は、重み付け設定部３６７で設定された空間周波数（ｋ１,ｋ２）に対応する重み付け係数である。つまり、数４で示される演算式を用いた重み付け処理Ｃ４が行われる。
Figure JPOXMLDOC01-appb-M000004
　その後、数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ５が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果（ＰＯＣ値）が出力される。
Figure JPOXMLDOC01-appb-M000005
　以上の処理により、基準領域Ｗ１に係る基準領域画像と参照領域Ｗ２に係る参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図９で示されるような結果（ＰＯＣ値）が得られる。
　図９では、Ｘ方向に沿って所定数Ｎ１の画素が配列され、Ｙ方向に沿って所定数Ｎ２の画素が配列される矩形の画像領域において相関が高い箇所のＰＯＣ値が大きくなる。そして、参照領域Ｗ２に係る参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、参照画像Ｇ２において基準点Ｓｐ１に対応した対応点である。
　なお、ＰＯＣ値は、離散的に求められる。このため、隣接画素間で補間演算を行い、ピークＪｃの位置が１画素のサイズよりも細かいサブピクセルのサイズで推定されれば、更に細かく対応点の検出が行われ得る。補間演算の手法としては、離散的に求められたＰＯＣ値の分布から放物線の関数が求められる手法等が考えられる。
　このようなＰＯＣ演算法を用いた対応点の探索処理により、探索部３６８では、参照画像Ｇ２における対応点の位置、ならびに基準画像Ｇ１における基準点Ｓｐ１の位置と参照画像Ｇ２における対応点の位置とのズレ量（視差とも言う）が検出される。
　距離算出部３６９は、探索部３６８による探索結果に基づいて、第１および第２カメラ１，２から被写体のうちの基準点Ｓｐ１で捉えられている部分までの距離を算出する。具体的には、該距離は、基準画像Ｇ１における基準点Ｓｐ１の位置と、参照画像Ｇ２における対応点の位置とのズレ量と、第１および第２カメラ１，２の内部パラメータおよび外部パラメータとに基づいて、三角測量の技術が用いられて算出される。ここで、内部パラメータには、例えば、光学系１１，２１の焦点距離、画像中心、および撮像部１４，２４の傾き等を示すパラメータが含まれる。また、外部パラメータには、例えば、第１カメラ１と第２カメラ２との位置関係および姿勢の関係等を示すパラメータが含まれる。
　＜（３）距離測定動作＞
　図１０および図１１は、距離測定装置１００における距離測定動作のフローの一例を示すフローチャートである。本フローは、例えば、制御演算部１６、制御部２６、および制御部３６の制御によって実現され得る。
　まず、ステップＳ１では、第１カメラ１が被写体に対して合焦する動作（合焦動作とも言う）が行われる。本ステップＳ１では、例えば、図１１で示される動作フローが実行され得る。
　図１１で示される動作フローでは、まず、制御演算部１６の制御によって、合焦用レンズ１１ａが初期位置に設定される（ステップＳ１０１）。次に、撮像部１４によって第１画像が取得される（ステップＳ１０２）。次に、ステップＳ１０２で取得された第１画像について評価値算出部１５によって第１～９画像領域Ａ１～Ａ９毎の評価値が算出され、それに基づいてＡＦ用評価値が算出される（ステップＳ１０３）。次に、制御演算部１６の制御によって合焦用レンズ１１ａが一方向に所定距離移動する（ステップＳ１０４）。次に、撮像部１４によって第１画像が取得される（ステップＳ１０５）。次に、ステップＳ１０５で取得された第１画像について評価値算出部１５によって第１～９画像領域Ａ１～Ａ９毎の評価値が算出され、それに基づいてＡＦ用評価値が算出される（ステップＳ１０６）。
　次に、制御演算部１６によって、ステップＳ１０３およびステップＳ１０６で算出されたＡＦ用評価値に基づき、ＡＦ用評価値がピークを越えたか否かが判定される（ステップＳ１０７）。ここでは、ＡＦ用評価値がピークを越えるまで、ステップＳ１０４～Ｓ１０７の処理が繰り返される。一方、ＡＦ用評価値がピークを越えれば、制御演算部１６によって、該ピークに対応する合焦レンズ位置が算出される。このとき、制御演算部１６から第２カメラ２の制御部２６および情報処理装置３に対して合焦レンズ位置を示す合焦位置情報がそれぞれ伝送される。そして、制御演算部１６の制御によって、合焦用レンズ１１ａが合焦レンズ位置まで移動される（ステップＳ１０９）。これにより、ステップＳ１の合焦動作が完了する。以上が、いわゆる山登り方式のＡＦ調節である。
　ステップＳ２では、第２カメラ２の合焦動作が行われる。ここでは、制御部２６の制御によって、合焦用レンズ２１ａが第１カメラ１の合焦位置情報に応じた合焦レンズ位置まで移動される。なお、ステップＳ２は、上述したステップＳ１０９と並行して実行されてもよい。
　ステップＳ３では、第１および第２カメラ１，２によって、第１および第２合焦画像Ｇ１，Ｇ２が取得される。
　ステップＳ４では、評価値算出部１５によって、ステップＳ３で取得された第１合焦画像Ｇ１の各画像領域Ａ１～Ａ９について、合焦時の評価値がそれぞれ算出される。
　ステップＳ５では、制御演算部１６によって、ピント状態判定処理が行われる。このピント状態判定処理では、例えば、ステップＳ１のステップＳ１０３およびＳ１０６の演算で取得された各ＡＦ用画像の第１～９画像領域Ａ１～Ａ９についてそれぞれ算出された評価値に基づいて、第１～９画像領域Ａ１～Ａ９のそれぞれが前ピント状態にあるのか後ピント状態にあるのかの判定が実行され得る。
　ステップＳ６では、視差変換部３６１によって、視差テーブル３４１に従い、各画像領域Ａ１～Ａ９についての合焦情報が視差に変換される。
　ステップＳ７では、初期視差決定部３６２によって、ステップＳ３で取得された第１合焦画像Ｇ１が基準画像とされ、該基準画像Ｇ１に基準点Ｓｐ１が設定される。
　ステップＳ８では、初期視差決定部３６２によって、ステップＳ６で得られた視差に基づいて、ステップＳ７で設定された基準点Ｓｐ１に係る初期視差が決定される。
　ステップＳ９では、関数情報特定部３６３によって、関数テーブル３４２から、ステップＳ４で算出された合焦時の評価値に対応するＭＴＦが特定される。
　ステップＳ１０では、サイズ設定部３６４によって、ステップＳ９で特定されたＭＴＦに応じて、検索ウインドウのサイズが設定される。
　ステップＳ１１では、重み付け設定部３６７によって、ステップＳ９で特定されたＭＴＦに応じて、空間周波数毎に重み付け係数が設定される。
　ステップＳ１２では、基準領域設定部３６５によって、ステップＳ７で設定された基準点Ｓｐ１が基準とされ、ステップＳ１０で設定された検索ウインドウのサイズに応じた基準領域Ｗ１が基準画像Ｇ１に設定される。
　ステップＳ１３では、参照領域設定部３６６によって、第２合焦画像Ｇ２が参照画像とされ、該参照画像Ｇ２に参照領域Ｗ２が設定される。ここでは、基準画像Ｇ１におけるステップＳ７で設定された基準点Ｓｐ１の位置と、ステップＳ８で決定された初期視差とに基づいて、参照画像Ｇ２に参照点Ｐｐ１が設定される。そして、該参照点Ｐｐ１が基準とされ、ステップＳ１０で設定された検索ウインドウのサイズに応じた参照領域Ｗ２が参照画像Ｇ２に設定される。
　ステップＳ１４では、探索部３６８によって、基準画像Ｇ１内の基準点Ｓｐ１に対応する対応点が参照画像Ｇ２において探索される。ここでは、例えば、ステップＳ１１で設定された重み付け係数が用いられたＰＯＣ演算法による対応点の探索が行われる。このステップＳ１４の処理により、参照画像Ｇ２における対応点の位置、ならびに基準画像Ｇ１における基準点Ｓｐ１の位置と参照画像Ｇ２における対応点の位置とのズレ量（視差とも言う）が検出される。
　ステップＳ１５では、距離算出部３６９によって、ステップＳ１４における探索結果に基づいて、第１および第２カメラ１，２から被写体のうちの基準点Ｓｐ１で捉えられている部分までの距離が算出される。このとき、この基準点Ｓｐ１に係る距離を示す情報が、記憶部３４に記憶される。
　ステップＳ１６では、初期視差決定部３６２によって、基準画像Ｇ１において、第１および第２カメラ１，２から基準点Ｓｐ１で捉えられた被写体までの距離を算出すべき点（被測距点とも言う）が残っているか否かが判定される。ここでは、被測距点が残っていれば、ステップＳ７に戻り、被測距点の残りがなくなるまで、ステップＳ７～Ｓ１６の処理が繰り返される。そして、被測定点が残っていなければ、本動作フローが終了される。
　＜（４）一実施形態のまとめ＞
　以上のように、一実施形態に係る対応点探索装置としての情報処理装置３では、第１カメラ１の合焦時における合焦用レンズ１１ａの位置情報（合焦位置情報）に基づいて対応点の探索範囲が決定される。ここでは、ＡＦ調節によって第１カメラ１から被写体までの大凡の距離が分かっていることが利用されて、対応点の探索範囲が絞られる。このため、基準画像Ｇ１と参照画像Ｇ２との間で高精度かつ高速に対応点が探索され得る。そして、距離測定装置１００では、複数の画像の間で高精度かつ高速に対応点が探索され得る結果、第１および第２カメラ１，２から被写体までの距離が高精度かつ高速に算出され得る。
　また、第１カメラ１の合焦度合いを示す合焦時の評価値と合焦位置情報とに基づいて対応点の探索範囲が決定されることにより、探索範囲がより適正化され得る。
　また、第１カメラ１として、山登り方式のＡＦ調節を行う撮像装置が採用され得る。これにより、汎用のＡＦ調節の機能を有する撮像装置が利用されて、基準画像Ｇ１と参照画像Ｇ２との間で高精度かつ高速に対応点が探索され得る。その結果、情報処理装置３および距離測定装置１００の製造コストの低減ならびに小型化が図られ得る。
　また、基準画像Ｇ１の第１～９画像領域Ａ１～Ａ９について合焦時の評価値が算出される。そして、第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域に係る合焦時の評価値およびピント前後情報と、合焦時における合焦用レンズ１１ａの位置情報とに基づいて対応点の探索範囲が決定される。これにより、画一的でなく、基準点が位置する領域毎に探索範囲がより適正に決定され得る。その結果、領域毎に対応点の探索処理の演算に用いられる情報量が確保され、対応点の探索精度の維持が適正に図られ得る。
　さらに、対応点の探索処理において、第１カメラ１の合焦情報から特定されるＭＴＦに応じて周波数毎に重み付けが施される。ここでは、合焦情報に基づいて特定されるＭＴＦによって対応点の探索範囲に含まれる周波数成分が大凡分かる。そこで、対応点の探索処理において、ＭＴＦに応じて周波数毎に重み付けが施される。その結果、Ｓ／Ｎ比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。つまり、対応点の探索処理におけるロバスト性の向上と高速化とが図られ得る。
　＜（５）変形例＞
　なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
　◎例えば、上記一実施形態では、第１カメラ１に係る合焦情報に、第１カメラ１についての合焦位置情報と、第１～９画像領域Ａ１～Ａ９についての合焦時の評価値を示すデータおよびピント前後情報との組合せを示す情報が含まれたが、これに限られない。例えば、第１カメラ１に係る合焦情報に、第１～９画像領域Ａ１～Ａ９についての合焦時の評価値およびピント前後情報の少なくとも一方が含まれなくても良い。また、例えば、ＭＴＦに応じた検索ウインドウのサイズの設定、およびＭＴＦに応じた周波数毎の重み付けの少なくとも一方が行われなくても良い。また、例えば、ＰＯＣ演算法を用いた対応点の探索処理の代わりに、ＳＡＤ演算法等の他の演算を用いた対応点の探索処理が行われても良い。
　ここで、ＭＴＦに応じた検索ウインドウのサイズの設定、およびＭＴＦに応じた周波数毎の重み付けの双方が行われず、ＳＡＤ演算法を用いた対応点の探索処理が行われる一変形例に係る距離測定装置１００Ａについて説明する。
　　＜（５－１）一変形例＞
　図１２は、一変形例に係る距離測定装置１００Ａの機能的な構成を示すブロック図である。図１２では、第１および第２カメラ１Ａ，２から被写体までの距離を測定する距離測定動作に係る機能的な構成が示されている。
　一変形例に係る距離測定装置１００Ａは、上記一実施形態に係る距離測定装置１００のうち、第１カメラ１、記憶部３４に記憶されるプログラムＰＧおよび情報、および制御部３６で実現される機能的な構成が変更されたものである。
　具体的には、距離測定装置１００Ａでは、第１カメラ１が、評価値算出部１５および制御演算部１６の代わりに評価値算出部１５Ａおよび制御演算部１６Ａを備える第１カメラ１Ａに置換されている。また、記憶部３４に、プログラムＰＧの代わりにプログラムＰＧＡが記憶され、関数テーブル３４２とサイズ変換式３４３とが記憶されず、視差テーブル３４１の代わりに視差テーブル３４１Ａが記憶されている。また、探索範囲決定部３６０が、視差変換部３６１Ａ、標準視差決定部３６２Ａ、上限視差設定部３７０Ａ、および参照照合範囲設定部３６６Ａを備える探索範囲決定部３６０Ａに変更されている。また、基準領域設定部３６５および探索部３６８が、基準領域設定部３６５Ａおよび探索部３６８Ａに変更されている。
　以下、一変形例に係る距離測定装置１００Ａのうち、上記一実施形態に係る距離測定装置１００と異なる部分について主に説明する。
　評価値算出部１５Ａは、上記一実施形態に係る評価値算出部１５と比較して、図３で示される第１～９画像領域Ａ１～Ａ９からなる画像領域の全体について、被写体に対する第１カメラ１Ａの合焦度合いを示す評価値を算出する点で異なる。
　合焦制御部としての制御演算部１６Ａは、上記一実施形態に係る制御演算部１６と同様に、いわゆる山登り方式のＡＦ調節を行う。但し、制御演算部１６Ａは、ピント状態判定処理を行わず、評価値算出部１５Ａから第１～９画像領域Ａ１～Ａ９毎の合焦時の評価値を示すデータを受け取らない点で、上記一実施形態に係る制御演算部１６と異なる。このため、制御演算部１６Ａが情報処理装置３に送出する第１カメラ１Ａに係る合焦情報には、第１～９画像領域Ａ１～Ａ９についての合焦時の評価値およびピント前後情報が含まれず、合焦位置情報が含まれる。
　視差テーブル３４１Ａは、上記一実施形態に係る視差テーブル３４１と同様に、第１カメラ１Ａに係る合焦情報と視差との関係が記述されているテーブルである。但し、視差テーブル３４１Ａの合焦情報は、第１～９画像領域Ａ１～Ａ９についての合焦時の評価値およびピント前後情報が含まれず、合焦位置情報が含まれていれば良い点で、上記一実施形態に係る視差テーブル３４１と異なる。なお、視差テーブル３４１Ａは、上記一実施形態に係る視差テーブル３４１と同様に、例えば、第１および第２カメラ１Ａ，２の光学的な設計値を用いた光学シミュレーションまたは実験によって予め求められ得る。
　視差変換部３６１Ａは、視差テーブル３４１Ａに従って、第１カメラ１Ａに係る合焦情報としての合焦位置情報を視差に変換する。視差変換部３６１Ａでは、視差テーブル３４１Ａから、第１カメラ１Ａに係る合焦位置情報に対応する視差が認識される。
　標準視差決定部３６２Ａは、視差変換部３６１Ａによって得られた視差に基づいて、第１合焦画像Ｇ１と第２合焦画像Ｇ２との間における対応点の検索処理についての標準の視差（標準視差とも言う）を決定する。標準視差決定部３６２Ａでは、例えば、第１合焦画像Ｇ１が基準画像とされ、図１３で示されるように、該基準画像Ｇ１に基準点Ｓｐ１が設定され、視差変換部３６１Ａで認識された視差が、そのまま標準視差として決定されれば良い。
　このような構成であれば、上記一実施形態に係る距離測定装置１００のように、第１～９画像領域Ａ１～Ａ９毎に合焦時の評価値およびピント前後情報等が得られなくても、標準視差が決定され得る。これにより、汎用のＡＦ調節の機能を有する撮像装置に殆ど別の機能を加えることなく、標準視差が決定され得る。その結果、第１カメラ１Ａおよび距離測定装置１００Ａの製造コストの低減ならびに小型化が図られ得る。
　上限視差設定部３７０Ａは、ＳＡＤ演算法を用いた対応点の探索処理における検索ウインドウの走査範囲を規定する視差の上限（上限視差とも言う）を設定する。上限視差は、例えば、標準視差決定部３６２Ａによって設定された標準視差に所定の余地を加えたものであれば良い。所定の余地は、例えば、所定の画素数等の固定の値であっても良いし、標準視差に所定値を乗じることで得られる標準視差に比例して増加する値であっても良い。
　基準領域設定部３６５Ａは、基準画像Ｇ１に基準となる探索ウインドウ（基準領域とも言う）Ｗ１Ａを設定する。具体的には、図１３で示されるように、基準点Ｓｐ１が基準とされて該基準点Ｓｐ１を包含する基準領域Ｗ１Ａが設定される。ここで、基準領域Ｗ１Ａは、例えば、Ｘ方向に沿って所定数Ｎ１の画素が配列され、Ｙ方向に沿って所定数Ｎ２の画素が配列される画像領域であれば良い。なお、基準領域Ｗ１Ａは、基準点Ｓｐ１によって規定され、例えば、基準点Ｓｐ１を中心として設定されれば良い。
　参照照合範囲設定部３６６Ａは、第２合焦画像Ｇ２を参照画像とし、参照画像Ｇ２において、基準領域Ｗ１Ａに含まれる基準領域画像と照合される領域画像の設定範囲を設定する。具体的には、基準領域Ｗ１Ａと同サイズの参照領域Ｗ２Ａのサイズが設定され、参照画像Ｇ２において参照領域Ｗ２Ａを規定する参照点Ｐｐ１が設定される範囲の一端Ｐｓと他端Ｐｅとが設定される。
　ここで、参照画像Ｇ２において参照領域Ｗ２Ａが走査される方向は、第１カメラ１Ａの撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが離隔されている方向に対応する方向であれば良く、例えば、水平方向に対応するＸ方向であれば良い。また、参照画像Ｇ２において参照領域Ｗ２Ａが走査される範囲の一端Ｐｓは、例えば、上限視差に基づいて設定される。具体的には、一端Ｐｓは、例えば、参照画像Ｇ２における一端Ｐｓの位置と、基準画像Ｇ１における基準点Ｓｐ１の位置とのズレ量が、上限視差と一致するように設けられる。また、他端Ｐｅは、例えば、参照画像Ｇ２における他端Ｐｅの位置と、基準画像Ｇ１における基準点Ｓｐ１の位置とが一致する、つまり視差が０（ゼロ）となるように設けられる。
　これにより、基準点Ｓｐ１に対応する対応点を参照画像Ｇ２において検索する際に、参照画像Ｇ２において参照領域Ｗ２Ａが設定される範囲が決定される。つまり、参照画像Ｇ２が検索ウインドウである参照領域Ｗ２Ａで走査される範囲が決定される。
　このようにして、探索範囲決定部３６０Ａでは、参照画像Ｇ２のうちの探索部３６８Ａによって対応点が探索される探索範囲が、合焦位置情報に基づいて決定される。
　探索部３６８Ａは、ＳＡＤ演算法を用いて、基準画像Ｇ１内の基準点Ｓｐ１に対応する対応点を参照画像Ｇ２において探索する。これにより、情報処理装置３が対応点探索装置として働く。探索部３６８Ａでは、探索範囲決定部３６０Ａで決定された探索範囲に基づいて、対応点の探索処理が行われる。
　詳細には、探索部３６８Ａでは、一基準点Ｓｐ１が設定されている場合、図１４で示されるように、参照画像Ｇ２において一端Ｐｓから他端Ｐｅにかけて所定画素ずつずらされつつ設定される参照点Ｐｐ１が基準とされて複数の参照領域Ｗ２Ａが順次に設定される。ここで、所定画素は、例えば、１画素であれば良い。そして、基準画像Ｇ１のうちの基準領域Ｗ１Ａに係る領域画像（基準領域画像とも言う）と、参照画像Ｇ２のうちの各参照領域Ｗ２Ａに係る領域画像（参照領域画像とも言う）の相関度がＳＡＤ演算法を用いた相関演算によって算出される。このとき、基準領域Ｗ１Ａに係る基準領域画像に対する相関度が最も高かった参照領域Ｗ２Ａに係る参照領域画像が検出され、該参照領域Ｗ２Ａを規定する参照点Ｐｐ１が基準点Ｓｐ１に対応する対応点として検出される。
　ここで、ＳＡＤ演算法を用いた相関演算の具体的手法について説明する。まず、探索部３６８Ａでは、基準領域Ｗ１Ａに係る基準領域画像を構成する各画素の画像データ値（基準画像データ値とも言う）が検出され、参照領域Ｗ２Ａに係る参照領域画像を構成する各画素の画像データ値（参照画像データ値とも言う）が検出される。そして、基準領域画像と参照領域画像との間で、同一位置を占める各画素について、基準画像データ値と参照画像データ値との差の絶対値が算出される。更に、各画素について算出された差の絶対値が全て加算される。このとき、加算後の値が小さければ小さいほど相関度が高く、基準領域画像と参照領域画像とが略同一画像であれば、限りなく０に近づく。
　図１５は、距離測定装置１００Ａにおける距離測定動作のフローを示すフローチャートである。本フローは、例えば、制御演算部１６Ａ、制御部２６、および制御部３６の制御によって実現され得る。
　まず、第１カメラ１において合焦動作が行われる（ステップＳ２１）。本ステップＳ２１では、例えば、図１１で示される動作フローが実行され得る。このとき、制御演算部１６Ａから第２カメラ２の制御部２６および情報処理装置３に対して合焦レンズ位置を示す合焦位置情報がそれぞれ伝送される。
　ステップＳ２２では、第２カメラ２の合焦動作が行われる。ここでは、ステップＳ２１で得られた合焦位置情報に基づいて、制御部２６の制御により合焦用レンズ２１ａが合焦レンズ位置まで移動される。
　ステップＳ２３では、第１および第２カメラ１，２によって、第１および第２合焦画像Ｇ１，Ｇ２が取得される。
　ステップＳ２４では、視差変換部３６１Ａによって、視差テーブル３４１Ａに従い、ステップＳ２１で得られた合焦情報としての合焦位置情報が視差に変換される。
　ステップＳ２５では、標準視差決定部３６２Ａによって、ステップＳ２３で取得された第１合焦画像Ｇ１が基準画像とされ、該基準画像Ｇ１に基準点Ｓｐ１が設定される。
　ステップＳ２６では、標準視差決定部３６２Ａによって、ステップＳ２４で得られた視差に基づき、ステップＳ２５で設定された基準点Ｓｐ１に係る標準視差が決定される。
　ステップＳ２７では、上限視差設定部３７０Ａによって、ステップＳ２４で得られた視差に基づき、対応点の探索処理における検索ウインドウの走査範囲を規定する上限視差が設定される。
　ステップＳ２８では、基準領域設定部３６５Ａによって、ステップＳ２５で設定された基準点Ｓｐ１が基準とされた基準領域Ｗ１Ａが基準画像Ｇ１に設定される。
　ステップＳ２９では、参照照合範囲設定部３６６Ａによって、第２合焦画像Ｇ２を参照画像とし、参照画像Ｇ２において、基準領域Ｗ１Ａに含まれる基準領域画像と照合される領域画像の設定範囲が、ステップＳ２７で設定された上限視差と視差が０（ゼロ）の位置とに基づいて設定される。これにより、探索範囲が決定される。
　ステップＳ３０では、探索部３６８Ａによって、基準画像Ｇ１内の基準点Ｓｐ１に対応する対応点が参照画像Ｇ２において探索される。ここでは、ステップＳ２９で決定された探索範囲に基づいて、ＳＡＤ演算法による対応点の探索が行われる。このステップＳ３０の処理により、参照画像Ｇ２における対応点の位置、ならびに基準画像Ｇ１における基準点Ｓｐ１の位置と参照画像Ｇ２における対応点の位置とのズレ量（視差とも言う）が検出される。
　ステップＳ３１では、距離算出部３６９によって、ステップＳ３０における探索結果に基づいて、第１および第２カメラ１Ａ，２から被写体のうちの基準点Ｓｐ１で捉えられている部分までの距離が算出される。このとき、該基準点Ｓｐ１に係る距離を示す情報が、記憶部３４に記憶される。
　ステップＳ３２では、標準視差決定部３６２Ａによって、基準画像Ｇ１において、第１および第２カメラ１Ａ，２から基準点Ｓｐ１で捉えられた被写体までの距離を算出すべき点（被測距点とも言う）が残っているか否かが判定される。ここでは、被測距点が残っていれば、ステップＳ２５に戻り、被測距点の残りがなくなるまで、ステップＳ２５～Ｓ３２の処理が繰り返される。そして、被測定点が残っていなければ、本動作フローが終了される。
　　＜（５－２）その他の変形例＞
　◎上記一実施形態および一変形例では、合焦用レンズ１１ａが光軸方向に移動可能である可動部としての役割を果たしたが、これに限られない。例えば、合焦用レンズ１１ａの代わりに、撮像部１４が光軸方向に移動可能である可動部としての役割を果たしても良いし、合焦用レンズ１１ａおよび撮像部１４の双方が光軸方向に移動可能である可動部としての役割を果たしても良い。また、合焦用レンズ２１ａの代わりに、撮像部２４が光軸方向に移動可能である可動部としての役割を果たしても良いし、合焦用レンズ２１ａおよび撮像部２４の双方が光軸方向に移動可能である可動部としての役割を果たしても良い。
　◎また、上記一実施形態では、視差変換部３６１において、第１～９画像領域Ａ１～Ａ９についての合焦時の評価値に係る代表値と合焦位置情報との組合せが視差に変換されても良い。ここで、合焦時の評価値に係る代表値とは、第１～９画像領域Ａ１～Ａ９についての合焦時の評価値の平均値であっても良いし、最大値であっても良い。この場合、探索範囲決定部３６０では、各基準点Ｓｐ１にそれぞれ対応する対応点を探索する際における探索範囲が、第１～９画像領域Ａ１～Ａ９についての合焦時の評価値に係る代表値と、合焦位置情報とに基づいて決定され得る。
　また、合焦時の評価値に係る代表値が、例えば、第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域についての合焦時の評価値を用いた内挿、外挿、および双一次補間等の演算によって求められても良い。なお、所定の位置関係は、例えば、所定距離以内の位置関係等であれば良い。
　このような構成が採用されれば、演算量の低減により、基準画像Ｇ１と参照画像Ｇ２との間で高速に対応点が探索され得る。
　◎また、上記一実施形態では、初期視差決定部３６２において、視差変換部３６１で得られた第１～９画像領域Ａ１～Ａ９に係る視差の代表値が、基準点Ｓｐ１に係る初期視差として決定されても良い。ここで、視差の代表値とは、第１～９画像領域Ａ１～Ａ９に係る視差の平均値であっても良いし、最大値であっても良いし、上位Ｎ個（Ｎは自然数）の平均値であっても良い。
　また、初期視差決定部３６２により、基準画像Ｇ１において第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域について視差変換部３６１で得られた視差の平均値、最大値または最小値が、初期視差とされても良い。また、初期視差が、例えば、第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域について視差変換部３６１で得られた視差を用いた内挿、外挿、および双一次補間等の演算によって求められても良い。ここで、所定の位置関係は、例えば、所定距離以内の位置関係等であれば良い。
　特に、第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域について視差変換部３６１で得られた視差の最小値が、初期視差とされる場合、次のように探索範囲が決定されていることになる。例えば、第１～９画像領域Ａ１～Ａ９のうちのＭ個（Ｍは２以上の整数）の画像領域が基準点Ｓｐ１と所定の位置関係を満たすものとする。この場合、該Ｍ個の画像領域に係る合焦時の評価値と合焦位置情報とに基づいて、基準画像Ｇ１における基準点Ｓｐ１と参照画像Ｇ２における対応点との間におけるＭ個の視差候補が求められる。そして、該Ｍ個の視差候補のうちの最小の視差候補に基づいて、探索範囲が決定される。このような構成が採用されれば、対応点から大きく外れた探索範囲が設定され難くなるため、対応点の探索精度が安定する。
　◎また、上記一実施形態では、重み付け設定部３６７において、関数情報特定部３６３で特定された第１～９画像領域Ａ１～Ａ９に係るＭＴＦのうち、最も高い空間周波数まで高いコントラストが維持されるＭＴＦに応じて周波数毎に重み付け係数が設定されても良い。更に、第１～９画像領域Ａ１～Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する２以上の画像領域について関数情報特定部３６３で特定されたＭＴＦのうち、最も高い空間周波数まで高いコントラストが維持されるＭＴＦに応じて周波数毎に重み付け係数が設定されても良い。このような構成が採用されれば、Ｓ／Ｎ比の改善と演算に使用する情報量の低減とのバランスが調整され得る。すなわち、Ｓ／Ｎ比の改善による対応点の探索精度の向上と、演算量の低減による対応点の探索の高速化とがより適正化され得る。
　◎また、上記一実施形態では、基準画像Ｇ１に９つの第１～９画像領域Ａ１～Ａ９が評価値の算出対象として設定されたが、これに限られない。例えば、基準画像Ｇ１における評価値の算出対象としての画像領域は、２以上であれば良い。更に、基準画像Ｇ１における評価値の算出対象としての画像領域は、１つであっても良い。
　◎また、上記一実施形態では、視差変換部３６１と初期視差決定部３６２とによって、合焦時の評価値を示すデータ、ピント前後情報、および合焦位置情報に基づき、初期視差が決定された。また、上記一変形例では、視差変換部３６１Ａと標準視差決定部３６２Ａとによって、合焦位置情報に基づき、標準視差が決定された。しかしながら、これに限られない。例えば、合焦時の評価値を示すデータおよび合焦位置情報に基づき、初期視差または標準視差が決定されても良い。この場合、視差テーブル３４１，３４１Ａは、合焦時の評価値および合焦位置情報の組合せと、視差との関係が記述されているテーブルであれば良い。
　◎また、上記一実施形態および一変形例では、第１合焦画像Ｇ１が対応点を探索する際の基準となる一方画像としての基準画像とされ、第２合焦画像Ｇ２が対応点を探索する際に参照する他方画像としての参照画像とされたが、これに限られない。例えば、第１合焦画像Ｇ１が対応点を探索する際に参照する他方画像としての参照画像とされ、第２合焦画像Ｇ２が対応点を探索する際の基準となる一方画像としての基準画像とされても良い。この場合、例えば、基準画像Ｇ２に設定される基準点Ｓｐ１が、基準画像Ｇ２のうちの第１～９画像領域Ａ１～Ａ９に対応する画像領域に含まれるか、該第１～９画像領域Ａ１～Ａ９に対応する画像領域と所定の位置関係を有するか否か等の情報が演算で利用され得る。
　◎また、上記一実施形態および一変形例では、第１カメラ１，１ＡにおいてＡＦ調節が行われたが、これに限られない。例えば、第１カメラ１，１Ａにおいて、マニュアル操作によって焦点の調節が行われる合焦動作が実行されても良い。
　◎また、上記一実施形態および一変形例では、２つのカメラが設けられたが、これに限られない。例えば、３台目のカメラが追加されても良い。この場合、３台目のカメラで撮像された画像を第２の参照画像とし、基準画像と第２の参照画像とに基づき、上記一実施形態および一変形例と同様に対応点の探索処理が行われても良い。そして、対応点の探索処理によって一基準点Ｓｐ１について求められる２つの視差の平均値に基づいて、３台のカメラから被写体までの距離が算出されても良い。
　また、基準画像Ｇ１における基準点Ｓｐ１と参照画像Ｇ２における対応点とのズレ量、および基準画像Ｇ１における基準点Ｓｐ１と第２の参照画像における対応点とのズレ量のうち、初期視差（または標準視差）に近い方のズレ量（視差）が採用されても良い。この場合、採用されたズレ量（視差）に基づいて、３台のカメラから被写体までの距離が算出され得る。ここで、３台目のカメラは、第１カメラ１（１Ａ）と第２カメラ２とが離隔されている方向とは異なる方向に、第１カメラ１（１Ａ）から離隔されて配置されれば、被写体の形状に拘わらず、３台のカメラから被写体までの距離の算出におけるロバスト性が向上し得る。なお、４台目以降のカメラが追加されても良い。すなわち、２台以上のカメラが設けられれば良い。このような構成によれば、複数の画像について高精度かつ高速に対応点が探索され得る。
　◎また、上記一実施形態および一変形例では、第１カメラ１（１Ａ）および第２カメラ２の双方において合焦動作が行われたが、これに限られない。例えば、第２カメラ２では、合焦動作が行われずに、焦点が固定である所謂パンフォーカスが採用されても良い。これにより、第１および第２カメラ１（１Ａ），２から被写体までの距離の算出精度が低下するが、構成の簡略化によって、距離測定装置１００，１００Ａの製造コストの低減ならびに小型化が図られ得る。
　◎また、上記一実施形態では、対応点の探索処理においてＰＯＣ演算法が用いられたが、これに限られず、例えば、回転不変位相限定相関法（RIPOC：Rotation Invariant POC）が用いられても良い。また、上記一変形例では、対応点の探索処理においてＳＡＤ演算法が用いられたが、これに限られず、例えば、ＳＳＤ（Sum of Squared intensity Difference）演算法および正規化相互相関法等のその他の演算法が用いられても良い。
　◎また、上記一実施形態および一変形例では、基準画像Ｇ１と参照画像Ｇ２との一組の画像の間における対応点の探索処理が単純に行われたが、これに限られない。例えば、基準画像Ｇ１と参照画像Ｇ２とについて解像度の異なる複数組の画像が生成されて解像度別に階層構造とされ、低解像度の上位層から高解像度の下位層に向かって各階層の両画像間における相関演算が順次に行われる処理が各基準点Ｓｐ１について実行されても良い。そして、当該処理においては、例えば、最も低解像度の上位層について上記一実施形態および一変形例と同様な対応点の探索処理が行われて得られた視差に基づき、次の階層における探索範囲が設定されるようにすれば良い。
　◎また、上記一実施形態および一変形例の距離測定装置１００，１００Ａでは、距離算出部３６９が、対応点探索装置として働く情報処理装置３の内部に配置されていたが、これに限られない。例えば、距離算出部３６９が、対応点探索装置として働く情報処理装置３の外部に配置されていても良い。この場合、距離算出部３６９は、例えば、情報処理装置３とデータ送受信可能に接続される別の情報処理装置において実現されれば良い。
　◎また、上記一実施形態および一変形例では、撮像装置の合焦時における可動部からの位置情報に基づいて対応点の探索範囲が決定されるとしたが、それに限られるものではなく、非合焦時の撮像装置からの合焦位置の予測情報に基づいて対応点の探索範囲を決定しても良い。この場合、撮像装置では、いわゆる山登り方式のＡＦ調節ではなく、例えば位相差方式等の合焦位置の予測が可能な方式でのＡＦ調節が行われればよい。
　◎なお、上記一実施形態ならびに各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
　１，１Ａ　第１カメラ
　２　第２カメラ
　３　情報処理装置
　１００，１００Ａ　距離測定装置
　１１，２１　光学系
　１１ａ，２１ａ　合焦用レンズ
　１２，２２　駆動部
　１３，２３　位置検出部
　１４，２４　撮像部
　１５，１５Ａ　評価値算出部
　１６，１６Ａ　制御演算部
　２６，３６　制御部
　３４　記憶部
　３４１，３４１Ａ　視差テーブル
　３４２　関数テーブル
　３４３　サイズ変換式
　３６０，３６０Ａ　探索範囲決定部
　３６１，３６１Ａ　視差変換部
　３６２　初期視差決定部
　３６２Ａ　標準視差決定部
　３６３　関数情報特定部
　３６４　サイズ設定部
　３６５，３６５Ａ　基準領域設定部
　３６６　参照領域設定部
　３６６Ａ　参照照合範囲設定部
　３６７　重み付け設定部
　３６８，３６８Ａ　探索部
　３６９　距離算出部
　３７０Ａ　上限視差設定部

Claims (12)

  1. 　光学系および撮像部のうちの少なくとも一方を含む可動部が移動して被写体に合焦している合焦状態にある第１撮像装置によって該被写体が撮像されて得られる第１画像、前記第１撮像装置とは異なる視点から第２撮像装置によって該被写体が撮像されて得られる第２画像、および前記第１撮像装置が前記合焦状態にある際における前記可動部の位置情報を取得する情報取得部と、
    　前記第１画像および前記第２画像のうちの一方画像と他方画像とについて、前記一方画像内の基準点に対応する対応点を前記他方画像において探索する探索部と、
    　前記他方画像のうちの前記探索部によって前記対応点が探索される探索範囲を、前記位置情報に基づいて決定する探索範囲決定部と、
    を備えることを特徴とする対応点探索装置。
  2. 　請求項１に記載の対応点探索装置であって、
    　前記第１撮像装置と、
    　前記第２撮像装置と、
    を更に備えることを特徴とする対応点探索装置。
  3. 　請求項１または請求項２に記載の対応点探索装置であって、
    　前記第１撮像装置が前記合焦状態にある際に前記撮像部によって得られる合焦画像のデータを用いて、該合焦画像内の１以上の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値を算出する評価値算出部、
    を更に備え、
    　前記探索範囲決定部が、
    　前記位置情報と前記合焦時の評価値とに基づいて、前記探索範囲を決定することを特徴とする対応点探索装置。
  4. 　請求項３に記載の対応点探索装置であって、
    　前記評価値算出部が、
    　前記可動部が複数の位置に順次に配置されている各状態において前記撮像部によってそれぞれ得られる複数の画像のデータを用いて、前記第１撮像装置の前記被写体に対する合焦度合いを示す複数の評価値をそれぞれ算出し、
    　前記複数の評価値に基づいて前記可動部を移動させることで、前記第１撮像装置を前記合焦状態に設定する合焦制御部、
    を更に備えることを特徴とする対応点探索装置。
  5. 　請求項３または請求項４に記載の対応点探索装置であって、
    　前記合焦時の評価値と前記光学系に係る光学伝達関数の情報との関係を示す関係情報から、前記評価値算出部によって算出される前記合焦時の評価値に対応する光学伝達関数の情報を特定する関数情報特定部、
    を更に備え、
    　前記探索部が、
    　前記一方画像のうちの前記基準点を包含する基準領域に係る周波数成分と、前記他方画像のうちの参照領域に係る周波数成分とに基づき、前記対応点を探索する探索処理を行い、該探索処理において、前記関数情報特定部で特定される前記光学伝達関数の情報に応じて、周波数毎に重み付けを施して演算を行い、
    　前記探索範囲が、
    　前記他方画像内の前記参照領域を含むことを特徴とする対応点探索装置。
  6. 　請求項５に記載の対応点探索装置であって、
    　前記評価値算出部が、
    　前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、
    　前記関数情報特定部が、
    　前記関係情報から、各前記画像領域について前記評価値算出部によって算出される各前記合焦時の評価値にそれぞれ対応する光学伝達関数の情報を特定し、
    　前記探索部が、
    　前記探索処理において、前記複数の画像領域のうちの前記基準点と所定の位置関係を有する少なくとも１つの画像領域について前記関数情報特定部で特定される光学伝達関数の情報に応じて、周波数毎に前記重み付けを施すことを特徴とする対応点探索装置。
  7. 　請求項６に記載の対応点探索装置であって、
    　前記所定の位置関係が、
    　前記基準点から所定距離内である位置関係を含み、
    　前記少なくとも１つの画像領域が、
    　２以上の画像領域を含み、
    　前記探索部が、
    　前記探索処理において、前記２以上の画像領域について前記関数情報特定部によってそれぞれ特定される光学伝達関数の情報のうち、最も高周波まで高いコントラストが維持される光学伝達関数の情報に応じて、周波数毎に重み付けを施すことを特徴とする対応点探索装置。
  8. 　請求項３に記載の対応点探索装置であって、
    　前記合焦時の評価値と前記光学系に係る光学伝達関数の情報との関係を示す関係情報から、前記評価値算出部によって算出される前記合焦時の評価値に対応する光学伝達関数の情報を特定する関数情報特定部、
    を更に備え、
    　前記探索部が、
    　前記一方画像のうちの前記基準点を包含する基準領域に係る周波数成分と、前記他方画像のうちの参照領域に係る周波数成分とに基づき、前記対応点を探索し、
    　前記探索範囲が、
    　前記他方画像のうちの前記参照領域を含み、
    　前記探索範囲決定部が、
    　前記関数情報特定部で特定される前記光学伝達関数の情報に応じて前記基準領域および前記参照領域のサイズを決定することを特徴とする対応点探索装置。
  9. 　請求項３から請求項５の何れか１つの請求項に記載の対応点探索装置であって、
    　前記評価値算出部が、
    　前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、
    　前記探索範囲決定部が、
    　前記探索範囲を、前記複数の画像領域のうちの前記基準点と所定の位置関係を有する少なくとも１つの画像領域について前記評価値算出部によって算出される前記合焦時の評価値と、前記位置情報とに基づいて決定することを特徴とする対応点探索装置。
  10. 　請求項９に記載の対応点探索装置であって、
    　前記所定の位置関係が、
    　前記基準点から所定距離内である位置関係を含み、
    　前記少なくとも１つの画像領域が、
    　２以上の画像領域を含み、
    　前記探索範囲決定部が、
    　前記２以上の画像領域について前記評価値算出部によってそれぞれ算出される各前記合焦時の評価値と前記位置情報とに基づいて、前記一方画像における前記基準点と前記他方画像における前記対応点との間における２以上の視差候補を求め、該２以上の視差候補のうちの最小の視差候補に基づいて、前記探索範囲を決定することを特徴とする対応点探索装置。
  11. 　請求項３から請求項５の何れか１つの請求項に記載の対応点探索装置であって、
    　前記評価値算出部が、
    　前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、
    　前記探索範囲決定部が、
    　前記探索範囲を、前記複数の画像領域について前記評価値算出部によって算出される複数の前記合焦時の評価値に係る代表値と、前記位置情報とに基づいて決定することを特徴とする対応点探索装置。
  12. 　請求項１から請求項１１の何れか１つの請求項に記載の対応点探索装置と、
    　前記対応点探索装置の内部または外部に配置され、前記一方画像における前記基準点の位置と前記他方画像における前記対応点の位置とのずれ量と、前記第１および第２撮像装置の設定に係るパラメータとに基づいて、前記第１および第２撮像装置から前記被写体のうちの前記基準点で捉えられている部分までの距離を算出する距離算出部と、
    を備えることを特徴とする距離測定装置。
PCT/JP2012/061952 2011-06-24 2012-05-10 対応点探索装置、および距離測定装置 Ceased WO2012176556A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013521500A JP5776771B2 (ja) 2011-06-24 2012-05-10 対応点探索装置、および距離測定装置
US14/127,373 US9279677B2 (en) 2011-06-24 2012-05-10 Corresponding point search device and distance measurement device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-140659 2011-06-24
JP2011140659 2011-06-24

Publications (1)

Publication Number Publication Date
WO2012176556A1 true WO2012176556A1 (ja) 2012-12-27

Family

ID=47422400

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/061952 Ceased WO2012176556A1 (ja) 2011-06-24 2012-05-10 対応点探索装置、および距離測定装置

Country Status (3)

Country Link
US (1) US9279677B2 (ja)
JP (1) JP5776771B2 (ja)
WO (1) WO2012176556A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066995A (ja) * 2014-09-17 2016-04-28 キヤノン株式会社 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
JPWO2014192487A1 (ja) * 2013-05-29 2017-02-23 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
EP3151538A4 (en) * 2014-05-29 2018-01-17 Yulong Computer Telecommunication Scientific (Shenzhen) Co., Ltd. Image capturing terminal and image capturing method
JP2020020781A (ja) * 2018-06-06 2020-02-06 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ チョップドファイバ付加製造における空隙検出

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986877B (zh) * 2014-05-29 2017-09-26 宇龙计算机通信科技(深圳)有限公司 一种图像获取终端和图像获取方法
WO2016042721A1 (en) * 2014-09-17 2016-03-24 Canon Kabushiki Kaisha Positional shift amount calculation apparatus and imaging apparatus
US9609200B2 (en) * 2014-09-24 2017-03-28 Panavision International, L.P. Distance measurement device for motion picture camera focus applications
JP6897431B2 (ja) * 2017-08-30 2021-06-30 オムロン株式会社 画像処理装置、設定支援方法、および設定支援プログラム
US10861421B2 (en) * 2018-09-27 2020-12-08 Mediatek Inc. Adaptive control of GPU rendered frame quality
WO2023026517A1 (ja) * 2021-08-24 2023-03-02 日立Astemo株式会社 物体距離検出装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11223516A (ja) * 1998-02-09 1999-08-17 Fuji Xerox Co Ltd ３次元画像撮像装置
JP2007327882A (ja) * 2006-06-08 2007-12-20 Konica Minolta Sensing Inc 三次元形状測定方法、装置、及びフォーカス調整方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5034554B2 (ja) 2007-02-27 2012-09-26 コニカミノルタホールディングス株式会社 相関演算装置、相関演算方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11223516A (ja) * 1998-02-09 1999-08-17 Fuji Xerox Co Ltd ３次元画像撮像装置
JP2007327882A (ja) * 2006-06-08 2007-12-20 Konica Minolta Sensing Inc 三次元形状測定方法、装置、及びフォーカス調整方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014192487A1 (ja) * 2013-05-29 2017-02-23 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
EP3151538A4 (en) * 2014-05-29 2018-01-17 Yulong Computer Telecommunication Scientific (Shenzhen) Co., Ltd. Image capturing terminal and image capturing method
JP2016066995A (ja) * 2014-09-17 2016-04-28 キヤノン株式会社 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
JP2020020781A (ja) * 2018-06-06 2020-02-06 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ チョップドファイバ付加製造における空隙検出
JP7403973B2 (ja) 2018-06-06 2023-12-25 ザ・ボーイング・カンパニー チョップドファイバ付加製造における空隙検出

Also Published As

Publication number Publication date
JPWO2012176556A1 (ja) 2015-02-23
US20140247344A1 (en) 2014-09-04
US9279677B2 (en) 2016-03-08
JP5776771B2 (ja) 2015-09-09

Similar Documents

Publication Publication Date Title
JP5776771B2 (ja) 対応点探索装置、および距離測定装置
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
US9076214B2 (en) Image acquisition apparatus and image processing apparatus using selected in-focus image data
KR101672669B1 (ko) 시차를 이용하는 멀티 애퍼처 카메라 시스템
JP6071257B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP7195801B2 (ja) 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム
EP3832600B1 (en) Image processing device and three-dimensional measuring system
US10904512B2 (en) Combined stereoscopic and phase detection depth mapping in a dual aperture camera
KR101715553B1 (ko) 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램
JP2014215506A (ja) 測距装置およびその制御方法
WO2016056202A1 (en) Image processing apparatus, image processing method, and program
JP2020174331A (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP5549283B2 (ja) 距離取得装置
US8542312B2 (en) Device having image reconstructing function, method, and storage medium
JP2013044597A (ja) 画像処理装置および方法、プログラム
CN106973199B (zh) 利用对焦距离扫描提高深度精确度的多光圈相机系统
JP5454392B2 (ja) 測距装置及び撮像装置
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
WO2015159791A1 (ja) 測距装置および測距方法
JP6648916B2 (ja) 撮像装置
JP6292785B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2016047220A1 (ja) 撮像装置及び撮像方法
JP2018074362A (ja) 画像処理装置、画像処理方法およびプログラム
JP6900228B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム
JP2016099322A (ja) 撮像装置、撮像装置の制御方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12803005

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14127373

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013521500

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12803005

Country of ref document: EP

Kind code of ref document: A1