WO2013001885A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2013001885A1
WO2013001885A1 PCT/JP2012/059667 JP2012059667W WO2013001885A1 WO 2013001885 A1 WO2013001885 A1 WO 2013001885A1 JP 2012059667 W JP2012059667 W JP 2012059667W WO 2013001885 A1 WO2013001885 A1 WO 2013001885A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
frequency
search
calculation
Prior art date
Application number
PCT/JP2012/059667
Other languages
English (en)
French (fr)
Inventor
墨友　博則
Original Assignee
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタホールディングス株式会社 filed Critical コニカミノルタホールディングス株式会社
Priority to EP12804894.9A priority Critical patent/EP2725550A4/en
Priority to JP2012533807A priority patent/JP5110235B1/ja
Priority to US14/127,377 priority patent/US9042655B2/en
Publication of WO2013001885A1 publication Critical patent/WO2013001885A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image processing technique.
  • a technique for searching for corresponding points between two images of a reference image and a reference image obtained by imaging the same object (subject) from two different viewpoints with two imaging devices is known.
  • the same object as the reference point of the reference image is captured based on the correlation degree obtained by the correlation calculation such as the SAD (Sum of Absolute Difference) calculation method and the POC (Phase-Only Correlation) calculation method.
  • Corresponding points are searched in the reference image.
  • a base image and a reference image a plurality of images having different resolutions are generated and layered by resolution, and corresponding points using a correlation operation from a lower resolution upper layer to a higher resolution lower layer
  • a process is known in which the search is sequentially repeated.
  • the search area in the next layer is set based on the parallax obtained in the upper layer with the low resolution, the time required for the arithmetic processing up to the lowest layer with the highest resolution can be shortened.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a technique capable of improving the search speed for corresponding points regardless of the state of an image.
  • an image processing apparatus reduces the resolution of the first image according to an acquisition unit that acquires the first image and the second image, and a predetermined conversion magnification.
  • Generating a first converted reference image generating a first converted reference image by reducing the resolution of the second image, and including the first reference point as a reference in the first converted reference image;
  • a first search process for searching for a first corresponding point corresponding to the first reference point in the first converted reference image based on the second phase information relating to each frequency component of Corresponds to one reference point
  • a storage unit that stores first and second frequency information, and already-calculated information related to at least a part of the third frequency information obtained by the calculation in the second search process
  • the search unit includes: Said In the two-search process, the already-calculated information obtained by the calculation of the first search process is used as a part of the information for calculation related to the third and fourth frequency information, and the information for calculation In the first search process, and the already-calculated information obtained by the calculation of the second search process in the first search process. And at least one of the processes for calculating the remaining information of the calculation information based on the first converted reference image. Do.
  • An image processing apparatus includes an acquisition unit that acquires a first image and a second image, a resolution of the first image according to a predetermined conversion magnification, and a first converted reference image and the first image A second converted reference image having a resolution lower than that of the first converted reference image is generated, and the resolution of the second image is reduced to lower the resolution than the first converted reference image and the first converted reference image.
  • a generation unit that generates a second converted reference image, and a first phase relating to each frequency component of the first frequency information for a first reference region that includes the first reference point as a reference in the second converted reference image Based on the information and the second phase information relating to each frequency component of the second frequency information for the first reference region including the first search reference point as a reference in the second converted reference image.
  • the first corresponding point corresponding to Each of the first frequency search for the second reference region including the second reference point corresponding to the first reference point in the first converted reference image as a reference in the first search process for searching with the converted reference image
  • a search unit for performing a second search process for searching for a second corresponding point corresponding to the second reference point in the first converted reference image, and a position of the first corresponding point in the second converted reference image.
  • a determination unit that determines the position of the second search reference point in the first converted reference image, the first and second frequency information obtained by the calculation in the first search process, and the second search processing
  • a storage unit that stores already-calculated information relating to at least a part of the third frequency information obtained by the calculation in the second search process, wherein the search unit calculates the first search process in the second search process Is used as a part of the information for calculation related to the third and fourth frequency information, and the remaining information of the information for calculation is used after the first conversion.
  • the already-calculated information obtained by the calculation of the second search process is used for the calculation related to the first frequency information.
  • At least one of the processes for calculating the remaining information of the calculation information based on the second converted reference image is used as a part of the information.
  • the image processing apparatus is the image processing apparatus according to the first or second aspect, wherein the search unit uses phase-only correlation calculation in the first and second search processes.
  • An image processing apparatus is the image processing apparatus according to any one of the first to third aspects, wherein the already-calculated information is at least one of the first to third frequency information. Contains part information.
  • An image processing apparatus is the image processing apparatus according to any one of the first to fourth aspects, wherein the already-calculated information is at least one of the first to third phase information. Contains part information.
  • An image processing apparatus is the image processing apparatus according to any one of the first to fifth aspects, wherein the already-calculated information includes the first phase information and the second phase information.
  • the information which shows the phase difference calculated based on is included.
  • An image processing device is the image processing device according to the first or second aspect, wherein the search unit includes the first phase information for each frequency component in the first search process.
  • a first phase difference is calculated based on the second phase information, the first phase difference is converted into a spatial shift amount, and the spatial shift amount is voted on the first voting space.
  • the second phase difference is calculated, the second phase difference is converted into a spatial shift amount, and the second vote result is obtained by voting the spatial shift amount to the second voting space, and the second phase difference is obtained.
  • the second corresponding point is searched according to the voting result, and the already-calculated information is obtained in the first search process.
  • Information indicating a voting result obtained by voting the spatial shift amount to the first voting space after the first phase difference is converted into a spatial shift amount for one or more frequency components .
  • An image processing apparatus is the image processing apparatus according to any one of the first to fifth aspects, wherein the search unit calculates the first search process in the second search process.
  • the first phase information is obtained from the already-calculated information and used for the calculation
  • the first phase information is corrected by the phase shift amount corresponding to the resolution reduction and used for the calculation.
  • the second phase information is obtained from the already calculated information calculated in the process and used for the calculation
  • the second phase information is corrected by the phase shift amount according to the resolution reduction and used for the calculation.
  • the first search process when the third phase information is obtained from the already-calculated information calculated in the third search process and used for the calculation, the first phase is determined by the phase shift amount corresponding to the resolution reduction. Correct the information and use it for calculations .
  • An image processing apparatus is the image processing apparatus according to any one of the first to eighth aspects, wherein the predetermined conversion magnification is 1 / n (n is an arbitrary value greater than 1).
  • the search unit obtains the first frequency information related to the first frequency from the already calculated information calculated in the first search process and uses it in the calculation
  • the first frequency information related to the first frequency is used as the third frequency information related to a second frequency obtained by multiplying the first frequency by 1 / n, and the existing frequency calculated in the first search process is used.
  • the second frequency information related to the first frequency is obtained from the calculation information and used for calculation, the second frequency information related to the first frequency is used as the fourth frequency information related to the second frequency.
  • the second When the third frequency information related to the second frequency is obtained from the already calculated information calculated in the search processing and used for the calculation, the third frequency information related to the second frequency is set to n in the second frequency. Is used as the first frequency information related to the first frequency obtained by multiplication.
  • An image processing apparatus is the image processing apparatus according to any one of the first to ninth aspects, wherein the search unit calculates the first search process in the second search process.
  • the second phase information is obtained from the already-calculated information and used for the calculation, the second phase is determined according to the amount of spatial deviation between the first search reference point and the first corresponding point. The phase shift related to the information is corrected and used for the calculation.
  • An image processing apparatus is the image processing apparatus according to any one of the first to tenth aspects, wherein the search unit performs the third and fourth frequencies in the second search process.
  • the result of the search for the second corresponding point is the remaining information of the calculation information rather than the already-calculated information used for calculation as part of the information for calculation related to information. Information is weighted so as to increase the influence on the information.
  • An image processing method includes (a) a step of acquiring a first image by an acquisition unit, (b) a step of acquiring a second image by the acquisition unit, and (c) a generation unit. Reducing the resolution of the first image according to a predetermined conversion magnification to generate a first converted reference image, and reducing the resolution of the second image to generate a first converted reference image; (D) First phase information related to each frequency component of the first frequency information for the first reference region including the first reference point as a reference in the first converted reference image by the search unit, and the first conversion The first corresponding point corresponding to the first reference point based on the second phase information related to each frequency component of the second frequency information for the first reference region including the first search reference point as a reference in the back reference image
  • the first conversion A step of performing a first search process for searching for a post-reference image and storing already calculated information relating to at least a part of the first and second frequency information obtained by the calculation in the first search process in a
  • the image processing method includes (A) a step of acquiring a first image by an acquisition unit, (B) a step of acquiring a second image by the acquisition unit, and (C) a generation unit.
  • the resolution of the first image is reduced to generate a first converted reference image and a second converted reference image having a lower resolution than the first converted reference image, and the second Reducing the resolution of the image to generate a first converted reference image and a second converted reference image having a lower resolution than the first converted reference image; and (D) the second conversion by the search unit First phase information related to each frequency component of the first frequency information for the first reference region including the first reference point as a reference in the post-reference image, and the first search reference point as a reference in the second converted reference image About the first reference region included as And performing a first search process for searching the first corresponding point corresponding to the first reference point in the second converted reference image based on the second phase information relating to each frequency component of the second frequency
  • the search unit Based on the fourth phase information relating to each frequency component of the fourth frequency information for the second reference region including the quasi-point as a reference, the second corresponding point corresponding to the second reference point is referred to after the first conversion.
  • the search unit converts the already-calculated information into information for calculation related to the third and fourth frequency information.
  • the remaining information of the calculation information is used as a part of information, and is calculated based on the first converted reference image and the first converted reference image.
  • the program according to the fourteenth aspect is executed by a control unit included in the image processing apparatus, thereby causing the image processing apparatus to function as the image processing apparatus according to any one of the first to eleventh aspects.
  • the information on the frequency component obtained by the calculation of the corresponding point search process between the two images is the corresponding point between the two images having different resolutions.
  • the amount of calculation can be reduced by being reused in the calculation of the search process.
  • the search speed for corresponding points can be improved regardless of the state of an image used for searching for corresponding points.
  • the calculation is uniformed, it is possible to implement a part for performing the corresponding point search process by hardware using a dedicated electronic circuit or the like.
  • the search speed in high-accuracy corresponding point search can be improved.
  • the search speed for corresponding points can be further improved by further reducing the amount of calculation.
  • the storage capacity of the storage unit can be reduced by reducing the amount of information in the reused information. As a result, the image processing apparatus can be downsized and the manufacturing cost can be reduced.
  • the information to be reused is corrected by the phase shift amount according to the resolution reduction, so that the accuracy of the corresponding point search can be improved.
  • the image processing apparatus since the correspondence relationship between the frequencies of information to be reused is determined according to the conversion magnification related to the resolution reduction, it is possible to easily design the calculation in the corresponding point search processing. .
  • the reuse is performed according to the amount of spatial deviation between the search reference point and the corresponding point in the corresponding point search processing for two relatively low resolution images. Since the information to be corrected is corrected, the accuracy of the corresponding point search can be improved.
  • the other information is the result of the corresponding point search result rather than the reused information.
  • the weighting of information is performed so as to increase the influence, and the accuracy of the corresponding point search can be improved.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration of the information processing system according to the embodiment.
  • FIG. 3 is a diagram illustrating an image group having multiple levels of resolution related to the first and second images.
  • FIG. 4 is a diagram illustrating an outline of the corresponding point search operation.
  • FIG. 5 is a diagram for explaining a method for determining a search reference point.
  • FIG. 6 is a diagram illustrating an example of setting the reference points of the first hierarchy.
  • FIG. 7 is a diagram illustrating an example of setting the reference point of the second hierarchy.
  • FIG. 8 is a diagram illustrating an example of setting the reference point of the third hierarchy.
  • FIG. 9 is a diagram illustrating an example of how to set the reference points of the fourth hierarchy.
  • FIG. 10 is a diagram illustrating a setting mode of the reference area of the fourth hierarchy.
  • FIG. 11 is a diagram illustrating a setting mode of the reference area of the fourth hierarchy.
  • FIG. 12 is a diagram for explaining the corresponding point search processing by the POC calculation method.
  • FIG. 13 is a diagram illustrating a distribution of POC values.
  • FIG. 14 is a diagram illustrating a setting mode of the reference area of the third hierarchy.
  • FIG. 15 is a diagram illustrating a setting mode of the reference area of the third hierarchy.
  • FIG. 16 is a diagram illustrating a setting mode of the reference area of the second hierarchy.
  • FIG. 17 is a diagram illustrating a setting mode of the reference area of the second hierarchy.
  • FIG. 18 is a diagram illustrating a setting mode of the reference area of the first hierarchy.
  • FIG. 19 is a diagram illustrating a setting mode of the reference area of the first hierarchy.
  • FIG. 20 is a diagram for explaining a method of reusing already-calculated information.
  • FIG. 21 is a diagram for explaining a method of reusing already-calculated information.
  • FIG. 22 is a diagram for explaining a distance measuring method using the principle of triangulation.
  • FIG. 23 is a flowchart illustrating an operation flow according to the corresponding point search operation.
  • FIG. 24 is a flowchart illustrating an operation flow according to the corresponding point search operation.
  • FIG. 25 is a diagram for explaining the corresponding point search processing by the PSA method.
  • FIG. 20 is a diagram for explaining a method of reusing already-calculated information.
  • FIG. 21 is a diagram for explaining a method of reusing already-calculated information.
  • FIG. 22 is a diagram for explaining
  • FIG. 26 is a diagram for explaining the corresponding point search processing by the PSA method.
  • FIG. 27 is a diagram for explaining the corresponding point search processing by the PSA method.
  • FIG. 28 is a diagram for explaining a method of correcting a phase shift on the reference image side.
  • FIG. 29 is a diagram for explaining a method of correcting a phase shift on the reference image side.
  • FIG. 30 is a diagram illustrating an application example of the information processing system.
  • FIG. 31 is a diagram illustrating an application example of the information processing system.
  • FIG. 1 is a diagram illustrating a schematic configuration of an information processing system 100 according to an embodiment.
  • the information processing system 100 includes a first camera 1, a second camera 2, and an image processing device 3.
  • the first camera 1 is connected to the image processing apparatus 3 via the communication line L1 so as to be able to transmit data
  • the second camera 2 is connected to be able to transmit data to the image processing apparatus 3 via the communication line L2.
  • the communication lines L1 and L2 may be either a wired line or a wireless line.
  • the first and second cameras 1 and 2 are imaging devices that respectively acquire images by imaging a subject. These first and second cameras 1 and 2 are arranged side by side in one direction.
  • the one direction may be, for example, the horizontal direction.
  • the optical axis of the imaging lens of the first camera 1 and the optical axis of the imaging lens of the second camera 2 are separated in the horizontal direction.
  • the distance between the optical axis of the imaging lens of the first camera 1 and the optical axis of the imaging lens of the second camera 2 is the base line length related to the first and second cameras 1 and 2.
  • the first and second cameras 1 and 2 acquire so-called stereo images by, for example, imaging an object located in front of the camera from different viewpoints at the same timing using an imaging device. That is, the stereo image includes an image (also referred to as a first image) acquired by imaging with the first camera 1 and an image (also referred to as a second image) acquired by imaging with the second camera 2.
  • the data M1 related to the first image and the data M2 related to the second image can be transmitted from the first and second cameras 1 and 2 to the image processing apparatus 3 via the communication lines L1 and L2.
  • the image processing apparatus 3 may be, for example, a personal computer (personal computer), and includes an operation unit 31, a display unit 32, an interface (I / F) unit 33, a storage unit 34, an input / output (I / O) unit 35, and A control unit 36 is provided.
  • a personal computer personal computer
  • the image processing apparatus 3 includes an operation unit 31, a display unit 32, an interface (I / F) unit 33, a storage unit 34, an input / output (I / O) unit 35, and A control unit 36 is provided.
  • the operation unit 31 includes, for example, a mouse and a keyboard.
  • the display unit 32 includes, for example, a liquid crystal display.
  • the I / F unit 33 exchanges data between the first and second cameras 1 and 2 and the image processing apparatus 3.
  • the storage unit 34 includes, for example, a hard disk and stores the program PG and various data.
  • the I / O unit 35 includes, for example, a disk drive, receives the storage medium 4 such as an optical disk, and exchanges data between the storage medium 4 and the control unit 36.
  • the control unit 36 includes, for example, a CPU 36a that functions as a processor, a memory 36b that temporarily stores information, and the like.
  • the control unit 36 implements various functions and information processing by reading and executing the program PG in the storage unit 34. Various information temporarily obtained by various information processing in the control unit 36 is stored in the memory 36b or the like.
  • the aberrations in the first and second cameras 1 and 2 are well corrected, and the first and second cameras 1 and 2 are set substantially parallel.
  • the optical axes of the first and second cameras 1 and 2 are set to be substantially parallel, and the subject captured in the first and second images has substantially the same angular relationship with respect to the outer edges of the first and second images.
  • the actual first and second cameras 1 and 2 are not in such a condition, it is only necessary to obtain a stereo image that is regarded as being captured under the same condition by image processing.
  • FIG. 2 is a block diagram illustrating a functional configuration of a main part of the information processing system 100 according to the present embodiment.
  • FIG. 2 shows a functional configuration relating to a corresponding point search operation and a distance measurement operation using a search result in the corresponding point search process.
  • the corresponding point search process is a process of searching for a correspondence relationship between pixels in which the same subject portion is captured between the first image and the second image obtained by the first and second cameras 1 and 2.
  • the distance measuring operation is an operation for measuring the distance from the first and second cameras 1 and 2 to the subject.
  • the first image is used as a reference image (also referred to as a reference image) Ga1
  • the second image is used as an image (also referred to as a reference image) Ga2.
  • control unit 36 includes an image acquisition unit 361, an image generation unit 362, a corresponding point search unit 363, a corresponding point search control unit 364, a position determination unit 365, an already-calculated information storage unit 366, and a distance calculation unit. 367.
  • the image acquisition unit 361 acquires data M1 related to the first image from the first camera 1, and acquires data M2 related to the second image from the second camera 2.
  • the first image and the second image preferably have the same resolution.
  • the resolution means how much the object drawn in the image is depicted in detail.
  • the same resolution means that the number of pixels in the horizontal direction in the image is the same and the number of pixels in the vertical direction is the same.
  • the image generation unit 362 sequentially reduces the resolution of the first image as the reference image Ga1 according to a predetermined conversion magnification, and the first converted reference image Gb1, the second converted reference image Gc1, and the third converted image A reference image Gd1 is generated.
  • the image generation unit 362 sequentially reduces the resolution of the second image as the reference image Ga2 according to a predetermined conversion magnification, and performs the first converted reference image Gb2, the second converted reference image Gc2, and the third converted image.
  • a converted reference image Gd2 is generated.
  • the first converted reference image Gb1 has a lower resolution than the reference image Ga1
  • the second converted reference image Gc1 has a lower resolution than the first converted reference image Gb1, and the third converted reference image Gd1.
  • the first converted reference image Gb2 has a lower resolution than the reference image Ga2
  • the second converted reference image Gc2 has a lower resolution than the first converted reference image Gb2
  • the third converted reference image Gd2 The resolution is lower than that of the second converted reference image Gc2.
  • an image group GR1 having a resolution of M stages (M is an integer of 2 or more) including the reference image Ga1 and the first to third converted reference images Gb1 to Gd1. Is generated.
  • an image group GR2 having a resolution of M stages (M is an integer of 2 or more) including the reference image Ga2 and the first to third converted reference images Gb2 to Gd2 is generated. In the present embodiment, it is assumed that M is 4.
  • the first layer image group 1Hy including the base image Ga1 and the reference image Ga2, the second layer image group 2Hy, the third layer image group 3Hy, and the fourth layer image group 4Hy.
  • the second layer image group 2Hy includes a first converted reference image Gb1 and a first converted reference image Gb2
  • the third layer image group 3Hy includes the second converted reference image Gc1 and the second converted image.
  • the fourth group of images 4Hy includes a post-reference image Gc2, and includes a third post-conversion standard image Gd1 and a third post-conversion reference image Gd2.
  • Corresponding point search unit 363 searches for a corresponding point among a plurality of images by a correlation calculation such as a phase-only correlation (POC) calculation method.
  • a correlation calculation such as a phase-only correlation (POC) calculation method.
  • the corresponding point search unit 363 searches for a corresponding point between the third converted reference image Gd1 and the third converted reference image Gd2 included in the image group 4Hy in the fourth layer (first (Also referred to as a four-layer search process). Further, a process of searching for corresponding points between the second converted reference image Gc1 and the second converted reference image Gc2 included in the third layer image group 3Hy (also referred to as a third layer search process) is performed. Is called. Also, a process of searching for corresponding points between the first converted reference image Gb1 and the first converted reference image Gb2 included in the second hierarchy image group 2Hy (also referred to as a second hierarchy search process) is performed. Is called. In addition, a process of searching for corresponding points between the base image Ga1 and the reference image Ga2 included in the first layer image group 1Hy (also referred to as a first layer search process) is performed.
  • the corresponding point search control unit 364 controls the operations of the image generation unit 362 and the corresponding point search unit 363.
  • the search process of the fourth hierarchy, the search process of the third hierarchy, the search process of the second hierarchy, and the search process of the first hierarchy are executed in this order.
  • Information obtained by calculation in the fourth-layer search process (also referred to as already-calculated information in the fourth hierarchy) and the search result in the fourth-layer search process are used in the third-layer search process.
  • information obtained by calculation in the third hierarchy search process also referred to as already calculated information in the third hierarchy
  • a search result in the third hierarchy search process are used in the second hierarchy search process.
  • information obtained by calculation in the search process of the second hierarchy (also referred to as already-calculated information of the second hierarchy) and a search result in the search process of the second hierarchy are used in the search process of the first hierarchy.
  • the correspondence in which the pixel (also referred to as the first corresponding point in the first hierarchy) Ca2 in the reference image Ga2 corresponding to the pixel (also referred to as the reference point in the first hierarchy) Sa1 serving as the reference for the search processing of the reference image Ga1 is searched.
  • a four-stage search process as shown in FIG. 4 is performed.
  • the reference point Sa1 in the first layer is set in the reference image Ga1 by the corresponding point search unit 363.
  • a pixel also referred to as a second-level reference point
  • Sb1 in which the same portion of the subject as the first-level reference point Sa1 is set in the first converted reference image Gb1.
  • a pixel also referred to as a third-layer reference point
  • Sc1 in which the same portion of the subject as the first and second-layer reference points Sa1, Sb1 is set in the second converted reference image Gc1.
  • a pixel (also referred to as a fourth-layer reference point) Sd1 in which the same part of the subject as the first to third-layer reference points Sa1 to Sc1 is set in the third converted reference image Gd1 is set.
  • the second layer reference point Sb1 is set at a position corresponding to the position of the first layer reference point Sa1 in the reference image Ga1.
  • the third layer reference point Sc1 is set at a position corresponding to the position of the second layer reference point Sb1 in the first converted reference image Gb1.
  • the fourth layer reference point Sd1 is set at a position corresponding to the position of the third layer reference point Sc1 in the second converted reference image Gc1.
  • a pixel (also referred to as a corresponding point of the fourth hierarchy) Cd2 corresponding to the reference point Sd1 of the fourth hierarchy is searched in the third converted reference image Gd2.
  • a corresponding point Cd2 in the fourth hierarchy is searched in an area including a pixel (also referred to as a search reference point in the fourth hierarchy) serving as a search criterion in the third converted reference image Gd2.
  • a pixel (also referred to as a corresponding point of the third hierarchy) Cc2 corresponding to the reference point Sc1 of the third hierarchy is searched in the second converted reference image Gc2.
  • a corresponding point Cc2 in the third hierarchy is searched in an area including a pixel (also referred to as a search reference point in the third hierarchy) serving as a search criterion in the second converted reference image Gc2.
  • a pixel (also referred to as a corresponding point of the second hierarchy) Cb2 corresponding to the reference point Sb1 of the second hierarchy is searched in the first converted reference image Gb2.
  • the corresponding point Cb2 in the second hierarchy is searched in an area including a pixel (also referred to as a search reference point in the second hierarchy) serving as a search criterion in the first converted reference image Gb2.
  • a pixel (also referred to as a corresponding point of the first hierarchy) Ca2 corresponding to the reference point Sa1 of the first hierarchy is searched in the reference image Ga2.
  • the corresponding point Ca2 in the first hierarchy is searched in an area including a pixel (also referred to as a search reference point in the first hierarchy) serving as a search criterion in the reference image Ga2.
  • the position determining unit 365 determines the positions of the fourth layer search reference point, the third layer search reference point, the second layer search reference point, and the first layer search reference point.
  • the upper left pixel is the origin, and the right side is the X direction.
  • the lower direction is the Y direction. That is, each pixel in each of the images Ga1 to Gd1 and Ga2 to Gd2 can be expressed by X and Y coordinates.
  • the search reference point of the fourth layer has a predetermined positional relationship with the reference point Sd1 of the fourth layer in the third converted reference image Gd1.
  • the predetermined positional relationship is, for example, a relationship in which the position of the fourth layer reference point Sd1 in the third converted reference image Gd1 and the position of the fourth layer search reference point in the third converted reference image Gd2 are the same.
  • the predetermined positional relationship is, for example, that the coordinates of the fourth layer reference point Sd1 in the third converted reference image Gd1 and the coordinates of the fourth layer search reference point in the third converted reference image Gd2. Any relationship that is identical may be used.
  • the predetermined positional relationship may be, for example, a relationship in which a predetermined number of pixels are shifted in one direction on the image corresponding to the extending direction of the baseline length from the second camera 2 to the first camera 1.
  • This one direction may be, for example, the ⁇ X direction.
  • the position of the search reference point of the third hierarchy in the second converted reference image Gc2 is determined based on the position of the corresponding point Cd2 of the fourth hierarchy in the third converted reference image Gd2. Further, the position of the search reference point of the second hierarchy in the first converted reference image Gb2 is determined based on the position of the corresponding point Cc2 of the third hierarchy in the second converted reference image Gc2. Furthermore, the position of the search reference point of the first hierarchy in the reference image Ga2 is determined based on the position of the corresponding point Cb2 of the second hierarchy in the first converted reference image Gb2.
  • FIG. 5 is a diagram for explaining a method for determining the search reference point of the third hierarchy, the search reference point of the second hierarchy, and the search reference point of the first hierarchy.
  • the determination method of the search reference point of the third hierarchy, the search reference point of the second hierarchy, and the search reference point of the first hierarchy is the same.
  • the determination method of the search reference point of the third hierarchy is schematically shown as an example.
  • the predetermined conversion magnification in the image generation unit 362 is 1/2 will be described.
  • the pixel value of the coordinates (x d1 , y d1 ) in the third post-conversion reference image Gd1 in the fourth hierarchy is the coordinates (x c1 , y c1 ) in the second post-conversion reference image Gc1 in the third hierarchy, (x c1 + 1, y c1 ), (x c1, y c1 +1), is the average value of the pixel values of four pixels (x c1 + 1, y c1 +1).
  • the pixel at the coordinates (x d1 , y d1 ) is set as the reference point Sd1 of the fourth hierarchy, and the corresponding point of the fourth hierarchy corresponding to the reference point Sd1 of the fourth hierarchy
  • the coordinates of Cd2 are (x d2 , y d2 )
  • the coordinates (x c2 , y c2 ) of the search reference point in the third hierarchy are expressed by the following equation (1), for example.
  • the search reference point in the third layer is the coordinates (x c2, y c2), from the four pixels (x c2 + 1, y c2 ), (x c2, y c2 +1), (x c2 + 1, y c2 +1)
  • the coordinates of the four pixels are expressed by the following equations (2), (3), (4), and (5), for example.
  • the already-calculated information storage unit 366 includes the already-calculated information of the fourth hierarchy obtained by the computation in the search process of the fourth hierarchy, the already-calculated information of the third hierarchy obtained by the computation of the search process of the third hierarchy, and the second hierarchy
  • the already-calculated information of the second hierarchy obtained by the calculation in the search process is stored.
  • the already-calculated information storage unit 366 can be realized mainly by the memory 36b, but may be realized by the storage unit 34.
  • the distance calculation unit 367 calculates the distance from the first and second cameras 1 and 2 to the portion of the subject captured by the reference point Sa1 based on the search result by the corresponding point search unit 363. Specifically, the distance is the amount of deviation between the position of the reference point Sa1 in the reference image Ga1 and the position of the corresponding point Ca2 in the reference image Ga2, the internal parameters and the external parameters of the first and second cameras 1 and 2. And is calculated using triangulation techniques.
  • the internal parameters include, for example, parameters indicating the focal length of the optical system built in the first and second cameras 1 and 2, the image center, the tilt of the image sensor, and the like.
  • the external parameters include, for example, parameters indicating the positional relationship and posture relationship between the first camera 1 and the second camera 2.
  • the first converted reference image Gb1 can be generated by reducing the resolution of the reference image Ga1 at the first predetermined conversion magnification.
  • the second converted reference image Gc1 can be generated by reducing the resolution of the first converted reference image Gb1 at the second predetermined conversion magnification.
  • the third post-conversion reference image Gd1 can be generated by reducing the resolution of the second post-conversion reference image Gc1 at the third predetermined conversion magnification.
  • the second converted reference image Gc1 is generated by reducing the resolution of the reference image Ga1 at the second predetermined conversion magnification, and the resolution of the reference image Ga1 is reduced at the third predetermined conversion magnification.
  • the third converted reference image Gd1 may be generated.
  • the first converted reference image Gb2 can be generated by reducing the resolution of the reference image Ga2 at the fourth predetermined conversion magnification.
  • the second converted reference image Gc2 can be generated by reducing the resolution of the first converted reference image Gb2 at the fifth predetermined conversion magnification.
  • the third converted reference image Gd2 can be generated by reducing the resolution of the second converted reference image Gc2 at the sixth predetermined conversion magnification. Note that the second converted reference image Gc2 is generated by reducing the resolution of the reference image Ga2 at the fifth predetermined conversion magnification, and the resolution of the reference image Ga2 is reduced at the sixth predetermined conversion magnification. Thus, the third converted reference image Gd2 may be generated.
  • reducing the resolution means, for example, reducing the number of pixels in the horizontal direction and the vertical direction of the image and converting the image into a coarse image representing the same object.
  • the first to sixth predetermined conversion magnifications are obtained by dividing the number of pixels in the horizontal direction of the image after conversion by the number of pixels in the horizontal direction of the image before conversion, and the number of pixels in the vertical direction of the image after conversion. Is a numerical value obtained by dividing by the number of pixels in the vertical direction of the image before conversion.
  • the predetermined conversion magnification is represented by 1 / n (n is an arbitrary number larger than 1).
  • 1 / n may be 1/2 or the like.
  • the predetermined conversion magnification may be the same or different between the horizontal direction and the vertical direction of the image.
  • the first predetermined conversion magnification and the fourth predetermined conversion magnification are the same
  • the second predetermined conversion magnification and the fifth predetermined conversion magnification are the same
  • the third predetermined conversion magnification It is preferable that the magnification and the sixth predetermined conversion magnification are the same.
  • the standard image Ga1, the first to third converted standard images Gb1 to Gd1, the reference image Ga2, and the first to third converted reference images Gb2 to Gd2 are For example, the following image can be obtained.
  • the base image Ga1 and the reference image Ga2 in the first hierarchy are images in which 640 pixels in the X direction and 480 pixels in the Y direction are arranged in a grid pattern.
  • the first post-conversion standard image Gb1 and the first post-conversion reference image Gb2 in the second hierarchy are images in which 320 pixels in the X direction and 240 pixels in the Y direction are arranged in a grid pattern.
  • the third post-conversion standard image Gc1 and the second post-conversion reference image Gc2 in the third hierarchy are images in which 160 pixels in the X direction and 120 pixels in the Y direction are arranged in a grid pattern.
  • the third-converted reference image Gd1 and the third-converted reference image Gd2 in the fourth hierarchy are images in which 80 pixels in the X direction and 60 pixels in the Y direction are arranged in a grid pattern.
  • the pixel values of the coordinates (x, y) in the images Gb1, Gb2 in the second hierarchy are, for example, the coordinates (2x, 2y), (2x + 1, 2y) in the images Ga1, Ga2 in the first hierarchy.
  • (2x, 2y + 1), (2x + 1, 2y + 1) can be an average value of the pixel values of the four pixels.
  • the pixel values of the coordinates (x, y) in the images Gc1 and Gc2 in the third hierarchy are, for example, the coordinates (2x, 2y), (2x + 1, 2y) in the images Gb1 and Gb2 in the second hierarchy,
  • the average value of the pixel values of the four pixels (2x, 2y + 1) and (2x + 1, 2y + 1) may be used.
  • x represents an arbitrary X coordinate
  • y represents an arbitrary Y coordinate.
  • the first to sixth predetermined conversion magnifications are not limited to 1/2, and may be set to a small value such as 1/3.
  • M stages M is an integer of 2 or more
  • M is an integer of 2 or more
  • the first to sixth predetermined conversion magnifications may be set to a value larger than 1 ⁇ 2, such as 1 / 1.5.
  • the number of M stages (M is an integer of 2 or more) related to the image groups GR1 and GR2 generated by the image generation unit 362 is increased, but the corresponding point search accuracy in the corresponding point search operation is improved. The robustness in the search operation can be improved.
  • the first to third predetermined conversion magnifications may be different, and the fourth to sixth predetermined conversion magnifications may be different.
  • the first resolution of the standard image Ga1 and the reference image Ga2 may be set as a standard, and the conversion magnification may be set to increase as the resolution of the generated image decreases.
  • the subject captured in the base image Ga1 and the reference image Ga2 includes a distant view and a close view, robustness is ensured by searching for corresponding points in detail between low-resolution images, Corresponding points can be searched at high speed between high resolution images. Accordingly, a balanced corresponding point search operation such as ensuring robustness and speeding up can be realized.
  • the reference point Sa1 of the first layer is set in the reference image Ga1. Further, as shown in FIG. 7, a reference point Sb1 of the second hierarchy is set in the first converted reference image Gb1. Further, as shown in FIG. 8, the reference point Sc1 of the third hierarchy is set in the second converted reference image Gc1. Further, as shown in FIG. 9, the fourth-layer reference point Sd1 is set in the third converted reference image Gd1. Then, the fourth hierarchy search process, the third hierarchy search process, the second hierarchy search process, and the first hierarchy search process are sequentially performed. The contents of the fourth hierarchy search process, the third hierarchy search process, the second hierarchy search process, and the first hierarchy search process will be sequentially described below.
  • a search window (also referred to as a reference area of the fourth hierarchy) including the reference point Sd1 of the fourth hierarchy in the third converted reference image Gd1 as a reference. ) Wd1 is set.
  • the reference area Wd1 of the fourth hierarchy may be set, for example, with the reference point Sd1 of the fourth hierarchy being the center or the center of gravity.
  • the position determination unit 365 sets the search reference point Sd2 of the fourth hierarchy in the third converted reference image Gd2. As shown in FIG.
  • a search window (also referred to as a reference area in the fourth hierarchy) Wd2 that includes the search reference point Sd2 in the fourth hierarchy as a reference is set.
  • the reference area Wd2 of the fourth hierarchy may be set, for example, with the search reference point Sd2 of the fourth hierarchy being the center or the center of gravity.
  • the corresponding point search unit 363 searches for the corresponding point Cd2 in the fourth layer corresponding to the reference point Sd1 in the fourth layer in the reference region Wd2 in the fourth layer in the third converted reference image Gd2. At this time, the corresponding point search process using the POC calculation method shown in FIG. 12 is performed.
  • the reference region Wd2 of the fourth layer of the reference region Wd1 and the fourth hierarchy are sequences of pixels a predetermined number N 1 in the X direction and pixels in a predetermined number N 2 along the Y direction are arranged It is treated as an image area.
  • These image regions can be expressed by the following equation (1).
  • f (x, y) in the above equation 1 indicates a region image (also referred to as a fourth region reference region image) included in the fourth region of the reference region Wd1, and g (x, y in the above equation 1).
  • ) Indicates a region image (also referred to as a fourth layer reference region image) included in the fourth layer reference region Wd2.
  • N 1 and N 2 are assigned to the subscript N of W in the proviso of Equation 2 above , u indicates the frequency in the X direction, and v indicates the frequency in the Y direction. For this reason, (u, v) indicates a two-dimensional spatial frequency.
  • the reference region image in the fourth layer is decomposed into frequency components by the two-dimensional Fourier transform processing C11, and the reference region image in the fourth layer is decomposed into frequency components by the two-dimensional Fourier transform processing C21.
  • frequency information also referred to as fourth-layer reference frequency information
  • Frequency information (also referred to as fourth layer reference frequency information) is obtained.
  • the entire frequency component of the frequency u in the X direction is a DC component
  • the entire frequency component of the frequency v in the Y direction is represented by a DC component and eight AC components having frequencies of 1 to 8.
  • the alternating current component can also be indicated by a sine wave.
  • the two-dimensional Fourier transform processes C11 and C21 are performed.
  • FFT is a fast Fourier transform characterized by butterfly computation.
  • the search window has a size of 32 pixels in the X direction and 16 pixels in the Y direction
  • the entire frequency component of the frequency u in the X direction has a direct current component and 15 frequencies of 1 to 15 in frequency. Expressed as an AC component.
  • the entire frequency component of the frequency v in the Y direction is represented by a DC component and seven AC components having frequencies 1 to 7.
  • the calculation results by the two-dimensional Fourier transform processes C11 and C21 can be output in the form of a complex number having a real part Re (u, v) and an imaginary part Im (u, v).
  • the already-calculated information related to the fourth-layer reference frequency information and the fourth-layer reference frequency information obtained by the Fourier transform processes C11 and C21 is stored in the already-calculated information storage unit 366.
  • the already-calculated information may include at least a part of the fourth layer reference frequency information and the fourth layer reference frequency information.
  • phase information related to each spatial frequency (also referred to as fourth phase reference phase information) is extracted from the fourth layer reference frequency information, and phase information (fourth layer reference information) related to each spatial frequency is extracted from the fourth layer reference frequency information. 4th layer reference phase information) is extracted.
  • a synthesis process C3 using an arithmetic expression represented by the following equation 4 is performed.
  • a phase difference also referred to as a phase difference of the fourth layer
  • Wt (u, v) expressed by Equation 4 indicates a weighting coefficient to be multiplied as necessary.
  • the weighting coefficient Wt (u, v) may be set to 1 regardless of the spatial frequency (u, v).
  • a calculation result (POC value) indicating the correlation between the fourth-layer reference region image and the fourth-layer reference region image is obtained.
  • the result (POC value distribution) shown in FIG. ) Is obtained.
  • the corresponding point search unit 363 can detect the position of the corresponding point Cd2 of the fourth layer in the third converted reference image Gd2 by the search process of the fourth layer using the POC calculation method. That is, the fourth layer corresponding point Cd2 corresponding to the fourth layer reference point Sd1 is based on the fourth layer reference phase information related to each frequency component and the fourth layer reference phase information related to each frequency component. Can be detected.
  • a search window (also referred to as a reference area of the third hierarchy) including the reference point Sc1 of the third hierarchy as a reference in the second converted reference image Gc1. ) Wc1 is set.
  • the third-layer reference area Wc1 may be set, for example, with the third-layer reference point Sc1 as the center or the center of gravity.
  • the position determination unit 365 sets the search reference point Sc2 of the third hierarchy in the second converted reference image Gc2. Then, as shown in FIG.
  • a search window (also referred to as a reference area in the third hierarchy) Wc2 including the search reference point Sc2 in the third hierarchy as a reference is set.
  • the reference area Wc2 for the third hierarchy may be set with the search reference point Sc2 for the third hierarchy as the center or the center of gravity, for example.
  • the corresponding point search unit 363 searches for the corresponding point Cc2 of the third hierarchy corresponding to the reference point Sc1 of the third hierarchy in the reference area Wc2 of the third hierarchy of the second converted reference image Gc2.
  • the corresponding point search process using the POC calculation method shown in FIG. 12 is performed.
  • the reference area of the third hierarchy is used instead of the reference area Wd1 of the fourth hierarchy and the reference area Wd2 of the fourth hierarchy in the search process of the corresponding points in the fourth hierarchy.
  • Wc1 and the reference area Wc2 of the third hierarchy are employed.
  • f (x, y) in the above equation 1 represents a region image (also referred to as a third region reference region image) included in the third layer reference region Wc1, and g (x, y in the above equation 1). ) Indicates a region image (also referred to as a third region reference region image) included in the third layer reference region Wc2.
  • two-dimensional Fourier transform processing C11 and C21 using the arithmetic expression shown in the above equation 2 is performed on the reference area image of the third hierarchy and the reference area image of the third hierarchy.
  • the reference area image of the third hierarchy is decomposed into frequency components
  • the reference area image of the third hierarchy is decomposed into frequency components.
  • frequency information including information on a plurality of frequency components related to the third layer reference region image (also referred to as third layer reference frequency information) is obtained, and a plurality of frequency components related to the third layer reference region image are obtained.
  • Frequency information also referred to as third-layer reference frequency information
  • the reference frequency information of the fourth layer and the reference frequency information of the fourth layer included in the already-calculated information of the fourth layer is used for the calculation processing after the normalization processing C12, C22. It is used as a part of information related to the frequency information of the third layer used.
  • the frequency information of the third layer includes the reference frequency information of the third layer and the reference frequency information of the third layer. That is, part of the information for calculation in the third hierarchy is obtained from the already calculated information in the fourth hierarchy.
  • the remaining information in the third layer calculation information is calculated based on the third layer reference region image and the third layer reference region image by two-dimensional Fourier transform processing C11 and C21. Is done.
  • the already-calculated information about the reused already-calculated information and the third-layer reference frequency information and the third-layer reference frequency information obtained by the Fourier transform processes C11 and C21 are stored in the already-calculated information storage unit 366.
  • the already-calculated information may include at least a part of the third-layer reference frequency information and the third-layer reference frequency information.
  • phase information related to each spatial frequency (also referred to as third-phase reference phase information) is extracted from the reference frequency information of the third layer, and phase information (the first phase) related to each spatial frequency from the reference frequency information of the third layer. (Also referred to as 3-phase reference phase information) is extracted.
  • a calculation result (POC value) indicating the correlation between the third-layer reference region image and the third-layer reference region image is obtained.
  • a result (POC value distribution) as shown in FIG. ) Is obtained.
  • the position corresponding to the peak Jc of the POC value in the reference area image of the third hierarchy is the corresponding point Cc2 corresponding to the reference point Sc1 of the third hierarchy in the second converted reference image Gc2.
  • the corresponding point search unit 363 can detect the position of the corresponding point Cc2 in the third hierarchy in the second converted reference image Gc2 by the search process in the third hierarchy using the POC calculation method. That is, the third layer corresponding point Cc2 corresponding to the third layer reference point Sc1 is based on the third layer reference phase information related to each frequency component and the third layer reference phase information related to each frequency component. Can be detected.
  • a search window (also referred to as a reference area of the second hierarchy) including the reference point Sb1 of the second hierarchy in the first converted reference image Gb1 as a reference. ) Wb1 is set.
  • the reference area Wb1 of the second hierarchy may be set, for example, with the reference point Sb1 of the second hierarchy being the center or the center of gravity.
  • the position determination unit 365 sets the search reference point Sb2 of the second hierarchy in the first converted reference image Gb2. Then, as shown in FIG.
  • a search window (also referred to as a reference area in the second hierarchy) Wb2 that includes the search reference point Sb2 in the second hierarchy as a reference is set.
  • the reference area Wb2 of the second hierarchy may be set with the search reference point Sb2 of the second hierarchy as the center or the center of gravity, for example.
  • the corresponding point search unit 363 searches for the second layer corresponding point Cb2 corresponding to the second layer reference point Sb1 in the second layer reference area Wb2 in the first converted reference image Gb2.
  • the corresponding point search process using the POC calculation method shown in FIG. 12 is performed.
  • the reference area in the second hierarchy is used instead of the reference area Wc1 in the third hierarchy and the reference area Wc2 in the third hierarchy in the search process for corresponding points in the third hierarchy.
  • Wb1 and second-tier reference area Wb2 are employed.
  • f (x, y) in the above equation 1 represents a region image (also referred to as a second region reference region image) included in the second layer reference region Wb1
  • g (x, y) in the above equation 1 ) Indicates a region image (also referred to as a second layer reference region image) included in the second layer reference region Wb2.
  • two-dimensional Fourier transform processing C11 and C21 using the arithmetic expression expressed by the above equation 2 is performed on the second-layer reference region image and the second-layer reference region image.
  • the reference area image of the second hierarchy is decomposed into frequency components
  • the reference area image of the second hierarchy is decomposed into frequency components.
  • frequency information including a plurality of frequency components related to the second layer reference region image (also referred to as second layer reference frequency information) is obtained, and includes a plurality of frequency components related to the second layer reference region image.
  • Frequency information also referred to as second-level reference frequency information
  • the reference frequency information of the third layer and the reference frequency information of the third layer included in the already calculated information of the third layer is used for the calculation processing after the normalization processing C12, C22. It is used as a part of information related to the frequency information of the second layer used.
  • the frequency information of the second layer includes reference frequency information of the second layer and reference frequency information of the second layer. That is, a part of the information for calculation in the second hierarchy is obtained from the already calculated information in the third hierarchy.
  • the remaining information in the second layer calculation information is calculated based on the second layer reference region image and the second layer reference region image by two-dimensional Fourier transform processing C11 and C21. Is done.
  • the already-calculated information about the reused already-calculated information and the second-layer reference frequency information and the second-layer reference frequency information obtained by the Fourier transform processes C11 and C21 are stored in the already-calculated information storage unit 366.
  • the already-calculated information may include at least a part of the second-layer reference frequency information and the second-layer reference frequency information.
  • phase information related to each spatial frequency (also referred to as second phase reference phase information) is extracted from the reference frequency information of the second layer, and phase information (the first phase) related to each spatial frequency from the reference frequency information of the second layer. (Also referred to as two-phase reference phase information) is extracted.
  • the synthesis process C3 using the arithmetic expression expressed by the above equation 4 is performed. Thereby, based on the reference phase information of the second layer related to each spatial frequency and the reference phase information of the second layer related to each spatial frequency, a phase difference (also referred to as a phase difference of the second layer) related to each spatial frequency is obtained. Calculated.
  • a calculation result (POC value) indicating the correlation between the reference area image of the second hierarchy and the reference area image of the second hierarchy is obtained.
  • the result (POC value distribution) shown in FIG. ) Is obtained.
  • the position corresponding to the peak Jc of the POC value in the reference area image of the second hierarchy is the corresponding point Cb2 corresponding to the reference point Sb1 of the second hierarchy in the first converted reference image Gb2.
  • the corresponding point search unit 363 can detect the position of the corresponding point Cb2 in the second layer in the first converted reference image Gb2 by the search process in the second layer using the POC calculation method. That is, the second layer corresponding point Cb2 corresponding to the second layer reference point Sb1 is based on the second layer reference phase information related to each frequency component and the second layer reference phase information related to each frequency component. Can be detected.
  • a search window (also referred to as a reference area of the first hierarchy) Wa1 that includes the reference point Sa1 of the first hierarchy as a reference is set in the reference image Ga1. Is done.
  • the reference area Wa1 of the first hierarchy may be set, for example, with the reference point Sa1 of the first hierarchy being the center or the center of gravity.
  • the position determination unit 365 sets the search reference point Sa2 of the first hierarchy in the reference image Ga2. Then, as shown in FIG.
  • a search window (also referred to as a reference area in the first hierarchy) Wa2 that includes the search reference point Sa2 in the first hierarchy as a reference is set.
  • the reference area Wa2 of the first hierarchy may be set, for example, with the search reference point Sa2 of the first hierarchy being the center or the center of gravity.
  • the corresponding point search unit 363 searches for the corresponding point Ca2 in the first hierarchy corresponding to the reference point Sa1 in the first hierarchy in the reference area Wa2 in the first hierarchy in the reference image Ga2.
  • the corresponding point search process using the POC calculation method shown in FIG. 12 is performed.
  • the reference area in the first hierarchy is used instead of the reference area Wb1 in the second hierarchy and the reference area Wb2 in the second hierarchy in the search process for corresponding points in the second hierarchy.
  • Wa1 and the reference area Wa2 of the first hierarchy are employed.
  • the difference from the corresponding point search process in the second hierarchy will be mainly described.
  • f (x, y) in the above equation 1 represents a region image (also referred to as a first region reference region image) included in the first layer reference region Wa1, and g (x, y in the above equation 1). ) Indicates a region image (also referred to as a first layer reference region image) included in the first layer reference region Wa2.
  • first-dimensional Fourier transform processing C11 and C21 using the arithmetic expression expressed by the above equation 2 is performed on the first-layer reference region image and the first-layer reference region image.
  • the reference area image of the first hierarchy is decomposed into frequency components
  • the reference area image of the first hierarchy is decomposed into frequency components.
  • frequency information including a plurality of frequency components related to the first layer reference region image (also referred to as first layer reference frequency information) is obtained, and includes a plurality of frequency components related to the first layer reference region image.
  • Frequency information also referred to as first layer reference frequency information
  • the second-layer reference frequency information and the second-layer reference frequency information included in the already-calculated information is used for the first and subsequent calculation processes of the normalization processes C12 and C22. It is used as a part of information related to the frequency information of the hierarchy.
  • the frequency information of the first layer may include reference frequency information of the first layer and reference frequency information of the first layer. That is, part of the information for calculation in the first hierarchy is obtained from the already calculated information in the second hierarchy.
  • the remaining information in the first layer calculation information is calculated based on the first layer reference region image and the first layer reference region image by two-dimensional Fourier transform processing C11 and C21. Is done.
  • phase information related to each spatial frequency (also referred to as first phase reference phase information) is extracted from the first layer reference frequency information, and phase information related to each spatial frequency (first table) is extracted from the first layer reference frequency information. (Also referred to as one-phase reference phase information) is extracted.
  • the synthesis process C3 using the arithmetic expression expressed by the above equation 4 is performed.
  • the phase difference also referred to as the first layer phase difference
  • the first layer phase difference related to each spatial frequency based on the reference phase information of the first layer related to each spatial frequency and the reference phase information of the first layer related to each spatial frequency.
  • a calculation result (POC value) indicating the correlation between the reference area image of the first hierarchy and the reference area image of the first hierarchy is obtained.
  • a result (POC value distribution) as shown in FIG. ) Is obtained.
  • the position corresponding to the peak Jc of the POC value in the reference area image of the first hierarchy is the corresponding point Ca2 corresponding to the reference point Sa1 of the first hierarchy in the reference image Ga2.
  • the corresponding point search unit 363 can detect the position of the corresponding point Ca2 in the first hierarchy in the reference image Ga2 by the search process in the first hierarchy using the POC calculation method. That is, the first layer corresponding point Ca2 corresponding to the first layer reference point Sa1 is based on the first layer reference phase information related to each frequency component and the first layer reference phase information related to each frequency component. Can be detected. In addition, a shift amount (also referred to as parallax) between the position of the reference point Sa1 of the first hierarchy in the reference image Ga1 and the position of the corresponding point Ca2 of the first hierarchy in the reference image Ga2 can be detected.
  • a shift amount also referred to as parallax
  • the reuse method of the already-calculated information in the search process of the third hierarchy includes a method of reusing a part of the reference frequency information of the third hierarchy (also referred to as a reference reuse method of the third hierarchy), a third hierarchy Part of the reference frequency information (also referred to as a third layer reference reuse method).
  • the third-layer standard reuse method and the third-layer reference reuse method are the same.
  • the third layer reference reuse method will be described as an example. That is, a method in which a part of the fourth layer reference frequency information is reused as a part of the third layer reference frequency information will be described as an example.
  • the predetermined conversion magnification is 1/2.
  • the reference frequency information of the third layer includes amplitude information of the third layer and reference phase information of the third layer related to the two-dimensional spatial frequency (u, v).
  • amplitude information of the third layer and reference phase information of the third layer related to the two-dimensional spatial frequency (u, v).
  • u, v the two-dimensional spatial frequency
  • FIG. 20 schematically shows the reference frequency information of the fourth layer.
  • the fourth-layer reference region Wd1 and the third-layer reference region Wc1 have dimensions such that 33 pixels in the X direction and 17 pixels in the Y direction are arranged in a matrix.
  • the frequency u in the X direction can be expressed by 16 alternating current components having frequencies of 1 to 16.
  • four AC components having frequencies of 1 to 4 are shown for the purpose of avoiding the complexity of the drawing.
  • the horizontal width of the rectangular thick frame in FIG. 20 indicates the width Wo1 in the X direction of the reference area Wd1 of the fourth layer
  • the vertical direction of the rectangular thick frame indicates four frequencies with frequencies of 1 to 4. Indicates the amplitude of the AC component.
  • an alternating current component having a frequency of 1 is drawn by a solid line Ld1
  • an alternating current component having a frequency of 2 is drawn by a dashed line curve Ld2
  • an alternating current component having a frequency of 3 is drawn by a two-dot chain line.
  • the alternating current component having a frequency of 4 is drawn by a dashed curve Ld4.
  • FIG. 21 shows the relationship between the reference frequency information of the fourth layer and the reference frequency information of the third layer.
  • four AC components having frequencies 1 to 4 in the reference frequency information of the fourth layer shown in FIG. 20 are shown.
  • two AC components having frequencies 1 and 2 in the reference frequency information of the third layer are shown.
  • an alternating current component with a frequency of 1 is drawn by a dashed-dotted line curve Lc1
  • an alternating current component with a frequency of 2 is drawn by a broken line curve Lc2.
  • the reference area image of the fourth hierarchy is enlarged into an area image having twice the number of pixels in the X direction and the Y direction on the second converted reference image Gc1 of the third hierarchy.
  • the AC component in the reference frequency information of the third hierarchy is the AC component of the reference frequency information of the fourth hierarchy expanded twice in the X direction.
  • a thick broken line and a thick one-dot chain line indicate a correspondence relationship between the X-direction range in the fourth-layer reference region image and the X-direction range in the third-layer reference region image.
  • the horizontal width of the rectangular thick frame in the lower part of FIG. 21 indicates the width Wo1 in the X direction of the reference region Wc1 of the third hierarchy, and the vertical direction of the rectangular thick frame indicates the frequency of 1, 2 The amplitude of each AC component is shown.
  • an AC component with a frequency of 4 in the fourth layer corresponds to an AC component with a frequency of 2 in the third layer, and an AC component with a frequency of 2 in the fourth layer is in the third layer. It can correspond to an AC component having a frequency of 1.
  • the AC component having the frequency of 4 in the fourth layer and the AC component having the frequency of 2 in the third layer do not completely match, and the AC component having the frequency in the fourth layer of 2 and the third layer Even if they are not completely coincident with the AC component having a frequency of 1, they are in a similar relationship. For this reason, it is possible to reuse a part of the reference frequency information of the fourth hierarchy calculated by the calculation in the search process of the fourth hierarchy in the search process of the third hierarchy.
  • the information of the AC component when the frequency u 4 of the fourth layer is 2, 4 , 6, 8, 10, 12, 14, 16 is , And can be reused as AC component information when the frequency u 3 of the third layer is 1 to 8, respectively.
  • the information on the AC component in the case where the frequency u 4 in the fourth layer is an even number can be reused as the information on the AC component in the third layer related to the frequency u 3 of 1/2.
  • the corresponding AC component information does not exist in the fourth layer reference frequency information.
  • the AC component information for the case where the frequency u 3 of the third hierarchy is 9 to 16 may be newly calculated by Fourier transform processing for the reference area image of the third hierarchy. Therefore, in the X direction, the amount of calculation required for the Fourier transform process for the reference area image in the third hierarchy can be reduced to about 1 ⁇ 2.
  • the phase is shifted by u 3 ⁇ ⁇ .
  • the information of the AC component of frequency u 4 of the fourth layer is reused as the information of the AC component of frequency u 3 of 1/2, exchanges fourth hierarchy frequency u 4
  • the component phase u 4 ⁇ may be corrected with the shift amount u 3 ⁇ ⁇ .
  • the phase of the AC component for the frequency u 3 in the third layer may be 2 ⁇ u 4 ⁇ u 3 ⁇ ⁇ .
  • the phase shift amount u 3 ⁇ ⁇ according to the resolution reduction is used.
  • Information obtained by correcting the reference phase information of the fourth hierarchy is used for the calculation. Thereby, the accuracy of the corresponding point search in the search process can be improved.
  • the frequency v in the Y direction can be represented by eight AC components having frequencies of 1 to 8.
  • the AC component information when the fourth layer frequency v 4 is 2, 4 , 6, 8 is the AC component information when the third layer frequency v 3 is 1 to 4, respectively.
  • the information on the AC component in the case where the frequency v 4 in the fourth layer is an even number can be reused as the information on the AC component in the third layer related to the frequency v 3 of 1/2.
  • information of the AC component when the frequency v 3 of the third layer is 5-8, the reference frequency information of the fourth hierarchy, not there is information on the corresponding AC component.
  • the AC component information for the case where the frequency v 3 of the third layer is 5 to 8 may be newly calculated by the Fourier transform process for the reference region image of the third layer. Therefore, in the Y direction, the amount of computation required for the Fourier transform process for the third-layer reference area image can be reduced to about 1 ⁇ 2.
  • the AC of the frequency v 4 of the fourth layer is used.
  • the component phase v 4 ⁇ may be corrected with the shift amount v 3 ⁇ ⁇ .
  • the phase of the AC component for the frequency v 3 in the third layer may be 2 ⁇ v 4 ⁇ v 3 ⁇ ⁇ .
  • the information of the frequency component related to the two-dimensional spatial frequency (u, v) including the X direction and the Y direction includes the frequency component of the frequency u related to the X direction and the frequency component of the frequency v related to the Y direction. It corresponds to the synthesized one.
  • the reference frequency information of the fourth layer related to the spatial frequency (u 4 , v 4 ) obtained from the already calculated information of the fourth layer is the spatial frequency (u 4 , v 4 ).
  • the phase u 4 ⁇ of the AC component of the frequency u 4 in the fourth layer is corrected with the shift amount u 3 ⁇ ⁇ in the X direction, and the frequency in the third layer is corrected.
  • the phase of the AC component for u 3 may be 2 ⁇ u 4 ⁇ u 3 ⁇ ⁇ .
  • the phase v 4 ⁇ of the AC component of the frequency v 4 in the fourth layer is corrected by the shift amount v 3 ⁇ ⁇
  • the phase of the AC component for the frequency v 3 in the third layer is 2 ⁇ v 4. It may be ⁇ v 3 ⁇ ⁇ .
  • the phase shift amount (u 3 ⁇ ⁇ corresponding to the resolution reduction) , V 3 ⁇ ⁇ ) corrects the reference phase information of the fourth layer and obtains information for calculation.
  • the reference frequency information of the fourth layer related to the spatial frequency (u 4 , v 4 ) obtained from the already-calculated information of the fourth layer is the frequency (u 4 , v 4 ). It is used as reference frequency information relating to the frequency (u 3 , v 3 ) obtained by multiplying by a predetermined conversion magnification.
  • information already reused in the third-layer search process may be stored in the fourth-layer already-calculated information stored in the already-calculated information storage unit 366 in the fourth-layer search process.
  • the already-calculated information in the fourth layer does not include information that is not reused in the search processing in the third layer. Is preferred.
  • FIG. 22 schematically illustrates a method of calculating the distance from the first and second cameras 1 and 2 to the subject OB1 based on the principle of triangulation from the correspondence between pixels between the base image Ga1 and the reference image Ga2.
  • the distance D from 2 to the subject OB1 can be calculated from the following equation (7).
  • the base line length of the camera is B
  • the focal length of the lenses of the first and second cameras 1 and 2 is f.
  • FIG. 23 and FIG. 24 are flowcharts illustrating an operation flow related to the corresponding point search operation according to this embodiment. This flow can be realized by the control of the control unit 36, for example.
  • step St1 of FIG. 23 the image acquisition unit 361 acquires data M1 related to the first image from the first camera 1.
  • step St2 the image acquisition unit 361 acquires data M2 related to the second image from the second camera 2.
  • step St3 the image generation unit 362 sequentially reduces the resolution of the first image as the reference image Ga1 according to a predetermined conversion magnification, and the first converted reference image Gb1, the second converted reference image Gc1, and the first conversion image.
  • a three-converted reference image Gd1 is generated.
  • the resolution of the second image as the reference image Ga2 is sequentially reduced according to a predetermined conversion magnification by the image generation unit 362, and the first converted reference image Gb2, the second converted reference image Gc2, and the third converted image
  • a post-reference image Gd2 is generated.
  • step St4 the corresponding point search unit 363 sets the reference point Sa1 of the first layer in the reference image Ga1. Further, the corresponding point search unit 363 sets the second-layer reference point Sb1 in the first converted reference image Gb1, sets the third-layer reference point Sc1 in the second converted reference image Gc1, and performs the third conversion.
  • a fourth-layer reference point Sd1 is set in the rear reference image Gd1. As described above, the reference point Sb1 of the second layer, the reference point Sc1 of the third layer, and the reference point Sd1 of the fourth layer capture the same portion of the subject as the reference point Sa1 of the first layer. .
  • step St4 when the process of step St4 is the first time, for example, the upper left pixel of the reference image Ga1 can be set as the reference point Sa1 of the first layer. For example, every time the process returns from step St11 to step St4, the next pixel included in the reference image Ga1 may be set as the reference point Sa1 of the first layer. Accordingly, all the pixels included in the reference image Ga1 can be sequentially set as the reference point Sa1 of the first hierarchy.
  • step St5 the corresponding point search unit 363 uses the numerical values N h (N h for specifying the image group of the hierarchy to be subjected to the corresponding point search processing among the image groups 1Hy to 4Hy of the first to fourth hierarchies. (Integer of 1 to 4) is set to 4.
  • step St6 the corresponding point search unit 363 designates the image group N h Hy of the N h layer that is the target of the corresponding point search processing among the image groups 1Hy to 4Hy of the first to fourth layers.
  • step St 7 the position determination unit 365, search reference point of the N h hierarchy is determined.
  • the fourth-layer search reference point Sd2 is determined in the third converted reference image Gd2.
  • the search reference point Sc2 of the third hierarchy is determined in the second converted reference image Gc2 based on the position of the corresponding point Cd2 of the fourth hierarchy in the third converted reference image Gd2. Is done.
  • the search reference point Sb2 of the second hierarchy is determined in the first converted reference image Gb2 based on the position of the corresponding point Cc2 of the third hierarchy in the second converted reference image Gc2. Is done.
  • the search reference point Sa2 of the first hierarchy is determined in the reference image Ga2 based on the position of the corresponding point Cb2 of the second hierarchy in the first converted reference image Gb2.
  • step St8 the corresponding point search unit 363 can execute the operation flow of the corresponding point search process shown in FIG.
  • the operation flow shown in FIG. 24 will be described.
  • the reference region of the first N h hierarchy is set a reference point of the N h hierarchy set in step St4 is a reference.
  • N h 4
  • the fourth-layer reference region Wd1 including the fourth-layer reference point Sd1 as a reference in the third converted reference image Gd1 is set.
  • N h 3
  • the third-layer reference region Wc1 including the third-layer reference point Sc1 as a reference in the second converted reference image Gc1 is set.
  • the second-layer reference region Wb1 including the second-layer reference point Sb1 as a reference in the first converted reference image Gb1 is set.
  • N h 1, a reference area Wa1 of the first hierarchy that includes the reference point Sa1 of the first hierarchy as a reference in the reference image Ga1 is set.
  • step ST83 whether numerical N h is 4 is determined.
  • the process proceeds to step ST84, unless numerical N h is 4, the process proceeds to step ST86.
  • step St84 a two-dimensional Fourier transform process is performed on the fourth-layer standard area image and the fourth-layer reference area image. Thereby, the reference frequency information of the fourth layer and the reference frequency information of the fourth layer are obtained.
  • step St85 the already-calculated information of the fourth hierarchy is stored in the already-calculated information storage unit 366.
  • step ST86 already operational information of the N h +1 hierarchy stored in the already-calculation-information storage unit 366 is reused as part of the information for the calculation of the N h hierarchy.
  • step ST87 the residual information of the information for the calculation of the N h hierarchy, the Fourier transform of the partial two-dimensional for a reference region image of the first N h hierarchy and reference region image of the N h hierarchy Calculated.
  • the reference frequency information of the first N h hierarchy and the reference frequency information of the first N h hierarchy is obtained.
  • step ST88 already operational information of the N h hierarchy is stored in the already-calculation-information storage unit 366.
  • step ST89 against a reference frequency information of the first N h hierarchy of reference frequency information and the N h hierarchy obtained in step St84 or step ST87, normalization processing for removing an amplitude component of the image is performed .
  • the reference phase information and the reference phase information of the N h hierarchy of the N h hierarchy is obtained.
  • step ST90 the synthesis processing with respect to the reference phase information and the reference phase information of the N h hierarchy of the N h hierarchy obtained in the step St89 is executed.
  • the phase difference of the N h hierarchy according to each spatial frequency is calculated.
  • step St91 the inverse Fourier transform processing of the two-dimensional with respect to the phase difference between the first N h hierarchy according to the spatial frequency obtained in step St90 is executed.
  • the correlation operation between the respective images included in the N h hierarchy of images N h Hy is performed, the result (POC value) is output.
  • step St92 the position of the peak of the POC value obtained in step St91 is detected.
  • the position of the corresponding point Cb2 in the second hierarchy is detected.
  • step St9 of FIG. 23 the corresponding point search unit 363 determines whether or not the numerical value N h is 1.
  • the process proceeds to step St10, if numerical N h is 1, the process proceeds to step St 11.
  • step St10 the corresponding point search section 363, numeric N h is Gensa only 1, the process proceeds to step St6.
  • step St11 the corresponding point search unit 363 determines whether or not a pixel (also referred to as a pixel to be processed) that is a target of the corresponding point search process remains in the reference image Ga1. If the pixel to be processed remains, the process returns to step St4. Then, the processes of steps St4 to St11 are repeated until there are no more pixels to be processed. On the other hand, if no pixel to be processed remains, this operation flow is terminated.
  • a pixel also referred to as a pixel to be processed
  • the already-calculated information of the second to fourth layers includes at least part of the reference frequency information of the second to fourth layers and the reference frequency information of the second to fourth layers. It is not limited to this.
  • the already-calculated information of the second to fourth layers includes at least a part of the reference phase information of the second to fourth layers and the reference phase information of the second to fourth layers obtained by the normalization process. Also good.
  • the reference phase information of the fourth hierarchy and the reference phase information of the fourth hierarchy as the fourth already-calculated information stored in the already-calculated information storage unit 366 in the search process of the fourth hierarchy are It can be reused in the search process.
  • the reference phase information of the fourth layer is obtained from the already calculated information of the fourth layer and used for the calculation, the reference phase information of the fourth layer is corrected by the amount of phase shift according to the resolution reduction. It is sufficient that the obtained information is used for the calculation.
  • the reference phase information of the fourth layer is obtained from the already calculated information of the fourth layer and used for the calculation, the reference phase information of the fourth layer is corrected by the phase shift amount according to the resolution reduction. It is sufficient that the obtained information is used for the calculation.
  • the spatial frequency of the third layer is (u 3 , v 3 )
  • the phase shift amount is (u 3 ⁇ ⁇ , v 3 ⁇ ⁇ ).
  • the third phase reference phase information and the third phase reference phase information as the third already calculated information stored in the already calculated information storage unit 366 in the third layer search processing are used in the second layer search processing. Can be reused.
  • the 3rd layer reference phase information is obtained from the 3rd layer already calculated information and used for the calculation, the 3rd layer reference phase information is corrected by the phase shift amount according to the resolution reduction. It is sufficient that the obtained information is used for the calculation.
  • the third phase reference phase information is obtained from the third layer already calculated information and used for calculation, the third phase reference phase information is corrected by the phase shift amount according to the resolution reduction. It is sufficient that the obtained information is used for the calculation.
  • the spatial frequency of the second layer is (u 2 , v 2 )
  • the phase shift amount is (u 2 ⁇ ⁇ , v 2 ⁇ ⁇ ).
  • the second-phase reference phase information and the second-layer reference phase information as the second already-calculated information stored in the already-calculated information storage unit 366 in the second-layer search process are used in the first-layer search process. Can be reused.
  • the reference phase information of the second layer is obtained from the already calculated information of the second layer and used for the calculation
  • the reference phase information of the second layer is corrected by the phase shift amount according to the resolution reduction. It is sufficient that the obtained information is used for the calculation.
  • the second phase reference phase information is obtained from the second layer already calculated information and used for calculation
  • the second phase reference phase information is corrected by the phase shift amount according to the resolution reduction. It is sufficient that the obtained information is used for the calculation.
  • the spatial frequency of the first layer is (u 1 , v 1 )
  • the phase shift amount is (u 1 ⁇ ⁇ , v 1 ⁇ ⁇ ).
  • the image processing device 3 can be downsized and the manufacturing cost can be reduced.
  • the already-calculated information of the second to fourth layers may include information indicating the phase difference of the second to fourth layers related to each spatial frequency obtained by the synthesis process.
  • information indicating the phase difference of the fourth layer related to each spatial frequency as the fourth already-calculated information stored in the already-calculated information storage unit 366 in the fourth-layer search process is the third-layer search. Can be reused in processing.
  • the information indicating the phase difference related to each spatial frequency of the third hierarchy as the third already-calculated information stored in the already-calculated information storage unit 366 in the search process of the third hierarchy is regenerated in the search process of the second hierarchy.
  • the information indicating the phase difference related to each spatial frequency of the second hierarchy as the second already-calculated information stored in the already-calculated information storage unit 366 in the second-tier search process is regenerated in the first-tier search process. Can be used.
  • the phase difference may be reused after being multiplied by a predetermined conversion magnification.
  • the image processing device 3 can be downsized and the manufacturing cost can be reduced.
  • the correlation calculation using the POC calculation method is performed in the corresponding point search process, but the present invention is not limited to this.
  • a correlation calculation method in the corresponding point search unit 363 for example, a PSA (Phase-Difference Spectrum Analysis) method may be employed.
  • Fourier transform processing C11, C21 and normalization processing C12, C22 are sequentially performed on the fourth-layer reference region image and the fourth-layer reference region image, and further A synthesis process C3 is performed.
  • the phase difference ⁇ (u, v) of the fourth layer related to each spatial frequency (u, v) is obtained. That is, for each spatial frequency (u, v), the phase difference ⁇ (u, v) is obtained based on the fourth phase reference phase information and the fourth phase reference phase information.
  • the amount of deviation (parallax) in the X direction and the Y direction between the position of the reference point Sd1 in the reference area Wd1 in the fourth hierarchy and the position of the corresponding point Cd2 in the reference area Wd2 in the fourth hierarchy is dx and dy. Is done.
  • a rectangular reference region Wd1 of interest correlation calculation is a N 1 and N 2, respectively, of the following formula (8) A relationship is established.
  • the following steps (I) and (II) are sequentially performed in this order, so that the reference area Wd2 of the fourth hierarchy and the reference area Wd2 of the fourth hierarchy are between.
  • the maximum correlation value (also referred to as the maximum correlation value) C max is obtained.
  • phase difference ⁇ (u, v) is a parallax between the reference point Sd1 of the fourth layer and the corresponding point Cd2 of the fourth layer ( dx, dy) to obtain a linear parallax function.
  • each space of a predetermined size also referred to as a voting space
  • parallax dx as the horizontal axis
  • parallax dy as the vertical axis Voting
  • FIG. 25 is a schematic diagram illustrating the voting space Dd1.
  • the voting space Dd1 is configured by a two-dimensional spatial coordinate system in which the vertical axis and the horizontal axis are orthogonal to each other, the horizontal axis indicates the parallax dx, and the vertical axis indicates the parallax dy.
  • the size of the voting space Dd1 may be determined according to the number of spatial frequencies (u, v) to be handled and the size of the area where the corresponding points are searched.
  • the voting space Dd1 can be voted in increments of 0.1 pixels including the origin (0, 0).
  • a coordinate point also referred to as a voteable coordinate point
  • 21 voting possible coordinate points are provided in a matrix in the vertical direction corresponding to the dy direction and 21 in the horizontal direction corresponding to the dx direction.
  • each voteable coordinate point is schematically shown as a square area.
  • FIG. 26 and FIG. 27 are diagrams for explaining a voting method for the voting space Dd1.
  • a straight line (thick line in the figure) indicated by the parallax linear function is drawn in the voting space Dd1.
  • a voting value is given to all voting possible coordinate points through which a straight line related to the parallax linear function passes among a large number of voting possible coordinate points constituting the voting space Dd1.
  • voting values are given to a plurality of voting possible coordinate points as shown in FIG.
  • a vote value corresponding to the magnitude of the amplitude may be given.
  • the vote value only needs to increase with an increase in amplitude.
  • the voting value may be increased, and a threshold value of 1 or more is provided for the amplitude, and the amplitude increases. Each time the threshold value is exceeded, the voting value may be increased step by step as 1, 2, 3,.
  • the distribution of the integrated value of the vote value (also referred to as the vote integrated value) in the vote space Dd1 is obtained by giving such a vote value.
  • the phase difference for each spatial frequency (u, v) is converted into a spatial shift amount, and then voted on the voting space Dd1, thereby voting integrated value in the voting space Dd1 as a voting result. Is obtained.
  • the distribution of vote integrated values obtained here indicates the correlation between the third converted reference image Gd1 in the fourth hierarchy and the third converted reference image Gd2 in the fourth hierarchy, and the maximum value of the vote integrated values Becomes the maximum correlation value C max .
  • the vote integrated value related to the vicinity of the point where the straight lines related to the parallax linear function frequently intersect can be the maximum correlation value Cmax .
  • the parallax (dx, dy) corresponding to the voteable coordinate point to which the maximum correlation value Cmax is given in the voting space Dd1 is detected.
  • the parallax (dx, dy) between the reference area Wd1 of the fourth hierarchy and the reference area Wd2 of the fourth hierarchy the third level corresponding to the reference point Sd1 of the fourth hierarchy in the third converted reference image Gd2.
  • Corresponding point Cd2 in the four layers is detected. That is, in the search process of the fourth hierarchy, the corresponding point Cd2 of the fourth hierarchy is searched based on the distribution of vote integrated values in the voting space Dd1.
  • the third hierarchy search process, the second hierarchy search process, and the first hierarchy search process are sequentially performed in the same manner as the fourth hierarchy search process, whereby the first hierarchy in the reference image Ga2 is obtained.
  • a corresponding point Ca2 of the first hierarchy corresponding to the reference point Sa1 of the hierarchy is detected.
  • the phase difference ⁇ (u, v) is obtained for each spatial frequency (u, v) based on the reference phase information of the third layer and the reference phase information of the third layer.
  • the phase difference ⁇ (u, v) is converted into a spatial shift amount for each spatial frequency (u, v). Then, by voting this spatial deviation amount to the voting space Dc1, a distribution of vote integrated values in the vote space Dc1 as a voting result is obtained. Based on the distribution of the vote integrated values, Corresponding point Cc2 is searched.
  • a phase difference ⁇ (u, v) is obtained based on the second layer reference phase information and the second layer reference phase information.
  • the phase difference ⁇ (u, v) is converted into a spatial shift amount for each spatial frequency (u, v). Then, by voting this spatial shift amount to the voting space Db1, a distribution of vote integrated values in the vote space Db1 as a voting result is obtained. Based on the distribution of the vote integrated values, Corresponding point Cb2 is searched.
  • a phase difference ⁇ (u, v) is obtained based on the reference phase information of the first layer and the reference phase information of the first layer.
  • the phase difference ⁇ (u, v) is converted into a spatial shift amount for each spatial frequency (u, v). Then, by voting this spatial shift amount to the voting space Da1, a distribution of vote integrated values in the vote space Da1 as a voting result is obtained. Based on the distribution of vote integrated values, Corresponding point Ca2 is searched.
  • the already-calculated information of the fourth layer is stored in the already-calculated information storage unit 366 in the search process of the fourth layer, similarly to the above-described embodiment. It may be stored and reused in the search process of the third hierarchy. Further, the already-calculated information of the third hierarchy may be stored in the already-calculated information storage unit 366 in the search process of the third hierarchy, and may be reused in the search process of the second hierarchy. In the second layer search process, the second layer already calculated information may be stored in the already calculated information storage unit 366 and reused in the first layer search process.
  • the already-calculated information of the second to fourth layers reused here is at least one of the reference frequency information of the second to fourth layers and the reference frequency information of the second to fourth layers, as in the above-described embodiment. Part information may be included.
  • the already-calculated information of the second to fourth layers to be reused includes the reference phase information of the second to fourth layers obtained by the normalization process and the reference of the second to fourth layers. At least a part of the phase information may be included. Further, if the voting values in the voting spaces Da1 to Dd1 are changed according to the amplitude component, the already calculated information of the second to fourth layers to be reused includes the amplitude information of the second to fourth layers. At least some information may be included.
  • the calculation result by the two-dimensional Fourier transform process in the search process of the second to fourth layers is a complex number format having a real part Re (u, v) and an imaginary part Im (u, v). Can be output.
  • the amplitude information A (u, v) obtained by the two-dimensional Fourier transform process is obtained from the real part Re (u, v) and the imaginary part Im (u, v) as shown in Equation 6. obtain.
  • reference phase information ⁇ (u, v) of the second to fourth layers and the reference phase information ⁇ (u, v) of the second to fourth layers are represented by the real part Re (u, v) as shown in Expression 7. ) And the imaginary part Im (u, v).
  • the already-calculated information of the second to fourth layers may be stored in the form of amplitude information and phase information, or stored in the form of real part Re (u, v) and imaginary part Im (u, v). May be.
  • the already-calculated information of the second to fourth layers includes information indicating the phase difference ⁇ (u, v) of the second to fourth layers related to each spatial frequency obtained by the synthesis process. May be included.
  • the already calculated information of the fourth layer includes a phase difference ⁇ (calculated based on the reference phase information of the fourth layer and the reference phase information of the fourth layer for one or more spatial frequencies (u, v).
  • Information indicating the result obtained by voting the spatial shift amount to the voting space Dd1 after u, v) is converted into the spatial shift amount may be included.
  • the spatial frequency (u 4 , v 4 ) of the fourth layer and the spatial frequency (u 3 , v 3 ) of the third layer for the search window of the same size can be established.
  • the AC component information is the spatial frequency (u 3 , v) of the third layer, respectively.
  • 3 ) is (1,1), (2,2), (3,3), (4,4), (5,5), (6,6), (7,7), (8,8) It is similar to the information of the AC component in the case of.
  • the AC component information for the case where both the spatial frequencies (u 4 , v 4 ) of the fourth layer are even numbers is obtained for the third layer related to half of the spatial frequencies (u 3 , v 3 ). Similar to AC component information.
  • the reference phase information and the reference phase information for the even-numbered spatial frequencies (u 4 , v 4 ) of the fourth layer are 1 ⁇ 2 times the spatial frequency (u 3 , v 3 ) are converted into reference phase information and reference phase information.
  • the reference phase information and the reference phase information are corrected with a deviation amount (u 3 ⁇ ⁇ , v 3 ⁇ ⁇ ).
  • the spatial shift amount is converted into a voting space. Voted for Dd1. And the information which shows this vote result should just be used as the already calculated information of a 4th hierarchy.
  • the already calculated information of the third layer includes a phase difference ⁇ (calculated based on the reference phase information of the third layer and the reference phase information of the third layer for one or more spatial frequencies (u, v). Information indicating the result obtained by voting the spatial shift amount to the voting space Dc1 after u, v) is converted into the spatial shift amount may be included.
  • the already calculated information of the second layer includes a phase difference ⁇ (calculated based on the reference phase information of the second layer and the reference phase information of the second layer for one or more spatial frequencies (u, v)). Information indicating the result obtained by voting the spatial shift amount to the voting space Db1 after u, v) is converted into the spatial shift amount may be included.
  • information indicating the voting results for the voting spaces Dd1 to Db1 for one or more spatial frequencies (u, v) obtained in the search processing of the previous layer. May be reused.
  • the already-calculated information of the third hierarchy and the already-calculated information of the second hierarchy can be calculated by the same method as the already-calculated information of the fourth hierarchy. If such a configuration is adopted, the storage capacity of the already-calculated information storage unit 366 can be reduced by reducing the amount of information in the reused information. As a result, the image processing device 3 can be downsized and the manufacturing cost can be reduced.
  • the search reference point Sc2 of the third hierarchy is the search reference point Sd2 of the fourth hierarchy. Is set to a position corresponding to.
  • the frequency u of the fourth layer It is sufficient that the phase u 4 ⁇ of the AC component 4 is corrected with the shift amount u 3 ⁇ ⁇ .
  • the search reference point Sc2 is set at a position shifted by 2 m pixels in the X direction from the pixel corresponding to the search reference point Sd2.
  • the frequency 1 corresponds to 2 ⁇ .
  • u 4 ⁇ is corrected by the shift amount u 3 ⁇ ⁇ and the shift amount 2 m ⁇ u 3 ⁇ 2 ⁇ / 33. Therefore, in this case, the phase of the AC component for the frequency u 3 in the third layer may be 2 ⁇ u 4 ⁇ u 3 ⁇ ⁇ 2m ⁇ u 3 ⁇ 2 ⁇ / 33.
  • the spatial search between the search reference point Sd2 and the corresponding point Cd2 is performed. It is preferable that the phase shift related to the reference phase information of the fourth layer is corrected and used for the calculation in accordance with the shift amount 2m ⁇ u 3 ⁇ 2 ⁇ / 33. It should be noted that the same correction is preferably performed for the search process of the second hierarchy and the search process of the first hierarchy.
  • the weighting coefficient Wt (u, v) expressed by the above equation 4 is set to 1 regardless of the spatial frequency (u, v), but is not limited thereto.
  • the one or more spatial frequencies (u, v) are used.
  • the weighting coefficient Wt (u, v) may be set to a predetermined value less than 1.
  • the predetermined value may be set to 1 / n, which is a numerical value corresponding to a predetermined conversion magnification.
  • the weighting coefficient Wt (u, v) for one or more spatial frequencies (u, v) related to reuse is the weighting coefficient Wt (u, v) for the remaining one or more spatial frequencies (u, v). It only needs to be relatively smaller. In other words, in the search processing of the first to third layers, the remaining information has a larger influence on the corresponding point search result than the part of the information related to the already-calculated information. Weighting may be performed. Thereby, the accuracy of the corresponding point search can be improved.
  • the information of the calculation information of the third hierarchy is more than the partial information in the information for the calculation of the third hierarchy obtained from the already calculated information of the fourth hierarchy.
  • Information is weighted so that the remaining information has a greater influence on the search result of the third corresponding point Cc2.
  • the remainder of the information for the calculation of the second layer is more than the partial information in the information for the calculation of the second layer obtained from the already calculated information of the third layer. The information is weighted so that the information has a greater influence on the search result of the second corresponding point Cb2.
  • the remainder of the calculation information of the first hierarchy is more than the partial information in the calculation information of the first hierarchy obtained from the already calculated information of the second hierarchy.
  • the information is weighted so that the information has a greater influence on the search result of the first corresponding point Ca2.
  • the weighting coefficient Wt (u, v) may be sequentially reduced according to the number of reuses. Specifically, if the number of reuses is the first time, the weighting coefficient Wt (u, v) is set to 0.8, and if the number of reuses is the second time, the weighting coefficient Wt (u, v). Is 0.6, and the number of reuses is the third time, a mode in which the weighting coefficient Wt (u, v) is 0.4 can be considered.
  • the voting value for one or more spatial frequencies (u, v) may be reduced from a value corresponding to the amplitude. That is, when voting values are given to the voting spaces Da1 to Dc1 in accordance with a parallax linear function derived by reusing information on one or more spatial frequencies (u, v), the voting value becomes an amplitude. It may be reduced from the corresponding value.
  • the residual information has a greater influence on the search result of the corresponding points than the partial information in the calculation information obtained from the already calculated information.
  • information is weighted.
  • the information obtained from the relatively low resolution image is reused in the calculation for the relatively high resolution image. It is not limited to this.
  • information obtained from a relatively high resolution image may be reused for computations that target relatively low resolution images.
  • the search processing for the first to fourth layers first, when the reference points Sa1 to Sd1 for the first to fourth layers are set, the positions of the reference areas Wa1 to Wd1 for the first to fourth layers are unambiguous. Can be determined automatically. For this reason, for example, after the frequency information is obtained for the first-layer reference area image, the frequency information is reused to obtain the frequency information for the second to fourth-layer reference area images. Conceivable.
  • At least a part of information related to the reference frequency information of the first hierarchy obtained by the calculation of the search process of the first hierarchy is stored in the already-calculated information storage unit 366 as already-calculated information, It may be used as a part of information for calculation related to the reference frequency information.
  • the remaining information in the calculation information related to the reference frequency information of the second hierarchy may be calculated based on the first converted reference image Gb1.
  • the information that is reused here may include phase information that is part of the frequency information.
  • the spatial frequency (u 1 , v 1 ) of the first layer is (1, 1), (2, 2), (3, 3), (4, 4), (5, 5), (6, 6 ), (7, 7), (8, 8)
  • the AC component information is such that the spatial frequencies (u 2 , v 2 ) of the second layer are (2, 2), (4, 4), (6, 6), (8, 8), (10, 10), (12, 12), (14, 14), and (16, 16), similar to the information of the AC component.
  • the reference phase information about the spatial frequency (u 1 , v 1 ) of the first layer is the double spatial frequency (u 2) corresponding to the predetermined conversion magnification of the second layer.
  • V 2 V 2
  • the information of the AC component of frequency u 1 of the first hierarchy when it is reused as the information of the AC component of the frequency u 2 twice that of the second hierarchy, alternating current with a frequency u 1 of the first hierarchy It is preferable that the phase u 1 ⁇ of the component is corrected with a shift amount u 2 ⁇ ⁇ corresponding to a reduction in resolution.
  • Such reuse of information can also reduce the amount of calculation required for the Fourier transform processing for the second-layer reference region image to about ⁇ 1- (1/2) 2 ⁇ .
  • the information related to the reference frequency information of the first layer obtained by the calculation of the search processing of the first layer is stored as the already-calculated information in the already-calculated information storage unit 366, and the reference of the third and fourth layers It may be used as a part of information for calculation related to frequency information.
  • the remaining information in the calculation information related to the reference frequency information of the third and fourth layers may be calculated based on the second and third converted reference images Gc1 and Gd1.
  • the information on the alternating current component of the frequency u 1 in the first layer is reused as the information on the alternating current component related to the frequencies u 3 and u 4 of the fourth and eighth layers of the third and fourth layers.
  • the phase u 1 ⁇ of the AC component of the frequency u 1 in the first layer is corrected by the shift amounts u 3 ⁇ ⁇ and u 4 ⁇ ⁇ according to the resolution reduction.
  • the information related to the reference frequency information of the second layer obtained by the calculation of the search processing of the second layer is stored as the already-calculated information in the already-calculated information storage unit 366, and the reference of the third and fourth layers It may be used as a part of information for calculation related to frequency information.
  • the remaining information in the calculation information related to the reference frequency information of the third and fourth layers may be calculated based on the second and third converted reference images Gc1 and Gd1.
  • the information on the alternating current component of the frequency u 2 in the second layer is reused as the information on the alternating current component related to the frequencies u 3 and u 4 of the third and fourth layers that are twice and four times that information.
  • the phase u 2 ⁇ of the alternating current component of the frequency u 2 in the second layer is corrected by the shift amounts u 3 ⁇ ⁇ and u 4 ⁇ ⁇ according to the resolution reduction.
  • the information related to the reference frequency information of the third layer obtained by the calculation of the search processing of the third layer is stored in the already-calculated information storage unit 366 as already-calculated information, and the reference frequency information of the fourth layer It may be used as a part of the information for calculation.
  • the remaining information in the calculation information related to the reference frequency information of the fourth layer may be calculated based on the third converted reference image Gd1.
  • the frequency u of the third layer is reused as the information of the AC component related to the frequency u 4 of the fourth layer that is twice that
  • the frequency u of the third layer the third alternating current component of the phase u 3 theta is corrected by the deviation amount u 4 ⁇ [pi corresponding to the reduction of the resolution is preferred.
  • the distance calculation unit 367 uses the first and second cameras 1 and 2 to determine the correspondence between the base image Ga1 and the reference image Ga2.
  • the distance to the subject OB1 is calculated, the present invention is not limited to this.
  • x 1 and y 1 indicate the coordinates of the target pixel on the reference image Ga1.
  • FIG. 30 shows a schematic configuration of an information processing system 100A in which a three-dimensional position calculation unit 368 for calculating a three-dimensional position (X 1 , Y 1 , Z 1 ) of the subject OB1 is added to the control unit 36 of the information processing system 100.
  • FIG. In the information processing system 100A, for example, based on the three-dimensional position (X 1 , Y 1 , Z 1 ) of the subject OB1, an image (also referred to as a three-dimensional image) that represents the subject OB1 three-dimensionally on the display unit 32. It may be output visually.
  • the pixel correspondence between two images captured at the same timing by the first and second cameras 1 and 2 is searched.
  • a subject is imaged in time sequence by one camera C1
  • data of a plurality of images is acquired by the image processing device 3 via the communication line Ln1
  • a correspondence relationship between pixels between the plurality of images is searched.
  • the motion vector of the subject may be calculated from the correspondence between the pixels.
  • FIG. 31 is a diagram illustrating a schematic configuration of an information processing system 100B in which a motion information calculation unit 369 that calculates a motion vector of a subject is added to the control unit 36 of the information processing system 100.
  • the first and second cameras 1 and 2 in the information processing system 100 are replaced with the camera C1, and the communication lines L1 and L2 are replaced with the communication line Ln1.
  • display elements such as an arrow indicating the motion vector of the subject on the display unit 32 may be visually output together with the image capturing the subject based on the motion vector of the subject.
  • the search processing for the first to fourth layers is performed, but the search processing for two or more layers may be performed.
  • the already-calculated information in the search process of the previous layer is reused in the search process of the first to third layers, but the present invention is not limited to this.
  • reuse of already-calculated information obtained in the search process of the fourth hierarchy in the search process of the third hierarchy, reuse of the already-calculated information obtained in the search process of the third hierarchy in the search process of the second hierarchy, Any one of the reuses of the already-calculated information obtained in the search process of the second hierarchy in the search process of the first hierarchy may be executed. That is, it is only necessary to reuse the already-calculated information obtained in one search process between the search processes in two or more layers.
  • the already-calculated information is reused in the calculations on both the base image Ga1 side and the reference image Ga2 side.
  • the present invention is not limited to this.
  • the already-calculated information may be reused in at least one of the calculations on the base image Ga1 side and the reference image Ga2 side.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　画像の状態に拘わらず、対応点の探索速度を向上させ得る技術を提供することを図る。この目的を達成するために、第１画像から生成された第１変換後基準画像の第１基準点を含む第１基準領域に係る各周波数成分の第１位相情報と、第２画像から生成された第１変換後参照画像の第１探索基準点を含む第１参照領域に係る各周波数成分の第２位相情報とに基づき第１基準点に対応する第１対応点が第１変換後参照画像で探索される。また、第１変換後参照画像における第１対応点の位置に基づき、第２画像上で第２探索基準点が決定される。更に、第１画像の第１基準点に対応する第２基準点を含む第２基準領域に係る各周波数成分の第３位相情報と、第２画像の第２探索基準点を含む第２参照領域に係る各周波数成分の第４位相情報とに基づき第２基準点に対応する第２対応点が第２画像で探索される。該２段の探索では他段の演算で得られた周波数成分に係る情報が再利用される。

Description

画像処理装置、画像処理方法、およびプログラム
　本発明は、画像処理技術に関する。
　２つの撮像装置によって同一対象物（被写体）を異なる視点から撮像することで得られた基準画像と参照画像とについて、両画像間における対応点を探索する技術が知られている。この技術では、例えば、ＳＡＤ（Sum of Absolute Difference）演算法およびＰＯＣ（Phase-Only Correlation）演算法等といった相関演算によって得られる相関度に基づき、基準画像の基準点と同一対象物が捉えられた対応点が参照画像において探索される。
　また、例えば、基準画像と参照画像とについて、解像度の異なる複数の画像がそれぞれ生成されて解像度別に階層化され、低解像度の上位層から高解像度の下位層に向かって相関演算を用いた対応点の探索が順次に繰り返される処理が知られている。この処理では、低解像度の上位層で得られた視差に基づいて次の階層における探索領域が設定されるため、最高解像度の最下層までの演算処理に要する時間が短縮され得る。
　更に、各画素の対応点が探索される際、低解像度の上位層について相関演算で得られるＳＡＤ値およびＰＯＣ値等といった相関度を示す値が信頼度とされ、該信頼度に応じて、次に対応点の探索処理が行われる解像度の階層が決定される技術が提案されている（例えば、特許文献１等）。
特開２００９－２９４７３３号公報
　しかしながら、上記特許文献１の技術では、基準画像と参照画像の状態に応じて対応点の探索に要する演算量ならびに演算時間が左右される。このため、対応点の探索結果が利用される各種アプリケーションでは、対応点の探索に要する演算時間が最も長くなる場合が基準とされ、対応点の探索結果を利用した演算が行われるように設計される必要がある。また、対応点の探索に係る演算が、画一的ではなく、基準画像と参照画像の状態に応じて変化するため、該処理フローがパイプライン処理等で実現されるハードウェアを構成することは容易でない。
　本発明は、上記課題に鑑みてなされたものであり、画像の状態に拘わらず、対応点の探索速度を向上させ得る技術を提供することを目的とする。
　上記課題を解決するために、第１の態様に係る画像処理装置は、第１画像および第２画像を取得する取得部と、所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成する生成部と、前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理、および前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行う探索部と、前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において前記第２探索基準点の位置を決定する決定部と、前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、前記探索部が、前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該前記演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行う。
　第２の態様に係る画像処理装置は、第１画像および第２画像を取得する取得部と、所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成する生成部と、前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理、および前記第１変換後基準画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行う探索部と、前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において前記第２探索基準点の位置を決定する決定部と、前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、前記探索部が、前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第２変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行う。
　第３の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記探索部が、前記第１および第２探索処理において、位相限定相関演算を用いる。
　第４の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記既演算情報が、前記第１から第３周波数情報のうちの少なくとも一部の情報を含む。
　第５の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、前記既演算情報が、前記第１から第３位相情報のうちの少なくとも一部の情報を含む。
　第６の態様に係る画像処理装置は、第１から第５の何れか１つの態様に係る画像処理装置であって、前記既演算情報が、前記第１位相情報と前記第２位相情報とに基づいて算出される位相差を示す情報を含む。
　第７の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記探索部が、前記第１探索処理において、各周波数成分について、前記第１位相情報と前記第２位相情報とに基づいて第１位相差を算出して該第１位相差を空間的なずれ量に変換し、該空間的なずれ量を第１投票空間に投票することで第１投票結果を得て、該第１投票結果に応じて前記第１対応点を探索し、前記第２探索処理において、各周波数成分について、前記第３位相情報と前記第４位相情報とに基づいて第２位相差を算出して該第２位相差を空間的なずれ量に変換し、該空間的なずれ量を第２投票空間に投票することで第２投票結果を得て、該第２投票結果に応じて前記第２対応点を探索し、前記既演算情報が、前記第１探索処理において、１以上の周波数成分について前記第１位相差が空間的なずれ量に変換された後に、該空間的なずれ量が前記第１投票空間に投票されることで得られる投票結果を示す情報を含む。
　第８の態様に係る画像処理装置は、第１から第５の何れか１つの態様に係る画像処理装置であって、前記探索部が、前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第１位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用い、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第２位相情報を補正して演算に用い、前記第１探索処理において、前記第３探索処理で算出される前記既演算情報から前記第３位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用いる。
　第９の態様に係る画像処理装置は、第１から第８の何れか１つの態様に係る画像処理装置であって、前記所定の変換倍率が、１／ｎ（ｎは１よりも大きな任意の数）であり、前記探索部が、前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から第１周波数に係る前記第１周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第１周波数情報を、前記第１周波数に１／ｎを乗じて得られる第２周波数に係る前記第３周波数情報として用い、前記第１探索処理で算出される前記既演算情報から前記第１周波数に係る前記第２周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第２周波数情報を、前記第２周波数に係る前記第４周波数情報として用い、前記第１探索処理において、前記第２探索処理で算出される前記既演算情報から前記第２周波数に係る前記第３周波数情報を得て演算に用いる場合に、前記第２周波数に係る前記第３周波数情報を、前記第２周波数にｎを乗じて得られる前記第１周波数に係る前記第１周波数情報として用いる。
　第１０の態様に係る画像処理装置は、第１から第９の何れか１つの態様に係る画像処理装置であって、前記探索部が、前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記第１探索基準点と前記第１対応点との間の空間的なずれ量に応じて、前記第２位相情報に係る位相のずれを補正して演算に用いる。
　第１１の態様に係る画像処理装置は、第１から第１０の何れか１つの態様に係る画像処理装置であって、前記探索部が、前記第２探索処理において、前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として演算に用いられる前記既演算情報よりも、該演算用の情報のうちの前記残余の情報の方が、前記第２対応点の探索結果に与える影響が大きくなるように、情報の重み付けを行う。
　第１２の態様に係る画像処理方法は、（a）取得部によって、第１画像を取得するステップと、（b）前記取得部によって、第２画像を取得するステップと、（c）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成するステップと、（d）探索部によって、前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、（e）決定部によって、前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において第２探索基準点の位置を決定するステップと、（f）前記探索部によって、前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行うステップと、を備え、前記ステップ（f）において、前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出する。
　第１３の態様に係る画像処理方法は、（A）取得部によって、第１画像を取得するステップと、（B）前記取得部によって、第２画像を取得するステップと、（C）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成するステップと、（D）探索部によって、前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、（E）決定部によって、前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において第２探索基準点の位置を決定するステップと、（F）前記探索部によって、前記第１変換後基準画像における前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像における前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行うステップと、を備え、前記ステップ（F）において、前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出する。
　第１４の態様に係るプログラムは、画像処理装置に含まれる制御部において実行されることにより、前記画像処理装置を、第１から第１１の何れか１つの態様に係る画像処理装置として機能させる。
　第１から第１１の何れの態様に係る画像処理装置によっても、２つの画像間における対応点の探索処理の演算で得られた周波数成分に係る情報が、解像度の異なる２つの画像間における対応点の探索処理の演算で再利用されることで、演算量が低減され得る。その結果、対応点の探索に用いられる画像の状態に拘わらず、対応点の探索速度が向上し得る。また、例えば、演算の画一化が図られるため、対応点の探索処理を行う部分を専用の電子回路等によってハードウェア化することも可能となる。
　第３の態様に係る画像処理装置によれば、高精度の対応点探索における探索速度が向上し得る。
　第５から第７の何れの態様に係る画像処理装置によっても、演算量の更なる低減によって、対応点の探索速度が更に向上し得る。また、再利用される情報における情報量の低減によって、記憶部の記憶容量の低減が可能となる。その結果、画像処理装置の小型化ならびに製造コストの低減が図られ得る。
　第８の態様に係る画像処理装置によれば、解像度の低減に応じた位相のずれ量によって再利用される情報が補正されるため、対応点探索の精度が向上し得る。
　第９の態様に係る画像処理装置によれば、解像度の低減に係る変換倍率に応じて再利用される情報の周波数の対応関係が決まるため、対応点の探索処理における演算の設計が容易となり得る。
　第１０の態様に係る画像処理装置によれば、相対的に低解像度の２つの画像についての対応点の探索処理における探索基準点と対応点との間における空間的なずれ量に応じて再利用される情報が補正されるため、対応点探索の精度が向上し得る。
　第１１の態様に係る画像処理装置によれば、相対的に高解像度の２つの画像についての対応点の探索処理において、再利用される情報よりもその他の情報の方が対応点の探索結果に与える影響が大きくなるように、情報の重み付けが行われることで、対応点探索の精度が向上し得る。
　第１２の態様に係る画像処理方法によれば、第１の態様に係る画像処理装置と同様な効果が得られる。
　第１３の態様に係るプログラムによれば、第１から第１１の態様に係る画像処理装置と同様な効果が得られる。
図１は、一実施形態に係る情報処理システムの構成例を示す図である。 図２は、一実施形態に係る情報処理システムの機能的な構成を示すブロック図である。 図３は、第１および第２画像に係る複数段階の解像度を有する画像群を示す図である。 図４は、対応点探索動作の概要を例示する図である。 図５は、探索基準点の決定方法を説明するための図である。 図６は、第１階層の基準点の設定態様を例示する図である。 図７は、第２階層の基準点の設定態様を例示する図である。 図８は、第３階層の基準点の設定態様を例示する図である。 図９は、第４階層の基準点の設定態様を例示する図である。 図１０は、第４階層の基準領域の設定態様を例示する図である。 図１１は、第４階層の参照領域の設定態様を例示する図である。 図１２は、ＰＯＣ演算法による対応点の探索処理を説明するための図である。 図１３は、ＰＯＣ値の分布を例示する図である。 図１４は、第３階層の基準領域の設定態様を例示する図である。 図１５は、第３階層の参照領域の設定態様を例示する図である。 図１６は、第２階層の基準領域の設定態様を例示する図である。 図１７は、第２階層の参照領域の設定態様を例示する図である。 図１８は、第１階層の基準領域の設定態様を例示する図である。 図１９は、第１階層の参照領域の設定態様を例示する図である。 図２０は、既演算情報の再利用方法について説明するための図である。 図２１は、既演算情報の再利用方法について説明するための図である。 図２２は、三角測量の原理を用いた測距方法を説明するための図である。 図２３は、対応点探索動作に係る動作フローを例示するフローチャートである。 図２４は、対応点探索動作に係る動作フローを例示するフローチャートである。 図２５は、ＰＳＡ法による対応点の探索処理を説明するための図である。 図２６は、ＰＳＡ法による対応点の探索処理を説明するための図である。 図２７は、ＰＳＡ法による対応点の探索処理を説明するための図である。 図２８は、参照画像側における位相のずれの補正方法を説明するための図である。 図２９は、参照画像側における位相のずれの補正方法を説明するための図である。 図３０は、情報処理システムの一適用例を示す図である。 図３１は、情報処理システムの一適用例を示す図である。
　以下、本発明の一実施形態を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構造のサイズおよび位置関係等は正確に図示されたものではない。
　＜（１）情報処理システムの概略構成＞
　図１は、一実施形態に係る情報処理システム１００の概略構成を示す図である。情報処理システム１００は、第１カメラ１と第２カメラ２と画像処理装置３とを備えている。第１カメラ１は通信回線Ｌ１を介して画像処理装置３に対してデータ伝送可能に接続され、第２カメラ２は通信回線Ｌ２を介して画像処理装置３に対してデータ伝送可能に接続されている。通信回線Ｌ１，Ｌ２は、有線回線および無線回線の何れであっても良い。
　第１および第２カメラ１，２は、被写体を撮像することで画像をそれぞれ取得する撮像装置である。これらの第１および第２カメラ１，２は、一方向に並んで配置されている。一方向は、例えば、水平方向であれば良い。一方向が水平方向である場合、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが水平方向に離隔されている。そして、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸との離隔距離が、第１および第２カメラ１，２に係る基線長である。
　また、第１および第２カメラ１，２は、例えば、撮像素子によって、カメラの正面に位置する被写体を、同じタイミングで相互に異なる視点から撮像することで、いわゆるステレオ画像を取得する。つまり、ステレオ画像は、第１カメラ１の撮像によって取得される画像（第１画像とも言う）と、第２カメラ２の撮像によって取得される画像（第２画像とも言う）とを含む。第１画像に係るデータＭ１と第２画像に係るデータＭ２は、第１および第２カメラ１，２から通信回線Ｌ１，Ｌ２を介して画像処理装置３に送信され得る。
　画像処理装置３は、例えば、パーソナルコンピュータ（パソコン）であれば良く、操作部３１、表示部３２、インターフェース（Ｉ／Ｆ）部３３、記憶部３４、入出力（Ｉ／Ｏ）部３５、および制御部３６を備えている。
　操作部３１は、例えば、マウスおよびキーボードを含む。表示部３２は、例えば、液晶ディスプレイを含む。Ｉ／Ｆ部３３は、例えば、第１および第２カメラ１，２と画像処理装置３との間におけるデータの授受を行う。記憶部３４は、例えば、ハードディスク等を含み、プログラムＰＧおよび各種データを格納する。Ｉ／Ｏ部３５は、例えば、ディスクドライブを備え、光ディスク等の記憶媒体４を受け付けて該記憶媒体４と制御部３６との間におけるデータの授受を行う。制御部３６は、例えば、プロセッサーとして働くＣＰＵ３６ａ、および情報を一時的に記憶するメモリー３６ｂ等を含む。なお、制御部３６は、記憶部３４内のプログラムＰＧを読み込んで実行することで、各種機能および情報処理等を実現する。そして、制御部３６における各種情報処理によって一時的に得られる各種情報は、メモリー３６ｂ等に記憶される。
　なお、本実施形態では、説明を簡素化するために、第１および第２カメラ１，２における収差が良好に補正されており、且つ第１および第２カメラ１，２は、略平行に設定されている。つまり、第１および第２カメラ１，２の光軸が略平行に設定され、第１および第２画像で捉えられた被写体は、第１および第２画像の外縁に対して略同一の角度関係を有する。但し、実際の第１および第２カメラ１，２が、このような条件にない場合は、画像処理によって同等の条件で撮像されたものと同視されるステレオ画像が得られれば良い。
　＜（２）情報処理システムの機能的な構成＞
　図２は、本実施形態に係る情報処理システム１００の主要部の機能的な構成を示すブロック図である。図２では、対応点探索動作および該対応点探索処理における探索結果を用いた距離測定動作に係る機能的な構成が示されている。ここで、対応点探索処理は、第１および第２カメラ１，２で得られる第１画像と第２画像との間で同じ被写体の部分を捉えた画素の対応関係を探索する処理である。また、距離測定動作は、第１および第２カメラ１，２から被写体までの距離を測定する動作である。なお、対応点探索動作では、第１画像が基準となる画像（基準画像とも言う）Ｇａ１として用いられ、第２画像が参照される画像（参照画像とも言う）Ｇａ２として用いられる。
　制御部３６は、機能的な構成として、画像取得部３６１、画像生成部３６２、対応点探索部３６３、対応点探索制御部３６４、位置決定部３６５、既演算情報記憶部３６６、および距離算出部３６７を備えている。
　画像取得部３６１は、第１カメラ１から第１画像に係るデータＭ１を取得し、第２カメラ２から第２画像に係るデータＭ２を取得する。第１画像と第２画像については、解像度が同一であることが好ましい。ここで、解像度は、画像において描かれている対象物がどこまで詳しく描写されているかを意味する。そして、ここでは、解像度が同一とは、画像における横方向の画素数が同じであり、縦方向の画素数が同じであることを意味する。
　画像生成部３６２は、所定の変換倍率にしたがって、基準画像Ｇａ１としての第１画像の解像度を順次に低減して第１変換後基準画像Ｇｂ１、第２変換後基準画像Ｇｃ１、および第３変換後基準画像Ｇｄ１を生成する。また、画像生成部３６２は、所定の変換倍率にしたがって、参照画像Ｇａ２としての第２画像の解像度を順次に低減して第１変換後参照画像Ｇｂ２、第２変換後参照画像Ｇｃ２、および第３変換後参照画像Ｇｄ２を生成する。ここで、第１変換後基準画像Ｇｂ１は、基準画像Ｇａ１よりも解像度が低く、第２変換後基準画像Ｇｃ１は、第１変換後基準画像Ｇｂ１よりも解像度が低く、第３変換後基準画像Ｇｄ１は、第２変換後基準画像Ｇｃ１よりも解像度が低い。一方、第１変換後参照画像Ｇｂ２は、参照画像Ｇａ２よりも解像度が低く、第２変換後参照画像Ｇｃ２は、第１変換後参照画像Ｇｂ２よりも解像度が低く、第３変換後参照画像Ｇｄ２は、第２変換後参照画像Ｇｃ２よりも解像度が低い。
　これにより、図３で示されるように、基準画像Ｇａ１について、基準画像Ｇａ１と第１～３変換後基準画像Ｇｂ１～Ｇｄ１とを含むＭ段階（Ｍは２以上の整数）の解像度の画像群ＧＲ１が生成される。また、参照画像Ｇａ２について、参照画像Ｇａ２と第１～３変換後参照画像Ｇｂ２～Ｇｄ２とを含むＭ段階（Ｍは２以上の整数）の解像度の画像群ＧＲ２が生成される。本実施形態では、Ｍが４であるものとして説明する。
　別の観点から言えば、基準画像Ｇａ１と参照画像Ｇａ２とを含む第１階層の画像群１Ｈｙから、第２階層の画像群２Ｈｙ、第３階層の画像群３Ｈｙ、および第４階層の画像群４Ｈｙが生成される。そして、第２階層の画像群２Ｈｙは、第１変換後基準画像Ｇｂ１と第１変換後参照画像Ｇｂ２とを含み、第３階層の画像群３Ｈｙは、第２変換後基準画像Ｇｃ１と第２変換後参照画像Ｇｃ２とを含み、第４階層の画像群４Ｈｙは、第３変換後基準画像Ｇｄ１と第３変換後参照画像Ｇｄ２とを含む。
　対応点探索部３６３は、位相限定相関（Phase-Only Correlation：ＰＯＣ）演算法等といった相関演算によって、複数の画像の間において対応点を探索する。
　具体的には、対応点探索部３６３では、第４階層の画像群４Ｈｙに含まれる第３変換後基準画像Ｇｄ１と第３変換後参照画像Ｇｄ２との間で対応点が探索される処理（第４階層の探索処理とも言う）が行われる。また、第３階層の画像群３Ｈｙに含まれる第２変換後基準画像Ｇｃ１と第２変換後参照画像Ｇｃ２との間で対応点が探索される処理（第３階層の探索処理とも言う）が行われる。また、第２階層の画像群２Ｈｙに含まれる第１変換後基準画像Ｇｂ１と第１変換後参照画像Ｇｂ２との間で対応点が探索される処理（第２階層の探索処理とも言う）が行われる。また、第１階層の画像群１Ｈｙに含まれる基準画像Ｇａ１と参照画像Ｇａ２との間で対応点が探索される処理（第１階層の探索処理とも言う）が行われる。
　対応点探索制御部３６４は、画像生成部３６２および対応点探索部３６３の動作を制御する。これにより、対応点探索部３６３において、第４階層の探索処理、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理がこの順で実行される。そして、第４階層の探索処理における演算で得られた情報（第４階層の既演算情報とも言う）と第４階層の探索処理における探索結果とが、第３階層の探索処理において利用される。また、第３階層の探索処理における演算で得られた情報（第３階層の既演算情報とも言う）と第３階層の探索処理における探索結果とが、第２階層の探索処理において利用される。また、第２階層の探索処理における演算で得られた情報（第２階層の既演算情報とも言う）と第２階層の探索処理における探索結果とが、第１階層の探索処理において利用される。
　例えば、基準画像Ｇａ１の探索処理の基準となる画素（第１階層の基準点とも言う）Ｓａ１に対応する参照画像Ｇａ２における画素（第１階層の第１対応点とも言う）Ｃａ２が探索される対応点の探索処理では、図４で示されるような４段階の探索処理が行われる。
　具体的には、まず、対応点探索部３６３によって、基準画像Ｇａ１において第１階層の基準点Ｓａ１が設定される。また、第１変換後基準画像Ｇｂ１において第１階層の基準点Ｓａ１と被写体の同一部分が捉えられている画素（第２階層の基準点とも言う）Ｓｂ１が設定される。また、第２変換後基準画像Ｇｃ１において第１および第２階層の基準点Ｓａ１，Ｓｂ１と被写体の同一部分が捉えられている画素（第３階層の基準点とも言う）Ｓｃ１が設定される。更に、第３変換後基準画像Ｇｄ１において第１～３階層の基準点Ｓａ１～Ｓｃ１と被写体の同一部分が捉えられている画素（第４階層の基準点とも言う）Ｓｄ１が設定される。
　換言すれば、第１変換後基準画像Ｇｂ１において、基準画像Ｇａ１における第１階層の基準点Ｓａ１の位置に対応する位置に第２階層の基準点Ｓｂ１が設定される。また、第２変換後基準画像Ｇｃ１において、第１変換後基準画像Ｇｂ１における第２階層の基準点Ｓｂ１の位置に対応する位置に第３階層の基準点Ｓｃ１が設定される。更に、第３変換後基準画像Ｇｄ１において、第２変換後基準画像Ｇｃ１における第３階層の基準点Ｓｃ１の位置に対応する位置に第４階層の基準点Ｓｄ１が設定される。
　そして、第４階層の探索処理では、第４階層の基準点Ｓｄ１に対応する画素（第４階層の対応点とも言う）Ｃｄ２が第３変換後参照画像Ｇｄ２において探索される。この探索では、第３変換後参照画像Ｇｄ２のうちの探索の基準となる画素（第４階層の探索基準点とも言う）を含む領域において第４階層の対応点Ｃｄ２が探索される。次に、第３階層の探索処理では、第３階層の基準点Ｓｃ１に対応する画素（第３階層の対応点とも言う）Ｃｃ２が第２変換後参照画像Ｇｃ２において探索される。この探索では、第２変換後参照画像Ｇｃ２のうちの探索の基準となる画素（第３階層の探索基準点とも言う）を含む領域において第３階層の対応点Ｃｃ２が探索される。
　また、第２階層の探索処理では、第２階層の基準点Ｓｂ１に対応する画素（第２階層の対応点とも言う）Ｃｂ２が第１変換後参照画像Ｇｂ２において探索される。この探索では、第１変換後参照画像Ｇｂ２のうちの探索の基準となる画素（第２階層の探索基準点とも言う）を含む領域において第２階層の対応点Ｃｂ２が探索される。次に、第１階層の探索処理では、第１階層の基準点Ｓａ１に対応する画素（第１階層の対応点とも言う）Ｃａ２が参照画像Ｇａ２において探索される。この探索では、参照画像Ｇａ２のうちの探索の基準となる画素（第１階層の探索基準点とも言う）を含む領域において第１階層の対応点Ｃａ２が探索される。
　位置決定部３６５は、第４階層の探索基準点、第３階層の探索基準点、第２階層の探索基準点、および第１階層の探索基準点の位置を決定する。なお、基準画像Ｇａ１、第１～３変換後基準画像Ｇｂ１～Ｇｄ１、参照画像Ｇａ２、および第１～３変換後参照画像Ｇｂ２～Ｇｄ２では、左上の画素が原点とされ、右方がＸ方向とされ、下方がＹ方向とされる。つまり、各画像Ｇａ１～Ｇｄ１，Ｇａ２～Ｇｄ２における各画素は、ＸおよびＹの座標によって表現され得る。
　ここで、第４階層の探索基準点は、第３変換後基準画像Ｇｄ１における第４階層の基準点Ｓｄ１と所定の位置関係を有する。所定の位置関係は、例えば、第３変換後基準画像Ｇｄ１における第４階層の基準点Ｓｄ１の位置と、第３変換後参照画像Ｇｄ２における第４階層の探索基準点の位置とが同一である関係等であれば良い。換言すれば、所定の位置関係は、例えば、第３変換後基準画像Ｇｄ１における第４階層の基準点Ｓｄ１の座標と、第３変換後参照画像Ｇｄ２における第４階層の探索基準点の座標とが同一である関係等であれば良い。また、所定の位置関係は、例えば、第２カメラ２から第１カメラ１に至る基線長の延伸方向に対応する画像上の一方向において、所定数の画素ずれた関係等であっても良い。この一方向は、例えば、－Ｘ方向であれば良い。
　また、第２変換後参照画像Ｇｃ２における第３階層の探索基準点の位置は、第３変換後参照画像Ｇｄ２における第４階層の対応点Ｃｄ２の位置に基づいて決定される。また、第１変換後参照画像Ｇｂ２における第２階層の探索基準点の位置は、第２変換後参照画像Ｇｃ２における第３階層の対応点Ｃｃ２の位置に基づいて決定される。更に、参照画像Ｇａ２における第１階層の探索基準点の位置は、第１変換後参照画像Ｇｂ２における第２階層の対応点Ｃｂ２の位置に基づいて決定される。
　図５は、第３階層の探索基準点、第２階層の探索基準点、および第１階層の探索基準点の決定方法を説明するための図である。第３階層の探索基準点、第２階層の探索基準点、および第１階層の探索基準点の決定方法は同様である。このため、図５では、一例として第３階層の探索基準点の決定方法が模式的に示されている。なお、ここでは、画像生成部３６２における所定の変換倍率が１／２である一例について説明する。
　例えば、第４階層の第３変換後基準画像Ｇｄ１における座標(ｘｄ１，ｙｄ１)の画素の画素値は、第３階層の第２変換後基準画像Ｇｃ１における座標(ｘｃ１，ｙｃ１)、(ｘｃ１＋１，ｙｃ１)、(ｘｃ１，ｙｃ１＋１)、(ｘｃ１＋１，ｙｃ１＋１)の４画素の画素値の平均値とされる。ここで、第４階層の探索処理において、座標(ｘｄ１，ｙｄ１)の画素が第４階層の基準点Ｓｄ１に設定され、該第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２の座標が(ｘｄ２，ｙｄ２)である場合、第３階層の探索基準点の座標(ｘｃ２，ｙｃ２)は、例えば、次式(１)で示される。
　　(ｘｃ２，ｙｃ２)＝(ｘｄ２×２，ｙｄ２×２)　・・・(１)。
　また、第３階層の探索基準点が座標(ｘｃ２，ｙｃ２)、(ｘｃ２＋１，ｙｃ２)、(ｘｃ２，ｙｃ２＋１)、(ｘｃ２＋１，ｙｃ２＋１)の４画素からなる場合は、例えば、該４画素の座標は、例えば、次式(２)，(３)，(４)，(５)で示される。
　　(ｘｃ２，ｙｃ２)＝(ｘｄ２×２，ｙｄ２×２)　・・・(２)
　　(ｘｃ２＋１，ｙｃ２)＝(ｘｄ２×２＋１，ｙｄ２×２)　・・・(３)
　　(ｘｃ２，ｙｃ２＋１)＝(ｘｄ２×２，ｙｄ２×２＋１)　・・・(４)
　　(ｘｃ２＋１，ｙｃ２＋１)＝(ｘｄ２×２＋１，ｙｄ２×２＋１)　・・・(５)。
　既演算情報記憶部３６６は、第４階層の探索処理における演算で得られる第４階層の既演算情報、第３階層の探索処理における演算で得られる第３階層の既演算情報、および第２階層の探索処理における演算で得られる第２階層の既演算情報を記憶する。この既演算情報記憶部３６６は、主にメモリー３６ｂで実現され得るが、記憶部３４で実現されても良い。
　距離算出部３６７は、対応点探索部３６３による探索結果に基づいて、第１および第２カメラ１，２から被写体のうちの基準点Ｓａ１で捉えられている部分までの距離を算出する。具体的には、該距離は、基準画像Ｇａ１における基準点Ｓａ１の位置と、参照画像Ｇａ２における対応点Ｃａ２の位置とのズレ量と、第１および第２カメラ１，２の内部パラメータおよび外部パラメータとに基づいて、三角測量の技術が用いられて算出される。ここで、内部パラメータには、例えば、第１および第２カメラ１，２に内蔵される光学系の焦点距離、画像中心、および撮像素子の傾き等を示すパラメータが含まれる。また、外部パラメータには、例えば、第１カメラ１と第２カメラ２との位置関係および姿勢の関係等を示すパラメータが含まれる。
　＜（３）画像生成部における第１～４階層の画像群の生成＞
　画像生成部３６２では、例えば、基準画像Ｇａ１の解像度が第１の所定の変換倍率で低減されることで第１変換後基準画像Ｇｂ１が生成され得る。また、第１変換後基準画像Ｇｂ１の解像度が第２の所定の変換倍率で低減されることで第２変換後基準画像Ｇｃ１が生成され得る。更に、第２変換後基準画像Ｇｃ１の解像度が第３の所定の変換倍率で低減されることで第３変換後基準画像Ｇｄ１が生成され得る。なお、基準画像Ｇａ１の解像度が第２の所定の変換倍率で低減されることで第２変換後基準画像Ｇｃ１が生成され、基準画像Ｇａ１の解像度が第３の所定の変換倍率で低減されることで第３変換後基準画像Ｇｄ１が生成されても良い。
　また、画像生成部３６２では、例えば、参照画像Ｇａ２の解像度が第４の所定の変換倍率で低減されることで第１変換後参照画像Ｇｂ２が生成され得る。また、第１変換後参照画像Ｇｂ２の解像度が第５の所定の変換倍率で低減されることで第２変換後参照画像Ｇｃ２が生成され得る。更に、第２変換後参照画像Ｇｃ２の解像度が第６の所定の変換倍率で低減されることで第３変換後参照画像Ｇｄ２が生成され得る。なお、参照画像Ｇａ２の解像度が第５の所定の変換倍率で低減されることで第２変換後参照画像Ｇｃ２が生成され、参照画像Ｇａ２の解像度が第６の所定の変換倍率で低減されることで第３変換後参照画像Ｇｄ２が生成されても良い。
　ここで、解像度を低減することは、例えば、画像の横方向および縦方向の画素数を低減して、同一対象物を表す粗い画質の画像に変換することを意味する。また、第１～６の所定の変換倍率は、変換後の画像の横方向における画素数を変換前の画像の横方向における画素数で除した数値、および変換後の画像の縦方向における画素数を変換前の画像の縦方向における画素数で除した数値を示す。例えば、この所定の変換倍率は、１／ｎ（ｎは１よりも大きな任意の数）で表される。１／ｎは、例えば、１／２等であれば良い。なお、所定の変換倍率は、画像の横方向と縦方向との間で、同一であっても異なっていても良い。そして、第１の所定の変換倍率と第４の所定の変換倍率とが同一であり、第２の所定の変換倍率と第５の所定の変換倍率とが同一であり、第３の所定の変換倍率と第６の所定の変換倍率とが同一であることが好ましい。
　第１～６の所定の変換倍率が１／２である場合、基準画像Ｇａ１、第１～３変換後基準画像Ｇｂ１～Ｇｄ１、参照画像Ｇａ２、および第１～３変換後参照画像Ｇｂ２～Ｇｄ２は、例えば、次のような画像となり得る。
　第１階層の基準画像Ｇａ１および参照画像Ｇａ２が、Ｘ方向に６４０個およびＹ方向に４８０個の画素が格子状に配列されている画像である。第２階層の第１変換後基準画像Ｇｂ１および第１変換後参照画像Ｇｂ２が、Ｘ方向に３２０個およびＹ方向に２４０個の画素が格子状に配列されている画像である。第３階層の第２変換後基準画像Ｇｃ１および第２変換後参照画像Ｇｃ２が、Ｘ方向に１６０個およびＹ方向に１２０個の画素が格子状に配列されている画像である。第４階層の第３変換後基準画像Ｇｄ１および第３変換後参照画像Ｇｄ２が、Ｘ方向に８０個およびＹ方向に６０個の画素が格子状に配列されている画像である。
　この場合、第２階層の各画像Ｇｂ１，Ｇｂ２における座標（ｘ，ｙ）の画素の画素値は、例えば、第１階層の各画像Ｇａ１，Ｇａ２における座標（２ｘ，２ｙ），（２ｘ＋１，２ｙ），（２ｘ，２ｙ＋１），（２ｘ＋１，２ｙ＋１）の４画素の画素値の平均値とされ得る。また、第３階層の各画像Ｇｃ１，Ｇｃ２における座標（ｘ，ｙ）の画素の画素値は、例えば、第２階層の各画像Ｇｂ１，Ｇｂ２における座標（２ｘ，２ｙ），（２ｘ＋１，２ｙ），（２ｘ，２ｙ＋１），（２ｘ＋１，２ｙ＋１）の４画素の画素値の平均値とされ得る。なお、ｘは任意のＸ座標を示し、ｙは任意のＹ座標を示している。
　なお、第１～６の所定の変換倍率は、１／２に限られず、１／３等と小さい値に設定されても良い。この場合、画像生成部３６２で生成される画像群ＧＲ１，ＧＲ２に係るＭ段階（Ｍは２以上の整数）の低減が可能となり得る。これにより、探索処理の演算量の低減が可能となり、対応点探索動作の高速化が図られ得る。
　また、第１～６の所定の変換倍率は、１／１．５等のように、１／２よりも大きい値に設定されても良い。この場合、画像生成部３６２で生成される画像群ＧＲ１，ＧＲ２に係るＭ段階（Ｍは２以上の整数）が増大するが、対応点探索動作における対応点の探索精度が向上するため、対応点探索動作におけるロバスト性が向上し得る。
　また、第１～３の所定の変換倍率が異なり、第４～６の所定の変換倍率が異なっていても良い。例えば、基準画像Ｇａ１および参照画像Ｇａ２の第１解像度が基準とされて、生成される画像の解像度が低くなれば低くなる程、変換倍率が増大するように設定されても良い。この場合、基準画像Ｇａ１および参照画像Ｇａ２で捉えられている被写体に遠景と近景とが含まれていても、低解像度の画像間については細かく対応点が探索されることでロバスト性が担保され、高解像度の画像間については高速で対応点が探索され得る。これにより、ロバスト性の担保と高速化との両立といったバランスの取れた対応点探索動作が実現され得る。
　＜（４）対応点の探索処理の内容＞
　ここで、対応点探索部３６３、対応点探索制御部３６４、および位置決定部３６５によって実現される対応点の探索処理における詳細な内容について説明する。
　まず、図６で示されるように、基準画像Ｇａ１において第１階層の基準点Ｓａ１が設定される。また、図７で示されるように、第１変換後基準画像Ｇｂ１において第２階層の基準点Ｓｂ１が設定される。また、図８で示されるように、第２変換後基準画像Ｇｃ１において第３階層の基準点Ｓｃ１が設定される。更に、図９で示されるように、第３変換後基準画像Ｇｄ１において第４階層の基準点Ｓｄ１が設定される。そして、第４階層の探索処理、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理が順次に行われる。以下、第４階層の探索処理、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理の内容について順次に説明する。
　　＜（４－１）第４階層の探索処理の内容＞
　第４階層の探索処理では、まず、図１０で示されるように、第３変換後基準画像Ｇｄ１において、第４階層の基準点Ｓｄ１を基準として包含する探索ウインドウ（第４階層の基準領域とも言う）Ｗｄ１が設定される。第４階層の基準領域Ｗｄ１は、例えば、第４階層の基準点Ｓｄ１が中心または重心とされて設定されれば良い。また、位置決定部３６５により、図１１で示されるように、第３変換後参照画像Ｇｄ２において、第４階層の探索基準点Ｓｄ２が設定される。そして、図１１で示されるように、第３変換後参照画像Ｇｄ２において、第４階層の探索基準点Ｓｄ２を基準として包含する探索ウインドウ（第４階層の参照領域とも言う）Ｗｄ２が設定される。第４階層の参照領域Ｗｄ２は、例えば、第４階層の探索基準点Ｓｄ２が中心または重心とされて設定されれば良い。
　次に、対応点探索部３６３によって、第３変換後参照画像Ｇｄ２のうちの第４階層の参照領域Ｗｄ２において第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２が探索される。このとき、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。
　ここでは、第４階層の基準領域Ｗｄ１および第４階層の参照領域Ｗｄ２は、それぞれＸ方向に沿って所定数Ｎ１の画素が配列され、Ｙ方向に沿って所定数Ｎ２の画素が配列される画像領域として取り扱われる。そして、これらの画像領域は、次の数１で表され得る。
Figure JPOXMLDOC01-appb-M000001
　ここで、上記数１におけるｆ(ｘ,ｙ)は、第４階層の基準領域Ｗｄ１に含まれる領域画像（第４階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第４階層の参照領域Ｗｄ２に含まれる領域画像（第４階層の参照領域画像とも言う）を示す。また、Ｎ１およびＮ２は、例えば、Ｎ１＝２Ｍ１＋１、Ｎ２＝２Ｍ２＋１と設定され得る。
　そして、まず、第４階層の基準領域画像と第４階層の参照領域画像とに対し、下記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。
Figure JPOXMLDOC01-appb-M000002
　上記数２の但し書におけるＷの添字Ｎには、Ｎ１，Ｎ２が代入され、ｕはＸ方向の周波数を示し、ｖはＹ方向の周波数を示す。このため、（ｕ，ｖ）は、２次元の空間周波数を示す。ここでは、２次元のフーリエ変換処理Ｃ１１によって、第４階層の基準領域画像が周波数成分に分解され、２次元のフーリエ変換処理Ｃ２１によって、第４階層の参照領域画像が周波数成分に分解される。これにより、第４階層の基準領域画像に係る複数の周波数成分の情報を含む周波数情報（第４階層の基準周波数情報とも言う）が得られ、第４階層の参照領域画像に係る複数の周波数成分の情報を含む周波数情報（第４階層の参照周波数情報とも言う）が得られる。
　ここで、例えば、探索ウインドウがＸ方向に３３個およびＹ方向に１７個の画素がマトリックス状に配列される寸法を有する場合、Ｘ方向に係る周波数ｕの周波数成分の全域は、直流成分と、周波数が１～１６の１６個の交流成分とで表される。また、この場合、Ｙ方向に係る周波数ｖの周波数成分の全域は、直流成分と、周波数が１～８の８個の交流成分とで表される。また、交流成分は、正弦波によって示され得る。
　なお、第４階層の基準領域画像と第４階層の参照領域画像が、Ｘ方向およびＹ方向において２のべき乗の画素数からなる矩形状の寸法を有する場合、２次元のフーリエ変換処理Ｃ１１，Ｃ２１に、ＦＦＴが採用され得る。ＦＦＴは、バタフライ演算を特徴とする高速フーリエ変換（Fast Fourier Transform）である。そして、例えば、探索ウインドウがＸ方向に３２画素およびＹ方向に１６画素の寸法を有する場合、Ｘ方向に係る周波数ｕの周波数成分の全域は、直流成分と、周波数が１～１５の１５個の交流成分とで表される。また、この場合、Ｙ方向に係る周波数ｖの周波数成分の全域は、直流成分と、周波数が１～７の７個の交流成分とで表される。なお、２次元のフーリエ変換処理Ｃ１１，Ｃ２１による演算結果は、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とを有する複素数の形式で出力され得る。
　また、フーリエ変換処理Ｃ１１，Ｃ２１によって得られる第４階層の基準周波数情報と第４階層の参照周波数情報とに係る既演算情報が、既演算情報記憶部３６６に記憶される。この既演算情報には、第４階層の基準周波数情報および第４階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。
　上記フーリエ変換処理Ｃ１１，Ｃ２１で得られた第４階層の基準周波数情報と第４階層の参照周波数情報とに対しては、下記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第４階層の基準周波数情報から各空間周波数に係る位相情報（第４階層の基準位相情報とも言う）が抽出され、第４階層の参照周波数情報から各空間周波数に係る位相情報（第４階層の参照位相情報とも言う）が抽出される。
Figure JPOXMLDOC01-appb-M000003
　規格化処理Ｃ１２，Ｃ２２が完了すると、下記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数について、第４階層の基準位相情報と第４階層の参照位相情報とに基づいて位相差（第４階層の位相差とも言う）が算出される。ここで、数４で示されるＷｔ（ｕ，ｖ）は、必要に応じて乗ぜられる重み付け係数を示す。なお、本実施形態では、重み付け係数Ｗｔ（ｕ，ｖ）は、空間周波数（ｕ，ｖ）に拘わらず、１に設定されれば良い。
Figure JPOXMLDOC01-appb-M000004
　その後、下記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。
Figure JPOXMLDOC01-appb-M000005
　以上の処理により、第４階層の基準領域画像と第４階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。
　図１３では、Ｘ方向に沿って所定数Ｎ１の画素が配列され、Ｙ方向に沿って所定数Ｎ２の画素が配列される矩形の画像領域において相関が高い箇所のＰＯＣ値が大きくなる。そして、第４階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、第３変換後参照画像Ｇｄ２において第４階層の基準点Ｓｄ１に対応する対応点Ｃｄ２である。
　このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第４階層の探索処理により、第３変換後参照画像Ｇｄ２において第４階層の対応点Ｃｄ２の位置が検出され得る。つまり、各周波数成分に係る第４階層の基準位相情報と、各周波数成分に係る第４階層の参照位相情報とに基づき、第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２が検出され得る。
　　＜（４－２）第３階層の探索処理の内容＞
　第３階層の探索処理では、まず、図１４で示されるように、第２変換後基準画像Ｇｃ１において、第３階層の基準点Ｓｃ１を基準として包含する探索ウインドウ（第３階層の基準領域とも言う）Ｗｃ１が設定される。第３階層の基準領域Ｗｃ１は、例えば、第３階層の基準点Ｓｃ１が中心または重心とされて設定されれば良い。一方、位置決定部３６５により、図１５で示されるように、第２変換後参照画像Ｇｃ２において、第３階層の探索基準点Ｓｃ２が設定される。そして、図１５で示されるように、第２変換後参照画像Ｇｃ２において、第３階層の探索基準点Ｓｃ２を基準として包含する探索ウインドウ（第３階層の参照領域とも言う）Ｗｃ２が設定される。第３階層の参照領域Ｗｃ２は、例えば、第３階層の探索基準点Ｓｃ２が中心または重心とされて設定されれば良い。
　次に、対応点探索部３６３によって、第２変換後参照画像Ｇｃ２のうちの第３階層の参照領域Ｗｃ２において第３階層の基準点Ｓｃ１に対応する第３階層の対応点Ｃｃ２が探索される。このとき、第４階層の探索処理と同様に、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。なお、第３階層における対応点の探索処理では、第４階層における対応点の探索処理のうちの第４階層の基準領域Ｗｄ１および第４階層の参照領域Ｗｄ２の代わりに、第３階層の基準領域Ｗｃ１および第３階層の参照領域Ｗｃ２が採用される。以下、第３階層における対応点の探索処理のうち、第４階層における対応点の探索処理と異なる点について主に説明する。
　ここでは、上記数１におけるｆ(ｘ,ｙ)は、第３階層の基準領域Ｗｃ１に含まれる領域画像（第３階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第３階層の参照領域Ｗｃ２に含まれる領域画像（第３階層の参照領域画像とも言う）を示す。
　そして、まず、第３階層の基準領域画像と第３階層の参照領域画像とに対し、上記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。ここでは、第３階層の基準領域画像が周波数成分に分解され、第３階層の参照領域画像が周波数成分に分解される。これにより、第３階層の基準領域画像に係る複数の周波数成分の情報を含む周波数情報（第３階層の基準周波数情報とも言う）が得られ、第３階層の参照領域画像に係る複数の周波数成分の情報を含む周波数情報（第３階層の参照周波数情報とも言う）が得られる。
　但し、２次元のフーリエ変換処理Ｃ１１，Ｃ２１では、既演算情報記憶部３６６に記憶されている第４階層の既演算情報が再利用されることで、一部の演算が省略される。これにより、演算量が低減され得る。
　詳細には、第４階層の既演算情報に含まれる第４階層の基準周波数情報および第４階層の参照周波数情報のうちの少なくとも一部の情報が、規格化処理Ｃ１２，Ｃ２２以降の演算処理に用いられる第３階層の周波数情報に係る一部の情報として用いられる。なお、第３階層の周波数情報には、第３階層の基準周波数情報および第３階層の参照周波数情報が含まれる。つまり、第３階層の演算用の情報のうちの一部の情報は、第４階層の既演算情報から得られる。
　一方、第３階層の演算用の情報のうちの残余の情報は、２次元のフーリエ変換処理Ｃ１１，Ｃ２１により、第３階層の基準領域画像と、第３階層の参照領域画像とに基づいて算出される。
　また、再利用された既演算情報、ならびにフーリエ変換処理Ｃ１１，Ｃ２１によって得られた第３階層の基準周波数情報および第３階層の参照周波数情報についての既演算情報が、既演算情報記憶部３６６に記憶される。この既演算情報には、第３階層の基準周波数情報および第３階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。
　次に、第３階層の基準周波数情報と第３階層の参照周波数情報とに対しては、上記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第３階層の基準周波数情報から各空間周波数に係る位相情報（第３階層の基準位相情報とも言う）が抽出され、第３階層の参照周波数情報から各空間周波数に係る位相情報（第３階層の参照位相情報とも言う）が抽出される。
　規格化処理Ｃ１２，Ｃ２２が完了すると、上記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、第３階層の基準位相情報と第３階層の参照位相情報とに基づいて各空間周波数に係る位相差（第３階層の位相差とも言う）が算出される。
　その後、上記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。
　以上の処理により、第３階層の基準領域画像と第３階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。そして、第３階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、第２変換後参照画像Ｇｃ２において第３階層の基準点Ｓｃ１に対応する対応点Ｃｃ２である。
　このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第３階層の探索処理により、第２変換後参照画像Ｇｃ２において第３階層の対応点Ｃｃ２の位置が検出され得る。つまり、各周波数成分に係る第３階層の基準位相情報と、各周波数成分に係る第３階層の参照位相情報とに基づき、第３階層の基準点Ｓｃ１に対応する第３階層の対応点Ｃｃ２が検出され得る。
　　＜（４－３）第２階層の探索処理の内容＞
　第２階層の探索処理では、まず、図１６で示されるように、第１変換後基準画像Ｇｂ１において、第２階層の基準点Ｓｂ１を基準として包含する探索ウインドウ（第２階層の基準領域とも言う）Ｗｂ１が設定される。第２階層の基準領域Ｗｂ１は、例えば、第２階層の基準点Ｓｂ１が中心または重心とされて設定されれば良い。一方、位置決定部３６５により、図１７で示されるように、第１変換後参照画像Ｇｂ２において、第２階層の探索基準点Ｓｂ２が設定される。そして、図１７で示されるように、第１変換後参照画像Ｇｂ２において、第２階層の探索基準点Ｓｂ２を基準として包含する探索ウインドウ（第２階層の参照領域とも言う）Ｗｂ２が設定される。第２階層の参照領域Ｗｂ２は、例えば、第２階層の探索基準点Ｓｂ２が中心または重心とされて設定されれば良い。
　次に、対応点探索部３６３によって、第１変換後参照画像Ｇｂ２のうちの第２階層の参照領域Ｗｂ２において第２階層の基準点Ｓｂ１に対応する第２階層の対応点Ｃｂ２が探索される。このとき、第３階層の探索処理と同様に、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。なお、第２階層における対応点の探索処理では、第３階層における対応点の探索処理のうちの第３階層の基準領域Ｗｃ１および第３階層の参照領域Ｗｃ２の代わりに、第２階層の基準領域Ｗｂ１および第２階層の参照領域Ｗｂ２が採用される。以下、第２階層における対応点の探索処理のうち、第３階層における対応点の探索処理と異なる点について主に説明する。
　ここでは、上記数１におけるｆ(ｘ,ｙ)は、第２階層の基準領域Ｗｂ１に含まれる領域画像（第２階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第２階層の参照領域Ｗｂ２に含まれる領域画像（第２階層の参照領域画像とも言う）を示す。
　そして、まず、第２階層の基準領域画像と第２階層の参照領域画像とに対し、上記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。ここでは、第２階層の基準領域画像が周波数成分に分解され、第２階層の参照領域画像が周波数成分に分解される。これにより、第２階層の基準領域画像に係る複数の周波数成分を含む周波数情報（第２階層の基準周波数情報とも言う）が得られ、第２階層の参照領域画像に係る複数の周波数成分を含む周波数情報（第２階層の参照周波数情報とも言う）が得られる。
　但し、２次元のフーリエ変換処理Ｃ１１，Ｃ２１では、既演算情報記憶部３６６に記憶されている第３階層の既演算情報が再利用されることで、一部の演算が省略される。これにより、演算量が低減され得る。
　詳細には、第３階層の既演算情報に含まれる第３階層の基準周波数情報および第３階層の参照周波数情報のうちの少なくとも一部の情報が、規格化処理Ｃ１２，Ｃ２２以降の演算処理に用いられる第２階層の周波数情報に係る一部の情報として用いられる。第２階層の周波数情報には、第２階層の基準周波数情報および第２階層の参照周波数情報が含まれる。つまり、第２階層の演算用の情報のうちの一部の情報は、第３階層の既演算情報から得られる。
　一方、第２階層の演算用の情報のうちの残余の情報は、２次元のフーリエ変換処理Ｃ１１，Ｃ２１により、第２階層の基準領域画像と、第２階層の参照領域画像とに基づいて算出される。
　また、再利用された既演算情報、ならびにフーリエ変換処理Ｃ１１，Ｃ２１によって得られた第２階層の基準周波数情報および第２階層の参照周波数情報についての既演算情報が、既演算情報記憶部３６６に記憶される。この既演算情報には、第２階層の基準周波数情報および第２階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。
　次に、第２階層の基準周波数情報と第２階層の参照周波数情報とに対しては、上記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第２階層の基準周波数情報から各空間周波数に係る位相情報（第２階層の基準位相情報とも言う）が抽出され、第２階層の参照周波数情報から各空間周波数に係る位相情報（第２階層の参照位相情報とも言う）が抽出される。
　規格化処理Ｃ１２，Ｃ２２が完了すると、上記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数に係る第２階層の基準位相情報と各空間周波数に係る第２階層の参照位相情報とに基づいて各空間周波数に係る位相差（第２階層の位相差とも言う）が算出される。
　その後、上記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。
　以上の処理により、第２階層の基準領域画像と第２階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。そして、第２階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、第１変換後参照画像Ｇｂ２において第２階層の基準点Ｓｂ１に対応する対応点Ｃｂ２である。
　このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第２階層の探索処理により、第１変換後参照画像Ｇｂ２において第２階層の対応点Ｃｂ２の位置が検出され得る。つまり、各周波数成分に係る第２階層の基準位相情報と、各周波数成分に係る第２階層の参照位相情報とに基づき、第２階層の基準点Ｓｂ１に対応する第２階層の対応点Ｃｂ２が検出され得る。
　　＜（４－４）第１階層の探索処理の内容＞
　第１階層の探索処理では、まず、図１８で示されるように、基準画像Ｇａ１において、第１階層の基準点Ｓａ１を基準として包含する探索ウインドウ（第１階層の基準領域とも言う）Ｗａ１が設定される。第１階層の基準領域Ｗａ１は、例えば、第１階層の基準点Ｓａ１が中心または重心とされて設定されれば良い。一方、位置決定部３６５により、図１９で示されるように、参照画像Ｇａ２において、第１階層の探索基準点Ｓａ２が設定される。そして、図１９で示されるように、参照画像Ｇａ２において、第１階層の探索基準点Ｓａ２を基準として包含する探索ウインドウ（第１階層の参照領域とも言う）Ｗａ２が設定される。第１階層の参照領域Ｗａ２は、例えば、第１階層の探索基準点Ｓａ２が中心または重心とされて設定されれば良い。
　次に、対応点探索部３６３によって、参照画像Ｇａ２のうちの第１階層の参照領域Ｗａ２において第１階層の基準点Ｓａ１に対応する第１階層の対応点Ｃａ２が探索される。このとき、第２階層の探索処理と同様に、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。なお、第１階層における対応点の探索処理では、第２階層における対応点の探索処理のうちの第２階層の基準領域Ｗｂ１および第２階層の参照領域Ｗｂ２の代わりに、第１階層の基準領域Ｗａ１および第１階層の参照領域Ｗａ２が採用される。以下、第１階層における対応点の探索処理のうち、第２階層における対応点の探索処理と異なる点について主に説明する。
　ここでは、上記数１におけるｆ(ｘ,ｙ)は、第１階層の基準領域Ｗａ１に含まれる領域画像（第１階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第１階層の参照領域Ｗａ２に含まれる領域画像（第１階層の参照領域画像とも言う）を示す。
　そして、まず、第１階層の基準領域画像と第１階層の参照領域画像とに対し、上記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。ここでは、第１階層の基準領域画像が周波数成分に分解され、第１階層の参照領域画像が周波数成分に分解される。これにより、第１階層の基準領域画像に係る複数の周波数成分を含む周波数情報（第１階層の基準周波数情報とも言う）が得られ、第１階層の参照領域画像に係る複数の周波数成分を含む周波数情報（第１階層の参照周波数情報とも言う）が得られる。
　但し、２次元のフーリエ変換処理Ｃ１１，Ｃ２１では、既演算情報記憶部３６６に記憶されている第２階層の既演算情報が再利用されることで、一部の演算が省略される。これにより、演算量が低減され得る。
　詳細には、既演算情報に含まれる第２階層の基準周波数情報および第２階層の参照周波数情報のうちの少なくとも一部の情報が、規格化処理Ｃ１２，Ｃ２２以降の演算処理に用いられる第１階層の周波数情報に係る一部の情報として用いられる。第１階層の周波数情報には、第１階層の基準周波数情報および第１階層の参照周波数情報が含まれ得る。つまり、第１階層の演算用の情報のうちの一部の情報は、第２階層の既演算情報から得られる。
　一方、第１階層の演算用の情報のうちの残余の情報は、２次元のフーリエ変換処理Ｃ１１，Ｃ２１により、第１階層の基準領域画像と、第１階層の参照領域画像とに基づいて算出される。
　次に、第１階層の基準周波数情報と第１階層の参照周波数情報とに対しては、上記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第１階層の基準周波数情報から各空間周波数に係る位相情報（第１階層の基準位相情報とも言う）が抽出され、第１階層の参照周波数情報から各空間周波数に係る位相情報（第１階層の参照位相情報とも言う）が抽出される。
　規格化処理Ｃ１２，Ｃ２２が完了すると、上記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数に係る第１階層の基準位相情報と各空間周波数に係る第１階層の参照位相情報とに基づいて各空間周波数に係る位相差（第１階層の位相差とも言う）が算出される。
　その後、上記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。
　以上の処理により、第１階層の基準領域画像と第１階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。そして、第１階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、参照画像Ｇａ２において第１階層の基準点Ｓａ１に対応する対応点Ｃａ２である。
　このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第１階層の探索処理により、参照画像Ｇａ２において第１階層の対応点Ｃａ２の位置が検出され得る。つまり、各周波数成分に係る第１階層の基準位相情報と、各周波数成分に係る第１階層の参照位相情報とに基づき、第１階層の基準点Ｓａ１に対応する第１階層の対応点Ｃａ２が検出され得る。また、基準画像Ｇａ１における第１階層の基準点Ｓａ１の位置と参照画像Ｇａ２における第１階層の対応点Ｃａ２の位置とのズレ量（視差とも言う）が検出され得る。
　＜（５）探索処理における既演算情報の再利用方法＞
　第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理における既演算情報の再利用方法は、同様なものとなる。このため、ここでは、第３階層の探索処理における既演算情報の再利用方法を例に挙げて説明する。
　また、第３階層の探索処理における既演算情報の再利用方法には、第３階層の基準周波数情報の一部の再利用方法（第３階層の基準再利用方法とも言う）と、第３階層の参照周波数情報の一部の再利用方法（第３階層の参照再利用方法とも言う）とが含まれる。そして、第３階層の基準再利用方法と第３階層の参照再利用方法とは、同様なものとなる。このため、ここでは、第３階層の基準再利用方法を例に挙げて説明する。つまり、第４階層の基準周波数情報の一部が第３階層の基準周波数情報の一部として再利用される方法を例に挙げて説明する。また、ここでは、所定の変換倍率が１／２であるものとする。
　図２０および図２１は、第３階層の基準再利用方法について説明するための図である。第３階層の基準周波数情報には、２次元の空間周波数（ｕ，ｖ）に係る第３階層の振幅情報と第３階層の基準位相情報とが含まれる。但し、まずは、説明の簡略化を図るために、Ｘ方向の一次元の周波数情報に着目して説明する。
　図２０には、第４階層の基準周波数情報が模式的に示されている。ここでは、例えば、第４階層の基準領域Ｗｄ１および第３階層の基準領域Ｗｃ１が、Ｘ方向に３３個およびＹ方向に１７個の画素がマトリックス状に配列される寸法を有しているものとする。この場合、Ｘ方向に係る周波数ｕは、周波数が１～１６の１６個の交流成分で表され得る。但し、図２０では、図面の複雑化を回避する目的で、周波数が１～４の４個の交流成分が示されている。なお、図２０の矩形状の太枠の横幅は、第４階層の基準領域Ｗｄ１のＸ方向の幅Ｗｏ１を示し、該矩形状の太枠の縦方向は、周波数が１～４の４個の交流成分の振幅を示す。
　具体的には、図２０では、周波数が１の交流成分が実線の曲線Ｌｄ１で描かれ、周波数が２の交流成分が一点鎖線の曲線Ｌｄ２で描かれ、周波数が３の交流成分が二点鎖線の曲線Ｌｄ３で描かれ、周波数が４の交流成分が破線の曲線Ｌｄ４で描かれている。
　図２１には、第４階層の基準周波数情報と、第３階層の基準周波数情報との関係が示されている。図２１の上部には、図２０で示された第４階層の基準周波数情報のうちの周波数が１～４の４個の交流成分が示されている。また、図２１の下部には、第３階層の基準周波数情報のうちの周波数が１，２の２つの交流成分が示されている。具体的には、図２１の下部では、周波数が１の交流成分が一点鎖線の曲線Ｌｃ１で描かれ、周波数が２の交流成分が破線の曲線Ｌｃ２で描かれている。
　ここで、第４階層の基準領域画像は、第３階層の第２変換後基準画像Ｇｃ１上においては、Ｘ方向およびＹ方向にそれぞれ２倍の画素数を有する領域画像に拡大される。このため、第３階層の基準周波数情報のうちの交流成分は、第４階層の基準周波数情報のうちの交流成分が、Ｘ方向に２倍拡大されたものとなる。
　図２１では、太い破線および太い一点鎖線が、第４階層の基準領域画像におけるＸ方向の範囲と、第３階層の基準領域画像におけるＸ方向の範囲との対応関係を示している。そして、図２１の下部における矩形状の太枠の横幅は、第３階層の基準領域Ｗｃ１のＸ方向の幅Ｗｏ１を示し、該矩形状の太枠の縦方向は、周波数が１，２の２個の交流成分の振幅を示す。
　図２１で示されるように、第４階層の周波数が４の交流成分は、第３階層の周波数が２の交流成分に対応し、第４階層の周波数が２の交流成分は、第３階層の周波数が１の交流成分に対応し得る。
　このように、第４階層の周波数が４の交流成分と、第３階層の周波数が２の交流成分とは完全には一致せず、第４階層の周波数が２の交流成分と、第３階層の周波数が１の交流成分とは完全には一致しなくても、それぞれ類似の関係にある。このため、第４階層の探索処理における演算で算出された第４階層の基準周波数情報の一部を、第３階層の探索処理において再利用することが可能となる。
　具体的には、所定の変換倍率が１／ｎであれば、第４階層の周波数ｕ４と第３階層の周波数ｕ３との間には、次の式(６)の関係が成立し得る。
　　ｕ３＝ｕ４／ｎ　・・・(６)。
　例えば、所定の変換倍率１／ｎが１／２であれば、第４階層の周波数ｕ４が２，４，６，８，１０，１２，１４，１６である場合についての交流成分の情報は、それぞれ第３階層の周波数ｕ３が１～８である場合についての交流成分の情報として再利用され得る。換言すれば、第４階層の周波数ｕ４が偶数である場合についての交流成分の情報が、それぞれ１／２の周波数ｕ３に係る第３階層の交流成分の情報として再利用され得る。これに対し、第３階層の周波数ｕ３が９～１６である場合における交流成分の情報については、第４階層の基準周波数情報に、対応する交流成分の情報が存在していない。このため、第３階層の周波数ｕ３が９～１６である場合についての交流成分の情報については、第３階層の基準領域画像を対象としたフーリエ変換処理によって、新たに算出されれば良い。したがって、Ｘ方向については、第３階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約１／２に低減され得る。
　但し、図２１で示されるように、第４階層の基準領域画像に係る偶数の周波数の交流成分と、第３階層の基準領域画像に係るその１／２の周波数の交流成分との間では、位相がｕ３×πずれる。このため、例えば、第４階層の周波数ｕ４の交流成分の情報が、その１／２の周波数ｕ３の交流成分の情報として再利用される際には、第４階層の周波数ｕ４の交流成分の位相ｕ４θがずれ量ｕ３×πで補正されれば良い。そして、その結果、第３階層の周波数ｕ３についての交流成分の位相が２×ｕ４θ－ｕ３×πとされれば良い。つまり、第３階層の探索処理では、第４階層の既演算情報から第４階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量ｕ３×πによって第４階層の基準位相情報が補正されて得られる情報が演算に用いられる。これにより、探索処理における対応点探索の精度が向上し得る。
　上述したＸ方向についての説明と同様に、Ｙ方向の一次元の周波数情報に着目すると、Ｙ方向に係る周波数ｖは、周波数が１～８の８個の交流成分で表され得る。そして、第４階層の周波数ｖ４が２，４，６，８である場合についての交流成分の情報は、それぞれ第３階層の周波数ｖ３が１～４である場合についての交流成分の情報として再利用され得る。換言すれば、第４階層の周波数ｖ４が偶数である場合についての交流成分の情報が、それぞれ１／２の周波数ｖ３に係る第３階層の交流成分の情報として再利用され得る。これに対し、第３階層の周波数ｖ３が５～８である場合における交流成分の情報については、第４階層の基準周波数情報に、対応する交流成分の情報が存在していない。このため、第３階層の周波数ｖ３が５～８である場合についての交流成分の情報については、第３階層の基準領域画像を対象としたフーリエ変換処理によって、新たに算出されれば良い。したがって、Ｙ方向については、第３階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約１／２に低減され得る。
　また、Ｙ方向についても、第４階層の偶数の周波数の交流成分の情報が、その１／２の周波数の交流成分の情報として再利用される際には、第４階層の周波数ｖ４の交流成分の位相ｖ４θがずれ量ｖ３×πで補正されれば良い。この場合、第３階層の周波数ｖ３についての交流成分の位相が２×ｖ４θ－ｖ３×πとされれば良い。これにより、探索処理における対応点探索の精度が向上し得る。
　ところで、Ｘ方向とＹ方向とを含む２次元の空間周波数（ｕ，ｖ）に係る周波数成分の情報は、Ｘ方向に係る周波数ｕの周波数成分と、Ｙ方向に係る周波数ｖの周波数成分とが合成されたものに相当する。
　このため、第３階層の探索処理では、第４階層の既演算情報から得られる空間周波数（ｕ４，ｖ４）に係る第４階層の基準周波数情報が、空間周波数（ｕ４，ｖ４）に所定の変換倍率が乗じられて得られる空間周波数（ｕ３，ｖ３）に係る基準周波数情報として用いられる。具体的には、所定の変換倍率が１／２であれば、周波数ｕ４，ｖ４が共に偶数である空間周波数（ｕ４，ｖ４）についての第４階層の基準領域画像に係る周波数成分の情報が、半分の空間周波数（ｕ３，ｖ３）についての第３階層の基準領域画像に係る周波数成分の情報として再利用され得る。このような情報の再利用により、第３階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約｛１－（１／２）２｝に低減され得る。
　但し、この再利用の際には、上述したように、Ｘ方向について、第４階層の周波数ｕ４の交流成分の位相ｕ４θがずれ量ｕ３×πで補正され、第３階層の周波数ｕ３についての交流成分の位相が２×ｕ４θ－ｕ３×πとされれば良い。また、Ｙ方向について、第４階層の周波数ｖ４の交流成分の位相ｖ４θがずれ量ｖ３×πで補正され、第３階層の周波数ｖ３についての交流成分の位相が２×ｖ４θ－ｖ３×πとされれば良い。
　つまり、第３階層の探索処理では、第４階層の既演算情報から第４階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量（ｕ３×π，ｖ３×π）によって第４階層の基準位相情報が補正されて演算用の情報が得られる。このとき、第３階層の探索処理では、第４階層の既演算情報から得られる空間周波数（ｕ４，ｖ４）に係る第４階層の基準周波数情報が、周波数（ｕ４，ｖ４）に所定の変換倍率が乗じられて得られる周波数（ｕ３，ｖ３）に係る基準周波数情報として用いられる。これによって、解像度の低減に係る所定の変換倍率に応じて再利用される情報の周波数の対応関係が決まり、対応点の探索処理における演算の設計が容易となり得る。
　なお、第４階層の探索処理において既演算情報記憶部３６６に記憶される第４階層の既演算情報には、第３階層の探索処理において再利用される情報が記憶されていれば良い。そして、既演算情報記憶部３６６に必要である記憶容量が極力低減される観点から言えば、第４階層の既演算情報には、第３階層の探索処理において再利用されない情報が含まれない方が好ましい。
　＜（６）三角測定の原理を用いた距離の測定＞
　図２２は、基準画像Ｇａ１と参照画像Ｇａ２との間における画素の対応関係から三角測量の原理に基づいて、第１および第２カメラ１，２から被写体ＯＢ１までの距離を算出する方法を模式的に示す図である。
　基準画像Ｇａ１と参照画像Ｇａ２との間で、第１階層の基準点Ｓａ１と第１階層の対応点Ｃａ２とのズレ量（視差）がΔｄであった場合に、第１および第２カメラ１，２から被写体ＯＢ１までの距離Ｄは、次の式(７)から算出され得る。
　　Ｄ＝ｆＢ／Δｄ　・・・(７)。
　式(７)では、カメラの基線長がＢ、第１および第２カメラ１，２のレンズにおける焦点距離がｆとされている。
　＜（７）対応点探索動作のフロー＞
　図２３および図２４は、本実施形態に係る対応点探索動作に係る動作フローを例示するフローチャートである。本フローは、例えば、制御部３６の制御によって実現され得る。
　まず、図２３のステップＳｔ１では、画像取得部３６１によって、第１カメラ１から第１画像に係るデータＭ１が取得される。
　ステップＳｔ２では、画像取得部３６１によって、第２カメラ２から第２画像に係るデータＭ２が取得される。
　ステップＳｔ３では、画像生成部３６２によって、所定の変換倍率に従い、基準画像Ｇａ１としての第１画像の解像度が順次に低減されて第１変換後基準画像Ｇｂ１、第２変換後基準画像Ｇｃ１、および第３変換後基準画像Ｇｄ１が生成される。また、画像生成部３６２によって、所定の変換倍率に従い、参照画像Ｇａ２としての第２画像の解像度が順次に低減されて第１変換後参照画像Ｇｂ２、第２変換後参照画像Ｇｃ２、および第３変換後参照画像Ｇｄ２が生成される。
　ステップＳｔ４では、対応点探索部３６３によって、基準画像Ｇａ１に第１階層の基準点Ｓａ１が設定される。また、対応点探索部３６３によって、第１変換後基準画像Ｇｂ１に第２階層の基準点Ｓｂ１が設定され、第２変換後基準画像Ｇｃ１に第３階層の基準点Ｓｃ１が設定され、第３変換後基準画像Ｇｄ１に第４階層の基準点Ｓｄ１が設定される。なお、上述したように、第２階層の基準点Ｓｂ１、第３階層の基準点Ｓｃ１、および第４階層の基準点Ｓｄ１では、第１階層の基準点Ｓａ１と被写体の同一部分が捉えられている。なお、ステップＳｔ４の処理が１回目の場合には、例えば、基準画像Ｇａ１の左上の画素が第１階層の基準点Ｓａ１として設定され得る。そして、例えば、ステップＳｔ１１からステップＳｔ４に戻ってくる度に、基準画像Ｇａ１に含まれる次の画素が第１階層の基準点Ｓａ１として設定されば良い。これにより、基準画像Ｇａ１に含まれる全画素が順次に第１階層の基準点Ｓａ１として設定され得る。
　ステップＳｔ５では、対応点探索部３６３によって、第１～４階層の画像群１Ｈｙ～４Ｈｙのうち、対応点の探索処理の対象となる階層の画像群を指定するための数値Ｎｈ（Ｎｈは１～４の整数）が４に設定される。
　ステップＳｔ６では、対応点探索部３６３によって、第１～４階層の画像群１Ｈｙ～４Ｈｙのうち、対応点の探索処理の対象となる第Ｎｈ階層の画像群ＮｈＨｙが指定される。
　ステップＳｔ７では、位置決定部３６５によって、第Ｎｈ階層の探索基準点が決定される。このステップＳｔ７では、例えば、Ｎｈ＝４であれば、第３変換後参照画像Ｇｄ２において第４階層の探索基準点Ｓｄ２が決定される。また、例えば、Ｎｈ＝３であれば、第３変換後参照画像Ｇｄ２における第４階層の対応点Ｃｄ２の位置に基づき、第２変換後参照画像Ｇｃ２において第３階層の探索基準点Ｓｃ２が決定される。また、例えば、Ｎｈ＝２であれば、第２変換後参照画像Ｇｃ２における第３階層の対応点Ｃｃ２の位置に基づき、第１変換後参照画像Ｇｂ２において第２階層の探索基準点Ｓｂ２が決定される。また、例えば、Ｎｈ＝１であれば、第１変換後参照画像Ｇｂ２における第２階層の対応点Ｃｂ２の位置に基づき、参照画像Ｇａ２において第１階層の探索基準点Ｓａ２が決定される。
　ステップＳｔ８では、対応点探索部３６３によって、図２４で示される対応点の探索処理の動作フローが実行され得る。ここで、図２４で示される動作フローについて説明する。
　図２４のステップＳｔ８１では、ステップＳｔ４で設定された第Ｎｈ階層の基準点が基準とされて第Ｎｈ階層の基準領域が設定される。例えば、Ｎｈ＝４であれば、第３変換後基準画像Ｇｄ１において第４階層の基準点Ｓｄ１を基準として包含する第４階層の基準領域Ｗｄ１が設定される。また、Ｎｈ＝３であれば、第２変換後基準画像Ｇｃ１において第３階層の基準点Ｓｃ１を基準として包含する第３階層の基準領域Ｗｃ１が設定される。また、Ｎｈ＝２であれば、第１変換後基準画像Ｇｂ１において第２階層の基準点Ｓｂ１を基準として包含する第２階層の基準領域Ｗｂ１が設定される。また、Ｎｈ＝１であれば、基準画像Ｇａ１において第１階層の基準点Ｓａ１を基準として包含する第１階層の基準領域Ｗａ１が設定される。
　ステップＳｔ８２では、ステップＳｔ７で決定された第Ｎｈ階層の探索基準点が基準とされて第Ｎｈ階層の参照領域が設定される。例えば、Ｎｈ＝４であれば、第３変換後参照画像Ｇｄ２において第４階層の探索基準点Ｓｄ２を基準として包含する第４階層の参照領域Ｗｄ２が設定される。また、Ｎｈ＝３であれば、第２変換後参照画像Ｇｃ２において第３階層の探索基準点Ｓｃ２を基準として包含する第３階層の参照領域Ｗｃ２が設定される。また、Ｎｈ＝２であれば、第１変換後参照画像Ｇｂ２において第２階層の探索基準点Ｓｂ２を基準として包含する第２階層の参照領域Ｗｂ２が設定される。また、Ｎｈ＝１であれば、参照画像Ｇａ２において第１階層の探索基準点Ｓａ２を基準として包含する第１階層の参照領域Ｗａ２が設定される。
　ステップＳｔ８３では、数値Ｎｈが４であるか否かが判定される。ここで、数値Ｎｈが４であれば、ステップＳｔ８４に進み、数値Ｎｈが４でなければ、ステップＳｔ８６に進む。
　ステップＳｔ８４では、第４階層の基準領域画像と第４階層の参照領域画像とに対して、２次元のフーリエ変換処理がそれぞれ行われる。これにより、第４階層の基準周波数情報と第４階層の参照周波数情報とが得られる。
　ステップＳｔ８５では、第４階層の既演算情報が、既演算情報記憶部３６６に記憶される。
　ステップＳｔ８６では、既演算情報記憶部３６６に記憶されている第Ｎｈ＋１階層の既演算情報が、第Ｎｈ階層の演算用の情報の一部として再利用される。
　ステップＳｔ８７では、第Ｎｈ階層の演算用の情報のうちの残余の情報が、第Ｎｈ階層の基準領域画像と第Ｎｈ階層の参照領域画像とに対する部分的な２次元のフーリエ変換処理によって算出される。これにより、第Ｎｈ階層の基準周波数情報と第Ｎｈ階層の参照周波数情報とが得られる。
　ステップＳｔ８８では、第Ｎｈ階層の既演算情報が、既演算情報記憶部３６６に記憶される。
　ステップＳｔ８９では、ステップＳｔ８４またはステップＳｔ８７で得られた第Ｎｈ階層の基準周波数情報と第Ｎｈ階層の参照周波数情報とに対して、画像の振幅成分を除去するための規格化処理が行われる。これにより、第Ｎｈ階層の基準位相情報と第Ｎｈ階層の参照位相情報が得られる。
　ステップＳｔ９０では、ステップＳｔ８９で得られた第Ｎｈ階層の基準位相情報と第Ｎｈ階層の参照位相情報に対する合成処理が行われる。これにより、各空間周波数に係る第Ｎｈ階層の位相差が算出される。
　ステップＳｔ９１では、ステップＳｔ９０で得られた各空間周波数に係る第Ｎｈ階層の位相差に対する２次元の逆フーリエ変換処理が行われる。これにより、第Ｎｈ階層の画像群ＮｈＨｙに含まれる各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。
　ステップＳｔ９２では、ステップＳｔ９１で得られたＰＯＣ値のピークの位置が検出される。これにより、第Ｎｈ階層の対応点の位置が検出される。例えば、Ｎｈ＝４であれば、第４階層の対応点Ｃｄ２の位置が検出され、Ｎｈ＝３であれば、第３階層の対応点Ｃｃ２の位置が検出され、Ｎｈ＝２であれば、第２階層の対応点Ｃｂ２の位置が検出され、Ｎｈ＝１であれば、第１階層の対応点Ｃａ２の位置が検出される。検出後、図２３のステップＳｔ８に戻り、ステップＳｔ９に進む。
　次に、図２３のステップＳｔ９では、対応点探索部３６３によって、数値Ｎｈが１であるか否かが判定される。ここで、数値Ｎｈが１でなければ、ステップＳｔ１０に進み、数値Ｎｈが１であれば、ステップＳｔ１１に進む。
　ステップＳｔ１０では、対応点探索部３６３によって、数値Ｎｈが１だけ減され、ステップＳｔ６に進む。
　ステップＳｔ１１では、対応点探索部３６３によって、基準画像Ｇａ１において、対応点の探索処理の対象となる画素（被処理画素とも言う）が残っているか否か判定される。ここで、被処理画素が残っていれば、ステップＳｔ４に戻る。そして、被処理画素がなくなるまで、ステップＳｔ４～Ｓｔ１１の処理が繰り返される。一方、被処理画素が残っていなければ、本動作フローが終了される。
　＜（８）一実施形態のまとめ＞
　以上のように、一実施形態に係る画像処理装置３では、相対的に低解像度の画像群の画像間における対応点の探索処理の演算で得られた周波数成分に係る情報が、相対的に高解像度の画像群の画像間における対応点の探索処理の演算で再利用される。これにより、対応点の探索処理における演算量が低減され得る。その結果、対応点の探索処理に用いられる画像の状態に拘わらず、対応点の探索速度が向上し得る。また、例えば、画一的な演算によって対応点の探索速度が向上し得るため、対応点の探索処理を行う部分を専用の電子回路等によってハードウェア化することも可能となる。そして、例えば、ＰＯＣ演算法を用いた高精度の対応点の探索処理において、探索速度が向上し得る。
　＜（９）変形例＞
　なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
　　＜（９－１）第１変形例＞
　上記一実施形態では、第２～４階層の既演算情報に、第２～４階層の基準周波数情報および第２～４階層の参照周波数情報のうちの少なくとも一部の情報が含まれたが、これに限られない。例えば、第２～４階層の既演算情報に、規格化処理によって得られる第２～４階層の基準位相情報および第２～４階層の参照位相情報のうちの少なくとも一部の情報が含まれても良い。
　この場合、例えば、第４階層の探索処理において既演算情報記憶部３６６に記憶された第４既演算情報としての第４階層の基準位相情報と第４階層の参照位相情報が、第３階層の探索処理において再利用され得る。なお、第４階層の既演算情報から第４階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第４階層の基準位相情報が補正されて得られる情報が演算に用いられれば良い。また、第４階層の既演算情報から第４階層の参照位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第４階層の参照位相情報が補正されて得られる情報が演算に用いられれば良い。ここで、第３階層の空間周波数が（ｕ３，ｖ３）であれば、位相のずれ量が（ｕ３×π，ｖ３×π）になる。
　また、第３階層の探索処理において既演算情報記憶部３６６に記憶された第３既演算情報としての第３階層の基準位相情報と第３階層の参照位相情報が、第２階層の探索処理において再利用され得る。なお、第３階層の既演算情報から第３階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第３階層の基準位相情報が補正されて得られる情報が演算に用いられれば良い。また、第３階層の既演算情報から第３階層の参照位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第３階層の参照位相情報が補正されて得られる情報が演算に用いられれば良い。ここで、第２階層の空間周波数が（ｕ２，ｖ２）であれば、位相のずれ量が（ｕ２×π，ｖ２×π）になる。
　また、第２階層の探索処理において既演算情報記憶部３６６に記憶された第２既演算情報としての第２階層の基準位相情報と第２階層の参照位相情報が、第１階層の探索処理において再利用され得る。なお、第２階層の既演算情報から第２階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第２階層の基準位相情報が補正されて得られる情報が演算に用いられれば良い。また、第２階層の既演算情報から第２階層の参照位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第２階層の参照位相情報が補正されて得られる情報が演算に用いられれば良い。ここで、第１階層の空間周波数が（ｕ１，ｖ１）であれば、位相のずれ量が（ｕ１×π，ｖ１×π）になる。
　このような構成が採用されることで、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理における２次元のフーリエ変換処理および規格化処理の一部が省略され得る。これにより、演算量の更なる低減によって、対応点の探索速度が更に向上し得る。また、再利用される情報における情報量の低減により、既演算情報記憶部３６６の記憶容量の低減が図られ得る。その結果、画像処理装置３の小型化ならびに製造コストの低減が図られ得る。
　　＜（９－２）第２変形例＞
　例えば、第２～４階層の既演算情報に、合成処理によって得られる各空間周波数に係る第２～４階層の位相差を示す情報が含まれても良い。
　この場合、例えば、第４階層の探索処理において既演算情報記憶部３６６に記憶された第４既演算情報としての各空間周波数に係る第４階層の位相差を示す情報が、第３階層の探索処理において再利用され得る。また、第３階層の探索処理において既演算情報記憶部３６６に記憶された第３既演算情報としての第３階層の各空間周波数に係る位相差を示す情報が、第２階層の探索処理において再利用され得る。また、第２階層の探索処理において既演算情報記憶部３６６に記憶された第２既演算情報としての第２階層の各空間周波数に係る位相差を示す情報が、第１階層の探索処理において再利用され得る。但し、位相差が再利用される際には、位相差に所定の変換倍率が乗ぜられた上で再利用されれば良い。
　このような構成が採用されることで、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理における２次元のフーリエ変換処理および規格化処理の一部が省略され得る。これにより、演算量の更なる低減によって、対応点の探索速度が更に向上し得る。また、再利用される情報における情報量の低減により、既演算情報記憶部３６６の記憶容量の低減が図られ得る。その結果、画像処理装置３の小型化ならびに製造コストの低減が図られ得る。
　　＜（９－３）第３変形例＞
　上記一実施形態に係る対応点探索部３６３では、対応点の探索処理においてＰＯＣ演算法を用いた相関演算が行われたが、これに限られない。対応点探索部３６３における相関演算の方法として、例えば、ＰＳＡ（Phase-Difference Spectrum Analysis）法が採用されても良い。
　以下、ＰＳＡ法を用いた相関演算の方法のうち、上記一実施形態に係るＰＯＣ演算法を用いた相関演算の方法と異なる点について主に説明する。なお、第１～４階層の探索処理は、相互に同様な方法が採用され得る。このため、第４階層の探索処理を例にとって説明する。
　ここでは、上記一実施形態と同様に、第４階層の基準領域画像および第４階層の参照領域画像に対してフーリエ変換処理Ｃ１１，Ｃ２１と規格化処理Ｃ１２，Ｃ２２とが順次に行われ、更に合成処理Ｃ３が行われる。これにより、各空間周波数（ｕ，ｖ）に係る第４階層の位相差Δθ（ｕ，ｖ）が得られる。つまり、各空間周波数（ｕ，ｖ）について、第４階層の基準位相情報と第４階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られる。
　ここで、第４階層の基準領域Ｗｄ１における基準点Ｓｄ１の位置と第４階層の参照領域Ｗｄ２における対応点Ｃｄ２の位置との間におけるＸ方向およびＹ方向におけるズレ量（視差）がｄｘおよびｄｙとされる。そして、相関演算の対象となっている矩形状の基準領域Ｗｄ１と参照領域Ｗｄ２を構成するＸ方向およびＹ方向の画素数がそれぞれＮ１およびＮ２とされると、次の式(８)の関係が成立する。
　　ｄｙ＝－（Ｎ２／Ｎ１）×（ｕ／ｖ）×ｄｘ＋（Ｎ２／２π）×Δθ（ｕ，ｖ）／ｖ　・・・(８)。
　式(８)のうち、基準領域と参照領域のサイズを示す値Ｎ１，Ｎ２は設計によって定まる。このため、式(８)に対して、設計値である値Ｎ１，Ｎ２が代入され、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が代入されることで、各空間周波数（ｕ，ｖ）についての視差ｄｘと視差ｄｙとの関係を示す一次関数（視差一次関数とも言う）が得られる。
　したがって、ＰＳＡ法を用いた相関演算では、次の工程（Ｉ），（II）がこの順番で順次に行われることで、第４階層の基準領域Ｗｄ１と第４階層の参照領域Ｗｄ２との間における相関値の最大値（最大相関値とも言う）Ｃｍａｘが得られる。
　（Ｉ）上式(８)に従って、空間周波数（ｕ，ｖ）毎に、位相差Δθ（ｕ，ｖ）が、第４階層の基準点Ｓｄ１と第４階層の対応点Ｃｄ２とに係る視差（ｄｘ，ｄｙ）に変換されて、視差一次関数が得られる。
　（II）工程（Ｉ）で得られる各空間周波数（ｕ，ｖ）の視差一次関数に基づき、視差ｄｘを横軸、視差ｄｙを縦軸とする所定サイズの空間（投票空間とも言う）の各座標に対する投票が行われる。これにより、投票空間の各座標に対する投票数の積算値の分布が得られる。このとき、投票数の積算値の最大値が最大相関値Ｃｍａｘとして得られる。
　ここで、投票空間の各座標に対する投票方法について説明する。
　図２５は、投票空間Ｄｄ１を例示する模式図である。
　図２５で示されるように、投票空間Ｄｄ１は、縦軸と横軸とが直交する２次元の空間座標系によって構成され、その横軸は視差ｄｘを示し、縦軸は視差ｄｙを示す。投票空間Ｄｄ１のサイズは、扱われる空間周波数（ｕ，ｖ）の数や対応点が探索される領域の大きさに応じて決められれば良い。
　また、例えば、視差（ｄｘ，ｄｙ）を±１画素の範囲において０．１画素刻みで探索する場合、投票空間Ｄｄ１には、原点（０，０）を含む０．１画素刻みの投票が可能な座標のポイント（投票可能座標ポイントとも称する）が設定される。例えば、図２５で示されるように、ｄｙ方向にあたる縦方向に２１箇所およびｄｘ方向であたる横方向に２１箇所の投票可能座標ポイントがマトリックス状に設けられる。なお、図２５では、各投票可能座標ポイントが、模式的に正方形の領域で示されている。
　図２６および図２７は、投票空間Ｄｄ１への投票方法を説明するための図である。
　図２６で示されるように、各空間周波数（ｕ，ｖ）について、投票空間Ｄｄ１に、視差一次関数で示される直線（図中太線）が引かれる。そして、各空間周波数（ｕ，ｖ）について、投票空間Ｄｄ１を構成する多数の投票可能座標ポイントのうち、視差一次関数に係る直線が通る全ての投票可能座標ポイントに投票値が与えられる。例えば、図２６で示される視差一次関数に係る直線に対しては、図２７で示されるような複数の投票可能座標ポイントに対して投票値が与えられる。
　各空間周波数（ｕ，ｖ）について、投票可能座標ポイントに投票値が与えられる際には、振幅の大小に応じた投票値が与えられれば良い。例えば、振幅の増大に応じて、投票値が大きくなれば良い。具体的には、各空間周波数（ｕ，ｖ）についての振幅成分が増大すれば増大するほど、投票値が大きくなっても良いし、振幅に対して１以上の閾値が設けられ、振幅が増大して閾値を超える度に、投票値が１、２、３、・・・と段階的に増加しても良い。
　このような投票値の付与によって、投票空間Ｄｄ１における投票値の積算値（投票積算値とも言う）の分布が得られる。このようにして、各空間周波数（ｕ，ｖ）についての位相差が空間的なずれ量に変換された後に、投票空間Ｄｄ１に投票されることで、投票結果としての投票空間Ｄｄ１における投票積算値の分布が得られる。
　ここで得られる投票積算値の分布が、第４階層の第３変換後基準画像Ｇｄ１と第４階層の第３変換後参照画像Ｇｄ２との間における相関を示しており、投票積算値の最大値が最大相関値Ｃｍａｘとなる。なお、ここでは、視差一次関数に係る直線が頻繁に交わる点の近傍に係る投票積算値が、最大相関値Ｃｍａｘとなり得る。
　そして、投票空間Ｄｄ１において最大相関値Ｃｍａｘが付与されている投票可能座標ポイントに対応する視差(ｄｘ，ｄｙ)が検出される。これにより、第４階層の基準領域Ｗｄ１と第４階層の参照領域Ｗｄ２との間における視差(ｄｘ，ｄｙ)に基づき、第３変換後参照画像Ｇｄ２において第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２が検出される。つまり、第４階層の探索処理では、投票空間Ｄｄ１における投票積算値の分布に基づき、第４階層の対応点Ｃｄ２が検索される。
　また、第４階層の探索処理と同様な方法によって、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理がそれぞれ順次に行われることで、参照画像Ｇａ２における第１階層の基準点Ｓａ１に対応する第１階層の対応点Ｃａ２が検出される。
　例えば、第３階層の探索処理では、各空間周波数（ｕ，ｖ）について、第３階層の基準位相情報と第３階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られ、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換される。そして、この空間的なずれ量が、投票空間Ｄｃ１に投票されることで、投票結果としての投票空間Ｄｃ１における投票積算値の分布が得られ、この投票積算値の分布に基づき、第３階層の対応点Ｃｃ２が検索される。
　また、第２階層の探索処理では、各空間周波数（ｕ，ｖ）について、第２階層の基準位相情報と第２階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られ、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換される。そして、この空間的なずれ量が、投票空間Ｄｂ１に投票されることで、投票結果としての投票空間Ｄｂ１における投票積算値の分布が得られ、この投票積算値の分布に基づき、第２階層の対応点Ｃｂ２が検索される。
　更に、第１階層の探索処理では、各空間周波数（ｕ，ｖ）について、第１階層の基準位相情報と第１階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られ、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換される。そして、この空間的なずれ量が、投票空間Ｄａ１に投票されることで、投票結果としての投票空間Ｄａ１における投票積算値の分布が得られ、この投票積算値の分布に基づき、第１階層の対応点Ｃａ２が検索される。
　そして、このようなＰＳＡ法を用いた相関演算が採用される場合にも、上記一実施形態と同様に、第４階層の探索処理において第４階層の既演算情報が既演算情報記憶部３６６に記憶され、第３階層の探索処理において再利用されても良い。また、第３階層の探索処理において第３階層の既演算情報が既演算情報記憶部３６６に記憶され、第２階層の探索処理において再利用されても良い。第２階層の探索処理において第２階層の既演算情報が既演算情報記憶部３６６に記憶され、第１階層の探索処理において再利用されても良い。
　ここで再利用される第２～４階層の既演算情報には、上記一実施形態と同様に、第２～４階層の基準周波数情報および第２～４階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。
　また、上記第１変形例と同様に、再利用される第２～４階層の既演算情報には、規格化処理によって得られる第２～４階層の基準位相情報および第２～４階層の参照位相情報のうちの少なくとも一部の情報が含まれても良い。更に、投票空間Ｄａ１～Ｄｄ１における投票値が振幅成分に応じて変更される態様であれば、再利用される第２～４階層の既演算情報に、第２～４階層の振幅情報のうちの少なくとも一部の情報が含まれても良い。
　なお、上述したように、第２～４階層の探索処理における２次元のフーリエ変換処理による演算結果は、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とを有する複素数の形式で出力され得る。そして、２次元のフーリエ変換処理で得られる振幅情報Ａ（ｕ，ｖ）は、数６で示されるように、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とから求められ得る。
Figure JPOXMLDOC01-appb-M000006
　また、第２～４階層の基準位相情報θ（ｕ，ｖ）および第２～４階層の参照位相情報θ（ｕ，ｖ）は、数７で示されるように、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とから求められ得る。
Figure JPOXMLDOC01-appb-M000007
　このため、第２～４階層の既演算情報は、振幅情報と位相情報の形式で記憶されても良いし、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）の形式で記憶されても良い。
　また、上記第２変形例と同様に、第２～４階層の既演算情報には、合成処理によって得られる各空間周波数に係る第２～４階層の位相差Δθ（ｕ，ｖ）を示す情報が含まれても良い。
　更に、第４階層の既演算情報には、１以上の空間周波数（ｕ，ｖ）について、第４階層の基準位相情報と第４階層の参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｄ１に投票されることで得られる結果を示す情報が含まれても良い。
　ここで、例えば、所定の変換倍率が１／ｎであれば、同サイズの探索ウインドウについて、第４階層の空間周波数（ｕ４，ｖ４）と第３階層の空間周波数（ｕ３，ｖ３）との間には、次の式(９)の関係が成立し得る。
　　ｕ３＝ｕ４／ｎ，ｖ３＝ｖ４／ｎ　・・・(９)。
　例えば、所定の変換倍率１／ｎが１／２であれば、第４階層の空間周波数（ｕ４，ｖ４）が（２，２）、（４，４）、（６，６）、（８，８）、（１０，１０）、（１２，１２）、（１４，１４）、（１６，１６）である場合の交流成分の情報は、それぞれ第３階層の空間周波数（ｕ３，ｖ３）が（１，１）、（２，２）、（３，３）、（４，４）、（５，５）、（６，６）、（７，７）、（８，８）である場合の交流成分の情報と類似する。換言すれば、第４階層の空間周波数（ｕ４，ｖ４）がともに偶数である場合についての交流成分の情報が、それぞれ半分の空間周波数（ｕ３，ｖ３）に係る第３階層についての交流成分の情報と類似する。
　このため、例えば、まず、第４階層の探索処理において、第４階層の偶数の空間周波数（ｕ４，ｖ４）についての基準位相情報と参照位相情報が、１／２倍の空間周波数（ｕ３，ｖ３）についての基準位相情報と参照位相情報に変換される。次に、該基準位相情報と参照位相情報がずれ量（ｕ３×π，ｖ３×π）で補正される。次に、補正後の基準位相情報と参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が、空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｄ１に投票される。そして、この投票結果を示す情報が第４階層の既演算情報とされれば良い。
　また、第３階層の既演算情報には、１以上の空間周波数（ｕ，ｖ）について、第３階層の基準位相情報と第３階層の参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｃ１に投票されることで得られる結果を示す情報が含まれても良い。更に、第２階層の既演算情報には、１以上の空間周波数（ｕ，ｖ）について、第２階層の基準位相情報と第２階層の参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｂ１に投票されることで得られる結果を示す情報が含まれても良い。
　すなわち、第１～３階層のうちの各階層の探索処理では、１階層前の探索処理において得られた１以上の空間周波数（ｕ，ｖ）についての投票空間Ｄｄ１～Ｄｂ１に対する投票結果を示す情報が再利用されても良い。なお、この場合、第３階層の既演算情報および第２階層の既演算情報は、第４階層の既演算情報と同様な方法で算出され得る。このような構成が採用されれば、再利用される情報における情報量の低減によって、既演算情報記憶部３６６の記憶容量の低減が図られ得る。その結果、画像処理装置３の小型化ならびに製造コストの低減が図られ得る。
　　＜（９－４）第４変形例＞
　上記一実施形態では、第３階層の探索処理では、第４階層の既演算情報から第４階層の参照位相情報が得られて用いられる場合、解像度の低減に応じた位相のずれ量（ｕ３×π，ｖ３×π）によって第４階層の参照位相情報が補正されたが、これに限られない。
　例えば、図２８で示されるように、第４階層の探索処理において、探索基準点Ｓｄ２と対応点Ｃｄ２とが一致する場合、第３階層の探索基準点Ｓｃ２は、第４階層の探索基準点Ｓｄ２に対応する位置に設定される。このとき、上述したように、第４階層の周波数ｕ４の交流成分の情報が、１／２倍の周波数ｕ３の交流成分の情報として再利用される際には、第４階層の周波数ｕ４の交流成分の位相ｕ４θがずれ量ｕ３×πで補正されれば良い。
　一方、例えば、図２９で示されるように、第４階層の探索処理において、探索基準点Ｓｄ２と対応点Ｃｄ２とがＸ方向にｍ画素（ｍは自然数）ずれた場合、第３階層の探索処理において、探索基準点Ｓｃ２は探索基準点Ｓｄ２に対応する画素からＸ方向に２ｍ画素ずれた位置に設定される。
　この場合、探索ウインドウのＸ方向の画素数が３３であれば、第４階層の参照領域画像に係る周波数ｕ４の交流成分と、第３階層の参照領域画像に係るその１／２の周波数ｕ３の交流成分との間では、周波数ｕ３に係る交流成分の位相が、２ｍ×ｕ３×２π／３３ずれる。ここでは、周波数１が２πに相当する。
　このため、例えば、第４階層の周波数ｕ４の交流成分の情報がその１／２の周波数ｕ３の交流成分の情報として再利用される際、第４階層の周波数ｕ４の交流成分の位相ｕ４θが、ずれ量ｕ３×πとずれ量２ｍ×ｕ３×２π／３３とで補正されれば良い。したがって、この場合、第３階層の周波数ｕ３についての交流成分の位相が２×ｕ４θ－ｕ３×π－２ｍ×ｕ３×２π／３３とされれば良い。
　つまり、第３階層の探索処理では、第４階層の既演算情報から第４階層の参照位相情報が得られて演算に用いられる場合、探索基準点Ｓｄ２と対応点Ｃｄ２との間の空間的なずれ量２ｍ×ｕ３×２π／３３に応じて、第４階層の参照位相情報に係る位相のずれが補正された上で演算に用いられることが好ましい。なお、第２階層の探索処理および第１階層の探索処理についても、同様な補正が行われることが好ましい。
　これにより、探索処理における対応点探索の精度が向上し得る。また、このような位相のずれが生じる場合であっても、画一的な演算によって対処することが可能であるため、対応点の探索処理を行う部分を専用の電子回路等によってハードウェア化することも可能である。
　　＜（９－５）第５変形例＞
　上記一実施形態では、上記数４で示される重み付け係数Ｗｔ（ｕ，ｖ）が、空間周波数（ｕ，ｖ）に拘わらず、１に設定されたが、これに限られない。例えば、第１～３階層の探索処理において、既演算情報から１以上の空間周波数（ｕ，ｖ）に係る情報が再利用される場合には、該１以上の空間周波数（ｕ，ｖ）についての重み付け係数Ｗｔ（ｕ，ｖ）は、１未満の所定値に設定されても良い。所定値は、例えば、所定の変換倍率に応じた数値である１／ｎ等に設定されれば良い。すなわち、再利用に係る１以上の空間周波数（ｕ，ｖ）についての重み付け係数Ｗｔ（ｕ，ｖ）が、残余の１以上の空間周波数（ｕ，ｖ）についての重み付け係数Ｗｔ（ｕ，ｖ）よりも相対的に小さくなれば良い。更に換言すれば、第１～３階層の探索処理において、既演算情報に係る一部の情報よりも、残余の情報の方が、対応点の探索結果に与える影響が大きくなるように、情報の重み付けが行われても良い。これにより、対応点探索の精度が向上し得る。
　この場合、例えば、第３階層の探索処理では、第４階層の既演算情報から得られる第３階層の演算用の情報における一部の情報よりも、第３階層の演算用の情報のうちの残余の情報の方が、第３対応点Ｃｃ２の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。また、例えば、第２階層の探索処理では、第３階層の既演算情報から得られる第２階層の演算用の情報における一部の情報よりも、第２階層の演算用の情報のうちの残余の情報の方が、第２対応点Ｃｂ２の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。更に、例えば、第１階層の探索処理では、第２階層の既演算情報から得られる第１階層の演算用の情報における一部の情報よりも、第１階層の演算用の情報のうちの残余の情報の方が、第１対応点Ｃａ２の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。
　なお、例えば、所定の変換倍率が１／２である場合、第４階層で周波数が４である周波数成分については、第３階層の探索処理で周波数が２である周波数成分に対して再利用され、第２階層の探索処理で周波数が１である周波数成分に対して再利用され得る。このように、既演算情報のうちの２回以上再利用される情報については、例えば、再利用の回数に応じて、重み付け係数Ｗｔ（ｕ，ｖ）が順次に低減されても良い。具体的には、再利用の回数が１回目であれば、重み付け係数Ｗｔ（ｕ，ｖ）が０．８とされ、再利用の回数が２回目であれば、重み付け係数Ｗｔ（ｕ，ｖ）が０．６とされ、再利用の回数が３回目であれば、重み付け係数Ｗｔ（ｕ，ｖ）が０．４とされるような態様が考えられ得る。
　なお、ある階層の探索処理では、ある情報が再利用される回数が多ければ多い程、その情報が探索処理の演算で用いられる情報を占める割合が低下する。この観点からも、再利用される回数が多い情報が探索処理の演算に与える影響が低減される。その結果、探索処理の高速化が図られつつ、探索精度が担保される。
　また、例えば、第１～４階層の探索処理にＰＳＡ法が採用され、第１～３階層の探索処理において、１以上の空間周波数（ｕ，ｖ）に係る情報が再利用される場合、該１以上の空間周波数（ｕ，ｖ）についての投票値が振幅に応じた値よりも低減されても良い。つまり、１以上の空間周波数（ｕ，ｖ）に係る情報が再利用されて導出される視差一次関数に応じて、投票空間Ｄａ１～Ｄｃ１に投票値が与えられる場合には、投票値が振幅に応じた値よりも低減されても良い。これにより、第１～３階層の探索処理において、既演算情報から得られる演算用の情報における一部の情報よりも、残余の情報の方が、対応点の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。
　　＜（９－６）その他の変形例＞
　◎また、上記一実施形態および上記第１～５変形例では、探索ウインドウ内の画像パターンの周波数情報を得て、各周波数成分の位相情報に基づいて対応点の探索処理を行う方法として、ＰＯＣ演算法およびＰＳＡ法が採用されたが、これに限られない。例えば、対応点の探索処理に、ＤＣＴ符号相関（Discrete Cosine Transform Sign Correlation：ＤＳＣ）演算等といったその他の演算が採用されても良い。なお、ＤＣＴ符号相関演算は、画像の離散コサイン変換係数の正負符号が用いられて、鏡像拡張した画像のＰＯＣ演算が行われるものである。つまり、ＤＣＴ符号相関は、対象拡張した信号の位相限定相関に相当する。
　◎また、上記一実施形態および上記第１～５変形例では、相対的に低解像度の画像から得られた情報が、相対的に高解像度の画像を対象とする演算に再利用されたが、これに限られない。例えば、相対的に高解像度の画像から得られた情報が、相対的に低解像度の画像を対象とする演算に再利用されても良い。
　具体的には、第１～４階層の探索処理では、まず、第１～４階層の基準点Ｓａ１～Ｓｄ１が設定された時点で、第１～４階層の基準領域Ｗａ１～Ｗｄ１の位置が一義的に決定され得る。このため、例えば、第１階層の基準領域画像について周波数情報が得られた後に、その周波数情報が再利用されて、第２～４階層の基準領域画像についての周波数情報が得られるような態様が考えられる。
　詳細には、例えば、第１階層の探索処理の演算で得られる第１階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第２階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第２の階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第１変換後基準画像Ｇｂ１に基づいて算出されれば良い。ここで再利用される情報には、周波数情報の一部の情報である位相情報等が含まれれば良い。
　この場合、所定の変換倍率が１／２であれば、例えば、第１階層の基準領域画像に係る空間周波数（ｕ１，ｖ１）の交流成分は、ｕ１＝２×ｕ２，ｖ１＝２×ｖ２の関係を満たす第２階層の基準領域画像に係る空間周波数（ｕ２，ｖ２）の交流成分と類似する。例えば、第１階層の空間周波数（ｕ１，ｖ１）が（１，１）、（２，２）、（３，３）、（４，４）、（５，５）、（６，６）、（７，７）、（８，８）である交流成分の情報は、第２階層の空間周波数（ｕ２，ｖ２）が（２，２）、（４，４）、（６，６）、（８，８）、（１０，１０）、（１２，１２）、（１４，１４）、（１６，１６）である場合の交流成分の情報と類似する。このため、第２階層の探索処理では、第１階層の空間周波数（ｕ１，ｖ１）についての基準位相情報が、第２階層の所定の変換倍率に応じた２倍の空間周波数（ｕ２，ｖ２）についての基準位相情報に変換された後に再利用され得る。但し、第１階層の周波数ｕ１の交流成分の情報が、その２倍の第２階層の周波数ｕ２の交流成分の情報として再利用される際には、第１階層の周波数ｕ１の交流成分の位相ｕ１θが解像度の低減に応じたずれ量ｕ２×πで補正されることが好ましい。このような情報の再利用によっても、第２階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約｛１－（１／２）２｝に低減され得る。
　また、第１階層の探索処理の演算で得られる第１階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第３および第４階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第３および第４階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第２および第３変換後基準画像Ｇｃ１，Ｇｄ１に基づいて算出されれば良い。但し、例えば、第１階層の周波数ｕ１の交流成分の情報が、その４倍および８倍の第３および第４階層の周波数ｕ３，ｕ４に係る交流成分の情報として再利用される際には、第１階層の周波数ｕ１の交流成分の位相ｕ１θが解像度の低減に応じたずれ量ｕ３×π，ｕ４×πで補正されることが好ましい。
　また、第２階層の探索処理の演算で得られる第２階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第３および第４階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第３および第４階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第２および第３変換後基準画像Ｇｃ１，Ｇｄ１に基づいて算出されれば良い。但し、例えば、第２階層の周波数ｕ２の交流成分の情報が、その２倍および４倍の第３および第４階層の周波数ｕ３，ｕ４に係る交流成分の情報として再利用される際には、第２階層の周波数ｕ２の交流成分の位相ｕ２θが解像度の低減に応じたずれ量ｕ３×π，ｕ４×πで補正されることが好ましい。
　更に、第３階層の探索処理の演算で得られる第３階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第４階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第４階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第３変換後基準画像Ｇｄ１に基づいて算出されれば良い。但し、例えば、第３階層の周波数ｕ３の交流成分の情報が、その２倍の第４階層の周波数ｕ４に係る交流成分の情報として再利用される際には、第３階層の周波数ｕ３の交流成分の位相ｕ３θが解像度の低減に応じたずれ量ｕ４×πで補正されることが好ましい。
　◎また、上記一実施形態および上記第１～５変形例では、距離算出部３６７において、基準画像Ｇａ１と参照画像Ｇａ２との間における画素の対応関係から、第１および第２カメラ１，２から被写体ＯＢ１までの距離が算出されたが、これに限られない。例えば、被写体ＯＢ１の３次元位置（Ｘ１,Ｙ１,Ｚ１）が、Ｘ１＝ｘ１×Ｄ／ｆ、Ｙ１＝ｙ１×Ｄ／ｆ、Ｚ１＝Ｄの３式によって算出されても良い。ここでは、ｘ１、ｙ１は、基準画像Ｇａ１上の注目画素の座標を示す。
　図３０は、情報処理システム１００の制御部３６に、被写体ＯＢ１の３次元位置（Ｘ１,Ｙ１,Ｚ１）を算出する３次元位置算出部３６８が付加された情報処理システム１００Ａの概略構成を例示する図である。この情報処理システム１００Ａでは、例えば、被写体ＯＢ１の３次元位置（Ｘ１,Ｙ１,Ｚ１）に基づいて、表示部３２において被写体ＯＢ１を３次元的に表す画像（３次元画像とも言う）が可視的に出力されても良い。
　◎また、上記一実施形態および上記第１～５変形例では、第１および第２カメラ１，２によって同じタイミングで撮像される２つの画像の間における画素の対応関係が探索されたが、これに限られない。例えば、１つのカメラＣ１によって被写体が時間順次に撮像され、画像処理装置３によって複数の画像のデータが通信回線Ｌｎ１を介して取得されて、複数の画像の間における画素の対応関係が探索され、該画素の対応関係から被写体の動きベクトルが算出されても良い。
　図３１は、情報処理システム１００の制御部３６に、被写体の動きベクトルを算出する動き情報算出部３６９が付加された情報処理システム１００Ｂの概略構成を例示する図である。また、情報処理システム１００Ｂでは、情報処理システム１００のうちの第１および第２カメラ１，２がカメラＣ１に置換され、通信回線Ｌ１，Ｌ２が通信回線Ｌｎ１に置換されている。この情報処理システム１００Ｂでは、例えば、被写体の動きベクトルに基づいて、表示部３２において被写体の動きベクトルを示す矢印等といった表示要素が、被写体を捉えた画像とともに可視的に出力されても良い。
　◎また、上記一実施形態および上記第１～５変形例では、第１～４階層の探索処理が行われたが、２階層以上の探索処理が行われれば良い。
　◎また、上記一実施形態および上記第１～５変形例では、第１～３階層の探索処理において、前の階層の探索処理における既演算情報が再利用されたが、これに限られない。例えば、第４階層の探索処理で得られた既演算情報の第３階層の探索処理における再利用、第３階層の探索処理で得られた既演算情報の第２階層の探索処理における再利用、および第２階層の探索処理で得られた既演算情報の第１階層の探索処理における再利用のうちの何れか１つが実行されれば良い。すなわち、２階層以上の探索処理の間で、一方の探索処理において、他方の探索処理で得られた既演算情報が再利用されれば良い。
　◎また、上記一実施形態および上記第１～５変形例では、基準画像Ｇａ１側および参照画像Ｇａ２側の双方の演算において、既演算情報が再利用されたが、これに限られない。例えば、基準画像Ｇａ１側および参照画像Ｇａ２側の演算のうちの少なくとも一方の演算において、既演算情報が再利用されれば良い。
　◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
　１　第１カメラ
　２　第２カメラ
　３　画像処理装置
　４　記憶媒体
　３４　記憶部
　３６　制御部
　３６ａ　ＣＰＵ
　３６ｂ　メモリー
　１００，１００Ａ，１００Ｂ　情報処理システム
　３６１　画像取得部
　３６２　画像生成部
　３６３　対応点探索部
　３６４　対応点探索制御部
　３６５　位置決定部
　３６６　既演算情報記憶部
　３６７　距離算出部
　３６８　３次元位置算出部
　３６９　動き情報算出部
　Ｃ１　カメラ
　ＰＧ　プログラム

Claims (14)

  1. 　第１画像および第２画像を取得する取得部と、
    　所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成する生成部と、
    　前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理、および前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行う探索部と、
    　前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において前記第２探索基準点の位置を決定する決定部と、
    　前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、
    　前記探索部が、
    　前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行うことを特徴とする画像処理装置。
  2. 　第１画像および第２画像を取得する取得部と、
    　所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成する生成部と、
    　前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理、および前記第１変換後基準画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行う探索部と、
    　前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において前記第２探索基準点の位置を決定する決定部と、
    　前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、
    　前記探索部が、
    　前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第２変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行うことを特徴とする画像処理装置。
  3. 　請求項１または請求項２に記載の画像処理装置であって、
    　前記探索部が、
    　前記第１および第２探索処理において、位相限定相関演算を用いることを特徴とする画像処理装置。
  4. 　請求項１から請求項３の何れか１つの請求項に記載の画像処理装置であって、
    　前記既演算情報が、
    　前記第１から第３周波数情報のうちの少なくとも一部の情報を含むことを特徴とする画像処理装置。
  5. 　請求項１から請求項４の何れか１つの請求項に記載の画像処理装置であって、
    　前記既演算情報が、
    　前記第１から第３位相情報のうちの少なくとも一部の情報を含むことを特徴とする画像処理装置。
  6. 　請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
    　前記既演算情報が、
    　前記第１位相情報と前記第２位相情報とに基づいて算出される位相差を示す情報を含むことを特徴とする画像処理装置。
  7. 　請求項１または請求項２に記載の画像処理装置であって、
    　前記探索部が、
    　前記第１探索処理において、各周波数成分について、前記第１位相情報と前記第２位相情報とに基づいて第１位相差を算出して該第１位相差を空間的なずれ量に変換し、該空間的なずれ量を第１投票空間に投票することで第１投票結果を得て、該第１投票結果に応じて前記第１対応点を探索し、前記第２探索処理において、各周波数成分について、前記第３位相情報と前記第４位相情報とに基づいて第２位相差を算出して該第２位相差を空間的なずれ量に変換し、該空間的なずれ量を第２投票空間に投票することで第２投票結果を得て、該第２投票結果に応じて前記第２対応点を探索し、
    　前記既演算情報が、
    　前記第１探索処理において、１以上の周波数成分について前記第１位相差が空間的なずれ量に変換された後に、該空間的なずれ量が前記第１投票空間に投票されることで得られる投票結果を示す情報を含むことを特徴とする画像処理装置。
  8. 　請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
    　前記探索部が、
    　前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第１位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用い、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第２位相情報を補正して演算に用い、前記第１探索処理において、前記第３探索処理で算出される前記既演算情報から前記第３位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用いることを特徴とする画像処理装置。
  9. 　請求項１から請求項８の何れか１つの請求項に記載の画像処理装置であって、
    　前記所定の変換倍率が、
    　１／ｎ（ｎは１よりも大きな任意の数）であり、
    　前記探索部が、
    　前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から第１周波数に係る前記第１周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第１周波数情報を、前記第１周波数に１／ｎを乗じて得られる第２周波数に係る前記第３周波数情報として用い、前記第１探索処理で算出される前記既演算情報から前記第１周波数に係る前記第２周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第２周波数情報を、前記第２周波数に係る前記第４周波数情報として用い、前記第１探索処理において、前記第２探索処理で算出される前記既演算情報から前記第２周波数に係る前記第３周波数情報を得て演算に用いる場合に、前記第２周波数に係る前記第３周波数情報を、前記第２周波数にｎを乗じて得られる前記第１周波数に係る前記第１周波数情報として用いることを特徴とする画像処理装置。
  10. 　請求項１から請求項９の何れか１つの請求項に記載の画像処理装置であって、
    　前記探索部が、
    　前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記第１探索基準点と前記第１対応点との間の空間的なずれ量に応じて、前記第２位相情報に係る位相のずれを補正して演算に用いることを特徴とする画像処理装置。
  11. 　請求項１から請求項１０の何れか１つの請求項に記載の画像処理装置であって、
    　前記探索部が、
    　前記第２探索処理において、前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として演算に用いられる前記既演算情報よりも、該演算用の情報のうちの残余の情報の方が、前記第２対応点の探索結果に与える影響が大きくなるように、情報の重み付けを行うことを特徴とする画像処理装置。
  12. 　（a）取得部によって、第１画像を取得するステップと、
    　（b）前記取得部によって、第２画像を取得するステップと、
    　（c）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成するステップと、
    　（d）探索部によって、前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、
    　（e）決定部によって、前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において第２探索基準点の位置を決定するステップと、
    　（f）前記探索部によって、前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行うステップと、を備え、
    　前記ステップ（f）において、
    　前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出することを特徴とする画像処理方法。
  13. 　（A）取得部によって、第１画像を取得するステップと、
    　（B）前記取得部によって、第２画像を取得するステップと、
    　（C）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成するステップと、
    　（D）探索部によって、前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、
    　（E）決定部によって、前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において第２探索基準点の位置を決定するステップと、
    　（F）前記探索部によって、前記第１変換後基準画像における前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像における前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行うステップと、を備え、
    　前記ステップ（F）において、
    　前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出することを特徴とする画像処理方法。
  14. 　画像処理装置に含まれる制御部において実行されることにより、前記画像処理装置を、請求項１から請求項１１の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。
PCT/JP2012/059667 2011-06-27 2012-04-09 画像処理装置、画像処理方法、およびプログラム WO2013001885A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12804894.9A EP2725550A4 (en) 2011-06-27 2012-04-09 IMAGE PROCESSING DEVICE, IMAGE PROCESSING PROCESS AND CORRESPONDING PROGRAM
JP2012533807A JP5110235B1 (ja) 2011-06-27 2012-04-09 画像処理装置、画像処理方法、およびプログラム
US14/127,377 US9042655B2 (en) 2011-06-27 2012-04-09 Image processing apparatus, image processing method, and non-transitory computer readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011142039 2011-06-27
JP2011-142039 2011-06-27

Publications (1)

Publication Number Publication Date
WO2013001885A1 true WO2013001885A1 (ja) 2013-01-03

Family

ID=47423793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/059667 WO2013001885A1 (ja) 2011-06-27 2012-04-09 画像処理装置、画像処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US9042655B2 (ja)
EP (1) EP2725550A4 (ja)
JP (1) JP5110235B1 (ja)
WO (1) WO2013001885A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017159771A1 (ja) * 2016-03-18 2017-09-21 エーザイ・アール・アンド・ディー・マネジメント株式会社 肝細胞増殖因子（ｈｇｆ）のｐｄマーカー

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495611B2 (en) * 2012-01-17 2016-11-15 Konica Minolta, Inc. Image processing apparatus, image processing method, and image processing program
KR101767927B1 (ko) * 2012-11-01 2017-08-17 한화테크윈 주식회사 실시간 움직임 검출 방법 및 시스템
JP5761272B2 (ja) * 2013-08-06 2015-08-12 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
EP3764319B1 (en) * 2018-03-05 2023-11-22 NEC Corporation Image comparison device
JP7202954B2 (ja) * 2019-03-29 2023-01-12 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置、画像処理装置及び画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06231254A (ja) * 1993-02-03 1994-08-19 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像の高速認識検索方法
JP2008304202A (ja) * 2007-06-05 2008-12-18 Konica Minolta Holdings Inc 距離画像生成方法、距離画像生成装置及びプログラム
JP2009294733A (ja) 2008-06-03 2009-12-17 Konica Minolta Holdings Inc 画像処理装置および画像処理方法
WO2011129361A1 (ja) * 2010-04-15 2011-10-20 コニカミノルタホールディングス株式会社 画像処理システム、画像処理方法、およびプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
US7054850B2 (en) * 2000-06-16 2006-05-30 Canon Kabushiki Kaisha Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements
JP2002358523A (ja) * 2001-05-31 2002-12-13 Canon Inc パターン認識処理装置及びその方法、画像入力装置
JP4846924B2 (ja) * 2001-05-31 2011-12-28 キヤノン株式会社 パターン認識装置
US7028271B2 (en) * 2002-11-06 2006-04-11 Canon Kabushiki Kaisha Hierarchical processing apparatus
WO2005059811A1 (en) * 2003-12-16 2005-06-30 Canon Kabushiki Kaisha Pattern identification method, apparatus, and program
JP4532915B2 (ja) * 2004-01-29 2010-08-25 キヤノン株式会社 パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP4196302B2 (ja) * 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5184824B2 (ja) * 2007-06-15 2013-04-17 キヤノン株式会社 演算処理装置及び方法
JP4872836B2 (ja) * 2007-07-06 2012-02-08 コニカミノルタホールディングス株式会社 情報処理システム
JP2009294773A (ja) 2008-06-03 2009-12-17 Ricoh Co Ltd 情報処理装置、情報処理方法、情報処理プログラム、記録媒体
WO2010032294A1 (ja) * 2008-09-17 2010-03-25 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2010079685A1 (ja) * 2009-01-09 2010-07-15 コニカミノルタホールディングス株式会社 動きベクトル生成装置および動きベクトル生成方法
US9415723B2 (en) * 2009-03-31 2016-08-16 Konica Minolta Holdings, Inc. Image integration unit and image integration method
WO2010128640A1 (ja) * 2009-05-07 2010-11-11 コニカミノルタホールディングス株式会社 ステレオ画像取得装置
JP5250847B2 (ja) * 2009-07-28 2013-07-31 コニカミノルタ株式会社 画像処理装置、情報処理システム、画像処理方法、およびプログラム
JP5588165B2 (ja) * 2009-12-24 2014-09-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2012094936A (ja) * 2010-10-22 2012-05-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9615062B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Multi-resolution image display
JP5092037B1 (ja) * 2011-05-16 2012-12-05 株式会社東芝 探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置
EP2728547A4 (en) * 2011-06-29 2015-04-15 Konica Minolta Inc SEARCH DEVICE FOR CORRESPONDING POINTS
JP5896661B2 (ja) * 2011-09-14 2016-03-30 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US9495611B2 (en) * 2012-01-17 2016-11-15 Konica Minolta, Inc. Image processing apparatus, image processing method, and image processing program
CN103488968B (zh) * 2012-06-14 2016-12-21 株式会社日立制作所 遥感图像的混合像素物质构成精细化分解装置及方法
JP2014044629A (ja) * 2012-08-28 2014-03-13 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06231254A (ja) * 1993-02-03 1994-08-19 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像の高速認識検索方法
JP2008304202A (ja) * 2007-06-05 2008-12-18 Konica Minolta Holdings Inc 距離画像生成方法、距離画像生成装置及びプログラム
JP2009294733A (ja) 2008-06-03 2009-12-17 Konica Minolta Holdings Inc 画像処理装置および画像処理方法
WO2011129361A1 (ja) * 2010-04-15 2011-10-20 コニカミノルタホールディングス株式会社 画像処理システム、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2725550A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017159771A1 (ja) * 2016-03-18 2017-09-21 エーザイ・アール・アンド・ディー・マネジメント株式会社 肝細胞増殖因子（ｈｇｆ）のｐｄマーカー

Also Published As

Publication number Publication date
US9042655B2 (en) 2015-05-26
JP5110235B1 (ja) 2012-12-26
US20140125844A1 (en) 2014-05-08
EP2725550A4 (en) 2015-03-04
EP2725550A1 (en) 2014-04-30
JPWO2013001885A1 (ja) 2015-02-23

Similar Documents

Publication Publication Date Title
JP5110235B1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4883223B2 (ja) 動きベクトル生成装置および動きベクトル生成方法
US10621446B2 (en) Handling perspective magnification in optical flow processing
JP4941565B2 (ja) 対応点探索装置および対応点探索方法
JP2012002683A (ja) ステレオ画像処理方法およびステレオ画像処理装置
JP2008123141A (ja) 対応点探索方法および３次元位置計測方法
JP2008185375A (ja) Ｓａｒ画像の３ｄ形状算出装置及びｓａｒ画像の歪補正装置
US10142613B2 (en) Image processing apparatus, image processing system, and image processing method
CN105005964A (zh) 基于视频序列影像的地理场景全景图快速生成方法
JP2014096062A (ja) 画像処理方法及び画像処理装置
JP5381768B2 (ja) 対応点探索装置
JP5924340B2 (ja) 対応点探索装置
JPWO2013108554A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5034554B2 (ja) 相関演算装置、相関演算方法及びプログラム
JP2009146150A (ja) 特徴位置検出方法及び特徴位置検出装置
JP5170005B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2008052598A (ja) 画像位置計測方法、画像位置計測装置、および画像位置計測プログラム
JP5310594B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6080424B2 (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
JP6843552B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP2012215549A (ja) 追尾装置
CN112348859A (zh) 一种渐近全局匹配的双目视差获取方法和系统
JP5712833B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
JP5355377B2 (ja) 画像パターン照合装置および方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2012533807

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12804894

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012804894

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14127377

Country of ref document: US

Ref document number: 2012804894

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE