WO2020059029A1 - 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 - Google Patents

距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 Download PDF

Info

Publication number
WO2020059029A1
WO2020059029A1 PCT/JP2018/034519 JP2018034519W WO2020059029A1 WO 2020059029 A1 WO2020059029 A1 WO 2020059029A1 JP 2018034519 W JP2018034519 W JP 2018034519W WO 2020059029 A1 WO2020059029 A1 WO 2020059029A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sensor
difference
distance
processing unit
Prior art date
Application number
PCT/JP2018/034519
Other languages
English (en)
French (fr)
Inventor
航史 山崎
悠介 中村
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2018/034519 priority Critical patent/WO2020059029A1/ja
Priority to JP2020547506A priority patent/JP7112504B2/ja
Priority to US17/276,745 priority patent/US11740468B2/en
Priority to CN201880095047.7A priority patent/CN112334734A/zh
Publication of WO2020059029A1 publication Critical patent/WO2020059029A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • the present invention relates to a distance measurement device, an imaging device, a distance measurement system, a distance measurement method, and an imaging method.
  • Head mounted image display devices are used to support work in factory work and equipment maintenance work. In many cases, an operator holds an article necessary for a target operation, and it is required that the input method to the video display device be simple, and input means such as voice operation and gesture operation has been devised. I have.
  • Patent Document 1 there is a method in which a special diffraction grating substrate is attached to an image sensor, and a distance to an object is measured using a projection pattern in which light transmitted through the diffraction grating substrate is generated on the image sensor. It has been devised.
  • distance information (information indicating the distance to the target object) is generated from the relationship between the contrast of the imaging result and the focus position.
  • An object of the present invention is to provide a technique for more accurately generating subject distance information in consideration of the influence of a background.
  • FIG. 1 is a schematic diagram of a head-mounted image display device equipped with a distance measurement device according to a first embodiment.
  • FIG. 2 is a diagram illustrating a configuration example of a head-mounted image display device equipped with the distance measurement device according to the first embodiment.
  • 6 is a flowchart illustrating a processing example in the embodiment of the video display device.
  • FIG. 2 is a diagram illustrating a configuration example of a basic imaging device using a distance measurement sensor.
  • FIG. 3 is a diagram illustrating a configuration example of an imaging unit in a basic imaging device using a distance measurement sensor.
  • FIG. 11 is a diagram illustrating another configuration example of an imaging unit in a basic imaging device using a distance measurement sensor. It is a figure showing an example of a pattern for photography.
  • FIG. 9 is a diagram illustrating that an image projected from the pattern substrate surface to the image sensor by obliquely incident parallel light causes an in-plane displacement.
  • FIG. 3 is a diagram illustrating an example of a projected image of a photographing pattern.
  • FIG. 3 is a diagram illustrating an example of a development pattern.
  • FIG. 4 is a diagram illustrating an example of a developed image according to a correlation developing method.
  • FIG. 4 is a diagram illustrating an example of moiré fringes by a moiré developing method.
  • FIG. 4 is a diagram illustrating an example of a developed image by a moiré developing method.
  • FIG. 7 is a diagram illustrating an example of a combination of initial phases in a fringe scan.
  • FIG. 9 is a diagram illustrating that an image projected from the pattern substrate surface to the image sensor by obliquely incident parallel light causes an in-plane displacement.
  • FIG. 3 is a diagram illustrating an example of a projected image of a photographing pattern.
  • FIG. 4 is a diagram illustrating an example of a photographing pattern in a space division fringe scan.
  • 9 is a flowchart illustrating a processing example of a fringe scan processing unit.
  • 9 is a flowchart illustrating a processing example of an image processing unit using a correlation development method.
  • 6 is a flowchart illustrating a processing example of an image processing unit using a moiré developing method.
  • FIG. 9 is a diagram illustrating that a shooting pattern is projected when an object is at an infinite distance.
  • FIG. 9 is a diagram illustrating that a shooting pattern is enlarged when an object is at a finite distance.
  • 9 is a flowchart illustrating an example of a distance measurement process by an image processing unit.
  • FIG. 7 is a diagram illustrating a calculation region of contrast in a distance measurement process. It is a figure showing an example of PSF (point spread function) when only one light source exists in a visual field.
  • FIG. 4 is a diagram illustrating an example of a PSF (point spread function) when two light sources are present in a visual field.
  • FIG. 3 is a diagram illustrating a configuration example of a distance measurement sensor and a distance measurement unit according to the first embodiment.
  • 5 is a flowchart illustrating a processing example of an inter-frame difference processing unit. 5 is a flowchart illustrating a processing example of a distance measuring unit.
  • FIG. 5 is a diagram illustrating another configuration example of the distance measurement sensor and the distance measurement unit according to the first embodiment.
  • FIG. 13 is a flowchart illustrating another processing example of the distance measuring unit.
  • FIG. 4 is a diagram illustrating a relationship between a sensor image and a distance measurement image.
  • FIG. 4 is a diagram illustrating a relationship between a sensor image and a distance measurement image.
  • FIG. 4 is a diagram illustrating a relationship between a sensor image and a distance measurement image.
  • FIG. 9 is a schematic diagram of a head-mounted image display device and a calculation device equipped with a distance measurement device according to a second embodiment.
  • FIG. 9 is a diagram illustrating a configuration example of a video display device according to a second embodiment.
  • FIG. 9 is a diagram illustrating a configuration example of a calculation device according to a second embodiment.
  • FIG. 13 is a flowchart illustrating an example of processing of the video display device according to the second embodiment. 13 is a flowchart illustrating an example of a process performed by a calculation device according to the second embodiment.
  • FIG. 14 is a schematic diagram of a head-mounted image display device equipped with a distance measurement device according to a third embodiment.
  • FIG. 3 is a diagram illustrating a positional relationship of a subject with respect to a sensor image when a wearer of a head-mounted video display device equipped with a distance measurement device moves.
  • FIG. 3 is a diagram illustrating a positional relationship of a subject with respect to a sensor image when a wearer of a head-mounted video display device equipped with a distance measurement device moves.
  • FIG. 3 is a diagram illustrating a positional relationship of a subject with respect to a sensor image when a wearer of a head-mounted video display device equipped with a distance measurement device moves.
  • FIG. 3 is a diagram illustrating a positional relationship of a subject with respect to a sensor image when a wearer of a head-mounted video display device equipped with a distance measurement device moves.
  • 17 is a flowchart illustrating an example of a processing flow in a difference image area determination unit according to the third embodiment. It is a figure explaining the relation of the cross-correlation of the sensor image between frames with a wearer's head movement.
  • FIG. 7 is a diagram illustrating a relationship between a head movement of a wearer and a cross-correlation of a partial region of a sensor image between frames.
  • 15 is a flowchart illustrating an example of a distance measurement process according to the third embodiment.
  • FIG. 14 is a diagram illustrating a configuration example of a head-mounted image display device equipped with a distance measurement device according to a fourth embodiment.
  • the number of elements when referring to the number of elements (including the number, numerical value, amount, range, etc.), a case where it is particularly specified and a case where it is clearly limited to a specific number in principle, etc. Except, the number is not limited to the specific number, and may be more than or less than the specific number.
  • the constituent elements are not necessarily essential unless otherwise specified or considered to be indispensable in principle. Needless to say.
  • Example 1 An embodiment of a distance measuring apparatus according to the present invention will be described, which shows that when generating distance information of an object, the influence of the background can be reduced and high-accuracy distance information can be generated.
  • the distance measuring device is mounted on a head-mounted image display device, and is used as a distance measuring sensor for gesture recognition.
  • FIG. 1 shows a schematic diagram of a head-mounted image display device 101 (distance measuring device) in the present embodiment.
  • the video display device 101 is a device that measures a distance to a subject.
  • the image display device 101 includes a distance measurement sensor unit 102, an image display unit 103, a light source unit 104, and an overall control unit (not shown).
  • the head-mounted image display device 101 does not have to be eyeglass-type as long as it can be worn on the head, and the image display unit may be one eye.
  • the distance measurement sensor unit 102 may be installed at, for example, an end of the video display device 101 instead of the center. At this time, the distance measuring sensor unit 102 is not conspicuous by installing it at the end than in the case where it is installed at the center as shown in FIG. 1, so that the design can be improved. Further, the light source unit 104 is installed so as to be able to irradiate an area larger than the distance measurement range of the distance measurement sensor unit 102. For example, when the irradiation range of the light source is narrow, a plurality of light sources can be installed, for example, by installing the light sources at both ends, the irradiation range can be expanded.
  • FIG. 2 is a block diagram illustrating an example of a configuration of the video display device 101 according to the present embodiment. This example is an example in which an image display function and an arithmetic processing function are integrated in an image display device mounted on the head.
  • a CPU (Central Processing Unit) 201 is a central processing unit and performs control processing in the present video display device.
  • a GPU (Graphics Processing Unit) 202 is an arithmetic unit specialized for real-time image processing, and mainly performs processing related to image processing.
  • the overall control unit 203 is realized by a CPU or the like, and controls the entire processing in the video display device 101.
  • the light source control unit 204 controls the light source unit 104.
  • the light source unit 104 emits, for example, near-infrared light.
  • the distance measurement unit 205 controls the distance measurement sensor unit 102.
  • the video display control unit 211 controls the video display unit 103.
  • the camera control unit 212 controls the camera unit 213 to capture, for example, a still image or a moving image of the outside world.
  • the camera unit 213 is an imaging unit.
  • the gesture recognition unit 209 detects and recognizes a gesture based on the distance information (information indicating the distance to the subject) generated by the distance measurement unit 205.
  • the gesture operation input unit 210 inputs a gesture recognized by the gesture recognition unit 209 as an input operation of the video display device 101.
  • step S1 the light source control unit 204 controls the light source unit 104 to adjust the amount of light to be irradiated.
  • step S2 the distance measurement unit 205 controls the distance measurement sensor unit 102 to generate distance information from the acquired image.
  • step S3 the gesture recognition unit 209 performs gesture recognition using the distance information generated by the distance measurement unit 205.
  • step S4 a gesture recognition result is input to the gesture operation input unit 210 to be accepted as an input operation.
  • step S5 a response corresponding to the input operation is displayed on the video display unit 103 by the video display control unit 211.
  • FIG. 4 is an explanatory diagram illustrating an example of a basic configuration of an imaging device using a distance measurement sensor according to the present embodiment.
  • the imaging device 402 acquires an image of an external object without using a lens to form an image. As shown in FIG. 4, the image acquired by the distance measurement sensor unit 102 is converted into a fringe scan processing unit 207 ( The calculation is performed by the complex sensor image processing unit) and the image processing unit 208.
  • the imaging device 402 is a device including the functions of the distance measurement sensor unit 102 and the distance measurement unit 205.
  • FIG. 5 shows an example of the distance measuring sensor unit 102.
  • the distance measurement sensor unit 102 includes an image sensor 403, a pattern substrate 404, and a photographing pattern 405 (first lattice pattern).
  • the pattern substrate 404 is fixed in close contact with the light receiving surface of the image sensor 403, and has a configuration in which an imaging pattern 405 is formed on the pattern substrate 404.
  • the pattern substrate 404 is made of a material that is transparent to visible light, such as glass or plastic.
  • the imaging pattern 405 is formed by depositing a metal such as aluminum or chromium by, for example, a sputtering method used in a semiconductor process. Shading is given by the pattern with and without the aluminum deposited.
  • the formation of the photographing pattern 405 is not limited to this.
  • any method can be used as long as it can realize transmittance modulation, such as shading by printing with an inkjet printer or the like.
  • the pattern substrate 404 is made of a material that is transparent to far-infrared light, such as germanium, silicon, or chalcogenide, and that is transparent to the wavelength to be captured.
  • a blocking material may be used for the photographing pattern 405.
  • the photographing pattern 405 may be formed in a thin film and held by the support member 401.
  • the angle of view can be changed depending on the thickness of the pattern substrate 404. Therefore, for example, if the pattern substrate 404 has the configuration shown in FIG. 6 and has a function of changing the length of the support member 401, it is possible to change the angle of view during shooting and shoot.
  • the image sensor 403 is, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging surface (light receiving surface) of the image sensor 403 pixels 403a as light receiving elements are arranged in an array.
  • the intensity of light transmitted through the imaging pattern 405 is modulated by the lattice pattern, and received by the image sensor 403.
  • the image sensor 403 converts a light image received by the pixel 403a into an image signal that is an electric signal, and outputs a sensor image based on the subject.
  • the image signal (analog image data) is converted into a digital signal via, for example, an analog / digital conversion circuit, and is output as digital image data.
  • an analog / digital conversion circuit for example, an analog / digital conversion circuit
  • the fringe scan processing unit 207 performs noise removal by fringe scan on the image data (sensor image) output from the image sensor 403 and outputs the result to the image processing unit 208.
  • the fringe scan processing unit 207 generates a complex sensor image having a complex number from the sensor image.
  • the image processing unit 208 performs predetermined image processing on the image data output from the fringe scan processing unit 207, converts the data format as necessary, and stores the converted data in a storage device (not shown) of the imaging device 402. It is stored or output to an external host computer or recording medium.
  • the photographing pattern 405 is a concentric pattern in which the pitch becomes finer in inverse proportion to the radius from the center. Using the radius r from the reference coordinates, which is the center of the concentric circle, and the coefficient ⁇ , the following equation ( 1) is defined.
  • FIG. 7 shows an example of a Gabor zone plate of the formula (1)
  • FIG. 8 shows an example of a Fresnel zone plate obtained by binarizing the formula 1 with a threshold value of 1. Note that, hereinafter, for simplicity, only the x-axis direction will be described with mathematical expressions, but it is possible to consider two-dimensionally by similarly considering the y-axis direction.
  • FIG. 10 shows an example of a projected image of the photographing pattern 405. It is projected with a k shift as shown in equation (2). This is the output of the distance measurement sensor unit 102.
  • a shift amount k shown in FIG. 12 is calculated by calculating a cross-correlation function between the projected image of the photographing pattern 405 shown in FIG. 10 and the development pattern 1101 (second lattice pattern) shown in FIG. Get a bright spot.
  • the cross-correlation calculation is performed by a two-dimensional convolution calculation, the calculation amount is large. Therefore, the principle of the calculation using the Fourier transform will be described using mathematical expressions.
  • the Gabor zone plate and the Fresnel zone plate are used for the developing pattern 1101 as in the case of the photographing pattern 405, the developing pattern 1101 can be expressed by the following equation (3) using the initial phase ⁇ .
  • F represents a Fourier transform operation
  • u is a frequency coordinate in the x direction
  • ⁇ with parentheses is a delta function.
  • the equation after the Fourier transform is also a Fresnel zone plate or a Gabor zone plate. Therefore, the development pattern after Fourier transform may be directly generated based on this equation. As a result, the amount of calculation can be reduced.
  • exp (-iku) represented by the exponential function is a signal component.
  • the term is converted as in the following equation (7), and a bright spot is located at the position of k on the original x-axis. Obtainable.
  • the bright spot indicates a light beam at infinity, and is nothing but an image captured by the imaging device 402 in FIG.
  • a pattern other than the Fresnel zone plate or the Gabor zone plate, such as a random pattern may be used.
  • a moire fringe shown in FIG. 13 is generated by multiplying the projected image of the photographing pattern 405 shown in FIG. 10 by the developing pattern 1101 shown in FIG. , A bright point having a shift amount k ⁇ / ⁇ shown in FIG.
  • this moiré fringe is expressed by a mathematical formula, the following formula (8) is obtained.
  • the third term of this expansion formula is a signal component, and that a striped pattern that is straight and equidistant in the direction of displacement between the two patterns is formed over the entire overlapping region.
  • a fringe generated at a relatively low spatial frequency due to the superposition of such fringes is called a Moire fringe.
  • the two-dimensional Fourier transform of the third term is represented by the following equation (9).
  • F represents a Fourier transform operation
  • u is a frequency coordinate in the x direction
  • ⁇ with parentheses is a delta function
  • FIG. 15 is a diagram illustrating an example of a combination of initial phases in a fringe scan.
  • the complex developing pattern 1101 can be expressed by the following equation (11).
  • ⁇ may be set so as to equally divide an angle between 0 and 2 ⁇ , and is not limited to these four phases. .
  • a liquid crystal display element capable of electrically switching and displaying a plurality of initial phases as shown in FIG. Constitute.
  • the distance measurement sensor unit 102 controls the switching timing of the liquid crystal display element and the shutter timing of the image sensor 403 in synchronization with each other, and the fringe scan processing unit 207 performs a fringe scan operation after acquiring four images.
  • an imaging pattern 405 having a plurality of initial phases is used.
  • the ranging sensor unit 102 controls the shutter timing of the image sensor 403, and the fringe scan processing unit 207 acquires one image and divides the acquired image into four images corresponding to the respective initial phase patterns. Then, a fringe scan operation is performed.
  • FIG. 17 is a flowchart illustrating a processing example of the fringe scan processing unit 207.
  • the fringe scan processing unit 207 obtains a sensor image of a plurality of phase patterns output from the image sensor 403 (one image in the case of the space division fringe scan, and a plurality of images in the case of the time division fringe scan).
  • the fringe scan processing unit 207 divides the acquired sensor image for each phase when using the space division fringe scan (S1701), and does not execute the processing S1701 when using the time division fringe scan.
  • the fringe scan processing unit 207 initializes an output complex sensor image (S1702).
  • the fringe scan processing unit 207 acquires a sensor image of the target initial phase ⁇ (S1703), multiplies exp (i ⁇ ) according to the initial phase ⁇ (S1704), and adds the multiplication result to the complex sensor image (S1704). S1705).
  • the fringe scan processing unit 207 determines whether or not the processing has been completed for all the initial phases (S1706). If the processing has not been completed, the processing returns to S1703 (S1706: No). The process proceeds to S1707 (S1706: Yes).
  • the fringe scan processing unit 207 outputs a complex sensor image (S1707).
  • the processing in the fringe scan processing unit 207 described above corresponds to equation (10).
  • FIG. 18 is a flowchart illustrating a processing example of the image processing unit 208 using the correlation development method.
  • the image processing unit 208 acquires the complex sensor image output from the fringe scan processing unit 207, and performs a two-dimensional fast Fourier transform (FFT: Fast Fourier Transform) operation on the complex sensor image (S1801).
  • FFT Fast Fourier Transform
  • the image processing unit 208 generates a developing pattern 1101 (second lattice pattern) used for the developing process, multiplies the complex sensor image subjected to the two-dimensional FFT operation (S1802), and performs the inverse two-dimensional FFT operation. This is performed (S1803). Since the result of this calculation is a complex number, the image processing unit 208 converts the absolute value or the real part into a real number, develops (restores) the image to be captured (S1804). After that, the image processing unit 208 performs contrast enhancement processing (S1805), color balance adjustment (S1806), and the like on the obtained developed image, and outputs the captured image.
  • S1805 contrast enhancement processing
  • S1806 color balance adjustment
  • FIG. 19 is a flowchart illustrating a processing example of the image processing unit 208 using the moiré developing method.
  • the image processing unit 208 acquires the complex sensor image output from the fringe scan processing unit 207.
  • the image processing unit 208 generates the development pattern 1101 to be used for the development processing, multiplies the complex pattern by the complex sensor image (S1901), and obtains a frequency spectrum by two-dimensional FFT operation (S1902).
  • S1903 The data of the area is cut out (S1903).
  • Subsequent processing is the same as the processing in steps S1804 to S1806 in FIG.
  • the image processing of the image processing unit 208 using the moiré developing method is completed.
  • FIG. 20 shows the manner in which the imaging pattern 405 is projected onto the image sensor 403 when the subject is far, as described above.
  • a spherical wave from a point 2001 constituting a distant object becomes a plane wave while propagating a sufficiently long distance and irradiates the imaging pattern 405, and the projected image 2002 is projected on the image sensor 403, the projected image becomes It has substantially the same shape as the pattern for imaging 405.
  • a single luminescent spot can be obtained by performing a development process on the projection image 2002 using the development pattern.
  • FIG. 21 is an explanatory diagram showing that when the object to be imaged is at a finite distance, the projection of the imaging pattern 405 onto the image sensor 403 is enlarged more than the imaging pattern 405.
  • a spherical wave from a point 2101 constituting the object irradiates the imaging pattern 405 and a projected image 2102 is projected on the image sensor 403, the projected image is enlarged substantially uniformly.
  • the enlargement ratio ⁇ can be calculated as in the following equation (16) using the distance f from the photographing pattern 405 to the point 2101.
  • a single luminescent spot cannot be obtained by performing development processing using the development pattern designed for parallel light as it is. Therefore, if the developing pattern 1101 is enlarged in accordance with the uniformly enlarged projection image of the photographing pattern 405, a single bright point can be obtained again for the enlarged projection image 2102. it can.
  • a coefficient of development pattern 1101 beta can be corrected by a beta / alpha 2.
  • light from the point 2101 at a distance that is not necessarily infinity can be selectively reproduced.
  • FIG. 22 is a flowchart illustrating an outline of distance measurement by the imaging device 402. This distance measurement is realized by performing development processing while shifting the focus position by the resolution ⁇ f, and calculating the position where the contrast becomes maximum. This processing will be described in detail. First, an initial value of the focus position (such as infinity or distance 0) is set (S2201), an enlargement ratio ⁇ is calculated from the focus position, a coefficient ⁇ of the development pattern 1101 is calculated (S2202), and development processing is performed. (S2203). This development processing is the same processing as the development processing described with reference to FIG. 18 or FIG.
  • the developed image 2301 is divided as shown in FIG. 23 (S2204).
  • the contrast in the area is calculated for each of the divided areas using the maximum luminance Imax and the minimum luminance Imin in the area according to the following equations (17) and (18) (S2205).
  • the focus position is set to be shifted by ⁇ f (S2207), and the subsequent processes from S2202 to S2205 are performed until the scanning within the preset variable focus range is completed (S2206).
  • a focus position where the contrast is maximized is searched for each area (S2208), and distance information is output (S2209).
  • FIG. 24 shows an example of the PSF (point spread function) when only the point 2302 exists in the visual field.
  • the horizontal axis indicates the pixel position of the developed image, and the vertical axis indicates the amplitude.
  • the information before the processing (S1804) for realization and development (restoration) in the image processing unit 208 is a complex number, and therefore this vertical axis indicates the complex amplitude. If the complex amplitude of the point 2302 at the pixel position x0 is represented by the following equation (19), the value obtained by the realization process (S1804) is the square root of the following equation (20).
  • FIG. 25 shows an example of a PSF (point spread function) when points 2302 and 2303 exist in the visual field. Assuming that point 2302 is in focus, point 2303 is blurred and has an expanded PSF as shown. If the complex amplitude of the point 2303 at the pixel position x0 is represented by the following equation (21), the complex amplitude at the pixel position x0 before the realization processing (S1804) is represented by the following equation (22), and the realization processing (S1804) The obtained value is the square root of the following equation (23).
  • Expression (24) which is an interference component at points 2302 and 2303, is a feature of the present lensless camera system that is not included in conventional cameras. . This interference component affects the distance measurement performance.
  • FIG. 26 shows the configuration of the distance measuring sensor unit 102 and the distance measuring unit 205.
  • the distance measurement sensor unit 102 includes a modulator 2601 and an image sensor 403.
  • the modulator 2601 includes, for example, the pattern substrate 404 of FIG. 4 and the imaging pattern 405 (first lattice pattern).
  • the pattern of the modulator 2601 has a configuration in which a plurality of initial phase patterns are two-dimensionally arranged, for example, the initial phase ⁇ of FIG. 16 is a pattern of ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ . is there.
  • the modulator 2601 modulates the intensity of light based on the photographing pattern 405. Note that the image sensor 403 converts the light transmitted through the modulator 2601 into an electric signal, and generates a sensor image based on the subject.
  • the distance measurement unit 205 includes an inter-frame difference processing unit 206, a fringe scan processing unit 207, and an image processing unit 208.
  • the inter-frame difference processing unit 206 acquires the sensor image output from the distance measurement sensor unit 102, and generates a difference image between the acquired sensor image and the sensor image acquired one frame before.
  • the inter-frame difference processing unit 206 generates a difference image between frames of the sensor image.
  • the inter-frame difference processing unit 206 generates a difference image between frames of the complex sensor image.
  • the fringe scan processing unit 207 acquires the difference image output from the inter-frame difference processing unit 206 and performs a fringe scan operation.
  • the image processing unit 208 acquires the complex sensor image generated by the fringe scan processing unit 207 and generates distance information.
  • FIG. 27 is a flowchart showing an example of the inter-frame difference processing in the inter-frame difference processing unit 206.
  • the inter-frame difference processing unit 206 acquires the sensor image Si (n) from the distance measurement sensor unit 102 (S2701).
  • n is a variable stored in the memory and represents the number of times sensor images have been obtained from the distance measuring sensor unit 102, and is initialized to 0 when the video display device 101 is started.
  • the sensor image Si (n) is the sensor image acquired at the n-th time.
  • the inter-frame difference processing unit 206 stores the acquired sensor image Si (n) in the memory (S2702).
  • the inter-frame difference processing unit 206 initializes the output image So (n) (S2703).
  • the sensor image Si (n-1) is stored (S2704: Yes)
  • the inter-frame difference processing unit 206 generates a difference image between the sensor image Si (n) and the sensor image Si (n-1). Is set to the output image So (n) (S2705).
  • the inter-frame difference processing unit 206 sets the sensor image Si (n) as the output image So (n) (S2706). As described above, the inter-frame difference processing unit 206 determines whether or not to generate a difference image between frames based on the storage state of the sensor image between frames, and when it determines not to generate a difference image, The sensor image is output as an output image.
  • the inter-frame difference processing unit 206 outputs the output image So (n) (S2707), increments n, and ends (S2708).
  • the inter-frame difference processing unit 206 may delete the sensor image Si (n-1) from the memory.
  • FIG. 28 is a flowchart illustrating an example of a distance measurement process in the distance measurement sensor unit 102 and the distance measurement unit 205 illustrated in FIG.
  • the inter-frame difference processing unit 206 acquires the sensor image output from the distance measurement sensor unit 102 (S2801), performs the same processing as in FIG. 27, and generates a difference image (S2802).
  • the fringe scan processing unit 207 acquires the difference image generated by the inter-frame difference processing unit 206, and performs a fringe scan operation (S2803).
  • the fringe scan operation is a process equivalent to processes S1701 to S1707 in FIG.
  • the image processing unit 208 performs distance measurement processing using the complex sensor image generated by the fringe scan processing unit 207, and outputs distance information (S2804).
  • the distance measurement processing is the same processing as processing S2201 to S2209 in FIG. As described above, the image processing unit 208 generates the distance information indicating the distance to the subject based on the calculation of the difference image and the developing pattern 1101.
  • inter-frame difference processing unit 206 and the fringe scan processing unit 207 may be interchanged.
  • FIG. 29 shows the configuration of the distance measuring sensor unit 102 and the distance measuring unit 205 when the fringe scan processing is performed first. 26 is different from FIG. 26 only in the order of the inter-frame difference processing unit 206 and the fringe scan processing unit 207, and detailed description is omitted.
  • FIG. 30 is a flowchart showing an example of the distance measurement process in the configuration of FIG.
  • the fringe scan processing unit 207 acquires a sensor image output from the distance measurement sensor unit 102 (S3001), and performs a fringe scan operation (S3002).
  • the inter-frame difference processing unit 206 generates a difference image from the complex sensor image output from the fringe scan processing unit 207 (S3003).
  • an image for generating a difference image is changed from a sensor image to a complex sensor image, but can be realized by the same processing as in FIG.
  • the image processing unit 208 acquires the difference image output from the inter-frame difference processing unit 206, performs a distance measurement process, and outputs distance information (S3004).
  • the fringe scan processing unit 207 in order to convert a plurality of sensor images acquired in the patterns of each initial phase into a single complex sensor image, the fringe scan processing unit 207 is first executed to obtain the difference between frames. The amount of calculation in the processing unit 206 can be reduced.
  • the difference image from the image one frame before is used for the distance measurement processing.
  • the difference from the image before the frame may be arbitrarily set. For example, when the moving distance of the subject is small with respect to the frame rate of the distance measurement sensor, the signal component of the difference image becomes small, and the distance measurement may not be performed. In such a case, accurate distance measurement can be performed by using a difference image from an image several frames before.
  • the inter-frame difference processing unit 206 when the sensor image Si (n ⁇ 1) is not stored, the inter-frame difference processing unit 206 according to the present embodiment outputs the acquired sensor image Si (n) and uses it for the distance measurement processing.
  • Such a case occurs, for example, as shown in FIG. 31, when the video display device 101 is started and the first distance measurement processing is performed.
  • the same processing may be performed when the saving of the sensor image has failed due to a program error or the like, or when the saved sensor image has disappeared.
  • the distance measurement processing may be stopped, and the distance measurement processing may be performed from the next sensor image S (n + 1).
  • a normal sensor image Si (n) may be periodically output as a distance measurement image.
  • distance information of the entire image can be obtained, so that the shape and the like of the subject can be grasped.
  • the distance information of the moving object generated using the difference image may be updated with respect to the distance information of the entire image generated using the normal sensor image.
  • the distance measurement using the normal sensor image Si (n) may be performed. May be output as a result.
  • the inter-frame difference processing unit 206 generates a difference image between frames of the sensor image
  • the image processing unit 208 calculates the difference image of the sensor image based on the calculation of the difference image and the development pattern 1101. Generate distance information indicating the distance.
  • the video display device 101 since the video display device 101 generates a difference image between frames of a sensor image, it is possible to realize a distance measurement device capable of reducing the influence of the background and generating highly accurate distance information. Becomes
  • Example 2 This embodiment is different from the first embodiment in that a distance measuring sensor unit and a distance measuring unit are mounted on different devices.
  • FIG. 34 is a schematic diagram of a configuration of a distance measurement system including a head-mounted image display device 3405 and an arithmetic device 3407.
  • An image display device 3405 image pickup device
  • the calculation device 3407 is a device that receives an image captured by the video display device 3405 via the communication line 3406, and measures the distance to the subject using the image. That is, the video display device 3405 is a device connected to an arithmetic device that measures the distance to the subject based on the acquired image.
  • FIG. 35 is a block diagram showing an example of a video display device 3405 mounted on the head
  • FIG. 36 is a block diagram showing an example of a computing device 3407.
  • Communication between the video display device 3405 and the arithmetic device 3407 may be wired communication or wireless communication.
  • wireless communication a communication line connecting the video display device 3405 and the arithmetic unit 3407 is not required, and the user can perform work without worrying about the existence of the communication line, thereby improving usability.
  • the compression unit 3501 performs data compression when transmitting data to the arithmetic device 3407.
  • a transmission / reception unit 3502 (data transmission unit) transmits and receives data to and from the arithmetic device 3407.
  • the transmission / reception unit 3602 (data reception unit) transmits and receives data to and from the video display device 3405.
  • the compressed information received by the transmission / reception unit 3602 is expanded by the expansion unit 3601 to restore the original data.
  • the processing performed by the distance measuring unit 205 in FIG. 2 is divided into different processing by mounting the processing in the video display device 3405 and the arithmetic device 3407.
  • the distance measurement unit 3505 transmits an image obtained by performing the fringe scan processing and the inter-frame difference processing on the image from the distance measurement sensor unit 102.
  • the distance measuring unit 3605 performs image processing using the above-described image to generate distance information.
  • the fringe scan processing unit 207 in order to convert a plurality of sensor images acquired in each initial phase pattern into one complex sensor image, the fringe scan processing unit 207 is mounted on the video display device 3405 side.
  • the data amount can be reduced as compared with the case where a normal sensor image is transmitted.
  • the overall control unit 203 controls the entire flow.
  • the light source control unit 204 controls the light source unit 104 to adjust the amount of light to be irradiated (S3701).
  • the fringe scan processing unit 207 acquires a sensor image from the distance measurement sensor unit 102 (S3702), performs a fringe scan operation, and generates a complex sensor image (S3703).
  • the inter-frame difference processing unit 206 generates a difference image of the complex sensor image and outputs the image as a distance measurement image (S3704).
  • the compression unit 3501 acquires and compresses the distance measurement image output from the inter-frame difference processing unit 206 (S3705).
  • the compressed data is transmitted to the arithmetic unit 3407 in the transmission / reception unit 3502 (S3706).
  • the transmission / reception unit 3502 receives the data transmitted from the arithmetic unit 3407 (S3707), and displays the data on the video display unit 103 by the video display control unit 211 based on the received information (S3708).
  • the processing flow of the arithmetic unit of FIG. 38 will be described.
  • the overall control unit 203 controls the entire flow.
  • the transmission / reception unit 3602 receives the compressed data transmitted from the video display device 3405 (S3801), and the decompression unit 3601 decompresses the compressed data (S3802).
  • the distance measurement unit 3605 performs a distance measurement process on the expanded data, that is, the image obtained by the distance measurement sensor unit using an image on which the fringe scan process and the inter-frame difference process have been performed, and obtains a distance. Information is generated (S3803).
  • the gesture recognition unit 209 performs gesture recognition using the distance information acquired from the distance measurement unit 3605 (S3804), and accepts the gesture recognition result as an input operation by inputting the gesture recognition result to the gesture operation input unit 210 (S3805).
  • the transmission / reception unit 3602 transmits a response corresponding to the input operation (S3806).
  • Dividing the function and mounting it on another device requires data transmission / reception processing, which may result in processing delay. However, the processing delay can be minimized by compressing the transmission / reception data.
  • inter-frame difference processing unit 206 and the fringe scan processing unit 207 may be mounted on the computing device 3407 side. In this case, the amount of calculation in the video display device 3405 can be reduced, so that the size and cost of the video display device 3405 can be reduced.
  • FIG. 39 shows an example of the configuration of the video display device according to this embodiment.
  • the difference from the configuration of the video display device according to the first embodiment illustrated in FIG. 2 is that a difference area determination unit 3901 (difference image area determination unit) is added to the distance measurement unit 205.
  • the difference area determination unit 3901 is a part that determines an image area for which a difference is obtained by the inter-frame difference processing unit 206.
  • the difference image 4005 is a difference image So (k) between Si (k) and Si (k ⁇ 1).
  • the image display device 101 can generate accurate distance information of the hand portion of So (k) because information other than the hand portion of the moving object is excluded.
  • the subject 4103 is a subject viewed from the position of the wearer (ranging sensor) after moving the head, and the positional relationship of the entire image including the background has changed.
  • the sensor image (4104) output when the subject 4103 is captured by the distance measurement sensor unit 102 and the difference image (4105) of the sensor image 4002 are out of alignment with each other, and thus the background Information cannot be excluded, and accurate distance measurement cannot be performed.
  • the positional relationship between the subject and the distance measurement sensor in FIG. 42 is the same as that in FIG.
  • the area surrounded by the dotted line in FIG. 42 represents the area used for the difference image.
  • the difference image 4205 In the region used for the difference image, if the positional relationship between the background and the subject is the same, in the difference image 4205 in that region, information other than the hand part moved by the subject is excluded, and the exact distance between the hand part of the subject and the distance It is possible to generate information.
  • the difference area determination unit 3901 determines an area where the positional relationship between the background and the subject is the same.
  • FIG. 43 is an example of a processing flow in the difference area determination unit 3901.
  • the difference area determination unit 3901 acquires the sensor images Si (n ⁇ 1) and Si (n) from the inter-frame difference processing unit 206 (S4301), and calculates a cross-correlation function (S4302).
  • movement information of the distance measurement sensor unit 102 is obtained using the calculation result of the cross-correlation function (S4303).
  • the sensor image output from the distance measurement sensor unit 102 is a projected image of the photographing pattern 405.
  • the imaging pattern 405 is shifted depending on the incident angle of the light source. Therefore, if the angle of the target object with respect to the distance measurement sensor unit 102 changes, for example, when the wearer moves his head, the projected pattern also moves.
  • the moved amount is obtained from the cross-correlation.
  • FIG. 44 shows the calculation result of the cross-correlation function between Si (n-1) and Si (n). Since the peak of the cross-correlation function appears according to the moving direction of the projected pattern, for example, when the wearer moves, Si (n) becomes ⁇ x, In the case of ⁇ y shift, the peak of the cross-correlation function appears at a position shifted by ⁇ x and ⁇ y from the center. As described above, the movement amount can be obtained from the position where the peak of the cross-correlation function appears.
  • FIG. 45 shows the result of calculating the cross-correlation function by cutting out the lower left areas (4401 and 4402) when Si (n-1) and Si (n) are divided into 2 ⁇ 2 areas.
  • a peak of the cross-correlation function can be obtained at the same position ( ⁇ x, ⁇ y) as in FIG.
  • FIG. 46 is an example of a processing flow of distance measurement in the present embodiment.
  • the inter-frame difference processing unit 206 acquires the sensor image output from the distance measurement sensor unit 102 (S4601).
  • the difference area determination unit 3901 acquires the sensor images Si (n ⁇ 1) and Si (n) from the inter-frame difference processing unit 206, and determines a difference image area (S4602).
  • the inter-frame difference processing unit 206 cuts out the determined difference image region from Si (n ⁇ 1) and Si (n) based on the difference image region, and generates a difference image (S4603).
  • the difference area determination unit 3901 calculates a cross-correlation function between frames by using a partial area in the sensor image, and determines an image area.
  • the inter-frame difference processing unit 206 generates a difference image between frames in the image area determined by the difference area determination unit 3901.
  • the fringe scan processing unit 207 acquires a difference image, performs a fringe scan operation, and generates a complex sensor image (S4604). Finally, the image processing unit 208 performs distance measurement using the complex sensor image to generate distance information (S4605).
  • the video display device 101 may perform the distance measurement process using Si (n) without using the difference image, or may stop the distance measurement process.
  • FIG. 47 shows an example of the configuration of the video display device according to this embodiment. 39 is different from FIG. 39 in that a sensor unit 4701 and a posture detection unit 4702 are added.
  • the difference image region is determined from the cross-correlation of the sensor images output from the distance measurement sensor unit 102.
  • the posture detection unit 4702 uses the information acquired by the sensor unit 4701 to determine the difference image region. The posture of the wearer is detected, and the area of the difference image is determined.
  • the sensor unit 4701 is, for example, an acceleration sensor, a direction sensor, or the like, and can sense the movement of the video display device 101. By using a dedicated sensor for detecting the posture of the wearer, it is possible to speed up the processing and reduce the amount of calculation.
  • the sensor unit 4701 senses motion information of the video display device 101 and sends the motion information to the posture detection unit 4702.
  • the posture detection unit 4702 generates movement information (information indicating a moving direction and a moving speed) of the video display device 101 from the motion information.
  • the posture detection unit 4702 sends the movement information to the distance measurement unit 205.
  • the difference area determination unit 3901 of the distance measurement unit 205 determines the area of the difference image based on the movement information.
  • the inter-frame difference processing unit 206 may determine whether to generate an inter-frame difference image based on the movement information. For example, if the movement information indicates that the movement amount is large, the inter-frame difference processing unit 206 determines that it is not meaningful to take a difference from the immediately preceding image.
  • the above-described configurations, functions, processing units, processing means, and the like may be partially or entirely realized by hardware, for example, by designing an integrated circuit.
  • the above-described configurations, functions, and the like may be realized by software by a processor interpreting and executing a program that realizes each function.
  • Information such as a program, a table, and a file for realizing each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines are those that are considered necessary for explanation, and do not necessarily indicate all control lines and information lines on the product. In fact, it can be considered that almost all components are connected to each other.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

フレーム間差分処理部２０６が、センサ画像のフレーム間の差分画像を生成し、画像処理部２０８が、当該差分画像と、現像用パターン１１０１との演算に基づいて、被写体までの距離を示す距離情報を生成する。このように、映像表示装置１０１は、センサ画像のフレーム間の差分画像を生成するので、背景の影響を低減し、高精度な距離情報の生成を可能とする距離計測装置を実現することが可能となる。

Description

距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法
　本発明は、距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法に関する。
　工場作業、機器メンテナンス作業における作業支援のため頭部装着型の映像表示装置が利用されている。作業者は目的の作業に必要な物品を把持している場合が多く、映像表示装置への入力方法が簡易であることが求められており、音声操作やジェスチャ操作などによる入力手段が考案されている。
　ジェスチャ操作を実現するためには、ジェスチャを行う対象物（例えば、装着者の指等）を認識し、更に対象物の動作を認識する必要がある。対象物の認識や動作の認識には、距離画像を用いた３次元認識技術が用いられているが、装着者の負担を減らすために、小型で軽量な距離計測装置が必要とされている。例えば、特許文献１のように、画像センサに特殊な回折格子基板を貼り付け、回折格子基板を透過する光が画像センサ上で生じる射影パターンを用いて、対象物までの距離測定を行う方法が考案されている。
国際公開２０１７／１４９６８７号
　上述した特許文献１では、撮像結果のコントラストとフォーカス位置の関係から距離情報（対象物までの距離を示す情報）を生成している。ところで、撮像結果に背景が含まれている場合、この背景の影響により、正確な距離を計測することができず、適切な距離情報を生成することができなくなる可能性がある。
　本発明の目的は、背景の影響を考慮し、より正確に被写体の距離情報を生成する技術を提供することである。
　上記課題は、たとえば、特許請求の範囲に記載の発明により解決される。
　本発明によれば、背景の影響を考慮し、より正確に被写体の距離情報を生成することが可能となる。
実施例１における距離計測装置を搭載した頭部装着型の映像表示装置の概略図である。 実施例１における距離計測装置を搭載した頭部装着型の映像表示装置の構成例を示す図である。 映像表示装置の実施例における処理例を示すフローチャートである。 測距センサを用いた基本的な撮像装置の構成例を示す図である。 測距センサを用いた基本的な撮像装置における撮像部の構成例を示す図である。 測距センサを用いた基本的な撮像装置における撮像部の他の構成例を示す図である。 撮影用パターンの一例を示す図である。 撮影用パターンの他の例を示す図である。 斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。 撮影用パターンの投影像の一例を示す図である。 現像用パターンの一例を示す図である。 相関現像方式による現像画像の一例を示す図である。 モアレ現像方式によるモアレ縞の一例を示す図である。 モアレ現像方式による現像画像の一例を示す図である。 フリンジスキャンにおける初期位相の組合せの一例を示す図である。 空間分割フリンジスキャンにおける撮影用パターンの一例を示す図である。 フリンジスキャン処理部の処理例を示すフローチャートである。 相関現像方式による画像処理部の処理例を示すフローチャートである。 モアレ現像方式による画像処理部の処理例を示すフローチャートである。 物体が無限距離にある場合に撮影用パターンが投影されることを説明する図である。 物体が有限距離にある場合に撮影用パターンが拡大されることを説明する図である。 画像処理部による距離計測処理の一例を示すフローチャートである。 距離計測処理におけるコントラストの計算領域を示す図である。 視野に１つの光源のみが存在する場合のＰＳＦ（点像分布関数）の例を示す図である。 視野に２つの光源が存在する場合のＰＳＦ（点像分布関数）の例を示す図である。 実施例１における測距センサと距離計測部の構成例を示す図である。 フレーム間差分処理部の処理例を示すフローチャートである。 距離計測部の処理例を示すフローチャートである。 実施例１における測距センサと距離計測部の他の構成例を示す図である。 距離計測部の他の処理例を示すフローチャートである。 センサ画像と測距用画像の関係を説明する図である。 センサ画像と測距用画像の関係を説明する図である。 センサ画像と測距用画像の関係を説明する図である。 実施例２における距離計測装置を搭載した頭部装着型の映像表示装置と演算装置の概略図である。 実施例２における映像表示装置の構成例を示す図である。 実施例２における演算装置の構成例を示す図である。 実施例２における映像表示装置の処理の一例を示すフローチャートである。 実施例２における演算装置の処理の一例を示すフローチャートである。 実施例３における距離計測装置を搭載した頭部装着型の映像表示装置の概略図である。 距離計測装置を搭載した頭部装着型の映像表示装置の装着者が動いた時のセンサ画像に対する被写体の位置関係を説明する図である。 距離計測装置を搭載した頭部装着型の映像表示装置の装着者が動いた時のセンサ画像に対する被写体の位置関係を説明する図である。 距離計測装置を搭載した頭部装着型の映像表示装置の装着者が動いた時のセンサ画像に対する被写体の位置関係を説明する図である。 実施例３における差分画像領域決定部における処理フローの一例を示すフローチャートである。 装着者の頭の動きとフレーム間のセンサ画像の相互相関の関係を説明する図である。 装着者の頭の動きとフレーム間のセンサ画像の一部領域の相互相関の関係を説明する図である。 実施例３における距離計測処理の一例を示すフローチャートである。 実施例４における距離計測装置を搭載した頭部装着型の映像表示装置の構成例を示す図である。
　以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
　また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
　さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
　同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合及び原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値及び範囲についても同様である。
　また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
　以下、本発明の実施例について図面を用いて説明する。
　（実施例１）
　本発明に従った距離計測装置の実施例を示し、対象物の距離情報を生成する際に、背景の影響を低減し、高精度な距離情報を生成できることを示す。
　本実施例では、本発明に従った距離計測装置を、頭部装着型の映像表示装置に搭載し、ジェスチャ認識用の測距センサとして使用する。
　まず、本実施例における頭部装着型の映像表示装置の構成を説明する。図１に、本実施例における頭部装着型の映像表示装置１０１（距離計測装置）の概略図を示す。この映像表示装置１０１は、被写体までの距離を計測する装置である。
　映像表示装置１０１は、測距センサ部１０２と、映像表示部１０３と、光源部１０４と、全体制御部（図示しない）とを有する。頭部装着型の映像表示装置１０１は、頭部に装着できる形状であれば眼鏡型で無くても良く、映像表示部は片眼でもよい。
　測距センサ部１０２は、例えば、映像表示装置１０１の中央部ではなく端に設置してもよい。この時、図１のように中央に設置する場合よりも、端に設置することで測距センサ部１０２が目立たなくなりデザイン性を向上させることが可能である。また、光源部１０４は、測距センサ部１０２の測距範囲以上の領域に照射できるように設置する。例えば、光源の照射範囲が狭い場合は複数の光源を設置する、例えば、両端に設置することにより照射範囲を広げることが可能である。
　図２は、本実施例の映像表示装置１０１における構成の一例を示すブロック図である。本例は、頭部に装着する映像表示装置に映像表示機能と演算処理機能が一体となっている例である。ＣＰＵ（Central Processing Unit）２０１は、中央処理装置であり本映像表示装置における制御処理を行う。
　ＧＰＵ（Graphics Processing Unit）２０２は、リアルタイム画像処理に特化した演算装置であり、主に画像処理に関する処理を担う。全体制御部２０３は、ＣＰＵ等により実現され、映像表示装置１０１における処理全体の制御を行う。光源制御部２０４は、光源部１０４を制御する。光源部１０４は、例えば、近赤外光を照射する。距離計測部２０５は、測距センサ部１０２を制御する。映像表示制御部２１１は、映像表示部１０３を制御する。カメラ制御部２１２は、カメラ部２１３を制御することにより、例えば、外界の静止画・動画などを撮影する。カメラ部２１３は、撮像手段である。
　ジェスチャ認識部２０９は、距離計測部２０５で生成された距離情報（被写体までの距離を示す情報）をもとにジェスチャを検出し、認識するものである。ジェスチャ操作入力部２１０は、ジェスチャ認識部２０９により認識されたジェスチャを映像表示装置１０１の入力操作として入力するものである。
　図２で示した映像表示装置１０１の処理フローについて図３を用いて説明する。全体制御部２０３は本フローの全体を制御する。ステップＳ１では、光源制御部２０４が光源部１０４を制御することで、照射する光量を調整する。次に、ステップＳ２では、距離計測部２０５において、測距センサ部１０２を制御し、取得した画像から距離情報を生成する。ステップＳ３では、ジェスチャ認識部２０９は、距離計測部２０５が生成した距離情報を用いてジェスチャ認識を行う。ステップＳ４では、ジェスチャ認識結果をジェスチャ操作入力部２１０に入力することにより、入力操作として受付ける。ステップＳ５では入力操作に応じた応答を、映像表示制御部２１１により映像表示部１０３に表示する。
　距離計測部２０５の構成について説明する前に、測距センサ部１０２を用いた撮像及び測距の基本的な原理を説明する。
　〈無限遠物体の撮影原理〉
　図４は、本実施例における測距センサを用いた撮像装置の基本的な構成の一例を示す説明図である。撮像装置４０２は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図４に示すように、測距センサ部１０２で取得した画像を、フリンジスキャン処理部２０７（複素センサ画像処理部）及び画像処理部２０８で演算を行うものである。上記撮像装置４０２は、測距センサ部１０２及び距離計測部２０５の機能を含む装置である。
　図５に測距センサ部１０２の一例を示す。測距センサ部１０２は、画像センサ４０３、パターン基板４０４、及び撮影用パターン４０５（第１の格子パターン）を有する。パターン基板４０４は、画像センサ４０３の受光面に密着して固定されており、パターン基板４０４に撮影用パターン４０５が形成された構成からなる。
　パターン基板４０４は、例えばガラスやプラスティックなどの可視光に対して透明な材料からなる。撮影用パターン４０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。
　なお、撮影用パターン４０５の形成はこれに限定されるものでなく、例えば、インクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。また、例えば遠赤外線の撮影を行う際には、パターン基板４０４は例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料を用い、撮影用パターン４０５は遮断する材料を用いればよい。
　なお、ここでは撮影用パターン４０５をパターン基板４０４に形成する方法について述べたが、図６に示すように撮影用パターン４０５を薄膜に形成し、支持部材４０１により保持する構成などによっても実現できる。なお、この装置において、撮影画角はパターン基板４０４の厚さによって変更可能である。よって、例えばパターン基板４０４が図６の構成であり支持部材４０１の長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。
　図５又は図６に示すように、画像センサ４０３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。画像センサ４０３の撮像面（受光面）には、受光素子である画素４０３ａがアレイ状に配置されている。撮影用パターン４０５を透過する光は、その格子パターンによって光の強度が変調され、画像センサ４０３にて受光される。画像センサ４０３は、画素４０３ａが受光した光画像を電気信号である画像信号に変換して、被写体に基づくセンサ画像を出力する。
　なお、画像信号（アナログの画像データ）は、例えばアナログ・デジタル変換回路を介してデジタル信号に変換され、デジタルの画像データとして出力される。本明細書では、測距センサ部１０２が画像データを出力するものとして説明する。
　フリンジスキャン処理部２０７は、画像センサ４０３から出力される画像データ（センサ画像）に対してフリンジスキャンによるノイズ除去を行い、画像処理部２０８に出力する。例えば、フリンジスキャン処理部２０７は、センサ画像から複素数を有する複素センサ画像を生成する。画像処理部２０８は、フリンジスキャン処理部２０７から出力された画像データに対して所定の画像処理を行い、必要に応じてデータ形式を変換し、撮像装置４０２の備える記憶装置（図示せず）に格納したり、外部のホストコンピュータや記録媒体に出力したりする。
　続いて、撮像装置４０２における撮影原理について説明する。まず、撮影用パターン４０５は中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンであり、同心円の中心である基準座標からの半径ｒ、係数βを用いて、以下の式（１）と定義する。
Figure JPOXMLDOC01-appb-M000001
　撮影用パターン４０５は、この式に比例して透過率変調されているものとする。このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図７に式（１）のガボールゾーンプレート、図８に式１を閾値１で２値化したフレネルゾーンプレートの例を示す。なお、ここより以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。
　撮影用パターン４０５が形成された厚さｄのパターン基板４０４に、図９に示すようにｘ軸方向に角度θ０で平行光が入射したとする。パターン基板４０４中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ４０３に入射する。このとき、以下の式（２）のような強度分布を持つ投影像が画像センサ４０３上で検出される。
Figure JPOXMLDOC01-appb-M000002
　なお、Φは式（１）の透過率分布の初期位相を示す。この撮影用パターン４０５の投影像の例を図１０に示す。式（２）のようにｋシフトして投影される。これが測距センサ部１０２の出力となる。
　次に、画像処理部２０８における処理に関して、相関現像方式とモアレ現像方式による現像処理について説明する。
　相関現像方式では、図１０に示す撮影用パターン４０５の投影像と図１１に示す現像用パターン１１０１（第２の格子パターン）との相互相関関数を演算することにより、図１２に示すシフト量ｋの輝点を得る。なお、一般的に相互相関演算を２次元畳込み演算で行うと演算量が大きくなることから、フーリエ変換を用いて演算する例について、数式を用いて原理を説明する。まず、現像用パターン１１０１は、撮影用パターン４０５と同様にガボールゾーンプレートやフレネルゾーンプレートを用いるため、現像用パターン１１０１は初期位相Φを用いて、以下の式（３）と表せる。
Figure JPOXMLDOC01-appb-M000003
　現像用パターン１１０１は、画像処理内で使用するため、式１のように１でオフセットさせる必要はなく、負の値を有していても問題ない。式（１）、式（３）のフーリエ変換はそれぞれ、以下の式（４）及び式（５）のようになる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この式で重要なことはフーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、この数式に基づいてフーリエ変換後の現像用パターンを直接的に生成してもよい。これにより演算量を低減可能である。
　次に、式（４）及び式（５）を乗算すると、以下の式（６）となる。
Figure JPOXMLDOC01-appb-M000006
　この指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、以下の式（７）のように変換され、元のｘ軸においてｋの位置に輝点を得ることができる。
Figure JPOXMLDOC01-appb-M000007
　この輝点が無限遠の光束を示しており、図４の撮像装置４０２による撮影像にほかならない。
　なお、相関現像方式ではパターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。
　次にモアレ現像方式では、図１０に示した撮影用パターン４０５の投影像と図１１に示した現像用パターン１１０１を乗算することにより、図１３に示すモアレ縞を生成し、フーリエ変換することにより、図１４に示すシフト量ｋβ／πの輝点を得る。このモアレ縞を数式で示すと、以下の式（８）となる。
Figure JPOXMLDOC01-appb-M000008
　この展開式の第３項が信号成分であり、２つのパターンのずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞をモアレ縞と呼ぶ。この第３項の２次元フーリエ変換は、以下の式（９）となる。
Figure JPOXMLDOC01-appb-M000009
　ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークがｕ＝±ｋβ／πの位置に生じることがわかる。この輝点が無限遠の光束を示しており、図４の撮像装置４０２による撮影像にほかならない。
　〈ノイズキャンセル〉
　式（６）から式（７）への変換、また式（８）から式（９）への変換において信号成分に着目したが、実際には信号成分以外の項が現像を阻害する。そこで、フリンジスキャンに基づくノイズキャンセルを行う。
　フリンジスキャンのためには、撮影用パターン４０５として初期位相Φの異なる複数のパターンを使用する必要がある。図１５は、フリンジスキャンにおける初期位相の組合せの一例を示す図である。ここでは、Φ＝０、π／２、π、３π／２となる４位相を用いて撮影したセンサ画像を以下の式（１０）に従って演算すると、複素数のセンサ画像（複素センサ画像）が得られる。
Figure JPOXMLDOC01-appb-M000010
　ここで、複素数の現像用パターン１１０１は、以下の式（１１）で表せる。
Figure JPOXMLDOC01-appb-M000011
　現像用パターン１１０１は、演算処理内で使用されるため、複素数であっても問題ない。モアレ現像方式の場合、式（１０）と式（１１）とを乗算すると、以下の式（１２）となる。
Figure JPOXMLDOC01-appb-M000012
　この指数関数で表された項ｅｘｐ（２ｉβｋｘ）が信号成分であり、式（８）のような不要な項が発生せず、ノイズキャンセルされていることが解る。
　同様に相関現像方式についても確認すると、式（１０）及び式（１１）のフーリエ変換はそれぞれ、以下の式（１３）及び式（１４）となる。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　次に、式（１３）と式（１４）とを乗算すると、以下の式（１５）のようになる。
Figure JPOXMLDOC01-appb-M000015
　この指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、式（８）のような不要な項が発生せず、ノイズキャンセルされていることが解る。
　なお、以上の例では、４位相の複数のパターンを使用して説明したが、Φは０～２πの間の角度を等分するように設定すればよく、この４位相に限定するものではない。
　以上の複数パターンによる撮影を実現するには、時分割でパターンを切り替える方法（時分割フリンジスキャン）と、空間分割でパターンを切り替える方法（空間分割フリンジスキャン）がある。
　時分割フリンジスキャンを実現するには、例えば、電気的に図１５に示す複数の初期位相を切り替えて表示することが可能（すなわちパターンを変更可能）な液晶表示素子などで、撮影用パターン４０５を構成する。測距センサ部１０２は、この液晶表示素子の切替タイミングと画像センサ４０３のシャッタタイミングを同期して制御し、フリンジスキャン処理部２０７は、４枚の画像を取得後にフリンジスキャン演算を実施する。
　対して、空間分割フリンジスキャンを実現するには、例えば図１６（空間分割フリンジスキャンにおける撮影用パターン４０５の一例を示す図）に示すように、複数の初期位相を有する撮影用パターン４０５を使用する。測距センサ部１０２は、画像センサ４０３のシャッタタイミングを制御し、フリンジスキャン処理部２０７は、１枚の画像を取得後、当該取得画像をそれぞれの初期位相のパターンに対応して４枚に分割し、フリンジスキャン演算を実施する。
　続いて、フリンジスキャン処理部２０７でのフリンジスキャン演算について説明する。図１７は、フリンジスキャン処理部２０７の処理例を示すフローチャートである。
　まず、フリンジスキャン処理部２０７は、画像センサ４０３から出力される複数位相パターンのセンサ画像（空間分割フリンジスキャンの場合は１枚、時分割フリンジスキャンの場合は複数枚）を取得する。フリンジスキャン処理部２０７は、空間分割フリンジスキャンを使用する場合には取得したセンサ画像を位相ごとに分割し（Ｓ１７０１）、時分割フリンジスキャンを使用する場合には処理Ｓ１７０１を実施しない。次に、フリンジスキャン処理部２０７は、出力用の複素センサ画像を初期化する（Ｓ１７０２）。
　続いて、フリンジスキャン処理部２０７は、初期位相ごとに、処理Ｓ１７０３～Ｓ１７０５を繰り返す。例えば、図１５に示したような４位相を用いたフリンジスキャンでは、Φ＝０、π／２、π、３π／２の４回分繰り返す。フリンジスキャン処理部２０７は、対象の初期位相Φのセンサ画像を取得し（Ｓ１７０３）、その初期位相Φに応じたｅｘｐ（ｉΦ）を乗算し（Ｓ１７０４）、乗算結果を複素センサ画像に加算する（Ｓ１７０５）。フリンジスキャン処理部２０７は、全ての初期位相についての処理を終了したか否かを判定し（Ｓ１７０６）、終了していない場合は処理をＳ１７０３に戻し（Ｓ１７０６：Ｎｏ）、終了した場合は処理をＳ１７０７に進める（Ｓ１７０６：Ｙｅｓ）。
　最後に、フリンジスキャン処理部２０７は、複素センサ画像を出力する（Ｓ１７０７）。以上のフリンジスキャン処理部２０７での処理は、式（１０）に相当する。
　続いて、画像処理部２０８での画像処理について説明する。図１８は、相関現像方式による画像処理部２０８の処理例を示すフローチャートである。
　まず、画像処理部２０８は、フリンジスキャン処理部２０７から出力される複素センサ画像を取得し、複素センサ画像に対して２次元高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）演算を実施する（Ｓ１８０１）。次に、画像処理部２０８は、現像処理に使用する現像用パターン１１０１（第２の格子パターン）を生成し、２次元ＦＦＴ演算した複素センサ画像に乗算し（Ｓ１８０２）、逆２次元ＦＦＴ演算を実施する（Ｓ１８０３）。この演算結果は複素数となるため、画像処理部２０８は、絶対値化もしくは実部を取り出して撮影対象の像を実数化して現像（復元）する（Ｓ１８０４）。その後、画像処理部２０８は、得られた現像画像に対してコントラスト強調処理（Ｓ１８０５）、カラーバランス調整（Ｓ１８０６）などを実施し、撮影画像として出力する。以上により、相関現像方式による画像処理部２０８の画像処理が終了となる。
　これに対して、図１９は、モアレ現像方式による画像処理部２０８の処理例を示すフローチャートである。
　まず、画像処理部２０８は、フリンジスキャン処理部２０７から出力される複素センサ画像を取得する。画像処理部２０８は、現像処理に使用する現像用パターン１１０１を生成して複素センサ画像に乗算し（Ｓ１９０１）、２次元ＦＦＴ演算により周波数スペクトルを求め（Ｓ１９０２）、この周波数スペクトルのうち必要な周波数領域のデータを切り出す（Ｓ１９０３）。以降の処理は図１８における処理Ｓ１８０４～Ｓ１８０６の処理と同様である。以上により、モアレ現像方式による画像処理部２０８の画像処理が終了となる。
　〈有限距離物体の撮影原理〉
　次に、これまで述べた被写体が遠い場合における撮影用パターン４０５の画像センサ４０３への射影の様子を図２０に示す。遠方の物体を構成する点２００１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン４０５を照射し、その投影像２００２が画像センサ４０３に投影される場合、投影像は撮影用パターン４０５とほぼ同じ形状である。結果、投影像２００２に対して、現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。
　一方、有限距離の物体に対する撮像について説明する。図２１は、撮像する物体が有限距離にある場合に撮影用パターン４０５の画像センサ４０３への射影が撮影用パターン４０５より拡大されることを示す説明図である。物体を構成する点２１０１からの球面波が撮影用パターン４０５を照射し、その投影像２１０２が画像センサ４０３に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、撮影用パターン４０５から点２１０１までの距離ｆを用いて、以下の式（１６）のように算出できる。
Figure JPOXMLDOC01-appb-M000016
　そのため、平行光に対して設計された現像用パターンをそのまま用いて現像処理したのでは、単一の輝点を得ることができない。そこで、一様に拡大された撮影用パターン４０５の投影像に合わせて、現像用パターン１１０１を拡大させたならば、拡大された投影像２１０２に対して再び、単一の輝点を得ることができる。このためには、現像用パターン１１０１の係数βをβ／α２とすることで補正が可能である。これにより、必ずしも無限遠でない距離の点２１０１からの光を選択的に再生することができる。これによって、任意の位置に焦点を合わせて撮影を行うことができる。つまり、任意の位置までの距離が算出可能である。本原理により、測距センサとして距離測定が可能となる。
　図２２は、撮像装置４０２による距離計測の概略を示すフローチャートである。本距離計測は、フォーカス位置を分解能Δｆずつシフトさせながら現像処理し、コントラストが最大となる位置を算出することによって実現する。この処理について詳細に説明する。
　まず、フォーカス位置の初期値（無限遠もしくは距離０など）を設定し（Ｓ２２０１）、フォーカス位置から拡大率αを算出し、現像用パターン１１０１の係数βを算出し（Ｓ２２０２）、現像処理を行う（Ｓ２２０３）。この現像処理は、図１８又は図１９で説明した現像処理と同等の処理である。
　その後、図２３に示すように現像画像２３０１を分割する（Ｓ２２０４）。次に、分割した領域毎に領域内のコントラストを、領域内の最大輝度Ｉｍａｘ、最小輝度Ｉｍｉｎを用いて、以下の式（１７）及び式（１８）により算出する（Ｓ２２０５）。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　この後、フォーカス位置をΔｆずらして設定（Ｓ２２０７）し、以降のＳ２２０２からＳ２２０５までの処理を予め設定したフォーカス可変範囲内の走査が完了するまで実施する（Ｓ２２０６）。探索完了後、領域毎にコントラストが最大となるフォーカス位置を探索し（Ｓ２２０８）、距離情報を出力する（Ｓ２２０９）。
　〈背景の干渉が測距精度に与える影響〉
　これまで述べた距離計測において、例えば図２３における測距対象である人物を成す点２３０２と、遠方にあり測距対象でない背景を成す点２３０３が近くに存在する場合、
背景のぼけが測定対象に影響を及ぼし測距精度に影響を与えてしまう。
　まず、図２４に視野に点２３０２のみが存在する場合のＰＳＦ（点像分布関数）の例を示す。横軸は現像画像のピクセル位置を示し、縦軸は振幅を示す。なお、画像処理部２０８における実数化して現像（復元）する処理（Ｓ１８０４）の前の情報は複素数であるため、この縦軸は複素振幅を示すものとする。ピクセル位置ｘ０における点２３０２の複素振幅が、以下の式（１９）とすると、実数化処理（Ｓ１８０４）によって得られる値は、以下の式（２０）の平方根となる。
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
　一方、図２５に視野に点２３０２、点２３０３が存在する場合のＰＳＦ（点像分布関数）の例を示す。点２３０２にピントが合っているとすると、点２３０３はボケるため図のように拡がったＰＳＦを有することになる。ピクセル位置ｘ０における点２３０３の複素振幅が、以下の式（２１）だとすると、実数化処理（Ｓ１８０４）前のピクセル位置ｘ０における複素振幅は、以下の式（２２）となり、実数化処理（Ｓ１８０４）によって得られる値は、以下の式（２３）の平方根となる。
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
Figure JPOXMLDOC01-appb-M000023
　式（２０）、式（２３）を比較すると点２３０２、点２３０３の干渉成分である、以下の式（２４）が存在しているのが、従来カメラにない本レンズレスカメラ方式の特徴となる。この干渉成分が測距性能に影響を与えてしまうのである。
Figure JPOXMLDOC01-appb-M000024
　以上の原理を踏まえ、本実施例における測距センサ部１０２及び距離計測部２０５の構成について説明する。
　図２６に、測距センサ部１０２及び距離計測部２０５の構成を示す。測距センサ部１０２は、変調器２６０１、及び画像センサ４０３を有する。変調器２６０１は、例えば、図４のパターン基板４０４、撮影用パターン４０５（第１の格子パターン）から構成されるものである。変調器２６０１のパターンは、例えば図１６の初期位相Φがそれぞれ｛０、π／２、π、３π／２｝のパターンのように、複数の初期位相のパターンを２次元的に並べた構成である。変調器２６０１は、撮影用パターン４０５に基づいて光の強度を変調する。なお、画像センサ４０３は、上記変調器２６０１を透過した光を電気信号に変換し、被写体に基づくセンサ画像を生成する。
　距離計測部２０５は、フレーム間差分処理部２０６、フリンジスキャン処理部２０７、及び画像処理部２０８を有する。
　フレーム間差分処理部２０６は、測距センサ部１０２から出力されたセンサ画像を取得し、取得したセンサ画像と１フレーム前に取得したセンサ画像との差分画像を生成する。フレーム間差分処理部２０６は、センサ画像のフレーム間の差分画像を生成する。例えば、フレーム間差分処理部２０６は、複素センサ画像のフレーム間の差分画像を生成する。
　フリンジスキャン処理部２０７は、フレーム間差分処理部２０６から出力された差分画像を取得し、フリンジスキャン演算を行う。
　画像処理部２０８は、フリンジスキャン処理部２０７で生成された複素センサ画像を取得し、距離情報を生成する。
　図２７は、フレーム間差分処理部２０６におけるフレーム間差分処理の一例を示すフローチャートである。
　まず、フレーム間差分処理部２０６は、測距センサ部１０２からセンサ画像Ｓｉ（ｎ）を取得する（Ｓ２７０１）。ｎはメモリに記憶されている変数であり、測距センサ部１０２から、センサ画像を取得した回数を表しており、映像表示装置１０１の起動時には０で初期化される。センサ画像Ｓｉ（ｎ）は、ｎ回目に取得したセンサ画像である。
　フレーム間差分処理部２０６は、取得したセンサ画像Ｓｉ（ｎ）をメモリに保存する（Ｓ２７０２）。
　次に、フレーム間差分処理部２０６は、出力画像Ｓｏ（ｎ）を初期化し（Ｓ２７０３）する。フレーム間差分処理部２０６は、センサ画像Ｓｉ（ｎ－１）が保存されている場合（Ｓ２７０４：Ｙｅｓ）は、センサ画像Ｓｉ（ｎ）とセンサ画像Ｓｉ（ｎ－１）の差分画像を生成し、出力画像Ｓｏ（ｎ）に設定する（Ｓ２７０５）。
　センサ画像Ｓｉ（ｎ－１）が保存されていない場合（Ｓ２７０４：Ｎｏ）は、フレーム間差分処理部２０６は、センサ画像Ｓｉ（ｎ）を出力画像Ｓｏ（ｎ）に設定する（Ｓ２７０６）。このように、フレーム間差分処理部２０６は、フレーム間のセンサ画像の保存状況に基づいてフレーム間の差分画像を生成するか否かを判断し、差分画像を生成しないと判断した場合には、センサ画像を出力画像として出力する。
　最後に、フレーム間差分処理部２０６は、出力画像Ｓｏ（ｎ）を出力し（Ｓ２７０７）、ｎをインクリメントして終了する（Ｓ２７０８）。
　なお、図２７では記載していないが、フレーム間差分処理部２０６は、出力画像Ｓｏ（ｎ）を生成した後、センサ画像Ｓｉ（ｎ－１）をメモリから削除してもよい。
　図２８は、図２６に示した測距センサ部１０２及び距離計測部２０５における距離計測処理の一例を示すフローチャートである。
　まず、フレーム間差分処理部２０６は、測距センサ部１０２から出力されたセンサ画像を取得し（Ｓ２８０１）、図２７と同等の処理を実施して、差分画像を生成する（Ｓ２８０２）。
　フリンジスキャン処理部２０７は、フレーム間差分処理部２０６が生成した差分画像を取得し、フリンジスキャン演算を実施する（Ｓ２８０３）。フリンジスキャン演算は、図１７における処理Ｓ１７０１～Ｓ１７０７と同等の処理である。
　画像処理部２０８は、フリンジスキャン処理部２０７で生成された複素センサ画像を用いて、距離計測処理を行い、距離情報を出力する（Ｓ２８０４）。距離計測処理は、図２２における処理Ｓ２２０１～Ｓ２２０９と同等の処理である。このように、画像処理部２０８は、差分画像と、現像用パターン１１０１との演算に基づいて、被写体までの距離を示す距離情報を生成する。
　なお、フレーム間差分処理部２０６とフリンジスキャン処理部２０７の処理順序は入れ替えてもよい。
　図２９にフリンジスキャン処理を先に行う場合の測距センサ部１０２及び距離計測部２０５の構成を示す。図２６と異なる点は、フレーム間差分処理部２０６とフリンジスキャン処理部２０７の順番だけであり、詳細な説明は省略する。
　図３０は、図２９の構成における距離計測処理の一例を示すフローチャートである。まず、フリンジスキャン処理部２０７は、測距センサ部１０２から出力されたセンサ画像を取得し（Ｓ３００１）、フリンジスキャン演算を実施する（Ｓ３００２）。
　フレーム間差分処理部２０６は、フリンジスキャン処理部２０７から出力された複素センサ画像から差分画像を生成する（Ｓ３００３）。フレーム間差分処理部２０６では、差分画像を生成する画像がセンサ画像から、複素センサ画像になるが、図２７と同等の処理で実現可能である。
　画像処理部２０８は、フレーム間差分処理部２０６から出力された差分画像を取得し、距離計測処理を行い、距離情報を出力する（Ｓ３００４）。
　式（１０）より、フリンジスキャン演算では、各初期位相のパターンで取得した複数のセンサ画像を１枚の複素センサ画像とするため、フリンジスキャン処理部２０７を先に実施することで、フレーム間差分処理部２０６における計算量を削減することができる。
　なお、以上の例では、１フレーム前の画像との差分画像を距離計測処理に用いたが、何フレーム前の画像との差分を取るかは、任意に設定してもよい。例えば、測距センサのフレームレートに対して、被写体の移動距離が小さい場合は、差分画像の信号成分が小さくなり、距離計測ができないことがある。このような場合は、数フレーム前の画像との差分画像を用いることで、正確な距離計測が可能となる。
　また、測距センサのフレームレートに対して、被写体の移動距離が大きい場合は、測距センサのフレームレートを高速に設定することで、正確な距離計測が可能となる。
　また、本実施例におけるフレーム間差分処理部２０６では、センサ画像Ｓｉ（ｎ－１）が保存されていない場合、取得したセンサ画像Ｓｉ（ｎ）を出力し、距離計測処理に用いている。このようなケースは、例えば図３１に示すように、映像表示装置１０１を起動して、最初の距離計測処理を行うときに起こる。また、プログラムのエラー等で、センサ画像の保存に失敗した場合や、保存していたセンサ画像が消えてしまったときなどにも同様の処理を行ってもよい。
　なお、図３２のように、センサ画像Ｓ（ｎ－１）が無い場合は、距離計測処理を中止して、次のセンサ画像Ｓ（ｎ＋１）から距離計測処理を実施してもよい。
　また、図３３のように、定期的に通常のセンサ画像Ｓｉ（ｎ）を測距用画像として出力してもよい。
　図３２のように全ての距離測定処理を差分画像で行う場合、動物体の距離情報のみ得ることができる。
　一方、図３１や図３３のように通常のセンサ画像を用いて距離計測処理を行う場合、画像全体の距離情報を得ることができるため、被写体の形状等を把握することができる。例えば、通常のセンサ画像を用いて生成した画像全体の距離情報に対して、差分画像を用いて生成した動物体の距離情報を更新してもよい。
　また、Ｓｉ（ｎ－１）が設定した閾値よりも古い場合や、差分画像の信号成分が設定した閾値以上の場合、通常のセンサ画像Ｓｉ（ｎ）を用いた距離計測を行ってもよい。
　また、逆に差分画像の信号成分が閾値以下の場合、通常のセンサ画像Ｓｉ（ｎ）を用いた距離計測を行ってもよいし、対象物の動きが無いとして、前回の距離情報を距離計測の結果として出力してもよい。
　上述のように、フレーム間差分処理部２０６が、センサ画像のフレーム間の差分画像を生成し、画像処理部２０８が、当該差分画像と、現像用パターン１１０１との演算に基づいて、被写体までの距離を示す距離情報を生成する。このように、映像表示装置１０１は、センサ画像のフレーム間の差分画像を生成するので、背景の影響を低減し、高精度な距離情報の生成を可能とする距離計測装置を実現することが可能となる。
　（実施例２）
　本実施例が実施例１と異なる点は、測距センサ部と距離計測部を別装置に搭載している点である。
　図３４は、頭部装着型の映像表示装置３４０５と演算装置３４０７とを含む距離計測システムにおける構成の概略図である。映像表示機能及び撮像機能を搭載した映像表示装置３４０５（撮像装置）は、通信線３４０６を介して演算機能を搭載した演算装置３４０７と接続している。演算装置３４０７は、映像表示装置３４０５において撮像された画像を上記通信線３４０６を介して受信し、当該画像を用いて被写体までの距離を計測する装置である。すなわち、映像表示装置３４０５は、取得した画像に基づいて被写体までの距離を計測する演算装置と接続する装置である。
　図３５は頭部に装着する映像表示装置３４０５の一例を示すブロック図、図３６は演算装置３４０７の一例を示すブロック図である。機能を分割して別装置に搭載することで、頭部に装着する装置部分の小型化や軽量化を図ることができる。また、映像表示装置３４０５と、演算装置３４０７間の通信においては有線通信でも無線通信でもよい。無線通信の場合は、映像表示装置３４０５と演算装置３４０７を繋ぐ通信線が不要となり、使用者が通信線の存在を気にすることなく作業を実施することができるため使用勝手が向上する。
　図３５の構成について説明する。圧縮部３５０１は、演算装置３４０７にデータを送信する際にデータ圧縮を行うものである。送受信部３５０２（データ送信部）は、演算装置３４０７間とのデータの送受信を行うものである。
　図３６の構成について説明する。送受信部３６０２（データ受信部）は、映像表示装置３４０５間とのデータの送受信を行うものである。送受信部３６０２で受信した、圧縮された情報を伸長部３６０１で伸長して元のデータを復元する。
　本実施例では、図２の距離計測部２０５で行っていた処理を、映像表示装置３４０５と演算装置３４０７との別装置に搭載することにより、処理を分割している。
　図３５に示す映像表示装置３４０５側では、距離計測部３５０５が、測距センサ部１０２からの画像に対して、フリンジスキャン処理及びフレーム間差分処理を実施した画像を送信する。
　図３６に示す演算装置３４０７側では、距離計測部３６０５が前記の画像を用いて画像処理を行い、距離情報を生成する。
　式（１０）より、フリンジスキャン演算では、各初期位相のパターンで取得した複数のセンサ画像を１枚の複素センサ画像とするため、フリンジスキャン処理部２０７を映像表示装置３４０５側に搭載することで、通常のセンサ画像を送信するよりもデータ量を削減することができる。
　図３５及び図３６で示した映像表示装置３４０５及び演算装置３４０７の処理フローについて、図３７及び図３８を用いて説明する。
　図３７の映像表示装置の処理フローについて説明する。全体制御部２０３は本フローの全体を制御する。
　まずは、光源制御部２０４が光源部１０４を制御することで、照射する光量を調整する（Ｓ３７０１）。
　次に、フリンジスキャン処理部２０７が、測距センサ部１０２からセンサ画像を取得し（Ｓ３７０２）、フリンジスキャン演算を行い、複素センサ画像を生成する（Ｓ３７０３）。その後、フレーム間差分処理部２０６が複素センサ画像の差分画像生成し、測距用画像として出力する（Ｓ３７０４）。
　続いて、圧縮部３５０１において、フレーム間差分処理部２０６から出力された測距用画像を取得し、圧縮する（Ｓ３７０５）。圧縮したデータは、送受信部３５０２において、演算装置３４０７に送信される（Ｓ３７０６）。
　最後に、送受信部３５０２において、演算装置３４０７から送信されるデータを受信し（Ｓ３７０７）、受信した情報に基づき、映像表示制御部２１１により映像表示部１０３に表示する（Ｓ３７０８）。
　図３８の演算装置の処理フローについて説明する。全体制御部２０３は本フローの全体を制御する。
　まず、送受信部３６０２において、映像表示装置３４０５から送信された圧縮されたデータを受信し（Ｓ３８０１）、伸長部３６０１において、前記圧縮データを伸長する（Ｓ３８０２）。
　続いて、距離計測部３６０５において、前記伸長されたデータ、つまり測距センサ部で取得した画像に対して、フリンジスキャン処理とフレーム間差分処理を実施した画像を用いて距離計測処理を行い、距離情報を生成する（Ｓ３８０３）。ジェスチャ認識部２０９は、距離計測部３６０５から取得した距離情報を用いてジェスチャ認識を行い（Ｓ３８０４）、ジェスチャ認識結果をジェスチャ操作入力部２１０に入力することにより、入力操作として受付ける（Ｓ３８０５）。
　最後に、送受信部３６０２より、入力操作に応じた応答を送信する（Ｓ３８０６）。
　機能を分割して別装置に搭載することで、データの送受信処理が必要となり、その結果処理遅延が発生する可能性がある。しかし、送受信データを圧縮することで処理遅延を最小限に留めることが可能となる。
　なお、フレーム間差分処理部２０６やフリンジスキャン処理部２０７を演算装置３４０７側に搭載してもよい。この場合、映像表示装置３４０５での計算量を削減することができるため、映像表示装置３４０５の小型化や低コスト化を実現することができる。
　（実施例３）
　図３９に本実施例における映像表示装置の構成の一例を示す。図２に記載の実施例１の映像表示装置の構成との違いは、距離計測部２０５に差分領域決定部３９０１（差分画像領域決定部）を追加している点である。この差分領域決定部３９０１は、フレーム間差分処理部２０６で差分を取る画像領域を決定する部分である。
　本発明における距離計測装置を頭部装着型の映像表示装置に搭載して使用する際の課題を図４０及び図４１を用いて説明する。
　被写体４００１は、ｎ＝ｋ－１における被写体であり、センサ画像４００２は、被写体４００１を測距センサ部１０２で撮像した際に出力されるセンサ画像Ｓｉ（ｋ－１）である。また、被写体４００３は、ｎ＝ｋにおける被写体であり、センサ画像４００４は、被写体４００３を測距センサ部１０２で撮像した際に出力されるセンサ画像Ｓｉ（ｋ）である。
　差分画像４００５は、Ｓｉ（ｋ）とＳｉ（ｋ－１）の差分画像Ｓｏ（ｋ）である。
　このとき、映像表示装置１０１は、Ｓｏ（ｋ）は、被写体が動かした手の部分以外の情報が除外されているため、手の部分の正確な距離情報を生成が可能である。
　図４１は、ｎ＝ｋの時点で映像表示装置の装着者が頭を動かしてしまった場合の例である。被写体４１０３は、頭を動かした後の装着者（測距センサ）の位置から見た被写体であり、背景も含めた画像全体の位置関係が変わってしまっている。
　この場合、被写体４１０３を測距センサ部１０２で撮像した際に出力されるセンサ画像（４１０４）と、センサ画像４００２の差分画像（４１０５）は、全体の位置関係がずれてしまっているため、背景の情報を除外できず、正確な距離計測をすることができない。
　以上のように、装着者が頭を動かすなどして、測距センサと被写体の位置関係が変わってしまった場合、差分画像を用いても背景の情報を除外できず、正確な距離計測ができないことが課題となる。
　本実施例では、測距センサ部１０２で取得したセンサ画像の相互相関から、測距センサの移動情報を取得することで、前記課題が解決する方法を示す。
　まずは、本実施例における前記課題の解決方法の概要を図４２を用いて説明する。
　図４２における、被写体と測距センサの位置関係は、図４１と同じである。図４２の点線で囲まれた領域は、差分画像に用いる領域を表している。
　差分画像に用いる領域において、背景と被写体の位置関係が同じであれば、その領域における差分画像４２０５では、被写体が動かした手の部分以外の情報が除外され、被写体の手の部分の正確な距離情報を生成することが可能である。
　このとき、背景と被写体の位置関係を同じとなる領域を決定するのが、差分領域決定部３９０１である。
　図４３は、差分領域決定部３９０１における処理フローの一例である。まず、差分領域決定部３９０１は、フレーム間差分処理部２０６からセンサ画像Ｓｉ（ｎ－１）とＳｉ（ｎ）を取得し（Ｓ４３０１）、相互相関関数を演算する（Ｓ４３０２）。
　次に相互相関関数の演算結果を用いて、測距センサ部１０２の移動情報を求める（Ｓ４３０３）。測距センサ部１０２から出力されるセンサ画像は、撮影用パターン４０５の投影像である。撮影用パターン４０５は、光源の入射する角度によってずれる。そのため、装着者が頭を動かすなどして、測距センサ部１０２に対する対象物の角度が変われば、投射されるパターンも移動する。その移動した量を相互相関から求める。
　図４４は、Ｓｉ（ｎ－１）とＳｉ（ｎ）の相互相関関数の演算結果である。投射されるパターンの移動方向に応じて、相互相関関数のピークが出現するので、例えば装着者が動いたことで、Ｓｉ（ｎ－１）に対して、Ｓｉ（ｎ）が全体的にΔｘ、Δｙ移動した場合は、相互相関関数のピークが中心からΔｘ、Δｙ移動した位置に出現する。このように相互相関関数のピークの出現位置から、移動量を求めることができる。
　最後に測距センサの移動情報から、背景と被写体の位置関係が同じとなるような領域を決定する（Ｓ４３０４）。
　なお、撮影用パターン４０５は、センサ全体に投影されるため、センサ画像Ｓｉ（ｎ－１）とＳｉ（ｎ）の一部の領域を切り出して、相互相関関数の演算をしても、移動量を求めることができる。図４５は、Ｓｉ（ｎ－１）及びＳｉ（ｎ）を２ｘ２の領域に分割した際の左下の領域（４４０１及び４４０２）を切り出して、相互相関関数の演算をした結果である。図４５では、図４４と同様の位置（Δｘ、Δｙ）に相互相関関数のピークを得ることができる。
　このように、一部の領域を切り出して、相互相関関数の演算をすることで、計算量を削減することができる。
　図４６は、本実施例における距離計測の処理フローの一例である。まず、フレーム間差分処理部２０６は、測距センサ部１０２から出力されたセンサ画像を取得する（Ｓ４６０１）。そして、差分領域決定部３９０１がフレーム間差分処理部２０６から、センサ画像Ｓｉ（ｎ－１）及びＳｉ（ｎ）を取得し、差分画像領域を決定する（Ｓ４６０２）。フレーム間差分処理部２０６は、当該差分画像領域に基づいてＳｉ（ｎ－１）及びＳｉ（ｎ）から、決定した差分画像領域を切り出し、差分画像を生成する（Ｓ４６０３）。このように、差分領域決定部３９０１は、センサ画像における一部の領域を用いてフレーム間の相互相関関数を演算し、画像領域を決定する。フレーム間差分処理部２０６は、差分領域決定部３９０１によって決定された画像領域におけるフレーム間の差分画像を生成する。
　フリンジスキャン処理部２０７は、差分画像を取得し、フリンジスキャン演算を行い、複素センサ画像を生成する（Ｓ４６０４）。最後に画像処理部２０８が、複素センサ画像を用いて、距離計測を行い、距離情報を生成する（Ｓ４６０５）。
　なお、差分領域決定部３９０１において、センサ画像Ｓｉ（ｎ－１）とＳｉ（ｎ）の相互相関関数のピークが設定した閾値よりも小さい場合は、被写体が測距センサの撮像範囲から外れるほど、装着者が頭を動かした可能性がある。よって、映像表示装置１０１は、差分画像を用いずに、Ｓｉ（ｎ）で距離計測処理を行ってもよいし、距離計測処理を中止してもよい。
　また、差分領域決定部３９０１で決定した差分画像領域が、設定した閾値よりも狭い場合も同様である。
　以上示した構成、及び方法により、頭部装着型の映像表示装置に測距センサを搭載した場合でも、装着者の動きに対応した距離計測が可能となる。
　（実施例４）
　図４７は本実施例における映像表示装置の構成の一例である。図３９と異なる点は、センサ部４７０１及び姿勢検出部４７０２が追加されている点である。
　実施例３では、測距センサ部１０２から出力されるセンサ画像の相互相関から、差分画像領域を決定したが、本実施例では、センサ部４７０１で取得した情報を用いて、姿勢検出部４７０２が装着者の姿勢を検出し、差分画像の領域を決定する。
　センサ部４７０１は、例えば加速度センサ、方向センサ等であり、映像表示装置１０１の動きをセンシングすることができる。装着者の姿勢を検出する専用のセンサを用いることで、処理の高速化や計算量の削減が可能である。
　具体的に、センサ部４７０１は、映像表示装置１０１の動き情報をセンシングして、当該動き情報を姿勢検出部４７０２へ送出する。姿勢検出部４７０２は、当該動き情報から映像表示装置１０１の移動情報（移動方向、移動速度を示す情報）を生成する。姿勢検出部４７０２は、当該移動情報を距離計測部２０５へ送出する。距離計測部２０５の差分領域決定部３９０１は、当該移動情報に基づいて、差分画像の領域を決定する。
　また、フレーム間差分処理部２０６は、当該移動情報に基づいてフレーム間の差分画像を生成するか否かを判断するようにしてもよい。例えば、フレーム間差分処理部２０６は、当該移動情報が、移動量が多いことを示す場合、直前の画像と差分を取る意義が無いと判断する。
　なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
　また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１０１…映像表示装置、１０２…測距センサ部、１０３…映像表示部、１０４…光源部、２０１…ＣＰＵ、２０２…ＧＰＵ、２０３…全体制御部、２０４…光源制御部、２０５…距離計測部、２０６…フレーム間差分処理部、２０７…フリンジスキャン処理部、２０８…画像処理部、２０９…ジェスチャ認識部、２１０…ジェスチャ操作入力部、２１２…カメラ制御部、２１３…カメラ部、２１４…映像表示制御部。

Claims (16)

  1. 　被写体までの距離を計測する距離計測装置であって、
    　第１の格子パターンに基づいて光の強度を変調する変調器と、
    　前記変調器を透過した光を電気信号に変換し、前記被写体に基づくセンサ画像を生成する画像センサと、
    　前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理部と、
    　前記差分画像と、第２の格子パターンのデータとの演算に基づいて、前記被写体までの距離を示す距離情報を生成する画像処理部と、
    を備える、距離計測装置。
  2. 　請求項１に記載の距離計測装置であって、
    　前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部をさらに備え、
    　前記フレーム間差分処理部は、前記複素センサ画像のフレーム間の差分画像を生成し、
    　前記画像処理部は、前記差分画像と、第２の格子パターンのデータとの演算に基づいて前記距離情報を生成する、
    距離計測装置。
  3. 　請求項１に記載の距離計測装置であって、
    　前記フレーム間差分処理部は、フレーム間のセンサ画像の保存状況に基づいて、フレーム間の差分画像を生成するか判断し、差分画像を生成しない場合は、前記センサ画像を出力し、
    　前記画像処理部は、前記センサ画像と、第２の格子パターンのデータとの演算に基づいて距離情報を生成する、
    距離計測装置。
  4. 　請求項１に記載の距離計測装置であって、
    　前記距離計測装置の動き情報をセンシングするセンサ部と、
    　前記センサ部によりセンシングされた動き情報からフレーム間における距離計測装置の移動情報を生成する姿勢検出部と、
    をさらに備え、
    　前記フレーム間差分処理部は、前記姿勢検出部により生成された移動情報に基づいて、フレーム間の差分画像を生成するか判断し、差分画像を生成しない場合は、前記センサ画像を出力し、
    　前記画像処理部は、前記センサ画像と、第２の格子パターンのデータとの演算に基づいて距離情報を生成する、
    距離計測装置。
  5. 　請求項１に記載の距離計測装置であって、
    　前記フレーム間差分処理部で差分を取る画像領域を決定する差分画像領域決定部をさらに備え、
    　前記フレーム間差分処理部は、前記差分画像領域決定部により決定された画像領域におけるフレーム間の差分画像を生成する、
    距離計測装置。
  6. 　請求項５に記載の距離計測装置であって、
    　前記差分画像領域決定部は、前記センサ画像におけるフレーム間の相互相関関数を演算し、前記画像領域を決定する、
    距離計測装置。
  7. 　請求項５に記載の距離計測装置であって、
    　前記差分画像領域決定部は、前記センサ画像における一部の領域を用いてフレーム間の相互相関関数を演算し、前記画像領域を決定する、
    距離計測装置。
  8. 　請求項５に記載の距離計測装置であって、
    　距離計測装置の動き情報をセンシングするセンサ部と、
    　前記動き情報からフレーム間における距離計測装置の移動情報を生成する姿勢検出部と、
    をさらに備え、
    　前記差分画像領域決定部は、前記移動情報を用いて前記画像領域を決定する、
    距離計測装置。
  9. 　取得した画像に基づいて被写体までの距離を計測する演算装置と接続する撮像装置であって、
    　第１の格子パターンに基づいて光の強度を変調する変調器と、
    　前記変調器を透過した光を電気信号に変換し、被写体に基づくセンサ画像を生成する画像センサと、
    　前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理部と、
    　前記フレーム間差分処理部により生成された差分画像を、前記演算装置へ送信するデータ送信部と、
    を備える、撮像装置。
  10. 　請求項９に記載の撮像装置であって、
    　前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部をさらに備え、
    　前記フレーム間差分処理部は、前記複素センサ画像のフレーム間の差分画像を生成する、
    撮像装置。
  11. 　請求項９に記載の撮像装置であって、
    　前記フレーム間差分処理部で差分を取る画像領域を決定する差分画像領域決定部と、
    を有し、
    　前記フレーム間差分処理部は、前記画像領域におけるフレーム間の差分画像を生成する、
    撮像装置。
  12. 　撮像装置と、演算装置とを含む距離計測システムであって、
    　前記撮像装置は、
    　第１の格子パターンを用いてそこを透過する光の強度を変調する変調器と、
    　前記変調器を透過した光を電気信号に変換してセンサ画像を生成する画像センサと、
    　前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理部と、
    　前記差分画像を前記演算装置へ送信するデータ送信部と、を備え、
    　前記演算装置は、
    　前記撮像装置から前記差分画像を受信するデータ受信部と、
    　前記データ受信部により受信された前記差分画像と、第２の格子パターンのデータとの演算に基づいて距離情報を生成する画像処理部と、
    を備える、距離計測システム。
  13. 　被写体までの距離を計測する距離計測装置が実行する距離計測方法であって、
    　前記距離計測装置が有する変調器が、第１の格子パターンに基づいて光の強度を変調する変調ステップと、
    　前記変調器を透過した光を電気信号に変換し、前記被写体にセンサ画像を生成する画像生成ステップと、
    　前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理ステップと、
    　前記差分画像と、第２の格子パターンのデータとの演算に基づいて距離情報を生成する画像処理ステップと、
    　を含む、距離計測方法。
  14. 　請求項１３に記載の距離計測方法であって、
    　前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理ステップと、
    を有し、
    　前記フレーム間差分処理ステップは、前記複素センサ画像のフレーム間の差分画像を生成し、
    　前記画像処理ステップは、前記差分画像と、第２の格子パターンのデータとの演算に基づいて距離情報を生成する、
    距離計測方法。
  15. 　取得した画像に基づいて被写体までの距離を計測する演算装置と接続する撮像装置で実行する撮像方法であって、
    　前記撮像装置が有する変調器が、第１の格子パターンに基づいて光の強度を変調する変調ステップと、
    　前記変調器を透過した光を電気信号に変換し、センサ画像を生成する画像生成ステップと、
    　前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理ステップと、
    　前記差分画像を、前記演算装置へ送信するデータ送信ステップと、
    を含む、撮像方法。
  16. 　請求項１５に記載の撮像方法であって、
    　前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理ステップと、
    をさらに含み、
    　前記フレーム間差分処理ステップは、前記複素センサ画像のフレーム間の差分画像を生成する、撮像方法。
PCT/JP2018/034519 2018-09-18 2018-09-18 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 WO2020059029A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/034519 WO2020059029A1 (ja) 2018-09-18 2018-09-18 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法
JP2020547506A JP7112504B2 (ja) 2018-09-18 2018-09-18 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法
US17/276,745 US11740468B2 (en) 2018-09-18 2018-09-18 Distance measuring apparatus, imaging device, distance measuring system, distance measuring method, and imaging method
CN201880095047.7A CN112334734A (zh) 2018-09-18 2018-09-18 距离测量装置、摄像装置、距离测量系统、距离测量方法和摄像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/034519 WO2020059029A1 (ja) 2018-09-18 2018-09-18 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法

Publications (1)

Publication Number Publication Date
WO2020059029A1 true WO2020059029A1 (ja) 2020-03-26

Family

ID=69887018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/034519 WO2020059029A1 (ja) 2018-09-18 2018-09-18 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法

Country Status (4)

Country Link
US (1) US11740468B2 (ja)
JP (1) JP7112504B2 (ja)
CN (1) CN112334734A (ja)
WO (1) WO2020059029A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04301507A (ja) * 1991-03-29 1992-10-26 Kurabo Ind Ltd 赤外線式測定装置
JP2014187484A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2018060549A (ja) * 2017-11-02 2018-04-12 株式会社ニコン 画像処理装置
JP2018061109A (ja) * 2016-10-04 2018-04-12 株式会社日立製作所 撮像装置および撮像方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10670829B2 (en) 2016-03-02 2020-06-02 Hitachi, Ltd. Imaging device
JP6920974B2 (ja) * 2017-12-11 2021-08-18 株式会社日立製作所 距離計測装置および距離計測方法
JP2019149674A (ja) * 2018-02-27 2019-09-05 株式会社日立製作所 撮像装置、撮像方法、および画像処理装置
JP7076246B2 (ja) * 2018-03-23 2022-05-27 マクセル株式会社 撮像装置および撮像システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04301507A (ja) * 1991-03-29 1992-10-26 Kurabo Ind Ltd 赤外線式測定装置
JP2014187484A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2018061109A (ja) * 2016-10-04 2018-04-12 株式会社日立製作所 撮像装置および撮像方法
JP2018060549A (ja) * 2017-11-02 2018-04-12 株式会社ニコン 画像処理装置

Also Published As

Publication number Publication date
CN112334734A (zh) 2021-02-05
JP7112504B2 (ja) 2022-08-03
US20220043265A1 (en) 2022-02-10
JPWO2020059029A1 (ja) 2021-08-30
US11740468B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
Maimone et al. Holographic near-eye displays for virtual and augmented reality
US9964925B2 (en) Holographic display architecture
WO2019142527A1 (ja) 画像表示装置および画像表示方法
CN107896292B (zh) 摄像装置和摄像方法
EP1322108B1 (en) Image creating device and image creating method
US20130136305A1 (en) Pattern generation using diffractive optical elements
Tajima et al. Lensless light-field imaging with multi-phased fresnel zone aperture
JP2009531655A5 (ja)
CN109900249B (zh) 距离测量装置和距离测量方法
WO2020059029A1 (ja) 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法
JP2023016864A (ja) 撮像装置および方法
WO2020059181A1 (ja) 撮像装置および撮像方法
US20210240135A1 (en) Method for processing a hologram, and associated device, holographic display system and computer program
WO2020031299A1 (ja) 撮像装置、撮像システム、及び撮像方法
JP7278454B2 (ja) 画像表示装置
JP2019128318A (ja) レンズ装置、撮像装置、および画像処理装置
US10931899B1 (en) Systems and methods for simulation of shearographic imaging
JP7146698B2 (ja) 撮像装置、撮像方法、撮像システムの送信装置、及び撮像システムの受信装置
JP2019029681A (ja) 撮像装置及び撮像方法
JP7159118B2 (ja) 撮像装置
WO2022254833A1 (ja) 情報処理装置、情報処理方法及びプログラムを記録した記録媒体
CN110278350B (zh) 摄像装置
WO2024095753A1 (ja) 表示処理装置、および表示処理方法、並びに記憶媒体
JP2018050147A (ja) 撮像装置、撮像方法およびプログラム
WO2020178905A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18934041

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020547506

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18934041

Country of ref document: EP

Kind code of ref document: A1