WO2017002293A1 - リアルタイム計測投影装置及び三次元投影計測装置 - Google Patents

リアルタイム計測投影装置及び三次元投影計測装置 Download PDF

Info

Publication number
WO2017002293A1
WO2017002293A1 PCT/JP2016/002302 JP2016002302W WO2017002293A1 WO 2017002293 A1 WO2017002293 A1 WO 2017002293A1 JP 2016002302 W JP2016002302 W JP 2016002302W WO 2017002293 A1 WO2017002293 A1 WO 2017002293A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
image
measurement
real
light
Prior art date
Application number
PCT/JP2016/002302
Other languages
English (en)
French (fr)
Inventor
渕上　竜司
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP16817407.6A priority Critical patent/EP3319079A4/en
Priority to US15/737,418 priority patent/US10161745B2/en
Publication of WO2017002293A1 publication Critical patent/WO2017002293A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G09G3/346—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on modulation of the reflection angle, e.g. micromirrors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/42—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of patterns using a display memory without fixed position correspondence between the display memory contents and the display position on the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3164—Modulator illumination systems using multiple light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G09G2360/147—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen the originated light output being determined for each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • H04N23/41—Beam current control

Definitions

  • the present disclosure is obtained by measuring a measurement result of an imaging device in real time by irradiating a changing object with pattern light with invisible light from the projection device, and measuring the projection coordinates of the corresponding projection device.
  • the present invention relates to a real-time measurement / projection device that projects the result again as a visible light image by the projection device, and more particularly to a real-time measurement / projection device for projection mapping.
  • the present disclosure further provides a three-dimensional projection measurement apparatus for quickly and easily measuring a distance to each point of a projection target by irradiating a changing object with pattern light with invisible light from the projection apparatus. Also related.
  • a technique called projection mapping is known as a technique for projecting a desired content image onto an object such as a building.
  • an object has a three-dimensional shape. Therefore, when a content image is projected as it is, projection is not performed on a spectator at a position separate from the projection device due to the unevenness of the surface of the object and the depth of the object. Appears as a distorted image. Therefore, the correspondence between each pixel of the imaging device and the projection device up to each point of the object is measured in advance, and the content image without distortion is viewed by projecting the content image by performing the corresponding coordinate transformation. To be able to.
  • Patent Document 1 discloses a technique for mapping a texture on the surface of a moving target object or a shape change, but does not consider the distortion of a three-dimensional projection image of the target object.
  • Patent Document 2 discloses a three-dimensional distance measuring device.
  • Patent Document 3 discloses a measuring method using a rolling shutter type camera and a liquid crystal display type projector.
  • the delay time from measurement to image projection becomes a serious problem.
  • the conventional 60 fps video projection device requires more than 1/60 second each for shooting, transfer, calculation and display, so a projection error of several tens of centimeters or more occurs even when moving at a low speed of about 1 meter per second.
  • it cannot be projected onto vehicles, dancers, or athletes.
  • JP 2013-192189 A Japanese Patent No. 4917351 JP2013-127434A
  • DMD digital mirror device
  • a CCD image sensor system is generally used as a global shutter system camera, but it is difficult in principle to manufacture a high-speed camera such as 1000 fps.
  • CMOS image sensor On the other hand, what is commonly referred to as a CMOS image sensor is generally manufactured and sold in excess of 1000 fps. However, each pixel is called a rolling shutter and is exposed at different times. Although there is a global shutter CMOS image sensor, each pixel must be provided with a charge holding unit to absorb the difference between the exposure and readout timing, which is expensive and the exposure area of each pixel is charged. There is a problem that the sensor is pressed by the holding portion and becomes a low-sensitivity sensor.
  • Patent Document 3 describes that in a liquid crystal display device, the shift of each line of the liquid crystal display and the shift of the exposure timing of the rolling shutter method are synchronized to alleviate the problem. Just talking about efficiency, in DMD projectors, the issues that light sources can only be changed globally, and the fact that measurement results must be projected as visible light images like projection mapping in the first place are mentioned. Not.
  • the main object of the present disclosure is to provide a DMD projector capable of switching only a global light source and an inexpensive rolling shutter camera in the technical field. Is to provide a device for making the projection of the pattern light and the projection of the image light compatible at high speed without any contradiction.
  • an object is to provide an imaging apparatus of a rolling shutter system, that is, an imaging system in which the start and end points of a predetermined exposure time are shifted in time for each pixel, and invisible light and visible light.
  • a real-time measurement / projection device including a projection device capable of projecting light and a calculation device, and pattern light including a pattern image is projected from the projection device in a time-shifted manner for each pixel under the control of the calculation device.
  • the image on the projection target irradiated with the image is captured by the imaging device, and the image captured by the imaging device is compared with the pattern image data, thereby associating the individual pixels of the imaging device with the projection device.
  • This is achieved by providing a real-time measurement / projection device characterized in that video projection is performed with visible light from the projection device based on the result of attachment.
  • the distance between the photographing target and the projection target by trigonometry from the result of the association between the real-time measurement and projection apparatus and the positional relationship between the imaging apparatus and the projection apparatus. If the pixel position of the imaging device is known, the direction in which the object from the imaging device is photographed can be known, and if the projection coordinates of the projection device are known, the direction of the object from the projection coordinates can be known, and the mutual coordinates correspond to each other. Because.
  • this device can also be used as an inexpensive three-dimensional measurement device.
  • the imaging device does not need to emit a plurality of lights such as visible light and invisible light, and it is highly added by mounting the measurement function unit alone. Can create value.
  • FIG. 1 is a diagram showing an embodiment of a real-time measurement / projection apparatus according to the present disclosure.
  • FIG. 2 is a diagram illustrating an example of a measurement pattern used in the real-time measurement projector according to the present disclosure.
  • FIG. 3 is a block diagram showing details of the arithmetic unit in the real-time measurement / projection apparatus according to the present disclosure.
  • FIG. 4 is a time chart showing the operation timing of each part in the real-time measurement / projection apparatus according to the present disclosure.
  • FIG. 5 is a time chart similar to FIG. 4 in the second embodiment of the present disclosure.
  • FIG. 6 is a time chart similar to FIG. 4 in the third embodiment of the present disclosure.
  • FIG. 5 is a time chart similar to FIG. 4 in the second embodiment of the present disclosure.
  • FIG. 7 is a simplified time chart in the fourth embodiment of the present disclosure configured as a measurement-dedicated device for measuring the distance to an object.
  • FIG. 8 is a simplified time chart in the fifth embodiment of the present disclosure configured as a measurement-dedicated device that measures the distance to an object.
  • a projection device for projecting pattern light including a pattern image onto a projection target, and a captured image of the projection target irradiated with the pattern light are electronically stored for each pixel.
  • An image pickup device for obtaining a predetermined exposure time, and calculating pixel correspondence information between each pixel of the image pickup device and each pixel of the projection device by comparing the picked-up image with data of the pattern image
  • the measurement information of each pixel obtained from the device should be converted to the corresponding coordinates of the projection device based on the pixel correspondence information, and projected to the projection target based on the measurement information of each pixel converted to the corresponding coordinates of the projection device
  • a projection device that irradiates the projection target with video light generated by the computation device in synchronization with an exposure time cycle in the imaging device as image light.
  • an exposure time cycle in the imaging apparatus is set for each frame of an image.
  • the projection of the image since the projection of the image, the measurement of the correspondence between the individual pixels of the imaging device and the projection device, the calculation of the image correction amount, and the execution of the image correction are performed in units of frames, the load on the arithmetic device or the like is minimized. However, a series of operations can be performed smoothly.
  • the image light is visible light and the pattern light is invisible light.
  • the invisible light is, for example, near infrared light or ultraviolet light.
  • the viewer can see the image light without being interfered by the pattern light.
  • a pattern light projector and an image light projector include a visible light source, a non-visible light source, a dichroic mirror that orients light from both light sources on a common optical axis, and a mirror.
  • a digital micromirror element that spatially modulates the light from the light source, and a projection lens that focuses the light emitted from the digital micromirror element onto the projection target.
  • the imaging device includes a visible light cut filter that transmits invisible light and blocks visible light.
  • the pattern light can be imaged without being interfered by the image light, and the correspondence between the individual pixels of the imaging device and the projection device can be accurately measured.
  • the pattern light is projected with a temporal shift for each of a plurality of subframe regions set in each frame.
  • processing at such a high speed is not required for pattern light projection, and the load on the pattern light projection apparatus or arithmetic apparatus can be reduced.
  • the measurement result of each pixel by the imaging device may be luminance or color, but the distance is determined by trigonometry using the positional relationship between the imaging device and the measurement device, and the result is used as the measurement result. I can do it. In this case as well, the measurement distance for each pixel is associated with each pixel of the projection apparatus.
  • the distance to each point of the projection object corresponding to each pixel of the corresponding imaging device can be projected and measured in real time, and projection mapping is suitably performed particularly on the changing object. be able to.
  • the pattern light is set based on a spatial encoding method.
  • the measurement information used for video generation is distance, and a texture image used for video generation is switched according to the distance.
  • the measurement information used for generating the image is the distance, and a cutout mask of the projection target is generated according to the distance, and an image in which the color of the mask outline is changed is generated.
  • the measurement information used for generating the video is the distance, and the color of the video is changed according to the distance.
  • the measurement information used for generating the video is the distance, and the color of the video is changed according to the distance.
  • the measurement information may be color information photographed by the imaging device, and in that case, video correction can be performed using the color catch of the color included in the color information.
  • the pattern image includes a plurality of pairs of black and white inverted image patterns based on the Manchester coding method, and the video content is updated every two frames.
  • the same content image is projected over two frames onto which images of each pair of complementary measurement patterns are projected, and the difference between the complementary measurement patterns is taken at the time of code decoding.
  • the content image is canceled and the content image does not interfere with the pixel correspondence information at all, and it is not necessary to provide a visible light filter in front of the imaging device.
  • the pattern image includes a plurality of pairs of black-and-white inverted image patterns based on the Manchester coding method, and the pattern image is divided into a plurality of subframe regions set in each frame.
  • the video content of the pattern image corresponding to is updated every two frames.
  • the load on the pattern light projection apparatus or arithmetic apparatus can be reduced, and complementary measurement pattern differences in code decoding can be reduced. Therefore, the content image is canceled out, the content image does not interfere with the distance measurement at all, and there is no need to provide a visible light filter in front of the imaging device.
  • a second disclosure made in order to solve the above problem is a real-time measurement and projection apparatus, which projects a pattern light including a pattern image onto a projection target, and a captured image of the projection target irradiated with the pattern light.
  • a pattern light including a pattern image onto a projection target, and a captured image of the projection target irradiated with the pattern light.
  • the apparatus is characterized in that the start and end points of a predetermined exposure time are shifted in time for each pixel.
  • the real-time measurement / projection apparatus 1 based on the present disclosure is configured as a system that performs projection mapping.
  • the projection apparatus 3 has a visible light LED light source 4a and an infrared LED light source 4b, and these emitted lights are merged by a dichroic mirror 5 to obtain a DMD (digital micromirror device). 6
  • the light emitted from the DMD 6 is projected onto the projection object 2 via the lens optical system 7.
  • the arithmetic unit 8 modulates the light from the light source on the desired side as necessary by selecting and exciting the visible LED light source 4a and the infrared LED light source 4b and supplying a control signal to the DMD 6, Irradiation can be performed toward a predetermined point on the projection target 2.
  • Irradiation can be performed toward a predetermined point on the projection target 2.
  • a two-dimensional image in pixel units can be projected onto the projection target 2, and a large number of two-dimensional images can be projected in time series as desired and provided as a moving image.
  • the real-time measurement / projection apparatus 1 acquires distance information of the projection object 2 that moves and / or deforms, and is projected by the projection apparatus 3 based on the obtained distance information regardless of changes in the projection object 2. It is designed so that those who view images can watch without distortion.
  • a camera 9 is provided for projecting a predetermined measurement pattern onto the projection target 2 by the projection device 3 using invisible light (invisible electromagnetic waves) such as infrared rays and acquiring the projection image.
  • An image of the measurement pattern obtained by the camera 9 is processed by the arithmetic device 8 to calculate distance information of the projection target 2.
  • the projection device 3 Based on the calculated distance information, the projection device 3 corrects the required video content, that is, performs coordinate conversion, and projects the coordinate-converted image onto the projection target 2 with visible light. Thereby, the viewer can view the video content without distortion regardless of the three-dimensional shape of the projection target 2.
  • a visible light filter 10 may be provided in front of the camera 9 in order to eliminate the possibility that visible light projecting video content may hinder acquisition of distance information.
  • FIG. 2 shows an example of a pixel-corresponding measurement pattern used in the real-time measurement / projection apparatus.
  • the projection apparatus is composed of 1024 ⁇ 768 pixels, and the X coordinate and the Y coordinate can be represented by 10 bits each.
  • the coordinate value is gray-coded and the pattern indicating the 9th bit which is the most significant bit of the X coordinate is X4a, the image whose luminance is inverted as its complementary image pair is X4b, and the 8th bit of the X coordinate is X3a.
  • the image whose luminance is inverted is X3b and the 7th bit of the X coordinate is X2a
  • the image whose luminance is inverted is X2b and the most significant bit of the Y coordinate.
  • a pattern indicating the 9th bit is Y4a
  • an image whose luminance is inverted as its complementary image pair is Y4b
  • an 8th bit of the Y coordinate is Y3a
  • an image whose luminance is inverted as its complementary image pair Y7b indicates the 7th bit of Y3b, Y coordinate
  • Y2b is an image whose luminance is inverted as its complementary image pair.
  • the density information of each pixel is coded with a Gray code, and noise removal is performed based on a complementary image pair difference signal (Manchester coding method).
  • a complementary image pair difference signal Manchester coding method
  • this embodiment is an example in the case of 1024 ⁇ 768 pixels, and the number of image patterns is 40, but the number varies depending on the resolution and accuracy to be obtained.
  • either the Y coordinate or the X coordinate can always be fixedly associated with the imaging device and the projection device, or can be set so as to shift only within a narrow range. Yes, in that case, one of the coordinate codes can be reduced or greatly reduced.
  • FIG. 3 shows the details of the arithmetic unit 8 in the real-time measurement / projection apparatus.
  • the pattern generation unit 11 in the arithmetic device 8 stores the above-described distance measurement pattern, sequentially outputs the distance measurement pattern toward the image output unit 12 at a predetermined timing, and the image output unit 12. Supplies a corresponding image signal to the projection device 3. Further, the image output unit 12 transmits the video output timing to the image input unit 13, and the image input unit 13 controls the camera 9 so as to perform photographing synchronized with the timing of the image output unit 12.
  • the image of the measurement pattern projected onto the projection target 2 is acquired by the camera 9, and the obtained image is sent to the image input unit 13.
  • the obtained image is further sent to the pattern decoding unit 14 to calculate a frame difference while holding one of the complementary image pairs in the frame memory unit 15, and to the code of the obtained code decoding memory unit 16.
  • the corresponding bit part is acquired from the pattern generation unit 11 and updated.
  • the code decoding memory unit 16 finally stores the pixel correspondence information of the projection device and the projection device, and coordinate-transforms the latest pixel correspondence information of the projection device and the projection device every time one complementary image pair is processed.
  • measurement information of each pixel that is, luminance, color, distance information, and the like are attached together with the pixel correspondence information of the projection apparatus and the projection apparatus.
  • the coordinate conversion unit 17 writes the measurement information of each pixel into the coordinate conversion unit memory unit 18 while rearranging the information based on the pixel correspondence information of the projection device and the projection device, and then stores the coordinate conversion unit memory in the coordinate order of the projection device.
  • the value of the unit 18 is read and sent to the coordinate interpolation unit 19.
  • the coordinate interpolation unit 19 uses the measurement information of each pixel received from the coordinate conversion unit 17 and there is no measurement information of each pixel, but interpolates such information as necessary. For example, a method is conceivable in which an interpolation method such as linear interpolation is used when there is a pixel having effective measurement information within a certain range.
  • the content memory unit 21 stores textures, moving image data, meshes, shader programs, and the like, which are materials of the video to be projected on the projection target 2, and is read in response to a request from the content generation unit 20.
  • the content generation unit 20 generates a video to be mapped to the projection target based on the measurement information obtained from the coordinate interpolation unit 19. Video images are sequentially output toward the image output unit 12, and the image output unit 12 supplies corresponding image signals to the projection device 3.
  • FIG. 4 is a time chart showing the time history of the series of operations described above.
  • projection and shooting are performed at a cycle of 6000 frames per second.
  • the infrared LED light source 4b is lit for the first 90% time of each frame
  • the visible LED light source 4a is lit for the last 10% time, and is alternately lit.
  • the DMD 7 sequentially projects the 40 measurement patterns described above onto the projection target 2 for each frame under the control of the arithmetic unit 8, and the projected image is displayed.
  • An image is taken by the camera 9.
  • the captured measurement pattern is processed by the arithmetic unit 8 and converted into distance information. Since the DMD 7 is an element that can operate at an extremely high speed, each distance measurement pattern by invisible light can be projected at a time. In this embodiment, however, each frame is slightly scanned in order to perform raster scanning. Projected to shift the time.
  • the camera 9 is composed of a light receiving element made of, for example, CMOS in which photosensitive elements arranged two-dimensionally are arranged.
  • CMOS complementary metal-oxide-semiconductor
  • the exposure is sequentially started for each pixel arranged two-dimensionally, and after a certain exposure time for each photosensitive element, The electric charge accumulated in each photosensitive element is taken out (read out), and an electric signal corresponding to the amount of received light is generated. At this time, the exposure start timing for each pixel is shifted with a certain time.
  • the exposure end timing that is, the readout timing
  • the readout timing also shifts with a constant time, similar to the exposure start timing. Accordingly, readout is performed sequentially with a predetermined time difference over the entire section in which invisible light is projected, so that expensive elements are not required and circuit design is facilitated.
  • the DMD 7 projects the content image processed based on the distance measurement result up to that time onto the projection target 2 under the control of the arithmetic unit 8. Since 40 frames are required to complete one measurement, the content image may be updated 40 times during 40 frames, but may be updated less frequently. good. In the case of the present embodiment, the content image has the same content for 40 frames, and the content image is updated every time one measurement is completed, and the coordinates based on the distance measurement result completed immediately before the content image are performed. Conversion processing is performed.
  • the content image is corrected in real time in accordance with the change of the projection target 2, and a distortion-free projection image is provided to the viewer. be able to.
  • an appropriate content image can be projected onto the projection target 2 with high followability.
  • one frame of content image is projected every time projection of each distance measurement pattern is completed.
  • a content image of one frame is composed of a set of three color images projected for each color of RGB.
  • the content image is sandwiched during the projection. Even in this case, since one frame of the content image is sandwiched for each distance measurement pattern of one frame, the exposure time of each pixel of the distance measurement pattern is constant, and accurate distance measurement is possible.
  • the update rate of the content image is halved, and the update is also performed in units of subfields set by dividing the screen into two.
  • Other division methods are possible.
  • the difference between the complementary measurement patterns is taken at the time of code decoding.
  • the content image is canceled and the content image does not interfere with the distance measurement at all, and the visible light filter 10 need not be provided in front of the camera 9.
  • the content of the projection image can be made to correspond based on the distance information to the target object.
  • the distance to the object is measured as measurement information, and based on the obtained distance information, irradiation is performed so as to paint a specific texture image or color on a part of the object located within a specific range distance.
  • the outline of such an object can be enhanced by a particular color, highlight line and / or texture. According to this, it is possible to irradiate an image that gives a special visual effect only to an artist or an athlete standing in front of a relatively distant background.
  • the color information of the object can be acquired, and a specific content image can be projected according to the obtained color information. That is, it is possible to extract a specific color portion of the moving object portion and project a specific image toward such a portion. For example, a person's face or a specific part of a person's clothes can be extracted, and a specific image can be projected toward such a region. If a complementary color is painted as a specific image, the target area can be selectively darkened.
  • the above embodiment relates to a configuration for performing distance measurement for performing projection mapping, but the present disclosure can be applied to a distance measurement dedicated system for performing distance measurement for other purposes. It goes without saying that such a device may be part of another system.
  • a distance measurement dedicated system for performing distance measurement for other purposes may be part of another system.
  • FIG. 7 only the distance measurement is performed, only the image of the measurement pattern is projected, and the image obtained from the projection target 2 is raster-scanned, thereby two-dimensionally arranged pixels.
  • the exposure is sequentially performed every time, and after a certain exposure time for each photosensitive element, the electric charge accumulated in each photosensitive element is taken out (read out), and an electric signal corresponding to the amount of received light is generated. At this time, the exposure start timing for each pixel is shifted with a certain time.
  • the exposure end timing that is, the readout timing
  • the readout timing also shifts with a constant time, similar to the exposure start timing. Accordingly, readout is performed sequentially with a predetermined time difference over the entire section in which invisible light is projected, so that expensive elements are not required and circuit design is facilitated.
  • the measurement pattern is further divided into four subfields, and projected at a predetermined time difference for each subfield. Therefore, in this case, as shown in FIG. 8, the measurement pattern is rewritten stepwise in the scanning direction. Therefore, when subfield updating is performed as in the present embodiment, since updating can be performed with data transfer that is less time-consuming than all frame updating, an inexpensive device can be used without requiring a high-speed transfer bandwidth from the projection apparatus. Aim can be achieved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

変化する対象物までの距離をリアルタイムで計測することができ、特に変化する対象物に対して好適にプロジェクション・マッピングを行うことができるリアルタイム計測投影装置を提供する。リアルタイム計測投影装置は、パターン画像を含むパターン光を投影対象に照射するパターン光投影装置と、パターン光が照射された投影対象の撮像画像を、画素毎に電子的に所定の露光時間をもって取得する撮像装置と、撮像画像を前記パターン画像のデータと対照することにより前記投影対象の個々の点までの距離を算出する演算装置とを備え、撮像装置が、所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行う。

Description

リアルタイム計測投影装置及び三次元投影計測装置
　本開示は、変化する対象物に対して、投影装置より非可視光でパターン光を照射することにより、撮像装置の計測結果を、対応する投影装置の投影座標にリアルタイム変換し、計測によって得られた結果を再び投影装置にて可視光映像として投影するリアルタイム計測投影装置、特にプロジェクション・マッピング用のリアルタイム計測投影装置に関する。本開示は更に、変化する対象物に対して、投影装置より非可視光でパターン光を照射することにより、投影対象の各点までの距離を迅速かつ簡単に測定するための三次元投影計測装置にも関する。
　建物等の対象物に対して所望のコンテンツ画像を投影する技術としてプロジェクション・マッピングと呼ばれる技術が知られている。一般に対象物は三次元形状を有するため、コンテンツ画像をそのまま投影した場合には、対象物の表面の凹凸や、奥行きの大小のために、投影装置とは別個の位置にいる観客には、投影された画像が歪んだ画像として見える。そこで、対象物の各点までの撮像装置と投影装置の各画素の対応を予め計測し、コンテンツ画像に対して、対応する座標変換を行って投影することにより、歪みの無いコンテンツ画像を観ることができるようにしている。
　従来は、対象物が建物等の固定物であることが一般的であることから、通常は、事前に対象物の各点までの撮像装置と投影装置の各画素の対応を予め計測し、固定された撮像装置と投影装置の各画素の対応情報に基づいてプロジェクション・マッピングを行うようにしていた。しかしながら、乗り物、ダンサー、運動選手などに対してプロジェクション・マッピングを行いたいという要望が出てきつつあり、変化する対象物に対して好適にプロジェクション・マッピングを行うための装置が望まれるようになってきた。
　特許文献１には、形状変化や移動する対象物の表面にテクスチャをマッピングする技術が開示されているが、対象物の三次元による投影像の歪みは考慮されていない。特許文献２には、三次元距離計測装置が開示されている。特許文献３にはローリングシャッター方式のカメラと液晶表示方式のプロジェクタを用いた計測方法が開示されている。
　ここで、移動する物体にプロジェクション・マッピングを行うための装置を考える際に、計測時から映像投影時までの遅延時間が非常に問題となる。従来の６０ｆｐｓの映像投影装置では、撮影、転送、計算、表示にそれぞれ１／６０秒以上の時間を要するため、秒速１ｍ程度の低速な移動であっても、数十ｃｍ以上の投影誤差が発生し、乗り物、ダンサー、運動選手などへの投影は行えない。
　ここで、近年デジタルミラーデバイス（ＤＭＤ）などと呼ばれる１０００ｆｐｓを超える非常に高速な表示デバイスが、市販プロジェクタに搭載されるようになってきた。従って、これらの高速デバイスと、高速度カメラを用いて、かつ、非可視光を組み合わせるなどの、視聴者に視認されない何らかの方法で映像の投影と同時に高速計測を行なう事ができれば、リアルタイムで移動物体へのプロジェクション・マッピングを行うことが可能となる。
特開２０１３－１９２１８９号公報 特許第４９１７３５１号公報 特開２０１３－１２７４３４公報
　しかしながら、デジタルミラーデバイス（ＤＭＤ）では、光源の切り替えにより色を変える構成となっているため、可視光と非可視光との切り替えは、フレーム一括でグローバルにしか行なえないため、高速度カメラはグローバルシャッター方式のものしか使えないという課題があった。グローバルシャッター方式のカメラとしてはＣＣＤイメージセンサー方式が一般的であるが、原理上１０００ｆｐｓなどの高速なものを製造することは困難である。
　一方で、一般にＣＭＯＳイメージセンサーと呼ばれるものは、１０００ｆｐｓを超えるものも一般に製造販売されているが、ローリングシャッターと呼ばれる各画素が時間をずらして露光される方式のものである。グローバルシャッター方式のＣＭＯＳイメージセンサーも存在するが、露光と読み出しのタイミングのずれを吸収するための電荷保持部を各画素に設けなければならないため、高価になるうえに、各画素の露光面積が電荷保持部によって圧迫され、感度の低いセンサーとなってしまうという課題がある。
　特許文献３には、液晶表示装置において、液晶表示の各ラインのずれと、ローリングシャッター方式の露光タイミングのずれを同期させて課題を軽減させることについて記載されているが、熱対策の観点での効率化について述べているだけで、ＤＭＤ方式のプロジェクタにおいて、グローバルにしか光源が変更できない課題や、そもそもプロジェクション・マッピングのように計測結果を可視光映像としても投影しなければならない点については触れられていない。
　このような従来技術の問題点及び発明者の知見に鑑み、本開示の主な目的は、当該技術分野において、グローバルな光源の切り替えしか出来ないＤＭＤ方式のプロジェクタと、安価なローリングシャッター方式のカメラとを組み合わせることにより、パターン光の投影と、映像光の投影とを、矛盾無く高速に両立させるための装置を提供することにある。
　本開示によれば、このような目的は、ローリングシャッター方式、即ち、所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行う撮像方式の撮像装置と、非可視光及び可視光を投影できる投影装置と、演算装置とを含むリアルタイム計測投影装置であって、演算装置の制御により、投影装置からパターン画像を含むパターン光を画素毎に時間的にずらして投影し、パターン光が照射された投影対象上の画像を、撮像装置で撮像し、撮像装置で撮像した画像をパターン画像のデータと対照することにより、撮像装置と投影装置の個々の画素の対応付けを行い、対応付けの結果に基づき、投影装置から可視光によって映像投影を行うことを特徴とするリアルタイム計測投影装置を提供することにより達成される。
　また、本開示によれば、リアルタイム計測投影装置の対応付けの結果と、撮像装置と投影装置の位置関係から、三角法によって撮影対象且つ投影対象の距離を求めることも可能である。撮像装置の画素位置が分かれば、撮像装置からの対象が撮影されている方向が分かり、投影装置の投影座標が分かれば投影座標からの対象物の方向が分かり、さらに相互の座標が対応づいているからである。
　その場合、本装置を安価な３次元計測装置としても利用可能であり、その場合、撮像装置は可視光や非可視光など複数の光を出す必要も無く、計測機能部単独の実装で高付加価値を生み出すことができる。
　本開示によれば、低コストの装置を用いて、変化する対象物に対し、撮像装置の各画素で計測した内容を、対応する撮像装置の各画素に対応付けてリアルタイムで投影することができ、特に変化する対象物に対して好適にプロジェクション・マッピングを行うことができる。
図１は、本開示に基づくリアルタイム計測投影装置の一実施態様を示すダイヤグラム図である。 図２は、本開示に基づくリアルタイム計測投影装置に於いて用いられる計測用のパターンの例を示す図である。 図３は、本開示に基づくリアルタイム計測投影装置に於ける演算装置の詳細を示すブロック図である。 図４は、本開示に基づくリアルタイム計測投影装置に於ける各部の作動タイミングを示すタイムチャートである。 図５は、本開示の第２実施例に於ける図４と同様のタイムチャートである。 図６は、本開示の第３実施例に於ける図４と同様のタイムチャートである。 図７は、対象物までの距離を計測する計測専用装置して構成された本開示の第４実施例に於ける単純化されたタイムチャートである。 図８は、対象物までの距離を計測する計測専用装置として構成された本開示の第５実施例に於ける単純化されたタイムチャートである。
　上記課題を解決するためになされた第１の開示は、パターン画像を含むパターン光を投影対象に投影するための投影装置と、パターン光が照射された投影対象の撮像画像を、画素毎に電子的に所定の露光時間をもって取得するための撮像装置と、撮像画像をパターン画像のデータと対照することにより撮像装置の各画素と投影装置の各画素との間の画素対応情報を計算し、撮像装置から得られた各画素の計測情報を画素対応情報に基づき、投影装置の対応座標に変換し、投影装置の対応座標に変換済みの各画素の計測情報に基づき、投影対象に投影されるべき映像を生成するための演算装置とを含み、投影装置が、撮像装置に於ける露光時間のサイクルに同期して演算装置により生成された映像を、投影対象に映像光として照射するように構成されたリアルタイム計測投影装置であって、撮像装置が、所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うようにしたことを特徴とする。
　このように、第１の開示によれば、所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うようにしたことから、画素毎のデータの読み出しを並行して行うのではなく、順次行うようにすることができるため、ハードウェアとして廉価なデバイスを利用することが可能となり、また各画素の画像信号の読み取りに於ける演算装置に対する負荷を軽減することができる。
　本開示の或る側面では、撮像装置に於ける露光時間のサイクルが画像のフレーム単位に設定される。
　この側面によれば、画像の投影、撮像装置と投影装置の個々の画素の対応の計測、画像補正量の算出及び画像補正の実行をフレーム単位で行うことから、演算装置等に対する負荷を最小化しつつ、一連の動作を円滑に行うことができる。
　本開示の別の側面では、映像光は可視光であり、パターン光は非可視光である。また、非可視光は例えば近赤外光であったり、紫外線であったりする。
　この側面によれば、観る者は、パターン光による干渉を受けることなく映像光を見ることができる。
　本開示の更に別の側面では、パターン光投影装置及び映像光投影装置が、可視光光源と、非可視光光源と、両光源からの光を共通の光軸上に配向するダイクロイックミラーと、ミラーからの光を空間変調するデジタルマイクロミラー素子と、デジタルマイクロミラー素子からの出射光を投影対象上にフォーカシングする投射レンズとを含む。
　この側面によれば、パターン光投影装置及び映像光投影装置の多くの部分を共用化でき、設備を簡略化することができる。
　本開示の更に別の側面では、撮像装置が非可視光を透過し、可視光を遮断する可視光カットフィルタを含む。
　この側面によれば、パターン光を映像光による干渉を受けることなく撮像することができ、撮像装置と投影装置の個々の画素の対応を正確に測定することができる。
　本開示の更に別の側面では、パターン光が、各フレームに設定された複数のサブフレーム領域毎に、時間的にシフトして投影される。
　この側面によれば、パターン光の投影のためにそれ程高速の処理が必要とされず、パターン光投影装置或いは演算装置に対する負荷を軽減することができる。
　また撮像装置による各画素の計測結果とは、輝度であったり色であったりもするが、撮像装置と計測装置の位置関係を用いて三角法によって距離を決定し、その結果を計測結果とすることが出来る。この場合も各画素に対する計測距離を投影装置の各画素について対応付けることとなる。
　この側面によれば、対応する撮像装置の各画素に対応する投影対象物の各点までの距離をリアルタイムで投影計測することができ、特に変化する対象物に対して好適にプロジェクション・マッピングを行うことができる。
　本開示の更に別の側面では、パターン光が空間コード化法に基づいて設定される。
　この側面によれば、撮像装置による各画素の計測結果を利用して、投影装置の各画素についての高速かつ正確な対応付けを行うことができる。
　本開示の更に別の側面では、映像の生成に利用される計測情報が距離であり、距離に応じて映像生成に用いるテクスチャ画像を切り替えるようにしている。或いは、映像の生成に利用される計測情報が距離であり、距離に応じて投影対象物の切り抜きマスクを生成し、マスクの輪郭の色を変化させた映像を生成するようにしている。映像の生成に利用される計測情報が距離であり、距離に応じて映像の色を変化させるようにしている。或いは、映像の生成に利用される計測情報が距離であり、距離に応じて映像の色を変化させるようにしている。或いは、計測情報は、撮像装置によって撮影された、色情報であって良く、その場合、色情報に含まれる色の捕色を用いて映像補正を行なうことができる。
　この側面によれば、様々な視覚効果を導入することができ、より魅力的なプロジェクション・マッピングを実現することができる。
　本開示の更に別の側面では、パターン画像がマンチェスタコーディング法に基づく複数対の白黒反転画像パターンを含み、映像コンテンツが２フレーム毎に更新される。
　この側面によれば、相補的な各対の計測パターンの画像が投影される２フレームに渡って同一のコンテンツ画像が投影されることとなり、コード復号に際して相補的な計測パターンの差分が取られるため、コンテンツ画像が相殺され、コンテンツ画像が画素対応情報に対して全く干渉しないこととなり、撮像装置の前方に可視光フィルタを設ける必要がなくなる。
　本開示の更に別の側面では、パターン画像がマンチェスタコーディング法に基づく複数対の白黒反転画像パターンを含み、パターン画像が、各フレームに設定された複数のサブフレーム領域に分割され、各サブフレーム領域に対応するパターン画像の部分の映像コンテンツが２フレーム毎に更新される。
　この側面によれば、パターン光の投影のためにそれ程高速の処理が必要とされず、パターン光投影装置或いは演算装置に対する負荷を軽減することができ、しかもコード復号に際して相補的な計測パターンの差分が取られるため、コンテンツ画像が相殺され、コンテンツ画像が距離計測に対して全く干渉しないこととなり、撮像装置の前方に可視光フィルタを設ける必要がなくなる。
　上記課題を解決するためになされた第２の開示は、リアルタイム計測投影装置であって、パターン画像を含むパターン光を投影対象に照射する投影装置と、パターン光が照射された投影対象の撮像画像を、画素毎に電子的に所定の露光時間をもって取得する撮像装置と、撮像画像をパターン画像のデータと対照することにより投影対象の個々の点までの距離を算出する演算装置とを含み、撮像装置が、所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うことを特徴とする。
　このように、第２の開示によれば、所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うようにしたことから、画素毎のデータの読み出しを並行して行うのではなく、順次行うようにすることができるため、ハードウェアとして廉価なデバイスを利用することが可能となり、また各画素の画像信号の読み取りに於ける演算装置に対する負荷を軽減することができる。
　以下、本開示の実施の形態について図面を参照しながら説明する。
　本開示に基づくリアルタイム計測投影装置１は、プロジェクション・マッピングを行うシステムとして構成されている。このリアルタイム計測投影装置１に於いて、投影装置３は、可視光ＬＥＤ光源４ａ及び赤外線ＬＥＤ光源４ｂを有し、それらの出射光をダイクロイックミラー５により合流させ、ＤＭＤ（デジタル・マイクロミラー・デバイス）６に入力する。ＤＭＤ６からの出射光はレンズ光学系７を介して投影対象２に投影される。演算装置８は、可視光ＬＥＤ光源４ａ及び赤外線ＬＥＤ光源４ｂを選択して励起し、かつＤＭＤ６に対する制御信号を供給することにより、所望の側の光源からの光を、必要に応じて変調し、投影対象２上の所定の点に向けて照射することができる。その結果、投影対象２に対して画素単位の２次元画像を投影することができ、所望に応じて多数の２次元画像を時系列的に投影し、それを動画として提供することができる。
　特に、このリアルタイム計測投影装置１は、移動及び又は変形する投影対象２の距離情報を取得し、得られた距離情報に基づいて、投影対象２の変化に関わらず、投影装置３により投影される画像を観る者が歪みなく観ることができるようにされている。そのために、投影装置３により赤外線等の非可視光（非可視電磁波）により所定の計測パターンを投影対象２に投影し、その投影画像を取得するためにカメラ９が設けられている。カメラ９により得られた計測パターンの画像は、演算装置８により処理され、投影対象２の距離情報を算出する。投影装置３は算出された距離情報に基づいて、所要の映像コンテンツを補正、即ち座標変換し、座標変換された画像を可視光により投影対象２に投射する。それにより、観る者は、投影対象２の３次元的形状に関わらず、歪みなく映像コンテンツを観ることができる。映像コンテンツを投影する可視光が距離情報の取得を阻害する惧れを排除するために、カメラ９の前方に可視光フィルタ１０を設けることもできる。
　図２は、リアルタイム計測投影装置に於いて用いられる画素対応計測用のパターンの例を示す。投影装置は本実施例では１０２４×７６８画素からなるものとし、Ｘ座標、Ｙ座標とも１０ビットずつあれば表すことができる。座標値をグレイコード化し、Ｘ座標の最上位ビットである９ビット目を示すパターンがＸ４ａ、その補完的な画像対として輝度反転させた画像がＸ４ｂ、Ｘ座標の８ビット目を示すのがＸ３ａ、その補完的な画像対として輝度反転させた画像がＸ３ｂ、Ｘ座標の７ビット目を示すのがＸ２ａ、その補完的な画像対として輝度反転させた画像がＸ２ｂ、Ｙ座標の最上位ビットである９ビット目を示すパターンがＹ４ａ、その補完的な画像対として輝度反転させた画像がＹ４ｂ、Ｙ座標の８ビット目を示すのがＹ３ａ、その補完的な画像対として輝度反転させた画像がＹ３ｂ、Ｙ座標の７ビット目を示すのがＹ２ａ、その補完的な画像対として輝度反転させた画像がＹ２ｂとして与えられ、以降、Ｘ座標、Ｙ座標とも、０ビット目を示す画像まで、合計４０枚の画像パターンが設定される。
　各画素の濃度情報はグレイコードによりコード化し、補完的な画像対の差信号に基づいて、ノイズ除去を図るようにしている（マンチェスタ符号化方式）。このような２０対の補完的な画像からなる画像対を所定の時間内で順次投影対象２に投影し、その投影画像を処理して、投影装置の座標情報を撮像装置の画素とそれぞれ各画素で対応付けすることができる。
　なお、本実施例は１０２４×７６８画素の場合の例であって、画像パターンの数が４０枚となっているが、解像度や得たい精度によって枚数は変化する。また撮像装置と投影装置の設置条件によっては、Ｙ座標もしくはＸ座標の片方を常に撮像装置と投影装置とで固定的に対応づけたり、或いは狭い範囲でしかずれないように設定することも可能であり、その場合は片方の座標コードを削減したり、大幅に減らしたりすることも可能である。
　図３は、リアルタイム計測投影装置に於ける演算装置８の詳細を示す。演算装置８に於けるパターン生成部１１は、上記した距離計測用のパターンを記憶しており、所定のタイミングで距離計測用のパターンを画像出力部１２に向けて順次出力し、画像出力部１２は対応する画像信号を投影装置３に供給する。また、画像出力部１２は映像出力のタイミングを画像入力部１３に伝達し、画像入力部１３は画像出力部１２とタイミング同期した撮影を行なえるようにカメラ９を制御する。
　投影対象２に投影された計測パターンの画像はカメラ９により取得され、得られた画像は画像入力部１３に送られる。得られた画像は、更にパターン復号部１４に送られ、フレームメモリ部１５に補完的な画像対の一方を保持しつつ、フレーム差分を計算し、得られたコード復号用メモリ部１６のコードに対応するビット部位をパターン生成部１１から取得して更新する。コード復号用メモリ部１６には最終的に投影装置と投影装置の画素対応情報が格納され、補完的な画像対を１つ処理する毎に最新の投影装置と投影装置の画素対応情報を座標変換部１７に出力する。この際、投影装置と投影装置の画素対応情報と共に、各画素の計測情報、即ち輝度や色や距離情報などの何れかが付随する。特にここで補完的な画像対を加算することでコード影響を相殺すれば、輝度や色を得るのに役立つ。座標変換部１７は各画素の計測情報を、投影装置と投影装置の画素対応情報にもとづいて並び替えながら座標変換部用メモリ部１８に書き込んだ後、投影装置の座標順で座標変換部用メモリ部１８の値を読み出して、座標補間部１９に送る。
　座標補間部１９は、座標変換部１７から、受け取った各画素の計測情報を用い、各画素の計測情報の存在しないものがあるが、そのような情報を必要に応じて補間する。これは例えば、一定の範囲内に有効な計測情報を持った画素が存在する場合に線形補間等の補間法を用いて行なうなどの方法が考えられる。
　コンテンツメモリ部２１には投影対象２に投影されるべき映像の素材となる、テクスチャ、動画データ、メッシュ、シェーダープログラムなどが記憶されており、コンテンツ生成部２０からの要求に応じて、読み込まれ、コンテンツ生成部２０によって、座標補間部１９から得た計測情報に基づいて、投影対象にマッピングされるべき映像が生成される。映像画像は、画像出力部１２に向けて順次出力され、画像出力部１２は対応する画像信号を投影装置３に供給する。
　図４は上記した一連の動作の時間的履歴を示すタイムチャートである。本実施例では、毎秒６０００フレームのサイクルで、投影及び撮影を行うものとする。例えば、赤外線ＬＥＤ光源４ｂを各フレームの最初の９０％の時間に渡って点灯し、可視光ＬＥＤ光源４ａを最後の残りの１０％の時間に渡って点灯し、互いに交互に点灯するものとする。赤外線ＬＥＤ光源４ｂが点灯しているときには、ＤＭＤ７は、演算装置８の制御の下に、上記した４０枚の計測用のパターンを各フレーム毎に順次投影対象２に投影し、投影された画像をカメラ９により撮像する。撮像された計測用のパターンは演算装置８により処理され、距離情報に変換される。ＤＭＤ７は極めて高速な動作が可能な素子であることから、非可視光による各距離計測用パターンを一時に投影することもできるが、本実施例では、各フレームをラスター走査するように、順次僅かに時間をずらすように投影している。
　一方、カメラ９は、２次元的に配置された感光要素が配置された、例えばＣＭＯＳからなる受光素子を用いたものからなる。投影対象２から得られた画像をフレーム毎に全ての画素を同時に読み出すようにすることもできるが、高価な素子が必要となる。また、高速な信号処理が必要となり、回路設計も困難となる。そこで、本実施例では、投影対象２から得られた画像をラスター走査することにより、２次元的に配置された画素毎に順次露光を開始し、各感光要素毎に一定の露光時間の後に、各感光要素に蓄積された電荷を取り出し（読み出し）、受光量を対応する電気信号を生成する。このとき、各画素についての露光開始タイミングを一定の時間をもってずらすようにしている。各画素についての露光は一定とすることから、露光終了タイミング即ち読み出しタイミングも、露光開始タイミングと同様に一定の時間をもってずれることになる。従って、読み出しを、非可視光を投影する区間の全体に渡って、順次所定の時間差をもって行うことから、高価な素子を必要とせず、回路設計も容易となる。
　このような動作を４０フレームに渡って非可視光を投影する区間を完了する間に画面全体に渡るデータが得られ、投影対象２全体の距離情報が得られ、それに基づいてコンテンツ画像（ビデオ画像）の補正内容を更新する。即ち、可視光ＬＥＤ光源４ａが点灯されている間に、ＤＭＤ７は、演算装置８の制御の下に、その時点までの距離計測結果に基づき処理されたコンテンツ画像を投影対象２に投影する。一回の計測が完了するためには、４０フレームを要するため、コンテンツ画像は４０フレームの間、４０回更新されるものであっても良いが、より少ない頻度で更新されるものであっても良い。本実施例の場合、コンテンツ画像は４０フレームの間同一内容で、一回の計測が完了する毎に、コンテンツ画像を更新し、かつコンテンツ画像に対して、直前に完了した距離計測結果に基づく座標変換処理を行うようにしている。
　このようにして、投影対象２が移動したり、変形したりしても、投影対象２の変化に応じて、リアルタイムでコンテンツ画像が補正され、観る者に対して歪みのない投影画像を提供することができる。特に、本実施例によれば、投影対象２の動きが速い場合でも、高い追従性をもって、投影対象２に対して適切なコンテンツ画像を投影することができる。
　図４に示された実施例では、各距離計測用パターンの投影の完了毎に１フレームのコンテンツ画像が投影されるようにしている。（実際には、１フレームのコンテンツ画像は、ＲＧＢの各色について投影される３フレームの各色画像の集合からなる。）それに対して、図５に示された実施例では、各距離計測用パターンの投影の途中にコンテンツ画像が挟み込まれるようにしている。この場合でも、１フレームの距離計測用パターン毎に１フレームのコンテンツ画像が挟み込まれることから、距離計測用パターンの各画素の露光時間が一定となり、正確な距離計測が可能となる。
　図６に示された実施例では、コンテンツ画像の更新レートは半分にされ、更新も画面を２分割して設定されるサブフィールド単位で実施される。これ以外の分割方法も可能である。いずれにせよ、相補的な各対の計測パターンの画像が投影される２フレームに渡って同一のコンテンツ画像が投影される場合には、コード復号に際して相補的な計測パターンの差分が取られるため、コンテンツ画像が相殺され、コンテンツ画像が距離計測に対して全く干渉しないこととなり、カメラ９の前方に可視光フィルタ１０を設ける必要がなくなる。
　本開示の更なる発展形態として、対象物までの距離情報に基づいて、投影画像のコンテンツを対応させることもできる。例えば、計測情報として対象物までの距離を計測し、得られた距離情報に基づいて、特定の範囲の距離内に位置する対象物の部分に特定のテクスチャ画像或いは色をペイントするように照射したり、そのような対象物の輪郭を特定の色、強調線及び又はテクスチャにより強調することができる。これによれば、比較的遠方の背景の前方に立つアーチスト或いはアスリートのみに向けて特別な視覚効果を付与するような画像を照射することができる。
　或いは、パターン光として可視光を用いることにより、対象物の色情報を取得し、得られた色情報に応じて、特定のコンテンツ画像を投影することもできる。即ち、移動する対象物の部分の特定の色の部分を抽出し、そのような部分に向けて特定の画像を投影することができる。例えば、人物の顔や、人物の服の特定の部分を抽出して、そのような領域に向けて特定の画像を投影することができる。特定の画像として、補色をペイントするようにすれば、対象となる領域を選択的に暗くすることができる。
　上記実施例は、プロジェクション・マッピングを行うための距離計測を行う構成に関するものであったが、本開示を、それ以外の目的で距離計測を行う距離計測専用システムに適用することができる。このような装置は、他のシステムの一部をなすものであっても良いことは言うまでもない。図７に示された実施例では、距離計測のみを行うようにし、計測パターンの画像のみが投影され、投影対象２から得られた画像をラスター走査することにより、２次元的に配置された画素毎に順次露光し、各感光要素毎に一定の露光時間の後に、各感光要素に蓄積された電荷を取り出し（読み出し）、受光量を対応する電気信号を生成する。このとき、各画素についての露光開始タイミングを一定の時間をもってずらす。各画素についての露光は一定とすることから、露光終了タイミング即ち読み出しタイミングも、露光開始タイミングと同様に一定の時間をもってずれることになる。従って、読み出しを、非可視光を投影する区間の全体に渡って、順次所定の時間差をもって行うことから、高価な素子を必要とせず、回路設計も容易となる。
　同じく図８に示された実施例では、更に計測用パターンを４つのサブフィールドに分割し、サブフィールド毎に所定の時間差をおいて投影するようにしている。従って、この場合には、図８に示すように、計測用パターンは、その走査方向に段階的に書き換えられる。従って、本実施例のようなサブフィールド更新を行なう場合、全フレーム更新に比べて時間当たりの少ないデータ転送で更新が行なえるため、投影装置に高速な転送帯域を要求せずに安価なデバイスで目的を達成することができる。
１　　リアルタイム計測投影装置
２　　投影対象
３　　投影装置
４ａ　可視光ＬＥＤ光源
４ｂ　赤外線ＬＥＤ光源
５　　ダイクロイックミラー
６　　ＤＭＤ（デジタル・マイクロミラー・デバイス）
７　　レンズ光学系
８　　演算装置
９　　カメラ
１０　可視光フィルタ
１１　パターン生成部
１２　画像出力部
１３　画像入力部
１４　パターン復号部
１５　フレームメモリ部
１６　復号用メモリ部
１７　座標変換部
１８　座標変換用メモリ部
１９　座標補間部
２０　コンテンツ生成部
２１　コンテンツメモリ部

Claims (16)

  1. パターン画像を含むパターン光を投影対象に投影するための投影装置と、
    　前記パターン光が照射された前記投影対象の撮像画像を、画素毎に電子的に所定の露光時間をもって取得するための撮像装置と、
    　前記撮像画像を前記パターン画像のデータと対照することにより前記撮像装置の各画素と前記投影装置の各画素との間の画素対応情報を計算し、前記撮像装置から得られた各画素の計測情報を前記画素対応情報に基づき、前記投影装置の対応座標に変換し、前記投影装置の対応座標に変換済みの各画素の計測情報に基づき、前記投影対象に投影されるべき映像を生成するための演算装置とを含み、
    　前記投影装置が、前記撮像装置に於ける露光時間のサイクルに同期して前記演算装置により生成された前記映像を、前記投影対象に映像光として照射するように構成されたリアルタイム計測投影装置であって、
    　前記撮像装置が、前記所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うようにしたことを特徴とするリアルタイム計測投影装置。
  2. 　前記撮像装置に於ける露光時間の前記サイクルが画像のフレーム単位に設定されていることを特徴とする請求項１に記載のリアルタイム計測投影装置。
  3. 　前記映像光は可視光であり、前記パターン光は非可視光であることを特徴とする請求項１または請求項２のいずれかに記載のリアルタイム計測投影装置。
  4. 　前記パターン光投影装置及び前記映像光投影装置が、可視光光源と、非可視光光源と、前記両光源からの光を共通の光軸上に配向するダイクロイックミラーと、前記ミラーからの光を空間変調するデジタルマイクロミラー素子と、前記デジタルマイクロミラー素子からの出射光を前記投影対象上にフォーカシングする投射レンズとを含むことを特徴とする請求項１から請求項３のいずれかに記載のリアルタイム計測投影装置。
  5. 　前記撮像装置が前記非可視光を透過し、前記可視光を遮断する可視光カットフィルタを含むことを特徴とする請求項１から請求項４のいずれかに記載のリアルタイム計測投影装置。
  6. 　前記パターン光が、各フレームに設定された複数のサブフレーム領域毎に、時間的にシフトして投影されることを特徴とする請求項１から請求項５のいずれかに記載のリアルタイム計測投影装置。
  7. 前記計測情報は、前記画素対応情報と、前記撮像装置の位置情報と、前記投影装置の位置情報とから、三角法によって求められた距離情報であることを特徴とする請求項１から請求項６のいずれかに記載のリアルタイム計測投影装置。
  8. 前記パターン光が空間コード化法に基づいて設定されることを特徴とする請求項１から請求項７のいずれかに記載のリアルタイム計測投影装置。
  9. 　前記映像の生成に利用される前記計測情報が距離であり、前記距離に応じて映像生成に用いるテクスチャ画像を切り替えることを特徴とする請求項１から請求項８のいずれかに記載のリアルタイム計測投影装置。
  10. 　前記映像の生成に利用される前記計測情報が距離であり、前記距離に応じて投影対象物の切り抜きマスクを生成し、マスクの輪郭の色を変化させた映像を生成することを特徴とする請求項１に記載のリアルタイム計測投影装置。
  11. 　前記映像の生成に利用される前記計測情報が距離であり、前記距離に応じて映像の色を変化させることを特徴とする請求項１に記載のリアルタイム計測投影装置。
  12. 前記計測情報は、前記撮像装置によって撮影された、色情報であることを特徴とする、請求項１に記載のリアルタイム計測投影装置。
  13. 　前記映像の生成に利用される前記計測情報が色情報であり、前記色情報に含まれる色の捕色を用いて映像補正を行なうことを特徴とする請求項１２に記載のリアルタイム計測投影装置。
  14. 　前記パターン画像がマンチェスタコーディング法に基づく複数対の白黒反転画像パターンを含み、映像コンテンツが２フレーム毎に更新されることを特徴とする請求項１から請求項１３のいずれかに記載のリアルタイム計測投影装置。
  15. 　前記パターン画像が、各フレームに設定された複数のサブフレーム領域に分割され、各サブフレーム領域に対応する前記パターン画像の部分の前記映像コンテンツが２フレーム毎に更新されることを特徴とする請求項１４に記載のリアルタイム計測投影装置。
  16. 　三次元投影計測装置であって、
    　パターン画像を含むパターン光を投影対象に照射する投影装置と、
    　前記パターン光が照射された前記投影対象の撮像画像を、画素毎に電子的に所定の露光時間をもって取得する撮像装置と、
    　前記撮像画像を前記パターン画像のデータと対照することにより前記投影対象の個々の点までの距離を算出する演算装置とを含み、
    　前記撮像装置が、前記所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うことを特徴とする三次元投影計測装置。
PCT/JP2016/002302 2015-06-30 2016-05-11 リアルタイム計測投影装置及び三次元投影計測装置 WO2017002293A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16817407.6A EP3319079A4 (en) 2015-06-30 2016-05-11 Real-time-measurement projection device and three-dimensional-projection measurement device
US15/737,418 US10161745B2 (en) 2015-06-30 2016-05-11 Real-time-measurement projection device and three-dimensional-projection measurement device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-131302 2015-06-30
JP2015131302A JP6601790B2 (ja) 2015-06-30 2015-06-30 リアルタイム計測投影装置及び三次元投影計測装置

Publications (1)

Publication Number Publication Date
WO2017002293A1 true WO2017002293A1 (ja) 2017-01-05

Family

ID=57608055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002302 WO2017002293A1 (ja) 2015-06-30 2016-05-11 リアルタイム計測投影装置及び三次元投影計測装置

Country Status (4)

Country Link
US (1) US10161745B2 (ja)
EP (1) EP3319079A4 (ja)
JP (1) JP6601790B2 (ja)
WO (1) WO2017002293A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10863165B2 (en) 2017-06-07 2020-12-08 Sony Semiconductor Solutions Corporation Image processing apparatus and method
WO2021039977A1 (ja) 2019-08-29 2021-03-04 国立大学法人東北大学 投影システム、投影システム制御装置、投影方法及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6846661B2 (ja) 2016-04-13 2021-03-24 パナソニックＩｐマネジメント株式会社 ３次元的な投影対象のための投影方法及び装置
JP6964223B2 (ja) * 2017-03-24 2021-11-10 パナソニックＩｐマネジメント株式会社 投影システム及び投影方法
WO2018215053A1 (en) * 2017-05-23 2018-11-29 Brainlab Ag Determining the relative position between a point cloud generating camera and another camera
WO2019058750A1 (ja) * 2017-09-20 2019-03-28 倉敷紡績株式会社 撮像システム、撮像方法および撮像素子
JP2019095376A (ja) * 2017-11-27 2019-06-20 倉敷紡績株式会社 画像処理システム
JP7088530B2 (ja) * 2018-02-08 2022-06-21 元治 藤垣 ３次元計測対象物体の表面に計測結果関連情報を投影する方法および装置
JP7236680B2 (ja) 2018-02-09 2023-03-10 パナソニックＩｐマネジメント株式会社 投影システム
JP7285470B2 (ja) 2018-05-17 2023-06-02 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
US10732285B2 (en) 2018-09-26 2020-08-04 Qualcomm Incorporated Multi-phase active light depth system
TWI680648B (zh) * 2018-12-26 2019-12-21 財團法人工業技術研究院 編碼盤、檢光器、光學絕對式旋轉編碼器及編碼值輸出、偵錯與除錯的方法
CN112825492B (zh) * 2019-11-21 2022-04-15 中国移动通信有限公司研究院 一种可见光通信方法、装置及存储介质
KR102470050B1 (ko) * 2021-03-24 2022-11-25 비젼온칩 주식회사 프로젝터를 활용한 동영상 촬영을 위한 장치 및 방법
KR102630707B1 (ko) * 2022-08-01 2024-01-30 비젼온칩 주식회사 3d 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078683A (ja) * 2010-10-05 2012-04-19 Seiko Epson Corp プロジェクター、台形歪み補正方法
JP2013195865A (ja) * 2012-03-22 2013-09-30 Ricoh Co Ltd プロジェクタ、プロジェクタ制御方法及びプロジェクタ制御プログラム
JP2014192808A (ja) * 2013-03-28 2014-10-06 Ricoh Co Ltd 投影装置、プログラム
JP2015106050A (ja) * 2013-11-29 2015-06-08 日本電信電話株式会社 空間投影装置、空間投影方法、空間投影プログラム及び記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125205A1 (en) * 2002-12-05 2004-07-01 Geng Z. Jason System and a method for high speed three-dimensional imaging
JP4917351B2 (ja) 2006-05-16 2012-04-18 ローランドディー．ジー．株式会社 ３次元形状測定装置におけるキャリブレーション方法
JP4395792B2 (ja) 2007-01-29 2010-01-13 セイコーエプソン株式会社 プロジェクタ
KR20120071551A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 구조 영상을 이용한 사용자 인터랙션 장치 및 방법
KR20130054868A (ko) * 2011-11-17 2013-05-27 한국전자통신연구원 회귀 베지어 패치 분할에 기반하는 기하 보정 장치 및 방법
JP5898484B2 (ja) 2011-12-19 2016-04-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2013192189A (ja) 2012-03-15 2013-09-26 Casio Comput Co Ltd 画像処理装置、投影システム、プログラム及び画像処理方法
US20140204083A1 (en) * 2013-01-23 2014-07-24 Brent Thomson Systems and methods for real-time distortion processing
WO2015075937A1 (ja) 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
JP2017215374A (ja) 2016-05-30 2017-12-07 パナソニックＩｐマネジメント株式会社 画像投影システムおよび画像投影方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078683A (ja) * 2010-10-05 2012-04-19 Seiko Epson Corp プロジェクター、台形歪み補正方法
JP2013195865A (ja) * 2012-03-22 2013-09-30 Ricoh Co Ltd プロジェクタ、プロジェクタ制御方法及びプロジェクタ制御プログラム
JP2014192808A (ja) * 2013-03-28 2014-10-06 Ricoh Co Ltd 投影装置、プログラム
JP2015106050A (ja) * 2013-11-29 2015-06-08 日本電信電話株式会社 空間投影装置、空間投影方法、空間投影プログラム及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3319079A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10863165B2 (en) 2017-06-07 2020-12-08 Sony Semiconductor Solutions Corporation Image processing apparatus and method
WO2021039977A1 (ja) 2019-08-29 2021-03-04 国立大学法人東北大学 投影システム、投影システム制御装置、投影方法及びプログラム
US11838696B2 (en) 2019-08-29 2023-12-05 Tohoku University Projection system, projection system control device, projection method, and program

Also Published As

Publication number Publication date
JP6601790B2 (ja) 2019-11-06
US20180188020A1 (en) 2018-07-05
US10161745B2 (en) 2018-12-25
JP2017015872A (ja) 2017-01-19
EP3319079A4 (en) 2018-07-04
EP3319079A1 (en) 2018-05-09

Similar Documents

Publication Publication Date Title
JP6601790B2 (ja) リアルタイム計測投影装置及び三次元投影計測装置
CN109155843B (zh) 图像投影系统和图像投影方法
EP3110139B1 (en) Projection system and semiconductor integrated circuit
CN106705855B (zh) 一种基于自适应光栅投影的高动态性能三维测量方法
CN109714536B (zh) 图像校正方法、装置、电子设备及计算机可读存储介质
US8290271B2 (en) Method, medium and apparatus correcting projected image
JP4831760B2 (ja) ３次元情報検出方法及びその装置
JP2021507440A (ja) 対象物の３次元画像を生成するための方法およびシステム
WO2019195884A1 (en) Image calibration for projected images
JP7371443B2 (ja) 三次元計測装置
KR20160130938A (ko) 계측 시스템, 계측 방법 및 비전 칩
JP2006292385A (ja) 視覚情報処理システム及びその視覚情報処理方法
US20200145641A1 (en) Image processing apparatus and method
US9654748B2 (en) Projection device, and projection method
JP2015224909A (ja) ３次元計測装置及び３次元計測方法
US20200021787A1 (en) Projector, projection method, image processing system, and method
JP2005063041A (ja) ３次元モデリング装置、方法、及びプログラム
JP2016122186A (ja) 投影装置及び投影方法
JP2019125830A (ja) 画像出力装置、投影装置およびそれらの制御方法、システム並びにプログラム
US20220038646A1 (en) Synchronized camera system having two different cameras
JP2020102230A (ja) 校正方法
JP2019114888A (ja) 投影装置、投影方法、投影システム
CN108332720B (zh) 光学测距系统
JP2012204995A (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP2021051318A (ja) 画像投影システムおよび画像投影方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16817407

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016817407

Country of ref document: EP