WO2015125403A1 - 投影システムおよび半導体集積回路 - Google Patents

投影システムおよび半導体集積回路 Download PDF

Info

Publication number
WO2015125403A1
WO2015125403A1 PCT/JP2015/000051 JP2015000051W WO2015125403A1 WO 2015125403 A1 WO2015125403 A1 WO 2015125403A1 JP 2015000051 W JP2015000051 W JP 2015000051W WO 2015125403 A1 WO2015125403 A1 WO 2015125403A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
light
image
pattern
imaging
Prior art date
Application number
PCT/JP2015/000051
Other languages
English (en)
French (fr)
Inventor
渕上　竜司
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to KR1020157026566A priority Critical patent/KR102196467B1/ko
Priority to CN201580000683.3A priority patent/CN105165006B/zh
Priority to EP15751747.5A priority patent/EP3110139B1/en
Publication of WO2015125403A1 publication Critical patent/WO2015125403A1/ja
Priority to US14/958,905 priority patent/US9554104B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Definitions

  • the present disclosure relates to a projection system and a semiconductor integrated circuit used in the projection system.
  • a technique for projecting video content onto an object for example, a structure such as a building, a so-called projection mapping technique is known.
  • Some projection mapping systems have an imaging function.
  • Patent Document 1 discloses a system that can simultaneously acquire a 3D shape of a subject and image the subject with visible light.
  • One non-limiting exemplary aspect of the present disclosure is a projection system capable of projecting video content on a structure with alignment as intended.
  • a projection system includes at least one projection apparatus that projects video light indicating video content and pattern light including a pattern image corresponding to information obtained by encoding the projection coordinates in the projection coordinate system. Includes an imaging device.
  • the computer-readable recording medium includes a nonvolatile recording medium such as a CD-ROM (Compact Disc-ReadReOnly Memory).
  • FIG. 1 is a schematic diagram showing a schematic configuration of a projection system according to an exemplary embodiment 1.
  • FIG. 2 is an image diagram illustrating a part of the coded pattern image corresponding to the pattern light.
  • FIG. 3 is a functional block configuration diagram of the arithmetic device according to the illustrative embodiment 1.
  • FIG. 4 is an operation flowchart of the projection system according to the exemplary embodiment 1.
  • FIG. 5 is a schematic diagram showing a schematic configuration of a projection system 100 according to an exemplary embodiment 2.
  • FIG. 6 is a schematic diagram showing a conventional system configuration example.
  • FIG. 7 is a schematic diagram showing a conventional system configuration example.
  • FIG. 8 is a schematic diagram showing a conventional system configuration example.
  • the measurement system 600 includes an imaging device 601, an infrared light source 602, a visible light source 603, and a slit 604 having a pattern.
  • the imaging device 601 can capture visible light and infrared light simultaneously.
  • the imaging device 601 can acquire the subject 605 irradiated with visible light from the visible light source 603 as a visible light image.
  • infrared light from the infrared light source 602 passes through the slit 604 and is irradiated to the subject 605 as pattern light.
  • the imaging device 601 can capture the irradiated pattern light as an infrared image.
  • the shape of the subject 605 can be obtained from the pattern light. In this way, the shape measurement of the subject 605 and the acquisition of the visible light image are realized at the same time.
  • Patent Document 1 In the field of measurement, in addition to Patent Document 1, for example, systems disclosed in Non-Patent Document 1, Patent Document 2, and Patent Document 3 are known.
  • Non-Patent Document 1 discloses a method of measuring a 3D shape at high speed using light pattern projection.
  • the system configuration of Non-Patent Document 1 is shown in FIG.
  • the measurement system 700 includes an imaging device 701 and a projection device 702 having a light source 731, a lens 711, and a digital micromirror device 721.
  • the imaging device 701 has a function of performing high-speed shooting.
  • the imaging device 701 can perform high-speed shooting at 6000 fps.
  • the projection device 702 can project a binary pattern having 1024 ⁇ 768 pixels at 6000 fps or higher.
  • a pattern obtained by Manchester-encoding each bit obtained by gray-coding the X coordinate of a 1024 ⁇ 768 image is set at 6000 fps in the digital micromirror device.
  • the pattern is projected onto the projection target 703, and the imaging device 701 captures the projection target 703 onto which the pattern is projected at 6000 fps.
  • each coordinate is represented by 10 bits. Furthermore, each coordinate is represented by 20 bits by Manchester encoding. Therefore, each X coordinate is obtained from the captured image of 20 frames. Further, the distance to the projection target 703 can be obtained for each pixel by trigonometry. The imaging result is transmitted to a calculation device (for example, a personal computer) and analyzed. A new X-coordinate bit can be obtained and recalculated every two frames by Manchester encoding. For this reason, 3D measurement is possible with a resolution of 3000 fps as the final throughput.
  • Patent Document 2 discloses a measurement system that adjusts video content based on imaging data.
  • the system configuration of Patent Document 2 is shown in FIG.
  • the measurement system 800 includes an imaging device 801, a projection device 802, and a calculation device 803.
  • the calculation device 803 performs image recognition of the projection target 804 from the imaging result acquired by the imaging device 801.
  • the calculation device 803 generates the video so that the video content is projected onto the area where the projection target 804 is recognized.
  • the projection device 802 projects the video content onto the projection target 804.
  • Patent Document 3 discloses a gradation display of a visible image using a digital micromirror device.
  • gradation display is performed in a digital micromirror device capable of only ON / OFF digital output
  • ON / OFF of the digital micromirror device is controlled in units of subfields in order to express gradation.
  • the gradation can be controlled in a shorter time than the ON / OFF of all the fields is controlled each time.
  • Patent Document 1 discloses that by projecting a pattern image for 3D measurement with non-visible light, measurement that is not affected by visible light from a visible light source installed at another location becomes possible. I'm just doing it. According to the technique of Patent Document 1, only a measurement result according to the coordinate system of the imaging apparatus can be obtained.
  • Non-Patent Document 1 merely discloses a technical level for performing 3D measurement at high speed. Since several tens of frames of images are required to transmit the coordinate information of the projection apparatus, it has been difficult to perform 3D measurement of a moving object at high speed. The technique of Non-Patent Document 1 is considered significant in that it suggests the possibility of performing measurement at high speed.
  • Non-Patent Document 1 discloses a technique of single 3D measurement, but does not mention any coordinate system of the projection apparatus.
  • Non-Patent Document 1 refers to offline processing after high-speed imaging, that is, non-real-time processing.
  • a computer architecture device such as a personal computer on the premise that image processing is performed at 60 Hz or the like, a delay of several tens of milliseconds or more occurs at the input / output.
  • Patent Document 2 parallax is generated when the positions of the imaging device and the projection device are different from each other.
  • Patent Document 2 does not mention any resolution of the parallax, nor does it mention speeding up of the system.
  • the inventors have come up with a projection system having a novel structure and a semiconductor integrated circuit used for the projection system.
  • This disclosure provides a projection device that can superimpose coordinate information without affecting the visible light as much as possible by using the same optical system as the video projection. Also provided is a method for converting a result of geometric measurement based on the coordinate system of the imaging apparatus into a result based on the coordinate system of the projection apparatus with a minimum error. Furthermore, an arithmetic circuit that feeds back coordinate information in real time is provided.
  • a projection system includes at least one projection device that projects video light indicating video content and pattern light including a pattern image corresponding to information obtained by encoding the projection coordinates in the projection coordinate system. Includes an imaging device.
  • the projection system further includes an arithmetic device, and the at least one imaging device has an imaging coordinate system, and generates an imaged image by imaging the pattern light projected onto the object from the projection device.
  • the arithmetic unit decodes the captured image into projection coordinate information indicating the projection coordinate corresponding to the imaging coordinate in the imaging coordinate system, and the projection coordinate information is used as a reference to the object. May be converted into the distance information, and the content of the video content may be determined according to the distance information.
  • the projection device may project the image light and the pattern light by time division multiplexing.
  • the apparatus can be configured with a smaller number of digital micromirror devices than the number of light sources, the cost can be reduced. Because it can be time-division multiplexed at high speed, it is indistinguishable from viewers who are simultaneously emitting light.
  • the projection device may project the image light and the pattern light by wavelength multiplexing.
  • the amount of delay can be further reduced in that projection and measurement can be performed simultaneously using wavelength multiplexed light.
  • the projection apparatus may project the pattern light by superimposing the pattern light on the video light by a digital watermark method.
  • the image light may be visible light, and the pattern light may be invisible light.
  • the image light is visually recognized by a person without being affected by the pattern light.
  • the invisible light may be infrared light.
  • the image light is visually recognized by a person without being affected by the pattern light.
  • the image light may have a first wavelength that affects the curing of the ultraviolet curable resin, and the pattern light may have a second wavelength different from the first wavelength.
  • the image light has an ultraviolet wavelength (for example, 100 nm to 400 nm) suitable for optical modeling for curing an ultraviolet curable resin that has been put into practical use as one of 3D printers, and the pattern light is used for the optical modeling. Further, it may have a wavelength of visible light or near infrared light (for example, 400 nm to 1000 nm) that does not easily affect the light.
  • At least one of an installation position, an imaging direction, and a zoom magnification of the at least one imaging device may change dynamically.
  • This configuration can partially increase the measurement resolution.
  • the at least one imaging device includes first and second imaging devices, and the first and second imaging devices may be disposed on both sides of the projection device.
  • the at least one imaging device includes first and second imaging devices, and the first imaging device is disposed closer to the object than the second imaging device. May be.
  • This configuration can partially increase the measurement resolution.
  • the calculation device acquires first color information of a pixel specified by the imaging coordinates from the imaging device, and uses the projection coordinates to correspond to the projection pixel corresponding to the first color information.
  • the second color information may be determined.
  • the imaging apparatus can perform projection based on the color information of the material at the exact position of the projection destination. Therefore, for example, the following becomes possible.
  • a semiconductor integrated circuit projects video light indicating video content and pattern light including a pattern image corresponding to information obtained by encoding projection coordinates in a projection coordinate system, and the projection apparatus
  • the projected coordinates corresponding to the imaging coordinates in the imaging coordinate system are used in a projection system that includes at least one imaging device that captures the pattern light projected onto the object from the image and generates a captured image.
  • a pattern decoding unit that decodes the projected coordinate information
  • a coordinate conversion unit that converts the projected coordinate information into distance information to the object on the basis of the projected coordinate system
  • a content generation unit that determines the content of
  • this semiconductor integrated circuit is used in a projection system, it is possible to suppress the occurrence of deviation between projection and measurement in principle, and to realize superimposition of geometric measurement that does not interfere with visible light images. Further, it is possible to perform projection by aligning the video content on the structure as intended.
  • FIG. 1 schematically shows an example of a schematic configuration of the projection system 100.
  • the projection system 100 includes an imaging device 101, a projection device 102, and a calculation device 103.
  • the imaging apparatus 101 can capture 6000 frames per second, as in Non-Patent Document 1. Further, the imaging apparatus 101 has a large transfer band without being buffered inside, and can output imaging data to the arithmetic apparatus 103. Furthermore, the imaging device 101 has sensitivity in the infrared light region.
  • the imaging apparatus 101 has sensitivity in the infrared light region.
  • the projection device 102 projects video light indicating video content and pattern light indicating a pattern image obtained by encoding the projection coordinates defined in the projection coordinate system.
  • the projected coordinate system means a coordinate system that specifies the coordinates of each pixel of an image of a video content that is a projected image.
  • the coordinates that specify each pixel of the image of the video content are referred to as “projection coordinates” in the projection coordinate system.
  • the projection apparatus 102 typically includes a lens optical system 111, a visible light LED light source 131, an infrared LED light source 132, a dichroic mirror 141, and a digital micromirror device 121.
  • the lens optical system 111 may be composed of a single lens or may be composed of a plurality of lenses (lens group).
  • the plurality of lenses may include, for example, a zoom lens and a focus lens.
  • the visible light LED light source 131 emits light in the visible light band (approximately 380 nm to 780 nm) as image light. From the viewpoint of simplification, the visible light LED light source 131 can be a monochromatic visible light source. However, it is of course possible to project a full-color image by providing three light sources for the three colors of red, blue and green. Alternatively, if there is a color wheel that can rotate at a sufficiently high speed, a full-color image can be projected by providing a white light source such as a high-pressure mercury lamp instead of the visible light LED light source 131 and attaching it to the output.
  • a white light source such as a high-pressure mercury lamp
  • the visible light LED light source 131 a light source capable of extracting light for each wavelength from a high-pressure mercury lamp with a dichroic prism or the like can be used.
  • any light source can be used for the present disclosure.
  • the infrared LED light source 132 emits invisible light as pattern light.
  • Invisible light has, for example, a wavelength in the infrared light band (generally 700 nm to 1000 nm).
  • the infrared LED light source 132 is used as the light source of invisible light, but a light source that emits ultraviolet rays may be used.
  • the digital micromirror device 121 is a device in which micromirrors are arranged on, for example, a 1024 ⁇ 768 grid.
  • the digital micromirror device 121 can output an image of 30000 frames per second in a binary pattern.
  • the digital micromirror device 121 can be replaced with a liquid crystal device.
  • the dichroic mirror 141 has a characteristic of transmitting visible light and reflecting infrared light. As the dichroic mirror 141, known ones can be widely used.
  • the imaging device 101 captures pattern light and generates a captured image of the pattern light.
  • the imaging device 101 includes an image sensor, a lens optical system, and the like.
  • an image sensor having a number of pixels of 1024 ⁇ 768 can be used in correspondence with the digital micromirror device 121.
  • the transfer band is about 38 Gbps.
  • the arithmetic unit 103 is realized by, for example, an FPGA (Field Programmable Gate Array). Considering the current semiconductor technology level, a transfer bandwidth of about 38 Gbps is a range that can be sufficiently realized.
  • the imaging device 101 has an imaging coordinate system.
  • the imaging coordinate system means a coordinate system that specifies the coordinates of each pixel of a captured image acquired by the imaging apparatus 101. Differentiating from “projection coordinates”, the coordinates of each pixel of the captured image are referred to as “imaging coordinates” of the imaging coordinate system.
  • the arithmetic unit 103 decodes the captured image into projection coordinate information indicating projection coordinates corresponding to the imaging coordinates defined in the imaging coordinate system, and converts the projected coordinate information into distance information to the structure with the projection coordinate system as a reference.
  • the content of the video content is selectively determined according to the distance information.
  • FIG. 2 illustrates a part of a coded pattern image (coordinate pattern) corresponding to the pattern light.
  • the pattern image shown in FIG. 2 is obtained by gray-coding the X and Y coordinates of each mirror of the digital micromirror device 121 having a 1024 ⁇ 768 micromirror and then representing each bit as a black and white binary image. It is done.
  • the projection apparatus 102 can project pattern light onto the structure 104 based on a pattern image of 1024 ⁇ 768 pixels, for example.
  • Both the X coordinate and Y coordinate of the pixel are greater than 512 and less than or equal to 1024.
  • 10 bits from bit 0 to bit 9 representing the X coordinate are gray-coded.
  • 10 bits from bit 0 to bit 9 representing the Y coordinate are gray-coded.
  • the coordinate information can be coded by assigning 10 bits to each coordinate for a total of 20 bits.
  • 40-bit image data is used to encode the 20-bit information will be described.
  • FIG. 2 is an image diagram showing typical 12 pattern images included in 40 pattern images in an example of encoding with 40 pattern images.
  • (X9a) in FIG. 2 shows a pattern image corresponding to bit 9 after the X coordinate is gray-coded.
  • (X9b) in FIG. 2 shows an inverted pattern image obtained by inverting the image pattern of (X9a).
  • (X8a) in FIG. 2 shows a pattern image corresponding to bit8 after the X coordinate is gray-coded
  • (X8b) shows an inverted pattern image obtained by inverting the image pattern of (X8a).
  • (X7a) in FIG. 2 shows a pattern image corresponding to bit 7 after the X coordinate is gray-coded
  • (X7b) shows an inverted pattern image obtained by inverting the image pattern of (X7a).
  • (Y9a) in FIG. 2 shows a pattern image corresponding to bit 9 after the Y coordinate is gray-coded.
  • (Y9b) in FIG. 2 shows an inverted pattern image obtained by inverting the image pattern of (Y9a).
  • (Y8a) in FIG. 2 shows a pattern image corresponding to bit8 after Y coordinates are converted into gray codes, and
  • (Y8b) shows an inverted pattern image obtained by inverting the image pattern of (Y8a).
  • (Y7a) in FIG. 2 shows a pattern image corresponding to bit 7 after the Y coordinate is gray-coded
  • (Y7b) shows an inverted pattern image obtained by inverting the image pattern of (Y7a).
  • the projection device 102 sequentially projects 40 patterns including these patterns onto the structure 104.
  • the imaging device 101 sequentially captures the projected pattern image.
  • FIG. 3 shows an example of a functional block configuration of the arithmetic unit 103.
  • the arithmetic device 103 has a function of controlling the entire projection system.
  • the arithmetic device 103 can be realized by, for example, a computer, an arithmetic device represented by a processor, or a semiconductor integrated circuit. Examples of the semiconductor integrated circuit include ASIC (Application Specific Integrated Circuit) and FPGA.
  • a computer program that exhibits the function of each component may be implemented in the memory, and the function of each component may be realized by a processor in the semiconductor integrated circuit executing the computer program sequentially.
  • the arithmetic unit 103 includes an image input unit 401, a pattern decoding unit 402, a frame memory unit 403, a code decoding memory unit 404, a coordinate conversion unit 405, a coordinate conversion memory unit 406, and a coordinate interpolation unit 407.
  • Each memory unit in the arithmetic device 103 may be configured by a RAM, for example.
  • FIG. 4 shows an operation flowchart of the projection system 100 according to the present embodiment.
  • the projection device 102 projects pattern light in the periods 211, 213, and 215 and projects image light in the periods 212, 214, and 216. That is, the projector 102 projects the image light and the pattern light by time division multiplexing.
  • P of the micromirror indicates a pattern image for measurement
  • V indicates video content as a projection image.
  • the pattern generation unit 411 turns on the infrared LED light source 132.
  • the pattern generation unit 411 generates a pattern image for pattern projection by the method described above.
  • the pattern generation unit 411 outputs image data indicating a pattern image to the image output unit 410 so that the digital micromirror device 121 performs measurement pattern projection.
  • the image output unit 410 outputs the image data from the pattern generation unit 411 and the lighting information of the infrared LED light source 132 to the projection device 102. Since the pattern light indicating the pattern image is projected as infrared light, it is measured by the imaging device 101 but does not affect human vision.
  • the pattern generation unit 411 can output one pattern in 1/6000 second. In the period 211, the pattern generation unit 411 outputs a total of 40 frames of the 10-bit coordinate image of each of the X coordinate and the Y coordinate and its inverted image. On the other hand, the imaging apparatus 101 captures an image with 40 frames in synchronization with the rate at which the digital micromirror device 121 outputs frames. In this example, the length of the period 211 is 6.7 milliseconds.
  • the image output unit 410 also outputs a pattern image to the projection apparatus 102 in synchronization with the output timing of the pattern generation unit 411.
  • the image input unit 401 controls the exposure of the imaging apparatus 101 in synchronization with the output timing of the image output unit 410, whereby 40 frames are captured.
  • the image input unit 401 receives a captured image (imaging data) captured by the imaging device 101.
  • the image input unit 401 transmits the received imaging data to the pattern decoding unit 402.
  • the image input unit 401 determines a pattern corresponding to the received imaging data in synchronization with the image output unit 410.
  • the pattern decoding unit 402 decodes the captured image indicating the pattern image from the imaging apparatus 101 into projection coordinate information indicating the projection coordinates corresponding to the imaging coordinates defined in the imaging coordinate system.
  • the function of the pattern decoding unit 402 will be described in more detail.
  • the pattern decoding unit 402 If the image data received from the image input unit 401 is a non-bit inverted image of X and Y coordinates, the pattern decoding unit 402 writes the image data to the frame memory unit 403. If the image data is a bit-reversed image of the X and Y coordinates, the pattern decoding unit 402 calculates the difference between the two while reading the non-bit-reversed image previously recorded in the frame memory unit 403. By taking the difference, it is possible to discriminate between “0” and “1” of the projection light without depending on the color of the projection target or the ambient light. An area where the difference is equal to or less than a predetermined value can be determined as an area where the projection light is not projected, and the area can be excluded from the measurement target area.
  • the code decoding memory unit 404 a writing area is provided for each pixel of the imaging apparatus 101. After taking the difference, the pattern decoding unit 402 writes each bit value of the gray-coded coordinate data in the writing area in bit units. This operation is executed for 40 frames during the exposure time of the imaging apparatus 101. Thus, information indicating whether or not the X coordinate and Y coordinate of the projection device 102 corresponding to each pixel of the imaging device 101 exist, and a 10-bit value indicating each of the X coordinate and Y coordinate when present, Is written in the code decoding memory unit 404. The pattern decoding unit 402 finally reconverts the gray code coordinate data recorded in the code decoding memory unit 404 into binary and outputs it to the coordinate conversion unit 405.
  • the processing so far, it is possible to know from which pixel of the projection device 102 the projection light imaged at a certain pixel position of the imaging device 101 is projected. That is, it is possible to know the correspondence between the projected coordinates and the imaging coordinates defined by the imaging coordinate system of the imaging apparatus. Therefore, if the mutual positional relationship between the imaging device 101 and the projection device 102 is known, the distance to the structure for each imaging pixel can be obtained by trigonometry. However, the obtained information is distance information corresponding to the imaging pixels of the imaging device 101. Therefore, in this embodiment, the information is converted into distance information corresponding to the pixel coordinates of the projection device 102.
  • the coordinate conversion unit 405 writes the data received from the pattern decoding unit 402 in the area of the coordinate conversion memory unit 406 specified by the address corresponding to the projection coordinates of the projection apparatus 102. Thereafter, the coordinate conversion unit 405 generates distance information corresponding to the projection coordinates of the projection device 102 by reading the distance information from the coordinate conversion memory unit 406 in the order of the X coordinate and the Y coordinate of the projection device 102.
  • a projection pixel having no corresponding point may occur.
  • light corresponding to a plurality of pixels in the pattern image projected onto the structure can be captured by one imaging pixel of the imaging device 101.
  • a projection pixel that does not have a corresponding point is rounded to one of the pixel coordinates of two adjacent projection pixels, so that one projection pixel has no corresponding destination.
  • the coordinate interpolation unit 407 receives distance information corresponding to the projection coordinates of the projection apparatus 102 from the coordinate conversion unit 405.
  • the coordinate interpolation unit 407 interpolates distance information with respect to projection coordinates where no distance information exists. This is performed using an interpolation method such as linear interpolation from the distance information of the peripheral coordinates only in a place where a certain number of projected coordinates having distance information that can be interpolated exist in the vicinity thereof.
  • the coordinate interpolation unit 407 outputs distance information based on the projected coordinates to the content generation unit 408.
  • the content generation unit 408 generates video content for projection across the periods 212 and 213.
  • the content generation unit 408 processes the video content recorded in advance in the content memory unit 409 based on the distance information received from the coordinate interpolation unit 407, and outputs the processed video content to the image output unit 410.
  • the processed video content may be referred to as “processed video content” in distinction from the pre-recorded video content.
  • the content generation unit 408 generates video content that accurately corresponds to the distance to the structure with no coordinate deviation. Further, the content generation unit 408 can selectively determine the content of the video content according to the distance information. For example, it is possible to perform processing such as cutting out and detecting an object at a certain distance and accurately rendering video content for visible light projection. The content generation unit 408 outputs the processed video content for projection to the image output unit 410.
  • the image output unit 410 outputs the video content for visible light projection generated in the periods 212 and 213 to the projection apparatus 102 in the period 214.
  • the visible light LED light source 131 is turned on, and projection light corresponding to the video content is output by the digital micromirror device 121.
  • the digital micromirror device 121 can output 30000 binary frames per second. Therefore, for example, an image with 256 gradations can be projected using 255 frames within 8.5 milliseconds. Since this projection is made by a visible light source, it is visually recognized by a human.
  • the pattern image is projected and captured by infrared light in the same manner as in the period 211.
  • the content generation unit 408 generates video content that accurately corresponds to the distance to the structure with no coordinate deviation.
  • the projection device 102 projects video content for projection. Thus, measurement and projection can be performed continuously.
  • the repetition cycle of measurement and projection is 15.2 milliseconds when the measurement time (period 211) is 6.7 milliseconds and the projection time (period 212) is 8.5 milliseconds.
  • the time from measurement to reflection of the measurement result (hereinafter referred to as “delay time”) can be 15.2 milliseconds, which is the same as the repetition period.
  • flickering of a projected image due to a non-display time such as a measurement period in which video content is not projected can be sufficiently reduced to a level that is not noticed by human eyes.
  • the delay time corresponds to the total time of the periods 212 and 213.
  • the arithmetic device 103 can decode the pattern image captured by the imaging device 101, it can withstand relative position measurement. Therefore, even if the installation accuracy is not sufficiently ensured, it can withstand practical use. In that respect, the simplicity of installation can be ensured. In addition, it is possible to obtain high robustness against the expansion of installation-related errors due to aging.
  • both the X coordinate and the Y coordinate are used.
  • the present disclosure is not limited to this, and is used when calculating the distance to the object if the imaging device 101 and the projection device 102 are arranged so that parallax is generated only in one axial direction.
  • the pattern image can be halved.
  • Non-Patent Document 1 a Manchester encoding method in which bit-inverted signals are alternately transmitted is illustrated.
  • the present disclosure is not limited to this method. For example, if a difference is obtained after a pattern image is generated in advance with reference to an all-zero pattern image and an all-one pattern image, it is possible to perform measurement with a smaller number than the Manchester encoding method. By adopting such a method, the time period 211 can be further shortened.
  • the period 211 can be taken for two frames. It can be the time required. As a result, the time period 211 can be set to 333 microseconds.
  • the video content for projection is generated based on the imaging result across the period 212 and the period 213, and the processed video content is projected in the period 214.
  • content generation can be performed in a short time during the period 211, the result can be reflected by visible light projection in the next period 212.
  • the measurement result is handled as three-dimensional data including the distance to the object.
  • the present disclosure is very useful even when the measurement result is handled as 2D data and simple alignment is performed.
  • a threshold value for example, a threshold value according to the distance to the object
  • the time for generating the video content can be greatly shortened.
  • Non-Patent Document 2 instead of updating all the frames as in Non-Patent Document 2, if subfields are provided between frames and updated in units of subfields, gradation can be obtained in a shorter time. It is known that it can be expressed. If such a technique and the present disclosure are used in combination, the overall frame rate can be further improved.
  • the computer architecture has a drawing system based on image processing at 60 Hz.
  • a delay of at least 33 milliseconds including buffering may occur.
  • the conventional technique is applied to a bowling alley or the like, the ball moves as much as 495 millimeters from measurement to projection, and the conventional technique cannot withstand practical use.
  • the delay can be further reduced depending on the configuration.
  • the measurement result can be reflected in the projection with a delay shorter than 1 millisecond.
  • the error between measurement and projection can be suppressed to 10 millimeters or less even for an object moving at a speed of 10 meters per second.
  • accuracy and delay are in a trade-off relationship. In practice, the system may be adjusted based on that relationship.
  • This disclosure is most suitable for a projection mapping system with interactivity.
  • the speed of the ball is about 15 meters per second even in world recording.
  • the shift amount of the video content can be 15 millimeters or less.
  • the video content for projection can be processed at a very high speed.
  • the projection system 100 includes one imaging device 101.
  • the projection system 100 includes one imaging device 101.
  • at least two imaging devices 101 on both sides of the projection device 102, it is possible to reduce the occlusion area where the projection light hits but cannot be imaged.
  • the projection system 100 may include first and second imaging devices. At that time, the first imaging device can be disposed closer to the object (structure) than the second imaging device.
  • a conventional projector as shown in FIG. 7 can be used instead of using the infrared LED light source 132.
  • pattern light for measurement is also projected by visible light.
  • the Manchester encoding method when used, the same amount of 0 and 1 is generated in all pixels. For this reason, the pattern light is not recognized by the human eye and is viewed as if a certain offset is applied to the image light. In this case, it is also possible to subtract the offset from the visible light image light in advance.
  • This is a kind of technology such as digital watermarking, and is realized, for example, by embedding a pattern image for measurement in lower bits where visibility of a visible light image is not good.
  • the lower bits appear as analog quantities of each frame, not a frame of a specific binary image. For this reason, it is important to superimpose the pattern light on the image light by the digital watermark technique.
  • the imaging device 101 may acquire the projection image (video content) of the projection light as the first visible light image together with the pattern image.
  • the integral value in the time direction of the light indicating the Manchester-encoded pattern image is always constant. For this reason, it is possible to obtain a projected image by visible light, which is the same as the projection of white light.
  • projection light indicating video content may be captured as the second visible light image by the imaging device 101 in the period 212. From the second visible light image, it is possible to follow what color the projected structure 104 has changed due to the projection.
  • imaging coordinates in the imaging coordinate system can be converted into projected coordinates in the projection coordinate system. Therefore, when adjusting the projection color using the visible light image, it is possible to project the projection light without misalignment.
  • the visible light image at this time either the first visible light image or the second visible light image may be used as it is, or an image in which both are combined to reduce the influence of the pattern component may be used. .
  • This disclosure is useful for projection mapping in the field where product exhibitions are held. For example, it is meaningful to show food ingredients vividly or to reproduce the color of products according to the catalog without depending on ambient light. Projection light can be projected without positional deviation in accordance with the shape and / or movement of the object to be projected.
  • the present disclosure is also a useful technique in the field of optical modeling such as a 3D printer.
  • the 3D printer performs optical modeling by projecting ultraviolet rays indicating modeling information onto an ultraviolet curable resin using an ultraviolet projector. For example, if the visible light LED light source 131 is changed to an ultraviolet light source, the optical modeling can be controlled by ultraviolet rays while measuring 3D information using infrared rays that do not cure the resin. Since the state of the modeled object and the material resin can be obtained based on the distance information in the projection coordinate system of the projection apparatus 102, fine optical modeling control with few errors can be performed.
  • the system according to the present disclosure may be used for an automobile headlight.
  • the light of an automobile headlight is reflected by, for example, raindrops and shiny objects.
  • the reflected light may dazzle the driver's eyes.
  • it is possible to secure a safe field of view by masking light projection on these objects and the like by pinpointing by 3D measurement. By masking light projection on the face (particularly the eyes) for pedestrians and oncoming vehicles, it is possible to prevent human eyes from being affected.
  • the projection system 100 according to the present embodiment is different from the projection apparatus 102 according to the first embodiment in that the projection apparatus 102 includes a dichroic prism 841.
  • the structure of the projection device 102 will be mainly described.
  • FIG. 5 shows a schematic configuration of the projection system 100 according to the present embodiment.
  • the projection system 100 includes an imaging device 101, a projection device 102, and a calculation device 103.
  • the projection apparatus 102 includes digital micromirror devices 121 and 121, a visible light LED light source 131, a dichroic prism 841, an infrared LED light source 132, and a lens optical system 111.
  • the dichroic prism 841 mixes visible light and infrared light incident from the left and right and outputs mixed light to the lens optical system.
  • the imaging apparatus 101 preferably includes an image sensor that is substantially sensitive to infrared light. Thereby, even if the imaging device 101 receives mixed light, it can image pattern light that is infrared light.
  • the visible light LED light source 131 and the digital micromirror are projected at the same time while projecting pattern light for distance measurement by the combination of the digital micromirror device 121 and the infrared LED light source 132.
  • Visible projection light can be projected in combination with the device 122.
  • the projector 102 projects the image light and the pattern light by wavelength multiplexing.
  • a full-color image can be obtained by attaching a color wheel to the output of the visible light LED light source 131 or by providing three light sources for three colors of red, blue, and green. Of course, you can project it.
  • each of the digital micromirror devices 121 and 122 may be individually provided for red, blue and green as in a three-plate projector.
  • a new four-plate projector may be realized by further adding an infrared digital micromirror device.
  • the cost is increased accordingly.
  • the amount of delay can be further reduced in that projection and measurement can be performed simultaneously using mixed light.
  • measurement and projection can be performed simultaneously using one projection device.
  • the position of the object can be measured at a very high speed in the projection coordinate system of the projection apparatus, and an object tracking type projection mapping system can be constructed at low cost.
  • the present disclosure is useful for lighting effects including interactive projection mapping for amusement including movement such as bowling, billiards, and bodily attraction. Further, the present disclosure is useful for lighting effects at events and concerts. In addition, the present disclosure is useful for in-store decoration production in accordance with the movement of customers in restaurants or bars.
  • the present disclosure can be used in a showcase such as a department store or a store, or a product display.
  • the present disclosure can also be applied to an apparatus that adjusts the amount of light so that the color of a product does not depend on ambient light and is in accordance with the catalog.
  • the present disclosure is also optimal for uses such as projecting work guidelines on work spaces in fields such as factories and distribution. Applications in the field of 3D stereolithography and machine vision such as automobile headlights can also be expected.
  • the image light has an ultraviolet wavelength (for example, a wavelength included in 100 nm to 400 nm) suitable for stereolithography for curing an ultraviolet curable resin that has been put to practical use as one of 3D printers, and the pattern light is a light beam. It may have a wavelength of visible light or near infrared light (for example, a wavelength included in 400 nm to 1000 nm) that does not affect the modeling.
  • an ultraviolet wavelength for example, a wavelength included in 100 nm to 400 nm
  • the pattern light is a light beam. It may have a wavelength of visible light or near infrared light (for example, a wavelength included in 400 nm to 1000 nm) that does not affect the modeling.
  • the wavelength band A included in 100 nm to 400 nm is selected as the image light
  • the light of the wavelength band B included in 400 nm to 1000 nm is selected as the pattern light
  • the wavelength band A and the wavelength band B have no overlapping wavelength. You may do it.
  • the projection system and semiconductor integrated circuit of the present disclosure can be used for a projection mapping system.
  • DESCRIPTION OF SYMBOLS 100 Projection system 101 Imaging apparatus 102 Projection apparatus 103 Arithmetic apparatus 104 Structure 111 Lens optical system 121,122 Digital micromirror device 131 Visible light LED light source 132 Infrared LED light source 141 Dichroic mirror 401 Image input part 402 Pattern decoding part 403 Frame memory Unit 404 code decoding memory unit 405 coordinate conversion unit 406 coordinate conversion memory unit 407 coordinate interpolation unit 408 content generation unit 409 content memory unit 410 image output unit 411 pattern generation unit 501 visible light source 502 infrared light source 504 slit 702 calculation device 841 Dichroic Prism

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

投影システム（１００）は、投影装置（１０２）と、少なくとも１つの撮像装置（１０１）とを備え、投影装置は、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光とを投影する。

Description

投影システムおよび半導体集積回路
　本開示は、投影システム、投影システムに利用される半導体集積回路に関する。
　物体、例えば建物のような構造物に映像コンテンツを投影する技術、いわゆるプロジェクションマッピングと呼ばれる技術が知られている。プロジェクションマッピングのシステムの中には、撮像機能を備えているシステムがある。
　例えば、特許文献１は、被写体の３Ｄ形状を取得すること、および被写体を可視光で撮像することを同時に行うことができるシステムを開示している。
特開２００５－２５８６２２号公報 特開２０１３－１９２１８９号公報 特開２０００－２５９１２６号公報
　上述した従来の投影システムでは、投影対象である構造物に映像コンテンツを意図通りに位置合わせをして投影する技術の向上が求められていた。本開示の非限定的で例示的な一態様は、構造物に映像コンテンツを意図通りに位置合わせをして投影することが可能な投影システムである。
　本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
　本開示の一態様に係る投影システムは、映像コンテンツを示す映像光と、投影座標系における投影座標をコード化した情報に対応するパターン画像を含むパターン光とを投影する投影装置と、少なくとも１つの撮像装置を含む。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
　本開示によれば、構造物に映像コンテンツを意図通りに位置合わせをして投影を行うことが可能になる。
図１は例示的な実施の形態１による投影システムの概略的な構成を示す模式図 図２はパターン光に対応した、コード化されたパターン画像の一部を例示するイメージ図 図３は示的な実施の形態１による演算装置の機能ブロック構成図 図４は例示的な実施の形態１による投影システムの動作フローチャート 図５は例示的な実施の形態２による投影システム１００の概略的な構成を示す模式図 図６は従来のシステム構成例を示す模式図 図７は従来のシステム構成例を示す模式図 図８は従来のシステム構成例を示す模式図
　本開示の実施の形態を説明する前に、先ずは図６を参照しながら従来の計測システム６００を説明する。
　計測システム６００は、撮像装置６０１、赤外光源６０２、可視光光源６０３およびパターンを有するスリット６０４を備えている。撮像装置６０１は、可視光および赤外光を同時に撮像できる。撮像装置６０１は、可視光光源６０３によって可視光が照射された被写体６０５を可視光の画像として取得できる。また、赤外光源６０２からの赤外光がスリット６０４を通り、パターン光として被写体６０５に照射される。撮像装置６０１は、その照射されたパターン光を赤外画像として撮影することができる。その結果、パターン光から被写体６０５の形状を得ることができる。このようにして被写体６０５の形状計測と可視光画像の取得とが同時に実現される。
　計測の分野において特許文献１以外に、例えば非特許文献１、特許文献２および特許文献３に開示されたシステムが知られている。
　非特許文献１は、光パターン投影を用いて高速に３Ｄ形状を計測する手法を開示している。非特許文献１のシステム構成を図７に示す。計測システム７００は、撮像装置７０１と、光源７３１、レンズ７１１およびデジタルマイクロミラーデバイス７２１を有する投影装置７０２とを備えている。撮像装置７０１は高速度撮影を行う機能を有している。例えば、撮像装置７０１は、６０００ｆｐｓで高速撮影ができる。投影装置７０２は、１０２４×７６８の画素を有するバイナリパターンを６０００ｆｐｓ以上で投影できる。
　具体的には、１０２４×７６８の画像のＸ座標をグレイコード化した各ビットをマンチェスタ符号化して得られるパターンが、デジタルマイクロミラーデバイスに６０００ｆｐｓで設定される。そのパターンは投影対象７０３に投影され、撮像装置７０１は、パターンが投影された投影対象７０３を６０００ｆｐｓで撮影する。
　Ｘ座標は０から１０２３までの範囲であるので、各座標は１０ｂｉｔで表される。さらにマンチェスタ符号化することにより各座標は２０ｂｉｔで表される。そのため、２０フレームの撮像画像から各Ｘ座標が得られる。また、三角法によって投影対象７０３までの距離を画素毎に得ることができる。撮像結果は、計算装置（例えば、パーソナルコンピュータ）に伝送されて解析される。マンチェスタ符号化によって２フレーム毎に新しいＸ座標のビットを得て再計算できる。このため、最終的なスループットとして３０００ｆｐｓの分解能で３Ｄ計測が可能になる。
　また、特許文献２は、撮像データに基づいて映像コンテンツを調整する計測システムを開示している。特許文献２のシステム構成を図８に示す。計測システム８００は、撮像装置８０１、投影装置８０２、および計算装置８０３を備えている。計算装置８０３は、撮像装置８０１により取得された撮像結果から投影対象８０４の画像認識を行う。計算装置８０３は、投影対象８０４を認識した領域に映像コンテンツを投射するようにその映像を生成する。投影装置８０２は、映像コンテンツを投影対象８０４に投影する。
　また、特許文献３は、デジタルマイクロミラーデバイスを用いた可視画像の階調表示を開示している。ＯＮ／ＯＦＦのデジタル出力しかできないデジタルマイクロミラーデバイスにおいて階調表示を行う際に、階調を表現するためにサブフィールド単位でデジタルマイクロミラーデバイスのＯＮ／ＯＦＦを制御する。これにより、フィールド全てのＯＮ／ＯＦＦを毎回制御するよりも短い時間で階調を制御できる。
　以下、本開示に際して、考察された従来技術の問題点を説明する。
　プロジェクションマッピングなどの、投影対象である構造物に映像コンテンツを投影することを考えた場合、映像コンテンツを構造物に意図通り位置あわせをして投影することが求められる。最終的には、投影装置の座標系から見た構造物の幾何学的な位置情報を得ることが必要となる。
　また、静的な構造物に投影するときは、投影とは別に事前計測を１度行えばよい。その場合、投影と計測との干渉を無視できる。一方、動的に移動し、および／または変形する物体に対して、それを３Ｄ計測しながらその結果に基づいてリアルタイムに誤差のない投影を行うことを考える。その場合、投影中の映像コンテンツに影響を与えないように計測を行うことが求められる。
　しかしながら、特許文献１は、３Ｄ計測用のパターン画像を非可視光により投影することによって、別の場所に設置された可視光光源からの可視光の影響を受けない計測が可能になることを開示しているに過ぎない。特許文献１の技術によれば、撮像装置の座標系に準ずる計測結果しか得られない。
　また、非特許文献１も、高速に３Ｄ計測を行う技術水準を開示しているに過ぎない。投影装置の座標情報を送出するには数十フレーム分の画像が必要になるので、従来、移動物体の３Ｄ計測を高速に行うことは困難であった。非特許文献１の技術は、高速に計測を行える可能性を示唆した点では有意義であると考えられる。
　しかしながら、非特許文献１は３Ｄ計測単体の技術を開示しているが、投影装置の座標系について何ら言及していない。また、非特許文献１は、高速撮像後のオフライン処理、すなわち非リアルタイムでの処理について言及している。そもそも、６０Ｈｚなどで画像処理を行うことを前提としたパーソナルコンピュータのような計算機アーキテクチャ装置においては、数十ミリ秒以上の遅延が入出力で発生する。その結果、移動物体に映像を投影しながらそれを撮像し、その結果をリアルタイムで投影にフィードバックさせることは困難である。
　特許文献２の技術によれば、撮像装置と投影装置との位置が互いに異なることによって視差が発生する。しかしながら、特許文献２は、その視差の解決について何ら言及していないし、システムの高速化についても言及していない。
　このような課題に鑑み、新規な構造を備えた投影システム、それに利用される半導体集積回路に想到した。
　本開示は、映像投影と同じ光学系を利用して、可視光に極力影響を与えず座標情報を重畳できる投影装置を提供する。また、撮像装置の座標系を基準とした幾何学計測の結果を投影装置の座標系を基準とした結果に最小の誤差で変換する方法を提供する。さらに、リアルタイムで座標情報をフィードバックする演算回路を提供する。
　本開示の一態様の概要は以下のとおりである。
　本開示の一態様である投影システムは、映像コンテンツを示す映像光と、投影座標系における投影座標をコード化した情報に対応するパターン画像を含むパターン光とを投影する投影装置と、少なくとも１つの撮像装置を含む。
　この構成によれば、映像投影と計測とを同じ投影装置によって行うことができる。
　ある態様において、前記投影システムは、演算装置をさらに備え、前記少なくとも１つの撮像装置は、撮像座標系を有し、前記投影装置から物体に投影された前記パターン光を撮像して撮像画像を生成し、前記演算装置は、前記撮像画像を、前記撮像座標系における撮像座標に対応する前記投影座標を示す投影座標情報に復号し、前記投影座標情報を、前記投影座標系を基準として前記物体までの距離情報に変換し、前記距離情報に応じて、前記映像コンテンツの内容を決定してもよい。
　この構成によれば、投影と計測とのずれの発生を原理的に抑制でき、かつ、可視光の映像に干渉しない幾何学計測の重畳を実現できる。また、構造物に映像コンテンツを意図通りに位置合わせをして投影を行うことがきる。
　ある態様において、前記投影装置は、前記映像光および前記パターン光を時分割多重化して投影してもよい。
　この構成によれば、光源の数に比べて少ない数のデジタルマイクロミラーデバイスで装置を構成できるので、コストを削減できる。高速に時分割多重できるので、鑑賞者には同時に発光されているのと区別がつかない。
　ある態様において、前記投影装置は、前記映像光および前記パターン光を波長多重化して投影してもよい。
　この構成によれば、波長多重化された光を利用して投影と計測とを完全同時に行える点で、遅延量をさらに減少させることができる。
　ある態様において、前記投影装置は、前記映像光に前記パターン光を電子透かし法により重畳させて投影してもよい。
　この構成によれば、可視光映像の視認性が良くない下位ビットを有効に活用できる。
　ある態様において、前記映像光は可視光であり、前記パターン光は非可視光であってもよい。
　この構成によれば、パターン光による影響を受けずに、映像光が人に視認される。
　ある態様において、前記非可視光は赤外光であってもよい。
　この構成によれば、パターン光による影響を受けずに、映像光が人に視認される。
　ある態様において、前記映像光は紫外線硬化樹脂の硬化に作用を与える第一の波長を有し、前記パターン光は前記第一の波長とは異なる第二の波長であってもよい。前記映像光は３Ｄプリンタなどの方式の一つとして実用化されている紫外線硬化樹脂を硬化させる光造形に適した紫外線波長（例えば、１００ｎｍ～４００ｎｍ）を有し、前記パターン光は、前記光造形に影響を与えにくいそれ以上の可視光線や近赤外光線の波長（例えば、４００ｎｍ～１０００ｎｍ）を有していてもよい。
　この構成によれば、投影装置の投影座標系での距離情報に基づいて造形物および材料樹脂の状態を得ることができるので、誤差の少ない細かな光造形の制御が可能となる。
　ある態様において、前記少なくとも１つの撮像装置の設置位置、撮像方向およびズーム倍率の少なくとも１つは動的に変化してもよい。
　この構成によれば、計測の解像度を部分的に高めることができる。
　ある態様において、前記少なくとも１つの撮像装置は、第１および第２の撮像装置を含み、前記第１および第２の撮像装置は、前記投影装置の両側に配置され得る。
　この構成によれば、投影光は当たるが撮像できないオクルージョン領域を減らすことができる。
　ある態様において、前記少なくとも１つの撮像装置は、第１および第２の撮像装置を含み、前記第１の撮像装置は、前記第２の撮像装置と比べて、前記物体により近い位置に配置されていてもよい。
　この構成によれば、計測の解像度を部分的に高めることができる。
　ある態様において、前記演算装置は、前記撮像装置から前記撮像座標で特定される画素の第１の色情報を取得し、前記投影座標を用いて、前記第１の色情報に対応した前記投影画素の第２の色情報を決定してもよい。
　この構成によれば、撮像装置は投影先の正確な位置の素材の色情報に基づいた投影を行うことが可能となる。そのため、例えば以下のようなことが可能になる。
　第１に、異なる色が混在する面に、あたかも均一なスクリーンに投影したときと同じように見えるように補正できる。第２に、投影先の素材を鮮やかに見せる演色性の高い照明効果を発揮できる。第３に、存在する素材の視認性を下げて隠したりできる。また、本システムは低遅延を実現できるので、投影対象が移動する場合でもそのずれを最小にすることができる。
　本開示の一態様である半導体集積回路は、映像コンテンツを示す映像光、および投影座標系における投影座標をコード化した情報に対応するパターン画像を含むパターン光を投影する投影装置と、前記投影装置から物体に投影された前記パターン光を撮像して撮像画像を生成する少なくとも１つの撮像装置とを備える投影システムにおいて用いられ、前記撮像画像を、前記撮像座標系における撮像座標に対応する前記投影座標を示す投影座標情報に復号するパターン復号部と、前記投影座標情報を、前記投影座標系を基準として前記物体までの距離情報に変換する座標変換部と、前記距離情報に応じて、前記映像コンテンツの内容を決定するコンテンツ生成部と、を備える。
　この半導体集積回路を投影システムに利用すれば、投影と計測とのずれの発生を原理的に抑制でき、かつ、可視光の映像に干渉しない幾何学計測の重畳を実現できる。また、構造物に映像コンテンツを意図通りに位置合わせをして投影を行うことがきる。
　以下、図面を参照しながら、本開示の具体的な実施の形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。また、重複する説明は省略する場合がある。なお、本開示の実施の形態による投影システムは、以下で例示するものに限られない。
　（実施の形態１）
　図１から図４を参照しながら、本実施の形態による投影システム１００の構造、機能および動作を説明する。
　図１は投影システム１００の概略的な構成の一例を模式的に示している。投影システム１００は、撮像装置１０１、投影装置１０２および演算装置１０３を備えている。
　本実施の形態では、撮像装置１０１は非特許文献１と同様に毎秒６０００フレームの撮影を行うことができる。また、撮像装置１０１は、内部にバッファリングすることなく大規模な転送帯域を有し、演算装置１０３に撮像データを出力できる。さらに、撮像装置１０１は、赤外光領域に感度を有している。以下、これらを前提とし、各装置の機能および動作の一例を説明する。
　投影装置１０２は、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光とを投影する。本明細書では、投影座標系は、投影画像である映像コンテンツの画像の各画素の座標を特定する座標系を意味する。映像コンテンツの画像の各画素を特定する座標を投影座標系の「投影座標」と称する。
　投影装置１０２は、典型的にはレンズ光学系１１１と、可視光ＬＥＤ光源１３１と、赤外ＬＥＤ光源１３２と、ダイクロイックミラー１４１と、デジタルマイクロミラーデバイス１２１とを有している。
　レンズ光学系１１１は、一枚のレンズで構成されていてもよいし、複数枚のレンズ（レンズ群）で構成されていてもよい。複数のレンズは、例えばズームレンズおよびフォーカスレンズなどを含み得る。
　可視光ＬＥＤ光源１３１は、可視光帯域（概ね３８０ｎｍから７８０ｎｍ）の光を映像光として出射する。簡易化の観点から、可視光ＬＥＤ光源１３１を単色の可視光光源とすることができる。ただし、赤青緑の三色用に３つの光源をそれぞれ設けることにより、フルカラーの映像を投影しても当然構わない。または、十分高速に回転可能なカラーホイールがあれば、可視光ＬＥＤ光源１３１の代わりに高圧水銀灯などの白色光源を備え、出力にそれを取り付けることにより、フルカラーの映像を投影することができる。
　また、可視光ＬＥＤ光源１３１として、高圧水銀灯からダイクロイックプリズムなどで波長別に光を取り出せる光源を利用することができる。このように本開示にはあらゆる光源を利用することができる。
　赤外ＬＥＤ光源１３２は、非可視光をパターン光として出射する。非可視光は、例えば、赤外光帯域（概ね７００ｎｍから１０００ｎｍ）の波長を有している。なお、本実施の形態では、非可視光の光源として、赤外ＬＥＤ光源１３２を用いているが、紫外線を出射する光源を利用することもできる。
　デジタルマイクロミラーデバイス１２１は、例えば１０２４×７６８の升目上にマイクロミラーが配列されたデバイスである。デジタルマイクロミラーデバイス１２１は、バイナリパターンで毎秒３００００フレームの映像を出力できる。なお、デジタルマイクロミラーデバイス１２１は液晶デバイスで代替することも可能である。
　ダイクロイックミラー１４１は可視光を透過させ、赤外光を反射する特性を有している。ダイクロイックミラー１４１としては、公知となっているものを広く用いることができる。
　撮像装置１０１は、パターン光を撮像し、パターン光の撮像画像を生成する。撮像装置１０１は、イメージセンサ、レンズ光学系などを含んでいる。例えば、デジタルマイクロミラーデバイス１２１と対応させて、１０２４×７６８の画素数を有するイメージセンサを用いることができる。その場合、１画素を８ｂｉｔの分解能とすると、転送帯域は３８Ｇｂｐｓ程である。演算装置１０３を、例えば、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）で実現すると仮定する。現在の半導体技術水準を考慮すると、３８Ｇｂｐｓ程の転送帯域は十分に実現できる範囲である。
　撮像装置１０１は、撮像座標系を有している。本明細書では、撮像座標系は、撮像装置１０１により取得される撮像画像の各画素の座標を特定する座標系を意味する。「投影座標」と区別して、撮像画像の各画素の座標を撮像座標系の「撮像座標」と称する。
　演算装置１０３は、撮像画像を、撮像座標系で規定される撮像座標に対応する投影座標を示す投影座標情報に復号し、投影座標系を基準として投影座標情報を構造物までの距離情報に変換し、距離情報に応じて、映像コンテンツの内容を選択的に決定する。
　図２は、パターン光に対応した、コード化されたパターン画像（座標パターン）の一部を例示している。図２に示されるパターン画像は、１０２４×７６８のマイクロミラーを有するデジタルマイクロミラーデバイス１２１の各ミラーのＸおよびＹ座標をグレイコード化した後に、各ｂｉｔを白黒の２値画像として表すことにより得られる。
　投影装置１０２は、例えば１０２４×７６８画素のパターン画像に基づいてパターン光を構造物１０４に投影することができる。画素のＸ座標およびＹ座標ともに５１２より大きく１０２４以下である。その場合、Ｘ座標を表すｂｉｔ０からｂｉｔ９までの１０ビットがグレイコード化される。Ｘ座標と同様に、Ｙ座標を表すｂｉｔ０からｂｉｔ９までの１０ビットがグレイコード化される。このように、各座標にそれぞれ１０ビット、合計２０ビットを割り当てることにより、座標情報をコード化できる。以下、４０フレームの画像データを利用して、その２０ビットの情報の符号化を行う例を説明する。
　図２は４０枚のパターン画像でコード化する例において、４０枚のパターン画像に含まれる代表的な１２枚のパターン画像を示すイメージ図である。図２の（Ｘ９ａ）はＸ座標をグレイコード化した後のｂｉｔ９に対応したパターン画像を示している。また、本実施の形態では、マンチェスタ符号化により投影座標を符号化するので、ｂｉｔ９をビット反転させた反転パターン画像も用いられる。図２の（Ｘ９ｂ）は、（Ｘ９ａ）の画像パターンを反転させた反転パターン画像を示している。同様に、図２の（Ｘ８ａ）はＸ座標をグレイコード化した後のｂｉｔ８に対応したパターン画像を示し、（Ｘ８ｂ）は（Ｘ８ａ）の画像パターンを反転させた反転パターン画像を示している。図２の（Ｘ７ａ）はＸ座標をグレイコード化した後のｂｉｔ７に対応したパターン画像を示し、（Ｘ７ｂ）は（Ｘ７ａ）の画像パターンを反転させた反転パターン画像を示している。
　図２の（Ｙ９ａ）はＹ座標をグレイコード化した後のｂｉｔ９に対応したパターン画像を示している。図２の（Ｙ９ｂ）は、（Ｙ９ａ）の画像パターンを反転させた反転パターン画像を示している。同様に、図２の（Ｙ８ａ）はＹ座標をグレイコード化した後のｂｉｔ８に対応したパターン画像を示し、（Ｙ８ｂ）は（Ｙ８ａ）の画像パターンを反転させた反転パターン画像を示している。図２の（Ｙ７ａ）はＹ座標をグレイコード化した後のｂｉｔ７に対応したパターン画像を示し、（Ｙ７ｂ）は（Ｙ７ａ）の画像パターンを反転させた反転パターン画像を示している。
　図示されていなが、計測可能な解像度まで、例えばＸ座標およびＹ座標のｂｉｔ６から０にもそれぞれ対応したパターン画像および反転パターン画像が存在する。投影装置１０２はこれらパターンを含めた４０パターンを構造物１０４に順次投影する。撮像装置１０１は、投影されたパターン画像を順次撮像する。
　次に、図３および４を参照しながら、演算装置１０３の構造、機能の詳細を説明する。
　図３は演算装置１０３の機能ブロック構成の一例を示している。演算装置１０３は、投影システム全体を制御する機能を有している。演算装置１０３は、例えばコンピュータ、プロセッサに代表される演算装置、または半導体集積回路によって実現され得る。半導体集積回路とは、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）およびＦＰＧＡなどである。メモリに、各構成要素の機能を発揮するコンピュータプログラムが実装されており、半導体集積回路内のプロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能を実現してもよい。
　演算装置１０３は、画像入力部４０１と、パターン復号部４０２と、フレームメモリ部４０３と、コード復号用メモリ部４０４と、座標変換部４０５と、座標変換用メモリ部４０６と、座標補間部４０７と、コンテンツ生成部４０８と、コンテンツメモリ部４０９と、画像出力部４１０と、パターン生成部４１１とを有している。演算装置１０３内の各メモリ部は、例えばＲＡＭなどによって構成され得る。
　図４は、本実施の形態による投影システム１００の動作フローチャートを示している。図４に示されるように、投影装置１０２は、期間２１１、２１３、２１５においてパターン光を投影し、期間２１２、２１４、２１６において映像光を投影する。つまり、投影装置１０２は、映像光およびパターン光を時分割多重化して投影する。なお、図中のマイクロミラーの「Ｐ」は計測のためのパターン画像を示し、「Ｖ」は投影画像としての映像コンテンツを示している。
　まず、パターン生成部４１１は、期間２１１において、赤外ＬＥＤ光源１３２を点灯させる。パターン生成部４１１は、上述した方法によりパターン投影用のパターン画像を生成する。パターン生成部４１１は、デジタルマイクロミラーデバイス１２１において計測用のパターン投影を行うように、画像出力部４１０にパターン画像を示す画像データを出力する。画像出力部４１０は、パターン生成部４１１からの画像データと赤外ＬＥＤ光源１３２の点灯情報とを投影装置１０２に出力する。そのパターン画像を示すパターン光は赤外光として投影されるので、撮像装置１０１により計測されるが人間の視覚には影響を及ぼさない。
　パターン生成部４１１は、１つのパターンを１／６０００秒で出力することができる。パターン生成部４１１は、期間２１１において、Ｘ座標およびＹ座標のそれぞれの１０ｂｉｔの座標画像とその反転画像との合計４０フレームを出力する。一方、撮像装置１０１は、デジタルマイクロミラーデバイス１２１のフレームを出力するレートと同期して４０フレームで撮像を行う。この例では期間２１１の長さは６．７ミリ秒である。
　また、画像出力部４１０も、パターン生成部４１１の出力タイミングと同期して投影装置１０２にパターン画像を出力する。画像入力部４０１が、画像出力部４１０の出力タイミングと同期して撮像装置１０１の露光を制御することにより、４０フレームの撮像が行われる。
　画像入力部４０１は、撮像装置１０１により撮像された撮像画像（撮像データ）を受信する。画像入力部４０１は、受信した撮像データをパターン復号部４０２に送信する。画像入力部４０１は、画像出力部４１０と同期しながら受信した撮像データに対応するパターンを判定する。
　パターン復号部４０２は、撮像装置１０１からのパターン画像を示す撮像画像を、撮像座標系で規定される撮像座標に対応する投影座標を示す投影座標情報に復号する。以下、パターン復号部４０２の機能をより詳細に説明する。
　パターン復号部４０２は、画像入力部４０１から受信した撮像データがＸおよびＹ座標の非ビット反転画像であれば、その撮像データをフレームメモリ部４０３に書き込む。パターン復号部４０２は、その画像データがＸおよびＹ座標のビット反転画像であれば、先にフレームメモリ部４０３に記録された非ビット反転画像を読み出しながら、両者の差分をとる。その差分を取ることにより、投影対象の色または環境光に依存することなく、投影光の「０」と「１」とを判別することができる。その差分が所定の値以下の領域を、投影光が投影されていない領域として判定し、その領域を計測対象領域から除外することができる。
　コード復号用メモリ部４０４には、撮像装置１０１の画素毎に書き込み領域が設けられている。パターン復号部４０２は、差分をとった後、グレイコード化された座標データの各ビット値を、その書き込み領域にビット単位で書き込む。この操作が撮像装置１０１の露光時間の間に４０フレーム分実行される。これにより、撮像装置１０１の各画素に対応する、投影装置１０２のＸ座標およびＹ座標が存在するか否かを示す情報と、存在する場合のＸ座標およびＹ座標のそれぞれを示す１０ｂｉｔの値とが、コード復号用メモリ部４０４に書き込まれる。パターン復号部４０２は最終的に、コード復号用メモリ部４０４に記録されたグレイコードの座標データをバイナリに再変換して座標変換部４０５に出力する。
　これまでの処理により、撮像装置１０１のある画素位置に撮像された投影光が、投影装置１０２のどの画素から投影されたのかを知ることができる。つまり、投影座標と、撮像装置の撮像座標系で規定される撮像座標との対応関係を知ることができる。従って、撮像装置１０１と投影装置１０２との互いの位置関係が既知であれば撮像画素毎に構造物までの距離を三角法により得ることができる。しかしながら、得られる情報は、撮像装置１０１の撮像画素に対応した距離情報である。そのため、本実施の形態では、その情報を投影装置１０２の画素座標に対応した距離情報に変換する。
　座標変換部４０５は、パターン復号部４０２から受信したデータを、投影装置１０２の投影座標に対応したアドレスで特定される座標変換用メモリ部４０６の領域に書き込む。その後、座標変換部４０５は、座標変換用メモリ部４０６から、距離情報を投影装置１０２のＸ座標およびＹ座標の順番で読み出すことにより、投影装置１０２の投影座標に対応した距離情報を生成する。
　その際、対応点が存在しない投影画素が発生し得る。具体的には、構造物に投影されたパターン画像のうち、ある複数の画素に対応したそれぞれの光が、撮像装置１０１の１つの撮像画素によって撮像され得る。その場合、グレイコードの特性上、対応点が存在しない投影画素は隣接する２つの投影画素のどちらかの画素座標に丸め込まれるので、片側の投影画素は対応先のない状態となる。
　座標補間部４０７は、座標変換部４０５から、投影装置１０２の投影座標に対応した距離情報を受信する。座標補間部４０７は、距離情報の存在しない投影座標に対して距離情報を補間する。これは、補間することが可能な距離情報を有する投影座標が一定数その周辺に存在する箇所に限り、周辺座標の距離情報から線形補間等の補間法を用いて行なわれる。座標補間部４０７は、投影座標に基づく距離情報をコンテンツ生成部４０８に出力する。
　コンテンツ生成部４０８は、期間２１２と２１３とを跨いで投影用の映像コンテンツを生成する。コンテンツ生成部４０８は、コンテンツメモリ部４０９に予め記録されていた映像コンテンツを、座標補間部４０７から受信した距離情報に基づいて加工し、加工した映像コンテンツを画像出力部４１０に出力する。以下、加工された映像コンテンツを、予め記録された加工前の映像コンテンツと区別して、「加工後の映像コンテンツ」と称する場合がある。
　コンテンツ生成部４０８は、座標ずれの無い、構造物までの距離に正確に対応した映像コンテンツを生成する。また、コンテンツ生成部４０８は、映像コンテンツの内容を距離情報に応じて選択的に決定することができる。例えば一定の距離にある物体を切り出して検知し、可視光投影用の映像コンテンツを正確に描画するなどの処理が可能となる。コンテンツ生成部４０８は、投影用の加工後の映像コンテンツを画像出力部４１０に出力する。
　画像出力部４１０は、期間２１２および２１３において生成された可視光投影用の映像コンテンツを、期間２１４において投影装置１０２に出力する。
　その後、可視光ＬＥＤ光源１３１が点灯され、デジタルマイクロミラーデバイス１２１によって映像コンテンツに対応した投影光が出力される。デジタルマイクロミラーデバイス１２１は、毎秒３００００のバイナリフレームを出力することができる。そのため、例えば８．５ミリ秒の間に２５５フレームを用いて２５６階調の画像を投影することが可能となる。この投影は可視光光源によってなされるので、人間に視認される。
　期間２１３においては、投影用の映像コンテンツの生成と並行して、期間２１１と同様に赤外光によるパターン画像の投影と撮像とがなされる。期間２１４と２１５とを跨いで、コンテンツ生成部４０８は、座標ずれの無い、構造物までの距離に正確に対応した映像コンテンツを生成する。そして、期間２１６において、投影装置１０２は、投影用の映像コンテンツを投影する。このように、計測と投影と連続的に行うことが可能である。
　計測と投影との繰り返しの周期は、計測時間（期間２１１）が６．７ミリ秒であり、投影時間（期間２１２）が８．５ミリ秒であれば、１５．２ミリ秒である。これは６０Ｈｚ以上のスループットで実現可能であることを意味している。また、計測からその計測結果を反映させるまでの時間（以下、「遅延時間」と称する。）を繰り返しの周期と同じ１５．２ミリ秒とすることができる。このように６０Ｈｚ以上のスループットを達成できるので、映像コンテンツが投影されない計測期間などの非表示時間に起因する投影画像のちらつきは人間の目に気にならないレベルまで十分に低減できる。なお、図４においては、遅延時間は、期間２１２および２１３の合算時間に相当する。
　本実施の形態によれば、映像投影と計測とを同じ投影装置によって行うことにより、投影と計測とのずれの発生を原理的に抑制でき、かつ、可視光の映像に干渉しない幾何学計測の重畳を実現できる。
　また、本実施の形態によれば、演算装置１０３が撮像装置１０１により撮像されたパターン画像をデコードできれば、相対的な位置計測には耐えることができる。そのため、設置の精度が十分に確保されなくても、実用に耐え得る。その点において、設置の簡易性を確保できる。また、経年劣化による設置関係の誤差拡大に対して高いロバスト性を得ることができる。
　以下、本実施の形態の変形例を説明する。
　本実施の形態では、Ｘ座標およびＹ座標の両方を利用した。しかしながら、本開示はこれに限定されず、視差が片方の軸方向にしか発生しないように撮像装置１０１と投影装置１０２とが配置されていれば、物体までの距離を算出する際に、利用するパターン画像を半減させることができる。
　また、本実施の形態では、非特許文献１と同様に、ビット反転させたものを交互に伝送するマンチェスタ符号化方式を例示した。しかしながら、本開示はこの方式に限定されない。例えば、オール０のパターン画像とオール１のパターン画像とを基準としてパターン画像を予め生成した後に差分を求めれば、マンチェスタ符号化方式よりも少ない枚数で計測することができる。このような方式を採用すれば、期間２１１の時間をさらに短縮することができる。
　また、非特許文献１の方式のように、全ての座標ビットを走査せずに、新しいビットを得る毎に距離情報を更新するような方式を採用すれば、期間２１１は２フレーム分の撮影に要する時間とすることができる。その結果、期間２１１の時間を３３３マイクロ秒とすることもできる。
　計測からその計測結果を投影に反映させるまでには遅延が生じる。その遅延に関しても、本実施の形態では、期間２１２および期間２１３を跨いで撮像結果に基づいて投影用の映像コンテンツを生成し、期間２１４において加工後の映像コンテンツを投影した。しかし、期間２１１の間にコンテンツ生成も短時間で実施できれば、次の期間２１２において可視光投影でその結果を反映させることもできる。
　例えば、本実施の形態では、物体までの距離を含めた３次元データとして計測結果を扱っている。ただし、計測結果を２Ｄデータとして扱い、単純に位置合わせを行う場合においても、本開示は非常に有用である。投影領域を単に決定するのであれば、データ転送にあわせて閾値（例えば、物体までの距離に応じた閾値）を設けておくとよい。これにより、映像コンテンツを生成する時間を大幅に短縮できる。
　映像コンテンツ（映像光）の投影に関しても、非特許文献２のようにフレーム全てを更新するのではなく、フレーム間にサブフィールドを設けて、サブフィールド単位で更新すればより短い時間で階調を表現できることが知られている。このような技術と本開示とを併用すれば全体としてのフレームレートをさらに向上させることができる。
　従来の技術によれば、計算機アーキテクチャは、６０Ｈｚでの画像処理を基本とした描画システムを有している。投影装置とは異なる位置から撮像された撮像画像に基づいて、その計算機アーキテクチャ上で撮像装置の位置ずれに伴う視差を計算する場合、バッファリング含めて最低でも３３ミリ秒以上の遅延が発生し得る。その結果、例えば、従来の技術をボーリング場などに適用した場合、計測から投影までの間にボールは４９５ミリメートルも移動してしまい、従来の技術は実用に耐えない。
　これに対して、本開示によれば、その構成次第で遅延をさらに減少させることも可能である。具体的には、１ミリ秒よりも短い遅延で計測結果を投影に反映させることもできる。例えば遅延が１ミリ秒程度であるシステムを組んだ場合、秒速１０メートルで移動する物体であっても計測と投影との誤差は１０ミリメートル以下に抑えることができる。計測対象を含めたシステムのダイナミクスを考慮すると精度と遅延とはトレードオフの関係になるので、実際にはその関係を踏まえてシステムを調整すればよい。
　本開示は、インタラクティブ性を備えたプロジェクションマッピングシステムなどに最適である。例えばボーリング場においてボールの動きに合わせて映像コンテンツを投影するとき、ボールの速度は世界記録でも秒速１５メートル程度である。１ミリ秒以下の遅延で投影ができれば、映像コンテンツのずれ量は１５ミリメートル以下とすることができる。本実施の形態では計測結果が投影装置の投影座標系において得られるので、非常に高速に投影用の映像コンテンツを加工できる。
　本実施の形態では、投影システム１００は、１つの撮像装置１０１を備えている。ただし、投影装置１０２の両側に少なくとも２つの撮像装置１０１を設置することにより、投影光は当たるが撮像できないオクルージョン領域を減らすことができる。
　本実施の形態において、撮像装置１０１の設置位置、撮像方向およびズーム倍率の少なくとも１つを動的に変化させてもよい。また、解像度およびズーム倍率の少なくとも１つが異なる撮像装置、および／または物体までの距離が異なる撮像装置を追加することにより、計測の解像度を部分的に高めることができる。例えば、投影システム１００は、第１および第２の撮像装置を備えていてもよい。そのとき、第１の撮像装置は、第２の撮像装置と比べて、物体（構造物）により近い位置に配置され得る。
　さらに赤外ＬＥＤ光源１３２を用いる代わりに、図７に示されるような従来の投影装置を用いることができる。この場合、計測のためのパターン光も可視光によって投影される。しかしながら、例えばマンチェスタ符号化の方式を利用する場合、全ての画素において０と１とが同量発生する。そのため、パターン光は人間の目には認識されず、映像光に一定のオフセットがかかったように視認される。その場合、オフセット分を可視光用の映像光から予め減算しておくことも可能である。これは、電子透かしなどの技術の一種であり、例えば可視光映像の視認性が良くない下位ビットに計測用のパターン画像を埋め込むことにより実現される。
　特に、デジタルマイクロミラーデバイス１２１の代わりに液晶デバイスで代替する場合、下位ビットは特定のバイナリ画像のフレームではなく、各フレームのアナログ量として現れる。そのため、電子透かし技術により映像光にパターン光を重畳させることは重要である。
　本実施の形態では、期間２１１において、撮像装置１０１によって、パターン画像と合わせて投影光の投影画像（映像コンテンツ）を第１の可視光画像として取得してもよい。その場合、仮にパターン光が可視光であっても、マンチェスタ符号化されたパターン画像を示す光の時間方向における積分値は必ず一定になる。そのため、白色光の投影と変わらず、可視光による投影画像の取得が可能である。さらに、期間２１２において撮像装置１０１により映像コンテンツを示す投影光を第２の可視光画像として撮像してもよい。第２の可視光画像から、投影先の構造物１０４が、その投影によってどのような色に変化したかを追従できる。
　本実施の形態によれば、撮像座標系における撮像座標を投影座標系における投影座標に変換できる。そのため、可視光画像を用いて投影色の調整を行うとき、位置ずれなく投影光を投影できる。この際の可視光画像は第１の可視光画像および第２の可視光画像のいずれかをそのまま利用してもよいし、両方を合成してパターン成分の影響を軽減した画像を用いてもよい。
　本開示は、商品展示が開催される分野でプロジェクションマッピングに有用である。例えば食材を鮮やかに見せたり、環境光に依存せずにカタログ通りに商品の色を再現したりすることに意義がある。投影対象である物体の形状および／または移動に合わせて位置ずれなく投影光を投影できる。
　また、本開示は、３Ｄプリンタなどの光造形分野においても有用な技術である。その３Ｄプリンタは、紫外線用の投影機を用いて造形情報を示す紫外線を紫外線硬化樹脂に投影することにより光造形を行う。例えば、可視光ＬＥＤ光源１３１を紫外線光源に変更すれば、樹脂を硬化させない赤外線によって３Ｄ情報の計測を行ないながら、紫外線によって光造形を制御することができる。投影装置１０２の投影座標系での距離情報に基づいて造形物および材料樹脂の状態を得ることができるので、誤差の少ない細かな光造形の制御が可能となる。
　また、さらなる応用例として、本開示によるシステムを自動車のヘッドライトに用いることも考えられる。自動車のヘッドライトの光は、例えば雨粒および光沢のある物体などで反射される。その反射光によって、運転者の目が眩むおそれがある。本開示のシステムによれば、３Ｄ計測によってピンポイントでそれら物体などへの投光をマスクすることによって、安全な視界を確保できる。歩行者および対向車に対しても顔（特に目）の部分への投光をマスクすることにより、人の目への影響を防止できる。
　また、これとは逆に、標識および看板など、視認したい形状を認識して、ピンポイントでそれらに積極的に投光することもできる。
　（実施の形態２）
　図５を参照して、本実施の形態による投影システム１００の構成、機能および動作を説明する。
　本実施の形態による投影システム１００は、投影装置１０２がダイクロイックプリズム８４１を有している点で、実施の形態１による投影装置１０２とは異なる。以下、投影装置１０２の構造を中心に説明する。
　図５は本実施の形態による投影システム１００の概略的な構成を示している。
　本実施の形態による投影システム１００は、撮像装置１０１、投影装置１０２および演算装置１０３を備えている。投影装置１０２は、デジタルマイクロミラーデバイス１２１、１２１、可視光ＬＥＤ光源１３１、ダイクロイックプリズム８４１、赤外ＬＥＤ光源１３２、およびレンズ光学系１１１を含んでいる。
　ダイクロイックプリズム８４１は、左右から入射する可視光と赤外光とを混合してレンズ光学系に混合光を出力する。
　本実施の形態による撮像装置１０１は、赤外光に実質的に感度を有するイメージセンサを含んでいることが好ましい。これにより、撮像装置１０１は混合光を受光しても、赤外光であるパターン光を撮像できる。
　本実施の形態の投影装置１０２によれば、デジタルマイクロミラーデバイス１２１と赤外ＬＥＤ光源１３２との組み合わせにより距離計測用のパターン光を投影しつつ、同時刻において可視光ＬＥＤ光源１３１とデジタルマイクロミラーデバイス１２２との組み合わせにより可視光の投影光を投影することができる。換言すると、投影装置１０２は、映像光およびパターン光を波長多重化して投影する。なお、実施の形態１で説明したように、可視光ＬＥＤ光源１３１の出力にカラーホイールを取り付けることにより、または、赤青緑の三色用に３つの光源をそれぞれ設けることにより、フルカラーの映像を投影しても当然構わない。
　さらに、３板式投影機のように赤青緑用に個別にデジタルマイクロミラーデバイス１２１および１２２の各々を設けてもよい。また、従来の３板のデジタルマイクロミラーデバイスに加えて、赤外用のデジタルマイクロミラーデバイスをさらに追加することにより、新規の４板式投影機を実現できる可能性がある。これにより、新たな産業分野が開拓されことが大いに期待される。
　本実施の形態によれば、実施の形態１に比べて、デジタルマイクロミラーデバイスの数が増えるので、コストがその分増加する。しかしながら、混合光を利用して投影と計測とを完全同時に行える点で、遅延量をさらに減少させることができる。
　本開示によれば、１つの投影装置を用いて計測と投影とを同時に行うことができる。また、投影装置の投影座標系において物体の位置を非常に高速に計測することができ、かつ、物体追従型のプロジェクションマッピングシステムを安価に構築できる。
　以下、想定され得る本開示の応用例を説明する。
　本開示は、例えばボーリング、ビリヤード、および体感型アトラクションなどの、動きを含んだアミューズメント用のインタラクティブなプロジェクションマッピングを含んだ照明演出に有用である。また、本開示は、イベント、コンサートにおける照明演出に有用である。また、本開示は、レストランまたはバーなどにおける客の動きに合わせた店内装飾演出などにも有用である。
　さらに、本開示は、百貨店または商店などのショーケース、または商品展示の中で利用され得る。本開示は、商品の色彩が環境光に依存せずにカタログ通りになるように光量を調整するような装置にも応用できる。
　他の応用例として、工場および流通などの分野において作業ガイドラインを作業スペースに投影するなどの用途にも本開示は最適である。３Ｄ光造形の分野、および自動車のヘッドライトなどのマシンビジョンの分野への応用も期待できる。
　映像光は３Ｄプリンタなどの方式の一つとして実用化されている紫外線硬化樹脂を硬化させる光造形に適した紫外線波長（例えば、１００ｎｍ～４００ｎｍに含まれる波長）を有し、パターン光は、光造形に影響を与えにくいそれ以上の可視光線や近赤外光線の波長（例えば、４００ｎｍ～１０００ｎｍに含まれる波長）を有していてもよい。
　映像光として１００ｎｍ～４００ｎｍに含まれる波長帯Ａの光を選択したとき、パターン光として４００ｎｍ～１０００ｎｍに含まれる波長帯Ｂの光を選択したとき、波長帯Ａと波長帯Ｂは重なる波長がないようにしてもよい。
　本開示の投影システム、および半導体集積回路は、プロジェクションマッピングシステムに利用できる。
１００　投影システム
１０１　撮像装置
１０２　投影装置
１０３　演算装置
１０４　構造物
１１１　レンズ光学系
１２１，１２２　デジタルマイクロミラーデバイス
１３１　可視光ＬＥＤ光源
１３２　赤外ＬＥＤ光源
１４１　ダイクロイックミラー
４０１　画像入力部
４０２　パターン復号部
４０３　フレームメモリ部
４０４　コード復号用メモリ部
４０５　座標変換部
４０６　座標変換用メモリ部
４０７　座標補間部
４０８　コンテンツ生成部
４０９　コンテンツメモリ部
４１０　画像出力部
４１１　パターン生成部
５０１　可視光光源
５０２　赤外光源
５０４　スリット
７０２　計算装置
８４１　ダイクロイックプリズム

Claims (13)

  1. 　映像コンテンツを示す映像光と、投影座標系における投影座標をコード化した情報に対応するパターン画像を含むパターン光とを投影する投影装置と、
    　少なくとも１つの撮像装置を含む、
    投影システム。
  2. 　演算装置をさらに備え、
    　前記少なくとも１つの撮像装置は、撮像座標系を有し、前記投影装置から物体に投影された前記パターン光を撮像して撮像画像を生成し、
    　前記演算装置は、
    　　前記撮像画像を、前記撮像座標系における撮像座標に対応する前記投影座標を示す投影座標情報に復号し、
    　　前記投影座標情報を、前記投影座標系を基準として前記物体までの距離情報に変換し、
    　　前記距離情報に応じて、前記映像コンテンツの内容を決定する、請求項１に記載の投影システム。
  3. 　前記投影装置は、前記映像光および前記パターン光を時分割多重化して投影する、請求項２に記載の投影システム。
  4. 　前記投影装置は、前記映像光および前記パターン光を波長多重化して投影する、請求項２に記載の投影システム。
  5. 　前記投影装置は、前記映像光に前記パターン光を電子透かし法により重畳させて投影する、請求項２に記載の投影システム。
  6. 　前記映像光は可視光であり、前記パターン光は非可視光である、請求項４に記載の投影システム。
  7. 　前記非可視光は赤外光である、請求項６に記載の投影システム。
  8. 　前記映像光は紫外線硬化樹脂の硬化に作用を与える第一の波長を有し、前記パターン光は前記第一の波長とは異なる第二の波長である、請求項４に記載の投影システム。
  9. 　前記少なくとも１つの撮像装置の設置位置、撮像方向およびズーム倍率の少なくとも１つは動的に変化する、請求項１に記載の投影システム。
  10. 　前記少なくとも１つの撮像装置は、第１および第２の撮像装置を含み、
    　前記第１および第２の撮像装置は、前記投影装置の両側に配置されている、請求項２に記載の投影システム。
  11. 　前記少なくとも１つの撮像装置は、第１および第２の撮像装置を含み、
    　前記第１の撮像装置は、前記第２の撮像装置と比べて、前記物体により近い位置に配置されている、請求項２に記載の投影システム。
  12. 　前記演算装置は、前記撮像装置から前記撮像座標で特定される画素の第１の色情報を取得し、前記投影座標を用いて、前記第１の色情報に対応した前記投影画素の第２の色情報を決定する、請求項２に記載の投影システム。
  13. 　映像コンテンツを示す映像光、および投影座標系における投影座標をコード化した情報に対応するパターン画像を含むパターン光を投影する投影装置と、前記投影装置から物体に投影された前記パターン光を撮像して撮像画像を生成する少なくとも１つの撮像装置とを備える投影システムにおいて用いられる半導体集積回路であって、
    　前記撮像画像を、前記撮像座標系における撮像座標に対応する前記投影座標を示す投影座標情報に復号するパターン復号部と、
    　前記投影座標情報を、前記投影座標系を基準として前記物体までの距離情報に変換する座標変換部と、
    　前記距離情報に応じて、前記映像コンテンツの内容を決定するコンテンツ生成部と、
    を備える、半導体集積回路。
PCT/JP2015/000051 2014-02-18 2015-01-08 投影システムおよび半導体集積回路 WO2015125403A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020157026566A KR102196467B1 (ko) 2014-02-18 2015-01-08 투영 시스템 및 반도체 집적 회로
CN201580000683.3A CN105165006B (zh) 2014-02-18 2015-01-08 投影系统及半导体集成电路
EP15751747.5A EP3110139B1 (en) 2014-02-18 2015-01-08 Projection system and semiconductor integrated circuit
US14/958,905 US9554104B2 (en) 2014-02-18 2015-12-03 Projection system and semiconductor integrated circuit

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014028440 2014-02-18
JP2014-028440 2014-02-18
JP2014235663A JP6618249B2 (ja) 2014-02-18 2014-11-20 投影システムおよび半導体集積回路
JP2014-235663 2014-11-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/958,905 Continuation US9554104B2 (en) 2014-02-18 2015-12-03 Projection system and semiconductor integrated circuit

Publications (1)

Publication Number Publication Date
WO2015125403A1 true WO2015125403A1 (ja) 2015-08-27

Family

ID=53877932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000051 WO2015125403A1 (ja) 2014-02-18 2015-01-08 投影システムおよび半導体集積回路

Country Status (6)

Country Link
US (1) US9554104B2 (ja)
EP (1) EP3110139B1 (ja)
JP (1) JP6618249B2 (ja)
KR (1) KR102196467B1 (ja)
CN (1) CN105165006B (ja)
WO (1) WO2015125403A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017110086A1 (ja) * 2015-12-24 2017-06-29 パナソニックＩｐマネジメント株式会社 高速表示装置、高速表示方法及びリアルタイム計測投影装置
US9832436B1 (en) 2016-05-30 2017-11-28 Panasonic Intellectual Property Management Co., Ltd. Image projection system and image projection method
WO2018158983A1 (ja) * 2017-03-02 2018-09-07 Ckd株式会社 三次元計測装置
WO2019244523A1 (ja) * 2018-06-20 2019-12-26 パナソニックＩｐマネジメント株式会社 投影システム、投影調整プログラム及び投影方法
JP2020012912A (ja) * 2018-07-13 2020-01-23 パナソニックＩｐマネジメント株式会社 映像表示装置、および映像表示方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6763154B2 (ja) * 2016-03-09 2020-09-30 富士通株式会社 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法
JP6153050B1 (ja) 2016-06-08 2017-06-28 パナソニックＩｐマネジメント株式会社 投影システム
WO2017212509A1 (ja) 2016-06-08 2017-12-14 パナソニックＩｐマネジメント株式会社 投影システム
JP6160851B1 (ja) * 2016-06-08 2017-07-12 パナソニックＩｐマネジメント株式会社 投影システム
JP2018097148A (ja) * 2016-12-13 2018-06-21 パナソニックＩｐマネジメント株式会社 画像投影システム、画像投影装置、及び画像投影方法
KR101820905B1 (ko) * 2016-12-16 2018-01-22 씨제이씨지브이 주식회사 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템
JP6702171B2 (ja) 2016-12-22 2020-05-27 カシオ計算機株式会社 投影制御装置、投影制御方法及びプログラム
JP6897092B2 (ja) 2016-12-22 2021-06-30 カシオ計算機株式会社 投影制御装置、投影制御方法及びプログラム
WO2018173311A1 (ja) 2017-03-24 2018-09-27 パナソニックＩｐマネジメント株式会社 投影システム及び投影方法
US10574953B2 (en) * 2017-05-23 2020-02-25 Sony Corporation Transparent glass of polymer window pane as a projector screen
US10613428B2 (en) 2017-05-30 2020-04-07 Sony Corporation Wallpaper-based lenticular projection screen
US10429727B2 (en) 2017-06-06 2019-10-01 Sony Corporation Microfaceted projection screen
US10863165B2 (en) * 2017-06-07 2020-12-08 Sony Semiconductor Solutions Corporation Image processing apparatus and method
US10795252B2 (en) 2017-07-21 2020-10-06 Sony Corporation Multichromic filtering layer to enhance screen gain
US10634988B2 (en) 2017-08-01 2020-04-28 Sony Corporation Tile-based lenticular projection screen
US9990767B1 (en) * 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
JP7236680B2 (ja) 2018-02-09 2023-03-10 パナソニックＩｐマネジメント株式会社 投影システム
JP7285470B2 (ja) * 2018-05-17 2023-06-02 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
JP7162168B2 (ja) 2018-05-17 2022-10-28 パナソニックＩｐマネジメント株式会社 投影調整プログラム、投影調整方法及び投影調整システム
CN108776338B (zh) * 2018-06-19 2022-05-24 四川大学 信号源空间传感方法、装置及主动式传感系统
JP7379859B2 (ja) * 2018-06-29 2023-11-15 株式会社リコー 光源、投影装置、計測装置、ロボット、電子機器、移動体、および造形装置
US11212456B2 (en) * 2018-12-21 2021-12-28 Sony Group Corporation Synchronized projection and image capture
JP7163943B2 (ja) * 2020-09-10 2022-11-01 セイコーエプソン株式会社 情報生成方法、情報生成システム、及びプログラム
JP2021051318A (ja) * 2020-12-03 2021-04-01 パナソニックＩｐマネジメント株式会社 画像投影システムおよび画像投影方法
JP7558799B2 (ja) 2020-12-25 2024-10-01 セイコーエプソン株式会社 位置特定方法、シミュレーション方法、位置特定システムおよびシミュレーションシステム
KR20230099970A (ko) * 2021-12-28 2023-07-05 주식회사 메디트 3차원 스캐너용 단일 패턴 쉬프트 투사 광학계

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002031847A (ja) * 2000-07-18 2002-01-31 Sony Corp 画像表示装置および投射装置
JP2003333611A (ja) * 2002-05-17 2003-11-21 Nec Corp プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム
JP2004140845A (ja) * 2003-10-30 2004-05-13 Nec Corp プロジェクタ装置
JP2005151418A (ja) * 2003-11-19 2005-06-09 Nec Viewtechnology Ltd プロジェクタ
WO2010055625A1 (ja) * 2008-11-17 2010-05-20 日本電気株式会社 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
JP2012018214A (ja) * 2010-07-06 2012-01-26 Sanyo Electric Co Ltd 投写型映像表示装置
JP2012530941A (ja) * 2009-06-18 2012-12-06 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド マッピング機能の注入のためのシステムと方法
WO2013084559A1 (ja) * 2011-12-05 2013-06-13 Akiba Tetsuya 投影システム及び方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3989373A (en) * 1974-06-12 1976-11-02 Craig Dwin R Automatic focussing attachment for photographic enlargers
JP2000259126A (ja) 1999-03-04 2000-09-22 Matsushita Electric Ind Co Ltd 階調表示方法
JP4507307B2 (ja) * 1999-09-16 2010-07-21 独立行政法人科学技術振興機構 映像投影装置
JP4961628B2 (ja) * 2000-08-11 2012-06-27 日本電気株式会社 投射映像補正システム及びその方法
JP2004266345A (ja) * 2003-02-05 2004-09-24 Sony Corp 映像表示方法、映像表示処理装置、映像表示システム
JP2005024855A (ja) * 2003-07-01 2005-01-27 Toshiba Corp 液晶投射表示装置
JP4292061B2 (ja) * 2003-11-26 2009-07-08 ナブテスコ株式会社 光造形方法および装置
JP2005258622A (ja) 2004-03-10 2005-09-22 Fuji Photo Film Co Ltd 三次元情報取得システムおよび三次元情報取得方法
JP2005326247A (ja) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 校正装置及び校正方法並びに校正プログラム
JP2007079210A (ja) * 2005-09-15 2007-03-29 Seiko Epson Corp 映像投影装置及び映像投影方法
JP2007274522A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 投影装置
CN100449258C (zh) * 2006-04-27 2009-01-07 浙江工业大学 基于二维彩色光编码的实时三维视觉系统
JP5141044B2 (ja) * 2007-02-27 2013-02-13 セイコーエプソン株式会社 プロジェクタ
CN100570278C (zh) * 2007-05-09 2009-12-16 哈尔滨理工大学 基于边缘格雷码和线移的结构光3d测量方法
US9052575B2 (en) * 2007-07-12 2015-06-09 Hewlett-Packard Development Company, L.P. Determining correspondence mappings from infrared patterns projected during the projection of visual content
US8218003B2 (en) * 2007-10-05 2012-07-10 Seiko Epson Corporation Optimization strategies for GPU view projection matrix implementation
US8007110B2 (en) * 2007-12-28 2011-08-30 Motorola Mobility, Inc. Projector system employing depth perception to detect speaker position and gestures
JP5186964B2 (ja) * 2008-03-18 2013-04-24 株式会社リコー プロジェクションシステム
CN201218726Y (zh) * 2008-04-23 2009-04-08 哈尔滨理工大学 基于彩色结构光的文物三维重建装置
US20110216205A1 (en) * 2010-03-03 2011-09-08 Christie Digital Systems Usa, Inc. Automatic calibration of projection system using non-visible light
JP5961945B2 (ja) * 2011-08-18 2016-08-03 株式会社リコー 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP2013192189A (ja) 2012-03-15 2013-09-26 Casio Comput Co Ltd 画像処理装置、投影システム、プログラム及び画像処理方法
JP6089424B2 (ja) * 2012-03-21 2017-03-08 セイコーエプソン株式会社 画像処理装置、プロジェクター、およびプロジェクターの制御方法
JP2013213971A (ja) * 2012-04-03 2013-10-17 Seiko Epson Corp プロジェクター
WO2014034527A1 (ja) * 2012-08-27 2014-03-06 シチズンホールディングス株式会社 情報入力装置
US9438871B2 (en) * 2012-12-26 2016-09-06 Citizen Holdings Co., Ltd. Laser projection apparatus with bundled fibers
CN103491328A (zh) * 2013-06-26 2014-01-01 苏州联科盛世科技有限公司 带图像校正的静脉投影仪及图像校正方法
JP6510213B2 (ja) * 2014-02-18 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システム、半導体集積回路、および画像補正方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002031847A (ja) * 2000-07-18 2002-01-31 Sony Corp 画像表示装置および投射装置
JP2003333611A (ja) * 2002-05-17 2003-11-21 Nec Corp プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム
JP2004140845A (ja) * 2003-10-30 2004-05-13 Nec Corp プロジェクタ装置
JP2005151418A (ja) * 2003-11-19 2005-06-09 Nec Viewtechnology Ltd プロジェクタ
WO2010055625A1 (ja) * 2008-11-17 2010-05-20 日本電気株式会社 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
JP2012530941A (ja) * 2009-06-18 2012-12-06 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド マッピング機能の注入のためのシステムと方法
JP2012018214A (ja) * 2010-07-06 2012-01-26 Sanyo Electric Co Ltd 投写型映像表示装置
WO2013084559A1 (ja) * 2011-12-05 2013-06-13 Akiba Tetsuya 投影システム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3110139A4 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10656506B2 (en) 2015-12-24 2020-05-19 Panasonic Intellectual Property Management Co., Ltd. High-speed display device, high-speed display method, and realtime measurement-projection device
JPWO2017110086A1 (ja) * 2015-12-24 2018-10-18 パナソニックＩｐマネジメント株式会社 高速表示装置、高速表示方法及びリアルタイム計測投影装置
WO2017110086A1 (ja) * 2015-12-24 2017-06-29 パナソニックＩｐマネジメント株式会社 高速表示装置、高速表示方法及びリアルタイム計測投影装置
US9832436B1 (en) 2016-05-30 2017-11-28 Panasonic Intellectual Property Management Co., Ltd. Image projection system and image projection method
WO2017208739A1 (en) 2016-05-30 2017-12-07 Panasonic Intellectual Property Management Co., Ltd. Image projection system and image projection method
JP2017215374A (ja) * 2016-05-30 2017-12-07 パナソニックＩｐマネジメント株式会社 画像投影システムおよび画像投影方法
EP4216541A1 (en) 2016-05-30 2023-07-26 Panasonic Intellectual Property Management Co., Ltd. Image projection system and image projection method
WO2018158983A1 (ja) * 2017-03-02 2018-09-07 Ckd株式会社 三次元計測装置
JP2018146289A (ja) * 2017-03-02 2018-09-20 Ckd株式会社 三次元計測装置
US10914574B2 (en) 2017-03-02 2021-02-09 Ckd Corporation Three-dimensional measurement device
JP2019219289A (ja) * 2018-06-20 2019-12-26 パナソニックＩｐマネジメント株式会社 投影システム、投影調整プログラム及び投影方法
JP7145444B2 (ja) 2018-06-20 2022-10-03 パナソニックＩｐマネジメント株式会社 投影システム、投影調整プログラム及び投影方法
WO2019244523A1 (ja) * 2018-06-20 2019-12-26 パナソニックＩｐマネジメント株式会社 投影システム、投影調整プログラム及び投影方法
US11962947B2 (en) 2018-06-20 2024-04-16 Panasonic Intellectual Property Management Co., Ltd. Projection system, projection adjustment program, and projection method
JP2020012912A (ja) * 2018-07-13 2020-01-23 パナソニックＩｐマネジメント株式会社 映像表示装置、および映像表示方法
JP7065458B2 (ja) 2018-07-13 2022-05-12 パナソニックＩｐマネジメント株式会社 映像表示装置、および映像表示方法

Also Published As

Publication number Publication date
JP2015173431A (ja) 2015-10-01
US20160088275A1 (en) 2016-03-24
US9554104B2 (en) 2017-01-24
JP6618249B2 (ja) 2019-12-11
EP3110139B1 (en) 2019-08-14
KR102196467B1 (ko) 2020-12-29
EP3110139A1 (en) 2016-12-28
EP3110139A4 (en) 2017-03-08
CN105165006A (zh) 2015-12-16
CN105165006B (zh) 2019-03-01
KR20160122048A (ko) 2016-10-21

Similar Documents

Publication Publication Date Title
JP6618249B2 (ja) 投影システムおよび半導体集積回路
US20170347076A1 (en) Image projection system and image projection method
US10161745B2 (en) Real-time-measurement projection device and three-dimensional-projection measurement device
JP7236680B2 (ja) 投影システム
JP7462249B2 (ja) 投影システム、投影装置及び投影方法
US11743437B2 (en) Projection adjustment program and projection adjustment method
US9654748B2 (en) Projection device, and projection method
JP6182739B2 (ja) 投影装置及び投影方法
US11962947B2 (en) Projection system, projection adjustment program, and projection method
JP2020060654A (ja) 投影装置、その制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201580000683.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 20157026566

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15751747

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015751747

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015751747

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE