WO2018173311A1 - 投影システム及び投影方法 - Google Patents

投影システム及び投影方法 Download PDF

Info

Publication number
WO2018173311A1
WO2018173311A1 PCT/JP2017/027827 JP2017027827W WO2018173311A1 WO 2018173311 A1 WO2018173311 A1 WO 2018173311A1 JP 2017027827 W JP2017027827 W JP 2017027827W WO 2018173311 A1 WO2018173311 A1 WO 2018173311A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
projection system
projection
visible light
invisible light
Prior art date
Application number
PCT/JP2017/027827
Other languages
English (en)
French (fr)
Inventor
千春 坪田
和博 南
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2019506928A priority Critical patent/JP6964223B2/ja
Publication of WO2018173311A1 publication Critical patent/WO2018173311A1/ja
Priority to US16/534,189 priority patent/US10728508B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2073—Polarisers in the lamp house
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/312—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being placed behind the display panel, e.g. between backlight and spatial light modulator [SLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3167—Modulator illumination systems for polarizing the light beam
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present disclosure relates to a projection system and a projection method for projecting an image according to the shape and position of an object.
  • Patent Document 1 discloses a projection system for projection mapping that projects video content onto a structure such as a building.
  • a projection apparatus irradiates a structure with video light indicating video content and pattern light indicating a pattern image obtained by encoding projection coordinates defined by a projection coordinate system.
  • the imaging device captures a pattern image projected on the structure. According to the projection system of Patent Document 1, it is possible to perform projection mapping by aligning video content with a structure.
  • the present disclosure provides a projection system and a projection method that can accurately measure the shape of an object in a projection system that projects an image according to the shape of the object.
  • the projection system in the present disclosure is a projection system that projects an image according to the shape of an object, and includes a non-visible light projection unit, an imaging unit, an image generation unit, and a visible light projection unit.
  • the invisible light projection unit projects a predetermined invisible light image by invisible light whose main component is predetermined polarization onto an object and a background member that reflects the invisible light while maintaining the predetermined polarization.
  • the imaging unit captures an invisible light image reflected by the object and the background member while blocking invisible light having a predetermined polarization, and generates imaging data.
  • the video generation unit measures the shape of the object based on the imaging data, and generates video data according to the measurement result.
  • the visible light projection unit projects an image indicated by the image data onto the object with visible light.
  • the projection method is a projection method for projecting an image according to the shape of an object, and includes a non-visible light projection step, an imaging step, an image generation step, and a visible light projection step.
  • the invisible light projecting step a predetermined invisible light image of invisible light whose main component is predetermined polarization is projected onto an object and a background member that reflects the invisible light while maintaining the predetermined polarization.
  • the imaging step the invisible light image reflected by the object and the background member is imaged while blocking the invisible light having a predetermined polarization, and imaging data is generated.
  • the video generation step the shape of the object is measured based on the imaging data, and video data is generated according to the measurement result.
  • the visible light projection step an image represented by the image data is projected onto the object with visible light.
  • the shape of the object can be accurately measured in the projection system that projects an image corresponding to the shape of the object.
  • FIG. 1 is a block diagram showing a configuration of a projection system according to Embodiment 1.
  • FIG. Diagram for explaining the principle of 3D measurement in the projection system Diagram for explaining measurement pattern based on spatial coding method The figure for demonstrating the function of the various filters in the projection system which concerns on Embodiment 1.
  • FIG. The figure for demonstrating the function of the pulse light emission control in the projection system which concerns on Embodiment 1.
  • FIG. Timing chart showing operation timing of the projection system according to the first embodiment
  • FIG. 1 is a block diagram showing a configuration of a projection system 1 according to this embodiment.
  • the projection system 1 includes a visible light projector 2, an infrared light projector 3, a camera 4, and a controller 5.
  • the projection system 1 is a system that performs projection mapping that projects an image of visible light 7 onto a subject 6 such as a person, for example, for production.
  • the shape or the like of the subject 6 is measured using the infrared light projector 3 and the camera 4 in order to cause the video content 71 by the visible light 7 from the visible light projector 2 to follow the movement of the subject 6.
  • the screen 10 is arranged at a position behind the subject 6 in the projection direction of the projectors 2 and 3.
  • the visible light projector 2 is a projector such as a DLP system, a 3LCD system, or an LCOS system.
  • the visible light projector 2 emits visible light 7 so as to project video including various video contents 71 based on a video signal (video data) input from the controller 5, for example.
  • the visible light projector 2 is an example of a visible light projection unit in the present embodiment. As shown in FIG. 1, the visible light projector 2 includes a visible light source 21, a spatial light modulator 22, and a projection optical system 23.
  • the visible light source 21 includes a plurality of light source elements (for example, LEDs) that respectively emit red light, green light, and blue light.
  • the visible light source 21 may have only a single color light source element or a white light source element depending on the projection method of the visible light projector 2.
  • the light source element may be a laser diode or a halogen lamp.
  • the spatial light modulator 22 is composed of three spatial light modulators.
  • DMD or LCD can be used as the spatial light modulator.
  • the spatial light modulator 22 may be composed of a single spatial light modulator.
  • Projection optical system 23 includes a zoom lens that sets the angle of view of visible light projector 2 and a focus lens that adjusts the focus.
  • the infrared projector 3 is, for example, a projector such as a DLP system, an LCD system, or an LCOS system.
  • the infrared light projector 3 projects a measurement pattern of a predetermined infrared light 8 to be described later based on, for example, a video signal (video data) input from the controller 5.
  • the infrared light projector 3 is an example of a non-visible light projection unit that projects a non-visible light image with non-visible light.
  • infrared light is used as an example of invisible light.
  • the present invention is not limited thereto, and for example, ultraviolet light may be used.
  • the infrared light projector 3 includes a pulse light source 31, a spatial light modulation element 32, a projection optical system 33, and a first polarization filter 34.
  • the pulse light source 31 is composed of a pulse laser that pulsates infrared light.
  • the pulse light source 31 emits infrared light having a peak wavelength of 800 nm to 900 nm, for example, in a pulse width of 0.1 picosecond to 20 microseconds or the like by pulse oscillation.
  • the spatial light modulation element 32 is constituted by a DMD or LCD. An image is formed on the image forming surface of the spatial light modulator 32 based on a video signal from the controller 5 or the like.
  • the infrared light pulsed by the pulse light source 31 is incident on the image forming surface of the spatial light modulation element 32, whereby the infrared light is spatially modulated and an invisible light image is generated.
  • the projection optical system 33 includes a zoom lens that sets the angle of view of the infrared projector 3 and a focus lens that adjusts the focus.
  • the first polarizing filter 34 is a polarizing filter that transmits only the linearly polarized light component in a specific direction out of the invisible light projected from the infrared light projector 3.
  • the first polarizing filter 34 is attached to the projection optical system 33, for example.
  • the first polarizing filter 34 is an example of a polarizing member that imparts specific polarization characteristics to invisible light in the infrared projector 3.
  • the first polarizing filter 34 may be disposed in the projection optical system 33 between the pulse light source 31 and the screen 10 or may be integrated into the projection optical system 33.
  • the projectors 2 and 3 are arranged so that light can be emitted in the same area, for example.
  • the projectors 2 and 3 may be optically coupled so that their optical axes coincide.
  • a dichroic mirror that transmits visible light and reflects infrared light, or reflects visible light and transmits infrared light may be used.
  • the projection optical systems 23 and 33 may be integrally formed.
  • the infrared light projector 3 and the visible light projector 2 may be integrally configured as one apparatus.
  • the camera 4 is disposed at a position where an image of a region where the invisible light image is projected by the infrared projector 3 can be captured.
  • the camera 4 captures a captured image of the measurement pattern projected onto the subject 6 by the infrared light 8, generates captured image data that is image data indicating the captured image, and outputs the captured image data to the controller 5.
  • the camera 4 is an example of an imaging unit in the projection system 1. As shown in FIG. 1, the camera 4 includes an imaging element 41, an imaging lens 42, a visible light blocking filter 43, and a second polarizing filter 44.
  • the image sensor 41 is constituted by a solid-state image sensor such as a CCD image sensor or a CMOS image sensor containing silicon as a main material.
  • the imaging element 41 has an imaging surface in which a plurality of pixel circuits that receive light are arranged.
  • the main raw material of the image sensor 41 is not limited to silicon, and may be, for example, germanium or gallium.
  • the imaging lens 42 includes a zoom lens that sets the angle of view of the camera 4 and a focus lens that adjusts the focus.
  • the visible light blocking filter 43 is a bandpass filter or a longpass filter that transmits an infrared light component of incident light and absorbs a visible light component.
  • the visible light blocking filter 43 is attached to the imaging lens 42, for example.
  • the visible light blocking filter 43 is an example of a wavelength selection member that selectively transmits infrared light in the camera 4.
  • the visible light blocking filter 43 may be configured integrally with the imaging lens 42 by coating the imaging lens 42 or forming a diffraction grating. Further, the visible light blocking filter 43 may be configured to be incorporated in an image forming surface of the image sensor 41 or the like. Further, the visible light blocking filter 43 may be configured to reflect the visible light component instead of or in addition to the absorption of the visible light component.
  • the second polarizing filter 44 is a polarizing filter that transmits only a linearly polarized light component in a specific direction out of the light incident on the camera 4.
  • the second polarizing filter 44 is installed so as to have a characteristic in a direction different from the characteristic of the first polarizing filter 34 by 90 ° in order to block infrared light having a specific polarization characteristic provided by the first polarizing filter 34.
  • the second polarizing filter 44 is attached to the imaging lens 42, for example.
  • the second polarizing filter 44 is an example of a polarizing member that blocks invisible light having a specific polarization characteristic in the camera 4.
  • the second polarizing filter 44 may be disposed on the imaging lens 42 between the imaging device 41 and the screen 10 or may be configured integrally with the imaging lens 42. Further, the second polarizing filter 44 may be configured to be incorporated in an image forming surface of the image sensor 41 or the like. The second polarizing filter 44 may be configured integrally with the visible light blocking filter 43.
  • the controller 5 is a control device that controls each part of the projection system 1.
  • the controller 5 includes, for example, a CPU or MPU that realizes a predetermined function in cooperation with software. As shown in FIG. 1, the controller 5 includes a video generation unit 50 and a storage unit 51.
  • the controller 5 reads out data and programs stored in the storage unit 51 and performs various arithmetic processes to realize various functions. For example, the controller 5 realizes a function as the video generation unit 50.
  • the controller 5 may perform control of various operation timings (for example, synchronization control of each unit), zoom control, focus control, and the like of the camera 4, the infrared light projector 3, the visible light projector 2, and the like.
  • the controller 5 may be a hardware circuit such as a dedicated electronic circuit or a reconfigurable electronic circuit designed to realize a predetermined function.
  • the controller 5 may be composed of various semiconductor integrated circuits such as a CPU, MPU, microcomputer, DSP, FPGA, ASIC.
  • Various functions of the controller 5 may be incorporated in the visible light projector 2, the infrared light projector 3, and the camera 4.
  • the video generation unit 50 generates video data indicating the video content 71 projected by the visible light projector 2. At this time, the video data needs to be generated so that the video content 71 can be projected following the movement of the subject 6. Therefore, the video generation unit 50 performs three-dimensional measurement such as the shape of the subject 6 based on the imaging data from the camera 4. The operation of the video generation unit 50 will be described later.
  • the storage unit 51 is a storage medium that stores programs and data necessary for realizing the functions of the controller 5, and includes, for example, a hard disk (HDD) or a semiconductor storage device (SSD).
  • the storage unit 51 may further include a semiconductor device such as a DRAM or an SRAM, and temporarily stores data and functions as a work area for the controller 5.
  • the storage unit 51 stores video data indicating various video contents 71 and video data indicating measurement patterns described later.
  • the screen 10 is an example of a background member for projecting video content 71 that is the background of the subject 6 in the projection system 1.
  • video content 71 that is linked to the movement of the subject 6 is projected, and the effect of rendering in projection mapping can be enhanced.
  • the screen 10 includes a reflection surface 10 a (projection surface) on the side on which the infrared light 8 is projected (the side on which the video content 71 is projected).
  • the reflecting surface 10 a has a property of maintaining the polarization characteristics of the infrared light 8.
  • the reflecting surface 10a may be a flat surface or a curved surface as long as it maintains the polarization characteristics.
  • a screen for example, a silver screen in which metal powder is applied to the entire reflecting surface 10 a can be used.
  • a screen 10 can be obtained by coating a base material to be a screen with a spray containing metal powder such as aluminum particles and silver particles.
  • the infrared light projector 3 emits infrared light 8 and sequentially projects each measurement pattern of the plurality of measurement patterns onto the subject 6.
  • the measurement pattern of the infrared light 8 is an example of an invisible light image for measuring the shape and position of the subject 6 by a spatial encoding method.
  • the shape of the measurement target is a three-dimensional shape including the contour and unevenness of an object such as the subject 6. Further, the position of the measurement target is a three-dimensional position including the distance to the object. The principle of three-dimensional measurement will be described later.
  • the infrared light projector 3 reads the video data stored in the storage unit 51 under the control of the controller 5, for example, and forms a measurement pattern indicated by the video data in the spatial light modulator 32. Next, the infrared light projector 3 drives the pulse light source 31 to project the measurement pattern of the infrared light 8 at an angle of view including a range such as the entire projection surface of the screen 10.
  • the camera 4 captures the measurement pattern projected by the infrared light projector 3 and outputs imaging data indicating a captured image of the measurement pattern to the controller 5.
  • the imaging operation of the camera 4 is performed for each measurement pattern in the plurality of measurement patterns.
  • the video generation unit 50 of the controller 5 measures the shape and position of the subject 6 based on the imaging data of the measurement pattern, and generates video data indicating the video content 71 projected on the subject 6 according to the measurement result. To do.
  • the video generation unit 50 measures the distance to the own apparatus for each pixel in the area of the subject 6 in the imaging data by a spatial encoding method to be described later, and generates a distance image indicating the measured distance for each pixel. . Based on the generated distance image, the video generation unit 50 outputs the default video data so that the video content 71 indicated by the default video data is appropriately projected when projected onto the subject 6 having the measured shape and position. to correct.
  • the default video data is stored in advance in the storage unit 51, for example.
  • the video generation unit 50 generates video data to be output to the visible light projector 2 so as to include the video content 71 projected on the screen 10.
  • information indicating the position and shape (orientation) of the screen 10 is recorded in advance in the storage unit 51 by calibration such as when the projection system 1 is installed, and the video generation unit 50 refers to the above information during the projection operation.
  • the video content 71 projected on the screen 10 is corrected.
  • the visible light projector 2 controls the spatial light modulation unit 22 based on the video data from the video generation unit 50 of the controller 5, and an image is displayed on the subject 6 and the screen 10 by the emission of the visible light 7 from the visible light source 21.
  • the content 71 is projected.
  • Projection system 1 repeats the above processing at a predetermined frame rate. Thereby, the video content 71 projected from the visible light projector 2 can be made to accurately follow the movement of the subject 6.
  • the first polarizing filter 34, the screen 10, the second polarizing filter 44, and the visible light blocking filter 43 are used in order to achieve the purpose of improving the measurement accuracy.
  • pulse light emission control is employed in the infrared light projector 3.
  • FIG. 2 is a diagram for explaining the principle of three-dimensional measurement.
  • FIG. 3 is a diagram for explaining a measurement pattern based on the spatial coding method.
  • the camera 4 and the infrared light projector 3 are arranged side by side so that their optical axes are parallel to each other.
  • the direction of each optical axis is defined as the z direction.
  • a direction orthogonal to the z direction, where the camera 4 and the infrared light projector 3 are arranged is an x direction
  • a direction orthogonal to the z direction and the x direction is a y direction.
  • FIG. 2 shows a state in which the infrared light emitted from the infrared light projector 3 is reflected at a specific point (bright spot) of the object, and the reflected light from the bright spot is incident on the camera 4.
  • a parallax ⁇ is generated between the camera 4 and the infrared projector 3.
  • the projected image appears in the picked-up image of the camera 4 with a shift of parallax ⁇ . That is, as shown in FIG. 2, the x coordinate of the bright spot in the captured image of the camera 4 is shifted according to the distance to the bright spot on the object.
  • the controller 5 (video generation unit 50) performs a calculation based on trigonometry with the interval between the camera 4 and the infrared projector 3 as a base length based on the coordinate deviation as described above, and z Measure the distance in the direction.
  • the baseline length is acquired in advance, for example, by calibration when the projection system 1 is installed.
  • the coordinate shift is measured using a measurement pattern based on the spatial coding method. This measurement method will be described with reference to (a) and (b) of FIG.
  • FIG. 3A illustrates video data of a set of measurement patterns 81, 82, and 83 projected from the infrared light projector 3.
  • FIG. Each of the measurement patterns 81 to 83 has a light emitting region R1 and a non-light emitting region R0 arranged along the x-coordinate direction of the deviation measurement target.
  • the x coordinate on the video data is coded by making the light emitting area R1 correspond to “1” and the non-light emitting area R0 to “0”.
  • a 3-bit code corresponding to eight regions on the video data is obtained by the three measurement patterns 81 to 83.
  • 3B shows an image generated when an object (a rectangular parallelepiped in the example shown in FIG. 3) on which the measurement patterns 81, 82, and 83 shown in FIG. Images Im1, Im2, and Im3 are shown.
  • the controller 5 measures the coordinate deviation by decoding the imaging data indicating the captured images Im1 to Im3 in the video generation unit 50.
  • the controller 5 first performs threshold determination for each pixel of the captured image indicated by the imaging data of one frame, by comparing the luminance of the pixel with a predetermined threshold.
  • the predetermined threshold value is a reference threshold value for determining a pixel showing a bright spot of the light emitting area in the measurement pattern in the captured image, and is set in consideration of the amount of noise, for example.
  • the controller 5 assigns “1” to a pixel determined that the luminance exceeds the threshold, and assigns “0” to a pixel determined that the luminance does not exceed the threshold.
  • the controller 5 performs the above processing on all the captured images Im1, Im2, and Im3, and counts the binary values (“0” or “1”) assigned to each pixel, thereby decoding the captured image data. Do. At this time, the controller 5 may extract a region considered to be a subject on the captured data by, for example, excluding a region where the luminance does not exceed a threshold value in all the captured images Im1 to Im3.
  • the controller 5 measures the deviation of the x-coordinate by comparing the x-coordinate value represented by the decoding result with the reference x-coordinate value for each pixel.
  • the displacement of the y coordinate can also be measured in the same manner as described above, for example, by using a measurement pattern obtained by rotating the measurement patterns 81 to 83 in FIG. Further, when there is a parallax between the infrared light projector 3 and the visible light projector 2, for example, information indicating the installation positions of the both is acquired in advance, and the three-dimensional data defined in the infrared light projector 3 is appropriately obtained.
  • the coordinates are converted into three-dimensional coordinates defined in the visible light projector 2.
  • FIG. 4 is a diagram for explaining the functions of various filters in the projection system 1.
  • the visible light projector 2 projects the video content 71 on the subject 6 and the screen 10 (see FIG. 1).
  • the visible light 7 from the visible light projector 2 needs to be diffusely reflected on the screen 10 as shown in FIG. 4.
  • the infrared light 8 from the infrared light projector 3 is diffusely reflected on both the subject 6 and the screen 10, the region of the subject 6 and the region other than the subject 6 in the captured image of the measurement pattern by the camera 4. The boundary becomes unclear.
  • the infrared light 8 emitted from the pulse light source 31 of the infrared light projector 3 is unpolarized (omnidirectional arrow). And when the infrared light 8 passes the 1st polarizing filter 34, only the polarization component of a horizontal direction permeate
  • the infrared light 8 that has passed through the first polarizing filter 34 is reflected by the subject 6 and the screen 10. Since the infrared light 8 reflected by the screen 10 maintains the polarization state at the reflecting surface 10a of the screen 10, it is reflected only by the horizontal polarization component (horizontal arrow).
  • the polarization component in the horizontal direction is blocked by the second polarizing filter 44, and the infrared light does not substantially enter the image sensor 41 (no arrow), so that the infrared light reflected by the screen 10 is not imaged by the camera 4. .
  • the infrared light 8 reflected by the subject 6 is diffusely reflected on the surface of the subject 6 and thus becomes non-polarized (an omnidirectional arrow).
  • the second polarization filter 44 blocks the horizontal polarization component but transmits the vertical polarization component, so that the infrared light reflected by the subject 6 is imaged by the camera 4.
  • the infrared light 8 transmitted through the first polarizing filter 34 is laterally polarized light.
  • the infrared light reflected by the screen 10 is laterally polarized light.
  • the second polarizing filter 44 is installed so as not to transmit laterally polarized light. That is, it is installed so as to transmit longitudinally polarized light.
  • the infrared light diffusely reflected by the subject 6 is not polarized without retaining the polarization component of the incident light.
  • the infrared light transmitted through the second polarizing filter 44 installed so as to transmit longitudinally polarized light is half the amount of non-polarized infrared light diffusely reflected by the subject 6.
  • the infrared light reflected by the screen 10 does not reach the image sensor 41 of the camera 4, but half the amount of the infrared light 8 reflected by the subject 6 reaches the image sensor 41 of the camera 4.
  • the contrast of the image captured by the camera 4 is clearly different between the screen 10 and the subject 6, so that the contour of the subject 6 can be made clear.
  • the predetermined polarization state of the infrared light 8 transmitted through the first polarizing filter 34 may be a ratio in which the predetermined polarization component is higher than 50% in the invisible light. More preferably, in order to distinguish between the reflection on the screen 10 and the reflection on the subject 6, the infrared light transmitted through the second polarizing filter 44 may have a difference of 10% or more. That is, the predetermined polarization state of the infrared light 8 transmitted through the first polarizing filter 34 may be a ratio of the predetermined polarization component of 60% or more in the invisible light.
  • the screen 10 can diffuse and reflect the visible light 7 by using a screen in which a metal powder such as a silver screen is applied to the entire surface of the reflecting surface 10a. Thereby, the visibility of the image by the visible light projector 2 on the screen 10 can be ensured.
  • the visible light blocking filter 43 is used for the camera 4 to block the visible light component of the light incident on the camera 4 and transmit the infrared light component. Thereby, the camera 4 can accurately capture the measurement pattern of the infrared projector 3 regardless of the timing at which the visible light projector 2 projects an image by the emission of the visible light 7.
  • FIG. 5 is a diagram for explaining the function of pulse emission control in the projection system 1.
  • the light reflected by the subject 6 includes visible light 7 from the visible light projector 2 and external light in addition to the infrared light from the infrared light projector 3.
  • External light usually includes an infrared light component as well as a visible light component.
  • light other than the infrared light from the infrared light projector 3 is exposed to the camera 4 and becomes noise that reduces the measurement accuracy of the subject 6 based on the captured image.
  • the pulse light source 31 (FIG. 1) of the infrared light projector 3 emits pulsed infrared light 8 for projecting the measurement pattern, and the light amount of the emitted infrared light 8 is a pulse width period.
  • the camera 4 performs the imaging operation in synchronization with the pulse emission timing of the infrared light 8, thereby changing the light amount of the infrared light 8 at the imaging timing of the camera 4 as shown in FIG. Or larger than the visible light 7 from the visible light projector 2.
  • the light quantity of the infrared light 8 from the infrared projector 3 can be remarkably made larger than the light quantity of noises, such as external light, and S in the measurement precision of the to-be-photographed object 6 can be set. / N ratio can be improved.
  • the degree of freedom in installing the projection system 1 can be expanded by reducing the influence of external light on the measurement accuracy.
  • FIGS. 6A to 6C show the emission timings of red light (R), green light (G), and blue light (B) by the visible light projector 2, respectively.
  • the visible light projector 2 emits red light, green light, and blue light in a frame period T1 for projecting one frame of video.
  • the visible light source 21 (FIG. 1) is driven so as to emit light continuously.
  • the amount of light can be set larger than when red light, green light, and blue light are emitted in a time division manner, and the projected image can be of high quality.
  • the frame period T1 is set to 1/200 second or less, for example, in order to make the video follow the moving object.
  • FIG. 6 shows the light emission timing of the infrared light 8 by the infrared light projector 3.
  • the infrared projector 3 periodically performs pulsed emission of the infrared light 8 while being superimposed on the period during which the visible light projector 2 is emitting light.
  • the amount of light of each of the visible light 7 and the infrared light 8 can be set larger than when the visible light 7 and the infrared light 8 are emitted in a time division manner.
  • the infrared projector 3 projects a measurement pattern of one frame per pulse emission.
  • the length of the pulse period which is the repetition period of the pulsed light emission, is set to the same length as the frame period T1 of the image of the visible light 7.
  • the amount of infrared light 8 per pulse emission is set with reference to the amount of visible light 7 that can be emitted by the visible light projector 2, for example, and the amount of visible light 7 that can be emitted during the frame period T1, for example.
  • the amount of visible light 7 that can emit light during the same period as the pulse width T2 is set.
  • FIG. 6 shows the imaging timing by the camera 4.
  • the camera 4 performs exposure in synchronization with the light emission timing of the infrared projector 3 in the imaging operation. Thereby, the captured image of the camera 4 is obtained for every frame period T1.
  • FIGS. 6F and 6G show details during the frame period T1 of FIGS. 6D and 6E, respectively.
  • the camera 4 performs exposure in the same period as the pulse emission timing of the measurement light and the pulse width T2.
  • the pulse width T2 of the pulse emission is set to 0.1 picosecond to 20 microseconds, for example.
  • the peak of the light quantity of pulsed light emission can be made remarkably high, avoiding the situation where the period of pulsed light emission is shortened too much and the wavelength band of measurement light is spread.
  • the duty ratio of pulsed light emission is set to 1/100 to 1/10000, for example.
  • the pulse frequency corresponding to the pulse period may be appropriately set within a range of 200 Hz to 1 GHz in order to ensure a frame rate of the captured image that can follow the moving object.
  • the projection system 1 projects an image according to the shape of an object such as the subject 6.
  • the projection system 1 includes an infrared light projector 3, a camera 4, a video generation unit 50, and a visible light projector 2.
  • the infrared light projector 3 emits infrared light 8 which has a predetermined polarization characteristic and is invisible light, and projects measurement patterns 81 to 83 by the infrared light 8 onto an object and the screen 10.
  • the screen 10 is disposed behind the object in the direction in which infrared light is emitted from the infrared projector 3, and has a reflecting surface 10a having a property of reflecting while maintaining the polarization characteristics of the incident infrared light 8.
  • the camera 4 has a second polarizing filter 44 installed so as to block infrared light reflected by the screen 10 while maintaining predetermined polarization characteristics, and a measurement pattern 81 projected by the infrared light projector 3. To 83 are imaged.
  • the video generation unit 50 measures the shape of the object based on the captured image captured by the camera 4, and generates video data indicating the video projected on the object according to the measurement result.
  • the visible light projector 2 projects the image indicated by the image data on the object by the visible light 7.
  • the invisible light reflected by the screen 10 is blocked by the second polarizing filter 44.
  • the shape of objects, such as the to-be-photographed object 6 can be measured with a sufficient precision.
  • the screen 10 diffusely reflects the visible light 7.
  • the visible light projector 2 can project an image on the screen 10, and the effect of the presentation in the projection system 1 can be enhanced.
  • the camera 4 includes an imaging element 41 containing silicon and a visible light blocking filter 43 that transmits infrared light and absorbs or reflects visible light.
  • a visible light blocking filter 43 that transmits infrared light and absorbs or reflects visible light.
  • the visible light blocking filter 43 is a filter attached to the imaging lens 42 in the camera 4.
  • the visible light blocking filter 43 may be a filter incorporated in the imaging element 41 or may be configured integrally with the imaging lens 42 in the camera 4.
  • the infrared light projector 3 includes a first polarizing filter 34 that imparts predetermined polarization characteristics to the infrared light 8 to be projected.
  • the first polarizing filter 34 is a filter attached to the projection optical system 33 in the infrared light projector 3.
  • the first polarizing filter 34 may be configured integrally with the projection optical system 33 in the infrared projector 3.
  • the pulse light source 31 in the infrared light projector 3 includes a light emitting element that emits light having polarization characteristics
  • the first polarizing filter 34 may be omitted.
  • the infrared projector 3 uses the first polarizing filter 34 together, so that the predetermined polarization component of the main component is obtained. It is possible to emit infrared light 8 in a polarization state including more.
  • the second polarizing filter 44 is a filter attached to the imaging lens 42 in the camera 4.
  • the second polarizing filter 44 may be a filter incorporated in the image sensor 41 or may be configured integrally with the imaging lens 42 in the camera 4.
  • the infrared light projector 3 emits pulsed infrared light 8 for projecting the measurement patterns 81, 82, 83.
  • the video generation unit 50 generates video data based on the captured images Im1, Im2, and Im3 captured according to the pulse emission timing.
  • the amount of infrared light for projecting each measurement pattern 81, 82, 83 is concentrated in the period of the pulse width of pulse emission by the infrared light projector 3, and the captured images Im1, Im2 are concentrated. , Im3 can improve the S / N ratio. Thereby, in the projection system 1, the shape of the object such as the subject 6 can be accurately measured.
  • the pulse width of the pulse emission by the infrared light projector 3 is shorter than the period of one frame of the image projected by the visible light projector 2.
  • the amount of pulsed light emission is greater than the amount of visible light 7 emitted by the visible light projector 2 during the period of the pulse width.
  • the period of the pulse width it is possible to set the light emission amount of the pulse emission significantly larger than the light amount of the visible light 7 from the visible light projector 2. For this reason, the measurement accuracy of the object in the projection system 1 can be improved.
  • the camera 4 performs an imaging operation in synchronization with the pulse light emission by the infrared projector 3. Thereby, a captured image having an improved S / N ratio by pulsed light emission can be obtained from the camera 4.
  • the infrared light projector 3 includes a pulse light source 31 composed of a pulse laser. Thereby, a large amount of pulsed light can be emitted by pulse oscillation of the pulse laser.
  • invisible light images projected from the infrared projector 3 are measurement patterns 81 to 83 based on the spatial coding method.
  • the invisible light image is not limited to this, and for example, a random dot pattern or the like may be used.
  • the present disclosure when the infrared light 8 passes through the first polarizing filter 34, only a linearly polarized component in a specific direction is transmitted, and when passing through the second polarizing filter 44, only a linearly polarized component in a specific direction is transmitted.
  • the present disclosure is not limited to a specific linearly polarized light component.
  • invisible light having a predetermined polarization characteristic that is projected from the infrared projector 3 and transmitted through the first polarizing filter 34 may not be detected by the camera 4 via the second polarizing filter 44.
  • the first polarizing filter 34 converts invisible light into only invisible light components in a predetermined polarization state such as circularly polarized light and elliptically polarized light
  • the second polarizing filter 44 converts only invisible light components in a predetermined polarization state. It is good also as a structure which interrupts
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, substitutions, additions, omissions, and the like are appropriately performed.
  • the object to be projected by the projection system in the present disclosure is not limited to a moving object, and may be a stationary object, for example, a building.
  • the stationary object is the projection target of the projection system, the position need not be measured particularly during the projection operation.
  • the projection system and the projection method according to the present disclosure can be applied to various uses for projecting an image on an object.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Overhead Projectors And Projection Screens (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本開示における投影システムは、物体の形状に応じた映像を投影する投影システムであって、非可視光投影部と、撮像部と、映像生成部と、可視光投影部と、を備える。非可視光投影部は、所定の偏光が主成分である非可視光による所定の非可視光映像を、物体、及び非可視光を所定の偏光を維持して反射する背景部材に投影する。撮像部は、物体及び背景部材により反射された非可視光映像を、所定の偏光の非可視光を遮断して撮像し、撮像データを生成する。映像生成部は、撮像データに基づき物体の形状を計測し、計測結果に応じて映像データを生成する。可視光投影部は、物体に映像データが示す映像を可視光により投影する。

Description

投影システム及び投影方法
　本開示は、物体の形状および位置等に応じた映像を投影する投影システム及び投影方法に関する。
　特許文献１は、建物のような構造物に映像コンテンツを投影するプロジェクションマッピングのための投影システムを開示している。特許文献１の投影システムにおいては、投影装置が、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光と、を構造物に照射する。また、撮像装置が、構造物に投影されたパターン画像を撮像する。特許文献１の投影システムによると、構造物に映像コンテンツを位置合わせしてプロジェクションマッピングを行うことが可能になる。
特開２０１５－１７３４３１号公報
　本開示は、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる投影システム及び投影方法を提供する。
　本開示における投影システムは、物体の形状に応じた映像を投影する投影システムであって、非可視光投影部と、撮像部と、映像生成部と、可視光投影部と、を備える。非可視光投影部は、所定の偏光が主成分である非可視光による所定の非可視光映像を、物体、及び非可視光を所定の偏光を維持して反射する背景部材に投影する。撮像部は、物体及び背景部材により反射された非可視光映像を、所定の偏光の非可視光を遮断して撮像し、撮像データを生成する。映像生成部は、撮像データに基づき物体の形状を計測し、計測結果に応じて映像データを生成する。可視光投影部は、物体に映像データが示す映像を可視光により投影する。
　また、本開示における投影方法は、物体の形状に応じた映像を投影する投影方法であって、非可視光投影ステップと、撮像ステップと、映像生成ステップと、可視光投影ステップと、を備える。非可視光投影ステップでは、所定の偏光が主成分である非可視光による所定の非可視光映像を、物体、及び非可視光を所定の偏光を維持して反射する背景部材に投影する。撮像ステップでは、物体及び背景部材により反射された非可視光映像を、所定の偏光の非可視光を遮断して撮像し、撮像データを生成する。映像生成ステップでは、撮像データに基づき物体の形状を計測し、計測結果に応じて映像データを生成する。可視光投影ステップでは、物体に映像データが示す映像を可視光により投影する。
　本開示における投影システム又は投影方法によると、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる。
実施形態１に係る投影システムの構成を示すブロック図 投影システムにおける三次元計測の原理を説明するための図 空間コード化法に基づく計測パターンを説明するための図 実施形態１に係る投影システムにおける各種フィルタの機能を説明するための図 実施形態１に係る投影システムにおけるパルス発光制御の機能を説明するための図 実施形態１に係る投影システムの動作タイミングを示すタイミングチャート
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施形態１）
　１．構成
　実施形態１に係る投影システムの構成を、図１を参照して説明する。図１は、本実施形態に係る投影システム１の構成を示すブロック図である。
　投影システム１は、図１に示すように、可視光プロジェクタ２と、赤外光プロジェクタ３と、カメラ４と、コントローラ５と、を備える。本実施形態に係る投影システム１は、例えば演出用に人物等の被写体６に可視光７の映像を投影するプロジェクションマッピングを行うシステムである。投影システム１では、可視光プロジェクタ２からの可視光７による映像コンテンツ７１を、被写体６の動きに追従させるため、赤外光プロジェクタ３及びカメラ４を用いて被写体６の形状等を計測する。また、スクリーン１０は、各プロジェクタ２，３の投影方向において被写体６よりも後方となる位置に配置される。
　可視光プロジェクタ２は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。可視光プロジェクタ２は、例えばコントローラ５から入力される映像信号（映像データ）に基づき、種々の映像コンテンツ７１を含む映像を投影するように可視光７を出射する。可視光プロジェクタ２は、本実施形態における可視光投影部の一例である。可視光プロジェクタ２は、図１に示すように、可視光光源２１と、空間光変調部２２と、投影光学系２３とを備える。
　可視光光源２１は、本実施形態では、赤色光、緑色光及び青色光をそれぞれ出射する複数の光源素子（例えばＬＥＤ）を含む。可視光光源２１は、可視光プロジェクタ２の投影方式に応じて適宜、単色の光源素子のみ、或いは白色の光源素子を有してもよい。光源素子は、レーザダイオード又はハロゲンランプなどであってもよい。
　空間光変調部２２は、本実施形態では、３つの空間光変調素子で構成される。空間光変調素子としては、ＤＭＤ又はＬＣＤ等を用いることができる。空間光変調部２２は、１つの空間光変調素子で構成されてもよい。
　投影光学系２３は、可視光プロジェクタ２の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
　赤外光プロジェクタ３は、例えばＤＬＰ方式、ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。赤外光プロジェクタ３は、例えばコントローラ５から入力される映像信号（映像データ）に基づき、後述する所定の赤外光８の計測パターンを投影する。赤外光プロジェクタ３は、非可視光により非可視光映像を投影する非可視光投影部の一例である。本実施形態では、非可視光の一例として赤外光を用いるが、これに限らず、例えば紫外光を用いてもよい。
　赤外光プロジェクタ３は、図１に示すように、パルス光源３１と、空間光変調素子３２と、投影光学系３３と、第１偏光フィルタ３４とを備える。
　パルス光源３１は、本実施形態では、赤外光をパルス発振するパルスレーザで構成される。パルス光源３１は、パルス発振により、０．１ピコ秒～２０マイクロ秒等のパルス幅において、例えばピーク波長が８００ｎｍ～９００ｎｍの赤外光をパルス発光する。
　空間光変調素子３２は、ＤＭＤ又はＬＣＤ等で構成される。空間光変調素子３２の画像形成面には、コントローラ５等からの映像信号に基づき画像が形成される。パルス光源３１においてパルス発光した赤外光が空間光変調素子３２の画像形成面に入射することで、赤外光が空間変調され、非可視光映像が生成される。
　投影光学系３３は、赤外光プロジェクタ３の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
　第１偏光フィルタ３４は、赤外光プロジェクタ３から投影される非可視光のうち、特定方向の直線偏光成分のみを透過する偏光フィルタである。第１偏光フィルタ３４は、例えば投影光学系３３に取り付けられる。第１偏光フィルタ３４は、赤外光プロジェクタ３において非可視光に特定の偏光特性を付与する偏光部材の一例である。第１偏光フィルタ３４は、パルス光源３１とスクリーン１０の間において、投影光学系３３に配置されたり、投影光学系３３に組み込まれて一体的に構成されても良い。
　各プロジェクタ２，３は、例えば互いに同一の領域に光を出射可能に配置される。各プロジェクタ２，３は、それぞれの光軸が一致するように光学的に結合されてもよい。この場合、例えば、可視光を透過して赤外光を反射する、或いは可視光を反射して赤外光を透過するダイクロイックミラーなどを用いてもよい。また、この場合、それぞれの投影光学系２３，３３は一体的に構成されてもよい。また、赤外光プロジェクタ３と可視光プロジェクタ２とが、一つの装置として一体的に構成されてもよい。
　カメラ４は、赤外光プロジェクタ３によって非可視光映像が投影される領域の画像を撮像可能な位置に配置される。カメラ４は、赤外光８により被写体６に投影される計測パターンの撮像画像を撮像し、撮像画像を示す画像データである撮像データを生成してコントローラ５に出力する。カメラ４は、投影システム１における撮像部の一例である。カメラ４は、図１に示すように、撮像素子４１と、撮像レンズ４２と、可視光遮断フィルタ４３と、第２偏光フィルタ４４とを備える。
　撮像素子４１は、例えばシリコンを主原料として含むＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどの固体撮像素子で構成される。撮像素子４１は、光を受光する複数の画素回路が並ぶ撮像面を有する。撮像素子４１の主原料はシリコンに限らず、例えばゲルマニウムやガリウムであってもよい。
　撮像レンズ４２は、カメラ４の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
　可視光遮断フィルタ４３は、入射する光の内の赤外光成分を透過し、可視光成分を吸収するバンドパスフィルタ或いはロングパスフィルタである。可視光遮断フィルタ４３は、例えば撮像レンズ４２に取り付けられる。可視光遮断フィルタ４３は、カメラ４において選択的に赤外光を透過する波長選択部材の一例である。
　可視光遮断フィルタ４３は、撮像レンズ４２におけるコーティング、或いは回折格子の形成等により、撮像レンズ４２と一体的に構成されてもよい。また、可視光遮断フィルタ４３は、撮像素子４１の画像形成面などに組み込まれて構成されてもよい。また、可視光遮断フィルタ４３は、可視光成分の吸収に代えて、又はこれに加えて、可視光成分を反射するように構成されてもよい。
　第２偏光フィルタ４４は、カメラ４に入射する光のうち、特定方向の直線偏光成分のみを透過する偏光フィルタである。第２偏光フィルタ４４は、第１偏光フィルタ３４により付与された特定の偏光特性の赤外光を遮断するため、第１偏光フィルタ３４の特性と９０°異なる方向の特性になるように設置される。第２偏光フィルタ４４は、例えば撮像レンズ４２に取り付けられる。第２偏光フィルタ４４は、カメラ４において特定の偏光特性の非可視光を遮断する偏光部材の一例である。また、第２偏光フィルタ４４は、撮像素子４１とスクリーン１０の間において、撮像レンズ４２に配置されたり、撮像レンズ４２と一体的に構成されてもよい。また、第２偏光フィルタ４４は、撮像素子４１の画像形成面などに組み込まれて構成されてもよい。また、第２偏光フィルタ４４は、可視光遮断フィルタ４３と一体的に構成されてもよい。
　コントローラ５は、投影システム１の各部を制御する制御装置である。コントローラ５は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを備える。コントローラ５は、図１に示すように、映像生成部５０と、記憶部５１とを備える。
　コントローラ５は、記憶部５１に格納されたデータやプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、コントローラ５は、映像生成部５０としての機能を実現する。また、コントローラ５は、カメラ４、赤外光プロジェクタ３及び可視光プロジェクタ２等の各種動作タイミングの制御（例えば各部の同期制御）、ズーム制御、フォーカス制御などを行ってもよい。
　コントローラ５は、所定の機能を実現するように設計された専用の電子回路や再構成可能な電子回路などのハードウェア回路であってもよい。コントローラ５は、ＣＰＵ，ＭＰＵ，マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。また、コントローラ５の各種機能は、可視光プロジェクタ２，赤外光プロジェクタ３，カメラ４に組み込まれてもよい。
　映像生成部５０は、可視光プロジェクタ２によって投影される映像コンテンツ７１を示す映像データを生成する。この際、映像データは、映像コンテンツ７１を被写体６の動きに追従して投影できるように生成される必要がある。このため、映像生成部５０は、カメラ４からの撮像データに基づき被写体６の形状等の三次元計測を行う。映像生成部５０の動作については後述する。
　記憶部５１は、コントローラ５の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体であり、例えばハードディスク（ＨＤＤ）又は半導体記憶装置（ＳＳＤ）を備える。また、記憶部５１は、さらに、ＤＲＡＭやＳＲＡＭ等の半導体デバイスを備えてもよく、データを一時的に記憶するとともにコントローラ５の作業エリアとしても機能する。例えば、記憶部５１は、種々の映像コンテンツ７１を示す映像データ及び後述する計測パターンを示す映像データを格納する。
　スクリーン１０は、投影システム１において被写体６の背景となるような映像コンテンツ７１を映し出すための背景部材の一例である。スクリーン１０を用いることにより、例えば被写体６の動きに連動するような映像コンテンツ７１が投影され、プロジェクションマッピングにおける演出効果を高めることができる。また、スクリーン１０は、図１に示すように、赤外光８が投影される側（映像コンテンツ７１が投影される側）に反射面１０ａ（投影面）を備える。反射面１０ａは赤外光８の偏光特性を維持する性質を備える。反射面１０ａは、偏光特性を維持する性質であれば、平面であってもよいし、曲面であってもよい。スクリーン１０は、金属粉を反射面１０ａの全面に塗布したスクリーン（例えば、シルバースクリーン）を用いることができる。このようなスクリーン１０は、スクリーンとなる基材を、アルミ粒子や銀粒子等の金属粉を含んだスプレーで塗装することに得られる。
　２．動作
　以上のように構成された投影システム１の動作を以下に説明する。
　２－１．投影動作（プロジェクションマッピング）
　本実施形態に係る投影システム１においてプロジェクションマッピングを行うための投影動作を、図１を参照して説明する。
　まず、赤外光プロジェクタ３は、赤外光８を出射して、複数の計測パターンの内の各計測パターンを順次、被写体６に投影する。赤外光８の計測パターンは、空間コード化法によって被写体６の形状及び位置を計測するための非可視光映像の一例である。計測対象の形状は、被写体６等の物体の輪郭及び凹凸を含む三次元形状である。また、計測対象の位置は、物体までの距離を含む三次元的な位置である。三次元計測の原理については後述する。
　赤外光プロジェクタ３は、例えばコントローラ５の制御により、記憶部５１に格納された映像データを読み出し、空間光変調素子３２において映像データが示す計測パターンを形成する。次いで、赤外光プロジェクタ３は、パルス光源３１を駆動して、スクリーン１０の投影面全体などの範囲を含む画角において、赤外光８の計測パターンを投影する。
　この際、カメラ４は、赤外光プロジェクタ３によって投影された計測パターンを撮像し、計測パターンの撮像画像を示す撮像データをコントローラ５に出力する。カメラ４の撮像動作は、複数の計測パターンにおける計測パターン毎に行われる。
　次に、コントローラ５の映像生成部５０は、計測パターンの撮像データに基づいて被写体６の形状及び位置を計測し、計測結果に応じて被写体６に投影される映像コンテンツ７１を示す映像データを生成する。
　具体的に、映像生成部５０は、後述する空間コード化法によって撮像データにおける被写体６の領域の画素毎に自装置までの距離を計測し、画素毎に計測した距離を示す距離画像を生成する。生成した距離画像に基づいて、映像生成部５０は、デフォルトの映像データが示す映像コンテンツ７１が計測した形状及び位置の被写体６に投影された際に適切に映し出されるように、デフォルトの映像データを補正する。デフォルトの映像データは、例えば予め記憶部５１に格納されている。
　また、本実施形態において、映像生成部５０は、スクリーン１０に投影する映像コンテンツ７１も含めるように、可視光プロジェクタ２に出力する映像データを生成する。例えば、投影システム１の設置時などのキャリブレーションによりスクリーン１０の位置及び形状（向き）を示す情報を予め記憶部５１に記録しておき、投影動作時に映像生成部５０が上記の情報を参照して、スクリーン１０に投影する映像コンテンツ７１の補正を行う。
　次に、可視光プロジェクタ２は、コントローラ５の映像生成部５０からの映像データに基づき空間光変調部２２を制御し、可視光光源２１からの可視光７の出射により被写体６及びスクリーン１０に映像コンテンツ７１を投影する。
　投影システム１は、以上の処理を所定のフレームレートにおいて繰り返し行う。これにより、可視光プロジェクタ２から投影される映像コンテンツ７１を被写体６の動きに精度良く追従させることができる。
　以上のような投影システム１の投影動作においては、赤外光プロジェクタ３から投影される計測パターンの撮像画像に基づく被写体６の形状及び位置の計測精度を良くすることが重要である。そこで、本実施形態では、上記の計測精度を良くするという目的を達成するために、第１偏光フィルタ３４と、スクリーン１０と、第２偏光フィルタ４４と、可視光遮断フィルタ４３を用いる。また、本実施形態では、上記の目的を達成するために、赤外光プロジェクタ３においてパルス発光制御を採用する。以下、本実施形態に係る投影システム１の動作の詳細について説明する。
　２－２．三次元計測の原理について
　本実施形態では、被写体６の形状等を計測するための計測原理として、空間コード化法によるアクティブステレオ計測を採用する。本計測原理について、図２，３を用いて説明する。図２は、三次元計測の原理を説明するための図である。図３は、空間コード化法に基づく計測パターンを説明するための図である。
　図２では、カメラ４と赤外光プロジェクタ３とが、それぞれの光軸が平行になるように並んで配置されている。以下、図２に示すように、各光軸の方向をｚ方向とする。また、ｚ方向に直交し、カメラ４と赤外光プロジェクタ３とが並ぶ方向をｘ方向とし、ｚ方向及びｘ方向に直交する方向をｙ方向とする。
　図２では、赤外光プロジェクタ３から出射した赤外光が物体の特定の点（輝点）において反射し、輝点からの反射光がカメラ４に入射する様子を示している。図２に示すように、カメラ４と赤外光プロジェクタ３との間には、視差θが生じる。赤外光プロジェクタ３から投影された映像がカメラ４で撮像されると、投影された映像はカメラ４の撮像画像において視差θだけずれて映る。すなわち、図２に示すように、物体上の輝点までの距離に応じて、カメラ４の撮像画像における輝点のｘ座標がずれる。
　投影システム１では、上記のような座標のずれに基づき、コントローラ５（映像生成部５０）がカメラ４と赤外光プロジェクタ３との間隔を基線長とする三角法に基づく計算を行って、ｚ方向の距離を計測する。基線長は、例えば投影システム１の設置時のキャリブレーションなどによって予め取得される。座標のずれは、空間コード化法に基づく計測パターンを用いて計測される。この計測方法について、図３の（ａ），（ｂ）を参照して説明する。
　図３の（ａ）は、赤外光プロジェクタ３から投影される１組の計測パターン８１，８２，８３の映像データを例示している。各計測パターン８１～８３は、ずれの計測対象のｘ座標の方向に沿って配置された発光領域Ｒ１と非発光領域Ｒ０を有する。空間コード化法によると、発光領域Ｒ１を「１」、非発光領域Ｒ０を「０」に対応させることで、映像データ上のｘ座標がコード化される。図３の（ａ）の例では、３つの計測パターン８１～８３により、映像データ上で８つの領域に対応する３ビットのコードが得られる。
　図３の（ｂ）は、図３の（ａ）の各計測パターン８１，８２，８３が投影された物体（図３に示す例では直方体）がカメラ４によって撮像されたときに生成される撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３を示している。図３の（ｂ）に示すように、同じコード「１１０」に対応する輝点であっても、物体上の奥行きに応じて、撮像画像におけるｘ座標がずれる。本実施形態では、コントローラ５が、映像生成部５０において撮像画像Ｉｍ１～Ｉｍ３を示す撮像データをデコードすることにより、座標のずれを計測する。
　具体的に、コントローラ５は、まず、１フレームの撮像データが示す撮像画像の画素毎に、画素の輝度と所定のしきい値とを比較するしきい値判定を行う。所定のしきい値は、撮像画像中で計測パターンにおける発光領域の輝点を映している画素を判断する基準のしきい値であり、例えばノイズの光量を考慮して設定される。コントローラ５は、しきい値判定において、輝度がしきい値を越えると判断した画素に「１」を割り当て、輝度がしきい値を越えないと判断した画素に「０」を割り当てる。
　コントローラ５は、以上の処理を全ての撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３に対して行い、画素毎に割り当てられた二値（「０」又は「１」）を集計することにより、撮像データのデコードを行う。この際、コントローラ５は、例えば全撮像画像Ｉｍ１～Ｉｍ３において輝度がしきい値を超えない領域を除くなどにより、撮像データ上で被写体と考えられる領域を抽出してもよい。
　コントローラ５は、デコード結果が表すｘ座標の値と基準のｘ座標の値とを画素毎に比較することにより、ｘ座標のずれを計測する。ｙ座標のずれについても、例えば図３の（ａ）の計測パターン８１～８３を９０度回転させた計測パターンを用いることで、上記と同様に計測できる。また、赤外光プロジェクタ３と可視光プロジェクタ２との間にも視差がある場合、例えば予め両者の設置位置を示す情報を取得しておき、適宜、赤外光プロジェクタ３において規定される三次元座標を可視光プロジェクタ２において規定される三次元座標に換算する。
　２－３．各種フィルタについて
　本実施形態における第１偏光フィルタ３４及び第２偏光フィルタ４４の機能について、図４を用いて説明する。図４は、投影システム１における各種フィルタの機能を説明するための図である。
　本実施形態では、可視光プロジェクタ２は、被写体６とスクリーン１０に映像コンテンツ７１を投影する（図１参照）。スクリーン１０において観察者等に視認可能に映像コンテンツ７１を映すためには、図４に示すように、可視光プロジェクタ２からの可視光７がスクリーン１０において拡散反射される必要がある。しかし、赤外光プロジェクタ３からの赤外光８が被写体６とスクリーン１０において共に拡散反射されると、カメラ４による計測パターンの撮像画像中で、被写体６の領域と被写体６以外の領域との境界が不明瞭になってしまう。
　そこで、本実施形態では、スクリーン１０の反射面１０ａで反射された赤外光がカメラ４で撮影されないように、赤外光８が第１偏光フィルタ３４を透過する時に特定の方向の直線偏光成分のみを透過し、スクリーン１０で反射する時に特定の方向の直線偏光成分を維持し、第２偏光フィルタ４４を透過する時に特定の方向の直線偏光成分のみを遮断する構成とする。これにより、赤外光プロジェクタ３から投影される計測パターン中のスクリーン１０に投影された部分はカメラ４の撮像画像に映らずに、計測パターン中の被写体６に投影された部分のみが、撮像画像に映ることとなる。このため、カメラ４の撮像画像上で被写体６の輪郭が明瞭になり、被写体６の形状及び位置を精度良く計測可能になる。
　例えば図４に示すように、赤外光プロジェクタ３のパルス光源３１で発光した赤外光８は、無偏光である（全方向の矢印）。そして、赤外光８は、第１偏光フィルタ３４を通過するとき、横方向の偏光成分のみが透過する（横方向の矢印）。第１偏光フィルタ３４を通過した赤外光８は、被写体６やスクリーン１０で反射される。スクリーン１０で反射される赤外光８は、スクリーン１０の反射面１０ａで偏光状態を維持するので、横方向の偏光成分のみで反射される（横方向の矢印）。そして、第２偏光フィルタ４４で横方向の偏光成分が遮断され、赤外光は実質的に撮像素子４１に入射しない（矢印なし）ので、スクリーン１０で反射した赤外光はカメラ４で撮像されない。また、被写体６で反射される赤外光８は、被写体６の表面で拡散反射するので、無偏光となる（全方向の矢印）。そして、第２偏光フィルタ４４で横方向の偏光成分が遮断されるが縦方向の偏光成分が透過するので、被写体６で反射した赤外光はカメラ４で撮像される。
　図４の例では、第１偏光フィルタ３４を透過した赤外光８は横偏光である。スクリーン１０で反射した赤外光は、横偏光である。そして、第２偏光フィルタ４４は横偏光を透過しないように設置する。すなわち縦偏光を透過するように設置する。また、被写体６で拡散反射した赤外光は、入射光の偏光成分は保持されず無偏光になる。そして、縦偏光を透過するように設置した第２偏光フィルタ４４を透過した赤外光は、被写体６で拡散反射した無偏光の赤外光の半分の光量となる。これらより、スクリーン１０で反射した赤外光はカメラ４の撮像素子４１に到達しないが、被写体６で反射した赤外光８の半分の光量がカメラ４の撮像素子４１に到達する。これによって、スクリーン１０と被写体６とでカメラ４で撮像される画像の明暗が明らかに異なるので、被写体６の輪郭を明瞭にすることができる。
　また、第１偏光フィルタ３４が赤外光８を横方向の偏光成分のみにすることは技術的に困難である。しかし、スクリーン１０での反射と、被写体６での反射とを撮像素子４１で見分けるためには、第２偏光フィルタ４４を透過する赤外光の光量に差があればよい。そのためには、第１偏光フィルタ３４を透過した赤外光８の所定の偏光状態は、非可視光において所定の偏光成分が５０％より多い割合となればよい。より好ましくは、スクリーン１０での反射と、被写体６での反射との見分けをつけるために、第２偏光フィルタ４４を透過した赤外光に１０％以上の差異をつければよい。つまり、第１偏光フィルタ３４を透過した赤外光８の所定の偏光状態は、非可視光において所定の偏光成分が６０％以上の割合とすればよい。
　また、スクリーン１０は、例えばシルバースクリーンのような金属粉を反射面１０ａの全面に塗布したスクリーンを用いることにより、可視光７の拡散反射を行うことができる。これにより、スクリーン１０において可視光プロジェクタ２による映像の視認性を確保することができる。
　また、本実施形態では、図４に示すように、可視光遮断フィルタ４３をカメラ４に用いて、カメラ４に入射する光の内の可視光成分を遮断して赤外光成分を透過する。これにより、可視光プロジェクタ２が可視光７の発光により映像を投影するタイミングに拘らず、カメラ４が赤外光プロジェクタ３による計測パターンを精度良く撮像することができる。
　２－４．パルス発光制御について
　本実施形態における計測パターンのパルス発光制御について、図５を用いて説明する。図５は、投影システム１におけるパルス発光制御の機能を説明するための図である。
　図５に示すように、被写体６で反射される光には、赤外光プロジェクタ３からの赤外光の他にも、可視光プロジェクタ２からの可視光７および外光が含まれる。外光には通常、可視光成分と共に赤外光成分が含まれる。ここで、赤外光プロジェクタ３からの赤外光以外の光は、カメラ４に露光されることで、撮像画像に基づく被写体６の計測精度を低下させるノイズになる。
　そこで、本実施形態では、赤外光プロジェクタ３のパルス光源３１（図１）が計測パターンを投影するための赤外光８をパルス発光し、発光する赤外光８の光量をパルス幅の期間に集中させる。この際、カメラ４は、赤外光８のパルス発光のタイミングに同期して撮像動作を行うことにより、図５に示すように、カメラ４の撮像タイミングにおける赤外光８の光量を、外光や可視光プロジェクタ２からの可視光７と比較して大きくする。これにより、カメラ４に露光される光量において、外光等のノイズの光量よりも赤外光プロジェクタ３からの赤外光８の光量を顕著に大きくすることができ、被写体６の計測精度におけるＳ／Ｎ比を向上できる。また、計測精度に対する外光の影響の緩和により、投影システム１の設置自由度を広げることができる。
　以下、本実施形態における投影システム１のタイミング制御の詳細について、図６を用いて説明する。
　図６の（ａ），（ｂ），（ｃ）は、それぞれ可視光プロジェクタ２による赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の発光タイミングを示す。本実施形態において、可視光プロジェクタ２は、図６の（ａ）～（ｃ）に示すように、１フレームの映像を投影するためのフレーム期間Ｔ１において赤色光、緑色光及び青色光の各々を連続的に発光するように可視光光源２１（図１）を駆動する。これにより、例えば赤色光、緑色光及び青色光を時分割で発光する場合よりも光量（最大光量）を大きく設定でき、投影される映像を高品質にすることができる。フレーム期間Ｔ１は、映像を動体に追従させるために、例えば１／２００秒以下に設定される。
　図６の（ｄ）は、赤外光プロジェクタ３による赤外光８の発光タイミングを示す。図６の（ｄ）に示すように、赤外光プロジェクタ３は、可視光プロジェクタ２が発光中の期間に重畳して、赤外光８のパルス発光を周期的に行う。これにより、例えば可視光７と赤外光８とを時分割で発光する場合よりも可視光７と赤外光８とのそれぞれの光量を大きく設定可能になる。
　本実施形態では、一例として、赤外光プロジェクタ３が、パルス発光１回当たりに１フレームの計測パターンを投影する。また、パルス発光の繰り返し周期であるパルス周期の長さは、可視光７の映像のフレーム期間Ｔ１と同じ長さに設定される。また、パルス発光１回当たりの赤外光８の光量は、例えば可視光プロジェクタ２が発光可能な可視光７の光量を基準として設定され、例えばフレーム期間Ｔ１中に発光可能な可視光７の光量以上、或いはパルス幅Ｔ２と同じ期間中に発光可能な可視光７の光量以上に設定される。
　図６の（ｅ）は、カメラ４による撮像タイミングを示す。カメラ４は、図６の（ｄ），（ｅ）に示すように、撮像動作において、赤外光プロジェクタ３の発光タイミングに同期して露光する。これにより、フレーム期間Ｔ１毎にカメラ４の撮像画像が得られる。図６の（ｆ），（ｇ）に、それぞれ図６の（ｄ），（ｅ）のフレーム期間Ｔ１中の詳細を示す。
　図６の（ｆ），（ｇ）に示すように、本実施形態においてカメラ４は、計測光のパルス発光のタイミング及びパルス幅Ｔ２と同じ期間に露光を行う。パルス発光のパルス幅Ｔ２は、例えば０．１ピコ秒～２０マイクロ秒に設定される。これにより、パルス発光の期間を短縮しすぎて計測光の波長帯に広がりが生じてしまう事態を回避しながら、パルス発光の光量のピークを顕著に高くすることができる。また、同様の観点から、パルス発光のデューティ比は、例えば１／１００～１／１００００に設定される。この際、パルス周期に対応するパルス周波数は、動体に追従可能な撮像画像のフレームレートを確保するために、２００Ｈｚ～１ＧＨｚの範囲内で適宜、設定されてもよい。
　３．効果等
　以上のように、本実施形態において投影システム１は、被写体６等の物体の形状に応じた映像を投影する。投影システム１は、赤外光プロジェクタ３と、カメラ４と、映像生成部５０と、可視光プロジェクタ２とを備える。赤外光プロジェクタ３は、所定の偏光特性を有し非可視光である赤外光８を出射し、物体及びスクリーン１０に赤外光８による計測パターン８１～８３を投影する。スクリーン１０は、赤外光プロジェクタ３から赤外光が出射する方向において物体の後方に配置され、入射する赤外光８の偏光特性を維持して反射する性質の反射面１０ａを有する。カメラ４は、所定の偏光特性を維持したままスクリーン１０により反射される赤外光を遮断するように設置された第２偏光フィルタ４４を有し、赤外光プロジェクタ３によって投影された計測パターン８１～８３を撮像する。映像生成部５０は、カメラ４によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光プロジェクタ２は、物体に映像データが示す映像を可視光７により投影する。
　以上の投影システム１によると、第２偏光フィルタ４４によりスクリーン１０で反射された非可視光は遮断される。これにより、物体の形状に応じた映像を投影する投影システム１において、被写体６等の物体の形状を精度良く計測することができる。
　また、本実施形態において、スクリーン１０は、可視光７を拡散反射する。これにより、可視光プロジェクタ２はスクリーン１０に映像を映し出すことができ、投影システム１における演出効果を高めることができる。
　また、本実施形態において、カメラ４は、シリコンを含む撮像素子４１と、赤外光を透過して可視光を吸収または反射する可視光遮断フィルタ４３とを備える。これにより、カメラ４において、撮像素子４１が可視光領域に受光感度を有する場合であっても、可視光の受光を遮断することができ、カメラ４によって撮像される赤外光の計測パターン８１～８３の撮像画像の精度を良くすることができる。なお、可視光領域に受光感度がない撮像素子を用いる場合には、可視光遮断フィルタ４３を省略してもよい。
　また、本実施形態において、可視光遮断フィルタ４３は、カメラ４における撮像レンズ４２に取り付けられるフィルタである。可視光遮断フィルタ４３は、撮像素子４１に組み込まれるフィルタであってもよいし、カメラ４における撮像レンズ４２と一体的に構成されてもよい。
　また、本実施形態において、赤外光プロジェクタ３は、投影する赤外光８に所定の偏光特性を付与する第１偏光フィルタ３４を有する。第１偏光フィルタ３４は、赤外光プロジェクタ３における投影光学系３３に取り付けられるフィルタである。第１偏光フィルタ３４は、赤外光プロジェクタ３における投影光学系３３と一体的に構成されてもよい。なお、赤外光プロジェクタ３におけるパルス光源３１が、偏光特性を持った光を発する発光素子により構成される場合、第１偏光フィルタ３４を省略してもよい。また、パルス光源３１の発光素子が偏光特性を持った光を発する場合であっても、併せて第１偏光フィルタ３４を用いることにより、赤外光プロジェクタ３は、主成分の所定の偏光成分をより多く含む偏光状態の赤外光８を出射することができる。
　また、本実施形態において、第２偏光フィルタ４４は、カメラ４における撮像レンズ４２に取り付けられるフィルタである。第２偏光フィルタ４４は、撮像素子４１に組み込まれるフィルタであってもよいし、カメラ４における撮像レンズ４２と一体的に構成されてもよい。
　また、本実施形態において、赤外光プロジェクタ３は、各計測パターン８１，８２，８３を投影するための赤外光８をパルス発光する。映像生成部５０は、パルス発光のタイミングに応じて撮像された撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３に基づき、映像データを生成する。
　以上の投影システム１によると、赤外光プロジェクタ３によるパルス発光のパルス幅の期間に、各計測パターン８１，８２，８３を投影するための赤外光の光量を集中させ、撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３におけるＳ／Ｎ比を向上できる。これにより、投影システム１において、被写体６等の物体の形状を精度良く計測することができる。
　また、本実施形態において、赤外光プロジェクタ３によるパルス発光のパルス幅は、可視光プロジェクタ２が投影する映像の１フレームの期間よりも短い。パルス発光の光量は、可視光プロジェクタ２がパルス幅の期間中に発光する可視光７の光量よりも大きい。
　これにより、パルス幅の期間において、可視光プロジェクタ２からの可視光７の光量よりも顕著に大きいパルス発光の光量が設定できる。このため、投影システム１における物体の計測精度を良くすることができる。
　また、本実施形態において、カメラ４は、赤外光プロジェクタ３によるパルス発光に同期して撮像動作を行う。これにより、カメラ４から、パルス発光によってＳ／Ｎ比が改善された撮像画像を得ることができる。
　また、本実施形態において、赤外光プロジェクタ３は、パルスレーザで構成されるパルス光源３１を備える。これにより、パルスレーザのパルス発振による大光量のパルス発光が行える。
　また、本実施形態において赤外光プロジェクタ３から投影する非可視光映像は、空間コード化法に基づく計測パターン８１～８３である。非可視光映像は、これに限らず、例えば、ランダムドットパターンなどを用いてもよい。
　また、本実施形態において、赤外光８が第１偏光フィルタ３４を透過する時に特定の方向の直線偏光成分のみが透過し、第２偏光フィルタ４４を透過する時に特定の方向の直線偏光成分のみを遮断する構成としたが、本開示は特定の直線偏光成分に限定されない。本開示は、赤外光プロジェクタ３から投影して第１偏光フィルタ３４を透過する所定の偏光特性を持つ非可視光が、第２偏光フィルタ４４を介してカメラ４で検出されなければよい。そのため第１偏光フィルタ３４で、非可視光を円偏光や楕円偏光などの所定の偏光状態の非可視光成分のみに変換し、第２偏光フィルタ４４で所定の偏光状態の非可視光成分のみを遮断する構成としても良い。
　（他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
　また、上記各実施形態において、投影システム１において被写体６に映像コンテンツ７１を追従させる例について説明した。本開示における投影システムの投影対象となる物体は、特に動体に限らず静止物体でもよく、例えば建造物でもよい。静止物体が投影システムの投影対象である場合には、特に投影動作中に位置を計測しなくてもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。
　本開示における投影システム及び投影方法は、物体に映像を投影する種々の用途に適用可能である。
　　１　　投影システム
　　２　　可視光プロジェクタ
　　３　　赤外光プロジェクタ
　　３１　　パルス光源
　　３４　　第１偏光フィルタ
　　４　　カメラ
　　４１　　撮像素子
　　４２　　撮像レンズ
　　４３　　可視光遮断フィルタ
　　４４　　第２偏光フィルタ
　　５　　コントローラ
　　５０　　映像生成部
　　６　　被写体
　　７　　可視光
　　７１　　映像コンテンツ
　　８　　赤外光
　　８１，８２，８３　　計測パターン
　　１０　　スクリーン
　　１０ａ　　反射面

Claims (18)

  1. 　物体の形状に応じた映像を投影する投影システムであって、
    　所定の偏光が主成分である非可視光による所定の非可視光映像を、前記物体、及び前記非可視光を前記所定の偏光を維持して反射する背景部材に投影する非可視光投影部と、
    　前記物体及び前記背景部材により反射された非可視光映像を、前記所定の偏光の非可視光を遮断して撮像し、撮像データを生成する撮像部と、
    　前記撮像データに基づき前記物体の形状を計測し、計測結果に応じて映像データを生成する映像生成部と、
    　前記物体に前記映像データが示す映像を可視光により投影する可視光投影部と、
    を備える、投影システム。
  2. 　前記背景部材は、金属粉を塗布したスクリーンである、
    請求項１に記載の投影システム。
  3. 　前記背景部材は、シルバースクリーンである、
    請求項１または２に記載の投影システム。
  4. 　前記所定の偏光が、直線偏光、円偏光、楕円偏光の何れかである、
    請求項１～３のいずれか１項に記載の投影システム。
  5. 　前記非可視光投影部が、非可視光に前記所定の偏光を付与する第１偏光部材を有する、
    請求項１～４のいずれか１項に記載の投影システム。
  6. 　前記第１偏光部材は偏光フィルタである、
    請求項５に記載の投影システム。
  7. 　前記非可視光投影部が、前記所定の偏光の前記非可視光を発する発光素子を有する、
    請求項１～６のいずれか１項に記載の投影システム。
  8. 　前記撮像部は、前記所定の偏光の前記非可視光を遮断するように配置された第２偏光部材を有する、
    請求項１～７のいずれか１項に記載の投影システム。
  9. 　前記第２偏光部材は、偏光フィルタである、
    請求項８に記載の投影システム。
  10. 　前記撮像部は、シリコンを含む撮像素子と、非可視光を透過して可視光を吸収または反射する波長選択部材とを備える、
    請求項１～９のいずれか１項に記載の投影システム。
  11. 　前記波長選択部材は、前記撮像部における撮像レンズに取り付けられるフィルタ、又は前記撮像素子に組み込まれるフィルタである、
    請求項１０に記載の投影システム。
  12. 　前記波長選択部材は、前記撮像部における撮像レンズと一体的に構成される、
    請求項１０に記載の投影システム。
  13. 　前記非可視光は、赤外光である、
    請求項１～１２のいずれか１項に記載の投影システム。
  14. 　前記所定の非可視光映像は、空間コード化法に基づく計測パターンである、
    請求項１～１３のいずれか１項に記載の投影システム。
  15. 　前記非可視光において前記所定の偏光の成分が５０％より多い、
    請求項１～１４のいずれか１項に記載の投影システム。
  16. 　前記非可視光において前記所定の偏光の成分が６０％以上である、
    請求項１～１５のいずれか１項に記載の投影システム。
  17. 　物体の形状に応じた映像を投影する投影方法であって、
    　所定の偏光が主成分である非可視光による所定の非可視光映像を、前記物体、及び前記非可視光を前記所定の偏光を維持して反射する背景部材に投影する非可視光投影ステップと、
    　前記物体及び前記背景部材により反射された非可視光映像を、前記所定の偏光の非可視光を遮断して撮像し、撮像データを生成する撮像ステップと、
    　前記撮像データに基づき前記物体の形状を計測し、計測結果に応じて映像データを生成する映像生成ステップと、
    　前記物体に前記映像データが示す映像を可視光により投影する可視光投影ステップと、
    を備える、投影方法。
  18. 　前記撮像ステップにおいて、波長選択部材により、非可視光を透過し可視光を吸収または反射することにより、前記物体及び前記背景部材により反射された前記非可視光映像が撮像されて前記撮像データが生成される、
    請求項１７に記載の投影方法。
PCT/JP2017/027827 2017-03-24 2017-08-01 投影システム及び投影方法 WO2018173311A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019506928A JP6964223B2 (ja) 2017-03-24 2017-08-01 投影システム及び投影方法
US16/534,189 US10728508B2 (en) 2017-03-24 2019-08-07 Projection system and projection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017058444 2017-03-24
JP2017-058444 2017-03-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/534,189 Continuation US10728508B2 (en) 2017-03-24 2019-08-07 Projection system and projection method

Publications (1)

Publication Number Publication Date
WO2018173311A1 true WO2018173311A1 (ja) 2018-09-27

Family

ID=63584235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027827 WO2018173311A1 (ja) 2017-03-24 2017-08-01 投影システム及び投影方法

Country Status (3)

Country Link
US (1) US10728508B2 (ja)
JP (1) JP6964223B2 (ja)
WO (1) WO2018173311A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111536906A (zh) * 2020-04-15 2020-08-14 北京仿真中心 毫米波/红外复合模拟器同轴度标定装置及其操作方法
US11747478B2 (en) * 2019-05-15 2023-09-05 Electronic Theatre Controls, Inc. Stage mapping and detection using infrared light

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521504B2 (en) * 2020-03-18 2022-12-06 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
US11054728B1 (en) * 2020-03-31 2021-07-06 Varjo Technologies Oy Imaging system and method using projection apparatus
CN113155292A (zh) * 2021-03-30 2021-07-23 新疆爱华盈通信息技术有限公司 人脸测温方法、人脸测温仪及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004239886A (ja) * 2002-12-11 2004-08-26 Fuji Xerox Co Ltd 三次元画像撮像装置および方法
JP2017015872A (ja) * 2015-06-30 2017-01-19 パナソニックＩｐマネジメント株式会社 リアルタイム計測投影装置及び三次元投影計測装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5136184B2 (ja) 1972-05-09 1976-10-07
US6512507B1 (en) 1998-03-31 2003-01-28 Seiko Epson Corporation Pointing position detection device, presentation system, and method, and computer-readable medium
JPH11345087A (ja) 1998-03-31 1999-12-14 Seiko Epson Corp プレゼンテ―ションシステム及び位置検出方法
JP3496871B2 (ja) 1998-08-27 2004-02-16 日本電信電話株式会社 表示撮影装置および遠隔対話装置
JP6618249B2 (ja) 2014-02-18 2019-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システムおよび半導体集積回路
CN110058476B (zh) 2014-07-29 2022-05-27 索尼公司 投影型显示装置
JP6153050B1 (ja) * 2016-06-08 2017-06-28 パナソニックＩｐマネジメント株式会社 投影システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004239886A (ja) * 2002-12-11 2004-08-26 Fuji Xerox Co Ltd 三次元画像撮像装置および方法
JP2017015872A (ja) * 2015-06-30 2017-01-19 パナソニックＩｐマネジメント株式会社 リアルタイム計測投影装置及び三次元投影計測装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11747478B2 (en) * 2019-05-15 2023-09-05 Electronic Theatre Controls, Inc. Stage mapping and detection using infrared light
CN111536906A (zh) * 2020-04-15 2020-08-14 北京仿真中心 毫米波/红外复合模拟器同轴度标定装置及其操作方法
CN111536906B (zh) * 2020-04-15 2021-12-14 北京仿真中心 毫米波/红外复合模拟器同轴度标定装置及其操作方法

Also Published As

Publication number Publication date
US20190364251A1 (en) 2019-11-28
US10728508B2 (en) 2020-07-28
JP6964223B2 (ja) 2021-11-10
JPWO2018173311A1 (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
JP6587158B2 (ja) 投影システム
WO2018173311A1 (ja) 投影システム及び投影方法
JP6153050B1 (ja) 投影システム
JP7236680B2 (ja) 投影システム
US10412352B2 (en) Projector apparatus with distance image acquisition device and projection mapping method
WO2017212509A1 (ja) 投影システム
US10679370B2 (en) Energy optimized imaging system with 360 degree field-of-view
JP6182739B2 (ja) 投影装置及び投影方法
US20160191878A1 (en) Image projection device
JP6209746B2 (ja) 画像投影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17901787

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019506928

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17901787

Country of ref document: EP

Kind code of ref document: A1