WO2017212509A1 - 投影システム - Google Patents

投影システム Download PDF

Info

Publication number
WO2017212509A1
WO2017212509A1 PCT/JP2016/004084 JP2016004084W WO2017212509A1 WO 2017212509 A1 WO2017212509 A1 WO 2017212509A1 JP 2016004084 W JP2016004084 W JP 2016004084W WO 2017212509 A1 WO2017212509 A1 WO 2017212509A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
visible light
projection system
image
camera
Prior art date
Application number
PCT/JP2016/004084
Other languages
English (en)
French (fr)
Inventor
和博 南
渕上　竜司
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP16836143.4A priority Critical patent/EP3273685A1/en
Priority to JP2017504840A priority patent/JP6153050B1/ja
Priority to CN201680002376.3A priority patent/CN107836112B/zh
Priority to US15/440,531 priority patent/US9774832B1/en
Priority to US15/689,308 priority patent/US9912922B2/en
Publication of WO2017212509A1 publication Critical patent/WO2017212509A1/ja
Priority to US15/878,912 priority patent/US10136112B2/en
Priority to US16/159,927 priority patent/US10349019B2/en
Priority to US16/421,964 priority patent/US10674124B2/en
Priority to US16/860,178 priority patent/US20200260058A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3164—Modulator illumination systems using multiple light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present disclosure relates to a projection system that projects an image according to the shape and position of an object.
  • Patent Document 1 discloses a projection system for projection mapping that projects video content onto a structure such as a building.
  • a projection apparatus irradiates a structure with video light indicating video content and pattern light indicating a pattern image obtained by encoding projection coordinates defined by a projection coordinate system.
  • the imaging device captures a pattern image projected on the structure. According to the projection system of Patent Document 1, it is possible to perform projection mapping by aligning video content with a structure.
  • the present disclosure provides a projection system that can accurately measure the shape of an object in a projection system that projects an image according to the shape of the object.
  • the projection system projects an image corresponding to the shape of the object.
  • the projection system includes a non-visible light projection unit, a background member, an imaging unit, an image generation unit, and a visible light projection unit.
  • the invisible light projection unit projects a predetermined invisible light image onto the object with invisible light.
  • the background member is disposed behind the object in the direction in which the invisible light is emitted from the invisible light projection unit.
  • the imaging unit images the invisible light image projected by the invisible light projection unit.
  • the video generation unit measures the shape of the object based on the captured image captured by the imaging unit, and generates video data indicating the video projected on the object according to the measurement result.
  • the visible light projection unit projects an image indicated by the image data onto the object with visible light.
  • the background member has a light shielding surface that blocks diffuse reflection of invisible light when invisible light is incident.
  • the shape of the object can be accurately measured in the projection system that projects an image corresponding to the shape of the object.
  • FIG. 1 is a block diagram showing a configuration of a projection system according to Embodiment 1.
  • FIG. Diagram for explaining the principle of 3D measurement in the projection system Diagram for explaining measurement pattern based on spatial coding method
  • the figure for demonstrating the function of the various filters in a projection system The figure for demonstrating the function of the pulse light emission control in a projection system Timing chart showing operation timing of the projection system according to the first embodiment Timing chart showing operation timing of the projection system according to the second embodiment Timing chart showing operation timing of the projection system according to the modification of the second embodiment Timing chart showing operation timing of the projection system according to the third embodiment Timing chart showing the operation timing of the projection system according to the modification of the third embodiment
  • FIG. 1 is a block diagram showing a configuration of a projection system 1 according to this embodiment.
  • the projection system 1 includes a visible light projector 2, an infrared light projector 3, a camera 4, a controller 5, and a screen 10.
  • the projection system 1 is a system that performs projection mapping that projects an image of visible light onto a subject 6 such as a person for production.
  • the shape of the subject 6 is measured using the infrared light projector 3 and the camera 4 in order to cause the video content by the visible light from the visible light projector 2 to follow the movement of the subject 6.
  • the screen 10 is arranged at a position behind the subject 6 in the projection direction of the projectors 2 and 3.
  • the visible light projector 2 is a projector such as a DLP system, a 3LCD system, or an LCOS system.
  • the visible light projector 2 emits visible light so as to project videos including various video contents based on, for example, video signals (video data) input from the controller 5.
  • the visible light projector 2 is an example of a visible light projection unit in the present embodiment. As shown in FIG. 1, the visible light projector 2 includes a visible light source 21, a spatial light modulator 22, and a projection optical system 23.
  • the visible light source 21 includes a plurality of light source elements (for example, LEDs) that respectively emit red light, green light, and blue light.
  • the visible light source 21 may have only a single color light source element or a white light source element depending on the projection method of the visible light projector 2.
  • the light source element may be a laser diode or a halogen lamp.
  • the spatial light modulator 22 is composed of three spatial light modulators.
  • DMD or LCD can be used as the spatial light modulator.
  • the spatial light modulator 22 may be composed of a single spatial light modulator.
  • Projection optical system 23 includes a zoom lens that sets the angle of view of visible light projector 2 and a focus lens that adjusts the focus.
  • the infrared projector 3 is, for example, a projector such as a DLP system, an LCD system, or an LCOS system.
  • the infrared light projector 3 projects a predetermined infrared light measurement pattern, which will be described later, based on, for example, a video signal (video data) input from the controller 5.
  • the infrared light projector 3 is an example of a non-visible light projection unit that projects a non-visible light image with non-visible light.
  • infrared light is used as an example of invisible light.
  • the present invention is not limited thereto, and for example, ultraviolet light may be used.
  • the infrared light projector 3 includes a pulse light source 31, a spatial light modulation element 32, and a projection optical system 23.
  • the pulse light source 31 is composed of a pulse laser that pulsates infrared light.
  • the pulse light source 31 emits infrared light having a peak wavelength of 800 nm to 900 nm, for example, in a pulse width of 0.1 picosecond to 20 microseconds or the like by pulse oscillation.
  • the spatial light modulation element 32 is constituted by a DMD or LCD. An image is formed on the image forming surface of the spatial light modulator 32 based on a video signal from the controller 5 or the like.
  • the infrared light pulsed by the pulse light source 31 is incident on the image forming surface of the spatial light modulation element 32, whereby the infrared light is spatially modulated and an invisible light image is generated.
  • the projection optical system 33 includes a zoom lens that sets the angle of view of the infrared projector 3 and a focus lens that adjusts the focus.
  • the projectors 2 and 3 are arranged so that light can be emitted in the same area, for example.
  • the projectors 2 and 3 may be optically coupled so that their optical axes coincide.
  • a dichroic mirror that transmits visible light and reflects infrared light, or reflects visible light and transmits infrared light may be used.
  • the projection optical systems 23 and 33 may be integrally formed.
  • the infrared light projector 3 and the visible light projector 2 may be integrally configured as one apparatus.
  • the camera 4 is disposed at a position where an image of a region where the invisible light image is projected by the infrared projector 3 can be captured.
  • the camera 4 generates a captured image of a measurement pattern projected onto the subject 6 with infrared light, and outputs captured data that is image data indicating the captured image to the controller 5.
  • the camera 4 is an example of an imaging unit in the projection system 1. As shown in FIG. 1, the camera 4 includes an imaging device 41, an imaging lens 42, and a visible light blocking filter 43.
  • the image sensor 41 is constituted by a solid-state image sensor such as a CCD image sensor or a CMOS image sensor containing silicon as a main material.
  • the imaging element 41 has an imaging surface in which a plurality of pixel circuits that receive light are arranged.
  • the main raw material of the image sensor 41 is not limited to silicon, and may be, for example, germanium or gallium.
  • the imaging lens 42 includes a zoom lens that sets the angle of view of the camera 4 and a focus lens that adjusts the focus.
  • the visible light blocking filter 43 is a bandpass filter or a longpass filter that transmits an infrared light component of incident light and absorbs a visible light component.
  • the visible light blocking filter 43 is attached to the imaging lens 42, for example.
  • the visible light blocking filter 43 is an example of a wavelength selection member that selectively transmits infrared light in the camera 4.
  • the visible light blocking filter 43 may be configured integrally with the imaging lens 42 by coating the imaging lens 42 or forming a diffraction grating. Further, the visible light blocking filter 43 may be configured to be incorporated in an image forming surface of the image sensor 41 or the like. Further, the visible light blocking filter 43 may be configured to reflect the visible light component instead of or in addition to the absorption of the visible light component.
  • the controller 5 is a control device that controls each part of the projection system 1.
  • the controller 5 includes, for example, a CPU or MPU that realizes a predetermined function in cooperation with software. As shown in FIG. 1, the controller 5 includes a video generation unit 50 and a storage unit 51.
  • the controller 5 reads out data and programs stored in the storage unit 51 and performs various arithmetic processes to realize various functions. For example, the controller 5 realizes a function as the video generation unit 50.
  • the controller 5 may perform control of various operation timings (for example, synchronization control of each unit), zoom control, focus control, and the like of the camera 4, the infrared light projector 3, the visible light projector 2, and the like.
  • the controller 5 may be a hardware circuit such as a dedicated electronic circuit or a reconfigurable electronic circuit designed to realize a predetermined function.
  • the controller 5 may be composed of various semiconductor integrated circuits such as a CPU, MPU, microcomputer, DSP, FPGA, ASIC. Various functions of the controller 5 may be incorporated in each of the units 2, 3, 4 of the projection system 1.
  • the video generation unit 50 generates video data indicating the video content projected by the visible light projector 2. At this time, the video data needs to be generated so that the video content can be projected following the movement of the subject 6. Therefore, the video generation unit 50 performs three-dimensional measurement such as the shape of the subject 6 based on the imaging data from the camera 4. The operation of the video generation unit 50 will be described later.
  • the storage unit 51 is a storage medium that stores programs and data necessary for realizing the functions of the controller 5, and includes, for example, a hard disk (HDD) or a semiconductor storage device (SSD).
  • the storage unit 51 may further include a semiconductor device such as a DRAM or an SRAM, and temporarily stores data and functions as a work area for the controller 5.
  • the storage unit 51 stores video data indicating various video contents and video data indicating a measurement pattern described later.
  • the screen 10 is an example of a background member for projecting video content that is the background of the subject 6 in the projection system 1.
  • the screen 10 includes a diffusing member 11 and an infrared light blocking filter 12.
  • the diffusing member 11 is a curtain member that constitutes a projection surface that diffuses and reflects visible light.
  • the screen 10 has a two-layer structure in which the diffusing member 11 is covered with the infrared light blocking filter 12 (see FIG. 4).
  • the projection surface of the screen 10 may be a flat surface or a curved surface.
  • the infrared light blocking filter 12 is composed of a film member having optical characteristics that transmits visible light components of incident light with an average transmittance of 50% or more and absorbs infrared light components with an average of 50% or more.
  • the projection surface of the screen 10 is formed by the infrared light blocking filter 12 as a light blocking surface that blocks diffuse reflection of incident infrared light.
  • the infrared light blocking filter 12 is an example of a light blocking member in the screen 10.
  • the infrared light blocking filter 12 is not limited to the optical characteristics described above, and may have, for example, an optical characteristic that mirrors infrared light.
  • the infrared light blocking filter 12 may include a retroreflective structure including, for example, a bead member.
  • the infrared light blocking filter 12 is not limited to a film member, and may be formed of a panel member, for example. Further, the infrared light blocking filter 12 may be formed by coating the diffusing member 11 or the like.
  • the infrared light projector 3 emits infrared light and sequentially projects each measurement pattern of the plurality of measurement patterns onto the subject 6.
  • the measurement pattern is an example of an invisible light image for measuring the shape and position of the subject 6 by a spatial encoding method.
  • the shape of the measurement target is a three-dimensional shape including the contour and unevenness of an object such as the subject 6.
  • the position of the measurement target is a three-dimensional position including the distance to the object. The principle of three-dimensional measurement will be described later.
  • the infrared light projector 3 reads the video data stored in the storage unit 51 under the control of the controller 5, for example, and forms a measurement pattern indicated by the video data in the spatial light modulator 32. Next, the infrared light projector 3 drives the pulse light source 31 to project an infrared light measurement pattern at an angle of view including a range such as the entire projection surface of the screen 10.
  • the camera 4 captures the measurement pattern projected by the infrared light projector 3 and outputs imaging data indicating a captured image of the measurement pattern to the controller 5.
  • the imaging operation of the camera 4 is performed for each measurement pattern in the plurality of measurement patterns.
  • the video generation unit 50 of the controller 5 measures the shape and position of the subject 6 based on the captured image of the measurement pattern, and generates video data including video content projected on the subject 6 according to the measurement result. .
  • the video generation unit 50 measures the distance to the device for each pixel in the region of the subject 6 in the captured image by a spatial encoding method to be described later, and generates a distance image indicating the measured distance for each pixel. . Based on the generated distance image, the video generation unit 50 corrects the default video data so that the video content indicated by the default video data is appropriately projected when projected onto the subject 6 having the measured shape and position. To do.
  • the default video data is stored in advance in the storage unit 51, for example.
  • the video generation unit 50 generates video data to be output to the visible light projector 2 so as to include video content to be projected on the screen 10.
  • information indicating the position and shape (orientation) of the screen 10 is recorded in advance in the storage unit 51 by calibration such as when the projection system 1 is installed, and the video generation unit 50 refers to the above information during the projection operation.
  • the video content projected on the screen 10 is corrected.
  • the visible light projector 2 controls the spatial light modulation unit 22 based on the video data from the video generation unit 50 of the controller 5, and the video content is displayed on the subject 6 and the screen 10 by the emission of visible light from the visible light source 21. Project.
  • Projection system 1 repeats the above processing at a predetermined frame rate. Thereby, the video content projected from the visible light projector 2 can accurately follow the movement of the subject 6.
  • FIG. 2 is a diagram for explaining the principle of three-dimensional measurement.
  • FIG. 3 is a diagram for explaining a measurement pattern based on the spatial coding method.
  • the camera 4 and the infrared light projector 3 are arranged side by side so that their optical axes are parallel to each other.
  • the direction of each optical axis is defined as the z direction.
  • a direction orthogonal to the z direction, where the camera 4 and the infrared light projector 3 are arranged is an x direction
  • a direction orthogonal to the z direction and the x direction is a y direction.
  • FIG. 2 shows a state in which the infrared light emitted from the infrared light projector 3 is reflected at a specific point (bright spot) of the object, and the reflected light from the bright spot is incident on the camera 4.
  • a parallax ⁇ is generated between the camera 4 and the infrared projector 3.
  • the projected image appears in the picked-up image of the camera 4 with a shift of parallax ⁇ . That is, as shown in FIG. 2, the x coordinate of the bright spot in the captured image of the camera 4 is shifted according to the distance to the bright spot on the object.
  • the controller 5 performs a calculation based on trigonometry with the interval between the camera 4 and the infrared projector 3 as a base length based on the coordinate deviation as described above, and z Measure the distance in the direction.
  • the baseline length is acquired in advance, for example, by calibration when the projection system 1 is installed.
  • the coordinate shift is measured using a measurement pattern based on the spatial coding method. This measurement method will be described with reference to FIGS. 3 (a) and 3 (b).
  • FIG. 3A illustrates video data of a set of measurement patterns 81, 82, 83 projected from the infrared light projector 3.
  • Each of the measurement patterns 81 to 83 has a light emitting region R1 and a non-light emitting region R0 arranged along the x-coordinate direction of the deviation measurement target.
  • the x coordinate on the video data is coded by making the light emitting area R1 correspond to “1” and the non-light emitting area R0 to “0”.
  • a 3-bit code corresponding to eight areas on the video data is obtained by the three measurement patterns 81 to 83.
  • FIG. 3B shows captured images Im1, Im2, and Im3 generated when the object on which the measurement patterns 81, 82, and 83 of FIG. As shown in FIG. 3B, even in the bright spot corresponding to the same code “110”, the x coordinate in the captured image is shifted according to the depth on the object.
  • the controller 5 measures the coordinate deviation by decoding the imaging data indicating the captured images Im1 to Im3 in the video generation unit 50.
  • the controller 5 first performs threshold determination for each pixel of the captured image of one frame to compare the luminance of the pixel with a predetermined threshold.
  • the predetermined threshold value is a reference threshold value for determining a pixel showing a bright spot of the light emitting area in the measurement pattern in the captured image, and is set in consideration of the amount of noise, for example.
  • the controller 5 assigns “1” to a pixel determined that the luminance exceeds the threshold, and assigns “0” to a pixel determined that the luminance does not exceed the threshold.
  • the controller 5 performs the above processing on all the captured images Im1, Im2, and Im3, and counts the binary values (“0” or “1”) assigned to each pixel, thereby decoding the captured image data. Do. At this time, the controller 5 may extract a region considered to be a subject on the captured data by, for example, excluding a region where the luminance does not exceed a threshold value in all the captured images Im1 to Im3.
  • the controller 5 measures the deviation of the x-coordinate by comparing the x-coordinate value represented by the decoding result with the reference x-coordinate value for each pixel.
  • the displacement of the y coordinate can also be measured in the same manner as described above, for example, by using a measurement pattern obtained by rotating the measurement patterns 81 to 83 of FIG. Further, when there is a parallax between the infrared light projector 3 and the visible light projector 2, for example, information indicating the installation positions of the both is acquired in advance, and the three-dimensional data defined in the infrared light projector 3 is appropriately obtained.
  • the coordinates are converted into three-dimensional coordinates defined in the visible light projector 2.
  • FIG. 4 is a diagram for explaining the functions of various filters in the projection system 1.
  • the visible light projector 2 projects video content on the screen 10 together with the subject 6 (see FIG. 1).
  • the visible light from the visible light projector 2 needs to be diffusely reflected on the screen 10 as shown in FIG. 4.
  • the infrared light from the infrared light projector 3 is also diffusely reflected on the screen 10
  • the boundary between the region of the subject 6 and the region other than the subject 6 is unclear in the captured image of the measurement pattern by the camera 4. turn into.
  • the screen 10 is configured using the infrared light blocking filter 12 so that infrared light is not diffusely reflected on the projection surface of the screen 10 (FIG. 4).
  • the portion projected on the screen 10 in the measurement pattern projected from the infrared projector 3 is not reflected in the captured image of the camera 4, and only the portion projected on the subject 6 in the measurement pattern is captured image. It will be reflected in. For this reason, the outline of the subject 6 becomes clear on the captured image of the camera 4, and the shape and position of the subject 6 can be measured with high accuracy.
  • the screen 10 is configured by overlapping an infrared light blocking filter 12 on a diffusion member 11 that diffuses and reflects visible light. As shown in FIG. 4, when the infrared light blocking filter 12 transmits visible light, the diffuse reflection of visible light is maintained on the projection surface of the screen 10. Thereby, the visibility of the image by the visible light projector 2 on the screen 10 can be ensured.
  • the visible light blocking filter 43 is used for the camera 4 to block the visible light component of the light incident on the camera 4 and transmit the infrared light component. Accordingly, the camera 4 can accurately capture the measurement pattern by the infrared light projector 3 regardless of the timing at which the visible light projector 2 projects an image by emitting visible light.
  • the blocking of the diffuse reflection on the light blocking surface 10a of the screen 10 is not limited to the absorption of infrared light, but may be realized by the infrared light blocking filter 12 specularly reflecting or retroreflecting the infrared light.
  • the specular reflection the light source image of the infrared projector 3 having the light shielding surface 10a as a mirror surface is reflected in the captured image.
  • the controller 5 may determine and remove the region of the light source image in the captured image based on the light amount or the position.
  • the retroreflection the infrared light emitted from the infrared light projector 3 is reflected toward the infrared light projector 3 and can be blocked from entering the camera 4.
  • FIG. 5 is a diagram for explaining the function of pulse emission control in the projection system 1.
  • the light reflected by the subject 6 includes visible light and external light from the visible light projector 2 in addition to infrared light from the infrared light projector 3.
  • External light usually includes an infrared light component as well as a visible light component.
  • light other than the infrared light from the infrared light projector 3 is exposed to the camera 4 and becomes noise that reduces the measurement accuracy of the subject 6 based on the captured image.
  • the pulse light source 31 (FIG. 1) of the infrared projector 3 emits infrared light for projecting the measurement pattern, and the amount of the emitted infrared light is concentrated in the period of the pulse width. (FIG. 5).
  • the camera 4 performs an imaging operation in synchronization with the timing of infrared light pulse emission.
  • the light quantity of the infrared light from the infrared light projector 3 can be made remarkably larger than the light quantity of noise such as outside light, and the S / The N ratio can be improved.
  • the degree of freedom in installing the projection system 1 can be expanded by reducing the influence of external light on the measurement accuracy.
  • the visible light projector 2 continuously outputs red light, green light, and blue light in a frame period T1 for projecting one frame of video.
  • the visible light source 21 (FIG. 1) is driven so as to emit light.
  • the amount of light can be set larger than when red light, green light, and blue light are emitted in a time division manner, and the projected image can be of high quality.
  • the frame period T1 is set to 1/200 second or less, for example, in order to make the video follow the moving object.
  • FIG. 6D shows the emission timing of infrared light by the infrared projector 3.
  • the infrared light projector 3 periodically performs infrared light pulse emission while being superimposed on the period during which the visible light projector 2 is emitting light. Thereby, for example, it becomes possible to set the respective light amounts of visible light and infrared light larger than in the case where visible light and infrared light are emitted in a time division manner.
  • the infrared projector 3 projects a measurement pattern of one frame per pulse emission.
  • the length of the pulse period which is the repetition period of pulse emission, is set to the same length as the frame period T1 of the visible light image.
  • the amount of infrared light per pulse emission is set based on, for example, the amount of visible light that can be emitted by the visible light projector 2, for example, more than the amount of visible light that can be emitted during the frame period T1, or It is set to be equal to or greater than the amount of visible light that can be emitted during the same period as the pulse width.
  • FIG. 6 (e) shows the imaging timing of the camera 4.
  • the camera 4 performs exposure in synchronization with the light emission timing of the infrared projector 3 in the imaging operation. Thereby, the captured image of the camera 4 is obtained for every frame period T1.
  • 6 (f) and 6 (g) show details during the frame period T1 in FIGS. 6 (d) and 6 (e).
  • the camera 4 performs exposure in the same period T2 as the pulse emission timing and pulse width of the measurement light.
  • the pulse width of the pulsed light is set to 0.1 picoseconds to 20 microseconds, for example. Thereby, the peak of the light quantity of pulsed light emission can be made remarkably high, avoiding the situation where the period of pulsed light emission is shortened too much and the wavelength band of measurement light is spread.
  • the duty ratio of pulsed light emission is set to 1/100 to 1/10000, for example.
  • the pulse frequency corresponding to the pulse period may be appropriately set within a range of 200 Hz to 1 GHz in order to ensure a frame rate of the captured image that can follow the moving object.
  • the projection system 1 projects an image according to the shape of an object such as the subject 6.
  • the projection system 1 includes an infrared light projector 3, a screen 10, a camera 4, a video generation unit 50, and a visible light projector 2.
  • the infrared light projector 3 projects measurement patterns 81 to 83 onto an object with infrared light which is invisible light.
  • the screen 10 is disposed behind the object in the direction in which the infrared light is emitted from the infrared light projector 3.
  • the camera 4 images the measurement patterns 81 to 83 projected by the infrared projector 3.
  • the video generation unit 50 measures the shape of the object based on the captured image captured by the camera 4, and generates video data indicating the video projected on the object according to the measurement result.
  • the visible light projector 2 projects an image indicated by the image data onto an object with visible light.
  • the screen 10 has a light shielding surface 10a that blocks diffuse reflection of infrared light when infrared light enters.
  • the diffuse reflection of the infrared light from the infrared projector 3 is blocked at the light shielding surface 10a.
  • the screen 10 absorbs infrared light without diffusing and reflecting on the light shielding surface 10a.
  • the screen 10 may be specularly reflected or retroreflected without being diffusely reflected. Thereby, the diffuse reflection of infrared light is blocked at the light shielding surface 10a, and the measurement accuracy of the object can be improved.
  • the screen 10 diffuses and reflects visible light. Thereby, an image can be projected on the screen 10 from the visible light projector 2, and the effect in the projection system 1 can be enhanced.
  • the screen 10 includes an infrared light blocking filter 12 and a diffusing member 11.
  • the infrared light blocking filter 12 forms a light blocking surface 10a and transmits visible light.
  • the diffusing member 11 is covered with an infrared light blocking filter 12, and diffuses and reflects visible light.
  • the light-shielding surface 10a that diffuses and reflects visible light can be configured with a two-layer structure of the diffusing member 11 and the infrared light blocking filter 12.
  • the camera 4 includes an imaging element 41 containing silicon and a visible light blocking filter 43 that transmits infrared light and absorbs or reflects visible light. Thereby, in the camera 4, even when the imaging element 41 has a light receiving sensitivity in the visible light region, the visible light can be blocked.
  • the visible light blocking filter 43 may be omitted when an image sensor having no light receiving sensitivity in the visible light region is used.
  • the visible light blocking filter 43 is a filter attached to the imaging lens 42 in the camera 4.
  • the visible light blocking filter 43 may be a filter incorporated in the imaging element 41 or may be configured integrally with the imaging lens 42 in the camera 4.
  • the projection system 1 includes an infrared light projector 3, a camera 4, a video generation unit 50, and a visible light projector 2.
  • the infrared light projector 3 emits pulsed infrared light for projecting each measurement pattern 81, 82, 83.
  • the video generation unit 50 generates video data based on the captured images Im1, Im2, and Im3 captured according to the pulse emission timing.
  • the amount of infrared light for projecting each measurement pattern 81, 82, 83 is concentrated in the period of the pulse width of pulse emission by the infrared light projector 3, and the captured images Im1, Im2 are concentrated. , Im3 can improve the S / N ratio. Thereby, in the projection system 1, the shape of the object such as the subject 6 can be accurately measured.
  • the pulse width of the pulse emission by the infrared light projector 3 is shorter than the period of one frame of the image projected by the visible light projector 2.
  • the amount of pulsed light emission is larger than the amount of visible light emitted by the visible light projector 2 during the period of the pulse width.
  • the period of the pulse width it is possible to set the light emission amount of the pulse emission significantly larger than the light emission amount of the visible light from the visible light projector 2. For this reason, the measurement accuracy of the object in the projection system 1 can be improved.
  • the camera 4 performs an imaging operation in synchronization with the pulse light emission by the infrared projector 3. Thereby, a captured image having an improved S / N ratio by pulsed light emission can be obtained from the camera 4.
  • the infrared light projector 3 includes a pulse light source 31 composed of a pulse laser. Thereby, a large amount of pulsed light can be emitted by pulse oscillation of the pulse laser.
  • invisible light images projected from the infrared projector 3 are measurement patterns 81 to 83 based on the spatial coding method.
  • the invisible light image is not limited to this, and for example, a random dot pattern or the like may be used.
  • FIG. 7A shows the timing of infrared light pulse emission by the infrared light projector 3.
  • FIG. 7B shows the timing at which the pulsed emitted infrared reflected light of FIG. 7A enters the camera 4.
  • FIG. 7C shows the exposure timing of the camera 4 when the pulse emission timing of FIG. 7D, 7E, and 7F are timings of pulsed emission of infrared light by the infrared projector 3 according to this embodiment, incident timing of reflected light, and exposure timing of the camera 4, respectively. Indicates.
  • FIGS. 7A, 7B, and 7C show operation examples when the exposure timing of the camera 4 is matched with the pulse emission timing.
  • an object separated by about 150 m is set as a measurement target when the pulse width is set to 2 microseconds.
  • the reflected light of the infrared light is based on the speed of light (approximately 3 ⁇ 10 8 m / sec), and as shown in FIG. 7B, after approximately 1 microsecond has elapsed from the pulse emission timing, Incident.
  • the exposure timing of the camera 4 is matched with the pulse emission timing, the amount of reflected light is only about half of the amount of reflected light incident on the camera 4 as shown in FIG. The camera 4 is not exposed.
  • the imaging operation of the camera 4 is performed so that the camera 4 is exposed with a delay period ⁇ t from the timing of pulse emission. Is synchronized with the pulse emission.
  • the delay period ⁇ t is set to a period required for light to reciprocate the reference distance based on the reference distance where the object to be projected (subject) is assumed to exist and the speed of light.
  • the overlap between the period in which the reflected light from the object enters the camera 4 and the exposure period of the camera 4 increases by the delay period ⁇ t. For this reason, the amount of reflected light exposed to the camera 4 increases, and the measurement accuracy of the object can be improved.
  • the setting of the delay period ⁇ t in the projection system 1 is performed in advance, for example, when the projection system 1 is calibrated. Further, during the projection operation of the projection system 1, it may be performed based on the measurement result of the distance to the subject 6 (position in the z direction) according to a user instruction or a predetermined period (for example, 1 minute).
  • the camera 4 performs an imaging operation every elapse of the delay period ⁇ t from the pulse emission timing by the infrared light projector 3. Thereby, the period during which the reflected light from the object enters the camera 4 and the exposure period of the camera 4 can be easily overlapped, and the measurement accuracy of the object can be improved.
  • the delay period ⁇ t is a period based on the distance to the object and the speed of light. Thereby, the delay period ⁇ t is adjusted in the period required for the infrared light pulsed from the infrared light projector 3 to reciprocate the distance to the object, and the amount of reflected light exposed to the camera 4 is increased. Can do.
  • the camera 4 performs exposure during the same period as the pulse width of infrared light pulse emission.
  • the exposure period of the camera 4 may be set to a length different from the pulse width. This modification will be described with reference to FIGS. 8A to 8C.
  • the exposure period of the camera 4 is set to a period longer than the pulse width of infrared light pulse emission.
  • the exposure period of the camera 4 is set shorter than, for example, the pulse emission interval by the infrared light projector 3, that is, the pulse period (period T1), and is set to, for example, half or less of the pulse emission interval. Further, the exposure period of the camera 4 may be set to a plurality of times (for example, 10 times) or less of the pulse width of the pulse emission. In these cases, the delay period ⁇ t may be omitted.
  • the camera 4 performs an imaging operation in synchronization with the pulse light emission by the infrared light projector 3.
  • the image generation operation of the camera 4 is not synchronized with pulsed light emission, and the video generation unit 50 extracts a captured image corresponding to the timing of pulsed light emission.
  • FIGS. 9A, 9B, and 9C are timings of infrared light pulse emission by the infrared light projector 3 according to the present embodiment, incident timing of reflected light, and exposure timing of the camera 4, respectively. Indicates.
  • the camera 4 repeats the imaging operation at a predetermined repetition period without particularly synchronizing with the timing of pulse emission (FIG. 9A).
  • a configuration such as a synchronization signal source for synchronizing the imaging operation of the camera 4 with pulsed light emission can be omitted.
  • the repetition period of imaging by the camera 4 is set to a period shorter than the pulse width of pulse emission.
  • a captured image including an exposure period is generated during a period in which the reflected light is incident on the camera 4.
  • the amount of noise components such as external light is smaller than the amount of reflected light, and an object can be measured at a high S / N ratio.
  • the video generation unit 50 sequentially extracts the captured images generated as described above from the captured images captured by the camera, and performs processing such as decoding of the measurement pattern based on the extracted captured images. For example, information indicating the round trip period of the reflected light is stored in the storage unit 51 in advance, and the video generation unit 50 extracts the captured image as described above based on the information and the timing of pulse emission.
  • the camera 4 repeats the imaging operation at a time interval shorter than the repetition cycle of the pulse light emission by the infrared projector 3.
  • the video generation unit 50 extracts a captured image corresponding to the pulse emission timing from the repeatedly captured images. Thereby, based on the captured image extracted by the video generation unit 50, the three-dimensional measurement of the object can be performed with high accuracy. Further, the configuration such as the synchronization control of the camera 4 can be omitted, and the cost can be reduced.
  • the repetition period of imaging by the camera 4 may be set to a period equal to or longer than the pulse width of the pulse emission. This modification will be described with reference to FIGS. 10 (a) to 10 (c).
  • 10A, 10B, and 10C respectively show the timing of pulsed emission of infrared light by the infrared projector 3 according to the present modification, the timing of incidence of reflected light, and the timing of exposure of the camera 4. Indicates.
  • the repetition period of imaging by the camera 4 is equal to or longer than the pulse width of the pulse emission as shown in FIGS. 10A and 10C, and the interval of the pulse emission by the infrared projector 3 That is, it is set to be equal to or less than a half period of the pulse period.
  • the exposure period per imaging operation is set to, for example, the length of the pulse width or more and half or less of the pulse period.
  • a picked-up image including half or more of the period during which the reflected light is incident on the camera 4 is periodically generated.
  • Such a picked-up image enables three-dimensional measurement of an object in which the influence of noise is reduced without taking in external light for one pulse period.
  • the video generation unit 50 extracts the above-described captured image, and generates video data based on the extracted captured image, whereby a video that accurately follows the object can be obtained.
  • Embodiments 1 to 3 have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, substitutions, additions, omissions, and the like are appropriately performed.
  • the screen 10 that diffuses and reflects visible light has been described as an example of the background member.
  • the background member in the present disclosure is not limited to this.
  • a member that absorbs or transmits visible light may be employed.
  • a dark curtain that absorbs visible light without diffusely reflecting infrared light may be used as the background member.
  • an infrared light blocking filter that transmits visible light, a light shielding cover, a light shielding curtain, or the like may be used as the background member.
  • the projection system 1 includes the background member and performs pulse light emission control of invisible light.
  • the present disclosure is not limited to this, and in the case where the projection system 1 includes a background member, the pulse emission control of invisible light may be omitted, or the background member is omitted from the material that performs the pulse emission control of invisible light. May be.
  • the shape of the object can be accurately measured in the projection system that projects an image according to the shape of the object.
  • a light source constituted by a continuous wave laser or an LED may be used instead of the pulse light source 31.
  • the visible light blocking filter 43 may be omitted.
  • the shape of the object can be accurately measured based on the captured image by appropriately setting the amount of pulsed light emission and the threshold value for three-dimensional measurement.
  • red light, green light, and blue light may be emitted in a time-sharing manner. Further, such visible light emission and infrared light emission by the infrared light projector 3 may be time-shared.
  • the object to be projected by the projection system in the present disclosure is not limited to a moving object, and may be a stationary object, for example, a building.
  • the stationary object is the projection target of the projection system, the position need not be measured particularly during the projection operation.
  • the projection system according to the present disclosure can be applied to various uses for projecting an image on an object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Projection Apparatus (AREA)

Abstract

投影システム（１）は、非可視光投影部（３）と、背景部材（１０）と、撮像部（４）と、映像生成部（５０）と、可視光投影部（２）とを備える。非可視光投影部は、非可視光により物体に所定の非可視光映像を投影する。背景部材は、非可視光投影部から非可視光が出射する方向において物体の後方に配置される。撮像部は、非可視光投影部によって投影された非可視光映像を撮像する。映像生成部は、撮像部によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光投影部は、可視光により物体に映像データが示す映像を投影する。背景部材は、非可視光が入射したときに非可視光の拡散反射を遮断する遮光面（１０ａ）を有する。

Description

投影システム
　本開示は、物体の形状および位置等に応じた映像を投影する投影システムに関する。
　特許文献１は、建物のような構造物に映像コンテンツを投影するプロジェクションマッピングのための投影システムを開示している。特許文献１の投影システムにおいては、投影装置が、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光とを構造物に照射する。また、撮像装置が、構造物に投影されたパターン画像を撮像する。特許文献１の投影システムによると、構造物に映像コンテンツを位置合わせしてプロジェクションマッピングを行うことが可能になる。
特開２０１５－１７３４３１号公報
　本開示は、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる投影システムを提供する。
　本開示における投影システムは、物体の形状に応じた映像を投影する。投影システムは、非可視光投影部と、背景部材と、撮像部と、映像生成部と、可視光投影部とを備える。非可視光投影部は、物体に所定の非可視光映像を非可視光により投影する。背景部材は、非可視光投影部から非可視光が出射する方向において物体の後方に配置される。撮像部は、非可視光投影部によって投影された非可視光映像を撮像する。映像生成部は、撮像部によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光投影部は、物体に映像データが示す映像を可視光により投影する。背景部材は、非可視光が入射したときに非可視光の拡散反射を遮断する遮光面を有する。
　本開示における投影システムによると、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる。
実施形態１に係る投影システムの構成を示すブロック図 投影システムにおける三次元計測の原理を説明するための図 空間コード化法に基づく計測パターンを説明するための図 投影システムにおける各種フィルタの機能を説明するための図 投影システムにおけるパルス発光制御の機能を説明するための図 実施形態１に係る投影システムの動作タイミングを示すタイミングチャート 実施形態２に係る投影システムの動作タイミングを示すタイミングチャート 実施形態２の変形例に係る投影システムの動作タイミングを示すタイミングチャート 実施形態３に係る投影システムの動作タイミングを示すタイミングチャート 実施形態３の変形例に係る投影システムの動作タイミングを示すタイミングチャート
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（実施形態１）
１．構成
　実施形態１に係る投影システムの構成を、図１を参照して説明する。図１は、本実施形態に係る投影システム１の構成を示すブロック図である。
　投影システム１は、図１に示すように、可視光プロジェクタ２と、赤外光プロジェクタ３と、カメラ４と、コントローラ５と、スクリーン１０とを備える。本実施形態に係る投影システム１は、例えば演出用に人物等の被写体６に可視光の映像を投影するプロジェクションマッピングを行うシステムである。投影システム１では、可視光プロジェクタ２からの可視光による映像コンテンツを、被写体６の動きに追従させるため、赤外光プロジェクタ３及びカメラ４を用いて被写体６の形状等を計測する。また、スクリーン１０は、各プロジェクタ２，３の投影方向において被写体６よりも後方となる位置に配置される。
　可視光プロジェクタ２は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。可視光プロジェクタ２は、例えばコントローラ５から入力される映像信号（映像データ）に基づき、種々の映像コンテンツを含む映像を投影するように可視光を出射する。可視光プロジェクタ２は、本実施形態における可視光投影部の一例である。可視光プロジェクタ２は、図１に示すように、可視光光源２１と、空間光変調部２２と、投影光学系２３とを備える。
　可視光光源２１は、本実施形態では、赤色光、緑色光及び青色光をそれぞれ出射する複数の光源素子（例えばＬＥＤ）を含む。可視光光源２１は、可視光プロジェクタ２の投影方式に応じて適宜、単色の光源素子のみ、或いは白色の光源素子を有してもよい。光源素子は、レーザダイオード又はハロゲンランプなどであってもよい。
　空間光変調部２２は、本実施形態では、３つの空間光変調素子で構成される。空間光変調素子としては、ＤＭＤ又はＬＣＤ等を用いることができる。空間光変調部２２は、１つの空間光変調素子で構成されてもよい。
　投影光学系２３は、可視光プロジェクタ２の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
　赤外光プロジェクタ３は、例えばＤＬＰ方式、ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。赤外光プロジェクタ３は、例えばコントローラ５から入力される映像信号（映像データ）に基づき、後述する所定の赤外光の計測パターンを投影する。赤外光プロジェクタ３は、非可視光により非可視光映像を投影する非可視光投影部の一例である。本実施形態では、非可視光の一例として赤外光を用いるが、これに限らず、例えば紫外光を用いてもよい。
　赤外光プロジェクタ３は、図１に示すように、パルス光源３１と、空間光変調素子３２と、投影光学系２３とを備える。
　パルス光源３１は、本実施形態では、赤外光をパルス発振するパルスレーザで構成される。パルス光源３１は、パルス発振により、０．１ピコ秒～２０マイクロ秒等のパルス幅において、例えばピーク波長が８００ｎｍ～９００ｎｍの赤外光をパルス発光する。
　空間光変調素子３２は、ＤＭＤ又はＬＣＤ等で構成される。空間光変調素子３２の画像形成面には、コントローラ５等からの映像信号に基づき画像が形成される。パルス光源３１においてパルス発光した赤外光が空間光変調素子３２の画像形成面に入射することで、赤外光が空間変調され、非可視光映像が生成される。
　投影光学系３３は、赤外光プロジェクタ３の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
　各プロジェクタ２，３は、例えば互いに同一の領域に光を出射可能に配置される。各プロジェクタ２，３は、それぞれの光軸が一致するように光学的に結合されてもよい。この場合、例えば、可視光を透過して赤外光を反射する、或いは可視光を反射して赤外光を透過するダイクロイックミラーなどを用いてもよい。また、この場合、それぞれの投影光学系２３，３３は一体的に構成されてもよい。また、赤外光プロジェクタ３と可視光プロジェクタ２とが、一つの装置として一体的に構成されてもよい。
　カメラ４は、赤外光プロジェクタ３によって非可視光映像が投影される領域の画像を撮像可能な位置に配置される。カメラ４は、赤外光において被写体６に投影される計測パターンの撮像画像を生成し、撮像画像を示す画像データである撮像データをコントローラ５に出力する。カメラ４は、投影システム１における撮像部の一例である。カメラ４は、図１に示すように、撮像素子４１と、撮像レンズ４２と、可視光遮断フィルタ４３とを備える。
　撮像素子４１は、例えばシリコンを主原料として含むＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどの固体撮像素子で構成される。撮像素子４１は、光を受光する複数の画素回路が並ぶ撮像面を有する。撮像素子４１の主原料はシリコンに限らず、例えばゲルマニウムやガリウムであってもよい。
　撮像レンズ４２は、カメラ４の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
　可視光遮断フィルタ４３は、入射する光の内の赤外光成分を透過し、可視光成分を吸収するバンドパスフィルタ或いはロングパスフィルタである。可視光遮断フィルタ４３は、例えば撮像レンズ４２に取り付けられる。可視光遮断フィルタ４３は、カメラ４において選択的に赤外光を透過する波長選択部材の一例である。
　可視光遮断フィルタ４３は、撮像レンズ４２におけるコーティング、或いは回折格子の形成等により、撮像レンズ４２と一体的に構成されてもよい。また、可視光遮断フィルタ４３は、撮像素子４１の画像形成面などに組み込まれて構成されてもよい。また、可視光遮断フィルタ４３は、可視光成分の吸収に代えて、又はこれに加えて、可視光成分を反射するように構成されてもよい。
　コントローラ５は、投影システム１の各部を制御する制御装置である。コントローラ５は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを備える。コントローラ５は、図１に示すように、映像生成部５０と、記憶部５１とを備える。
　コントローラ５は、記憶部５１に格納されたデータやプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、コントローラ５は、映像生成部５０としての機能を実現する。また、コントローラ５は、カメラ４、赤外光プロジェクタ３及び可視光プロジェクタ２等の各種動作タイミングの制御（例えば各部の同期制御）、ズーム制御、フォーカス制御などを行ってもよい。
　コントローラ５は、所定の機能を実現するように設計された専用の電子回路や再構成可能な電子回路などのハードウェア回路であってもよい。コントローラ５は、ＣＰＵ，ＭＰＵ，マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。また、コントローラ５の各種機能は、投影システム１の各部２，３，４に組み込まれてもよい。
　映像生成部５０は、可視光プロジェクタ２によって投影される映像コンテンツを示す映像データを生成する。この際、映像データは、映像コンテンツを被写体６の動きに追従して投影できるように生成される必要がある。このため、映像生成部５０は、カメラ４からの撮像データに基づき被写体６の形状等の三次元計測を行う。映像生成部５０の動作については後述する。
　記憶部５１は、コントローラ５の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体であり、例えばハードディスク（ＨＤＤ）又は半導体記憶装置（ＳＳＤ）を備える。また、記憶部５１は、さらに、ＤＲＡＭやＳＲＡＭ等の半導体デバイスを備えてもよく、データを一時的に記憶するとともにコントローラ５の作業エリアとしても機能する。例えば、記憶部５１は、種々の映像コンテンツを示す映像データ及び後述する計測パターンを示す映像データを格納する。
　スクリーン１０は、投影システム１において被写体６の背景となるような映像コンテンツを映し出すための背景部材の一例である。スクリーン１０を用いることにより、例えば被写体６の動きに連動するような映像コンテンツが投影でき、プロジェクションマッピングにおける演出効果を高めることができる。スクリーン１０は、図１に示すように、拡散部材１１と、赤外光遮断フィルタ１２とを備える。
　拡散部材１１は、可視光を拡散反射する投影面を構成する幕部材である。スクリーン１０は、拡散部材１１が赤外光遮断フィルタ１２に覆われる二層構造で構成される（図４参照）。スクリーン１０の投影面は、平面であってもよいし、曲面であってもよい。
　赤外光遮断フィルタ１２は、入射する光の内の可視光成分を平均５０％以上の透過率で透過し、赤外光成分を平均５０％以上吸収する光学特性を有するフィルム部材で構成される。赤外光遮断フィルタ１２により、スクリーン１０の投影面が入射する赤外光の拡散反射を遮断する遮光面として形成される。赤外光遮断フィルタ１２は、スクリーン１０における遮光部材の一例である。
　赤外光遮断フィルタ１２は、上記の光学特性に限らず、例えば赤外光を鏡面反射する光学特性を有してもよい。また、赤外光遮断フィルタ１２は、例えばビーズ部材等を含む再帰反射構造を備えてもよい。また、赤外光遮断フィルタ１２は、フィルム部材に限らず、例えばパネル部材で構成されてもよい。また、拡散部材１１に対するコーティングなどにより、赤外光遮断フィルタ１２が形成されてもよい。
２．動作
　以上のように構成された投影システム１の動作を以下に説明する。
２－１．投影動作（プロジェクションマッピング）
　本実施形態に係る投影システム１においてプロジェクションマッピングを行うための投影動作を、図１を参照して説明する。
　まず、赤外光プロジェクタ３は、赤外光を出射して、複数の計測パターンの内の各計測パターンを順次、被写体６に投影する。計測パターンは、空間コード化法によって被写体６の形状及び位置を計測するための非可視光映像の一例である。計測対象の形状は、被写体６等の物体の輪郭及び凹凸を含む三次元形状である。また、計測対象の位置は、物体までの距離を含む三次元的な位置である。三次元計測の原理については後述する。
　赤外光プロジェクタ３は、例えばコントローラ５の制御により、記憶部５１に格納された映像データを読み出し、空間光変調素子３２において映像データが示す計測パターンを形成する。次いで、赤外光プロジェクタ３は、パルス光源３１を駆動して、スクリーン１０の投影面全体などの範囲を含む画角において、赤外光の計測パターンを投影する。
　この際、カメラ４は、赤外光プロジェクタ３によって投影された計測パターンを撮像し、計測パターンの撮像画像を示す撮像データをコントローラ５に出力する。カメラ４の撮像動作は、複数の計測パターンにおける計測パターン毎に行われる。
　次に、コントローラ５の映像生成部５０は、計測パターンの撮像画像に基づいて被写体６の形状及び位置を計測し、計測結果に応じて被写体６に投影される映像コンテンツを含む映像データを生成する。
　具体的に、映像生成部５０は、後述する空間コード化法によって撮像画像における被写体６の領域の画素毎に自装置までの距離を計測し、画素毎に計測した距離を示す距離画像を生成する。生成した距離画像に基づいて、映像生成部５０は、デフォルトの映像データが示す映像コンテンツが計測した形状及び位置の被写体６に投影された際に適切に映し出されるように、デフォルトの映像データを補正する。デフォルトの映像データは、例えば予め記憶部５１に格納されている。
　また、本実施形態において、映像生成部５０は、スクリーン１０に投影する映像コンテンツも含めるように、可視光プロジェクタ２に出力する映像データを生成する。例えば、投影システム１の設置時などのキャリブレーションによりスクリーン１０の位置及び形状（向き）を示す情報を予め記憶部５１に記録しておき、投影動作時に映像生成部５０が上記の情報を参照して、スクリーン１０に投影する映像コンテンツの補正を行う。
　次に、可視光プロジェクタ２は、コントローラ５の映像生成部５０からの映像データに基づき空間光変調部２２を制御し、可視光光源２１からの可視光の出射により被写体６及びスクリーン１０に映像コンテンツを投影する。
　投影システム１は、以上の処理を所定のフレームレートにおいて繰り返し行う。これにより、可視光プロジェクタ２から投影される映像コンテンツを被写体６の動きに精度良く追従させることができる。
　以上のような投影システム１の投影動作においては、赤外光プロジェクタ３から投影される計測パターンの撮像画像に基づく被写体６の形状及び位置の計測精度を良くすることが重要である。そこで、本実施形態では、上記の計測精度を良くするという目的を達成するために、各種フィルタ１２，４３を用いる。また、本実施形態では、上記の目的を達成するために、赤外光プロジェクタ３においてパルス発光制御を採用する。以下、本実施形態に係る投影システム１の動作の詳細について説明する。
２－２．三次元計測の原理について
　本実施形態では、被写体６の形状等を計測するための計測原理として、空間コード化法によるアクティブステレオ計測を採用する。本計測原理について、図２，３を用いて説明する。図２は、三次元計測の原理を説明するための図である。図３は、空間コード化法に基づく計測パターンを説明するための図である。
　図２では、カメラ４と赤外光プロジェクタ３とが、それぞれの光軸が平行になるように並んで配置されている。以下、図２に示すように、各光軸の方向をｚ方向とする。また、ｚ方向に直交し、カメラ４と赤外光プロジェクタ３とが並ぶ方向をｘ方向とし、ｚ方向及びｘ方向に直交する方向をｙ方向とする。
　図２では、赤外光プロジェクタ３から出射した赤外光が物体の特定の点（輝点）において反射し、輝点からの反射光がカメラ４に入射する様子を示している。図２に示すように、カメラ４と赤外光プロジェクタ３との間には、視差θが生じる。赤外光プロジェクタ３から投影された映像がカメラ４で撮像されると、投影された映像はカメラ４の撮像画像において視差θだけずれて映る。すなわち、図２に示すように、物体上の輝点までの距離に応じて、カメラ４の撮像画像における輝点のｘ座標がずれる。
　投影システム１では、上記のような座標のずれに基づき、コントローラ５（映像生成部５０）がカメラ４と赤外光プロジェクタ３との間隔を基線長とする三角法に基づく計算を行って、ｚ方向の距離を計測する。基線長は、例えば投影システム１の設置時のキャリブレーションなどによって予め取得される。座標のずれは、空間コード化法に基づく計測パターンを用いて計測される。この計測方法について、図３（ａ），（ｂ）を参照して説明する。
　図３（ａ）は、赤外光プロジェクタ３から投影される１組の計測パターン８１，８２，８３の映像データを例示している。各計測パターン８１～８３は、ずれの計測対象のｘ座標の方向に沿って配置された発光領域Ｒ１と非発光領域Ｒ０を有する。空間コード化法によると、発光領域Ｒ１を「１」、非発光領域Ｒ０を「０」に対応させることで、映像データ上のｘ座標がコード化される。図３（ａ）の例では、３つの計測パターン８１～８３により、映像データ上で８つの領域に対応する３ビットのコードが得られる。
　図３（ｂ）は、図３（ａ）の各計測パターン８１，８２，８３が投影された物体がカメラ４によって撮像されたときに生成される撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３を示している。図３（ｂ）に示すように、同じコード「１１０」に対応する輝点であっても、物体上の奥行きに応じて、撮像画像におけるｘ座標がずれる。本実施形態では、コントローラ５が、映像生成部５０において撮像画像Ｉｍ１～Ｉｍ３を示す撮像データをデコードすることにより、座標のずれを計測する。
　具体的に、コントローラ５は、まず、１フレームの撮像画像の画素毎に、画素の輝度と所定のしきい値とを比較するしきい値判定を行う。所定のしきい値は、撮像画像中で計測パターンにおける発光領域の輝点を映している画素を判断する基準のしきい値であり、例えばノイズの光量を考慮して設定される。コントローラ５は、しきい値判定において、輝度がしきい値を越えると判断した画素に「１」を割り当て、輝度がしきい値を越えないと判断した画素に「０」を割り当てる。
　コントローラ５は、以上の処理を全ての撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３に対して行い、画素毎に割り当てられた二値（「０」又は「１」）を集計することにより、撮像データのデコードを行う。この際、コントローラ５は、例えば全撮像画像Ｉｍ１～Ｉｍ３において輝度がしきい値を超えない領域を除くなどにより、撮像データ上で被写体と考えられる領域を抽出してもよい。
　コントローラ５は、デコード結果が表すｘ座標の値と基準のｘ座標の値とを画素毎に比較することにより、ｘ座標のずれを計測する。ｙ座標のずれについても、例えば図３（ａ）の計測パターン８１～８３を９０度回転させた計測パターンを用いることで、上記と同様に計測できる。また、赤外光プロジェクタ３と可視光プロジェクタ２との間にも視差がある場合、例えば予め両者の設置位置を示す情報を取得しておき、適宜、赤外光プロジェクタ３において規定される三次元座標を可視光プロジェクタ２において規定される三次元座標に換算する。
２－３．各種フィルタについて
　本実施形態における赤外光遮断フィルタ１２及び可視光遮断フィルタ４３の機能について、図４を用いて説明する。図４は、投影システム１における各種フィルタの機能を説明するための図である。
　本実施形態では、可視光プロジェクタ２は、被写体６と共に、スクリーン１０に映像コンテンツを投影する（図１参照）。スクリーン１０において観察者等に視認可能に映像コンテンツを映すためには、図４に示すように、可視光プロジェクタ２からの可視光がスクリーン１０において拡散反射される必要がある。しかし、赤外光プロジェクタ３からの赤外光もスクリーン１０において拡散反射されると、カメラ４による計測パターンの撮像画像中で、被写体６の領域と被写体６以外の領域との境界が不明瞭になってしまう。
　そこで、本実施形態では、スクリーン１０の投影面において赤外光が拡散反射されないように、赤外光遮断フィルタ１２を用いてスクリーン１０を構成する（図４）。これにより、赤外光プロジェクタ３から投影される計測パターン中のスクリーン１０に投影された部分はカメラ４の撮像画像に映らずに、計測パターン中の被写体６に投影された部分のみが、撮像画像に映ることとなる。このため、カメラ４の撮像画像上で被写体６の輪郭が明瞭になり、被写体６の形状及び位置を精度良く計測可能になる。
　また、スクリーン１０は、可視光を拡散反射する拡散部材１１に赤外光遮断フィルタ１２を重ねて構成される。図４に示すように、赤外光遮断フィルタ１２が可視光を透過することにより、スクリーン１０の投影面において可視光の拡散反射は維持される。これにより、スクリーン１０において可視光プロジェクタ２による映像の視認性を確保することができる。
　また、本実施形態では、図４に示すように、可視光遮断フィルタ４３をカメラ４に用いて、カメラ４に入射する光の内の可視光成分を遮断して赤外光成分を透過する。これにより、可視光プロジェクタ２が可視光の発光により映像を投影するタイミングに拘らず、カメラ４が赤外光プロジェクタ３による計測パターンを精度良く撮像することができる。
　スクリーン１０の遮光面１０ａにおける拡散反射の遮断は、赤外光の吸収に限らず、赤外光遮断フィルタ１２が赤外光を鏡面反射、或いは再帰反射すること等によって実現されてもよい。鏡面反射によると、撮像画像中に遮光面１０ａを鏡面とする赤外光プロジェクタ３の光源像が映ることになる。この場合、例えばコントローラ５が撮像画像中で光源像の領域を光量又は位置等により判定し、除去してもよい。また、再帰反射によると、赤外光プロジェクタ３が出射した赤外光が赤外光プロジェクタ３に向けて反射され、カメラ４への入射を遮断できる。
２－４．パルス発光制御について
　本実施形態における計測パターンのパルス発光制御について、図５を用いて説明する。図５は、投影システム１におけるパルス発光制御の機能を説明するための図である。
　図５に示すように、被写体６で反射される光には、赤外光プロジェクタ３からの赤外光の他にも、可視光プロジェクタ２からの可視光および外光が含まれる。外光には通常、可視光成分と共に赤外光成分が含まれる。ここで、赤外光プロジェクタ３からの赤外光以外の光は、カメラ４に露光されることで、撮像画像に基づく被写体６の計測精度を低下させるノイズになる。
　そこで、本実施形態では、赤外光プロジェクタ３のパルス光源３１（図１）が計測パターンを投影するための赤外光をパルス発光し、発光する赤外光の光量をパルス幅の期間に集中させる（図５）。この際、カメラ４は、赤外光のパルス発光のタイミングに同期して撮像動作を行う。これにより、カメラ４に露光される光量において、外光等のノイズの光量よりも赤外光プロジェクタ３からの赤外光の光量を顕著に大きくすることができ、被写体６の計測精度におけるＳ／Ｎ比を向上できる。また、計測精度に対する外光の影響の緩和により、投影システム１の設置自由度を広げることができる。
　以下、本実施形態における投影システム１のタイミング制御の詳細について、図６（ａ）～（ｇ）を用いて説明する。
　図６（ａ），（ｂ），（ｃ）は、それぞれ可視光プロジェクタ２による赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の発光タイミングを示す。本実施形態において、可視光プロジェクタ２は、図６（ａ）～（ｃ）に示すように、１フレームの映像を投影するためのフレーム期間Ｔ１において赤色光、緑色光及び青色光の各々を連続的に発光するように可視光光源２１（図１）を駆動する。これにより、例えば赤色光、緑色光及び青色光を時分割で発光する場合よりも光量（最大光量）を大きく設定でき、投影される映像を高品質にすることができる。フレーム期間Ｔ１は、映像を動体に追従させるために、例えば１／２００秒以下に設定される。
　図６（ｄ）は、赤外光プロジェクタ３による赤外光の発光タイミングを示す。図６（ｄ）に示すように、赤外光プロジェクタ３は、可視光プロジェクタ２が発光中の期間に重畳して、赤外光のパルス発光を周期的に行う。これにより、例えば可視光と赤外光とを時分割で発光する場合よりも可視光と赤外光とのそれぞれの光量を大きく設定可能になる。
　本実施形態では、一例として、赤外光プロジェクタ３が、パルス発光１回当たりに１フレームの計測パターンを投影する。また、パルス発光の繰り返し周期であるパルス周期の長さは、可視光の映像のフレーム期間Ｔ１と同じ長さに設定される。また、パルス発光１回当たりの赤外光の光量は、例えば可視光プロジェクタ２が発光可能な可視光の光量を基準として設定され、例えばフレーム期間Ｔ１中に発光可能な可視光の光量以上、或いはパルス幅と同じ期間中に発光可能な可視光の光量以上に設定される。
　図６（ｅ）は、カメラ４による撮像タイミングを示す。カメラ４は、図６（ｄ），（ｅ）に示すように、撮像動作において、赤外光プロジェクタ３の発光タイミングに同期して露光する。これにより、フレーム期間Ｔ１毎にカメラ４の撮像画像が得られる。図６（ｆ），（ｇ）に、図６（ｄ），（ｅ）のフレーム期間Ｔ１中の詳細を示す。
　図６（ｆ），（ｇ）に示すように、本実施形態においてカメラ４は、計測光のパルス発光のタイミング及びパルス幅と同じ期間Ｔ２に露光を行う。パルス発光光のパルス幅は、例えば０．１ピコ秒～２０マイクロ秒に設定される。これにより、パルス発光の期間を短縮しすぎて計測光の波長帯に広がりが生じてしまう事態を回避しながら、パルス発光の光量のピークを顕著に高くすることができる。また、同様の観点から、パルス発光のデューティ比は、例えば１／１００～１／１００００に設定される。この際、パルス周期に対応するパルス周波数は、動体に追従可能な撮像画像のフレームレートを確保するために、２００Ｈｚ～１ＧＨｚの範囲内で適宜、設定されてもよい。
３．効果等
　以上のように、本実施形態において投影システム１は、被写体６等の物体の形状に応じた映像を投影する。投影システム１は、赤外光プロジェクタ３と、スクリーン１０と、カメラ４と、映像生成部５０と、可視光プロジェクタ２とを備える。赤外光プロジェクタ３は、非可視光である赤外光により、物体に計測パターン８１～８３を投影する。スクリーン１０は、赤外光プロジェクタ３から赤外光が出射する方向において物体の後方に配置される。カメラ４は、赤外光プロジェクタ３によって投影された計測パターン８１～８３を撮像する。映像生成部５０は、カメラ４によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光プロジェクタ２は、物体に映像データが示す映像を可視光により投影する。スクリーン１０は、赤外光が入射したときに赤外光の拡散反射を遮断する遮光面１０ａを有する。
　以上の投影システム１によると、遮光面１０ａにおいて赤外光プロジェクタ３からの赤外光の拡散反射が遮断される。これにより、物体の形状に応じた映像を投影する投影システム１において、被写体６等の物体の形状を精度良く計測することができる。
　また、本実施形態において、スクリーン１０は、遮光面１０ａにおいて赤外光を拡散反射せずに吸収する。スクリーン１０は、拡散反射せずに鏡面反射又は再帰反射してもよい。これにより、遮光面１０ａにおいて赤外光の拡散反射が遮断され、物体の計測精度を良くすることができる。
　また、本実施形態において、スクリーン１０は、可視光を拡散反射する。これにより、可視光プロジェクタ２からスクリーン１０に映像を映し出すことができ、投影システム１における演出効果を高めることができる。
　また、本実施形態において、スクリーン１０は、赤外光遮断フィルタ１２と、拡散部材１１とを備える。赤外光遮断フィルタ１２は、遮光面１０ａを形成し、可視光を透過する。拡散部材１１は、赤外光遮断フィルタ１２に覆われ、可視光を拡散反射する。これにより、拡散部材１１と赤外光遮断フィルタ１２の二層構造で簡単に可視光を拡散反射する遮光面１０ａを構成することできる。
　また、本実施形態において、カメラ４は、シリコンを含む撮像素子４１と、赤外光を透過して可視光を吸収または反射する可視光遮断フィルタ４３とを備える。これにより、カメラ４において、撮像素子４１には可視光領域に受光感度があるような場合であっても、可視光の受光を遮断することができる。なお、可視光領域に受光感度がない撮像素子を用いる場合には、可視光遮断フィルタ４３を省略してもよい。
　また、本実施形態において、可視光遮断フィルタ４３は、カメラ４における撮像レンズ４２に取り付けられるフィルタである。可視光遮断フィルタ４３は、撮像素子４１に組み込まれるフィルタであってもよいし、カメラ４における撮像レンズ４２と一体的に構成されてもよい。
　また、本実施形態において、投影システム１は、赤外光プロジェクタ３と、カメラ４と、映像生成部５０と、可視光プロジェクタ２とを備える。赤外光プロジェクタ３は、各計測パターン８１，８２，８３を投影するための赤外光をパルス発光する。映像生成部５０は、パルス発光のタイミングに応じて撮像された撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３に基づき、映像データを生成する。
　以上の投影システム１によると、赤外光プロジェクタ３によるパルス発光のパルス幅の期間に、各計測パターン８１，８２，８３を投影するための赤外光の光量を集中させ、撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３におけるＳ／Ｎ比を向上できる。これにより、投影システム１において、被写体６等の物体の形状を精度良く計測することができる。
　また、本実施形態において、赤外光プロジェクタ３によるパルス発光のパルス幅は、可視光プロジェクタ２が投影する映像の１フレームの期間よりも短い。パルス発光の光量は、可視光プロジェクタ２がパルス幅の期間中に発光する可視光の光量よりも大きい。
　これにより、パルス幅の期間において、可視光プロジェクタ２からの可視光の光量よりも顕著に大きいパルス発光の光量が設定できる。このため、投影システム１における物体の計測精度を良くすることができる。
　また、本実施形態において、カメラ４は、赤外光プロジェクタ３によるパルス発光に同期して撮像動作を行う。これにより、カメラ４から、パルス発光によってＳ／Ｎ比が改善された撮像画像を得ることができる。
　また、本実施形態において、赤外光プロジェクタ３は、パルスレーザで構成されるパルス光源３１を備える。これにより、パルスレーザのパルス発振による大光量のパルス発光が行える。
　また、本実施形態において赤外光プロジェクタ３から投影する非可視光映像は、空間コード化法に基づく計測パターン８１～８３である。非可視光映像は、これに限らず、例えば、ランダムドットパターンなどを用いてもよい。
（実施形態２）
　以下、図面を用いて、実施形態２を説明する。実施形態１では、赤外光プロジェクタ３によるパルス発光にカメラ４の撮像動作を同期させる際に、パルス発光のタイミングにカメラ４の露光のタイミングを一致させた。実施形態２では、パルス発光のタイミングから遅延期間を設けてカメラ４の露光のタイミングを同期させる。
　以下、実施形態１に係る投影システム１と同様の構成、動作の説明は適宜、省略して、本実施形態に係る投影システム１を説明する。
　図７（ａ）は、赤外光プロジェクタ３による赤外光のパルス発光のタイミングを示す。図７（ｂ）は、図７（ａ）のパルス発光した赤外光の反射光がカメラ４に入射するタイミングを示す。図７（ｃ）は、図７（ａ）のパルス発光のタイミングに一致させた場合のカメラ４の露光のタイミングを示す。図７（ｄ），（ｅ），（ｆ）は、それぞれ本実施形態に係る赤外光プロジェクタ３による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ４の露光のタイミングを示す。
　図７（ａ），（ｂ），（ｃ）では、パルス発光のタイミングにカメラ４の露光のタイミングを一致させた場合の動作例を示している。図７（ａ）～（ｃ）の例では、パルス幅を２マイクロ秒に設定した際に１５０ｍ程度離れた物体を計測対象とすることを想定している。この場合では、赤外光の反射光は光速（略３×１０８ｍ／秒）に基づき、図７（ｂ）に示すように、パルス発光のタイミングから略１マイクロ秒の経過後にカメラ４に入射する。すると、カメラ４の露光のタイミングをパルス発光のタイミングに一致させた場合、図７（ｃ）に示すように、反射光の光量が、カメラ４に入射する反射光の光量の内の半分程度しか、カメラ４に露光されないこととなる。
　そこで、本実施形態では、図７（ｄ），（ｅ），（ｆ）に示すように、パルス発光のタイミングから遅延期間Δｔを設けてカメラ４の露光を行うように、カメラ４の撮像動作をパルス発光に同期させる。遅延期間Δｔは、投影対象の物体（被写体）が存在することが想定される基準距離、及び光速に基づき、光が基準距離を往復するためにかかる期間に設定される。これにより、図７（ｅ），（ｆ）に示すように、物体からの反射光がカメラ４に入射する期間とカメラ４の露光期間との重なりが遅延期間Δｔ分増える。このため、カメラ４に露光される反射光の光量が増大し、物体の計測精度を向上できる。
　投影システム１における遅延期間Δｔの設定は、例えば投影システム１のキャリブレーション時などに予め行われる。また、投影システム１の投影動作中に、ユーザの指示あるいは所定周期（例えば１分）等により、被写体６までの距離（ｚ方向位置）の計測結果に基づいて行われてもよい。
　以上のように、本実施形態に係る投影システム１において、カメラ４は、赤外光プロジェクタ３によるパルス発光のタイミングから遅延期間Δｔの経過毎に撮像動作を行う。これにより、物体からの反射光がカメラ４に入射する期間とカメラ４の露光期間とを重なり易くすることができ、物体の計測精度を向上できる。
　また、本実施形態において、遅延期間Δｔは、物体までの距離及び光速に基づく期間である。これにより、赤外光プロジェクタ３からパルス発光した赤外光が物体までの距離を往復するためにかかる期間に遅延期間Δｔを調整して、カメラ４に露光される反射光の光量を増大させることができる。
　また、上記の実施形態では、カメラ４が赤外光のパルス発光のパルス幅と同じ期間に露光を行った。カメラ４の露光期間は、パルス幅とは異なる長さに設定されてもよい。この変形例について、図８（ａ）～（ｃ）を用いて説明する。
　図８（ａ），（ｂ），（ｃ）は、それぞれ本変形例に係る赤外光プロジェクタ３による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ４の露光のタイミングを示す。本変形例では、図８（ｃ）に示すように、カメラ４の露光期間が赤外光のパルス発光のパルス幅よりも長い期間に設定されている。これにより、カメラ４の露光のタイミングが反射光の入射のタイミングに完全に一致しなくても、カメラ４の露光期間内に反射光が入射する期間が含まれることとなる。このため、カメラ４のタイミング制御を過度に複雑化することなく、簡単な回路構成で物体の計測精度を向上できる。
　カメラ４の露光期間は、例えば赤外光プロジェクタ３によるパルス発光の間隔、すなわちパルス周期（期間Ｔ１）よりも短く設定され、例えばパルス発光の間隔の半分以下に設定される。また、カメラ４の露光期間は、パルス発光のパルス幅の複数倍（例えば１０倍）以下に設定されてもよい。これらの場合において、遅延期間Δｔは省略されてもよい。
（実施形態３）
　以下、図面を用いて、実施形態３を説明する。上記の各実施形態では、カメラ４が赤外光プロジェクタ３によるパルス発光に同期して撮像動作を行った。実施形態３では、カメラ４の撮像動作はパルス発光に同期させずに、映像生成部５０がパルス発光のタイミングに応じた撮像画像を抽出する。
　以下、実施形態１，２に係る投影システム１と同様の構成、動作の説明は適宜、省略して、本実施形態に係る投影システム１を説明する。
　図９（ａ），（ｂ），（ｃ）は、それぞれ本実施形態に係る赤外光プロジェクタ３による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ４の露光のタイミングを示す。
　本実施形態では、図９（ｃ）に示すように、カメラ４が、パルス発光のタイミング（図９（ａ））に特に同期することなく、所定の繰り返し周期において撮像動作を繰り返す。これにより、カメラ４の撮像動作をパルス発光に同期させる同期信号源などの構成を省略できる。
　本実施形態では、カメラ４の撮像の繰り返し周期は、図９（ｂ），（ｃ）に示すように、パルス発光のパルス幅よりも短い期間に設定される。これにより、反射光がカメラ４に入射する期間中に露光期間が含まれる撮像画像が生成されることとなる。このような撮像画像においては、反射光の光量に対して外光などのノイズ成分の光量が小さく、高いＳ／Ｎ比において物体の計測を行うことができる。
　映像生成部５０は、カメラが順次、撮像する撮像画像の中から上記のように生成された撮像画像を抽出し、抽出した撮像画像に基づいて計測パターンのデコードなどの処理を行う。例えば、反射光の往復期間を示す情報を予め記憶部５１に格納しておき、当該情報及びパルス発光のタイミングに基づいて、映像生成部５０が上記のような撮像画像の抽出を行う。
　以上のように、本実施形態における投影システム１において、カメラ４は、赤外光プロジェクタ３によるパルス発光の繰り返し周期よりも短い時間間隔において撮像動作を繰り返す。映像生成部５０は、繰り返し撮像された撮像画像の中からパルス発光のタイミングに応じた撮像画像を抽出する。これにより、映像生成部５０が抽出した撮像画像に基づいて、精度良く物体の三次元計測を行うことができる。また、カメラ４の同期制御等の構成を省略でき、コストを削減することができる。
　上記の実施形態において、カメラ４の撮像の繰り返し周期は、パルス発光のパルス幅の長さ以上の期間に設定されてもよい。この変形例について、図１０（ａ）～（ｃ）を用いて説明する。
　図１０（ａ），（ｂ），（ｃ）は、それぞれ本変形例に係る赤外光プロジェクタ３による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ４の露光のタイミングを示す。
　本変形例において、カメラ４の撮像の繰り返し周期は、図１０（ａ），（ｃ）に示すようにパルス発光のパルス幅の長さ以上であり、且つ赤外光プロジェクタ３によるパルス発光の間隔、すなわちパルス周期の半周期以下に設定される。また、撮像動作の１回当たりの露光期間は、例えばパルス幅の長さ以上パルス周期の半周期以下に設定される。
　この場合、図１０（ｂ），（ｃ）に示すように、反射光がカメラ４に入射する期間の半分以上を露光期間に含む撮像画像が周期的に生成される。このような撮像画像は、パルス周期１周期分の外光を取り込むことなくノイズの影響を緩和した物体の三次元計測を可能にする。映像生成部５０が上記の撮像画像を抽出し、抽出した撮像画像に基づき映像データを生成することにより、物体に精度よく追従する映像を得ることができる。
（他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施形態１～３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
　上記の各実施形態では、背景部材の一例として、可視光を拡散反射するスクリーン１０について説明した。本開示における背景部材はこれに限らず、例えば、可視光を吸収または透過する部材を採用してもよい。例えば、投影システム１において、可視光プロジェクタ２からの映像コンテンツを特に背景部材に投影しない場合には、赤外光を拡散反射せずに可視光を吸収する暗幕を背景部材として用いてもよい。また、例えば、投影システム１の外部構成のスクリーンを用いる場合等に、可視光を透過する赤外光遮断フィルタ、遮光カバー或いは遮光カーテン等を背景部材として用いてもよい。
　また、上記の各実施形態では、投影システム１が背景部材を備えると共に、非可視光のパルス発光制御を行った。本開示はこれに限らず、投影システム１が背景部材を備える場合には非可視光のパルス発光制御を省略してもよいし、非可視光のパルス発光制御を行う材には背景部材を省略してもよい。いずれの場合においても、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる。
　また、非可視光のパルス発光制御を省略する場合、赤外光プロジェクタ３において、パルス光源３１に代えて連続波レーザー或いはＬＥＤなどで構成される光源を用いてもよい。
　また、非可視光のパルス発光制御を行う場合、可視光遮断フィルタ４３を省略してもよい。この場合、パルス発光の光量及び三次元計測のしきい値を適宜、設定することにより、撮像画像に基づき物体の形状を精度良く計測することができる。
　また、上記各実施形態において、可視光プロジェクタ２が赤色光、緑色光及び青色光を連続発光する例について説明したが、赤色光、緑色光及び青色光を時分割で発光してもよい。また、このような可視光の発光と、赤外光プロジェクタ３による赤外光の発光とを時分割にしてもよい。
　また、上記各実施形態において、投影システム１において被写体６に映像コンテンツを追従させる例について説明した。本開示における投影システムの投影対象となる物体は、特に動体に限らず静止物体でもよく、例えば建造物でもよい。静止物体が投影システムの投影対象である場合には、特に投影動作中に位置を計測しなくてもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。
　本開示における投影システムは、物体に映像を投影する種々の用途に適用可能である。

Claims (10)

  1. 　物体の形状に応じた映像を投影する投影システムであって、
    　前記物体に所定の非可視光映像を非可視光により投影する非可視光投影部と、
    　前記非可視光投影部から前記非可視光が出射する方向において前記物体の後方に配置される背景部材と、
    　前記非可視光投影部によって投影された非可視光映像を撮像する撮像部と、
    　前記撮像部によって撮像された撮像画像に基づき前記物体の形状を計測し、計測結果に応じて前記物体に投影される映像を示す映像データを生成する映像生成部と、
    　前記物体に前記映像データが示す映像を可視光により投影する可視光投影部とを備え、
    　前記背景部材は、前記非可視光が入射したときに前記非可視光の拡散反射を遮断する遮光面を有する
    投影システム。
  2. 　前記背景部材は、前記遮光面において前記非可視光を拡散反射せずに、鏡面反射、再帰反射または吸収する
    請求項１に記載の投影システム。
  3. 　前記背景部材は、前記可視光を拡散反射する
    請求項１又は２に記載の投影システム。
  4. 　前記背景部材は、
    　前記遮光面を形成し、前記可視光を透過する遮光部材と、
    　前記遮光部材に覆われ、前記可視光を拡散反射する拡散部材とを備える
    請求項３に記載の投影システム。
  5. 　前記背景部材は、前記可視光を吸収または透過する
    請求項１又は２に記載の投影システム。
  6. 　前記撮像部は、シリコンを含む撮像素子と、前記非可視光を透過して前記可視光を吸収または反射する波長選択部材とを備える
    請求項１～５のいずれか１項に記載の投影システム。
  7. 　前記波長選択部材は、前記撮像部における撮像レンズに取り付けられるフィルタ、又は前記撮像素子に組み込まれるフィルタである
    請求項６に記載の投影システム。
  8. 　前記波長選択部材は、前記撮像部における撮像レンズと一体的に構成される
    請求項６に記載の投影システム。
  9. 　前記非可視光は、赤外光である
    請求項１～８のいずれか１項に記載の投影システム。
  10. 　前記非可視光映像は、空間コード化法に基づく計測パターンである
    請求項１～９のいずれか１項に記載の投影システム。
PCT/JP2016/004084 2016-06-08 2016-09-07 投影システム WO2017212509A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
EP16836143.4A EP3273685A1 (en) 2016-06-08 2016-09-07 Projection system
JP2017504840A JP6153050B1 (ja) 2016-06-08 2016-09-07 投影システム
CN201680002376.3A CN107836112B (zh) 2016-06-08 2016-09-07 投影系统
US15/440,531 US9774832B1 (en) 2016-06-08 2017-02-23 Projection system
US15/689,308 US9912922B2 (en) 2016-06-08 2017-08-29 Projection system
US15/878,912 US10136112B2 (en) 2016-06-08 2018-01-24 Projection system
US16/159,927 US10349019B2 (en) 2016-06-08 2018-10-15 Projection system
US16/421,964 US10674124B2 (en) 2016-06-08 2019-05-24 Projection system
US16/860,178 US20200260058A1 (en) 2016-06-08 2020-04-28 Projection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016114406 2016-06-08
JP2016-114406 2016-06-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/440,531 Continuation US9774832B1 (en) 2016-06-08 2017-02-23 Projection system

Publications (1)

Publication Number Publication Date
WO2017212509A1 true WO2017212509A1 (ja) 2017-12-14

Family

ID=59409136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004084 WO2017212509A1 (ja) 2016-06-08 2016-09-07 投影システム

Country Status (3)

Country Link
EP (1) EP3273685A1 (ja)
CN (1) CN107836112B (ja)
WO (1) WO2017212509A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139069A (ja) * 2018-02-09 2019-08-22 パナソニックＩｐマネジメント株式会社 投影システム
WO2022052921A1 (zh) * 2020-09-08 2022-03-17 青岛海信激光显示股份有限公司 投影系统及投影图像的校正方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7285470B2 (ja) * 2018-05-17 2023-06-02 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
US10585194B1 (en) 2019-01-15 2020-03-10 Shenzhen Guangjian Technology Co., Ltd. Switchable diffuser projection systems and methods
CN111322961B (zh) * 2019-03-21 2021-04-06 深圳市光鉴科技有限公司 用于增强飞行时间分辨率的系统和方法
US11209581B2 (en) * 2019-06-19 2021-12-28 Universal City Studios Llc Techniques for selective viewing of projected images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07184115A (ja) * 1993-12-24 1995-07-21 Oyo Keisoku Kenkyusho:Kk 画像表示装置
JP2005326247A (ja) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 校正装置及び校正方法並びに校正プログラム
JP2009098325A (ja) * 2007-10-16 2009-05-07 Seiko Epson Corp プロジェクションシステム
JP2013124941A (ja) * 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 測距装置、及び測距方法
JP2015103891A (ja) * 2013-11-22 2015-06-04 株式会社リコー 画像投影システム、画像処理装置、画像投影方法およびプログラム
JP2015173431A (ja) 2014-02-18 2015-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システムおよび半導体集積回路

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4887898A (en) * 1988-04-13 1989-12-19 Rowe Furniture Corporation Fabric projection system
JP2000259126A (ja) * 1999-03-04 2000-09-22 Matsushita Electric Ind Co Ltd 階調表示方法
JP2005258622A (ja) * 2004-03-10 2005-09-22 Fuji Photo Film Co Ltd 三次元情報取得システムおよび三次元情報取得方法
JP2006189712A (ja) * 2005-01-07 2006-07-20 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置、情報提示方法及びプログラム
JP2008288243A (ja) * 2007-05-15 2008-11-27 Sony Corp 固体撮像装置とその製造方法および撮像装置
KR20090038413A (ko) * 2009-03-31 2009-04-20 동서대학교산학협력단 멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법
US20130222892A1 (en) * 2010-11-12 2013-08-29 3M Innovative Properties Company Interactive polarization-selective projection display
JP2013192189A (ja) * 2012-03-15 2013-09-26 Casio Comput Co Ltd 画像処理装置、投影システム、プログラム及び画像処理方法
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US10003777B2 (en) * 2013-11-21 2018-06-19 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting light

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07184115A (ja) * 1993-12-24 1995-07-21 Oyo Keisoku Kenkyusho:Kk 画像表示装置
JP2005326247A (ja) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 校正装置及び校正方法並びに校正プログラム
JP2009098325A (ja) * 2007-10-16 2009-05-07 Seiko Epson Corp プロジェクションシステム
JP2013124941A (ja) * 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 測距装置、及び測距方法
JP2015103891A (ja) * 2013-11-22 2015-06-04 株式会社リコー 画像投影システム、画像処理装置、画像投影方法およびプログラム
JP2015173431A (ja) 2014-02-18 2015-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システムおよび半導体集積回路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3273685A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139069A (ja) * 2018-02-09 2019-08-22 パナソニックＩｐマネジメント株式会社 投影システム
JP7236680B2 (ja) 2018-02-09 2023-03-10 パナソニックＩｐマネジメント株式会社 投影システム
WO2022052921A1 (zh) * 2020-09-08 2022-03-17 青岛海信激光显示股份有限公司 投影系统及投影图像的校正方法

Also Published As

Publication number Publication date
EP3273685A4 (en) 2018-01-24
EP3273685A1 (en) 2018-01-24
CN107836112A (zh) 2018-03-23
CN107836112B (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
JP6587158B2 (ja) 投影システム
JP6153050B1 (ja) 投影システム
WO2017212509A1 (ja) 投影システム
JP6964223B2 (ja) 投影システム及び投影方法
JP7236680B2 (ja) 投影システム
WO2022209151A1 (ja) 三次元計測装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017504840

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2016836143

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2016836143

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE