WO2018235392A1 - 画像投影装置と画像処理装置およびその方法と画像投影システム - Google Patents

画像投影装置と画像処理装置およびその方法と画像投影システム Download PDF

Info

Publication number
WO2018235392A1
WO2018235392A1 PCT/JP2018/014916 JP2018014916W WO2018235392A1 WO 2018235392 A1 WO2018235392 A1 WO 2018235392A1 JP 2018014916 W JP2018014916 W JP 2018014916W WO 2018235392 A1 WO2018235392 A1 WO 2018235392A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
polarization
polarization direction
light
Prior art date
Application number
PCT/JP2018/014916
Other languages
English (en)
French (fr)
Inventor
康孝 平澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/620,934 priority Critical patent/US11082669B2/en
Priority to JP2019525133A priority patent/JP7115475B2/ja
Publication of WO2018235392A1 publication Critical patent/WO2018235392A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3138—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using arrays of modulated light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3167—Modulator illumination systems for polarizing the light beam
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • This technology relates to an image projection apparatus, an image processing apparatus, an image processing apparatus, an image processing apparatus, an image processing apparatus, and an image processing system, which generates projection light in which a superimposed image is superimposed in an invisible state on a projected image. Make it visible and recoverable.
  • Non-Patent Document 1 a polarization pattern is projected by spatially controlling the polarization state of light using a spatial light modulator (SLM: Spatial Light Modulator), and the projected polarization pattern is displayed for each pixel.
  • SLM Spatial Light Modulator
  • Three-dimensional measurement is performed by photographing with a polarization camera in which polarization filters having different polarization directions are incorporated.
  • Non-Patent Document 1 since the luminance values of images of different polarization directions are used as a pattern as they are, if a shadow occurs in light to be projected, a correct pattern can not be acquired.
  • an image projection apparatus that generates projection light in which a superimposed image is superimposed in an invisible state on a projection image, and an image processing apparatus that restores a superimposed image in a visible state from a captured image of a projection plane of projection light And it aims at providing the method and the image projection system.
  • the first aspect of this technology is there is provided an image projection apparatus including a spatial light modulator configured to set a polarization state based on a superimposed image with respect to non-polarized light indicating a projection image and generate projection light.
  • the polarization control unit calculates the polarization direction based on the pixel value for each pixel of the superimposed image to be superimposed on the projected image.
  • the polarization direction is a direction different for each pixel value within a range of less than 180 degrees.
  • the spatial light modulation unit performs spatial light modulation to set the polarization state in the polarization direction calculated based on the pixel value of the superimposed image on the non-polarized light indicating the projection image to generate projection light.
  • a depolarization unit is provided to make the image light representing the projection image non-polarized light.
  • the superimposed image may be an image showing information associated with the projected image, or may be a pattern image not associated with the projected image.
  • the second aspect of this technology is Generating unpolarized light indicative of the projected image;
  • an image projection method including setting of a polarization state based on a superimposed image for the non-polarization light and generating a projection light.
  • the third aspect of this technology is A polarization method calculation unit that calculates polarization directions in pixel units using polarization images of at least three polarization directions or more; And a conversion processing unit configured to convert the polarization direction calculated by the polarization direction calculation unit into a pixel value to generate a restored image.
  • the polarization direction calculation unit calculates the polarization direction in pixel units using polarization images of at least three polarization directions or more.
  • the imaging unit for acquiring a polarization image may have a configuration in which a polarizing plate is provided rotatably on the subject light incident surface, and a pixel array including polarization pixels in at least three or more polarization directions on the incident surface of the imaging device The configuration may be such that a polarizing filter is provided. Further, at least three or more imaging units may be provided, and polarizing plates having different polarization directions may be provided on the subject light incident surface of each imaging unit to obtain polarization images of at least three or more polarization directions.
  • a projection plane information generation unit is further provided, and the polarization direction calculation unit calculates the polarization direction using a polarization image obtained by imaging the projection plane, and the projection plane information generation unit is a conversion processing unit.
  • Projection plane information on the projection plane is generated using the generated restored image.
  • the polarization direction calculation unit performs polarization direction calculation for each viewpoint using a polarization image obtained by imaging the projection plane with a plurality of viewpoints, and the conversion processing unit generates a restored image for each viewpoint.
  • the projection plane information generation unit generates projection plane information, for example, depth information indicating a distance to the projection plane, using the restored image for each viewpoint generated by the conversion processing unit.
  • the polarization state is set based on the predetermined pattern image with respect to the non-polarization light, and the generated projection light is projected.
  • the projection plane information generation unit generates projection plane information using the predetermined pattern image and the restored pattern image generated by the conversion processing unit.
  • the fourth aspect of this technology is Calculating the polarization direction in pixel units using polarization images of at least three polarization directions or more;
  • An image processing method includes converting the calculated polarization direction into pixel values to generate an image signal.
  • the fifth aspect of this technology is An image projection device and an image processing device;
  • the image projection device is A spatial light modulation unit configured to set a polarization state based on a superimposed image and generate projected light with respect to non-polarized light indicating a projected image;
  • the image processing apparatus is A polarization direction calculation unit that calculates polarization directions in pixel units using polarization images of at least three polarization directions acquired by imaging the projection plane of the projection light generated by the image projection apparatus; And a conversion processing unit that converts the polarization direction calculated by the polarization direction calculation unit into a pixel value to generate an image signal indicating the superimposed image.
  • the spatial light modulation unit of the image projection apparatus sets the polarization state based on the superimposed image to the non-polarized light indicating the projected image, and generates the projected light.
  • the polarization direction calculation unit of the image processing apparatus calculates the polarization direction in pixel units using a polarization image of at least three polarization directions acquired by imaging the projection plane of the projection light generated by the image projection apparatus.
  • the image projection apparatus projects the image so that the imaging area imaged by the pixels of the minimum unit area capable of calculating the polarization direction when imaging the projection plane is equal to or less than the area size of the minimum modulation area on the projection plane.
  • the generation and projection of light or the image processing apparatus performs setting of the angle of view at the time of imaging of the projection surface.
  • the conversion processing unit converts the polarization direction calculated by the polarization direction calculation unit into a pixel value to generate an image signal indicating a superimposed image.
  • the setting of the polarization state based on the superimposed image is performed on the non-polarized light indicating the projection image by the spatial light modulator to generate projection light.
  • the image processing apparatus calculates polarization directions in pixel units in the polarization direction calculation unit using a polarization image of at least three polarization directions acquired by imaging the projection plane of projection light.
  • the conversion processing unit converts the polarization direction calculated by the polarization direction calculation unit into a pixel value to generate a restored image. Therefore, it becomes possible to restore the superimposed image in the visible state from the generation of the projection light in which the superimposed image is superimposed in the invisible state on the projected image and the captured image of the projection surface of the projected light.
  • FIG. 7 is a diagram showing an operation example of the image processing apparatus.
  • FIG. 1 illustrates the configuration of an image projection system.
  • the image projection system 10 includes an image projection device 20 and an image processing device 40.
  • the image projection apparatus 20 sets the polarization state based on the superimposed image to non-polarization light indicating a projection image, generates projection light, and projects the projection light on a projection surface (for example, a screen or the like) 50.
  • the image processing device 40 calculates the polarization direction in pixel units using polarization images of at least three polarization directions acquired by imaging the projection plane 50. Furthermore, the image processing apparatus converts the calculated polarization direction into pixel values to restore a restored image.
  • the restored image generated by the image processing device 40 becomes equal to the superimposed image used in the image projection device 20. That is, when the projection image is displayed on the projection plane, the image projection system 10 generates projection light in which only the projection image is visible to the naked eye and the superimposed image is invisible, and projects the projection light on the projection plane. The superimposed image which is superimposed in the invisible state can be restored in the visible state from the captured image of the projection plane being taken.
  • FIG. 2 illustrates the configuration of the image projection apparatus.
  • the image projection device 20 includes a projection image light generation unit 21, a depolarization unit 22, a spatial light modulation unit 23, a superimposed image input unit 24, a polarization control unit 25, and a projection lens 26.
  • the projection image light generation unit 21 generates projection image light.
  • the projection image light generation unit 21 includes a light source, a lens unit, and an image forming unit.
  • the light emitted from the light source is collimated by the lens unit and transmitted through the image forming unit to generate projected image light.
  • the image forming unit is configured using, for example, a transmissive liquid crystal or a reflective liquid crystal.
  • the image forming unit transmits collimated light through the transmissive liquid crystal on which the projection image is displayed, or reflects parallel light on the reflective liquid crystal on which the projected image is displayed to generate projected image light.
  • the polarization state is a different state in a pixel by the influence of a liquid crystal.
  • the projection image light generation unit 21 emits the generated projection image light to the spatial light modulation unit 23 through the depolarization unit 22.
  • the depolarizer 22 emits the incident polarized light as non-polarized light.
  • the depolarization unit 22 is formed of, for example, a film having high birefringence, and emits the projection image light generated by the projection image light generation unit 21 to the spatial light modulation unit 23 as a non-polarization state.
  • the depolarization section 22 may have any configuration as long as it has a function of converting polarized light into non-polarized light, and is not limited to the configuration using a film or the like having high birefringence.
  • the depolarization part 22 may not be provided.
  • the spatial light modulation unit 23 sets the polarization state based on the superimposed image on the non-polarized light indicating the projected image, and generates the projected light.
  • the spatial light modulation unit 23 is configured using, for example, a transmissive liquid crystal or a reflective liquid crystal, and performs spatial light modulation based on a polarization control signal from a polarization control unit 25 described later. That is, the spatial light modulation unit 23 sets the polarization state of the projection image light in the non-polarization state supplied from the projection image light generation unit 21 via the depolarization unit 22 to the polarization direction according to the pixel value of the superimposed image. It is in a linear polarization state.
  • the spatial light modulator 23 emits, to the projection lens 26, projection light whose polarization state is set according to the superimposed image.
  • the superimposed image input unit 24 receives an image signal of the superimposed image to be superimposed on the projection image and outputs the image signal to the polarization control unit 25.
  • the superimposed image may be an image showing information associated with the projected image, or may be a pattern image not associated with the projected image.
  • the polarization control unit 25 converts the pixel value of the superimposed image supplied from the superimposed image input unit 24 into a different polarization direction for each pixel value within a range of less than 180 degrees, and polarizes it according to the converted polarization direction. Generate control signals. Further, the polarization control unit 25 outputs the generated polarization control signal to the spatial light modulation unit 23, and causes the spatial light modulation unit 23 to perform the above-described spatial light modulation.
  • the projection lens 26 indicates a projection image, and projects projection light, of which polarization state is set based on the superimposed image, with a desired projection size by focusing on a projection plane.
  • FIG. 3 is a flowchart showing the operation of the image projection apparatus.
  • the image projection apparatus In step ST1, the image projection apparatus generates projection image light.
  • the image projection device 20 generates non-polarized projected image light indicating a projected image, and proceeds to step ST2.
  • the image projection apparatus generates a polarization control signal in step ST2.
  • the image projection device 20 receives the superimposed image, and converts the pixel value of each pixel of the superimposed image into the polarization direction. Furthermore, the image projection apparatus 20 generates a polarization control signal to convert the non-polarization projected image light into a polarization state in the polarization direction after conversion, and proceeds to step ST3.
  • step ST3 the image projection apparatus performs spatial light modulation processing.
  • the image projection apparatus 20 performs spatial light modulation of the non-polarization projected image light generated in step ST1 based on the polarization control signal generated in step ST2, and linearly polarized light in the polarization direction according to the pixel value of the superimposed image. I assume. Thus, the image projection apparatus performs spatial light modulation on the projection image light to generate projection light.
  • FIG. 4 shows an operation example of the image projection apparatus.
  • FIG. 4A illustrates a projection image
  • FIG. 4B illustrates a superimposed image.
  • the projected image and the superimposed image may be either a moving image or a still image.
  • the image projection apparatus converts pixel values of the superimposed image into polarization directions using, for example, a conversion rule.
  • the polarization control unit 25 of the image projection device 20 determines the polarization direction based on the equation (1).
  • the pixel value of the superimposed image for example, the luminance value Vb is “0 to 255”, and the polarization direction ⁇ is “0 to AGL”.
  • the angle AGL is in the range of “0 ⁇ AGL ⁇ 180 degrees”, and desirably close to 180 degrees in order to enhance the resolution of the polarization direction.
  • FIG. 5 shows the relationship between the luminance value Vb and the polarization direction ⁇ .
  • ⁇ (AGL / 256) ⁇ Vb (1)
  • the rectangular region of the luminance value “0” in (b) of FIG. 4 has the polarization direction of “0 degrees”.
  • the polarization direction of the cross-shaped area having the luminance value "128” is, for example, “89.5 degrees”
  • the polarization direction of the area having the luminance value "192” is, for example, "134.2 degrees”.
  • the spatial light modulation unit 23 performs spatial light modulation to the polarization state shown in FIG. 4C based on the polarization control signal from the polarization control unit 25 and generates projection light. Therefore, as shown in (d) of FIG.
  • the display area HAa corresponding to the rectangular area of the luminance value "0" in the superimposed image has a polarization direction It is displayed in a "0 degree” linear polarization state.
  • the display area HAb corresponding to the cross-shaped area having the luminance value “128” in the superimposed image is displayed in a linearly polarized state of “89.5 degrees” in the polarization direction.
  • the other display area HAc is displayed in a linear polarization state of “134.2 degrees” in polarization direction.
  • the image projection apparatus 20 can project the projection image in a visible state by generating the projection light in this manner and projecting the projection light on the projection plane. Also, the superimposed image can be projected in an invisible state.
  • FIG. 6 illustrates the configuration of the image processing apparatus.
  • the image processing apparatus 40 includes a polarization direction calculation unit 41 and a conversion processing unit 42.
  • the polarization direction calculation unit 41 calculates the polarization direction in pixel units using polarization images of at least three polarization directions or more. Further, the conversion processing unit 42 converts the polarization direction calculated by the polarization direction calculation unit 41 into pixel values to generate a restored image.
  • the imaging unit 30 that acquires polarization images in at least three polarization directions may be configured separately from the image processing apparatus 40 or may be configured integrally with the image processing apparatus 40. The following description will be given assuming that the imaging unit 30 is provided in the image processing apparatus 40.
  • FIG. 7 is a diagram illustrating the configuration of the imaging unit.
  • the imaging unit 30-1 has the polarizing plate 32 rotatably provided on the object light incident surface of the main body 31.
  • the imaging unit 30-1 captures a plurality of images while rotating the polarizing plate 32, and acquires polarization images of at least three polarization directions or more.
  • the imaging unit 30-2 is provided with a polarization filter 34 in which the pixel array including polarization pixels in at least three or more polarization directions is provided on the incident surface of the imaging device 33.
  • FIG. 7B shows the case where the polarization filter 34 which is one of four pixels in each of four different polarization directions (the polarization directions are indicated by arrows) is disposed on the incident surface of the imaging device 33. ing.
  • the imaging unit 30-2 acquires a polarization image in each polarization direction using the pixel signal obtained in one imaging for each polarization direction.
  • the imaging unit 30-3 shown in (c) of FIG. 7 is provided with a polarization filter 34 on the incident surface of the imaging device 33, which has a pixel array including polarization pixels in polarization directions of at least three directions.
  • a color mosaic filter 35 is provided on the incident surface of the imaging device 33.
  • the color mosaic filter 35 has a 2 ⁇ 2 pixel area which is a red (R) pixel and a blue (B) pixel in a 4 ⁇ 4 pixel area with the 2 ⁇ 2 pixel area of the image sensor 33 as pixels of the same color component.
  • a certain 2 ⁇ 2 pixel area and two 2 ⁇ 2 pixel areas which are green (G) pixels are provided.
  • the polarization filter 34 is provided so that each pixel of the 2 ⁇ 2 pixel area of the same color component has one of four different polarization directions (the polarization directions are indicated by arrows).
  • the imaging unit 30-3 acquires, for each color component, a polarization image for each polarization direction using a pixel signal obtained in one imaging for each color component and each polarization direction.
  • FIG. 7 In (d) of FIG. 7, three or more imaging units, for example, four imaging units 30-41 to 30-44 are used.
  • a polarizing plate 32 is provided on the subject light incident surface of the main body 31 in each of the imaging units 30-41 to 30-44 so that the polarization directions are different from each other, and imaging is performed by the imaging units 30-41 to 30-44.
  • the polarization image of 4 polarization directions is acquired.
  • FIGS. 7 (b) to 7 (d) show cases where the polarization direction is “0 degree”, “45 degree”, “90 degree” and “135 degree”.
  • the polarization directions are set to, for example, “0 degrees”, “60 degrees”, and “120 degrees” which are equally spaced.
  • the polarization direction calculation unit 41 calculates the polarization direction based on the polarization image acquired by the imaging unit 30.
  • the polarization direction calculation unit 41 calculates the polarization direction based on the polarization image.
  • FIG. 8 is a diagram for explaining the calculation of the polarization direction.
  • a display image whose polarization direction is “ ⁇ ” is imaged by rotating, for example, the polarizing plate of the imaging unit
  • the luminance I of the display image changes as shown in the figure according to the rotation of the polarizing plate.
  • it returns to its original polarization state and has a period of 180 degrees.
  • Such a change in luminance I can be expressed as in equation (2).
  • the polarizing plate is rotated, the highest luminance is Imax, and the lowest luminance is Imin.
  • an angle between the coordinate axis of the two-dimensional coordinate system and the polarizing axis of the polarizing plate is defined as a polarization angle ⁇ .
  • the brightness I is maximized when the polarization direction of the display image matches the polarization direction of the polarizing plate in the imaging unit. Therefore, fitting to the function shown in equation (2) is performed using the luminance of the pixel of interest in the polarization image with three or more polarization directions, and the pixel of interest in the display image is calculated by calculating the polarization direction that achieves the maximum luminance.
  • the polarization direction of the position can be calculated.
  • the polarization direction calculation unit 41 calculates the polarization direction, for example, for each pixel or for each 2 ⁇ pixel area, and outputs the polarization direction to the conversion processing unit 42.
  • the conversion processing unit 42 converts the polarization direction calculated by the polarization direction calculation unit 41 into a pixel value.
  • the conversion processing unit 42 performs conversion in the opposite direction to the conversion performed by the polarization control unit 25 of the image projector 20, converts the polarization direction into pixel values, and generates a restored image.
  • FIG. 9 is a flowchart showing the operation of the image processing apparatus.
  • the image processing apparatus acquires polarized images in three or more directions.
  • the image processing device 40 captures the projection image projected by the image projection device 20, acquires polarization images of at least three polarization directions, and proceeds to step ST12.
  • the image processing apparatus calculates the polarization direction in step ST12.
  • the image processing device 40 calculates the polarization direction in pixel units, for example, in one pixel unit or 2 ⁇ 2 pixel units, from the polarization image of three or more polarization directions acquired in step ST11. Specifically, the pixel values of polarization images of three or more polarization directions are fitted to a function shown in equation (2), the polarization direction at which the function after fitting becomes the maximum value is calculated, and the process proceeds to step ST13.
  • step ST13 the image processing apparatus performs conversion processing.
  • the image processing apparatus 40 converts the polarization direction calculated in step ST12 into pixel values to generate a restored image.
  • FIG. 10 shows an operation example of the image processing apparatus.
  • FIG. 10A illustrates the projection image displayed on the projection plane.
  • a rectangular display area HAa indicated by a broken line is a linear polarization state of polarization direction "0 degree”
  • a cross-shaped display area HAb indicated by a broken line is a linear polarization state of "89.5 degrees”
  • the display area HAc is in a linear polarization state of polarization direction "134.2 degrees”.
  • the image processing device 40 captures a projection image to acquire a polarization image having three or more polarization directions. Further, fitting to the function shown in equation (2) is performed using pixels of polarization images in three or more directions, and the polarization direction at which the luminance is maximized is calculated.
  • (B) of FIG. 10 shows the calculated polarization direction, and the rectangular area indicated by the broken line is a pixel area of "0 degree” in the polarization direction, and the cross-shaped area indicated by the broken line is "89.5 degrees" in the polarization direction. The pixel area, the other area is a pixel area of polarization direction "134.2 degrees".
  • the image processing device 40 converts the polarization direction into, for example, a luminance value using, for example, a conversion rule that is reverse to the conversion rule used by the polarization control unit 25 of the image projection device 20.
  • the conversion processing unit 42 of the image processing apparatus 40 sets the polarization direction to the brightness value based on the equation (3). Convert.
  • FIG. 11 shows the relationship between the luminance value Vb and the polarization direction ⁇ .
  • VRb (256 / AGL) ⁇ ⁇ (3)
  • the restored image shown in (c) of FIG. 10 can be generated. Further, the conversion processing unit 42 of the image processing apparatus 40 converts the polarization direction into a luminance value using a conversion rule that is reverse to the conversion rule used by the polarization control unit 25 of the image projection apparatus 20. Therefore, the restored image is the superimposed image shown in (b) of FIG. 4 received by the superimposed image input unit 24 of the image projection device 20.
  • the superimposed image which is invisible on the projection plane can be displayed in a visible state.
  • the image projection apparatus is configured to project light so that the imaging area imaged by pixels of the minimum unit area whose polarization direction can be calculated when imaging the projection plane is equal to or smaller than the area size of the minimum modulation area on the projection plane. And projection, or the image processing apparatus performs setting of the angle of view at the time of imaging of the projection surface.
  • the image processing apparatus narrows the angle of view (increases the zoom magnification)
  • the image projection device 20 may increase the projection size.
  • the imaging area imaged by the pixels of the minimum unit area capable of calculating the polarization direction when imaging the projection plane is equal to or less than the area size of the minimum modulation area on the projection plane, calculation of the polarization direction is performed. You will be able to do it more reliably.
  • the superimposed image can be transmitted to the user of the image processing apparatus 40 through the projection plane without being viewed by a person looking at the projection plane.
  • FIG. 12 shows a first application example of an image projection system.
  • the image projection device 20 is supplied with two different arbitrary video sources.
  • the first video source indicates a projection image, and is input to the projection image light generation unit 21.
  • the second video source indicates a superimposed image, and is input to the superimposed image input unit 24. Therefore, the person PS1 can visually recognize only the image of the first video source by the image projected on the projection plane 50 with the naked eye.
  • the image processing apparatus 40 also captures an image of the projection plane to generate a restored image.
  • a converted image equivalent to the superimposed image can be generated by performing reverse conversion corresponding to the conversion processing of converting the pixel value performed by the image projection device 20 into the polarization direction. Therefore, when the restored image is displayed on the display device 60, the person PS2 can view the superimposed image of the second video source on the display device 60.
  • the superimposed image may be an image indicating information related to the projection image, or may be an image indicating information not related to the projected image.
  • a figure or table is projected as a projection image
  • the superimposed image is an image showing a comment related to the figure or table.
  • a problem or the like is projected as a projection image
  • the superimposed image is an image showing an answer.
  • the moving image content is projected as a projection image
  • the superimposed image is an image indicating contact matters and the like not related to the moving image content. In this way, it is possible to notify the user of the image processing apparatus 40 by means of an image of contact matters etc. without being viewed by the person viewing the projected image even in an environment where it is difficult to hear voices. .
  • FIG. 13 shows a second application of the image projection system.
  • An arbitrary projection image is input to the projection image light generation unit 21 of the image projection device 20, and an arbitrary pattern image is input to the superimposed image input unit 24. At this time, the projection image is visible on the projection plane 50 and the pattern image is invisible.
  • a plurality of imaging units for example, two imaging units 30a and 30b are provided at different positions to image the projection plane 50 respectively. Therefore, in the imaging unit 30a, polarization images in at least three polarization directions are acquired, and in the imaging unit 30b, polarization images in at least three polarization directions, which are viewpoints different from the imaging unit 30a, are acquired.
  • the polarization direction calculation unit 41 calculates the polarization direction using the polarization image of at least three polarization directions acquired by the imaging unit 30a. Also, the polarization direction calculation unit 41 calculates the polarization direction using the polarization image of at least three polarization directions acquired by the imaging unit 30 b. The calculation of the polarization direction is performed in pixel units, for example, 1 pixel unit or 2 ⁇ 2 pixel units as described above.
  • the conversion processing unit 42 converts the polarization direction calculated by the polarization direction calculation unit 41 into a pixel value based on the polarization image acquired by the imaging unit 30 a to generate a first restored pattern image. In addition, the conversion processing unit 42 converts the polarization direction calculated by the polarization direction calculation unit 41 into a pixel value based on the polarization image acquired by the imaging unit 30 b to generate a second restored pattern image. The conversion processing unit 42 outputs the generated first and second restored pattern images to the projection surface information generating unit 43.
  • the projection plane information generation unit 43 calculates the parallax between the first restored pattern image and the second restored pattern image by stereo matching processing such as block matching, for example, using the first restored pattern image and the second restored pattern image. Furthermore, the projection plane information generation unit 43 generates, as projection plane information, depth information indicating the distance to each position on the projection plane based on the calculated parallax.
  • projection plane information can be generated using a pattern image which is in an invisible state while projecting a projection image onto the projection plane 50, a change in shape of the projection plane 50, etc. is observed in real time. become able to. Further, if projection plane information is provided to the image projection apparatus 20, it becomes possible to generate projection light so that the influence of the shape change etc. does not occur in the projection image even if the shape change etc. of the projection plane 50 occur. .
  • FIG. 14 shows a third application example of the image projection system.
  • An arbitrary projection image is input to the projection image light generation unit 21 of the image projection device 20, and a predetermined pattern image is input to the superimposed image input unit 24. At this time, the projection image is visible on the projection plane 50 and the predetermined pattern image is invisible.
  • the imaging unit 30 provided in the image processing device 40-3 captures an image of the projection plane 50 and acquires polarization images of at least three polarization directions or more.
  • the polarization direction calculation unit 41 calculates polarization directions using polarization images of at least three polarization directions acquired by the imaging unit 30.
  • the calculation of the polarization direction is performed in pixel units, for example, 1 pixel unit or 2 ⁇ 2 pixel units as described above.
  • the conversion processing unit 42 converts the polarization direction calculated by the polarization direction calculation unit 41 into a pixel value based on the polarization image acquired by the imaging unit 30 to generate a restored pattern image.
  • the conversion processing unit 42 outputs the generated restored pattern image to the projection surface information generation unit 44.
  • the projection plane information generation unit 44 is supplied with the predetermined pattern image input to the superimposed image input unit 24.
  • the projection plane information generation unit 44 analyzes the deformation of the pattern image based on the predetermined pattern image and the restored pattern image using the structured light method, and extends to the three-dimensional shape of the projection plane 50 and the projection plane 50. Projection plane information indicating the distance of
  • projection plane information can be generated using a specific pattern image which is in an invisible state while projecting the projection image onto the projection plane 50, shape change of the projection plane 50, etc. is performed in real time. It will be observable. Further, if projection plane information is provided to the image projection apparatus 20, it becomes possible to generate projection light so that the influence of the shape change etc. does not occur in the projection image even if the shape change etc. of the projection plane 50 occur. .
  • the series of processes described in the specification can be performed by hardware, software, or a combination of both.
  • a program recording the processing sequence is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer that can execute various processes.
  • the program can be recorded in advance on a hard disk or a solid state drive (SSD) as a recording medium, or a read only memory (ROM).
  • the program may be a flexible disk, a compact disc read only memory (CD-ROM), a magneto optical (MO) disc, a digital versatile disc (DVD), a BD (Blu-Ray Disc (registered trademark)), a magnetic disc, a semiconductor memory card Etc.
  • CD-ROM compact disc read only memory
  • MO magneto optical
  • DVD digital versatile disc
  • BD Blu-Ray Disc
  • magnetic disc a semiconductor memory card Etc.
  • Such removable recording media can be provided as so-called package software.
  • the program may be installed from the removable recording medium to the computer, or may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in such a manner, and install the program on a recording medium such as a built-in hard disk.
  • the effect described in this specification is an illustration to the last, is not limited, and may have an additional effect which is not described.
  • the present technology should not be construed as being limited to the embodiments of the above-described technology.
  • the embodiments of this technology disclose the present technology in the form of exemplification, and it is obvious that those skilled in the art can modify or substitute the embodiments within the scope of the present technology. That is, in order to determine the gist of the present technology, the claims should be taken into consideration.
  • the image projection device of the present technology can also have the following configuration.
  • An image projection apparatus comprising: a spatial light modulator configured to set a polarization state based on a superimposed image on non-polarized light indicating a projected image and generate projected light.
  • the device further includes a polarization control unit that calculates a polarization direction based on a pixel value for each pixel of the superimposed image.
  • the polarization control unit sets the polarization direction to a polarization direction different for each pixel value within a range of less than 180 degrees.
  • the image projector according to any one of (1) to (3), further including: a depolarizer configured to convert the image light indicating the projected image into non-polarized light.
  • a depolarizer configured to convert the image light indicating the projected image into non-polarized light.
  • the superimposed image is an image indicating information related to the projection image.
  • the superimposed image is a pattern image not associated with the projection image.
  • the image processing apparatus of the present technology can also have the following configuration.
  • a polarization direction calculation unit that calculates polarization directions in pixel units using polarization images of at least three polarization directions or more;
  • An image processing apparatus comprising: a conversion processing unit that converts the polarization direction calculated by the polarization direction calculation unit into a pixel value to generate a restored image.
  • the projector further includes a projection plane information generation unit, The polarization direction calculation unit calculates the polarization direction using the polarization image obtained by imaging the projection plane, The image processing apparatus according to (1), wherein the projection plane information generation unit generates projection plane information on the projection plane using the restored image generated by the conversion processing unit.
  • the polarization direction calculation unit performs the calculation of the polarization direction for each viewpoint using the polarization image obtained by imaging the projection plane with a plurality of viewpoints.
  • the conversion processing unit generates the restored image for each viewpoint,
  • Projection light generated by setting the polarization state of the non-polarization light based on the predetermined pattern image is projected on the projection plane,
  • the conversion processing unit converts the polarization direction calculated by the polarization direction calculation unit into a pixel value to generate a restored pattern image,
  • the image processing apparatus according to (2) wherein the projection plane information generation unit generates the projection plane information using the predetermined pattern image and the restored pattern image generated by the conversion processing unit.
  • the image processing apparatus wherein the imaging unit is provided with a polarizing plate rotatably on a subject light incident surface.
  • the imaging unit is provided with a polarization filter having a pixel array including polarization pixels in polarization directions in at least three directions on the incident surface of the imaging device.
  • polarizing plates having polarization directions different from each other are provided on a subject light incident surface of each imaging unit.
  • the image processing apparatus and the image processing apparatus, and the image projection system projection light in which spatial light modulation is performed to set the polarization state based on the superimposed image is performed on non-polarization light It is generated.
  • the polarization direction is calculated in pixel units using polarization images of at least three polarization directions acquired by imaging the projection plane of the generated projection light, and the calculated polarization directions are converted into pixel values.
  • a restored image is generated. Therefore, it is possible to restore the superimposed image in the visible state from the generation of the projection light in which the superimposed image is superimposed in the invisible state on the projected image and the captured image of the projection plane of the projected light. Therefore, it is suitable for the image projection system which projects the image content of a moving image or a still image.

Abstract

画像投影装置（２０）は、投影画像を示す無偏光光に対して空間光変調を行い、重畳画像に基づく偏光状態とされた投影光を生成して、投影面（５０）に投射する。画像処理装置（４０）は、投影光の投影面（５０）を撮像して取得された少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する。また、画像処理装置（４０）は、算出された偏光方向を画素値に変換して復元画像を生成する。したがって、投影画像に重畳画像が不可視状態に重畳されている投影光の生成と、投影光の投影面の撮像画から可視状態で重畳画像の復元を行える。

Description

画像投影装置と画像処理装置およびその方法と画像投影システム
　この技術は、画像投影装置と画像処理装置およびその方法と画像投影システムに関し、投影画像に重畳画像が不可視状態に重畳されている投影光を生成と、投影光の投影面の撮像画から重畳画像を可視状態で復元できるようにする。
　従来、複数の画像を重畳して投影すると画像を区別することができないことから、複数の画像を時分割で表示することや、表示領域を分割して複数の画像を異なる領域に投影することが行われている。
　また、画像の投影では偏光パターンを投影することも行われている。例えば、非特許文献１では、空間光変調器（ＳＬＭ：Spatial Light Modulator）を用いて光の偏光状態を空間的に制御して偏光パターンの投影を行い、この投影された偏光パターンを画素毎に偏光方向が異なる偏光フィルタが組み込まれた偏光カメラで撮影して三次元計測が行われている。
柴田秀平，小林富美男，茨田大輔，大谷幸利，「偏光パターン投影による同軸三次元形状計測」，２０１４年度　精密工学会春季大会学術講演会講演論文集，［online］、［平成２９年６月１日検索］、インターネット＜URL：https://www.jstage.jst.go.jp/article/pscjspe/2014S/0/2014S_109/_pdf＞
　ところで、複数の画像を時分割で表示する場合は、複数の画像が示す情報を同時に取得できない。また、表示領域を分割して複数の画像を表示する場合、画像を大きく表示することができない。また、画像コンテンツ等の視聴者に対して不要な画像、例えば調整用画像等を投影する場合もある。さらに、非特許文献１の方式では、異なる偏光方向の画像の輝度値をそのままパターンとして使用するため、投影する光に陰影が生じると正しいパターンを取得することができない。
　そこで、この技術では、投影画像に重畳画像が不可視状態に重畳されている投影光を生成する画像投影装置と、投影光の投影面の撮像画から可視状態で重畳画像を復元する画像処理装置、およびその方法と画像投影システムを提供することを目的とする。
　この技術の第１の側面は、
　投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する空間光変調部
を備える画像投影装置にある。
　この技術においては、投影画像に重畳される重畳画像の画素毎に、画素値に基づいて偏光方向が偏光制御部によって算出される。偏光方向は、１８０度未満の範囲内で、画素値毎に異なる方向である。空間光変調部では、投影画像を示す無偏光光に対して、重畳画像の画素値に基づいて算出された偏光方向に偏光状態を設定する空間光変調を行い投影光が生成される。また、投影画像を示す画像光が偏光光である場合、偏光解消部を設けて投影画像を示す画像光を無偏光光とする。重畳画像は、投影画像に関連した情報を示す画像であってもよく、投影画像に関連していないパターン画像であってもよい。
　この技術の第２の側面は、
　投影画像を示す無偏光光を生成することと、
　前記無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成すること
を含む画像投影方法にある。
　この技術の第３の側面は、
　少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する偏光法億算出部と、
　前記偏光方向算出部で算出された偏光方向を画素値に変換して復元画像を生成する変換処理部と
を備える画像処理装置にある。
　この技術において、偏光方向算出部は、少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する。偏光画像を取得する撮像部は、被写体光入射面に回転可能に偏光板を設けた構成であってもよく、撮像素子の入射面に少なくとも３方向以上の偏光方向の偏光画素を含む画素配列とする偏光フィルタを設けた構成であってもよい。また、撮像部を少なくとも３以上設けて、各撮像部の被写体光入射面に、互いに偏光方向が異なる偏光板を設けて、少なくとも３偏光方向以上の偏光画像を取得するようにしてもよい。
　また、投影面情報生成部をさらに設けて、偏光方向算出部は、投影面を撮像して得られた偏光画像を用いて偏光方向の算出を行い、投影面情報生成部は、変換処理部で生成された復元画像を用いて投影面に関する投影面情報を生成する。例えば、偏光方向算出部は、複数視点で投影面を撮像して得られた偏光画像を用いて、偏光方向の算出を視点毎に行い、変換処理部は復元画像の生成を視点毎に行う。投影面情報生成部は、変換処理部で生成された視点毎の復元画像を用いて投影面情報、例えば投影面までの距離を示すデプス情報を生成する。また、投影面には、無偏光光に対して所定パターン画像に基づく偏光状態の設定を行い生成された投影光を投影する。投影面情報生成部は、所定パターン画像と変換処理部で生成された復元パターン画像を用いて投影面情報を生成する。
　この技術の第４の側面は、
　少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出することと、
　前記算出された偏光方向を画素値に変換して画像信号を生成すること
を含む画像処理方法にある。
　この技術の第５の側面は、
　画像投影装置と画像処理装置とを有し、
　前記画像投影装置は、
　投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する空間光変調部を備え、
　前記画像処理装置は、
　前記画像投影装置で生成された前記投影光の投影面を撮像して取得した少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する偏光方向算出部と、
　前記偏光方向算出部で算出された偏光方向を画素値に変換して前記重畳画像を示す画像信号を生成する変換処理部とを備える画像投影システムにある。
　この技術において、画像投影装置の空間光変調部は、投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する。画像処理装置の偏光方向算出部は、画像投影装置で生成された投影光の投影面を撮像して取得した少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する。ここで、投影面を撮像したときに偏光方向の算出が可能な最小単位領域の画素で撮像される撮像領域が、投影面における最小変調領域の領域サイズ以下となるように、画像投影装置は投影光の生成と投射、または画像処理装置は投影面の撮像時における画角設定を行う。変換処理部は、偏光方向算出部で算出された偏光方向を画素値に変換して重畳画像を示す画像信号を生成する。
　この技術によれば、画像投影装置では、投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を空間光変調部で行い投影光を生成する。画像処理装置は、投影光の投影面を撮像して取得された少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を偏光方向算出部において画素単位で算出する。変換処理部は偏光方向算出部で算出された偏光方向を画素値に変換して復元画像を生成する。したがって、投影画像に重畳画像が不可視状態に重畳されている投影光の生成と、投影光の投影面の撮像画から可視状態で重畳画像を復元できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像投影システムの構成を例示した図である。 画像投影装置の構成を例示した図である。 画像投影装置の動作を示すフローチャートである。 画像投影装置の動作例を示す図である。 輝度値Ｖｂに対する偏光方向θの関係を示す図である。 画像処理装置の構成を例示した図である。 撮像部の構成を例示した図である。 偏光方向の算出を説明するための図である。 画像処理装置の動作を示すフローチャートである。 画像処理装置の動作例を示した図である。 偏光方向θに対する輝度値Ｖｂの関係を示す図である。 画像投影システムの第１応用例を示す図である。 画像投影システムの第２応用例を示す図である。 画像投影システムの第３応用例を示す図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．画像投影システムの構成
　２．画像投影装置の構成と動作
　３．画像処理装置の構成と動作
　４．画像投影システムの第１応用例
　５．画像投影システムの第２応用例
　６．画像投影システムの第３応用例
　＜１．画像投影システムの構成＞
　図１は、画像投影システムの構成を例示している。画像投影システム１０は、画像投影装置２０と画像処理装置４０を有している。画像投影装置２０は、投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成して、投影面（例えばスクリーン等）５０に投影する。画像処理装置４０は、投影面５０を撮像して取得された少なくとも３偏光方向以上の偏光画像を用いて偏光方向を画素単位で算出する。さらに、画像処理装置は、算出された偏光方向を画素値に変換して復元画像を復元する。ここで、画像投影装置２０と画像処理装置４０における輝度と偏光方向の関係を等しくすることで、画像処理装置４０で生成される復元画像は、画像投影装置２０で用いた重畳画像と等しくなる。すなわち、画像投影システム１０は、投影画像を投影面に表示したとき、肉眼では投影画像のみ可視状態で重畳画像は不可視状態である投影光を生成して投影面に投射して、投影光が投射されている投影面の撮像画から不可視状態で重畳されている重畳画像を可視状態で復元できるようにする。
　＜２．画像投影装置の構成と動作＞
　図２は、画像投影装置の構成を例示している。画像投影装置２０は、投影画像光生成部２１、偏光解消部２２、空間光変調部２３、重畳画像入力部２４、偏光制御部２５、投影レンズ２６を備えている。
　投影画像光生成部２１は、投影画像光を生成する。投影画像光生成部２１は、光源とレンズ部および画像形成部を有している。光源から出射された光は、レンズ部によって平行光とされて画像形成部を透過することで投影画像光を生成する。画像形成部は、例えば透過型液晶または反射型液晶等を用いて構成されている。画像形成部は、平行光を投影画像が表示されている透過型液晶を透過させて、もしくは平行光を投影画像が表示されている反射型液晶で反射させて、投影画像光を生成する。なお、透過型液晶または反射型液晶を用いて投影画像光を生成した場合、投影画像光は、液晶の影響によって偏光状態が画素で異なる状態になっている。投影画像光生成部２１は、生成した投影画像光を、偏光解消部２２を介して空間光変調部２３へ出射する。
　偏光解消部２２は、入射された偏光光を無偏光光として出射する。偏光解消部２２は、例えば高い複屈折性を持つフィルム等を用いて構成されており、投影画像光生成部２１で生成された投影画像光を無偏光状態として、空間光変調部２３へ出射する。なお、偏光解消部２２は、偏光光を無偏光光とする機能を有する構成であればよく、高い複屈折性を持つフィルム等を用いた構成に限られない。また、投影画像光生成部２１で無偏光状態の投影画像光が生成される場合、例えば光源から出射された無偏光の光を、写真フィルム等を透過させて投影画像光が生成される場合、偏光解消部２２を設けなくともよい。
　空間光変調部２３は、投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する。空間光変調部２３は、例えば透過型液晶もしくは反射型液晶を用いて構成されており、後述する偏光制御部２５からの偏光制御信号に基づき空間光変調を行う。すなわち、空間光変調部２３は、偏光解消部２２を介して投影画像光生成部２１から供給された無偏光状態である投影画像光の偏光状態を、重畳画像の画素値に応じた偏光方向の直線偏光状態とする。空間光変調部２３は、偏光状態が重畳画像に応じて設定された投影光を投影レンズ２６へ出射する。
　重畳画像入力部２４は、投影画像に重畳させる重畳画像の画像信号を受け付けて偏光制御部２５へ出力する。重畳画像は、投影画像に関連する情報を示す画像であってもよく、投影画像に関連していないパターン画像であってもよい。
　偏光制御部２５は、重畳画像入力部２４から供給された重畳画像の画素値を１８０度未満の範囲内で、画素値毎に異なる偏光方向に変換して、変換後の偏光方向に応じて偏光制御信号を生成する。また、偏光制御部２５は、生成した偏光制御信号を空間光変調部２３へ出力して、上述の空間光変調を空間光変調部２３で行わせる。
　投影レンズ２６は、投影画像を示し、かつ重畳画像に基づいて偏光状態が設定されている投影光を、投影面に焦点を合わせて所望の投影サイズで投射する。
　図３は、画像投影装置の動作を示すフローチャートである。ステップＳＴ１で画像投影装置は投影画像光を生成する。画像投影装置２０は、投影画像を示す無偏光の投影画像光を生成してステップＳＴ２に進む。
　ステップＳＴ２で画像投影装置は偏光制御信号を生成する。画像投影装置２０は、重畳画像を受け付けて、重畳画像の各画素の画素値を偏光方向に変換する。さらに、画像投影装置２０は、無偏光の投影画像光を変換後の偏光方向の偏光状態とする偏光制御信号を生成してステップＳＴ３に進む。
　ステップＳＴ３で画像投影装置は空間光変調処理を行う。画像投影装置２０は、ステップＳＴ２で生成された偏光制御信号に基づき、ステップＳＴ１で生成した無偏光の投影画像光の空間光変調を行い、重畳画像の画素値に応じた偏光方向の直線偏光状態とする。このように、画像投影装置は、投影画像光に対して空間光変調を行い投影光を生成する。
　図４は、画像投影装置の動作例を示している。図４の（ａ）は投影画像を例示しており、図４の（ｂ）は重畳画像を例示している。なお、投影画像と重畳画像は、動画と静止画のいずれであってもよい。
　画像投影装置は、例えば変換ルールを用いて、重畳画像の画素値を偏光方向に変換する。画像投影装置２０の偏光制御部２５は、式（１）に基づき偏光方向を決定する。なお、重畳画像の画素値例えば輝度値Ｖｂは「０～２５５」、偏光方向θは「０～ＡＧＬ」とする。角度ＡＧＬは、「０＜ＡＧＬ＜１８０度」の範囲内であり、偏光方向の分解能を高めるために１８０度に近いことが望ましい。なお、図５は、輝度値Ｖｂに対する偏光方向θの関係を示している。
　　　θ＝（ＡＧＬ／２５６）×Ｖｂ　　　・・・（１）
　したがって、図４の（ｂ）における輝度値「０」の矩形状領域は、図４の（ｃ）に示すように偏光方向が「０度」となる。また、輝度値「１２８」の十字形状領域の偏光方向は例えば「８９．５度」、輝度値「１９２」の領域の偏光方向は例えば「１３４．２度」となる。空間光変調部２３は、偏光制御部２５からの偏光制御信号に基づき、図４の（ｃ）に示す偏光状態への空間光変調を行い投影光を生成する。したがって、投影光を投影面に投射したときの表示画像は、図４の（ｄ）に示すように、重畳画像における輝度値「０」の矩形状領域に対応する表示領域ＨＡａは、偏光方向が「０度」の直線偏光状態で表示される。また、重畳画像における輝度値「１２８」の十字形状領域に対応する表示領域ＨＡｂは、偏光方向が「８９．５度」の直線偏光状態で表示される。また、他の表示領域ＨＡｃは偏光方向が「１３４．２度」の直線偏光状態で表示される。
　画像投影装置２０は、このように投影光を生成して投影面に投射することで、投射画像を可視状態で投影できる。また、重畳画像は不可視状態で投影できるようになる。
　＜３．画像処理装置の構成と動作＞
　図６は画像処理装置の構成を例示している。画像処理装置４０は、偏光方向算出部４１と変換処理部４２を備えている。
　偏光方向算出部４１は、少なくとも３偏光方向以上の偏光画像を用いて偏光方向を画素単位で算出する。また、変換処理部４２は、偏光方向算出部４１で算出された偏光方向を画素値に変換して復元画像を生成する。
　なお、少なくとも３偏光方向以上の偏光画像を取得する撮像部３０は、画像処理装置４０と別個に構成されてもよく、画像処理装置４０と一体に構成されてもよい。以下、撮像部３０が画像処理装置４０に設けられているとして説明を行う。
　図７は、撮像部の構成を例示した図である。例えば図７の（ａ）に示すように、撮像部３０-1は、本体３１の被写体光入射面に偏光板３２が回転可能に設けられている。撮像部３０-1は、偏光板３２を回転しながら複数枚の撮像を行い、少なくとも３偏光方向以上の偏光画像を取得する。
　また、図７の（ｂ）に示すように、撮像部３０-2は、撮像素子３３の入射面に少なくとも３方向以上の偏光方向の偏光画素を含む画素配列とする偏光フィルタ３４が設けられている。なお、図７の（ｂ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタ３４を撮像素子３３の入射面に配置した場合を示している。撮像部３０-2は、１回の撮像で得られた画素信号を偏光方向毎に用いて偏光方向毎の偏光画像を取得する。
　図７の（ｃ）に示す撮像部３０-3は、撮像素子３３の入射面に少なくとも３方向以上の偏光方向の偏光画素を含む画素配列とする偏光フィルタ３４が設けられている。また、撮像素子３３の入射面にカラーモザイクフィルタ３５が設けられている。カラーモザイクフィルタ３５は、撮像素子３３の２×２画素領域を同一色成分の画素として、４×４画素領域に、赤色（Ｒ）画素である２×２画素領域と、青色（Ｂ）画素である２×２画素領域と、緑色（Ｇ）画素である２つの２×２画素領域を設けた構成とされている。また、偏光フィルタ３４は、同一色成分の２×２画素領域の各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの偏光方向となるように設けられている。撮像部３０-3は、１回の撮像で得られた画素信号を色成分毎および偏光方向毎に用いて偏光方向毎の偏光画像を色成分毎に取得する。
　図７の（ｄ）では、３台以上の撮像部、例えば４台の撮像部３０-41～３０-44を用いて構成されている。各撮像部３０-41～３０-44における本体３１の被写体光入射面には、偏光方向が互いに異なるように偏光板３２を設けて、撮像部３０-41～３０-44で撮像を行うことにより４偏光方向の偏光画像を取得する。なお、図７の（ｂ）～（ｄ）では、偏光方向を「０度」「４５度」「９０度」「１３５度」とした場合を示している。また、偏光方向を異なる３方向とする場合、偏光方向を例えば等間隔である「０度」「６０度」「１２０度」とする。
　偏光方向算出部４１は、撮像部３０で取得された偏光画像に基づいて偏光方向を算出する。偏光方向算出部４１は、偏光画像に基づいて偏光方向を算出する。
　なお、撮像部の構成が図７の（ａ），（ｄ）の場合、偏光方向の算出は画素毎に行うことが可能であり、偏光方向の算出が可能な最小単位領域は１画素領域である。また、撮像部の構成が図７の（ｂ），（ｃ）の場合、偏光方向の算出は２×２画素領域毎に行うことが可能であり、偏光方向の算出が可能な最小単位領域は２×２画素領域である。
　図８は、偏光方向の算出を説明するための図である。偏光方向が「φ」とされている表示画像を例えば撮像部の偏光板を回転させて撮像すると、表示画像の輝度Ｉは偏光板の回転に応じて図のように変化して、偏光板が１８０度回転すると元の偏光状態に戻り１８０度の周期を有する。このような輝度Ｉの変化は、式（２）のように表すことができる。なお、偏光板を回転させたとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、偏光板の平面上に二次元座標系を定義したとき、二次元座標系の座標軸と偏光板の偏光軸のなす角を偏光角υとする。
Figure JPOXMLDOC01-appb-M000001
　また、偏光板を回転させたとき、表示画像の偏光方向と撮像部における偏光板の偏光方向が一致すると輝度Ｉが最大となる。したがって、偏光方向が３方向以上の偏光画像における注目画素の輝度を用いて、式（２）に示す関数へのフィッティングを行い、最大輝度となる偏光方向を算出することで、表示画像における注目画素位置の偏光方向を算出できる。偏光方向算出部４１は、偏光方向を例えば画素毎または２×画素領域毎に算出して変換処理部４２へ出力する。
　変換処理部４２は、偏光方向算出部４１で算出された偏光方向を画素値に変換する。変換処理部４２は、画像投影装置２０の偏光制御部２５で行われた変換とは逆方向である変換を行い、偏光方向を画素値に変換して復元画像を生成する。
　図９は、画像処理装置の動作を示すフローチャートである。ステップＳＴ１１で画像処理装置は３方向以上の偏光画像を取得する。画像処理装置４０は、画像投影装置２０で投影されている投影画像の撮像を行い、少なくとも３偏光方向の偏光画像を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で画像処理装置は偏光方向を算出する。画像処理装置４０は、ステップＳＴ１１で取得された３偏光方向以上の偏光画像から偏光方向を画素単位例えば１画素単位または２×２画素単位で算出する。具体的には、３偏光方向以上の偏光画像の画素値を式（２）に示す関数へのフィッティングを行い、フィッティング後の関数が最大値となる偏光方向を算出してステップＳＴ１３に進む。
　ステップＳＴ１３で画像処理装置は変換処理を行う。画像処理装置４０は、ステップＳＴ１２で算出された偏光方向を画素値に変換して復元画像を生成する。
　図１０は、画像処理装置の動作例を示している。図１０の（ａ）は投影面に表示された投影画像を例示している。投影画像では、破線で示す矩形状の表示領域ＨＡａが偏光方向「０度」の直線偏光状態、破線で示す十字状の表示領域ＨＡｂが偏光方向「８９．５度」の直線偏光状態、他の表示領域ＨＡｃが偏光方向「１３４．２度」の直線偏光状態とされている。
　画像処理装置４０は、投影画像を撮像して偏光方向が３方向以上の偏光画像を取得する。また、３方向以上の偏光画像の画素を用いて式（２）に示す関数へのフィッティングを行い、輝度が最大となる偏光方向を算出する。図１０の（ｂ）は、算出された偏光方向を示しており、破線で示す矩形領域が偏光方向「０度」の画素領域、破線で示す十字状領域が偏光方向「８９．５度」の画素領域、他の領域が偏光方向「１３４．２度」の画素領域である。
　画像処理装置４０は、例えば画像投影装置２０の偏光制御部２５で用いた変換ルールに対して逆の変換ルールを用いて、偏光方向を例えば輝度値に変換する。画像投影装置２０において、式（１）に基づき重畳画像の輝度値を偏光方向に変換している場合、画像処理装置４０の変換処理部４２は、式（３）に基づき偏光方向を輝度値に変換する。なお、図１１は、偏光方向θに対する輝度値Ｖｂの関係を示している。
　　　ＶＲｂ＝（２５６／ＡＧＬ）×θ　　　・・・（３）
　このような変換を行うことで、図１０の（ｃ）に示す復元画像を生成できる。また、画像処理装置４０の変換処理部４２は、画像投影装置２０の偏光制御部２５で用いた変換ルールに対して逆の変換ルールを用いて偏光方向を輝度値に変換している。したがって、復元画像は、画像投影装置２０の重畳画像入力部２４で受け付けた図４の（ｂ）に示す重畳画像となる。
　また、画像処理装置４０で生成された重畳画像の画像信号を表示装置に供給すれば、投影面では不可視状態となっている重畳画像を可視状態で表示できる。
　ところで、画像処理装置４０の偏光方向算出部４１で偏光方向を算出する場合、投影面を撮像したときに偏光方向の算出が可能な最小単位領域の画素で撮像される撮像領域に、複数偏光方向の画像領域が含まれると、３偏光方向以上の偏光画像の画素値を式（２）に示す関数へフィッティングさせて偏光方向を算出することができない場合が生じる。したがって、投影面を撮像したときに偏光方向の算出が可能な最小単位領域の画素で撮像される撮像領域が、投影面における最小変調領域の領域サイズ以下となるように、画像投影装置は投影光の生成と投射、または画像処理装置は投影面の撮像時における画角設定を行う。
　例えば、３偏光方向以上の偏光画像の画素値を式（２）に示す関数へフィッティングさせて偏光方向を算出することができない場合、画像処理装置は画角を狭く（ズーム倍率を高く）してもよく、画像投影装置２０は投影サイズを大きくしてもよい。
　このように、投影面を撮像したときに偏光方向の算出が可能な最小単位領域の画素で撮像される撮像領域を、投影面における最小変調領域の領域サイズ以下とすれば、偏光方向の算出をより確実に行えるようになる。
　したがって、本技術の画像投影システムを用いることで、投影面を見ている人に視認されることなく、重畳画像を画像処理装置４０の利用者に投影面を介して伝送できるようになる。
　＜４．画像投影システムの第１応用例＞
　次に、画像投影システムの第１応用例について説明する。図１２は、画像投影システムの第１応用例を示している．画像投影装置２０には、２つの異なる任意の映像ソースが供給されている。第１映像ソースは、投影画像を示しており、投影画像光生成部２１に入力される。また、第２映像ソースは、重畳画像を示しており、重畳画像入力部２４に入力される。したがって、人ＰＳ1は、投影面５０に投影された画像によって第１映像ソースの画像のみを肉眼で視認できる。
　また、画像処理装置４０は投影面を撮像して復元画像を生成する。または復元画像の生成では、画像投影装置２０で行った画素値を偏光方向に変換する変換処理に対応した逆方向の変換を行うことで、重畳画像と同等な復元画像を生成できる。したがって、復元画像を表示装置６０で表示すれば、人ＰＳ2は、第２映像ソースの重畳画像を表示装置６０で視認できるようになる。
　なお、重畳画像は投影画像に関連した情報を示す画像であってもよく、関連していない情報を示す画像であってもよい。例えば、図や表を投影画像として投影して、重畳画像は図や表に関連する解説を示す画像とする。このようにすれば、重畳画像で示された情報を利用して図や表の解説を容易に行うことができるようになる。また、問題等を投影画像として投影して、重畳画像は解答を示す画像とする。このようにすれば、問題に対する解説を容易に行うことができるようになる。また、例えば、動画コンテンツを投影画像として投影して、重畳画像は動画コンテンツに関連していない連絡事項等を示す画像とする。このようにすれば、音声の聞き取りが困難な環境であっても、投影画像を見ている人に視認されることなく連絡事項等を画像で画像処理装置４０の利用者に通知できるようになる。
　＜５．画像投影システムの第２応用例＞
　図１３は、画像投影システムの第２応用例を示している。画像投影装置２０の投影画像光生成部２１には任意の投影画像が入力されて、重畳画像入力部２４には任意のパターン画像が入力される。このとき、投影面５０では投影画像が可視状態であり、パターン画像が不可視状態である。
　画像処理装置４０-2には、複数の撮像部例えば２つの撮像部３０ａ，３０ｂを異なる位置に設けてそれぞれ投影面５０を撮像する。したがって、撮像部３０ａでは、少なくとも３偏光方向以上の偏光画像が取得されて、撮像部３０ｂでは、撮像部３０ａと異なる視点である少なくとも３偏光方向以上の偏光画像が取得される。
　偏光方向算出部４１は、撮像部３０ａで取得された少なくとも３偏光方向以上の偏光画像を用いて偏光方向を算出する。また、偏光方向算出部４１は、撮像部３０ｂで取得された少なくとも３偏光方向以上の偏光画像を用いて偏光方向を算出する。なお、偏光方向の算出は、上述のように画素単位例えば１画素単位または２×２画素単位で行う。
　変換処理部４２は、撮像部３０ａで取得された偏光画像に基づき偏光方向算出部４１で算出された偏光方向を画素値に変換して第１復元パターン画像を生成する。また、変換処理部４２は、撮像部３０ｂで取得された偏光画像に基づき偏光方向算出部４１で算出された偏光方向を画素値に変換して第２復元パターン画像を生成する。変換処理部４２は、生成した第１復元パターン画像と第２復元パターン画像を投影面情報生成部４３へ出力する。
　投影面情報生成部４３は、第１復元パターン画像と第２復元パターン画像を用いて、例えばブロックマッチングなどのステレオマッチング処理によって、第１復元パターン画像と第２復元パターン画像の視差を算出する。さらに、投影面情報生成部４３は、算出した視差に基づき投影面上の各位置までの距離を示すデプス情報を投影面情報として生成する。
　このような第２応用例によれば、投影画像を投影面５０に投影しながら不可視状態であるパターン画像を利用して投影面情報を生成できるので、投影面５０の形状変化等をリアルタイムで観測できるようになる。また、投影面情報を画像投影装置２０に提供すれば、投影面５０の形状変化等が生じても、形状変化等の影響が投影画像に生じないように投影光を生成することが可能となる。
　＜６．画像投影システムの第３応用例＞
　図１４は、画像投影システムの第３応用例を示している。画像投影装置２０の投影画像光生成部２１には任意の投影画像が入力されて、重畳画像入力部２４には所定パターン画像が入力される。このとき、投影面５０では投影画像が可視状態であり、所定パターン画像が不可視状態である。
　画像処理装置４０-3に設けた撮像部３０は、投影面５０を撮像して少なくとも３偏光方向以上の偏光画像を取得する。
　偏光方向算出部４１は、撮像部３０で取得された少なくとも３偏光方向以上の偏光画像を用いて偏光方向を算出する。なお、偏光方向の算出は、上述のように画素単位例えば１画素単位または２×２画素単位で行う。
　変換処理部４２は、撮像部３０で取得された偏光画像に基づき偏光方向算出部４１で算出された偏光方向を画素値に変換して復元パターン画像を生成する。変換処理部４２は、生成した復元パターン画像を投影面情報生成部４４へ出力する。
　投影面情報生成部４４には、重畳画像入力部２４に入力された所定パターン画像が供給されている。投影面情報生成部４４は、ストラクチャードライト法（structured light method）を用いて、所定パターン画像と復元パターン画像に基づきパターン画像の変形を分析して、投影面５０の三次元形状や投影面５０までの距離等を示す投影面情報を生成する。
　このような第３応用例によれば、投影画像を投影面５０に投影しながら不可視状態である特定パターン画像を利用して投影面情報を生成できるので、投影面５０の形状変化等をリアルタイムで観測できるようになる。また、投影面情報を画像投影装置２０に提供すれば、投影面５０の形状変化等が生じても、形状変化等の影響が投影画像に生じないように投影光を生成することが可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像投影装置は以下のような構成も取ることができる。
　（１）　投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する空間光変調部
を備える画像投影装置。
　（２）　前記重畳画像の画素毎に、画素値に基づいて偏光方向を算出する偏光制御部をさらに備え、
　前記空間光変調部は、前記偏光状態を前記偏光制御部で算出した偏光方向とする（１）に記載の画像投影装置。
　（３）　前記偏光制御部は、前記偏光方向を１８０度未満の範囲内で、画素値毎に異なる偏光方向とする（２）に記載の画像投影装置。
　（４）　前記投影画像を示す画像光を無偏光光とする偏光解消部をさらに備える（１）乃至（３）のいずれかに記載の画像投影装置。
　（５）　前記重畳画像は、前記投影画像に関連した情報を示す画像である（１）乃至（４）のいずれかに記載の画像投影装置。
　（６）　前記重畳画像は、前記投影画像に関連していないパターン画像である（１）乃至（４）のいずれかに記載の画像投影装置。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する偏光方向算出部と、
　前記偏光方向算出部で算出された偏光方向を画素値に変換して復元画像を生成する変換処理部と
を備える画像処理装置。
　（２）　投影面情報生成部をさらに備え、
　前記偏光方向算出部は、投影面を撮像して得られた前記偏光画像を用いて前記偏光方向の算出を行い、
　前記投影面情報生成部は、前記変換処理部で生成された復元画像を用いて前記投影面に関する投影面情報を生成する（１）に記載の画像処理装置。
　（３）　前記偏光方向算出部は、複数視点で投影面を撮像して得られた前記偏光画像を用いて、前記偏光方向の算出を視点毎に行い、
　前記変換処理部は前記復元画像の生成を視点毎に行い、
　前記投影面情報生成部は、前記変換処理部で生成された視点毎の復元画像を用いて前記投影面情報を生成する（２）に記載の画像処理装置。
　（４）　前記投影面には、無偏光光に対して所定パターン画像に基づく偏光状態の設定を行い生成された投影光が投影されており、
　前記変換処理部は、前記偏光方向算出部で算出された偏光方向を画素値に変換して復元パターン画像を生成して、
　前記投影面情報生成部は、前記所定パターン画像と前記変換処理部で生成された復元パターン画像を用いて前記投影面情報を生成する（２）に記載の画像処理装置。
　（５）　前記投影面情報は前記投影面のデプス情報である（２）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記偏光画像を取得する撮像部をさらに備える（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記撮像部は、被写体光入射面に回転可能に偏光板を設けた（６）に記載の画像処理装置。
　（８）　前記撮像部は、撮像素子の入射面に少なくとも３方向以上の偏光方向の偏光画素を含む画素配列とする偏光フィルタを設けた（６）に記載の画像処理装置。
　（９）　前記撮像部を少なくとも３以上設けて、各撮像部の被写体光入射面に、互いに偏光方向が異なる偏光板を設けた（６）に記載の画像処理装置。
　この技術の画像投影装置と画像処理装置およびその方法と画像投影システムでは、投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態を設定する空間光変調が行われている投影光が生成される。また、生成された投影光の投影面を撮像して取得された少なくとも３偏光方向以上の偏光画像を用いて偏光方向が画素単位で算出されて、算出された偏光方向を画素値に変換して復元画像が生成される。このため、投影画像に重畳画像が不可視状態に重畳されている投影光の生成と、投影光の投影面の撮像画から可視状態で重畳画像を復元できる。したがって、動画や静止画の画像コンテンツを投影する画像投影システムに適している。
　１０・・・画像投影システム
　２０・・・画像投影装置
　２１・・・投影画像光生成部
　２２・・・偏光解消部
　２３・・・空間光変調部
　２４・・・重畳画像入力部
　２５・・・偏光制御部
　２６・・・投影レンズ
　３０，３０-1～３０-3，３０-41～３０-44，３０ａ，３０ｂ・・・撮像部
　３１・・・撮像素子
　３２・・・偏光板
　３３・・・偏光フィルタ
　３４・・・カラーモザイクフィルタ
　４０，４０-2，４０-3・・・画像処理装置
　４１・・・偏光方向算出部
　４２・・・変換処理部
　４３，４４・・・投影面情報生成部
　５０・・・投影面
　６０・・・表示装置

Claims (19)

  1. 　投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する空間光変調部
    を備える画像投影装置。
  2. 　前記重畳画像の画素毎に、画素値に基づいて偏光方向を算出する偏光制御部をさらに備え、
    　前記空間光変調部は、前記偏光状態を前記偏光制御部で算出した偏光方向とする
    請求項１に記載の画像投影装置。
  3. 　前記偏光制御部は、前記偏光方向を１８０度未満の範囲内で、画素値毎に異なる偏光方向とする
    請求項２に記載の画像投影装置。
  4. 　前記投影画像を示す画像光を無偏光光とする偏光解消部をさらに備える
    請求項１に記載の画像投影装置。
  5. 　前記重畳画像は、前記投影画像に関連した情報を示す画像である
    請求項１に記載の画像投影装置。
  6. 　前記重畳画像は、前記投影画像に関連していないパターン画像である
    請求項１に記載の画像投影装置。
  7. 　投影画像を示す無偏光光を生成することと、
    　前記無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成すること
    を含む画像投影方法。
  8. 　少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する偏光方向算出部と、
    　前記偏光方向算出部で算出された偏光方向を画素値に変換して復元画像を生成する変換処理部と
    を備える画像処理装置。
  9. 　投影面情報生成部をさらに備え、
    　前記偏光方向算出部は、投影面を撮像して得られた前記偏光画像を用いて前記偏光方向の算出を行い、
    　前記投影面情報生成部は、前記変換処理部で生成された復元画像を用いて前記投影面に関する投影面情報を生成する
    請求項８に記載の画像処理装置。
  10. 　前記偏光方向算出部は、複数視点で投影面を撮像して得られた前記偏光画像を用いて、前記偏光方向の算出を視点毎に行い、
    　前記変換処理部は前記復元画像の生成を視点毎に行い、
    　前記投影面情報生成部は、前記変換処理部で生成された視点毎の復元画像を用いて前記投影面情報を生成する
    請求項９に記載の画像処理装置。
  11. 　前記投影面には、無偏光光に対してパターン画像に基づく偏光状態の設定を行い生成された投影光が投影されており、
    　前記変換処理部は、前記偏光方向算出部で算出された偏光方向を画素値に変換して復元パターン画像を生成して、
    　前記投影面情報生成部は、前記パターン画像と前記変換処理部で生成された復元パターン画像を用いて前記投影面情報を生成する
    請求項９に記載の画像処理装置。
  12. 　前記投影面情報は前記投影面のデプス情報である
    請求項９に記載の画像処理装置。
  13. 　前記偏光画像を取得する撮像部をさらに備える
    請求項８に記載の画像処理装置。
  14. 　前記撮像部は、被写体光入射面に回転可能に偏光板を設けた
    請求項１３に記載の画像処理装置。
  15. 　前記撮像部は、撮像素子の入射面に少なくとも３方向以上の偏光方向の偏光画素を含む画素配列とする偏光フィルタを設けた
    請求項１３に記載の画像処理装置。
  16. 　前記撮像部を少なくとも３以上設けて、各撮像部における被写体光入射面に、互いに偏光方向が異なる偏光板を設けた
    請求項１３に記載の画像処理装置。
  17. 　少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出することと、
    　前記算出された偏光方向を画素値に変換して画像信号を生成すること
    を含む画像処理方法。
  18. 　画像投影装置と画像処理装置とを有し、
    　前記画像投影装置は、
    　投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する空間光変調部を備え、
    　前記画像処理装置は、
    　前記画像投影装置で生成された前記投影光の投影面を撮像して取得した少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する偏光方向算出部と、
    　前記偏光方向算出部で算出された偏光方向を画素値に変換して前記重畳画像を示す画像信号を生成する変換処理部とを備える
    画像投影システム。
  19. 　前記投影面を撮像したときに偏光方向の算出が可能な最小単位領域の画素で撮像される撮像領域が、前記投影面における最小変調領域の領域サイズ以下となるように、前記画像投影装置は前記投影光の生成と投射、または前記画像処理装置は前記投影面の撮像時における画角設定を行う
    請求項１８に記載の画像投影システム。
PCT/JP2018/014916 2017-06-19 2018-04-09 画像投影装置と画像処理装置およびその方法と画像投影システム WO2018235392A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/620,934 US11082669B2 (en) 2017-06-19 2018-04-09 Image projection apparatus, image processing apparatus, image projection method, image processing method, and image projection system
JP2019525133A JP7115475B2 (ja) 2017-06-19 2018-04-09 画像処理装置およびその方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017119433 2017-06-19
JP2017-119433 2017-06-19

Publications (1)

Publication Number Publication Date
WO2018235392A1 true WO2018235392A1 (ja) 2018-12-27

Family

ID=64735686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/014916 WO2018235392A1 (ja) 2017-06-19 2018-04-09 画像投影装置と画像処理装置およびその方法と画像投影システム

Country Status (3)

Country Link
US (1) US11082669B2 (ja)
JP (1) JP7115475B2 (ja)
WO (1) WO2018235392A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248195A (ja) * 2002-02-26 2003-09-05 Ricoh Co Ltd 画像投影方法および画像投影システム
JP2015046848A (ja) * 2013-08-28 2015-03-12 ヤグチ電子工業株式会社 画像表示装置
WO2016125221A1 (ja) * 2015-02-05 2016-08-11 ソニー株式会社 プロジェクタ及び光学ユニット
WO2016181687A1 (ja) * 2015-05-14 2016-11-17 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5975703A (en) * 1996-09-30 1999-11-02 Digital Optics International Image projection system
AU7552298A (en) * 1997-06-09 1998-12-30 Nikon Corporation Sensor and method for sensing the position of the surface of object, aligner provided with the sensor and method of manufacturing the aligner, and method of manufacturing devices by using the aligner
US6113239A (en) * 1998-09-04 2000-09-05 Sharp Laboratories Of America, Inc. Projection display system for reflective light valves
US6377237B1 (en) * 2000-01-07 2002-04-23 Agilent Technologies, Inc. Method and system for illuminating a layer of electro-optical material with pulses of light
US6853491B1 (en) * 2003-11-26 2005-02-08 Frank Ruhle Collimating optical member for real world simulation
US20070086762A1 (en) * 2005-10-13 2007-04-19 3M Innovative Properties Company Front end for 3D imaging camera
JP4569693B2 (ja) * 2008-09-09 2010-10-27 ソニー株式会社 再生装置、再生方法
JPWO2011007757A1 (ja) * 2009-07-13 2012-12-27 吉田　健治 裸眼立体ディスプレイ用パララックスバリア、裸眼立体ディスプレイおよび裸眼立体ディスプレイ用パララックスバリアの設計方法
US10678061B2 (en) * 2009-09-03 2020-06-09 Laser Light Engines, Inc. Low etendue illumination
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP5358530B2 (ja) * 2010-07-28 2013-12-04 日立コンシューマエレクトロニクス株式会社 光情報記録再生装置及び再生装置
JP5911775B2 (ja) * 2012-08-21 2016-04-27 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
WO2015098187A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
WO2018079446A1 (ja) * 2016-10-27 2018-05-03 日本電気株式会社 情報入力装置および情報入力方法
JP6665949B2 (ja) * 2016-11-30 2020-03-13 日本電気株式会社 投射装置、投射方法およびプログラム
WO2019038901A1 (ja) * 2017-08-25 2019-02-28 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
WO2019060741A1 (en) * 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248195A (ja) * 2002-02-26 2003-09-05 Ricoh Co Ltd 画像投影方法および画像投影システム
JP2015046848A (ja) * 2013-08-28 2015-03-12 ヤグチ電子工業株式会社 画像表示装置
WO2016125221A1 (ja) * 2015-02-05 2016-08-11 ソニー株式会社 プロジェクタ及び光学ユニット
WO2016181687A1 (ja) * 2015-05-14 2016-11-17 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP7115475B2 (ja) 2022-08-09
JPWO2018235392A1 (ja) 2020-04-16
US20200204766A1 (en) 2020-06-25
US11082669B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
US11928794B2 (en) Image processing device, image processing program, image processing method, and imaging device
JP2009518877A (ja) ３次元ライトフィールドを取得し、表示するための方法およびシステム
KR20070052131A (ko) 중간 요소 영상을 이용한 입체 영상 표시 장치
JP2009055624A (ja) カラー偏光撮像装置および画像処理装置
JP2007114463A (ja) ３次元カラー画像記録装置
TW201405258A (zh) 電子全像顯示裝置
JP2005244835A (ja) マルチプロジェクションシステム
JP2016036066A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
TW201445977A (zh) 影像處理方法及影像處理系統
US11743480B2 (en) Imaging apparatus and imaging system
JP2005070963A (ja) 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム
JP2019176214A (ja) 撮像装置、撮像モジュールおよび撮像方法
JP7115475B2 (ja) 画像処理装置およびその方法
WO2020059181A1 (ja) 撮像装置および撮像方法
JP2011215545A (ja) 視差画像取得装置
JP6367803B2 (ja) オブジェクト空間のオブジェクト点の記述のための方法およびその実施のための結合体
JP6807286B2 (ja) 撮像装置及び撮像方法
TWI682358B (zh) 多維影像投射裝置及其多維影像校正方法
JP6060729B2 (ja) 三次元投射装置
JP2005130360A (ja) 画像表示における歪補正機能を有する画像表示装置
Buckner et al. Digital focusing schlieren imaging
JP4695557B2 (ja) 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム
JP6234366B2 (ja) グリッド変調された単一レンズ３−ｄカメラ
CN112995514B (zh) 一种工业相机的拍照物距的获取方法及设备
JP2018007110A (ja) 表示装置およびスクリーン

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18820406

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019525133

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18820406

Country of ref document: EP

Kind code of ref document: A1