WO2021246211A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2021246211A1
WO2021246211A1 PCT/JP2021/019509 JP2021019509W WO2021246211A1 WO 2021246211 A1 WO2021246211 A1 WO 2021246211A1 JP 2021019509 W JP2021019509 W JP 2021019509W WO 2021246211 A1 WO2021246211 A1 WO 2021246211A1
Authority
WO
WIPO (PCT)
Prior art keywords
adjustment
image
information processing
images
center position
Prior art date
Application number
PCT/JP2021/019509
Other languages
English (en)
French (fr)
Inventor
浩文 南雲
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021246211A1 publication Critical patent/WO2021246211A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Definitions

  • This technology relates to information processing devices, information processing methods, and programs applicable to registration adjustment such as projectors.
  • Patent Document 1 discloses a registration adjustment that electrically corrects the color shift of a three-panel projector.
  • the purpose of this technique is to provide an information processing device, an information processing method and a program capable of highly accurate registration adjustment.
  • the information processing apparatus is an image projection device that superimposes a plurality of images generated by a plurality of light modulation elements and projects the image onto the object to be projected. It is an information processing apparatus that calculates an adjustment parameter for adjusting the position of each of the above-mentioned plurality of images, and includes a calculation unit.
  • the calculation unit calculates the adjustment parameter based on the captured image obtained by capturing the plurality of adjustment images generated by the plurality of light modulation elements and projected onto the projectile. At least a part of each of the plurality of adjustment images is configured as an adjustment parameter calculation area.
  • the calculation unit calculates the adjustment parameter based on the luminance center position of the calculation region of each of the plurality of adjustment images on the projectile.
  • adjustment parameters are calculated based on the captured images obtained by capturing a plurality of adjustment images. Specifically, the adjustment parameter is calculated based on the brightness center position of the calculation area included in the adjustment image displayed on the projectile. This enables highly accurate registration adjustment.
  • the calculation unit executes binarization processing for dividing the captured image into a high gradation region and a low gradation region, and sets the center position of the high gradation region corresponding to the calculation region as the luminance center position. It may be calculated.
  • the captured image may have a plurality of pixels arranged along each of two directions orthogonal to each other.
  • the two directions are the X and Y directions
  • the number of the plurality of pixels included in the high gradation region is N
  • the XY coordinate values of each of the plurality of pixels included in the high gradation region are (Xi, Yi).
  • I 1 to N
  • the calculation unit may calculate the luminance center position according to the following equation.
  • the calculation unit may extract a region of the captured image in which the gradation value is larger than the threshold value as a corresponding region corresponding to the calculation region, and calculate the luminance center position of the corresponding region.
  • the captured image may have a plurality of pixels arranged along each of two directions orthogonal to each other.
  • the two directions are the X direction and the Y direction
  • the number of the plurality of pixels included in the corresponding area is N
  • the calculation unit may calculate the luminance center position according to the following equation.
  • the calculation unit may calculate an adjustment value for correcting the deviation of the luminance center position in the calculation area of each of the plurality of adjustment images.
  • the calculation unit may calculate the adjustment parameter based on the captured image in which the plurality of adjustment images are simultaneously projected.
  • the calculation area may be configured in the center of the adjustment image.
  • the calculation area may be rectangular.
  • the calculation area may have the same aspect ratio as each of the plurality of images.
  • the plurality of light modulation elements may be three light modulation elements.
  • the plurality of images may be a red image, a green image, and a blue image.
  • the computer system superimposes a plurality of images generated by a plurality of light modulation elements and projects the image onto the projectile. It is an information processing method executed to calculate an adjustment parameter for adjusting the position of each of a plurality of images, and is a plurality of adjustment images generated by the plurality of light modulation elements and projected onto the projectile. Includes the acquisition of captured images captured by. Based on the acquired captured image, the luminance center position of the adjustment parameter calculation region configured in at least a part of each of the plurality of adjustment images on the projectile is calculated. .. The adjustment parameter is calculated based on the luminance center position of the calculation region of each of the plurality of adjustment images.
  • the program according to one form of the present technology causes a computer system to execute the information processing method.
  • FIG. 1 is a schematic diagram showing a configuration example of a registration adjustment system according to an embodiment of the present technology.
  • the registration adjustment system 100 is constructed for the projector 5 to be the target of the registration adjustment.
  • a projector 5 is installed so that an image can be projected onto a screen 1.
  • a registration adjustment system 100 is constructed for the installed projector 5 and the screen 1.
  • FIG. 2 is a schematic diagram showing a configuration example of the projector 5.
  • the projector 5 has a light source unit 6, an image generation unit 7, and a projection unit 8.
  • the light source unit 6 emits white light W toward the image generation unit 7.
  • a solid light source such as an LED (Light Emitting Diode) or LD (Laser Diode), a mercury lamp, a xenon lamp, or the like is arranged in the light source unit 6.
  • a solid-state light source for RGB capable of emitting light of each color of RGB may be used, and these emitted lights may be combined to generate white light W.
  • a solid-state light source that emits light in the blue wavelength band and a phosphor that is excited by blue light and emits yellow fluorescence may be arranged. In this case, blue light and yellow light are combined to emit white light W.
  • any configuration may be adopted for the light source unit 6.
  • the image generation unit 7 includes an illumination optical system (not shown), three light modulation elements 9, and a color synthesis prism 10.
  • the illumination optical system divides the white light W emitted from the light source unit 6 into red light R, green light G, and blue light B, and causes them to be incident on the three light modulation elements 9.
  • the configuration of the illumination optical system is not limited and may be arbitrarily designed.
  • an illumination optical system can be realized by a wavelength separation element such as a dichroic mirror, a polarization conversion element such as a polarizing plate or a wave plate, and various lenses such as a relay lens and a condenser lens. Any integrator optical system for adjusting the white light W to a uniform luminance distribution may be arranged in the illumination optical system.
  • the three light modulation elements 9 modulate the incident light pixel by pixel based on the image signals of each color of RGB supplied from the outside, and generate and emit the image light constituting the image.
  • the generation of image light has the same meaning as the generation of an image.
  • the red light R is modulated by the light modulation element 9R, and a red image 11R (red image light 12R) is generated.
  • the green light G is modulated by the light modulation element 9G, and a green image 11G (green image light 12G) is generated.
  • the blue light B is modulated by the light modulation element 9B, and a blue image 11B (blue image light 12G) is generated.
  • any device such as a liquid crystal panel or a digital micromirror device (DMD) may be used. Of course, this technique can be applied to both the transmission type light modulation element and the reflection type light modulation element.
  • DMD digital micromirror device
  • the color synthesis prism 10 superimposes and synthesizes the red image 11R, the green image 11G, and the blue image 11B generated by the three light modulation elements 9 to generate the color image 13. That is, the red image light 12R, the green image light 12G, and the blue image light 12B are superposed by the color synthesis prism 10, and are emitted to the projection unit 8 as the color image light 14.
  • the color synthesis prism 10 for example, a dichroic prism or the like is used. In addition, any photosynthetic element may be used.
  • the projection unit 8 enlarges the color image 13 (color image light 14) synthesized by the color synthesis prism 10 to a predetermined magnification and projects it on the screen 1. As a result, the color image 13 is displayed on the screen 1.
  • the projection unit 8 includes, for example, a plurality of projection lenses, and a specific configuration may be appropriately designed.
  • the red image 11R, the green image 11G, and the blue image 11B generated by the three light modulation elements 9 are superimposed and projected on the screen 1.
  • the projector 5 corresponds to an embodiment of an image projection device that superimposes a plurality of images generated by a plurality of light modulation elements and projects them onto a projectile.
  • the three light modulation elements 9 correspond to one embodiment of the plurality of light modulation elements.
  • the red image 11R, the green image 11G, and the blue image 11B correspond to one embodiment of a plurality of images.
  • the screen 1 corresponds to one embodiment of the projectile.
  • the registration adjustment system 100 includes an image pickup device 20 and an information processing device 30.
  • the image pickup apparatus 20 and the information processing apparatus 30 are communicably connected to each other via a wired or wireless device.
  • the information processing device 30 is also communicably connected to the projector 5.
  • the connection form between each device is not limited, and for example, wireless LAN communication such as WiFi and short-range wireless communication such as Bluetooth (registered trademark) can be used.
  • the image pickup apparatus 20 is installed so that the color image 13 projected on the screen 1 by the projector 5 can be captured.
  • the image pickup device 20 is installed at a position of a viewer who views the color image 13 projected on the screen 1. This makes it possible to provide the viewer with a high-quality image in which the registration is adjusted with high accuracy.
  • an image pickup device 20 capable of taking color images is used. That is, the image pickup apparatus 20 can acquire information of each RGB color for each pixel and express the color for each pixel.
  • the configuration and algorithm for acquiring the information of each color are not limited, and may be arbitrarily designed.
  • CMOS Complementary metal-Oxide Semiconductor
  • CCD Charge Coupled Device
  • the information processing device 30 has hardware necessary for configuring a computer, such as a processor such as a CPU, GPU, or DSP, a memory such as a ROM or RAM, and a storage device such as an HDD (see FIG. 11).
  • a computer such as a processor such as a CPU, GPU, or DSP, a memory such as a ROM or RAM, and a storage device such as an HDD (see FIG. 11).
  • the information processing method according to the present technology is executed by the CPU loading and executing the program according to the present technology recorded in advance in the ROM or the like into the RAM.
  • the information processing apparatus 30 can be realized by any computer such as a PC (Personal Computer).
  • hardware such as FPGA and ASIC may be used.
  • the CPU or the like executes a predetermined program to configure an image pickup control unit 31, a projector control unit 32, and a calculation unit 33 as functional blocks.
  • the program is installed in the information processing apparatus 30 via, for example, various recording media. Alternatively, the program may be installed via the Internet or the like.
  • the type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used. For example, any non-transient storage medium readable by a computer may be used.
  • the information processing device adjusts the position of each of a plurality of images on a projectile of an image projection device that superimposes a plurality of images generated by a plurality of light modulation elements and projects the image onto the projectile. It is possible to calculate the adjustment parameters for this. That is, in the present embodiment shown in FIG. 1, the information processing apparatus 30 calculates adjustment parameters for adjusting the positions of the red image 11R, the green image 11G, and the blue image 11B on the screen 1 of the projector 5. It is possible.
  • the adjustment parameter includes an arbitrary parameter used for adjusting the position of each of the plurality of images on the projectile.
  • the image pickup control unit 31 shown in FIG. 1 can control the image pickup operation of the image pickup apparatus 20. For example, it is possible to control various parameters related to imaging such as zoom, angle of view, exposure amount, shutter speed, and the like.
  • the projector control unit 32 can control the operation of projecting the image of the projector 5. In the present embodiment, the projector control unit 32 can cause the projector 5 to execute an operation for calculating adjustment parameters. Of course, it may be possible to cause the projector 5 to perform other operations.
  • the calculation unit 33 can calculate the adjustment parameter, and the details will be described later.
  • FIG. 3 is a flowchart showing an example of calculation of adjustment parameters.
  • the projector control unit 32 resets the adjustment value of the registration adjustment (step 101).
  • the adjustment value of the registration adjustment is an adjustment value for adjusting the positions of the red image 11R, the green image 11G, and the blue image 11B projected on the screen 1.
  • a rectangular color image 13 is projected by the projector 5. Therefore, the red image 11R, the green image 11G, and the blue image 11B also have a rectangular shape.
  • the adjustment value by inputting an adjustment value, it is possible to shift the image of each RGB color along two directions, the horizontal direction H and the vertical direction V.
  • ⁇ S to 0 to + S S is an integer
  • ⁇ T to 0 to + T T is an integer
  • the adjustment value is 0 for each of the horizontal direction H and the vertical direction V, it is a reference state in which the registration adjustment is not executed.
  • the adjustment value is ⁇ S to 0 with respect to the horizontal direction H, the image is shifted to the left from the reference state.
  • the adjustment value When the adjustment value is 0 to + S, the image is shifted to the right from the reference state.
  • the adjustment value is ⁇ T to 0 with respect to the vertical direction V, the image is shifted downward from the reference state.
  • the adjustment value When the adjustment value is 0 to + T, the image is shifted upward from the reference state.
  • the projector control unit 32 can input an adjustment value to the projector 5. That is, it is possible to change the projection position on the screen 1 for each of the red image 11R, the green image 11G, and the blue image 11B.
  • the adjustment value is set to 0 in both the horizontal direction H and the vertical direction V for each of the red image 11R, the green image 11G, and the blue image 11B.
  • the red image 11R, the green image 11G, and the blue image 11B are projected on the screen 1 in a state where the registration adjustment is not executed.
  • FIG. 4 is a schematic diagram showing a configuration example of an adjustment image.
  • the adjustment image 16 is an image projected to calculate the adjustment parameter.
  • the adjustment image 16 is generated by each of the plurality of light modulation elements 9. Therefore, the plurality of light modulation elements 9 generate a plurality of adjustment images 16.
  • the light modulation element 9R generates an adjustment image 16R composed of red light R.
  • the light modulation element 9G generates an adjustment image 16G composed of green light G.
  • the light modulation element 9B generates an adjustment image 16B composed of blue light B.
  • each of the adjustment images 16R, 16G and 16B is configured as an adjustment parameter calculation area 17.
  • the calculation area 17 can also be called a test pattern or a window detection pattern.
  • a rectangular calculation region 17R is configured in the center of the adjustment image 16R composed of the red light G.
  • a first gradation value is set in the pixel area corresponding to the calculation area 17R and a second gradation value is set in which the other pixel areas are smaller than the first gradation value.
  • the light modulation element 9R is driven. This makes it possible to generate the adjustment image 16A illustrated in FIG. 16A.
  • the maximum gradation value is set as the first gradation value
  • the minimum gradation value is set as the second gradation value.
  • the configuration of the adjustment image 16G composed of the green light G shown in FIGS. 4B and C and the adjustment image 16B composed of the blue light B is the same as the adjustment image 16R composed of the red light G shown in FIG. 4A. Therefore, a rectangular calculation area 17G is formed in the center of the adjustment image 16G. Further, in the center of the adjustment image 16B, a rectangular calculation area 17B is configured. In the adjustment images 16R, 16G, and 16B of each RGB color, the positions and sizes of the calculation areas 17R, 17G, and 17B are equal to each other.
  • the calculation area 17 is configured in the center of the adjustment image 16. This makes it possible to provide a high-quality color image 13 in which color shift is sufficiently suppressed with respect to the central portion of the image that is the most noticeable to the viewer. Further, in the present embodiment, the calculation area 17 is configured to have the same aspect ratio as the image of each RGB color. This enables highly accurate registration adjustment with respect to the central region based on the aspect ratio of the entire image, and improves the quality of the color image 13.
  • the position, shape, size, etc. of the calculation area 17 are not limited and may be set arbitrarily. For example, a calculation area 17 having a polygonal shape such as a triangle or a pentagon may be configured.
  • calculation area 17 having a shape such as a star shape or a circle may be configured. Further, all the areas of the adjustment image 16 may be configured as the calculation area 17. Regarding the projection of the adjustment image 16 in step 102, adjustment of parameters related to projection such as focus may be appropriately executed.
  • FIG. 5 is a schematic diagram showing an example of the adjustment image 16 projected on the screen.
  • the color synthesis prism 10 of the projector 5 simultaneously projects the adjustment images 16R, 17G, and 17B of each RGB color in a superposed state. Then, the image pickup device 20 captures a still image.
  • color shift occurs due to the shift of the projection positions of the adjustment images 16R, 17G, and 17B on the screen 1. Therefore, on the screen 1, a white area where the three colors of RGB overlap, a yellow area where red and green overlap, a cyan area where green and blue overlap, and each RGB color are displayed as they are. It is assumed that an area is generated.
  • FIG. 6 is a schematic diagram showing an example of an captured image 19 in which the adjustment image 16 illustrated in FIG. 5 is captured.
  • the captured image 19 has a plurality of pixels (not shown) arranged along each of two directions orthogonal to each other, and the overall shape is rectangular.
  • the horizontal direction in the figure is the X direction
  • the vertical direction is the Y direction.
  • the X direction is parallel to the horizontal direction H
  • the Y direction is parallel to the vertical direction V. That is, it is assumed that the vertical direction ⁇ horizontal direction of the color image 13 projected by the projector 5 and the vertical direction ⁇ horizontal direction of the captured image 19 captured by the image pickup apparatus 20 are the same direction.
  • the image pickup apparatus 20 captures the white, yellow, cyan, red, green, and blue regions on the screen 1 as they are. That is, information on each RGB color is acquired for each pixel of the captured image 19, and each of these colors is expressed.
  • the information of each RGB color is acquired as a red gradation value, a green gradation value, and a blue gradation value.
  • the gradation value corresponds to a data signal value obtained from the image sensor of the image pickup apparatus 20, and can be said to be a pixel value or a luminance value.
  • the captured image 19 is captured by the information processing device 30. That is, the information processing apparatus 30 acquires the captured image 19.
  • the calculation unit 33 calculates the luminance center position 21 (step 104).
  • the calculation unit 33 calculates the luminance center position 21 of the calculation region 17 of each of the plurality of adjustment images 16 on the screen 1 based on the captured image 19.
  • the luminance center position is the luminance center position on the screen 1 with reference to the luminance of the RGB color calculation regions 17R, 17G, and 17B.
  • the luminance center position of the calculation area 17R is 21R
  • the luminance center position of the calculation area 17G is 21G
  • the luminance center position of the calculation area 17G is 21G.
  • the adjustment image 16 is projected based on the image signal in which the pixel area corresponding to the calculation area 17 is set to the maximum gradation value and the other areas are set to the minimum gradation value.
  • the adjustment image 16 displayed on the screen 1 due to various factors such as the lens characteristics of the projection unit 8 of the projector 5, projection parameters such as zoom, the display characteristics of the screen 1, the distance from the projector 5 to the screen 1, and the like.
  • the brightness situation of is changing.
  • the adjustment parameter is calculated by paying attention to the brightness center position of the calculation area 17 of the adjustment image 16 displayed on the screen 1.
  • FIG. 7 is a schematic diagram for explaining a calculation example of the luminance center position 21.
  • a calculation region 17 for each RGB color is extracted from the captured image 19 based on the color information of each pixel of the captured image 19 shown in FIG.
  • a pixel region having a red gradation value is extracted from the captured image 19.
  • the extracted pixel area corresponds to the image pickup result in which the red calculation area 17R projected on the screen 1 is imaged.
  • the pixel region having the red gradation value and the other pixel regions make it possible to acquire the image capture result of the red adjustment image 16R projected on the screen 1.
  • the image pickup result corresponds to the image pickup image 19R of the red adjustment image 16R imaged by the image pickup apparatus 20. As shown in FIG.
  • a pixel region having a green gradation value is extracted from the captured image 19.
  • the extracted pixel area corresponds to the image pickup result in which the green calculation area 17G projected on the screen 1 is imaged.
  • the pixel region having the green gradation value and the other pixel regions make it possible to acquire the image capture result of the green adjustment image 16G projected on the screen 1.
  • the image pickup result corresponds to the image pickup image 19G of the green adjustment image 16G imaged by the image pickup apparatus 20.
  • a pixel region having a blue gradation value is extracted from the captured image 19.
  • the extracted pixel area corresponds to the image pickup result in which the blue calculation area 17B projected on the screen 1 is imaged.
  • the pixel region having the blue gradation value and the other pixel regions make it possible to acquire the image capture result of the blue adjustment image 16B projected on the screen 1.
  • the image pickup result corresponds to the image pickup image 19B of the blue adjustment image 16B imaged by the image pickup apparatus 20.
  • the binarization process is executed for the captured images 19 of each color shown in FIGS. 7A to 7C.
  • the binarization process is a process of dividing the captured image 19 into a high gradation region and a low gradation region.
  • the specific algorithm of the binarization process is not limited, and for example, a well-known technique may be used. Assuming that the high gradation region calculated by the binarization process is a region corresponding to the calculation region 17, the center position of the high gradation region is calculated as the luminance center position 21 of the calculation region 17. For example, let N be the number of a plurality of pixels included in the high gradation region.
  • FIG. 8 is a schematic diagram for explaining Calculation Example 1.
  • the captured image 19 is an image consisting of 1 to 9 pixels arranged in the X direction and 1 to 5 pixels arranged in the Y direction, for a total of 45 pixels 23.
  • the high gradation region 24 is configured by 23.
  • the luminance center position 21 (Xc, Yc) is as follows.
  • the position represented by the coordinate values of (5, 3) is the luminance center position 21.
  • the binarization process is executed for the captured image 19, the sum of the coordinates having high gradation values is obtained, and the sum is divided by the total number of pixels. This makes it possible to calculate the luminance center position 21.
  • threshold processing is executed for the captured images 19 of each color shown in FIGS. 7A to 7C. Then, pixels having a gradation value larger than a predetermined threshold value are extracted from the captured image 19 of each color. The extracted pixel area is extracted as a corresponding area corresponding to the calculation area 17. The calculation unit 33 calculates the luminance center position of the corresponding region.
  • the threshold value for example, an intermediate gradation value is adopted.
  • the threshold value is not limited to this, and the threshold value may be appropriately set in order to detect the region corresponding to the calculation region 17. For example, let N be the number of a plurality of pixels included in the corresponding area.
  • FIG. 9 is a schematic diagram for explaining calculation example 2.
  • the captured image 19 is an image consisting of 1 to 7 pixels arranged in the X direction and 1 to 4 pixels arranged in the Y direction, for a total of 28 pixels 23.
  • the pixels 23 of the corresponding region 25 are extracted as follows.
  • the numbers in parentheses are (Xi, Yi, Gi). (3,2,125) (4,2,255) (5,2,125) (3,3125) (4,3,255) (5,3,125).
  • the luminance center position 21 (Xc, Yc) is as follows.
  • the position that becomes the coordinate value of (4, 2.5) is the luminance center position 21.
  • the threshold value processing is executed for the captured image 19, and the corresponding region 25 is extracted. Then, the product of the gradation value and the coordinate value is added to the corresponding region 25, and the product is divided by the total of the gradation values. This makes it possible to calculate the luminance center position 21.
  • the area corresponding to the calculation area 17 is extracted by the binarization process, and the geometric center position is calculated as the luminance center position 21.
  • the area corresponding to the calculation area 17 is extracted by the threshold value processing, and the luminance center position 21 is calculated by weighting according to the luminance (gradation value) of each pixel. Comparing Calculation Example 1 and Calculation Example 2, Calculation Example 1 is more advantageous in reducing the amount of calculation. On the other hand, the calculation example 2 is more advantageous for improving the accuracy of the luminance center position 21.
  • the threshold value processing may be omitted. That is, the luminance center position 21 may be calculated with the pixel region where the gradation value of each pixel is larger than 0 as the corresponding region 25.
  • the calculation unit 33 calculates the adjustment value (step 105).
  • the calculation unit 33 calculates an adjustment value for correcting the deviation of the luminance center position 21 of the calculation area 17 of each of the plurality of adjustment images 16. That is, the adjustment value for correcting the deviation of the luminance center positions 21R, 21G, and 21B of the calculation regions 17R, 17G, and 17B of the adjustment images 16R, 16G, and 16B, respectively, is calculated.
  • FIG. 10 is a flowchart showing an example of calculating the adjustment value.
  • the shift amount per unit is calculated (step 201).
  • the shift amount per adjustment value is calculated in the adjustment range of ⁇ S to 0 to + S in the horizontal direction H. Further, the shift amount per adjustment value is calculated in the adjustment range of ⁇ T to 0 to + T in the vertical direction V.
  • the shift amount per unit can be said to be the sensitivity of the adjustment value to the actually projected image.
  • the projector control unit 32 inputs + S, which is the maximum adjustment value in the horizontal direction H, for the adjustment images 16R, 16G, and 16G of each RGB color. Further, + T, which is the maximum value, is input as the adjustment value in the vertical direction V.
  • the captured images 19 of the adjustment images 16R, 16G, and 16B of each RGB color projected in that state are acquired (hereinafter, referred to as the maximum adjustment value image).
  • -S which is the minimum adjustment value in the horizontal direction H, is input to the adjustment images 16R, 16G, and 16G of each RGB color. Further, -T, which is the minimum value, is input as the adjustment value in the vertical direction V.
  • the captured images 16R, 16G, and 16G of the RGB color adjustment images projected in that state are acquired (hereinafter, referred to as the minimum adjustment value image).
  • the shift amount per unit is calculated for each of the adjustment images 16R, 16G, and 16G of each RGB color. That is, the shift amount per adjustment value is calculated for each of the horizontal direction H and the vertical direction V.
  • the difference between the luminance center position 21 in the maximum value adjustment image and the luminance center position 21 in the minimum value adjustment image is calculated.
  • step 201 can be executed by simultaneously displaying the adjustment images 16R, 16G, and 16G of each RGB color and extracting the maximum adjustment value image and the minimum adjustment value image of each RGB color.
  • the amount of deviation of the luminance center position 21 is calculated based on the luminance center positions 21R, 21G, and 21B of the calculation regions 17R, 17G and 17B of each of the RGB colors in the unadjusted state calculated in step 104 of FIG. (Step 202).
  • the relative deviation amounts of the red and blue luminance center positions 21R and 21B with respect to the green luminance center position 21G are calculated.
  • an adjustment value is calculated in which the red and blue luminance center positions 21R and 21B are at the same positions as the green luminance center position 21R (step 203). ). That is, the adjustment values in the horizontal direction H and the vertical direction V for making the red luminance center position 21R the same as the green luminance center position 21G are calculated. Further, adjustment values in the horizontal direction H and the vertical direction V for making the blue luminance center position 21B the same as the green luminance center position 21G are calculated.
  • the adjustment images 16R, 16G, and 16B of each RGB color on the screen 1 in the state where the adjustment value calculated in step 203 is input are imaged (step 204). It is determined whether or not the relative deviation amount of the luminance center position 21 is equal to or less than 1 ⁇ 2 of the shift amount per unit (step 205). Then, the loop of steps 203 to 205 is repeated until the relative deviation amount of the luminance center position 21 is equal to or less than 1 ⁇ 2 of the shift amount per unit. When the relative deviation amount of the luminance center position 21 is less than or equal to 1 ⁇ 2 of the shift amount per unit, the adjustment value input at that time is output as the final adjustment value (step 206). ).
  • steps 205 and 206 may be executed separately for each of the red luminance center position 21R and the blue luminance center position 21B. In this way, the state in which the adjustment value calculated in step 203 is input may be imaged again, and the image pickup result may be fed back. This makes it possible to improve the accuracy of the adjustment value.
  • An upper limit may be set in which the loop of steps 203 to 205 is repeated. For example, it is possible to set the loop to be executed up to 5 times. If the condition of step 205 is not satisfied even if the loop of steps 203 to 205 is repeated the maximum number of times, error notification may be executed via an image, voice, or the like.
  • the final adjustment value is output, the projection of the adjustment images 16R, 16G, and 16B of each RGB color is stopped.
  • the projector control unit 32 inputs the final adjustment value calculated in step 206 to the projector 5. This makes it possible to display the color image 13 on the screen 1 in which the positional deviation of each of the red image 11R, the green image 11G, and the blue image 11B is sufficiently suppressed. That is, it is possible to provide the viewer with a high-quality color image 13 in which color shift is sufficiently suppressed.
  • the adjustment parameter includes any parameter used for adjusting the position of each of the plurality of images on the projectile. In the present embodiment, all of the luminance center positions 21R, 21G, and 21B of the RGB color calculation areas 17R, 17G, and 17B calculated in step 104, and the gradation values calculated in step 105 are used. Included in adjustment parameters.
  • the adjustment parameters also include the amount of deviation between the brightness center positions 21R, 21G, and 21B of each RGB color calculated in step 202, the adjustment value calculated in step 203, and the final adjustment value calculated in step 206. Is done. Therefore, in the flowchart illustrated in FIGS. 3 and 10, a plurality of types of adjustment parameters (luminance center position 21, deviation amount of luminance center position, final adjustment value, etc.) are calculated based on the captured image 19. I can say.
  • the adjustment parameters are calculated based on the captured image 19 in which the adjustment image 16 of each RGB color is captured. Specifically, the adjustment parameter is calculated based on the luminance center position 21 of the calculation area 17 included in the adjustment image 16 displayed on the screen 1.
  • This enables highly accurate registration adjustment. For example, as a test pattern for adjusting registration, it is conceivable to use a grid image composed of a plurality of lines extending in directions orthogonal to each other. Then, it is conceivable to calculate an adjustment value in which the lines and grid points match with respect to the grid image of each RGB color.
  • the lines and their intersections are used as a reference, there may be problems that the lines are not clearly displayed on the screen and that thin lines cannot be accurately imaged by the image pickup device. Then, high-precision registration adjustment becomes difficult.
  • the adjustment image 16 in which at least a part of the region is configured as the calculation region 17 is used. Then, the adjustment value of the registration adjustment is calculated with reference to the luminance center position 21 of the calculation region 17. As a result, for example, even if the image on the screen 1 (particularly the contrast of the edge) is not clear to some extent, the adjustment value can be calculated accurately. In addition, even when the projected image is projected diagonally or the projected image is captured diagonally, it is possible to easily calculate the amount of deviation in the registration adjustment direction (vertical and horizontal directions of the projected image). Become.
  • the deviation direction between the brightness center position 21 of the maximum adjustment value image and the brightness center position 21 of the minimum adjustment value image is an oblique direction with respect to the vertical direction and the horizontal direction of the captured image. ..
  • the shift amount per unit in the diagonal direction it is possible to easily calculate the adjustment value for correcting the deviation of the luminance center position 21 of each RGB color.
  • the calculation region 17 is formed in the center of the adjustment image 16, it is possible to sufficiently suppress the influence of the chromatic aberration of the lens. As a result, highly accurate registration adjustment is realized.
  • the bright portion (the portion where the brightness is high) in the central portion of the lens becomes the calculation area 17, and it is possible to sufficiently suppress the influence of external light on the calculation of the brightness center position and the calculation of the adjustment value.
  • the shift amount per unit a large variation amount from the brightness center position 21 of the maximum adjustment value to the brightness center position 21 of the minimum adjustment value is divided by the total number of scales of the adjustment value, so that the averaged error is small. It is possible to calculate the shift amount per unit. As a result, it is possible to improve the calculation accuracy of the adjustment value.
  • the adjustment parameters are calculated based on the captured image 19 in which a plurality of adjustment images 16 of each RGB color illustrated in FIG. 4 are simultaneously projected.
  • a plurality of adjustment images 16 of each RGB color illustrated in FIG. 4 may be individually projected onto the screen 1 and the adjustment images 16 may be captured one by one.
  • the luminance center position 21 of each RGB color may be calculated based on the captured image.
  • the application of this technique is not limited to registration adjustment that electrically corrects color shift.
  • the present technology is applicable to registration adjustment that adjusts the projection position of the projected image by physically moving the light modulation element or the like.
  • the number of the plurality of light modulation elements is not limited. .. That is, the application of this technology is not limited to the three-panel projector. Further, the present technology is not limited to an image projection device that superimposes and projects images of each color of RGB, and is applicable to an image projection device having any other configuration.
  • the relative deviation amount of the red and blue luminance center positions 21R and 21B from the green luminance center position 21G was calculated with reference to the green luminance center position 21G. Not limited to this, any method may be adopted as a method for calculating the adjustment value for correcting the deviation of the plurality of luminance center positions.
  • the peripheral portion of the color image 13 where the images of each RGB color do not overlap.
  • the peripheral portion of the image has a low degree of attention, and even if such a region occurs, it is considered that the quality of the image is hardly affected.
  • a region when such a region occurs, it is possible to maintain the quality of the color image 13 by controlling the gradation value of the pixels included in the region. For example, in such a region, for example, a process such as setting the gradation value to zero may be executed. Of course, other processing may be executed.
  • FIG. 11 is a block diagram showing a hardware configuration example of the information processing apparatus 30.
  • the information processing apparatus 30 includes a CPU 61, a ROM (Read Only Memory) 62, a RAM 63, an input / output interface 65, and a bus 64 connecting these to each other.
  • a display unit 66, an input unit 67, a storage unit 68, a communication unit 69, a drive unit 70, and the like are connected to the input / output interface 65.
  • the display unit 66 is a display device using, for example, a liquid crystal display, an EL, or the like.
  • the input unit 67 is, for example, a keyboard, a pointing device, a touch panel, or other operation device.
  • the input unit 67 includes a touch panel
  • the touch panel may be integrated with the display unit 66.
  • the storage unit 68 is a non-volatile storage device, for example, an HDD, a flash memory, or other solid-state memory.
  • the drive unit 70 is a device capable of driving a removable recording medium 71 such as an optical recording medium or a magnetic recording tape.
  • the communication unit 69 is a modem, a router, or other communication device for communicating with another device that can be connected to a LAN, WAN, or the like.
  • the communication unit 69 may communicate using either wired or wireless.
  • the communication unit 69 is often used separately from the information processing device 30.
  • Information processing by the information processing apparatus 30 having the hardware configuration as described above is realized by the cooperation between the software stored in the storage unit 68 or the ROM 62 or the like and the hardware resources of the information processing apparatus 30.
  • the information processing method according to the present technology is realized by loading the program constituting the software stored in the ROM 62 or the like into the RAM 63 and executing the program.
  • the program is installed in the information processing apparatus 30 via, for example, the recording medium 61.
  • the program may be installed in the information processing apparatus 30 via a global network or the like.
  • any non-transient storage medium that can be read by a computer may be used.
  • the information processing method and program according to the present technology may be executed and the information processing apparatus according to the present technology may be constructed by the cooperation of a plurality of computers connected so as to be communicable via a network or the like. That is, the information processing method and program according to the present technology can be executed not only in a computer system composed of a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether or not all the components are in the same housing.
  • a plurality of devices housed in separate housings and connected via a network, and one device in which a plurality of modules are housed in one housing are both systems.
  • the information processing method and program execution related to this technology by a computer system are executed, for example, when the acquisition of captured images, the calculation of various adjustment parameters, etc. are executed by a single computer, and each process is executed by a different computer. Includes both when it is done. Further, the execution of each process by a predetermined computer includes having another computer execute a part or all of the process and acquiring the result. That is, the information processing method and program according to the present technology can be applied to a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • expressions using "more” such as “greater than A” and “less than A” include both the concept including the case equivalent to A and the concept not including the case equivalent to A. It is an expression that includes the concept. For example, “greater than A” is not limited to the case where the equivalent of A is not included, and “greater than or equal to A” is also included. Further, “less than A” is not limited to “less than A” and includes “less than or equal to A”. When implementing this technique, specific settings and the like may be appropriately adopted from the concepts included in “greater than A” and “less than A” so that the effects described above can be exhibited.
  • this technology can also adopt the following configurations.
  • (1) Calculates adjustment parameters for adjusting the position of each of the plurality of images on the projectile of an image projection device that superimposes a plurality of images generated by a plurality of light modulation elements and projects the image onto the projectile. It is an information processing device that A calculation unit for calculating the adjustment parameter based on the captured image obtained by capturing the plurality of adjustment images generated by the plurality of light modulation elements and projected onto the projectile is provided. In each of the plurality of adjustment images, at least a part of the region is configured as the adjustment parameter calculation region.
  • the calculation unit is an information processing device that calculates the adjustment parameter based on the luminance center position of the calculation region of each of the plurality of adjustment images on the projectile.
  • the information processing apparatus executes binarization processing for dividing the captured image into a high gradation region and a low gradation region, and sets the center position of the high gradation region corresponding to the calculation region as the luminance center position. Information processing device to calculate.
  • the captured image has a plurality of pixels arranged along each of two directions orthogonal to each other. The two directions are the X direction and the Y direction.
  • the number of a plurality of pixels included in the high gradation region is N,
  • the calculation unit is an information processing device that calculates the luminance center position according to the following formula.
  • the calculation unit is an information processing device that extracts a region of the captured image in which the gradation value is larger than the threshold value as a corresponding region corresponding to the calculation region, and calculates the luminance center position of the corresponding region.
  • the captured image has a plurality of pixels arranged along each of two directions orthogonal to each other. The two directions are the X direction and the Y direction.
  • the number of a plurality of pixels included in the corresponding area is N
  • the information processing apparatus according to any one of (1) to (5).
  • the calculation unit is an information processing device that calculates an adjustment value for correcting a deviation of the luminance center position in the calculation area of each of the plurality of adjustment images.
  • the information processing apparatus according to any one of (1) to (6).
  • the calculation unit is an information processing device that calculates the adjustment parameters based on the captured images in a state where the plurality of adjustment images are simultaneously projected.
  • the information processing apparatus according to any one of (1) to (7).
  • the calculation area is an information processing device configured in the center of the adjustment image.
  • the calculation area is an information processing device having a rectangular shape.
  • the calculation area is an information processing device having the same aspect ratio as each of the plurality of images.
  • the information processing apparatus according to any one of (1) to (10).
  • the plurality of light modulation elements are three light modulation elements.
  • the plurality of images are an information processing device which is a red image, a green image, and a blue image.
  • a computer system adjusts the position of each of the plurality of images on the projectile of an image projection device that superimposes a plurality of images generated by the plurality of light modulation elements and projects the images onto the projectile.
  • An image captured by a plurality of adjustment images generated by the plurality of light modulation elements and projected onto the projectile is acquired.
  • the luminance center position of the adjustment parameter calculation region configured in at least a part of each of the plurality of adjustment images on the projectile is calculated.
  • the information processing method is Calculates adjustment parameters for adjusting the position of each of the plurality of images on the projectile of an image projection device that superimposes a plurality of images generated by a plurality of light modulation elements and projects the image onto the projectile.
  • a program including a step of calculating the adjustment parameter based on the luminance center position of the calculation area of each of the plurality of adjustment images.

Abstract

本技術の一形態に係る情報処理装置は、複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの、前記被投射物上の前記複数の画像の各々の位置を調整するための調整パラメータを算出する情報処理装置であって、算出部を具備する。前記算出部は、前記複数の光変調素子により生成され前記被投射物に投射された複数の調整用画像が撮像された撮像画像に基づいて、前記調整パラメータを算出する。前記複数の調整用画像の各々は、少なくとも一部の領域が前記調整パラメータの算出用領域として構成されている。前記算出部は、前記被投射物上の前記複数の調整用画像の各々が有する前記算出用領域の輝度中心位置に基づいて、前記調整パラメータを算出する。

Description

情報処理装置、情報処理方法、及びプログラム
 本技術は、プロジェクタ等のレジストレーション調整に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
 特許文献1には、3板式のプロジェクタの色ずれを電気的に補正するレジストレーション調整について開示されている。
特開2009-33365号公報
 このようなレジストレーション調整を高精度に実行することを可能とする技術が求められている。
 以上のような事情に鑑み、本技術の目的は、高精度のレジストレーション調整を可能とする情報処理装置、情報処理方法及びプログラムを提供することにある。
 上記目的を達成するため、本技術の一形態に係る情報処理装置は、複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの、前記被投射物上の前記複数の画像の各々の位置を調整するための調整パラメータを算出する情報処理装置であって、算出部を具備する。
 前記算出部は、前記複数の光変調素子により生成され前記被投射物に投射された複数の調整用画像が撮像された撮像画像に基づいて、前記調整パラメータを算出する。
 前記複数の調整用画像の各々は、少なくとも一部の領域が前記調整パラメータの算出用領域として構成されている。
 前記算出部は、前記被投射物上の前記複数の調整用画像の各々が有する前記算出用領域の輝度中心位置に基づいて、前記調整パラメータを算出する。
 この情報処理装置では、複数の調整用画像が撮像された撮像画像に基づいて、調整パラメータが算出される。具体的には、被投射物上に表示された調整用画像に含まれる算出用領域の輝度中心位置に基づいて、調整パラメータが算出される。これにより、高精度のレジストレーション調整が可能となる。
 前記算出部は、前記撮像画像を高階調領域と低階調領域とに区分する2値化処理を実行し、前記算出用領域に対応する前記高階調領域の中心位置を、前記輝度中心位置として算出してもよい。
 前記撮像画像は、互いに直交する2つの方向の各々に沿って並ぶ複数の画素を有してもよい。この場合、前記2つの方向をX方向及びY方向、前記高階調領域に含まれる複数の画素の数をN、前記高階調領域に含まれる複数の画素の各々のXY座標値を(Xi,Yi)(i=1~N)、前記輝度中心位置を(Xc,Yc)とすると、前記算出部は、以下の式に従って前記輝度中心位置を算出してもよい。
 Xc=Σi=1 Xi/N
 Yc=Σi=1 Yi/N
 前記算出部は、前記撮像画像のうち階調値が閾値よりも大きい領域を前記算出用領域に対応する対応領域として抽出し、前記対応領域の輝度中心位置を算出してもよい。
 前記撮像画像は、互いに直交する2つの方向の各々に沿って並ぶ複数の画素を有してもよい。この場合、前記2つの方向をX方向及びY方向、前記対応領域に含まれる複数の画素の数をN、前記対応領域に含まれる複数の画素の各々のXY座標値を(Xi,Yi)(i=1~N)、前記対応領域に含まれる複数の画素の各々の階調値をGi(i=1~N)、
 前記輝度中心位置を(Xc,Yc)とすると、前記算出部は、以下の式に従って前記輝度中心位置を算出してもよい。
 Xc=Σi=1 N(Xi・Gi)/ΣGi
 Yc=Σi=1 N(Yi・Gi)/ΣGi
 前記算出部は、前記複数の調整用画像の各々が有する前記算出用領域の前記輝度中心位置のずれを補正するための調整値を算出してよい。
 前記算出部は、前記複数の調整用画像が同時に投射された状態の前記撮像画像に基づいて、前記調整パラメータを算出してもよい。
 前記算出用領域は、前記調整用画像の中央に構成されてもよい。
 前記算出用領域は、矩形状であってもよい。
 前記算出用領域は、前記複数の画像の各々と同じアスペクト比であってもよい。
 前記複数の光変調素子は、3つの光変調素子であってもよい。この場合、前記複数の画像は、赤色画像、緑色画像、及び青色画像であってもよい。
 本技術の一形態に係る情報処理方法は、コンピュータシステムが、複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの、前記被投射物上の前記複数の画像の各々の位置を調整するための調整パラメータを算出するために実行する情報処理方法であって、前記複数の光変調素子により生成され前記被投射物に投射された複数の調整用画像が撮像された撮像画像を取得することを含む。
 取得された前記撮像画像に基づいて、前記被投射物上の前記複数の調整用画像の各々の少なくとも一部の領域に構成された、前記調整パラメータの算出用領域の輝度中心位置が算出される。
 前記複数の調整用画像の各々が有する前記算出用領域の輝度中心位置に基づいて、前記調整パラメータが算出される。
 本技術の一形態に係るプログラムは、コンピュータシステムに前記情報処理方法を実行させる。
本技術の一実施形態に係るレジストレーション調整システムの構成例を示す模式図である。 プロジェクタの構成例を示す模式図である。 調整パラメータの算出例を示すフローチャートである。 調整用画像の構成例を示す模式図である。 スクリーンに投射された調整用画像の一例を示す模式図である。 調整用画像が撮像された撮像画像の一例を示す模式図である。 輝度中心位置の算出例を説明するための模式図である。 輝度中心位置の算出例を説明するための模式図である。 輝度中心位置の算出例を説明するための模式図である。 調整値の算出例を示すフローチャートである。 情報処理装置のハードウェア構成例を示すブロック図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 [レジストレーション調整システムの構成]
 図1は、本技術の一実施形態に係るレジストレーション調整システムの構成例を示す模式図である。
 レジストレーション調整システム100は、レジストレーション調整の対象となるプロジェクタ5に対して構築される。
 例えば図1に示すように、スクリーン1に対して画像を投射可能にプロジェクタ5が設置される。設置されたプロジェクタ5と、スクリーン1とに対して、レジストレーション調整システム100が構築される。
 図2は、プロジェクタ5の構成例を示す模式図である。
 本実施形態では、いわゆる3板式のプロジェクタが用いられる。
 プロジェクタ5は、光源部6と、画像生成部7と、投射部8とを有する。
 光源部6は、画像生成部7に向かって白色光Wを出射する。
 光源部6には、例えばLED(Light Emitting Diode)やLD(Laser Diode)等の固体光源、又は水銀ランプやキセノンランプ等が配置される。
 例えばRGBの各色の光をそれぞれ出射可能なRGB用の固体光源が用いられ、これらの出射光が合成されて白色光Wが生成されてもよい。
 または、青色の波長帯域の光を出射する固体光源と、青色光により励起されて黄色の蛍光を発する蛍光体とが配置されてもよい。この場合、青色光と黄色光とが合成されて白色光Wが出射される。
 その他、光源部6として任意の構成が採用されてよい。
 画像生成部7は、照明光学系(図示は省略)と、3つの光変調素子9、色合成プリズム10とを有する。
 照明光学系は、光源部6から出射された白色光Wを、赤色光R、緑色光G、及び青色光Bに分割し、3つの光変調素子9に入射させる。
 照明光学系の構成は限定されず、任意に設計されてよい。
 例えば、ダイクロイックミラー等の波長分離素子、偏光板や波長板等の偏光変換素子、リレーレンズやコンデンサレンズ等の種々のレンズ等により、照明光学系を実現することが可能である。
 照明光学系に、白色光Wを均一な輝度分布に整えるための任意のインテグレータ光学系が配置されてもよい。
 3つの光変調素子9は、外部から供給されるRGB各色の画像信号に基づき、入射光を画素毎に変調し、画像を構成する画像光を生成して出射する。なお本開示では、画像光の生成は、画像の生成と同じ意味であるとする。
 図2に示すように、光変調素子9Rにより赤色光Rが変調され、赤色画像11R(赤色画像光12R)が生成される。
 光変調素子9Gにより緑色光Gが変調され、緑色画像11G(緑色画像光12G)が生成される。
 光変調素子9Bにより青色光Bが変調され、青色画像11B(青色画像光12G)が生成される。
 光変調素子9として、例えば液晶パネルやデジタルマイクロミラーデバイス(DMD)等、任意のデバイスが用いられてよい。もちろん透過型の光変調素子及び反射型の光変調素子のいずれに対しても、本技術は適用可能である。
 色合成プリズム10は、3つの光変調素子9により生成された赤色画像11R、緑色画像11G、及び青色画像11Bを重ね合わせて合成し、カラー画像13を生成する。
 すなわち色合成プリズム10により、赤色画像光12R、緑色画像光12G、及び青色画像光12Bが重ね合わされ、カラー画像光14として投射部8に出射される。
 色合成プリズム10としては、例えばダイクロイックプリズム等が用いられる。その他、任意の光合成素子が用いられてもよい。
 投射部8は、色合成プリズム10により合成されたカラー画像13(カラー画像光14)を、所定の倍率に拡大して、スクリーン1に投射する。これによりスクリーン1上にカラー画像13が表示される。
 投射部8は、例えば複数の投射レンズ等を含み、具体的な構成は適宜設計されてよい。
 このように本実施形態では、3つの光変調素子9により生成された赤色画像11R、緑色画像11G、及び青色画像11Bが重ね合わされてスクリーン1に投射される。
 本実施形態において、プロジェクタ5は、複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの一実施形態に相当する。
 3つの光変調素子9は、複数の光変調素子の一実施形態に相当する。
 赤色画像11R、緑色画像11G、及び青色画像11Bは、複数の画像の一実施形態に相当する。
 スクリーン1は、被投射物の一実施形態に相当する。
 図1に示すように、レジストレーション調整システム100は、撮像装置20と、情報処理装置30とを含む。
 撮像装置20と、情報処理装置30とは、有線又は無線を介して、通信可能に接続されている。また情報処理装置30は、プロジェクタ5にも通信可能に接続される。
 各デバイス間の接続形態は限定されず、例えばWiFi等の無線LAN通信や、Bluetooth(登録商標)等の近距離無線通信を利用することが可能である。
 撮像装置20は、プロジェクタ5によりスクリーン1に投射されたカラー画像13を撮像可能に設置される。
 例えば、スクリーン1に投射されたカラー画像13を視聴する視聴者の位置に、撮像装置20が設置される。これにより視聴者に対して、レジストレーションが精度よく調整された高品質な画像を提供することが可能となる。もちろんこれに限定される訳ではない。
 本実施形態では、カラー撮像が可能な撮像可能な撮像装置20が用いられる。すなわち撮像装置20は、画素ごとにRGB各色の情報を取得し、画素ごとに色を表現することが可能である。各色の情報を取得するための構成やアルゴリズムは限定されず、任意に設計されてよい。
 撮像装置20としては、例えばCMOS(Complementary etal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサを備えるデジタルカメラが用いられる。その他の撮像装置が用いられてもよい。
 情報処理装置30は、例えばCPUやGPU、DSP等のプロセッサ、ROMやRAM等のメモリ、HDD等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する(図11参照)。
 例えばCPUがROM等に予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、本技術に係る情報処理方法が実行される。
 例えばPC(Personal Computer)等の任意のコンピュータにより、情報処理装置30を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。
 本実施形態では、CPU等が所定のプログラムを実行することで、機能ブロックとしての撮像制御部31、プロジェクタ制御部32、及び算出部33が構成される。もちろん機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
 プログラムは、例えば種々の記録媒体を介して情報処理装置30にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
 プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
 本技術に係る情報処理装置により、複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの、被投射物上の複数の画像の各々の位置を調整するための調整パラメータを算出することが可能である。
 すなわち図1に示す本実施形態では、情報処理装置30により、プロジェクタ5の、スクリーン1上の赤色画像11R、緑色画像11G、及び青色画像11Bの各々の位置を調整するための調整パラメータを算出することが可能である。
 なお調整パラメータは、被投射物上の複数の画像の各々の位置を調整するために用いられる任意のパラメータを含む。
 図1に示す撮像制御部31は、撮像装置20の撮像動作を制御することが可能である。例えば、ズーム、画角、露光量、シャッタースピード等、撮像に関する種々のパラメータを制御することが可能である。
 プロジェクタ制御部32は、プロジェクタ5の画像を投射する動作を制御することが可能である。本実施形態では、プロジェクタ制御部32により、プロジェクタ5に調整パラメータを算出するための動作を実行させることが可能である。もちろん、プロジェクタ5に、その他の動作を実行させることが可能であってもよい。
 算出部33は、調整パラメータを算出可能であり、詳しくは後述する。
 [調整パラメータの算出]
 図3は、調整パラメータの算出例を示すフローチャートである。
 プロジェクタ制御部32により、レジストレーション調整の調整値がリセットされる(ステップ101)。
 レジストレーション調整の調整値は、スクリーン1に投射される赤色画像11R、緑色画像11G、及び青色画像11Bの各々の位置を調整するための調整値である。プロジェクタ5に調整値を適宜入力することで、スクリーン2上のRGB各色の画像を、独立してシフトさせることが可能である。
 図1に例示するように、本実施形態では、プロジェクタ5により矩形状のカラー画像13が投射される。従って赤色画像11R、緑色画像11G、及び青色画像11Bも矩形状となる。
 本開示では、説明を分かりやすくするために、水平方向H及び垂直方向Vの各々に沿うように、カラー画像13(赤色画像11R、緑色画像11G、青色画像11B)が投射されるとする。もちろん投射されるカラー画像13が、水平方向H及び垂直方向Vに対して斜めに表示される場合でも、本技術は適用可能である。
 本実施形態では調整値を入力することで、RGB各色の画像を、水平方向H及び垂直方向Vの2つの方向に沿ってシフトさせることが可能である。
 例えば、水平方向Hに対して、調整範囲として、-S~0~+S(Sは整数)が規定されているとする。また垂直方向Vに対して、調整範囲として、-T~0~+T(Tは整数)が規定されているとする。
 水平方向H及び垂直方向Vの各々に対して、調整値が0の場合は、レジストレーション調整が実行されていない基準状態となる。
 水平方向Hに対して、調整値が-S~0となる場合には、基準状態から左側に画像がシフトされる。調整値が0~+Sとなる場合には、基準状態から右側に画像がシフトされる。
 垂直方向Vに対して、調整値が-T~0となる場合には、基準状態から下方側に画像がシフトされる。調整値が0~+Tとなる場合には、基準状態から上方側に画像がシフトされる。
 本実施形態では、プロジェクタ制御部32により、プロジェクタ5に調整値を入力することが可能である。すなわち赤色画像11R、緑色画像11G、及び青色画像11Bの各々に対して、スクリーン1上の投射位置を変更させることが可能である。
 ステップ101では、赤色画像11R、緑色画像11G、及び青色画像11Bの各々に対して、水平方向H及び垂直方向Vの両方とも、調整値が0に設定される。これにより、レジストレーション調整が実行されていない状態で、スクリーン1に、赤色画像11R、緑色画像11G、及び青色画像11Bが投射される。
 プロジェクタ制御部32により、プロジェクタ5が制御され、調整用画像が投射される(ステップ102)。
 図4は、調整用画像の構成例を示す模式図である。
 調整用画像16は、調整パラメータを算出するために投射される画像である。
 調整用画像16は、複数の光変調素子9の各々により生成される。従って、複数の光変調素子9により、複数の調整用画像16が生成される。
 本実施形態では、光変調素子9Rにより、赤色光Rからなる調整用画像16Rが生成される。
 光変調素子9Gにより、緑色光Gからなる調整用画像16Gが生成される。
 光変調素子9Bにより、青色光Bからなる調整用画像16Bが生成される。
 図4A~Cに示すように、調整用画像16R、16G及び16Bの各々は、少なくとも一部の領域が、調整パラメータの算出用領域17として構成されている。算出用領域17を、テストパターンやウィンドウ検出パターンと呼ぶことも可能である。
 図4Aに示す例では、赤色光Gからなる調整用画像16Rの中央に、矩形状の算出用領域17Rが構成される。
 例えば、算出用領域17Rに対応する画素領域に第1の階調値が設定され、その他の画素領域が第1の階調値よりも小さい第2の階調値が設定された画像信号に基づいて、光変調素子9Rが駆動される。これにより、図16Aに例示する調整用画像16Aを生成することが可能となる。
 典型的には、第1の階調値として最大階調値が設定され、第2の階調値として最小階調値が設定される。もちろんこれに限定される訳ではない。
 図4B及びCに示す緑色光Gからなる調整用画像16G、及び青色光Bからなる調整用画像16Bの構成は、図4Aに示す赤色光Gからなる調整用画像16Rと同じである。
 従って調整用画像16Gの中央には、矩形状の算出用領域17Gが構成される。また調整用画像16Bの中央には、矩形状の算出用領域17Bが構成される。
 RGB各色の調整用画像16R、16G、及び16Bにおいて、算出用領域17R、17G、及び17Bの位置、及びサイズは、互いに等しい。
 本実施形態では、調整用画像16の中央に算出用領域17が構成される。これにより、視聴者にとって最も注目の対象となる画像の中央部分に対して、色ずれが十分に抑えられた高品質なカラー画像13を提供することが可能となる。
 また本実施形態では、算出用領域17は、RGB各色の画像と同じアスペクト比となるように構成されている。これにより、画像全体のアスペクト比を基準とした中央領域に対して、高精度のレジストレーション調整が可能となり、カラー画像13の品質が向上される。
 なお、算出用領域17の位置、形状、サイズ等は限定されずに、任意に設定されてよい。例えば、3角形や5角形等の多角形の形状を有する算出用領域17が構成されてもよい。また星形や円形等の形状を有する算出用領域17が構成されてもよい。また調整用画像16の全ての領域が算出用領域17として構成されてもよい。
 なおステップ102の調整用画像16の投射について、フォーカス等の投射に関するパラメータの調整は、適宜実行されればよい。
 撮像制御部31により、撮像装置20が制御され、スクリーン1に投射された調整用画像16が撮像される(ステップ103)。
 図5は、スクリーンに投射された調整用画像16の一例を示す模式図である。
 本実施形態では、プロジェクタ5の色合成プリズム10により、RGB各色の調整用画像16R、17G、及び17Bが重ね合わされた状態で同時に投射される。そして撮像装置20により、静止画像が撮像される。
 図5に示すように本実施形態では、スクリーン1上の調整用画像16R、17G、及び17Bの各々の投射位置のずれにより、色ずれが発生しているとする。
 従って、スクリーン1上には、RGBの3色が重なっている白色の領域、赤色と緑色とが重なっている黄色の領域、緑色と青色が重なっているシアンの領域、及びRGB各色がそのまま表示される領域が発生しているとする。
 図6は、図5に例示する調整用画像16が撮像された撮像画像19の一例を示す模式図である。
 撮像画像19は、互いに直交する2つの方向の各々に沿って並ぶ複数の画素(図示は省略)を有し、全体形状は矩形となる。
 ここで2つの方向のうち、図中の横方向をX方向とし、縦方向をY方向とする。また説明を分かりやすくするために、X方向は水平方向Hと平行であり、Y方向は垂直方向Vと平行であるとする。
 すなわち、プロジェクタ5により投射されるカラー画像13の縦方向×横方向と、撮像装置20により撮像される撮像画像19の縦方向×横方向はそれぞれ同じ方向であるとする。もちろん本技術の適用が、そのような場合に限定される訳ではない。
 上記したように本実施形態では、撮像装置20により、カラー撮像が可能である。従って、撮像装置20により、スクリーン1上の白色、黄色、シアン、赤色、緑色、青色の各々の領域がそのまま撮像される。すなわち、撮像画像19の各画素に対して、RGB各色の情報が取得され、これらの各色が表現される。
 本実施形態では、RGB各色の情報は、赤色の階調値、緑色の階調値、及び青色の階調値として取得される。なお階調値は、撮像装置20のイメージセンサから得られるデータ信号値に相当し、画素値や輝度値ともいえる。
 撮像された撮像画像19は、情報処理装置30に取り込まれる。すなわち情報処理装置30は、撮像画像19を取得する。
 算出部33により、輝度中心位置21が算出される(ステップ104)。
 本実施形態では、算出部33により、撮像画像19に基づいて、スクリーン1上の複数の調整用画像16の各々が有する算出用領域17の輝度中心位置21が算出される。
 輝度中心位置は、スクリーン1上の、RGB各色の算出用領域17R、17G、及び17Bの輝度を基準とした中心位置である。
 本実施形態では、算出用領域17Rの輝度中心位置が21R、算出用領域17Gの輝度中心位置が21G、及び算出用領域17Gの輝度中心位置が21Gの各々が算出される。
 例えば、算出用領域17に対応する画素領域が最大階調値に設定され、その他の領域が最小階調値に設定された画像信号に基づいて、調整用画像16が投射されたとする。この場合、プロジェクタ5の投射部8のレンズ特性、ズーム等の投射パラメータ、スクリーン1の表示特性、プロジェクタ5からスクリーン1までの距離等、種々の要因により、スクリーン1に表示される調整用画像16の輝度状況は変わってくる。
 本実施形態では、スクリーン1に表示される調整用画像16の算出用領域17の輝度中心位置に着目して、調整パラメータが算出される。
 図7は、輝度中心位置21の算出例を説明するための模式図である。
 まず図6に示す撮像画像19の各画素の色情報に基づいて、撮像画像19から、RGB各色の算出用領域17が抽出される。
 図7Aに示すように、撮像画像19から赤色の階調値を有する画素領域が抽出される。抽出された画素領域は、スクリーン1に投射された赤色の算出用領域17Rが撮像された撮像結果に相当する。赤色の階調値を有する画素領域と、その他の画素領域とにより、スクリーン1に投射された赤色の調整用画像16Rが撮像された撮像結果を取得することが可能となる。当該撮像結果は、撮像装置20により撮像された赤色の調整用画像16Rの撮像画像19Rに相当する。
 図7Bに示すように、撮像画像19から緑色の階調値を有する画素領域が抽出される。抽出された画素領域は、スクリーン1に投射された緑色の算出用領域17Gが撮像された撮像結果に相当する。緑色の階調値を有する画素領域と、その他の画素領域とにより、スクリーン1に投射された緑色の調整用画像16Gが撮像された撮像結果を取得することが可能となる。当該撮像結果は、撮像装置20により撮像された緑色の調整用画像16Gの撮像画像19Gに相当する。
 図7Cに示すように、撮像画像19から青色の階調値を有する画素領域が抽出される。抽出された画素領域は、スクリーン1に投射された青色の算出用領域17Bが撮像された撮像結果に相当する。青色の階調値を有する画素領域と、その他の画素領域とにより、スクリーン1に投射された青色の調整用画像16Bが撮像された撮像結果を取得することが可能となる。当該撮像結果は、撮像装置20により撮像された青色の調整用画像16Bの撮像画像19Bに相当する。
 [輝度中心位置の算出例1]
 算出用領域17の輝度中心位置21の算出例1を説明する。
 なお、RGB各色の算出用領域17を区別することなく、同じ算出方法にて輝度中心位置21を算出することが可能である。従って、色の区別なく、輝度中心位置21の算出例1を説明する。
 まず、図7A~Cに示す各色の撮像画像19に対して、2値化処理が実行される。
 2値化処理は、撮像画像19を高階調領域と低階調領域とに区分する処理である。2値化処理の具体的なアルゴリズムは限定されず、例えば周知の技術が用いられてよい。
 2値化処理により算出される高階調領域を算出用領域17に対応する領域であるとして、当該高階調領域の中心位置が、算出用領域17の輝度中心位置21として算出される。
 例えば、高階調領域に含まれる複数の画素の数をNとする。
 高階調領域に含まれる複数の画素の各々のXY座標値を(Xi,Yi)(i=1~N)とする。
 輝度中心位置21を(Xc,Yc)とする。
 この場合、算出部33は、以下の式に従って輝度中心位置21を算出する
 Xc=Σi=1 Xi/N
 Yc=Σi=1 Yi/N
 図8は、算出例1を説明するための模式図である。
 図8に示す例では、撮像画像19が、X方向に並ぶ1~9画素、Y方向に並ぶ1~5画素の合計45個の画素23からなる画像であるとする。
 撮像画像19に対して2値化処理が実行された結果、(3,2)(4,2)(5,2)(6,2)(7,2)(3,3)(4,3)(5,3)(6,3)(7,3)(3,4)(4,4)(5,4)(6,4)(7,4)の座標値となる15個の画素23により、高階調領域24が構成されたとする。
 この場合、輝度中心位置21(Xc,Yc)は、以下の通りになる。
 Xc=(3+4+5+6+7+3+4+5+6+7+3+4+5+6+7)/15=5
 Yc=(2+2+2+2+2+3+3+3+3+3+4+4+4+4+4)/15=3
 すなわち(5,3)の座標値で表される位置が、輝度中心位置21となる。
 このように本算出例1では、撮像画像19に対して2値化処理が実行され、高階調値となる座標の和が求められ、画素の総数で割られる。これにより輝度中心位置21を算出することが可能である。
 [輝度中心位置の算出例2]
 算出用領域17の輝度中心位置21の算出例2を説明する。
 なお、RGB各色の算出用領域17を区別することなく、同じ算出方法にて輝度中心位置21を算出することが可能である。従って、色の区別なく、輝度中心位置21の算出例1を説明する。
 まず、図7A~Cに示す各色の撮像画像19に対して、閾値処理が実行される。そして各色の撮像画像19から、階調値が所定の閾値よりも大きい画素が抽出される。抽出された画素領域が、算出用領域17に対応する対応領域として抽出される。
 算出部33により、対応領域の輝度中心位置が算出される。
 閾値としては、例えば中間の階調値が採用される。これに限定されず、閾値は、算出用領域17に対応する領域を検出するために適宜設定されればよい。
 例えば、対応領域に含まれる複数の画素の数をNとする。
 対応領域に含まれる複数の画素の各々のXY座標値を(Xi,Yi)(i=1~N)とする。
 対応領域に含まれる複数の画素の各々の階調値をGi(i=1~N)とする。
 輝度中心位置21を(Xc,Yc)とする。
 この場合、算出部33は、以下の式に従って輝度中心位置21を算出する。
 Xc=Σi=1 N(Xi・Gi)/ΣGi
 Yc=Σi=1 N(Yi・Gi)/ΣGi
 図9は、算出例2を説明するための模式図である。
 図9に示す例では、撮像画像19が、X方向に並ぶ1~7画素、Y方向に並ぶ1~4画素の合計28個の画素23からなる画像であるとする。
 撮像画像19に対して閾値処理が実行された結果、以下のように対応領域25の画素23が抽出されたとする。なお括弧内の数字は、(Xi,Yi,Gi)である。
 (3,2,125)(4,2,255)(5,2,125)(3,3,125)(4,3,255)(5,3,125)。
 この場合、輝度中心位置21(Xc,Yc)は、以下の通りになる。
 Xc=(3×125+4×255+5×125+3×125+4×255+5×125)/(125+255+125+125+255+125)=4
 Yc=(2×125+2×255+2×125+3×125+3×255+3×125)/(125+255+125+125+255+125)=2.5
 すなわち(4,2.5)の座標値となる位置が、輝度中心位置21となる。
 このように本算出例2では、撮像画像19に対して閾値処理が実行され、対応領域25が抽出される。そして、対応領域25に対して階調値と座標値との積が加算され、階調値の合計で割られる。これにより輝度中心位置21を算出することが可能である。
 算出例1の場合は、2値化処理により算出用領域17に対応する領域が抽出され、幾何的な中心位置が輝度中心位置21として算出される。
 算出例2では、閾値処理により算出用領域17に対応する領域が抽出され、各画素の輝度(階調値)に応じた重み付けにより、輝度中心位置21が算出される。
 算出例1と算出例2とを比較すると、算出例1の方が演算量の削減に有利である。一方、算出例2の方が、輝度中心位置21の精度向上に有利である。
 なお算出例2において、閾値処理が省略されてもよい。すなわち、各画素の階調値が0よりも大きくなる画素領域を対応領域25として輝度中心位置21が算出されてもよい。
 図3に戻り、算出部33により、調整値が算出される(ステップ105)。
 本実施形態では、算出部33により、複数の調整用画像16の各々が有する算出用領域17の輝度中心位置21のずれを補正するための調整値が算出される。
 すなわち、調整用画像16R、16G、及び16Bの各々が有する算出用領域17R、17G、及び17Bの輝度中心位置21R、21G、及び21Bのずれを補正するための調整値が算出される。
 図10は、調整値の算出例を示すフローチャートである。
 単位当たりのシフト量が算出される(ステップ201)。
 本実施形態では、水平方向Hにおける-S~0~+Sの調整範囲において、1調整値当たりのシフト量が算出される。また垂直方向Vにおける-T~0~+Tの調整範囲において、1調整値当たりのシフト量が算出される。
 単位当たりのシフト量は、実際に投射されている画像に対する調整値の感度ともいえる。
 プロジェクタ制御部32により、RGB各色の調整用画像16R、16G、及び16Gに対して、水平方向Hにおける調整値として最大値である+Sが入力される。また垂直方向Vにおける調整値として最大値である+Tが入力される。その状態で投射されたRGB各色の調整用画像16R、16G及び16Bの撮像画像19が取得される(以下、最大調整値画像とする)。
 次に、RGB各色の調整用画像16R、16G、及び16Gに対して、水平方向Hにおける調整値として最小値である-Sが入力される。また垂直方向Vにおける調整値として最小値である-Tが入力される。その状態で投射されたRGB各色の調整用画像16R、16G、及び16Gの撮像画像19が取得される(以下、最小調整値画像とする)。
 取得された最大値調整用画像及び最小値調整用画像を比較することで、RGB各色の調整用画像16R、16G、及び16Gの各々について、単位当たりのシフト量が算出される。すなわち水平方向H及び垂直方向Vの各々について、1調整値当たりのシフト量が算出される。
 例えば、RGB各色の調整用画像16R、16G、及び16Gに対して、最大値調整用画像における輝度中心位置21と、最小値調整用画像における輝度中心位置21との差が算出される。算出された差が、調整範囲(-S~0~+S、-T~0~+T)の総目盛り数で割られる。これにより、1調整値当たりのシフト量を算出することが可能である。
 なおステップ201は、RGB各色の調整用画像16R、16G、及び16Gを同時に表示し、RGB各色の最大調整値画像及び最小値調整用画像を抽出することで実行することが可能である。
 図3のステップ104で算出された未調整の状態のRGB各色の算出用領域17R,17G、及び17Bの輝度中心位置21R、21G、及び21Bに基づいて、輝度中心位置21のずれ量が算出される(ステップ202)。
 本実施形態では、緑色の輝度中心位置21Gに対する、赤色及び青色の各々の輝度中心位置21R及び21Bの相対的なずれ量が算出される。
 ステップ201にて算出された単位当たりのシフト量に基づいて、赤色及び青色の各々の輝度中心位置21R及び21Bが、緑色の輝度中心位置21Rと同じ位置となる調整値が算出される(ステップ203)。
 すなわち、赤色の輝度中心位置21Rを緑色の輝度中心位置21Gと同じ位置にするための、水平方向H及び垂直方向Vにおける調整値が算出される。
 また、青色の輝度中心位置21Bを緑色の輝度中心位置21Gと同じ位置にするための、水平方向H及び垂直方向Vにおける調整値が算出される。
 ステップ203にて算出された調整値が入力された状態の、スクリーン1上のRGB各色の調整用画像16R、16G、及び16Bが撮像される(ステップ204)。
 輝度中心位置21の相対的なずれ量が、単位当たりのシフト量の1/2の大きさ以下となるか否かが判定される(ステップ205)。そして、輝度中心位置21の相対的なずれ量が、単位当たりのシフト量の1/2の大きさ以下となるまで、ステップ203~205のループが繰り返される。
 輝度中心位置21の相対的なずれ量が、単位当たりのシフト量の1/2の大きさ以下となった場合、その時に入力されている調整値が、最終調整値として出力される(ステップ206)。
 なお、ステップ205及び206は、赤色の輝度中心位置21R、及び青色の輝度中心位置21Bの各々に対して、別個に実行されてよい。
 このように、ステップ203により算出された調整値が入力された状態が再度撮像され、その撮像結果がフィードバックされてもよい。これにより、調整値の精度向上を図ることが可能となる。
 ステップ203~205のループが繰り返される上限数が設定されてもよい。例えば、ループを実行するのは最大5回までといった設定も可能である。ステップ203~205のループが最大の回数繰り返されてもステップ205の条件が満たされない場合は、画像や音声等を介してエラー通知が実行されてもよい。
 最終調整値が出力されると、RGB各色の調整用画像16R、16G、及び16Bの投射が停止される。
 プロジェクタ制御部32により、プロジェクタ5に、ステップ206にて算出された最終調整値が入力される。これにより、スクリーン1上に、赤色画像11R、緑色画像11G、及び青色画像11Bの各々の位置ずれが十分に抑えられたカラー画像13を表示することが可能となる。すなわち視聴者に対して、色ずれが十分に抑えられた高品質なカラー画像13を提供することが可能となる。
 なお上記したように、調整パラメータは、被投射物上の複数の画像の各々の位置を調整するために用いられる任意のパラメータを含む。
 本実施形態では、ステップ104にて算出されるRGB各色の算出用領域17R、17G、及び17Bの輝度中心位置21R、21G、及び21B、ステップ105にて算出される階調値のいずれもが、調整パラメータに含まれる。
 またステップ202にて算出されるRGB各色の輝度中心位置21R、21G、及び21Bのずれ量、ステップ203にて算出される調整値、ステップ206にて算出される最終調整値も、調整パラメータに含まれる。
 従って、図3及び図10に例示するフローチャートは、撮像画像19に基づて複数の種類の調整パラメータ(輝度中心位置21、輝度中心位置のずれ量、最終調整値等)が算出される処理ともいえる。
 以上、本実施形態に係るレジストレーション調整システム100及び情報処理装置30では、RGB各色の調整用画像16が撮像された撮像画像19に基づいて、調整パラメータが算出される。具体的には、スクリーン1上に表示された調整用画像16に含まれる算出用領域17の輝度中心位置21に基づいて、調整パラメータが算出される。これにより、高精度のレジストレーション調整が可能となる。
 例えば、レジストレーションを調整するためのテストパターンとして、互いに直交する方向に延在する複数の線により構成される格子画像を用いることが考えられる。そして、RGB各色の格子画像に対して、線や格子点が一致する調整値を算出するといった処理も考えられる。
 しかしながら線やその交点を基準とした場合、スクリーン上に線が明確に表示されない場合や、細い線を撮像装置により精度よく撮像できないといった問題点が発生し得る。そうすると、高精度のレジストレーション調整が難しくなる。
 本実施形態、少なくとも一部の領域が算出用領域17として構成された調整用画像16が用いられる。そして、算出用領域17の輝度中心位置21を基準として、レジストレーション調整の調整値が算出される。
 これにより、例えば、スクリーン1上の画像(特にエッジのコントラスト)が多少クリアでなくても、調整値を精度よく算出することが可能となる。
 また、投射画像が斜めに投射される、あるいは投射画像が斜めに撮像される場合でも、レジストレーションの調整方向(投射画像の縦方向及び横方向)のずれ量を容易に算出することが可能となる。
 例えば、撮像画像において、最大調整値画像の輝度中心位置21と、最小調整値画像の輝度中心位置21のずれ方向が、撮像画像の縦方向及び横方向に対して斜めの方向となっていたとする。この場合でも、当該斜め方向において単位当たりのシフト量を算出することで、RGB各色の輝度中心位置21のずれを補正するための調整値を容易に算出することが可能となる。
 また本実施形態では、調整用画像16の中央に算出用領域17が構成されるので、レンズの色収差の影響を十分に抑制することが可能となる。この結果、高精度のレジストレーション調整が実現される。またレンズ中央部の明るい部分(輝度が高くなる部分)が算出用領域17となり、輝度中心位置の算出や調整値の算出について、外光の影響を十分に抑制することが可能となる。
 また本実施形態では、最大調整値画像及び最小調整値画像を比較することで、単位当たりのシフト量を容易に算出することが可能である。また、単位当たりのシフト量として、最大調整値の輝度中心位置21から最小調整値の輝度中心位置21までの大きな変異量を調整値の総目盛数で割ることにより、平均化された誤差の少ない単位当たりのシフト量を算出することが可能となる。この結果、調整値の算出精度の向上を図ることが可能となる。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 上記の実施形態では、図4に例示するRGB各色の複数の調整用画像16が同時に投射された状態の撮像画像19に基づいて、調整パラメータが算出される。これにより撮像回数を短縮することが可能となり、処理時間の短縮を図ることが可能となる。
 もちろん、図4に例示するRGB各色の複数の調整用画像16を個別にスクリーン1に投射し、1枚ずつ調整用画像16が撮像されてもよい。そして、その撮像画像に基づいて、RGB各色の輝度中心位置21が算出されてもよい。
 本技術の適用が、色ずれを電気的に補正するレジストレーション調整に限定される訳ではない。例えば、光変調素子等を物理的に移動させることで、投射される画像の投射位置を調整するレジストレーション調整に対しても、本技術は適用可能である
 複数の光変調素子の数は限定されない。すなわち本技術の適用が、3板式のプロジェクタに限定される訳ではない。またRGBの各色の画像を重ね合わせて投射する画像投射デバイスに限定されず、他の任意の構成を有する画像投射デバイスに対して、本技術は適用可能である。
 上記では、緑色の輝度中心位置21Gを基準として、赤色及び青色の輝度中心位置21R及び21Bの、緑色の輝度中心位置21Gからの相対的なずれ量が算出された。これに限定されず、複数の輝度中心位置のずれを補正するための調整値を算出する方法として、任意の方法が採用されてよい。
 例えば、ステップ206にて出力される最終調整値をプロジェクタ5に入力することで、色ずれのない高品質なカラー画像13を提供することが可能である。一方で、レジストレーション調整により、カラー画像13の周辺部において、RGB各色の画像が重ならない領域が発生する可能性があり得る。例えば、中心部分の色ずれをなくすために青色画像を右上方側にシフトさせたとする。この場合、カラー画像13の右下の周辺部にて、青色画像が重ならない領域が発生し得る。
 一方で、視聴者にとって、画像の周辺部は注目度が低く、そのような領域が発生したとしても、画像の品質にはほとんど影響がないと考えられる。
 また、そのような領域が発生した場合、当該領域に含まれる画素の階調値を制御することで、カラー画像13の品質を維持することが可能となる。例えば、例えばそのような領域においては、階調値をゼロにするといった処理が実行されればよい。もちろんその他の処理が実行されてもよい。
 図11は、情報処理装置30のハードウェア構成例を示すブロック図である。
 情報処理装置30は、CPU61、ROM(Read Only Memory)62、RAM63、入出力インタフェース65、及びこれらを互いに接続するバス64を備える。入出力インタフェース65には、表示部66、入力部67、記憶部68、通信部69、及びドライブ部70等が接続される。
 表示部66は、例えば液晶、EL等を用いた表示デバイスである。入力部67は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部67がタッチパネルを含む場合、そのタッチパネルは表示部66と一体となり得る。
 記憶部68は、不揮発性の記憶デバイスであり、例えばHDD、フラッシュメモリ、その他の固体メモリである。ドライブ部70は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体71を駆動することが可能なデバイスである。
 通信部69は、LAN、WAN等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部69は、有線及び無線のどちらを利用して通信するものであってもよい。通信部69は、情報処理装置30とは別体で使用される場合が多い。
 上記のようなハードウェア構成を有する情報処理装置30による情報処理は、記憶部68またはROM62等に記憶されたソフトウェアと、情報処理装置30のハードウェア資源との協働により実現される。具体的には、ROM62等に記憶された、ソフトウェアを構成するプログラムをRAM63にロードして実行することにより、本技術に係る情報処理方法が実現される。
 プログラムは、例えば記録媒体61を介して情報処理装置30にインストールされる。あるいは、グローバルネットワーク等を介してプログラムが情報処理装置30にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
 ネットワーク等を介して通信可能に接続された複数のコンピュータが協働することで、本技術に係る情報処理方法及びプログラムが実行され、本技術に係る情報処理装置が構築されてもよい。
 すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。
 なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば、撮像画像の取得、種々の調整パラメータの算出等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 各図面を参照して説明したレジストレーション調整システム、プロジェクタ、撮像装置、情報処理装置等の各構成、各処理フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
 本開示において、「略」という文言が使用される場合、これはあくまで説明の理解を容易とするための使用であり、「略」という文言の使用/不使用に特別な意味があるわけではない。
 すなわち、本開示において、「中心」「中央」「均一」「等しい」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。
 例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
 従って、「略」の文言が付加されていない場合でも、いわゆる「略」を付加して表現される概念が含まれ得る。反対に、「略」を付加して表現された状態について、完全な状態が排除される訳ではない。
 本開示において、「Aより大きい」「Aより小さい」といった「より」を使った表現は、Aと同等である場合を含む概念と、Aと同等である場合を含なまい概念の両方を包括的に含む表現である。例えば「Aより大きい」は、Aと同等は含まない場合に限定されず、「A以上」も含む。また「Aより小さい」は、「A未満」に限定されず、「A以下」も含む。
 本技術を実施する際には、上記で説明した効果が発揮されるように、「Aより大きい」及び「Aより小さい」に含まれる概念から、具体的な設定等を適宜採用すればよい。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 なお、本技術は以下のような構成も採ることができる。
(1)
 複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの、前記被投射物上の前記複数の画像の各々の位置を調整するための調整パラメータを算出する情報処理装置であって、
 前記複数の光変調素子により生成され前記被投射物に投射された複数の調整用画像が撮像された撮像画像に基づいて、前記調整パラメータを算出する算出部を具備し、
 前記複数の調整用画像の各々は、少なくとも一部の領域が前記調整パラメータの算出用領域として構成されており、
 前記算出部は、前記被投射物上の前記複数の調整用画像の各々が有する前記算出用領域の輝度中心位置に基づいて、前記調整パラメータを算出する
 情報処理装置。
(2)(1)に記載の情報処理装置であって、
 前記算出部は、前記撮像画像を高階調領域と低階調領域とに区分する2値化処理を実行し、前記算出用領域に対応する前記高階調領域の中心位置を、前記輝度中心位置として算出する
 情報処理装置。
(3)(2)に記載の情報処理装置であって、
 前記撮像画像は、互いに直交する2つの方向の各々に沿って並ぶ複数の画素を有し、
 前記2つの方向をX方向及びY方向、
 前記高階調領域に含まれる複数の画素の数をN、
 前記高階調領域に含まれる複数の画素の各々のXY座標値を(Xi,Yi)(i=1~N)、
 前記輝度中心位置を(Xc,Yc)とすると、
 前記算出部は、以下の式に従って前記輝度中心位置を算出する
 情報処理装置。
 Xc=Σi=1 Xi/N
 Yc=Σi=1 Yi/N
(4)(1)に記載の情報処理装置であって、
 前記算出部は、前記撮像画像のうち階調値が閾値よりも大きい領域を前記算出用領域に対応する対応領域として抽出し、前記対応領域の輝度中心位置を算出する
 情報処理装置。
(5)(4)に記載の情報処理装置であって、
 前記撮像画像は、互いに直交する2つの方向の各々に沿って並ぶ複数の画素を有し、
 前記2つの方向をX方向及びY方向、
 前記対応領域に含まれる複数の画素の数をN、
 前記対応領域に含まれる複数の画素の各々のXY座標値を(Xi,Yi)(i=1~N)、
 前記対応領域に含まれる複数の画素の各々の階調値をGi(i=1~N)、
 前記輝度中心位置を(Xc,Yc)とすると、
 前記算出部は、以下の式に従って前記輝度中心位置を算出する
 情報処理装置。
 Xc=Σi=1 N(Xi・Gi)/ΣGi
 Yc=Σi=1 N(Yi・Gi)/ΣGi
(6)(1)から(5)のうちいずれか1つに記載の情報処理装置であって、
 前記算出部は、前記複数の調整用画像の各々が有する前記算出用領域の前記輝度中心位置のずれを補正するための調整値を算出する
 情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
 前記算出部は、前記複数の調整用画像が同時に投射された状態の前記撮像画像に基づいて、前記調整パラメータを算出する
 情報処理装置。
(8)(1)から(7)のうちいずれか1つに記載の情報処理装置であって、
 前記算出用領域は、前記調整用画像の中央に構成される
 情報処理装置。
(9)(1)から(8)のうちいずれか1つに記載の情報処理装置であって、
 前記算出用領域は、矩形状である
 情報処理装置。
(10)(9)に記載の情報処理装置であって、
 前記算出用領域は、前記複数の画像の各々と同じアスペクト比である
 情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
 前記複数の光変調素子は、3つの光変調素子であり、
 前記複数の画像は、赤色画像、緑色画像、及び青色画像である
 情報処理装置。
(12)
 コンピュータシステムが、複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの、前記被投射物上の前記複数の画像の各々の位置を調整するための調整パラメータを算出するために実行する情報処理方法であって、
 前記複数の光変調素子により生成され前記被投射物に投射された複数の調整用画像が撮像された撮像画像を取得し、
 取得された前記撮像画像に基づいて、前記被投射物上の前記複数の調整用画像の各々の少なくとも一部の領域に構成された、前記調整パラメータの算出用領域の輝度中心位置を算出し、
 前記複数の調整用画像の各々が有する前記算出用領域の輝度中心位置に基づいて、前記調整パラメータを算出する
 情報処理方法。
(13)
 コンピュータシステムに情報処理方法を実行させるプログラムであって、
 前記情報処理方法は、
  複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの、前記被投射物上の前記複数の画像の各々の位置を調整するための調整パラメータを算出するために実行される情報処理方法であって、
  前記複数の光変調素子により生成され前記被投射物に投射された複数の調整用画像が撮像された撮像画像を取得するステップと、
  取得された前記撮像画像に基づいて、前記被投射物上の前記複数の調整用画像の各々の少なくとも一部の領域に構成された、前記調整パラメータの算出用領域の輝度中心位置を算出するステップと、
  前記複数の調整用画像の各々が有する前記算出用領域の輝度中心位置に基づいて、前記調整パラメータを算出するステップと
 を含む
 プログラム。
 1…スクリーン
 5…プロジェクタ
 9…光変調素子
 11R…赤色画像
 11G…緑色画像
 11B…青色画像
 13…カラー画像
 16…調整用画像
 17…算出用領域
 19…撮像画像
 20…撮像装置
 21…輝度中心位置
 23…画素
 24…高階調領域
 25…対応領域
 30…情報処理装置
 100…レジストレーション調整システム

Claims (13)

  1.  複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの、前記被投射物上の前記複数の画像の各々の位置を調整するための調整パラメータを算出する情報処理装置であって、
     前記複数の光変調素子により生成され前記被投射物に投射された複数の調整用画像が撮像された撮像画像に基づいて、前記調整パラメータを算出する算出部を具備し、
     前記複数の調整用画像の各々は、少なくとも一部の領域が前記調整パラメータの算出用領域として構成されており、
     前記算出部は、前記被投射物上の前記複数の調整用画像の各々が有する前記算出用領域の輝度中心位置に基づいて、前記調整パラメータを算出する
     情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記算出部は、前記撮像画像を高階調領域と低階調領域とに区分する2値化処理を実行し、前記算出用領域に対応する前記高階調領域の中心位置を、前記輝度中心位置として算出する
     情報処理装置。
  3.  請求項2に記載の情報処理装置であって、
     前記撮像画像は、互いに直交する2つの方向の各々に沿って並ぶ複数の画素を有し、
     前記2つの方向をX方向及びY方向、
     前記高階調領域に含まれる複数の画素の数をN、
     前記高階調領域に含まれる複数の画素の各々のXY座標値を(Xi,Yi)(i=1~N)、
     前記輝度中心位置を(Xc,Yc)とすると、
     前記算出部は、以下の式に従って前記輝度中心位置を算出する
     情報処理装置。
     Xc=Σi=1 Xi/N
     Yc=Σi=1 Yi/N
  4.  請求項1に記載の情報処理装置であって、
     前記算出部は、前記撮像画像のうち階調値が閾値よりも大きい領域を前記算出用領域に対応する対応領域として抽出し、前記対応領域の輝度中心位置を算出する
     情報処理装置。
  5.  請求項4に記載の情報処理装置であって、
     前記撮像画像は、互いに直交する2つの方向の各々に沿って並ぶ複数の画素を有し、
     前記2つの方向をX方向及びY方向、
     前記対応領域に含まれる複数の画素の数をN、
     前記対応領域に含まれる複数の画素の各々のXY座標値を(Xi,Yi)(i=1~N)、
     前記対応領域に含まれる複数の画素の各々の階調値をGi(i=1~N)、
     前記輝度中心位置を(Xc,Yc)とすると、
     前記算出部は、以下の式に従って前記輝度中心位置を算出する
     情報処理装置。
     Xc=Σi=1 N(Xi・Gi)/ΣGi
     Yc=Σi=1 N(Yi・Gi)/ΣGi
  6.  請求項1に記載の情報処理装置であって、
     前記算出部は、前記複数の調整用画像の各々が有する前記算出用領域の前記輝度中心位置のずれを補正するための調整値を算出する
     情報処理装置。
  7.  請求項1に記載の情報処理装置であって、
     前記算出部は、前記複数の調整用画像が同時に投射された状態の前記撮像画像に基づいて、前記調整パラメータを算出する
     情報処理装置。
  8.  請求項1に記載の情報処理装置であって、
     前記算出用領域は、前記調整用画像の中央に構成される
     情報処理装置。
  9.  請求項1に記載の情報処理装置であって、
     前記算出用領域は、矩形状である
     情報処理装置。
  10.  請求項9に記載の情報処理装置であって、
     前記算出用領域は、前記複数の画像の各々と同じアスペクト比である
     情報処理装置。
  11.  請求項1に記載の情報処理装置であって、
     前記複数の光変調素子は、3つの光変調素子であり、
     前記複数の画像は、赤色画像、緑色画像、及び青色画像である
     情報処理装置。
  12.  コンピュータシステムが、複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの、前記被投射物上の前記複数の画像の各々の位置を調整するための調整パラメータを算出するために実行する情報処理方法であって、
     前記複数の光変調素子により生成され前記被投射物に投射された複数の調整用画像が撮像された撮像画像を取得し、
     取得された前記撮像画像に基づいて、前記被投射物上の前記複数の調整用画像の各々の少なくとも一部の領域に構成された、前記調整パラメータの算出用領域の輝度中心位置を算出し、
     前記複数の調整用画像の各々が有する前記算出用領域の輝度中心位置に基づいて、前記調整パラメータを算出する
     情報処理方法。
  13.  コンピュータシステムに情報処理方法を実行させるプログラムであって、
     前記情報処理方法は、
      複数の光変調素子により生成された複数の画像を重ね合わせて被投射物に投射する画像投射デバイスの、前記被投射物上の前記複数の画像の各々の位置を調整するための調整パラメータを算出するために実行される情報処理方法であって、
      前記複数の光変調素子により生成され前記被投射物に投射された複数の調整用画像が撮像された撮像画像を取得するステップと、
      取得された前記撮像画像に基づいて、前記被投射物上の前記複数の調整用画像の各々の少なくとも一部の領域に構成された、前記調整パラメータの算出用領域の輝度中心位置を算出するステップと、
      前記複数の調整用画像の各々が有する前記算出用領域の輝度中心位置に基づいて、前記調整パラメータを算出するステップと
     を含む
     プログラム。
PCT/JP2021/019509 2020-06-01 2021-05-24 情報処理装置、情報処理方法、及びプログラム WO2021246211A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-095438 2020-06-01
JP2020095438 2020-06-01

Publications (1)

Publication Number Publication Date
WO2021246211A1 true WO2021246211A1 (ja) 2021-12-09

Family

ID=78831043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019509 WO2021246211A1 (ja) 2020-06-01 2021-05-24 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2021246211A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07329636A (ja) * 1994-06-09 1995-12-19 Yazaki Corp 車両周辺監視装置
JP2000206633A (ja) * 1999-01-14 2000-07-28 Chinontec Kk 液晶パネル取付位置調整装置
JP2003315873A (ja) * 2002-04-24 2003-11-06 Nikon Corp ファインダ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07329636A (ja) * 1994-06-09 1995-12-19 Yazaki Corp 車両周辺監視装置
JP2000206633A (ja) * 1999-01-14 2000-07-28 Chinontec Kk 液晶パネル取付位置調整装置
JP2003315873A (ja) * 2002-04-24 2003-11-06 Nikon Corp ファインダ装置

Similar Documents

Publication Publication Date Title
JP5549667B2 (ja) マルチプロジェクションディスプレイシステム及び画面形成方法
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
US10440337B2 (en) Projection apparatus, information processing apparatus, and control methods thereof
US9723281B2 (en) Projection apparatus for increasing pixel usage of an adjusted projection area, and projection method and program medium for the same
JP4877430B2 (ja) マルチプロジェクションディスプレイシステム及び画面形成方法
EP3136377B1 (en) Information processing device, information processing method, program
US11611731B2 (en) Evaluation method for image projection system, image projection system, and image projection control apparatus
WO2009142299A1 (ja) 信号処理装置及び投写型映像表示装置
US20210235050A1 (en) Method for controlling projector, projector, and display system
US11323673B2 (en) Method for operating control apparatus, and projector
US8294834B2 (en) Projection display apparatus for facilitating registration adjustment of colors of a display image
US20210076013A1 (en) Projector, display system, image correction method, and colorimetric method
JP2010085563A (ja) 画像調整装置、画像表示システム及び画像調整方法
US20140118386A1 (en) Projection system, projector, and control method
WO2021246211A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2012018214A (ja) 投写型映像表示装置
JP5298738B2 (ja) 画像表示システム及び画像調整方法
WO2023047833A1 (ja) 制御装置、制御方法、制御プログラム、及び投影システム
US11327389B2 (en) Image projection system and method of controlling image projection system
US11350067B2 (en) Evaluation method for image projection system, image projection system, and image projection control apparatus
JP2011199717A (ja) 投写型表示装置および画像表示方法
JP6665543B2 (ja) プロジェクター、及び、撮像画像の補正方法
JP7138237B2 (ja) 投影システム、投影制御装置、投影制御方法、及び投影制御プログラム
WO2022024730A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US20240022697A1 (en) Control method for projector, non-transitory computer-readable storage medium storing program, and projector

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21816800

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21816800

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP