WO2019009100A1 - 制御装置、制御方法、およびプログラム - Google Patents

制御装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2019009100A1
WO2019009100A1 PCT/JP2018/023767 JP2018023767W WO2019009100A1 WO 2019009100 A1 WO2019009100 A1 WO 2019009100A1 JP 2018023767 W JP2018023767 W JP 2018023767W WO 2019009100 A1 WO2019009100 A1 WO 2019009100A1
Authority
WO
WIPO (PCT)
Prior art keywords
shadow
light
projectors
projection
projection light
Prior art date
Application number
PCT/JP2018/023767
Other languages
English (en)
French (fr)
Inventor
和巳 福田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2019009100A1 publication Critical patent/WO2019009100A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present technology relates to a control device, a control method, and a program, and in particular, a control device, a control method, and a program that can easily remove the shadow of an object when projecting images using a plurality of projectors. About.
  • Non-Patent Document 1 There is a technology for projecting an image onto an object by interlocking a plurality of projectors. Since there is a sense of incongruity when there is a shadow produced by an object, various techniques have been proposed for alleviating or eliminating such shadows (Non-Patent Document 1 etc.).
  • Patent Document 1 it is necessary for the user to manually set a shadow area. Further, in the technique described in Patent Document 2, since the shadow area is estimated using a camera, equipment such as a camera is required.
  • the present technology has been made in view of such a situation, and makes it possible to easily remove the shadow of an object when projecting an image using a plurality of projectors.
  • the control device is configured to project light from the plurality of projectors based on three-dimensional arrangement information including information indicating the arrangement of each of the plurality of projectors that project light to the space where the object is present and the object.
  • a shadow region setting unit that specifies a region of a shadow generated by irradiating the object; and a projection light correction unit that corrects the projection light of the plurality of projectors so as to erase the shadow.
  • the shadow area setting unit can specify the shadow area based on the three-dimensional arrangement information generated using design information representing the arrangement of each of the plurality of projectors and the object.
  • the shadow area setting unit can specify the shadow area based on the three-dimensional arrangement information generated by measuring the arrangement of each of the plurality of projectors and the object.
  • the shadow area setting unit can specify the shadow area based on the three-dimensional layout information acquired based on the user's input regarding the layout of the plurality of projectors and the object.
  • the shadow area setting unit measures the three-dimensional arrangement information generated using design information representing the arrangement of each of the plurality of projectors and the objects, and the arrangement of each of the plurality of projectors and the objects.
  • the area of the shadow can be identified based on at least one of the generated three-dimensional arrangement information and the three-dimensional arrangement information generated based on the user's input.
  • projection light of another projector for eliminating the shadow generated by projection light of a predetermined projector of the plurality of projectors, the light amount of the shadow area and the light amount of the outer area It can be corrected according to the difference of
  • the amount of light projected onto the boundary area set outside the boundary of the shadow area is smaller than the amount of light projected onto the outer area.
  • the projection light can be corrected.
  • the projection light correction unit may correct the projection light of the predetermined projector in the boundary area so that the light amount gradually decreases as the shadow area is approached.
  • the projection light correction unit can correct the projection light of the other projector such that the light amount gradually increases as the shadow area is approached.
  • the plurality of projection light correction units are based on at least one of illuminance of projection light, a distance between the plurality of projectors and the projection plane, an incident angle of the projection light, and properties of light on the projection plane.
  • the projector's projection light can be corrected.
  • a viewing position acquisition unit may be further provided to obtain the viewing position of the user.
  • the projection light correction unit can correct the projection lights of the plurality of projectors based on the property of the light on the projection plane according to the viewing position of the user.
  • projection light of the plurality of projectors is based on three-dimensional arrangement information including information indicating the arrangement of a plurality of projectors that project light in a space where the object is located and the objects. An area of a shadow produced by illuminating the object is identified, and projection lights of the plurality of projectors are corrected to eliminate the shadow.
  • FIG. 1 is a diagram illustrating an exemplary configuration of a projection system according to an embodiment of the present technology.
  • the projection system of FIG. 1 is configured by connecting the projectors 2-1 and 2-2 to the control device 1 via a wired or wireless connection.
  • the projectors 2-1 and 2-2 are disposed above the projection space so as to direct the projection direction to the object 22 placed on the floor surface 21.
  • the installation position of the projectors 2-1 and 2-2 may not be the upper position of the projection space.
  • the control device 1 includes devices such as a personal computer, a smartphone, and a tablet terminal.
  • the control device 1 controls the projection of an image by the projectors 2-1 and 2-2.
  • the projectors 2-1 and 2-2 emit projection light representing a predetermined image according to the control of the control device 1.
  • the texture image is projected on the object 22 and the image content is projected on the floor surface 21 using the projectors 2-1 and 2-2.
  • video using two projectors is mainly demonstrated, it is also possible not only two but to provide more projectors.
  • an image for expressing the texture of a plane such as an image of water surface, an image of grass, an image of sky, etc. is projected as image content.
  • an image for expressing the texture of the surface of the object 22 such as metal texture or wood texture is projected as a texture image to the object 22.
  • the presentation of various information and the effect of the three-dimensional effect may be performed by the projection of the image.
  • the object 22 is a substantially cube-like object configured of a front surface 22A, a back surface 22B, a left side surface 22C, a right side surface 22D, a flat surface 22E, and a bottom surface 22F.
  • a front surface 22A a back surface 22B
  • a left side surface 22C a back surface 22B
  • a left side surface 22C a right side surface 22D
  • a flat surface 22E a flat surface 22E
  • a bottom surface 22F a bottom surface 22F.
  • each configuration in plan view is as shown in FIG.
  • the projectors 2-1 and 2-2 are provided substantially diagonally across the object 22 placed on the floor surface 21. It is also possible to set the positions of the projector 2-1 and the projector 2-2 to positions other than substantially diagonal positions. In this case, although it can not be projected on all the surfaces of the floor surface 21 and the object 22, it seems that there may be cases where it is practically acceptable.
  • the projection of the projection light by the projector 2-1 causes the shadow of the object 22 to appear on the floor surface 21.
  • Region 21A is formed.
  • the shadow area 21A is an area where the projector 2-1 can not project an image.
  • the projection of the texture image in the shadow area 21A is performed by the projector 2-2.
  • shadows are not shown on the surfaces of the object 22 in FIG. 1, actually, shadows are generated not only on the floor 21 but also on the object 22.
  • the projector 2-2 also projects an image on a shadow portion generated on a predetermined surface of the object 22.
  • an image is projected on the entire surface of the floor 21 and the object 22 such that another projector projects an image on an area where one projector can not project the image. Be done.
  • FIG. 4 is a diagram showing an example of a projection image.
  • a of FIG. 4 shows a projection image projected by the projector 2-1
  • B of FIG. 4 shows a projection image projected by the projector 2-2.
  • the projection image of the projector 2-1 includes the texture image projected on the back surface 22B, the right side surface 22D, and the flat surface 22E of the object 22, and the image content to be projected on the floor surface 21.
  • the projection image of the projector 2-2 includes texture images to be projected on the front surface 22A, the left surface 22C, and the flat surface 22E of the object 22, and image content to be projected on the floor surface 21.
  • a predetermined texture image is projected on each surface of the object 22, and video content of a predetermined pattern of a wave pattern is projected around the object 22 on the floor surface 21.
  • a person around the object 22 can experience the spatial rendition realized by the projection system with various positions as viewing positions.
  • the projection of the images from the projectors 2-1 and 2-2 is performed so as to uniformly control the luminance in the overlapping area.
  • a blending technique for uniformly controlling the luminance in the overlapping area by connecting images from a plurality of projectors on a screen is conventionally known, and such a technique is applicable.
  • the region is an overlapping region where the projection range of the projector 2-1 and the projection range of the projector 2-2 overlap.
  • the non-overlapping area around the overlapping area is also assumed to be an area with a luminance of 100.
  • projection light corresponding to the luminance of 100 is emitted from the projector 2-1 or the projector 2-2 to the non-overlap area.
  • projection light corresponding to the luminance of 50 is emitted from each of the projector 2-1 and the projector 2-2, whereby the luminance uniformity is realized.
  • the projection light may not be emitted from the projector 2-1 and the projector 2-2 by the distribution equivalent to the luminance of 50 with equal distribution but the projection light may be irradiated by the distribution that is biased .
  • FIG. 5 is a diagram showing an example of the shadow removal function.
  • the shadow area 21A is formed on the floor surface 21.
  • the shadow area 21A is eliminated as shown in FIG.
  • the projector 2-2 causes the video content to be displayed in the shadow area 21A by projecting an image and, at the same time, causes the shadow area 21A to be erased.
  • control device 1 has a function of causing the projection image to be projected from the projector and erasing a shadow generated by the projection light of one projector by the projection light of the other projector.
  • the object 22 By arranging the object 22 in the projection area of a certain projector, a shadow area to which light does not reach is generated on the floor surface 21.
  • the object When a plurality of objects are placed, the object may generate a shadow area on another object, or the unevenness of the shape of the object may generate a shadow area on the object itself.
  • the projector 2-1 is a projector for creating a shadow
  • the projector 2-2 is a projector for erasing a shadow.
  • FIG. 6 is a block diagram showing a configuration example of the control device 1.
  • the control device 1 includes a three-dimensional arrangement information setting unit 51, a shadow information setting unit 52, and a projection light correction unit 53. At least a part of the functional units shown in FIG. 6 is realized by executing a predetermined program by the CPU of the computer that constitutes the control device 1. In the example of FIG. 6, projectors other than the projectors 2-1 and 2-2 are also shown.
  • Model data representing the shape and size of the object 22 is input to the three-dimensional arrangement information setting unit 51 and the shadow information setting unit 52. Further, to the projection light correction unit 53, the texture image to be projected to the object 22 and the image data of the image content to be projected to the floor surface 21 are input. Optical parameters of each projector, such as focal length, are also input to the shadow information setting unit 52.
  • the model data, the video data, and the optical parameters may be generated inside the control device 1, or data generated by an external device may be input.
  • the three-dimensional arrangement information setting unit 51 holds three-dimensional arrangement information which is information representing the three-dimensional arrangement of each object, projector, floor surface, etc. in the projection space.
  • the arrangement is a concept including at least a position and an orientation.
  • FIG. 7 is a diagram showing an example of three-dimensional arrangement information.
  • projector information representing the position and orientation of each of the plurality of projectors
  • object information representing the position and orientation of the object 22
  • the position and orientation of the floor surface 21 Floor surface information is included.
  • Other information such as information on the projection range of each projector may be included in the three-dimensional arrangement information.
  • the three-dimensional arrangement information setting unit 51 outputs three-dimensional arrangement information including such information to the shadow information setting unit 52 and the projection light correction unit 53. Model data is also supplied from the three-dimensional arrangement information setting unit 51 to the projection light correction unit 53 as appropriate.
  • the shadow information setting unit 52 specifies a shadow area generated by the object 22 in the projection space based on the three-dimensional arrangement information supplied from the three-dimensional arrangement information setting unit 51 and the model data supplied from the outside.
  • a method of specifying a shadow area for example, a known method typified by shadow mapping generally used in computer graphics can be used.
  • FIG. 8 is a diagram illustrating an example of determination of a shadow area by shadow mapping.
  • the shadow information setting unit 52 regards a projector that creates a shadow as a light source, and the distance between the light source and each point on the object surface and floor surface within the projection range illuminated by the light emitted from the light source. Is calculated as distance d L and recorded.
  • the shadow information setting unit 52 calculates the distance to the projector likened to a light source as the distance d C, is recorded.
  • the position and orientation of each projector, object, and floor are identified by three-dimensional wave position information.
  • the shape, size, etc. of the object are specified by model data.
  • the shadow information setting unit 52 compares the distance d L with the distance d C, and determines an area including the point at which the distance d C exceeds the distance d L (d C > d L ) as a shadow area. In addition, the shadow information setting unit 52 determines that the area formed by the point (d c ⁇ d L ) at which the distance d C is equal to or less than the distance d L is not a shadow area.
  • shadow mapping records the distance to the surface where a certain light beam emitted from the light source reaches first, and the light beam corresponding to the focus point in the field of view from the viewpoint follows the same path to reach the light source The shadow area is determined by comparison with the distance to the end.
  • shadow mapping is a technique usually used to specify a shadowed area
  • the control device 1 is used to specify a shadowed area to be erased.
  • shadow mapping is still being studied in the field of computer graphics, and the results of those researches are also applicable to this technology.
  • a simple comparison of the distances d L and d C may output an undesirable treatment result called shadow acne.
  • a method of applying a bias has been developed.
  • the shadow information setting unit 52 outputs, to the projection light correction unit 53, information on the shadow area specified by shadow mapping or the like.
  • the projection light correction unit 53 identifies how the floor surface 21 and the object 22 look from the projectors based on the three-dimensional arrangement information and the model data supplied from the three-dimensional arrangement information setting unit 51, and uses the image data. And generate a projection image to be projected from each projector.
  • the projection light correction unit 53 specifies the range in which the shadow area 21A is formed based on the information supplied from the shadow information setting unit 52, and corrects the projection image to be projected from the projector for eliminating the shadow.
  • the projection light correction unit 53 increases the brightness of each portion of the projection image of the projector 2-2 so as to reduce the difference in brightness between the inside and the outside of the shadow region 21A by raising the brightness of the portion corresponding to the shadow region 21A. to correct. Since the projection from each projector is performed according to the projection image, correcting the brightness of each part of the projection image corresponds to correcting the projection light that illuminates each part in the projection range.
  • the projection light correction unit 53 corrects the projection image of each projector so that the shadow produced by a certain projector is extinguished by the projection light from the other projector. As described later, the amount of correction is calculated using information such as the brightness of light that the projector 2-1 that is to form a shadow should project to the shadow area 21A.
  • the projection light correction unit 53 outputs the data of the projection image after correction to each projector and causes the projectors to project.
  • step S1 the three-dimensional arrangement information setting unit 51 outputs the three-dimensional arrangement information held in advance to the shadow information setting unit 52 and the projection light correction unit 53, and sets it as information used for calculation of a shadow area.
  • step S2 the shadow information setting unit 52 performs processing such as shadow mapping based on the three-dimensional arrangement information and the model data to specify a shadow area.
  • step S3 the projection light correction unit 53 corrects the projection image to be projected from each projector based on the information on the identified shadow area and the three-dimensional arrangement information.
  • step S4 the projection light correction unit 53 supplies the projection image after correction to each projector for projection. While the projection of the image is being performed, the above processing is repeatedly performed. The contents of the process to be repeatedly performed can be branched depending on whether the three-dimensional arrangement information changes. As long as the three-dimensional arrangement information does not change, the processes at steps S1 and S2 have the same result, and if there is no change in the three-dimensional arrangement information, the processes at these steps can be omitted by using the previous values. is there.
  • control device 1 can easily identify the shadow area by using the three-dimensional arrangement information to identify the shadow area.
  • the control device 1 can calculate the shadow area in advance before the start of projection by using the three-dimensional arrangement information.
  • control device 1 can easily eliminate the shadow generated on the projection plane by specifying the shadow area and correcting the projection image.
  • FIG. 10 is a block diagram showing another configuration example of the control device 1.
  • the same reference numerals as in FIG. 6 denote the same parts in FIG. Duplicate descriptions will be omitted as appropriate.
  • the configuration of the control device 1 shown in FIG. 10 is different from the configuration of FIG. 6 in that an input unit 61 and a three-dimensional layout information acquisition unit 62 are additionally provided.
  • the input unit 61 includes an input device such as a keyboard and a mouse, and receives an input from the user.
  • the input unit 61 acquires three-dimensional arrangement information input by the user, and outputs the three-dimensional arrangement information to the three-dimensional arrangement information acquisition unit 62.
  • a numerical value representing the position and orientation of a surface such as each object, a projector, or a floor is manually input by the user.
  • an operation on a graphical display such as moving the arrangement of the projector and the object displayed on the screen with a mouse, may be used.
  • the input unit 61 detects such various user operations and acquires three-dimensional layout information.
  • the three-dimensional layout information acquisition unit 62 acquires design information such as CAD data generated by performing design using predetermined software.
  • the design information represents the position and orientation of each object, projector, floor or other surface.
  • the CAD data generated by the control device 1 may be supplied to the three-dimensional arrangement information acquisition unit 62, or the CAD data generated by an external device may be supplied to the three-dimensional arrangement information acquisition unit 62. You may
  • the three-dimensional arrangement information acquisition unit 62 acquires measurement data obtained by measuring the arrangement of the surfaces of the objects, the projector, the floor surface, and the like using various depth sensors such as a stereo camera.
  • the measured data represents the position and orientation of each object, projector, floor or other surface.
  • Measurement data generated by using another known technique such as bundle adjustment or registration may be acquired by the three-dimensional arrangement information acquisition unit 62.
  • the three-dimensional layout information acquisition unit 62 represents at least one of CAD data, measurement data, and input data supplied from the input unit 61, and represents the position and orientation of a surface such as an object, a projector, or a floor surface. It is output to the three-dimensional arrangement information setting unit 51 as three-dimensional arrangement information.
  • Three-dimensional layout information may be set by combining and using arbitrary data acquired by another method.
  • the correction of the projection image to be projected from the projector 2-1 which is a projector that makes a shadow and the correction of the projection image that is projected from a projector 2-2 that is a projector that erases a shadow It will be.
  • FIG. 11 is a view showing an example of a projection image after correction.
  • a of FIG. 11 shows a projection image of the projector 2-1
  • B of FIG. 11 shows a projection image of the projector 2-2.
  • the projection image of the projector 2-1 shown in A of FIG. 11 is the same as the projection image of A of FIG. 4 in that the boundary area S1 is set around the object 22 (around the texture image to be projected onto the object 22). It is different.
  • the boundary region S1 is a region where the location near the object 22 is the darkest and gradually brightens outward.
  • the boundary area S1 is added around the shadow area 21A which does not appear on the projected image of A of FIG.
  • the shadow area 21A is formed on the front surface 22A and the left side surface 22C of the object 22, that is, on the back side of the object 22 in the direction of A in FIG. .
  • the projection light correction unit 53 Based on the information supplied from the shadow information setting unit 52, the projection light correction unit 53 identifies the shadow area 21A created by the projector 2-1. The projection light correction unit 53 sets the boundary area S1 outside the shadow area 21A so that the brightness changes smoothly with a certain width toward the outside of the shadow area 21A. Correct the image.
  • FIG. 12 is a diagram showing an example of the shadow area 21A in which the boundary area S1 is set.
  • a texture image is projected on the object 22, and the image content is projected on the portion of the floor 21 other than the shadow area 21A and its surroundings (boundary area S1) Be done.
  • a shadow area 21A is formed on the floor 21 and a boundary area S1 is formed around the shadow area 21A so as to be gradually brightened outward.
  • the boundary region S1 is formed by lowering the brightness of the projection light to be applied thereto.
  • FIG. 12 shows the shadow area 21A to which the border area S1 is added, the shadow area 21A and the border area S1 are actually erased by the projection by the projector 2-2 which is a projector for eliminating the shadow. Ru. Further, although a broken line indicating the boundary of the shadow area 21A is shown in FIG. 12, this broken line is not projected on the floor surface 21.
  • the projection image of the projector 2-2 shown in B of FIG. 11 is corrected in such a way that the luminance of the portion corresponding to the shadow area 21A becomes high. It is different from In B of FIG. 11, a correction area S2 indicated by a broken line corresponds to a range in which the shadow area 21A is formed when viewed from the position of the projector 2-2. The lightness of the color of the video content in the correction area S2 indicates that the luminance in the correction area S2 is higher than that of the surroundings.
  • a boundary area which is gradually darkened outward is set around the correction area S2 in correspondence with the boundary area S1.
  • illustration is omitted in B of FIG. 11, a boundary area is added around the correction area S2 indicated by the broken line, in which the luminance is higher as it is closer to the correction area S2, and the luminance gradually decreases outward. Ru.
  • the projection light correction unit 53 specifies a shadow area 21A created by the projector 2-1 that creates a shadow.
  • the projection light correction unit 53 corrects the projection image of the projector 2-2 by raising the luminance of the correction area S2 so as to compensate for the projection light from the projector 2-1 which should have reached the shadow area 21A.
  • the projection light correction unit 53 adds a boundary area that is gradually darkened toward the outside to the outside of the correction area S2 so that the brightness changes smoothly with a certain width. Correct the projected image.
  • FIG. 13 is a view schematically showing a change in luminance on the floor surface 21 when the projection image is projected from the projector 2-1.
  • FIG. 13 is a diagram showing a change in luminance on the floor surface 21 in the real space.
  • the correction values on the computer (control device 1) for producing a linear change in real space are not generally represented linearly. This is due to the projector's gamma correction.
  • a of FIG. 13 shows a change in luminance on the floor surface 21 when the correction is not performed
  • B of FIG. 13 shows a change of luminance on the floor surface 21 when the correction is performed.
  • the vertical axis indicates the luminance value
  • the horizontal axis indicates the position on the arrow # 11.
  • the luminance on the arrow # 11 is the luminance value from the luminance value L2 at the position P1 which is the boundary of the shadow area 21A. It drops sharply to L1 and loses uniformity.
  • the luminance at the position where the video content is projected is represented by the luminance value L2
  • the luminance at the position within the shadow area 21A is represented by the luminance value L1.
  • the actual luminance changes depending on the contents of the video content, so it does not necessarily become a constant luminance as shown in FIG. 13, but it does not change as a shadow elimination effect.
  • the luminance on the arrow # 11 in the range from the position P11 to the position P1 which is the boundary of the shadow area 21A decreases linearly from the luminance value L2 to the luminance value L1.
  • the position P11 corresponds to the start position of the boundary area S1 added to the outside of the shadow area 21A.
  • the range from the position P11 to the position P1 is the range of the boundary area S1.
  • the change in luminance in the range from the position P11 to the position P1 is a linear change, but may be a non-linear change.
  • the position on the right side of the position P1 is the position in the shadow area 21A. Further, the position on the left side of the position P11 is the position outside the boundary region S1.
  • FIG. 14 is a view schematically showing the correction light amount of the projection light irradiated from the projector 2-2 in order to eliminate the shadow.
  • the projection image of the projector 2-2 is corrected so as to additionally project the light of the correction light amount shown in FIG.
  • correction is performed such that the luminance on the arrow # 11 smoothly changes from 0 to the luminance value L3 in the range from the position P11 to the position P1.
  • the luminance value L3 is set according to the difference between the luminance value L2 indicating the brightness outside the shadow area 21A and the luminance value L1 indicating the brightness within the shadow area 21A.
  • the luminance on the arrow # 11 in the range from the position P11 to the position P1 linearly increases from 0 to the luminance value L3.
  • the range from the position P11 to the position P1 is the range of the boundary area added around the correction area S2.
  • correction is performed on the projection image of the projector 2-2 to compensate the light in the shadow area 21A.
  • the change of the correction light amount shown in FIG. 14 can also be made a non-linear change.
  • FIG. 15 is a view schematically showing a change in luminance on the floor surface 21 when the projection image after correction is projected.
  • the projected image after correction (B in FIG. 13) is projected from the projector 2-1, and the corrected projected image after correction in accordance with the corrected light amount in FIG. As indicated by 21 and arrow # 22, this corresponds to adding these projection images.
  • the luminance on the arrow # 11 is constant as the luminance value L2 as a whole from the outside to the inside of the shadow area 21A.
  • the fact that the brightness is constant means that the shadow has disappeared.
  • both the projection image of the projector 2-1 making a shadow and the projection image of the projector 2-2 eliminating the shadow are corrected so as to add a range in which the luminance change becomes smooth outside the shadow area 21A. Can realize more natural shadow elimination.
  • a projected image as shown in A of FIG. 13 is projected from the projector 2-1 without providing a range in which the luminance change is smoothed, and the projected image corrected so that the luminance changes rapidly at the boundary of the shadow area is projected
  • the boundary of the shadow area becomes noticeable.
  • the well-known blending technique in multi-projector projection as described above can be applied as a method of correcting the projection light of a plurality of projectors to uniform brightness in a shadowless state.
  • the projection light correction unit 53 determines the correction light quantity of each part according to the light quantity that the projector 2-1 that creates the shadow should project onto each part of the shadow area 21A. Do.
  • the correction light amount is determined by using, for example, the coefficient ⁇ calculated using the following equation (1).
  • C total is the amount of light in a predetermined portion of the shadow area 21A in the case of no shadow
  • C lost is the amount of light lost by the shadow.
  • the above equation (1) itself used to calculate the coefficient ⁇ is a general equation.
  • the coefficient ⁇ may be determined by calculation using another equation.
  • the projection light correction unit 53 calculates the coefficient ⁇ for each part of the shadow area 21A, and obtains the correction light quantity by multiplying the light quantity of each part of the projector 2-2 that projects the light onto the shadow area 21A by the coefficient ⁇ . .
  • the shadow of the object 22 is on the portion A where the luminance of 100 is obtained by irradiating the projection light corresponding to the luminance of 50 from each of the projector 2-1 and the projector 2-2.
  • the value of C total in part A is 100.
  • the projection light correction unit 53 obtains 2 as the coefficient ⁇ based on the above equation (1), corrects so that the projection light of the projector 2-2 that irradiates the part A is doubled, and performs projection It will
  • Ctotal and Clost take into consideration at least one of the illuminance of the projector, the distance between the projector and the projection surface on which the shadow area 21A is formed, the incident angle of light, and the light properties of the projection surface. It can be calculated.
  • the properties of light on the projection surface include, for example, the reflectance of the projection surface, which changes according to the material, unevenness, inclination, etc. of the projection surface.
  • the distance between the projector and the projection plane where the shadow area 21A is formed and the incident angle of light can be calculated based on three-dimensional arrangement information.
  • the projection light correction unit 53 appropriately calculates these values based on the three-dimensional arrangement information to determine a correction light amount.
  • the illuminance of the projector and the reflectance of the projection surface may be input by the user or may be detected by another device such as a camera.
  • the projection light correction unit 53 calculates the correction amount of the projection light based on the three-dimensional arrangement information. That is, since the light quantity on the projection plane depends on the distance between the projector as the light source and the projection plane and the incident angle of the light from the projector, it is possible to utilize the three-dimensional arrangement information when calculating Ctotal and Clost. Become.
  • FIG. 16 is a block diagram showing another configuration example of the control device 1.
  • the same reference numerals as in FIG. 10 denote the same parts in FIG. Duplicate descriptions will be omitted as appropriate.
  • the configuration of the control device 1 shown in FIG. 16 is different from the configuration of FIG. 10 in that a viewing position acquisition unit 71 is additionally provided.
  • the viewing position acquisition unit 71 acquires the viewing position of the user around the object 22 by an existing method such as head tracking.
  • the viewing position acquisition unit 71 outputs viewing position data represented as three-dimensional information to the projection light correction unit 53.
  • the projection light correction unit 53 corrects the projection light in consideration of the user's viewing position acquired by the viewing position acquisition unit 71 as well.
  • the reflection intensity of light at the projection plane differs depending on the reflection direction. Therefore, the intensity of light reaching the viewer's eyes changes depending on the viewing position of the viewer. That is, since the depths of the shadows are different, the degree of deletion of the shadows also changes according to the viewing position.
  • the correction amount is determined in consideration of the property of light, such as the reflectance with respect to the direction of the viewing position, of the reflected light in the shadow area 21A.
  • the reflectance for each reflection direction is measured in advance, and is assumed to be set for the projection light correction unit 53.
  • the functions are described separately such that the projector 2-1 is a projector that creates a shadow and the projector 2-2 is a projector that erases a shadow, but in actuality, each of the projectors It is a projector to make and a projector to put out the shadow that other projectors make.
  • the number of objects 22 placed in the projection space is one, the same processing is performed in two or more cases, and the shadows generated by the respective objects are eliminated.
  • control device 1 is prepared as a device of a case different from the projector, but any of the plurality of projectors may be equipped with the above-described function of the control device 1 You may
  • each of the plurality of projectors and the control device 1 are connected via wire or wireless, they may be connected via the Internet.
  • FIG. 17 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • control device 1 is realized by a computer having a configuration as shown in FIG.
  • a central processing unit (CPU) 1001, a read only memory (ROM) 1002, and a random access memory (RAM) 1003 are mutually connected by a bus 1004.
  • An input / output interface 1005 is further connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard, a mouse and the like, and an output unit 1007 including a display, a speaker and the like.
  • a storage unit 1008 such as a hard disk and a non-volatile memory
  • a communication unit 1009 such as a network interface
  • a drive 1010 for driving the removable medium 1011.
  • the CPU 1001 loads, for example, the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the above-described series of processes. Is done.
  • the program executed by the CPU 1001 is provided, for example, via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, recorded in the removable medium 1011 or installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • a system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology can also be configured as follows.
  • An object is a shadow produced by the projection light of the plurality of projectors irradiating the object based on three-dimensional arrangement information including information representing the arrangement of the plurality of projectors projecting the light in a space where the object is located and the object
  • a shadow area setting unit that specifies the area of A projection light correction unit that corrects the projection light of the plurality of projectors so as to erase the shadow.
  • the shadow area setting unit identifies the shadow area based on the three-dimensional arrangement information generated using design information representing the arrangement of each of the plurality of projectors and the object. Control device.
  • the shadow area setting unit identifies the shadow area based on the three-dimensional arrangement information generated by measuring the arrangement of each of the plurality of projectors and the object. The control according to (1).
  • the shadow area setting unit identifies the shadow area based on the three-dimensional layout information acquired based on the user's input regarding the layout of each of the plurality of projectors and the object.
  • Control device (5)
  • the shadow area setting unit generates and measures the three-dimensional arrangement information generated using design information representing the arrangement of each of the plurality of projectors and the objects, and the arrangement of each of the plurality of projectors and the objects.
  • the control device according to (1), wherein the area of the shadow is specified based on at least one of the three-dimensional arrangement information and the three-dimensional arrangement information generated based on a user input. .
  • the projection light correction unit is configured to set the projection light of another projector that erases the shadow generated by the projection light of a predetermined projector among the plurality of projectors to the light amount of the shadow region and the light amount of the outer region.
  • the control device according to any one of (1) to (5), which corrects according to the difference.
  • the projection light correction unit projects the predetermined projector so that the amount of light projected onto a boundary area set outside the boundary of the shadow area is smaller than the amount of light projected onto the outer area. Correcting light The control device according to (6).
  • the control device (9) The control device according to (8), wherein the projection light correction unit corrects the projection light of the other projector such that the light amount gradually increases as the shadow region is approached.
  • the projection light correction unit may set the plurality of projection light based on at least one of illuminance of projection light, a distance between the plurality of projectors and the projection plane, an incident angle of projection light, and properties of light on the projection plane.
  • the control device according to any one of (1) to (9), wherein the projection light of the projector is corrected.
  • a viewing position acquisition unit for acquiring the viewing position of the user The projection light correction unit corrects the projection light of the plurality of projectors based on the property of light on the projection plane according to the viewing position of the user.
  • An object is a shadow produced by the projection light of the plurality of projectors irradiating the object based on three-dimensional arrangement information including information representing the arrangement of the plurality of projectors projecting the light in a space where the object is located and the object Identify the area of Correcting the projected light of the plurality of projectors so as to erase the shadows.
  • An object is a shadow produced by the projection light of the plurality of projectors irradiating the object based on three-dimensional arrangement information including information representing the arrangement of the plurality of projectors projecting the light in a space where the object is located and the object Identify the area of A program for executing processing including the step of correcting the projection light of the plurality of projectors so as to erase the shadows.
  • Reference Signs List 1 control device 2-1, 2-2 projector, 51 three-dimensional arrangement information setting unit, 52 shadow information setting unit, 53 projection light correction unit, 61 input unit, 62 three-dimensional arrangement information acquisition unit, 71 viewing position acquisition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本技術は、複数のプロジェクタを用いて映像を投影する場合において、物体の影を容易に消すことができるようにする制御装置、制御方法、およびプログラムに関する。 本技術の一側面の制御装置は、物体がある空間に光を投影する複数のプロジェクタと物体とのそれぞれの配置を表す情報を含む３次元配置情報に基づいて、複数のプロジェクタの投影光が物体を照射することによって生じる影の領域を特定し、影を消去するように複数のプロジェクタの投影光を補正する。本技術は、複数のプロジェクタから映像を投影させるコンピュータに適用することができる。

Description

制御装置、制御方法、およびプログラム
　本技術は、制御装置、制御方法、およびプログラムに関し、特に、複数のプロジェクタを用いて映像を投影する場合において、物体の影を容易に消すことができるようにした制御装置、制御方法、およびプログラムに関する。
　複数台のプロジェクタを連動させて物体に映像を投影する技術がある。物体が生じさせる影があると違和感のある映像になることから、そのような影を緩和させたり、消去させたりする技術が各種提案されている（非特許文献１等）。
特開２０１１－２３８３７０号公報 特開２０１１－２５７６０９号公報
T.J. Cham, J.M.Rehg, R. Sukthankar and G. Sukthankar: "Shadow Elimination and Occluder Light Suppression for Multi-Projector Displays", Proc. Of Computer Vision and Pattern Recognition (CVPR), pp. 513-520 (2003)
　例えば特許文献１に記載の技術においては、影となる領域をユーザが手動で設定する必要がある。また、特許文献２に記載の技術においては、カメラを用いて影領域を推定するようになされていることから、カメラなどの機材が必要になる。
　特別な作業や機材なしに、物体が生じさせる影を消すことが望ましい。
　本技術はこのような状況に鑑みてなされたものであり、複数のプロジェクタを用いて映像を投影する場合において、物体の影を容易に消すことができるようにするものである。
　本技術の一側面の制御装置は、物体がある空間に光を投影する複数のプロジェクタと前記物体とのそれぞれの配置を表す情報を含む３次元配置情報に基づいて、前記複数のプロジェクタの投影光が前記物体を照射することによって生じる影の領域を特定する影領域設定部と、前記影を消去するように前記複数のプロジェクタの投影光を補正する投影光補正部とを備える。
　前記影領域設定部には、前記複数のプロジェクタと前記物体のそれぞれの配置を表す設計情報を用いて生成された前記３次元配置情報に基づいて、前記影の領域を特定させることができる。
　前記影領域設定部には、前記複数のプロジェクタと前記物体のそれぞれの配置を測定することによって生成された前記３次元配置情報に基づいて、前記影の領域を特定させることができる。
　前記影領域設定部には、前記複数のプロジェクタと前記物体のそれぞれの配置に関するユーザの入力に基づいて取得された前記３次元配置情報に基づいて、前記影の領域を特定させることができる。
　前記影領域設定部には、前記複数のプロジェクタと前記物体のそれぞれの配置を表す設計情報を用いて生成された前記３次元配置情報、前記複数のプロジェクタと前記物体のそれぞれの配置を測定して生成された前記３次元配置情報、および、ユーザの入力に基づいて生成された前記３次元配置情報のうちの少なくともいずれかに基づいて、前記影の領域を特定させることができる。
　前記投影光補正部には、前記複数のプロジェクタのうちの所定のプロジェクタの投影光によって生じた前記影を消去する他のプロジェクタの投影光を、前記影の領域の光量と外側の領域の光量との差に応じて補正させることができる。
　前記投影光補正部には、前記影の領域の境界の外側に設定した境界領域に投影する光の量が、前記外側の領域に投影する光の量より減少するように、前記所定のプロジェクタの投影光を補正させることができる。
　前記投影光補正部には、前記影の領域に近づくにつれて徐々に光量が減少するように、前記境界領域における前記所定のプロジェクタの投影光を補正させることができる。
　前記投影光補正部には、前記影の領域に近づくにつれて徐々に光量が増加するように、前記他のプロジェクタの投影光を補正させることができる。
　前記投影光補正部には、投影光の照度、前記複数のプロジェクタと投影面の距離、および、投影光の入射角度、前記投影面における光の性質のうちの少なくともいずれかに基づいて、前記複数のプロジェクタの投影光を補正させることができる。
　ユーザの視聴位置を取得する視聴位置取得部をさらに設けることができる。この場合、前記投影光補正部には、前記ユーザの視聴位置に応じた投影面における光の性質に基づいて、前記複数のプロジェクタの投影光を補正させることができる。
　本技術の一側面においては、物体がある空間に光を投影する複数のプロジェクタと前記物体とのそれぞれの配置を表す情報を含む３次元配置情報に基づいて、前記複数のプロジェクタの投影光が前記物体を照射することによって生じる影の領域が特定され、前記影を消去するように前記複数のプロジェクタの投影光が補正される。
　本技術によれば、複数のプロジェクタを用いて映像を投影する場合において、物体の影を容易に消すことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る投影システムの構成例を示す図である。 物体の例を示す斜視図である。 配置の例を示す平面図である。 投影画像の例を示す図である。 影消し機能の例を示す図である。 制御装置の構成例を示すブロック図である。 ３次元配置情報の例を示す図である。 shadow mappingによる影領域の判定の例を示す図である。 制御装置の投影処理について説明するフローチャートである。 制御装置の他の構成例を示すブロック図である。 補正後の投影画像の例を示す図である。 影領域の例を示す図である。 床面上の輝度変化を模式的に示す図である。 影を消すための補正光量を模式的に示す図である。 床面上の輝度変化を模式的に示す図である。 制御装置の他の構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．投影システムの構成
　２．第１の実施の形態（３次元配置情報に基づく影領域の設定）
　３．第２の実施の形態（３次元配置情報の設定のバリエーション）
　４．第３の実施の形態（影を消すための投影光の補正）
　５．第４の実施の形態（投影光の補正量の決め方）
　６．第５の実施の形態（視聴位置に応じた投影光の補正）
＜＜投影システムの構成＞＞
　図１は、本技術の一実施形態に係る投影システムの構成例を示す図である。
　図１の投影システムは、制御装置１に対してプロジェクタ２－１，２－２が有線または無線を介して接続されることによって構成される。プロジェクタ２－１，２－２は、投影方向を床面２１に置かれた物体２２に向けるように、投影空間の上方に設置されている。プロジェクタ２－１，２－２の設置位置については、投影空間の上方の位置でなくてもよい。
　制御装置１は、パーソナルコンピュータ、スマートフォン、タブレット端末等の装置から構成される。制御装置１は、プロジェクタ２－１，２－２による映像の投影を制御する。
　プロジェクタ２－１，２－２は、制御装置１の制御に従って、所定の映像を表す投影光を出射する。
　図１の投影システムにおいては、プロジェクタ２－１，２－２を用いて、物体２２にテクスチャ映像が投影され、床面２１に映像コンテンツが投影される。２台のプロジェクタを用いて映像を投影する例について主に説明するが、２台に限らず、さらに多くのプロジェクタを設けることも可能である。
　例えば、床面２１に対しては、水面の映像、芝の映像、空の映像などの、平面の質感を表現するための映像が映像コンテンツとして投影される。また、物体２２に対しては、金属の質感や木材の質感などの、物体２２の表面の質感を表現するための映像がテクスチャ映像として投影される。質感の表現に限らず、各種の情報の提示や立体感の演出が映像の投影によって行われるようにしても良い。
　図２に示すように、物体２２は、正面２２Ａ、背面２２Ｂ、左側面２２Ｃ、右側面２２Ｄ、平面２２Ｅ、および底面２２Ｆから構成される略立方体状の物体である。当然、立方体以外の形状の物体が設けられるようにすることが可能である。
　平面視における各構成の配置は、図３に示されるような配置になる。プロジェクタ２－１とプロジェクタ２－２は、床面２１に置かれている物体２２を挟んで略対角に設けられる。プロジェクタ２－１とプロジェクタ２－２の位置を略対角の位置以外の位置とすることも可能である。この場合、床面２１および物体２２の全ての面に投影することはできなくなるが、実用上、それでもいい場合があると思われる。
　物体２２が置かれた投影空間に対して投影が行われるから、図１に示すように、プロジェクタ２－１が投影光を照射することにより、物体２２の影が生じ、床面２１上に影領域２１Ａが形成される。影領域２１Ａは、プロジェクタ２－１からは映像を投影することができない領域となる。影領域２１Ａ内のテクスチャ映像の投影は、プロジェクタ２－２が行うことになる。なお、図１においては物体２２の各面に影が表されていないが、実際には、床面２１上の影に限らず、物体２２にも影が生じる。物体２２の所定の面に生じた影の部分についても、プロジェクタ２－２が映像を投影することになる。
　このように、図１の投影システムにおいては、あるプロジェクタが映像を投影することができない領域には他のプロジェクタが映像を投影するようにして、床面２１と物体２２の表面全体に映像が投影される。
　図４は、投影画像の例を示す図である。
　図４のＡは、プロジェクタ２－１が投影する投影画像を示し、図４のＢは、プロジェクタ２－２が投影する投影画像を示している。プロジェクタ２－１の投影画像には、物体２２の背面２２Ｂ、右側面２２Ｄ、および平面２２Ｅに投影するテクスチャ映像、並びに、床面２１に投影する映像コンテンツが含まれる。また、プロジェクタ２－２の投影画像には、物体２２の正面２２Ａ、左側面２２Ｃ、および平面２２Ｅに投影するテクスチャ映像、並びに、床面２１に投影する映像コンテンツが含まれる。
　図４の例においては、物体２２の各面に所定のテクスチャ映像が投影され、床面２１の物体２２の周りには、波状の所定のパターンの映像コンテンツが投影される。
　このような投影画像をプロジェクタ２－１とプロジェクタ２－２からそれぞれ投影することにより、物体２２のそれぞれの面にテクスチャ映像を投影することが可能になる。また、床面２１全体に映像コンテンツを投影することが可能になる。
　物体２２の周りにいる人は、様々な位置を視聴位置として、投影システムによって実現される空間演出を体感することができる。
　なお、プロジェクタ２－１，２－２からの映像の投影は、重なり領域における輝度を均一に制御するようにして行われる。複数台のプロジェクタからの映像をスクリーン上でつなぎ合わせることによって、重なり領域における輝度を均一に制御するブレンディング技術については従来知られており、そのような技術を適用可能である。
　例えば、輝度が１００となる領域があり、その領域が、プロジェクタ２－１の投影範囲とプロジェクタ２－２の投影範囲が重複する、重なり領域であるものとする。重なり領域の周りの非重なり領域も、輝度が１００の領域であるものとする。
　この場合、非重なり領域に対しては、プロジェクタ２－１から、または、プロジェクタ２－２から、１００の輝度に相当する投影光が照射される。また、重なり領域に対しては、５０の輝度に相当する分の投影光がプロジェクタ２－１とプロジェクタ２－２のそれぞれから照射され、これにより、輝度の均一化が実現される。プロジェクタ２－１とプロジェクタ２－２のそれぞれから均等の配分で５０の輝度に相当する分の投影光が照射されるのではなく、偏った配分で投影光の照射が行われるようにしてもよい。
　図５は、影消し機能の例を示す図である。
　上述したように、プロジェクタ２－１が投影光を照射することにより、床面２１上には影領域２１Ａが形成される。図１の投影システムにおいては、プロジェクタ２－２の投影光を補正することにより、図５に示すように影領域２１Ａが消去される。プロジェクタ２－２は、映像を投影することによって影領域２１Ａ内に映像コンテンツを表示させると同時に、影領域２１Ａを消去させる。
　このように、制御装置１は、投影画像をプロジェクタから投影させるとともに、あるプロジェクタの投影光によって生じた影を、他のプロジェクタの投影光によって消去する機能を有する。
　あるプロジェクタの投影領域内に物体２２が配置されていることにより、床面２１には光が届かない影領域が発生してしまう。複数の物体が置かれている場合、物体が別の物体に影領域を発生させる場合もあれば、物体の形状の凹凸によって、物体自身に影領域を発生させる場合もある。
　これらの影領域によって輝度の均一性が損なわれているとした場合、ユーザの没入感が損なわれることになってしまうが、影領域を消すことにより、そのようなことを防ぐことが可能になる。
　なお、実際には、プロジェクタ２－２が映像を投影することによっても影が生じることになる。以下、説明の便宜上、プロジェクタ２－２の投影光によって生じる影については考慮しないで、プロジェクタ２－１の投影光によって生じる影を消去することについて主に説明する。プロジェクタ２－１は、影を作るプロジェクタとなり、プロジェクタ２－２は、影を消すプロジェクタとなる。
＜＜第１の実施の形態（３次元配置情報に基づく影領域の設定）＞＞
　図６は、制御装置１の構成例を示すブロック図である。
　図６に示すように、制御装置１は、３次元配置情報設定部５１、影情報設定部５２、および投影光補正部５３から構成される。図６に示す機能部のうちの少なくとも一部は、制御装置１を構成するコンピュータのCPUにより所定のプログラムが実行されることによって実現される。図６の例においては、プロジェクタ２－１，２－２以外のプロジェクタも示されている。
　３次元配置情報設定部５１と影情報設定部５２に対しては、物体２２の形状と大きさを表すモデルデータが入力される。また、投影光補正部５３に対しては、物体２２に投影するテクスチャ映像と床面２１に投影する映像コンテンツの映像データが入力される。影情報設定部５２に対しては、焦点距離などの、各プロジェクタの光学的パラメータも入力される。モデルデータ、映像データ、および光学的パラメータについては、制御装置１の内部で生成されるようにしてもよいし、外部の装置により生成されたデータが入力されるようにしてもよい。
　３次元配置情報設定部５１は、投影空間内にある各物体、プロジェクタ、床面等の面の、３次元的な配置状態を表す情報である３次元配置情報を保持している。なお、配置は、位置と向きとを少なくとも含む概念である。
　図７は、３次元配置情報の例を示す図である。
　図７に示すように、３次元配置情報には、複数のプロジェクタのそれぞれの位置と向きを表すプロジェクタ情報、物体２２の位置と向きを表す物体情報、および、床面２１の位置と向きを表す床面情報が含まれる。各プロジェクタの投影範囲の情報などの他の情報が３次元配置情報に含まれるようにしてもよい。
　３次元配置情報設定部５１は、このような各情報を含む３次元配置情報を影情報設定部５２と投影光補正部５３に出力する。投影光補正部５３に対しては、適宜、モデルデータも３次元配置情報設定部５１から供給される。
　影情報設定部５２は、３次元配置情報設定部５１から供給された３次元配置情報と、外部から供給されたモデルデータに基づいて、投影空間にある物体２２が生じさせる影領域を特定する。影領域を特定する方法としては、例えば、コンピュータグラフィックスで一般的に用いられているshadow mappingなどに代表される公知の方法を用いることができる。
　図８は、shadow mappingによる影領域の判定の例を示す図である。
　図８に示すように、影情報設定部５２は、影を作るプロジェクタを光源に見立て、光源と、光源から出射される光が照らす投影範囲内の物体表面および床面上の各点との距離を距離ｄＬとして計算し、記録する。
　また、影情報設定部５２は、視点に相当する位置にある影を消すプロジェクタの投影範囲内の各点から、光源に見立てたプロジェクタまでの距離を距離ｄＣとして計算し、記録する。
　各プロジェクタ、物体、床面のそれぞれの位置と向きが３次元波位置情報により特定される。また、物体の形状や大きさなどが、モデルデータにより特定される。
　影情報設定部５２は、距離ｄＬと距離ｄＣを比較し、距離ｄＣが距離ｄＬを超える（ｄＣ＞ｄＬ）点からなる領域を影領域として判定する。また、影情報設定部５２は、距離ｄＣが距離ｄＬ以下である（ｄＣ≦ｄＬ）点からなる領域を影領域ではないとして判定する。
　このように、shadow mappingは、光源から出射されたある光線が最初に到達する面までの距離を記録しておき、視点からの視界における着目点にあたる光線が、同じ経路を辿って光源に辿り着くまでの距離と比較することで、影領域を判定するものである。shadow mappingは、通常、影を付ける領域を特定するために用いられる技術であるが、制御装置１においては、消すための影となる領域を特定するために用いられることになる。
　なお、shadow mappingに関連する技術は、コンピュータグラフィックスの分野において現在も研究されており、それらの研究の成果は本技術にも適用可能である。例えば、距離ｄＬと距離ｄＣの単純な比較は、シャドウアクネと呼ばれる好ましくない処理結果を出力することがある。これは、滑らかな物体の表面がコンピュータ上では多数の多角形平面（ポリゴン）で表現されることに起因して発生する。この解決法として、例えばバイアスを加えるなどの方法が開発されている。
　影情報設定部５２は、shadow mappingなどにより特定した影領域に関する情報を投影光補正部５３に出力する。
　投影光補正部５３は、３次元配置情報設定部５１から供給された３次元配置情報とモデルデータに基づいて、床面２１と物体２２の各プロジェクタからの見え方を特定し、映像データを用いて、各プロジェクタから投影させる投影画像を生成する。
　また、投影光補正部５３は、影領域２１Ａが形成される範囲を影情報設定部５２から供給された情報に基づいて特定し、影を消すプロジェクタから投影させる投影画像を補正する。
　例えば、投影光補正部５３は、影領域２１Ａに相当する部分の輝度を上げることによって影領域２１Ａの内外における輝度の差を緩和するように、プロジェクタ２－２の投影画像の各部分の輝度を補正する。各プロジェクタからの投影が投影画像に従って行われるから、投影画像の各部分の輝度を補正することは、投影範囲内の各部分を照射する投影光を補正することに相当する。
　このように、投影光補正部５３は、あるプロジェクタが作る影を他のプロジェクタからの投影光によって消すように、それぞれのプロジェクタの投影画像を補正する。後述するように、補正量は、影を作るプロジェクタ２－１が影領域２１Ａに対して投影するはずであった光の輝度などの情報を用いて算出される。
　投影光補正部５３は、補正後の投影画像のデータを各プロジェクタに出力し、投影させる。
　ここで、図９のフローチャートを参照して、以上のような構成を有する制御装置１の投影処理について説明する。
　ステップＳ１において、３次元配置情報設定部５１は、予め保持している３次元配置情報を影情報設定部５２と投影光補正部５３に出力し、影領域の計算等に用いる情報として設定する。
　ステップＳ２において、影情報設定部５２は、３次元配置情報とモデルデータに基づいてshadow mappingなどの処理を行い、影領域を特定する。
　ステップＳ３において、投影光補正部５３は、特定された影領域に関する情報と３次元配置情報とに基づいて、各プロジェクタから投影させる投影画像を補正する。
　ステップＳ４において、投影光補正部５３は、補正後の投影画像を各プロジェクタに供給し、投影させる。映像の投影が行われている間、以上の処理が繰り返し行われる。なお、繰り返し行われる処理の内容を、３次元配置情報が変化するかどうかで分岐させることができる。３次元配置情報が変化しない限り、ステップＳ１およびステップＳ２の処理は同じ結果となるため、３次元配置情報に変化がなければ、これらのステップの処理は前回の値を使い回すことで省略可能である。
　以上のように、影領域を特定するために３次元配置情報を用いることにより、制御装置１は、影領域を容易に特定することが可能になる。制御装置１は、３次元配置情報を用いることにより、投影の開始前に、影領域を予め計算しておくことが可能になる。
　例えば、特許文献１に記載の技術においてはユーザが手作業で影領域を設定する必要があるが、制御装置１によれば、そのような煩雑な作業を簡略化することが可能になる。
　また、特許文献２に記載の技術においては、影領域を認識するためのカメラなどの外部機器が必要となるが、制御装置１によれば、そのような外部機器を用意する必要もない。影を消去するための機器にかかるコストを下げることが可能になる。
　また、制御装置１は、そのようにして影領域を特定し、投影画像を補正することにより、投影面に生じる影を容易に消すことができる。
＜＜第２の実施の形態（３次元配置情報の設定のバリエーション）＞＞
　図１０は、制御装置１の他の構成例を示すブロック図である。
　図１０に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図１０に示す制御装置１の構成は、入力部６１と３次元配置情報取得部６２が追加して設けられている点で、図６の構成と異なる。
　入力部６１は、キーボードやマウス等の入力デバイスにより構成され、ユーザによる入力を受け付ける。入力部６１は、ユーザにより入力された３次元配置情報を取得し、３次元配置情報取得部６２に出力する。例えば、各物体、プロジェクタ、床面等の面の位置と向きを表す数値がユーザにより手動で入力される。ユーザの操作として、画面上に表示されるプロジェクタおよび物体の配置をマウスで移動させるなどの、グラフィカルな表示に対する操作が用いられるようにしてもよい。入力部６１は、このような各種のユーザの操作を検出し、３次元配置情報を取得する。
　３次元配置情報取得部６２は、所定のソフトウェアを用いた設計が行われることによって生成されたCADデータ等の設計情報を取得する。設計情報により、各物体、プロジェクタ、床面等の面の位置と向きが表される。制御装置１により生成されたCADデータが３次元配置情報取得部６２に供給されるようにしてもよいし、外部の装置により生成されたCADデータが３次元配置情報取得部６２に供給されるようにしてもよい。
　また、３次元配置情報取得部６２は、ステレオカメラ等の様々なデプスセンサを用いて各物体、プロジェクタ、床面等の面の配置を測定することによって得られた測定データを取得する。測定データにより、各物体、プロジェクタ、床面等の面の位置と向きが表される。バンドルアジャストメントやレジストレーションといった他の公知の技術を用いることによって生成された測定データが３次元配置情報取得部６２により取得されるようにしてもよい。
　３次元配置情報取得部６２は、CADデータ、測定データ、および、入力部６１から供給された入力データのうちの少なくともいずれかを、各物体、プロジェクタ、床面等の面の位置と向きを表す３次元配置情報として３次元配置情報設定部５１に出力する。
　このように、CADデータ、測定データ、入力データを組み合わせて用いて、３次元配置情報を設定することが可能である。他の方法により取得された任意のデータを組み合わせて用いることによって、３次元配置情報が設定されるようにしてもよい。
＜＜第３の実施の形態（影を消すための投影光の補正）＞＞
　影を消すための投影画像の補正（投影光の補正）について具体的に説明する。
　制御装置１においては、影を作るプロジェクタであるプロジェクタ２－１から投影させる投影画像の補正と、影を消すプロジェクタであるプロジェクタ２－２から投影させる投影画像の補正との２段階の補正が行われる。
　図１１は、補正後の投影画像の例を示す図である。
　図１１のＡは、プロジェクタ２－１の投影画像を示し、図１１のＢは、プロジェクタ２－２の投影画像を示している。
　図１１のＡに示すプロジェクタ２－１の投影画像は、物体２２の周り（物体２２に投影するテクスチャ映像の周り）に境界領域Ｓ１が設定されている点で、図４のＡの投影画像と異なる。境界領域Ｓ１は、物体２２に近い場所が最も暗く、外側に向けて徐々に明るくなるような領域である。
　境界領域Ｓ１は、図１１のＡの投影画像上には現れない影領域２１Ａの周りに付加される。影領域２１Ａは、プロジェクタ２－１の位置を基準とした場合には、物体２２の正面２２Ａと左側面２２Ｃ側、すなわち、図１１のＡの向きでいうと物体２２の奥側に形成される。
　投影光補正部５３は、影情報設定部５２から供給された情報に基づいて、プロジェクタ２－１が作り出す影領域２１Ａを特定する。投影光補正部５３は、影領域２１Ａの外側に向かってある幅を持って滑らかに輝度が変化するように、影領域２１Ａの外側に境界領域Ｓ１を設定することによって、プロジェクタ２－１の投影画像の補正を行う。
　図１２は、境界領域Ｓ１が設定された影領域２１Ａの例を示す図である。
　補正後の投影画像がプロジェクタ２－１から投影された場合、物体２２にはテクスチャ映像が投影され、影領域２１Ａとその周り（境界領域Ｓ１）以外の床面２１の部分には映像コンテンツが投影される。床面２１には、図１２に示すように、影領域２１Ａが形成されるとともに、影領域２１Ａの周りには、外側に向かって徐々に明るくなる境界領域Ｓ１が形成される。境界領域Ｓ１は、そこに当てる投影光の輝度を下げることにより形成される。
　このように、影領域２１Ａの周りに、外側に向かって徐々に明るくなる領域を意図的に付加することにより、プロジェクタ２－１が作る影（影領域２１Ａ）の境界を目立たなくすることが可能になる。
　なお、図１２には境界領域Ｓ１を付加した影領域２１Ａが示されているが、実際には、影領域２１Ａと境界領域Ｓ１が、影を消すプロジェクタであるプロジェクタ２－２による投影によって消去される。また、図１２には影領域２１Ａの境界を示す破線が示されているが、この破線は床面２１に投影されるものではない。
　図１１の説明に戻り、図１１のＢに示すプロジェクタ２－２の投影画像は、影領域２１Ａに相当する部分の輝度が高くなるように補正されている点で、図４のＢの投影画像と異なる。図１１のＢにおいて、破線で示す補正領域Ｓ２が、プロジェクタ２－２の位置から見たときに影領域２１Ａが形成される範囲に相当する。補正領域Ｓ２内の映像コンテンツの色が薄く示されていることは、補正領域Ｓ２内の輝度が周りより高いことを示す。
　境界領域Ｓ１に対応させて、補正領域Ｓ２の周りには、外側に向かって徐々に暗くなる境界領域が設定される。図１１のＢにおいては図示が省略されているが、破線で示す補正領域Ｓ２の周りには、補正領域Ｓ２に近いほど輝度が高く、外側に向けて徐々に輝度が低くなる境界領域が付加される。
　投影光補正部５３は、影情報設定部５２から供給された情報に基づいて、影を作るプロジェクタ２－１が作り出す影領域２１Ａを特定する。投影光補正部５３は、影領域２１Ａに届くはずであったプロジェクタ２－１からの投影光を補うように、補正領域Ｓ２の輝度を上げることによってプロジェクタ２－２の投影画像の補正を行う。
　また、投影光補正部５３は、ある幅を持って滑らかに輝度が変化するように、補正領域Ｓ２の外側に、外側に向かって徐々に暗くなる境界領域を付加することによってプロジェクタ２－２の投影画像の補正を行う。
　図１３は、プロジェクタ２－１から投影画像を投影した場合の床面２１上の輝度変化を模式的に示す図である。なお、図１３は、実空間における床面２１上の輝度変化を表す図である。実空間において線形な変化をもたらすための、コンピュータ（制御装置１）上の補正値は、一般に線形的に表されるものではない。これは、プロジェクタのガンマ補正によるものである。
　図１２の矢印＃１１上の輝度変化について説明する。矢印＃１１上において、影領域２１Ａの境界は位置Ｐ１で表される。
　図１３のＡは、補正を行わない場合の床面２１上の輝度変化を示し、図１３のＢは、補正を行った場合の床面２１上の輝度変化を示している。縦軸は輝度値を示し、横軸は矢印＃１１上の位置を示している。
　図１３のＡに示すように、補正を行っていない投影画像をプロジェクタ２－１から投影した場合、矢印＃１１上における輝度は、影領域２１Ａの境界である位置Ｐ１において輝度値Ｌ２から輝度値Ｌ１まで急激に低下し、均一性が失われることになる。この例においては、映像コンテンツが投影されている位置における輝度は輝度値Ｌ２で表され、影領域２１Ａ内の位置における輝度は輝度値Ｌ１で表される。実際の輝度は、映像コンテンツの内容によって変化するので図１３のように一定の輝度になるとは限らないが、影消去の効果としては変わらない。
　一方、図１３のＢに示すように、上述したような補正が行われた投影画像をプロジェクタ２－１から投影した場合、矢印＃１１上における輝度は、ある幅を持って、輝度値Ｌ２から輝度値Ｌ１まで滑らかに変化するようになる。
　図１３のＢの例においては、位置Ｐ１１から、影領域２１Ａの境界である位置Ｐ１までの範囲の矢印＃１１上における輝度は、輝度値Ｌ２から輝度値Ｌ１まで線形的に減少している。位置Ｐ１１が、影領域２１Ａの外側に付加された境界領域Ｓ１の開始位置に相当する。位置Ｐ１１から位置Ｐ１までの範囲が、境界領域Ｓ１の範囲となる。
　このように、プロジェクタ２－１の投影画像に対しては、影領域２１Ａの外側に、外側に向かって徐々に明るくなる境界領域Ｓ１を付加するような補正が行われる。なお、図１３のＢにおいては、位置Ｐ１１から位置Ｐ１までの範囲における輝度の変化が線形的な変化になっているが、非線形の変化であってもよい。
　なお、図１３のＢにおいて、位置Ｐ１より右側の位置が、影領域２１Ａ内の位置となる。また、位置Ｐ１１より左側の位置が、境界領域Ｓ１より外側の位置となる。
　図１４は、影を消すためにプロジェクタ２－２から照射する投影光の補正光量を模式的に示す図である。図１４に示す補正光量の分の光を追加して投影するように、プロジェクタ２－２の投影画像が補正される。
　図１４に示すように、矢印＃１１上における輝度が、位置Ｐ１１から位置Ｐ１までの範囲において、０から輝度値Ｌ３まで滑らかに変化するような補正が行われる。輝度値Ｌ３は、影領域２１Ａ外の明るさを示す輝度値Ｌ２と、影領域２１Ａ内の明るさを示す輝度値Ｌ１との差に応じて設定される。
　図１４の例においては、位置Ｐ１１から位置Ｐ１までの範囲の矢印＃１１上における輝度は、０から輝度値Ｌ３まで線形的に増加している。位置Ｐ１１から位置Ｐ１までの範囲が、補正領域Ｓ２の周りに付加された境界領域の範囲となる。
　このように、プロジェクタ２－２の投影画像に対しては、影領域２１Ａに光を補うための補正が行われる。図１４に示す補正光量の変化についても、非線形の変化とすることが可能である。
　図１５は、補正後の投影画像を投影した場合における床面２１上の輝度変化を模式的に示す図である。
　補正後の投影画像（図１３のＢ）をプロジェクタ２－１から投影し、図１４の補正光量に応じた補正を行った補正後の投影画像をプロジェクタ２－２から投影することは、矢印＃２１と矢印＃２２の先に示すように、これらの投影画像を足し合わせることに相当する。
　プロジェクタ２－１の投影画像とプロジェクタ２－２の投影画像を足し合わせた場合、矢印＃２３の先に示すように、均一な輝度を実現することができる。図１５の例においては、実線の水平線で示すように、矢印＃１１上における輝度が、影領域２１Ａの外側から内側に渡って全体的に、輝度値Ｌ２として一定になっている。輝度が一定ということは、影が消えていることを表す。
　このように、影を作るプロジェクタ２－１の投影画像と影を消すプロジェクタ２－２の投影画像の両方を、影領域２１Ａの外側において輝度変化が滑らかになる範囲を付加するように補正することにより、より自然な影消去を実現することができる。
　輝度変化が滑らかになる範囲を設けずに、図１３のＡに示すような投影画像をプロジェクタ２－１から投影し、影領域の境界において急激に輝度が変化するように補正した投影画像をプロジェクタ２－２から投影する場合を考える。この場合、影領域の設定に誤差があるときには、影領域の境界が顕著に知覚できる状態になってしまうが、以上のような補正を行うことにより、より自然な影消去を実現することが可能になる。
　より自然な形で影を消去することにより、映像に対するユーザの没入感を向上させたり、リアリティを向上させたりすることが可能になる。
　床面２１上での輝度を均一にする場合の例について説明したが、以上のような補正は、床面２１以外の部分に生じた影を消す場合にも適用可能である。
＜＜第４の実施の形態（投影光の補正量の決め方）＞＞
　投影光補正部５３における投影光の補正量の決定方法について説明する。
　影のない状態において、複数のプロジェクタの投影光を均一な輝度に補正する方式としては、上述したような、マルチプロジェクタ投影における公知のブレンディング技術を適用することができる。
　投影光補正部５３は、そのような補正を行った上で、影を作るプロジェクタ２－１が、影領域２１Ａの各部分に投影するはずであった光量に応じて各部分の補正光量を決定する。補正光量は、例えば、次式（１）を用いて計算される係数αを用いることによって決定される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ctotalは、影のない場合における影領域２１Ａの所定の部分における光量であり、Clostは、影によって失われた光量である。なお、係数αの計算に用いられる上式（１）自体は一般的な式である。他の式を用いた計算により係数αが求められるようにしてもよい。
　投影光補正部５３は、影領域２１Ａの各部分について係数αを計算し、影領域２１Ａに光を投影するプロジェクタ２－２の各部分の光量に係数αを乗算することによって、補正光量を求める。
　例えば、プロジェクタ２－１とプロジェクタ２－２のそれぞれから５０の輝度に相当する投影光を照射することによって１００の輝度とする部分Ａに物体２２の影がかかっている場合について考える。部分ＡにおけるCtotalの値は１００となる。
　影が生じることによって、部分Ａにプロジェクタ２－１の投影光が完全に当たらないとした場合、Clostの値は５０となる。この場合、投影光補正部５３は、上式（１）に基づいて係数αとして２を求め、部分Ａを照射するプロジェクタ２－２の投影光が２倍になるように補正して投影を行わせることになる。
　このとき、CtotalおよびClostは、プロジェクタの照度、プロジェクタと影領域２１Ａが形成される投影面との距離、光の入射角度、投影面の光の性質のうちの少なくともいずれかを考慮して計算することができる。投影面の光の性質には、例えば、投影面の材質、凹凸、傾きなどに応じて変わる、投影面の反射率が含まれる。
　プロジェクタと影領域２１Ａが形成される投影面との距離と、光の入射角度については、３次元配置情報に基づいて計算することが可能である。投影光補正部５３は、適宜、これらの値を３次元配置情報に基づいて計算し、補正光量を決定する。プロジェクタの照度と投影面の反射率については、ユーザにより入力されるようにしてもよいし、カメラなどの他の機器により検出されるようにしてもよい。
　このように、投影光補正部５３は、投影光の補正量を３次元配置情報に基づいて計算する。つまり、投影面における光量は、光源となるプロジェクタと投影面との距離、およびプロジェクタからの光の入射角度に依存するため、CtotalおよびClostを計算する際に３次元配置情報を活用できることになる。
　上式（１）の係数αを用いた補正により、影領域２１Ａにおける光を強めることで、影領域内外の輝度の差を緩和することができる。係数αの逆数を用いた補正により、影領域外の光を弱めることで、影領域内外の輝度の差を緩和するようにしてもよい。
＜＜第５の実施の形態（視聴位置に応じた投影光の補正）＞＞
　図１６は、制御装置１の他の構成例を示すブロック図である。
　図１６に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図１６に示す制御装置１の構成は、視聴位置取得部７１が追加して設けられている点で、図１０の構成と異なる。
　視聴位置取得部７１は、ヘッドトラッキング等の既存の方法により、物体２２の周りにいるユーザの視聴位置を取得する。視聴位置取得部７１は、３次元情報として表される視聴位置データを投影光補正部５３に出力する。
　投影光補正部５３は、視聴位置取得部７１により取得されたユーザの視聴位置をも考慮して、投影光の補正を行う。
　一般的に、投影面における光の反射強度は、その反射方向によって異なる。よって、視聴者の視聴位置によって、視聴者の目に届く光の強さは変化する。つまり、影の濃さが異なるため、影の消去の度合いも視聴位置に応じて変化することになる。
　投影光補正部５３においては、影領域２１Ａにおける反射光の、視聴位置の方向に対する反射率等の光の性質を考慮して補正量が決定される。なお、反射方向毎の反射率が予め計測されており、投影光補正部５３に対して設定されているものとする。
　ヘッドトラッキングなどの方法を用いて視聴位置を取得し、３次元配置情報と組み合わせて用いることによって、視聴位置に応じた適切な影消去が可能になる。
＜変形例＞
　以上においては、プロジェクタ２－１が影を作るプロジェクタであり、プロジェクタ２－２が影を消すプロジェクタであるといったように、機能を分けて説明したが、実際には、それぞれのプロジェクタが、影を作るプロジェクタであるとともに、他のプロジェクタが作る影を消すプロジェクタとなる。
　すなわち、投影システムにおいては、複数のプロジェクタのそれぞれが作る影が、複数のプロジェクタのそれぞれにより消去される。それぞれのプロジェクタの投影画像に対しては、図１３のＢを参照して説明したような補正が行われるとともに、図１４を参照して説明したような補正が行われる。
　投影空間に置かれている物体２２の数が１つであるものとしたが、２以上の場合においても同様の処理が行われ、それぞれの物体によって生じる影が消去される。
　また、以上においては、プロジェクタとは別の筐体の装置として制御装置１が用意されるものとしたが、複数のプロジェクタのうちのいずれかに、制御装置１の上述した機能が搭載されるようにしてもよい。
　複数のプロジェクタのそれぞれと制御装置１が有線または無線を介して接続されるものとしたが、インターネットを介して接続されるようにしてもよい。
・コンピュータの構成例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　例えば、制御装置１は、図１７に示すような構成を有するコンピュータにより実現される。
　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　物体がある空間に光を投影する複数のプロジェクタと前記物体とのそれぞれの配置を表す情報を含む３次元配置情報に基づいて、前記複数のプロジェクタの投影光が前記物体を照射することによって生じる影の領域を特定する影領域設定部と、
　前記影を消去するように前記複数のプロジェクタの投影光を補正する投影光補正部と
　を備える制御装置。
（２）
　前記影領域設定部は、前記複数のプロジェクタと前記物体のそれぞれの配置を表す設計情報を用いて生成された前記３次元配置情報に基づいて、前記影の領域を特定する
　前記（１）に記載の制御装置。
（３）
　前記影領域設定部は、前記複数のプロジェクタと前記物体のそれぞれの配置を測定することによって生成された前記３次元配置情報に基づいて、前記影の領域を特定する
　前記（１）に記載の制御装置。
（４）
　前記影領域設定部は、前記複数のプロジェクタと前記物体のそれぞれの配置に関するユーザの入力に基づいて取得された前記３次元配置情報に基づいて、前記影の領域を特定する
　前記（１）に記載の制御装置。
（５）
　前記影領域設定部は、前記複数のプロジェクタと前記物体のそれぞれの配置を表す設計情報を用いて生成された前記３次元配置情報、前記複数のプロジェクタと前記物体のそれぞれの配置を測定して生成された前記３次元配置情報、および、ユーザの入力に基づいて生成された前記３次元配置情報のうちの少なくともいずれかに基づいて、前記影の領域を特定する
　前記（１）に記載の制御装置。
（６）
　前記投影光補正部は、前記複数のプロジェクタのうちの所定のプロジェクタの投影光によって生じた前記影を消去する他のプロジェクタの投影光を、前記影の領域の光量と外側の領域の光量との差に応じて補正する
　前記（１）乃至（５）のいずれかに記載の制御装置。
（７）
　前記投影光補正部は、前記影の領域の境界の外側に設定した境界領域に投影する光の量が、前記外側の領域に投影する光の量より減少するように、前記所定のプロジェクタの投影光を補正する
　前記（６）に記載の制御装置。
（８）
　前記投影光補正部は、前記影の領域に近づくにつれて徐々に光量が減少するように、前記境界領域における前記所定のプロジェクタの投影光を補正する
　前記（７）に記載の制御装置。
（９）
　前記投影光補正部は、前記影の領域に近づくにつれて徐々に光量が増加するように、前記他のプロジェクタの投影光を補正する
　前記（８）に記載の制御装置。
（１０）
　前記投影光補正部は、投影光の照度、前記複数のプロジェクタと投影面の距離、投影光の入射角度、および、前記投影面における光の性質のうちの少なくともいずれかに基づいて、前記複数のプロジェクタの投影光を補正する
　前記（１）乃至（９）のいずれかに記載の制御装置。
（１１）
　ユーザの視聴位置を取得する視聴位置取得部をさらに備え、
　前記投影光補正部は、前記ユーザの視聴位置に応じた投影面における光の性質に基づいて、前記複数のプロジェクタの投影光を補正する
　前記（１）乃至（１０）のいずれかに記載の制御装置。
（１２）
　物体がある空間に光を投影する複数のプロジェクタと前記物体とのそれぞれの配置を表す情報を含む３次元配置情報に基づいて、前記複数のプロジェクタの投影光が前記物体を照射することによって生じる影の領域を特定し、
　前記影を消去するように前記複数のプロジェクタの投影光を補正する
　ステップを含む制御方法。
（１３）
　コンピュータに、
　物体がある空間に光を投影する複数のプロジェクタと前記物体とのそれぞれの配置を表す情報を含む３次元配置情報に基づいて、前記複数のプロジェクタの投影光が前記物体を照射することによって生じる影の領域を特定し、
　前記影を消去するように前記複数のプロジェクタの投影光を補正する
　ステップを含む処理を実行させるプログラム。
　１　制御装置，　２－１，２－２　プロジェクタ，　５１　３次元配置情報設定部，　５２　影情報設定部，　５３　投影光補正部，　６１　入力部，　６２　３次元配置情報取得部，　７１　視聴位置取得部

Claims (13)

  1. 　物体がある空間に光を投影する複数のプロジェクタと前記物体とのそれぞれの配置を表す情報を含む３次元配置情報に基づいて、前記複数のプロジェクタの投影光が前記物体を照射することによって生じる影の領域を特定する影領域設定部と、
    　前記影を消去するように前記複数のプロジェクタの投影光を補正する投影光補正部と
    　を備える制御装置。
  2. 　前記影領域設定部は、前記複数のプロジェクタと前記物体のそれぞれの配置を表す設計情報を用いて生成された前記３次元配置情報に基づいて、前記影の領域を特定する
    　請求項１に記載の制御装置。
  3. 　前記影領域設定部は、前記複数のプロジェクタと前記物体のそれぞれの配置を測定することによって生成された前記３次元配置情報に基づいて、前記影の領域を特定する
    　請求項１に記載の制御装置。
  4. 　前記影領域設定部は、前記複数のプロジェクタと前記物体のそれぞれの配置に関するユーザの入力に基づいて取得された前記３次元配置情報に基づいて、前記影の領域を特定する
    　請求項１に記載の制御装置。
  5. 　前記影領域設定部は、前記複数のプロジェクタと前記物体のそれぞれの配置を表す設計情報を用いて生成された前記３次元配置情報、前記複数のプロジェクタと前記物体のそれぞれの配置を測定して生成された前記３次元配置情報、および、ユーザの入力に基づいて生成された前記３次元配置情報のうちの少なくともいずれかに基づいて、前記影の領域を特定する
    　請求項１に記載の制御装置。
  6. 　前記投影光補正部は、前記複数のプロジェクタのうちの所定のプロジェクタの投影光によって生じた前記影を消去する他のプロジェクタの投影光を、前記影の領域の光量と外側の領域の光量との差に応じて補正する
    　請求項１に記載の制御装置。
  7. 　前記投影光補正部は、前記影の領域の境界の外側に設定した境界領域に投影する光の量が、前記外側の領域に投影する光の量より減少するように、前記所定のプロジェクタの投影光を補正する
    　請求項６に記載の制御装置。
  8. 　前記投影光補正部は、前記影の領域に近づくにつれて徐々に光量が減少するように、前記境界領域における前記所定のプロジェクタの投影光を補正する
    　請求項７に記載の制御装置。
  9. 　前記投影光補正部は、前記影の領域に近づくにつれて徐々に光量が増加するように、前記他のプロジェクタの投影光を補正する
    　請求項８に記載の制御装置。
  10. 　前記投影光補正部は、投影光の照度、前記複数のプロジェクタと投影面の距離、投影光の入射角度、および、前記投影面における光の性質のうちの少なくともいずれかに基づいて、前記複数のプロジェクタの投影光を補正する
    　請求項１に記載の制御装置。
  11. 　ユーザの視聴位置を取得する視聴位置取得部をさらに備え、
    　前記投影光補正部は、前記ユーザの視聴位置に応じた投影面における光の性質に基づいて、前記複数のプロジェクタの投影光を補正する
    　請求項１に記載の制御装置。
  12. 　物体がある空間に光を投影する複数のプロジェクタと前記物体とのそれぞれの配置を表す情報を含む３次元配置情報に基づいて、前記複数のプロジェクタの投影光が前記物体を照射することによって生じる影の領域を特定し、
    　前記影を消去するように前記複数のプロジェクタの投影光を補正する
    　ステップを含む制御方法。
  13. 　コンピュータに、
    　物体がある空間に光を投影する複数のプロジェクタと前記物体とのそれぞれの配置を表す情報を含む３次元配置情報に基づいて、前記複数のプロジェクタの投影光が前記物体を照射することによって生じる影の領域を特定し、
    　前記影を消去するように前記複数のプロジェクタの投影光を補正する
    　ステップを含む処理を実行させるプログラム。
PCT/JP2018/023767 2017-07-07 2018-06-22 制御装置、制御方法、およびプログラム WO2019009100A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-133796 2017-07-07
JP2017133796 2017-07-07

Publications (1)

Publication Number Publication Date
WO2019009100A1 true WO2019009100A1 (ja) 2019-01-10

Family

ID=64950858

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/023767 WO2019009100A1 (ja) 2017-07-07 2018-06-22 制御装置、制御方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2019009100A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181988A1 (ja) * 2020-03-12 2021-09-16 ソニーグループ株式会社 情報処理システム、情報処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256506A (ja) * 2006-03-22 2007-10-04 Victor Co Of Japan Ltd 画像投影装置
JP2008116565A (ja) * 2006-11-01 2008-05-22 Seiko Epson Corp 画像補正装置、プロジェクションシステム、画像補正方法、画像補正プログラム、および記録媒体
JP2014139592A (ja) * 2011-05-02 2014-07-31 Sharp Corp 投射型表示装置
JP2015038595A (ja) * 2013-07-19 2015-02-26 キヤノン株式会社 映像生成装置、映像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256506A (ja) * 2006-03-22 2007-10-04 Victor Co Of Japan Ltd 画像投影装置
JP2008116565A (ja) * 2006-11-01 2008-05-22 Seiko Epson Corp 画像補正装置、プロジェクションシステム、画像補正方法、画像補正プログラム、および記録媒体
JP2014139592A (ja) * 2011-05-02 2014-07-31 Sharp Corp 投射型表示装置
JP2015038595A (ja) * 2013-07-19 2015-02-26 キヤノン株式会社 映像生成装置、映像生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181988A1 (ja) * 2020-03-12 2021-09-16 ソニーグループ株式会社 情報処理システム、情報処理方法およびプログラム

Similar Documents

Publication Publication Date Title
US10298893B2 (en) System and method for digital black level blending
Siegl et al. Real-time pixel luminance optimization for dynamic multi-projection mapping
US10229483B2 (en) Image processing apparatus and image processing method for setting an illumination environment
JP4945642B2 (ja) ３ｄ画像の色補正の方法及びそのシステム
US11210839B2 (en) Photometric image processing
US8195006B2 (en) Method and device for representing a digital image on a surface which is non-trivial in terms of its geometry and photometry
JP6030396B2 (ja) 映像処理装置
US11022861B2 (en) Lighting assembly for producing realistic photo images
US20090303247A1 (en) Method and System for Color Correction Using Thre-Dimensional Information
KR102390252B1 (ko) 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술
JP2013127774A (ja) 画像処理装置、画像処理方法及びプログラム
US10297055B2 (en) Image processing apparatus and method for modifying a display texture of an image
JP5596427B2 (ja) 光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラム
US20180139423A1 (en) System and method for digital black level blending
Siegl et al. Adaptive stray-light compensation in dynamic multi-projection mapping
US10565780B2 (en) Image processing apparatus, image processing method, and storage medium
US9135746B2 (en) Image processing apparatus and control method thereof
CN109427089B (zh) 基于环境光照条件的混合现实对象呈现
US20130194254A1 (en) Image processing apparatus, image processing method and program
WO2019009100A1 (ja) 制御装置、制御方法、およびプログラム
JP6759813B2 (ja) 処理装置、表示システム、表示方法、及びプログラム
KR20150059686A (ko) 영상 처리 방법 및 장치
KR102617776B1 (ko) 3d 모델 표면 재질 자동 생성 방법 및 장치
JP2015087811A (ja) 画像処理装置、画像処理方法、プログラム、及び、記録媒体
US11134232B2 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18827356

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18827356

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP