WO2010055625A1 - 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム - Google Patents

画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム Download PDF

Info

Publication number
WO2010055625A1
WO2010055625A1 PCT/JP2009/005869 JP2009005869W WO2010055625A1 WO 2010055625 A1 WO2010055625 A1 WO 2010055625A1 JP 2009005869 W JP2009005869 W JP 2009005869W WO 2010055625 A1 WO2010055625 A1 WO 2010055625A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference pattern
pixel
projection
coordinate axis
Prior art date
Application number
PCT/JP2009/005869
Other languages
English (en)
French (fr)
Inventor
石山塁
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2010537676A priority Critical patent/JP5445461B2/ja
Priority to US13/127,157 priority patent/US8791880B2/en
Publication of WO2010055625A1 publication Critical patent/WO2010055625A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Definitions

  • the present invention relates to a pixel position correspondence specifying system, a pixel position correspondence specifying method, a pixel position correspondence specifying program, an image correction system, and an image correction program that define a correspondence between a pixel of one image and a pixel of another image.
  • it is based on a pixel position correspondence specifying system, a pixel position correspondence specifying method, a pixel position correspondence specifying program, and a corresponding relation for determining a correspondence between a pixel of an image to be projected and a pixel in a projection unit.
  • the present invention relates to an image correction system and an image correction program for correcting an image.
  • the projected image is distorted.
  • a standard projector has a function of correcting this distortion.
  • this distortion correction function the image to be projected is subjected to a deformation opposite to the distortion (image deformation) caused by projection from an unexpected position or direction, and the corrected image subjected to the deformation is projected to be distorted.
  • the amount of deformation of the image determined by the shape of the projection plane and the positional relationship and orientation between the projection plane and the projector, that is, the amount of movement when the pixels in the projected image are actually projected It is necessary to acquire a map representing (deviation).
  • Patent Document 2 describes an image projection system that obtains a high-definition projection image by detecting feature points with high accuracy using a laser pointer or the like, or sequentially updating parameters of tilt, rotation, and shift. ing.
  • Patent Document 3 a predetermined pattern image is generated and projected, and a projected image point corresponding to a captured image point is determined from a captured image obtained by capturing the image, and a corresponding point list is provided. Clustering is performed for each plane in the space using a plane projection transformation matrix obtained from the corresponding points in the point list, a projection area is determined from the captured image points clustered for each plane, and an image is obtained using the projection area and the plane projection transformation matrix. Is described.
  • Patent Document 4 describes a method of obtaining a parameter of a curved surface assuming a quadratic curved surface as the shape of the projection surface.
  • Patent Document 4 describes a composite video generation method that displays video from a plurality of projectors without distortion on a quadric curved screen.
  • a mapping function indicating a correspondence between a point projected on a screen viewed from the coordinate system of the projector and a point viewed from an arbitrary hypothetical viewpoint and an inverse function thereof are obtained. Distortion is corrected by an inverse function of each mapping.
  • a test pattern projected from a projector onto a quadric surface screen using a transformation matrix M from a reference coordinate system to a viewpoint coordinate system and a transformation matrix S from a camera coordinate to a reference coordinate system A transformation matrix H from the viewpoint coordinate system to the camera coordinate system is obtained for the predetermined points. Then, using the transformation matrix H, the quadric surface parameter Qv in the viewpoint coordinate system with the assumed viewpoint as the origin is obtained from the quadric surface parameter Q obtained in the camera coordinate system.
  • mapping function indicating a correspondence between a point projected on the screen from the projector i coordinate system and a point viewed from an arbitrary assumed viewpoint is obtained, and the mapping function is used. Find its inverse function.
  • the method described in Patent Document 1 corrects distortion when an image is projected onto a plane, but is not applicable when the shape of the projection surface is arbitrary.
  • the flat projection apparatus described in Patent Document 3 also targets a projection plane that partially includes a plane. Even in the method described in Patent Document 4, the projection surface is limited to a quadratic curve, and distortion when an image is projected onto a surface of an arbitrary shape cannot be corrected.
  • the correspondence between the position in the image to be projected and the position when it is actually projected must be determined with high precision in pixel units. Since the correspondence between pixels cannot be determined when the shape of the projection surface is arbitrary, distortion correction cannot be performed with high accuracy.
  • the present invention provides a pixel position correspondence specifying system for specifying a correspondence relationship between a pixel of an image to be projected and a pixel in a projection unit, and a pixel position correspondence when an image is projected onto a projection surface of an arbitrary shape. It is an object to provide a relationship specifying method and a pixel position correspondence specifying program. It is another object of the present invention to provide an image correction system and an image correction program for correcting an image based on the specified correspondence.
  • a pixel position correspondence specifying system includes a projecting unit that projects an image on a projection surface, a photographing unit that captures an image projected on the projection surface, and a function of a continuous function that continuously changes as the phase changes.
  • a reference pattern image group generation unit that generates a certain reference pattern image group, an imaging control unit that causes an image belonging to the reference pattern image group to be projected onto the projection unit, and as a result, causes the imaging unit to capture an image projected on the projection plane;
  • the initial phase value in the luminance change of each pixel in the captured image from the luminance change of the pixels in the plurality of captured images captured by the imaging unit when each image of the reference pattern image group is projected by the projection unit
  • the phase calculation means for calculating and the reference pattern image group generation means perform reverse calculation of the calculation for obtaining the initial phase value from the coordinate values with respect to the initial phase value calculated by the phase calculation means, and the coordinate value obtained by the reverse calculation and the captured image
  • the reference pattern image generation unit changes the initial phase value along the first coordinate axis.
  • the reference pattern image generation unit changes the initial phase value along the first coordinate axis. Generating a reference pattern image group related to the first coordinate axis and a reference pattern image group related to the second coordinate axis in which the initial phase value is changed along the second coordinate axis, and the imaging control means generates the reference pattern image group related to the first coordinate axis. Is projected onto the projection means, and as a result, the image projected onto the projection plane is photographed by the photographing means, and the reference pattern image group related to the second coordinate axis is projected onto the projection means.
  • the image projected on the projection plane is photographed by the photographing means, and the phase calculation means in the plurality of photographed images photographed by the photographing means when the projection means projects each image of the reference pattern image group related to the first coordinate axis.
  • the initial phase value at the luminance change of each pixel in the captured image is calculated from the luminance change of the pixel, and a plurality of images captured by the imaging unit when the projection unit projects each image of the reference pattern image group related to the second coordinate axis.
  • the initial phase value at the luminance change of each pixel in the captured image is calculated from the luminance change of the pixel in the captured image, and the initializing unit is calculated from the captured image obtained by capturing the reference pattern image group related to the first coordinate axis.
  • the calculation of obtaining the initial phase value from the coordinates of the first coordinate axis is performed on the phase value to calculate the coordinates of the first coordinate axis, and the first coordinates are calculated on the pixels of the captured image.
  • a second calculation is performed by associating the coordinates of the axes and performing an inverse calculation of the initial phase value calculated from the coordinates of the second coordinate axis with respect to the initial phase value calculated from the captured image obtained by capturing the reference pattern image group related to the second coordinate axis.
  • the correspondence between the pixels of the photographed image and the pixels of the image projected by the projection unit is specified,
  • the correspondence relationship between the pixel in the projection target image and the pixel in the projection unit is specified using the correspondence relationship with the coordinates.
  • the pixel position correspondence specifying system determines a luminance value as a function value of a projecting unit that projects an image on a projection plane, and a continuous function that continuously changes with a change in phase.
  • a reference pattern image group that generates a reference pattern image group that is an image group in which the luminance value is determined by changing the initial phase value and the initial phase value is continuously changed for each coordinate value along one coordinate axis Pixels in a plurality of photographed images obtained by photographing each image of the reference pattern image group projected on the projection surface, the generation means, the reference pattern projection control means for projecting the image belonging to the reference pattern image group on the projection means
  • the phase calculation means for calculating the initial phase value at the brightness change of each pixel in the captured image from the luminance change of the captured image, and the calculation for the reference pattern image group generation means to obtain the initial phase value from the coordinate value Reverse calculation is performed on the initial phase value calculated by the phase calculation means, the coordinate value obtained by the reverse calculation is associated with the pixel of the captured image, and the
  • a reference pattern image generation unit that changes the initial phase value along the first coordinate axis, and the reference pattern image group that changes the initial phase value along the second coordinate axis.
  • a reference pattern image group related to the second coordinate axis is generated, and the reference pattern projection control means causes the projection means to project the reference pattern image group related to the first coordinate axis, and causes the projection means to project the reference pattern image group related to the second coordinate axis,
  • the initial phase value at the luminance change of each pixel in the image is calculated, and the luminance change of the pixels in the plurality of photographed images obtained by photographing each image of the reference pattern image group with respect to the second coordinate axis, respectively,
  • An initial phase value at a change in luminance of the pixel of the first coordinate axis is calculated with respect to the initial phase value calculated from a captured image obtained by capturing the
  • the calculation of obtaining the initial phase value from the coordinates is performed to calculate the coordinates of the first coordinate axis, the coordinates of the first coordinate axis are associated with the pixels of the photographed image, and the reference pattern image group related to the second coordinate axis is photographed.
  • the calculation of obtaining the initial phase value from the coordinate of the second coordinate axis is performed to calculate the coordinate of the second coordinate axis, and the second coordinate is calculated in the pixel of the captured image.
  • the image correction system further includes a correction unit that corrects the projection target image projected by the projection unit based on the correspondence between the pixel in the projection target image and the pixel in the projection unit that projects the image.
  • the pixel position correspondence specifying method is a group of images in which a luminance value is determined as a function value of a continuous function that continuously changes with a change in phase, and the luminance value is determined by changing the phase for each image.
  • a reference pattern image group relating to the first coordinate axis which is an image group in which the initial phase value is continuously changed for each coordinate value along the first coordinate axis, is generated, and belongs to the reference pattern image group relating to the first coordinate axis.
  • the image is projected onto the projection means, and as a result, the image projected onto the projection plane is photographed by the photographing means, and a plurality of images taken by the photographing means when the projection means projects each image of the reference pattern image group related to the first coordinate axis.
  • the first coordinate is calculated by calculating the initial phase value at the luminance change of each pixel in the photographed image from the luminance change of the pixel in the photographed image and generating a reference pattern image group related to the first coordinate axis.
  • the reverse calculation of the calculation for obtaining the initial phase value from the coordinates is performed on the initial phase value calculated from the luminance change of the pixels in the plurality of captured images, and the coordinates of the first coordinate axis obtained by the reverse calculation correspond to the pixels of the captured image.
  • a luminance value is determined as a function value of a continuous function that continuously changes with a change in phase, and the luminance value is determined by changing the phase for each image, and the initial phase value is set to the second coordinate axis.
  • a reference pattern image group relating to the second coordinate axis which is an image group continuously changed for each coordinate value along the line, is generated, and an image belonging to the reference pattern image group relating to the second coordinate axis is projected onto the projection means, and as a result projected
  • the brightness of the pixels in the plurality of captured images captured by the image capturing unit when the image is projected on the surface by the image capturing unit and each image of the reference pattern image group related to the second coordinate axis is projected by the projecting unit.
  • the initial phase value at the luminance change of each pixel in the photographed image is calculated, and the reverse calculation of the calculation for obtaining the initial phase value from the coordinates of the second coordinate axis in the process of generating the reference pattern image group related to the second coordinate axis, This is performed on the initial phase value calculated from the luminance change of the pixels in a plurality of captured images, the coordinates of the second coordinate axis obtained by back calculation and the pixels of the captured image are associated, and the correspondence relationship between the pixels of the captured image and the coordinates And a correspondence relationship between a pixel in the projection target image and a pixel in the projection unit is specified.
  • the pixel position correspondence specifying method is a group of images in which a luminance value is determined as a function value of a continuous function that continuously changes with a change in phase, and the luminance value is determined by changing the phase for each image.
  • a reference pattern image group relating to the first coordinate axis which is an image group in which the initial phase value is continuously changed for each coordinate value along the first coordinate axis, is generated, and belongs to the reference pattern image group relating to the first coordinate axis.
  • the image is projected onto the projection means, and the luminance change of the pixels in the plurality of photographed images obtained by photographing each image of the reference pattern image group related to the first coordinate axis projected on the projection plane is used to calculate each pixel in the photographed image.
  • Inverse calculation of calculating the initial phase value from the coordinates of the first coordinate axis in the process of calculating the initial phase value at the luminance change and generating the reference pattern image group regarding the first coordinate axis is performed on a plurality of captured images.
  • a function value of a continuous function that continuously changes as the phase changes by associating the coordinates of the first coordinate axis obtained by back calculation and the pixels of the captured image, with respect to the initial phase value calculated from the luminance change of the pixel Is an image group in which the luminance value is determined and the luminance value is determined by changing the phase for each image, and the initial phase value is continuously changed for each coordinate value along the second coordinate axis.
  • a reference pattern image group relating to the second coordinate axis is generated, an image belonging to the reference pattern image group relating to the second coordinate axis is projected on the projection means, and each image of the reference pattern image group relating to the second coordinate axis projected on the projection plane is photographed.
  • the initial phase value at the luminance change of each pixel in the photographic image is calculated from the luminance change of the pixels in the plurality of photographic images obtained in this way, and a reference pattern image group related to the second coordinate axis is generated
  • the reverse calculation of the calculation for obtaining the initial phase value from the coordinates of the second coordinate axis is performed on the initial phase value calculated from the luminance change of the pixels in the plurality of captured images, and the coordinates of the second coordinate axis and the captured image obtained by the reverse calculation are calculated.
  • the correspondence relationship between the pixel in the projection target image and the pixel in the projection unit is specified using the correspondence relationship between the pixel in the captured image and the coordinate.
  • the pixel position correspondence specifying program is a pixel position correspondence specifying program mounted on a computer that includes a projecting unit that projects an image on a projection surface and a photographing unit that captures an image projected on the projection surface.
  • An image group in which a luminance value is determined as a function value of a continuous function that continuously changes as the phase changes, and the luminance value is determined by changing the phase for each image, and the initial phase A first reference pattern image group generation process for generating a reference pattern image group for the first coordinate axis, which is an image group in which values are continuously changed for each coordinate value along the first coordinate axis, and a reference pattern image group for the first coordinate axis
  • a first patterning control process for projecting an image belonging to the projection unit and causing the photographing unit to capture an image projected on the projection plane as a result, a reference pattern image relating to the first coordinate axis
  • a first phase calculation process for calculating an initial phase value at a luminance change of each pixel in the photographed image from a lumina
  • the calculation for obtaining the initial phase value from the coordinates of the second coordinate axis in the reference pattern image group generation processing is performed on the initial phase value calculated by the second phase calculation processing, and the coordinates of the second coordinate axis obtained by the back calculation and the photographing are performed.
  • a second association process for associating pixels of an image, and a pixel in a projection target image and a pixel in a projection unit using a correspondence relationship between pixels and coordinates of a captured image It is characterized in that a pixel association process for specifying the correspondence relationship is executed.
  • the pixel position correspondence specifying program is a pixel position correspondence specifying program mounted on a computer having a projection unit for projecting an image onto a projection plane, and is continuously transmitted to the computer as the phase changes.
  • First reference pattern image group generation processing for generating a reference pattern image group relating to the first coordinate axis, which is a changed image group, and first reference pattern projection control for projecting an image belonging to the reference pattern image group relating to the first coordinate axis to the projection means.
  • the luminance change of the pixels in a plurality of photographed images obtained by photographing each image of the reference pattern image group related to the first coordinate axis projected on the projection plane A first phase calculation process for calculating an initial phase value at a luminance change of each pixel in a captured image, and a reverse calculation of a calculation for obtaining an initial phase value from coordinates of a first coordinate axis in a first reference pattern image group generation process,
  • a first association process for associating the coordinates of the first coordinate axis obtained by the reverse calculation with the initial phase value calculated in the phase calculation process and the pixel of the captured image; a continuous function that continuously changes as the phase changes
  • Second reference pattern image group generation processing for generating a reference pattern image group related to the second coordinate axis, and second reference pattern projection for projecting an image belonging to the
  • Second association processing for associating the coordinates of the second coordinate axis obtained by back calculation with the pixels of the photographed image, and the correspondence between the pixels of the photographed image and the coordinates of the pixels in the projection target image and the pixels in the projection means It is characterized in that a pixel correspondence process for specifying the correspondence relationship is executed.
  • the image correction program performs a correction process for correcting the projection target image projected by the projection unit based on the correspondence between the pixel in the projection target image and the pixel in the projection unit that projects the image. It is made to perform.
  • the present invention when an image is projected onto a projection surface of an arbitrary shape, it is possible to specify the correspondence between the pixel of the image to be projected and the pixel in the projection means.
  • FIG. 3 is an explanatory diagram illustrating a luminance value when the phase is shifted by d from the initial phase value illustrated in FIG. 2.
  • FIG. 2 It is a block diagram which shows the structural example of information processing apparatus. It is a flowchart which shows the example of the process progress of the 1st Embodiment of this invention. It is a flowchart which shows the example of the process of the matching regarding x coordinate.
  • FIG. 1 is a block diagram illustrating an example of a pixel position correspondence specifying system according to the first embodiment of this invention.
  • the pixel position correspondence specifying system according to the present embodiment specifies the correspondence between the pixel position of the projection target image to be projected and the pixel position in the photographing unit 1.
  • the projection target image is an image projected onto a projection surface (screen) 7 having an arbitrary shape.
  • the pixel position correspondence specifying system according to this embodiment includes a projection unit 1 that projects an image onto a projection surface 7 having an arbitrary shape, an imaging unit 2 that captures an image projected on the projection surface 7, and a projection target. And an information processing device 3 that performs a process of associating a pixel of an image with a pixel in the projection unit 1.
  • the projection unit 1 is realized by a projector, for example, and the photographing unit 2 is realized by a camera, for example.
  • Projection unit 1 projects a reference pattern image group onto a projection plane under the control of information processing device 3.
  • the reference pattern image group will be described later. Since the projection plane 7 is a plane having an arbitrary shape, the image projected on the projection plane 7 is distorted.
  • the photographing unit 2 photographs a reference pattern image group projected on the projection surface 7 from the same direction as the direction in which the image observer 8 views the projection surface 7. Hereinafter, an image obtained by this photographing is referred to as a photographed image.
  • the information processing device 3 uses the reference pattern image group and each captured image to identify the correspondence between the pixel of the projection target image and the pixel of the captured image obtained by capturing the image actually projected on the projection plane. Furthermore, the correspondence relationship between the pixels of the projection target image and the pixels in the projection unit 1 is specified.
  • the projection unit 1 projects the reference pattern image group one image at a time onto the projection plane, and the photographing unit 2 captures the projected image one image at a time.
  • the projection unit 1 may project a plurality of images simultaneously. The case where the projection unit 1 projects a plurality of images simultaneously will be described later.
  • the projection target image projected from the projection unit 1 to be shown to the observer 8 is corrected based on the correspondence, and the observer An image that is not distorted into 8 can be observed.
  • the correspondence between the pixels of the image used for such correction is determined.
  • the reference pattern image group is an image group in which a luminance value is determined as a function value of a continuous function that continuously changes with a phase change, and the luminance value is determined by changing the phase for each image, and an initial phase value Is a group of images that are continuously changed for each coordinate value along one coordinate axis.
  • the function that determines the luminance value only needs to be a function that continuously changes as the phase changes. In this case, a function (such as a sine function) in which the luminance value changes as the phase changes becomes a sine wave is used. Take as an example.
  • FIG. 2 shows an example of a function that represents a luminance value that continuously changes as the phase changes.
  • a function that represents a luminance value that continuously changes as the phase changes.
  • initial phase values such as a, b, and c are determined according to the coordinate values.
  • the x-axis representing the pixel position of the image will be described as an example.
  • the initial phase value corresponding to a certain x coordinate is a
  • the initial phase value corresponding to another x coordinate is b
  • the initial phase value corresponding to another x coordinate is c
  • An initial phase value is determined according to each value.
  • the luminance value of each pixel of the x coordinate corresponding to the initial phase value a is f (a)
  • the luminance value of each coordinate of the x coordinate corresponding to the initial phase value b is f (b)
  • the initial phase value c be the luminance value of each pixel of the x coordinate corresponding to.
  • FIG. 3 is an explanatory diagram illustrating a luminance value when the phase is shifted by d from the initial phase value illustrated in FIG.
  • the luminance value of the x coordinate corresponding to the initial phase value a is f (a + d)
  • the luminance value of the x coordinate corresponding to the initial phase value b is f (b + d)
  • the x coordinate corresponding to the initial phase value c is Let the luminance value be f (c + d).
  • a single image can be obtained by determining a luminance value corresponding to each x coordinate.
  • a plurality of types of similar images can be obtained by changing the phase value (d above) that is changed from the initial phase value.
  • the luminance continuously changes as the coordinate value along one coordinate axis (the x coordinate value in the above example) changes.
  • the images belonging to the reference pattern image group are compared, it is observed that the entire image moves along the coordinate axis as the phase amount d changed from the initial phase value increases.
  • the entire image is observed as if it moved in the x-axis direction.
  • the images are compared in the reference pattern image group generated by determining the initial phase value for each y coordinate, it is observed that the entire image has moved in the y-axis direction.
  • each image belonging to the reference pattern image group when the change in luminance is observed focusing on the individual coordinates along the coordinate axis, the brightness changes with the change in the phase amount d changed from the initial phase value. To do.
  • the information processing apparatus 3 generates a reference pattern image group with respect to two coordinate axes.
  • the two coordinate axes are not limited to the x axis and the y axis.
  • the two coordinate axes may be two axes that are not parallel.
  • the direction of the axis is not limited to the horizontal direction or the vertical direction, and may be any direction.
  • the projection means 1 projects each image belonging to such a reference pattern image group onto the projection plane 7, and the photographing means 2 photographs each image. At this time, the positional relationship among the projection unit 1, the photographing unit 2, and the projection plane 7 is kept constant.
  • the luminance of the pixel changes for each image, and the initial phase value in the luminance change of the pixel can be obtained from the change of the image.
  • the information processing device 3 obtains an initial phase value in the luminance change of each pixel from the luminance change of the pixel between the captured images.
  • the information processing device 3 specifies which pixel of the coordinate value in the projected reference pattern image group corresponds to the pixel in the captured image captured by the capturing unit 2, and further, the pixel of the projection target image and the projecting unit The correspondence relationship with the pixel in 1 is specified.
  • the information processing apparatus 3 creates a reference pattern image group focusing on the x-axis direction, projects each image on the projection means 1, and causes the photographing means 2 to photograph the images. Then, the information processing apparatus 3 identifies which x coordinate pixel in the reference pattern image group corresponds to the pixel in the captured image. Similarly, the information processing apparatus 3 creates a reference pattern image group focusing on the y-axis direction, causes each image to be projected onto the projecting unit 1, and causes the image capturing unit 2 to capture the image. Then, the information processing device 3 identifies which y coordinate pixel in the reference pattern image group the pixel in the captured image corresponds to.
  • the correspondence between the pixel in the image captured by the imaging unit 2 from the same direction as the direction of the observer 8 and the coordinate (x, y) of the pixel in the projected image is determined, and the pixel of the projection target image and the projection unit The correspondence with the pixel in 1 is specified.
  • FIG. 4 is a block diagram illustrating a configuration example of the information processing apparatus 3.
  • the information processing apparatus 3 includes a pattern phase shift unit 4, an imaging control unit 5, a phase calculation unit 6, and an association unit 9.
  • the pattern phase shift means 4 creates a reference pattern image group for each of the x coordinate and the y coordinate.
  • the pattern phase shift means 4 obtains an initial phase value corresponding to each value of the x coordinate, and determines a luminance value at each x coordinate from the initial phase value, thereby generating a reference value.
  • the first (0th) image of the pattern image group is generated.
  • the pattern phase shift means 4 obtains a phase value corresponding to each x coordinate by changing the phase amount by the same phase amount d from the initial phase value corresponding to each x coordinate, and each x value is calculated from the phase value.
  • the next image to which the reference pattern image group belongs is generated.
  • the pattern phase shift means 4 increases the amount of phase change from the initial phase value, and similarly generates images belonging to the reference pattern image group.
  • the pattern phase shift means 4 similarly generates a reference pattern image group for the y coordinate.
  • the imaging control means 5 projects the individual images belonging to the respective reference pattern image groups of the x coordinate and the y coordinate onto the projection means 1 (see FIG. 1), and causes the imaging means 2 to project the image projected on the projection plane 7. Let them shoot.
  • the imaging control unit 5 causes the projection unit 1 to project the images belonging to the reference pattern image group one by one, and causes the imaging unit 2 to capture the projected images one image at a time.
  • the phase calculation means 6 obtains an initial phase value in the luminance change between the photographic images based on the luminance change between the photographic images obtained by photographing the images belonging to the x coordinate reference pattern image group. Similarly, the phase calculation means 6 obtains an initial phase value for a luminance change between the captured images of each captured image obtained by capturing each image belonging to the reference pattern image group of the y coordinate.
  • the associating means 9 specifies which x coordinate in the reference pattern image group the pixel in the captured image corresponds to from the initial phase value obtained from the captured image of the reference pattern image group in the x coordinate. Similarly, the y-coordinate in the reference pattern image group corresponding to the pixel in the captured image is specified from the initial phase value obtained from the captured image of the reference pattern image group in the y coordinate.
  • the association unit 9 further specifies the correspondence between the pixels of the projection target image and the pixels in the projection unit 1.
  • the pattern phase shift unit 4, the imaging control unit 5, the phase calculation unit 6, and the association unit 9 are realized by, for example, a CPU that operates according to a program (pixel position correspondence specifying program).
  • the program is stored, for example, in a program storage device (not shown) included in the information processing apparatus 3, and the CPU reads the program, and according to the program, the pattern phase shift means 4, the imaging control means 5, the phase calculation means 6, And it may operate as the association means 9.
  • the pattern phase shift unit 4, the imaging control unit 5, the phase calculation unit 6, and the association unit 9 may be separate hardware.
  • FIG. 5 is a flowchart showing an example of processing progress of the first embodiment of the present invention.
  • the information processing apparatus 3 determines which pixel in the captured image obtained by capturing the image projected on the projection plane 7 corresponds to which x coordinate in the projected image (reference pattern image group) (step S1). Subsequently, the information processing apparatus 3 determines which pixel in the captured image obtained by capturing the image projected on the projection plane 7 corresponds to which y coordinate in the projected image (step S2). By executing steps S1 and S2, it is determined which coordinate value the pixel of the captured image is in the projected image. The information processing apparatus 3 determines the correspondence between the position of the pixel of the projection target image and the position of the pixel in the projection unit 1 based on the correspondence determined in steps S1 and S2 (step S3).
  • steps S1 and S2 is the same processing except that the object for determining the correspondence with the pixel in the captured image is the x coordinate or the y coordinate.
  • the details of the process for determining the correspondence between the pixels of the captured image and the coordinates will be described below using step S1 for determining the correspondence for the x coordinate as an example.
  • FIG. 6 is a flowchart showing an example of the process of the association (step S1) regarding the x coordinate.
  • the pattern phase shift unit 4 first generates a reference pattern image group (step S11).
  • the pattern phase shift means 4 obtains an initial phase value corresponding to the x coordinate.
  • the initial phase value is a function having the coordinate value as a variable, and may be obtained as a function value of a function that continuously changes as the coordinate value is converted.
  • a function for obtaining the initial phase value corresponding to the coordinate value is represented by s 0 .
  • the pattern phase shift means 4 may obtain an initial phase value corresponding to each coordinate value by a function represented by the following expression (1).
  • x is the value of the x coordinate of the pixel of the reference pattern image group.
  • w is the width (number of pixels) of the image that can be projected by the projection means 1.
  • T is a period in a function f for obtaining a luminance value using the phase as a variable.
  • T 2 ⁇ .
  • the margin constant may be determined as a value of about 1% of w, for example.
  • Equation (1) is an example of a function for obtaining an initial phase value corresponding to the x coordinate, and the initial phase value may be calculated by a function other than Equation (1).
  • the pattern phase shift means 4 obtains a luminance value corresponding to the initial phase value s 0 (x) obtained from the x coordinate value by the function f. That is, for each x coordinate, the luminance value is determined using the function of the following formula (2).
  • an image defining a luminance value for each x coordinate is obtained.
  • This image is the first (0th) image in the reference pattern image group.
  • I (x) on the left side in Equation (2) means the luminance of the pixel according to the value of the x coordinate.
  • the function f is a function that continuously changes with a change in phase.
  • the function f is a function in which the luminance change is a sine wave.
  • the pattern phase shift means 4 obtains a phase obtained by adding a common phase value to each initial phase value obtained for each x coordinate. That is, the phase corresponding to each x-coordinate value is calculated for each x-coordinate with the phase amount to be added being d (i). Then, the pattern phase shift unit 4 calculates the luminance value of each x coordinate by substituting the obtained phase into a function f for obtaining the luminance value. As a result, an image defining a luminance value for each x coordinate is obtained. The pattern phase shift unit 4 changes the phase value to be added and similarly generates an image. Assuming that the luminance obtained by substituting the phase value obtained by adding d (i) to the initial phase value into the function f is I i (x), I i (x) is expressed by the following equation (3). Can be expressed as:
  • d (i) may be determined in advance, for example, as shown in equation (4) below.
  • N s is the number of images to be obtained as the reference pattern image group.
  • i 1, 2,..., N s ⁇ 1.
  • N s 4
  • d (i) T / 4, T / 2, and 3T / 4.
  • T 2 ⁇
  • d (i) ⁇ / 2, ⁇ , and 3 ⁇ / T. That is, in addition to the first image whose luminance is obtained as f (s 0 (x)), an image whose luminance is obtained as f (s 0 (x) + ⁇ / 2), and f (s 0 (x) + ⁇ ). An image for which luminance is obtained and an image for which luminance is obtained as f (s 0 (x) + 3 ⁇ / 2) are generated. As a result, a reference pattern image group including four images from the 0th to the third is obtained. i in d (i) represents this order.
  • Expression (4) is an example of a calculation formula for obtaining a phase amount to be added to the initial phase value, and the phase amount to be added may be determined by another method.
  • the case of generating a reference pattern image group including four images is illustrated, but the number of images to be obtained is not limited to four, and may be five or more. Three may be sufficient.
  • a function whose luminance change is a sine wave is used as the function f, at least three images may be generated.
  • the imaging control unit 5 projects each image belonging to the reference pattern image group toward the projection plane 7 on the projection unit 1 one image at a time. Then, the photographing control unit 5 causes the photographing unit 2 to photograph each image projected on the projection surface 7 one by one, and receives the photographed image from the photographing unit 2 (step S12).
  • step S12 the phase calculation means 6 obtains an initial phase value in the change for each pixel based on the change in luminance between the captured images (step S13). Even if the projected image is distorted due to the projection surface 7 having an arbitrary shape, the position at which a pixel having a certain coordinate value is projected does not change even when the projected image is switched. Since the luminance is changed for each individual x coordinate value, the luminance of the pixel at the same location in each captured image also changes in the same way as the luminance of the image at the same location in each image belonging to the reference pattern image group.
  • FIG. 7 is an explanatory diagram illustrating an example of a luminance change of the same pixel in a plurality of captured images.
  • the phase calculation means 6 obtains an initial phase in a change in luminance as exemplified in FIG.
  • the phase calculation means 6 should just obtain
  • the luminance I j of the pixel corresponding to the common position in each captured image and the pixel in the j-th captured image is expressed as the following Expression (5).
  • d (j) represents the phase amount added to the initial phase value in the j-th photographed image.
  • d (0) 0.
  • d (j) 1 and later, let d (j) be the same value as d (i) used when generating the reference pattern image group.
  • a in the equation (5) is an amplitude in a change in luminance value that changes for each captured image.
  • B in the equation (5) is the luminance of the background.
  • the phase calculation means 6 substitutes I j , d (j) for each photographed image in equation (5), and calculates ⁇ , which is an unknown value. There are A, B, and ⁇ as unknown values, and ⁇ may be calculated by solving simultaneous equations in which I j and d (j) are substituted into Equation (5) for each captured image.
  • the minimum two ⁇ may be calculated by multiplication. For example, if there are N captured images and the following N equations are obtained, the value of ⁇ may be obtained from the N equations by the least square method.
  • the phase calculation means 6 may perform this process for each pixel in the captured image.
  • the function f for obtaining the luminance value is a function in which the luminance change is a sine wave, the period thereof is 2 ⁇ , and d (i) is expressed by Equation (4).
  • the phase calculation means 6 may calculate the initial phase value ⁇ in the pixel of interest by performing the calculation of the following equation (6).
  • a and B can be obtained by the following equations (7) and (8), respectively.
  • I c (0), I c (1), I c (2), and I c (3) are pixel values of pixels having a common position, respectively, and I c (0) is the 0th Pixels in the captured image, I c (1) is a pixel in the first captured image, I c (2) is a pixel in the second captured image, and I c (3) is a pixel in the third captured image. It is.
  • the phase calculation means 6 may perform the process for obtaining the initial phase value by equation (6) for each pixel in the captured image.
  • the part (denoted as the target image area) corresponding to the projected image of the photographed image is determined in advance.
  • the area may be configured to be designated by an operator.
  • the information processing apparatus 3 may be configured to include a display device that displays a captured image and a pointing device that receives designation of a target image region in the captured image.
  • the phase calculation means 6 may determine that a rectangular area including an area having a luminance value equal to or higher than a predetermined value in the captured image is the target image area.
  • the association unit 9 determines which x-coordinate value in the projected image corresponds to the pixel of the captured image from the initial phase value obtained for the pixel in the captured image (step S14).
  • step S14 the associating unit 9 performs the back calculation of the x coordinate from the initial phase value calculated in step S13, so that the corresponding x coordinate value (that is, the projection unit 1 projects the pixel) in the captured image.
  • X coordinate value in the image to be calculated For example, when the pattern phase shift means 4 calculates the initial phase value by calculating the expression (1), the associating means 9 uses the initial phase value calculated in step S13 as s 0 (x) and the expression (1 ) And the x coordinate is calculated backward. By performing this process for each pixel, it is determined which x coordinate in the projected image corresponds to the pixel in the captured image.
  • step S14 when the association unit 9 calculates the x-coordinate corresponding to the pixel in the photographed image, a table indicating the correspondence between the pixel in the photographed image and the pixel of the projected image (hereinafter referred to as an intermediate table).
  • the x and y coordinates of the photographed image are associated with the corresponding x coordinates.
  • the x coordinate obtained by calculating backward from the initial phase value of the (50, 150) pixel in the captured image is “100”.
  • associating means 9 associates the pixel (50, 150) of the captured image with the x coordinate “100” in the corresponding pixel, as shown in FIG.
  • the y-coordinate of the pixel corresponding to the pixel of the photographed image has not been specified, and thus is undecided.
  • FIG. 8A illustrates the pixels (50, 150) of the captured image, the other pixels are processed similarly.
  • Step S1 (see FIG. 5) is completed by the processing of steps S11 to S14. Similarly, in the process of determining which y coordinate the pixel of the captured image corresponds to (step S2), the process of steps S11 to S14 may be performed.
  • step S11 the pattern phase shift means 4 generates a reference pattern image group for the y coordinate.
  • the pattern phase shift means 4 obtains an initial phase value corresponding to the y coordinate. For example, what is necessary is just to obtain
  • Equation (9) y is the value of the y coordinate of the pixel of the reference pattern image group.
  • h is the height (number of pixels) of the image that can be projected by the projection means 1.
  • T is the same as that of Formula (1).
  • m ′ is a margin constant similar to m in Equation (1), and may be determined as a value of about 1% of h, for example.
  • Expression (9) is an example, and the initial phase value may be determined by a function other than Expression (9).
  • the first (0th) image of the reference pattern image group is generated by determining the luminance value corresponding to the initial phase value. Further, by determining a luminance value corresponding to the phase value obtained by adding the phase d (i) to the initial phase value for each pixel, another image belonging to the reference pattern image group is generated.
  • step S11 This process is the same as step S11 already described except that the initial phase value corresponding to the y coordinate value is determined.
  • steps S12 and S13 are performed. This process is the same as steps S12 and S13 already described.
  • step S14 the association unit 9 determines which y coordinate in the projected image the pixel of the captured image corresponds to from the initial phase value obtained in step S13.
  • a calculation for obtaining an initial phase value from the y coordinate (for example, Equation (9)) may be performed backward to obtain a y coordinate value from the initial phase value.
  • the association unit 9 associates the y coordinate with the pixel in the captured image and adds it to the intermediate table. For example, it is assumed that the y coordinate obtained by calculating backward from the initial phase value of the (50, 150) pixel in the captured image is “50”.
  • the association unit 9 adds the y coordinate “50” in association with the pixel (50, 150) of the captured image, as shown in FIG. In this way, the y coordinate is added to the state where the y coordinate is undetermined (FIG. 8A) (see FIG. 8B).
  • the association means 9 performs this process for each pixel, and completes the intermediate table.
  • This intermediate table represents the correspondence between the pixels in the captured image and the pixels of the projected image.
  • step S3 the association unit 9 associates the coordinates of the pixel in the projection target image to be projected onto the pixel in the captured image with the coordinate corresponding to the pixel in the captured image.
  • FIG. 9 is an explanatory diagram illustrating an example of association in step S3.
  • the pixel at the coordinates (X a , Y a ) in the projection target image must be projected so as to be the pixel at the coordinates (X p , Y p ) in the captured image.
  • a pixel in a captured image observed without distortion is referred to as a target pixel.
  • the coordinates associated with the pixel (X p , Y p ) in the captured image are (X b , Y b ).
  • the associating unit 9 searches the intermediate table for a pixel (X b , Y b ) corresponding to the target pixel (X p , Y p ), and the pixel (X a , Y in the projection target image to be projected onto the target pixel.
  • a ) and the coordinates (X b , Y b ) associated with the target pixel in the intermediate table are associated with each other. This association is performed for each pixel in the projection target image to be projected onto each target pixel.
  • the luminance value of the pixel at the coordinate (X b , Y b ) in the projection unit 1 is set to a luminance value equal to the pixel at the coordinate (X a , Y a ) in the projection target image, and the other values in the projection unit 1 are set. If the luminance value of the pixel is set in the same manner, the pixel of (X a , Y a ) in the projection target image has been changed to the position of (X b , Y b ), and in this state, the projection is performed on the projection plane 7. Then, it is projected to the position of the desired target pixel (X p , Y p ).
  • the association unit 9 associates the pixel in the projection target image to be projected onto the pixel in the captured image and the coordinate corresponding to the pixel in the captured image, thereby obtaining the position of the pixel in the projection target image, The position of the pixel in the projection means 1 is matched.
  • association unit 9 associates the pixel position of the projection target image with the pixel position in the projection unit 1, the association unit 9 stores or outputs the correspondence as a table (hereinafter referred to as a pixel correspondence table).
  • the pixel of the projection target image is projected by associating the pixel of the projection target image to be projected at the target position with the coordinates associated with the position in the intermediate table.
  • the correspondence between the position and the position of the pixel in the projection unit 1 can be specified.
  • an initial phase value is determined for each pixel, and an image whose luminance value is obtained from the initial phase value and an image whose phase is shifted from the initial phase value and the luminance value is obtained from the phase value are obtained.
  • a reference pattern image group is generated and each image is projected. Further, each image is taken. At this time, the luminance of each pixel changes between the captured images obtained by the imaging in the same manner as the luminance change between the images of the reference pattern image group.
  • the corresponding initial pixels have the same initial phase value. This property is established regardless of the shape of the projection plane 7. In the present invention, this is utilized to determine the correspondence between the pixels in the captured image and the pixels of the projected image. Therefore, even if the shape of the projection surface 7 is an arbitrary shape, it is possible to specify the correspondence between the pixel position of the projection target image and the pixel position in the projection unit.
  • the correspondence can be obtained. Therefore, since it is not necessary to use a three-dimensional shape measuring device for measuring the shape of the projection surface, the correspondence can be obtained at low cost.
  • the function f is a continuous function that continuously changes with a change in phase. Any function can be used.
  • the function f may be a function in which the change in luminance value is a triangular wave instead of a function in which the function value changes smoothly like a sine function.
  • the reason for using a continuous function as the function f is as follows. If the function f is not a continuous function and there is a discontinuous portion such as a sawtooth wave, the luminance value of adjacent pixels changes rapidly. Then, when the resolution of the photographing unit 2 is insufficient, a portion where the luminance value changes suddenly is blurred and an intermediate value of the suddenly changing value may be recognized as the luminance. Then, the pixel may be associated with another pixel that should not be associated with the original pixel.
  • the continuous function that continuously changes with the change of the phase is used as the function f for obtaining the luminance value, the erroneous association as described above can be prevented. This means that the correction accuracy can be improved when correcting the projected image based on the correspondence between the pixels.
  • the phase calculation means 6 generates an image that can calculate the initial phase value as the reference pattern image group, and it is not necessary to generate a large number of images as the reference pattern image group. Therefore, the processing can be speeded up.
  • a function whose luminance value is changed to a sine wave is used as the function f for obtaining the luminance value
  • a reference pattern image group including at least three images per coordinate axis may be generated. In this case, since the number of images used as the reference pattern image group can be reduced, the processing can be speeded up.
  • the pixel position correspondence specifying system includes a projection unit 1, a photographing unit 2, and an information processing device 3 (see FIG. 1).
  • the pixel position correspondence specifying system of the second embodiment also creates a pixel correspondence table indicating the correspondence between the position of the pixel in the projection target image and the position of the pixel in the projection unit 1.
  • the information processing apparatus 3 further corrects an image projected on the projection surface 7 for presentation to the observer 8 using the pixel correspondence table, and the corrected image is displayed on the projection unit 1. Project.
  • FIG. 10 is a block diagram illustrating a configuration example of the information processing apparatus 3 according to the second embodiment. Constituent elements similar to those in the first embodiment are denoted by the same reference numerals as those in FIG. 4, and detailed description thereof is omitted.
  • the information processing apparatus 3 according to the second embodiment includes a pattern phase shift unit 4, an imaging control unit 5, a phase calculation unit 6, an association unit 9, a correction unit 10, and a projection control unit 11. The operations of the pattern phase shift unit 4, the imaging control unit 5, the phase calculation unit 6, and the association unit 9 are the same as those in the first embodiment.
  • the correction means 10 performs a process of correcting the projection target image projected on the projection plane 7 for presentation to the observer 8 using the pixel correspondence table.
  • the projection control unit 11 projects the corrected image on the projection unit 1.
  • the information processing device 3 generates a pixel correspondence table that indicates the correspondence between the pixel position of the projection target image and the pixel position in the projection unit 1. This operation is the same as in the first embodiment, and a description thereof will be omitted.
  • the correction unit 10 corrects the projection target image presented to the observer 8 (see FIG. 1).
  • the correcting unit 10 may generate an image in which the luminance value of the pixel in the projecting unit 1 is set to the luminance value of the pixel of the projection target image corresponding to the pixel as the corrected image.
  • the coordinates (X a , Y a ) and the coordinates (X b , Y b ) are associated with each other as in the example illustrated in FIG.
  • the luminance value of the pixel at (X b , Y b ) The luminance value of the pixel (X a , Y a ) in the image is set, and an image in which the luminance values of other pixels are similarly set may be generated as a corrected image.
  • the pixel of (X a , Y a ) in the projection target image has been changed to the position of (X b , Y b ), and when projected onto the projection plane 7 in that state, the pixel is at the desired position. Projected. As a result, image distortion when projected onto the projection surface 7 can be eliminated.
  • the projection control means 11 projects the image corrected by the correction means 10 onto the projection plane 7 on the projection means 1. It is assumed that the positional relationship between the projection unit 1 and the projection plane 7 is not changed from the time of pixel correspondence table creation at the time of image projection. In addition, the observer 8 views the projection plane 7 from the same direction as the photographing unit 2 when creating the pixel correspondence table.
  • the pixels in the projection target image are projected at a position different from the desired position, and the image is distorted.
  • the projection target image is corrected using the pixel correspondence table generated as in the first embodiment, and the corrected image is projected. Therefore, it is possible to project a desired luminance value at each position and project an image on the projection surface 7 having an arbitrary shape without causing the observer to recognize the distortion.
  • the image is corrected using the pixel correspondence table and the image is projected, an image in which distortion due to the shape of the projection surface is suppressed can be shown to the observer.
  • the correspondence relationship between the pixels of the projection target image and the pixels in the projection unit 1 is specified. Regardless, it is possible to show an observer an image with reduced distortion.
  • an intermediate table can be created at low cost, at high speed, and with high accuracy.
  • the information processing apparatus 3 may be an image correction system in which a pixel correspondence table is input from the outside without creating a pixel correspondence table, and the projection target image is corrected using the pixel correspondence table.
  • the image correction system may not include the projection unit 1 and the photographing unit 2.
  • the information processing apparatus 3 only needs to include the correction unit 10.
  • a pixel position correspondence specifying system similar to that of the first embodiment may create a pixel correspondence table and input the pixel correspondence table to the image correction system.
  • the image correction system may not only correct the projection target image but also project the corrected image onto the projection plane.
  • the image correction system only needs to include a projection unit used when creating the pixel correspondence table and a projection control unit that projects the corrected image onto the projection unit.
  • the correspondence (pixel correspondence table) between the position of the pixel in the projection target image and the position of the pixel in the projection unit 1 is determined using the phase of the reference pattern image group in which the luminance changes continuously. Therefore, it is possible to obtain a correspondence relationship for each pixel (that is, at a high density), and it is possible to obtain a highly accurate correspondence relationship in which the corresponding pixel is represented by, for example, a floating point.
  • the resolution of an area for which a correspondence relationship is to be obtained in the captured image is the projection target image. The resolution is converted so as to be the same, and then the initial phase value is calculated.
  • FIG. The third embodiment of the present invention includes a projecting unit 1, a photographing unit 2, and an information processing device 3 as in the first and second embodiments (see FIG. 1).
  • the captured image and the image to be presented to the observer have different resolutions
  • the captured image is enlarged or reduced
  • the resolution of the captured image is adjusted to the resolution of the image to be presented to the observer.
  • processing for obtaining an initial phase value for the captured image after resolution conversion that is, after enlargement or reduction
  • step S13, FIG. 6 is performed, and the coordinates of the reference pattern image group of the pixels of the captured image after resolution conversion are performed.
  • step S14 see FIG. 6
  • a pixel correspondence table is generated.
  • a highly accurate pixel correspondence table can be obtained. For example, if the resolution of the captured image is higher than that of the projection target image, if the captured image is reduced before the initial phase value is calculated, the image has less noise and higher contrast than the performance of the imaging means 2 (camera). Is obtained. If the initial phase value is calculated using the image in the same manner as in the first embodiment and a pixel correspondence table is obtained, a highly accurate pixel correspondence table can be obtained.
  • FIG. 11 is a block diagram illustrating a configuration example of the information processing apparatus 3 according to the third embodiment. Constituent elements similar to those in the first and second embodiments are denoted by the same reference numerals as those in FIGS. 4 and 10, and detailed description thereof is omitted.
  • the information processing apparatus 3 according to the third embodiment includes a pattern phase shift unit 4, an imaging control unit 5, a resolution conversion unit 12, a phase calculation unit 6, an association unit 9, a correction unit 10, and projection control. Means 11.
  • the resolution conversion means 12 enlarges or reduces the target image area in the captured image so that the resolution of the target image area in the captured image becomes a desired resolution to be presented to the observer.
  • the resolution conversion means 12 may cut out the target image area from the captured image and enlarge or reduce the cut-out image.
  • a portion of the projection plane corresponding to a region desired by the operator who wants to project the image to be captured may be designated as the target image region by the operator, for example.
  • the pattern phase shift unit 4, the imaging control unit 5, the phase calculation unit 6, the association unit 9, the correction unit 10, the projection control unit 11, and the resolution conversion unit 12 are a CPU that operates according to a program (pixel position correspondence specifying program). It is realized by.
  • the program is stored, for example, in a program storage device (not shown) included in the information processing apparatus 3, and the CPU reads the program, and according to the program, the pattern phase shift means 4, the imaging control means 5, the phase calculation means 6,
  • the association unit 9, the correction unit 10, the projection control unit 11, and the resolution conversion unit 12 may be operated. Further, each means may be separate hardware.
  • the information processing device 3 performs association (step S1, see FIG. 5) regarding the x coordinate and association (step S2, see FIG. 5) regarding the y coordinate.
  • steps S1 and S2 basic pattern image generation processing and photographing processing are performed, respectively.
  • the basic pattern image generation process and the photographing process are the same as the processes in steps S11 and S12 in the first embodiment, and a description thereof will be omitted.
  • the resolution conversion unit 12 sets the target image area in the photographed image so that the resolution of the target image area in the photographed image is the same as that of the desired resolution presented to the observer. Zoom in or out.
  • An image after resolution conversion by enlargement or reduction can be called a resolution conversion image.
  • the resolution conversion means 12 determines the luminance value at the coordinate after resolution conversion as the luminance value at the corresponding coordinate before resolution conversion.
  • the pixels having no corresponding coordinates before resolution conversion are interpolated from the predetermined luminance value by linear interpolation or bilinear interpolation. The luminance value thus determined may be determined.
  • the resolution conversion means 12 determines the luminance value at the coordinate after resolution conversion based on the luminance value at the corresponding coordinate before resolution conversion.
  • one pixel in the image after conversion corresponds to a plurality of pixels in the image before conversion.
  • the resolution conversion unit 12 weights the luminance values of a plurality of pre-conversion pixels associated with the post-conversion pixels with an area corresponding to the post-conversion pixels, and obtains a linear sum, thereby obtaining the luminance of the post-conversion pixels. Find the value.
  • the pixel after conversion is a pixel in the image after conversion
  • the pixel before conversion is a pixel in the image before conversion.
  • FIG. 12 is an explanatory diagram illustrating an example of determining the luminance of the pixel after the reduction conversion. It is assumed that the pixel 65 in the image after reduction corresponds to the four pixels 61 to 64 in the image before reduction. The luminance values of the pixels 61 to 64 are assumed to be P 1 to P 4 , respectively. In addition, the pixel 61 does not correspond only to the converted pixel 65 but also corresponds to another pixel (not shown) in contact with the pixel 65, and the area corresponding to the converted pixel 65 in the pixel 61 is as follows. , 1/4. The same applies to the other pixels 62, 63, 64 before conversion. Therefore, in the example shown in FIG.
  • P 1 ⁇ (1/4) + P 2 ⁇ (1/4) + P 3 ⁇ (1/4) + P 4 ⁇ (1/4) (P 1 + P 2 + P 3 + P 4 ) / 4.
  • the resolution conversion means 12 may perform this calculation to determine the luminance value of the converted pixel 65 as (P 1 + P 2 + P 3 + P 4 ) / 4.
  • the resolution conversion unit 12 similarly determines a luminance value for each pixel in the converted image.
  • the resolution conversion means 12 obtains individual luminance values as described above, and generates an enlarged or reduced image. In addition, the resolution conversion unit 12 enlarges or reduces each captured image in the same manner.
  • the phase calculation means 6 is based on a change in luminance between each photographic image after resolution conversion (ie, each resolution conversion image) for each pixel.
  • the initial phase value in the change is obtained.
  • the associating unit 9 associates the coordinates of the pixels in the resolution-converted image with the coordinates of the pixels in the projected image. This process is the same as step S14 in the first embodiment.
  • the information processing device 3 performs the resolution conversion on the captured image as described above after performing the basic pattern image group generation processing and the imaging processing in the association processing (step S1, see FIG. 5) regarding the x coordinate, and performs the resolution conversion.
  • the initial phase value is calculated, and the pixel coordinate of the resolution-converted image is associated with the x coordinate of the pixel of the image to be captured.
  • the association processing related to the y-coordinate see step S2, FIG. 5
  • step S2 FIG. 5 after performing the basic pattern image group generation processing and shooting processing, resolution conversion is performed on the shooting image as described above, and the resolution conversion image is used.
  • the initial phase value is calculated, and the coordinates of the pixels of the resolution-converted image are associated with the y-coordinates of the pixels of the captured image.
  • the association means 9 generates a pixel correspondence table using this result (step S3 shown in FIG. 5).
  • the correction means 10 corrects the image projected on the projection surface 7 for presentation to the observer 8 using this pixel correspondence table.
  • the operation of the correction unit 10 is the same as that in the second embodiment.
  • the projection control unit 11 projects the image corrected by the correction unit 10 onto the projection plane 7 on the projection unit 1. It is assumed that the positional relationship between the projection unit 1 and the projection plane 7 is not changed from the time of pixel correspondence table creation at the time of image projection.
  • the observer 8 views the projection plane 7 from the same direction as the photographing unit 2 when creating the pixel correspondence table. This point is the same as in the second embodiment.
  • a pixel correspondence table corresponding to the resolution of the desired projection target image is created and The projection target image can be projected at a resolution of.
  • an image with suppressed distortion can be shown to the observer regardless of the shape of the projection surface.
  • the resolution conversion means 12 reduces the captured image, a highly accurate pixel correspondence table can be obtained.
  • the determination accuracy of the correspondence relationship (pixel correspondence table) using the initial phase value depends on the measurement accuracy of the initial phase value, and the measurement accuracy of the initial phase value mainly occurs in the captured image with respect to the contrast of the captured pattern. Depends on the noise level. If the contrast of the photographed pattern is large or the noise is small, the measurement accuracy of the initial phase value is improved.
  • the resolution conversion unit 12 reduces the captured image of the reference pattern image group, the captured image can be converted into an image with a large contrast: noise ratio.
  • the accuracy of the pixel correspondence table can be improved by calculating the initial phase value using such an image after conversion and generating the pixel correspondence table.
  • the pattern phase shift unit 4 may generate a plurality of types of reference pattern image groups for each of the x-axis and y-axis coordinate axes.
  • the pattern phase shift means 4 generates two types of reference pattern image groups for each coordinate axis will be described.
  • the pattern phase shift means 4 generates a first reference pattern image group and a second reference pattern image group.
  • the luminance change period in the coordinate axis direction in the second reference pattern image group is 1 / a times the luminance change period in the coordinate direction in the first reference pattern image group.
  • the second reference pattern image group is an image group obtained by compressing the first reference pattern image group by 1 / a times in the coordinate axis direction.
  • each image belonging to the second reference pattern image group has the same size as each image belonging to the first reference pattern image group, and the same pattern appears repeatedly in the images belonging to the second reference pattern image group. It is an image.
  • the image belonging to the second reference pattern image group is an image in which a pattern obtained by compressing the image belonging to the first reference pattern image group by 1 / a times is repeated a times.
  • a is a value larger than 1, for example.
  • FIG. 13 is an explanatory diagram schematically showing two types of reference pattern image groups.
  • FIG. 13A shows a first reference pattern image group
  • FIG. 13B shows a second reference pattern image group.
  • FIG. 13 shows a case where the luminance is changed in the x-axis direction, where the solid line represents the portion where the luminance is minimum (darkest place), and the wavy line represents the portion where the luminance is highest (brightest place). ing.
  • the luminance change period in the second reference pattern image group is the luminance change period in the first reference pattern image group. It is 1/2 the period.
  • the image belonging to the second reference pattern image group is an image obtained by repeating twice a pattern obtained by compressing an image belonging to the first reference pattern image group by a factor of 1/2.
  • the pattern phase shift means 4 may generate the first reference pattern image group in the same manner as the reference pattern image group described in the first embodiment. Further, the pattern phase shift means 4 can obtain the second reference pattern image group by using a function obtained by multiplying a function for obtaining an initial phase value corresponding to the coordinate value (for example, Expressions (1) and (9)). That's fine. For example, when generating the first reference pattern image group, when Expression (1) or Expression (9) is used, when generating the second reference pattern image group, the following expression (1 ′ ) Or formula (9 ′) may be used.
  • the generation process of the first reference pattern image group and the generation process of the second reference pattern image group are the same process except for the function for obtaining the initial phase value according to the coordinate value.
  • the imaging control unit 5 projects each image belonging to the first reference pattern image group and each image belonging to the second reference pattern image group onto the projection plane 7 on the projection unit 1 one by one.
  • the photographing control unit 5 causes the photographing unit 2 to photograph each image projected on the projection surface 7 one image at a time and receives the photographed image from the photographing unit 2.
  • the phase calculation means 6 obtains the initial phase value for the change in luminance of each pixel for each pixel based on the photographed image corresponding to the first reference pattern image group. This process is the same as step S13 in the first embodiment. Similarly, the phase calculation means 6 obtains an initial phase value for each pixel for the luminance change of each pixel based on the captured image corresponding to the second reference pattern image group.
  • the associating unit 9 calculates an initial phase value (referred to as a first initial phase value group) calculated based on a captured image corresponding to the first reference pattern image group, and a second reference pattern image group.
  • the coordinate value obtained from the initial phase value is associated with the pixel in the captured image using the initial phase value (referred to as a second initial phase value group) calculated based on the captured image according to the above.
  • the associating unit 9 reversely calculates coordinates from the initial phase values for the second initial phase value group. If the equations used to calculate the initial phase value at the time of generating the second reference pattern image group are the equations (1 ') and (9'), the coordinate values may be calculated by performing a reverse calculation of these equations.
  • each image belonging to the second reference pattern image group is an image in which the same pattern is repeated. For this reason, even if the coordinate values are different, the initial phase values match and there is an indefiniteness that the coordinate values cannot be uniquely determined from the initial phase values.
  • the associating unit 9 adds a coordinate value obtained by adding an integer multiple of the period of luminance change in the second reference pattern image group to the coordinate value obtained by back calculation from the second initial phase value group. Is calculated as a candidate. For example, assuming that the coordinate value obtained by back calculation is t and the luminance change period in the second reference pattern image group is Q, t + Q, t + 2Q,.
  • the associating unit 9 includes a captured image corresponding to the first reference pattern image group located at the same position as the pixel of the captured image corresponding to the second reference pattern image group for which the corresponding coordinate value is to be obtained. Also for the pixel, the coordinate value is calculated backward from the initial phase value. Then, the associating means 9 is the coordinate closest to the coordinate calculated backward from the initial phase value of the pixel of the photographed image corresponding to the first reference pattern image group among the coordinate candidates obtained from the second initial phase value group. Are determined as coordinate values corresponding to the pixels. This process may be performed for each pixel.
  • the accuracy of the association process of the association unit 9 can be improved.
  • the measurement error of the initial phase value is the same in both reference pattern image groups, but in the second reference pattern image group, the initial phase value with respect to the corresponding coordinates changes by a times. That is, the error when the corresponding coordinates are obtained from the initial phase value is 1 / a. For this reason, the precision of a matching process can be improved.
  • the correction unit 10 may update the luminance of the image projected by the projection unit 1 using the reflectance and then perform correction on the image.
  • the information processing apparatus 3 includes a reflectance calculation unit that calculates the reflectance on the projection surface.
  • the reflectance calculation unit includes a unit (for example, the correction unit 10 or the phase calculation unit 6) included in the information processing apparatus 3. ).
  • the correcting unit 10 operates also as a reflectance calculating unit will be described as an example.
  • the correction unit 10 calculates the luminance amplitude (Ap) in the reference pattern image group generated by the pattern phase shift unit 4 and the luminance amplitude ( Ac ) in the captured image captured by the imaging unit 2.
  • the reflectance A cp is calculated.
  • the correcting means 10 does not obtain the luminance amplitude Ac in the photographed image from the photographed image of the reference pattern image group, but projects a maximum brightness image and a minimum brightness image on the projection plane separately from the reference pattern image group. Then, it may be obtained from the difference between the luminance values of the captured images obtained by capturing the images.
  • the imaging control means 5 sets the brightness value of all pixels to the maximum value and the brightness value of all pixels to the minimum value separately from the reference pattern image group.
  • the dark image (the dark image as a whole) may be projected onto the projection unit 1 and the projected bright image and dark image may be photographed onto the photographing unit 2, respectively.
  • Correcting means 10 may be determined amplitude A c from the difference of the luminance values of the two photographed images.
  • the correction unit 10 divides the luminance by the reflectance A cp (that is, K / A cp ). Update. Then, after the luminance is updated, the image may be corrected using the pixel correspondence table.
  • the pixel position correspondence relationship specifying system may include a plurality of projection units 1.
  • the information processing apparatus 3 may create a pixel correspondence table for each projection unit 1.
  • the image presented to the user may be corrected using a pixel correspondence table created for each projection means 1.
  • the plurality of projection means 1 may project an image on the same area on the projection plane 7.
  • the image projected from the plurality of projection means 1 on the same region is presented to the user, so that the image projected on the projection plane 7 can be brightened.
  • the projection of individual images obtained by dividing a large image may be shared by the projection means 1, and each projection means 1 may project the projection position on the projection plane while shifting.
  • the first projection unit 1 may share the right half projection in the image presented to the user, and the second projection unit 1 may share the left half projection.
  • the 2nd projection means 1 may project an image next to the area
  • the photographing unit 1 projects images belonging to the reference pattern image group one image at a time and the photographing unit 2 photographs the images one image at a time has been described. May project a plurality of images onto the projection surface at the same time. At this time, the imaging unit 2 may shoot the projected image and separate it for each color having a different wavelength of light.
  • the projecting unit 1 may simultaneously project the images belonging to the reference pattern image group as images of colors having different light wavelengths. For example, it is assumed that there are three images belonging to the reference pattern image group, and the projection unit 1 can project in three colors of red, green, and blue. In this case, the projecting means 1 may project the first to third images of three colors of red, green and blue at the same time. In this case, the imaging means 2 may shoot images simultaneously projected in red, green, and blue and separate them in red, green, and blue colors. The information processing apparatus 3 may perform processing on the separated image.
  • each projection means may simultaneously project an image with a color having a different light wavelength.
  • three projection means 1 are provided, a red image is projected by the first projection means, a green image is projected by the second projection means, and a blue image is projected by the third projection means. May be performed simultaneously.
  • the photographing means 2 may shoot images simultaneously projected in red, green, and blue, and separate them in red, green, and blue colors.
  • a configuration may be adopted in which a plurality of projection units are provided, and each projection unit projects an image with a plurality of colors at the same time.
  • five projection means capable of projecting light at 15 types of wavelengths are provided.
  • each of the projecting means simultaneously projects three types of images with colors of different wavelengths.
  • Each projection means also projects simultaneously.
  • the photographing means 2 may shoot each image projected with colors of 15 types of wavelengths and separate them into 15 types of colors.
  • the pixel position correspondence specifying system includes the photographing unit 2 (see FIG. 1)
  • the pixel position correspondence specifying system does not include the photographing unit 2
  • the projection plane 7 Projection means for projecting the image projected on may be provided separately from the pixel position correspondence specifying system.
  • a projecting means for example, a mobile terminal with a camera can be used.
  • the information processing apparatus 3 only needs to include a reference pattern projection control unit that causes the projection unit 1 to project an image belonging to the reference pattern image group, instead of the imaging control unit 5.
  • the camera-equipped mobile terminal shoots each image of the reference pattern image group projected on the projection surface, for example, by the operation of the observer, and outputs the image to the information processing device 3.
  • the information processing apparatus 3 may perform the same operation as in each of the above embodiments using a plurality of captured images input from the outside.
  • FIG. 14 is a block diagram showing an outline of the present invention.
  • the pixel position correspondence specifying system includes a projection unit 71 (for example, the projection unit 1 in the embodiment), an imaging unit 72 (for example, the imaging unit 2 in the embodiment), and a reference pattern image group generation unit 73 (for example, , Pattern phase shift means 4), imaging control means 74 (for example, imaging control means 5 in the embodiment), phase calculation means 75 (for example, phase calculation means 6 in the embodiment), and association means 76 (for example, And an association means 9) in the embodiment.
  • a projection unit 71 for example, the projection unit 1 in the embodiment
  • an imaging unit 72 for example, the imaging unit 2 in the embodiment
  • a reference pattern image group generation unit 73 for example, , Pattern phase shift means 4
  • imaging control means 74 for example, imaging control means 5 in the embodiment
  • phase calculation means 75 for example, phase calculation means 6 in the embodiment
  • association means 76 for example, And an association means 9 in the embodiment.
  • Projection means 71 projects an image on a projection surface.
  • the imaging unit 72 captures an image projected on the projection plane.
  • the reference pattern image group generation unit 73 is an image group in which a luminance value is determined as a function value of a continuous function that continuously changes with a change in phase, and the luminance value is determined by changing the phase for each image, A reference pattern image group which is an image group in which the initial phase value is continuously changed for each coordinate value along one coordinate axis is generated.
  • the imaging control unit 74 causes the projection unit 71 to project an image belonging to the reference pattern image group, and as a result, causes the imaging unit 72 to capture an image projected on the projection plane.
  • the phase calculation unit 75 calculates the luminance change of each pixel in the photographed image from the luminance change of the pixels in the plurality of photographed images photographed by the photographing unit 72 when the projection unit 71 projects each image of the reference pattern image group. Calculate initial phase value.
  • the associating means 76 performs a reverse calculation of the calculation (for example, the calculation of the equation (1)) by which the reference pattern image group generating means obtains the initial phase value from the coordinate values with respect to the initial phase value calculated by the phase calculating means 75,
  • the coordinate value obtained by the reverse calculation is associated with the pixel of the captured image, and the correspondence between the pixel in the projection target image and the pixel in the projection unit 71 is specified.
  • the reference pattern image group generation unit 73 applies the reference pattern image group related to the first coordinate axis whose initial phase value is changed along the first coordinate axis (for example, the x axis) and the second coordinate axis (for example, the y axis). And a reference pattern image group related to the second coordinate axis in which the initial phase value is changed along with the reference phase image group.
  • the photographing control unit 74 causes the projection unit 71 to project the reference pattern image group related to the first coordinate axis, and causes the photographing unit 72 to capture the image projected on the projection plane as a result.
  • the image is projected on the projection unit 71, and as a result, the image projected on the projection plane is caused to be photographed by the photographing unit 72.
  • the phase calculating unit 75 calculates the luminance of each pixel in the captured image from the luminance change of the pixels in the plurality of captured images captured by the capturing unit when the projecting unit 71 projects each image of the reference pattern image group related to the first coordinate axis.
  • the initial phase value at the change is calculated, and the luminance change of the pixels in the plurality of photographed images taken by the photographing means 72 when the projection means 71 projects each image of the reference pattern image group related to the second coordinate axis.
  • the initial phase value at the luminance change of each pixel is calculated.
  • the association unit 76 calculates the initial phase value from the coordinates (for example, the x coordinate) of the first coordinate axis with respect to the initial phase value calculated from the captured image obtained by capturing the reference pattern image group related to the first coordinate axis (for example, The calculation of the equation (1)) is performed to calculate the coordinates of the first coordinate axis, the coordinates of the first coordinate axis are associated with the pixels of the captured image, and the reference pattern image group related to the second coordinate axis is calculated from the captured image. Calculate the coordinates of the second coordinate axis by performing a reverse calculation of the initial phase value from the coordinates of the second coordinate axis (for example, the y coordinate) (for example, the calculation of Equation (9)).
  • the correspondence between the pixels of the photographed image and the pixels of the image projected by the projection unit 71 is specified, and the correspondence between the pixels of the photographed image and the coordinates is determined. Use Identifying a correspondence between the pixels in the pixel with the projection means in the projection target image.
  • a correction unit (for example, the correction unit 10 in the embodiment) that corrects the projection target image based on the correspondence between the pixel in the projection target image and the pixel in the projection unit 71, and a correction unit A configuration including a projection control unit (for example, the projection control unit 11 in the embodiment) that causes the projection unit 71 to project the image corrected by the above is disclosed.
  • the reference pattern image group generation unit 73 is configured to multiply the first reference pattern image group and the luminance change cycle in the first reference pattern image group by a predetermined multiple (for example, 1 / a times).
  • the second reference pattern image group is generated, and the imaging control unit 74 causes the projection unit 71 to project the image belonging to the first reference pattern image group and the image belonging to the second reference pattern image group.
  • the image projected on the projection plane is caused to be photographed by the photographing means 72, and the phase calculation means 75 calculates an initial phase value in the luminance change of each pixel based on the photographed image corresponding to the first reference pattern image group.
  • the initial phase value in the luminance change of each pixel is calculated based on the captured image corresponding to the second reference pattern image group, and the association unit 76 calculates based on the captured image corresponding to the first reference pattern image group.
  • the initial phase value and the initial phase value calculated based on the captured image corresponding to the second reference pattern image group are used to associate the coordinate value obtained from the initial phase value with the pixel of the captured image, and
  • a configuration is disclosed in which the correspondence relationship between the pixel in the projection target image and the pixel in the projection unit 71 is specified using the correspondence relationship. According to such a configuration, it is possible to improve the accuracy of association.
  • the above embodiment includes a reflectance calculation unit (for example, the correction unit 10) that calculates the reflectance on the projection surface, and the correction unit reflects the luminance value of the pixel of the projection target image and reflects the luminance value.
  • a reflectance calculation unit for example, the correction unit 10 that calculates the reflectance on the projection surface
  • the correction unit reflects the luminance value of the pixel of the projection target image and reflects the luminance value.
  • a continuous function for example, f
  • a change in function value becomes a sine wave
  • the projecting unit 1 simultaneously projects images belonging to the reference pattern image group as images of colors having different light wavelengths, and the image capturing unit 2 captures the image and the light wavelength is reduced.
  • separates for every different color is disclosed.
  • a brightness value is determined as a function value of a projection unit that projects an image onto a projection plane (for example, the projection unit 1 in the embodiment) and a continuous function that continuously changes with a change in phase, and the phase is changed for each image.
  • a reference pattern image group generating means for generating a reference pattern image group, which is an image group in which the brightness value is determined and the initial phase value is continuously changed for each coordinate value along one coordinate axis ( For example, the pattern phase shift means 4), the reference pattern projection control means (for example, the imaging control means 5 in the embodiment) for projecting an image belonging to the reference pattern image group onto the projection means, and the reference pattern image projected on the projection surface
  • a phase calculator that calculates the initial phase value of each pixel in the captured image from the luminance change of the pixels in a plurality of captured images obtained by capturing each image in the group (For example, the phase calculation unit 6 in the embodiment) and the reference pattern image group generation unit perform the reverse calculation of the calculation to obtain the initial phase value from the coordinate value with respect to the
  • a correlation unit for example, the association unit 9 in the embodiment for associating the coordinate value and the pixel of the captured image with each other and specifying the correspondence between the pixel in the projection target image and the pixel in the projection unit, and a reference pattern
  • the image generation unit changes the initial phase value along the second coordinate axis (for example, the y-axis) and the reference pattern image group related to the first coordinate axis that has changed the initial phase value along the first coordinate axis (for example, the x-axis).
  • the reference pattern image group related to the second coordinate axis is generated, and the reference pattern projection control means causes the projection means to project the reference pattern image group related to the first coordinate axis, and the second From the change in luminance of the pixels in a plurality of captured images obtained by projecting the reference pattern image group related to the target axis on the projecting unit and the phase calculating unit capturing each image of the reference pattern image group related to the first coordinate axis, The initial phase value at the luminance change of each pixel is calculated, and the luminance change of the pixels in the plurality of photographed images obtained by photographing each image of the reference pattern image group with respect to the second coordinate axis is calculated.
  • the initial phase value at the luminance change of the pixel is calculated, and the associating unit calculates the initial phase value of the first coordinate axis with respect to the initial phase value calculated from the captured image obtained by capturing the reference pattern image group related to the first coordinate axis.
  • the calculation of obtaining the initial phase value from the coordinates is performed to calculate the coordinates of the first coordinate axis, the coordinates of the first coordinate axis are associated with the pixels of the photographed image, and the reference pattern relating to the second coordinate axis is calculated.
  • the initial phase value calculated from the photographed image obtained by photographing the turn image group is subjected to a reverse calculation of the calculation for obtaining the initial phase value from the coordinates of the second coordinate axis to calculate the coordinates of the second coordinate axis, and the photographing is performed.
  • the correspondence between the pixels of the captured image and the pixels of the image projected by the projection unit is specified, and the correspondence between the pixels of the captured image and the coordinates is used.
  • a pixel position correspondence specifying system that specifies a correspondence between a pixel in a projection target image and a pixel in a projection unit.
  • This configuration corresponds to a configuration in which the photographing means 72 in FIG. 14 is provided outside the pixel position correspondence specifying system.
  • a projection unit that projects an image on a projection plane for example, the projection unit 1 in the embodiment
  • an imaging unit that captures an image projected on the projection plane for example, the imaging unit 2 in the embodiment
  • This is a group of images in which the luminance value is determined as a function value of a continuous function that continuously changes with changes, and the luminance value is determined by changing the phase for each image.
  • the initial phase value is coordinated along one coordinate axis.
  • a reference pattern image group generation unit (for example, pattern phase shift means 4) that generates a reference pattern image group that is an image group that is continuously changed for each value, and an image that belongs to the reference pattern image group is projected onto the projection unit.
  • the photographing control unit causes the photographing unit to photograph the image projected on the projection surface, and the photographing unit projects each image of the reference pattern image group.
  • Shoot A phase calculation unit for example, phase calculation means 6 in the embodiment
  • a reference pattern image group generation unit Performs the reverse calculation of the calculation for obtaining the initial phase value from the coordinate value with respect to the initial phase value calculated by the phase calculation unit, associates the coordinate value obtained by the reverse calculation with the pixel of the captured image
  • a matching unit for example, the matching unit 9 in the embodiment for specifying the correspondence relationship with the pixel in the projection unit, and the reference pattern image generation unit sets the initial phase value along the first coordinate axis (for example, the x axis).
  • the imaging control unit causes the projection unit to project the reference pattern image group related to the first coordinate axis, and causes the imaging unit to capture the image projected on the projection plane.
  • the reference pattern image group related to the second coordinate axis Is projected onto the projection unit, and as a result, the image projected onto the projection plane is photographed by the photographing unit.
  • the photographing unit When the phase calculation unit projects each image of the reference pattern image group related to the first coordinate axis, the photographing unit When the initial phase value at the luminance change of each pixel in the photographed image is calculated from the luminance change of the pixels in the plurality of photographed images, and the projection unit projects each image of the reference pattern image group related to the second coordinate axis The initial phase value at the luminance change of each pixel in the photographed image is calculated from the luminance change of the pixels in the plurality of photographed images photographed by the photographing unit, and the association unit relates to the first coordinate axis.
  • the initial phase value calculated from the captured image obtained by capturing the reference pattern image group is inversely calculated to obtain the initial phase value from the coordinate of the first coordinate axis to calculate the coordinate of the first coordinate axis, and the pixel of the captured image Is associated with the coordinates of the first coordinate axis, and the calculation of obtaining the initial phase value from the coordinates of the second coordinate axis is performed on the initial phase value calculated from the captured image obtained by photographing the reference pattern image group relating to the second coordinate axis.
  • the coordinates of the second coordinate axis are calculated, the coordinates of the second coordinate axis are associated with the pixels of the photographed image, the correspondence between the pixels of the photographed image and the pixels of the image projected by the projection unit is specified, and the photographed image
  • a pixel position correspondence relationship specifying system that specifies a correspondence relationship between a pixel in a projection target image and a pixel in a projection unit using a correspondence relationship between a pixel and a coordinate.
  • a pixel position correspondence specifying system including a projection control unit (for example, the projection control unit 11 in the embodiment) that causes a projection unit to project.
  • An image group is generated, and the shooting control unit projects an image belonging to the first reference pattern image group and an image belonging to the second reference pattern image group onto the projection unit, and as a result, the image projected on the projection plane is shot.
  • the phase calculation unit calculates an initial phase value in the luminance change of each pixel based on the captured image corresponding to the first reference pattern image group, and the captured image corresponding to the second reference pattern image group The initial phase value in the luminance change of each pixel is calculated on the basis of the initial phase value calculated based on the captured image corresponding to the first reference pattern image group and the second reference pattern image group.
  • a reflectance calculation unit (for example, correction unit 10) that calculates the reflectance on the projection surface is provided, and the correction unit sets the luminance value of the pixel of the projection target image to a value obtained by dividing the luminance value by the reflectance.
  • a pixel position correspondence specifying system that updates and corrects an updated image.
  • a pixel position correspondence specifying system in which a continuous function (for example, f) that changes continuously with a change in phase is a function in which the change in function value becomes a sine wave.
  • a pixel position correspondence specifying system including a plurality of projection units.
  • a projection unit that projects an image on a projection plane (for example, the projection unit 1 in the embodiment), and a luminance value is determined as a function value of a continuous function that continuously changes with a change in phase, and a phase is set for each image.
  • a reference pattern image group that generates a reference pattern image group that is an image group in which the luminance value is determined by changing the initial phase value and the initial phase value is continuously changed for each coordinate value along one coordinate axis
  • a generation unit for example, pattern phase shift unit 4
  • a reference pattern projection control unit for example, imaging control unit 5 in the embodiment
  • the projection surface A phase calculation unit that calculates an initial phase value at each pixel luminance change in the photographed image from a pixel luminance change in a plurality of photographed images obtained by photographing each image of the reference pattern image group (example)
  • the phase calculation means 6) in the embodiment and the reference pattern image group generation unit perform the reverse calculation of the calculation to obtain the initial phase value from the coordinate values with respect to the initial phase value calculated by the phase calculation unit, and are obtained by the reverse calculation.
  • a reference pattern image including an association unit (for example, the association unit 9 in the embodiment) that associates the coordinate value with the pixel of the captured image and identifies the correspondence between the pixel in the projection target image and the pixel in the projection unit;
  • the generation unit changes the initial phase value along the second coordinate axis (for example, the y-axis) and the reference pattern image group related to the first coordinate axis that has changed the initial phase value along the first coordinate (for example, the x-axis) axis.
  • the reference pattern image group related to the second coordinate axis is generated, and the reference pattern projection control unit causes the reference pattern image group related to the first coordinate axis to be projected onto the projection unit, and the reference pattern image related to the second coordinate axis is projected.
  • Each of the captured images is projected from the luminance change of the pixels in the plurality of captured images obtained by capturing each image of the reference pattern image group related to the first coordinate axis.
  • the initial phase value at the change in luminance of the pixel is calculated, and the luminance of each pixel in the photographic image is obtained from the luminance change of the pixel in the plurality of photographic images obtained by photographing each image of the reference pattern image group related to the second coordinate axis.
  • the initial phase value at the change is calculated, and the associating unit is initialized from the coordinates of the first coordinate axis with respect to the initial phase value calculated from the photographed image obtained by photographing the reference pattern image group related to the first coordinate axis.
  • the initial phase value calculated from the captured image is inversely calculated to obtain the initial phase value from the coordinate of the second coordinate axis to calculate the coordinate of the second coordinate axis, and the pixel of the second coordinate axis is calculated in the pixel of the captured image.
  • a pixel position correspondence relationship identifying system characterized by identifying a correspondence relationship with a pixel.
  • (8) corresponds to a configuration in which the photographing unit 72 in FIG. 14 is provided outside the pixel position correspondence specifying system.
  • a correction unit (for example, correction unit 10) that corrects the projection target image projected by the projection unit based on the correspondence between the pixel in the projection target image and the pixel in the projection unit that projects the image is provided.
  • a featured image correction system A featured image correction system.
  • a correction unit (for example, correction unit 10) that corrects the projection target image projected by the projection unit based on the correspondence between the pixel in the projection target image and the pixel in the projection unit that projects the image is provided.
  • a featured image correction system A featured image correction system.
  • a projection unit that projects an image for example, the projection unit 1 in the embodiment
  • a projection control unit that projects the image corrected by the correction unit on the projection unit for example, the imaging control unit 5 in the embodiment
  • An image correction system comprising:
  • the image correction system of (10) is configured to include, for example, correction means 10 (see FIGS. 10 and 11).
  • the present invention relates to a pixel position that defines a correspondence relationship between a pixel of an image to be projected and a pixel of an image that is actually projected onto a projection plane in order to correct image distortion when the image is projected onto the projection plane.
  • the present invention is preferably applied to a correspondence relationship identification system and an image projection system that corrects and projects an image presented to an observer using the correspondence relationship.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Projection Apparatus (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

任意の投影面に画像を投影する場合に、投影される画像の画素と、投影手段における画素との対応関係を特定する。 基準パターン画像群生成手段73は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する。位相計算手段75は、その各画像を撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する。対応付け手段76は、基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、その初期位相値に対して行い、その結果を利用して、投影対象画像における画素と投影手段71における画素との対応関係を特定する。

Description

画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
 本発明は、一の画像の画素と他の画像の画素との対応関係を定める画素位置対応関係特定システム、画素位置対応関係特定方法、画素位置対応関係特定プログラム、および画像補正システム、画像補正プログラムに関し、特に、投影対象となる画像の画素と、投影手段における画素との対応関係を定める画素位置対応関係特定システム、画素位置対応関係特定方法、画素位置対応関係特定プログラム、およびその対応関係にもとづいて画像を補正する画像補正システム、画像補正プログラムに関する。
 一般的な平面の投影面(スクリーン)に画像を投影する場合、投影面に対するプロジェクタの位置関係が設計どおりでない場合、投影された画像に歪みが生じる。標準的なプロジェクタは、この歪みを補正する機能を有している。この歪み補正機能では、想定外の位置や方向から投影されることで生じる歪み(画像の変形)とは逆の変形を投影対象画像に施し、その変形が施された補正画像を投影して歪みを打ち消している。この機能を実現するためには、投影面の形状、および投影面とプロジェクタとの位置関係や姿勢によって定まる画像の変形量、すなわち、投影される画像における画素が実際に投影された際の移動量(ずれ)を表す写像を獲得しておく必要がある。
 この写像を獲得する方法が種々提案されている。特に、投影面が平面である場合に、写像が、少ないパラメタで決定できる射影変換となることを利用する技術が提案されている。例えば、画像の四隅の点の位置を手動で入力したり、テストパターンを投影し、投影されたテストパターンをカメラで撮影した画像からマーカや、画像の縁、スクリーンの縁などを自動検出して、射影変換のパラメタを求めたりするなどの方法がある。特許文献1には、画像投影装置とスクリーン間の距離を1つ獲得し、その距離とスクリーン形状からスクリーンの四隅の点における距離を推定することによって、スクリーン形状を補正し、投影する画像を補正されたスクリーン形状に合わせて変形して投影する画像投影方法が記載されている。
 また、特許文献2には、レーザポインタなどで特徴点を高精度に検出させたり、あおり、回転、シフトのパラメタを逐次的に更新して、高精細な投影画像を得る画像投影システムが記載されている。
 また、特許文献3には、所定のパターン画像を生成して投影し、その画像を撮影した撮像画像から、撮像画像点に対応する投影画像点を決定し対応点リストとし、撮像画像点を対応点リストの対応点から求まる平面射影変換行列を用いて空間中の平面毎にクラスタリングし、平面毎にクラスタリングされた撮像画像点から投影領域を決定し、投影領域、平面射影変換行列を用いて画像を幾何変換する平面投影装置が記載されている。
 また、特許文献4には、投影面の形状として二次曲面を仮定し、その曲面のパラメタを求める方法が記載されている。そして、特許文献4には、二次曲面スクリーンに複数のプロジェクタからの映像を歪み無く見せる複合映像生成方法が記載されている。特許文献4に記載された方法では、スクリーンに投影された点をプロジェクタの座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数とその逆関数を求め、プロジェクタ毎のマッピングの逆関数により歪みを補正する。マッピング関数とその逆関数を求める場合、基準座標系から視点座標系への変換行列Mと、カメラ座標から基準座標系への変換行列Sとにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列Hを得る。そして、変換行列Hを用いて、カメラ座標系で求めた二次曲面パラメタQから仮定視点を原点とする視点座標系における二次曲面パラメタQvを求める。そして、その二次曲面パラメタQvを用いて、スクリーンに投影された点をプロジェクタi座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数を求め、マッピング関数からその逆関数を求める。
特許第3951984号公報 特許第3709395号公報 特開2007-142495号公報 特開2006-221599号公報
 しかし、上記の技術では、例えば複雑な凹凸があるような任意の投影面に対して画像を投影する場合における歪みを補正することができない。例えば、特許文献1に記載された方法では、画像を平面に投影する場合の歪みを補正するが、投影面の形状が任意の場合には適用できない。特許文献3に記載された平面投影装置でも、部分的に平面を含む投影面を対象としている。特許文献4に記載された方法でも、投影面が二次曲線に限定され、任意の形状の面に画像を投影する場合の歪みを補正することはできない。
 画像の歪みを補正するには、投影対象となる画像における位置と、実際に投影された時の位置との対応関係を画素単位に高精度に定めておかなくてはならないが、上記の技術では、投影面の形状が任意である場合に画素の対応関係を定めることはできないため、高精度に歪み補正を行えなかった。
 そこで、本発明は、任意の形状の投影面に画像を投影する場合に、投影対象となる画像の画素と、投影手段における画素との対応関係を特定する画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラムを提供することを目的とする。また、特定された対応関係に基づいて画像を補正する画像補正システム、画像補正プログラムを提供することを目的とする。
 本発明による画素位置対応関係特定システムは、画像を投影面に投影する投影手段と、投影面に投影された画像を撮影する撮影手段と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる撮影制御手段と、基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、位相計算手段が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影手段における画素との対応関係を特定する対応付け手段とを備え、基準パターン画像生成手段が、第1座標軸に沿って初期位相値を変化させた第1座標軸に関する基準パターン画像群と、第2座標軸に沿って初期位相値を変化させた第2座標軸に関する基準パターン画像群とを生成し、撮影制御手段が、第1座標軸に関する基準パターン画像群を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、第2座標軸に関する基準パターン画像群を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、位相計算手段が、第1座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第2座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け手段が、第1座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第1座標軸の座標から初期位相値を求める計算の逆算を行って第1座標軸の座標を計算し、撮影画像の画素に第1座標軸の座標を対応付け、第2座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第2座標軸の座標から初期位相値を求める計算の逆算を行って第2座標軸の座標を計算し、撮影画像の画素に第2座標軸の座標を対応付けることによって、撮影画像の画素と、投影手段によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴する。
 また、本発明による画素位置対応関係特定システムは、画像を投影面に投影する投影手段と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、基準パターン画像群に属する画像を投影手段に投影させる基準パターン投影制御手段と、投影面に投影された基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、位相計算手段が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影手段における画素との対応関係を特定する対応付け手段とを備え、基準パターン画像生成手段が、第1座標軸に沿って初期位相値を変化させた第1座標軸に関する基準パターン画像群と、第2座標軸に沿って初期位相値を変化させた第2座標軸に関する基準パターン画像群とを生成し、基準パターン投影制御手段が、第1座標軸に関する基準パターン画像群を投影手段に投影させ、第2座標軸に関する基準パターン画像群を投影手段に投影させ、位相計算手段が、第1座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第2座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け手段が、第1座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第1座標軸の座標から初期位相値を求める計算の逆算を行って第1座標軸の座標を計算し、撮影画像の画素に第1座標軸の座標を対応付け、第2座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第2座標軸の座標から初期位相値を求める計算の逆算を行って第2座標軸の座標を計算し、撮影画像の画素に第2座標軸の座標を対応付けることによって、撮影画像の画素と、投影手段によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴する。
 また、本発明による画像補正システムは、投影対象画像における画素と画像を投影する投影手段における画素との対応関係に基づいて、投影手段によって投影される投影対象画像を補正する補正手段を備えることを特徴とする。
 また、本発明による画素位置対応関係特定方法は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第1座標軸に沿って座標値毎に連続的に変化させた画像群である第1座標軸に関する基準パターン画像群を生成し、第1座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、第1座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第1座標軸に関する基準パターン画像群を生成する処理で第1座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した初期位相値に対して行い、逆算によって得られる第1座標軸の座標と撮影画像の画素とを対応付け、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第2座標軸に沿って座標値毎に連続的に変化させた画像群である第2座標軸に関する基準パターン画像群を生成し、第2座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、第2座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第2座標軸に関する基準パターン画像群を生成する処理で第2座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した初期位相値に対して行い、逆算によって得られる第2座標軸の座標と撮影画像の画素とを対応付け、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴とする。
 また、本発明による画素位置対応関係特定方法は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第1座標軸に沿って座標値毎に連続的に変化させた画像群である第1座標軸に関する基準パターン画像群を生成し、第1座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、投影面に投影された第1座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第1座標軸に関する基準パターン画像群を生成する処理で第1座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した初期位相値に対して行い、逆算によって得られる第1座標軸の座標と撮影画像の画素とを対応付け、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第2座標軸に沿って座標値毎に連続的に変化させた画像群である第2座標軸に関する基準パターン画像群を生成し、第2座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、投影面に投影された第2座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第2座標軸に関する基準パターン画像群を生成する処理で第2座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した初期位相値に対して行い、逆算によって得られる第2座標軸の座標と撮影画像の画素とを対応付け、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴とする。
 また、本発明による画素位置対応関係特定プログラムは、画像を投影面に投影する投影手段と、投影面に投影された画像を撮影する撮影手段とを備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、コンピュータに、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第1座標軸に沿って座標値毎に連続的に変化させた画像群である第1座標軸に関する基準パターン画像群を生成する第1基準パターン画像群生成処理、第1座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる第1撮影制御処理、第1座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第1位相計算処理、第1基準パターン画像群生成処理で第1座標軸の座標から初期位相値を求める計算の逆算を、第1位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第1座標軸の座標と撮影画像の画素とを対応付ける第1対応付け処理、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第2座標軸に沿って座標値毎に連続的に変化させた画像群である第2座標軸に関する基準パターン画像群を生成する第2基準パターン画像群生成処理、第2座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる第2撮影制御処理、第2座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第2位相計算処理、第2基準パターン画像群生成処理で第2座標軸の座標から初期位相値を求める計算の逆算を、第2位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第2座標軸の座標と撮影画像の画素とを対応付ける第2対応付け処理、および、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する画素対応付け処理を実行させることを特徴とする。
 また、本発明による画素位置対応関係特定プログラムは、画像を投影面に投影する投影手段を備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、コンピュータに、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第1座標軸に沿って座標値毎に連続的に変化させた画像群である第1座標軸に関する基準パターン画像群を生成する第1基準パターン画像群生成処理、第1座標軸に関する基準パターン画像群に属する画像を投影手段に投影させる第1基準パターン投影制御処理、投影面に投影された第1座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第1位相計算処理、第1基準パターン画像群生成処理で第1座標軸の座標から初期位相値を求める計算の逆算を、第1位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第1座標軸の座標と撮影画像の画素とを対応付ける第1対応付け処理、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第2座標軸に沿って座標値毎に連続的に変化させた画像群である第2座標軸に関する基準パターン画像群を生成する第2基準パターン画像群生成処理、第2座標軸に関する基準パターン画像群に属する画像を投影手段に投影させる第2基準パターン投影制御処理、投影面に投影された第2座標軸に関する基準パターン画像群の各画像を撮影して得られる複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第2位相計算処理、第2基準パターン画像群生成処理で第2座標軸の座標から初期位相値を求める計算の逆算を、第2位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第2座標軸の座標と撮影画像の画素とを対応付ける第2対応付け処理、および、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する画素対応付け処理を実行させることを特徴とする。
 また、本発明による画像補正プログラムは、コンピュータに、投影対象画像における画素と画像を投影する投影手段における画素との対応関係に基づいて、投影手段によって投影される投影対象画像を補正する補正処理を実行させることを特徴とする。
 本発明によれば、任意の形状の投影面に画像を投影する場合に、投影対象となる画像の画素と、投影手段における画素との対応関係を特定することができる。
本発明の第1の実施形態の画素位置対応関係特定システムの例を示すブロック図である。 位相の変化に伴い連続して変化する輝度値を表す関数の例を示す説明図である。 図2に例示する初期位相値から位相をdずらしたときの輝度値を示す説明図である。 情報処理装置の構成例を示すブロック図である。 本発明の第1の実施形態の処理経過の例を示すフローチャートである。 x座標に関する対応付けの処理経過の例を示すフローチャートである。 複数の撮影画像における同一の画素の輝度変化の例を示す説明図である。 投影される画像の画素と撮影画像の画素とを対応付けた中間テーブルの例を示す説明図である。 ステップS3における対応付けの例を示す説明図である。 第2の実施形態における情報処理装置の構成例を示すブロック図である。 第3の実施形態における情報処理装置の構成例を示すブロック図である。 縮小変換後の画素の輝度決定の例を示す説明図である。 2種類の基準パターン画像群を模式的に示す説明図である。 本発明の概要を示すブロック図である。
 以下、本発明の実施形態を図面を参照して説明する。
実施形態1.
 図1は、本発明の第1の実施形態の画素位置対応関係特定システムの例を示すブロック図である。本実施形態の画素位置対応関係特定システムは、投影対象となる投影対象画像の画素の位置と、撮影手段1における画素の位置との対応関係を特定する。投影対象画像とは、任意の形状の投影面(スクリーン)7に投影する画像である。本実施形態の画素位置対応関係特定システムは、任意の形状の投影面7に対して画像を投影する投影手段1と、その投影面7に投影された画像を撮影する撮影手段2と、投影対象画像の画素と投影手段1における画素との対応付け処理を行う情報処理装置3とを備える。投影手段1は、例えば、プロジェクタによって実現され、撮影手段2は、例えば、カメラによって実現される。
 投影手段1は、情報処理装置3の制御により、基準パターン画像群を投影面に投影する。この基準パターン画像群については後述する。投影面7は任意の形状の面であるので、投影面7に投影された画像は歪む。撮影手段2は、画像の観察者8が投影面7を見る方向と同じ方向から、投影面7に投影された基準パターン画像群を撮影する。この撮影によって得られる画像を以下、撮影画像と記す。情報処理装置3は、基準パターン画像群と、各撮影画像とを用いて、投影対象画像の画素と、投影面に実際に投影された画像を撮影した撮影画像の画素との対応関係を特定し、さらに、投影対象画像の画素と投影手段1における画素との対応関係を特定する。
 本実施形態では、投影手段1が基準パターン画像群を1画像ずつ投影面に投影し、投影された画像を撮影手段2が1画像ずつ撮影する場合を例にして説明する。ただし、投影手段1が複数画像を同時に投影してもよい。投影手段1が複数画像を同時に投影する場合については後述する。
 投影対象画像の画素と投影手段1における画素との対応関係が定められると、観察者8に見せるために投影手段1から投影される投影対象画像を、その対応関係に基づいて補正し、観察者8に歪んでいない画像を観察させることができる。本実施形態では、このような補正を行うために用いる画像の画素同士の対応関係を定める。
 次に、基準パターン画像群について説明する。基準パターン画像群は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である。輝度値を定める関数は、位相の変化に伴って連続して変化する関数であればよく、ここでは、位相の変化に伴う輝度値の変化が正弦波となる関数(正弦関数など)を用いる場合を例にする。
 図2は、位相の変化に伴い連続して変化する輝度値を表す関数の例を示す。このような関数をfと表わすとする。図2に例示するような関数において、a,b,cなどの初期位相値が座標値に応じてそれぞれ定められる。ここでは画像の画素の位置を表すx軸を例に説明する。あるx座標に対応する初期位相値がa、別のx座標に対応する初期位相値がb、さらに別のx座標に対応する初期位相値がc、・・・などのように、x座標の値に応じてそれぞれ初期位相値が定められる。例えば、初期位相値aに対応するx座標の各画素の輝度値をf(a)とし、初期位相値bに対応するx座標の各座標の輝度値をf(b)とし、初期位相値cに対応するx座標の各画素の輝度値をf(c)とする。このように各x座標に応じた初期位相値を定めることによって、基準パターン画像群における最初(0番目)の画像が得られる。x座標に応じて初期位相値が定められ、その初期位相値に応じて図2に例示するような正弦波の関数fによって、輝度値が定められるので、x座標の変化とともに輝度が連続的に変化する画像が得られる。
 また、各x座標に応じた初期位相値から、同じ位相量だけ位相を変化させて輝度を定めた画像が、基準パターン画像群における他の画像となる。図3は、図2に例示する初期位相値から位相をdずらしたときの輝度値を示す説明図である。例えば、初期位相値aに対応するx座標の輝度値をf(a+d)とし、初期位相値bに対応するx座標の輝度値をf(b+d)とし、初期位相値cに対応するx座標の輝度値をf(c+d)とする。同様に、各x座標に応じた輝度値を定めることによって、1枚の画像が得られる。そして、初期位相値から変化させる位相の値(上記のd)を変化させることで、同様の画像が複数種類得られる。
 基準パターン画像群に属するこれらの画像は、いずれも、一つの座標軸に沿う座標値(上記の例ではx座標値)の変化とともに輝度が連続的に変化する。そして、基準パターン画像群に属する各画像を比較すると、初期位相値から変化させる位相量dが増えるほど、座標軸に沿って画像全体が移動したように観察される。例えば、x座標毎に初期位相値を定めて生成した基準パターン画像群において各画像を比較すると、画像全体がx軸方向に移動したように観察される。また、例えば、y座標毎に初期位相値を定めて生成した基準パターン画像群において各画像を比較すると、画像全体がy軸方向に移動したように観察される。
 また、基準パターン画像群に属する各画像において、上記の座標軸に沿った個々の座標に着目して、輝度の変化を観察すると、初期位相値から変化させる位相量dの変化に伴い明るさが変化する。
 情報処理装置3は、2つの座標軸に関して基準パターン画像群を生成する。以下、情報処理装置3がx軸に関する基準パターン画像群およびy軸に関する基準パターン画像群を生成する場合を例にして説明する。ただし、2つの座標軸はx軸およびy軸に限定されない。2つの座標軸は、平行でない2つの軸であればよい。また、軸の方向は、水平方向や垂直方向に限定されず、任意の方向でよい。
 投影手段1は、このような基準パターン画像群に属する各画像を投影面7に投影し、撮影手段2は、その各画像を撮影する。このとき、投影手段1と、撮影手段2と、投影面7との位置関係は一定に保つ。撮影された各画像において、同じ位置の画素に着目すると、その画素の輝度は、画像毎に変化し、その画像の変化から、その画素の輝度変化における初期位相値を求めることができる。情報処理装置3は、撮影した各画像間における画素の輝度変化から、各画素の輝度変化における初期位相値を求める。そして、情報処理装置3は、撮影手段2が撮影した撮影画像における画素が、投影される基準パターン画像群におけるどの座標値の画素に対応するのかを特定し、さらに投影対象画像の画素と投影手段1における画素との対応関係を特定する。
 情報処理装置3がx軸方向に着目した基準パターン画像群を作成してその各画像を投影手段1に投影させ、その画像を撮影手段2に撮影させる。そして、情報処理装置3が、その撮影画像における画素が、基準パターン画像群におけるどのx座標の画素に対応するのかを特定する。同様に、情報処理装置3がy軸方向に着目した基準パターン画像群を作成してその各画像を投影手段1に投影させ、その画像を撮影手段2に撮影させる。そして、情報処理装置3が、その撮影画像における画素が、基準パターン画像群におけるどのy座標の画素に対応するのかを特定する。よって、観察者8の向きと同じ方向から撮影手段2が撮影する画像における画素と、投影される画像における画素の座標(x,y)との対応関係が定まり、投影対象画像の画素と投影手段1における画素との対応関係が特定される。
 図4は、情報処理装置3の構成例を示すブロック図である。情報処理装置3は、パターン位相シフト手段4と、撮影制御手段5と、位相計算手段6と、対応付け手段9とを備える。
 パターン位相シフト手段4は、x座標、y座標それぞれについて、基準パターン画像群を作成する。x座標についての基準パターン画像群を作る場合、パターン位相シフト手段4は、x座標の各値に応じた初期位相値を求め、その初期位相値から各x座標における輝度値を定めることによって、基準パターン画像群の最初(0番目)の画像を生成する。さらに、パターン位相シフト手段4は、各x座標に応じた初期位相値から、同じ位相量dだけ位相量を変化させることにより、各x座標に応じた位相値を求め、その位相値から各x座標における輝度値を定めることによって、基準パターン画像群の属する次の画像を生成する。パターン位相シフト手段4は、初期位相値からの位相変化量を増やして、同様に、基準パターン画像群に属する画像を生成していく。
 パターン位相シフト手段4は、y座標についての基準パターン画像群についても同様に生成する。
 撮影制御手段5は、x座標およびy座標のそれぞれの基準パターン画像群に属する個々の画像を投影手段1(図1参照)に投影させ、投影面7上に投影された画像を撮影手段2に撮影させる。本実施形態では、撮影制御手段5は、基準パターン画像群に属する画像を1画像ずつ投影手段1に投影させ、投影された画像を撮影手段2に1画像ずつ撮影手段2に撮影させる。
 位相計算手段6は、x座標の基準パターン画像群に属する各画像を撮影して得られた各撮影画像間の輝度の変化に基づいて、その撮影画像間の輝度変化における初期位相値を求める。位相計算手段6は、y座標の基準パターン画像群に属する各画像を撮影して得られた各撮影画像についても同様に、その撮影画像間の輝度変化における初期位相値を求める。
 対応付け手段9は、x座標の基準パターン画像群の撮影画像から求めた初期位相値から、撮影画像における画素が基準パターン画像群におけるどのx座標に対応するのかを特定する。同様に、y座標の基準パターン画像群の撮影画像から求めた初期位相値から、撮影画像における画素が基準パターン画像群におけるどのy座標に対応するのかを特定する。対応付け手段9は、さらに投影対象画像の画素と投影手段1における画素との対応関係を特定する。
 パターン位相シフト手段4、撮影制御手段5、位相計算手段6、および対応付け手段9は、例えば、プログラム(画素位置対応関係特定プログラム)に従って動作するCPUによって実現される。プログラムは、例えば情報処理装置3が備えるプログラム記憶装置(図示せず)に記憶され、CPUは、そのプログラムを読み込み、そのプログラムに従って、パターン位相シフト手段4、撮影制御手段5、位相計算手段6、および対応付け手段9として動作してもよい。また、パターン位相シフト手段4、撮影制御手段5、位相計算手段6、および対応付け手段9は、それぞれ別個のハードウェアであってもよい。
 次に、動作について説明する。
 図5は、本発明の第1の実施形態の処理経過の例を示すフローチャートである。情報処理装置3は、投影面7に投影された画像を撮影した撮影画像におけるどの画素が、投影される画像(基準パターン画像群)におけるどのx座標に対応するのかを定める(ステップS1)。続いて、情報処理装置3は、投影面7に投影された画像を撮影した撮影画像におけるどの画素が、投影される画像におけるどのy座標に対応するのかを定める(ステップS2)。ステップS1,S2を実行することで、撮影画像の画素が、投影される画像ではどの座標値の画像であるのかが定まる。情報処理装置3は、ステップS1,S2で定めた対応関係に基づいて、投影対象画像の画素の位置と、投影手段1における画素の位置との対応関係を定める(ステップS3)。
 ステップS1,S2の処理は、撮影画像内の画素との対応関係を定める対象がx座標であるか、y座標であるかが異なる点以外は、同様の処理である。以下、x座標についての対応関係を定めるステップS1を例にして、撮影画像の画素と座標との対応関係を定める処理の詳細について説明する。図6は、x座標に関する対応付け(ステップS1)の処理経過の例を示すフローチャートである。
 ステップS1において、最初に、パターン位相シフト手段4は、基準パターン画像群を生成する(ステップS11)。x座標についての基準パターン画像群を生成する場合、パターン位相シフト手段4は、x座標に応じた初期位相値を求める。初期位相値は、座標値を変数とする関数であって、座標値の変換に伴い連続的に変化する関数の関数値として求めればよい。以下、座標値に応じた初期位相値を求めるための関数をsで表わす。パターン位相シフト手段4は、例えば、以下に示す式(1)で表わされる関数によって各座標値に応じた初期位相値を求めればよい。
 s(x)=T/(w-1+2・m)・(x-m)     式(1)
 式(1)において、xは基準パターン画像群の画素のx座標の値である。wは、投影手段1が投影できる画像の幅(画素数)である。Tは、位相を変数として輝度値を求める関数fにおける周期である。本例では、関数fによる輝度変化が正弦波となる場合を例にする。従って、本例では、T=2πである。mは、位相計算の誤差を考慮して、x=0の画素と、x=w-1の画素とで回り込みが生じないように定める定数であり、マージン定数と呼ぶ。マージン定数は、例えば、wの1%程度の値として定めておけばよい。
 式(1)は、x座標に応じた初期位相値を求める関数の例であり、式(1)以外の関数によって初期位相値を計算してもよい。
 パターン位相シフト手段4は、各x座標毎に、x座標値から求めた初期位相値s(x)に応じた輝度値を関数fにより求める。すなわち、x座標毎に、以下に示す式(2)の関数を用いて輝度値を定める。
 I(x)=f(s(x))     式(2)
 この結果、x座標毎に輝度値を規定した画像が得られる。この画像は基準パターン画像群における最初(0番目)の画像である。式(2)における左辺のI(x)は、x座標の値に応じた画素の輝度を意味する。関数fは、既に説明したように、位相の変化に伴い連続して変化する関数であり、本例では、輝度変化が正弦波となる関数である。
 さらに、パターン位相シフト手段4は、x座標毎に求めたそれぞれの初期位相値に対して、共通の位相値を加算した位相を求める。すなわち、加算する位相量をd(i)として、各x座標値に応じた位相を、x座標毎に計算する。そして、パターン位相シフト手段4は、その結果得られた位相を、輝度値を求めるための関数fに代入して、各x座標の輝度値を計算する。この結果、x座標毎に輝度値を規定した画像が得られる。パターン位相シフト手段4は、加算する位相値を変化させて、同様に画像を生成する。初期位相値に加算する位相値をd(i)として求めた位相を関数fに代入して得られる輝度をI(x)とすると、I(x)は、下記の式(3)のように表すことができる。
 I(x)=f(s(x)+d(i))     式(3)
 d(i)の値は、例えば、以下に示す式(4)のように予め定めておけばよい。
 d(i)=(T/N)×i     式(4)
 Nは、基準パターン画像群として求めようとする画像の数である。iは、1,2,・・・,N-1である。例えば、N=4とすると、d(i)=T/4,T/2,3T/4となる。本例では、T=2πであるので、d(i)=π/2、π、3π/Tとなる。すなわち、f(s(x))として輝度を求めた最初の画像の他に、f(s(x)+π/2)として輝度を求めた画像、f(s(x)+π)として輝度を求めた画像、f(s(x)+3π/2)として輝度を求めた画像をそれぞれ生成する。この結果、0番目から3番目までの4つの画像を含む基準パターン画像群が得られる。d(i)におけるiは、この順番を表している。
 ただし、式(4)は、初期位相値に加算する位相量を求める計算式の一例であり、加算する位相量を他の方法で定めてもよい。また、上記の例では、4つの画像を含む基準パターン画像群を生成する場合を例示したが、求める画像の数は4に限定されず、5以上であってもよい。また、3つであってもよい。関数fとして、輝度変化が正弦波となる関数を用いる場合、少なくとも3つの画像を生成すればよい。
 基準パターン画像群の生成後、撮影制御手段5は、基準パターン画像群に属する各画像を投影面7に向けて、1画像ずつ投影手段1に投影させる。そして、撮影制御手段5は、投影面7に投影された各画像を、1画像ずつ撮影手段2に撮影させ、撮影画像を撮影手段2から受信する(ステップS12)。
 ステップS12の後、位相計算手段6は、画素毎に、各撮影画像間の輝度の変化に基づいて、その変化における初期位相値を求める(ステップS13)。投影面7が任意の形状であることに起因して、投影された画像が歪んだとしても、ある座標値の画素が投影される位置は、投影する画像を切り替えても変化しない。そして、個々のx座標値毎に輝度を変化させているので、各撮影画像における同一箇所の画素の輝度も、基準パターン画像群に属する各画像における同一箇所の画像の輝度と同様に変化する。図7は、複数の撮影画像における同一の画素の輝度変化の例を示す説明図である。位相計算手段6は、ステップS12において、図7に例示するような輝度の変化における初期位相を求める。
 位相計算手段6は、撮影画像の画素の輝度変化における初期位相値を以下に示すように求めればよい。各撮影画像における共通の位置に該当する画素であって、j番目の撮影画像における画素の輝度Iは、以下に示す式(5)のように表わされる。
 I=A・f(φ+d(j))+B     式(5)
 だたし、d(j)は、j番目の撮影画像において初期位相値に加算されている位相量を表している。0番目の撮影画像(すなわち、基準パターン画像群における最初の画像の撮影画像)に関しては、d(0)=0である。j=1以降については、基準パターン画像群生成時に用いたd(i)と等しい値をd(j)とする。式(5)におけるAは、各撮影画像毎に変化する輝度値の変化における振幅である。また、式(5)におけるBは、背景の輝度である。
 同じ位置に該当する画素について、撮影画像毎のI,d(j)の値は既知である。位相計算手段6は、撮影画像毎にI,d(j)を式(5)に代入し、未知の値であるφを計算する。未知の値として、A,B,φがあり、撮影画像毎にI,d(j)を式(5)に代入した連立方程式を解くことによってφを計算すればよい。
 また、撮影画像毎にI,d(j)を式(5)に代入した式が、連立方程式の解の導出に必要な数よりも多く得られているならば、それらの式から最小二乗法によって、φを計算してもよい。例えば、撮影画像がN個あり、以下のN個の式が得られたならば、そのN個の式から最小二乗法によってφの値を求めればよい。
Figure JPOXMLDOC01-appb-M000001
 位相計算手段6は、この処理を撮影画像における画素毎に行えばよい。
 また、ステップS11で例として挙げたように、輝度値を求める関数fが、輝度変化が正弦波となる関数であり、その周期が2πであり、d(i)を式(4)に示すように求めていたとする。この場合、位相計算手段6は、以下に示す式(6)の計算を行うことによって、着目している画素における初期位相値φを計算してもよい。
 φ=π-arctan((I(0)-I(2))/(I(3)-I(1)))
                                   式(6)
 なお、この場合、A,Bは、それぞれ以下の式(7)、式(8)の計算で求めることができる。
 A=0.5×√((I(0)-I(2))+(I(1)-I(3))
                                   式(7)
 B=(I(0)+I(1)+I(2)+I(3))/2.0   式(8)
 ここで、I(0),I(1),I(2),I(3)は、それぞれ、位置が共通する画素の画素値であり、I(0)は0番目の撮影画像での画素、I(1)は1番目の撮影画像での画素、I(2)は2番目の撮影画像での画素、I(3)は3番目の撮影画像での画素である。
 位相計算手段6は、式(6)によって初期位相値を求める処理を、撮影画像における画素毎に行えばよい。
 撮影画像のうち投影された画像に該当する部分(目標画像領域と記す。)を定めておく。この領域がオペレータによって指定される構成であってもよい。例えば、情報処理装置3は、撮影画像を表示する表示装置と、撮影画像中の目標画像領域の指定を受け付けるポインティングデバイスとを備える構成であってもよい。また、あるいは、撮影画像において、輝度値が所定値以上となっている領域を包含する矩形領域が目標画像領域であると位相計算手段6が判定してもよい。
 ステップS13の後、対応付け手段9は、撮影画像内の画素について求めた初期位相値から、撮影画像の画素が、投影される画像におけるどのx座標値に対応するのかを定める(ステップS14)。
 投影面7において画像が歪んだとしても、投影される画像と撮影画像の対応画素の輝度変化は同様となる。よって、対応する画素同士では、輝度変化の初期位相値は等しい。従って、ステップS14において、対応付け手段9は、ステップS13で算出された初期位相値からx座標を逆算することによって、撮影画像内の画素について、対応するx座標値(すなわち、投影手段1が投影する画像におけるx座標値)を計算する。例えば、パターン位相シフト手段4が式(1)の計算を行って初期位相値を算出する場合、対応付け手段9は、ステップS13で算出された初期位相値をs(x)として式(1)に代入し、x座標を逆算すればよい。この処理を各画素毎に行うことで、撮影画像内の画素が、投影される画像におけるどのx座標に対応するのかを定める。
 ステップS14で、対応付け手段9は、撮影画像内の画素に対応するx座標を算出したならば、撮影画像内の画素と投影される画像の画素との対応関係を示すテーブル(以下、中間テーブルと記す)において、撮影画像のx,y座標と、対応するx座標とを対応付ける。例えば、撮影画像における(50,150)の画素の初期位相値から逆算して求めたx座標が“100”であるとする。この場合、対応付け手段9は、図8(a)に示すように、撮影画像の画素(50,150)と、対応する画素におけるx座標“100”とを対応付ける。この時点では、撮影画像の画素に対応する画素のy座標は特定されていないので未定とする。図8(a)では、撮影画像の画素(50,150)を例示しているが、他の画素についても同様に処理する。
 以上のステップS11~S14の処理で、ステップS1(図5参照)が終了する。撮影画像の画素がどのy座標に対応するのかを定める処理(ステップS2)も同様に、ステップS11~S14の処理を行えばよい。
 ただし、ステップS11において、パターン位相シフト手段4は、y座標についての基準パターン画像群を生成する。このとき、パターン位相シフト手段4は、y座標に応じた初期位相値を求める。例えば、以下に示す式(9)の関数によって各座標値に応じた初期位相値を求めればよい。
 s(y)=T/(h-1+2・m)・(y-m’)     式(9)
 式(9)において、yは基準パターン画像群の画素のy座標の値である。hは、投影手段1が投影できる画像の高さ(画素数)である。Tは、式(1)と同様である。m’は、式(1)におけるmと同様のマージン定数であり、例えば、hの1%程度の値として定めておけばよい。なお、式(9)は例示であり、式(9)以外の関数によって初期位相値を定めてもよい。
 y座標に応じた初期位相値を求めたならば、その初期位相値に応じた輝度値を定めることで、基準パターン画像群の最初(0番目)の画像を生成する。また、各画素毎に初期位相値に位相d(i)を加算した位相値に応じた輝度値を定めることで、基準パターン画像群に属する他の画像を生成する。
 この処理は、y座標値に応じた初期位相値を定めるという点以外は、既に説明したステップS11と同様である。
 また、ステップS11の後、ステップS12,S13を行う。この処理は、既に説明したステップS12,S13と同様である。
 ステップS14で、対応付け手段9は、ステップS13で求めた初期位相値から、撮影画像の画素が、投影される画像におけるどのy座標に対応するのかを定める。このとき、y座標から初期位相値を求める計算(例えば、式(9))を逆算して、初期位相値からy座標値を求めればよい。対応付け手段9は、撮影画像内の画素に対応するy座標を算出したならば、そのy座標を、その撮影画像内の画素に対応付けて、中間テーブルに追加する。例えば、撮影画像における(50,150)の画素の初期位相値から逆算して求めたy座標が“50”であるとする。この場合、対応付け手段9は、図8(b)に示すように、撮影画像の画素(50,150)に対応付けて、y座標“50”を追加する。このように、y座標が未定である状態(図8(a))に対してy座標を追加される(図8(b)参照)。対応付け手段9は、この処理を各画素毎に行い、中間テーブルを完成させる。この中間テーブルは、撮影画像内の画素と投影される画像の画素との対応関係を表す。
 ステップS2(図5参照)の後、ステップS3において、対応付け手段9は、撮影画像における画素に投影すべき投影対象画像中の画素の座標と、その撮影画像における画素に対応する座標とを対応付ける。図9は、ステップS3における対応付けの例を示す説明図である。画像が歪み無く観察されるためには、投影対象画像における座標(X,Y)の画素は、撮影画像における座標(X,Y)の画素となるように投影されなければならないとする。この歪み無く観察される撮影画像における画素を目標画素と記す。また、中間テーブルでは、撮影画像中の画素(X,Y)に対応付けられた座標が(X,Y)であるとする。対応付け手段9は、目標画素(X,Y)に対応する画素(X,Y)を中間テーブルから検索し、目標画素に投影すべき投影対象画像中の画素(X,Y)と、中間テーブルで目標画素に対応付けられている座標(X,Y)とを対応づける。この対応付けを、各目標画素に投影すべき投影対象画像中の画素毎に行う。ここで、投影手段1における座標(X,Y)の画素の輝度値を、投影対象画像における座標(X,Y)の画素と等しい輝度値に設定し、投影手段1における他の画素の輝度値も同様に設定すれば、投影対象画像における(X,Y)の画素は、(X,Y)の位置に変更されたこととなり、その状態で投影面7に投影されると、所望の目標画素(X,Y)の位置に投影される。このように、対応付け手段9は、撮影画像における画素に投影すべき投影対象画像中の画素と、その撮影画像における画素に対応する座標とを対応付けることによって、投影対象画像の画素の位置と、投影手段1における画素の位置とを対応付ける。
 対応付け手段9は、投影対象画像の画素の位置と投影手段1における画素の位置とを対応付けたならば、その対応関係をテーブル(以下、画素対応テーブルと記す)として記憶または出力する。
 本発明によれば、上記のように、目標となる位置に投影すべき投影対象画像の画素と、中間テーブルにおいてその位置に対応付けられている座標とを対応付けることによって、投影対象画像の画素の位置と、投影手段1における画素の位置との対応関係を特定することができる。
 投影手段1と、撮影手段2と、投影面の位置関係を変えない限り、この対応関係は維持される。従って、投影手段1と、撮影手段2と、投影面の位置関係を変えずに観察者8(図1参照)に提示する画像を投影面7に投影する場合、この対応関係を用いて補正を行えば、歪みを抑えた画像を観察者に見せることができる。
 また、本発明では、初期位相値を画素毎に定め、その初期位相値から輝度値を求めた画像と、さらに、初期位相値から位相をずらし、その位相値から輝度値を求めた画像とを基準パターン画像群として生成し、各画像を投影する。さらに、その各画像を撮影する。このとき、撮影によって得られた各撮影画像間において、各画素の輝度は、基準パターン画像群の画像間における輝度変化と同様に変化する。そして、対応する画素同士では、初期位相値が共通する。この性質は、投影面7の形状によらずに成立する。本発明では、このことを利用し、撮影画像内の画素と投影される画像の画素との対応関係を定める。従って、投影面7の形状が任意の形状であっても、投影対象画像の画素の位置と、投影手段における画素の位置との対応関係を特定することができる。
 また、基準パターン画像群を生成して投影面に投影し、その各画像を撮影した撮影画像が得られれば、対応関係を求めることができる。よって、投影面の形状を測定するための3次元形状測定装置などを用いる必要がないため、低コストで対応関係を求めることができる。
 上記の実施形態では、輝度値を求める関数fとして、輝度値の変化が正弦波となる関数を用いる場合を例にして説明したが、関数fは、位相の変化に伴い連続して変化する連続関数であればよい。例えば、正弦関数のように関数値が滑らかに変化する関数ではなく、輝度値の変化が三角波となる関数を関数fとしてもよい。
 関数fとして連続関数を用いる理由は以下のとおりである。関数fが連続関数でなく、鋸歯状波のように不連続部分があるとすると、隣接する画素同士の輝度値が急激に変化する。すると、撮影手段2の解像度が不足している場合、輝度値が急激に変化している部分がぼやけて撮影され、急激に変化する値の中間値が輝度として認識されてしまうことがある。すると、その画素は、本来対応付けられるべきではない別の画素に対応付けられてしまう可能性がある。
 それに対し本発明では、輝度値を求める関数fとして位相の変化に伴い連続して変化する連続関数を用いるので、上記のような誤った対応付けを防止することができる。このことは、画素の対応関係に基づいて、投影する画像を補正する際、補正精度を向上させることができるということを意味する。
 また、本発明では、位相計算手段6が初期位相値を計算できるだけの画像を基準パターン画像群として生成すればよく、基準パターン画像群として多数の画像を生成する必要はない。従って、処理を高速化することができる。一例を挙げると、輝度値を求める関数fとして、輝度値の変化が正弦波となる関数を用いれば、一座標軸あたり、最低3つの画像を含む基準パターン画像群を生成すればよい。この場合、基準パターン画像群とする画像数を少なくできるので、処理を高速化することができる。
実施形態2.
 本発明の第2の実施形態の画素位置対応関係特定システムは、第1の実施形態と同様に、投影手段1と、撮影手段2と、情報処理装置3とを備える(図1参照)。ここでは、図1を参照して、第2の実施形態について説明する。第2の実施形態の画素位置対応関係特定システムも第1の実施形態と同様に、投影対象画像の画素の位置と投影手段1における画素の位置との対応関係を示す画素対応テーブルを作成する。第2の実施形態では、さらに、情報処理装置3が、観察者8に提示するために投影面7に投影する画像を、画素対応テーブルを用いて補正し、補正後の画像を投影手段1に投影させる。
 図10は、第2の実施形態における情報処理装置3の構成例を示すブロック図である。第1の実施形態と同様の構成要素については図4と同一の符号を付し、詳細な説明を省略する。第2の実施形態における情報処理装置3は、パターン位相シフト手段4と、撮影制御手段5と、位相計算手段6と、対応付け手段9と、補正手段10と、投影制御手段11とを備える。パターン位相シフト手段4、撮影制御手段5、位相計算手段6、対応付け手段9の動作は、第1の実施形態と同様である。
 補正手段10は、観察者8に提示するために投影面7に投影する投影対象画像を、画素対応テーブルを用いて補正する処理を行う。投影制御手段11は、補正後の画像を投影手段1に投影させる。
 次に、本実施形態の動作について説明する。
 まず、情報処理装置3は、投影対象画像の画素の位置と投影手段1における画素の位置との対応関係を示す画素対応テーブルを生成する。この動作は、第1の実施形態と同様であり、説明を省略する。
 画素対応テーブル生成後、補正手段10は、観察者8(図1参照)に提示する投影対象画像を補正する。補正手段10は、この補正後の画像として、投影手段1における画素の輝度値を、その画素に対応する投影対象画像の画素の輝度値に設定した画像を生成すればよい。図9に示す例のように、座標(X,Y)と座標(X,Y)とを対応付けている場合、(X,Y)の画素の輝度値に、投影対象画像における画素(X,Y)の輝度値を設定し、他の画素の輝度値についても同様に設定した画像を、補正後の画像として生成すればよい。この結果、投影対象画像における(X,Y)の画素は、(X,Y)の位置に変更されたこととなり、その状態で投影面7に投影されると、所望の位置に投影される。この結果、投影面7に投影したときの画像の歪みをなくすことができる。
 投影制御手段11は、補正手段10によって補正された画像を投影面7に向けて、投影手段1に投影させる。なお、画像投影時において、投影手段1と投影面7の位置関係は、画素対応テーブル作成時から変えないものとする。また、観察者8は、画素対応テーブル作成時における撮影手段2と同方向から投影面7を見る。
 画像を補正せずに投影した場合、投影対象画像における画素は所望の位置とは異なる位置に投影され画像が歪んでしまう。しかし、本実施形態では、第1の実施形態と同様に生成した画素対応テーブルを用いて、投影対象画像を補正し、その補正後の画像を投影する。従って、各位置にそれぞれ所望の輝度値を投影し、観察者に歪みを認識させずに、任意の形状の投影面7に画像を投影することができる。
 本実施形態によれば、画素対応テーブルを用いて画像を補正し、その画像を投影するので、投影面の形状に起因する歪みを抑えた画像を観察者に見せることができる。
 また、第1の実施形態と同様に、投影面7の形状が任意の形状であっても、投影対象画像の画素と投影手段1における画素との対応関係を特定するので、投影面の形状によらずに、歪みを抑えた画像を観察者に見せることができる。
 また、第1の実施形態と同様に、低コストで、高速、かつ、高精度に中間テーブルを作成することができる。
 また、情報処理装置3は、画素対応テーブルを作成せずに、外部から画素対応テーブルを入力され、その画素対応テーブルを用いて投影対象画像を補正する画像補正システムであってもよい。この場合、画像補正システムは、投影手段1および撮影手段2を備えていなくてよい。そして、情報処理装置3は、補正手段10を備えていればよい。例えば、第1の実施形態と同様の画素位置対応関係特定システムが画素対応テーブルを作成し、その画素対応テーブルを、画像補正システムに入力してもよい。さらに、画像補正システムが投影対象画像を補正するだけでなく、補正後の画像を投影面に投影する構成であってもよい。この場合、画像補正システムは、画素対応テーブル作成時に用いた投影手段と、その投影手段に補正後の画像を投影させる投影制御手段を備えていればよい。
 本発明では、輝度が連続的に変化する基準パターン画像群の位相を利用して、投影対象画像の画素の位置と、投影手段1における画素の位置との対応関係(画素対応テーブル)を定める。よって、画素毎に(すなわち高密度に)対応関係を得ることができ、また、対応先の画素を例えば浮動小数点で表した高精度な対応関係を得ることができる。以下に示す第3の実施形態では、特に、初期位相値の計算前に、撮影画像中において対応関係を求めたい領域(投影対象画像を投影したい領域に相当する領域)の解像度が投影対象画像と同一になるように解像度変換を行い、その上で初期位相値を計算する。
実施形態3.
 本発明の第3の実施形態は、第1の実施形態や第2の実施形態と同様に、投影手段1と、撮影手段2と、情報処理装置3とを備える(図1参照)。第3の実施形態の画素位置対応関係特定システムは、撮影画像と、観察者に提示しようとする画像(投影対象画像)とで解像度が異なる場合、撮影画像を拡大したり縮小したりして、撮影画像の解像度を、観察者に提示しようとする画像の解像度に合わせる。そして、解像度変換後(すなわち、拡大または縮小後)の撮影画像について初期位相値を求める処理(ステップS13、図6参照)を行って、解像度変換後の撮影画像の画素の基準パターン画像群の座標とを対応付ける処理(ステップS14、図6参照)を行い、その後に画素対応テーブルを生成する。この処理の結果、撮影画像と投影対象画像の解像度が一致しない場合にも、所望の解像度に合う画素対応テーブルを生成することができる。
 また、特に、撮影画像を縮小する場合には、高精度な画素対応テーブルを得ることができる。一例を挙げると、撮影画像の解像度が投影対象画像より高い場合、初期位相値の計算前に撮影画像の縮小処理を行えば、撮影手段2(カメラ)の性能以上にノイズが少なくコントラストも高い画像が得られる。その画像を用いて、第1の実施形態と同様に初期位相値を計算し、画素対応テーブルを求めれば、高精度の画素対応テーブルを得ることができる。
 図11は、第3の実施形態における情報処理装置3の構成例を示すブロック図である。第1および第2の実施形態と同様の構成要素については、図4や図10と同一の符号を付し、詳細な説明を省略する。第3の実施形態における情報処理装置3は、パターン位相シフト手段4と、撮影制御手段5と、解像度変換手段12と、位相計算手段6と、対応付け手段9と、補正手段10と、投影制御手段11とを備える。
 解像度変換手段12は、撮影画像における目標画像領域の解像度が、観察者に提示する所望の解像度となるように、撮影画像中の目標画像領域を拡大または縮小する。解像度変換手段12は、撮影画像から目標画像領域を切り出して、その切り出した画像を拡大または縮小すればよい。また、撮影画像において、投影面のうち、撮影対象画像を投影したいというオペレータの所望の領域に相当する部分が、目標画像領域として、例えばオペレータに指定されてもよい。
 パターン位相シフト手段4、撮影制御手段5、位相計算手段6、対応付け手段9、補正手段10、投影制御手段11、および解像度変換手段12は、プログラム(画素位置対応関係特定プログラム)に従って動作するCPUによって実現される。プログラムは、例えば情報処理装置3が備えるプログラム記憶装置(図示せず)に記憶され、CPUは、そのプログラムを読み込み、そのプログラムに従って、パターン位相シフト手段4、撮影制御手段5、位相計算手段6、対応付け手段9、補正手段10、投影制御手段11、および解像度変換手段12として動作してもよい。また、各手段がそれぞれ別個のハードウェアであってもよい。
 次に、本実施形態の動作について説明する。
 まず、情報処理装置3は、x座標に関する対応付け(ステップS1、図5参照)およびy座標に関する対応付け(ステップS2、図5参照)を行う。このステップS1,S2において、それぞれ、基本パターン画像生成処理、撮影処理を行う。この基本パターン画像生成処理、撮影処理は、第1の実施形態におけるステップS11,S12の処理と同様であり、説明を省略する。
 基本パターン画像生成処理および撮影処理の後、解像度変換手段12は、撮影画像における目標画像領域の解像度が観察者に提示する所望の解像度の画像と同じになるように、撮影画像内の目標画像領域を拡大または縮小する。拡大または縮小による解像度変換後の画像は、解像度変換画像と呼ぶことができる。
 拡大の場合、解像度変換手段12は、解像度変換後の座標における輝度値を、対応する解像度変換前の座標の輝度値と定める。また、拡大の場合、画素数が増えるので、拡大後の画像の画素のうち、対応する解像度変換前の座標がない画素については、既に定められている輝度値から線形補間あるいはバイリニア補間などによって補間した輝度値を定めればよい。
 縮小の場合、解像度変換手段12は、解像度変換後の座標における輝度値を、対応する解像度変換前の座標の輝度値に基づいて定める。縮小の場合、変換後の画像のある一つの画素は、変換前の画像の複数の画素に対応する。解像度変換手段12は、変換後の画素に対応付けられる複数の変換前の画素の輝度値を、その変換後の画素に相当する面積で重み付け、線形和を求めることによって、変換後の画素の輝度値を求める。変換後の画素とは変換後の画像における画素であり、変換前の画素とは変換前の画像における画素である。図12は、縮小変換後の画素の輝度決定の例を示す説明図である。縮小後の画像における画素65は、縮小前の画像における4つの画素61~64に対応しているものとする。そして、画素61~64の輝度値は、それぞれP~Pであるとする。また、画素61は、変換後の画素65だけに対応するのではなく、画素65に接する他の画素(図示せず)にも対応し、画素61において、変換後の画素65に相当する面積は、1/4であるものとする。変換前の他の画素62,63,64についても同様である。従って、図12に示す例では、各画素61~64の輝度値を、その面積の割合で重みづけ、線形和を求めると、P×(1/4)+P×(1/4)+P×(1/4)+P×(1/4)=(P+P+P+P)/4となる。解像度変換手段12は、この計算を行って、変換後の画素65の輝度値を(P+P+P+P)/4と定めればよい。解像度変換手段12は、変換後の画像における各画素毎に、同様に輝度値を決定する。
 解像度変換手段12は、以上のように個々の輝度値を求め、拡大または縮小後の画像を生成する。また、解像度変換手段12は、各撮影画像をそれぞれ同様に拡大または縮小する。
 各撮影画像がそれぞれ解像度変換(すなわち拡大または縮小)された後、位相計算手段6は、画素毎に、解像度変換後の各撮影画像(すなわち、各解像度変換画像)間の輝度の変化に基づいて、その変化における初期位相値を求める。この処理は、第1の実施形態におけるステップS13と同様である。続いて、対応付け手段9が、解像度変換画像における画素の座標と、投影される画像における画素の座標との対応付けを行う。この処理は、第1の実施形態におけるステップS14と同様である。
 情報処理装置3は、x座標に関する対応付け処理(ステップS1、図5参照)において、基本パターン画像群生成処理および撮影処理を行ってから、上記のように撮影画像に対する解像度変換を行い、解像度変換画像を用いて、初期位相値を計算し、解像度変換画像の画素の座標と、撮影される画像の画素のx座標とを対応付ける。同様に、y座標に関する対応付け処理(ステップS2、図5参照)において、基本パターン画像群生成処理および撮影処理を行ってから、上記のように撮影画像に対する解像度変換を行い、解像度変換画像を用いて、初期位相値を計算し、解像度変換画像の画素の座標と、撮影される画像の画素のy座標とを対応付ける。対応付け手段9は、この結果を用いて、画素対応テーブルを生成する(図5に示すステップS3)。
 補正手段10は、この画素対応テーブルを用いて、観察者8に提示するために投影面7に投影する画像を補正する。補正手段10の動作は、第2の実施形態と同様である。また、投影制御手段11は、補正手段10によって補正された画像を投影面7に向けて、投影手段1に投影させる。なお、画像投影時において、投影手段1と投影面7の位置関係は、画素対応テーブル作成時から変えないものとする。また、観察者8は、画素対応テーブル作成時における撮影手段2と同方向から投影面7を見る。この点は、第2の実施形態と同様である。
 本実施形態によれば、観察者に見せたい画像である投影対象画像と撮影画像とで解像度が一致していなくても、所望の投影対象画像の解像度に応じた画素対応テーブルを作成し、所望の解像度で投影対象画像を投影することができる。また、投影面の形状によらずに、歪みを抑えた画像を観察者に見せることができる。
 また、解像度変換手段12が撮影画像を縮小する場合には、高精度な画素対応テーブルを得ることができる。初期位相値を用いた対応関係(画素対応テーブル)の決定精度は、初期位相値の計測精度に依存し、初期位相値の計測精度は主に、撮影されたパターンのコントラストに対する、撮影画像に生じるノイズの大きさに依存する。撮影されたパターンのコントラストが大きければ、あるいは、ノイズが小さければ、初期位相値の計測精度が向上する。解像度の高いカメラを用いた場合、解像度変換手段12が基準パターン画像群の撮影画像を縮小すれば、撮影画像を、コントラスト:ノイズの比が大きい画像に変換できる。なぜなら、縮小処理において複数画素の輝度値の加算を行うため、各画素についてランダムであるノイズは互いに打ち消されて小さくなり、コントラストは加算により高くなるためである。そのような変換後の画像を用いて、初期位相値を計算し、画素対応テーブルを生成することで、画素対応テーブルの精度を向上させることができる。
 次に、上記の各実施形態の変形例について説明する。
 上記の各実施形態においてパターン位相シフト手段4は、x軸、y軸の各座標軸に関してそれぞれ、複数種類の基準パターン画像群を生成してもよい。以下、パターン位相シフト手段4が各座標軸毎に2種類の基準パターン画像群を生成する場合について説明する。
 本変形例では、パターン位相シフト手段4は、第1の基準パターン画像群と第2の基準パターン画像群を生成する。第2の基準パターン画像群における座標軸方向の輝度変化の周期は、第1の基準パターン画像群における座標方向の輝度変化の周期の1/a倍である。換言すれば、第2の基準パターン画像群は、第1の基準パターン画像群を座標軸方向に1/a倍に圧縮した画像群である。ただし、第2の基準パターン画像群に属する各画像は、第1の基準パターン画像群に属する各画像と同じ大きさであり、第2の基準パターン画像群に属する画像は、同じパターンが繰り返し現れる画像となっている。すなわち、第2の基準パターン画像群に属する画像は、第1の基準パターン画像群に属する画像を1/a倍に圧縮したパターンをa回繰り返した画像となっている。aは、例えば1より大きな値である。ここでは、a=2の場合を例示して説明する。
 図13は2種類の基準パターン画像群を模式的に示す説明図である。図13(a)は、第1の基準パターン画像群を示し、図13(b)は、第2の基準パターン画像群を示す。また、図13では、x軸方向に輝度を変化させた場合を示し、実線は輝度が最小となる箇所(最も暗い場所)を表し、波線は輝度が最高となる箇所(最も明るい場所)を表している。a=2として上記のように各基準パターン画像群を求めた場合、図13に示すように、第2の基準パターン画像群における輝度変化の周期は、第1の基準パターン画像群における輝度変化の周期の1/2倍となっている。また、第2の基準パターン画像群に属する画像は、第1の基準パターン画像群に属する画像を1/2倍に圧縮したパターンを2回繰り返した画像となっている。
 パターン位相シフト手段4は、第1の実施形態で説明した基準パターン画像群と同様に第1の基準パターン画像群を生成すればよい。また、パターン位相シフト手段4は、座標値に応じた初期位相値を求める関数(例えば式(1)、式(9))をa倍した関数を用いて、第2の基準パターン画像群を求めればよい。例えば、第1の基準パターン画像群を生成する際に、式(1)や式(9)を用いた場合、第2の基準パターン画像群を生成する際には、以下に示す式(1’)や式(9’)を用いればよい。
 s(x)=T/(w-1+2・m)・(x-m)・a      式(1’)
 s(y)=T/(h-1+2・m)・(y-m’)・a     式(9’)
 第1の基準パターン画像群の生成処理と第2の基準パターン画像群の生成処理は、座標値に応じた初期位相値を求める関数以外は同じ処理である。
 撮影制御手段5は、第1の基準パターン画像群に属する各画像と第2の基準パターン画像群に属する各画像とをそれぞれ投影面7に向けて、1画像ずつ投影手段1に投影させる。そして、撮影制御手段5は、投影面7に投影された各画像を、1画像ずつ撮影手段2に撮影させ、撮影画像を撮影手段2から受信する。
 次に、位相計算手段6は、第1の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を、画素毎に求める。この処理は、第1の実施形態におけるステップS13と同様の処理である。また、位相計算手段6は、同様に、第2の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を、画素毎に求める。
 次に、対応付け手段9は、第1の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値(第1の初期位相値群と記す。)と、第2の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値(第2の初期位相値群と記す。)とを用いて、初期位相値から求められる座標値と、撮影画像における画素とを対応付ける。具体的には、対応付け手段9は、第2の初期位相値群について、それぞれ、初期位相値から座標を逆算する。第2の基準パターン画像群生成時に初期位相値の計算に用いる式が、式(1’)や式(9’)である場合、それらの式の逆算を行い、座標値を計算すればよい。
 ただし、図13(b)に示すように、第2の基準パターン画像群に属する各画像は、それぞれ同じパターンを繰り返した画像となっている。そのため、座標値が異なっていても初期位相値が一致して、初期位相値から座標値を一意に求められないという不定性がある。不定性を解消するために、対応付け手段9は、第2の初期位相値群から逆算で求めた座標値に、第2の基準パターン画像群における輝度変化の周期の整数倍を加算した座標値を候補として計算する。例えば、逆算で求めた座標値をtとし、第2の基準パターン画像群における輝度変化の周期をQとすると、求める座標値の候補として、t+Q,t+2Q,・・・等を計算する。
 また、対応付け手段9は、対応する座標値を求めようとしている第2の基準パターン画像群に応じた撮影画像の画素と同じ位置にある、第1の基準パターン画像群に応じた撮影画像の画素に関しても、その初期位相値から座標値を逆算する。そして、対応付け手段9は、第2の初期位相値群から求めた座標の候補のうち、第1の基準パターン画像群に応じた撮影画像の画素の初期位相値から逆算した座標に最も近い座標を、画素に対応する座標値として決定する。この処理を各画素毎に行えばよい。
 本変形例では、対応付け手段9の対応付け処理の精度を向上させることができる。初期位相値の計測誤差は、どちらの基準パターン画像群でも同じであるが、第2の基準パターン画像群の方では、対応座標に対する初期位相値はa倍多く変化する。つまり、初期位相値から対応座標を求めたときの誤差は1/aになる。このため、対応付け処理の精度を向上させることができる。
 また、上記の各実施形態やその変形例において、補正手段10は、投影手段1によって投影される画像の輝度を、反射率を用いて更新してから、その画像に対する補正を行ってもよい。この場合、情報処理装置3は、投影面における反射率を計算する反射率計算手段を備えるが、反射率計算手段は、情報処理装置3が備える手段(例えば、補正手段10あるいは位相計算手段6など)によって実現されていてもよい。ここでは、補正手段10が反射率計算手段としても動作する場合を例にして説明する。
 補正手段10は、パターン位相シフト手段4が生成した基準パターン画像群における輝度の振幅(Aとする)と、撮影手段2が撮影した撮影画像における輝度の振幅(Aとする)とから、反射率Acpを計算する。補正手段10は、Acp=A/Aを計算することによって、反射率Acpを求めればよい。
 また、補正手段10は、撮影画像における輝度の振幅Aを基準パターン画像群の撮影画像から求めるのではなく、基準パターン画像群と別に最大輝度の画像と最小輝度の画像をそれぞれ投影面に投影したときに、その各画像を撮影した撮影画像の輝度値の差分から求めてもよい。この場合、撮影制御手段5が、基準パターン画像群とは別に、全画素の輝度値が最大値に設定された明画像(全体が明るい画像)と、全画素の輝度値が最小値に設定された暗画像(全体が暗い画像)とをそれぞれ、投影手段1に投影させ、投影された明画像、暗画像をそれぞれ撮影手段2に撮影させればよい。補正手段10は、その二つの撮影画像の輝度値の差分から振幅Aを求めればよい。
 また、補正手段10は、観察者に提示するために投影手段1によって投影される画像の輝度をKとした場合、その輝度を反射率Acpで除算した値(すなわち、K/Acp)に更新する。そして、輝度の更新後、画素対応テーブルを用いて、その画像を補正すればよい。
 上記の実施形態では、投影手段1が一つである場合を例にして説明したが、画素位置対応関係特定システムが投影手段1を複数備えていてもよい。その場合、情報処理装置3は、個々の投影手段1毎に画素対応テーブルを作成すればよい。そして、複数の投影手段1に画像を投影させる場合、投影手段1毎に作成した画素対応テーブルを用いて、ユーザに提示する画像を補正すればよい。
 また、複数の投影手段1は、投影面7における同一領域に画像を投影してもよい。この場合、同一の領域に複数の投影手段1から投影された画像をユーザに提示するので、投影面7に投影された画像を明るくすることができる。
 また、大きな画像を分割した個々の画像の投影を各投影手段1に分担させ、各投影手段1が投影面上の投影位置をずらして投影してもよい。例えば、第1の投影手段1が、ユーザに提示する画像における右半分の投影を分担し、第2の投影手段1が左半分の投影を分担してもよい。そして、第1の投影手段1が画像を投影する領域の隣に、第2の投影手段1が画像を投影してもよい。この場合、一つの投影手段1のみを用いて画像を投影する場合よりも、大きな画像をユーザに提示することができる。
 また、以上の説明では、撮影手段1が基準パターン画像群に属する画像を撮影手段1が1画像ずつ投影し、撮影手段2がその画像を1画像ずつ撮影する場合について説明したが、投影手段1は、複数の画像を同時に投影面に投影してもよい。このとき、撮影手段2は、投影された画像を撮影し、光の波長が異なる色毎に分離すればよい。
 投影手段1が1台だけ設けられているとする。このとき、投影手段1は、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影してもよい。例えば、基準パターン画像群に属する画像が三つあり、投影手段1は、赤、緑、青の3色で投影可能であるとする。この場合、投影手段1は、赤、緑、青の3色でそれぞれの1~3番目の画像を同時に投影してもよい。この場合、撮影手段2は、赤、緑、青で同時に投影された画像を撮影し、赤、緑、青の各色で分離すればよい。情報処理装置3は、分離された画像に対して処理を行えばよい。
 また、複数台の投影手段が設けられ、各投影手段が、それぞれ光の波長が異なる色で画像を同時に投影してもよい。例えば、投影手段1を3台設け、1台目の投影手段による赤の画像の投影と、2台目の投影手段による緑の画像の投影と、3台目の投影手段による青の画像の投影とを同時に行ってもよい。この場合も、撮影手段2は、赤、緑、青で同時に投影された画像を撮影し、赤、緑、青の各色で分離すればよい。
 また、複数台の投影手段を設け、各投影手段がそれぞれ同時に複数の色で画像を投影する構成であってもよい。例えば、15種類の波長で光を投影できる投影手段を5台設ける。この場合、個々の投影手段が3種類の画像をそれぞれ異なる波長の色で同時に投影する。また、各投影手段も同時に投影を行う。撮影手段2は、15種類の波長の色で投影された各画像を撮影し、15種類の各色に分離すればよい。
 また、上記の各実施形態では、画素位置対応関係特定システムが、撮影手段2(図1参照)を備える場合を説明したが、画素位置対応関係特定システムが撮影手段2を備えず、投影面7(図1参照)に投影された画像を投影する投影手段が、画素位置対応関係特定システムとは別に設けられてもよい。このような投影手段として、例えば、カメラ付きの携帯端末等を用いることができる。この場合、情報処理装置3は、撮影制御手段5の代わりに、基準パターン画像群に属する画像を投影手段1に投影させる基準パターン投影制御手段を含んでいればよい。カメラ付き携帯端末は、例えば観察者の操作により、投影面に投影された基準パターン画像群の各画像を撮影し、情報処理装置3に出力する。情報処理装置3は、外部から入力された複数の撮影画像を用いて、上記の各実施形態と同様の動作を行えばよい。
 次に、本発明の概要を説明する。図14は、本発明の概要を示すブロック図である。本発明の画素位置対応関係特定システムは、投影手段71(例えば、実施形態における投影手段1)と、撮影手段72(例えば、実施形態における撮影手段2)と、基準パターン画像群生成手段73(例えば、パターン位相シフト手段4)と、撮影制御手段74(例えば、実施形態における撮影制御手段5)と、位相計算手段75(例えば、実施形態における位相計算手段6)と、対応付け手段76(例えば、実施形態における対応付け手段9)とを備える。
 投影手段71は、画像を投影面に投影する。撮影手段72は、投影面に投影された画像を撮影する。
 基準パターン画像群生成手段73は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する。
 撮影制御手段74は、基準パターン画像群に属する画像を投影手段71に投影させ、その結果投影面に投影された画像を撮影手段72に撮影させる。
 位相計算手段75は、基準パターン画像群の各画像を投影手段71が投影したときに撮影手段72が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する。
 対応付け手段76は、基準パターン画像群生成手段が座標値から初期位相値を求める計算(例えば式(1)の計算)の逆算を、位相計算手段75が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影手段71における画素との対応関係を特定する。
 詳細には、基準パターン画像群生成手段73は、第1座標軸(例えばx軸)に沿って初期位相値を変化させた第1座標軸に関する基準パターン画像群と、第2座標軸(例えばy軸)に沿って初期位相値を変化させた第2座標軸に関する基準パターン画像群とを生成する。
 そして、撮影制御手段74は、第1座標軸に関する基準パターン画像群を投影手段71に投影させ、その結果投影面に投影された画像を撮影手段72に撮影させ、第2座標軸に関する基準パターン画像群を投影手段71に投影させ、その結果投影面に投影された画像を撮影手段72に撮影させる。
 位相計算手段75は、第1座標軸に関する基準パターン画像群の各画像を投影手段71が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第2座標軸に関する基準パターン画像群の各画像を投影手段71が投影したときに撮影手段72が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する。
 対応付け手段76は、第1座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第1座標軸の座標(例えばx座標)から初期位相値を求める計算(例えば、式(1)の計算)の逆算を行って第1座標軸の座標を計算し、撮影画像の画素に第1座標軸の座標を対応付け、第2座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第2座標軸の座標(例えばy座標)から初期位相値を求める計算(例えば、式(9)の計算)の逆算を行って第2座標軸の座標を計算し、撮影画像の画素に第2座標軸の座標を対応付けることによって、撮影画像の画素と、投影手段71によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する。
 また、上記の実施形態には、投影対象画像における画素と投影手段71における画素との対応関係に基づいて、投影対象画像を補正する補正手段(例えば、実施形態における補正手段10)と、補正手段によって補正された画像を、投影手段71に投影させる投影制御手段(例えば、実施形態における投影制御手段11)とを備える構成が開示されている。
 また、上記の実施形態には、基準パターン画像群生成手段73が、第1の基準パターン画像群と、第1の基準パターン画像群における輝度変化の周期を所定倍(例えば、1/a倍)とした第2の基準パターン画像群を生成し、撮影制御手段74が、第1の基準パターン画像群に属する画像および第2の基準パターン画像群に属する画像を投影手段71に投影させ、その結果投影面に投影された画像を撮影手段72に撮影させ、位相計算手段75が、第1の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、第2の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、対応付け手段76は、第1の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値と、第2の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値とを用いて、初期位相値から得られる座標値と撮影画像の画素とを対応付け、その対応関係を用いて投影対象画像における画素と投影手段71における画素との対応関係を特定する構成が開示されている。そのような構成によれば、対応付けの精度を向上させることができる。
 また、上記の実施形態には、投影面における反射率を計算する反射率計算手段(例えば、補正手段10)を備え、補正手段が、投影対象画像の画素の輝度値を、その輝度値を反射率で除算した値に更新し、更新後の画像に対して補正を行う構成が開示されている。
 また、位相の変化に伴い連続して変化する連続関数(例えば、f)は、関数値の変化が正弦波となる関数である構成が開示されている。
 また、投影手段を複数備える構成が開示されている。
 また、上記の実施形態には、投影手段1が、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影し、撮影手段2が、その画像を撮影して光の波長が異なる色毎に分離する構成が開示されている。
 また、上記の実施形態には、以下の構成の画素位置対応関係特定システムが開示されている。
 画像を投影面に投影する投影手段(例えば、実施形態における投影手段1)と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段(例えば、パターン位相シフト手段4)と、基準パターン画像群に属する画像を投影手段に投影させる基準パターン投影制御手段(例えば、実施形態における撮影制御手段5)と、投影面に投影された基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段(例えば、実施形態における位相計算手段6)と、基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、位相計算手段が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影手段における画素との対応関係を特定する対応付け手段(例えば、実施形態における対応付け手段9)とを備え、基準パターン画像生成手段が、第1座標軸(例えばx軸)に沿って初期位相値を変化させた第1座標軸に関する基準パターン画像群と、第2座標軸(例えばy軸)に沿って初期位相値を変化させた第2座標軸に関する基準パターン画像群とを生成し、基準パターン投影制御手段が、第1座標軸に関する基準パターン画像群を投影手段に投影させ、第2座標軸に関する基準パターン画像群を投影手段に投影させ、位相計算手段が、第1座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第2座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け手段が、第1座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第1座標軸の座標から初期位相値を求める計算の逆算を行って第1座標軸の座標を計算し、撮影画像の画素に第1座標軸の座標を対応付け、第2座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第2座標軸の座標から初期位相値を求める計算の逆算を行って第2座標軸の座標を計算し、撮影画像の画素に第2座標軸の座標を対応付けることによって、撮影画像の画素と、投影手段によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴する画素位置対応関係特定システム。
 この構成は、図14における撮影手段72を画素位置対応関係特定システムの外部に設けた構成に相当する。
 また、上記の実施形態には、以下の構成の画素位置対応関係特定システムが開示されている。
(1)画像を投影面に投影する投影部(例えば、実施形態における投影手段1)と、投影面に投影された画像を撮影する撮影部(例えば、実施形態における撮影手段2)と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成部(例えば、パターン位相シフト手段4)と、基準パターン画像群に属する画像を投影部に投影させ、その結果投影面に投影された画像を撮影部に撮影させる撮影制御部(例えば、実施形態における撮影制御手段5)と、基準パターン画像群の各画像を投影部が投影したときに撮影部が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算部(例えば、実施形態における位相計算手段6)と、基準パターン画像群生成部が座標値から初期位相値を求める計算の逆算を、位相計算部が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影部における画素との対応関係を特定する対応付け部(例えば、実施形態における対応付け手段9)とを備え、基準パターン画像生成部が、第1座標軸(例えばx軸)に沿って初期位相値を変化させた第1座標軸に関する基準パターン画像群と、第2座標軸(例えばy軸)に沿って初期位相値を変化させた第2座標軸に関する基準パターン画像群とを生成し、撮影制御部が、第1座標軸に関する基準パターン画像群を投影部に投影させ、その結果投影面に投影された画像を撮影部に撮影させ、第2座標軸に関する基準パターン画像群を投影部に投影させ、その結果投影面に投影された画像を撮影部に撮影させ、位相計算部が、第1座標軸に関する基準パターン画像群の各画像を投影部が投影したときに撮影部が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第2座標軸に関する基準パターン画像群の各画像を投影部が投影したときに撮影部が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け部が、第1座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第1座標軸の座標から初期位相値を求める計算の逆算を行って第1座標軸の座標を計算し、撮影画像の画素に第1座標軸の座標を対応付け、第2座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第2座標軸の座標から初期位相値を求める計算の逆算を行って第2座標軸の座標を計算し、撮影画像の画素に第2座標軸の座標を対応付けることによって、撮影画像の画素と、投影部によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影部における画素との対応関係を特定することを特徴する画素位置対応関係特定システム。
(2)投影対象画像における画素と投影部における画素との対応関係に基づいて、投影対象画像を補正する補正部(例えば、実施形態における補正手段10)と、補正部によって補正された画像を、投影部に投影させる投影制御部(例えば、実施形態における投影制御手段11)とを備える画素位置対応関係特定システム。
(3)基準パターン画像群生成部が、第1の基準パターン画像群と、第1の基準パターン画像群における輝度変化の周期を所定倍(例えば、1/a倍)とした第2の基準パターン画像群を生成し、撮影制御部が、第1の基準パターン画像群に属する画像および第2の基準パターン画像群に属する画像を投影部に投影させ、その結果投影面に投影された画像を撮影部に撮影させ、位相計算部が、第1の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、第2の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、対応付け部が、第1の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値と、第2の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値とを用いて、初期位相値から得られる座標値と撮影画像の画素とを対応付け、その対応関係を用いて投影対象画像における画素と投影部における画素との対応関係を特定する画素位置対応関係特定システム。
(4)投影面における反射率を計算する反射率計算部(例えば、補正手段10)を備え、補正部が、投影対象画像の画素の輝度値を、当該輝度値を反射率で除算した値に更新し、更新後の画像に対して補正を行う画素位置対応関係特定システム。
(5)位相の変化に伴い連続して変化する連続関数(例えば、f)は、関数値の変化が正弦波となる関数である画素位置対応関係特定システム。
(6)投影部を複数備える画素位置対応関係特定システム。
(7)投影部が、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影し、撮影部が、画像を撮影して光の波長が異なる色毎に分離する画素位置対応関係特定システム。
(8)画像を投影面に投影する投影部(例えば、実施形態における投影手段1)と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成部(例えば、パターン位相シフト手段4)と、基準パターン画像群に属する画像を投影部に投影させる基準パターン投影制御部(例えば、実施形態における撮影制御手段5)と、投影面に投影された基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算部(例えば、実施形態における位相計算手段6)と、基準パターン画像群生成部が座標値から初期位相値を求める計算の逆算を、位相計算部が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影部における画素との対応関係を特定する対応付け部(例えば、実施形態における対応付け手段9)とを備え、基準パターン画像生成部が、第1座標(例えばx軸)軸に沿って初期位相値を変化させた第1座標軸に関する基準パターン画像群と、第2座標軸(例えばy軸)に沿って初期位相値を変化させた第2座標軸に関する基準パターン画像群とを生成し、基準パターン投影制御部が、第1座標軸に関する基準パターン画像群を投影部に投影させ、第2座標軸に関する基準パターン画像群を投影部に投影させ、位相計算部が、第1座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第2座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け部が、第1座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第1座標軸の座標から初期位相値を求める計算の逆算を行って第1座標軸の座標を計算し、撮影画像の画素に第1座標軸の座標を対応付け、第2座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第2座標軸の座標から初期位相値を求める計算の逆算を行って第2座標軸の座標を計算し、撮影画像の画素に第2座標軸の座標を対応付けることによって、撮影画像の画素と、投影部によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影部における画素との対応関係を特定することを特徴する画素位置対応関係特定システム。
 (8)の構成は、図14における撮影手段72を画素位置対応関係特定システムの外部に設けた構成に相当する。
 また、上記の実施形態には、以下の構成の画像補正システムが開示されている。
(9)投影対象画像における画素と画像を投影する投影手段における画素との対応関係に基づいて、投影手段によって投影される投影対象画像を補正する補正手段(例えば、補正手段10)を備えることを特徴とする画像補正システム。
(10)投影対象画像における画素と画像を投影する投影部における画素との対応関係に基づいて、投影部によって投影される投影対象画像を補正する補正部(例えば、補正手段10)を備えることを特徴とする画像補正システム。
(11)画像を投影する投影部(例えば、実施形態における投影手段1)と、補正部によって補正された画像を、投影部に投影させる投影制御部(例えば、実施形態における撮影制御部5)とを備える画像補正システム。
 (9),(10)の画像補正システムは、例えば、補正手段10(図10、図11参照)を備えるように構成される。
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2008年11月17日に出願された日本出願特願2008-293535を基礎とする優先権を主張し、その開示の全てをここに取り込む。
産業上の利用の可能性
 本発明は、投影面に画像を投影する際の画像の歪みを補正するために、投影対象となる画像の画素と、実際に投影面に投影された画像の画素との対応関係を定める画素位置対応関係特定システムや、その対応関係を用いて、観察者に提示する画像を補正して投影する画像投影システムに好適に適用される。
 1 投影手段
 2 撮影手段
 3 情報処理装置
 4 パターン位相シフト手段
 5 撮影制御手段
 6 位相計算手段
 7 投影面
 8 観察者
 9 対応付け手段
 10 補正手段
 11 投影制御手段
 12 解像度変換手段

Claims (17)

  1.  画像を投影面に投影する投影手段と、
     投影面に投影された画像を撮影する撮影手段と、
     位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、
     基準パターン画像群に属する画像を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させる撮影制御手段と、
     基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、
     基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、前記位相計算手段が計算した初期位相値に対して行い、前記逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と前記投影手段における画素との対応関係を特定する対応付け手段とを備え、
     前記基準パターン画像生成手段は、
     第1座標軸に沿って初期位相値を変化させた第1座標軸に関する基準パターン画像群と、第2座標軸に沿って初期位相値を変化させた第2座標軸に関する基準パターン画像群とを生成し、
     前記撮影制御手段は、
     第1座標軸に関する基準パターン画像群を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させ、第2座標軸に関する基準パターン画像群を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させ、
     前記位相計算手段は、
     第1座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第2座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
     前記対応付け手段は、
     第1座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第1座標軸の座標から初期位相値を求める計算の逆算を行って第1座標軸の座標を計算し、撮影画像の画素に前記第1座標軸の座標を対応付け、第2座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第2座標軸の座標から初期位相値を求める計算の逆算を行って第2座標軸の座標を計算し、撮影画像の画素に前記第2座標軸の座標を対応付けることによって、撮影画像の画素と、前記投影手段によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
     ことを特徴する画素位置対応関係特定システム。
  2.  投影対象画像における画素と前記投影手段における画素との対応関係に基づいて、投影対象画像を補正する補正手段と、
     前記補正手段によって補正された画像を、前記投影手段に投影させる投影制御手段とを備える
     請求項1に記載の画素位置対応関係特定システム。
  3.  基準パターン画像群生成手段は、第1の基準パターン画像群と、前記第1の基準パターン画像群における輝度変化の周期を所定倍とした第2の基準パターン画像群を生成し、
     撮影制御手段は、前記第1の基準パターン画像群に属する画像および前記第2の基準パターン画像群に属する画像を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させ、
     位相計算手段は、前記第1の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、前記第2の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、
     対応付け手段は、前記第1の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値と、前記第2の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値とを用いて、初期位相値から得られる座標値と撮影画像の画素とを対応付け、その対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
     請求項1または請求項2に記載の画素位置対応関係特定システム。
  4.  投影面における反射率を計算する反射率計算手段を備え、
     補正手段は、投影対象画像の画素の輝度値を、当該輝度値を反射率で除算した値に更新し、更新後の画像に対して補正を行う
     請求項2または請求項3に記載の画素位置対応関係特定システム。
  5.  位相の変化に伴い連続して変化する前記連続関数は、関数値の変化が正弦波となる関数である請求項1から請求項4のうちのいずれか1項に記載の画素位置対応関係特定システム。
  6.  投影手段を複数備える
     請求項1から請求項5のうちのいずれか1項に記載の画素位置対応関係特定システム。
  7.  投影手段は、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影し、
     撮影手段は、前記画像を撮影して光の波長が異なる色毎に分離する
     請求項1から請求項6のうちのいずれか1項に記載の画素位置対応関係特定システム。
  8.  画像を投影面に投影する投影手段と、
     位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、
     基準パターン画像群に属する画像を前記投影手段に投影させる基準パターン投影制御手段と、
     投影面に投影された基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、
     基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、前記位相計算手段が計算した初期位相値に対して行い、前記逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と前記投影手段における画素との対応関係を特定する対応付け手段とを備え、
     前記基準パターン画像生成手段は、
     第1座標軸に沿って初期位相値を変化させた第1座標軸に関する基準パターン画像群と、第2座標軸に沿って初期位相値を変化させた第2座標軸に関する基準パターン画像群とを生成し、
     前記基準パターン投影制御手段は、
     第1座標軸に関する基準パターン画像群を前記投影手段に投影させ、第2座標軸に関する基準パターン画像群を前記投影手段に投影させ、
     前記位相計算手段は、
     第1座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第2座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
     前記対応付け手段は、
     第1座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第1座標軸の座標から初期位相値を求める計算の逆算を行って第1座標軸の座標を計算し、撮影画像の画素に前記第1座標軸の座標を対応付け、第2座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第2座標軸の座標から初期位相値を求める計算の逆算を行って第2座標軸の座標を計算し、撮影画像の画素に前記第2座標軸の座標を対応付けることによって、撮影画像の画素と、前記投影手段によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
     ことを特徴する画素位置対応関係特定システム。
  9.  投影対象画像における画素と画像を投影する投影手段における画素との対応関係に基づいて、前記投影手段によって投影される投影対象画像を補正する補正手段を備える
     ことを特徴とする画像補正システム。
  10.  画像を投影する投影手段と、
     前記補正手段によって補正された画像を、前記投影手段に投影させる投影制御手段とを備える
     請求項9に記載の画像補正システム。
  11.  位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第1座標軸に沿って座標値毎に連続的に変化させた画像群である第1座標軸に関する基準パターン画像群を生成し、
     第1座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、
     第1座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
     第1座標軸に関する基準パターン画像群を生成する処理で第1座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した前記初期位相値に対して行い、前記逆算によって得られる第1座標軸の座標と撮影画像の画素とを対応付け、
     位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第2座標軸に沿って座標値毎に連続的に変化させた画像群である第2座標軸に関する基準パターン画像群を生成し、
     第2座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、その結果投影面に投影された画像を前記撮影手段に撮影させ、
     第2座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
     第2座標軸に関する基準パターン画像群を生成する処理で第2座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した前記初期位相値に対して行い、前記逆算によって得られる第2座標軸の座標と撮影画像の画素とを対応付け、
     撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
     ことを特徴とする画素位置対応関係特定方法。
  12.  位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第1座標軸に沿って座標値毎に連続的に変化させた画像群である第1座標軸に関する基準パターン画像群を生成し、
     第1座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、
     投影面に投影された第1座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
     第1座標軸に関する基準パターン画像群を生成する処理で第1座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した前記初期位相値に対して行い、前記逆算によって得られる第1座標軸の座標と撮影画像の画素とを対応付け、
     位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第2座標軸に沿って座標値毎に連続的に変化させた画像群である第2座標軸に関する基準パターン画像群を生成し、
     第2座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、
     投影面に投影された第2座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
     第2座標軸に関する基準パターン画像群を生成する処理で第2座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した前記初期位相値に対して行い、前記逆算によって得られる第2座標軸の座標と撮影画像の画素とを対応付け、
     撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
     ことを特徴とする画素位置対応関係特定方法。
  13.  投影対象画像における画素と前記投影手段における画素との対応関係に基づいて、投影対象画像を補正し、
     補正された画像を、前記投影手段に投影させる
     請求項11または請求項12に記載の画素位置対応関係特定方法。
  14.  画像を投影面に投影する投影手段と、投影面に投影された画像を撮影する撮影手段とを備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、
     前記コンピュータに、
     位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第1座標軸に沿って座標値毎に連続的に変化させた画像群である第1座標軸に関する基準パターン画像群を生成する第1基準パターン画像群生成処理、
     第1座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、その結果投影面に投影された画像を前記撮影手段に撮影させる第1撮影制御処理、
     第1座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第1位相計算処理、
     第1基準パターン画像群生成処理で第1座標軸の座標から初期位相値を求める計算の逆算を、第1位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第1座標軸の座標と撮影画像の画素とを対応付ける第1対応付け処理、
     位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第2座標軸に沿って座標値毎に連続的に変化させた画像群である第2座標軸に関する基準パターン画像群を生成する第2基準パターン画像群生成処理、
     第2座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、その結果投影面に投影された画像を前記撮影手段に撮影させる第2撮影制御処理、
     第2座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第2位相計算処理、
     第2基準パターン画像群生成処理で第2座標軸の座標から初期位相値を求める計算の逆算を、第2位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第2座標軸の座標と撮影画像の画素とを対応付ける第2対応付け処理、および、
     撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する画素対応付け処理
     を実行させるための画素位置対応関係特定プログラム。
  15.  画像を投影面に投影する投影手段を備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、
     前記コンピュータに、
     位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第1座標軸に沿って座標値毎に連続的に変化させた画像群である第1座標軸に関する基準パターン画像群を生成する第1基準パターン画像群生成処理、
     第1座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させる第1基準パターン投影制御処理、
     投影面に投影された第1座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第1位相計算処理、
     第1基準パターン画像群生成処理で第1座標軸の座標から初期位相値を求める計算の逆算を、第1位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第1座標軸の座標と撮影画像の画素とを対応付ける第1対応付け処理、
     位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第2座標軸に沿って座標値毎に連続的に変化させた画像群である第2座標軸に関する基準パターン画像群を生成する第2基準パターン画像群生成処理、
     第2座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させる第2基準パターン投影制御処理、
     投影面に投影された第2座標軸に関する基準パターン画像群の各画像を撮影して得られる複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第2位相計算処理、
     第2基準パターン画像群生成処理で第2座標軸の座標から初期位相値を求める計算の逆算を、第2位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第2座標軸の座標と撮影画像の画素とを対応付ける第2対応付け処理、および、
     撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する画素対応付け処理
     を実行させるための画素位置対応関係特定プログラム。
  16.  コンピュータに、
     投影対象画像における画素と前記投影手段における画素との対応関係に基づいて、投影対象画像を補正する補正処理、および、
     前記補正処理で補正された画像を、前記投影手段に投影させる投影制御処理
     を実行させる請求項14または請求項15に記載の画素位置対応関係特定プログラム。
  17.  コンピュータに、
     投影対象画像における画素と画像を投影する投影手段における画素との対応関係に基づいて、前記投影手段によって投影される投影対象画像を補正する補正処理
     を実行させるための画像補正プログラム。
PCT/JP2009/005869 2008-11-17 2009-11-05 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム WO2010055625A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010537676A JP5445461B2 (ja) 2008-11-17 2009-11-05 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
US13/127,157 US8791880B2 (en) 2008-11-17 2009-11-05 System, method and program for specifying pixel position correspondence

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-293535 2008-11-17
JP2008293535 2008-11-17

Publications (1)

Publication Number Publication Date
WO2010055625A1 true WO2010055625A1 (ja) 2010-05-20

Family

ID=42169771

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/005869 WO2010055625A1 (ja) 2008-11-17 2009-11-05 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム

Country Status (3)

Country Link
US (1) US8791880B2 (ja)
JP (1) JP5445461B2 (ja)
WO (1) WO2010055625A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012136523A1 (de) * 2011-04-07 2012-10-11 Siemens Aktiengesellschaft Verfahren und einrichtung zur optischen fokussierung
JP2015106050A (ja) * 2013-11-29 2015-06-08 日本電信電話株式会社 空間投影装置、空間投影方法、空間投影プログラム及び記録媒体
WO2015125403A1 (ja) * 2014-02-18 2015-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 投影システムおよび半導体集積回路
WO2015125401A1 (ja) * 2014-02-18 2015-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 投影システム、半導体集積回路、および画像補正方法
CN107238996A (zh) * 2016-03-28 2017-10-10 中强光电股份有限公司 投影系统以及投影画面的校正方法
JP2017227761A (ja) * 2016-06-22 2017-12-28 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
WO2021256134A1 (ja) * 2020-06-15 2021-12-23 ソニーグループ株式会社 画像処理装置と画像処理方法とプログラムおよび画像投写方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141408A1 (en) * 2011-12-06 2013-06-06 Hao Kou Automatic Optical Detection Method and Optical Automatic Detector
JP6642610B2 (ja) * 2018-03-22 2020-02-05 カシオ計算機株式会社 投影制御装置、投影装置、投影制御方法及びプログラム
JP7184072B2 (ja) * 2020-10-23 2022-12-06 セイコーエプソン株式会社 特定方法、特定システム、及びプログラム
CN113450254B (zh) * 2021-05-20 2022-06-17 北京城市网邻信息技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62200207A (ja) * 1986-02-28 1987-09-03 Nippon Telegr & Teleph Corp <Ntt> 画像歪曲の測定方法
JPH04278406A (ja) * 1991-03-07 1992-10-05 Sharp Corp 3次元計測方法
JP2001012925A (ja) * 1999-04-30 2001-01-19 Nec Corp 三次元形状計測方法及び装置並びに記録媒体
JP2004264249A (ja) * 2003-03-04 2004-09-24 Fujitsu Ltd 格子パターン投影法における画像処理方法、計測装置及び画像処理装置
JP2006033357A (ja) * 2004-07-15 2006-02-02 Olympus Corp 画像変換装置及び映像投影装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4507307B2 (ja) * 1999-09-16 2010-07-21 独立行政法人科学技術振興機構 映像投影装置
JP3709395B2 (ja) 2002-12-27 2005-10-26 オリンパス株式会社 画像投影システム
JP3951984B2 (ja) 2003-08-22 2007-08-01 日本電気株式会社 画像投影方法、及び画像投影装置
JP2006003212A (ja) * 2004-06-17 2006-01-05 Konica Minolta Sensing Inc 位相計測システム
JP4751084B2 (ja) 2005-01-11 2011-08-17 三菱プレシジョン株式会社 マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置
JP2007142495A (ja) 2005-11-14 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 平面投影装置、及び平面投影プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62200207A (ja) * 1986-02-28 1987-09-03 Nippon Telegr & Teleph Corp <Ntt> 画像歪曲の測定方法
JPH04278406A (ja) * 1991-03-07 1992-10-05 Sharp Corp 3次元計測方法
JP2001012925A (ja) * 1999-04-30 2001-01-19 Nec Corp 三次元形状計測方法及び装置並びに記録媒体
JP2004264249A (ja) * 2003-03-04 2004-09-24 Fujitsu Ltd 格子パターン投影法における画像処理方法、計測装置及び画像処理装置
JP2006033357A (ja) * 2004-07-15 2006-02-02 Olympus Corp 画像変換装置及び映像投影装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012136523A1 (de) * 2011-04-07 2012-10-11 Siemens Aktiengesellschaft Verfahren und einrichtung zur optischen fokussierung
CN103444186A (zh) * 2011-04-07 2013-12-11 西门子公司 用于光学聚焦的方法和装置
US9069241B2 (en) 2011-04-07 2015-06-30 Siemens Aktiengesellschaft Method and device for optical focusing
JP2015106050A (ja) * 2013-11-29 2015-06-08 日本電信電話株式会社 空間投影装置、空間投影方法、空間投影プログラム及び記録媒体
JP2015173430A (ja) * 2014-02-18 2015-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 投影システム、半導体集積回路、および画像補正方法
WO2015125401A1 (ja) * 2014-02-18 2015-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 投影システム、半導体集積回路、および画像補正方法
WO2015125403A1 (ja) * 2014-02-18 2015-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 投影システムおよび半導体集積回路
US9524578B2 (en) 2014-02-18 2016-12-20 Panasonic Intellectual Property Corporation Of America Projection system, semiconductor integrated circuit, and image correction method
US9554104B2 (en) 2014-02-18 2017-01-24 Panasonic Intellectual Property Corporation Of America Projection system and semiconductor integrated circuit
US9693028B2 (en) 2014-02-18 2017-06-27 Panasonic Intellectual Property Corporation Of America Projection system, semiconductor integrated circuit, and image correction method
CN107238996A (zh) * 2016-03-28 2017-10-10 中强光电股份有限公司 投影系统以及投影画面的校正方法
JP2017227761A (ja) * 2016-06-22 2017-12-28 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
US10757383B2 (en) 2016-06-22 2020-08-25 Casio Computer Co., Ltd. Projection apparatus, projection system, projection method, and computer readable storage medium
WO2021256134A1 (ja) * 2020-06-15 2021-12-23 ソニーグループ株式会社 画像処理装置と画像処理方法とプログラムおよび画像投写方法

Also Published As

Publication number Publication date
US8791880B2 (en) 2014-07-29
US20110216051A1 (en) 2011-09-08
JPWO2010055625A1 (ja) 2012-04-12
JP5445461B2 (ja) 2014-03-19

Similar Documents

Publication Publication Date Title
JP5445461B2 (ja) 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
KR100796849B1 (ko) 휴대 단말기용 파노라마 모자이크 사진 촬영 방법
US10264237B2 (en) Image processing device
CN105026997B (zh) 投影系统、半导体集成电路及图像修正方法
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
KR100653200B1 (ko) 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치
US7317558B2 (en) System and method for image processing of multiple images
JP6418449B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2007164258A (ja) 画像合成処理装置及び方法
JP2003269928A (ja) 3次元形状計測方法および装置ならびにプログラム
JP2015056834A (ja) 投影システム、画像処理装置、投影方法およびプログラム
US20120176415A1 (en) Graphical display system with adaptive keystone mechanism and method of operation thereof
JP5151922B2 (ja) 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
US20190364253A1 (en) Image processing apparatus, image processing method, and storage medium
WO2017170710A1 (ja) 輝度調整装置及び方法、並びに画像表示システム、並びにプログラム及び記録媒体
JP6486603B2 (ja) 画像処理装置
JP2019220887A (ja) 画像処理装置、画像処理方法およびプログラム
US8472756B2 (en) Method for producing high resolution image
JP7474137B2 (ja) 情報処理装置およびその制御方法
JP6752052B2 (ja) 映像処理装置および映像処理方法、プログラム
JP6099281B2 (ja) 書籍読み取りシステム及び書籍読み取り方法
JP2018022287A (ja) 画像処理装置及び方法、画像処理プログラム、並びに投影装置
CN115086631B (zh) 图像生成方法和信息处理装置
CN113375803B (zh) 投影仪径向色差的测量方法、装置、存储介质及设备
JP2010177832A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09825879

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13127157

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2010537676

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09825879

Country of ref document: EP

Kind code of ref document: A1