WO2022044807A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2022044807A1
WO2022044807A1 PCT/JP2021/029626 JP2021029626W WO2022044807A1 WO 2022044807 A1 WO2022044807 A1 WO 2022044807A1 JP 2021029626 W JP2021029626 W JP 2021029626W WO 2022044807 A1 WO2022044807 A1 WO 2022044807A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
color shift
information processing
color
projection
Prior art date
Application number
PCT/JP2021/029626
Other languages
English (en)
French (fr)
Inventor
清登 染谷
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/016,612 priority Critical patent/US20230291877A1/en
Priority to CN202180050435.5A priority patent/CN115867861A/zh
Priority to JP2022545632A priority patent/JPWO2022044807A1/ja
Publication of WO2022044807A1 publication Critical patent/WO2022044807A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present disclosure relates to an information processing device and a method, and more particularly to an information processing device and a method capable of correcting color shift more easily.
  • RGB deviation is detected and color deviation is corrected by a 2D approach (2D signal processing) that captures the appearance of the camera (straightness such as a crosshatch projected on a flat screen).
  • 2D signal processing 2D signal processing
  • This disclosure is made in view of such a situation, and makes it possible to correct the color shift more easily.
  • the information processing device on one aspect of the present technology includes a color shift correction unit that corrects color shift based on the 3D projection position of each optical device of the projection unit that projects RGB light using different optical devices. It is an information processing device.
  • the information processing method of one aspect of the present technology is an information processing method for correcting color shift based on the 3D projection position of each optical device of a projection unit that projects RGB light using different optical devices.
  • color shift is corrected based on the 3D projection position of each optical device of the projection unit that projects RGB light using different optical devices.
  • a projection device that projects light by using an optical device such as a liquid crystal panel for each wavelength range component (so-called color).
  • an optical device such as a liquid crystal panel for each wavelength range component (so-called color).
  • a three-panel projector that projected RGB light using different optical devices.
  • a three-panel projector 11 projects a projected image 13 including RGB light onto a screen 12.
  • the projection position using the R panel the position of the projected image 13 on the screen
  • the projection position using the G panel the projection position using the B panel
  • the projection position using the B panel are deviated from each other.
  • the R line for example, the solid line in the projected image 13
  • the G line for example, the dotted line in the projected image 13
  • the line B for example, the one-point chain line in the projected image 13
  • the positions of the colors of the projected image 13 appear to be shifted from each other, so that the subjective quality (image quality recognized by the user) of the projected image 13 may be reduced.
  • RGB deviation is detected by a 2D approach (2D signal processing) that captures the appearance of a camera (linearity such as a crosshatch projected on a flat screen).
  • 2D signal processing 2D signal processing
  • a supplementary method for correcting color shift was considered.
  • the information processing apparatus is provided with a color shift correction unit that corrects color shift based on the 3D projection position of each optical device of the projection unit that projects RGB light using different optical devices.
  • FIG. 2 is a block diagram showing a main configuration example of a projection imaging system which is an embodiment of an information processing system to which the present technology is applied.
  • the projection imaging system 100 includes a portable terminal device 101, a projector 102-1, and a projector 102-2, and is a system that projects an image on a screen 120 or images a screen 120.
  • the portable terminal device 101, the projector 102-1, and the projector 102-2 are connected to each other so as to be able to communicate with each other via the communication path 110.
  • the communication path 110 is arbitrary and may be wired or wireless.
  • the portable terminal device 101, the projector 102-1, and the projector 102-2 can send and receive control signals, image data, and the like via the communication path 110.
  • the portable terminal device 101 is an embodiment of an information processing device to which the present technology is applied, and is a device that can be carried by a user, such as a smartphone, a tablet terminal, a notebook personal computer, or the like.
  • the portable terminal device 101 has a communication function, an information processing function, and an image pickup function.
  • the portable terminal device 101 can control the image projection by the projector 102-1 and the projector 102-2.
  • the portable terminal device 101 can correct the color shift of the projector 102-1 and the projector 102-2.
  • the portable terminal device 101 can capture a projected image projected on the screen 120 by the projector 102-1 or the projector 102-2.
  • the projector 102-1 and the projector 102-2 are embodiments of an information processing device to which the present technology is applied, and are projection devices that project images.
  • the projector 102-1 and the projector 102-2 are similar devices to each other.
  • the projector 102 when it is not necessary to distinguish the projector 102-1 and the projector 102-2 from each other, the projector 102 is referred to as a projector 102.
  • the projector 102 can project an input image onto the screen 120 under the control of the portable terminal device 101.
  • Projector 102-1 and projector 102-2 can project images in cooperation with each other.
  • the projector 102-1 and the projector 102-2 can project an image at the same position with each other to realize high brightness of the projected image.
  • the projector 102-1 and the projector 102-2 project an image so that the projected images of each other are arranged side by side, and the two projected images form one image, and the projected image is enlarged (high resolution). Can be realized.
  • the projector 102-1 and the projector 102-2 can project an image so as to superimpose a part of each other's projected images or to include the other projected image in one projected image.
  • the projector 102-1 and projector 102-2 not only have higher brightness and larger screens, but also have, for example, higher dynamic range and higher frame rate of the projected image. Etc. can also be realized.
  • the projector 102 can geometrically correct the projected image under the control of the portable terminal device 101 so that the projected image is superimposed at the correct position.
  • the projector 102-1 geometrically corrects the image 121-1 as in the corrected image 122-1, and the projector 102-2 corrects the image 121-2 in the corrected image 122-2.
  • Geometric correction as follows. Then, the projector 102-1 projects the image 121-1 including the corrected image 122-1, and the projector 102-2 projects the image 121-2 including the corrected image 122-2.
  • the projected image 123-1 projected by the projector 102-1 and the projected image 123-2 projected by the projector 102-2 are superimposed on each other.
  • the corrected image 122-1 and the corrected image 122-2 are not distorted at the same position (rectangular). Projected (in state).
  • a high-brightness projected image 124 (a superposition of the projected image of the corrected image 122-1 and the projected image of the corrected image 122-2) is realized.
  • the projector 102 is a three-panel projector that projects RGB light using different optical devices. That is, the projector 102 is a projection device (so-called multi-panel projector) that projects light by using an optical device such as a liquid crystal panel for each wavelength range component (so-called color).
  • a projection device so-called multi-panel projector
  • an optical device such as a liquid crystal panel for each wavelength range component (so-called color).
  • the screen 120 may be a flat screen or a curved screen.
  • the portable terminal device 101 can correct the three-dimensional color shift that occurs in the projector 102.
  • the projection imaging system 100 is composed of one portable terminal device 101 and two projectors 102, but the number of each device is arbitrary and is not limited to this example.
  • the projection imaging system 100 may have a plurality of portable terminal devices 101, or may have three or more projectors 102.
  • the portable terminal device 101 may be integrally configured with any of the projectors 102.
  • FIG. 3 is a diagram showing a main configuration example of a portable terminal device 101, which is an embodiment of an information processing device to which the present technology is applied.
  • the portable terminal device 101 includes an information processing unit 151, an image pickup unit 152, an input unit 161, an output unit 162, a storage unit 163, a communication unit 164, and a drive 165.
  • the information processing unit 151 has, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and can be used to execute various application programs (software). It is a computer that can realize the function. For example, the information processing unit 151 can install and execute an application program (software) that performs processing related to color shift correction.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • the image pickup unit 152 has an optical system, an image sensor, and the like, and can capture an image of a subject to generate an image.
  • the image pickup unit 152 can supply the generated captured image to the information processing unit 151.
  • the input unit 161 has, for example, input devices such as a keyboard, a mouse, a microphone, a touch panel, and an input terminal, and can supply information input via those input devices to the information processing unit 151.
  • the output unit 162 has, for example, an output device such as a display (display unit), a speaker (audio output unit), and an output terminal, and outputs information supplied from the information processing unit 151 via those output devices. Can be done.
  • an output device such as a display (display unit), a speaker (audio output unit), and an output terminal, and outputs information supplied from the information processing unit 151 via those output devices. Can be done.
  • the storage unit 163 has, for example, a storage medium such as a hard disk, a RAM disk, or a non-volatile memory, and can store the information supplied from the information processing unit 151 in the storage medium.
  • the storage unit 163 can read out the information stored in the storage medium and supply it to the information processing unit 151.
  • the communication unit 164 has, for example, a network interface, can receive information transmitted from another device, and can supply the received information to the information processing unit 151.
  • the communication unit 164 can transmit the information supplied from the information processing unit 151 to another device.
  • the drive 165 has an interface of a removable recording medium 171 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, reads information recorded on the removable recording medium 171 mounted on the drive 165, and reads information from the information processing unit 151. Can be supplied to.
  • the drive 165 can record the information supplied from the information processing unit 151 on the writable removable recording medium 171 attached to the drive 165.
  • the information processing unit 151 loads and executes, for example, the application program stored in the storage unit 163. At that time, the information processing unit 151 can appropriately store data and the like necessary for executing various processes.
  • the application program, data, and the like can be recorded and provided on a removable recording medium 171 as a package media or the like, for example. In that case, the application program, data, and the like are read out by the drive 165 equipped with the removable recording medium 171 and installed in the storage unit 163 via the information processing unit 151.
  • the application program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the application program, data, and the like are received by the communication unit 164 and installed in the storage unit 163 via the information processing unit 151. Further, the application program, data, and the like can be installed in advance in the ROM and the storage unit 163 in the information processing unit 151.
  • FIG. 4 shows a function realized by the information processing unit 151 executing an application program as a functional block.
  • the information processing unit 151 executes the application program to execute the corresponding point detection unit 181, the camera posture estimation unit 182, the 3D point restoration unit 183, and the color shift amount derivation unit 184 as functional blocks.
  • a color shift correction unit 185, a geometric correction unit 186, and a projection control unit 187 can be provided.
  • the corresponding point detection unit 181 detects the corresponding point for each captured image based on the captured image of the projected image projected on the screen 120.
  • the corresponding point detection unit 181 supplies the corresponding point information indicating the detected corresponding point to the camera posture estimation unit 182.
  • the camera posture estimation unit 182 estimates the posture of the camera corresponding to the captured image based on the corresponding point information.
  • the camera posture estimation unit 182 supplies the camera posture information indicating the estimated posture to the 3D point restoration unit 183 together with the corresponding point information.
  • the 3D point restoration unit 183 restores the position (also referred to as 3D position or 3D point) of each pixel of the projected image in the three-dimensional space based on the corresponding point information and the camera posture information. That is, this 3D point indicates the position (also referred to as the projection position) where each pixel of the projected image is projected three-dimensionally (in a three-dimensional space). This three-dimensional projection position is also referred to as a 3D projection position.
  • the 3D point restoration unit 183 supplies 3D point information indicating the position (3D projection position) of the restored 3D point to the color shift amount derivation unit 184 and the geometric correction unit 186 together with the camera posture information.
  • the color shift amount derivation unit 184 derives the color shift amount that indicates the magnitude and direction of the shift of each panel of the projector 102 in a three-dimensional space based on the information. That is, the amount of color shift is a vector indicating the color shift three-dimensionally.
  • the color shift amount deriving unit 184 supplies color shift information indicating the color shift amount to the color shift correction unit 185.
  • the color shift correction unit 185 corrects three-dimensionally so as to reduce the color shift based on the color shift amount information. That is, the color shift correction unit 185 corrects the color shift based on the 3D projection position. As a result, the color shift correction unit 185 can correct the three-dimensional color shift. For example, the color shift correction unit 185 shifts the position of the projected image of each panel to reduce the color shift.
  • the color shift correction unit 185 supplies the color shift correction information, which is the control information for the color shift correction, to the projection control unit 187.
  • the geometric correction unit 186 derives a method of geometric correction of the projected image in order to make the position and shape of the projected image appropriate based on the camera posture information, 3D point information, and the like.
  • the geometric correction unit 186 supplies the geometric correction information to the projection control unit 187.
  • the projection control unit 187 supplies geometric correction information and color shift correction information to the projector 102 to be controlled. Further, the projection control unit 187 supplies a projection instruction of the corrected image to the projector 102 to project the corrected image.
  • FIG. 5 is a diagram showing a main configuration example of the projector 102, which is an embodiment of an information processing apparatus to which the present technology is applied.
  • the projector 102 has an information processing unit 201, a projection unit 202, an input unit 211, an output unit 212, a storage unit 213, a communication unit 214, and a drive 215.
  • the information processing unit 201 is a computer that has, for example, a CPU, ROM, RAM, etc., and can realize various functions by executing an application program (software) using them.
  • the information processing unit 201 may install and execute an application program (software) that performs processing related to image projection.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • the projection unit 202 has an optical device, a light source, and the like, and can be controlled by the information processing unit 201 to project a desired image.
  • the projection unit 202 can project an image supplied from the information processing unit 201.
  • the input unit 211 has, for example, input devices such as a keyboard, mouse, microphone, touch panel, and input terminal, and can supply information input via those input devices to the information processing unit 201.
  • the output unit 212 has, for example, an output device such as a display (display unit), a speaker (audio output unit), and an output terminal, and outputs information supplied from the information processing unit 201 via those output devices. Can be done.
  • an output device such as a display (display unit), a speaker (audio output unit), and an output terminal, and outputs information supplied from the information processing unit 201 via those output devices. Can be done.
  • the storage unit 213 has a storage medium such as a hard disk, a RAM disk, or a non-volatile memory, and can store the information supplied from the information processing unit 201 in the storage medium.
  • the storage unit 213 can read out the information stored in the storage medium and supply it to the information processing unit 201.
  • the communication unit 214 has, for example, a network interface, can receive information transmitted from another device, and can supply the received information to the information processing unit 201.
  • the communication unit 214 may transmit the information supplied from the information processing unit 201 to another device.
  • the drive 215 has an interface of a removable recording medium 221 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, reads information recorded on the removable recording medium 221 mounted on the drive 215, and reads out information processing unit 201. Can be supplied to.
  • the drive 215 can record the information supplied from the information processing unit 201 on the writable removable recording medium 221 attached to the drive 215.
  • the information processing unit 201 loads and executes, for example, the application program stored in the storage unit 213. At that time, the information processing unit 201 can appropriately store data and the like necessary for executing various processes.
  • the application program, data, and the like can be recorded and provided on a removable recording medium 221 as a package media or the like, for example. In that case, the application program, data, and the like are read out by the drive 215 equipped with the removable recording medium 221 and installed in the storage unit 213 via the information processing unit 201.
  • the application program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the application program, data, and the like are received by the communication unit 214 and installed in the storage unit 213 via the information processing unit 201. Further, the application program, data, and the like can be installed in advance in the ROM or the storage unit 213 in the information processing unit 201.
  • FIG. 6 shows a function realized by the information processing unit 201 executing an application program as a functional block.
  • the information processing unit 201 executes the application program to execute the geometric correction information acquisition unit 231, the color shift correction information acquisition unit 232, the structured light generation unit 233, and the correction as functional blocks. It can have an image generation unit 234.
  • the geometric correction information acquisition unit 231 acquires the geometric correction information supplied from the portable terminal device 101 and supplies it to the correction image generation unit 234.
  • the color shift correction information acquisition unit 232 acquires the color shift correction information supplied from the portable terminal device 101 and supplies it to the correction image generation unit 234.
  • the structured light generation unit 233 generates structured light which is a predetermined pattern image and supplies it to the corrected image generation unit 234.
  • the corrected image generation unit 234 corrects the structured light and generates a corrected image based on the control of the portable terminal device 101. For example, the corrected image generation unit 234 corrects the structured light for color shift based on the color shift correction information, and geometrically corrects the structured light based on the geometric correction information to generate a corrected image. The corrected image generation unit 234 supplies the corrected image to the projection unit 202 and projects the corrected image.
  • the portable terminal device 101 corrects the color shift based on the 3D projection position, it is possible to correct the three-dimensional color shift. Further, the projector 102 can project a corrected image that reflects the color shift correction. Therefore, the projection imaging system 100 can more easily correct the color shift.
  • the projection control unit 187 controls the projector 102 in step S101 to project the structured light.
  • the structured light generation unit 233 Based on such control, the structured light generation unit 233 generates structured light (for example, Red / Blue) having a different color and projects it from different optical devices (for example, a panel) of the projection unit 202.
  • structured light for example, Red / Blue
  • the structured light is a predetermined pattern image that can be projected from one optical device of the projection unit 202.
  • each structured light 301 has a similar pattern to each other and is composed of different colors.
  • Structured light 301-1 is a red (R) pattern image.
  • Structured light 301-2 is a green (G) pattern image.
  • Structured light 301-3 is a blue (B) pattern image.
  • the projector 102-1 and the projector 102-2 generate structured lights of different colors from these structured lights and project them from their respective projection units 202. Therefore, the projected images of these structured lights are projected onto the screen 120 so as to be superimposed on each other.
  • the image pickup unit 152 of the portable terminal device 101 captures a projected image projected on the screen 120 based on a user instruction or the like.
  • This operation is repeated while changing the color of the structured light and the imaging position. That is, the projector 102-1 and the projector 102-2 project structured light having different colors and different color combinations (for example, Blue / Green for the second time and Green / Red for the third time). do. Then, the portable terminal device 101 captures the projected image at a position different from the conventional shooting position.
  • the projector 102-1 projects the structured light 301-1 (R), and the projector 102-2 projects the structured light 301-3 (B).
  • the image pickup unit 152 of the portable terminal device 101 captures a projected image from the left side like the camera 311.
  • the projector 102-1 projects the structured light 301-3 (B)
  • the projector 102-2 projects the structured light 301-2 (G), which is carried.
  • the image pickup unit 152 of the type terminal device 101 captures a projected image from the center like the camera 312.
  • the projector 102-1 projects the structured light 301-2 (G)
  • the projector 102-2 projects the structured light 301-1 (R), which is carried.
  • the image pickup unit 152 of the type terminal device 101 captures a projected image from the right side like the camera 313.
  • the corresponding point detection unit 181 detects the corresponding point based on the captured image obtained by the above-mentioned shooting. That is, as shown in FIG. 10, the corresponding point detection unit 181 is captured at the position of the captured image 331 captured at the position of the camera 311, the captured image 332 captured at the position of the camera 312, and the position of the camera 313. Points corresponding to each other in the captured image 333, that is, points (pixels) displaying the same positions of the structured light 301 are detected as corresponding points (for example, white circles in the figure). The corresponding point detection unit 181 detects this corresponding point based on the pattern of the projected structured light 301 (in the case of the example of FIG. 10, the structured light 301-1 and the structured light 301-3). That is, the corresponding point detection unit 181 detects the corresponding points in a plurality of captured images obtained by capturing the projected images of each color from different positions.
  • these captured images include a plurality of structured lights 301 that are superimposed on each other. Therefore, the pattern of each structured light is separated, and the corresponding point is detected using the pattern after the separation.
  • the method of separating this pattern is arbitrary. For example, the relationship between the color information of the captured image obtained by capturing the mixed image of the projected images projected by giving different color information from the plurality of projectors 102, and the color information of the captured image and the color information of the projected image and the background.
  • a separated image for each color information may be generated based on the color model shown.
  • the color model includes color information of the projected image changed according to the spectral characteristics of the projection unit 202 and the image pickup unit 152 that acquires the image capture image, a attenuation coefficient indicating the attenuation that occurs in the mixed image captured by the image pickup unit 152, and a background.
  • the color information of is used as a parameter. Therefore, a separated image for each color information is generated based on the color model by using a parameter that minimizes the difference between the color information of the captured image and the color information estimated by the color model.
  • the pattern of the structured light 301 used here may be any pattern as long as it can be color-separated and decoded in one shot. Further, when the camera is fixedly installed on a tripod or the like instead of being held by hand, a pattern such as Gray Code may be used for decoding using information of a plurality of patterns in the time direction. When the camera is fixed, the color separation process is not required, and the projector 102-1 and the projector 102-2 may project the structured light at different timings in time.
  • Correspondence point detection unit 181 performs such correspondence point detection for each color combination. That is, the corresponding point detection unit 181 detects the corresponding points for the projection and imaging patterns of A, B, and C in FIG. 9 as described above. That is, the corresponding point detection unit 181 derives the captured image of the projected image of each color for each projection unit by separating the projected images from the plurality of captured images of the projected images having different color combinations.
  • step S103 the camera posture estimation unit 182 estimates each posture (position and orientation) of the cameras 311 to 313.
  • RT-decomposing this homography matrix By RT-decomposing this homography matrix, the position and orientation of the front camera with respect to the left viewpoint camera can be obtained.
  • the method of RT decomposition for example, the method of "Journal of the Society of Image Electronics and Electronics / Vol. 40 (2011) No. 3, p.421-427" is used.
  • the scale is indefinite, so the scale is determined by some rule.
  • the corresponding points are three-dimensionally measured. Find the point.
  • the three-dimensional points are obtained by triangulation, the corresponding light rays may not intersect each other. In that case, the points (also referred to as recent contacts) of the corresponding light rays at the positions where the light rays are closest to each other may not intersect.
  • the midpoint of the line segment connecting the above also referred to as a triangular survey point
  • the same processing is performed to obtain the position and orientation of the right viewpoint camera 313 with respect to the front camera 312. ..
  • the scales of the front camera 312 and the right viewpoint camera 313 are indefinite, so the scale is determined by some rule. Further, from the corresponding points of the front camera 312 and the right viewpoint camera 313, the corresponding three-dimensional points are obtained by triangulation.
  • the scales of the front camera 312 and the right viewpoint camera 313 are modified so that the average distances from the three-dimensional point cameras of the corresponding points obtained from the viewpoint camera 313 match.
  • the scale is modified by changing the lengths of the translational component vectors of the front camera 312 and the right viewpoint camera 313.
  • the left viewpoint camera 311 is fixed as a reference, and the position and orientation of the front camera 312 and the right viewpoint camera 313 are optimized for the internal parameters, the external parameters, and the world coordinate point cloud.
  • the evaluation value is the sum of squares of the distances from the three-dimensional points of the corresponding points to the corresponding three light rays, and optimization is performed so that this is the smallest.
  • the three-dimensional corresponding points of the three rays are the triangulation points of the corresponding rays of the left viewpoint camera 311 and the front camera 312, and the front camera 312 and the right viewpoint.
  • step S104 the 3D point restoration unit 183 restores the 3D point 341, which is the 3D projection position of each pixel, as shown in FIG. 14, based on the position and orientation of each camera estimated as described above.
  • the color shift amount deriving unit 184 derives the color shift amount.
  • the color shift amount derivation unit 184 defines the triangulation error (sum of the squares of the distances between the latest contacts of each ray) at the time of 3D point restoration as the magnitude of the color shift amount, and the triangulation point (as described above).
  • the direction of the vector connecting the recent contact point of each ray for example, the center of gravity of multiple triangulation points
  • the color shift correction unit 185 performs color shift correction so that the color shift amount (magnitude) derived in step S105 becomes smaller.
  • the correction amount at that time may be a fixed value or may be adaptively variable. For example, the correction amount may be adjusted according to the magnitude of the color shift amount. Further, if the survey error between two rays of RGB rays is small (for example, they intersect at almost one point), but the survey error with the remaining rays is large, only the color component corresponding to the ray is corrected. Such a method can also be applied.
  • step S107 the projection control unit 187 supplies the color shift correction information to each projector 102, and causes the projector 102 of the supply destination to perform the color shift correction.
  • step S108 the color shift correction unit 185 determines whether or not the color shift amount (magnitude) is sufficiently small. If it is determined that the amount of color shift is large, the process returns to step S101. If it is determined in step S107 that the amount of color shift is sufficiently small, the process proceeds to step S109.
  • each process of steps S101 to S108 until it is determined in step S108 that the amount of color shift is sufficiently small for example, RGB rays are close to each other in a three-dimensional space (ideally, they intersect at one point)). Is executed repeatedly.
  • step S109 the geometric correction unit 186 performs geometric correction on each image so that the projected images projected from the respective projectors 102 are exactly superimposed on the screen 120.
  • step S110 the projection control unit 187 supplies the geometric correction information to each projector 102, causes the projector 102 of the supply destination to perform the geometric correction, and projects the corrected image.
  • step S110 When the process of step S110 is completed, the color shift correction process is completed.
  • the portable terminal device 101 can perform three-dimensional color shift correction. Therefore, the color shift can be corrected more easily.
  • the definition of the amount of color shift is arbitrary and is not limited to the above example.
  • the error (reprojection error) between the 2D point obtained by reprojecting the restored 3D point on each camera image space and the camera corresponding point and the direction thereof may be defined as the amount of color shift.
  • FIG. 15 The function realized by the information processing unit 151 executing the application program in this case is shown in FIG. 15 as a functional block.
  • the information processing unit 151 in this case executes the application program to execute the corresponding point detection unit 181, the camera posture estimation unit 182, the 3D point restoration unit 183, and the geometric correction unit as functional blocks. It can have 186 and a projection control unit 187. That is, as compared with the configuration in the case of FIG. 4, the color shift amount derivation unit 184 and the color shift correction unit 185 can be omitted. In this case, the amount of color shift is reduced by performing the geometric correction by the geometric correction unit 186.
  • FIG. 16 The function realized by the information processing unit 201 executing the application program in this case is shown in FIG. 16 as a functional block.
  • the information processing unit 201 in this case executes the application program to provide the geometric correction information acquisition unit 231, the structured light generation unit 233, and the correction image generation unit 234 as functional blocks.
  • the portable terminal device 101 can more easily correct the color shift.
  • each process of steps S141 to S144 is executed in the same manner as each process of steps S101 to S104 of FIG. Then, each process of step S145 and step S146 is executed in the same manner as each process of step S109 and step S110 of FIG. When the process of step S146 is completed, the color shift correction process is completed.
  • the portable terminal device 101 can more easily correct the color shift.
  • FIG. 18 is a block diagram showing a main configuration example of a projection imaging system which is an embodiment of an information processing system to which the present technology is applied.
  • the projection imaging system 400 shown in FIG. 18 is a system that projects an image on the screen 120 or images the screen 120, similar to the projection imaging system 100 of FIG. 2, and is a system capable of performing color shift correction. Is.
  • the projection imaging system 400 includes a projector 102, a control device 401, a camera 403-1 and a camera 403-2.
  • the projector 102, the control device 401, the camera 403-1 and the camera 403-2 are communicably connected to each other via the communication path 110.
  • the communication path 110 is arbitrary and may be wired or wireless.
  • the projector 102, the control device 401, the camera 403-1 and the camera 403-2 can send and receive control signals, image data, and the like via the communication path 110.
  • the projector 102 can project an input image onto the screen 120, for example, according to the control of the control device 401.
  • the projected image 421 of the structured light is projected on the screen 120 by the projection of the projector 102.
  • the control device 401 can control the projection by controlling the projector 102, or can control the image pickup by controlling the camera 403-1 and the camera 403-2. For example, the control device 401 can correct the color shift of the projector 102 based on the captured images captured by the camera 403-1 and the camera 403-2.
  • the camera 403-1 and the camera 403-2 are embodiments of an information processing device to which the present technology is applied, and are devices that capture an image of a subject and generate an captured image.
  • the camera 403-1 and the camera 403-2 capture the screen 120 (projected image 421 on the screen 120) from different positions.
  • the camera 403 is referred to as a camera 403.
  • the number of cameras 403 that capture the screen 120 may be any number as long as it is two or more. However, the positions (or postures) of the cameras 403 are different from each other.
  • control device 401 can correct the three-dimensional color shift that occurs in the projector 102, as in the case of the portable terminal device 101 of the projection imaging system 100.
  • the corresponding point detection is performed for each color (that is, for each structured light).
  • the projector 102 projects the structured light 301-1 (R), and the camera 403-1 and the camera 4032 project the projected images from the left and right as shown in the figure. Take an image.
  • the projector 102 projects the structured light 301-3 (B), and the camera 403-1 and the camera 4032 capture the projected images from the left and right as shown in the figure. do.
  • the projector 102 projects the structured light 301-2 (G), and the camera 403-1 and the camera 4032 capture the projected images from the left and right as shown in the figure. do.
  • the number of projectors 102 is arbitrary.
  • the projection imaging system 400 may include two or more projectors 102. In that case, the color shift correction of each projector 102 is performed independently (individually) from each other.
  • FIG. 20 is a diagram showing a main configuration example of a control device 401, which is an embodiment of an information processing device to which the present technology is applied.
  • the control device 401 includes an information processing unit 451, an input unit 461, an output unit 462, a storage unit 463, a communication unit 464, and a drive 465.
  • the information processing unit 451 is a computer that has, for example, a CPU, ROM, RAM, etc., and can realize various functions by executing an application program (software) using them.
  • the information processing unit 451 can install and execute an application program (software) that performs processing related to control of image projection.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • the input unit 461 has, for example, input devices such as a keyboard, mouse, microphone, touch panel, and input terminal, and can supply information input via those input devices to the information processing unit 451.
  • the output unit 462 has, for example, an output device such as a display (display unit), a speaker (audio output unit), and an output terminal, and outputs information supplied from the information processing unit 451 via those output devices. Can be done.
  • an output device such as a display (display unit), a speaker (audio output unit), and an output terminal, and outputs information supplied from the information processing unit 451 via those output devices. Can be done.
  • the storage unit 463 has, for example, a storage medium such as a hard disk, a RAM disk, or a non-volatile memory, and can store information supplied from the information processing unit 451 in the storage medium.
  • the storage unit 463 can read out the information stored in the storage medium and supply it to the information processing unit 451.
  • the communication unit 464 has, for example, a network interface, can receive information transmitted from another device, and can supply the received information to the information processing unit 451.
  • the communication unit 464 can transmit the information supplied from the information processing unit 451 to another device.
  • the drive 465 has an interface of a removable recording medium 471 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and reads out information recorded on the removable recording medium 471 mounted on the drive 465, and reads out information recorded in the removable recording medium 471. Can be supplied to.
  • the drive 465 can record the information supplied from the information processing unit 451 on the writable removable recording medium 471 mounted on the drive 465.
  • the information processing unit 451 loads and executes, for example, an application program stored in the storage unit 463. At that time, the information processing unit 451 can appropriately store data and the like necessary for executing various processes.
  • the application program, data, and the like can be recorded and provided on a removable recording medium 471 as a package media or the like, for example. In that case, the application program, data, and the like are read out by the drive 465 equipped with the removable recording medium 471 and installed in the storage unit 463 via the information processing unit 451.
  • the application program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the application program, data, and the like are received by the communication unit 464 and installed in the storage unit 463 via the information processing unit 451. Further, the application program, data, and the like can be installed in advance in the ROM and the storage unit 463 in the information processing unit 451.
  • FIG. 21 shows a function realized by the information processing unit 451 executing an application program as a functional block.
  • the information processing unit 451 executes the application program to execute the corresponding point detection unit 181 and the camera posture estimation unit 182, the 3D point restoration unit 183, and the color shift correction unit 185 as functional blocks. It can have a projection control unit 187, an image pickup control unit 481, and an RGB3D point shift amount derivation unit 482.
  • the image pickup control unit 481 supplies an image pickup instruction to the camera 403, causes the screen 120 (projected image 421 projected on the screen 120) to take an image, and acquires the image taken.
  • the image pickup control unit 481 supplies the image captured image acquired from each camera 403 to the corresponding point detection unit 181.
  • the image pickup control unit 481 performs such control processing for each color of the projected structured light, and obtains a plurality of captured images taken from different positions for each color of the structured light.
  • the corresponding point detection unit 181 detects the corresponding point for each color of the structured light and generates the corresponding point information. That is, the corresponding point detection unit 181 detects the corresponding points in a plurality of captured images obtained by capturing the same projected image from different positions for each color of the projected structured light.
  • the camera posture estimation unit 182 estimates the posture of the camera 403 for each color of the structured light and generates camera posture information.
  • the 3D point restoration unit 183 restores the 3D point for each color of the structured light and generates 3D point information.
  • the RGB3D point deviation amount deriving unit 482 derives the deviation amount of 3D points between RGB colors based on the camera attitude information and 3D point information supplied from the 3D point restoration unit 183, and generates color deviation amount information. .. That is, in this case, the RGB3D point deviation amount deriving unit 482 defines the sum of squares of the distances between the triangulation points for each of R, G, and B as the magnitude of the color deviation amount, and the vector connecting the triangulation points. Is defined as the direction of the amount of color shift, and the amount of color shift is derived. The RGB3D point shift amount derivation unit 482 supplies the color shift amount information to the color shift correction unit 185.
  • the color shift correction unit 185 corrects so as to reduce the magnitude of the color shift amount based on the color shift amount information, generates color shift correction information, and supplies it to the projection control unit 187. That is, the color shift correction unit 185 corrects so that the magnitude of the color shift amount becomes sufficiently small.
  • the projection control unit 187 supplies the color shift correction information to the projector 102. Further, the projection control unit 187 supplies a projection instruction of the corrected image to the projector 102 to project the corrected image. Further, the projection control unit 187 supplies a projection instruction of the grid image to the projector 102 to project the grid image.
  • the projector 102 in this case has the same configuration as in the case of FIG.
  • the function realized by the information processing unit 201 executing the application program in this case is shown in FIG. 16 as a functional block.
  • the information processing unit 201 executes an application program to execute a color shift correction information acquisition unit 232, a structured light generation unit 233, a correction image generation unit 234, and a grid image as functional blocks. It can have a generator 491.
  • the grid image generation unit 491 generates a grid image, which is an image of a grid pattern for visual check, and supplies it to the correction image generation unit 234.
  • the corrected image generation unit 234 supplies the grid image to the projection unit 202 and projects it in the same manner as in the case of projecting the corrected image.
  • FIG. 23 is a diagram showing a main configuration example of the camera 403, which is an embodiment of the information processing apparatus to which the present technology is applied.
  • the camera 403 has an information processing unit 501, an image pickup unit 502, an input unit 511, an output unit 512, a storage unit 513, a communication unit 514, and a drive 515.
  • the information processing unit 501 is a computer that has, for example, a CPU, ROM, RAM, etc., and can realize various functions by executing an application program (software) using them.
  • the information processing unit 501 can install and execute an application program (software) that performs processing related to imaging.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • the image pickup unit 502 has an optical system, an image sensor, and the like, and can capture an image of a subject to generate an captured image.
  • the image pickup unit 502 can supply the generated captured image to the information processing unit 501.
  • the input unit 511 has, for example, input devices such as a keyboard, a mouse, a microphone, a touch panel, and an input terminal, and can supply information input via those input devices to the information processing unit 501.
  • the output unit 512 has output devices such as a display (display unit), a speaker (audio output unit), and an output terminal, and outputs information supplied from the information processing unit 501 via those output devices. Can be done.
  • the storage unit 513 has, for example, a storage medium such as a hard disk, a RAM disk, or a non-volatile memory, and can store the information supplied from the information processing unit 501 in the storage medium.
  • the storage unit 513 can read out the information stored in the storage medium and supply it to the information processing unit 501.
  • the communication unit 514 has, for example, a network interface, can receive information transmitted from another device, and can supply the received information to the information processing unit 501.
  • the communication unit 514 may transmit the information supplied from the information processing unit 501 to another device.
  • the drive 515 has an interface of a removable recording medium 521 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and reads out information recorded on the removable recording medium 521 mounted on the drive 515, and reads out information recorded in the removable recording medium 521. Can be supplied to.
  • the drive 515 can record the information supplied from the information processing unit 501 on the writable removable recording medium 521 mounted on the drive 515.
  • the information processing unit 501 loads and executes, for example, the application program stored in the storage unit 513. At that time, the information processing unit 501 can appropriately store data and the like necessary for executing various processes.
  • the application program, data, and the like can be recorded and provided on a removable recording medium 521 as a package media or the like, for example. In that case, the application program, data, and the like are read out by the drive 515 equipped with the removable recording medium 521 and installed in the storage unit 513 via the information processing unit 501.
  • the application program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the application program, data, and the like are received by the communication unit 514 and installed in the storage unit 513 via the information processing unit 501. Further, the application program, data, and the like can be installed in advance in the ROM and the storage unit 513 in the information processing unit 501.
  • FIG. 24 shows a function realized by the information processing unit 501 executing an application program as a functional block.
  • the information processing unit 501 can have an image pickup control unit 531 and an image pickup image supply unit 532 as functional blocks by executing an application program.
  • the image pickup control unit 531 controls the image pickup unit 502 based on the instruction from the control device 401 (imaging control unit 481) to image the subject and generate an image to be captured.
  • the image pickup control unit 531 acquires the captured image and supplies it to the image pickup image supply unit 532.
  • the image pickup image supply unit 532 supplies the image pickup image supplied from the image pickup control unit 531 to the control device 401 (image control unit 481) via the communication unit 514.
  • the projection control unit 187 controls the projector 102 in step S201 to project the structured light.
  • the image pickup control unit 481 controls each camera 403 and captures a projected image 421 of the structured light projected on the screen 120 thereof.
  • This operation is repeated while changing the color of the structured light. That is, this projection and imaging are performed for each color of the structured light.
  • the corresponding point detection unit 181 detects the corresponding point based on the plurality of captured images generated as described above.
  • the corresponding point detection unit 181 performs this corresponding point detection for each color of the structured light. That is, the corresponding point detection unit 181 detects the corresponding point in a plurality of captured images obtained by capturing structured light of the same color.
  • the method of detecting this corresponding point is the same as that of the first embodiment.
  • the corresponding point detection unit 181 performs this process for each color of the structured light.
  • the camera posture estimation unit 182 estimates each posture (position and orientation) of the camera 403-1 and the camera 403-2.
  • the camera posture estimation unit 182 estimates the posture of each camera 403 for each color of the structured light.
  • the method of posture estimation is the same as that of the first embodiment.
  • step S204 the 3D point restoration unit 183 restores the 3D point 341, which is the 3D projection position of each pixel, based on the position and orientation of each camera estimated as described above.
  • the 3D point restoration unit 183 performs this process for each color of the structured light.
  • the method of restoring the 3D point is the same as that of the first embodiment.
  • step S205 the RGB3D point deviation amount deriving unit 482 derives the deviation amount (size and direction) of the 3D points between colors as the color deviation amount.
  • step S206 the color shift correction unit 185 performs color shift correction so that the magnitude of the color shift amount derived in step S205 (that is, the shift amount between the colors of the structured light) becomes small.
  • the correction amount at that time may be a fixed value or may be adaptively variable. For example, the correction amount may be adjusted according to the magnitude of the color shift amount. Further, if the survey error between two rays of RGB rays is small (for example, they intersect at almost one point), but the survey error with the remaining rays is large, only the color component corresponding to the ray is corrected. Such a method can also be applied.
  • step S207 the projection control unit 187 supplies the color shift correction information to the projector 102 to perform the color shift correction.
  • step S208 the color shift correction unit 185 determines whether or not the color shift amount (magnitude) is sufficiently small. If it is determined that the amount of color shift is large, the process returns to step S201. Then, if it is determined in step S208 that the amount of color shift is sufficiently small, the process proceeds to step S209.
  • each process of steps S201 to S208 until it is determined in step S208 that the amount of color shift is sufficiently small for example, RGB rays are close to each other in a three-dimensional space (ideally, they intersect at one point)). Is executed repeatedly.
  • step S209 the projection control unit 187 instructs the projector 102 to project a grid image, and causes the user to visually check the grid image for color shift.
  • step S209 When the process of step S209 is completed, the color shift correction process is completed.
  • control device 401 can perform three-dimensional color shift correction. Therefore, the color shift can be corrected more easily.
  • each device is the same as that of the projection imaging system 400 described above.
  • An example of the flow of the color shift correction process executed by the information processing unit 451 of the control device 401 in this case will be described with reference to the flowchart of FIG.
  • each process of steps S231 to S235 is executed in the same manner as each process of steps S201 to S205 of the flowchart of FIG.
  • step S236 the color shift correction unit 185 corrects the color shift so that the 3D point of the light ray of interest (any of RGB) matches (approaches) the 3D point of the other light ray.
  • the method of correction at that time is the same as in the case of step S206 in the flowchart of FIG.
  • control device 401 can perform three-dimensional color shift correction. Therefore, the color shift can be corrected more easily.
  • the color of the structured light may include not only the color projected by one optical device (panel or the like) but also the color projected by a plurality of optical devices (panel or the like).
  • the projector 102 may project white (W) structured light using all optical devices (panels and the like), and perform color shift correction using the captured image.
  • the projector 102 projects the structured light 301-4 (W), and the camera 403-1 and the camera 4032 project the projected images from the left and right as shown in the figure. Take an image.
  • the projector 102 projects the structured light 301-1 (R), and the camera 403-1 and the camera 4032 capture the projected images from the left and right as shown in the figure. ..
  • the projector 102 projects the structured light 301-3 (B), and the camera 403-1 and the camera 4032 capture the projected images from the left and right as shown in the figure. do.
  • the projector 102 projects the structured light 301-2 (G), and the camera 403-1 and the camera 4032 capture the projected images from the left and right as shown in the figure. do.
  • FIG. 28 The function realized by the information processing unit 451 executing the application program in this case is shown in FIG. 28 as a functional block.
  • the information processing unit 451 has the corresponding point detection unit 181, the camera posture estimation unit 182, the 3D point restoration unit 183, and the color shift correction unit 185 as functional blocks. It can have a projection control unit 187, an image pickup control unit 481, and a WRGB3D point shift amount derivation unit 551.
  • the image pickup control unit 481 acquires an image of the projected image of each of the four colors of W, R, G, and B structured light.
  • the corresponding point detection unit 181 detects the corresponding point for each color of the structured light and generates the corresponding point information. That is, the corresponding point detection unit 181 detects the corresponding points in a plurality of captured images obtained by capturing the same projected image from different positions for each color of the projected structured light.
  • the camera posture estimation unit 182 estimates the posture of the camera 403 for each color of the structured light and generates camera posture information.
  • the 3D point restoration unit 183 restores the 3D point for each color of the structured light and generates 3D point information.
  • the WRGB 3D point shift amount derivation unit 551 derives the shift amount of the 3D point between W and RGB based on the camera attitude information and the 3D point information supplied from the 3D point restoration unit 183, and generates the color shift amount information. do. That is, in this case, the WRGB3D point deviation amount deriving unit 551 defines the sum of squares of the distances between the triangulation points for each of W, R, G, and B as the magnitude of the color deviation amount, and defines each triangulation point as the magnitude of the color deviation amount. The direction of the connecting vector is defined as the direction of the amount of color shift, and the amount of color shift is derived. The WRGB3D point shift amount deriving unit 551 supplies the color shift amount information to the color shift correction unit 185.
  • the color shift correction unit 185 brings the RGB 3D point closer to the W 3D point (that is, the magnitude of the color shift amount between W and RGB is reduced. ) Color shift correction is performed, color shift correction information is generated, and the color shift correction information is supplied to the projection control unit 187.
  • each process of steps S261 to S265 is executed in the same manner as each process of steps S231 to S235 in the flowchart of FIG. 26.
  • the processing of each of these steps was performed for each of the three colors of RGB structured light, whereas in the case of the flowchart of FIG. 29, the processing of each of these steps was performed. This is done for each of the four colors of WRGB structured light.
  • step S266 the color shift correction unit 185 corrects the color shift so that the 3D point of the white (W) and the 3D point of the other (RGB) light beam are matched (close to each other).
  • the method of correction at that time is the same as in the case of step S206 in the flowchart of FIG.
  • Each process of steps S267 to S269 is executed in the same manner as each process of steps S237 to S239 in the flowchart of FIG. 26.
  • the color shift correction process is completed.
  • control device 401 can perform three-dimensional color shift correction. Therefore, the color shift can be corrected more easily.
  • FIG. 30 is a block diagram showing a main configuration example of a projection imaging system which is an embodiment of an information processing system to which the present technology is applied in this case.
  • the projection imaging system 600 shown in FIG. 30 is a system that projects an image on the screen 120 or images the screen 120, similar to the projection imaging system 100 of FIG. 2, and is a system capable of performing color shift correction. Is.
  • the projection imaging system 400 includes a projector 102-1, a projector 102-2, a control device 401, a camera 403-1 and a camera 403-2.
  • the projector 102-1, the projector 102-2, the control device 401, the camera 403-1 and the camera 403-2 are communicably connected to each other via the communication path 110.
  • the communication path 110 is arbitrary and may be wired or wireless.
  • the projector 102-1, the projector 102-2, the control device 401, the camera 403-1 and the camera 4032 can send and receive control signals, image data, and the like via the communication path 110.
  • the projector 102-1 and the projector 102-2 can project an input image onto the screen 120, for example, under the control of the control device 401. At that time, the projector 102-1 and the projector 102-2 can project an image in cooperation with each other as in the case of the projection imaging system 100. For example, in the case of the example of FIG. 30, the projected images 611 and the projected images 612 of the structured lights of different colors are projected on the screen 120 so as to be superimposed on each other.
  • the projected image 611 is a projected image projected by the projector 102-1.
  • the projected image 612 is a projected image projected by the projector 102-2.
  • the camera 403-1 and the camera 4032 capture the projected image 611 and the projected image 612 projected on the screen 120 from different positions.
  • the control device 401 controls the projector 102-1 and the projector 102-2 to project by changing the color combination of the structured light, controls the camera 403-1 and the camera 4032, and captures the projected image thereof. .. Such projection and imaging are repeated while changing the color combination of the structured light.
  • the number of cameras 403 that capture the screen 120 may be any number as long as it is two or more. However, the positions (or postures) of the cameras 403 are different from each other. Further, although two projectors 102 are shown in FIG. 30, the number of projectors 102 that project images may be any number as long as they are two or more.
  • control device 401 can correct the three-dimensional color shift that occurs in the projector 102, as in the case of the portable terminal device 101 of the projection imaging system 100.
  • the corresponding point detection is performed for each color combination of the structured light projected by each projector 102.
  • the projector 102-1 projects the structured light 301-1 (R), the projector 102-2 projects the structured light 301-3 (B), and the camera 403. -1 and camera 403-2 capture projected images from the left and right as shown in the figure.
  • the projector 102-1 projects the structured light 301-3 (B)
  • the projector 102-2 projects the structured light 301-2 (G)
  • the camera 403- 1 and camera 403-2 capture projected images from the left and right as shown in the figure.
  • the projector 102-1 projects the structured light 301-2 (G)
  • the projector 102-2 projects the structured light 301-1 (R)
  • the camera 403- 1 and camera 403-2 capture projected images from the left and right as shown in the figure.
  • FIG. 34 shows a function realized by the information processing unit 451 executing an application program as a functional block.
  • the information processing unit 451 executes the application program to execute the corresponding point detection unit 181, the camera posture estimation unit 182, the 3D point restoration unit 183, and the color shift amount derivation unit 184 as functional blocks.
  • a projection control unit 187, an image pickup control unit 481, and a color shift compensation geometric correction unit 631 can be provided.
  • the image pickup control unit 481 supplies an image pickup instruction to the camera 403, causes the screen 120 (projected image 611 or projected image 612 projected on the screen 120) to be imaged, and acquires the captured image.
  • the image pickup control unit 481 supplies the image captured image acquired from each camera 403 to the corresponding point detection unit 181.
  • the image pickup control unit 481 performs such a control process for each combination of the colors of the projected structured light, and obtains a plurality of captured images taken from different positions for each combination of the colors of the structured light.
  • Corresponding point detection unit 181 performs corresponding point detection for each color combination of structured light and generates corresponding point information. As in the case of the projection imaging system 100, the corresponding point detection unit 181 separates the projection images from the plurality of captured images of the projection images having different color combinations, so that the projection image of each color is obtained for each projection unit. Derive the captured image. Then, the corresponding point detection unit 181 detects the corresponding point by using the captured image for each color combination of the structured light. That is, the corresponding point detection unit separates the projected images of the projected images of different colors projected simultaneously from the plurality of projectors 102, derives the captured images of the projected images of different colors, and for each color. Detect the corresponding point.
  • the camera attitude estimation unit 182, the 3D point restoration unit 183, and the color shift amount derivation unit 184 also perform their respective processing for each color combination of the structured light.
  • the color shift compensation geometric correction unit 631 performs geometric correction that compensates for the color shift correction that reduces the color shift amount (magnitude) derived by the color shift amount derivation unit 184. That is, by performing this geometric correction, it is compensated that the amount of color shift becomes sufficiently small.
  • the color shift compensation geometric correction unit 631 supplies the color shift compensation geometric correction information, which is control information for the geometric correction, to the projection control unit 187.
  • the projection control unit 187 supplies the color shift compensation geometric correction information to each projector 102. Further, the projection control unit 187 supplies a projection instruction of the corrected image to each projector 102 to project the corrected image.
  • FIG. 35 The function realized by the information processing unit 201 executing the application program in this case is shown in FIG. 35 as a functional block. As shown in FIG. 35, by executing the application program, the information processing unit 201 includes the color shift compensation geometric correction information acquisition unit 641, the structured light generation unit 233, and the correction image generation unit 234 as functional blocks. Can have.
  • the color shift compensation geometric correction information acquisition unit 641 acquires the color shift compensation geometric correction information supplied from the control device 401 and supplies it to the corrected image generation unit 234.
  • the corrected image generation unit 234 corrects the structured light and generates a corrected image based on the control of the control device 401. For example, the corrected image generation unit 234 geometrically corrects the structured light based on the color shift compensation geometric correction information, and generates a corrected image in which the amount (magnitude) of the color shift is reduced. The corrected image generation unit 234 supplies the corrected image to the projection unit 202 and projects the corrected image.
  • control device 401 performs geometric correction so as to correct the color shift based on the 3D projection position, so that the three-dimensional color shift can be corrected. Further, the projector 102 can project a corrected image with geometric correction that reduces the amount of color shift. Therefore, the projection imaging system 600 can more easily correct the color shift.
  • the projection control unit 187 controls each projector 102 in step S301 to project structured lights of different colors from each other.
  • the image pickup control unit 481 controls each camera 403 and captures the projected image 611 and the projected image 612 of the structured light of different colors projected on the screen 120.
  • This operation is repeated while changing the color combination of the structured light. That is, this projection and imaging are performed for each color combination of the structured light.
  • step S302 the corresponding point detection unit 181 detects the corresponding point based on the plurality of captured images generated as described above.
  • the corresponding point detection unit 181 performs this corresponding point detection for each combination of the colors of the structured light.
  • the method of detecting this corresponding point is the same as that of the first embodiment.
  • step S303 the camera posture estimation unit 182 estimates each posture (position and orientation) of the camera 403-1 and the camera 403-2.
  • the camera posture estimation unit 182 estimates the posture of each camera 403 for each combination of the colors of the structured light.
  • the method of posture estimation is the same as that of the first embodiment.
  • step S304 the 3D point restoration unit 183 restores the 3D point 341, which is the 3D projection position of each pixel, based on the position and orientation of each camera estimated as described above.
  • the 3D point restoration unit 183 performs this process for each combination of the colors of the structured light.
  • the method of restoring the 3D point is the same as that of the first embodiment.
  • the color shift amount deriving unit 184 derives the shift amount (size and direction) of the 3D points between colors as the color shift amount. That is, in this case, the color shift amount derivation unit 184 defines the sum of squares of the distances between the triangulation points of each color combination as the magnitude of the color shift amount, and the direction of the vector connecting the triangulation points is the color shift amount. It is defined as the direction of, and the amount of color shift is derived.
  • step S306 the color shift compensation geometric correction unit 631 performs geometric correction that compensates for the color shift correction so that the color shift amount derived in step S305 (that is, the shift amount between the colors of the structured light) becomes small. ..
  • This correction method is the same as in the case of the first embodiment.
  • the correction amount at that time may be a fixed value or may be adaptively variable. For example, the correction amount may be adjusted according to the magnitude of the color shift amount. Further, if the survey error between two rays of RGB rays is small (for example, they intersect at almost one point), but the survey error with the remaining rays is large, only the color component corresponding to the ray is corrected. Such a method can also be applied.
  • step S307 the projection control unit 187 supplies the color shift compensation geometric correction information to the projector 102, and causes the projector 102 to perform geometric correction in consideration of the color shift correction.
  • step S307 When the process of step S307 is completed, the color shift correction process is completed.
  • control device 401 can perform three-dimensional color shift correction. Therefore, the color shift can be corrected more easily.
  • the present technology includes any configuration or a module using a processor (for example, a video processor) as a system LSI (Large Scale Integration), a module using a plurality of processors, or the like (for example, video) mounted on an arbitrary device or a device constituting the system. It can also be implemented as a module), a unit using a plurality of modules (for example, a video unit), a set in which other functions are added to the unit (for example, a video set), or the like (that is, a partial configuration of a device).
  • a processor for example, a video processor
  • system LSI Large Scale Integration
  • a module using a plurality of processors, or the like for example, video mounted on an arbitrary device or a device constituting the system.
  • It can also be implemented as a module), a unit using a plurality of modules (for example, a video unit), a set in which other functions are added to the unit (for example, a video set), or the like (
  • this technology can also be applied to a network system composed of a plurality of devices.
  • it can be applied to cloud services that provide services related to images (moving images) to arbitrary terminals such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices.
  • AV AudioVisual
  • IoT Internet of Things
  • Systems, equipment, processing departments, etc. to which this technology is applied should be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. Can be done. The use is also arbitrary.
  • this technology can be applied to systems and devices used for providing ornamental contents and the like.
  • the present technology can be applied to systems and devices used for traffic such as traffic condition supervision and automatic driving control.
  • the present technology can be applied to systems and devices used for security purposes.
  • the present technology can be applied to a system or device used for automatic control of a machine or the like.
  • the present technology can be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices for monitoring natural conditions such as volcanoes, forests and oceans, and wildlife. Further, for example, the present technology can be applied to systems and devices used for sports.
  • the present technology includes any configuration that constitutes a device or system, for example, a processor (for example, a video processor) as a system LSI (Large Scale Integration), a module that uses a plurality of processors (for example, a video module), and a plurality of modules. It can also be implemented as a unit using the above (for example, a video unit), a set (for example, a video set) in which other functions are added to the unit, or the like (that is, a partial configuration of the device).
  • a processor for example, a video processor
  • system LSI Large Scale Integration
  • modules that uses a plurality of processors
  • modules for example, a video module
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processes of the steps for describing the program may be executed in chronological order in the order described in the present specification, or may be called in parallel or called. It may be executed individually at the required timing such as when. That is, as long as there is no contradiction, the processes of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for describing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • the present technology can also have the following configurations.
  • An information processing device including a color shift correction unit that corrects color shift based on a 3D projection position of each optical device of a projection unit that projects RGB light using different optical devices.
  • the information processing apparatus according to (1), wherein the color shift correction unit corrects the color shift amount derived by the color shift amount derivation unit so as to reduce the color shift amount.
  • the information processing apparatus according to (2), wherein the color shift correction unit restores the 3D projection position restored by the restoration unit.
  • a posture estimation unit that estimates the posture of the camera based on a plurality of captured images obtained by cameras at different positions of the projected images.
  • the posture estimation unit estimates the posture of the camera using the corresponding points detected by the corresponding point detecting unit.
  • the corresponding point detection unit detects the corresponding points in a plurality of captured images obtained by capturing projected images of each color from different positions.
  • the corresponding point detection unit separates the projected images from the captured images of the projected images of different colors simultaneously projected from the plurality of projection units, and derives the captured images of the projected images of different colors (7).
  • the corresponding point detection unit derives a captured image of a projected image of each color for each projection unit by separating the projected images from a plurality of captured images of projected images having different color combinations (8).
  • the information processing apparatus according to any one of (10) to (13), which detects the corresponding points for each color.
  • the information processing apparatus according to any one of (1) to (15), further comprising a projection control unit for projecting a corrected image reflecting the color shift correction by the color shift correction unit.
  • the projection control unit further projects a grid image.
  • the information processing apparatus according to any one of (1) to (17), further comprising an imaging unit that captures a projected image projected by the projection unit and generates an captured image of the projected image.
  • the information processing apparatus according to any one of (1) to (18), further comprising the projection unit.
  • 100 projection imaging system 101 portable terminal device, 102 projector, 151 information processing unit, 152 imaging unit, 181 corresponding point detection unit, 182 camera posture estimation unit, 183 3D point restoration unit, 184 color shift amount derivation unit, 185 colors Misalignment correction unit, 186 geometric correction unit, 187 projection control unit, 201 information processing unit, 202 projection unit, 231 geometric correction information acquisition unit, 232 color deviation correction information acquisition unit, 233 structured light generation unit, 234 correction image generation unit , 400 projection imaging system, 401 control device, 403 camera, 451 information processing unit, 481 imaging control unit, 482 RGB3D point shift amount derivation unit, 491 grid image generation unit, 501 information processing unit, 502 imaging unit, 531 imaging control unit , 532 Captured image supply section, 551 WRGB3D point shift amount derivation section, 600 projection imaging system, 631 Color shift compensation geometric correction section, 641 Color shift compensation geometric correction information acquisition section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示は、より容易に色ずれを補正することができるようにする情報処理装置および方法に関する。 ＲＧＢ光を互いに異なる光学デバイスを用いて投影する投影部の、その光学デバイス毎の３Ｄ投影位置に基づいて、色ずれを補正する。例えば、色ずれの大きさおよび方向を示す色ずれ量を導出し、導出した色ずれ量が低減するように補正する。本開示は、例えば、情報処理装置、投影装置、撮像装置、投影撮像装置、投影撮像制御装置、または画像投影撮像システム等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、より容易に色ずれを補正することができるようにした情報処理装置および方法に関する。
　従来、液晶パネル等の光学デバイスを波長域成分毎（所謂、色毎）に用いて光を投影する投影装置（所謂、複数板式のプロジェクタ）があった。例えば、ＲＧＢ光を互いに異なる光学デバイスを用いて投影する３板式のプロジェクタがあった。
　このような複数板式のプロジェクタにおいては、製造時にＲＧＢパネルの固着を高精度に行っても、衝撃および経年変化によりＲＧＢパネル間にわずかなずれが生じ、それによって、スクリーン上に投影される同一画素のＲＧＢ光線にずれが生じ、色ずれ発生するおそれがあった。
　そこで、カメラの見え（平面スクリーン上に投影されるクロスハッチなどの直線性）を捉える２Ｄアプローチ（２Ｄ信号処理）で、ＲＧＢのずれを検知し、色ずれ補正を行う補法が考えられた（例えば特許文献１参照）。
特開２０１７－１６１６６４号公報
　しかしながら、この方法は、クロスハッチなどの計測パターンの直線性を捉える都合上、平面スクリーンの場合にしか適用することができなかった。そのため、曲面スクリーンへの投影や、奥行き方向のずれ等に対応することが困難であった。そのため、手作業による調整等、煩雑な作業が必要であった。
　本開示は、このような状況に鑑みてなされたものであり、より容易に色ずれを補正することができるようにするものである。
　本技術の一側面の情報処理装置は、ＲＧＢ光を互いに異なる光学デバイスを用いて投影する投影部の、その光学デバイス毎の３Ｄ投影位置に基づいて、色ずれを補正する色ずれ補正部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、ＲＧＢ光を互いに異なる光学デバイスを用いて投影する投影部の、その光学デバイス毎の３Ｄ投影位置に基づいて、色ずれを補正する情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、ＲＧＢ光を互いに異なる光学デバイスを用いて投影する投影部の、その光学デバイス毎の３Ｄ投影位置に基づいて、色ずれが補正される。
色ずれについて説明する図である。 投影撮像システムの主な構成例を示すブロック図である。 携帯型端末装置の主な構成例を示すブロック図である。 情報処理部が実現する主な機能の例を示す機能ブロック図である。 プロジェクタの主な構成例を示すブロック図である。 情報処理部が実現する主な機能の例を示す機能ブロック図である。 色ずれ補正処理の流れの例を説明するフローチャートである。 構造化光の例を示す図である。 投影と撮像の様子の例を示す図である。 対応点検出の様子の例を示す図である。 カメラ姿勢推定の様子の例を示す図である。 カメラ姿勢推定の様子の例を示す図である。 カメラ姿勢推定の様子の例を示す図である。 ３Ｄ点復元の様子の例を示す図である。 情報処理部が実現する主な機能の例を示す機能ブロック図である。 情報処理部が実現する主な機能の例を示す機能ブロック図である。 色ずれ補正処理の流れの例を説明するフローチャートである。 投影撮像システムの主な構成例を示すブロック図である。 投影と撮像の様子の例を示す図である。 制御装置の主な構成例を示すブロック図である。 情報処理部が実現する主な機能の例を示す機能ブロック図である。 情報処理部が実現する主な機能の例を示す機能ブロック図である。 カメラの主な構成例を示すブロック図である。 情報処理部が実現する主な機能の例を示す機能ブロック図である。 色ずれ補正処理の流れの例を説明するフローチャートである。 色ずれ補正処理の流れの例を説明するフローチャートである。 投影と撮像の様子の例を示す図である。 情報処理部が実現する主な機能の例を示す機能ブロック図である。 色ずれ補正処理の流れの例を説明するフローチャートである。 投影撮像システムの主な構成例を示すブロック図である。 投影と撮像の様子の例を示す図である。 投影と撮像の様子の例を示す図である。 投影と撮像の様子の例を示す図である。 情報処理部が実現する主な機能の例を示す機能ブロック図である。 情報処理部が実現する主な機能の例を示す機能ブロック図である。 色ずれ補正処理の流れの例を説明するフローチャートである。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．色ずれ補正
　２．第１の実施の形態（投影撮像システム）
　３．第２の実施の形態（投影撮像システム）
　４．第３の実施の形態（投影撮像システム）
　５．付記
　＜１．色ずれ補正＞
　　＜色ずれ＞
　従来、液晶パネル等の光学デバイスを波長域成分毎（所謂、色毎）に用いて光を投影する投影装置（所謂、複数板式のプロジェクタ）があった。例えば、ＲＧＢ光を互いに異なる光学デバイスを用いて投影する３板式のプロジェクタがあった。
　このような複数板式のプロジェクタにおいては、製造時にＲＧＢパネルの固着を高精度に行っても、衝撃および経年変化によりＲＧＢパネル間にわずかなずれが生じ、それによって、スクリーン上に投影される同一画素のＲＧＢ光線にずれが生じ、色ずれ発生するおそれがあった。
　例えば、図１に示されるように、３板式のプロジェクタ１１が、スクリーン１２に対して、ＲＧＢ光を含む投影画像１３を投影するとする。このとき、Ｒのパネルを用いた投影位置（スクリーン上の投影画像１３の位置）と、Ｇのパネルを用いた投影位置と、Ｂのパネルを用いた投影位置とが互いにずれていると、図１に示されるように、投影画像１３において、本来互いに同位置に投影されるはずのＲの線（例えば投影画像１３内の実線）と、Ｇの線（例えば投影画像１３内の点線）と、Ｂの線（例えば投影画像１３内の一点鎖線）とが互いに異なる位置に投影される。このような色ずれが生じると、投影画像１３の各色の位置が互いにずれて見える為、投影画像１３の主観的な品質（ユーザが認識する画質）が低減するおそれがあった。
　このような色ずれ（レジずれとも称する）は、リモートコントローラ等を用いて、手動で調整するのが一般的であった。しかしながら、そのような調整方法は、高度な専門性や熟練度が要求された。そのため、一般ユーザが調整するのは、実質的に困難であった。仮に、ユーザが高度な専門性を有していたとしても、高精度に色ずれを補正するには煩雑な作業が必要であった。
　そこで、例えば、非特許文献１に記載のような、カメラの見え（平面スクリーン上に投影されるクロスハッチなどの直線性）を捉える２Ｄアプローチ（２Ｄ信号処理）で、ＲＧＢのずれを検知し、色ずれ補正を行う補法が考えられた。
　しかしながら、この方法は、クロスハッチなどの計測パターンの直線性を捉える都合上、平面スクリーンの場合にしか適用することができなかった。そのため、曲面スクリーンへの投影や、奥行き方向のずれ等に対応することが困難であった。現実的には、スクリーンの形状が理想的な平面であることは少なく、また、奥行き方向にもずれが生じ得る。つまり、色ずれは３次元的に生じるのが一般的である。したがって、手作業による調整等、煩雑な作業が必要であった。
　　＜３Ｄ位置に基づく色ずれ補正＞
　そこで、ＲＧＢ光を互いに異なる光学デバイスを用いて投影する投影部の、その光学デバイス毎の３Ｄ投影位置に基づいて、色ずれを補正する。
　例えば、情報処理装置において、ＲＧＢ光を互いに異なる光学デバイスを用いて投影する投影部の、その光学デバイス毎の３Ｄ投影位置に基づいて、色ずれを補正する色ずれ補正部を備えるようにする。
　このようにすることにより、３次元的な色ずれの場合であっても、より容易にその色ずれを補正することができる。
　＜２．第１の実施の形態＞
　　＜投影撮像システム＞
　図２は、本技術を適用した情報処理システムの一実施の形態である投影撮像システムの主な構成例を示すブロック図である。図２において、投影撮像システム１００は、携帯型端末装置１０１、プロジェクタ１０２－１、およびプロジェクタ１０２－２を有し、画像をスクリーン１２０に投影したり、スクリーン１２０を撮像したりするシステムである。
　携帯型端末装置１０１、プロジェクタ１０２－１、およびプロジェクタ１０２－２は、通信路１１０を介して互いに通信可能に接続される。この通信路１１０は、任意であり、有線であってもよいし、無線であってもよい。例えば、携帯型端末装置１０１、プロジェクタ１０２－１、およびプロジェクタ１０２－２は、この通信路１１０を介して、制御信号や画像データ等を授受することができる。
　携帯型端末装置１０１は、本技術を適用した情報処理装置の一実施の形態であり、例えば、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ等といった、ユーザが携帯可能なデバイスである。携帯型端末装置１０１は、通信機能と情報処理機能と撮像機能を有する。例えば、携帯型端末装置１０１は、プロジェクタ１０２－１およびプロジェクタ１０２－２による画像投影を制御しうる。また、携帯型端末装置１０１は、プロジェクタ１０２－１およびプロジェクタ１０２－２の色ずれを補正しうる。さらに、携帯型端末装置１０１は、プロジェクタ１０２－１やプロジェクタ１０２－２がスクリーン１２０に投影した投影画像を撮像しうる。
　プロジェクタ１０２－１およびプロジェクタ１０２－２は、本技術を適用した情報処理装置の一実施の形態であり、画像を投影する投影装置である。プロジェクタ１０２－１およびプロジェクタ１０２－２は、互いに同様の装置である。以下において、プロジェクタ１０２－１およびプロジェクタ１０２－２を互いに区別して説明する必要が無い場合、プロジェクタ１０２と称する。例えば、プロジェクタ１０２は、携帯型端末装置１０１の制御に従って、入力画像をスクリーン１２０に投影することができる。
　プロジェクタ１０２－１およびプロジェクタ１０２－２は、互いに協働して画像を投影しうる。例えば、プロジェクタ１０２－１およびプロジェクタ１０２－２は、画像を互いに同位置に投影し、投影画像の高輝度化を実現することができる。また、プロジェクタ１０２－１およびプロジェクタ１０２－２は、互いの投影画像が隣接して並ぶように画像を投影し、２つの投影画像で１つの画像を形成し、投影画像の大画面化（高解像度化）を実現することができる。また、プロジェクタ１０２－１およびプロジェクタ１０２－２は、互いの投影画像の一部を重畳させたり、一方の投影画像内に他方の投影画像を内包させたりするように画像を投影することもできる。このように協働して投影を行うことにより、プロジェクタ１０２－１およびプロジェクタ１０２－２は、高輝度化や大画面化だけでなく、例えば、投影画像のハイダイナミックレンジ化や、高フレームレート化等も実現することもできる。
　このような画像投影において、プロジェクタ１０２は、携帯型端末装置１０１の制御の下、投影する画像を幾何補正し、投影画像が正しい位置で重畳されるようにすることができる。
　例えば、図２に示されるように、プロジェクタ１０２－１が、画像１２１－１を補正画像１２２－１のように幾何補正し、プロジェクタ１０２－２が、画像１２１－２を補正画像１２２－２のように幾何補正する。そして、プロジェクタ１０２－１が、その補正画像１２２－１を含む画像１２１－１を投影し、プロジェクタ１０２－２が、補正画像１２２－２を含む画像１２１－２を投影する。
　スクリーン１２０においては、プロジェクタ１０２－１により投影された投影画像１２３－１と、プロジェクタ１０２－２により投影された投影画像１２３－２が互いに重畳している。上述した幾何補正により、投影画像１２３－１と投影画像１２３－２とが重畳する部分において、補正画像１２２－１と補正画像１２２－２とが、互いに同位置に、歪まないように（矩形の状態で）投影される。これにより、高輝度な投影画像１２４（補正画像１２２－１の投影画像と補正画像１２２－２の投影画像とが重畳したもの）が実現される。
　なお、プロジェクタ１０２は、ＲＧＢ光を互いに異なる光学デバイスを用いて投影する３板式のプロジェクタである。つまり、プロジェクタ１０２は、液晶パネル等の光学デバイスを波長域成分毎（所謂、色毎）に用いて光を投影する投影装置（所謂、複数板式のプロジェクタ）である。
　スクリーン１２０は、平面スクリーンであってもよいし、曲面スクリーンであってもよい。
　このような投影撮像システム１００において、携帯型端末装置１０１は、プロジェクタ１０２において発生する３次元的な色ずれを補正することができる。
　なお、図２においては、投影撮像システム１００は、携帯型端末装置１０１が１台と、プロジェクタ１０２が２台とにより構成されるが、各装置の数は任意であり、この例に限定されない。例えば、投影撮像システム１００が、携帯型端末装置１０１を複数有していてもよいし、プロジェクタ１０２を３台以上有していてもよい。また、携帯型端末装置１０１がいずれかのプロジェクタ１０２と一体的に構成されてもよい。
　　＜携帯型端末装置＞
　図３は、本技術を適用した情報処理装置の一実施の形態である携帯型端末装置１０１の主な構成例を示す図である。図３に示されるように、携帯型端末装置１０１は、情報処理部１５１、撮像部１５２、入力部１６１、出力部１６２、記憶部１６３、通信部１６４、およびドライブ１６５を有する。
　情報処理部１５１は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてアプリケーションプログラム（ソフトウエア）を実行することにより、各種機能を実現しうるコンピュータである。例えば、情報処理部１５１は、色ずれの補正に関する処理を行うアプリケーションプログラム（ソフトウエア）をインストールし、実行しうる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　撮像部１５２は、光学系やイメージセンサ等を有し、被写体を撮像して撮像画像を生成しうる。撮像部１５２は、生成した撮像画像を情報処理部１５１に供給しうる。
　入力部１６１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子等の入力デバイスを有し、それらの入力デバイスを介して入力された情報を情報処理部１５１に供給しうる。
　出力部１６２は、例えば、ディスプレイ（表示部）、スピーカ等（音声出力部）、出力端子等の出力デバイスを有し、情報処理部１５１から供給された情報を、それらの出デバイスを介して出力しうる。
　記憶部１６３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリ等の記憶媒体を有し、情報処理部１５１から供給された情報を、その記憶媒体に記憶しうる。記憶部１６３は、その記憶媒体に記憶されている情報を読み出し、情報処理部１５１に供給しうる。
　通信部１６４は、例えば、ネットワークインタフェースを有し、他の装置から送信された情報を受信し、その受信した情報を情報処理部１５１に供給しうる。通信部１６４は、情報処理部１５１から供給された情報を他の装置宛てに送信しうる。
　ドライブ１６５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体１７１のインタフェースを有し、自身に装着されたリムーバブル記録媒体１７１に記録されている情報を読み出し、情報処理部１５１に供給しうる。ドライブ１６５は、情報処理部１５１から供給された情報を、自身に装着された書き込み可能なリムーバブル記録媒体１７１に記録しうる。
　情報処理部１５１は、例えば、記憶部１６３に記憶されているアプリケーションプログラムをロードして実行する。その際、情報処理部１５１は、各種の処理を実行する上において必要なデータ等も適宜記憶することができる。このアプリケーションプログラムやデータ等は、例えば、パッケージメディア等としてのリムーバブル記録媒体１７１に記録して提供することができる。その場合、このアプリケーションプログラムやデータ等は、リムーバブル記録媒体１７１が装着されたドライブ１６５により読み出され、情報処理部１５１を介して記憶部１６３にインストールされる。また、このアプリケーションプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、このアプリケーションプログラムやデータ等は、通信部１６４により受信され、情報処理部１５１を介して記憶部１６３にインストールされる。また、このアプリケーションプログラムやデータ等は、情報処理部１５１内のROMや記憶部１６３に、あらかじめインストールしておくこともできる。
　　＜携帯型端末装置の機能ブロック＞
　情報処理部１５１がアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして図４に示す。図４に示されるように、情報処理部１５１は、アプリケーションプログラムを実行することにより、機能ブロックとして、対応点検出部１８１、カメラ姿勢推定部１８２、３Ｄ点復元部１８３、色ずれ量導出部１８４、色ずれ補正部１８５、幾何補正部１８６、および投影制御部１８７を有することができる。
　対応点検出部１８１は、スクリーン１２０に投影された投影画像の撮像画像に基づいて、各撮像画像について対応点の検出を行う。対応点検出部１８１は、検出した対応点を示す対応点情報をカメラ姿勢推定部１８２に供給する。
　カメラ姿勢推定部１８２は、その対応点情報に基づいて、撮像画像に対応するカメラの姿勢を推定する。カメラ姿勢推定部１８２は、その推定した姿勢を示すカメラ姿勢情報を、対応点情報とともに３Ｄ点復元部１８３に供給する。
　３Ｄ点復元部１８３は、その対応点情報およびカメラ姿勢情報に基づいて、投影画像の各画素の３次元空間における位置（３Ｄ位置や３Ｄ点とも称する）を復元する。つまり、この３Ｄ点は、投影する画像の各画素が投影された位置（投影位置とも称する）を３次元的に（３次元空間において）示したものである。この３次元的な投影位置を３Ｄ投影位置とも称する。３Ｄ点復元部１８３は、その復元した３Ｄ点の位置（３Ｄ投影位置）を示す３Ｄ点情報を、カメラ姿勢情報とともに、色ずれ量導出部１８４および幾何補正部１８６に供給する。
　色ずれ量導出部１８４は、それらの情報に基づいて、プロジェクタ１０２の各パネルのずれの大きさと方向を３次元空間で示す色ずれ量を導出する。つまり、色ずれ量は、色ずれを３次元的に示すベクトルである。色ずれ量導出部１８４は、その色ずれ量を示す色ずれ情報を色ずれ補正部１８５に供給する。
　色ずれ補正部１８５は、色ずれ量情報に基づいて、色ずれが低減するように３次元的に補正を行う。つまり、色ずれ補正部１８５は、３Ｄ投影位置に基づいて色ずれを補正する。これにより、色ずれ補正部１８５は、３次元的な色ずれを補正することができる。例えば、色ずれ補正部１８５は、各パネルの投影画像の位置をシフトさせて、色ずれを低減させる。色ずれ補正部１８５は、その色ずれ補正の為の制御情報である色ずれ補正情報を投影制御部１８７に供給する。
　幾何補正部１８６は、カメラ姿勢情報や３Ｄ点情報等に基づいて、投影画像の位置および形状等が適切なものとなるようにするための、投影する画像の幾何補正の仕方を導出する。幾何補正部１８６は、その幾何補正の仕方を示すパラメータである幾何補正情報を生成すると、それを投影制御部１８７に供給する。
　投影制御部１８７は、幾何補正情報や色ずれ補正情報を、制御対象のプロジェクタ１０２に対して供給する。また、投影制御部１８７は、補正画像の投影指示をそのプロジェクタ１０２に供給し、補正画像を投影させる。
　　＜プロジェクタ＞
　図５は、本技術を適用した情報処理装置の一実施の形態であるプロジェクタ１０２の主な構成例を示す図である。図５に示されるように、プロジェクタ１０２は、情報処理部２０１、投影部２０２、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５を有する。
　情報処理部２０１は、例えば、CPU、ROM、RAM等を有し、それらを用いてアプリケーションプログラム（ソフトウエア）を実行することにより、各種機能を実現しうるコンピュータである。例えば、情報処理部２０１は、画像投影に関する処理を行うアプリケーションプログラム（ソフトウエア）をインストールし、実行しうる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　投影部２０２は、光学デバイスや光源等を有し、情報処理部２０１により制御されて、所望の画像を投影しうる。例えば、投影部２０２は、情報処理部２０１から供給される画像を投影しうる。
　入力部２１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子等の入力デバイスを有し、それらの入力デバイスを介して入力された情報を情報処理部２０１に供給しうる。
　出力部２１２は、例えば、ディスプレイ（表示部）、スピーカ等（音声出力部）、出力端子等の出力デバイスを有し、情報処理部２０１から供給された情報を、それらの出デバイスを介して出力しうる。
　記憶部２１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリ等の記憶媒体を有し、情報処理部２０１から供給された情報を、その記憶媒体に記憶しうる。記憶部２１３は、その記憶媒体に記憶されている情報を読み出し、情報処理部２０１に供給しうる。
　通信部２１４は、例えば、ネットワークインタフェースを有し、他の装置から送信された情報を受信し、その受信した情報を情報処理部２０１に供給しうる。通信部２１４は、情報処理部２０１から供給された情報を他の装置宛てに送信しうる。
　ドライブ２１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体２２１のインタフェースを有し、自身に装着されたリムーバブル記録媒体２２１に記録されている情報を読み出し、情報処理部２０１に供給しうる。ドライブ２１５は、情報処理部２０１から供給された情報を、自身に装着された書き込み可能なリムーバブル記録媒体２２１に記録しうる。
　情報処理部２０１は、例えば、記憶部２１３に記憶されているアプリケーションプログラムをロードして実行する。その際、情報処理部２０１は、各種の処理を実行する上において必要なデータ等も適宜記憶することができる。このアプリケーションプログラムやデータ等は、例えば、パッケージメディア等としてのリムーバブル記録媒体２２１に記録して提供することができる。その場合、このアプリケーションプログラムやデータ等は、リムーバブル記録媒体２２１が装着されたドライブ２１５により読み出され、情報処理部２０１を介して記憶部２１３にインストールされる。また、このアプリケーションプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、このアプリケーションプログラムやデータ等は、通信部２１４により受信され、情報処理部２０１を介して記憶部２１３にインストールされる。また、このアプリケーションプログラムやデータ等は、情報処理部２０１内のROMや記憶部２１３に、あらかじめインストールしておくこともできる。
　　＜プロジェクタの機能ブロック＞
　情報処理部２０１がアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして図６に示す。図６に示されるように、情報処理部２０１は、アプリケーションプログラムを実行することにより、機能ブロックとして、幾何補正情報取得部２３１、色ずれ補正情報取得部２３２、構造化光生成部２３３、および補正画像生成部２３４を有することができる。
　幾何補正情報取得部２３１は、携帯型端末装置１０１から供給される幾何補正情報を取得し、補正画像生成部２３４に供給する。
　色ずれ補正情報取得部２３２は、携帯型端末装置１０１から供給される色ずれ補正情報を取得し、補正画像生成部２３４に供給する。
　構造化光生成部２３３は、所定のパターン画像である構造化光を生成し、補正画像生成部２３４に供給する。
　補正画像生成部２３４は、携帯型端末装置１０１の制御に基づいて、構造化光を補正し、補正画像を生成する。例えば、補正画像生成部２３４は、構造化光を色ずれ補正情報に基づいて色ずれ補正し、幾何補正情報に基づいて幾何補正し、補正画像を生成する。補正画像生成部２３４は、その補正画像を投影部２０２に供給して投影させる。
　以上のように、携帯型端末装置１０１は、３Ｄ投影位置に基づいて色ずれを補正するので、３次元的な色ずれを補正することができる。また、プロジェクタ１０２は、その色ずれ補正を反映した補正画像を投影することができる。したがって、投影撮像システム１００は、より容易に色ずれを補正することができる。
　　＜色ずれ補正処理の流れ＞
　携帯型端末装置１０１の情報処理部１５１により実行される色ずれ補正処理の流れの例を、図７のフローチャートを参照して説明する。
　色ずれ補正処理が開始されると、投影制御部１８７は、ステップＳ１０１において、プロジェクタ１０２を制御し、構造化光を投影させる。
　このような制御に基づいて、構造化光生成部２３３は、色の異なる構造化光（例えばRed/Blue）を生成し、投影部２０２の互いに異なる光学デバイス（例えばパネル）から投影させる。
　構造化光は、投影部２０２の１つの光学デバイスから投影可能な所定のパターン画像である。例えば、図８の構造化光３０１－１、構造化光３０１－２、構造化光３０１－３のように、各構造化光３０１は、互いに同様のパターンを有し、互いに異なる色により構成される。構造化光３０１－１は赤（Ｒ）のパターン画像である。構造化光３０１－２は、緑（Ｇ）のパターン画像である。構造化光３０１－３は、青（Ｂ）のパターン画像である。
　プロジェクタ１０２－１およびプロジェクタ１０２－２は、これらの構造化光の内、互いに異なる色の構造化光を生成し、それぞれの投影部２０２から投影する。したがって、スクリーン１２０には、これらの構造化光の投影画像が、互いに重畳するように投影される。
　携帯型端末装置１０１の撮像部１５２は、ユーザ指示等に基づいて、そのスクリーン１２０に投影された投影画像を撮像する。
　この操作を、構造化光の色と撮像位置とを変えながら繰り返す。つまり、プロジェクタ１０２－１およびプロジェクタ１０２－２が、色が互いに異なり、かつ、これまでと異なる色の組み合わせの構造化光を投影（たとえば、２回目はBlue/Green、３回目はGreen/Red）する。そして、携帯型端末装置１０１が、これまでの撮影位置と異なる位置においてその投影画像を撮像する。
　例えば、１回目において、図９のＡのように、プロジェクタ１０２－１が構造化光３０１－１（Ｒ）を投影し、プロジェクタ１０２－２が構造化光３０１－３（Ｂ）を投影し、携帯型端末装置１０１の撮像部１５２が、カメラ３１１のように左側から投影画像を撮像する。２回目においては、図９のＢのように、プロジェクタ１０２－１が構造化光３０１－３（Ｂ）を投影し、プロジェクタ１０２－２が構造化光３０１－２（Ｇ）を投影し、携帯型端末装置１０１の撮像部１５２が、カメラ３１２のように中央から投影画像を撮像する。３回目においては、図９のＣのように、プロジェクタ１０２－１が構造化光３０１－２（Ｇ）を投影し、プロジェクタ１０２－２が構造化光３０１－１（Ｒ）を投影し、携帯型端末装置１０１の撮像部１５２が、カメラ３１３のように右側から投影画像を撮像する。
　次に、ステップＳ１０２において、対応点検出部１８１は、以上のような撮影により得られた撮像画像に基づいて、対応点を検出する。つまり、対応点検出部１８１は、図１０に示されるように、カメラ３１１の位置で撮像された撮像画像３３１、カメラ３１２の位置で撮像された撮像画像３３２、並びに、カメラ３１３の位置で撮像された撮像画像３３３における、互いに対応する点、つまり、構造化光３０１の互いに同じ位置を表示する点（画素）を、対応点として検出する（例えば図中白丸）。対応点検出部１８１は、投影された構造化光３０１（図１０の例の場合、構造化光３０１－１と構造化光３０１－３）のパターンに基づいて、この対応点を検出する。つまり、対応点検出部１８１は、各色の投影画像を互いに異なる位置から撮像した複数の撮像画像における対応点を検出する。
　なお、これらの撮像画像には、互いに重畳する複数の構造化光３０１が含まれる。そこで、各構造化光のパターンを分離し、分離後のパターンを用いて対応点を検出する。このパターンの分離方法は任意である。例えば、複数のプロジェクタ１０２から互いに異なる色情報を付与して投影された投影画像の混合像を撮像した撮像画像の色情報と、撮像画像の色情報と投影画像および背景の色情報との関係を示す色モデルに基づき、色情報毎の分離画像を生成してもよい。
　色モデルは、投影部２０２と撮像画像を取得する撮像部１５２の分光特性に応じて変化した投影画像の色情報と、撮像部１５２で撮像された混合像に生じる減衰を示す減衰係数、および背景の色情報をパラメータとして用いている。そこで、撮像画像の色情報と色モデルによって推定した色情報との差が最小となるパラメータを用いて、色モデルに基づき色情報毎の分離画像を生成する。
　なお、ここで利用する構造化光３０１のパターンは、色分離とワンショットでのデコードが可能なものであればどんなものでも良い。また、カメラを手持ちではなく、三脚等で固定設置した場合には、Ｇｒａｙ Ｃｏｄｅ のような時間方向に複数枚のパターンの情報を使ってデコードするようなパターンでも良い。カメラが固定された場合は、色分離の処理も不要でプロジェクタ１０２－１とプロジェクタ１０２－２は時間的に別のタイミングで構造化光を投影しても良い。
　対応点検出部１８１は、このような対応点検出を、各色の組み合わせについて行う。つまり、対応点検出部１８１は、図９のＡ、Ｂ、Ｃのそれぞれの投影および撮像のパターンについて、上述のように対応点検出を行う。つまり、対応点検出部１８１は、互いに異なる色の組み合わせの投影画像の複数の撮像画像において、投影画像を分離することにより、各投影部について、各色の投影画像の撮像画像を導出する。
　ステップＳ１０３において、カメラ姿勢推定部１８２は、カメラ３１１乃至カメラ３１３の各姿勢（位置および向き）を推定する。
　まず２つのカメラ画像の対応点情報に着目する。例えば、図１１のＡに示されるように、左視点のカメラ３１１の撮像画像３３１と正面のカメラ３１２の撮像画像３３２に着目した場合、左視点のカメラ３１１の対応点から正面のカメラ３１２の対応点へと変換するホモグラフィ行列（H12）を求める。ホモグラフィは、ロバスト推定のアルゴリズムであるRANSAC（Random Sample Consensus）により求めることで、対応点に外れ値が存在しても大きな影響を受けないようにする。
　このホモグラフィ行列をＲＴ分解することで、左視点カメラを基準とした正面カメラの位置姿勢を求める。ＲＴ分解の方法は、例えば「画像電子学会誌/40巻(2011)3号 p.421-427」の方法を用いる。このときスケールは不定なのでなんらかのルールによってスケールを決定する。
　図１１のＢに示されるように、ここで得られた左視点のカメラ３１１を基準にした正面のカメラ３１２の位置姿勢とそれらの対応点情報を三角測量することで、それら対応点の３次元点を求める。ここで、三角測量により３次元点を求める際に対応する光線同士が交差しない場合があるが、その場合は対応する各光線の、光線同士が最も近くなる位置の点（最近接点とも称する）同士を結ぶ線分の中点（三角測量点とも称する）をその３次元点とする。
　次に、図１２のＡに示されるように、正面のカメラ３１２と右視点のカメラ３１３に着目し、同様の処理を行うことで、正面のカメラ３１２に対する右視点のカメラ３１３の位置姿勢を求める。このときも正面のカメラ３１２と右視点のカメラ３１３のスケールは不定なのでなんらかのルールによってスケールを決める。また、正面のカメラ３１２と右視点のカメラ３１３の対応点とからそれらに対応する３次元点を三角測量により求める。
　次に、図１２のＢに示されるように、ここで求めた左視点のカメラ３１１と正面のカメラ３１２から求めた対応点の３次元点のカメラからの平均距離と、正面のカメラ３１２と右視点のカメラ３１３から求めた対応点の３次元点のカメラからの平均距離が一致するように正面のカメラ３１２と右視点のカメラ３１３のスケールを修正する。スケールの修正は正面のカメラ３１２と右視点のカメラ３１３の並進成分ベクトルの長さを変えることで行う。
　最後に、図１３に示されるように、左視点のカメラ３１１を基準として固定し、正面のカメラ３１２と右視点のカメラ３１３の位置姿勢を、内部パラメータ、外部パラメータ、および世界座標点群を最適化するバンドル調整（Bundle Adjustment）により最適化する。このとき評価値は、対応点の３次元点から対応する各３本の光線までの距離の２乗和とし、これが最も小さくなるように最適化を行う。なお、３本の光線による３次元の対応点は、図１４に示されるように、左視点のカメラ３１１と正面のカメラ３１２の対応する光線の三角測量点と、正面のカメラ３１２と右視点のカメラ３１３の対応する光線の三角測量点と、右視点のカメラ３１３と左視点のカメラ３１１の対応する光線の三角測量点との重心位置とする。これにより、３か所のカメラの位置姿勢が推定される。
　ステップＳ１０４において、３Ｄ点復元部１８３は、以上のように推定された各カメラの位置姿勢に基づいて、図１４に示されるように、各画素の３Ｄ投影位置である３Ｄ点３４１を復元する。
　ステップＳ１０５において、色ずれ量導出部１８４は、色ずれ量を導出する。たとえば、色ずれ量導出部１８４は、３Ｄ点復元時の三角測量誤差（各光線の最近接点間の距離の２乗和）を色ずれ量の大きさと定義し、三角測量点（上述のように三角測量点が複数存在する場合はその重心）と各光線の最近接点とを結ぶベクトルの方向（例えば、図１４の右上四角枠内の、光線間の中点から各光線に向かう矢印の向き）を色ずれ量の向きと定義し、その色ずれ量を導出する。
　ステップＳ１０６において、色ずれ補正部１８５は、ステップＳ１０５において導出された色ずれ量（の大きさ）が小さくなるように色ずれ補正を行う。その際の補正量は、固定値であってもよいし、適応的に可変であってもよい。たとえば、色ずれ量の大きさに応じた補正量で補正するようにしてもよい。また、ＲＧＢの光線のうち２つの光線間の測量誤差は小さい（例えば、それらがほぼ１点で交わる）が、残りの光線との測量誤差が大きい場合、その光線に該当する色成分のみ補正するといった方法も適用することができる。
　ステップＳ１０７において、投影制御部１８７は、色ずれ補正情報を各プロジェクタ１０２に供給し、その供給先のプロジェクタ１０２に対して、色ずれ補正を行わせる。
　ステップＳ１０８において、色ずれ補正部１８５は、色ずれ量（の大きさ）が十分に小さいか否かを判定する。色ずれ量が大きいと判定された場合、処理はステップＳ１０１に戻る。そして、ステップＳ１０７において、色ずれ量が十分に小さいと判定された場合、処理はステップＳ１０９に進む。
　つまり、ステップＳ１０８において、色ずれ量が十分に小さい（例えば、ＲＧＢ光線が３次元空間において近接する（理想的には１点で交わる））と判定されるまで、ステップＳ１０１乃至ステップＳ１０８の各処理が繰り返し実行される。
　ステップＳ１０９において、幾何補正部１８６は、それぞれのプロジェクタ１０２から投影された投影画像がスクリーン１２０上でぴったり重畳するように、各画像に対して幾何補正を行う。
　ステップＳ１１０において、投影制御部１８７は、幾何補正情報を各プロジェクタ１０２に供給し、その供給先のプロジェクタ１０２に対して、幾何補正を行わせ、その補正画像を投影させる。
　ステップＳ１１０の処理が終了すると、色ずれ補正処理が終了する。
　このように、色ずれ補正処理を行うことにより、携帯型端末装置１０１は、３次元的な色ずれの補正を行うことができる。したがって、より容易に色ずれを補正することができる。
　なお、色ずれ量の定義は任意であり、上述の例に限定されない。例えば、復元した３Ｄ点を各カメラ画像空間上に再投影した２Ｄ点とカメラ対応点との誤差（再投影誤差）やその方向を色ずれ量と定義してもよい。
　　＜幾何補正による色ずれ補正＞
　なお、上述のように色ずれ補正を行う代わりに幾何補正を行い、その幾何補正によって色ずれ量（の大きさ）を低減させてもよい。
　　　＜携帯型端末装置の機能ブロック＞
　この場合の情報処理部１５１がアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして図１５に示す。図１５に示されるように、この場合の情報処理部１５１は、アプリケーションプログラムを実行することにより、機能ブロックとして、対応点検出部１８１、カメラ姿勢推定部１８２、３Ｄ点復元部１８３、幾何補正部１８６、および投影制御部１８７を有することができる。つまり、図４の場合の構成と比べて、色ずれ量導出部１８４および色ずれ補正部１８５を省略しうる。この場合、幾何補正部１８６が幾何補正を行うことにより、色ずれ量が低減される。
　　　＜プロジェクタの機能ブロック＞
　この場合の情報処理部２０１がアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして図１６に示す。図１６に示されるように、この場合の情報処理部２０１は、アプリケーションプログラムを実行することにより、機能ブロックとして、幾何補正情報取得部２３１、構造化光生成部２３３、および補正画像生成部２３４を有することができる。つまり、図６の場合の構成と比べて、色ずれ補正情報取得部２３２を省略しうる。この場合、補正画像生成部２３４が幾何補正情報に基づいて幾何補正を行うことにより、色ずれ量が低減される。
　したがって、携帯型端末装置１０１は、より容易に色ずれを補正することができる。
　　＜色ずれ補正処理の流れ＞
　この場合の携帯型端末装置１０１の情報処理部１５１により実行される色ずれ補正処理の流れの例を、図１７のフローチャートを参照して説明する。
　色ずれ補正処理が開始されると、ステップＳ１４１乃至ステップＳ１４４の各処理が、図７のステップＳ１０１乃至ステップＳ１０４の各処理と同様に実行される。そして、ステップＳ１４５およびステップＳ１４６の各処理が、図７のステップＳ１０９およびステップＳ１１０の各処理と同様に実行される。ステップＳ１４６の処理が終了すると、色ずれ補正処理が終了する。
　したがって、携帯型端末装置１０１は、より容易に色ずれを補正することができる。
　＜３．第２の実施の形態＞
　　＜投影撮像システム＞
　対応点検出は、色毎（つまり、構造化光毎）に行ってもよい。図１８は、本技術を適用した情報処理システムの一実施の形態である投影撮像システムの主な構成例を示すブロック図である。図１８に示される投影撮像システム４００は、図２の投影撮像システム１００と同様、画像をスクリーン１２０に投影したり、スクリーン１２０を撮像したりするシステムであり、色ずれ補正を行うことができるシステムである。
　投影撮像システム４００は、プロジェクタ１０２、制御装置４０１、カメラ４０３－１およびカメラ４０３－２を有する。プロジェクタ１０２、制御装置４０１、カメラ４０３－１およびカメラ４０３－２は、通信路１１０を介して互いに通信可能に接続される。図２の場合と同様、この通信路１１０は、任意であり、有線であってもよいし、無線であってもよい。例えば、プロジェクタ１０２、制御装置４０１、カメラ４０３－１およびカメラ４０３－２は、この通信路１１０を介して、制御信号や画像データ等を授受することができる。
　プロジェクタ１０２は、例えば、制御装置４０１の制御に従って、入力画像をスクリーン１２０に投影することができる。例えば、スクリーン１２０には、プロジェクタ１０２の投影により、構造化光の投影画像４２１が投影される。
　制御装置４０１は、プロジェクタ１０２を制御することによりその投影を制御したり、カメラ４０３－１やカメラ４０３－２を制御してその撮像を制御したりすることができる。例えば、制御装置４０１は、カメラ４０３－１およびカメラ４０３－２が撮像した撮像画像に基づいて、プロジェクタ１０２の色ずれ補正を行うことができる。
　カメラ４０３－１およびカメラ４０３－２は、本技術を適用した情報処理装置の一実施の形態であり、被写体を撮像して撮像画像を生成する装置である。カメラ４０３－１およびカメラ４０３－２は、互いに異なる位置からスクリーン１２０（スクリーン１２０上の投影画像４２１）を撮像する。なお、カメラ４０３－１およびカメラ４０３－２を互いに区別して説明する必要が無い場合、カメラ４０３と称する。
　図１８においては、２台のカメラ４０３が示されているが、スクリーン１２０を撮像するカメラ４０３の数は、２台以上であれば何台でもよい。ただし、各カメラ４０３の位置（や姿勢）は互いに異なる。
　このような投影撮像システム４００において、制御装置４０１は、投影撮像システム１００の携帯型端末装置１０１の場合と同様、プロジェクタ１０２において発生する３次元的な色ずれを補正することができる。
　ただし、この投影撮像システム４００の場合、対応点検出は、色毎（つまり、構造化光毎）に行われる。
　例えば、１回目において、図１９のＡのように、プロジェクタ１０２が構造化光３０１－１（Ｒ）を投影し、カメラ４０３－１およびカメラ４０３－２が、図のように左右から投影画像を撮像する。２回目においては、図１９のＢのように、プロジェクタ１０２が構造化光３０１－３（Ｂ）を投影し、カメラ４０３－１およびカメラ４０３－２が、図のように左右から投影画像を撮像する。３回目においては、図１９のＣのように、プロジェクタ１０２が構造化光３０１－２（Ｇ）を投影し、カメラ４０３－１およびカメラ４０３－２が、図のように左右から投影画像を撮像する。
　このようにして、各回において（つまり、構造化光の色毎に）、複数の撮像画像を生成し、その複数の撮像画像を用いて対応点を検出する。
　なお、プロジェクタ１０２の台数は任意である。投影撮像システム４００が２台以上のプロジェクタ１０２を備えていてもよい。その場合、各プロジェクタ１０２の色ずれ補正は、互いに独立に（個別に）行われる。
　　＜制御装置＞
　図２０は、本技術を適用した情報処理装置の一実施の形態である制御装置４０１の主な構成例を示す図である。図２０に示されるように、制御装置４０１は、情報処理部４５１、入力部４６１、出力部４６２、記憶部４６３、通信部４６４、およびドライブ４６５を有する。
　情報処理部４５１は、例えば、CPU、ROM、RAM等を有し、それらを用いてアプリケーションプログラム（ソフトウエア）を実行することにより、各種機能を実現しうるコンピュータである。例えば、情報処理部４５１は、画像の投影の制御に関する処理を行うアプリケーションプログラム（ソフトウエア）をインストールし、実行しうる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　入力部４６１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子等の入力デバイスを有し、それらの入力デバイスを介して入力された情報を情報処理部４５１に供給しうる。
　出力部４６２は、例えば、ディスプレイ（表示部）、スピーカ等（音声出力部）、出力端子等の出力デバイスを有し、情報処理部４５１から供給された情報を、それらの出デバイスを介して出力しうる。
　記憶部４６３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリ等の記憶媒体を有し、情報処理部４５１から供給された情報を、その記憶媒体に記憶しうる。記憶部４６３は、その記憶媒体に記憶されている情報を読み出し、情報処理部４５１に供給しうる。
　通信部４６４は、例えば、ネットワークインタフェースを有し、他の装置から送信された情報を受信し、その受信した情報を情報処理部４５１に供給しうる。通信部４６４は、情報処理部４５１から供給された情報を他の装置宛てに送信しうる。
　ドライブ４６５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体４７１のインタフェースを有し、自身に装着されたリムーバブル記録媒体４７１に記録されている情報を読み出し、情報処理部４５１に供給しうる。ドライブ４６５は、情報処理部４５１から供給された情報を、自身に装着された書き込み可能なリムーバブル記録媒体４７１に記録しうる。
　情報処理部４５１は、例えば、記憶部４６３に記憶されているアプリケーションプログラムをロードして実行する。その際、情報処理部４５１は、各種の処理を実行する上において必要なデータ等も適宜記憶することができる。このアプリケーションプログラムやデータ等は、例えば、パッケージメディア等としてのリムーバブル記録媒体４７１に記録して提供することができる。その場合、このアプリケーションプログラムやデータ等は、リムーバブル記録媒体４７１が装着されたドライブ４６５により読み出され、情報処理部４５１を介して記憶部４６３にインストールされる。また、このアプリケーションプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、このアプリケーションプログラムやデータ等は、通信部４６４により受信され、情報処理部４５１を介して記憶部４６３にインストールされる。また、このアプリケーションプログラムやデータ等は、情報処理部４５１内のROMや記憶部４６３に、あらかじめインストールしておくこともできる。
　　＜制御装置の機能ブロック＞
　情報処理部４５１がアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして図２１に示す。図２１に示されるように、情報処理部４５１は、アプリケーションプログラムを実行することにより、機能ブロックとして、対応点検出部１８１、カメラ姿勢推定部１８２、３Ｄ点復元部１８３、色ずれ補正部１８５、投影制御部１８７、撮像制御部４８１、およびＲＧＢ３Ｄ点ずれ量導出部４８２を有することができる。
　撮像制御部４８１は、カメラ４０３に撮像指示を供給し、スクリーン１２０（に投影された投影画像４２１）を撮像させ、その撮像画像を取得する。撮像制御部４８１は、各カメラ４０３から取得した撮像画像を対応点検出部１８１に供給する。撮像制御部４８１は、投影される構造化光の色毎に、このような制御処理を行い、構造化光の色毎に互いに異なる位置から撮像した複数の撮像画像を得る。
　対応点検出部１８１は、構造化光の色毎に対応点検出を行い、対応点情報を生成する。つまり、対応点検出部１８１は、投影される構造化光の各色について、同一の投影画像を互いに異なる位置から撮像した複数の撮像画像における対応点を検出する。カメラ姿勢推定部１８２は、構造化光の色毎にカメラ４０３の姿勢を推定し、カメラ姿勢情報を生成する。３Ｄ点復元部１８３は、構造化光の色毎に３Ｄ点を復元し、３Ｄ点情報を生成する。
　ＲＧＢ３Ｄ点ずれ量導出部４８２は、３Ｄ点復元部１８３から供給されるカメラ姿勢情報および３Ｄ点情報に基づいて、ＲＧＢの色間の３Ｄ点のずれ量を導出し、色ずれ量情報を生成する。つまり、この場合、ＲＧＢ３Ｄ点ずれ量導出部４８２は、Ｒ、Ｇ、Ｂのそれぞれについての三角測量点同士の距離の２乗和を色ずれ量の大きさと定義し、各三角測量点を結ぶベクトルの方向を色ずれ量の向きと定義し、その色ずれ量を導出する。ＲＧＢ３Ｄ点ずれ量導出部４８２は、その色ずれ量情報を色ずれ補正部１８５に供給する。
　色ずれ補正部１８５は、その色ずれ量情報に基づいて色ずれ量の大きさを低減させるように補正を行い、色ずれ補正情報を生成し、投影制御部１８７に供給する。つまり、色ずれ補正部１８５は、色ずれ量の大きさが十分小さくなるように補正を行う。
　投影制御部１８７は、その色ずれ補正情報をプロジェクタ１０２に供給する。また、投影制御部１８７は、補正画像の投影指示をプロジェクタ１０２に供給し、補正画像を投影させる。さらに、投影制御部１８７は、格子画像の投影指示をプロジェクタ１０２に供給し、格子画像を投影させる。
　　＜プロジェクタの機能ブロック＞
　この場合のプロジェクタ１０２は、図５の場合と同様の構成を有する。この場合の情報処理部２０１がアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして図１６に示す。図１６に示されるように、情報処理部２０１は、アプリケーションプログラムを実行することにより、機能ブロックとして、色ずれ補正情報取得部２３２、構造化光生成部２３３、補正画像生成部２３４、および格子画像生成部４９１を有することができる。
　格子画像生成部４９１は、目視チェック用の格子柄の画像である格子画像を生成し、補正画像生成部２３４に供給する。補正画像生成部２３４は、その格子画像を、補正画像を投影させる場合と同様に、投影部２０２に供給し、投影させる。
　　＜カメラ＞
　図２３は、本技術を適用した情報処理装置の一実施の形態であるカメラ４０３の主な構成例を示す図である。図２３に示されるように、カメラ４０３は、情報処理部５０１、撮像部５０２、入力部５１１、出力部５１２、記憶部５１３、通信部５１４、およびドライブ５１５を有する。
　情報処理部５０１は、例えば、CPU、ROM、RAM等を有し、それらを用いてアプリケーションプログラム（ソフトウエア）を実行することにより、各種機能を実現しうるコンピュータである。例えば、情報処理部５０１は、撮像に関する処理を行うアプリケーションプログラム（ソフトウエア）をインストールし、実行しうる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　撮像部５０２は、光学系やイメージセンサ等を有し、被写体を撮像して撮像画像を生成しうる。撮像部５０２は、生成した撮像画像を情報処理部５０１に供給しうる。
　入力部５１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子等の入力デバイスを有し、それらの入力デバイスを介して入力された情報を情報処理部５０１に供給しうる。
　出力部５１２は、例えば、ディスプレイ（表示部）、スピーカ等（音声出力部）、出力端子等の出力デバイスを有し、情報処理部５０１から供給された情報を、それらの出デバイスを介して出力しうる。
　記憶部５１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリ等の記憶媒体を有し、情報処理部５０１から供給された情報を、その記憶媒体に記憶しうる。記憶部５１３は、その記憶媒体に記憶されている情報を読み出し、情報処理部５０１に供給しうる。
　通信部５１４は、例えば、ネットワークインタフェースを有し、他の装置から送信された情報を受信し、その受信した情報を情報処理部５０１に供給しうる。通信部５１４は、情報処理部５０１から供給された情報を他の装置宛てに送信しうる。
　ドライブ５１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１のインタフェースを有し、自身に装着されたリムーバブル記録媒体５２１に記録されている情報を読み出し、情報処理部５０１に供給しうる。ドライブ５１５は、情報処理部５０１から供給された情報を、自身に装着された書き込み可能なリムーバブル記録媒体５２１に記録しうる。
　情報処理部５０１は、例えば、記憶部５１３に記憶されているアプリケーションプログラムをロードして実行する。その際、情報処理部５０１は、各種の処理を実行する上において必要なデータ等も適宜記憶することができる。このアプリケーションプログラムやデータ等は、例えば、パッケージメディア等としてのリムーバブル記録媒体５２１に記録して提供することができる。その場合、このアプリケーションプログラムやデータ等は、リムーバブル記録媒体５２１が装着されたドライブ５１５により読み出され、情報処理部５０１を介して記憶部５１３にインストールされる。また、このアプリケーションプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、このアプリケーションプログラムやデータ等は、通信部５１４により受信され、情報処理部５０１を介して記憶部５１３にインストールされる。また、このアプリケーションプログラムやデータ等は、情報処理部５０１内のROMや記憶部５１３に、あらかじめインストールしておくこともできる。
　　＜カメラの機能ブロック＞
　情報処理部５０１がアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして図２４に示す。図２４に示されるように、情報処理部５０１は、アプリケーションプログラムを実行することにより、機能ブロックとして、撮像制御部５３１および撮像画像供給部５３２を有することができる。
　撮像制御部５３１は、制御装置４０１（の撮像制御部４８１）からの指示に基づいて、撮像部５０２を制御し、被写体を撮像させ、撮像画像を生成させる。撮像制御部５３１は、その撮像画像を取得し、撮像画像供給部５３２に供給する。
　撮像画像供給部５３２は、撮像制御部５３１から供給される撮像画像を、通信部５１４を介して制御装置４０１（の撮像制御部４８１）に供給する。
　　＜色ずれ補正処理の流れ＞
　制御装置４０１の情報処理部４５１により実行される色ずれ補正処理の流れの例を、図２５のフローチャートを参照して説明する。
　色ずれ補正処理が開始されると、投影制御部１８７は、ステップＳ２０１において、プロジェクタ１０２を制御し、構造化光を投影させる。撮像制御部４８１は、各カメラ４０３を制御し、そのスクリーン１２０に投影された構造化光の投影画像４２１を撮像する。
　この操作を、構造化光の色を変えながら繰り返す。つまり、構造化光の色毎に、この投影と撮像を行う。
　次に、ステップＳ２０２において、対応点検出部１８１は、以上のように生成された複数の撮像画像に基づいて、対応点を検出する。対応点検出部１８１は、この対応点検出を構造化光の色毎に行う。つまり、対応点検出部１８１は、同じ色の構造化光を撮像した複数の撮像画像において対応点を検出する。この対応点の検出方法は、第１の実施の形態の場合と同様である。対応点検出部１８１は、この処理を構造化光の色毎に行う。
　ステップＳ２０３において、カメラ姿勢推定部１８２は、カメラ４０３－１およびカメラ４０３－２の各姿勢（位置および向き）を推定する。カメラ姿勢推定部１８２は、この各カメラ４０３の姿勢の推定を、構造化光の色毎に行う。姿勢推定の方法は、第１の実施の形態の場合と同様である。
　ステップＳ２０４において、３Ｄ点復元部１８３は、以上のように推定された各カメラの位置姿勢に基づいて、各画素の３Ｄ投影位置である３Ｄ点３４１を復元する。３Ｄ点復元部１８３は、この処理を構造化光の色毎に行う。３Ｄ点の復元方法は、第１の実施の形態の場合と同様である。
　ステップＳ２０５において、ＲＧＢ３Ｄ点ずれ量導出部４８２は、色間の３Ｄ点のずれ量（大きさや方向）を色ずれ量として導出する。
　ステップＳ２０６において、色ずれ補正部１８５は、ステップＳ２０５において導出された色ずれ量（つまり、構造化光の色間のずれ量）の大きさが小さくなるように色ずれ補正を行う。この補正方法は、第１の実施の形態の場合と同様である。その際の補正量は、固定値であってもよいし、適応的に可変であってもよい。たとえば、色ずれ量の大きさに応じた補正量で補正するようにしてもよい。また、ＲＧＢの光線のうち２つの光線間の測量誤差は小さい（例えば、それらがほぼ１点で交わる）が、残りの光線との測量誤差が大きい場合、その光線に該当する色成分のみ補正するといった方法も適用することができる。
　ステップＳ２０７において、投影制御部１８７は、色ずれ補正情報をプロジェクタ１０２に供給し、色ずれ補正を行わせる。
　ステップＳ２０８において、色ずれ補正部１８５は、色ずれ量（の大きさ）が十分に小さいか否かを判定する。色ずれ量が大きいと判定された場合、処理はステップＳ２０１に戻る。そして、ステップＳ２０８において、色ずれ量が十分に小さいと判定された場合、処理はステップＳ２０９に進む。
　つまり、ステップＳ２０８において、色ずれ量が十分に小さい（例えば、ＲＧＢ光線が３次元空間において近接する（理想的には１点で交わる））と判定されるまで、ステップＳ２０１乃至ステップＳ２０８の各処理が繰り返し実行される。
　ステップＳ２０９において、投影制御部１８７は、プロジェクタ１０２に対して格子画像の投影を指示し、ユーザが目視で色ずれをチェックするための格子画像を投影させる。
　ステップＳ２０９の処理が終了すると、色ずれ補正処理が終了する。
　このように、色ずれ補正処理を行うことにより、制御装置４０１は、３次元的な色ずれの補正を行うことができる。したがって、より容易に色ずれを補正することができる。
　　＜色ずれ補正処理の流れ＞
　色ずれ補正を行う際に、ＲＧＢのいずれかの色を基準（注目色）とし、他の色とその注目色とのずれ量が低減するように、他の色について補正を行うようにしてもよい。
　その場合も、各装置の構成は、上述した投影撮像システム４００の場合と同様である。この場合の制御装置４０１の情報処理部４５１により実行される色ずれ補正処理の流れの例を、図２６のフローチャートを参照して説明する。
　色ずれ補正処理が開始されると、ステップＳ２３１乃至ステップＳ２３５の各処理は、図２５のフローチャートのステップＳ２０１乃至ステップＳ２０５の各処理と同様に実行される。
　ステップＳ２３６において、色ずれ補正部１８５は、注目光線（ＲＧＢのいずれか）の３Ｄ点にその他の光線の３Ｄ点を一致させるように（近づけるように）、色ずれの補正を行う。その際の補正の仕方は、図２５のフローチャートのステップＳ２０６の場合と同様である。
　ステップＳ２３７乃至ステップＳ２３９の各処理は、図２５のフローチャートのステップＳ２０７乃至ステップＳ２０９の各処理と同様に実行される。ステップＳ２３９の処理が終了すると、色ずれ補正処理が終了する。
　このように、色ずれ補正処理を行うことにより、制御装置４０１は、３次元的な色ずれの補正を行うことができる。したがって、より容易に色ずれを補正することができる。
　　＜白色を用いた色ずれ補正＞
　構造化光の色は、１つの光学デバイス（パネル等）を用いて投影されるものだけでなく、複数の光学デバイス（パネル等）を用いて投影される色が含まれていてもよい。例えば、プロジェクタ１０２が、全ての光学デバイス（パネル等）を用いて白色（Ｗ）の構造化光を投影し、その撮像画像を用いて色ずれ補正を行うようにしてもよい。
　例えば、１回目において、図２７のＡのように、プロジェクタ１０２が構造化光３０１－４（Ｗ）を投影し、カメラ４０３－１およびカメラ４０３－２が、図のように左右から投影画像を撮像する。２回目において、図２７のＢのように、プロジェクタ１０２が構造化光３０１－１（Ｒ）を投影し、カメラ４０３－１およびカメラ４０３－２が、図のように左右から投影画像を撮像する。３回目においては、図２７のＣのように、プロジェクタ１０２が構造化光３０１－３（Ｂ）を投影し、カメラ４０３－１およびカメラ４０３－２が、図のように左右から投影画像を撮像する。４回目においては、図２７のＤのように、プロジェクタ１０２が構造化光３０１－２（Ｇ）を投影し、カメラ４０３－１およびカメラ４０３－２が、図のように左右から投影画像を撮像する。
　このようにして、各回において（つまり、構造化光の色毎に）、複数の撮像画像を生成し、その複数の撮像画像を用いて対応点を検出する。そして色ずれ補正を行う場合、この白色（Ｗ）の構造画像に対応する３Ｄ点に、その他の色の３Ｄ点を近づけるように補正を行う。
　　＜制御装置の機能ブロック＞
　この場合の情報処理部４５１がアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして図２８に示す。図２８に示されるように、情報処理部４５１は、アプリケーションプログラムを実行することにより、機能ブロックとして、対応点検出部１８１、カメラ姿勢推定部１８２、３Ｄ点復元部１８３、色ずれ補正部１８５、投影制御部１８７、撮像制御部４８１、およびＷＲＧＢ３Ｄ点ずれ量導出部５５１を有することができる。
　撮像制御部４８１は、上述のように、Ｗ、Ｒ、Ｇ、Ｂの４色の構造化光のそれぞれについて、その投影画像の撮像画像を取得する。
　対応点検出部１８１は、構造化光の色毎に対応点検出を行い、対応点情報を生成する。つまり、対応点検出部１８１は、投影される構造化光の各色について、同一の投影画像を互いに異なる位置から撮像した複数の撮像画像における対応点を検出する。カメラ姿勢推定部１８２は、構造化光の色毎にカメラ４０３の姿勢を推定し、カメラ姿勢情報を生成する。３Ｄ点復元部１８３は、構造化光の色毎に３Ｄ点を復元し、３Ｄ点情報を生成する。
　ＷＲＧＢ３Ｄ点ずれ量導出部５５１は、３Ｄ点復元部１８３から供給されるカメラ姿勢情報および３Ｄ点情報に基づいて、ＷとＲＧＢの間の３Ｄ点のずれ量を導出し、色ずれ量情報を生成する。つまり、この場合、ＷＲＧＢ３Ｄ点ずれ量導出部５５１は、Ｗ、Ｒ、Ｇ、Ｂのそれぞれについての三角測量点同士の距離の２乗和を色ずれ量の大きさと定義し、各三角測量点を結ぶベクトルの方向を色ずれ量の向きと定義し、その色ずれ量を導出する。ＷＲＧＢ３Ｄ点ずれ量導出部５５１は、その色ずれ量情報を色ずれ補正部１８５に供給する。
　色ずれ補正部１８５は、その色ずれ量情報に基づいて、ＲＧＢの３Ｄ点を、Ｗの３Ｄ点に近づけるように（つまりＷとＲＧＢのそれぞれとの色ずれ量の大きさが低減するように）色ずれ補正を行い、色ずれ補正情報を生成し、投影制御部１８７に供給する。
　　＜色ずれ補正処理の流れ＞
　この場合の制御装置４０１の情報処理部４５１により実行される色ずれ補正処理の流れの例を、図２９のフローチャートを参照して説明する。
　色ずれ補正処理が開始されると、ステップＳ２６１乃至ステップＳ２６５の各処理は、図２６のフローチャートのステップＳ２３１乃至ステップＳ２３５の各処理と同様に実行される。ただし、図２６のフローチャートの場合、これらの各ステップの処理は、ＲＧＢの３色の構造化光のそれぞれについて行われたのに対し、図２９のフローチャートの場合、これらの各ステップの処理は、ＷＲＧＢの４色の構造化光のそれぞれについて行われる。
　ステップＳ２６６において、色ずれ補正部１８５は、白色（Ｗ）の３Ｄ点にその他（ＲＧＢ）の光線の３Ｄ点を一致させるように（近づけるように）、色ずれの補正を行う。その際の補正の仕方は、図２５のフローチャートのステップＳ２０６の場合と同様である。
　ステップＳ２６７乃至ステップＳ２６９の各処理は、図２６のフローチャートのステップＳ２３７乃至ステップＳ２３９の各処理と同様に実行される。ステップＳ２６９の処理が終了すると、色ずれ補正処理が終了する。
　このように、色ずれ補正処理を行うことにより、制御装置４０１は、３次元的な色ずれの補正を行うことができる。したがって、より容易に色ずれを補正することができる。
　＜４．第３の実施の形態＞
　　＜投影撮像システム＞
　色ずれ補正を行う代わりに、色ずれ補正も補償する幾何補正を行うようにしてもよい。図３０は、この場合の本技術を適用した情報処理システムの一実施の形態である投影撮像システムの主な構成例を示すブロック図である。図３０に示される投影撮像システム６００は、図２の投影撮像システム１００と同様、画像をスクリーン１２０に投影したり、スクリーン１２０を撮像したりするシステムであり、色ずれ補正を行うことができるシステムである。
　投影撮像システム４００は、プロジェクタ１０２－１、プロジェクタ１０２－２、制御装置４０１、カメラ４０３－１、およびカメラ４０３－２を有する。プロジェクタ１０２－１、プロジェクタ１０２－２、制御装置４０１、カメラ４０３－１、およびカメラ４０３－２は、通信路１１０を介して互いに通信可能に接続される。図２の場合と同様、この通信路１１０は、任意であり、有線であってもよいし、無線であってもよい。例えば、プロジェクタ１０２－１、プロジェクタ１０２－２、制御装置４０１、カメラ４０３－１、およびカメラ４０３－２は、この通信路１１０を介して、制御信号や画像データ等を授受することができる。
　プロジェクタ１０２－１およびプロジェクタ１０２－２は、例えば、制御装置４０１の制御に従って、入力画像をスクリーン１２０に投影することができる。その際、プロジェクタ１０２－１およびプロジェクタ１０２－２は、投影撮像システム１００の場合と同様に、互いに協働して画像を投影することができる。例えば、図３０の例の場合、スクリーン１２０には、互いに異なる色の構造化光の投影画像６１１および投影画像６１２が互いに重畳するように投影されている。投影画像６１１は、プロジェクタ１０２－１が投影した投影画像である。投影画像６１２は、プロジェクタ１０２－２が投影した投影画像である。
　カメラ４０３－１およびカメラ４０３－２は、互いに異なる位置からスクリーン１２０に投影された投影画像６１１および投影画像６１２を撮像する。
　制御装置４０１は、プロジェクタ１０２－１およびプロジェクタ１０２－２を制御し、構造化光の色の組み合わせを変えて投影させ、カメラ４０３－１およびカメラ４０３－２を制御し、その投影画像を撮像させる。構造化光の色の組み合わせを変えながら、このような投影と撮像を繰り返す。
　図３０においては、２台のカメラ４０３が示されているが、スクリーン１２０を撮像するカメラ４０３の数は、２台以上であれば何台でもよい。ただし、各カメラ４０３の位置（や姿勢）は互いに異なる。また、図３０においては、２台のプロジェクタ１０２が示されているが、画像を投影するプロジェクタ１０２の数は、２台以上であれば何台でもよい。
　このような投影撮像システム６００において、制御装置４０１は、投影撮像システム１００の携帯型端末装置１０１の場合と同様、プロジェクタ１０２において発生する３次元的な色ずれを補正することができる。
　ただし、この投影撮像システム６００の場合、対応点検出は、各プロジェクタ１０２が投影する構造化光の色の組み合わせ毎に行われる。
　例えば、１回目において、図３１のように、プロジェクタ１０２－１が構造化光３０１－１（Ｒ）を投影し、プロジェクタ１０２－２が構造化光３０１－３（Ｂ）を投影し、カメラ４０３－１およびカメラ４０３－２が、図のように左右から投影画像を撮像する。２回目においては、図３２のように、プロジェクタ１０２－１が構造化光３０１－３（Ｂ）を投影し、プロジェクタ１０２－２が構造化光３０１－２（Ｇ）を投影し、カメラ４０３－１およびカメラ４０３－２が、図のように左右から投影画像を撮像する。３回目においては、図３３のように、プロジェクタ１０２－１が構造化光３０１－２（Ｇ）を投影し、プロジェクタ１０２－２が構造化光３０１－１（Ｒ）を投影し、カメラ４０３－１およびカメラ４０３－２が、図のように左右から投影画像を撮像する。
　このようにして、各回において（つまり、構造化光の色の組み合わせ毎に）、複数の撮像画像を生成し、その複数の撮像画像を用いて対応点を検出する。
　　＜制御装置の機能ブロック＞
　情報処理部４５１がアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして図３４に示す。図３４に示されるように、情報処理部４５１は、アプリケーションプログラムを実行することにより、機能ブロックとして、対応点検出部１８１、カメラ姿勢推定部１８２、３Ｄ点復元部１８３、色ずれ量導出部１８４、投影制御部１８７、撮像制御部４８１、および色ずれ補償幾何補正部６３１を有することができる。
　撮像制御部４８１は、カメラ４０３に撮像指示を供給し、スクリーン１２０（に投影された投影画像６１１や投影画像６１２）を撮像させ、その撮像画像を取得する。撮像制御部４８１は、各カメラ４０３から取得した撮像画像を対応点検出部１８１に供給する。撮像制御部４８１は、投影される構造化光の色の組み合わせ毎に、このような制御処理を行い、構造化光の色の組み合わせ毎に互いに異なる位置から撮像した複数の撮像画像を得る。
　対応点検出部１８１は、構造化光の色の組み合わせ毎に対応点検出を行い、対応点情報を生成する。対応点検出部１８１は、投影撮像システム１００の場合と同様に、互いに異なる色の組み合わせの投影画像の複数の撮像画像において、投影画像を分離することにより、各投影部について、各色の投影画像の撮像画像を導出する。そして、対応点検出部１８１は、その構造化光の色の組み合わせ毎の撮像画像を用いて対応点を検出する。つまり、対応点検出部は、複数のプロジェクタ１０２から同時に投影された互いに異なる色の投影画像の撮像画像において、その投影画像を分離し、互いに異なる色の投影画像の撮像画像を導出し、各色について対応点を検出する。
　カメラ姿勢推定部１８２、３Ｄ点復元部１８３、および色ずれ量導出部１８４も同様に、構造化光の色の組み合わせ毎にそれぞれの処理を行う。
　色ずれ補償幾何補正部６３１は、色ずれ量導出部１８４により導出された色ずれ量（の大きさ）を低減させる色ずれ補正を補償する幾何補正を行う。つまり、この幾何補正を行うことにより、色ずれ量が十分に小さくなることが補償される。色ずれ補償幾何補正部６３１は、その幾何補正の為の制御情報である色ずれ補償幾何補正情報を投影制御部１８７に供給する。
　投影制御部１８７は、その色ずれ補償幾何補正情報を各プロジェクタ１０２に供給する。また、投影制御部１８７は、補正画像の投影指示を各プロジェクタ１０２に供給し、補正画像を投影させる。
　　＜プロジェクタの機能ブロック＞
　この場合の情報処理部２０１がアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして図３５に示す。図３５に示されるように、情報処理部２０１は、アプリケーションプログラムを実行することにより、機能ブロックとして、色ずれ補償幾何補正情報取得部６４１、構造化光生成部２３３、および補正画像生成部２３４を有することができる。
　色ずれ補償幾何補正情報取得部６４１は、制御装置４０１から供給される色ずれ補償幾何補正情報を取得し、補正画像生成部２３４に供給する。
　補正画像生成部２３４は、制御装置４０１の制御に基づいて、構造化光を補正し、補正画像を生成する。例えば、補正画像生成部２３４は、構造化光を色ずれ補償幾何補正情報に基づいて幾何補正し、色ずれ量（の大きさ）を低減させた補正画像を生成する。補正画像生成部２３４は、その補正画像を投影部２０２に供給して投影させる。
　以上のように、制御装置４０１は、３Ｄ投影位置に基づいて色ずれを補正するように幾何補正を行うので、３次元的な色ずれを補正することができる。また、プロジェクタ１０２は、その色ずれ量が低減される幾何補正を施した補正画像を投影することができる。したがって、投影撮像システム６００は、より容易に色ずれを補正することができる。
　　＜色ずれ補正処理の流れ＞
　この場合の制御装置４０１の情報処理部４５１により実行される色ずれ補正処理の流れの例を、図３６のフローチャートを参照して説明する。
　色ずれ補正処理が開始されると、投影制御部１８７は、ステップＳ３０１において、各プロジェクタ１０２を制御し、互いに異なる色の構造化光を投影させる。撮像制御部４８１は、各カメラ４０３を制御し、そのスクリーン１２０に投影された互いに異なる色の構造化光の投影画像６１１および投影画像６１２を撮像する。
　この操作を、構造化光の色の組み合わせを変えながら繰り返す。つまり、構造化光の色の組み合わせ毎に、この投影と撮像を行う。
　次に、ステップＳ３０２において、対応点検出部１８１は、以上のように生成された複数の撮像画像に基づいて、対応点を検出する。対応点検出部１８１は、この対応点検出を構造化光の色の組み合わせ毎に行う。この対応点の検出方法は、第１の実施の形態の場合と同様である。
　ステップＳ３０３において、カメラ姿勢推定部１８２は、カメラ４０３－１およびカメラ４０３－２の各姿勢（位置および向き）を推定する。カメラ姿勢推定部１８２は、この各カメラ４０３の姿勢の推定を、構造化光の色の組み合わせ毎に行う。姿勢推定の方法は、第１の実施の形態の場合と同様である。
　ステップＳ３０４において、３Ｄ点復元部１８３は、以上のように推定された各カメラの位置姿勢に基づいて、各画素の３Ｄ投影位置である３Ｄ点３４１を復元する。３Ｄ点復元部１８３は、この処理を構造化光の色の組み合わせ毎に行う。３Ｄ点の復元方法は、第１の実施の形態の場合と同様である。
　ステップＳ３０５において、色ずれ量導出部１８４は、色間の３Ｄ点のずれ量（大きさや方向）を色ずれ量として導出する。つまり、この場合、色ずれ量導出部１８４は、各色の組み合わせの三角測量点同士の距離の２乗和を色ずれ量の大きさと定義し、各三角測量点を結ぶベクトルの方向を色ずれ量の向きと定義し、その色ずれ量を導出する。
　ステップＳ３０６において、色ずれ補償幾何補正部６３１は、ステップＳ３０５において導出された色ずれ量（つまり、構造化光の色間のずれ量）が小さくなるような色ずれ補正を補償する幾何補正を行う。この補正方法は、第１の実施の形態の場合と同様である。その際の補正量は、固定値であってもよいし、適応的に可変であってもよい。たとえば、色ずれ量の大きさに応じた補正量で補正するようにしてもよい。また、ＲＧＢの光線のうち２つの光線間の測量誤差は小さい（例えば、それらがほぼ１点で交わる）が、残りの光線との測量誤差が大きい場合、その光線に該当する色成分のみ補正するといった方法も適用することができる。
　ステップＳ３０７において、投影制御部１８７は、色ずれ補償幾何補正情報をプロジェクタ１０２に供給し、色ずれ補正を考慮した幾何補正を行わせる。
　ステップＳ３０７の処理が終了すると、色ずれ補正処理が終了する。
　このように、色ずれ補正処理を行うことにより、制御装置４０１は、３次元的な色ずれの補正を行うことができる。したがって、より容易に色ずれを補正することができる。
　＜５．付記＞
　　＜ハードウエア＞
　上述した一連の処理は、ソフトウエア（アプリケーションプログラム）により実行させることもできるし、ハードウエアにより実行させることもできる。
　　＜本技術の適用対象＞
　また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
　さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
　なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
　（１）　ＲＧＢ光を互いに異なる光学デバイスを用いて投影する投影部の、前記光学デバイス毎の３Ｄ投影位置に基づいて、色ずれを補正する色ずれ補正部
　を備える情報処理装置。
　（２）　前記色ずれの大きさおよび方向を示す色ずれ量を導出する色ずれ量導出部をさらに備え、
　前記色ずれ補正部は、前記色ずれ量導出部により導出された前記色ずれ量が低減するように補正する
　（１）に記載の情報処理装置。
　（３）　前記３Ｄ投影位置を復元する復元部をさらに備え、
　前記色ずれ補正部は、前記復元部により復元された前記３Ｄ投影位置を復元する
　（２）に記載の情報処理装置。
　（４）　投影画像を互いに異なる位置のカメラにより撮像した複数の撮像画像に基づいて、前記カメラの姿勢を推定する姿勢推定部をさらに備え、
　前記復元部は、前記姿勢推定部により推定された前記カメラの姿勢に基づいて、前記３Ｄ投影位置を復元する
　（３）に記載の情報処理装置。
　（５）　前記姿勢推定部は、前記対応点検出部により検出された前記対応点を用いて、前記カメラの姿勢を推定する
　（４）に記載の情報処理装置。
　（６）　前記対応点検出部は、各色の投影画像を互いに異なる位置から撮像した複数の撮像画像における前記対応点を検出する
　（５）に記載の情報処理装置。
　（７）　前記対応点検出部は、複数の投影部から同時に投影された互いに異なる色の投影画像の撮像画像において、前記投影画像を分離し、互いに異なる色の投影画像の撮像画像を導出する
　（６）に記載の情報処理装置。
　（８）　前記対応点検出部は、互いに異なる色の組み合わせの投影画像の複数の撮像画像において、前記投影画像を分離することにより、各投影部について、各色の投影画像の撮像画像を導出する
　（７）に記載の情報処理装置。
　（９）　前記色ずれ補正部は、幾何補正を行うことにより、前記色ずれを補正する
　（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　前記対応点検出部は、各色について、同一の投影画像を互いに異なる位置から撮像した複数の撮像画像における前記対応点を検出する
　（５）乃至（９）のいずれかに記載の情報処理装置。
　（１１）　前記色ずれ補正部は、色ずれが十分小さくなるように補正する
　（１０）に記載の情報処理装置。
　（１２）　前記色ずれ補正部は、所定の注目色との間の色ずれが十分小さくなるように補正する
　（１０）または（１１）に記載の情報処理装置。
　（１３）　前記注目色は、白色である
　（１２）に記載の情報処理装置。
　（１４）　前記対応点検出部は、複数の投影部から同時に投影された互いに異なる色の投影画像の撮像画像において、前記投影画像を分離し、互いに異なる色の投影画像の撮像画像を導出し、各色について前記対応点を検出する
　（１０）乃至（１３）のいずれかに記載の情報処理装置。
　（１５）　前記色ずれ補正部は、前記色ずれ量導出部により導出された前記色ずれ量が低減するように幾何補正を行う
　（１４）に記載の情報処理装置。
　（１６）　前記色ずれ補正部による前記色ずれの補正を反映させた補正画像を投影させる投影制御部をさらに備える
　（１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記投影制御部は、格子画像をさらに投影させる
　（１６）に記載の情報処理装置。
　（１８）　前記投影部により投影された投影画像を撮像して前記投影画像の撮像画像を生成する撮像部をさらに備える
　（１）乃至（１７）のいずれかに記載の情報処理装置。
　（１９）　前記投影部をさらに備える
　（１）乃至（１８）のいずれかに記載の情報処理装置。
　（２０）　ＲＧＢ光を互いに異なる光学デバイスを用いて投影する投影部の、前記光学デバイス毎の３Ｄ投影位置に基づいて、色ずれを補正する
　情報処理方法。
　１００　投影撮像システム，　１０１　携帯型端末装置，　１０２　プロジェクタ，　１５１　情報処理部，　１５２　撮像部，　１８１　対応点検出部，　１８２　カメラ姿勢推定部，　１８３　３Ｄ点復元部，　１８４　色ずれ量導出部，　１８５　色ずれ補正部，　１８６　幾何補正部，　１８７　投影制御部，　２０１　情報処理部，　２０２　投影部，　２３１　幾何補正情報取得部，　２３２　色ずれ補正情報取得部，　２３３　構造化光生成部，　２３４　補正画像生成部，　４００　投影撮像システム，　４０１　制御装置，　４０３　カメラ，　４５１　情報処理部，　４８１　撮像制御部，　４８２　ＲＧＢ３Ｄ点ずれ量導出部，　４９１　格子画像生成部，　５０１　情報処理部，　５０２　撮像部，　５３１　撮像制御部，　５３２　撮像画像供給部，　５５１　ＷＲＧＢ３Ｄ点ずれ量導出部，　６００　投影撮像システム，　６３１　色ずれ補償幾何補正部，　６４１　色ずれ補償幾何補正情報取得部

Claims (20)

  1. 　ＲＧＢ光を互いに異なる光学デバイスを用いて投影する投影部の、前記光学デバイス毎の３Ｄ投影位置に基づいて、色ずれを補正する色ずれ補正部
    　を備える情報処理装置。
  2. 　前記色ずれの大きさおよび方向を示す色ずれ量を導出する色ずれ量導出部をさらに備え、
    　前記色ずれ補正部は、前記色ずれ量導出部により導出された前記色ずれ量が低減するように補正する
    　請求項１に記載の情報処理装置。
  3. 　前記３Ｄ投影位置を復元する復元部をさらに備え、
    　前記色ずれ補正部は、前記復元部により復元された前記３Ｄ投影位置を復元する
    　請求項２に記載の情報処理装置。
  4. 　投影画像を互いに異なる位置のカメラにより撮像した複数の撮像画像に基づいて、前記カメラの姿勢を推定する姿勢推定部をさらに備え、
    　前記復元部は、前記姿勢推定部により推定された前記カメラの姿勢に基づいて、前記３Ｄ投影位置を復元する
    　請求項３に記載の情報処理装置。
  5. 　複数の前記撮像画像における対応点を検出する対応点検出部をさらに備え、
    　前記姿勢推定部は、前記対応点検出部により検出された前記対応点を用いて、前記カメラの姿勢を推定する
    　請求項４に記載の情報処理装置。
  6. 　前記対応点検出部は、各色の投影画像を互いに異なる位置から撮像した複数の撮像画像における前記対応点を検出する
    　請求項５に記載の情報処理装置。
  7. 　前記対応点検出部は、複数の投影部から同時に投影された互いに異なる色の投影画像の撮像画像において、前記投影画像を分離し、互いに異なる色の投影画像の撮像画像を導出する
    　請求項６に記載の情報処理装置。
  8. 　前記対応点検出部は、互いに異なる色の組み合わせの投影画像の複数の撮像画像において、前記投影画像を分離することにより、各投影部について、各色の投影画像の撮像画像を導出する
    　請求項７に記載の情報処理装置。
  9. 　前記色ずれ補正部は、幾何補正を行うことにより、前記色ずれを補正する
    　請求項１に記載の情報処理装置。
  10. 　前記対応点検出部は、各色について、同一の投影画像を互いに異なる位置から撮像した複数の撮像画像における前記対応点を検出する
    　請求項５に記載の情報処理装置。
  11. 　前記色ずれ補正部は、色ずれが十分小さくなるように補正する
    　請求項１０に記載の情報処理装置。
  12. 　前記色ずれ補正部は、所定の注目色との間の色ずれが十分小さくなるように補正する
    　請求項１０に記載の情報処理装置。
  13. 　前記注目色は、白色である
    　請求項１２に記載の情報処理装置。
  14. 　前記対応点検出部は、複数の投影部から同時に投影された互いに異なる色の投影画像の撮像画像において、前記投影画像を分離し、互いに異なる色の投影画像の撮像画像を導出し、各色について前記対応点を検出する
    　請求項１０に記載の情報処理装置。
  15. 　前記色ずれ補正部は、前記色ずれ量導出部により導出された前記色ずれ量が低減するように幾何補正を行う
    　請求項１４に記載の情報処理装置。
  16. 　前記色ずれ補正部による前記色ずれの補正を反映させた補正画像を投影させる投影制御部をさらに備える
    　請求項１に記載の情報処理装置。
  17. 　前記投影制御部は、格子画像をさらに投影させる
    　請求項１６に記載の情報処理装置。
  18. 　前記投影部により投影された投影画像を撮像して前記投影画像の撮像画像を生成する撮像部をさらに備える
    　請求項１に記載の情報処理装置。
  19. 　前記投影部をさらに備える
    　請求項１に記載の情報処理装置。
  20. 　ＲＧＢ光を互いに異なる光学デバイスを用いて投影する投影部の、前記光学デバイス毎の３Ｄ投影位置に基づいて、色ずれを補正する
    　情報処理方法。
PCT/JP2021/029626 2020-08-24 2021-08-11 情報処理装置および方法 WO2022044807A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/016,612 US20230291877A1 (en) 2020-08-24 2021-08-11 Information processing device and method
CN202180050435.5A CN115867861A (zh) 2020-08-24 2021-08-11 信息处理装置和方法
JP2022545632A JPWO2022044807A1 (ja) 2020-08-24 2021-08-11

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-140609 2020-08-24
JP2020140609 2020-08-24

Publications (1)

Publication Number Publication Date
WO2022044807A1 true WO2022044807A1 (ja) 2022-03-03

Family

ID=80352259

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029626 WO2022044807A1 (ja) 2020-08-24 2021-08-11 情報処理装置および方法

Country Status (4)

Country Link
US (1) US20230291877A1 (ja)
JP (1) JPWO2022044807A1 (ja)
CN (1) CN115867861A (ja)
WO (1) WO2022044807A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229415A (ja) * 2004-02-13 2005-08-25 Nec Viewtechnology Ltd 複数のカメラを備えたプロジェクタ
JP2007325043A (ja) * 2006-06-02 2007-12-13 Victor Co Of Japan Ltd 画像表示装置及び画像表示プログラム
JP2009300961A (ja) * 2008-06-17 2009-12-24 Canon Inc 投写型表示装置
JP2010044255A (ja) * 2008-08-14 2010-02-25 Seiko Epson Corp 投写型表示装置および画像の補正方法
JP2010050542A (ja) * 2008-08-19 2010-03-04 Seiko Epson Corp 投写型表示装置および表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
JP5440230B2 (ja) * 2010-02-10 2014-03-12 セイコーエプソン株式会社 画像処理装置、画像表示システム、及び画像処理方法
JP2018007062A (ja) * 2016-07-04 2018-01-11 キヤノン株式会社 投影装置、その制御方法、および制御プログラム、並びに投影システム
DE102017010683B4 (de) * 2017-11-17 2019-08-14 domeprojection.com GmbH Verfahren zur automatischen Wiederherstellung eines eingemessenen Zustands eines Projektionssystems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229415A (ja) * 2004-02-13 2005-08-25 Nec Viewtechnology Ltd 複数のカメラを備えたプロジェクタ
JP2007325043A (ja) * 2006-06-02 2007-12-13 Victor Co Of Japan Ltd 画像表示装置及び画像表示プログラム
JP2009300961A (ja) * 2008-06-17 2009-12-24 Canon Inc 投写型表示装置
JP2010044255A (ja) * 2008-08-14 2010-02-25 Seiko Epson Corp 投写型表示装置および画像の補正方法
JP2010050542A (ja) * 2008-08-19 2010-03-04 Seiko Epson Corp 投写型表示装置および表示方法

Also Published As

Publication number Publication date
US20230291877A1 (en) 2023-09-14
CN115867861A (zh) 2023-03-28
JPWO2022044807A1 (ja) 2022-03-03

Similar Documents

Publication Publication Date Title
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
US9860494B2 (en) System and method for calibrating a display system using a short throw camera
US8711213B2 (en) Correction information calculating device, image processing apparatus, image display system, and image correcting method
CN106464825B (zh) 图像处理设备和方法
KR101820905B1 (ko) 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템
WO2017006780A1 (ja) 情報処理装置および方法、並びにプログラム
US8491128B2 (en) System and method for projection correction by capturing projection image
US8290271B2 (en) Method, medium and apparatus correcting projected image
WO2014069247A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
US20180364032A1 (en) Image processing apparatus and method, data, and recording medium
US20200128219A1 (en) Image processing device and method
JP6915537B2 (ja) 情報処理装置および方法、並びに、投影撮像装置および情報処理方法
US11074715B2 (en) Image processing apparatus and method
JP2016014720A (ja) 情報処理装置および方法
JP2014003586A (ja) 画像処理システム、画像処理方法およびプログラム
WO2019155903A1 (ja) 情報処理装置および方法
WO2019203002A1 (ja) 情報処理装置および方法
JP3741136B2 (ja) 障害物適応投射型表示装置
JP5711702B2 (ja) 投影型３次元形状復元装置、投影型３次元形状復元方法及び投影型３次元形状復元プログラム
US10750080B2 (en) Information processing device, information processing method, and program
JP2006074805A (ja) マルチプロジェクション映像表示装置
WO2022044807A1 (ja) 情報処理装置および方法
JP2007094036A (ja) 投影装置、投影方法及びプログラム
JP2005039849A (ja) 映像表示システム
US11727597B2 (en) Calibrating volumetric rig with structured light

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861235

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022545632

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21861235

Country of ref document: EP

Kind code of ref document: A1