WO2019244667A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2019244667A1
WO2019244667A1 PCT/JP2019/022682 JP2019022682W WO2019244667A1 WO 2019244667 A1 WO2019244667 A1 WO 2019244667A1 JP 2019022682 W JP2019022682 W JP 2019022682W WO 2019244667 A1 WO2019244667 A1 WO 2019244667A1
Authority
WO
WIPO (PCT)
Prior art keywords
adjustment
pattern
information processing
projection
control unit
Prior art date
Application number
PCT/JP2019/022682
Other languages
English (en)
French (fr)
Inventor
小林　直樹
洋祐 加治
都夢 田原
祐伍 勝木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2019244667A1 publication Critical patent/WO2019244667A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program, and particularly relates to an information processing apparatus, an information processing method, and a program capable of accurately detecting a corresponding point.
  • a projector / camera system in which a projector and a camera are provided and the situation can be checked by taking an image projected from the projector with the camera.
  • the ⁇ Structured ⁇ Light pattern is a pattern including a predetermined geometric pattern. Corresponding points are detected based on the Structured Light pattern projected from the projector and the Structured Light pattern captured in the image captured by the camera.
  • Patent Document 1 discloses a technique for automatically adjusting the shape of a pattern projected from a projector.
  • the present technology has been made in view of such a situation, and is to enable corresponding points to be detected with high accuracy.
  • An information processing apparatus repeatedly performs an update of an adjustment parameter that specifies at least one of an adjustment related to projection of a predetermined pattern and an adjustment related to shooting of the projected predetermined pattern.
  • a control unit that determines the adjustment parameter that satisfies a predetermined condition and is used for corresponding point detection, which is a process of detecting a correspondence between pixels of a projected image and pixels of a captured image.
  • an update of an adjustment parameter that specifies at least any one of adjustment related to projection of a predetermined pattern and adjustment related to shooting of the projected predetermined pattern is repeatedly performed, and the projection is performed.
  • An adjustment parameter that satisfies a predetermined condition, which is used for detecting a corresponding point, which is a process of detecting a correspondence between a pixel of the captured image and a pixel of the captured image, is determined.
  • FIG. 1 is a diagram illustrating a configuration example of a projector / camera system according to an embodiment of the present technology.
  • FIG. 4 is a diagram illustrating an example of corresponding point detection using a Structured @ Light pattern.
  • FIG. 3 is a block diagram illustrating a configuration example of an optical adjustment processing unit. It is a flowchart explaining an optical adjustment process.
  • FIG. 4 is a diagram illustrating a first specific example of optical adjustment.
  • FIG. 9 is a diagram illustrating a second specific example of optical adjustment.
  • FIG. 9 is a diagram illustrating a second specific example of optical adjustment. It is a block diagram showing an example of composition of a geometric adjustment processing part. It is a flowchart explaining a geometric adjustment process. It is a figure showing the example of geometric adjustment.
  • FIG. 4 is a diagram illustrating an example of corresponding point detection using a Structured @ Light pattern.
  • FIG. 3 is a block diagram illustrating a configuration example of an optical adjustment processing unit. It is a flow
  • FIG. 3 is a block diagram illustrating a configuration example of hardware of the information processing apparatus.
  • FIG. 2 is a block diagram illustrating a functional configuration example of an information processing device.
  • 9 is a flowchart illustrating a series of adjustment processing of the information processing device. It is a block diagram which shows the example of a structure of a geometric deformation processing part. It is a flowchart explaining a geometric deformation process.
  • FIG. 11 is a diagram illustrating an example of corresponding point detection when no geometric deformation is performed. It is a figure showing an example of corresponding point detection at the time of performing geometric deformation.
  • FIG. 14 is a diagram illustrating another example of corresponding point detection when no geometric deformation is performed. It is a figure showing other examples of corresponding point detection at the time of performing geometric transformation.
  • FIG. 9 is a diagram illustrating another configuration example of the projector.
  • FIG. 1 is a diagram illustrating a configuration example of a projector / camera system according to an embodiment of the present technology.
  • the projector / camera system in FIG. 1 is configured by connecting a projector 2 and a camera 3 to an information processing apparatus 1 such as a PC.
  • a screen 4 serving as a projection surface is provided in front of the projector 2.
  • the camera 3 is provided near the projector 2.
  • the projector 2 and the camera 3 may be constituted by devices having the same housing. Further, the camera 3 may be provided at a position away from the projector 2.
  • the image of the content such as a movie reproduced in the information processing device 1 is output to the projector 2 as a projection image and projected on the screen 4.
  • an image of the content output from another device such as a mobile terminal or a reproducing device may be projected from the projector 2.
  • the image of the content projected from the projector 2 is corrected in the information processing apparatus 1, for example, according to the arrangement of the system and the environment.
  • the information processing apparatus In order to project a content image, it is necessary to detect the arrangement and environment of the system and to obtain correction parameters in advance.
  • the corresponding point detection is a process of detecting pixels of an image captured by the camera 3 corresponding to each pixel of an image projected from the projector 2.
  • corresponding points may be detected by detecting pixels of an image projected from the projector 2 corresponding to respective pixels of an image captured by the camera 3.
  • the corresponding point detection the correspondence between the pixels constituting the image projected from the projector 2 and the pixels constituting the image captured by the camera 3 is detected.
  • Attitude estimation for estimating the arrangement of the projector 2, the camera 3, and the screen 4 is performed based on the result of the corresponding point detection, and a correction parameter is obtained based on the attitude estimation result.
  • a Structured @ Light pattern composed of a checker pattern as shown in FIG. 1 is used.
  • FIG. 2 is a diagram illustrating an example of corresponding point detection using a Structured Light pattern.
  • a corresponding point is detected based on a photographing pattern obtained by projecting a Structured Light pattern from the projector 2 and photographing the Structured Light pattern (projection pattern) projected on the screen 4 by the camera 3.
  • a rectangular area # 1 indicated by a broken line on the screen 4 represents a shooting range of the camera 3.
  • the adjustment of the Structured Light pattern to be projected and the adjustment of the photographing parameters are automatically performed according to the arrangement of the system and the environment without user operation. These adjustments are adjustments performed before the corresponding point is detected.
  • the information processing apparatus 1 can perform robust and highly accurate corresponding point detection.
  • the information processing apparatus 1 can perform posture estimation with high accuracy using a result of robust and high-accuracy corresponding point detection, and can appropriately adjust a correction parameter used when an image of a content is actually projected from the projector 2. Can be obtained.
  • Adjustments performed in the projector / camera system of FIG. 1 include optical adjustment and geometric adjustment.
  • the optical adjustment is an optical adjustment relating to the luminance of the Structured Light pattern and the shooting parameters. That is, the optical adjustment is performed for both the projector 2 and the camera 3 and is mainly performed according to a change in the illumination environment around the system.
  • the optical adjustment parameter determined by the optical adjustment is a parameter that specifies the details of the optical adjustment of the Structured Light pattern projected from the projector 2 and specifies the details of the optical adjustment of the shooting by the camera 3. .
  • the adjustment of the luminance of the Structured @ Light pattern or the adjustment of the shooting parameter may be performed as an optical adjustment instead of adjusting both the brightness of the ⁇ Structured ⁇ Light pattern and the adjustment of the shooting parameter.
  • the geometric adjustment is a geometric adjustment relating to the size, density, and shape of the Structured Light pattern.
  • the geometric adjustment is performed for the projector 2, and is mainly performed according to a change in the relative positional relationship between the projector 2, the camera 3, and the screen 4.
  • the geometric adjustment parameters determined by the geometric adjustment are parameters for specifying the details of the geometric adjustment of the Structured Light pattern projected from the projector 2.
  • At least one of the size, density, and shape of the ⁇ Structured ⁇ Light pattern may be adjusted as a geometric adjustment.
  • the Structured Light pattern is a checker pattern as shown in FIGS. 1 and 2 in which white blocks and black blocks are arranged in a checkered pattern.
  • the Structured @ Light pattern used in the adjustment before the corresponding point detection will be described as a checker pattern.
  • the projection plane is a plane. It is assumed that the number of projectors and the number of cameras are one each, and the adjustment of the cameras is performed by controlling the aperture.
  • FIG. 3 is a block diagram illustrating a configuration example of the optical adjustment processing unit.
  • the optical adjustment processing unit 11 includes a parameter management unit 21, a pattern projection control unit 22, a pattern imaging control unit 23, an optical adjustment parameter determination unit 24, and an optical adjustment parameter update unit 25.
  • the optical adjustment processing unit 11 that performs optical adjustment is realized in the information processing device 1 by executing a predetermined program.
  • the parameter management unit 21 outputs a geometric adjustment parameter for designating the block size of the checker pattern to the pattern projection control unit 22 and sets it.
  • the parameter management unit 21 outputs, to the pattern projection control unit 22, optical adjustment parameters for specifying the luminance values of the white level and the black level of the checker pattern.
  • the parameter management unit 21 outputs an optical adjustment parameter for designating the aperture value of the camera 3 to the pattern photographing control unit 23 and sets it.
  • the parameter management unit 21 appropriately updates the optical adjustment parameters set in the pattern projection control unit 22 and the pattern photographing control unit 23 according to the information supplied from the optical adjustment parameter update unit 25.
  • the pattern projection control unit 22 controls the projector 2 based on the optical adjustment parameters and the geometric adjustment parameters set by the parameter management unit 21, and projects a checker pattern.
  • the pattern photographing control unit 23 controls the camera 3 based on the optical adjustment parameters set by the parameter management unit 21 to photograph the projection pattern projected on the screen 4.
  • the image photographed by the pattern photographing control unit 23 is supplied to the optical adjustment parameter determination unit 24.
  • the optical adjustment parameter determination unit 24 determines whether to end the optical adjustment by analyzing the captured image.
  • the optical adjustment parameter determination unit 24 calculates a histogram of a checker pattern (photographing pattern) appearing in an image, and determines whether to end optical adjustment based on the histogram.
  • the optical adjustment parameter determination unit 24 determines whether the optical adjustment is to be ended. If the histogram distributions corresponding to white and black can be separated and the white histogram distribution is not saturated, it is determined that the optical adjustment is to be ended. On the other hand, if the histogram distributions corresponding to white and black cannot be separated, or if the white histogram distribution is saturated, it is determined that the optical adjustment is not to be terminated. Information representing the result of the determination by the optical adjustment parameter determination unit 24 is supplied to the optical adjustment parameter update unit 25.
  • the optical adjustment parameter updating unit 25 outputs information for instructing updating of the optical adjustment parameter to the parameter management unit 21 when the optical adjustment parameter determining unit 24 determines that the optical adjustment is not to be ended. In the parameter management unit 21, the updating of the optical adjustment parameters is repeated based on the information supplied from the optical adjustment parameter updating unit 25.
  • step S1 the parameter management unit 21 initializes optical adjustment parameters.
  • the optical adjustment parameters for example, a parameter for setting the luminance value of the white level of the checker pattern to the maximum value of 255 (8-bit luminance level), a parameter for setting the luminance value of the black level to the minimum value of 0, and A parameter for opening the aperture value is used.
  • the parameter management unit 21 outputs a parameter that specifies the luminance values of the white level and the black level to the pattern projection control unit 22, and outputs a parameter that specifies the aperture value of the camera 3 to the pattern shooting control unit 23. Initialize the dynamic adjustment parameters.
  • step S2 the parameter management unit 21 sets a geometric adjustment parameter by outputting a parameter designating the block size of the checker pattern to the pattern projection control unit 22. For example, a predetermined size that allows a block to be observed with a sufficiently large size in a basic system arrangement is specified.
  • step S3 the pattern projection control unit 22 controls the projector 2 to project a checker pattern.
  • the projection of the checker pattern is performed according to the optical adjustment parameters and the geometric adjustment parameters set by the parameter management unit 21.
  • the white level and the black level of the checker pattern are the brightness values specified by the optical adjustment parameters set by the parameter management unit 21.
  • the block size of the checker pattern is the size specified by the geometric adjustment parameter set by the parameter management unit 21.
  • step S4 the pattern photographing control unit 23 controls the camera 3 to photograph the projection pattern projected on the screen 4.
  • the imaging of the projection pattern is performed according to the optical adjustment parameters set by the parameter management unit 21.
  • the aperture value of the camera 3 is a value specified by the optical adjustment parameter.
  • the image photographed by the pattern photographing control unit 23 is supplied to the optical adjustment parameter determination unit 24.
  • step S5 the optical adjustment parameter determination unit 24 determines whether to end the optical adjustment.
  • step S5 If it is determined that the optical adjustment is not completed in step S5 because the histogram distributions corresponding to white and black cannot be separated or the white histogram distribution is saturated, the process proceeds to step S6. .
  • step S6 the optical adjustment parameter update unit 25 outputs information instructing the update of the optical adjustment parameter to the parameter management unit 21.
  • the optical adjustment processing only the optical adjustment parameters are updated, and the geometric adjustment parameters are not updated.
  • the optical adjustment parameters are updated so that the aperture value of the camera 3 is reduced by one step.
  • the optical adjustment parameter when the optical adjustment parameter has been updated a predetermined number of times or more and the aperture value of the camera 3 has been fully stopped down, the optical adjustment parameter is set so as to lower the luminance value of the white level of the checker pattern by one step. Is updated. The luminance value of the white level is reduced by a predetermined luminance corresponding to one step.
  • step S7 the parameter management unit 21 saves the optical adjustment parameter set at that time and ends the process.
  • the information processing apparatus 1 can set appropriate optical adjustment parameters according to various lighting environments.
  • FIG. 5 is a diagram illustrating a first specific example of optical adjustment.
  • FIG. 5 shows an example in which the optical adjustment is completed by updating the optical adjustment parameter relating to the aperture value.
  • the luminance value of the white level of the projection pattern remains at the maximum value of 255.
  • the aperture value of the camera 3 is set to 1. As shown in the center of FIG. 5A, in the photographing pattern, the difference between black and white of the checker pattern becomes unclear.
  • a histogram as indicated by the arrow A11 is calculated based on the photographing pattern.
  • the histogram distributions corresponding to white and black cannot be separated, and the white histogram distribution is saturated.
  • the optical adjustment parameters are updated, and the aperture value of the camera 3 is reduced by one step.
  • the aperture value of the camera 3 is 2.
  • the difference between white and black in the checker pattern is slightly sharper than the difference in A in FIG.
  • a histogram as indicated by the arrow A12 is calculated based on the photographing pattern.
  • the histogram distributions corresponding to white and black can be separated, the white histogram distribution is saturated.
  • the optical adjustment parameters are updated, and the aperture value of the camera 3 is reduced by one step.
  • the aperture value of the camera 3 is 3.
  • the difference between white and black in the checker pattern becomes clear.
  • a histogram as indicated by the arrow A13 is calculated based on the photographing pattern.
  • the histogram distributions corresponding to white and black can be separated, and the white histogram distribution is not saturated.
  • FIGS. 6 and 7 are diagrams showing a second specific example of the optical adjustment.
  • FIGS. 6 and 7 show an example in which the optical adjustment is completed by updating not only the optical adjustment parameter relating to the aperture value but also the optical adjustment parameter relating to the luminance value of the white level of the checker pattern.
  • I have. 6A, 6B, and 7A are the same as A to C in FIG. 5, respectively. Duplicate descriptions will be omitted as appropriate.
  • the aperture value of the camera 3 is reduced to 3 as far as possible.
  • the histogram distribution corresponding to white and black can be separated, as indicated by the arrow A23, a histogram in which the white histogram distribution is saturated is calculated based on the photographing pattern.
  • the optical adjustment parameter is updated, and the optical adjustment parameter is updated so as to lower the white level luminance value by one step.
  • the luminance value of the white level of the checker pattern is 235.
  • the luminance value of white of the checker pattern is reduced by one step.
  • the coloring of the white block in the checker pattern of FIG. 7B indicates that the white luminance value has decreased by one step.
  • a histogram as indicated by the arrow A24 is calculated based on the photographing pattern.
  • the histogram distributions corresponding to white and black can be separated, and the white histogram distribution is not saturated.
  • the histogram of the checker pattern has a distribution as shown in FIG. 7B, it is determined that the optical adjustment is to be terminated, and the optical adjustment parameters are stored.
  • the luminance value of the white level of the checker pattern is adjusted as the adjustment of the optical adjustment parameter for the projector 2 .
  • other parameters relating to the optical items may be adjusted. It may be. For example, it is possible to adjust the brightness value of the black level and the contrast of the checker pattern.
  • the aperture value is adjusted as the adjustment of the optical adjustment parameter for the camera 3
  • another parameter related to the optical item may be adjusted.
  • the content of the adjustment of the image processing performed in the camera 3 may be specified by an optical adjustment parameter.
  • the optical adjustment parameter relating to the brightness value of the white level of the checker pattern is updated after the optical adjustment parameter relating to the aperture value is updated.
  • the optical adjustment parameter relating to the aperture value may be updated.
  • a plurality of types of optical adjustment parameters may be updated instead of updating one type of optical adjustment parameter for each update.
  • an optical adjustment parameter that can separate the histogram distributions corresponding to white and black and that satisfies the condition that the white histogram distribution is not saturated is determined as a parameter to be used when detecting the corresponding point.
  • the optical adjustment parameter may be determined based on other conditions. For example, an optical adjustment parameter when the histogram distribution corresponding to white and black can be separated, or an optical adjustment parameter when the white histogram distribution is not saturated is determined as a parameter used at the time of detecting a corresponding point. It is possible to be.
  • FIG. 8 is a block diagram illustrating a configuration example of the geometric adjustment processing unit 31.
  • the geometric adjustment processing unit 31 includes a parameter management unit 41, a pattern projection control unit 42, a pattern imaging control unit 43, a geometric adjustment parameter determination unit 44, and a geometric adjustment parameter update unit 45.
  • the geometric adjustment processing unit 31 that performs processing related to geometric adjustment is also realized in the information processing device 1 by executing a predetermined program.
  • the parameter management unit 41 outputs a geometric adjustment parameter designating the block size of the checker pattern to the pattern projection control unit 42 and sets it.
  • the parameter management unit 41 outputs the optical adjustment parameters determined and stored by the optical adjustment to the pattern projection control unit 42 and the pattern photographing control unit 43, and sets them.
  • the parameter management unit 41 updates the geometric adjustment parameters set in the pattern projection control unit 42 according to the information supplied from the geometric adjustment parameter updating unit 55 as appropriate.
  • the pattern projection control unit 42 controls the projector 2 based on the optical adjustment parameters and the geometric adjustment parameters set by the parameter management unit 41, and projects a checker pattern.
  • the pattern photographing control unit 43 controls the camera 3 based on the optical adjustment parameters set by the parameter management unit 41, and photographs the projection pattern projected on the screen 4.
  • the image photographed by the pattern photographing control unit 43 is supplied to the geometric adjustment parameter determining unit 44.
  • the geometric adjustment parameter determination unit 44 determines whether to end the geometric adjustment by analyzing the captured image.
  • the geometric adjustment parameter determination unit 44 performs a binarization process on a captured image, and performs a process such as checker corner detection on the binarized image.
  • the geometric adjustment parameter determination unit 44 determines whether to terminate the geometric adjustment based on whether the detected number of corners of the checker pattern has reached the count number set as the threshold.
  • the geometric adjustment parameter updating unit 45 outputs information for instructing updating of the geometric adjustment parameter to the parameter management unit 41 when the geometric adjustment parameter determining unit 44 determines that the geometric adjustment is not completed. In the parameter management unit 41, the updating of the geometric adjustment parameter is repeated based on the information supplied from the geometric adjustment parameter updating unit 45.
  • the parameter management unit 41 initializes geometric adjustment parameters.
  • the geometric adjustment parameter for example, a parameter that specifies a block size that allows a block to be observed with a sufficiently large size in a basic system arrangement is used.
  • the parameter management unit 41 outputs a parameter designating the block size of the checker pattern to the pattern projection control unit 42, and initializes the geometric adjustment parameters.
  • step S12 the parameter management unit 41 outputs the optical adjustment parameters stored by the optical adjustment to the pattern projection control unit 42 and the pattern photographing control unit 43, and sets them.
  • a parameter that specifies the luminance value of the white level and the luminance value of the black level of the checker pattern obtained by the optical adjustment is set in the pattern projection control unit 42, and the parameter that specifies the aperture value of the camera 3 is the pattern photographing control unit 43. Is set to
  • step S13 the pattern projection control unit 42 controls the projector 2 to project a checker pattern.
  • the projection of the checker pattern is performed according to the geometric adjustment parameters and the optical adjustment parameters set by the parameter management unit 41.
  • step S14 the pattern photographing control section 43 controls the camera 3 to photograph the projection pattern projected on the screen 4.
  • the imaging of the projection pattern is performed according to the optical adjustment parameters set by the parameter management unit 41.
  • step S15 the geometric adjustment parameter determination unit 44 determines whether to end the geometric adjustment.
  • step S15 For example, if the number of corners of the checker pattern has reached the count number set as the threshold value and it is determined in step S15 that the geometric adjustment is not to be ended, the process proceeds to step S16.
  • step S16 the geometric adjustment parameter updating unit 45 outputs information for instructing to update the geometric adjustment parameter to the parameter management unit 41.
  • the geometric adjustment processing only the geometric adjustment parameters are updated, and the optical adjustment parameters are not updated.
  • the geometric adjustment parameters are updated so as to reduce the block size by one step.
  • the density of the checker pattern is increased (the block size is reduced), and adjustment using a high-density checker pattern is performed.
  • step S17 the parameter management unit 41 saves the geometric adjustment parameter set by the immediately preceding update, and ends the processing. That is, a geometric adjustment parameter that specifies a size one step larger than the block size specified by the geometric adjustment parameter set at that time is stored.
  • the information processing apparatus 1 can set an appropriate geometric adjustment parameter according to the arrangement of the system.
  • FIG. 10 is a diagram illustrating a specific example of the geometric adjustment.
  • one block size of the checker pattern is 10 ⁇ 10 (10 cm ⁇ 10 cm).
  • the number of corners of the checker pattern is calculated based on the photographing pattern as shown in the center of FIG.
  • the number of corners is calculated as 32 as shown at the tip of arrow A31.
  • the block size is 10 ⁇ 10
  • the total number of corners is 32
  • the value obtained by dividing the detected number of corners by the total number of corners is 1.0.
  • the geometric adjustment parameters are updated, and the block size of the checker pattern is reduced by one step.
  • the block size of the checker pattern is 8 ⁇ 8.
  • the number of corners of the checker pattern is calculated based on the photographing pattern as shown in the center of FIG. 10B.
  • the number of corners is calculated as 72 as shown at the tip of arrow A32.
  • the block size is 8 ⁇ 8
  • the total number of corners is 72
  • the value obtained by dividing the detected number of corners by the total number of corners is 1.0.
  • the geometric adjustment parameters are updated, and the block size of the checker pattern is reduced by one step.
  • the block size of the checker pattern is 6 ⁇ 6.
  • the number of corners of the checker pattern is calculated based on the photographing pattern as shown in the center of C in FIG.
  • the number of corners is calculated as 32 as shown at the tip of arrow A33.
  • the block size of the checker pattern is 6 ⁇ 6
  • the total number of corners is 128, and the value obtained by dividing the detected number of corners by the total number of corners is obtained as 0.25.
  • the geometric adjustment parameter that satisfies the condition that the number of corners of the checker pattern does not reach the predetermined count number is determined as a parameter used at the time of detecting a corresponding point, but based on other conditions, The geometric adjustment parameter may be determined.
  • FIG. 11 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 1.
  • a CPU Central Processing Unit 101
  • a ROM Read Only Memory
  • RAM Random Access Memory
  • the I / O expansion bus 105 is further connected to the bus 104.
  • the input / output expansion bus 105 is connected to a GPU (Graphics Processing Unit) 106, a UI (User Interface) I / F 109, a communication I / F 112, and a recording I / F 113.
  • GPU Graphics Processing Unit
  • UI User Interface
  • the GPU 106 renders an image projected from the projector 2 using the VRAM 107.
  • the GPU 106 generates a Structured @ Light pattern to be projected from the projector 2 and outputs it to the display I / F 108.
  • the display I / F 108 is an interface for outputting a projection image or the like.
  • the display I / F 108 is configured as an interface of a predetermined standard such as HDMI (registered trademark) (High-Definition Multimedia Interface).
  • HDMI registered trademark
  • High-Definition Multimedia Interface High-Definition Multimedia Interface
  • the UI I / F 109 is an interface for detecting an operation.
  • the UI I / F 109 detects a user operation performed using the keyboard 110 or the mouse 111, and outputs information representing the content of the operation to the CPU 101.
  • the communication I / F 112 is an interface for communication with an external device.
  • the communication I / F 112 is configured by a network interface such as a wireless LAN and a wired LAN.
  • the communication I / F 112 communicates with an external device via a network such as the Internet, and transmits and receives various data.
  • the content reproduced in the projector / camera system of FIG. 1 may be provided from a server via a network.
  • the communication I / F 112 receives an image captured by the camera 3 and showing the projection pattern.
  • the recording I / F 113 is an interface for a recording medium.
  • a recording medium such as an HDD 114 and a removable medium 115 is mounted on the recording I / F 113.
  • the recording I / F 113 reads out data recorded on the attached recording medium and writes data on the recording medium.
  • the HDD 114 records various data such as programs executed by the CPU 101 in addition to the contents.
  • FIG. 12 is a block diagram illustrating a functional configuration example of the information processing apparatus 1.
  • the control unit 121 includes a pattern projection control unit 141, a pattern shooting control unit 142, a corresponding point detection unit 143, a posture estimation unit 144, and a projection image acquisition unit 145, in addition to the optical adjustment processing unit 11 and the geometric adjustment processing unit 31. , And a projection control unit 146.
  • Each of the optical adjustment processing unit 11 and the geometric adjustment processing unit 31 is connected to the projector 2 and the camera 3 via a path (not shown).
  • the optical adjustment processing unit 11 outputs the optical adjustment parameters obtained by performing the optical adjustment to the geometric adjustment processing unit 31.
  • the geometric adjustment processing unit 31 outputs the geometric adjustment parameters obtained by performing the geometric adjustment together with the optical adjustment parameters supplied from the optical adjustment processing unit 11.
  • the optical adjustment parameters output from the geometric adjustment processing unit 31 are supplied to the pattern projection control unit 141 and the pattern photographing control unit 142, and the geometric adjustment parameters are supplied to the pattern projection control unit 141.
  • the pattern projection control unit 141 sets the luminance value of the white level of the Structured Light pattern according to the optical adjustment parameter, and sets the size of the checker constituting the Structured Light pattern according to the geometric adjustment parameter.
  • the pattern projection control section 141 controls the projector 2 to project a Structured @ Light pattern. Information about the Structured @ Light pattern projected by the pattern projection control unit 141 is supplied to the corresponding point detection unit 143.
  • the pattern photographing control unit 142 sets the aperture value of the camera 3 according to the optical adjustment parameter, and photographs the Structured Light pattern.
  • the image photographed by the pattern photographing control unit 142 and including the Structured @ Light pattern is output to the corresponding point detection unit 143.
  • the corresponding point detection unit 143 detects corresponding points based on the Structured Light pattern projected by the pattern projection control unit 141 and the Structured Light pattern shown in the image photographed by the pattern photographing control unit 142. Information representing the detection result by the corresponding point detection unit 143 is supplied to the posture estimation unit 144.
  • the posture estimating unit 144 performs posture estimation based on the result of the corresponding point detection by the corresponding point detecting unit 143, and specifies the positional relationship between the projector 2, the camera 3, and the screen 4, and the like.
  • the projection image acquisition unit 145 reproduces the content and outputs the image of the content to the projection control unit 146 as a projection image.
  • the projection control unit 146 generates a correction parameter to be applied when actually projecting the image of the content based on the result of the posture estimation by the posture estimation unit 144.
  • the projection control unit 146 corrects the image of the content based on the generated correction parameter, and outputs the corrected image to the projector 2 for projection.
  • step S51 the optical adjustment processing unit 11 performs an optical adjustment process.
  • the same processing as the optical adjustment processing described with reference to FIG. 4 is performed.
  • step S52 the geometric adjustment processing unit 31 performs a geometric adjustment process.
  • the same processing as the geometric adjustment processing described with reference to FIG. 9 is performed.
  • step S53 optical adjustment parameters and geometric adjustment parameters are set.
  • the pattern projection control unit 141 sets the luminance value of the white level of the Structured @ Light pattern based on the optical adjustment parameters obtained by the optical adjustment process, and sets the brightness value of the white level of the Structured @ Light pattern to the geometric adjustment parameters obtained by the geometric adjustment process. Based on this, set the size of the checkers that make up the Structured Light pattern. Further, the pattern photographing control unit 142 sets the aperture value of the camera 3 based on the optical adjustment parameters obtained by the optical adjustment processing.
  • step S54 the pattern projection control section 141 controls the projector 2 to project a Structured Light pattern.
  • step S55 the pattern photographing control unit 142 photographs the projected Structured @ Light pattern and outputs an image in which the Structured @ Light pattern is captured to the corresponding point detection unit 143.
  • step S ⁇ b> 56 the corresponding point detection unit 143 performs corresponding point detection based on the projected Structured @ Light pattern and the Structured @ Light pattern in the captured image.
  • step S57 the posture estimating unit 144 performs posture estimation based on the result of the corresponding point detection by the corresponding point detecting unit 143.
  • step S58 the projection control unit 146 generates a correction parameter to be applied when actually projecting the image of the content based on the result of the posture estimation.
  • the projection control unit 146 saves the correction parameters and ends the processing.
  • the information processing apparatus 1 can set the optical and geometric adjustment parameters suitable for the environment, project and shoot the Structured Light pattern, and detect the corresponding point. Thereby, the information processing apparatus 1 can perform the corresponding point detection with high robustness with high accuracy.
  • the information processing apparatus 1 automatically adjusts the Structured Light pattern and adjusts the shooting parameters without user operation, it is possible to reduce the user's load for detecting the corresponding points. Further, it is possible to improve the quality of the image of the content (the image after correction) actually projected from the projector 2.
  • Geometric deformation may be applied to the Structured Light pattern actually used for the corresponding point detection. Geometric deformation is a process of changing the shape of a structured light pattern.
  • the corresponding points are detected based on the image obtained by projecting and photographing the ⁇ Geometrically deformed Structured ⁇ Light pattern, and the above-described processing such as posture estimation is performed thereafter.
  • Geometric deformation is performed when the arrangement of the projector 2, the camera 3, and the screen 4 is known in advance by a predetermined method. Information about the system arrangement is input by, for example, a user of the information processing apparatus 1. The geometric deformation may be performed based on the arrangement of the projector 2, the camera 3, and the screen 4 estimated by the processing in FIG.
  • FIG. 14 is a block diagram illustrating a configuration example of the geometric deformation processing unit.
  • the geometric deformation processing unit 151 includes an arrangement information acquisition unit 161, a parameter management unit 162, a pattern deformation / projection control unit 163, and a pattern photographing control unit 164.
  • the geometric deformation processing unit 151 having such a configuration is provided in the control unit 121.
  • the arrangement information acquisition unit 161 acquires and manages system arrangement information, which is information relating to the arrangement of the projector 2, the camera 3, and the screen 4.
  • the system arrangement information managed by the arrangement information acquisition unit 161 is supplied to the pattern deformation / projection control unit 163 when corresponding points are detected.
  • the parameter management unit 162 acquires and manages optical adjustment parameters obtained by optical adjustment and geometric adjustment parameters obtained by geometric adjustment.
  • the optical adjustment parameters managed by the parameter management unit 162 are supplied to the pattern deformation / projection control unit 163 and the pattern photographing control unit 164 when corresponding points are detected.
  • the geometric adjustment parameters managed by the parameter management unit 162 are supplied to the pattern deformation / projection control unit 163 when corresponding points are detected.
  • the pattern deformation / projection control unit 163 sets the luminance value of the white level of the Structured @ Light pattern used for corresponding point detection according to the optical adjustment parameter, similarly to the pattern projection control unit 141 of FIG. 12, and sets the block size of the Structured @ Light pattern. Is set according to the geometric adjustment parameters.
  • the pattern deformation / projection control unit 163 deforms the Structured Light pattern adjusted by setting the optical adjustment parameter and the geometric adjustment parameter based on the system arrangement information supplied from the arrangement information acquisition unit 161.
  • the pattern deformation / projection control unit 163 controls the projector 2 to project the deformed Structured Light pattern.
  • the pattern photographing control unit 164 sets the aperture value of the camera 3 according to the optical adjustment parameter, and photographs the Structured Light pattern projected by the pattern deformation / projection control unit 163.
  • the image photographed by the pattern photographing control unit 164 is supplied to the corresponding point detection unit 143 (FIG. 12) and used for corresponding point detection.
  • step S71 optical adjustment parameters and geometric adjustment parameters are set.
  • the processing in step S71 is similar to the processing in step S53 in FIG.
  • the luminance value of the Structured Light pattern is set according to the optical adjustment parameter
  • the block size of the Structured Light pattern is set according to the geometric adjustment parameter.
  • the aperture value of the camera 3 is set according to the optical adjustment parameters.
  • step S72 the pattern deformation / projection control unit 163 performs a geometric deformation on the structured $ Light pattern based on the system arrangement information supplied from the arrangement information acquisition unit 161.
  • FIG. 16 is a diagram illustrating an example of corresponding point detection when no geometric deformation is performed. A description overlapping with the description of FIG. 2 will be omitted as appropriate. The same applies to FIGS. 17 to 19.
  • the projector 2A which is an ultra-short focus projector, projects the image in a form looking up from near the wall surface on which the screen 4 is installed. Further, the camera 3 shoots the image projected on the screen 4 from the vicinity of the projector 2A while looking up. Since the photographing is performed while looking up, the photographing range of the camera 3 is an upside-down trapezoidal area # 11 as indicated by a broken line on the screen 4.
  • FIG. 17 is a diagram illustrating an example of corresponding point detection when geometric deformation is performed.
  • a Structured Light pattern that is distorted in an inverted trapezoidal shape when viewed from the front is projected on the screen 4.
  • a homography conversion that reduces distortion on an image captured by the camera 3 is performed as geometric deformation.
  • the adjustment based on the optical adjustment parameters and the adjustment based on the geometric adjustment parameters are performed before the geometric deformation.
  • the information processing apparatus 1 can perform robust and highly accurate corresponding point detection.
  • Corresponding point detection may be performed using the imaging results of a plurality of Structured Light patterns.
  • the geometric deformation based on the system arrangement information is performed on each Structured @ Light pattern.
  • FIG. 18 is a diagram illustrating an example of corresponding point detection when no geometric deformation is performed.
  • a dome screen 4A having a dome-shaped (hemispherical) projection surface is provided instead of the screen 4 having a flat projection surface.
  • the projection range of the projector 2B which is a fish-eye conversion lens-equipped projector, is a distorted range as shown on a dome-shaped projection surface. Further, the shooting range of the camera 3 is also a distorted range shown by a broken line. An area # 21 in FIG.
  • the information processing device 1 cannot appropriately perform the corresponding point detection.
  • FIG. 19 is a diagram showing an example of corresponding point detection when geometric deformation is performed.
  • a Structured Light pattern having a shape different from that of FIG. 18 is projected on the dome-shaped projection surface.
  • a homography conversion that reduces distortion on an image captured by the camera 3 is performed as geometric deformation.
  • the adjustment based on the optical adjustment parameters and the adjustment based on the geometric adjustment parameters are performed before the geometric deformation.
  • the information processing apparatus 1 can perform robust and highly accurate corresponding point detection.
  • Corresponding point detection may be performed using the imaging results of a plurality of Structured Light patterns.
  • the geometric deformation based on the system arrangement information is performed on each Structured @ Light pattern.
  • the information processing apparatus 1 can handle even when an ultra-short focus projector or a projector with a fish-eye conversion lens is used. Point detection can be performed appropriately.
  • a screen having a projection surface of various shapes such as a dome-shaped screen can be used.
  • the number of projectors and cameras constituting the projector / camera system is one each, a plurality of projectors and cameras may be provided.
  • the adjustment function including the calculation of the optical adjustment parameter and the geometric adjustment parameter is provided in the information processing apparatus 1, the adjustment function may be provided in the projector 2. In this case, each functional unit shown in FIG.
  • FIG. 20 is a diagram showing another example of the configuration of the projector.
  • the projector 201 includes a control unit 121, a photographing unit 211, and a projection unit 212.
  • the control unit 121 in FIG. 20 has the same function as the control unit 121 in FIG.
  • the photographing unit 211 has the same function as that of the camera 3.
  • Projection unit 212 has the same function as projector 2.
  • control unit 121 may be provided in the projector.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed from a program recording medium into the computer of FIG.
  • the program executed by the CPU 101 is recorded on the removable medium 115 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and is installed on the HDD 114.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the sequence described in this specification, or may be performed in parallel or at a necessary timing such as when a call is made.
  • the program may be executed.
  • a system means a set of a plurality of components (devices, modules (parts), and the like), and it does not matter whether all components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network, and processing is performed jointly.
  • each step described in the above-described flowchart can be executed by one device, or can be shared and executed by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step may be executed by one device or may be shared and executed by a plurality of devices.
  • the present technology can also have the following configurations.
  • (1) The adjustment relating to the projection of the predetermined pattern and the adjustment relating to at least any one of the adjustments relating to the imaging of the projected predetermined pattern are repeatedly performed, and the pixels of the projected image and the captured image are repeatedly updated.
  • An information processing apparatus comprising: a control unit that determines the adjustment parameter that satisfies a predetermined condition, which is used for detecting a corresponding point, which is a process of detecting a correspondence relationship with an image pixel.
  • (2) The control unit may further include a first adjustment parameter that specifies at least one of optical adjustment relating to projection of the predetermined pattern and optical adjustment relating to imaging of the projected predetermined pattern.
  • the information processing apparatus wherein the optical adjustment related to the projection of the predetermined pattern is an adjustment of a pixel value of the predetermined pattern.
  • the control unit adjusts the luminance value of the predetermined pattern by repeatedly updating the adjustment parameter.
  • the information processing apparatus wherein the optical adjustment related to the imaging of the projected predetermined pattern is an adjustment of a camera used for imaging of the predetermined pattern.
  • the control unit adjusts at least one of an aperture, a shutter speed, and a sensitivity of the camera by repeatedly updating the adjustment parameter.
  • the information processing device according to any one of (2) to (6), wherein the control unit repeatedly updates a second adjustment parameter specifying contents of geometric adjustment of the predetermined pattern to be projected.
  • the geometric adjustment of the predetermined pattern to be projected is an adjustment of at least one of a size, a density, and a shape of a pattern constituting the predetermined pattern.
  • the information processing apparatus according to any one of (1) to (8), further including a projection control unit configured to control projection of the predetermined pattern by the projection unit according to the updated adjustment parameter.
  • the information processing device according to (9), further including a shooting control unit configured to control shooting of the projected predetermined pattern by a shooting unit according to the updated adjustment parameter.
  • the other pattern used for the corresponding point detection is deformed based on the positional relationship between the projection unit, the imaging unit, and the projection surface of the other pattern, and the other pattern after deformation is projected from the projection unit.
  • the information processing device is Adjustment relating to the projection of the predetermined pattern, and updating of the adjustment parameter specifying at least one of the contents of the adjustment relating to the imaging of the projected predetermined pattern are repeatedly performed,
  • An information processing method for determining the adjustment parameter that satisfies a predetermined condition and is used for corresponding point detection which is a process of detecting a correspondence between pixels of a projected image and pixels of a captured image.
  • Adjustment relating to the projection of the predetermined pattern, and updating of the adjustment parameter specifying at least one of the contents of the adjustment relating to the imaging of the projected predetermined pattern are repeatedly performed,
  • a program for executing a process of determining the adjustment parameter satisfying a predetermined condition, which is used for detecting a corresponding point which is a process of detecting a correspondence relationship between a pixel of a projected image and a pixel of a captured image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本技術は、対応点検出を精度良く行うことができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 本技術の一側面の情報処理装置は、所定のパターンの投影に関する調整と、投影された所定のパターンの撮影に関する調整とのうちの少なくともいずれかの内容を指定する調整パラメータの更新を繰り返し行い、投影された画像の画素と撮影された画像の画素との対応関係を検出する処理である対応点検出に用いられる、所定の条件を満たす調整パラメータを決定する。本技術は、プロジェクタの投影を制御する情報処理装置に適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、対応点検出を精度よく行うことができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　プロジェクタとカメラを設け、プロジェクタから投影した画像をカメラで撮影することによって状況を確認できるようにしたプロジェクタ・カメラシステムがある。
　一般的なプロジェクタ・カメラシステムにおいては、システムの設置状況や環境に応じて、Structured Lightパターンの調整と撮影パラメータの調整をユーザ自身が行う必要があり、負荷が大きい。
　Structured Lightパターンは、所定の幾何的な模様を含むパターンである。プロジェクタから投影するStructured Lightパターンと、カメラにより撮影して得られた画像に写るStructured Lightパターンとに基づいて対応点の検出が行われる。
　例えば特許文献１には、プロジェクタから投影するパターンの形状の調整を自動的に行う技術が開示されている。
特開２０１３-３７０１２号公報 特開２０１３-３６９８３号公報
　ロバストかつ高精度な対応点検出（撮影パターンのデコード）を行うためには、Structured Lightパターンと撮影パラメータの調整を適切に行う必要がある。対応点検出を高精度に行うことにより、プロジェクタから実際に投影する画像の補正を適切に行うことができ、投影画像の品質を高めることが可能となる。
　本技術はこのような状況に鑑みてなされたものであり、対応点検出を精度よく行うことができるようにするものである。
　本技術の一側面の情報処理装置は、所定のパターンの投影に関する調整と、投影された前記所定のパターンの撮影に関する調整とのうちの少なくともいずれかの内容を指定する調整パラメータの更新を繰り返し行い、投影された画像の画素と撮影された画像の画素との対応関係を検出する処理である対応点検出に用いられる、所定の条件を満たす前記調整パラメータを決定する制御部を備える。
　本技術の一側面においては、所定のパターンの投影に関する調整と、投影された所定のパターンの撮影に関する調整とのうちの少なくともいずれかの内容を指定する調整パラメータの更新が繰り返し行われ、投影された画像の画素と撮影された画像の画素との対応関係を検出する処理である対応点検出に用いられる、所定の条件を満たす調整パラメータが決定される。
　本技術によれば、対応点検出を精度よく行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係るプロジェクタ・カメラシステムの構成例を示す図である。 Structured Lightパターンを用いた対応点検出の例を示す図である。 光学的調整処理部の構成例を示すブロック図である。 光学的調整処理を説明するフローチャートである。 光学的調整の第１の具体例を示す図である。 光学的調整の第２の具体例を示す図である。 光学的調整の第２の具体例を示す図である。 幾何的調整処理部の構成例を示すブロック図である。 幾何的調整処理を説明するフローチャートである。 幾何的調整の具体例を示す図である。 情報処理装置のハードウェアの構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 情報処理装置の一連の調整処理を説明するフローチャートである。 幾何的変形処理部の構成例を示すブロック図である。 幾何的変形処理を説明するフローチャートである。 幾何的変形が行われない場合の対応点検出の例を示す図である。 幾何的変形が行われる場合の対応点検出の例を示す図である。 幾何的変形が行われない場合の対応点検出の他の例を示す図である。 幾何的変形が行われる場合の対応点検出の他の例を示す図である。 プロジェクタの他の構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．プロジェクタ・カメラシステムについて
　２．光学的調整について
　３．幾何的調整について
　４．情報処理装置の構成と動作
　５．変形例
＜＜プロジェクタ・カメラシステムについて＞＞
　図１は、本技術の一実施形態に係るプロジェクタ・カメラシステムの構成例を示す図である。
　図１のプロジェクタ・カメラシステムは、PCなどの情報処理装置１に対して、プロジェクタ２とカメラ３が接続されることによって構成される。プロジェクタ２の前方には投影面となるスクリーン４が設けられる。
　例えばカメラ３はプロジェクタ２の近くに設けられる。プロジェクタ２とカメラ３が同一筐体の装置から構成されるようにしてもよい。また、プロジェクタ２から離れた位置にカメラ３が設けられるようにしてもよい。
　情報処理装置１において再生された映画などのコンテンツの画像は、投影画像としてプロジェクタ２に出力され、スクリーン４に投影される。情報処理装置１において再生されたコンテンツではなく、携帯端末、再生装置などの他の装置から出力されたコンテンツの画像がプロジェクタ２から投影されるようにしてもよい。
　プロジェクタ２から投影するコンテンツの画像に対しては、システムの配置や環境などに応じた補正が例えば情報処理装置１において施される。コンテンツの画像を投影するためには、システムの配置や環境を検出して、補正パラメータを予め求めておく必要がある。
　システムの配置や環境を適切に検出するためには、対応点検出が精度よく行われる必要がある。対応点検出は、プロジェクタ２から投影する画像の各画素に対応する、カメラ３により撮影された画像の画素を検出する処理である。
　反対に、カメラ３により撮影された画像の各画素に対応する、プロジェクタ２から投影する画像の画素を検出するようにして対応点検出が行われるようにしてもよい。対応点検出により、プロジェクタ２から投影する画像を構成する画素と、カメラ３により撮影された画像を構成する画素との対応関係が検出される。
　対応点検出の結果に基づいて、プロジェクタ２、カメラ３、およびスクリーン４の配置などを推定する姿勢推定が行われ、姿勢推定の結果に基づいて補正パラメータが求められる。対応点検出には、例えば、図１に示すようなチェッカーパターンからなるStructured Lightパターンが用いられる。
　図２は、Structured Lightパターンを用いた対応点検出の例を示す図である。
　図２に示すように、Structured Lightパターンをプロジェクタ２から投影し、スクリーン４に投影されたStructured Lightパターン（投影パターン）をカメラ３により撮影して得られた撮影パターンに基づいて対応点検出が行われる。
　図２において、スクリーン４上に破線で示す矩形の領域＃１はカメラ３の撮影範囲を表す。Structured Lightパターンの投影と撮影が暗い環境で行われている場合、図２の右下に示すように、Structured Lightパターンの周りに暗い領域が形成された画像が撮影される。
　ところで、対応点検出を精度よく行うためには、Structured Lightパターンの投影が適切に行われるとともに、投影されたStructured Lightパターンの撮影が適切に行われる必要がある。
　図１のプロジェクタ・カメラシステムにおいては、投影するStructured Lightパターンの調整と撮影パラメータの調整とが、システムの配置や環境に応じて、ユーザの操作によらずに自動的に行われる。これらの調整は、対応点検出の前に予め行われる調整である。
　Structured Lightパターンの調整と撮影パラメータの調整とがシステムの配置や環境に応じて適切に行われることにより、情報処理装置１は、ロバストかつ高精度な対応点検出を行うことが可能となる。
　また、情報処理装置１は、ロバストかつ高精度な対応点検出の結果を用いて姿勢推定を高精度に行うことができ、コンテンツの画像をプロジェクタ２から実際に投影するときに用いる補正パラメータを適切に求めることが可能となる。
　図１のプロジェクタ・カメラシステムにおいて行われる調整には、光学的調整と幾何的調整がある。
　光学的調整は、Structured Lightパターンの輝度、および、撮影パラメータに関する光学的な調整である。すなわち、光学的調整は、プロジェクタ２とカメラ３の両方を対象とし、主に、システム周辺の照明環境の変化に応じて行われる。光学的調整により決定される光学的調整パラメータは、プロジェクタ２から投影するStructured Lightパターンの光学的な調整の内容を指定するとともに、カメラ３による撮影の光学的な調整の内容を指定するパラメータとなる。
　Structured Lightパターンの輝度の調整と撮影パラメータの調整の両方の調整ではなく、Structured Lightパターンの輝度の調整、または、撮影パラメータの調整が光学的な調整として行われるようにしてもよい。
　一方、幾何的調整は、Structured Lightパターンのサイズ、密度、形状に関する幾何的な調整である。幾何的調整は、プロジェクタ２を対象とし、主に、プロジェクタ２、カメラ３、スクリーン４の相対的な位置関係の変化に応じて行われる。幾何的調整により決定される幾何的調整パラメータは、プロジェクタ２から投影するStructured Lightパターンの幾何的な調整の内容を指定するパラメータとなる。
　Structured Lightパターンのサイズ、密度、形状のうちの少なくともいずれかの調整が幾何的な調整として行われるようにしてもよい。
＜＜光学的調整について＞＞
　はじめに、光学的調整について説明する。
　ここでは、説明の便宜上、Structured Lightパターンが、白ブロックと黒ブロックが市松状に配置された、図１、図２に示すようなチェッカーパターンであるものとする。対応点検出の前の調整において用いられるStructured Lightパターンをチェッカーパターンとして説明する。また、投影面が平面であるものとする。プロジェクタとカメラの台数はそれぞれ１台であり、カメラの調整は、絞りを制御することによって行われるものとする。
＜光学的調整処理部の構成＞
　図３は、光学的調整処理部の構成例を示すブロック図である。
　光学的調整処理部１１は、パラメータ管理部２１、パターン投影制御部２２、パターン撮影制御部２３、光学的調整パラメータ判定部２４、および光学的調整パラメータ更新部２５から構成される。光学的調整を行う光学的調整処理部１１は、所定のプログラムが実行されることによって情報処理装置１において実現される。
　パラメータ管理部２１は、チェッカーパターンのブロックサイズを指定する幾何的調整パラメータをパターン投影制御部２２に出力し、設定する。
　また、パラメータ管理部２１は、チェッカーパターンの白レベルと黒レベルの輝度値を指定する光学的調整パラメータをパターン投影制御部２２に出力し、設定する。パラメータ管理部２１は、カメラ３の絞り値を指定する光学的調整パラメータをパターン撮影制御部２３に出力し、設定する。
　パラメータ管理部２１は、適宜、光学的調整パラメータ更新部２５から供給される情報に従って、パターン投影制御部２２とパターン撮影制御部２３に設定する光学的調整パラメータを更新する。
　パターン投影制御部２２は、パラメータ管理部２１により設定された光学的調整パラメータと幾何的調整パラメータに基づいてプロジェクタ２を制御し、チェッカーパターンを投影する。
　パターン撮影制御部２３は、パラメータ管理部２１により設定された光学的調整パラメータに基づいてカメラ３を制御し、スクリーン４に投影された投影パターンを撮影する。パターン撮影制御部２３により撮影された画像は光学的調整パラメータ判定部２４に供給される。
　光学的調整パラメータ判定部２４は、撮影された画像を解析することによって、光学的調整を終了するか否かを判定する。
　例えば、光学的調整パラメータ判定部２４は、画像に写るチェッカーパターン（撮影パターン）のヒストグラムを計算し、ヒストグラムに基づいて、光学的調整を終了するか否かの判定を行う。
　例えば、白と黒に対応するヒストグラム分布を分離することができ、かつ、白のヒストグラム分布が飽和していない場合、光学的調整を終了するとして判定される。一方、白と黒に対応するヒストグラム分布を分離することができない、または、白のヒストグラム分布が飽和している場合、光学的調整を終了しないと判定される。光学的調整パラメータ判定部２４による判定結果を表す情報は光学的調整パラメータ更新部２５に供給される。
　光学的調整パラメータ更新部２５は、光学的調整を終了しないと光学的調整パラメータ判定部２４により判定された場合、光学的調整パラメータの更新を指示する情報をパラメータ管理部２１に出力する。パラメータ管理部２１においては、光学的調整パラメータ更新部２５から供給された情報に基づいて、光学的調整パラメータの更新が繰り返される。
＜光学的調整の流れ＞
　図４のフローチャートを参照して光学的調整処理について説明する。
　ステップＳ１において、パラメータ管理部２１は、光学的調整パラメータを初期化する。光学的調整パラメータとして、例えば、チェッカーパターンの白レベルの輝度値を最大値の255（8bitの輝度レベル）とするパラメータ、黒レベルの輝度値を最小値の0とするパラメータ、および、カメラ３の絞り値を開放とするパラメータが用いられる。
　パラメータ管理部２１は、白レベルと黒レベルの輝度値を指定するパラメータをパターン投影制御部２２に出力し、カメラ３の絞り値を指定するパラメータをパターン撮影制御部２３に出力することによって、光学的調整パラメータの初期化を行う。
　ステップＳ２において、パラメータ管理部２１は、チェッカーパターンのブロックサイズを指定するパラメータをパターン投影制御部２２に出力することによって、幾何的調整パラメータを設定する。例えば、基本的なシステム配置のときに十分大きいサイズでブロックを観察することができる所定のサイズが指定される。
　ステップＳ３において、パターン投影制御部２２は、プロジェクタ２を制御し、チェッカーパターンを投影する。チェッカーパターンの投影は、パラメータ管理部２１により設定された光学的調整パラメータと幾何的調整パラメータに従って行われる。
　すなわち、チェッカーパターンの白レベルと黒レベルは、パラメータ管理部２１により設定された光学的調整パラメータにより指定された輝度値となる。また、チェッカーパターンのブロックサイズは、パラメータ管理部２１により設定された幾何的調整パラメータにより指定されたサイズとなる。
　ステップＳ４において、パターン撮影制御部２３は、カメラ３を制御し、スクリーン４に投影された投影パターンを撮影する。投影パターンの撮影は、パラメータ管理部２１により設定された光学的調整パラメータに従って行われる。
　すなわち、カメラ３の絞り値は、光学的調整パラメータより指定された値となる。パターン撮影制御部２３により撮影された画像は光学的調整パラメータ判定部２４に供給される。
　ステップＳ５において、光学的調整パラメータ判定部２４は、光学的調整を終了するか否かを判定する。
　白と黒に対応するヒストグラム分布を分離することができない、または、白のヒストグラム分布が飽和していることから、ステップＳ５において光学的調整を終了しないと判定された場合、処理はステップＳ６に進む。
　ステップＳ６において、光学的調整パラメータ更新部２５は、光学的調整パラメータの更新を指示する情報をパラメータ管理部２１に出力する。光学的調整処理においては、光学的調整パラメータのみが更新され、幾何的調整パラメータは更新されない。
　例えば、カメラ３の絞り値を１ステップ分絞るように光学的調整パラメータが更新される。
　また、光学的調整パラメータの更新が所定の回数以上行われており、カメラ３の絞り値が絞りきられている場合、チェッカーパターンの白レベルの輝度値を１ステップ分下げるように光学的調整パラメータが更新される。１ステップ分に相当する所定の輝度だけ、白レベルの輝度値が下げられる。
　このような光学的調整パラメータの更新が、光学的調整パラメータ更新部２５による制御に従ってパラメータ管理部２１により行われる。
　一方、ステップＳ５において光学的調整を終了すると判定された場合、ステップＳ７において、パラメータ管理部２１は、その時点で設定している光学的調整パラメータを保存し、処理を終了させる。
　以上の処理により、情報処理装置１は、様々な照明環境に応じた適切な光学的調整パラメータを設定することができる。
＜光学的調整の具体例＞
・第１の具体例
　図５は、光学的調整の第１の具体例を示す図である。
　図５は、絞り値に関する光学的調整パラメータの更新によって光学的調整が終わる場合の例を示している。図５のＡ乃至Ｃに示すように、投影パターンの白レベルの輝度値は最大値の255のままである。
　図５のＡの例においては、カメラ３の絞り値が１とされている。図５のＡの中央に示すように、撮影パターンにおいては、チェッカーパターンの白と黒の違いが不鮮明となる。
　この場合、矢印Ａ１１の先に示すようなヒストグラムが撮影パターンに基づいて計算される。図５のＡの例においては、白と黒に対応するヒストグラム分布が分離できず、かつ、白のヒストグラム分布が飽和している。
　チェッカーパターンのヒストグラムが図５のＡに示すような分布にある場合、光学的調整パラメータが更新され、カメラ３の絞り値が１ステップ分絞られる。
　図５のＢの例においては、カメラ３の絞り値が２とされている。図５のＢの中央に示すように、撮影パターンにおいては、チェッカーパターンの白と黒の違いが、図５のＡの違いと比べて若干鮮明となる。
　この場合、矢印Ａ１２の先に示すようなヒストグラムが撮影パターンに基づいて計算される。図５のＢの例においては、白と黒に対応するヒストグラム分布が分離できるものの、白のヒストグラム分布が飽和している。
　チェッカーパターンのヒストグラムが図５のＢに示すような分布にある場合、光学的調整パラメータが更新され、さらに、カメラ３の絞り値が１ステップ分絞られる。
　図５のＣの例においては、カメラ３の絞り値が３とされている。図５のＣの中央に示すように、撮影パターンにおいては、チェッカーパターンの白と黒の違いが鮮明となる。
　この場合、矢印Ａ１３の先に示すようなヒストグラムが撮影パターンに基づいて計算される。図５のＣの例においては、白と黒に対応するヒストグラム分布が分離でき、かつ、白のヒストグラム分布が飽和していない。
　チェッカーパターンのヒストグラムが図５のＣに示すような分布にある場合、光学的調整を終了するものとして判定され、光学的調整パラメータが保存される。
・第２の具体例
　図６および図７は、光学的調整の第２の具体例を示す図である。
　図６および図７は、絞り値に関する光学的調整パラメータの更新だけでなく、チェッカーパターンの白レベルの輝度値に関する光学的調整パラメータの更新を行うことによって光学的調整が終わる場合の例を示している。図６のＡ、図６のＢ、および図７のＡは、それぞれ、図５のＡ乃至Ｃと同じである。重複する説明については適宜省略する。
　図７のＡの例においては、カメラ３の絞り値が３として絞りきられている。この例においては、矢印Ａ２３の先に示すような、白と黒に対応するヒストグラム分布が分離できるものの、白のヒストグラム分布が飽和しているヒストグラムが撮影パターンに基づいて計算されている。
　チェッカーパターンのヒストグラムが図７のＡに示すような分布にある場合、光学的調整パラメータが更新され、白レベルの輝度値を１ステップ分下げるように光学的調整パラメータが更新される。
　図７のＢの例においては、チェッカーパターンの白レベルの輝度値が235とされている。図７のＢの中央に示すように、撮影パターンにおいては、チェッカーパターンの白の輝度値が１ステップ分下がった輝度となる。図７のＢのチェッカーパターンにおいて白ブロックに色が付されていることは、白の輝度値が１ステップ分下がっていることを表す。
　この場合、矢印Ａ２４の先に示すようなヒストグラムが撮影パターンに基づいて計算される。図７のＢの例においては、白と黒に対応するヒストグラム分布が分離でき、かつ、白のヒストグラム分布が飽和していない。
　チェッカーパターンのヒストグラムが図７のＢに示すような分布にある場合、光学的調整を終了するものとして判定され、光学的調整パラメータが保存される。
　以上の例においては、プロジェクタ２を対象とした光学的調整パラメータの調整として、チェッカーパターンの白レベルの輝度値を調整する場合について説明したが、光学的な項目に関する他のパラメータが調整されるようにしてもよい。例えば、黒レベルの輝度値、チェッカーパターンのコントラストが調整されるようにすることが可能である。
　また、カメラ３を対象とした光学的調整パラメータの調整として、絞り値を調整する場合について説明したが、光学的な項目に関する他のパラメータが調整されるようにしてもよい。例えば、絞り値、シャッタースピード、ISO感度のうちの少なくともいずれかが調整されるようにすることが可能である。カメラ３内において行われる画像処理の調整の内容が光学的調整パラメータにより指定されるようにしてもよい。
　図６、図７の例においては、絞り値に関する光学的調整パラメータを更新した後にチェッカーパターンの白レベルの輝度値に関する光学的調整パラメータを更新するものとしたが、反対に、チェッカーパターンの白レベルの輝度値に関する光学的調整パラメータを更新した後に絞り値に関する光学的調整パラメータを更新するようにしてもよい。
　１回の更新毎に１種類の光学的調整パラメータが更新されるのではなく、複数種類の光学的調整パラメータが更新されるようにしてもよい。
　この例においては、白と黒に対応するヒストグラム分布を分離することができ、かつ、白のヒストグラム分布が飽和していないといった条件を満たす光学的調整パラメータが、対応点検出時に用いるパラメータとして決定されるものとしたが、他の条件を基準として、光学的調整パラメータが決定されるようにしてもよい。例えば、白と黒に対応するヒストグラム分布を分離することができる場合の光学的調整パラメータ、または、白のヒストグラム分布が飽和していない場合の光学的調整パラメータが、対応点検出時に用いるパラメータとして決定されるようにすることが可能である。
＜＜幾何的調整について＞＞
　次に、幾何的調整について説明する。幾何的調整は、光学的調整の後に行われる。
＜幾何的調整処理部の構成＞
　図８は、幾何的調整処理部３１の構成例を示すブロック図である。
　幾何的調整処理部３１は、パラメータ管理部４１、パターン投影制御部４２、パターン撮影制御部４３、幾何的調整パラメータ判定部４４、および幾何的調整パラメータ更新部４５から構成される。幾何的調整に関する処理を行う幾何的調整処理部３１も、所定のプログラムが実行されることによって情報処理装置１において実現される。
　パラメータ管理部４１は、チェッカーパターンのブロックサイズを指定する幾何的調整パラメータをパターン投影制御部４２に出力し、設定する。
　また、パラメータ管理部４１は、光学的調整により決定され、保存しておいた光学的調整パラメータをパターン投影制御部４２とパターン撮影制御部４３に出力し、設定する。
　パラメータ管理部４１は、適宜、幾何的調整パラメータ更新部５５から供給される情報に従って、パターン投影制御部４２に設定する幾何的調整パラメータを更新する。
　パターン投影制御部４２は、パラメータ管理部４１により設定された光学的調整パラメータと幾何的調整パラメータに基づいてプロジェクタ２を制御し、チェッカーパターンを投影する。
　パターン撮影制御部４３は、パラメータ管理部４１により設定された光学的調整パラメータに基づいてカメラ３を制御し、スクリーン４に投影された投影パターンを撮影する。パターン撮影制御部４３により撮影された画像は幾何的調整パラメータ判定部４４に供給される。
　幾何的調整パラメータ判定部４４は、撮影された画像を解析することによって、幾何的調整を終了するか否かを判定する。
　例えば、幾何的調整パラメータ判定部４４は、撮影された画像に対して二値化処理を施し、二値化処理を施した画像に対してチェッカーコーナー検出などの処理を施す。幾何的調整パラメータ判定部４４は、検出したチェッカーパターンのコーナー数が、閾値として設定されたカウント数に達しているか否かに基づいて、幾何的調整を終了するか否かを判定する。
　チェッカーパターンのコーナー数が閾値として設定されたカウント数に達している場合、幾何的調整を終了しないと判定され、チェッカーパターンのコーナー数が閾値として設定されたカウント数に達していない場合、幾何的調整を終了すると判定される。
　幾何的調整パラメータ更新部４５は、幾何的調整を終了しないと幾何的調整パラメータ判定部４４により判定された場合、幾何的調整パラメータの更新を指示する情報をパラメータ管理部４１に出力する。パラメータ管理部４１においては、幾何的調整パラメータ更新部４５から供給された情報に基づいて、幾何的調整パラメータの更新が繰り返される。
＜幾何的調整の流れ＞
　図９のフローチャートを参照して幾何的調整処理について説明する。
　ステップＳ１１において、パラメータ管理部４１は、幾何的調整パラメータを初期化する。幾何的調整パラメータとして、例えば、基本的なシステム配置のときに十分大きいサイズでブロックを観察することができるブロックサイズを指定するパラメータが用いられる。
　パラメータ管理部４１は、チェッカーパターンのブロックサイズを指定するパラメータをパターン投影制御部４２に出力して、幾何的調整パラメータの初期化を行う。
　ステップＳ１２において、パラメータ管理部４１は、光学的調整により保存しておいた光学的調整パラメータをパターン投影制御部４２とパターン撮影制御部４３に出力し、設定する。光学的調整により求められたチェッカーパターンの白レベルの輝度値と黒レベルの輝度値を指定するパラメータがパターン投影制御部４２に設定され、カメラ３の絞り値を指定するパラメータがパターン撮影制御部４３に設定される。
　ステップＳ１３において、パターン投影制御部４２は、プロジェクタ２を制御し、チェッカーパターンを投影する。チェッカーパターンの投影は、パラメータ管理部４１により設定された幾何的調整パラメータと光学的調整パラメータに従って行われる。
　ステップＳ１４において、パターン撮影制御部４３は、カメラ３を制御し、スクリーン４に投影された投影パターンを撮影する。投影パターンの撮影は、パラメータ管理部４１により設定された光学的調整パラメータに従って行われる。
　ステップＳ１５において、幾何的調整パラメータ判定部４４は、幾何的調整を終了するか否かを判定する。
　例えば、チェッカーパターンのコーナー数が閾値として設定されたカウント数に達していることから、幾何的調整を終了しないとステップＳ１５において判定された場合、処理はステップＳ１６に進む。
　ステップＳ１６において、幾何的調整パラメータ更新部４５は、幾何的調整パラメータを更新することを指示する情報をパラメータ管理部４１に出力する。幾何的調整処理においては、幾何的調整パラメータのみが更新され、光学的調整パラメータは更新されない。
　例えば、ブロックサイズを１ステップ分小さくするように幾何的調整パラメータが更新される。ここでは、ロバストに検出できる限り、チェッカーパターンの密度を上げて（ブロックサイズを小さくして）、高密度のチェッカーパターンを用いた調整を行うようになされている。
　このような幾何的調整パラメータの更新が、幾何的調整パラメータ更新部４５による制御に従ってパラメータ管理部４１により行われる。
　一方、ステップＳ１５において幾何的調整を終了すると判定された場合、ステップＳ１７において、パラメータ管理部４１は、直前の更新によって設定した幾何的調整パラメータを保存し、処理を終了させる。すなわち、その時点で設定している幾何的調整パラメータにより指定されるブロックサイズより１ステップ分大きいサイズを指定する幾何的調整パラメータが保存される。
　以上の処理により、情報処理装置１は、システムの配置に応じた適切な幾何的調整パラメータを設定することが可能になる。
＜幾何的調整の具体例＞
　図１０は、幾何的調整の具体例を示す図である。
　図１０のＡの例においては、チェッカーパターンの１つのブロックサイズが１０×１０（１０cm×１０cm）とされている。図１０のＡの中央に示すような撮影パターンに基づいて、チェッカーパターンのコーナー数が計算される。
　この例においては、矢印Ａ３１の先に示すようにコーナー数が３２として計算されている。ブロックサイズが１０×１０である場合の全コーナー数は３２であり、検出されたコーナー数を全コーナー数で割った値は１．０として求められている。この場合、幾何的調整パラメータが更新され、チェッカーパターンのブロックサイズが１ステップ分小さくなる。
　図１０のＢの例においては、チェッカーパターンのブロックサイズが８×８とされている。図１０のＢの中央に示すような撮影パターンに基づいて、チェッカーパターンのコーナー数が計算される。
　この例においては、矢印Ａ３２の先に示すようにコーナー数が７２として計算されている。ブロックサイズが８×８である場合の全コーナー数は７２であり、検出されたコーナー数を全コーナー数で割った値は１．０として求められている。この場合も、幾何的調整パラメータが更新され、チェッカーパターンのブロックサイズが１ステップ分小さくなる。
　図１０のＣの例においては、チェッカーパターンのブロックサイズが６×６とされている。図１０のＣの中央に示すような撮影パターンに基づいて、チェッカーパターンのコーナー数が計算される。
　この例においては、矢印Ａ３３の先に示すように、コーナー数が３２として計算されている。チェッカーパターンのブロックサイズが６×６である場合の全コーナー数は１２８であり、検出されたコーナー数を全コーナー数で割った値は０．２５として求められている。
　この場合、チェッカーパターンのブロックサイズが小さすぎるために幾何的調整を終了するとして判定され、直前に設定されていた、８×８のブロックサイズを指定する幾何的調整パラメータが保存される。
　この例においては、チェッカーパターンのコーナー数が所定のカウント数に達していないといった条件を満たす幾何的調整パラメータが対応点検出時に用いるパラメータとして決定されるものとしたが、他の条件を基準として、幾何的調整パラメータが決定されるようにしてもよい。
＜＜情報処理装置の構成と動作＞＞
　以上のような光学的調整と幾何的調整を含む一連の調整処理を行う情報処理装置１の構成と動作について説明する。
＜情報処理装置の構成＞
　図１１は、情報処理装置１のハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続される。
　バス１０４には、さらに、入出力拡張バス１０５が接続される。入出力拡張バス１０５には、GPU(Graphics Processing Unit)１０６、UI(User Interface)用I/F１０９、通信用I/F１１２、および記録用I/F１１３が接続される。
　GPU１０６は、プロジェクタ２から投影させる画像のレンダリングをVRAM１０７を用いて行う。例えば、GPU１０６は、プロジェクタ２から投影させるStructured Lightパターンを生成し、表示用I/F１０８に出力する。
　表示用I/F１０８は、投影画像などの出力用のインタフェースである。表示用I/F１０８は、HDMI（登録商標）(High-Definition Multimedia Interface)などの所定の規格のインタフェースとして構成される。表示用I/F１０８は、GPU１０６から供給された画像をプロジェクタ２に出力し、投影させる。
　UI用I/F１０９は、操作の検出用のインタフェースである。UI用I/F１０９は、キーボード１１０やマウス１１１を用いて行われるユーザの操作を検出し、操作の内容を表す情報をCPU１０１に出力する。
　通信用I/F１１２は、外部の装置との通信用のインタフェースである。通信用I/F１１２は、無線LAN、有線LANなどのネットワークインタフェースにより構成される。通信用I/F１１２は、インターネットなどのネットワークを介して外部の装置と通信を行い、各種のデータの送受信を行う。図１のプロジェクタ・カメラシステムにおいて再生されるコンテンツが、サーバからネットワークを介して提供されるようにしてもよい。
　また、通信用I/F１１２は、カメラ３により撮影された、投影パターンが写る画像を受信する。
　記録用I/F１１３は、記録媒体用のインタフェースである。記録用I/F１１３には、HDD１１４、リムーバブルメディア１１５などの記録媒体が装着される。記録用I/F１１３は、装着された記録媒体に記録されているデータの読み出し、記録媒体に対するデータの書き込みを行う。HDD１１４には、コンテンツの他に、CPU１０１が実行するプログラムなどの各種のデータが記録される。
　図１２は、情報処理装置１の機能構成例を示すブロック図である。
　図１２に示すように、情報処理装置１においては制御部１２１が実現される。制御部１２１は、光学的調整処理部１１、幾何的調整処理部３１の他に、パターン投影制御部１４１、パターン撮影制御部１４２、対応点検出部１４３、姿勢推定部１４４、投影画像取得部１４５、および投影制御部１４６から構成される。光学的調整処理部１１と幾何的調整処理部３１のそれぞれも、図示せぬ経路を介してプロジェクタ２、カメラ３に接続される。
　図１２に示す機能部のうちの少なくとも一部は、図１１のCPU１０１により所定のプログラムが実行されることによって実現される。重複する説明については適宜省略する。
　光学的調整処理部１１は、光学的調整を行うことによって求めた光学的調整パラメータを幾何的調整処理部３１に出力する。
　幾何的調整処理部３１は、幾何的調整を行うことによって求めた幾何的調整パラメータを、光学的調整処理部１１から供給された光学的調整パラメータとともに出力する。幾何的調整処理部３１から出力された光学的調整パラメータはパターン投影制御部１４１とパターン撮影制御部１４２に供給され、幾何的調整パラメータはパターン投影制御部１４１に供給される。
　パターン投影制御部１４１は、Structured Lightパターンの白レベルの輝度値を光学的調整パラメータに従って設定し、Structured Lightパターンを構成するチェッカーのサイズを幾何的調整パラメータに従って設定する。パターン投影制御部１４１は、プロジェクタ２を制御し、Structured Lightパターンを投影する。パターン投影制御部１４１により投影されたStructured Lightパターンに関する情報は対応点検出部１４３に供給される。
　パターン撮影制御部１４２は、カメラ３の絞り値を光学的調整パラメータに従って設定し、Structured Lightパターンを撮影する。パターン撮影制御部１４２により撮影された、Structured Lightパターンが写る画像は対応点検出部１４３に出力される。
　対応点検出部１４３は、パターン投影制御部１４１により投影されたStructured Lightパターンと、パターン撮影制御部１４２により撮影された画像に写るStructured Lightパターンに基づいて対応点検出を行う。対応点検出部１４３による検出結果を表す情報は姿勢推定部１４４に供給される。
　姿勢推定部１４４は、対応点検出部１４３による対応点検出の結果に基づいて姿勢推定を行い、プロジェクタ２、カメラ３、およびスクリーン４の位置関係などを特定する。
　投影画像取得部１４５は、コンテンツを再生し、コンテンツの画像を投影画像として投影制御部１４６に出力する。
　投影制御部１４６は、コンテンツの画像を実際に投影するときに適用する補正パラメータを姿勢推定部１４４による姿勢推定の結果に基づいて生成する。投影制御部１４６は、生成した補正パラメータに基づいてコンテンツの画像を補正し、補正後の画像をプロジェクタ２に出力して投影させる。
＜情報処理装置の動作＞
　図１３のフローチャートを参照して、情報処理装置１の一連の調整処理について説明する。
　ステップＳ５１において、光学的調整処理部１１は光学的調整処理を行う。ここでは、図４を参照して説明した光学的調整処理と同じ処理が行われる。
　ステップＳ５２において、幾何的調整処理部３１は幾何的調整処理を行う。ここでは、図９を参照して説明した幾何的調整処理と同じ処理が行われる。
　ステップＳ５３において、光学的調整パラメータと幾何的調整パラメータが設定される。
　すなわち、パターン投影制御部１４１は、光学的調整処理により求められた光学的調整パラメータに基づいてStructured Lightパターンの白レベルの輝度値を設定し、幾何的調整処理により求められた幾何的調整パラメータに基づいて、Structured Lightパターンを構成するチェッカーのサイズを設定する。また、パターン撮影制御部１４２は、光学的調整処理により求められた光学的調整パラメータに基づいて、カメラ３の絞り値を設定する。
　ステップＳ５４において、パターン投影制御部１４１は、プロジェクタ２を制御し、Structured Lightパターンを投影する。
　ステップＳ５５において、パターン撮影制御部１４２は、投影されたStructured Lightパターンを撮影し、Structured Lightパターンが写る画像を対応点検出部１４３に出力する。
　ステップＳ５６において、対応点検出部１４３は、投影されたStructured Lightパターンと、撮影された画像に写るStructured Lightパターンに基づいて対応点検出を行う。
　ステップＳ５７において、姿勢推定部１４４は、対応点検出部１４３による対応点検出の結果に基づいて姿勢推定を行う。
　ステップＳ５８において、投影制御部１４６は、コンテンツの画像を実際に投影するときに適用する補正パラメータを姿勢推定の結果に基づいて生成する。投影制御部１４６は、補正パラメータを保存し、処理を終了させる。
　以上の処理により、情報処理装置１は、環境に適した光学的・幾何的な調整パラメータを設定してStructured Lightパターンの投影と撮影を行い、対応点検出を行うことができる。これにより、情報処理装置１は、ロバスト性が確保された対応点検出を高い精度で行うことが可能となる。
　また、情報処理装置１は、Structured Lightパターンの調整や撮影パラメータの調整をユーザの操作によらずに自動的に行うため、対応点検出のためのユーザの負荷を軽減することが可能になる。さらに、プロジェクタ２から実際に投影するコンテンツの画像（補正後の画像）の品質を向上させることができる。
＜＜変形例＞＞
＜幾何的変形について＞
　対応点検出に実際に用いられるStructured Lightパターンに対して幾何的変形が施されるようにしてもよい。幾何的変形は、Structured Lightパターンの形状を変える処理である。
　幾何的変形が施されたStructured Lightパターンを投影し、撮影することによって得られた画像に基づいて対応点検出が行われ、姿勢推定等のそれ以降の上述した処理が行われる。
　幾何的変形は、プロジェクタ２、カメラ３、およびスクリーン４の配置が所定の方法によって事前に分かっている場合に行われる。システム配置に関する情報は、例えば情報処理装置１のユーザにより入力される。図１３の処理によって推定されたプロジェクタ２、カメラ３、およびスクリーン４の配置に基づいて幾何的変形が行われるようにしてもよい。
　図１４は、幾何的変形処理部の構成例を示すブロック図である。
　幾何的変形処理部１５１は、配置情報取得部１６１、パラメータ管理部１６２、パターン変形・投影制御部１６３、およびパターン撮影制御部１６４から構成される。このような構成を有する幾何的変形処理部１５１が、制御部１２１に設けられる。
　配置情報取得部１６１は、プロジェクタ２、カメラ３、およびスクリーン４の配置に関する情報であるシステム配置情報を取得し、管理する。配置情報取得部１６１が管理するシステム配置情報は、対応点検出時にパターン変形・投影制御部１６３に供給される。
　パラメータ管理部１６２は、光学的調整によって得られた光学的調整パラメータと、幾何的調整によって得られた幾何的調整パラメータとを取得し、管理する。パラメータ管理部１６２が管理する光学的調整パラメータは、対応点検出時にパターン変形・投影制御部１６３とパターン撮影制御部１６４に供給される。また、パラメータ管理部１６２が管理する幾何的調整パラメータは、対応点検出時にパターン変形・投影制御部１６３に供給される。
　パターン変形・投影制御部１６３は、図１２のパターン投影制御部１４１と同様に、対応点検出に用いるStructured Lightパターンの白レベルの輝度値を光学的調整パラメータに従って設定し、Structured Lightパターンのブロックサイズを幾何的調整パラメータに従って設定する。
　また、パターン変形・投影制御部１６３は、光学的調整パラメータと幾何的調整パラメータを設定することによって調整したStructured Lightパターンを、配置情報取得部１６１から供給されたシステム配置情報に基づいて変形させる。
　パターン変形・投影制御部１６３は、プロジェクタ２を制御し、変形後のStructured Lightパターンを投影させる。
　パターン撮影制御部１６４は、カメラ３の絞り値を光学的調整パラメータに従って設定し、パターン変形・投影制御部１６３により投影されたStructured Lightパターンを撮影する。パターン撮影制御部１６４により撮影された画像は、対応点検出部１４３（図１２）に供給され、対応点検出に用いられる。
　図１５のフローチャートを参照して、情報処理装置１の幾何的変形処理について説明する。
　ステップＳ７１において、光学的調整パラメータと幾何的調整パラメータが設定される。ステップＳ７１の処理は、図１３のステップＳ５３の処理と同様の処理である。Structured Lightパターンの輝度値が光学的調整パラメータに従って設定され、Structured Lightパターンのブロックサイズが幾何的調整パラメータに従って設定される。また、カメラ３の絞り値が光学的調整パラメータに従って設定される。
　ステップＳ７２において、パターン変形・投影制御部１６３は、Structured Lightパターンに対して、配置情報取得部１６１から供給されたシステム配置情報に基づいて幾何的変形を施す。
　その後、図１３のステップＳ５４以降の処理と同様の処理が行われる。システム配置に基づいて事前に変形されたStructured Lightパターンが投影され、撮影された画像に写るStructured Lightパターンに基づいて対応点検出以降の処理が行われる。
・超短焦点プロジェクタを利用したシステム
　超短焦点プロジェクタを利用したシステムにおける幾何的変形の例について説明する。
　図１６は、幾何的変形が行われない場合の対応点検出の例を示す図である。図２の説明と重複する説明については適宜省略する。図１７乃至図１９においても同様である。
　超短焦点プロジェクタであるプロジェクタ２Ａは、スクリーン４が設置された壁面の近くから見上げる形で投影することになる。また、カメラ３は、プロジェクタ２Ａの近くから、スクリーン４に投影された画像を見上げる形で撮影することになる。見上げる形で撮影が行われるから、カメラ３の撮影範囲は、スクリーン４上に破線で示すような上下逆台形状の領域＃１１となる。
　幾何的変形が施されていない状態でStructured Lightパターンの投影が行われている場合、図１６の右下に示すように、台形状に歪んだ撮影パターンが撮影される。この場合、情報処理装置１は、対応点検出を適切に行うことができない。
　図１７は、幾何的変形が行われる場合の対応点検出の例を示す図である。
　システム配置情報に基づいて幾何的変形が行われた場合、図１７に示すように、スクリーン４には、正面から見たときに上下逆台形状に歪んだStructured Lightパターンが投影される。例えば、カメラ３により撮影した画像上で歪みが軽減されるようなホモグラフィ変換が幾何的変形として施される。
　なお、光学的調整パラメータに基づく調整と幾何的調整パラメータに基づく調整は、幾何的変形の前に行われている。
　このような状態で投影されたStructured Lightパターンの撮影が行われた場合、図１８の右下に示すように、撮影された画像には、歪みのない撮影パターンが写る。歪みのない撮影パターンを用いることにより、情報処理装置１は、ロバストかつ高精度な対応点検出を行うことが可能となる。
　複数のStructured Lightパターンの撮影結果を用いて対応点検出が行われるようにしてもよい。この場合、システム配置情報に基づく幾何的変形は、それぞれのStructured Lightパターンに対して施される。
・魚眼コンバージョンレンズ搭載プロジェクタを利用したシステム
　魚眼コンバージョンレンズ搭載プロジェクタを利用したシステムにおける幾何的変形の例について説明する。
　図１８は、幾何的変形が行われない場合の対応点検出の例を示す図である。
　図１８の例においては、平面の投影面を有するスクリーン４に代えて、ドーム状（半球面状）の投影面を有するドームスクリーン４Ａが設けられている。
　魚眼コンバージョンレンズ搭載プロジェクタであるプロジェクタ２Ｂの投影範囲は、ドーム状の投影面上に示すように歪んだ範囲となる。また、カメラ３の撮影範囲も、破線で示すような歪んだ範囲となる。図１８の領域＃２１はカメラ３の撮影範囲を表す。
　幾何的変形が施されていない状態でStructured Lightパターンの投影が行われている場合、図１８の右下に示すように、歪んだ撮影パターンが撮影される。この場合、情報処理装置１は、対応点検出を適切に行うことができない。
　図１９は、幾何的変形が行われる場合の対応点検出の例を示す図である。
　システム配置情報に基づいて幾何的変形が行われた場合、図１９に示すように、ドーム状の投影面には、図１８の場合と比べて形状が異なるStructured Lightパターンが投影される。例えば、カメラ３により撮影した画像上で歪みが軽減されるようなホモグラフィ変換が幾何的変形として施される。
　なお、光学的調整パラメータに基づく調整と幾何的調整パラメータに基づく調整は、幾何的変形の前に行われている。
　このような状態で投影されたStructured Lightパターンの撮影が行われた場合、図１９の右下に示すように、撮影された画像には、歪みのない撮影パターンが写る。歪みのない撮影パターンを用いることにより、情報処理装置１は、ロバストかつ高精度な対応点検出を行うことが可能となる。
　複数のStructured Lightパターンの撮影結果を用いて対応点検出が行われるようにしてもよい。この場合、システム配置情報に基づく幾何的変形は、それぞれのStructured Lightパターンに対して施される。
　以上のように、幾何的変形を予め施したStructured Lightパターンを投影することにより、情報処理装置１は、超短焦点プロジェクタや魚眼コンバージョンレンズ搭載プロジェクタが用いられている場合であっても、対応点検出を適切に行うことが可能となる。
　また、平面のスクリーンではなく、ドーム状のスクリーンなどの各種の形状の投影面を有するスクリーンを用いることが可能である。
＜その他の例＞
　Structured Lightパターンとしてチェッカーパターンを用いる場合について説明したが、直線、曲線、各種の図形などを組み合わせた他の模様から構成されるパターンがStructured Lightパターンとして用いられるようにしてもよい。
　また、光学的なパラメータ、幾何的なパラメータを用いる場合について説明したが、それら以外のパラメータが用いられるようにしてもよい。
　プロジェクタ・カメラシステムを構成するプロジェクタとカメラの数がそれぞれ１台ずつであるものとしたが、複数台ずつ設けられるようにしてもよい。
　プロジェクタとカメラが複数存在する場合、ロバスト性と精度を追求するためにはプロジェクタとカメラの全ての組み合わせ毎に調整を行うことが望ましいが、プロジェクタ、カメラのそれぞれに調整パラメータを保持させるようにしてもよい。
　光学的調整パラメータと幾何的調整パラメータの計算を含む調整機能が情報処理装置１に設けられるものとしたが、プロジェクタ２に搭載されるようにしてもよい。この場合、図１２に示す各機能部が、プロジェクタ２において実現される。
　図２０は、プロジェクタの他の構成例を示す図である。
　図２０に示すように、プロジェクタ２０１は、制御部１２１、撮影部２１１、および投影部２１２から構成される。図２０の制御部１２１は、図１２の制御部１２１と同様の機能を有する。また、撮影部２１１はカメラ３の機能と同様の機能を有する。投影部２１２はプロジェクタ２と同様の機能を有する。
　このように、制御部１２１の機能がプロジェクタに設けられるようにしてもよい。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、情報処理装置１を構成する図１１のコンピュータなどに、プログラム記録媒体からインストールされる。
　CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１５に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、HDD１１４にインストールされる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　本技術は、以下のような構成をとることもできる。
（１）
　所定のパターンの投影に関する調整と、投影された前記所定のパターンの撮影に関する調整とのうちの少なくともいずれかの内容を指定する調整パラメータの更新を繰り返し行い、投影された画像の画素と撮影された画像の画素との対応関係を検出する処理である対応点検出に用いられる、所定の条件を満たす前記調整パラメータを決定する制御部を備える
　情報処理装置。
（２）
　前記制御部は、前記所定のパターンの投影に関する光学的な調整と、投影された前記所定のパターンの撮影に関する光学的な調整とのうちの少なくともいずれかの内容を指定する第１の調整パラメータの更新を繰り返し行う
　前記（１）に記載の情報処理装置。
（３）
　前記所定のパターンの投影に関する光学的な調整は、前記所定のパターンの画素値の調整である
　前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記調整パラメータの更新を繰り返し行うことによって、前記所定のパターンの輝度値を調整する
　前記（３）に記載の情報処理装置。
（５）
　投影された前記所定のパターンの撮影に関する光学的な調整は、前記所定のパターンの撮影に用いられるカメラの調整である
　前記（２）に記載の情報処理装置。
（６）
　前記制御部は、前記調整パラメータの更新を繰り返し行うことによって、前記カメラの絞り、シャッタースピード、感度のうちの少なくともいずれかを調整する
　前記（５）に記載の情報処理装置。
（７）
　前記制御部は、投影する前記所定のパターンの幾何的な調整の内容を指定する第２の調整パラメータの更新を繰り返し行う
　前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
　投影する前記所定のパターンの幾何的な調整は、前記所定のパターンを構成する模様のサイズ、密度、形状のうちの少なくともいずれかの調整である
　前記（７）に記載の情報処理装置。
（９）
　更新された前記調整パラメータに従って、前記所定のパターンの投影部による投影を制御する投影制御部をさらに備える
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　更新された前記調整パラメータに従って、投影された前記所定のパターンの撮影部による撮影を制御する撮影制御部をさらに備える
　前記（９）に記載の情報処理装置。
（１１）
　前記対応点検出に用いられる他のパターンを、前記投影部、前記撮影部、および前記他のパターンの投影面の位置関係に基づいて変形させ、変形後の前記他のパターンを前記投影部から投影させる他の投影制御部をさらに備える
　前記（１０）に記載の情報処理装置。
（１２）
　情報処理装置が、
　所定のパターンの投影に関する調整と、投影された前記所定のパターンの撮影に関する調整とのうちの少なくともいずれかの内容を指定する調整パラメータの更新を繰り返し行い、
　投影された画像の画素と撮影された画像の画素との対応関係を検出する処理である対応点検出に用いられる、所定の条件を満たす前記調整パラメータを決定する
　情報処理方法。
（１３）
　コンピュータに、
　所定のパターンの投影に関する調整と、投影された前記所定のパターンの撮影に関する調整とのうちの少なくともいずれかの内容を指定する調整パラメータの更新を繰り返し行い、
　投影された画像の画素と撮影された画像の画素との対応関係を検出する処理である対応点検出に用いられる、所定の条件を満たす前記調整パラメータを決定する
　処理を実行させるためのプログラム。
　１　情報処理装置，　２　プロジェクタ，　４　スクリーン，　１１　光学的調整処理部，　２１　パラメータ管理部，　２２　パターン投影制御部，　２３　パターン撮影制御部，　２４　光学的調整パラメータ判定部，　２５　光学的調整パラメータ更新部，　３１　幾何的調整処理部，　４１　パラメータ管理部，　４２　パターン投影制御部，　４３　パターン撮影制御部，　４４　幾何的調整パラメータ判定部，　４５　幾何的調整パラメータ更新部，　１２１　制御部，　１４１　パターン投影制御部，　１４２　パターン撮影制御部，　１４３　対応点検出部，　１４４　姿勢推定部，　１４５　投影画像取得部，　１４６　投影制御部，　１５１　幾何的変形処理部，　１６１　配置情報取得部，　１６２　パラメータ管理部，　１６３　パターン変形・投影制御部，　１６４　パターン撮影制御部，　２１１　撮影部，　２１２　投影部

Claims (13)

  1. 　所定のパターンの投影に関する調整と、投影された前記所定のパターンの撮影に関する調整とのうちの少なくともいずれかの内容を指定する調整パラメータの更新を繰り返し行い、投影された画像の画素と撮影された画像の画素との対応関係を検出する処理である対応点検出に用いられる、所定の条件を満たす前記調整パラメータを決定する制御部を備える
    　情報処理装置。
  2. 　前記制御部は、前記所定のパターンの投影に関する光学的な調整と、投影された前記所定のパターンの撮影に関する光学的な調整とのうちの少なくともいずれかの内容を指定する第１の調整パラメータの更新を繰り返し行う
    　請求項１に記載の情報処理装置。
  3. 　前記所定のパターンの投影に関する光学的な調整は、前記所定のパターンの画素値の調整である
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記調整パラメータの更新を繰り返し行うことによって、前記所定のパターンの輝度値を調整する
    　請求項３に記載の情報処理装置。
  5. 　投影された前記所定のパターンの撮影に関する光学的な調整は、前記所定のパターンの撮影に用いられるカメラの調整である
    　請求項２に記載の情報処理装置。
  6. 　前記制御部は、前記調整パラメータの更新を繰り返し行うことによって、前記カメラの絞り、シャッタースピード、感度のうちの少なくともいずれかを調整する
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、投影する前記所定のパターンの幾何的な調整の内容を指定する第２の調整パラメータの更新を繰り返し行う
    　請求項２に記載の情報処理装置。
  8. 　投影する前記所定のパターンの幾何的な調整は、前記所定のパターンを構成する模様のサイズ、密度、形状のうちの少なくともいずれかの調整である
    　請求項７に記載の情報処理装置。
  9. 　更新された前記調整パラメータに従って、前記所定のパターンの投影部による投影を制御する投影制御部をさらに備える
    　請求項１に記載の情報処理装置。
  10. 　更新された前記調整パラメータに従って、投影された前記所定のパターンの撮影部による撮影を制御する撮影制御部をさらに備える
    　請求項９に記載の情報処理装置。
  11. 　前記対応点検出に用いられる他のパターンを、前記投影部、前記撮影部、および前記他のパターンの投影面の位置関係に基づいて変形させ、変形後の前記他のパターンを前記投影部から投影させる他の投影制御部をさらに備える
    　請求項１０に記載の情報処理装置。
  12. 　情報処理装置が、
    　所定のパターンの投影に関する調整と、投影された前記所定のパターンの撮影に関する調整とのうちの少なくともいずれかの内容を指定する調整パラメータの更新を繰り返し行い、
    　投影された画像の画素と撮影された画像の画素との対応関係を検出する処理である対応点検出に用いられる、所定の条件を満たす前記調整パラメータを決定する
    　情報処理方法。
  13. 　コンピュータに、
    　所定のパターンの投影に関する調整と、投影された前記所定のパターンの撮影に関する調整とのうちの少なくともいずれかの内容を指定する調整パラメータの更新を繰り返し行い、
    　投影された画像の画素と撮影された画像の画素との対応関係を検出する処理である対応点検出に用いられる、所定の条件を満たす前記調整パラメータを決定する
    　処理を実行させるためのプログラム。
PCT/JP2019/022682 2018-06-22 2019-06-07 情報処理装置、情報処理方法、およびプログラム WO2019244667A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018118469A JP2021158393A (ja) 2018-06-22 2018-06-22 情報処理装置、情報処理方法、およびプログラム
JP2018-118469 2018-06-22

Publications (1)

Publication Number Publication Date
WO2019244667A1 true WO2019244667A1 (ja) 2019-12-26

Family

ID=68983984

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022682 WO2019244667A1 (ja) 2018-06-22 2019-06-07 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2021158393A (ja)
WO (1) WO2019244667A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112197701A (zh) * 2020-09-30 2021-01-08 山东省科学院激光研究所 应用于大幅面工件的三维数据提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011040873A (ja) * 2009-08-07 2011-02-24 Seiko Epson Corp プロジェクター、プログラム、情報記憶媒体および露出調整方法
JP2011064617A (ja) * 2009-09-18 2011-03-31 Fukuoka Institute Of Technology 三次元情報計測装置および三次元情報計測方法
JP2013185832A (ja) * 2012-03-05 2013-09-19 Canon Inc 情報処理装置、情報処理方法
JP2014197739A (ja) * 2013-03-29 2014-10-16 セイコーエプソン株式会社 プロジェクターおよび調整方法
JP2016053481A (ja) * 2014-09-02 2016-04-14 キヤノン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011040873A (ja) * 2009-08-07 2011-02-24 Seiko Epson Corp プロジェクター、プログラム、情報記憶媒体および露出調整方法
JP2011064617A (ja) * 2009-09-18 2011-03-31 Fukuoka Institute Of Technology 三次元情報計測装置および三次元情報計測方法
JP2013185832A (ja) * 2012-03-05 2013-09-19 Canon Inc 情報処理装置、情報処理方法
JP2014197739A (ja) * 2013-03-29 2014-10-16 セイコーエプソン株式会社 プロジェクターおよび調整方法
JP2016053481A (ja) * 2014-09-02 2016-04-14 キヤノン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112197701A (zh) * 2020-09-30 2021-01-08 山东省科学院激光研究所 应用于大幅面工件的三维数据提取方法
CN112197701B (zh) * 2020-09-30 2022-08-26 山东省科学院激光研究所 应用于大幅面工件的三维数据提取方法

Also Published As

Publication number Publication date
JP2021158393A (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
US10250859B2 (en) Projector
KR20150109177A (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
US10469812B2 (en) Projection display system, information processing apparatus, information processing method, and storage medium therefor
WO2023065523A1 (zh) 基于isp的图像处理方法、装置、存储介质和摄像设备
US20180220114A1 (en) System for controlling projector, information processing apparatus, information processing method, and storage medium
JP2021010162A (ja) 投影システム及びその投影方法
US20110279738A1 (en) Control device and projection video display device
US20230276034A1 (en) Method and system for adjusting projection dithering
JP2008259161A (ja) 目標追尾装置
US20160088266A1 (en) Automatic image color correciton using an extended imager
US8031271B2 (en) Calibrating a projection system
JP2008187362A (ja) プロジェクタおよび投写画像調整方法
US20180278905A1 (en) Projection apparatus that reduces misalignment between printed image and projected image projected on the printed image, control method therefor, and storage medium
WO2019244667A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11218662B2 (en) Image processing device, image processing method, and projection system
CN109218602B (zh) 影像撷取装置、影像处理方法及电子装置
JP2009239598A (ja) カメラ内蔵プロジェクタ
TW201820856A (zh) 可檢測投影機的投影影像清晰度的檢測系統及其檢測方法
US20200374420A1 (en) Image processing apparatus, image processing method, and storage medium
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
JP5339299B2 (ja) 光学輝度補正装置、光学輝度補正方法及び光学輝度補正プログラム
WO2020218028A1 (ja) 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP2008311907A (ja) 画像データ照合装置、画像合成装置及びプログラム
US10477172B2 (en) Image projection apparatus capable of preventing image which would be hindrance to viewing printed material from being projected on printed material, control method therefor, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19823642

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19823642

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP