WO2018216500A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2018216500A1
WO2018216500A1 PCT/JP2018/018252 JP2018018252W WO2018216500A1 WO 2018216500 A1 WO2018216500 A1 WO 2018216500A1 JP 2018018252 W JP2018018252 W JP 2018018252W WO 2018216500 A1 WO2018216500 A1 WO 2018216500A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pattern
luminance
unit
projection
Prior art date
Application number
PCT/JP2018/018252
Other languages
English (en)
French (fr)
Inventor
祐伍 勝木
小林　直樹
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019519567A priority Critical patent/JP7243623B2/ja
Priority to EP18805679.0A priority patent/EP3633979A4/en
Priority to US16/606,820 priority patent/US11202044B2/en
Priority to CN201880033204.1A priority patent/CN110663249B/zh
Publication of WO2018216500A1 publication Critical patent/WO2018216500A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method that can suppress a reduction in invisibility.
  • an ISL (Imperceptible Structured Light) method for embedding a pattern image in a projected content image has been considered as online sensing, which is a technique for obtaining corresponding points while projecting a content image (see, for example, Patent Document 1).
  • ISL method invisibility of a pattern is realized by embedding and projecting two pattern images having the same pattern and opposite luminance change directions in a continuous frame of a content image.
  • the brightness in the projected image may change from the brightness of the projected image due to the device characteristics of the projector. Therefore, in the projected image, the magnitude of the luminance difference (amplitude) between the two ISL pattern images embedded in the content image may change depending on the luminance of the content image. May be reduced.
  • the present disclosure has been made in view of such a situation, and is intended to suppress a reduction in pattern invisibility.
  • An image processing apparatus is configured to calculate a luminance difference between two pattern images that are superimposed on a content image and that have the same shape and have opposite luminance change patterns.
  • the image processing apparatus includes an adjustment unit that adjusts according to the luminance of the content image.
  • An image processing method is configured to calculate a luminance difference between two pattern images that are superimposed on a content image and have the same shape and have opposite luminance change patterns. This is an image processing method for adjusting according to the luminance of the content image.
  • An image processing apparatus captures a projected image of a pattern image, detects a pattern of the pattern image from the obtained captured image, and detects a corresponding point from the detected pattern.
  • the image processing apparatus includes a corresponding point detection unit that repeats imaging of the projected image and detection of the pattern from the captured image until all the reliability of the pattern included in the result is high.
  • An image processing method captures a projected image of a pattern image, detects a pattern of the pattern image from the obtained captured image, and detects a corresponding point from the detected pattern. This is an image processing method in which imaging of the projected image and detection of the pattern from the captured image are repeated until all the reliability of the pattern included in the result becomes high.
  • the brightness of two pattern images that are superimposed and projected onto a content image and that have the same shape and the patterns in which the luminance change directions are opposite to each other.
  • the difference is adjusted according to the brightness of the content image.
  • an image can be processed.
  • a reduction in pattern invisibility can be suppressed.
  • ISL method and pattern invisibility> ⁇ Corresponding point detection and geometric correction>
  • the projected image (also referred to as a projected image) is distorted and difficult to see, for example, as shown in FIG. May end up.
  • geometric correction such as distortion correction on the image projected by the projector, it is possible to reduce the distortion of the projected image and make it easy to see, as in the example of FIG.
  • FIG. 2A there is a system in which an image is projected by a plurality of projectors to form one projection image.
  • FIG. 2A there is a method for realizing a high dynamic range by increasing the contrast ratio by projecting images from a plurality of projectors at the same position.
  • FIG. 2B by arranging the projection images projected from the projectors, the projection image larger than the projection image projected by one projector (from the projection image projected by one projector).
  • FIG. 2B there is also a method for realizing a high-resolution projection image).
  • Such geometric correction can be performed manually by an operator or the like who operates the projector, but there is a risk that complicated work is required. Therefore, a method has been considered in which a projection image projected by a projector is captured using a camera, and geometric correction is performed using the captured image.
  • a standardized light pattern 12 having a predetermined pattern is projected on the screen 13 from the projector 11, and the projected standardized light pattern 12 is captured by the camera 14 to obtain a captured image 15. Then, a corresponding point between the standardized light pattern 12 and the captured image 15 is obtained based on the pattern of the standardized light pattern 12, and the attitude (positional relationship) of the projector 11 and the camera 14 and the screen are determined by triangulation based on the corresponding point. 13 shapes and the like are obtained, and geometric correction is performed based on the results. In this way, geometric correction can be performed more easily than when manually performed.
  • a projection imaging device 20-1 having a projection unit 21-1 (projector) and an imaging unit 22-1 (camera), a projection unit 21-2 (projector), and an imaging unit 22 -2 (camera) and the projection imaging apparatus 20-2 cooperate to project an image.
  • the projection imaging apparatus 20-1 and the projection imaging apparatus 20-2 are referred to as the projection imaging apparatus 20 when there is no need to distinguish between them.
  • the projection unit 21-1 and the projection unit 21-2 are referred to as the projection unit 21 when it is not necessary to distinguish between the projection unit 21-1 and the projection unit 21-2.
  • the imaging unit 22-1 and the imaging unit 22-2 are referred to as the imaging unit 22 when it is not necessary to distinguish between them.
  • the projection area (projection image range) of the projection plane 23 by the projection unit 21-1 of the projection imaging apparatus 20-1 is a range of P0L to P0R. Further, the projection area of the projection plane 23 by the projection unit 21-2 of the projection imaging apparatus 20-2 ranges from P1L to P1R. That is, the range indicated by the double-headed arrow 24 (P1L to P0R range) is an overlap region where the projected images are superimposed.
  • the imaging area (range included in the captured image) of the projection plane 23 by the imaging unit 22-1 of the projection imaging apparatus 20-1 is a range of C0L to C0R.
  • the imaging area (range included in the captured image) of the projection plane 23 by the imaging unit 22-2 of the projection imaging apparatus 20-2 is a range of C1L to C1R.
  • the alignment of the overlap region (the range indicated by the double arrow 24) is performed by geometric correction. It can be performed.
  • a method using invisible light such as Infrared for example, a method using image feature quantity such as SIFT, and an ISL (Imperceptible Structured Light) system were considered.
  • a method using invisible light such as Infrared
  • a projector that projects invisible light for example, an Infrared projector
  • image feature quantities such as SIFT
  • the ISL method is a technique in which a structured light pattern, which is an image of a predetermined pattern, is inverted in a positive / negative manner and embedded in a projected image so as not to be perceived by humans.
  • the projector adds a predetermined structured light pattern to a certain frame of the input image to generate a frame image obtained by combining the positive image of the structured light pattern with the input image (content image).
  • a frame image is generated by combining the negative image of the structured light pattern with the input image by generating and subtracting the structured light pattern for the next frame of the input image.
  • the projector continuously projects those frames. Two frames of positive and negative that are switched at high speed are added and perceived by the human eye due to the integration effect. As a result, it becomes difficult for the user viewing the projected image to recognize the structured light pattern embedded in the input image.
  • the camera captures the projected images of those frames, and obtains the difference between the captured images of both frames, thereby extracting only the structured light pattern contained in the captured images. Corresponding point detection is performed using the extracted structured light pattern.
  • a structured pattern can be easily extracted simply by obtaining a difference between captured images. Ideally, corresponding points are detected with stable accuracy without depending on a projected image. be able to.
  • a specific example of the structured light pattern is shown in FIG.
  • a pattern image 100 shown in FIG. 8 is an ISL structured light pattern projected on a content image in a superimposed manner.
  • the pattern image 100 is for detecting a corresponding point (that is, a pixel correspondence relationship between the projection unit and the imaging unit) between the projection image projected by the projection unit and the captured image captured by the imaging unit.
  • a plurality of elliptical luminance distribution patterns 101 having luminance values different from those in the periphery are provided. That is, in the pattern image 100, a plurality of patterns 101 having different brightness from the periphery are arranged (formed).
  • a white ellipse pattern 101 shows an example of a pattern whose luminance change direction is a positive direction
  • a black ellipse pattern 101 shows an example of a pattern whose luminance change direction is a negative direction.
  • the size of each pattern 101 is arbitrary and may be the same as each other or may include those that are not the same. Further, the luminance distributions of the respective patterns 101 may be the same as each other or may include different ones.
  • the pattern image 100 having such a configuration is projected superimposed on another image (for example, a content image).
  • the luminance value of the pattern image 100 is added to a certain frame of the content image and projected, and the luminance value of the pattern image 100 is changed to the next frame.
  • the pattern image 100 is superimposed on the content image as a positive image 100-1 or a negative image 100-2 as shown in FIG.
  • the negative image 100-2 is an image obtained by reversing the positive and negative luminance values of the positive image 100-1. That is, the positive image 100-1 and the negative image 100-2 have the same pattern shape and the luminance change directions are opposite to each other.
  • the pattern image 100 can be made difficult to be perceived by the user viewing the projection image due to the integration effect ( This can contribute to the invisibility of the pattern image 100).
  • the pattern is detected by obtaining the difference between the captured images as described above. That is, the pattern is obtained as a difference between the luminance of the positive image 100-1 and the luminance of the negative image 100-2. This difference is also referred to as amplitude.
  • the magnitude of the amplitude in the projected image may be different from that in the pattern image 100 due to external factors such as the device characteristics of the projector.
  • the projector has a gamma characteristic such as a gamma curve 111 shown in FIG.
  • the luminance value (content luminance) in the projected content image is the value indicated by the solid line 121
  • the luminance value (output luminance) in the projected image is the value indicated by the solid line 124.
  • the output luminance is the value indicated by the dotted line 125.
  • the output luminance is the value indicated by the dotted line 126. It becomes.
  • the amplitude of the pattern 101 that is the size indicated by the double arrow 127 is expanded to the size indicated by the double arrow 128. Therefore, the pattern 101 superimposed on the content image becomes conspicuous, and there is a possibility that invisibility may be reduced.
  • the luminance value (content luminance) in the projected content image is a value indicated by the solid line 131
  • the luminance value (output luminance) in the projected image is the value indicated by the solid line 134.
  • the output luminance is a value indicated by the dotted line 135.
  • the output luminance is a value indicated by a dotted line 136.
  • the amplitude of the pattern 101 that is the size indicated by the double arrow 137 is reduced to the size indicated by the double arrow 138. Therefore, the detection accuracy of the pattern 101 may be reduced.
  • the amplitude of the pattern 101 in the projected image may change according to the brightness of the content image due to external factors such as the gamma characteristic of the projector, and thereby the pattern Invisibility and detection accuracy may be reduced.
  • ⁇ Amplitude adjustment> Therefore, in the projected image (output luminance), the amplitude of the pattern 101 in the pattern image 100 (positive image) so as to reduce the change in the amplitude of the pattern 101 depending on the luminance of the content image (so that the amplitude is as constant as possible).
  • the luminance difference between the image 100-1 and the negative image 100-2 is adjusted according to the luminance of the content image on which the pattern 101 is superimposed.
  • the amplitude of the pattern 101 in the content luminance may be made smaller as the luminance of the content image is larger. By doing in this way, the reduction of the invisibility of the pattern 101 can be suppressed.
  • the amplitude ⁇ of the pattern 101 superimposed on that portion is It may be made smaller.
  • the amplitude ⁇ of the pattern 101 remains unchanged.
  • the amplitude ⁇ rev of the adjusted pattern 101 can be obtained by the following equation (1) using the adjustment parameter attenuate_pattern_gain used for correcting the amplitude ⁇ of the pattern 101.
  • ⁇ rev ⁇ ⁇ (attenuate_pattern_gain ⁇ (attenuate_pattern_level-input) +1) ...
  • the amplitude of the pattern 101 can be adjusted only when the pattern 101 is more conspicuous.
  • the invisibility is increased, but the detection accuracy is reduced as a trade-off. Therefore, by limiting the amplitude adjustment to the case where the invisibility is particularly low as described above (when it is equal to or greater than a predetermined threshold), it is possible to suppress unnecessary reduction in the detection accuracy of the pattern 101.
  • the amplitude adjustment is not performed if the luminance value of the content image is smaller than the threshold value, the processing load for the amplitude adjustment can be reduced.
  • the adjustment amount of the amplitude ⁇ of the pattern 101 in the range where the luminance input of the content image is equal to or greater than the threshold attenuation_pattern_level has been described so as to change linearly according to the luminance input of the content image.
  • the change may be an arbitrary function. For example, it may be changed in a curved shape.
  • the amplitude of the pattern 101 in the content luminance may be increased as the luminance of the content image is smaller. By doing in this way, the reduction of the detection accuracy of the pattern 101 can be suppressed.
  • the amplitude ⁇ of the pattern 101 superimposed on that portion is set to It may be made larger.
  • the amplitude ⁇ of the pattern 101 remains unchanged.
  • the amplitude ⁇ rev of the pattern 101 after adjustment can be obtained by the following equation (2) using the adjustment parameter adjust_pattern_gain used for correcting the amplitude ⁇ of the pattern 101.
  • ⁇ rev ⁇ (adjust_pattern_gain ⁇ (adjust_pattern_level-input) +1) ...
  • the amplitude of the pattern 101 can be adjusted only when the detection accuracy of the pattern 101 is further lowered. It can.
  • the amplitude is increased, the detection accuracy is increased, but the invisibility is reduced accordingly. Therefore, it is possible to suppress the invisibility of the pattern 101 from being unnecessarily reduced by limiting the amplitude adjustment to the case where the detection accuracy is particularly low as described above (when the detection accuracy is equal to or lower than a predetermined threshold).
  • the luminance value of the content image is larger than the threshold value, the amplitude adjustment is not performed, so the processing load for the amplitude adjustment can be reduced.
  • the adjustment amount of the amplitude ⁇ of the pattern 101 in a range where the luminance input of the content image is equal to or less than the threshold adjust_pattern_level has been described so as to change linearly according to the luminance input of the content image.
  • the change may be an arbitrary function. For example, it may be changed in a curved shape.
  • FIG. 13 shows a description example of a program for realizing such adjustment.
  • the amplitude ⁇ of the pattern 101 is set according to the luminance of the content image so that the amplitude ⁇ ref of the pattern 101 in the output luminance becomes more constant regardless of the value of the luminance of the content image without providing a threshold. May be adjusted. Also in this case, the adjustment amount of the amplitude ⁇ of the pattern 101 is arbitrary. For example, when the projector has the device characteristic of the gamma curve 111 as shown in FIG. 10, the amplitude ⁇ ref of the pattern 101 in the content luminance is set so that the amplitude ⁇ ref of the pattern 101 in the output luminance becomes more constant according to the gamma curve. May be adjusted.
  • the adjustment of the amplitude of the pattern image 100 as described above may be performed so as to suppress the reduction of the invisibility of the pattern 101 or to suppress the reduction of the detection accuracy of the pattern 101. Therefore, for example, depending on the device characteristics of the projector, the amplitude of the pattern 101 in the content luminance may be increased as the luminance of the content image is increased. By doing in this way, the reduction of the detection accuracy of the pattern 101 can be suppressed.
  • the amplitude ⁇ of the pattern 101 superimposed on that portion may be increased.
  • the amplitude adjustment can be limited to a case where the detection accuracy is particularly low (when the detection accuracy is equal to or higher than a predetermined threshold), and the invisibility of the pattern 101 can be suppressed from being unnecessarily reduced.
  • the processing load for amplitude adjustment can also be reduced.
  • the amplitude of the pattern 101 in the content luminance may be made smaller as the luminance of the content image is smaller. By doing in this way, the reduction of the invisibility of the pattern 101 can be suppressed.
  • the amplitude ⁇ of the pattern 101 superimposed on that portion may be made smaller.
  • amplitude adjustment can be limited to the case where invisibility is especially low (when it is more than a predetermined threshold value), and it can suppress that the detection accuracy of the pattern 101 reduces unnecessarily.
  • the processing load for amplitude adjustment can also be reduced.
  • the brightness value of the projected image may exceed the limit value by superimposing the pattern image 100.
  • the luminance value of the projected image reaches the limit value, the amplitude is lost and the image is not symmetric with respect to the luminance of the content image, which may reduce invisibility.
  • the detection accuracy may be reduced.
  • the amplitude of the pattern 101 is adjusted so as not to exceed the limit value. By doing in this way, the invisibility of pattern 101 and the reduction of detection accuracy can be controlled.
  • the amplitude (that is, the luminance difference between the positive image and the negative image) may be adjusted so that the luminance of the projection image does not exceed the upper limit. For example, the amplitude may be reduced to 10 as shown on the right side of FIG.
  • the amplitude (that is, the luminance difference between the positive image and the negative image) may be adjusted so that the luminance of the projection image does not fall below the lower limit. For example, the amplitude may be reduced to 10 as shown on the right in FIG.
  • the luminance lower limit when the luminance lower limit is 0, the luminance upper limit is 255, and the luminance of the content image is 100, assuming that the amplitude is 256 or more, FIG.
  • the luminance value exceeds the upper limit of luminance and falls below the lower limit of luminance.
  • the amplitude is adjusted so as not to exceed (or fall below) the limit value closer to the brightness of the content image between the brightness upper limit and the brightness lower limit. It may be.
  • the amplitude may be adjusted so that the luminance of the projected image does not exceed the luminance upper limit.
  • the amplitude may be adjusted so that the brightness of the projection image does not fall below the brightness lower limit.
  • FIG. 17 shows a description example of a program for realizing such adjustment.
  • the luminance value (pos_val) of the positive image can be expressed as the following equation (3) using the luminance input of the content image and the amplitude ⁇ rev of the adjusted pattern 101.
  • the luminance value (neg_val) of the negative image can be expressed as the following equation (4) using the luminance input of the content image and the amplitude ⁇ rev of the adjusted pattern 101.
  • the invisibility of the pattern 101 and the reduction in detection accuracy can be suppressed.
  • ⁇ Adjustment processing unit> Various adjustments of the amplitude of the pattern 101 based on the brightness of the content image as described above in ⁇ Amplitude Adjustment> and ⁇ Luminance Clip> may be performed in arbitrary units of the pattern image 100.
  • the amplitude of the pattern 101 may be adjusted for each pixel.
  • the amplitude of the pattern 101 may be adjusted for each predetermined area. For example, it may be performed for each pattern 101.
  • the adjustment of the amplitude of the pattern 101 may be performed uniformly over the entire pattern image 100.
  • the amplitude of the pixel or region to be processed is determined using the parameters or adjustment results used for the adjustment of other pixels or other regions. Adjustments may be made.
  • the adjustment of the amplitude of the pattern 101 as described above may be performed based on the luminance of an arbitrary unit of the content image.
  • the adjustment of the amplitude of the pattern 101 may be performed based on the luminance of a predetermined pixel of the content image.
  • the adjustment of the amplitude of the pattern 101 may be performed based on the luminance of the pixel corresponding to the processing target pixel of the pattern image 100 (the pixel on which the processing target pixel is superimposed) of the content image. This may be performed based on the luminance of the pixels.
  • the amplitude of the pattern 101 may be adjusted based on the luminance of a plurality of pixels of the content image. In that case, it may be performed based on the statistical value of the luminance of the plurality of pixels.
  • This statistical value is arbitrary, and may be, for example, a maximum value, a minimum value, an average value, or the like.
  • the amplitude of the pattern 101 may be adjusted based on the luminance of a predetermined area of the content image.
  • the adjustment of the luminance of the pattern 101 may be performed based on the luminance of the area of the content image in which the pattern 101 is embedded (superimposed). Further, it may be performed based on the luminance of an area different from the area.
  • the amplitude of the pattern 101 may be adjusted based on the luminance of all the pixels of the content image. In that case, it may be performed based on the statistical value of the luminance of all the pixels of the content image.
  • This statistical value is arbitrary, and may be, for example, a maximum value, a minimum value, an average value, or the like.
  • ⁇ Repeated pattern detection> In the ISL method, as described above, a projected image of a content image on which a positive image is superimposed and a projected image of a content image on which a negative image is superimposed are captured, and a pattern 101 is obtained from a difference image of these captured images. Is detected.
  • the pattern 101 cannot always be detected with high accuracy.
  • the pattern 101 when the pattern 101 is superimposed over the edge of the content image as in the pattern 101-1 and the pattern 101-2 shown in FIG. 18, the luminance of the variable is lost or the shape is distorted.
  • the pattern 101 cannot be detected with high accuracy. In that case, there is a possibility that an error may occur in the corresponding point detection.
  • the pattern of the pattern image is detected from the obtained captured image, and when the corresponding points are detected from the detected pattern, all the reliability of the pattern included in the detection result is increased. Until then, the imaging of the projected image and the detection of the pattern from the captured image are repeated.
  • the reliability of the pattern detection result is determined for the pattern image 181 detected by the processing. If there is a region 182 where sufficiently high reliability cannot be obtained, the projection image is captured and the pattern is detected again.
  • the reliability of the pattern detection result is determined for the pattern image 183 detected by the processing.
  • correction processing such as posture estimation, projection screen reconstruction, and geometric correction is performed. Generate correction information.
  • the low-reliability pattern 101 included in the detection result is removed, the detection results of each time are integrated, and corresponding points are detected based on the integrated detection result. Good.
  • the corresponding point can be detected based on the more reliable detection result, so that the accuracy of the corresponding point detection can be improved.
  • correction information for correcting the projection image may be calculated based on the detected corresponding points. By doing so, more accurate correction information can be obtained.
  • the correction information may be calculated by removing the low-reliability pattern 101 included in the detection result, and the correction information of each time may be integrated.
  • the method of integrating correction information is arbitrary. For example, an average of each correction information may be obtained as an integration result. Moreover, you may make it integrate what weighted each correction information according to the reliability. In this way, more accurate correction information can be obtained.
  • FIG. 20 is a block diagram illustrating a main configuration example of an embodiment of a projection imaging system to which the present technology is applied. 20, the projection imaging system 300 projects an image, captures a projection image, ⁇ 1. This is a system that can perform corresponding point detection by the ISL method by the method to which the present technology described in ISL method and pattern invisibility> is applied.
  • the projection imaging system 300 includes a control device 301 and projection imaging devices 302-1 to 302-N (N is an arbitrary natural number).
  • the projection imaging device 302-1 to projection imaging device 302-N are connected to the control device 301 via cables 303-1 to 303-N, respectively.
  • the projection imaging device 302-1 to the projection imaging device 302-N will be referred to as the projection imaging device 302 when it is not necessary to distinguish between them.
  • the cables 303-1 to 303 -N are referred to as cables 303 when there is no need to distinguish them from each other.
  • the control device 301 controls each projection imaging device 302 via the cable 303.
  • the control device 301 can supply an image to be projected to each projection imaging device 302 and cause the image to be projected.
  • the control device 301 can instruct each projection imaging device 302 to capture a projection image or the like, and acquire the captured image.
  • the control device 301 can detect corresponding points between the projection image and the captured image, and can perform geometric correction of an image to be projected on each projection imaging device 302 based on the determined corresponding points. .
  • This geometric correction includes image processing (for example, enlargement, reduction, deformation, etc.) on the image to be projected, as well as control of the optical system of each projection imaging apparatus 302 (for example, control of projection direction, imaging direction, etc.). Etc.).
  • the projection imaging device 302-1 through projection imaging device 302-N are respectively a projection unit 311-1 through projection unit 311-N that projects an image, and an imaging unit 312-1 through imaging unit 312-N that images a subject.
  • the projection units 311-1 to 311-N will be referred to as the projection unit 311 when there is no need to distinguish between them.
  • the imaging units 312-1 to 312-N are referred to as imaging units 312 when there is no need to distinguish them from each other.
  • the projection unit 311 has a so-called projector function. That is, the projection imaging apparatus 302 can be driven as a projector using the projection unit 311. For example, the projection imaging apparatus 302 can project an image supplied from the control apparatus 301 onto an arbitrary projection plane using the projection unit 311.
  • the imaging unit 312 has a so-called camera function. That is, the projection imaging apparatus 302 can be driven as a camera using the imaging unit 312. For example, the projection imaging apparatus 302 can use the imaging unit 312 to capture an image of the projection surface onto which the image is projected by the projection unit 311, and supply the obtained captured image data to the control apparatus 301.
  • the number of the projection imaging devices 302 is arbitrary, and may be one or more.
  • the projection imaging devices 302 can perform image projection as described with reference to FIGS. 2 and 3 in cooperation with each other under the control of the control device 301. . That is, the projection imaging system 300 in that case is a so-called multi-projection system, and can implement so-called projection mapping.
  • the projection direction and enlargement ratio of the image by the projection unit 311, distortion correction of the projection image, and the like may be controllable.
  • the position and orientation of the optical system of the projection unit 311 and the entire projection unit 311 may be controllable.
  • the imaging direction and angle of view of the image by the imaging unit 312 and distortion correction of the captured image may be controllable.
  • the optical system of the imaging unit 312 or the position and orientation of the entire imaging unit 312 may be controllable.
  • control of the projection unit 311 and control of the imaging unit 312 may be performed independently of each other. Further, the position and orientation of the projection imaging apparatus 302 may be controllable. Note that the control of the projection unit 311, the imaging unit 312, and the projection imaging device 302 may be performed by the control device 301 or may be performed by other than the control device 301.
  • the cable 303 is an electric communication cable of an arbitrary communication standard that can be a communication path between the control device 301 and the projection imaging device 302. Note that the control device 301 and the projection imaging device 302 only need to be able to communicate with each other. For example, the control device 301 and the projection imaging device 302 may be connected by wireless communication. In that case, the cable 303 can be omitted.
  • the control device 301 performs corresponding point detection between each projection unit 311 and each imaging unit 312 for geometric correction of the image.
  • the control device 301 can perform corresponding point detection by an online sensing ISL method.
  • the control device 301 can perform corresponding point detection to which the present technology is applied.
  • FIG. 21 is a block diagram illustrating a main configuration example of the control device 301 which is an embodiment of an image processing device to which the present technology is applied.
  • the control device 301 includes a CPU (Central Processing Unit) 321, ROM (Read Only Memory) 322, RAM (Random Access Memory) 323, a bus 324, an input / output interface 330, an input unit 331, and an output.
  • the CPU 321, the ROM 322, and the RAM 323 are connected to each other via the bus 324.
  • An input / output interface 330 is also connected to the bus 324.
  • An input unit 331, an output unit 332, a storage unit 333, a communication unit 334, and a drive 335 are connected to the input / output interface 330.
  • the input unit 331 includes an input device that accepts external information such as user input.
  • the input unit 331 may include a keyboard, a mouse, operation buttons, a touch panel, a camera, a microphone, an input terminal, and the like.
  • the input unit 331 may include various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, and an input device such as a barcode reader.
  • the output unit 332 includes an output device that outputs information such as images and sounds.
  • the output unit 332 may include a display, a speaker, an output terminal, and the like.
  • the storage unit 333 includes a storage medium that stores information such as programs and data.
  • the storage unit 333 may include a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 334 includes a communication device that performs communication for exchanging information such as programs and data with an external apparatus via a predetermined communication medium (for example, an arbitrary network such as the Internet).
  • the communication unit 334 may be configured by a network interface, for example.
  • the communication unit 334 communicates (transfers programs and data) with a device external to the control device 301.
  • the communication unit 334 may have a wired communication function, a wireless communication function, or both.
  • the drive 335 reads information (program, data, etc.) stored in a removable medium 341 mounted on the drive 335 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 335 supplies information read from the removable medium 341 to the CPU 321, the RAM 323, and the like.
  • the drive 335 can store information (program, data, etc.) supplied from the CPU 321 or the RAM 323 in the removable medium 341.
  • the CPU 321 performs various processes by, for example, loading a program stored in the storage unit 333 into the RAM 323 via the input / output interface 330 and the bus 324 and executing the program.
  • the RAM 323 also appropriately stores data necessary for the CPU 321 to execute various processes.
  • the CPU 321 executes a program or the like in this way, thereby performing processing related to detection of corresponding points, for example, ⁇ 1. It is possible to perform the processing described in the ISL method and pattern invisibility>.
  • FIG. 22 is a functional block diagram illustrating an example of functions realized by the control device 301 executing a program or the like. As illustrated in FIG. 22, the control device 301 has functions of, for example, a pattern image projection processing unit 351 and a corresponding point detection processing unit 352 by executing a program.
  • the pattern image projection processing unit 351 performs processing related to the projection of the pattern image 100.
  • the pattern image projection processing unit 351 ⁇ 1. Processing as described in ⁇ Amplitude Adjustment>, ⁇ Luminance Clip>, etc. of the ISL method and pattern invisibility is performed.
  • the process performed by the pattern image projection processing unit 351 is arbitrary, and is not limited to these processes.
  • the corresponding point detection processing unit 352 performs processing related to detection of corresponding points based on the projection image projected by the pattern image projection processing unit 351.
  • the corresponding point detection processing unit 352 ⁇ 1. Processing as described in ⁇ Repetition of pattern detection> in ISL method and pattern invisibility is performed.
  • the process which the corresponding point detection process part 352 performs is arbitrary, and is not limited to these processes.
  • Each block can exchange information (for example, commands and data) with each other as necessary.
  • FIG. 23 An example of the function of the pattern image projection processing unit 351 is shown in FIG.
  • the pattern image projection processing unit 351 has functions indicated by functional blocks such as a content image acquisition unit 361, a pattern image acquisition unit 362, a pattern image adjustment unit 363, a synthesis unit 364, and a projection control unit 365, for example. Have.
  • the content image acquisition unit 361 performs processing related to content image acquisition.
  • the pattern image acquisition unit 362 performs processing related to acquisition of a pattern image.
  • the pattern image adjustment unit 363 performs processing related to adjustment of the amplitude of the pattern image. For example, the pattern image adjustment unit 363 performs ⁇ 1. Processing as described in ⁇ Amplitude Adjustment>, ⁇ Luminance Clip>, etc. of the ISL method and pattern invisibility is performed. Of course, the process performed by the pattern image adjustment unit 363 is arbitrary, and is not limited to these processes.
  • the composition unit 364 performs processing related to composition of the content image and the pattern image.
  • the projection control unit 365 performs processing related to image projection control by the projection imaging apparatus 302.
  • Each block can exchange information (for example, commands and data) with each other as necessary.
  • the pattern image adjustment unit 363 has functions indicated by functional blocks such as a pixel selection unit 371, an amplitude adjustment unit 372, and a luminance clip unit 373, for example.
  • the pixel selection unit 371 performs processing related to selection of a processing target pixel.
  • the amplitude adjustment unit 372 performs processing related to adjustment of the amplitude of the pattern 101 according to the luminance of the content image. For example, the amplitude adjustment unit 372 may perform ⁇ 1. Processing as described in ⁇ Amplitude Adjustment>, etc. of ISL Method and Pattern Invisibility> is performed. Of course, the process performed by the amplitude adjustment unit 372 is arbitrary, and is not limited to this process.
  • the luminance clip unit 373 performs processing related to adjustment of the amplitude of the pattern 101 according to the luminance limit and the luminance of the content image. For example, the luminance clip unit 373 has ⁇ 1. Processing as described in ⁇ Luminance Clip>, etc. of ISL method and pattern invisibility is performed. Of course, the process performed by the luminance clip unit 373 is arbitrary, and is not limited to this process.
  • the amplitude adjustment unit 372 has functions indicated by functional blocks such as a high luminance amplitude adjustment unit 374 and a low luminance amplitude adjustment unit 375, for example.
  • the high luminance amplitude adjustment unit 374 performs processing related to adjustment of the amplitude of the pattern 101 superimposed on the high luminance content image.
  • the high luminance amplitude adjustment unit 374 performs processing as described with reference to FIGS.
  • the process performed by the high luminance amplitude adjustment unit 374 is arbitrary, and is not limited to this process.
  • the low luminance amplitude adjustment unit 375 performs processing related to adjustment of the amplitude of the pattern 101 superimposed on the low luminance content image.
  • the low luminance amplitude adjustment unit 375 performs the processing described with reference to FIGS.
  • the process performed by the low luminance amplitude adjustment unit 375 is arbitrary, and is not limited to this process.
  • the luminance clip unit 373 has functions indicated by functional blocks such as a luminance value upper limit processing unit 376, a luminance value lower limit processing unit 377, and a luminance value upper / lower limit processing unit 378, for example. .
  • the luminance value upper limit processing unit 376 performs processing related to adjustment of the amplitude of the pattern 101 regarding the luminance upper limit.
  • the luminance value upper limit processing unit 376 performs the processing described with reference to FIG.
  • the process performed by the luminance value upper limit processing unit 376 is arbitrary, and is not limited to this process.
  • the luminance value lower limit processing unit 377 performs processing relating to adjustment of the amplitude of the pattern 101 relating to the luminance lower limit.
  • the luminance value lower limit processing unit 377 performs the processing described with reference to FIG.
  • the process performed by the luminance value lower limit processing unit 377 is arbitrary, and is not limited to this process.
  • the luminance value upper / lower limit processing unit 378 performs processing related to adjustment of the amplitude of the pattern 101 regarding the luminance upper limit and the luminance lower limit.
  • the luminance value upper / lower limit processing unit 378 performs the processing described with reference to FIGS.
  • the processing performed by the luminance value upper / lower limit processing unit 378 is arbitrary, and is not limited to this processing.
  • Each block can exchange information (for example, commands and data) with each other as necessary.
  • the corresponding point detection processing unit 352 includes, for example, an imaging control unit 381, a noise reduction unit 382, a pattern difference image generation unit 383, a reliability determination unit 384, a low reliability region removal unit 385, and a corresponding point detection unit 386.
  • the imaging control unit 381 performs processing related to imaging control by the projection imaging apparatus 302.
  • the noise reduction unit 382 performs processing related to noise reduction of the captured image.
  • the pattern difference image generation unit 383 performs processing related to the detection of the pattern 101.
  • the reliability determination unit 384 performs processing related to determination of pattern reliability.
  • the low reliability region removal unit 385 performs processing related to removal of pattern detection results with low reliability.
  • the corresponding point detection unit 386 performs processing related to detection of corresponding points.
  • the correction information calculation unit 387 performs processing related to calculation of correction information.
  • the corresponding point detection control unit 388 performs processing related to control of corresponding point detection.
  • the correction integration unit 389 performs processing related to integration of correction information.
  • Each block can exchange information (for example, commands and data) with each other as necessary.
  • These processing units perform processing as described with reference to FIGS. 18 and 19, for example. Of course, the processing performed by these processing units is arbitrary and is not limited to this processing.
  • FIG. 26 is a block diagram illustrating a main configuration example of the projection imaging apparatus 302.
  • the projection imaging apparatus 302 includes a control unit 401, a projection unit 311, an imaging unit 312, an input unit 411, an output unit 412, a storage unit 413, a communication unit 414, and a drive 415.
  • the control unit 401 includes, for example, a CPU, a ROM, a RAM, and the like, and controls each processing unit in the apparatus, and executes various processes necessary for the control such as image processing.
  • the control unit 401 performs these processes based on the control of the control device 301, for example.
  • the projection unit 311 is controlled by the control unit 401 to perform processing related to image projection.
  • the projection unit 311 projects the image supplied from the control unit 401 to the outside of the projection imaging apparatus 302 (for example, a projection surface).
  • the projection unit 311 projects an image by using laser light as a light source and scanning the laser light using a MEMS (Micro Electro Mechanical Systems) mirror.
  • the light source of the projection unit 311 is arbitrary, and is not limited to laser light, and may be, for example, an LED (Light Emitting Diode) or xenon.
  • the imaging unit 312 is controlled by the control unit 401 to capture a subject outside the apparatus (for example, a projection surface), generate a captured image, and supply the captured image to the control unit 401.
  • the imaging unit 312 captures a projection image projected on the projection plane by the projection unit 311.
  • the imaging unit 312 includes, for example, an image sensor using a CMOS (Complementary Metal Oxide Semiconductor), an image sensor using a CCD (Charge Coupled Device), etc., and photoelectrically converts light from a subject by the image sensor to capture an image. An electrical signal (data) of the image is generated.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the input unit 411 includes an input device that accepts external information such as user input.
  • the input unit 411 includes operation buttons, a touch panel, a camera, a microphone, an input terminal, and the like.
  • Various sensors such as an optical sensor and a temperature sensor may be included in the input unit 411.
  • the output unit 412 includes an output device that outputs information such as images and sounds.
  • the output unit 412 includes a display, a speaker, an output terminal, and the like.
  • the storage unit 413 includes, for example, a hard disk, a RAM disk, and a nonvolatile memory.
  • the communication unit 414 is composed of a network interface, for example.
  • the communication unit 414 is connected to the communication cable 303 and can communicate with the control device 301 connected via the communication cable 303.
  • the communication unit 414 may have a wired communication function, a wireless communication function, or both.
  • the drive 415 drives a removable medium 421 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • FIG. 27 is a block diagram illustrating a main configuration example of the projection unit 311.
  • the projection unit 311 includes a video processor 431, a laser driver 432, a laser output unit 433-1, a laser output unit 433-2, a laser output unit 433-3, a mirror 434-1, and a mirror 434-. 2, a mirror 434-3, a MEMS driver 435, and a MEMS mirror 436.
  • the video processor 431 holds an image supplied from the control unit 401 or performs necessary image processing on the image.
  • the video processor 431 supplies the projected image to the laser driver 432 and the MEMS driver 435.
  • the laser driver 432 controls the laser output unit 433-1 to the laser output unit 433-3 so that the image supplied from the video processor 431 is projected.
  • the laser output units 433-1 to 433-3 output laser beams having different colors (wavelength ranges) such as red, blue, and green. That is, the laser driver 432 controls the laser output of each color so that the image supplied from the video processor 431 is projected.
  • the laser output units 433-1 to 433-3 are referred to as laser output units 433 when there is no need to distinguish them from each other.
  • the mirror 434-1 reflects the laser beam output from the laser output unit 433-1 and guides it to the MEMS mirror 436.
  • the mirror 434-2 reflects the laser beam output from the laser output unit 433-2 and guides it to the MEMS mirror 436.
  • the mirror 434-3 reflects the laser beam output from the laser output unit 433-3 and guides it to the MEMS mirror 436. Note that the mirrors 434-1 to 434-3 are referred to as mirrors 434 when there is no need to distinguish them from each other.
  • the MEMS driver 435 controls the drive of the mirror of the MEMS mirror 436 so that the image supplied from the video processor 431 is projected.
  • the MEMS mirror 436 scans the laser light of each color as shown in the example of FIG. 28, for example, by driving a mirror (mirror) mounted on the MEMS according to the control of the MEMS driver 435.
  • This laser light is output from the projection port to the outside of the apparatus, and is irradiated on, for example, the projection surface.
  • the image supplied from the video processor 431 is projected onto the projection plane.
  • three laser output units 433 are provided to output laser beams of three colors, but the number of laser beams (or the number of colors) is arbitrary.
  • the number of laser output units 433 may be four or more, or two or less. That is, the number of laser beams output from the projection imaging apparatus 302 (projection unit 311) may be two or less, or four or more.
  • the number of colors of laser light output from the projection imaging device 302 (projection unit 311) is also arbitrary, and may be two or less colors or four or more colors.
  • the configuration of the mirror 434 and the MEMS mirror 436 is also arbitrary, and is not limited to the example of FIG. Of course, the scanning pattern of the laser beam is arbitrary.
  • the control device 301 controls each projection imaging device 302 and projects images such as contents by ISL online sensing, while projecting each of the projection units 311 and each imaging unit. Corresponding points between 312 are detected, and based on the corresponding points, posture estimation and projection surface formation of each projection unit and each imaging unit 312 are performed, and geometric correction of the projected image is performed.
  • the pattern image projection processing unit 351 of the control device 301 executes the pattern image projection processing in step S101, controls the projection imaging device 302, and performs processing related to the projection of the structured light pattern. I do.
  • the details of the process relating to the projection of the structured light pattern will be described later. For example, ⁇ 1. This includes processing as described in ⁇ Amplitude Adjustment>, ⁇ Luminance Clip>, etc. of ISL method and pattern invisibility.
  • step S102 the corresponding point detection processing unit 352 executes the corresponding point detection processing, controls the projection imaging device 302, and images the projection image projected by the processing in step S101.
  • the corresponding point detection processing unit 352 detects a corresponding point based on the captured image, performs geometric correction or the like, and generates correction information.
  • the details of the corresponding point detection processing will be described later. For example, ⁇ 1. This includes processing as described in ⁇ Repetition of pattern detection> in ISL method and pattern invisibility.
  • step S102 When the process of step S102 is completed, the geometric correction process is completed.
  • the control device 301 executes this geometric correction process for all combinations of the projection unit 311 and the imaging unit 312.
  • the content image acquisition unit 361 of the pattern image projection processing unit 351 acquires a content image to be projected from the projection imaging apparatus 302 in step S121.
  • the pattern image acquisition unit 362 acquires the pattern image 100 (positive image 100-1 and negative image 100-2) to be superimposed and projected on the content image acquired in step S121.
  • step S123 the pattern image adjustment unit 363 executes a pattern image adjustment process and adjusts the pattern image according to the luminance.
  • the details of this pattern image adjustment processing will be described later. For example, ⁇ 1. This includes processing as described in ⁇ Amplitude Adjustment>, ⁇ Luminance Clip>, etc. of ISL method and pattern invisibility.
  • step S124 the synthesizing unit 364 synthesizes the pattern image adjusted as necessary by the process of step S123 with the content image.
  • step S125 the projection controller 365 supplies the composite image generated by the process in step S124 to the projection imaging apparatus 302 to cause it to be projected.
  • the pattern image projection process ends, and the process returns to FIG.
  • the pixel selection unit 371 of the pattern image adjustment unit 363 selects a processing target pixel in step S141.
  • the amplitude adjustment unit 372 executes an amplitude adjustment process, and adjusts the amplitude of the pattern 101 for the processing target pixel of the pattern image 100 according to the luminance of the content image.
  • ⁇ 1 This includes processing as described in ⁇ Amplitude Adjustment>, etc. of ISL Method and Pattern Invisibility>.
  • step S143 the luminance clip unit 373 executes luminance clipping processing, and adjusts the amplitude of the pattern 101 for the processing target pixel of the pattern image 100 based on the luminance of the content image and the luminance limit.
  • the details of the luminance clip processing will be described later. For example, ⁇ 1. This includes processing as described in ⁇ Luminance Clip>, etc. in ISL Method and Pattern Invisibility.
  • step S144 the pixel selection unit 371 determines whether all the pixels have been processed. If it is determined that there is an unprocessed pixel, the process returns to step S141, a new process target pixel is selected, and the subsequent processes are repeated.
  • step S144 If it is determined in step S144 that all the pixels have been processed, the pattern image adjustment process ends, and the process returns to FIG.
  • the high luminance amplitude adjustment unit 374 adjusts the amplitude of the pattern image (for example, the pattern 101) superimposed on the high luminance content image in step S161.
  • the high luminance amplitude adjustment unit 374 adjusts the amplitude of the pattern image by the method described with reference to FIG.
  • step S162 the low luminance amplitude adjustment unit 375 adjusts the amplitude of the pattern image (for example, the pattern 101) superimposed on the low luminance content image.
  • the low luminance amplitude adjustment unit 375 adjusts the amplitude of the pattern image by the method described with reference to FIG.
  • the luminance value upper limit processing unit 376 determines in step S181 whether or not the amplitude of the processing target pixel of the pattern 101 to be superimposed on the content image exceeds the luminance value upper limit. If the luminance value of the pattern 101 in the positive direction is added to the luminance value of the content image and it is determined that the luminance value upper limit is exceeded, the process proceeds to step S182.
  • step S182 the luminance value upper limit processing unit 376 adjusts the amplitude of the pattern image (for example, the pattern 101) so that the addition result does not exceed the luminance value upper limit.
  • the luminance value upper limit processing unit 376 adjusts the amplitude of the pattern image so that the addition result does not exceed the luminance value upper limit by the method described with reference to FIG.
  • step S182 ends, the process proceeds to step S183. If it is determined in step S181 that the addition result of the luminance value of the content image and the luminance in the positive direction of the pattern 101 does not exceed the luminance value upper limit, the process of step S182 is omitted, and the process proceeds to step S183. move on.
  • step S183 the luminance value lower limit processing unit 377 determines whether or not the amplitude of the processing target pixel of the pattern 101 superimposed on the content image is lower than the luminance value lower limit. If the luminance in the negative direction of the pattern 101 is subtracted from the luminance value of the content image and it is determined that the luminance value is below the lower limit of the luminance value, the process proceeds to step S184.
  • step S184 the luminance value lower limit processing unit 377 adjusts the amplitude of the pattern image (for example, pattern 101) so that the subtraction result does not fall below the luminance value lower limit.
  • the luminance value lower limit processing unit 377 adjusts the amplitude of the pattern image so that the subtraction result does not fall below the luminance value lower limit by the method described with reference to FIG.
  • step S184 ends, the process proceeds to step S185. If it is determined in step S183 that the result of subtracting the luminance value of the content image from the luminance in the negative direction of the pattern 101 does not fall below the lower limit of the luminance value, the process of step S184 is omitted, and the process proceeds to step S185. move on.
  • step S185 the luminance value upper / lower limit processing unit 378 determines whether the amplitude of the processing target pixel of the pattern 101 to be superimposed on the content image exceeds the luminance value upper limit, falls below the luminance value lower limit, or does not exceed the luminance value upper limit. In addition, it is determined whether or not the luminance value lower limit is not reached. If the luminance value of the pattern 101 is added to the luminance value of the content image and it is determined that the luminance value falls below the lower limit of the luminance value, or the luminance value of the pattern 101 is subtracted from the luminance value of the content image If it is determined that the value is below the lower limit, the process proceeds to step S186.
  • step S186 the luminance value upper / lower limit processing unit 378 subtracts the result of adding the luminance value of the content image and the luminance of the pattern 101 in the positive direction, and the luminance value of the content image and the luminance of the pattern 101 in the negative direction.
  • the amplitude of the pattern image (for example, pattern 101) is adjusted so that the result falls between the luminance value upper limit and the luminance value lower limit.
  • the luminance value upper / lower limit processing unit 378 is configured such that the addition result and the subtraction result described above fall within the luminance value upper limit and the luminance value lower limit by the method described with reference to FIGS. Adjust the amplitude of the pattern image.
  • step S186 the luminance clip process is terminated, and the process returns to FIG.
  • step S185 the addition result of the luminance value of the content image and the luminance of the pattern 101 in the positive direction does not exceed the upper limit of the luminance value, and the luminance value of the content image and the luminance of the pattern 101 in the negative direction are
  • the process of step S186 is omitted, the luminance clip process ends, and the process returns to FIG.
  • the imaging control unit 381 performs a projection image projected from the projection unit 311 that is the target of the pattern image projection process by the pattern image projection process in step S101 of FIG. Image.
  • This projection image is a projection image of a composite image in which the pattern image 100 with the amplitude adjusted as necessary is superimposed on the content image.
  • the imaging control unit 381 controls the imaging unit 312 that is the processing target of the corresponding point detection process, and captures the projected image.
  • the imaging control unit 381 captures a required number of projected images and obtains a required number of captured images.
  • step S202 the noise reduction unit 382 integrates the captured images of the projected images of the content image on which the same type of pattern image (positive image or negative image) is superimposed from the obtained captured images, and the noise of the captured images (Improve the S / N ratio).
  • the pattern difference image generation unit 383 generates a difference image (pattern difference image) between the captured image of the projection image of the composite image of the positive image and the content image and the captured image of the projection image of the composite image of the negative image and the content image.
  • This pattern difference image is an image in which the content image is substantially canceled and the pattern image is emphasized. That is, the pattern difference image generation unit 383 detects the pattern 101 from the captured image.
  • the reliability determination unit 384 determines the reliability of the detected pattern 101 in the pattern difference image.
  • This reliability determination method is arbitrary. For example, the determination may be made based on the magnitude, position, shape, etc. of the amplitude.
  • step S205 the low-reliability area removing unit 385 sets an area where the reliability of the pattern 101 is relatively lower than the other areas in the pattern difference image based on the determination result in step S204.
  • the pattern 101 is removed.
  • step S206 the corresponding point detection unit 386 uses the pattern 101 in the area not removed by the processing in step S205, that is, the pattern 101 with high reliability, and the projection unit 311 to be processed and the imaging unit 312 to be processed. The corresponding point is detected.
  • step S207 the correction information calculation unit 387 performs processing such as posture estimation, projection screen reconstruction, and geometric correction based on the corresponding points detected by the processing in step S206, and reflects the processing results. Correction information for correcting an image to be corrected is generated.
  • step S208 the corresponding point detection control unit 388 determines whether corresponding points have been detected in all regions. If it is determined that the corresponding points are not detected in all the regions, the process returns to step S202, and the subsequent processes are repeated.
  • step S208 The processing from step S202 to step S208 is repeated, and if it is determined in step S208 that corresponding points have been detected in all regions, the processing proceeds to step S209.
  • step S209 the correction integration unit 389 integrates the correction information generated in step S207 of each repetition of the processing in steps S202 to S208.
  • step S209 When the process of step S209 is completed, the corresponding point detection process is terminated, and the process returns to FIG. That is, each processing unit of the corresponding point detection processing unit 352 performs processing as described with reference to FIGS.
  • Second Embodiment> ⁇ Other Configuration Examples of Projection Imaging System and Projection Imaging Device>
  • the configuration example of the projection imaging system to which the present technology is applied is not limited to the above-described example.
  • the control device 301 and each projection imaging device 302 may be connected to each other via the network 501.
  • the network 501 is an arbitrary communication network.
  • a communication method employed in the network 501 is arbitrary. For example, wired communication, wireless communication, or both of them may be used.
  • the network 501 may be configured by a single communication network or may be configured by a plurality of communication networks.
  • the network 501 may include a communication network or a communication path of an arbitrary communication standard such as a wired communication network complying with the standard.
  • the control device 301 and each projection imaging device 302 are connected to the network 501 so as to communicate with each other.
  • this connection may be wired (that is, connection via wired communication), wireless (that is, connection via wireless communication), or both.
  • the number of each device, the shape and size of the housing, the arrangement position, etc. are arbitrary.
  • the control device 301 and each projection imaging device 302 can communicate with each other (information is exchanged) via the network 501.
  • the control device 301 and each projection imaging device 302 may be connected to each other via other equipment (devices, transmission paths, etc.) so as to communicate with each other.
  • the present technology can be applied as in the case of the projection imaging system 300 described in the first embodiment, and the above-described effects can be obtained.
  • the projection unit 311 and the imaging unit 312 may be configured as different apparatuses.
  • the projection imaging system 510 instead of the projection imaging apparatus 302, the projection apparatuses 511-1 to 511-N (N is an arbitrary natural number) and the imaging apparatuses 512-1 to 512-M (M is an arbitrary number) Natural number).
  • Each of the projection devices 511-1 to 511-N includes a projection unit 311 (projection unit 311-1 to projection unit 311-N), and projects an image.
  • the imaging devices 512-1 to 512-M each have an imaging unit 312 (imaging unit 312-1 to imaging unit 312-M), and image the projection plane (projected image projected by the projection unit 311). Do.
  • the imaging devices 512-1 to 512-M will be referred to as imaging devices 512 when there is no need to distinguish them from each other.
  • Each projection device 511 and each imaging device 512 are connected so as to be communicable with the control device 301, and can communicate (transfer information) with the control device 301 by wired communication or wireless communication or both. Note that each projection device 511 and each imaging device 512 may be able to communicate with another projection device 511, another imaging device 512, or both via the control device 301.
  • each device the shape and size of the housing, the arrangement position, etc. are arbitrary. Further, as in the example of FIG. 35A, the respective devices may be connected to each other via another facility (device or transmission path) such as the network 501 or the like.
  • another facility device or transmission path
  • the present technology can be applied similarly to the case of the projection imaging system 300 described in the first embodiment, and the above-described effects can be obtained.
  • the control device 301 may be omitted as in the projection imaging system 520 shown in FIG.
  • the projection imaging system 520 includes projection imaging apparatuses 521-1 to 521-N (N is an arbitrary natural number).
  • the projection imaging device 521-1 to the projection imaging device 521 -N are referred to as the projection imaging device 521 when it is not necessary to distinguish them from each other for explanation.
  • Each projection imaging device 521 is connected to be communicable with each other via a communication cable 522. Note that each projection imaging device 521 may be connected to be communicable with each other by wireless communication.
  • the projection imaging device 521-1 to the projection imaging device 521-N have a control unit 523-1 to a control unit 523-N, respectively.
  • the control units 523-1 to 523-N are referred to as the control unit 523 when it is not necessary to distinguish them from each other.
  • the control unit 523 has the same function as that of the control device 301 and can perform the same processing.
  • the processing performed in the control device 301 described above is executed in the projection imaging device 521 (the control unit 523).
  • the processing performed in the control device 301 described above is executed in the projection imaging device 521 (the control unit 523).
  • Any one of the projection imaging devices 521 (the control unit 523) may execute all the processes performed in the control device 301, or the plurality of projection imaging devices 521 (the control unit 523)
  • the processing may be executed in cooperation by exchanging information.
  • the present technology can be applied similarly to the case of the projection imaging system 300 described in the first embodiment, and the above-described effects can be obtained.
  • the projection imaging system 300 may be configured as one apparatus.
  • 36B includes a projection unit 311 (projection unit 311-1 to projection unit 311-N (N is an arbitrary natural number)), and an imaging unit 312 (imaging unit 312-1 to imaging unit 312). -M (M is an arbitrary natural number)), and a control unit 523.
  • control unit 523 controls the projection units 311 and the imaging units 312 to detect corresponding points by executing the processing performed in the control device 301 described above.
  • the present technology can be applied similarly to the case of the projection imaging system 300 described in the first embodiment, and the above-described effects can be obtained. it can.
  • the present technology has been described above using a projection imaging system.
  • the present technology is an arbitrary configuration having an image display function, such as an image display device or an image display system, or an arbitrary configuration that performs processing for image display Can be applied to.
  • the present technology can also be applied to systems and devices used for viewing.
  • the present technology can be applied to a system or a device provided for traffic management.
  • the present technology can also be applied to a system or device used for security.
  • the present technology can be applied to a system or a device provided for sports.
  • the present technology can also be applied to a system or a device provided for agriculture.
  • the present technology can also be applied to a system or device used for livestock industry.
  • the present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, and oceans.
  • the present technology can be applied to, for example, a weather observation system or a weather observation apparatus that observes weather, temperature, humidity, wind speed, sunshine duration, and the like.
  • the present technology can also be applied to systems and devices for observing the ecology of wildlife such as birds, fish, reptiles, amphibians, mammals, insects, and plants.
  • this recording medium is distributed by a removable medium 341 on which the program, data, and the like are recorded separately from the device main body and distributed to distribute the program, data, etc. to the user. Composed.
  • the removable medium 341 to the drive 335, the program, data, and the like stored in the removable medium 341 can be read and installed in the storage unit 333.
  • this recording medium is distributed to distribute the program, data, etc. to the user separately from the apparatus main body, and the removable medium on which the program, data, etc. are recorded. 421.
  • the removable medium 421 for example, by attaching the removable medium 421 to the drive 415, the program, data, and the like stored in the removable medium 421 can be read and installed in the storage unit 413.
  • the program and data can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program, data, and the like can be received by the communication unit 334 and installed in the storage unit 333.
  • the program, data, and the like can be received by the communication unit 414 and installed in the storage unit 413.
  • this program, data, etc. can be installed in advance in a storage unit, ROM, or the like.
  • programs, data, and the like can be installed in advance in the storage unit 333, the ROM 322, and the like.
  • the program, data, and the like can be installed in advance in a ROM (not shown) or the like built in the storage unit 413 or the control unit 401.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology may be applied to any configuration that constitutes an apparatus or system, for example, a processor as a system LSI (Large Scale Integration), a module that uses a plurality of processors, a unit that uses a plurality of modules, etc. It can also be implemented as a set or the like to which functions are added (that is, a partial configuration of the apparatus).
  • a processor as a system LSI (Large Scale Integration)
  • a module that uses a plurality of processors
  • a unit that uses a plurality of modules etc.
  • It can also be implemented as a set or the like to which functions are added (that is, a partial configuration of the apparatus).
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether all the constituent elements are in the same casing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the above-described processing unit may be realized by any configuration as long as it has the function described for the processing unit.
  • the processing unit may be configured by an arbitrary circuit, LSI, system LSI, processor, module, unit, set, device, apparatus, system, or the like. A plurality of them may be combined.
  • the same type of configuration such as a plurality of circuits and a plurality of processors may be combined, or different types of configurations such as a circuit and an LSI may be combined.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be such that the processing of steps describing the program is executed in time series in the order described in this specification, or in parallel or when a call is made. It may be executed individually at the required timing. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • this technique can also take the following structures.
  • a luminance difference between two pattern images projected in a superimposed manner on a content image and having the same shape and having opposite luminance change directions is determined according to the luminance of the content image.
  • An image processing apparatus comprising an adjustment unit for adjustment.
  • the adjustment unit adjusts the luminance difference so that the luminance of the projected image does not exceed the upper limit;
  • the brightness difference is adjusted so that the brightness of the projected image does not fall below the lower limit (1) to (7)
  • An image processing apparatus according to claim 1.
  • the image processing device according to any one of (1) to (8), wherein the adjustment unit adjusts the luminance difference for each pixel.
  • An image processing apparatus comprising: a corresponding point detection unit that repeats the imaging of the projected image and the detection of the pattern from the captured image until all are high.
  • the corresponding point detection unit removes the pattern with low reliability included in the detection result in each detection of the pattern, and integrates the detection result of each time to detect the corresponding point.
  • the image processing apparatus described.
  • the corresponding point detection unit calculates the correction information by removing the pattern with low reliability included in the detection result, and integrates the correction information at each time. ).
  • the image processing device calculates an average of the correction information of each time.
  • the image processing apparatus weights and integrates the correction information of each time based on reliability.
  • the image processing apparatus according to any one of (13) to (18), further including an imaging unit that captures the projected image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

本開示は、パタンの不可視性の低減を抑制することができるようにする画像処理装置および方法に関する。 コンテンツ画像に重畳して投影される、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きのパタンを有する２つのパタン画像の輝度差を、前記コンテンツ画像の輝度に応じて調整する。本開示は、例えば、画像処理装置、画像投影装置、制御装置、情報処理装置、投影撮像システム、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、不可視性の低減を抑制することができるようにした画像処理装置および方法に関する。
　従来、プロジェクタにより投影された投影画像の歪みの低減や、複数のプロジェクタによる各投影画像の位置合わせのために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等に応じた投影画像の幾何補正を行う方法があった。このような方法の場合、投影画像と撮像画像との間で対応点を求める必要があった。
　例えば、コンテンツ画像を投影しながらその対応点を求める技術であるオンラインセンシングとして、投影するコンテンツ画像にパタン画像を埋め込むISL（Imperceptible Structured Light）方式が考えられた（例えば、特許文献１参照）。ISL方式では、パタンが互いに同一であり、かつ、輝度変化方向が互いに逆向きの２つのパタン画像をコンテンツ画像の連続するフレームに埋め込み投影することにより、パタンの不可視性を実現する。
特開２０１３－１９２０９８号公報
　しかしながら、プロジェクタのデバイス特性に起因して、投影画像における輝度が投影される画像の輝度から変化する場合がある。そのため、投影画像において、コンテンツ画像に埋め込まれるISL方式の２つのパタン画像の輝度差（振幅）の大きさがコンテンツ画像の輝度に依存して変化するおそれがあり、コンテンツ画像の輝度によっては不可視性が低減してしまうおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、パタンの不可視性の低減を抑制することができるようにするものである。
　本技術の一側面の画像処理装置は、コンテンツ画像に重畳して投影される、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きのパタンを有する２つのパタン画像の輝度差を、前記コンテンツ画像の輝度に応じて調整する調整部を備える画像処理装置である。
　本技術の一側面の画像処理方法は、コンテンツ画像に重畳して投影される、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きのパタンを有する２つのパタン画像の輝度差を、前記コンテンツ画像の輝度に応じて調整する画像処理方法である。
　本技術の他の側面の画像処理装置は、パタン画像の投影画像を撮像し、得られた撮像画像より前記パタン画像のパタンを検出し、検出した前記パタンから対応点を検出する際に、検出結果に含まれる前記パタンの信頼度が全て高くなるまで、前記投影画像の撮像と前記撮像画像からの前記パタンの検出を繰り返す対応点検出部を備える画像処理装置である。
　本技術の他の側面の画像処理方法は、パタン画像の投影画像を撮像し、得られた撮像画像より前記パタン画像のパタンを検出し、検出した前記パタンから対応点を検出する際に、検出結果に含まれる前記パタンの信頼度が全て高くなるまで、前記投影画像の撮像と前記撮像画像からの前記パタンの検出を繰り返す画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、コンテンツ画像に重畳して投影される、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きのパタンを有する２つのパタン画像の輝度差が、そのコンテンツ画像の輝度に応じて調整される。
　本技術の他の側面の情報処理装置および方法においては、パタン画像の投影画像を撮像し、得られた撮像画像よりパタン画像のパタンを検出し、検出したパタンから対応点を検出する際に、検出結果に含まれるパタンの信頼度が全て高くなるまで、投影画像の撮像と撮像画像からのパタンの検出が繰り返される。
　本開示によれば、画像を処理することができる。特に、パタンの不可視性の低減を抑制することができる。
幾何補正の様子の例を示す図である。 幾何補正の様子の例を示す図である。 幾何補正の様子の例を示す図である。 対応点検出の様子の例を示す図である。 対応点検出の様子の例を示す図である。 対応点検出の様子の例を示す図である。 ISLの例を説明する図である。 構造化光パタンの例を示す図である。 構造化光パタンのポジ画像とネガ画像の例を示す図である。 プロジェクタのガンマ特性の例を示す図である。 高輝度振幅調整の例を示す図である。 低輝度振幅調整の例を示す図である。 輝度振幅調整のためのプログラムの例を示す図である。 上限クリップの例を示す図である。 下限クリップの例を示す図である。 上下限クリップの例を示す図である。 クリップのためのプログラムの例を示す図である。 信頼度の低いパタン検出の例を示す図である。 適応的なセンシングを伴う対応点検出の様子の例を示す図である。 投影撮像システムの主な構成例を示すブロック図である。 制御装置の主な構成例を示すブロック図である。 制御装置が実現する機能例を示す機能ブロック図である。 パタン画像投影処理部が実現する機能例を示す機能ブロック図である。 パタン画像調整部が実現する機能例を示す機能ブロック図である。 対応点検出処理部が実現する機能例を示す機能ブロック図である。 投影撮像装置の主な構成例を示すブロック図である。 投影部の主な構成例を示すブロック図である。 レーザ光の走査の例を示す図である。 幾何補正処理の流れの例を説明するフローチャートである。 パタン画像投影処理の流れの例を説明するフローチャートである。 パタン画像調整処理の流れの例を説明するフローチャートである。 振幅調整処理の流れの例を説明するフローチャートである。 輝度クリップ処理の流れの例を説明するフローチャートである。 対応点検出処理の流れの例を説明するフローチャートである。 投影撮像システムの他の構成例を示すブロック図である。 投影撮像システムや投影撮像装置の主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．ISL方式とパタンの不可視性
　２．第１の実施の形態（投影撮像システム）
　３．第２の実施の形態（投影撮像システム・投影撮像装置）
　４．その他
　＜１．ISL方式とパタンの不可視性＞
　　＜対応点検出と幾何補正＞
　プロジェクタの投影面（スクリーンや壁等）に対する姿勢（位置や向き等）や投影面の形状等によって、例えば図１のＡのように、投影された画像（投影画像とも称する）が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、図１のＢの例のように、投影画像の歪みを低減し、見やすくすることができる。
　また、図２の例のように、複数のプロジェクタにより画像を投影して、１つの投影画像を形成させるシステムがある。例えば、図２のＡのように、複数のプロジェクタから互いに同位置に画像を投影することにより、コントラスト比を大きくし、ハイダイナミックレンジを実現する方法がある。また、例えば、図２のＢのように、各プロジェクタから投影された投影画像を並べることにより、１台のプロジェクタが投影する投影画像よりも大きな投影画像（１台のプロジェクタが投影する投影画像よりも高解像度の投影画像）を実現する方法がある。これらの方法の場合、各プロジェクタから投影された投影画像同士の位置関係が不適切であると、投影画像同士がずれて重畳されたり不要な隙間が生じたりして投影画像全体としての画質が低減するおそれがある。そのため、各投影画像に対する上述した歪み補正だけでなく、投影画像同士の位置合わせ等の幾何補正も必要になる場合がある。
　このように投影する画像に対して幾何補正を行うことにより、図３の例のように、複数のプロジェクタから曲面の投影面に対して画像を投影する場合であっても、１つの画像のように投影することができる。なお、図２のＢや図３の例のように、複数の投影画像を並べて大きな投影画像を形成する場合、図３の例のように、隣接する投影画像の一部同士を重畳させる（オーバラップさせる）ことにより、その位置合わせをより容易にすることができる。
　このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正を行う方法が考えられた。
　例えば、図４の例のように、プロジェクタ１１から所定の絵柄の標準化光パタン１２をスクリーン１３に投影し、カメラ１４によりその投影された標準化光パタン１２を撮像して撮像画像１５を得る。そして、その標準化光パタン１２の絵柄に基づいて標準化光パタン１２と撮像画像１５との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ１１とカメラ１４の姿勢（位置関係）やスクリーン１３の形状等を求め、その結果に基づいて幾何補正を行う。このようにすることにより、手動で行う場合よりもより容易に幾何補正を行うことができる。
　このようにカメラを利用して幾何補正を行う場合、投影画像（投影される画像でもよい）と撮像画像との間で対応点（投影画像および撮像画像の、投影面の互いに同じ位置に対応する画素）を求める必要がある。つまり、カメラ１４（撮像画像１５）の画素とプロジェクタ１１（標準化光パタン１２）の画素との対応関係を求める必要がある。
　また、図２や図３の例のように複数のプロジェクタを用いる場合は、各投影画像同士の位置関係も求める必要がある。
　例えば、図５の例のように、投影部２１－１（プロジェクタ）と撮像部２２－１（カメラ）とを有する投影撮像装置２０－１と、投影部２１－２（プロジェクタ）と撮像部２２－２（カメラ）とを有する投影撮像装置２０－２とを協働させて画像を投影するとする。ここで、投影撮像装置２０－１と投影撮像装置２０－２とを互いに区別して説明する必要が無い場合、投影撮像装置２０と称する。また、投影部２１－１と投影部２１－２とを互いに区別して説明する必要が無い場合、投影部２１と称する。さらに、撮像部２２－１と撮像部２２－２とを互いに区別して説明する必要が無い場合、撮像部２２と称する。
　図５に示されるように、投影撮像装置２０－１の投影部２１－１による投影面２３の投影領域（投影画像の範囲）は、P0L乃至P0Rの範囲である。また、投影撮像装置２０－２の投影部２１－２による投影面２３の投影領域は、P1L乃至P1Rの範囲である。つまり、両矢印２４で示される範囲（P1L乃至P0Rの範囲）が、互いの投影画像が重畳するオーバーラップ領域となる。
　なお、投影撮像装置２０－１の撮像部２２－１による投影面２３の撮像領域（撮像画像に含まれる範囲）は、C0L乃至C0Rの範囲である。また、投影撮像装置２０－２の撮像部２２－２による投影面２３の撮像領域（撮像画像に含まれる範囲）は、C1L乃至C1Rの範囲である。
　このようなシステムの場合、上述したように、投影画像同士の位置合わせを行うために、各投影撮像装置２０における投影部２１と撮像部２２との間の対応点を求めるだけでなく、投影撮像装置２０間において投影部２１と撮像部２２との間の対応点を求める必要がある。そこで、例えば、図６のように、投影部２１－１のある画素から照射された光（矢印２７）が、投影面２３のＸにおいて反射し、撮像部２２－２のどの画素により受光される（矢印２８）かが求められる。また、投影部２１－２と撮像部２２－１との間でも同様の画素対応関係が求められる。
　このように、対応点を求めることができる全ての投影部２１と撮像部２２との間で対応点を求めることにより、幾何補正によって、オーバーラップ領域（両矢印２４で示される範囲）の位置合わせを行うことができる。
　　＜オンラインセンシング＞
　このような幾何補正の為の対応点検出は、映像の投影を開始する前に行うことが考えられるが、初期設置後、映像を投影している最中に温度や振動などの外乱の影響等により、この対応点がずれてしまうおそれがあった。対応点がずれると、幾何補正が不適切なものとなり、投影画像に歪みや位置ずれが生じてしまうおそれがあった。
　このような場合、対応点検出をやり直す必要があるが、そのために映像の投影を中断することは、その映像を視ているユーザにとって好ましくない（満足度を低減させるおそれがあった）。そこで、映像の投影を継続したまま対応点を検出する方法（オンラインセンシング）が考えられた。
　オンラインセンシング技術として、例えば、Infrared等の不可視光を利用した方式、SIFT等の画像特徴量を利用した方式、ISL（Imperceptible Structured Light）方式等が考えられた。Infrared等の不可視光を利用した方式の場合、不可視光を投影するプロジェクタ（例えばInfraredプロジェクタ）がさらに必要になるためコストが増大するおそれがあった。また、SIFT等の画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難であった。
　これらに対してISL方式の場合、可視光を利用するため、システム構成要素の増大（すなわちコストの増大）を抑制することができる。また、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
　　＜ISL方式＞
　ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。
　図７に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像（コンテンツ画像）に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。
　これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮影画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。
　このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、理想的には、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
　　＜構造化光パタンの構造＞
　構造化光パタンの具体的な例を図８に示す。図８に示されるパタン画像１００は、コンテンツ画像に重畳されて投影されるISL方式の構造化光パタンである。パタン画像１００は、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点（つまり、投影部と撮像部との画素対応関係）を検出するためのものであり、図８に示されるように、周辺と輝度値が異なる楕円形状の輝度分布のパタン１０１を複数有する。つまり、パタン画像１００には、周辺と輝度が異なる複数のパタン１０１が配置（形成）されている。
　図８において、白い楕円のパタン１０１は輝度変化方向が正の向きであるパタンの例を示しており、黒い楕円のパタン１０１は、輝度変化方向が負の向きであるパタンの例を示している。各パタン１０１の大きさは任意であり、互いに同一であってもよいし、同一でないものが含まれていてもよい。また、各パタン１０１の輝度分布も、互いに同一であってもよいし、同一でないものが含まれていてもよい。
　ISL方式の場合、このような構成のパタン画像１００は、他の画像（例えばコンテンツ画像）に重畳して投影される。その際、図７を参照して説明した場合と同様に、コンテンツ画像のあるフレームに対してパタン画像１００の輝度値を加算して投影し、次のフレームに対してパタン画像１００の輝度値を減算して投影するようにする。つまり、パタン画像１００は、図９に示されるようにポジ画像１００－１やネガ画像１００－２として、コンテンツ画像に重畳されるようにする。ネガ画像１００－２は、ポジ画像１００－１の輝度値の正負を反転させた画像である。つまり、ポジ画像１００－１とネガ画像１００－２とでは、パタンの形状が互いに同一であり、かつ、その輝度変化方向が互いに逆向きである。
　このようなポジ画像１００－１とネガ画像１００－２とが連続する２フレームに重畳して投影することにより、積分効果によりパタン画像１００が投影画像を見るユーザにより知覚され難くすることができる（パタン画像１００の不可視性に寄与することができる）。
　　＜輝度変化による影響＞
　ところで、ISL方式の場合、上述のように撮像画像の差分を求めることにより、パタンの検出が行われる。つまり、パタンは、ポジ画像１００－１の輝度とネガ画像１００－２の輝度との差分として得られる。この差分を振幅とも称する。
　しかしながら、投影画像においてこの振幅の大きさが、プロジェクタのデバイス特性等の外的要因により、パタン画像１００における大きさと異なるおそれがあった。例えば、プロジェクタが図１０に示されるガンマ曲線１１１のようなガンマ特性を有するとする。例えば、投影されるコンテンツ画像における輝度値（コンテンツ輝度）が実線１２１により示される値である場合、投影画像における輝度値（出力輝度）は、実線１２４で示される値となる。
　したがって、そのコンテンツ画像に正の向きの輝度変化を有するパタンを埋め込んだ（重畳した）場合のコンテンツ輝度が点線１２２で示される値であるとすると、その出力輝度は、点線１２５で示される値となる。同様に、そのコンテンツ画像に負の向きの輝度変化を有するパタンを埋め込んだ（重畳した）場合のコンテンツ輝度が点線１２３で示される値であるとすると、その出力輝度は、点線１２６で示される値となる。
　つまり、この場合、コンテンツ輝度において、両矢印１２７で示される大きさであったパタン１０１の振幅が、両矢印１２８で示される大きさまで拡大する。したがって、コンテンツ画像に重畳されたパタン１０１が目立つようになり、不可視性が低減するおそれがあった。
　また、例えば、投影されるコンテンツ画像における輝度値（コンテンツ輝度）が実線１３１により示される値である場合、投影画像における輝度値（出力輝度）は、実線１３４で示される値となる。そして、そのコンテンツ画像に正の向きの輝度変化を有するパタンを埋め込んだ場合のコンテンツ輝度が点線１３２で示される値であるとすると、その出力輝度は、点線１３５で示される値となる。同様に、そのコンテンツ画像に負の向きの輝度変化を有するパタンを埋め込んだ場合のコンテンツ輝度が点線１３３で示される値であるとすると、その出力輝度は、点線１３６で示される値となる。
　つまり、コンテンツ輝度において、両矢印１３７で示される大きさであったパタン１０１の振幅が、両矢印１３８で示される大きさまで縮小する。したがって、パタン１０１の検出精度が低減するおそれがあった。
　以上のように、ISL方式の場合、プロジェクタのガンマ特性等の外的要因に起因して、コンテンツ画像の輝度に応じて投影画像におけるパタン１０１の振幅が変化するおそれがあり、それによって、パタンの不可視性や検出精度が低減するおそれがあった。
　　＜振幅調整＞
　そこで、投影画像（出力輝度）において、コンテンツ画像の輝度に依存したパタン１０１の振幅の変化を低減させるように（振幅ができるだけ一定となるように）、パタン画像１００におけるパタン１０１の振幅（ポジ画像１００－１とネガ画像１００－２との輝度差）を、そのパタン１０１が重畳されるコンテンツ画像の輝度に応じて調整する。このようにすることにより、パタン１０１の不可視性や検出精度の低減を抑制することができる。
　例えば、コンテンツ画像の輝度がより大きいほど、コンテンツ輝度におけるパタン１０１の振幅をより小さくするようにしてもよい。このようにすることにより、パタン１０１の不可視性の低減を抑制することができる。
　例えば、図１１に示されるグラフの実線１４１のように、コンテンツ画像の輝度inputが所定の閾値attenuate_pattern_level以上である場合（上限値を２５５とする）、その部分に重畳されるパタン１０１の振幅Δをより小さくするようにしてもよい。コンテンツ画像の輝度inputが閾値attenuate_pattern_levelより小さい場合は、パタン１０１の振幅Δのままとする。
　例えば、調整後のパタン１０１の振幅Δrevは、パタン１０１の振幅Δの補正に用いる調整パラメータattenuate_pattern_gainを用いて以下の式（１）のように求めることができる。
　Δrev＝Δ×(attenuate_pattern_gain×(attenuate_pattern_level-input)+1)
　・・・（１）
　このようにすることにより、閾値attenuate_pattern_levelより大きい輝度値のコンテンツ画像に重畳されるパタン１０１の不可視性の低減を抑制することができる。例えば、図１０に示されるようなガンマ特性を有するプロジェクタで投影を行う場合、このようにすることにより、パタン１０１がより目立ちやすい場合のみパタン１０１の振幅を調整するようにすることができる。一般的に、振幅を小さくすると、不可視性は増大するが、トレードオフとしてその分検出精度が低減する。したがって、上述のように振幅調整を不可視性が特に低い場合（所定の閾値以上の場合）に限定することにより、パタン１０１の検出精度が不要に低減するのを抑制することができる。また、コンテンツ画像の輝度値がその閾値より小さければ振幅調整が行われないので、振幅調整のための処理の負荷も低減させることができる。
　なお、図１１においては、コンテンツ画像の輝度inputが閾値attenuate_pattern_level以上である範囲のパタン１０１の振幅Δの調整量が、コンテンツ画像の輝度inputに応じて直線状に変化するように説明したが、この変化は任意の関数としてよい。例えば、曲線状に変化するようにしてもよい。
　また、例えば、コンテンツ画像の輝度がより小さいほど、コンテンツ輝度におけるパタン１０１の振幅をより大きくするようにしてもよい。このようにすることにより、パタン１０１の検出精度の低減を抑制することができる。
　例えば、図１２に示されるグラフの実線１４２のように、コンテンツ画像の輝度inputが所定の閾値adjust_pattern_level以下である場合（下限値を０とする）、その部分に重畳されるパタン１０１の振幅Δをより大きくするようにしてもよい。コンテンツ画像の輝度inputが閾値adjust_pattern_levelより大きい場合は、パタン１０１の振幅Δのままとする。
　例えば、調整後のパタン１０１の振幅Δrevは、パタン１０１の振幅Δの補正に用いる調整パラメータadjust_pattern_gainを用いて以下の式（２）のように求めることができる。
　Δrev＝Δ(adjust_pattern_gain×(adjust_pattern_level-input)+1)
　・・・（２）
　このようにすることにより、コンテンツ画像の、閾値adjust_pattern_level以下の輝度値の部分に重畳されるパタン１０１の検出精度の低減を抑制することができる。例えば、図１０に示されるようなガンマ特性を有するプロジェクタで投影を行う場合、このようにすることにより、パタン１０１の検出精度がより低下する場合のみパタン１０１の振幅を調整するようにすることができる。一般的に、振幅を大きくすると、検出精度は増大するが、トレードオフとしてその分不可視性が低減する。したがって、上述のように振幅調整を検出精度が特に低い場合（所定の閾値以下の場合）に限定することにより、パタン１０１の不可視性が不要に低減するのを抑制することができる。また、コンテンツ画像の輝度値がその閾値より大きければ振幅調整が行われないので、振幅調整のための処理の負荷も低減させることができる。
　なお、図１２においては、コンテンツ画像の輝度inputが閾値adjust_pattern_level以下である範囲のパタン１０１の振幅Δの調整量が、コンテンツ画像の輝度inputに応じて直線状に変化するように説明したが、この変化は任意の関数としてよい。例えば、曲線状に変化するようにしてもよい。
　なお、図１１を参照して説明した振幅調整（高輝度振幅調整）と、図１２を参照して説明した振幅調整（低輝度振幅調整）との両方を行うようにしてもよい。そのような調整を実現するためのプログラムの記述例を図１３に示す。
　図１３の例の場合、コンテンツ画像の輝度inputが２つの閾値ＡとＢ（Ａ＞Ｂ）の両方以上である場合（Ａ≦input≦255）、パタン１０１の振幅Δをより小さくするように調整し（f1(Δ, input)）、コンテンツ画像の輝度がその２つの閾値ＡとＢの両方以下である場合（０≦input≦Ｂ）、パタン１０１の振幅Δをより大きくするように調整し（f2(Δ, input)）、コンテンツ画像の輝度がその２つの閾値ＡとＢの間である場合（Ａ＜input＜Ｂ）、パタン１０１の振幅Δの調整を行わない（Δ）ようにしてもよい。
　なお、閾値を設けずに、コンテンツ画像の輝度がどのような値であっても、出力輝度におけるパタン１０１の振幅Δrefがより一定となるように、コンテンツ画像の輝度に応じてパタン１０１の振幅Δの調整を行うようにしてもよい。この場合も、パタン１０１の振幅Δの調整量は、任意である。例えば、プロジェクタが図１０のようなガンマ曲線１１１のデバイス特性を有する場合、そのガンマ曲線に応じて、出力輝度におけるパタン１０１の振幅Δrefがより一定となるように、コンテンツ輝度におけるパタン１０１の振幅Δを調整するようにしてもよい。
　なお、以上のようなパタン画像１００の振幅の調整は、パタン１０１の不可視性の低減を抑制させるように、または、パタン１０１の検出精度の低減を抑制させるように、行われればよい。したがって、例えば、プロジェクタのデバイス特性等によっては、コンテンツ画像の輝度がより大きいほど、コンテンツ輝度におけるパタン１０１の振幅をより大きくするようにしてもよい。このようにすることにより、パタン１０１の検出精度の低減を抑制することができる。
　例えば、図１１の例において、コンテンツ画像の輝度inputが所定の閾値attenuate_pattern_level以上である場合、その部分に重畳されるパタン１０１の振幅Δをより大きくするようにしてもよい。このようにすることにより、振幅調整を、検出精度が特に低い場合（所定の閾値以上の場合）に限定することができ、パタン１０１の不可視性が不要に低減するのを抑制することができる。振幅調整のための処理の負荷も低減させることができる。
　また、例えば、プロジェクタのデバイス特性によっては、コンテンツ画像の輝度がより小さいほど、コンテンツ輝度におけるパタン１０１の振幅をより小さくするようにしてもよい。このようにすることにより、パタン１０１の不可視性の低減を抑制することができる。
　例えば、図１２の例において、コンテンツ画像の輝度inputが所定の閾値adjust_pattern_level以下である場合、その部分に重畳されるパタン１０１の振幅Δをより小さくするようにしてもよい。このようにすることにより、振幅調整を、不可視性が特に低い場合（所定の閾値以上の場合）に限定することができ、パタン１０１の検出精度が不要に低減するのを抑制することができる。振幅調整のための処理の負荷も低減させることができる。
　　＜輝度クリップ＞
　また、コンテンツ画像の輝度が輝度の上限や下限に近い場合、パタン画像１００を重畳することにより、投影画像の輝度値が限界値を超えてしまうおそれがある。投影画像の輝度値が限界値に達する場合、振幅が崩れ、コンテンツ画像の輝度を基準とした対称とならないので、不可視性が低減するおそれがあった。また、検出精度も低減するおそれがあった。
　そこで、そのような場合、限界値を超えないように、パタン１０１の振幅を調整する。このようにすることにより、パタン１０１の不可視性や検出精度の低減を抑制することができる。
　例えば、図１４に示されるように、輝度上限が２５５であり、コンテンツ画像の輝度が２５０である場合、振幅の大きさが１０以上であるとすると、図１４の左に示される斜線部分のように、輝度値が輝度上限を超えてしまう。このような状態が発生するのを抑制するために、投影画像の輝度が上限を超えないように振幅（すなわちポジ画像とネガ画像の輝度差）を調整するようにしてもよい。例えば、図１４の右に示されるように、振幅の大きさを１０に縮小するようにしてもよい。
　また、例えば、図１５に示されるように、輝度下限が０であり、コンテンツ画像の輝度が５である場合、振幅の大きさが１０以上であるとすると、図１５の左に示される斜線部分のように、輝度値が輝度下限を下回ってしまう。このような状態が発生するのを抑制するために、投影画像の輝度が下限を下回らないように振幅（すなわちポジ画像とネガ画像の輝度差）を調整するようにしてもよい。例えば、図１５の右に示されるように、振幅の大きさを１０に縮小するようにしてもよい。
　さらに、例えば、図１６に示されるように、輝度下限が０であり、輝度上限が２５５であり、コンテンツ画像の輝度が１００である場合、振幅の大きさが２５６以上であるとすると、図１６の左に示される斜線部分のように、輝度値が輝度上限を超えるとともに輝度下限を下回ってしまう。このような状態が発生するのを抑制するために、輝度上限と輝度下限の内、コンテンツ画像の輝度に近い方の限界値を超えないように（または下回らないように）、振幅を調整するようにしてもよい。
　より具体的には、コンテンツ画像の輝度が輝度下限よりも輝度上限に近い場合、投影画像の輝度が輝度上限を超えないように振幅を調整するようにしてもよい。同様に、コンテンツ画像の輝度が輝度上限よりも輝度下限に近い場合、投影画像の輝度が輝度下限を下回らないように振幅を調整するようにしてもよい。
　そのような調整を実現するためのプログラムの記述例を図１７に示す。図１７の例の場合、ポジ画像の輝度値（pos_val）は、コンテンツ画像の輝度inputと調整後のパタン１０１の振幅Δrevを用いて以下の式（３）のように表すことができる。同様に、ネガ画像の輝度値（neg_val）は、コンテンツ画像の輝度inputと調整後のパタン１０１の振幅Δrevを用いて以下の式（４）のように表すことができる。
　pos_val = input + Δrev　・・・（３）
　neg_val = input - Δrev　・・・（４）
　そして、ポジ画像の輝度値が輝度上限を超える（pos_val > 255）か、または、ネガ画像の輝度値が輝度下限（neg_val < 0）を下回る場合、以下の式（５）が成立するときは、以下の式（６）により調整後のパタン１０１の振幅Δrevが求められ、成立しないときは、以下の式（７）により調整後のパタン１０１の振幅Δrevが求められる。
　(255 - input) < input　・・・（５）
　Δrev = (255 - input)　・・・（６）
　Δrev = input　・・・（７）
　以上のようにパタン１０１の振幅を調整することにより、パタン１０１の不可視性や検出精度の低減を抑制することができる。
　　＜調整の処理単位＞
　＜振幅調整＞や＜輝度クリップ＞において上述したようなコンテンツ画像の輝度に基づくパタン１０１の振幅の各種調整は、パタン画像１００の任意の単位で行われるようにしてもよい。例えば、パタン１０１の振幅の調整が、画素毎に行われるようにしてもよい。また、例えば、パタン１０１の振幅の調整が、所定の領域毎に行われるようにしてもよい。例えば、パタン１０１毎に行われるようにしてもよい。また、例えば、パタン１０１の振幅の調整が、パタン画像１００全体で一律に行われるようにしてもよい。
　なお、パタン１０１の振幅の調整が画素毎または領域毎に行われる場合、他の画素または他の領域の調整に用いられたパラメータや調整結果等を用いて、処理対象の画素または領域の振幅の調整が行われるようにしてもよい。
　また、以上のようなパタン１０１の振幅の調整は、コンテンツ画像の任意の単位の輝度に基づいて行われるようにしてもよい。例えば、パタン１０１の振幅の調整が、コンテンツ画像の所定の画素の輝度に基づいて行われるようにしてもよい。例えば、パタン１０１の振幅の調整が、コンテンツ画像の、パタン画像１００の処理対象画素と対応する画素（処理対象画素が重畳される画素）の輝度に基づいて行われるようにしてもよいし、その他の画素の輝度に基づいて行われるようにしてもよい。
　また、パタン１０１の振幅の調整が、コンテンツ画像の複数の画素の輝度に基づいて行われるようにしてもよい。その場合、その複数の画素の輝度の統計値に基づいて行われるようにしてもよい。この統計値は任意であり、例えば、最大値、最小値、または平均値等であってもよい。
　また、パタン１０１の振幅の調整が、コンテンツ画像の所定の領域の輝度に基づいて行われるようにしてもよい。例えば、パタン１０１の輝度の調整が、コンテンツ画像の、そのパタン１０１が埋め込まれる（重畳される）領域の輝度に基づいて行われるようにしてもよい。また、その領域とは異なる領域の輝度に基づいて行われるようにしてもよい。
　また、パタン１０１の振幅の調整が、コンテンツ画像の全画素の輝度に基づいて行われるようにしてもよい。その場合、コンテンツ画像の全画素の輝度の統計値に基づいて行われるようにしてもよい。この統計値は任意であり、例えば、最大値、最小値、または平均値等であってもよい。
　　＜パタン検出の繰り返し＞
　ISL方式では、上述したように、ポジ画像が重畳されたコンテンツ画像の投影画像と、ネガ画像が重畳されたコンテンツ画像の投影画像とがそれぞれ撮像され、それらの撮像画像の差分画像から、パタン１０１の検出が行われる。
　ただし、その場合、常に精度よくパタン１０１を検出できるとは限らない。例えば、図１８に示されるパタン１０１－１やパタン１０１－２のように、パタン１０１がコンテンツ画像のエッジに跨って重畳される場合、変数の輝度が欠けたり、形に歪みが生じてしまい、精度よくパタン１０１を検出することができないおそれがあった。その場合、対応点検出においても誤差が生じるおそれがあった。
　そこで、パタン画像の投影画像を撮像し、得られた撮像画像よりパタン画像のパタンを検出し、検出したパタンから対応点を検出する際に、検出結果に含まれるパタンの信頼度が全て高くなるまで、投影画像の撮像と撮像画像からのパタンの検出を繰り返すようにする。
　このようにすることにより、パタン検出の検出精度の低減を抑制することができる。
　例えば、図１９に示されるように、１回目のパタン検出において、その処理により検出されたパタン画像１８１について、パタン検出結果の信頼性判定を行う。そして、十分に高い信頼度が得られなかった領域１８２が存在する場合、再度、投影画像の撮像およびパタンの検出を行う。
　２回目のパタン検出においても同様に、その処理により検出されたパタン画像１８３について、パタン検出結果の信頼性判定を行う。そして、全てのパタンが十分に高い信頼度で得られたと判定された場合、そのパタン画像に基づいて対応点検出を行い、姿勢推定、投影スクリーン再構成、および幾何補正等の補正処理を行い、補正情報を生成する。
　このようにすることにより、パタンの検出精度の低減を抑制することができる。
　なお、各回のパタン１０１の検出において検出結果に含まれる信頼度の低いパタン１０１を除去し、各回の検出結果を統合し、その統合された検出結果に基づいて対応点を検出するようにしてもよい。
　このようにすることにより、より信頼性の高い検出結果に基づいて対応点検出を行うことができるので、対応点検出の精度を向上させることができる。そして、その検出した対応点に基づいて投影画像を補正する補正情報を算出するようにしてもよい。このようにすることにより、より高精度な補正情報が得られる。
　また、各回のパタン１０１の検出において、検出結果に含まれる信頼度の低いパタン１０１を除去して補正情報を算出し、各回の補正情報を統合するようにしてもよい。補正情報の統合の仕方は任意である。例えば、統合結果として、各補正情報の平均を求めるようにしてもよい。また、各補正情報を、その信頼度に応じて重み付けしたものを統合するようにしてもよい。このようにすることにより、より高精度な補正情報を得ることができる。
　＜２．第１の実施の形態＞
　　＜投影撮像システム＞
　次に、以上のようなパタン画像１００を用いた対応点の検出について説明する。図２０は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図２０において、投影撮像システム３００は、画像を投影したり、投影画像を撮像したり、＜１．ISL方式とパタンの不可視性＞において説明した本技術を適用した方法で、ISL方式による対応点検出を行ったりすることができるシステムである。
　図２０に示されるように、投影撮像システム３００は、制御装置３０１、並びに、投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎ（Ｎは任意の自然数）を有する。投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎは、それぞれ、ケーブル３０３－１乃至ケーブル３０３－Ｎを介して制御装置３０１に接続されている。
　以下において、投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎを互いに区別して説明する必要が無い場合、投影撮像装置３０２と称する。また、ケーブル３０３－１乃至ケーブル３０３－Ｎを互いに区別して説明する必要が無い場合、ケーブル３０３と称する。
　制御装置３０１は、ケーブル３０３を介して各投影撮像装置３０２を制御する。例えば、制御装置３０１は、各投影撮像装置３０２に対して、投影する画像を供給し、その画像を投影させることができる。また、例えば、制御装置３０１は、各投影撮像装置３０２に対して、投影画像等の撮像を指示し、その撮像画像を取得することができる。さらに、例えば、制御装置３０１は、投影画像と撮像画像の対応点の検出を行ったり、その求めた対応点に基づいて各投影撮像装置３０２に投影させる画像の幾何補正を行ったりすることができる。なお、この幾何補正には、投影させる画像に対する画像処理（例えば、拡大、縮小、変形等）の他に、各投影撮像装置３０２の光学系の制御等（例えば、投影方向や撮像方向等の制御等）も含むことができる。
　投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎは、それぞれ、画像を投影する投影部３１１－１乃至投影部３１１－Ｎ、並びに、被写体を撮像する撮像部３１２－１乃至撮像部３１２－Ｎを有する。以下において、投影部３１１－１乃至投影部３１１－Ｎを互いに区別して説明する必要が無い場合、投影部３１１と称する。また、撮像部３１２－１乃至撮像部３１２－Ｎを互いに区別して説明する必要が無い場合、撮像部３１２と称する。
　投影部３１１は、所謂プロジェクタの機能を有する。つまり、投影撮像装置３０２は、投影部３１１を用いてプロジェクタとして駆動することができる。例えば、投影撮像装置３０２は、この投影部３１１を用いて、制御装置３０１から供給される画像を任意の投影面に投影することができる。
　撮像部３１２は、所謂カメラの機能を有する。つまり、投影撮像装置３０２は、撮像部３１２を用いてカメラとして駆動することができる。例えば、投影撮像装置３０２は、この撮像部３１２を用いて、投影部３１１により画像が投影された投影面の撮像を行い、得られた撮像画像のデータを制御装置３０１に供給することができる。
　投影撮像装置３０２の数は任意であり、単数でも複数でも良い。投影撮像装置３０２が複数の場合、各投影撮像装置３０２は、制御装置３０１の制御の下、互いに協働し、図２や図３を参照して説明したような画像の投影を行うことができる。つまり、その場合の投影撮像システム３００は、所謂マルチプロジェクションシステムであり、所謂プロジェクションマッピングを実現することができる。
　なお、投影部３１１による画像の投影方向や拡大率、並びに、投影画像の歪み補正等が制御可能としてもよい。この制御のために、例えば、投影部３１１が有する光学系や投影部３１１全体の位置や姿勢を制御可能としてもよい。
　また、撮像部３１２による画像の撮像方向や画角、並びに、撮像画像の歪み補正等が制御可能としてもよい。この制御のために、例えば、撮像部３１２が有する光学系や撮像部３１２全体の位置や姿勢を制御可能としてもよい。
　さらに、このような投影部３１１の制御と撮像部３１２の制御は、互いに独立して行うことができるようにしてもよい。また、投影撮像装置３０２の位置や姿勢を制御可能としてもよい。なお、このような投影部３１１、撮像部３１２、および投影撮像装置３０２の制御は、制御装置３０１が行うようにしてもよいし、制御装置３０１以外が行うようにしてもよい。
　ケーブル３０３は、制御装置３０１と投影撮像装置３０２との間の通信路となり得る任意の通信規格の電気通信ケーブルである。なお、制御装置３０１と投影撮像装置３０２とが互いに通信可能であればよく、例えば、制御装置３０１と投影撮像装置３０２とが無線通信により接続されるようにしてもよい。その場合、ケーブル３０３を省略することができる。
　このような投影撮像システム３００において、制御装置３０１は、画像の幾何補正のために、各投影部３１１と各撮像部３１２との間の対応点検出を行う。例えば、制御装置３０１は、オンラインセンシングのISL方式により対応点検出を行うことができる。その際、制御装置３０１は、本技術を適用した対応点検出を行うことができる。
　　＜制御装置＞
　図２１は、本技術を適用した画像処理装置の一実施の形態である制御装置３０１の主な構成例を示すブロック図である。
　図２１に示されるように、制御装置３０１は、CPU（Central Processing Unit）３２１、ROM（Read Only Memory）３２２、RAM（Random Access Memory）３２３、バス３２４、入出力インタフェース３３０、入力部３３１、出力部３３２、記憶部３３３、通信部３３４、およびドライブ３３５を有する。
　CPU３２１、ROM３２２、RAM３２３は、バス３２４を介して相互に接続されている。バス３２４にはまた、入出力インタフェース３３０も接続されている。入出力インタフェース３３０には、入力部３３１、出力部３３２、記憶部３３３、通信部３３４、およびドライブ３３５が接続されている。
　入力部３３１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部３３１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれるようにしてもよい。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部３３１に含まれるようにしてもよい。出力部３３２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部３３２には、ディスプレイ、スピーカ、出力端子等が含まれるようにしてもよい。
　記憶部３３３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部３３３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれるようにしてもよい。通信部３３４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部３３４は、例えば、ネットワークインタフェースよりなるようにしてもよい。例えば、通信部３３４は、制御装置３０１の外部の装置と通信（プログラムやデータの授受）を行う。なお、通信部３３４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。
　ドライブ３３５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３４１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ３３５は、リムーバブルメディア３４１から読み出した情報をCPU３２１やRAM３２３等に供給する。また、ドライブ３３５は、書き込み可能なリムーバブルメディア３４１が自身に装着された場合、CPU３２１やRAM３２３等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア３４１に記憶させることができる。
　CPU３２１は、例えば、記憶部３３３に記憶されているプログラムを、入出力インタフェース３３０およびバス３２４を介して、RAM３２３にロードして実行することにより、各種処理を行う。RAM３２３にはまた、CPU３２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　CPU３２１は、そのようにプログラム等を実行することにより、対応点の検出に関する処理、例えば、＜１．ISL方式とパタンの不可視性＞において説明したような処理を行うことができる。
　　＜制御装置の機能ブロック＞
　図２２は、制御装置３０１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図２２に示されるように、プログラムを実行することにより制御装置３０１は、例えば、パタン画像投影処理部３５１および対応点検出処理部３５２の機能を有する。
　パタン画像投影処理部３５１は、パタン画像１００の投影に関する処理を行う。例えば、パタン画像投影処理部３５１は、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞や＜輝度クリップ＞等において説明したような処理を行う。もちろん、パタン画像投影処理部３５１が行う処理は任意であり、これらの処理に限定されない。対応点検出処理部３５２は、パタン画像投影処理部３５１により投影された投影画像に基づく対応点の検出に関する処理を行う。例えば、対応点検出処理部３５２は、＜１．ISL方式とパタンの不可視性＞の＜パタン検出の繰り返し＞等において説明したような処理を行う。もちろん、対応点検出処理部３５２が行う処理は任意であり、これらの処理に限定されない。
　なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。
　　＜パタン画像投影処理部＞
　パタン画像投影処理部３５１が有する機能の例を図２３に示す。図２３において、パタン画像投影処理部３５１は、例えば、コンテンツ画像取得部３６１、パタン画像取得部３６２、パタン画像調整部３６３、合成部３６４、および投影制御部３６５等の機能ブロックで示される機能を有する。
　コンテンツ画像取得部３６１は、コンテンツ画像の取得に関する処理を行う。パタン画像取得部３６２は、パタン画像の取得に関する処理を行う。パタン画像調整部３６３は、パタン画像の振幅の調整に関する処理を行う。例えば、パタン画像調整部３６３は、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞や＜輝度クリップ＞等において説明したような処理を行う。もちろん、パタン画像調整部３６３が行う処理は任意であり、これらの処理に限定されない。合成部３６４は、コンテンツ画像とパタン画像の合成に関する処理を行う。投影制御部３６５は、投影撮像装置３０２による画像投影の制御に関する処理を行う。
　なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。
　　＜パタン画像調整部＞
　パタン画像調整部３６３が有する機能の例を図２４に示す。図２４において、パタン画像調整部３６３は、例えば、画素選択部３７１、振幅調整部３７２、および輝度クリップ部３７３等の機能ブロックで示される機能を有する。
　画素選択部３７１は、処理対象画素の選択に関する処理を行う。振幅調整部３７２は、コンテンツ画像の輝度に応じたパタン１０１の振幅の調整に関する処理を行う。例えば、振幅調整部３７２は、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞等において説明したような処理を行う。もちろん、振幅調整部３７２が行う処理は任意であり、この処理に限定されない。輝度クリップ部３７３は、輝度限界とコンテンツ画像の輝度に応じたパタン１０１の振幅の調整に関する処理を行う。例えば、輝度クリップ部３７３は、＜１．ISL方式とパタンの不可視性＞の＜輝度クリップ＞等において説明したような処理を行う。もちろん、輝度クリップ部３７３が行う処理は任意であり、この処理に限定されない。
　図２４に示されるように、振幅調整部３７２は、例えば、高輝度振幅調整部３７４および低輝度振幅調整部３７５等の機能ブロックで示される機能を有する。高輝度振幅調整部３７４は、高輝度なコンテンツ画像に重畳されるパタン１０１の振幅の調整に関する処理を行う。例えば、高輝度振幅調整部３７４は、図１１や図１３を参照して説明したような処理を行う。もちろん、高輝度振幅調整部３７４が行う処理は任意であり、この処理に限定されない。低輝度振幅調整部３７５は、低輝度なコンテンツ画像に重畳されるパタン１０１の振幅の調整に関する処理を行う。例えば、低輝度振幅調整部３７５は、図１２や図１３を参照して説明したような処理を行う。もちろん、低輝度振幅調整部３７５が行う処理は任意であり、この処理に限定されない。
　また、図２４に示されるように、輝度クリップ部３７３は、例えば、輝度値上限処理部３７６、輝度値下限処理部３７７、および輝度値上下限処理部３７８等の機能ブロックで示される機能を有する。輝度値上限処理部３７６は、輝度上限に関するパタン１０１の振幅の調整に関する処理を行う。例えば、輝度値上限処理部３７６は、図１４を参照して説明したような処理を行う。もちろん、輝度値上限処理部３７６が行う処理は任意であり、この処理に限定されない。輝度値下限処理部３７７は、輝度下限に関するパタン１０１の振幅の調整に関する処理を行う。例えば、輝度値下限処理部３７７は、図１５を参照して説明したような処理を行う。もちろん、輝度値下限処理部３７７が行う処理は任意であり、この処理に限定されない。輝度値上下限処理部３７８は、輝度上限および輝度下限に関するパタン１０１の振幅の調整に関する処理を行う。例えば、輝度値上下限処理部３７８は、図１６や図１７を参照して説明したような処理を行う。もちろん、輝度値上下限処理部３７８が行う処理は任意であり、この処理に限定されない。
　なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。
　　＜対応点検出処理部＞
　対応点検出処理部３５２が有する機能の例を図２５に示す。図２５において、対応点検出処理部３５２は、例えば、撮像制御部３８１、ノイズ低減部３８２、パタン差分画像生成部３８３、信頼度判定部３８４、低信頼度領域除去部３８５、対応点検出部３８６、補正情報算出部３８７、対応点検出制御部３８８、および補正統合部３８９等の機能ブロックで示される機能を有する。
　撮像制御部３８１は、投影撮像装置３０２による撮像の制御に関する処理を行う。ノイズ低減部３８２は、撮像画像のノイズ低減に関する処理を行う。パタン差分画像生成部３８３は、パタン１０１の検出に関する処理を行う。信頼度判定部３８４は、パタンの信頼度の判定に関する処理を行う。低信頼度領域除去部３８５は、信頼度の低いパタン検出結果の除去に関する処理を行う。対応点検出部３８６は、対応点の検出に関する処理を行う。補正情報算出部３８７は、補正情報の算出に関する処理を行う。対応点検出制御部３８８は、対応点検出の制御に関する処理を行う。補正統合部３８９は、補正情報の統合に関する処理を行う。
　なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。これらの処理部は、例えば、図１８や図１９を参照して説明したような処理を行う。もちろん、これらの処理部が行う処理は任意であり、この処理に限定されない。
　　＜投影撮像装置＞
　図２６は、投影撮像装置３０２の主な構成例を示すブロック図である。図２６に示されるように、投影撮像装置３０２は、制御部４０１、投影部３１１、撮像部３１２、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５を有する。
　制御部４０１は、例えば、CPU、ROM、RAM等を有し、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。制御部４０１は、例えば制御装置３０１の制御に基づいて、それらの処理を行う。
　投影部３１１は、制御部４０１に制御されて、画像の投影に関する処理を行う。例えば、投影部３１１は、制御部４０１から供給される画像を投影撮像装置３０２の外部（例えば投影面等）に投影する。投影部３１１は、レーザ光を光源とし、MEMS（Micro Electro Mechanical Systems）ミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部３１１の光源は任意であり、レーザ光に限らず、例えばLED（Light Emitting Diode）やキセノン等であってもよい。
　撮像部３１２は、制御部４０１に制御されて、装置外部（例えば投影面等）の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部４０１に供給する。例えば、撮像部３１２は、投影部３１１により投影面に投影された投影画像を撮像する。撮像部３１２は、例えばCMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ、CCD（Charge Coupled Device）を用いたイメージセンサ等を有し、そのイメージセンサによって被写体からの光を光電変換して、撮像画像の電気信号（データ）を生成する。
　入力部４１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部４１１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、光センサ、温度センサ等の各種センサが入力部４１１に含まれるようにしてもよい。出力部４１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部４１２には、ディスプレイ、スピーカ、出力端子等が含まれる。
　記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。例えば、通信部４１４は、通信ケーブル３０３に接続され、通信ケーブル３０３を介して接続される制御装置３０１と通信を行うことができる。なお、通信部４１４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。ドライブ４１５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。
　　＜投影部＞
　図２７は、投影部３１１の主な構成例を示すブロック図である。図２７に示されるように、投影部３１１は、ビデオプロセッサ４３１、レーザドライバ４３２、レーザ出力部４３３－１、レーザ出力部４３３－２、レーザ出力部４３３－３、ミラー４３４－１、ミラー４３４－２、ミラー４３４－３、MEMSドライバ４３５、および、MEMSミラー４３６を有する。
　ビデオプロセッサ４３１は、制御部４０１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ４３１は、その投影する画像をレーザドライバ４３２やMEMSドライバ４３５に供給する。
　レーザドライバ４３２は、ビデオプロセッサ４３１から供給される画像を投影するように、レーザ出力部４３３－１乃至レーザ出力部４３３－３を制御する。レーザ出力部４３３－１乃至レーザ出力部４３３－３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ４３２は、ビデオプロセッサ４３１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部４３３－１乃至レーザ出力部４３３－３を互いに区別して説明する必要が無い場合、レーザ出力部４３３と称する。
　ミラー４３４－１は、レーザ出力部４３３－１から出力されるレーザ光を反射し、MEMSミラー４３６に誘導する。ミラー４３４－２は、レーザ出力部４３３－２から出力されるレーザ光を反射し、MEMSミラー４３６に誘導する。ミラー４３４－３は、レーザ出力部４３３－３から出力されるレーザ光を反射し、MEMSミラー４３６に誘導する。なお、ミラー４３４－１乃至ミラー４３４－３を互いに区別して説明する必要が無い場合、ミラー４３４と称する。
　MEMSドライバ４３５は、ビデオプロセッサ４３１から供給される画像を投影するように、MEMSミラー４３６のミラーの駆動を制御する。MEMSミラー４３６は、MEMSドライバ４３５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図２８の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えば投影面に照射される。これにより、ビデオプロセッサ４３１から供給される画像が投影面に投影される。
　なお、図２７の例においては、レーザ出力部４３３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部４３３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置３０２（投影部３１１）から出力されるレーザ光は、２本以下であってもよいし、４本以上であってもよい。そして、投影撮像装置３０２（投影部３１１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー４３４やMEMSミラー４３６の構成も任意であり、図２７の例に限定されない。もちろん、レーザ光の走査パターンは任意である。
　　＜幾何補正処理の流れ＞
　次に、このような構成の投影撮像システム３００において実行される処理について説明する。上述したように、投影撮像システム３００においては、制御装置３０１が、各投影撮像装置３０２を制御し、ISL方式のオンラインセンシングにより、コンテンツ等の画像を投影しながら、各投影部３１１と各撮像部３１２の間の対応点検出を行い、その対応点に基づいて、各投影部および各撮像部３１２の姿勢推定や投影面形成等を行い、投影する画像の幾何補正を行う。
　これらの処理を実行するために制御装置３０１において実行される幾何補正処理の流れの例を、図２９のフローチャートを参照して説明する。
　幾何補正処理が開始されると、制御装置３０１のパタン画像投影処理部３５１は、ステップＳ１０１において、パタン画像投影処理を実行し、投影撮像装置３０２を制御して、構造化光パタンの投影に関する処理を行う。この構造化光パタンの投影に関する処理は、その詳細については後述するが、例えば、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞や＜輝度クリップ＞等において説明したような処理を含む。
　ステップＳ１０２において、対応点検出処理部３５２は、対応点検出処理を実行し、投影撮像装置３０２を制御して、ステップＳ１０１の処理により投影された投影画像を撮像する。また、対応点検出処理部３５２は、その撮像画像に基づいて対応点を検出し、幾何補正等を行って補正情報を生成する。この対応点検出処理は、その詳細については後述するが、例えば、＜１．ISL方式とパタンの不可視性＞の＜パタン検出の繰り返し＞等において説明したような処理を含む。
　ステップＳ１０２の処理が終了すると、幾何補正処理が終了する。制御装置３０１は、この幾何補正処理を、投影部３１１と撮像部３１２との全ての組み合わせについて実行する。
　　＜パタン画像投影処理の流れ＞
　次に、図３０のフローチャートを参照して、図２９のステップＳ１０１において実行されるパタン画像投影処理の流れの例について説明する。
　パタン画像投影処理が開始されると、パタン画像投影処理部３５１のコンテンツ画像取得部３６１は、ステップＳ１２１において、投影撮像装置３０２から投影するコンテンツ画像を取得する。ステップＳ１２２において、パタン画像取得部３６２は、ステップＳ１２１において取得したコンテンツ画像に重畳して投影するパタン画像１００（ポジ画像１００－１およびネガ画像１００－２）を取得する。
　ステップＳ１２３において、パタン画像調整部３６３は、パタン画像調整処理を実行し、輝度に応じてパタン画像を調整する。このパタン画像調整処理は、その詳細については後述するが、例えば、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞や＜輝度クリップ＞等において説明したような処理を含む。ステップＳ１２４において、合成部３６４は、ステップＳ１２３の処理により必要に応じて調整されたパタン画像をコンテンツ画像に合成する。
　ステップＳ１２５において、投影制御部３６５は、ステップＳ１２４の処理により生成された合成画像を投影撮像装置３０２に供給し、投影させる。ステップＳ１２５の処理が終了すると、パタン画像投影処理が終了し、処理は図２９に戻る。
　　＜パタン画像調整処理の流れ＞
　次に、図３１のフローチャートを参照して、図３０のステップＳ１２３において実行されるパタン画像調整処理の流れの例について説明する。
　パタン画像調整処理が開始されると、パタン画像調整部３６３の画素選択部３７１は、ステップＳ１４１において、処理対象画素を選択する。ステップＳ１４２において、振幅調整部３７２は、振幅調整処理を実行し、パタン画像１００の処理対象画素について、コンテンツ画像の輝度に応じてパタン１０１の振幅を調整する。この振幅調整処理は、その詳細については後述するが、例えば、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞等において説明したような処理を含む。
　ステップＳ１４３において、輝度クリップ部３７３は、輝度クリップ処理を実行し、パタン画像１００の処理対象画素について、コンテンツ画像の輝度および輝度限界に基づいてパタン１０１の振幅を調整する。この輝度クリップ処理は、その詳細については後述するが、例えば、＜１．ISL方式とパタンの不可視性＞の＜輝度クリップ＞等において説明したような処理を含む。
　ステップＳ１４４において、画素選択部３７１は、全ての画素を処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ１４１に戻し、新たな処理対象画素を選択して、それ以降の処理を繰り返す。
　そしてステップＳ１４４において、全ての画素を処理したと判定された場合、パタン画像調整処理が終了し、処理は図３０に戻る。
　　＜振幅調整処理の流れ＞
　次に、図３２のフローチャートを参照して、図３１のステップＳ１４２において実行される振幅調整処理の流れの例について説明する。
　振幅調整処理が開始されると、高輝度振幅調整部３７４は、ステップＳ１６１において、高輝度なコンテンツ画像に重畳されるパタン画像（例えばパタン１０１）の振幅を調整する。例えば、高輝度振幅調整部３７４は、図１１等を参照して説明したような方法でパタン画像の振幅を調整する。
　ステップＳ１６２において、低輝度振幅調整部３７５は、低輝度なコンテンツ画像に重畳されるパタン画像（例えばパタン１０１）の振幅を調整する。例えば、低輝度振幅調整部３７５は、図１２等を参照して説明したような方法でパタン画像の振幅を調整する。ステップＳ１６２の処理が終了すると、振幅調整処理が終了し、処理は図３１に戻る。
　　＜輝度クリップ処理の流れ＞
　次に、図３３のフローチャートを参照して、図３１のステップＳ１４３において実行される輝度クリップ処理の流れの例について説明する。
　輝度クリップ処理が開始されると、輝度値上限処理部３７６は、ステップＳ１８１において、コンテンツ画像に重畳されるパタン１０１の処理対象画素の振幅が輝度値上限を超えるか否かを判定する。コンテンツ画像の輝度値にパタン１０１の正の方向の輝度値を加算し、輝度値上限を超えると判定された場合、処理はステップＳ１８２に進む。
　ステップＳ１８２において、輝度値上限処理部３７６は、その加算結果が輝度値上限を超えないように、パタン画像（例えばパタン１０１）の振幅を調整する。例えば、輝度値上限処理部３７６は、図１４等を参照して説明したような方法で、加算結果が輝度値上限を超えないようにパタン画像の振幅を調整する。
　ステップＳ１８２の処理が終了すると処理はステップＳ１８３に進む。また、ステップＳ１８１において、コンテンツ画像の輝度値とパタン１０１の正の方向の輝度との加算結果が輝度値上限を超えないと判定された場合、ステップＳ１８２の処理が省略され、処理はステップＳ１８３に進む。
　ステップＳ１８３において、輝度値下限処理部３７７は、コンテンツ画像に重畳されるパタン１０１の処理対象画素の振幅が輝度値下限を下回るか否かを判定する。コンテンツ画像の輝度値からパタン１０１の負の方向の輝度を減算し、輝度値下限を下回ると判定された場合、処理はステップＳ１８４に進む。
　ステップＳ１８４において、輝度値下限処理部３７７は、その減算結果が輝度値下限を下回らないように、パタン画像（例えばパタン１０１）の振幅を調整する。例えば、輝度値下限処理部３７７は、図１５等を参照して説明したような方法で、減算結果が輝度値下限を下回らないようにパタン画像の振幅を調整する。
　ステップＳ１８４の処理が終了すると処理はステップＳ１８５に進む。また、ステップＳ１８３において、コンテンツ画像の輝度値とパタン１０１の負の方向の輝度との減算結果が輝度値下限を下回らないと判定された場合、ステップＳ１８４の処理が省略され、処理はステップＳ１８５に進む。
　ステップＳ１８５において、輝度値上下限処理部３７８は、コンテンツ画像に重畳されるパタン１０１の処理対象画素の振幅が輝度値上限を超えるか若しくは輝度値下限を下回るか、または、輝度値上限を超えず、かつ、輝度値下限を下回らないかを判定する。コンテンツ画像の輝度値にパタン１０１の正の方向の輝度を加算し、輝度値下限を下回ると判定された場合、または、コンテンツ画像の輝度値からパタン１０１の負の方向の輝度を減算し、輝度値下限を下回ると判定された場合、処理はステップＳ１８６に進む。
　ステップＳ１８６において、輝度値上下限処理部３７８は、コンテンツ画像の輝度値とパタン１０１の正の方向の輝度の加算結果、および、コンテンツ画像の輝度値とパタン１０１の負の方向の輝度との減算結果が、輝度値上限と輝度値下限との間に収まるように、パタン画像（例えばパタン１０１）の振幅を調整する。例えば、輝度値上下限処理部３７８は、図１６や図１７等を参照して説明したような方法で、上述の加算結果および減算結果が輝度値上限と輝度値下限との間に収まるようにパタン画像の振幅を調整する。
　ステップＳ１８６の処理が終了すると輝度クリップ処理が終了し、処理は図３１に戻る。また、ステップＳ１８５において、コンテンツ画像の輝度値とパタン１０１の正の方向の輝度との加算結果が輝度値上限を超えず、かつ、コンテンツ画像の輝度値とパタン１０１の負の方向の輝度との減算結果が輝度値下限を下回らないと判定された場合、ステップＳ１８６の処理が省略され、輝度クリップ処理が終了し、処理は図３１に戻る。
　　＜対応点検出処理の流れ＞
　次に、図３４のフローチャートを参照して、図２９のステップＳ１０２において実行される対応点検出処理の流れの例について説明する。
　対応点検出処理が開始されると、撮像制御部３８１は、ステップＳ２０１において、図２９のステップＳ１０１のパタン画像投影処理により、そのパタン画像投影処理の処理対象の投影部３１１から投影された投影画像を撮像する。この投影画像は、コンテンツ画像に必要に応じて振幅が調整されたパタン画像１００が重畳された合成画像の投影画像である。撮像制御部３８１は、対応点検出処理の処理対象の撮像部３１２を制御し、その投影画像を撮像する。撮像制御部３８１は、必要なフレーム数の投影画像を撮像させ、必要な枚数の撮像画像を得る。
　ステップＳ２０２において、ノイズ低減部３８２は、得られた撮像画像の中から同種のパタン画像（ポジ画像またはネガ画像）が重畳されたコンテンツ画像の投影画像の撮像画像同士を積算し、撮像画像のノイズを低減させる（S/N比を向上させる）。
　ステップＳ２０３において、パタン差分画像生成部３８３は、ポジ画像とコンテンツ画像の合成画像の投影画像の撮像画像と、ネガ画像とコンテンツ画像の合成画像の投影画像の撮像画像との差分画像（パタン差分画像とも称する）を生成する。このパタン差分画像は、コンテンツ画像が略打ち消され、パタン画像が強調された画像である。つまりパタン差分画像生成部３８３は、撮像画像よりパタン１０１を検出する。
　ステップＳ２０４において、信頼度判定部３８４は、そのパタン差分画像において、検出されたパタン１０１の信頼度を判定する。この信頼度の判定方法は任意である。例えば、振幅の大きさ、位置、形状等に基づいて判定するようにしてもよい。
　ステップＳ２０５において、低信頼度領域除去部３８５は、ステップＳ２０４の判定結果に基づいて、パタン差分画像においてパタン１０１の信頼度が相対的に他の領域よりも低い領域を設定し、その領域内のパタン１０１を除去する。
　ステップＳ２０６において、対応点検出部３８６は、ステップＳ２０５の処理により除去されていない領域のパタン１０１、すなわち、信頼度の高いパタン１０１を用いて、処理対象の投影部３１１と処理対象の撮像部３１２との対応点を検出する。
　ステップＳ２０７において、補正情報算出部３８７は、ステップＳ２０６の処理により検出された対応点に基づいて、姿勢推定、投影スクリーン再構成、幾何補正等の処理を行い、それらの処理結果を反映した、投影する画像を補正するための補正情報を生成する。
　ステップＳ２０８において、対応点検出制御部３８８は、全ての領域において対応点が検出されたか否かを判定する。全ての領域において対応点が検出されていないと判定された場合、処理はステップＳ２０２に戻り、それ以降の処理を繰り返す。
　ステップＳ２０２乃至ステップＳ２０８の処理が繰り返され、ステップＳ２０８において、全ての領域において対応点が検出されたと判定された場合、処理はステップＳ２０９に進む。
　ステップＳ２０９において、補正統合部３８９は、ステップＳ２０２乃至ステップＳ２０８の処理の繰り返しの各回のステップＳ２０７において生成された補正情報を統合する。
　ステップＳ２０９の処理が終了すると、対応点検出処理が終了し、処理は図２９に戻る。つまり、対応点検出処理部３５２の各処理部は、図１８や図１９等を参照して説明したような処理を実行する。
　以上のように各処理を実行することにより、＜１．ISL方式とパタンの不可視性＞において説明したように、パタンの不可視性や検出精度の低減を抑制することができる。
　＜３．第２の実施の形態＞
　　＜投影撮像システム、投影撮像装置の他の構成例＞
　なお、本技術を適用した投影撮像システムの構成例は、上述した例に限定されない。例えば図３５のＡに示される投影撮像システム５００のように、制御装置３０１並びに各投影撮像装置３０２がネットワーク５０１を介して互いに接続されるようにしてもよい。
　ネットワーク５０１は、任意の通信網である。ネットワーク５０１において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク５０１は、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク５０１に含まれるようにしてもよい。
　制御装置３０１並びに各投影撮像装置３０２は、このネットワーク５０１に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。なお、各装置の数、筐体の形状や大きさ、配置位置等は任意である。
　制御装置３０１並びに各投影撮像装置３０２は、ネットワーク５０１を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、制御装置３０１並びに各投影撮像装置３０２は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。
　このような構成の投影撮像システム５００の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
　また、例えば図３５のＢに示される投影撮像システム５１０のように、投影部３１１と撮像部３１２とが互いに異なる装置として構成されるようにしてもよい。投影撮像システム５１０は、投影撮像装置３０２の代わりに、投影装置５１１－１乃至投影装置５１１－Ｎ（Ｎは任意の自然数）、並びに、撮像装置５１２－１乃至撮像装置５１２－Ｍ（Ｍは任意の自然数）を有する。投影装置５１１－１乃至投影装置５１１－Ｎは、それぞれ、投影部３１１（投影部３１１－１乃至投影部３１１－Ｎ）を有し、画像の投影を行う。撮像装置５１２－１乃至撮像装置５１２－Ｍは、それぞれ、撮像部３１２（撮像部３１２－１乃至撮像部３１２－Ｍ）を有し、投影面（投影部３１１が投影した投影画像）の撮像を行う。
　投影装置５１１－１乃至投影装置５１１－Ｎを互いに区別して説明する必要が無い場合、投影装置５１１と称する。撮像装置５１２－１乃至撮像装置５１２－Ｍを互いに区別して説明する必要が無い場合、撮像装置５１２と称する。
　各投影装置５１１並びに各撮像装置５１２は、それぞれ制御装置３０１と通信可能に接続されており、有線通信若しくは無線通信またはその両方により制御装置３０１と通信を行う（情報を授受する）ことができる。なお、各投影装置５１１並びに各撮像装置５１２が、制御装置３０１を介して、他の投影装置５１１若しくは他の撮像装置５１２またはその両方と通信を行うことができるようにしてもよい。
　また、各装置の数、筐体の形状や大きさ、配置位置等は任意である。また、図３５のＡの例のように、各装置が、ネットワーク５０１等のような他の設備（装置や伝送路）を介して互いに通信可能に接続されるようにしてもよい。
　このような構成の投影撮像システム５１０の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
　また、例えば図３６のＡに示される投影撮像システム５２０のように、制御装置３０１を省略するようにしてもよい。図３６のＡに示されるように、投影撮像システム５２０は、投影撮像装置５２１－１乃至投影撮像装置５２１－Ｎ（Ｎは任意の自然数）を有する。投影撮像装置５２１－１乃至投影撮像装置５２１－Ｎを互いに区別して説明する必要が無い場合、投影撮像装置５２１と称する。各投影撮像装置５２１は、通信ケーブル５２２を介して互いに通信可能に接続されているなお、各投影撮像装置５２１が無線通信によって互いに通信可能に接続されるようにしてもよい。
　投影撮像装置５２１－１乃至投影撮像装置５２１－Ｎは、それぞれ、制御部５２３－１乃至制御部５２３－Ｎを有する。制御部５２３－１乃至制御部５２３－Ｎを互いに区別して説明する必要が無い場合、制御部５２３と称する。制御部５２３は、制御装置３０１と同様の機能を有し、同様の処理を行うことができる。
　つまり、この投影撮像システム５２０の場合、上述した制御装置３０１において行われる処理が、投影撮像装置５２１（の制御部５２３）において実行される。なお、いずれかの投影撮像装置５２１（の制御部５２３）が、制御装置３０１において行われる処理の全てを実行するようにしてもよいし、複数の投影撮像装置５２１（の制御部５２３）が、情報を授受し合う等して協働して処理を実行するようにしてもよい。
　このような構成の投影撮像システム５２０の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
　また、例えば図３６のＢに示されるように、投影撮像システム３００が１つの装置として構成されるようにしてもよい。図３６のＢに示される投影撮像装置５３０は、投影部３１１（投影部３１１－１乃至投影部３１１－Ｎ（Ｎは任意の自然数））、撮像部３１２（撮像部３１２－１乃至撮像部３１２－Ｍ（Ｍは任意の自然数））、並びに、制御部５２３を有する。
　投影撮像装置５３０において、制御部５２３は、上述した制御装置３０１において行われる処理を実行することにより、各投影部３１１並びに各撮像部３１２を制御して対応点の検出等を行う。
　したがって、このような構成の投影撮像装置５３０の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
　また以上においては投影撮像システムを用いて本技術を説明したが、本技術は画像表示装置や画像表示システム等、画像表示機能を備える任意の構成、または画像表示のための処理を行う任意の構成に適用することができる。
　＜４．その他＞
　　＜本技術の適用分野＞
　本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
　例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
　　＜ソフトウエア＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムやデータ等が、ネットワークや記録媒体からインストールされる。
　例えば図２１の制御装置３０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムやデータ等を配信するために配布される、そのプログラムやデータ等が記録されているリムーバブルメディア３４１により構成される。その場合、例えば、リムーバブルメディア３４１をドライブ３３５に装着することにより、そのリムーバブルメディア３４１に記憶されているこのプログラムやデータ等を読み出させ、記憶部３３３にインストールさせることができる。
　また例えば図２６の投影撮像装置３０２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムやデータ等を配信するために配布される、そのプログラムやデータ等が記録されているリムーバブルメディア４２１により構成される。その場合、例えば、リムーバブルメディア４２１をドライブ４１５に装着することにより、そのリムーバブルメディア４２１に記憶されているこのプログラムやデータ等を読み出させ、記憶部４１３にインストールさせることができる。
　また、このプログラムやデータ等は、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図２１の制御装置３０１の場合、そのプログラムやデータ等は、通信部３３４で受信し、記憶部３３３にインストールすることができる。また、例えば図２６の投影撮像装置３０２の場合、そのプログラムやデータ等は、通信部４１４で受信し、記憶部４１３にインストールすることができる。
　その他、このプログラムやデータ等は、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば図２１の制御装置３０１の場合、プログラムやデータ等は、記憶部３３３やROM３２２等に予めインストールしておくこともできる。また、例えば図２６の投影撮像装置３０２の場合、プログラムやデータ等は、記憶部４１３や制御部４０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。
　　＜補足＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　コンテンツ画像に重畳して投影される、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きのパタンを有する２つのパタン画像の輝度差を、前記コンテンツ画像の輝度に応じて調整する調整部
　を備える画像処理装置。
　（２）　前記調整部は、前記コンテンツ画像の輝度がより大きいほど、前記輝度差をより小さくする
　（１）に記載の画像処理装置。
　（３）　前記調整部は、前記コンテンツ画像の輝度が所定の閾値より大きい場合、前記輝度差を小さくする
　（２）に記載の画像処理装置。
　（４）　前記調整部は、前記コンテンツ画像の輝度がより小さいほど、前記輝度差をより大きくする
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記調整部は、前記コンテンツ画像の輝度が所定の閾値より小さい場合、前記輝度差を大きくする
　（４）に記載の画像処理装置。
　（６）　前記調整部は、投影画像の輝度が上限を超えないように、前記輝度差を調整する
　（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記調整部は、投影画像の輝度が下限を下回らないように、前記輝度差を調整する
　（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記調整部は、前記コンテンツ画像の投影画像の輝度が投影画像の輝度の下限よりも上限に近い場合、前記投影画像の輝度が前記上限を超えないように前記輝度差を調整し、前記コンテンツ画像の投影画像の輝度が投影画像の輝度の上限よりも下限に近い場合、前記投影画像の輝度が前記下限を下回らないように前記輝度差を調整する
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記調整部は、前記輝度差を画素毎に調整する
　（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記調整部は、処理対象画素の前記輝度差を、前記コンテンツ画像の前記処理対象画素の輝度に応じて調整する
　（９）に記載の画像処理装置。
　（１１）　前記パタン画像が重畳された前記コンテンツ画像を投影する投影部をさらに備える
　（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　コンテンツ画像に重畳して投影される、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きのパタンを有する２つのパタン画像の輝度差を、前記コンテンツ画像の輝度に応じて調整する
　画像処理方法。
　（１３）　パタン画像の投影画像を撮像し、得られた撮像画像より前記パタン画像のパタンを検出し、検出した前記パタンから対応点を検出する際に、検出結果に含まれる前記パタンの信頼度が全て高くなるまで、前記投影画像の撮像と前記撮像画像からの前記パタンの検出を繰り返す対応点検出部
　を備える画像処理装置。
　（１４）　前記対応点検出部は、各回の前記パタンの検出において検出結果に含まれる信頼度の低い前記パタンを除去し、各回の検出結果を統合して前記対応点を検出する
　（１３）に記載の画像処理装置。
　（１５）　前記対応点検出部は、検出した前記対応点に基づいて前記投影画像を補正する補正情報を算出する
　（１３）または（１４）に記載の画像処理装置。
　（１６）　前記対応点検出部は、各回の前記パタンの検出において、検出結果に含まれる信頼度の低い前記パタンを除去して前記補正情報を算出し、各回の前記補正情報を統合する
　（１５）に記載の画像処理装置。
　（１７）　前記対応点検出部は、各回の前記補正情報の平均を算出する
　（１６）に記載の画像処理装置。
　（１８）　前記対応点検出部は、各回の前記補正情報を信頼度に基づいて重み付けして統合する
　（１６）に記載の画像処理装置。
　（１９）　前記投影画像を撮像する撮像部をさらに備える
　（１３）乃至（１８）のいずれかに記載の画像処理装置。
　（２０）　パタン画像の投影画像を撮像し、得られた撮像画像より前記パタン画像のパタンを検出し、検出した前記パタンから対応点を検出する際に、検出結果に含まれる前記パタンの信頼度が全て高くなるまで、前記投影画像の撮像と前記撮像画像からの前記パタンの検出を繰り返す
　画像処理方法。
　１００　パタン画像，　１０１　パタン，　３００　投影撮像システム，　３０１　制御装置，　３０２　投影撮像装置，　３１１　投影部，　３１２　撮像部，　３５１　パタン画像投影処理部，　３５２　対応点検出処理部，　３６１　コンテンツ画像取得部，　３６２　パタン画像取得部，　３６３　パタン画像調整部，　３６４　合成部，　３６５　投影制御部，　３７１　画素選択部，　３７２　振幅調整部，　３７３　輝度クリップ部，　３７４　高輝度振幅調整部，　３７５　低輝度振幅調整部，　３７６　輝度値上限処理部，　３７７　輝度値下限処理部，　３７８　輝度値上下限処理部，　３８１　撮像制御部，　３８２　ノイズ低減部，　３８３　パタン差分画像生成部，　３８４　信頼度判定部，　３８５　低信頼度領域除去部，　３８６　対応点検出部，　３８７　補正情報算出部，　３８８　対応点検出制御部，　３８９　補正統合部，　４０１　制御部，　５００　投影撮像システム，　５０１　ネットワーク，　５１０　投影撮像システム，　５１１　投影装置，　５１２　撮像装置，　５２０　投影撮像システム，　５２１　投影撮像装置，　５２３　制御部，　５３０　投影撮像装置

Claims (20)

  1. 　コンテンツ画像に重畳して投影される、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きのパタンを有する２つのパタン画像の輝度差を、前記コンテンツ画像の輝度に応じて調整する調整部
    　を備える画像処理装置。
  2. 　前記調整部は、前記コンテンツ画像の輝度がより大きいほど、前記輝度差をより小さくする
    　請求項１に記載の画像処理装置。
  3. 　前記調整部は、前記コンテンツ画像の輝度が所定の閾値より大きい場合、前記輝度差を小さくする
    　請求項２に記載の画像処理装置。
  4. 　前記調整部は、前記コンテンツ画像の輝度がより小さいほど、前記輝度差をより大きくする
    　請求項１に記載の画像処理装置。
  5. 　前記調整部は、前記コンテンツ画像の輝度が所定の閾値より小さい場合、前記輝度差を大きくする
    　請求項４に記載の画像処理装置。
  6. 　前記調整部は、投影画像の輝度が上限を超えないように、前記輝度差を調整する
    　請求項１に記載の画像処理装置。
  7. 　前記調整部は、投影画像の輝度が下限を下回らないように、前記輝度差を調整する
    　請求項１に記載の画像処理装置。
  8. 　前記調整部は、前記コンテンツ画像の投影画像の輝度が投影画像の輝度の下限よりも上限に近い場合、前記投影画像の輝度が前記上限を超えないように前記輝度差を調整し、前記コンテンツ画像の投影画像の輝度が投影画像の輝度の上限よりも下限に近い場合、前記投影画像の輝度が前記下限を下回らないように前記輝度差を調整する
    　請求項１に記載の画像処理装置。
  9. 　前記調整部は、前記輝度差を画素毎に調整する
    　請求項１に記載の画像処理装置。
  10. 　前記調整部は、処理対象画素の前記輝度差を、前記コンテンツ画像の前記処理対象画素の輝度に応じて調整する
    　請求項９に記載の画像処理装置。
  11. 　前記パタン画像が重畳された前記コンテンツ画像を投影する投影部をさらに備える
    　請求項１に記載の画像処理装置。
  12. 　コンテンツ画像に重畳して投影される、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きのパタンを有する２つのパタン画像の輝度差を、前記コンテンツ画像の輝度に応じて調整する
    　画像処理方法。
  13. 　パタン画像の投影画像を撮像し、得られた撮像画像より前記パタン画像のパタンを検出し、検出した前記パタンから対応点を検出する際に、検出結果に含まれる前記パタンの信頼度が全て高くなるまで、前記投影画像の撮像と前記撮像画像からの前記パタンの検出を繰り返す対応点検出部
    　を備える画像処理装置。
  14. 　前記対応点検出部は、各回の前記パタンの検出において検出結果に含まれる信頼度の低い前記パタンを除去し、各回の検出結果を統合して前記対応点を検出する
    　請求項１３に記載の画像処理装置。
  15. 　前記対応点検出部は、検出した前記対応点に基づいて前記投影画像を補正する補正情報を算出する
    　請求項１３に記載の画像処理装置。
  16. 　前記対応点検出部は、各回の前記パタンの検出において、検出結果に含まれる信頼度の低い前記パタンを除去して前記補正情報を算出し、各回の前記補正情報を統合する
    　請求項１５に記載の画像処理装置。
  17. 　前記対応点検出部は、各回の前記補正情報の平均を算出する
    　請求項１６に記載の画像処理装置。
  18. 　前記対応点検出部は、各回の前記補正情報を信頼度に基づいて重み付けして統合する
    　請求項１６に記載の画像処理装置。
  19. 　前記投影画像を撮像する撮像部をさらに備える
    　請求項１３に記載の画像処理装置。
  20. 　パタン画像の投影画像を撮像し、得られた撮像画像より前記パタン画像のパタンを検出し、検出した前記パタンから対応点を検出する際に、検出結果に含まれる前記パタンの信頼度が全て高くなるまで、前記投影画像の撮像と前記撮像画像からの前記パタンの検出を繰り返す
    　画像処理方法。
PCT/JP2018/018252 2017-05-26 2018-05-11 画像処理装置および方法 WO2018216500A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019519567A JP7243623B2 (ja) 2017-05-26 2018-05-11 画像処理装置および方法
EP18805679.0A EP3633979A4 (en) 2017-05-26 2018-05-11 DEVICE AND METHOD FOR IMAGE PROCESSING
US16/606,820 US11202044B2 (en) 2017-05-26 2018-05-11 Image processing apparatus and method
CN201880033204.1A CN110663249B (zh) 2017-05-26 2018-05-11 用于图像处理的装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017104222 2017-05-26
JP2017-104222 2017-05-26

Publications (1)

Publication Number Publication Date
WO2018216500A1 true WO2018216500A1 (ja) 2018-11-29

Family

ID=64395685

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018252 WO2018216500A1 (ja) 2017-05-26 2018-05-11 画像処理装置および方法

Country Status (5)

Country Link
US (1) US11202044B2 (ja)
EP (1) EP3633979A4 (ja)
JP (1) JP7243623B2 (ja)
CN (1) CN110663249B (ja)
WO (1) WO2018216500A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054204A1 (ja) * 2017-09-14 2019-03-21 ソニー株式会社 画像処理装置および方法
WO2020195220A1 (ja) 2019-03-27 2020-10-01 富士フイルム株式会社 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム
TWI768837B (zh) * 2021-04-20 2022-06-21 杰瑞科技有限公司 Led的檢測方法與檢測設備

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011222172A (ja) * 2010-04-06 2011-11-04 Uehira Kazutake 照明方法
JP2013192098A (ja) 2012-03-14 2013-09-26 Ricoh Co Ltd 投映システム、投映方法、プログラムおよび記録媒体
JP2015159524A (ja) * 2014-01-21 2015-09-03 セイコーエプソン株式会社 プロジェクター、表示装置、及び、プロジェクターの制御方法
JP2015166893A (ja) * 2014-03-03 2015-09-24 セイコーエプソン株式会社 位置検出装置、及び、位置検出装置の制御方法
JP2016090673A (ja) * 2014-10-30 2016-05-23 キヤノン株式会社 表示装置及びその制御方法、画像処理装置、コンピュータプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7038727B2 (en) * 2002-10-30 2006-05-02 The University Of Chicago Method to smooth photometric variations across multi-projector displays
JP2005005920A (ja) * 2003-06-11 2005-01-06 Nec Viewtechnology Ltd 書画カメラ及びその動作制御方法
JP2011050013A (ja) 2009-08-28 2011-03-10 Panasonic Corp 映像投影装置及び映像投影方法
US8217997B2 (en) 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2013168922A (ja) 2012-01-18 2013-08-29 Sony Corp 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム
EP2940889B1 (en) * 2012-12-27 2019-07-31 Panasonic Intellectual Property Corporation of America Visible-light-communication-signal display method and display device
JP6711271B2 (ja) * 2014-07-01 2020-06-17 ソニー株式会社 画像処理装置および方法
CN104463858A (zh) * 2014-11-28 2015-03-25 中国航空无线电电子研究所 一种投影颜色自适应校正方法
US10432902B2 (en) * 2015-03-17 2019-10-01 Sony Corporation Information processing device and information processing method
JP2020513699A (ja) * 2016-11-23 2020-05-14 レアリザシオンズ インコーポレイテッド モントリオール 自動校正投射システムおよび方法
TWI614735B (zh) * 2016-12-14 2018-02-11 財團法人工業技術研究院 全景視覺系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011222172A (ja) * 2010-04-06 2011-11-04 Uehira Kazutake 照明方法
JP2013192098A (ja) 2012-03-14 2013-09-26 Ricoh Co Ltd 投映システム、投映方法、プログラムおよび記録媒体
JP2015159524A (ja) * 2014-01-21 2015-09-03 セイコーエプソン株式会社 プロジェクター、表示装置、及び、プロジェクターの制御方法
JP2015166893A (ja) * 2014-03-03 2015-09-24 セイコーエプソン株式会社 位置検出装置、及び、位置検出装置の制御方法
JP2016090673A (ja) * 2014-10-30 2016-05-23 キヤノン株式会社 表示装置及びその制御方法、画像処理装置、コンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3633979A4

Also Published As

Publication number Publication date
EP3633979A4 (en) 2020-08-12
JPWO2018216500A1 (ja) 2020-03-26
JP7243623B2 (ja) 2023-03-22
US20200389631A1 (en) 2020-12-10
US11202044B2 (en) 2021-12-14
CN110663249A (zh) 2020-01-07
CN110663249B (zh) 2022-04-15
EP3633979A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
US10602106B2 (en) Information processing apparatus, information processing method, and program
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
JP7074052B2 (ja) 画像処理装置および方法
JP7067554B2 (ja) 画像処理装置および方法
US10560642B2 (en) Image processing device, image processing method and imaging device
US20190122383A1 (en) Image processing apparatus and method
US10931893B2 (en) Image sensor, image processing apparatus and method, and program
KR102412007B1 (ko) 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
KR102386385B1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
WO2018216500A1 (ja) 画像処理装置および方法
US11074715B2 (en) Image processing apparatus and method
JP2008276482A (ja) 画像処理装置、画像処理方法及び画像処理用プログラム。
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
JP2020202489A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2019203002A1 (ja) 情報処理装置および方法
US10021314B2 (en) Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium for changing shading using a virtual light source
JPWO2018155198A1 (ja) 情報処理装置および方法
JP2015119436A (ja) 撮像装置
US20220078321A1 (en) Image capturing control apparatus, method for controlling image capturing apparatus, and storage medium
JP2008306326A (ja) 画像処理装置および画像処理方法
WO2016129404A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP5367140B2 (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18805679

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519567

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018805679

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018805679

Country of ref document: EP

Effective date: 20200102