WO2017163928A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2017163928A1
WO2017163928A1 PCT/JP2017/009671 JP2017009671W WO2017163928A1 WO 2017163928 A1 WO2017163928 A1 WO 2017163928A1 JP 2017009671 W JP2017009671 W JP 2017009671W WO 2017163928 A1 WO2017163928 A1 WO 2017163928A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
projection
similarity
evaluation
Prior art date
Application number
PCT/JP2017/009671
Other languages
English (en)
French (fr)
Inventor
高尾　宜之
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780017817.1A priority Critical patent/CN108781267B/zh
Priority to JP2018507216A priority patent/JP6891873B2/ja
Priority to US16/085,707 priority patent/US10872434B2/en
Publication of WO2017163928A1 publication Critical patent/WO2017163928A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of improving robustness with respect to a projected image of posture estimation during content viewing.
  • Non-Patent Document 1 As a method for estimating the position, orientation, and the like of the projector at that time, a method using the feature amount of an image such as content being projected has been considered (for example, see Non-Patent Document 1).
  • posture estimation is difficult if the performance of posture estimation is highly dependent on the projected image, and many feature points cannot be extracted from the projected image, or the positions of the extracted feature points are biased. There was a risk of becoming.
  • This disclosure has been made in view of such a situation, and is intended to improve the robustness of a projected image of posture estimation during content viewing.
  • the imaging unit captures a captured image obtained by the imaging unit capturing the projection image projected by the projection unit, and a projection image projected by the projection unit.
  • a similarity evaluation unit that evaluates a similarity with a simulation image obtained by simulating a captured image obtained, and the projection unit or the imaging unit, or both based on the evaluation result of the similarity by the similarity evaluation unit
  • an attitude setting unit that sets the attitude as an estimation result.
  • the posture setting unit can set the postures of the projection unit and / or the imaging unit, which have been evaluated by the similarity evaluation unit as being optimal, as estimation results.
  • the similarity evaluation unit obtains a sum of differences in absolute values of luminance values of the pixels between the simulation image and the captured image as an evaluation value indicating the similarity, and the posture setting unit The posture of the projection unit and / or the imaging unit that minimizes the evaluation value can be set as the estimation result.
  • the similarity evaluation unit obtains a sum of squares of differences in luminance values of the pixels between the simulation image and the captured image as an evaluation value indicating the similarity, and the posture setting unit The posture of the projection unit and / or the imaging unit that minimizes the evaluation value can be set as the estimation result.
  • the similarity evaluation unit obtains a normalized cross-correlation between the simulation image and the captured image as an evaluation value indicating the similarity, and the posture setting unit performs the projection with the maximum evaluation value. Or the imaging unit, or both of them can be set as an estimation result.
  • the similarity evaluation unit obtains a zero average normalized cross-correlation between the simulation image and the captured image as an evaluation value indicating the similarity, and the posture setting unit maximizes the evaluation value.
  • the posture of the projection unit or the imaging unit, or both can be set as an estimation result.
  • the similarity evaluation unit sets a virtual posture of the projection unit or the imaging unit, or both, generates the simulation image obtained in the virtual posture, and similarity between the captured image and the simulation image The degree can be evaluated.
  • the similarity evaluation unit can generate the simulation image with a luminance value or a predetermined color component.
  • the similarity evaluation unit can evaluate the similarity between the reduced image of the captured image and the simulation image.
  • the similarity evaluation unit can evaluate the similarity between the captured image and a partial image in a predetermined range to be processed with the simulation image.
  • the similarity evaluation unit can repeat the similarity evaluation a plurality of times.
  • the similarity evaluation unit can evaluate the similarity each time by changing the resolution of the captured image or the range of the partial image to be processed in the captured image.
  • a corresponding point distance evaluation unit that obtains a corresponding point between the captured image and the simulation image and evaluates a distance of the corresponding point between the captured image and the simulation image can be further provided.
  • Both the evaluation of the distance between the corresponding points by the corresponding point distance evaluation unit and the evaluation of the similarity by the similarity evaluation unit are performed, and the posture setting unit is configured to determine the corresponding points by the corresponding point distance evaluation unit. Based on both the evaluation result of the distance and the evaluation result of the similarity by the similarity evaluation unit, the posture of the projection unit or the imaging unit or both can be set as the estimation result.
  • One of the evaluation of the distance between the corresponding points by the corresponding point distance evaluation unit and the evaluation of the similarity by the similarity evaluation unit is performed, and the posture setting unit is determined by the corresponding point distance evaluation unit. Based on the evaluation result of the distance between the corresponding points or the evaluation result of the similarity by the similarity evaluation unit, the posture of the projection unit or the imaging unit, or both can be set as the estimation result.
  • the similarity evaluation unit evaluates the similarity between the captured image and the simulation image between a plurality of projection units and a plurality of imaging units, and the posture setting unit is determined by the similarity evaluation unit. Based on the evaluation result of the similarity between each projection unit and each imaging unit, the postures of the plurality of projection units, the plurality of imaging units, or both can be set as estimation results.
  • a setting unit that performs settings related to geometric correction of the projected image based on the posture set by the posture setting unit can be further provided.
  • a projection unit that projects the projection image can be further provided.
  • An imaging unit that captures a projected image and obtains a captured image can be further provided.
  • the imaging unit captures a captured image obtained by the imaging unit capturing the projection image projected by the projection unit, and a projection image projected by the projection unit.
  • the degree of similarity with a simulation image obtained by simulating the obtained captured image is evaluated, and the postures of the projection unit and / or the imaging unit are set based on the evaluation result of the similarity.
  • the imaging unit captures a captured image obtained by the imaging unit capturing the projection image projected by the projection unit, and a projection image projected by the projection unit.
  • the degree of similarity with a simulation image obtained by simulating the obtained captured image is evaluated, and the postures of the projection unit and / or the imaging unit are set based on the evaluation result of the similarity.
  • an image can be processed.
  • it is possible to improve robustness with respect to a projected image of posture estimation during content viewing.
  • Posture estimation using image similarity> ⁇ Geometric correction>
  • the projected image also referred to as a projection image
  • a system that forms an image by projecting an image with a plurality of projectors. For example, there is a method of realizing a high dynamic range by increasing the contrast ratio by projecting images from a plurality of projectors at the same position. Further, for example, by arranging the projection images projected from the projectors, a projection image larger than the projection image projected by one projector (projection image having a higher resolution than the projection image projected by one projector) is obtained. There is a way to achieve it. In the case of these methods, not only the above-described distortion correction for each projection image, but also correction of alignment (shift, zoom, etc.) between the projection images may be necessary. Further, there may be a need to correct the brightness, color, etc. between the projected images.
  • geometric correction in which the position of each pixel of the projection image on the projection plane, such as deformation, movement, enlargement, or reduction of the projection image, is referred to as geometric correction. That is, the “geometric correction” includes not only image processing but also control by optical system such as shift and zoom, control by the attitude of the projection unit, and the like. Further, in this specification, the “posture” of the projection unit, the imaging unit, and the like include not only their “direction” (direction of projection or imaging) but also their “position” (position where projection or imaging is performed). Shall be included.
  • Such geometric correction can be performed manually by an operator or the like who operates the projector, but there is a risk that complicated work is required. Therefore, a method has been considered in which a projected image projected by a projector is captured using a camera, and geometric correction is set using the captured image. In this case, the posture of the camera or projector, the screen shape, and the like are estimated from the projection image included in the captured image, and appropriate geometric correction is set in accordance with them.
  • Such a geometric correction setting may be necessary not only before the projection of the content (moving image) but also during the projection of the content.
  • the posture of the projection imaging apparatus 10 projection unit 11
  • the projection imaging apparatus 10 projects an image from the projection unit 11 toward the screen 21, images the projection image 31 by the imaging unit, and obtains the obtained captured image.
  • posture estimation of the projection imaging apparatus 10 projection unit 11 or imaging unit 12
  • reconfiguration estimate of shape of the screen 21
  • geometric correction is set based on them. That is, the posture (RT_t1) at the time when the projection of the content (moving image) of the projection imaging apparatus 10 is known, and the projected image 31 is subjected to geometric correction according to the posture.
  • the geometric correction setting does not correspond to the attitude of the projection imaging apparatus 10, and like the projection image 32 shown on the right side of FIG.
  • the projected image is distorted. Since the posture (RT_t2) after the change is unknown, it is necessary to re-estimate the posture of the projection imaging apparatus 10 in order to set the geometric correction appropriately.
  • a method using the image feature amount of the content (moving image) being projected has been considered.
  • a method has been considered in which image feature amounts are obtained from a plurality of images using SIFT (Non-Patent Document 1), and posture estimation is performed from their corresponding points.
  • the projection imaging apparatus 10 captures the projection image 32 by the imaging unit 12 and obtains a captured image 42 as shown on the right in FIG. 2. . That is, the captured image 42 includes the projection image 32. Then, the projection imaging apparatus 10 detects a portion having a predetermined feature amount as a feature point (marked with x in the drawing) from the portion of the projection image 32 included in the captured image 42. In addition, the projection imaging apparatus 10 simulates a captured image obtained when the same image is projected from the projection unit 11 and captured by the imaging unit 12 in a known posture RT_t1 as illustrated on the left in FIG. An image 41 is generated. That is, the simulation image 41 includes the projection image 31. Then, the projection imaging apparatus 10 detects a part having a predetermined feature amount from the part of the projection image 31 included in the simulation image 41 as a feature point (X mark in the figure).
  • the projection imaging apparatus 10 performs outlier removal (NNDR (Nearest Neighbor Distance Ratio)), homography (Homography) matrix estimation (projection transformation matrix estimation), and the like, and applies the feature points and the captured image 42 included in the simulation image 41. Corresponding relationships with included feature points are obtained, and feature points corresponding to each other (also referred to as corresponding points) are detected.
  • NDR Nearest Neighbor Distance Ratio
  • Homography homography matrix estimation
  • corresponding points are detected.
  • the projection imaging apparatus 10 optimizes the error function E using the distance between the corresponding points by bundle adjustment.
  • Bundle adjustment is a nonlinear optimization technique that minimizes the error function E.
  • the attitude of the projection imaging apparatus 10 is virtually minutely changed, a simulation image is generated for the virtual attitude RT_t1 ′, and the corresponding points of the feature points between the simulation image and the imaging image 42 And an error function E is obtained.
  • Such processing is repeated with a known posture RT_t1 as an initial value, and a virtual posture RT_t1 ′ that minimizes the error function E is obtained as shown in FIG.
  • the virtual posture RT_t1 ′ that minimizes the error function E is the closest posture to the current posture RT_t2, and ideally, the virtual posture RT_t1 ′ matches the current posture RT_t2. Therefore, the geometric correction setting corresponding to the virtual posture RT_t1 ′ is an optimum setting for the current posture RT_t2, and the distortion of the projection image 32 can be reduced most.
  • the projected image 51 shown in FIG. 5 has a composition in which a person is located at the center and the other part is a background (plain).
  • the composition is often a case of an image having a shallow depth of field, but in such a composition, the edge is biased to a part of the image. Therefore, the feature points are also biased to a part of the image.
  • the feature points are likely to be biased near the center of the image (person portion). If a feature point is biased to a part of the image (especially the center), the corresponding point is also biased to that part, and it may be difficult to grasp the tendency of the distortion of the entire image from those corresponding points. there were. That is, it may be difficult to perform more accurate posture estimation.
  • the position of the projected image 52 in the captured image 53 changes from the vicinity of the center (the state on the left side of FIG. 6A) to the right side (the state of FIG. Suppose that it is shifted to the right).
  • a sufficient number of feature points are obtained in a wide area of the projection image 52
  • a sufficient number of corresponding points are obtained as shown by dotted lines, and accurate posture estimation can be performed from these corresponding points, and posture change
  • the posture (shape) of the subsequent screen 21 can also be accurately estimated.
  • the conventional posture estimation by the error function E using the distance between corresponding points depends on the characteristics of the image, and it may be difficult to obtain sufficient accuracy depending on the image. It was.
  • ⁇ Posture estimation based on image similarity> Therefore, a captured image obtained by the imaging unit imaging the projection image projected by the projection unit, a simulation image simulating a captured image obtained by the imaging unit imaging the projection image projected by the projection unit, and The postures of the projection unit and / or the imaging unit are set as estimation results based on the evaluation result. That is, instead of using corresponding points, matching (similarity evaluation) of the image itself is performed.
  • ⁇ Virtual posture> When evaluating the degree of similarity, a virtual posture of the projection unit and / or the imaging unit is set, a simulation image obtained in the virtual posture is generated, and the captured image obtained in the actual posture and the simulation image are The degree of similarity may be evaluated.
  • the simulation image may be generated with a luminance value or a predetermined color component.
  • the simulation image only needs to include information necessary for posture estimation, and it is not necessary to simulate all the information included in the captured image. For example, in calculating the similarity, only luminance values may be compared, or only predetermined color components may be compared. That is, when generating a simulation image, for example, image processing such as grayscale conversion may be performed. By appropriately limiting the amount of information, an increase in the amount of information in the simulation image can be suppressed, and an increase in the processing load relating to the similarity evaluation can be suppressed.
  • ⁇ Optimal evaluation search method> a plurality of simulation images are generated while changing the (virtual) posture of the projection unit or the imaging unit, or both, and each simulation image is compared with the captured image to obtain the respective similarity degrees, A (virtual) posture evaluated as having the optimum similarity may be set as an estimation result.
  • the virtual posture (RT_t1 ′) is repeatedly set with the known posture (RT_t1) as an initial value while slightly changing the posture. Then, the similarity between the simulation image in each posture and the captured image in the unknown posture (RT_t2) may be evaluated, and the virtual posture (RT_t1 ′) evaluated as the optimum may be used as the estimation result. .
  • a method for evaluating the similarity between the captured image and the simulation image is arbitrary.
  • an error function (evaluation function) E may be calculated from the similarity between the captured image and the simulation image, and the similarity may be evaluated based on the value of the error function E. For example, it may be evaluated that the value of the error function E is minimum and the virtual posture (RT_t1 ′) where the value of the error function E is minimum may be used as the estimation result.
  • the calculation method of the similarity degree of a captured image and a simulation image is also arbitrary.
  • the captured image and the simulation image are compared for each pixel (matching is performed for each pixel), the degree of similarity of each pixel is calculated, and the degree of similarity between both images (as an image) is calculated using the degree of similarity of each pixel. (Similarity) may be calculated.
  • the similarity of each pixel may be obtained using the pixel value of each pixel of both images.
  • the similarity between both images may be calculated from the pixel values of each pixel of the captured image and the simulation image using a predetermined function.
  • This function is optional.
  • a function such as SAD (Sum of Absolute Difference), SSD (Sum of Square Difference), NCC (Normalized Cross-Correlation), or ZNCC (Zero-means Normalized Cross-Correlation) may be used. In the following, these functions will be described.
  • the luminance value of the pixel at the position (i, j) of the simulation image, the average of the luminance values of each pixel of the simulation image, the position (i, j) of the captured image (Capture) image is determined as in the following equation (1).
  • ⁇ Function example 1 SAD>
  • SAD sum of absolute value differences
  • This SAD is calculated, for example, as in the following equation (2). The smaller the SAD, the higher the similarity between both images.
  • SSD> For example, the sum of squares (SAD) of pixel value differences between the pixels of both images may be used as the similarity.
  • This SSD is calculated, for example, as in the following formula (3). The smaller the SSD, the higher the similarity between both images.
  • NCC> normalized cross correlation (NCC) may be used as the similarity.
  • This NCC is calculated, for example, as in the following formula (4).
  • the NCC value range is 0 ⁇ NCC ⁇ 1, and the larger the value (the closer the value is to “1”), the higher the similarity between both images.
  • ZNCC> zero average normalized cross correlation (ZNCC) may be used as the similarity.
  • ZNCC is calculated, for example, as in the following formula (5).
  • error function E using these functions may be any function.
  • equation (7) may be sufficient.
  • the range of the error function E is as shown in the following equation (8), and the smaller the value, the higher the evaluation (that is, the higher the similarity).
  • the evaluation of the similarity between the captured image and the simulation image may be performed using a reduced image. That is, matching may be performed between a reduced image of the captured image and a reduced image of the simulation image (that is, a simulation image having the same resolution as the reduced image of the captured image). Since the resolution (number of pixels) is reduced by using the reduced image, matching (calculation of similarity) becomes easier, but the area per pixel becomes wider. That is, although the accuracy of posture estimation becomes coarse, in other words, the amount of movement when shifting by one pixel becomes large, so posture estimation can be performed at higher speed. Therefore, for example, even when the posture change is large (for example, when the movement amount of the projection image is large), posture estimation can be performed at a higher speed.
  • the edge of the image 71 is influenced by the edge of the image frame or the image. It is easily affected by noise outside the frame (for example, the influence of the shape and material of the screen), and is not suitable for the evaluation of similarity. Therefore, as shown in FIG. 8B, when generating the simulation image 72 in a certain posture, the region (the region 74 shown in FIG. 8C) excluding the end (near the image frame) of the projection image 73. ) May be set, and matching may be performed only within the region 74.
  • the size of the region 74 (in other words, the width from the end of the projection image 73 to the end of the region 74) is arbitrary. However, if the region 74 becomes too small, the accuracy of posture estimation decreases. Therefore, the region 74 is made as large as possible within a range in which the influence of the end of the projection image 73 and the outside of the projection image 73 is sufficiently reduced (that is, the width from the end of the projection image 73 to the end of the region 74 is By making it as narrow as possible), it is possible to suppress a reduction in accuracy of posture estimation while suppressing the influence of noise.
  • this partial region may be set in any shape in any part of the captured image (projected image).
  • the number of partial areas to be set is also arbitrary. That is, the setting of the partial area can be used for any purpose other than the suppression of the influence of the end portion of the projection image and the outside described above.
  • matching may be performed by enlarging the set partial area (higher resolution) and performing posture estimation with higher accuracy. For example, when posture estimation is performed for alignment of projection images projected from a plurality of projection units, the processing target is limited to an overlap region where a plurality of projection images are superimposed, and the overlap region is a high resolution. And matching may be performed.
  • the captured image may be divided into a plurality of partial areas, and matching of each partial area may be processed in parallel. By doing so, the similarity can be evaluated at a higher speed. Furthermore, by increasing the resolution of each partial image, it is possible to realize more accurate posture estimation.
  • the evaluation of the similarity between the captured image and the simulation image may be repeated a plurality of times. For example, for one virtual posture, matching may be repeated a plurality of times, and the evaluation results of each time may be comprehensively evaluated. For example, the average value, median value, total value, etc. of each degree of similarity (or the evaluation result) may be evaluated. For example, matching may be repeated a plurality of times by changing parameters (luminance values, color components, etc.) to be compared, and the evaluation results may be comprehensively determined.
  • the next matching may be performed using the previous evaluation result (posture estimation result).
  • FIG. 9 ⁇ Accuracy hierarchy> Furthermore, for example, as shown in FIG. 9, matching may be repeated a plurality of times while changing the resolution of the image, and the evaluation results may be comprehensively determined.
  • the left side of FIG. 9 is a code showing how evaluation is repeated in this way.
  • a reduced image such as the image 81 shown on the right side of FIG. 9 is used, and matching is performed on the entire image.
  • a reduced image larger than the first reduced image is used like the image 82, and matching is performed on the entire image.
  • the third time matching is performed on the entire image with the original size as in the image 83.
  • matching is performed on the partial area 85 of the image 84 of the original size.
  • the number of projection units and imaging units that perform posture estimation is arbitrary, and may be one or more.
  • matching between the captured image and the simulation image may be performed for all combinations of the projection unit and the imaging unit.
  • a projection image projected from each projection unit is captured by each imaging unit.
  • a simulation image may be generated for the captured image, and each captured image may be matched with the simulation image.
  • a deviation occurs in each matching result (posture estimation result)
  • it may be determined comprehensively such as averaging or obtaining a center of gravity.
  • matching between a part of the captured image and the simulation image may be omitted, for example, by excluding a posture estimation result with insufficient accuracy.
  • FIG. 10 is a block diagram illustrating a main configuration example of an embodiment of a projection imaging system to which the present technology is applied.
  • a projection imaging system 100 is a system that can project an image, capture a projection image, and perform posture estimation by a method to which the present technology is applied, that is, by the method described above. .
  • the projection imaging system 100 includes a control device 101 and projection imaging devices 102-1 to 102-N (N is an arbitrary natural number).
  • the projection imaging apparatus 102-1 to projection imaging apparatus 102-N are connected to the control apparatus 101 via cables 103-1 to 103-N, respectively.
  • the projection imaging apparatus 102-1 to the projection imaging apparatus 102-N will be referred to as the projection imaging apparatus 102 when it is not necessary to distinguish between them.
  • the cables 103-1 to 103 -N are referred to as cables 103 when there is no need to distinguish them from each other.
  • the control device 101 controls each projection imaging device 102 via the cable 103.
  • the control apparatus 101 supplies an image to be projected to each projection imaging apparatus 102 and causes the image to be projected.
  • the control device 101 instructs each projection imaging device 102 to capture a projection image or the like, and acquires the captured image.
  • the control device 101 generates a simulation image of the captured image, and performs matching (similarity evaluation) between the captured image and the simulation image.
  • the control device 101 estimates the posture of each projection imaging device 102 based on the evaluation result of the similarity, reconfigures a screen (projection plane), or projects an image to be projected on each projection imaging device 102. Or geometric correction is performed.
  • control device 101 may perform image processing such as enlargement, reduction, and deformation on the image to be projected as the geometric correction. Further, for example, the control device 101 may control the projection direction, the imaging direction, and the like for the optical system of each projection imaging device 102 as the geometric correction. Of course, both of these may be performed.
  • the projection imaging device 102-1 to projection imaging device 102-N are respectively a projection unit 111-1 to projection unit 111-N that projects an image, and an imaging unit 112-1 to imaging unit 112-N that images a subject.
  • the projection units 111-1 to 111-N are referred to as the projection unit 111 when it is not necessary to distinguish between them.
  • the imaging units 112-1 to 112-N are referred to as the imaging unit 112 when it is not necessary to distinguish between the imaging units 112-1 to 112-N.
  • the projection unit 111 has a so-called projector function. That is, the projection imaging apparatus 102 can be driven as a projector using the projection unit 111. For example, the projection imaging apparatus 102 can project an image supplied from the control apparatus 101 onto an arbitrary projection plane using the projection unit 111.
  • the imaging unit 112 has a so-called camera function. That is, the projection imaging apparatus 102 can be driven as a camera using the imaging unit 112. For example, the projection imaging apparatus 102 can use the imaging unit 112 to capture a projection surface on which an image is projected by the projection unit 111 and obtain a captured image. The projection imaging apparatus 102 can further supply the acquired captured image data to the control apparatus 101.
  • the number of the projection imaging devices 102 is arbitrary and may be one or more. When there are a plurality of projection imaging apparatuses 102, the projection imaging apparatuses 102 can operate independently of each other, or can operate in cooperation with each other under the control of the control apparatus 101.
  • the projection imaging system 100 when the projection imaging apparatuses 102 cooperate with each other functions as a so-called multi-projection system, and can realize so-called projection mapping.
  • the parameters relating to the projection for example, the attitude of the optical system included in the projection unit 111, the attitude of the entire projection unit 111, and the like may be controllable.
  • the imaging unit 112 may be configured to control imaging-related parameters such as the imaging direction and angle of view of the image, and distortion correction of the captured image. Further, for controlling the parameters relating to the imaging, for example, the attitude of the optical system included in the imaging unit 112, the attitude of the entire imaging unit 112, and the like may be controllable.
  • control of the projection unit 111 and control of the imaging unit 112 may be performed independently of each other. Further, the attitude of the projection imaging apparatus 102 may be controllable.
  • the control of the projection unit 111, the control of the imaging unit 112, and the control of the projection imaging device 102 as described above may be performed by the control device 101.
  • the projection imaging device 102 or the like other than the control device 101 may be used. The device may do this.
  • the cable 103 is an electric communication cable of an arbitrary communication standard that connects the control device 101 and the projection imaging device 102 so that they can communicate with each other. That is, the cable 103 can be a communication medium between the control device 101 and the projection imaging device 102.
  • the control device 101 and the projection imaging device 102 only need to be connected so as to communicate with each other.
  • the control device 101 and the projection imaging device 102 are connected by wireless communication. Also good. In that case, the cable 103 can be omitted.
  • the control apparatus 101 performs posture estimation of each projection unit 111 and each imaging unit 112 while projecting content (for example, a moving image) (performs online sensing).
  • the control device 101 causes each of the projected images projected by a part or all of the projection unit 111 to be captured by a part or all of the imaging unit 112, and matches the obtained captured images with simulation images of the captured images. By performing the above, posture estimation of each projection unit 111 and each imaging unit 112 is performed.
  • FIG. 11 is a block diagram illustrating a main configuration example of the control apparatus 101 which is an embodiment of an image processing apparatus to which the present technology is applied.
  • the control device 101 includes a CPU 121, a ROM 122, a RAM 123, a bus 124, an input / output interface 130, an input unit 131, an output unit 132, a storage unit 133, a communication unit 134, and a drive 135.
  • the CPU 121, ROM 122, and RAM 123 are connected to each other via a bus 124.
  • An input / output interface 130 is also connected to the bus 124.
  • An input unit 131, an output unit 132, a storage unit 133, a communication unit 134, and a drive 135 are connected to the input / output interface 130.
  • the CPU 121 performs various processes, for example, by loading a program stored in the ROM 122 or the storage unit 133 into the RAM 123 and executing the program.
  • the RAM 123 also appropriately stores data necessary for the CPU 121 to execute various processes.
  • the CPU 121 can perform processing related to detection of corresponding points by executing a program or the like in this way.
  • the input unit 131 includes an input device that accepts arbitrary external information such as user input, for example.
  • This input device may be anything.
  • a keyboard, a mouse, operation buttons, a touch panel, a camera, a microphone, a barcode reader, and the like may be used.
  • various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, may be used.
  • it may be an input terminal that receives arbitrary external information as data (signal).
  • the output unit 132 includes an output device that outputs arbitrary information inside the apparatus such as an image and sound. Any output device may be used. For example, a display or a speaker may be used.
  • the output terminal which outputs arbitrary information as data (signal) outside may be sufficient.
  • the storage unit 133 includes a storage medium that stores information such as programs and data.
  • This storage medium may be anything. For example, it may be a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 134 includes a communication device that performs communication for exchanging information such as programs and data with an external device via a predetermined communication medium (for example, an arbitrary network such as the Internet).
  • This communication device may be anything.
  • a network interface may be used.
  • a communication method and a communication standard for communication by the communication unit 134 are arbitrary.
  • the communication unit 134 may be able to perform wired communication, wireless communication, or both.
  • the drive 135 performs processing related to reading and writing of information (programs, data, and the like) with respect to the removable medium 141 attached to the drive 135.
  • the removable medium 141 may be any recording medium.
  • it may be a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like.
  • the drive 135 reads information (program, data, etc.) stored in the removable medium 141 attached to the drive 135 and supplies the information to the CPU 121, the RAM 123, and the like.
  • the drive 135 acquires information (programs, data, and the like) supplied from the CPU 121, the RAM 123, and the like, and writes the information to the removable medium 141 attached to the drive 135.
  • FIG. 12A is a functional block diagram illustrating an example of functions realized by the control device 101 executing a program or the like. As illustrated in FIG. 12A, the control device 101 executes functions of, for example, the projection processing unit 151, the projection control unit 152, the imaging control unit 153, the posture estimation unit 154, and the setting unit 155 by executing the program. Have.
  • the projection processing unit 151 performs processing related to the projection of content (moving image).
  • the projection control unit 152 performs processing related to control of each projection unit 111.
  • the imaging control unit 153 performs processing related to control of each imaging unit 112.
  • the posture estimation unit 154 performs processing related to posture estimation of each projection imaging device 102 (or the projection unit 111 and the imaging unit 112 of each projection imaging device 102).
  • the setting unit 155 performs processing relating to setting of parameters relating to geometric correction and the like.
  • Each block can exchange information (for example, commands and data) with each other as necessary.
  • the control device 101 may have functions other than these.
  • the posture estimation unit 154 in FIG. 12A has functions shown as functional blocks in FIG. 12B. That is, the posture estimation unit 154 has functions of a similarity evaluation unit 161 and a posture setting unit 162, for example.
  • the similarity evaluation unit 161 performs processing related to the evaluation of the similarity between the captured image and the simulation image.
  • the posture setting unit 162 performs processing related to setting the posture of the projection unit 111 and the imaging unit 112.
  • Each block can exchange information (for example, commands and data) with each other as necessary.
  • the posture estimation unit 154 may have functions other than these.
  • the similarity evaluation unit 161 in B of FIG. 12 has a function shown as a functional block in C of FIG. That is, the similarity evaluation unit 161 has functions of, for example, a virtual posture setting unit 171, a simulation image generation unit 172, and an image similarity evaluation unit 173.
  • the virtual posture setting unit 171 performs processing related to setting of the virtual posture.
  • the simulation image generation unit 172 performs processing related to generation of a simulation image.
  • the image similarity evaluation unit 173 performs processing related to similarity evaluation.
  • Each block can exchange information (for example, commands and data) with each other as necessary.
  • the similarity evaluation unit 161 may have functions other than these.
  • FIG. 13 is a block diagram illustrating a main configuration example of the projection imaging apparatus 102.
  • the projection imaging apparatus 102 includes a control unit 201, a projection unit 111, an imaging unit 112, an input unit 211, an output unit 212, a storage unit 213, a communication unit 214, and a drive 215.
  • the control unit 201 includes, for example, a CPU, a ROM, a RAM, and the like, and controls each processing unit in the apparatus, and executes various processes necessary for the control such as image processing.
  • the control unit 201 performs these processes based on the control of the control device 101, for example.
  • the control unit 201 acquires an image supplied from the control device 101 via the communication unit 214 under the control of the control device 101, supplies the image to the projection unit 111, and causes the projection unit 111 to project the image.
  • the control unit 201 causes the imaging unit 112 to capture the projection plane under the control of the control device 101, acquires a captured image, and supplies the captured image to the control device 101 via the communication unit 214.
  • the projection unit 111 is controlled by the control unit 201 to perform processing related to image projection.
  • the projection unit 111 projects the image supplied from the control unit 201 to the outside of the projection imaging apparatus 102 (for example, a projection surface).
  • the projection unit 111 projects an image by using laser light as a light source and scanning the laser light using a MEMS (Micro Electro Mechanical Systems) mirror.
  • the light source of the projection unit 111 is arbitrary, and is not limited to laser light, but may be, for example, an LED (Light Emitting Diode) or xenon.
  • the projection unit 111 may be any device that can project an image.
  • the imaging unit 112 is controlled by the control unit 201 to capture a subject outside the apparatus (for example, a projection surface), generate a captured image, and supply the captured image to the control unit 201.
  • the imaging unit 112 includes, for example, an image sensor using a CMOS (Complementary Metal Oxide Semiconductor), an image sensor using a CCD (Charge Coupled Device), etc., and photoelectrically converts light from a subject by the image sensor to capture an image. An electrical signal (data) of the image is generated.
  • the imaging unit 112 is driven in synchronization with the projection unit 111 to capture a projection image projected on the projection plane by the projection unit 111.
  • the imaging unit 112 may be any device that can capture a projected image.
  • the input unit 211 includes an input device that accepts arbitrary external information such as user input, for example.
  • This input device may be anything.
  • various buttons such as operation buttons, a touch panel, a camera, a microphone, an input terminal, an acceleration sensor, an optical sensor, and a temperature sensor may be used.
  • the output unit 212 includes an output device that outputs arbitrary information inside the apparatus such as an image and sound. Any output device may be used. For example, a display, a speaker, an output terminal, or the like may be used.
  • the storage unit 213 includes a storage medium that stores information such as programs and data.
  • This storage medium may be anything. For example, it may be a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 214 includes a communication device that performs communication for exchanging information such as programs and data with an external apparatus via a predetermined communication medium (for example, an arbitrary network such as the Internet).
  • This communication device may be anything.
  • a network interface may be used.
  • the communication unit 214 is connected to the communication cable 103 and can communicate with the control device 101 connected via the communication cable 103.
  • the communication method and communication standard of communication by the communication unit 214 are arbitrary.
  • the communication unit 214 may be able to perform wired communication, wireless communication, or both.
  • the drive 215 performs processing related to reading and writing of information (program, data, etc.) with respect to the removable medium 221 attached to the drive 215.
  • the removable medium 221 may be any recording medium.
  • it may be a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like.
  • the drive 215 reads information (program, data, etc.) stored in the removable medium 221 attached to the drive 215 and supplies the information to the control unit 201 or the like. Further, for example, the drive 215 acquires information (program, data, etc.) supplied from the control unit 201 and writes the information to the removable medium 221 attached to itself.
  • FIG. 14 is a block diagram illustrating a main configuration example of the projection unit 111.
  • the projection unit 111 includes a video processor 231, a laser driver 232, a laser output unit 233-1, a laser output unit 233-3, a laser output unit 233-3, a mirror 234-1, and a mirror 234-. 2, a mirror 234-3, a MEMS driver 235, and a MEMS mirror 236.
  • the video processor 231 holds an image supplied from the control unit 201 and performs necessary image processing on the image.
  • the video processor 231 supplies the projected image to the laser driver 232 and the MEMS driver 235.
  • the laser driver 232 controls the laser output unit 233-1 to the laser output unit 233-3 so as to project the image supplied from the video processor 231.
  • the laser output units 233-1 to 233-3 output laser beams of different colors (wavelength ranges) such as red, blue, and green, for example. That is, the laser driver 232 controls the laser output of each color so as to project the image supplied from the video processor 231.
  • the laser output unit 233-1 to the laser output unit 233-3 are referred to as a laser output unit 233 when there is no need to distinguish between them.
  • the mirror 234-1 reflects the laser beam output from the laser output unit 233-1 and guides it to the MEMS mirror 236.
  • the mirror 234-2 reflects the laser beam output from the laser output unit 233-2 and guides it to the MEMS mirror 236.
  • the mirror 234-3 reflects the laser beam output from the laser output unit 233-3 and guides it to the MEMS mirror 236. Note that the mirrors 234-1 to 234-3 are referred to as mirrors 234 when there is no need to distinguish them from each other.
  • the MEMS driver 235 controls the driving of the mirror of the MEMS mirror 236 so that the image supplied from the video processor 231 is projected.
  • the MEMS mirror 236 scans laser light of each color as shown in the example of FIG. 15, for example, by driving a mirror (mirror) mounted on the MEMS according to the control of the MEMS driver 235. This laser light is output from the projection port to the outside of the apparatus, and is irradiated on, for example, the projection surface. As a result, the image supplied from the video processor 231 is projected onto the projection plane.
  • three laser output units 233 are provided to output laser beams of three colors, but the number of laser beams (or the number of colors) is arbitrary.
  • the number of laser output units 233 may be four or more, or two or less. That is, the number of laser beams output from the projection imaging apparatus 102 (projection unit 111) may be two or less, or four or more.
  • the number of colors of the laser light output from the projection imaging apparatus 102 (projection unit 111) is also arbitrary, and may be two colors or less, or four colors or more.
  • the configuration of the mirror 234 and the MEMS mirror 236 is also arbitrary, and is not limited to the example of FIG. Of course, the scanning pattern of the laser beam is arbitrary.
  • the posture estimation unit 154 of the control device 101 sets the postures of the projection unit 111 and the imaging unit 112 in step S101. Further, the setting unit 155 sets parameters relating to geometric correction based on the set posture.
  • step S102 the projection processing unit 151 generates an image to be projected from the projection unit 111.
  • the projection processing unit 151 generates an image to be projected by performing geometric correction on the input image (content) using the parameters set in step S101.
  • step S103 the projection control unit 152 supplies the image generated in step S102 to the projection unit 111 and causes it to be projected on a screen (projection plane).
  • step S104 the imaging control unit 153 causes the imaging unit 112 to capture the projection image projected on the screen in step S103, and acquires the captured image.
  • step S105 the posture estimation unit 154 determines whether to perform posture estimation based on the captured image obtained in step S104. That is, the posture estimation unit 154 detects a change in posture of the projection unit 111 and the imaging unit 112 based on a change in the position and shape of the projection image in the captured image, and determines whether or not a change in posture is detected. It is determined whether or not posture estimation is performed. If a change in posture is detected and it is determined to perform posture estimation, the process proceeds to step S106.
  • step S106 the posture estimation unit 154 performs posture estimation processing and performs posture estimation using the captured image.
  • step S107 the setting unit 155 sets a parameter relating to geometric correction based on the posture estimated in step S106. That is, the setting unit 155 updates the parameter setting related to geometric correction in accordance with the posture estimation result.
  • step S107 When the process in step S107 is completed, the process proceeds to step S108. If it is determined in step S105 that no posture change is detected and posture estimation is not performed, the process proceeds to step S108.
  • step S108 the projection processing unit 151 determines whether or not to end image projection, that is, content projection. If the projection of the content has not been completed, the user has not instructed to stop projection, and it is determined to continue the image projection, the process returns to step S102. That is, for the next frame, the process of step S102 is executed.
  • step S108 If it is determined in step S108 that the content has been projected to the end, or that the user has instructed to stop the projection, the image projection process ends.
  • control apparatus 101 may execute each process of step S104 to step S107 for each imaging unit 112.
  • control apparatus 101 may execute the above image projection processing for each projection unit 111.
  • the similarity evaluation unit 161 executes the similarity evaluation process in step S121, compares the captured image with the simulation image, and evaluates their similarity.
  • step S122 the posture setting unit 162 sets the postures of the projection unit 111 and / or the imaging unit 112 based on the similarity evaluation processing result in step S121. That is, the posture setting unit 162 sets these postures to the postures at which the similarity evaluation is optimal.
  • step S122 When the process of step S122 is completed, the posture estimation process is terminated, and the process returns to FIG.
  • the virtual posture setting unit 171 sets the virtual postures (also referred to as virtual postures) of the projection unit 111 and the imaging unit 112 as initial values in step S141.
  • This initial value is arbitrary, but may be a known posture, that is, a posture before the posture change.
  • step S142 the simulation image generation unit 172 generates a simulation image of the captured image in the virtual posture set in step S141.
  • step S143 the image similarity evaluation unit 173 compares the captured image obtained in step S104 of FIG. 16 with the simulation image generated in step S142, and obtains and evaluates the similarity.
  • the image similarity evaluation unit 173 performs ⁇ 1.
  • the similarity is calculated and evaluated by the method described in “Posture Estimation Using Image Similarity >>.
  • step S144 the image similarity evaluation unit 173 determines whether the similarity is evaluated for all virtual postures. If it is determined that the similarity is evaluated for other virtual postures, the process proceeds to step S145.
  • step S145 the virtual posture setting unit 171 updates the virtual posture setting to a new posture.
  • the process of step S145 ends the process returns to step S142. That is, the process of step S142 is executed for the updated virtual posture.
  • step S144 when the similarity is evaluated for all virtual postures and it is determined that the similarity is not evaluated for other virtual postures, the similarity evaluation processing is terminated, and the processing returns to FIG.
  • posture estimation can be performed based on the evaluation result of the similarity between the captured image and the simulation image, and the robustness of the posture estimation during content viewing with respect to the projected image is improved. be able to.
  • a method for obtaining a posture (for example, a posture in which the value of the error function E is minimized) that optimizes the similarity evaluation is arbitrary.
  • the virtual postures may be comprehensively set in the similarity evaluation process of FIG. 18, the similarities may be evaluated in all the virtual postures, and the posture with the best evaluation may be obtained.
  • the virtual posture is comprehensively set within a predetermined range, the degree of similarity is evaluated, and the processing for obtaining the posture in which the optimum evaluation result is obtained is obtained until a more preferable evaluation result is not obtained. It may be repeated.
  • posture estimation may be repeated while changing the resolution as described above, and a posture with which an optimum evaluation result can be obtained may be obtained with high accuracy.
  • posture estimation may be performed for a plurality of frames. That is, for example, the posture estimation as described above may be repeated over a plurality of frames (for example, each posture estimation is performed in different frames).
  • Second Embodiment> ⁇ Combination of corresponding point distance evaluation> Note that a method of posture estimation based on image similarity to which the present technology is applied, and ⁇ 1. The posture estimation method based on the distance between corresponding points described in “Position estimation using image similarity” may be used in combination.
  • posture estimation based on similarity can improve robustness against projected images than posture estimation based on the distance between corresponding points, but posture estimation based on the distance between corresponding points is better.
  • the processing load is smaller than that of posture estimation based on similarity.
  • the posture estimation unit 154 has a function shown as a functional block in FIG. That is, the posture estimation unit 154 has a function of the corresponding point distance evaluation unit 301 in addition to the functions of the similarity evaluation unit 161 and the posture setting unit 162, for example.
  • Corresponding point distance evaluation unit 301 performs processing related to the evaluation of the distance between corresponding points.
  • the posture setting unit 162 performs processing related to posture setting based on the evaluation result obtained by the corresponding point distance evaluation unit 301 and the evaluation result obtained by the similarity evaluation unit 161.
  • Each block can exchange information (for example, commands and data) with each other as necessary.
  • the posture estimation unit 154 may have functions other than these.
  • ⁇ Attitude estimation processing flow 1> For example, in posture estimation, both a method based on image similarity and a method based on the distance between corresponding points may be performed, and the posture may be determined based on both estimation results. An example of the flow of posture estimation processing in that case will be described with reference to the flowchart of FIG.
  • step S301 the corresponding point distance evaluation unit 301 determines the correspondence between the feature points of the projection image included in the captured image and the feature points of the projection image included in the simulation image. Each corresponding point is obtained by obtaining. Then, the corresponding point distance evaluation unit 301 obtains the distance between the corresponding points and evaluates using the error function E or the like.
  • step S302 the similarity evaluation unit 161 executes a similarity evaluation process, compares the captured image with the simulation image, and evaluates the similarity.
  • This similarity evaluation process is executed basically in the same manner as the case described with reference to the flowchart of FIG. 18 in the first embodiment.
  • step S303 the posture setting unit 162 sets, as the postures of the projection unit 111 and the imaging unit 112, or both of them, the virtual posture for which the optimum evaluation is obtained based on the evaluation results of step S301 and step S302. To do.
  • the posture estimation process ends, and the process returns to FIG.
  • posture estimation can be performed more accurately under more various conditions. Therefore, the robustness with respect to the projected image of posture estimation can be further improved.
  • either posture estimation based on the distance between corresponding points or posture estimation based on image similarity may be performed first.
  • posture estimation is performed using a method based on the distance between corresponding points with relatively light loads, and then the posture estimation is performed using a method based on the similarity of images with relatively high accuracy, using the estimation result as an initial value.
  • the processing result of step S302 may be performed by reflecting the processing result of step S301 as the initial value of step S302.
  • a method based on image similarity and a method based on the distance between corresponding points may be selectively performed.
  • the information on which this selection is based is arbitrary, but for example, either one may be selected and executed according to a predetermined condition such as the content of the projected image or the tendency of the detected corresponding point. For example, when the number of detected corresponding points is large and the positions of the corresponding points are less biased, a method based on the distance between the corresponding points is selected. Otherwise, a method based on the similarity of the images is selected. You may do it.
  • the corresponding point distance evaluation unit 301 detects a feature point of the projection image included in the captured image in step S321.
  • step S322 the corresponding point distance evaluation unit 301 generates a simulation image with a known posture.
  • step S323 the corresponding point distance evaluation unit 301 detects a feature point of the simulation image.
  • step S324 the corresponding point distance evaluation unit 301 determines the correspondence between the feature points of the captured image detected in step S321 and the feature points of the simulation image detected in step S323 (that is, the correspondence relationship between the feature points). Ask for. That is, the corresponding point distance evaluation unit 301 detects corresponding points.
  • step S325 the corresponding point distance evaluation unit 301 determines whether the number of corresponding points detected in step S324 is sufficiently large and whether the position of the corresponding points is sufficiently small. For example, the corresponding point distance evaluation unit 301 performs this determination by comparing the number and distribution of detected corresponding points with a predetermined threshold. If it is determined that the number of corresponding points is sufficiently large and the position deviation of the corresponding points is sufficiently small, the process proceeds to step S326.
  • step S326 the corresponding point distance evaluation unit 301 obtains the distance between the corresponding points and evaluates it using the error function E or the like.
  • the process of step S326 ends, the process proceeds to step S328.
  • step S325 If it is determined in step S325 that the number of corresponding points is small or the position of the corresponding points is largely biased, the process proceeds to step S327.
  • step S327 the similarity evaluation unit 161 executes a similarity evaluation process, compares the captured image and the simulation image, and evaluates the similarity. This similarity evaluation process is executed basically in the same manner as the case described with reference to the flowchart of FIG. 18 in the first embodiment. When the process of step S327 ends, the process proceeds to step S328.
  • step S328 the posture setting unit 162 sets, as the postures of the projection unit 111 and the imaging unit 112, or both of them, the virtual posture for which the optimum evaluation is obtained based on the evaluation result of step S326 or step S327. To do.
  • the posture estimation process ends, and the process returns to FIG.
  • the posture estimation method used in combination with the method based on image similarity which is a posture estimation method to which the present technology is applied, is arbitrary, and may be other than the method based on the distance between corresponding points described above.
  • the network 401 is an arbitrary communication network.
  • a communication method employed in the network 401 is arbitrary. For example, wired communication, wireless communication, or both of them may be used.
  • the network 401 may be configured by a single communication network or may be configured by a plurality of communication networks.
  • the network 401 may include a communication network or a communication path of an arbitrary communication standard such as a wired communication network complying with the standard.
  • the control device 101 and each projection imaging device 102 are communicably connected to the network 401.
  • this connection may be wired (that is, connection via wired communication), wireless (that is, connection via wireless communication), or both.
  • the number of each device, the shape and size of the housing, the arrangement position, etc. are arbitrary.
  • the control device 101 and each projection imaging device 102 can communicate with each other via the network 401 (for example, exchange information).
  • the control device 101 and each projection imaging device 102 may be connected to each other via another facility (device, transmission path, etc.) so as to be communicable with each other.
  • the present technology can be applied similarly to the case of the projection imaging system 100, and the above-described effects can be obtained.
  • the projection unit 111 and the imaging unit 112 may be configured as different devices.
  • the projection apparatuses 411-1 to 411-N (N is an arbitrary natural number) and the imaging apparatuses 412-1 to 412-M (M is an arbitrary number) Natural number).
  • Each of the projection devices 411-1 to 411-N includes a projection unit 111 (projection unit 111-1 to projection unit 111-N), and projects an image.
  • the imaging devices 412-1 to 412-M each have an imaging unit 112 (imaging unit 112-1 to imaging unit 112-M), and take an image of a projection plane (a projection image projected by the projection unit 111). Do.
  • projection devices 411-1 to 411-N they will be referred to as projection devices 411.
  • the imaging devices 412-1 to 412 -M are referred to as imaging devices 412 when there is no need to describe them separately from each other.
  • Each projection device 411 and each imaging device 412 are communicably connected to the control device 101, and can communicate (transfer information) with the control device 101 by wired communication or wireless communication or both. Note that each projection device 411 and each imaging device 412 may be able to communicate with another projection device 411 and / or another imaging device 412 via the control device 101.
  • each device the shape and size of the housing, the arrangement position, etc. are arbitrary. Further, as in the example of FIG. 22A, the respective devices may be connected to each other via another facility (device or transmission path) such as the network 401 or the like.
  • another facility device or transmission path
  • the present technology can be applied similarly to the case of the projection imaging system 100, and the above-described effects can be obtained.
  • the control apparatus 101 may be omitted as in the projection imaging system 420 shown in FIG.
  • the projection imaging system 420 includes projection imaging apparatuses 421-1 to 421-N (N is an arbitrary natural number).
  • the projection imaging apparatus 421-N will be referred to as a projection imaging apparatus 421.
  • Each projection imaging device 421 is connected to be communicable with each other via a communication cable 422.
  • each projection imaging device 421 may be connected to be communicable with each other by wireless communication.
  • the projection imaging devices 421-1 to 421-N have control units 423-1 to 423-N, respectively.
  • the control units 423-1 to 423 -N are referred to as control units 423 when there is no need to distinguish them from each other.
  • the control unit 423 has the same function as the control device 101 and can perform the same processing.
  • the processing performed in the control device 101 described above is executed in the projection imaging device 421 (the control unit 423).
  • the control unit 423 any one of the projection imaging devices 421 (the control unit 423) may execute all the processes performed in the control device 101, or a plurality of projection imaging devices 421 (the control unit 423).
  • the processing may be executed in cooperation by exchanging information.
  • the present technology can be applied similarly to the case of the projection imaging system 100, and the above-described effects can be obtained.
  • the projection imaging system 100 may be configured as one apparatus.
  • 23B includes a projection unit 111 (projection unit 111-1 to projection unit 111-N (N is an arbitrary natural number)), an imaging unit 112 (imaging unit 112-1 to imaging unit 112). -M (M is an arbitrary natural number)), and a control unit 423.
  • control unit 423 performs the processing performed in the control device 101 described above, thereby controlling each projection unit 111 and each imaging unit 112 to perform posture estimation and the like.
  • the present technology can be applied similarly to the case of the projection imaging system 100, and the above-described effects can be achieved.
  • the present technology can also be applied to a system that projects and images an image used for viewing.
  • the present technology can also be applied to a system provided for transportation.
  • the present technology can also be applied to a system provided for security.
  • the present technology can be applied to a system used for sports.
  • the present technology can be applied to a system provided for agriculture.
  • the present technology can also be applied to a system provided for livestock industry.
  • the present technology can be applied to systems that monitor natural conditions such as volcanoes, forests, and oceans, meteorological observation systems that observe weather, temperature, humidity, wind speed, sunshine hours, and so on, such as birds, fish, and reptiles. It can also be applied to a system for observing the ecology of wildlife such as moss, amphibians, mammals, insects and plants.
  • this recording medium is constituted by a removable medium 141 on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the removable medium 141 in the drive 135, the program stored in the removable medium 141 can be read and installed in the storage unit 133.
  • this recording medium is constituted by a removable medium 221 on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the removable medium 221 in the drive 215, the program stored in the removable medium 221 can be read and installed in the storage unit 213.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 134 and installed in the storage unit 133.
  • the program can be received by the communication unit 214 and installed in the storage unit 213.
  • this program can be installed in advance in a storage unit or ROM.
  • the program can be installed in advance in the storage unit 133, the ROM 122, or the like.
  • the program can be installed in advance in a ROM (not shown) or the like built in the storage unit 213 or the control unit 201.
  • the program executed by the computer may be executed in a time series in the order described in this specification for the processing of the steps describing the program, or in parallel or called. It may be executed individually at a necessary timing. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology is not only implemented as a device or system, but also any configuration mounted on a device constituting the device or system, for example, a processor as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors It can also be implemented as a unit using a plurality of modules or the like, a set in which other functions are further added to the unit, or the like (that is, a partial configuration of the apparatus).
  • LSI Large Scale Integration
  • this technique can also take the following structures.
  • a captured image obtained by the imaging unit imaging the projection image projected by the projection unit and a captured image obtained by the imaging unit imaging the projection image projected by the projection unit are simulated.
  • a similarity evaluation unit for evaluating the similarity with the simulation image An image processing apparatus comprising: a posture setting unit that sets postures of the projection unit, the imaging unit, or both as estimation results based on the similarity evaluation result by the similarity evaluation unit.
  • the posture setting unit sets the postures of the projection unit and / or the imaging unit, or both of which have been evaluated by the similarity evaluation unit as being optimal, as estimation results.
  • the similarity evaluation unit obtains a sum of absolute value differences of luminance values of the pixels between the simulation image and the captured image as an evaluation value indicating the similarity.
  • the similarity evaluation unit obtains a sum of squares of differences in luminance values of the pixels between the simulation image and the captured image as an evaluation value indicating the similarity.
  • the image processing apparatus according to any one of (1) to (3), wherein the attitude setting unit sets the attitude of the projection unit and / or the imaging unit that minimizes the evaluation value as an estimation result.
  • the similarity evaluation unit obtains a normalized cross-correlation between the simulation image and the captured image as an evaluation value indicating the similarity
  • the image processing device according to any one of (1) to (4), wherein the posture setting unit sets the posture of the projection unit or the imaging unit, or both of which has the maximum evaluation value, as an estimation result.
  • the similarity evaluation unit obtains a zero average normalized cross-correlation between the simulation image and the captured image as an evaluation value indicating the similarity,
  • the image processing apparatus according to any one of (1) to (5), wherein the posture setting unit sets the posture of the projection unit or the imaging unit, or both of which has the maximum evaluation value, as an estimation result.
  • the similarity evaluation unit sets a virtual posture of the projection unit or the imaging unit, or both, generates the simulation image obtained in the virtual posture, and the captured image and the simulation image
  • the image processing apparatus according to any one of (1) to (6).
  • the image processing device according to any one of (1) to (7), wherein the similarity evaluation unit generates the simulation image with a luminance value or a predetermined color component.
  • the image processing apparatus according to any one of (1) to (8), wherein the similarity evaluation unit evaluates a similarity between the reduced image of the captured image and the simulation image.
  • the similarity evaluation unit evaluates a similarity between the captured image and a partial image in a predetermined range to be processed with the simulation image.
  • (1) to (9) Image processing device .
  • the image processing apparatus according to any one of (1) to (10), wherein the similarity evaluation unit repeats the similarity evaluation a plurality of times. (12) The similarity evaluation unit evaluates the similarity each time with the resolution of the captured image or the range of the partial image to be processed in the captured image being variable. (1) to (11) An image processing apparatus according to any one of the above. (13) It further includes a corresponding point distance evaluation unit that obtains a corresponding point between the captured image and the simulation image and evaluates a distance of the corresponding point between the captured image and the simulation image. The image processing apparatus according to any one of (12).
  • the posture setting unit based on the evaluation result of the distance of the corresponding point by the corresponding point distance evaluation unit, or the evaluation result of the similarity by the similarity evaluation unit, the projection unit or the imaging unit, or its Both the postures are set as estimation results.
  • the image processing device according to any one of (1) to (14).
  • the similarity evaluation unit evaluates the similarity between the captured image and the simulation image between each of the plurality of projection units and the plurality of imaging units.
  • the posture setting unit based on the evaluation result of the similarity between each projection unit and each imaging unit by the similarity evaluation unit, the postures of the plurality of projection units or the plurality of imaging units, or both
  • the image processing apparatus according to any one of (1) to (15).
  • the image processing apparatus according to any one of (1) to (16), further including a setting unit configured to perform settings related to geometric correction of the projection image based on the posture set by the posture setting unit.
  • a captured image obtained by the imaging unit imaging the projection image projected by the projection unit and a captured image obtained by the imaging unit imaging the projection image projected by the projection unit are simulated. Evaluate the similarity with the simulation image, An image processing method for setting postures of the projection unit, the imaging unit, or both based on the similarity evaluation result.
  • 100 projection imaging system 101 control device, 102 projection imaging device, 111 projection unit, 112 imaging unit, 151 projection processing unit, 152 projection control unit, 153 imaging control unit, 154 posture estimation unit, 155 setting unit, 161 similarity evaluation Unit, 162 posture setting unit, 171 virtual posture setting unit, 172 simulation image generation unit, 173 image similarity evaluation unit, 201 control unit, 301 corresponding point distance evaluation unit, 400 projection imaging system, 401 network, 410 projection imaging system, 411 Projector, 412 Imaging Device, 420 Projection Imaging System, 421 Projection Imaging Device, 423 Control Unit, 430 Projection Imaging Device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Projection Apparatus (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本開示は、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができるようにする画像処理装置および方法に関する。 投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、その投影部により投影された投影画像を撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価し、その類似度の評価結果に基づいて、投影部若しくは撮像部、またはその両方の姿勢を設定する。本開示は、例えば、画像処理装置、投影装置、撮像装置、投影撮像装置、制御装置、または投影撮像システム等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができるようにした画像処理装置および方法に関する。
　従来、プロジェクタにより投影された投影画像の歪みの低減や、複数のプロジェクタによる各投影画像の位置合わせのために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等を推定し、それらに応じた投影画像の幾何補正を行う方法があった。
　その際のプロジェクタの位置や姿勢等を推定する方法として、投影中のコンテンツ等の画像の特徴量を利用する方法が考えられた（例えば、非特許文献１参照）。
　しかしながら、この方法の場合、姿勢推定の性能の投影画像への依存度が高く、投影画像から特徴点を多く抽出できなかったり、抽出した特徴点の位置に偏りがあったりすると、姿勢推定が困難になるおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができるようにするものである。
　本技術の一側面の画像処理装置は、投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価する類似度評価部と、前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する姿勢設定部とを備える画像処理装置である。
　前記姿勢設定部は、前記類似度評価部により前記類似度が最適となると評価された前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。
　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の絶対値の差の総和を、前記類似度を示す評価値として求め、前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。
　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の差の２乗の総和を、前記類似度を示す評価値として求め、前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。
　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、正規化相互相関を、前記類似度を示す評価値として求め、前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。
　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、ゼロ平均正規化相互相関を、前記類似度を示す評価値として求め、前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。
　前記類似度評価部は、前記投影部若しくは前記撮像部、またはその両方の仮想の姿勢を設定し、前記仮想の姿勢において得られる前記シミュレーション画像を生成し、前記撮像画像と前記シミュレーション画像との類似度を評価することができる。
　前記類似度評価部は、前記シミュレーション画像を、輝度値または所定の色成分で生成することができる。
　前記類似度評価部は、前記撮像画像の縮小画像と前記シミュレーション画像との類似度を評価することができる。
　前記類似度評価部は、前記撮像画像の、処理対象とする所定の範囲の部分画像について、前記シミュレーション画像との類似度を評価することができる。
　前記類似度評価部は、前記類似度の評価を複数回繰り返すことができる。
　前記類似度評価部は、前記撮像画像の解像度、または、前記撮像画像内の処理対象とする部分画像の範囲を可変として各回の前記類似度の評価を行うことができる。
　前記撮像画像と前記シミュレーション画像との間で対応点を求め、前記撮像画像と前記シミュレーション画像との間の前記対応点の距離を評価する対応点距離評価部をさらに備えることができる。
　前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との両方を行い、前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果と、前記類似度評価部による前記類似度の評価結果との両方に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。
　前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との内のいずれか一方を行い、前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果、または、前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。
　前記類似度評価部は、複数の投影部と複数の撮像部とのそれぞれの間で、前記撮像画像と前記シミュレーション画像との類似度を評価し、前記姿勢設定部は、前記類似度評価部による各投影部と各撮像部との間の前記類似度の評価結果に基づいて、前記複数の投影部若しくは前記複数の撮像部、またはその両方の姿勢を推定結果として設定することができる。
　前記姿勢設定部により設定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備えることができる。
　投影画像を投影する投影部をさらに備えることができる。
　投影画像を撮像して撮像画像を得る撮像部をさらに備えることができる。
　本技術の一側面の画像処理方法は、投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価し、前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を設定する画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、その投影部により投影された投影画像を撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度が評価され、その類似度の評価結果に基づいて、投影部若しくは撮像部、またはその両方の姿勢が設定される。
　本開示によれば、画像を処理することができる。特に、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができる。
姿勢変化の様子の例を示す図である。 姿勢推定方法の例を示す図である。 姿勢推定方法の例を示す図である。 バンドルアジャストメントの様子の例を示す図である。 投影画像の例を示す図である。 姿勢推定の様子の例を示す図である。 姿勢推定方法の例を示す図である。 部分画像のマッチングの例を説明する図である。 多段階のマッチングの例を説明する図である。 投影撮像システムの主な構成例を示すブロック図である。 制御装置の主な構成例を示すブロック図である。 制御装置が実現する機能例を示す機能ブロック図である。 投影撮像装置の主な構成例を示すブロック図である。 投影部の主な構成例を示すブロック図である。 レーザ光の走査の例を示す図である。 画像投影処理の流れの例を説明するフローチャートである。 姿勢推定処理の流れの例を説明するフローチャートである。 類似度評価処理の流れの例を説明するフローチャートである。 姿勢推定部が実現する機能例を示す機能ブロック図である。 姿勢推定処理の流れの例を説明するフローチャートである。 姿勢推定処理の流れの例を説明するフローチャートである。 投影撮像システムの他の構成例を示すブロック図である。 投影撮像システムや投影撮像装置の主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．画像類似度を用いた姿勢推定
　２．第１の実施の形態（投影撮像システム）
　３．第２の実施の形態（姿勢推定部）
　４．第３の実施の形態（投影撮像システム・投影撮像装置）
　５．その他
　＜１．画像類似度を用いた姿勢推定＞
　　＜幾何補正＞
　プロジェクタの投影面（スクリーンや壁等）に対する姿勢（位置や向き等）や投影面の形状等によって、投影された画像（投影画像とも称する）が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、投影画像の歪みを低減し、見やすくすることができる。
　また、複数のプロジェクタにより画像を投影して、１つの投影画像を形成させるシステムがある。例えば、複数のプロジェクタから互いに同位置に画像を投影することにより、コントラスト比を大きくし、ハイダイナミックレンジを実現する方法がある。また、例えば、各プロジェクタから投影された投影画像を並べることにより、１台のプロジェクタが投影する投影画像よりも大きな投影画像（１台のプロジェクタが投影する投影画像よりも高解像度の投影画像）を実現する方法がある。これらの方法の場合、各投影画像に対する上述した歪み補正だけでなく、投影画像同士の位置合わせ（シフトやズーム等）の補正も必要になる場合がある。さらに、明るさや色等を投影画像間で揃える補正も必要になる場合もある。
　本明細書においては、投影画像の変形、移動、拡大、縮小等、投影画像の各画素の投影面における位置が変化する補正を幾何補正と称する。つまり、「幾何補正」には、画像処理によるものだけでなく、シフトやズーム等の光学系の制御によるものや、投影部の姿勢等の制御によるもの等も含まれるものとする。また、本明細書において、投影部や撮像部等の「姿勢」には、それらの「向き」（投影や撮像の向き）だけでなく、それらの「位置」（投影や撮像を行う位置）も含まれるものとする。
　このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正の設定を行う方法が考えられた。この場合、撮像画像に含まれる投影画像から、カメラやプロジェクタの姿勢や、スクリーン形状等が推定され、それらに応じて適切な幾何補正が設定される。
　　＜オンラインセンシング＞
　このような幾何補正の設定は、コンテンツ（動画像）の投影前だけでなく、コンテンツの投影中に必要になる場合もある。例えば、コンテンツ（動画像）の投影を開始した時点で、投影撮像装置１０（投影部１１）の姿勢が図１の左側のような状態であるとする。コンテンツ（動画像）の投影を開始する前に、投影撮像装置１０は、投影部１１からスクリーン２１に向かった画像を投影し、その投影画像３１を撮像部によって撮像し、得られた撮像画像を用いて、投影撮像装置１０（投影部１１や撮像部１２）の姿勢推定やスクリーン２１の再構成（形状の推定）を行い、それらに基づいて幾何補正の設定を行う。つまり、投影撮像装置１０のコンテンツ（動画像）の投影を開始した時点の姿勢（RT_t1）は既知であり、投影画像３１には、その姿勢に応じた幾何補正が施されている。
　コンテンツ（動画像）の投影中に投影撮像装置１０の姿勢が変化すると、幾何補正の設定が、投影撮像装置１０の姿勢に対応しなくなり、図１の右側に示される投影画像３２のように、投影画像に歪みが生じてしまう。この変化後の姿勢（RT_t2）は、未知であるので、幾何補正を適切な設定にするためには、この投影撮像装置１０の姿勢を推定し直す必要がある。
　しかしながら、そのためにコンテンツ（動画像）の投影を中断するのは、コンテンツを視聴しているユーザにとって、そのコンテンツの視聴を妨げることになり、好ましくない。そこで、コンテンツの投影を継続したまま対応点を検出する方法（オンラインセンシング）が考えられた。
　オンラインセンシング技術として、例えば、投影中のコンテンツ（動画像）の画像特徴量を利用する方式が考えられた。例えば、複数の画像からそれぞれSIFT（非特許文献１）を利用して画像特徴量を求め、それらの対応点から姿勢推定を行う方法が考えられた。
　　＜対応点間距離による姿勢推定＞
　例えば、図１の例のように投影撮像装置１０の姿勢が変化すると、投影撮像装置１０は、撮像部１２により投影画像３２を撮像し、図２の右に示されるような撮像画像４２を得る。つまり、撮像画像４２には、投影画像３２が含まれる。そして、投影撮像装置１０は、この撮像画像４２に含まれる投影画像３２の部分より、所定の特徴量を有する部分を特徴点（図中、×印）として検出する。また、投影撮像装置１０は、図２の左に示されるような、既知の姿勢RT_t1において同じ画像を投影部１１から投影し、撮像部１２により撮像した場合に得られる撮像画像をシミュレートしたシミュレーション画像４１を生成する。つまり、このシミュレーション画像４１には投影画像３１が含まれる。そして、投影撮像装置１０は、このシミュレーション画像４１に含まれる投影画像３１の部分より、所定の特徴量を有する部分を特徴点（図中、×印）として検出する。
　投影撮像装置１０は、外れ値除去（NNDR（Nearest Neighbor Distance Ratio））やホモグラフィ（Homography）行列推定（射影変換行列推定）等を行って、シミュレーション画像４１に含まれる特徴点と撮像画像４２に含まれる特徴点との対応関係を求め、互いに対応する特徴点（対応点とも称する）を検出する。
　対応点を求めると、投影撮像装置１０は、バンドルアジャストメント（Bundle Adjustment）により、対応点間の距離を用いた誤差関数Ｅの最適化を行う。バンドルアジャストメント（Bundle Adjustment）は、誤差関数Ｅを最小化する非線形最適化手法である。例えば、図３のように、投影撮像装置１０の姿勢を仮想的に微小変化させ、仮想の姿勢RT_t1'についてシミュレーション画像を生成し、そのシミュレーション画像と撮像画像４２との間で特徴点の対応点を求め、誤差関数Ｅを求める。このような処理を既知の姿勢RT_t1を初期値として繰り返し、図４のように、誤差関数Ｅが最小となる仮想の姿勢RT_t1'を求める。誤差関数Ｅが最小となる仮想の姿勢RT_t1'が、現在の姿勢RT_t2に最も近い姿勢であり、理想的には、仮想の姿勢RT_t1'が現在の姿勢RT_t2に一致する。そのため、その仮想の姿勢RT_t1'に応じた幾何補正の設定は、現在の姿勢RT_t2に対して最適な設定となり、投影画像３２の歪みを最も低減させることができる。
　　＜特徴点の少ない画像＞
　しかしながら、例えば被写界深度が浅い画像の場合、所謂ボケた領域が多い。このボケた領域のようにエッジが少ない場所では特徴点の検出が困難である。また、例えば図５に示される投影画像５１は、背景が無地であるため、その背景の部分においては、ボケた領域と同様、特徴点を検出することは困難である。つまり、このような、被写界深度が浅い画像や、多くの部分を無地の背景が占める画像は、特徴点の数が少ない。このような特徴点の数が少ない画像の場合、対応点の数も低減する可能性がある。上述したように対応点間の距離を用いて誤差関数Ｅが算出されるので、その対応点の数が十分でないと、姿勢推定の精度が低減する可能性があった。
　また、例えば、図５に示される投影画像５１は、中央に人物が位置し、その他の部分が背景（無地）といった構図である。被写界深度が浅い画像の場合もよくある構図であるが、このような構図の場合、エッジが画像の一部に偏る。したがって、特徴点も画像の一部に偏る。図５に示される投影画像５１の構図の場合、特徴点は画像中央付近（人物の部分）に偏る可能性が高い。特徴点が画像の一部（特に中央部）に偏ると、対応点もその一部に偏ることになり、それらの対応点から画像全体の歪みの傾向を把握することが困難になる可能性があった。つまり、より正確な姿勢推定を行うことが困難になる可能性があった。
　例えば、図６のＡに示されるように、投影撮像装置の姿勢変化によって、撮像画像５３における投影画像５２の位置が、中央付近（図６のＡの左側の状態）から右側（図６のＡ右側の状態）にずれたとする。投影画像５２の広域において十分な数の特徴点が得られると、点線で示されるように十分な数の対応点が得られ、それらの対応点から正確な姿勢推定を行うことができ、姿勢変化後のスクリーン２１の姿勢（形状）も正確に推定することができる。
　これに対して、図６のＢの例のように、投影画像５２において十分な数の特徴点が得られない場合、点線で示されるように、姿勢変化前後（図６のＢの左側の状態と右側の状態）で対応関係を求めることが困難になる可能性があった。そのため、正確な姿勢推定を行うことが困難になり、姿勢変化後のスクリーン２１の姿勢（形状）も、図６のＢの右側の例のように潰れてしまう等、正確な推定が困難になる可能性があった。
　このように、従来の対応点間の距離を用いた誤差関数Ｅによる姿勢推定は、その精度が画像の特徴に依存してしまい、画像によっては十分な精度を得ることが困難になるおそれがあった。
　　＜画像類似度による姿勢推定＞
　そこで、投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、投影部により投影された投影画像を撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価し、その評価結果に基づいて投影部若しくは撮像部、またはその両方の姿勢を推定結果として設定するようにする。つまり、対応点を用いるのではなく、画像そのもののマッチング（類似度評価）を行うようにする。
　このようにすることにより、姿勢推定精度の、投影画像の特徴に対する依存度を抑制することができる。つまり、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができる。
　　　＜仮想の姿勢＞
　その類似度の評価の際、投影部若しくは撮像部、またはその両方の仮想の姿勢を設定し、仮想の姿勢において得られるシミュレーション画像を生成し、実際の姿勢において得られる撮像画像とシミュレーション画像との類似度を評価するようにしてもよい。
　例えば、図７に示されるように、投影部若しくは撮像部、またはその両方の姿勢が、センシング済みで既知の姿勢（RT_t1）から未知の姿勢（RT_t2）に変化したとする。この場合、仮想の姿勢（RT_t1'）でのシミュレーション画像と、未知の姿勢（RT_t2）における撮像画像との類似度を評価するようにしてもよい。
　このように仮想の姿勢のシミュレーション画像を用いることにより、実際に姿勢を変化させる必要が無く、容易に姿勢推定を行うことができる。
　　　＜シミュレーション画像＞
　なお、シミュレーション画像は、輝度値または所定の色成分で生成するようにしてもよい。シミュレーション画像には、姿勢推定に必要な情報が含まれていればよく、撮像画像に含まれる情報を全てシミュレートする必要はない。例えば、類似度の算出において、輝度値のみを比較するようにしてもよいし、所定の色成分のみを比較するようにしてもよい。つまり、シミュレーション画像を生成する際に、例えばグレースケール（grayscale）変換等の画像処理を行うようにしてもよい。適宜、情報量を制限することにより、シミュレーション画像の情報量の増大を抑制し、類似度の評価に関する処理の負荷の増大を抑制することができる。
　　　＜最適評価の検索手法＞
　また、姿勢推定において、投影部若しくは撮像部、またはその両方の（仮想の）姿勢を変化させながらシミュレーション画像を複数生成し、各シミュレーション画像と撮像画像とを比較してそれぞれの類似度を求め、類似度が最適となると評価された（仮想の）姿勢を推定結果として設定するようにしてもよい。例えば、図７の場合、仮想の姿勢（RT_t1'）を、既知の姿勢（RT_t1）を初期値として、姿勢を微小変化させながら繰り返し設定する。そして、各姿勢でのシミュレーション画像と未知の姿勢（RT_t2）における撮像画像との類似度を評価し、その内の最適と評価した仮想の姿勢（RT_t1'）を推定結果とするようにしてもよい。
　このようにすることにより、より正確に姿勢推定を行うことができる。
　　　＜誤差関数を用いた類似度評価＞
　撮像画像とシミュレーション画像との類似度の評価方法は任意である。例えば、図７に示されるように、撮像画像とシミュレーション画像との類似度から誤差関数（評価関数）Ｅを算出し、その誤差関数Ｅの値によって類似度を評価するようにしてもよい。例えば、この誤差関数Ｅの値が最小となることを最適と評価し、その誤差関数Ｅの値が最小となる仮想の姿勢（RT_t1'）を推定結果とするようにしてもよい。
　　　＜画素毎のマッチング＞
　また、撮像画像とシミュレーション画像との類似度の算出方法も任意である。例えば、撮像画像とシミュレーション画像とを画素毎に比較し（画素毎にマッチングを行い）、各画素の類似度を算出し、その各画素の類似度を用いて両画像の類似度（画像としての類似度）を算出するようにしてもよい。例えば、両画像の各画素の画素値を用いて、各画素の類似度を求めるようにしてもよい。
　　　＜関数を用いた類似度算出＞
　例えば、所定の関数を用いて、撮像画像とシミュレーション画像の各画素の画素値から、両画像の類似度を算出するようにしてもよい。この関数は任意である。例えば、SAD（Sum of Absolute Difference）、SSD（Sum of Square Difference）、NCC（Normalized Cross-Correlation）、または、ZNCC（Zero-means Normalized Cross-Correlation）等の関数を用いるようにしてもよい。以下において、これらの関数について説明する。
　なお、この関数の説明において、シミュレーション（Simulation）画像の位置（i,j）の画素の輝度値、シミュレーション画像の各画素の輝度値の平均、撮像画像（Capture）画像の位置（i,j）の画素の輝度値、および、撮像画像（Capture）画像の各画素の輝度値の平均を、それぞれ、以下の式（１）のように定める。
Figure JPOXMLDOC01-appb-M000001
 　・・・（１）
　　　＜関数例１：SAD＞
　例えば、両画像の各画素の画素値の絶対値差の総和（SAD）を類似度としてもよい。このSADは、例えば、以下の式（２）のように算出される。このSADが小さいほど、両画像の類似度は高くなる。
Figure JPOXMLDOC01-appb-M000002
 　・・・（２）
　　　＜関数例２：SSD＞
　例えば、両画像の各画素の画素値の差の２乗の総和（SAD）を類似度としてもよい。このSSDは、例えば、以下の式（３）のように算出される。このSSDが小さいほど、両画像の類似度は高くなる。
Figure JPOXMLDOC01-appb-M000003
 　・・・（３）
　　　＜関数例３：NCC＞
　例えば、正規化相互相関（NCC）を類似度としてもよい。このNCCは、例えば、以下の式（４）のように算出される。このNCCの値域は０≦ＮＣＣ≦１であり、値が大きいほど（値が「１」に近いほど）、両画像の類似度は高くなる。
Figure JPOXMLDOC01-appb-M000004
 　・・・（４）
　　　＜関数例４：ZNCC＞
　例えば、ゼロ平均正規化相互相関（ZNCC）を類似度としてもよい。このZNCCは、例えば、以下の式（５）のように算出される。
Figure JPOXMLDOC01-appb-M000005
 　・・・（５）
　このZNCCの値域は以下の式（６）のようになり、値が大きいほど（値が「１」に近いほど）、両画像の類似度は高くなる。
Figure JPOXMLDOC01-appb-M000006
 　・・・（６）
　　　＜誤差関数Ｅ＞
　また、これらのような関数を用いる誤差関数Ｅもどのような関数であってもよい。例えば、以下の式（７）のような関数であってもよい。
Figure JPOXMLDOC01-appb-M000007
 　・・・（７）
　この場合、誤差関数Ｅの値域は以下の式（８）のようになり、値が小さいほど高評価となる（すなわち類似度が高い）。
Figure JPOXMLDOC01-appb-M000008
 　・・・（８）
　　　＜縮小画像を用いた類似度評価＞
　なお、撮像画像とシミュレーション画像との類似度の評価は、縮小画像を用いて行うようにしてもよい。つまり、撮像画像の縮小画像と、シミュレーション画像の縮小画像（すなわち、撮像画像の縮小画像と同じ解像度のシミュレーション画像）とでマッチングを行うようにしてもよい。縮小画像を用いることにより解像度（画素数）が低減するので、マッチング（類似度の算出）がより容易になるが、１画素あたりの面積が広くなる。つまり、姿勢推定の精度が粗くなるが、換言するに、１画素ずらした場合の移動量が大きくなるので姿勢推定をより高速に行うことができる。したがって、例えば姿勢変化が大きい場合（例えば投影画像の移動量が大きい場合）にも、より高速に姿勢推定を行うことができるようになる。
　　　＜部分画像を用いた類似度評価＞
　また、撮像画像の処理対象とする所定の範囲の部分画像について、シミュレーション画像とのマッチングを行う（類似度を評価する）ようにしてもよい。つまり、撮像画像の所定の範囲を処理対象として設定し、その処理対象とする範囲内についてマッチングを行うようにしてもよい。
　例えば、図８のＡに示されるような画像７１がスクリーンに投影される様子を撮像した撮像画像においては、その画像７１の端部（画枠付近）は、画枠のエッジの影響や、画枠外のノイズの影響（例えばスクリーンの形状や材質等による影響）を受け易く、類似度の評価に不向きとなり易い。そこで、図８のＢに示されるように、ある姿勢でのシミュレーション画像７２を生成する場合、投影画像７３の、その端部（画枠付近）を除く領域（図８のＣに示される領域７４）を設定し、その領域７４内についてのみマッチングを行うようにしてもよい。
　この領域７４の大きさ（換言するに、投影画像７３の端部から領域７４の端部までの幅）は、任意である。ただし、領域７４が小さくなり過ぎると姿勢推定の精度が低減する。したがって、領域７４は、投影画像７３の端部や投影画像７３外の影響が十分に低減される範囲で、できるだけ大きくする（すなわち、投影画像７３の端部から領域７４の端部までの幅はできるだけ狭くする）ことにより、ノイズの影響を抑制しながら、姿勢推定の精度の低減を抑制することができる。
　なお、この部分領域は、撮像画像（投影画像）のどの部分にどのような形状で設定するようにしてもよい。また、設定する部分領域の数も任意である。つまり、この部分領域の設定は、上述した投影画像の端部や外部の影響の抑制以外の任意の目的に用いることができる。例えば、設定した部分領域を拡大（高解像度化）してマッチングを行い、姿勢推定をより高精度に行うようにしてもよい。例えば、複数の投影部から投影される投影画像同士の位置合わせ等の為に姿勢推定を行う場合、処理対象を複数の投影画像が重畳するオーバーラップ領域に限定し、そのオーバーラップ領域を高解像度化してマッチングするようにしてもよい。また、例えば、撮像画像（シミュレーション画像）を複数の部分領域に分割し、各部分領域のマッチングを並行して処理するようにしてもよい。このようにすることにより、より高速に類似度の評価を行うことができる。さらに、各部分画像を高解像度化することにより、より高精度な姿勢推定を実現することができる。
　　　＜類似度評価の繰り返し＞
　なお、撮像画像とシミュレーション画像との類似度の評価は、複数回繰り返すようにしてもよい。例えば、１つの仮想の姿勢について、マッチングを複数回繰り返し、各回の評価結果を総合的に評価するようにしてもよい。例えば、各回の類似度（またはその評価結果）の平均値、中央値、合計値等を評価するようにしてもよい。例えば、比較対象とするパラメータ（輝度値や色成分等）を変えてマッチングを複数回繰り返し、それらの評価結果を総合的に判断するようにしてもよい。
　また、例えば、このようなマッチングの繰り返しにおいて、前回の評価結果（姿勢推定結果）を利用して次のマッチングを行うようにしてもよい。
　　　＜精度の階層化＞
　さらに、例えば、図９に示されるように、画像の解像度を変えてマッチングを複数回繰り返し、それらの評価結果を総合的に判断するようにしてもよい。図９の左側は、このように評価を繰り返す様子をコード化したものである。この場合、初回は、図９の右側に示される画像８１のような縮小画像を用い、その画像全体を対象としてマッチングを行う。２回目は、画像８２のように１回目の縮小画像よりも大きな縮小画像を用い、その画像全体を対象としてマッチングを行う。３回目は、画像８３のように元のサイズで画像全体を対象としてマッチングを行う。４回目は、元のサイズの画像８４の、部分領域８５を対象としてマッチングを行う。
　このように画像の解像度を変えることにより、各回の姿勢推定の精度を変えることができる。つまり、姿勢推定の精度を多段階化（階層化）するようにマッチングを繰り返すことができる。一般的に、高精度な姿勢推定は、低精度な姿勢推定に比べて、負荷も処理時間も増大する。つまり、高精度なマッチングを複数回繰り返すと、負荷や処理時間の増大もさらに大きくなる。そこで、このように解像度を上げながらマッチングを繰り返すことにより、姿勢推定の精度を低精度から高精度に上げていくことができる。つまり、高速に低精度な姿勢推定を行った後、その推定結果を利用して、前回より高精度に姿勢推定を行う等、高精度な姿勢推定をより高速に（つまり、より効率よく）行うことができる。
　　　＜複数投影部と複数撮像部＞
　なお、姿勢推定を行う投影部や撮像部の数は任意であり、単数でも、複数でもよい。投影部や撮像部が複数の場合は、投影部と撮像部の全ての組み合わせについて、撮像画像とシミュレーション画像とのマッチングを行うようにしてもよい。例えば、投影部と撮像部とがそれぞれ複数設けられている場合（例えば、投影撮像装置が複数設けられている場合）、各投影部から投影された投影画像を各撮像部により撮像し、それぞれの撮像画像についてシミュレーション画像を生成し、各撮像画像についてシミュレーション画像とのマッチングを行うようにしてもよい。各マッチングの結果（姿勢推定結果）にズレが生じる場合、平均化したり、重心を求めたりする等、総合的に判断するようにしてもよい。また、その際、精度不足の姿勢推定結果を除外する等、一部の撮像画像とシミュレーション画像とのマッチングを省略するようにしてもよい。このように不要な処理を抑制することにより、不要な負荷の増大を抑制することができる。
　＜２．第１の実施の形態＞
　　＜投影撮像システム＞
　図１０は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図１０において、投影撮像システム１００は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、すなわち、上述した方法で、姿勢推定を行ったりすることができるシステムである。
　図１０に示されるように、投影撮像システム１００は、制御装置１０１、並びに、投影撮像装置１０２－１乃至投影撮像装置１０２－Ｎ（Ｎは任意の自然数）を有する。投影撮像装置１０２－１乃至投影撮像装置１０２－Ｎは、それぞれ、ケーブル１０３－１乃至ケーブル１０３－Ｎを介して制御装置１０１に接続されている。
　以下において、投影撮像装置１０２－１乃至投影撮像装置１０２－Ｎを互いに区別して説明する必要が無い場合、投影撮像装置１０２と称する。また、ケーブル１０３－１乃至ケーブル１０３－Ｎを互いに区別して説明する必要が無い場合、ケーブル１０３と称する。
　制御装置１０１は、ケーブル１０３を介して各投影撮像装置１０２を制御する。例えば、制御装置１０１は、各投影撮像装置１０２に対して、投影する画像を供給し、その画像を投影させる。また、例えば、制御装置１０１は、各投影撮像装置１０２に対して、投影画像等の撮像を指示し、その撮像画像を取得する。さらに、例えば、制御装置１０１は、撮像画像のシミュレーション画像を生成し、撮像画像とシミュレーション画像のマッチング（類似度評価）を行う。また、例えば、制御装置１０１は、その類似度の評価結果に基づいて各投影撮像装置１０２の姿勢を推定したり、スクリーン（投影面）を再構成したり、各投影撮像装置１０２に投影させる画像に対して幾何補正を行ったりする。
　例えば、制御装置１０１が、この幾何補正として、投影させる画像に対して、例えば、拡大、縮小、変形等の画像処理を行うようにしてもよい。また、例えば、制御装置１０１が、この幾何補正として、例えば、各投影撮像装置１０２の光学系に対して、投影方向や撮像方向等の制御等を行うようにしてもよい。もちろん、これらの両方が行われるようにしてもよい。
　投影撮像装置１０２－１乃至投影撮像装置１０２－Ｎは、それぞれ、画像を投影する投影部１１１－１乃至投影部１１１－Ｎ、並びに、被写体を撮像する撮像部１１２－１乃至撮像部１１２－Ｎを有する。以下において、投影部１１１－１乃至投影部１１１－Ｎを互いに区別して説明する必要が無い場合、投影部１１１と称する。また、撮像部１１２－１乃至撮像部１１２－Ｎを互いに区別して説明する必要が無い場合、撮像部１１２と称する。
　投影部１１１は、所謂プロジェクタの機能を有する。つまり、投影撮像装置１０２は、投影部１１１を用いてプロジェクタとして駆動することができる。例えば、投影撮像装置１０２は、この投影部１１１を用いて、制御装置１０１から供給される画像を任意の投影面に投影することができる。
　撮像部１１２は、所謂カメラの機能を有する。つまり、投影撮像装置１０２は、撮像部１１２を用いてカメラとして駆動することができる。例えば、投影撮像装置１０２は、この撮像部１１２を用いて、投影部１１１により画像が投影された投影面の撮像を行い、撮像画像を得ることができる。投影撮像装置１０２は、さらに、その得られた撮像画像のデータを制御装置１０１に供給することができる。
　投影撮像装置１０２の数は任意であり、単数でも複数でも良い。投影撮像装置１０２が複数の場合、各投影撮像装置１０２は、互いに独立に動作することもできるし、制御装置１０１の制御の下、互いに協働して動作することもできる。各投影撮像装置１０２を協働させる場合の投影撮像システム１００は、所謂マルチプロジェクションシステムとして機能し、所謂プロジェクションマッピングを実現することができる。
　なお、投影部１１１の、例えば、画像の投影方向や拡大率、投影画像の歪み補正等の、投影に関するパラメータを制御することができるようにしてもよい。また、この投影に関するパラメータの制御のために、例えば、投影部１１１が有する光学系の姿勢、投影部１１１全体の姿勢等を制御可能としてもよい。
　また、撮像部１１２の、例えば、画像の撮像方向や画角、撮像画像の歪み補正等の、撮像に関するパラメータを制御することができるようにしてもよい。また、この撮像に関するパラメータの制御のために、例えば、撮像部１１２が有する光学系の姿勢、撮像部１１２全体の姿勢等を制御可能としてもよい。
　さらに、このような投影部１１１の制御と撮像部１１２の制御は、互いに独立して行うことができるようにしてもよい。また、投影撮像装置１０２の姿勢を制御可能としてもよい。なお、以上のような投影部１１１の制御、撮像部１１２の制御、投影撮像装置１０２の制御は、制御装置１０１が行うようにしてもよいし、例えば投影撮像装置１０２等、制御装置１０１以外の装置が行うようにしてもよい。
　ケーブル１０３は、制御装置１０１と投影撮像装置１０２とを通信可能に接続する任意の通信規格の電気通信ケーブルである。つまり、このケーブル１０３は、制御装置１０１と投影撮像装置１０２との間の通信媒体となり得る。なお、投影撮像システム１００においては、制御装置１０１と投影撮像装置１０２とが互いに通信可能に接続されていればよく、例えば制御装置１０１と投影撮像装置１０２とが無線通信により接続されるようにしてもよい。その場合、ケーブル１０３を省略することができる。
　制御装置１０１は、各投影部１１１、各撮像部１１２の姿勢推定を、コンテンツ（例えば動画像）の投影中に行う（オンラインセンシングを行う）。制御装置１０１は、投影部１１１の一部または全部が投影した各投影画像を、撮像部１１２の一部または全部に撮像させ、得られた各撮像画像と、その撮像画像のシミュレーション画像とのマッチングを行うことにより、各投影部１１１、各撮像部１１２の姿勢推定を行う。
　　＜制御装置＞
　図１１は、本技術を適用した画像処理装置の一実施の形態である制御装置１０１の主な構成例を示すブロック図である。
　図１１に示されるように、制御装置１０１は、CPU１２１、ROM１２２、RAM１２３、バス１２４、入出力インタフェース１３０、入力部１３１、出力部１３２、記憶部１３３、通信部１３４、およびドライブ１３５を有する。
　CPU１２１、ROM１２２、RAM１２３は、バス１２４を介して相互に接続されている。バス１２４にはまた、入出力インタフェース１３０も接続されている。入出力インタフェース１３０には、入力部１３１、出力部１３２、記憶部１３３、通信部１３４、およびドライブ１３５が接続されている。
　CPU１２１は、例えば、ROM１２２や記憶部１３３に記憶されているプログラム等をRAM１２３にロードして実行することにより、各種処理を行う。RAM１２３にはまた、CPU１２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　例えば、CPU１２１は、そのようにプログラム等を実行することにより、対応点の検出に関する処理を行うことができる。
　入力部１３１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、バーコードリーダ等であってもよい。また、加速度センサ、光センサ、温度センサ等の各種センサであってもよい。さらに、外部の任意の情報をデータ（信号）として受け付ける入力端子であってもよい。出力部１３２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイやスピーカ等であってもよい。また、任意の情報をデータ（信号）として外部に出力する出力端子であってもよい。
　記憶部１３３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。通信部１３４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。この通信部１３４による通信の通信方法や通信規格は任意である。例えば、通信部１３４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。
　ドライブ１３５は、自身に装着されたリムーバブルメディア１４１に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア１４１は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ１３５は、自身に装着されたリムーバブルメディア１４１に記憶されている情報（プログラムやデータ等）を読み出し、その情報をCPU１２１やRAM１２３等に供給する。また、例えば、ドライブ１３５は、CPU１２１やRAM１２３等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア１４１に書き込む。
　　＜制御装置の機能ブロック＞
　図１２のＡは、制御装置１０１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図１２のＡに示されるように、プログラムを実行することにより制御装置１０１は、例えば、投影処理部１５１、投影制御部１５２、撮像制御部１５３、姿勢推定部１５４、および設定部１５５の機能を有する。
　投影処理部１５１は、コンテンツ（動画像）の投影に関する処理を行う。投影制御部１５２は、各投影部１１１の制御に関する処理を行う。撮像制御部１５３は、各撮像部１１２の制御に関する処理を行う。姿勢推定部１５４は、各投影撮像装置１０２（または各投影撮像装置１０２の投影部１１１および撮像部１１２）の姿勢推定等に関する処理を行う。設定部１５５は、幾何補正等に関するパラメータの設定に関する処理を行う。
　なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。また、制御装置１０１がこれら以外の機能を有するようにしてもよい。
　　＜姿勢推定部＞
　図１２のＡの姿勢推定部１５４は、図１２のＢにおいて機能ブロックとして示される機能を有する。つまり、姿勢推定部１５４は、例えば、類似度評価部１６１および姿勢設定部１６２の機能を有する。
　類似度評価部１６１は、撮像画像とシミュレーション画像との類似度の評価に関する処理を行う。姿勢設定部１６２は、投影部１１１や撮像部１１２の姿勢の設定に関する処理を行う。
　なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。また、姿勢推定部１５４がこれら以外の機能を有するようにしてもよい。
　　＜類似度評価部＞
　図１２のＢの類似度評価部１６１は、図１２のＣにおいて機能ブロックとして示される機能を有する。つまり、類似度評価部１６１は、例えば、仮想姿勢設定部１７１、シミュレーション画像生成部１７２、および画像類似度評価部１７３の機能を有する。
　仮想姿勢設定部１７１は、仮想の姿勢の設定に関する処理を行う。シミュレーション画像生成部１７２は、シミュレーション画像の生成に関する処理を行う。画像類似度評価部１７３は、類似度の評価に関する処理を行う。
　なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。また、類似度評価部１６１がこれら以外の機能を有するようにしてもよい。
　　＜投影撮像装置＞
　図１３は、投影撮像装置１０２の主な構成例を示すブロック図である。図１３に示されるように、投影撮像装置１０２は、制御部２０１、投影部１１１、撮像部１１２、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５を有する。
　制御部２０１は、例えば、CPU、ROM、RAM等を有し、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。制御部２０１は、例えば制御装置１０１の制御に基づいて、それらの処理を行う。例えば、制御部２０１は、制御装置１０１の制御に従って、制御装置１０１から供給される画像を、通信部２１４を介して取得し、それを投影部１１１に供給し、投影させる。また、例えば、制御部２０１は、制御装置１０１の制御に従って、撮像部１１２に投影面を撮像させ、撮像画像を取得し、それを、通信部２１４を介して制御装置１０１に供給する。
　投影部１１１は、制御部２０１により制御されて、画像の投影に関する処理を行う。例えば、投影部１１１は、制御部２０１から供給される画像を投影撮像装置１０２の外部（例えば投影面等）に投影する。投影部１１１は、レーザ光を光源とし、MEMS（Micro Electro Mechanical Systems）ミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部１１１の光源は任意であり、レーザ光に限らず、例えばLED（Light Emitting Diode）やキセノン等であってもよい。なお、投影部１１１は、画像を投影することができるものであればどのようなデバイスであってもよい。
　撮像部１１２は、制御部２０１により制御されて、装置外部（例えば投影面等）の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部２０１に供給する。撮像部１１２は、例えばCMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ、CCD（Charge Coupled Device）を用いたイメージセンサ等を有し、そのイメージセンサによって被写体からの光を光電変換して、撮像画像の電気信号（データ）を生成する。例えば、撮像部１１２は、投影部１１１と同期して駆動し、投影部１１１により投影面に投影された投影画像を撮像する。なお、撮像部１１２は、投影画像を撮像することができるものであればどのようなデバイスであってもよい。
　入力部２１１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子、加速度センサ、光センサ、温度センサ等の各種センサ等であってもよい。出力部２１２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイ、スピーカ、出力端子等であってもよい。
　記憶部２１３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。
　通信部２１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。例えば、通信部２１４は、通信ケーブル１０３に接続され、通信ケーブル１０３を介して接続される制御装置１０１と通信を行うことができる。この通信部２１４による通信の通信方法や通信規格は任意である。例えば、通信部２１４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。
　ドライブ２１５は、自身に装着されたリムーバブルメディア２２１に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア２２１は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ２１５は、自身に装着されたリムーバブルメディア２２１に記憶されている情報（プログラムやデータ等）を読み出し、その情報を制御部２０１等に供給する。また、例えば、ドライブ２１５は、制御部２０１等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア２２１に書き込む。
　　＜投影部＞
　図１４は、投影部１１１の主な構成例を示すブロック図である。図１４に示されるように、投影部１１１は、ビデオプロセッサ２３１、レーザドライバ２３２、レーザ出力部２３３－１、レーザ出力部２３３－２、レーザ出力部２３３－３、ミラー２３４－１、ミラー２３４－２、ミラー２３４－３、MEMSドライバ２３５、および、MEMSミラー２３６を有する。
　ビデオプロセッサ２３１は、制御部２０１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ２３１は、その投影する画像をレーザドライバ２３２やMEMSドライバ２３５に供給する。
　レーザドライバ２３２は、ビデオプロセッサ２３１から供給される画像を投影するように、レーザ出力部２３３－１乃至レーザ出力部２３３－３を制御する。レーザ出力部２３３－１乃至レーザ出力部２３３－３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ２３２は、ビデオプロセッサ２３１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部２３３－１乃至レーザ出力部２３３－３を互いに区別して説明する必要が無い場合、レーザ出力部２３３と称する。
　ミラー２３４－１は、レーザ出力部２３３－１から出力されるレーザ光を反射し、MEMSミラー２３６に誘導する。ミラー２３４－２は、レーザ出力部２３３－２から出力されるレーザ光を反射し、MEMSミラー２３６に誘導する。ミラー２３４－３は、レーザ出力部２３３－３から出力されるレーザ光を反射し、MEMSミラー２３６に誘導する。なお、ミラー２３４－１乃至ミラー２３４－３を互いに区別して説明する必要が無い場合、ミラー２３４と称する。
　MEMSドライバ２３５は、ビデオプロセッサ２３１から供給される画像を投影するように、MEMSミラー２３６のミラーの駆動を制御する。MEMSミラー２３６は、MEMSドライバ２３５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図１５の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えば投影面に照射される。これにより、ビデオプロセッサ２３１から供給される画像が投影面に投影される。
　なお、図１４の例においては、レーザ出力部２３３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部２３３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置１０２（投影部１１１）から出力されるレーザ光は、２本以下であってもよいし、４本以上であってもよい。そして、投影撮像装置１０２（投影部１１１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー２３４やMEMSミラー２３６の構成も任意であり、図１４の例に限定されない。もちろん、レーザ光の走査パタンは任意である。
　　＜画像投影処理の流れ＞
　次に、このような構成の投影撮像システム１００において実行される処理について説明する。上述したように、投影撮像システム１００の制御装置１０１は、投影撮像装置１０２を制御し、コンテンツ（動画像）を投影する。このようなコンテンツの投影を行うために制御装置１０１において実行される画像投影処理の流れの例を、図１６のフローチャートを参照して説明する。
　画像投影処理が開始されると、ステップＳ１０１において、制御装置１０１の姿勢推定部１５４は、投影部１１１、撮像部１１２の姿勢を設定する。また、設定部１５５は、その設定された姿勢に基づいて、幾何補正に関するパラメータを設定する。
　ステップＳ１０２において、投影処理部１５１は、投影部１１１から投影する画像を生成する。例えば、投影処理部１５１は、入力画像（コンテンツ）に対して、ステップＳ１０１において設定されたパラメータを用いた幾何補正を行う等して、投影する画像を生成する。
　ステップＳ１０３において、投影制御部１５２は、ステップＳ１０２において生成された画像を、投影部１１１に供給し、スクリーン（投影面）に投影させる。
　ステップＳ１０４において、撮像制御部１５３は、ステップＳ１０３においてスクリーンに投影された投影画像を、撮像部１１２に撮像させ、その撮像画像を取得する。
　ステップＳ１０５において、姿勢推定部１５４は、ステップＳ１０４において得られた撮像画像に基づいて姿勢推定を行うか否かを判定する。すなわち、姿勢推定部１５４は、撮像画像における投影画像の位置や形状の変化等に基づいて、投影部１１１、撮像部１１２の姿勢の変化を検出し、姿勢の変化が検出されたか否かによって、姿勢推定を行うか否かを判定する。姿勢の変化が検出され、姿勢推定を行うと判定された場合、処理はステップＳ１０６に進む。
　ステップＳ１０６において、姿勢推定部１５４は、姿勢推定処理を実行し、撮像画像を用いて姿勢推定を行う。
　ステップＳ１０７において、設定部１５５は、ステップＳ１０６において推定された姿勢に基づいて、幾何補正に関するパラメータを設定する。つまり、設定部１５５は、姿勢推定結果に応じて、幾何補正に関するパラメータの設定を更新する。
　ステップＳ１０７の処理が終了すると処理はステップＳ１０８に進む。また、ステップＳ１０５において、姿勢の変化が検出されず、姿勢推定を行わないと判定された場合、処理はステップＳ１０８に進む。
　ステップＳ１０８において、投影処理部１５１は、画像投影、すなわち、コンテンツの投影を終了するか否かを判定する。コンテンツの投影が終了しておらず、かつ、ユーザ等から投影の中止を指示されておらず、画像投影を継続すると判定された場合、処理はステップＳ１０２に戻る。すなわち、次のフレームについて、ステップＳ１０２移行の処理のが実行される。
　また、ステップＳ１０８において、コンテンツを最後まで投影した、または、ユーザ等から投影の中止を指示されたと判定された場合、画像投影処理が終了する。
　なお、撮像部１１２が複数存在する場合、制御装置１０１は、ステップＳ１０４乃至ステップＳ１０７の各処理を各撮像部１１２についてそれぞれ実行すればよい。また、投影部１１１が複数存在する場合、制御装置１０１は、以上の画像投影処理を各投影部１１１についてそれぞれ実行すればよい。
　　＜姿勢推定処理の流れ＞
　次に、図１６のステップＳ１０６において実行される姿勢推定処理の流れの例を、図１７のフローチャートを参照して説明する。
　姿勢推定処理が開始されると、類似度評価部１６１は、ステップＳ１２１において、類似度評価処理を実行して、撮像画像とシミュレーション画像とを比較してそれらの類似度を評価する。
　ステップＳ１２２において、姿勢設定部１６２は、ステップＳ１２１の類似度評価処理結果に基づいて、投影部１１１若しくは撮像部１１２、またはその両方の姿勢を設定する。つまり、姿勢設定部１６２は、これらの姿勢を、類似度の評価が最適となる姿勢に設定する。
　ステップＳ１２２の処理が終了すると、姿勢推定処理が終了し、処理は図１６に戻る。
　　＜類似度評価処理の流れ＞
　次に、図１７のステップＳ１２１において実行される類似度評価処理の流れの例を、図１８のフローチャートを参照して説明する。
　類似度評価処理が開始されると、仮想姿勢設定部１７１は、ステップＳ１４１において、投影部１１１や撮像部１１２の仮想の姿勢（仮想姿勢とも称する）を初期値に設定する。この初期値は任意であるが、例えば、既知の姿勢、すなわち、姿勢変化前の姿勢としてもよい。
　ステップＳ１４２において、シミュレーション画像生成部１７２は、ステップＳ１４１において設定された仮想姿勢における撮像画像のシミュレーション画像を生成する。
　ステップＳ１４３において、画像類似度評価部１７３は、図１６のステップＳ１０４において得られた撮像画像と、ステップＳ１４２において生成されたシミュレーション画像とを比較し、それらの類似度を求め、評価する。画像類似度評価部１７３は、＜１．画像類似度を用いた姿勢推定＞において説明したような手法で、この類似度の算出や評価を行う。
　ステップＳ１４４において、画像類似度評価部１７３は、全ての仮想姿勢について類似度を評価したか否かを判定する。他の仮想姿勢についても類似度を評価すると判定された場合、処理はステップＳ１４５に進む。
　ステップＳ１４５において、仮想姿勢設定部１７１は、仮想姿勢の設定を新たな姿勢に更新する。ステップＳ１４５の処理が終了すると、処理はステップＳ１４２に戻る。すなわち、更新された仮想姿勢について、ステップＳ１４２移行の処理が実行される。
　ステップＳ１４４において、全ての仮想姿勢について類似度を評価し、これ以上他の仮想姿勢について類似度を評価しないと判定された場合、類似度評価処理が終了し、処理は図１７に戻る。
　以上のように各処理を実行することにより、撮像画像とそのシミュレーション画像の類似度の評価結果に基づいて姿勢推定を行うことができ、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができる。
　　＜最適な評価の求め方＞
　なお、類似度の評価が最適となる姿勢（例えば誤差関数Ｅの値が最小となる姿勢）の求め方は任意である。例えば、図１８の類似度評価処理において仮想姿勢を網羅的に設定し、全ての仮想姿勢において類似度を評価し、その中で評価が最適となる姿勢を求めるようにしてもよい。また、例えば、仮想姿勢を所定の範囲内で網羅的に設定し、類似度を評価し、その中で最適な評価結果が得られる姿勢を求める処理を、より好適な評価結果が得られなくなるまで繰り返すようにしてもよい。さらに、例えば、姿勢変化前後の撮像画像間における変化（例えば撮像画像に含まれる投影画像の位置や形状の変化）等を解析して、姿勢変化の大まかな傾向（例えば、どの方向に位置や向きがどのくらい変化したか等）を特定し、その傾向に従って仮想姿勢を設定するようにしてもよい。また、例えば、上述したように解像度を変化させながら姿勢推定を繰り返し、最適な評価結果が得られる姿勢を高精度に求めるようにしてもよい。さらに、例えば、複数のフレームについて姿勢推定を行うようにしてもよい。つまり、例えば、上述したような姿勢推定の繰り返しを複数のフレームに亘って行う（例えば、各回の姿勢推定を互いに異なるフレームにおいて行う）ようにしてもよい。
　＜３．第２の実施の形態＞
　　＜対応点距離評価の併用＞
　なお、上述した本技術を適用した画像の類似度に基づく姿勢推定の方法と、＜１．画像類似度を用いた姿勢推定＞において説明した、対応点間の距離に基づく姿勢推定の方法とを併用してもよい。
　一般的に、類似度に基づく姿勢推定の方が、対応点間の距離に基づく姿勢推定よりも投影画像に対するロバスト性を向上させることができるが、対応点間の距離に基づく姿勢推定の方が、類似度に基づく姿勢推定よりも処理の負荷が小さい。両手法を併用することにより、各手法の特徴を生かしてより効率の良い姿勢推定を実現することができる。
　　＜姿勢推定部＞
　この場合、姿勢推定部１５４は、図１９において機能ブロックとして示される機能を有する。つまり、姿勢推定部１５４は、例えば、類似度評価部１６１および姿勢設定部１６２の機能に加え、対応点距離評価部３０１の機能を有する。
　対応点距離評価部３０１は、対応点間の距離の評価に関する処理を行う。この場合、姿勢設定部１６２は、対応点距離評価部３０１において得られる評価結果や、類似度評価部１６１において得られる評価結果に基づいて姿勢の設定に関する処理を行う。
　なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。また、姿勢推定部１５４がこれら以外の機能を有するようにしてもよい。
　　＜姿勢推定処理の流れ１＞
　例えば姿勢推定において、必ず、画像の類似度に基づく方法と、対応点間の距離に基づく方法の両方を行うようにし、その両方の推定結果に基づいて姿勢を決定するようにしてもよい。その場合の姿勢推定処理の流れの例を、図２０のフローチャートを参照して説明する。
　この場合、姿勢推定処理が開始されると、ステップＳ３０１において、対応点距離評価部３０１は、撮像画像に含まれる投影画像の特徴点とシミュレーション画像に含まれる投影画像の特徴点との対応関係を求めることにより、それぞれの対応点を求める。そして、対応点距離評価部３０１は、その対応点間の距離を求め、誤差関数Ｅ等を用いて評価する。
　ステップＳ３０２において、類似度評価部１６１は、類似度評価処理を実行し、撮像画像とシミュレーション画像とを比較し、それらの類似度を評価する。なお、この類似度評価処理は、第１の実施の形態において図１８のフローチャートを参照して説明した場合と基本的に同様に実行される。
　ステップＳ３０３において、姿勢設定部１６２は、ステップＳ３０１およびステップＳ３０２の評価結果に基づいて、最適とされる評価が得られた仮想姿勢を、投影部１１１若しくは撮像部１１２、またはその両方の姿勢として設定する。ステップＳ３０３の処理が終了すると、姿勢推定処理が終了し、処理は図１６に戻る。
　このように複数の方法で姿勢推定を行うことにより、より多様な条件下においてより正確に姿勢推定を行うことができる。したがって、姿勢推定の投影画像に対するロバスト性をさらに向上させることができる。
　なお、この場合、対応点間の距離に基づく姿勢推定と、画像の類似度に基づく姿勢推定のどちらを先に行うようにしてもよい。また、例えば、比較的負荷の軽い対応点間の距離に基づく方法で姿勢推定を行ってから、その推定結果を初期値として、比較的精度の高い画像の類似度に基づく方法で姿勢推定を行うようにしてもよい。つまり、図２０の例の場合、ステップＳ３０１の処理結果をステップＳ３０２の初期値として反映して、ステップＳ３０２の処理を行うようにしてもよい。このようにすることにより、この２つの方法の姿勢推定をより効率よく行うことができる。
　　＜姿勢推定処理の流れ２＞
　また、姿勢推定において、画像の類似度に基づく方法と、対応点間の距離に基づく方法とを選択的に行うようにしてもよい。この選択の根拠となる情報は任意であるが、例えば、投影画像の内容や検出された対応点の傾向等の所定の条件に応じていずれか一方を選択し、実行するようにしてもよい。例えば、検出された対応点の数が多く、かつ、対応点の位置に偏りが少ない場合、対応点間の距離に基づく方法を選択し、そうでない場合、画像の類似度に基づく方法を選択するようにしてもよい。
　その場合の姿勢推定処理の流れの例を、図２１のフローチャートを参照して説明する。この場合、姿勢推定処理が開始されると、対応点距離評価部３０１は、ステップＳ３２１において、撮像画像に含まれる投影画像の特徴点を検出する。
　ステップＳ３２２において、対応点距離評価部３０１は、既知の姿勢でシミュレーション画像を生成する。
　ステップＳ３２３において、対応点距離評価部３０１は、そのシミュレーション画像の特徴点を検出する。
　ステップＳ３２４において、対応点距離評価部３０１は、ステップＳ３２１において検出した撮像画像の特徴点と、ステップＳ３２３において検出したシミュレーション画像の特徴点との間の対応関係（すなわち、特徴点同士の対応関係）を求める。つまり、対応点距離評価部３０１は、対応点を検出する。
　ステップＳ３２５において、対応点距離評価部３０１は、ステップＳ３２４において検出した対応点の数が十分に多く、かつ、その対応点の位置の偏りが十分に少ないか否かを判定する。例えば、対応点距離評価部３０１は、検出した対応点の数や分布を所定の閾値と比較してこの判定を行う。対応点の数が十分に多く、かつ、その対応点の位置の偏りが十分に少ないと判定された場合、処理はステップＳ３２６に進む。
　ステップＳ３２６において、対応点距離評価部３０１は、各対応点間の距離を求め、誤差関数Ｅ等を用いてそれを評価する。ステップＳ３２６の処理が終了すると処理はステップＳ３２８に進む。
　また、ステップＳ３２５において、対応点の数が少ない、または、対応点の位置の偏りが大きいと判定された場合、処理はステップＳ３２７に進む。ステップＳ３２７において、類似度評価部１６１は、類似度評価処理を実行し、撮像画像とシミュレーション画像とを比較し、それらの類似度を評価する。なお、この類似度評価処理は、第１の実施の形態において図１８のフローチャートを参照して説明した場合と基本的に同様に実行される。ステップＳ３２７の処理が終了すると処理はステップＳ３２８に進む。
　ステップＳ３２８において、姿勢設定部１６２は、ステップＳ３２６またはステップＳ３２７の評価結果に基づいて、最適とされる評価が得られた仮想姿勢を、投影部１１１若しくは撮像部１１２、またはその両方の姿勢として設定する。ステップＳ３２８の処理が終了すると、姿勢推定処理が終了し、処理は図１６に戻る。
　このようにすることにより、対応点間距離に基づく方法で十分な精度の姿勢推定が可能な場合に、比較的負荷の軽い対応点間距離に基づく方法を選択し、対応点間距離に基づく方法では十分な精度が得られない場合に、比較的精度の高い画像の類似度に基づく方法を選択することができる。したがって、より多様な画像に対してより正確な姿勢推定を行うことができる。つまり、姿勢推定の投影画像に対するロバスト性を向上させることができる。
　なお、本技術を適用した姿勢推定の方法である画像の類似度に基づく方法と併用する姿勢推定の方法は任意であり、上述した対応点間距離に基づく方法以外であってもよい。
　＜４．第３の実施の形態＞
　　＜投影撮像システム、投影撮像装置の他の構成例＞
　なお、本技術を適用した投影撮像システムの構成例は、上述した例に限定されない。例えば図２２のＡに示される投影撮像システム４００のように、制御装置１０１並びに各投影撮像装置１０２がネットワーク４０１を介して互いに接続されるようにしてもよい。
　ネットワーク４０１は、任意の通信網である。ネットワーク４０１において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク４０１は、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク４０１に含まれるようにしてもよい。
　制御装置１０１並びに各投影撮像装置１０２は、このネットワーク４０１に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。なお、各装置の数、筐体の形状や大きさ、配置位置等は任意である。
　制御装置１０１並びに各投影撮像装置１０２は、ネットワーク４０１を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、制御装置１０１並びに各投影撮像装置１０２は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。
　このような構成の投影撮像システム４００の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
　また、例えば図２２のＢに示される投影撮像システム４１０のように、投影部１１１と撮像部１１２とが互いに異なる装置として構成されるようにしてもよい。投影撮像システム４１０は、投影撮像装置１０２の代わりに、投影装置４１１－１乃至投影装置４１１－Ｎ（Ｎは任意の自然数）、並びに、撮像装置４１２－１乃至撮像装置４１２－Ｍ（Ｍは任意の自然数）を有する。投影装置４１１－１乃至投影装置４１１－Ｎは、それぞれ、投影部１１１（投影部１１１－１乃至投影部１１１－Ｎ）を有し、画像の投影を行う。撮像装置４１２－１乃至撮像装置４１２－Ｍは、それぞれ、撮像部１１２（撮像部１１２－１乃至撮像部１１２－Ｍ）を有し、投影面（投影部１１１が投影した投影画像）の撮像を行う。
　投影装置４１１－１乃至投影装置４１１－Ｎを互いに区別して説明する必要が無い場合、投影装置４１１と称する。撮像装置４１２－１乃至撮像装置４１２－Ｍを互いに区別して説明する必要が無い場合、撮像装置４１２と称する。
　各投影装置４１１並びに各撮像装置４１２は、それぞれ制御装置１０１と通信可能に接続されており、有線通信または無線通信またはその両方により制御装置１０１と通信を行う（情報を授受する）ことができる。なお、各投影装置４１１並びに各撮像装置４１２が、制御装置１０１を介して、他の投影装置４１１若しくは他の撮像装置４１２またはその両方と通信を行うことができるようにしてもよい。
　また、各装置の数、筐体の形状や大きさ、配置位置等は任意である。また、図２２のＡの例のように、各装置が、ネットワーク４０１等のような他の設備（装置や伝送路）を介して互いに通信可能に接続されるようにしてもよい。
　このような構成の投影撮像システム４１０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
　また、例えば図２３のＡに示される投影撮像システム４２０のように、制御装置１０１を省略するようにしてもよい。図２３のＡに示されるように、投影撮像システム４２０は、投影撮像装置４２１－１乃至投影撮像装置４２１－Ｎ（Ｎは任意の自然数）を有する。投影撮像装置４２１－１乃至投影撮像装置４２１－Ｎを互いに区別して説明する必要が無い場合、投影撮像装置４２１と称する。各投影撮像装置４２１は、通信ケーブル４２２を介して互いに通信可能に接続されている。なお、各投影撮像装置４２１が無線通信によって互いに通信可能に接続されるようにしてもよい。
　投影撮像装置４２１－１乃至投影撮像装置４２１－Ｎは、それぞれ、制御部４２３－１乃至制御部４２３－Ｎを有する。制御部４２３－１乃至制御部４２３－Ｎを互いに区別して説明する必要が無い場合、制御部４２３と称する。制御部４２３は、制御装置１０１と同様の機能を有し、同様の処理を行うことができる。
　つまり、この投影撮像システム４２０の場合、上述した制御装置１０１において行われる処理が、投影撮像装置４２１（の制御部４２３）において実行される。なお、いずれかの投影撮像装置４２１（の制御部４２３）が、制御装置１０１において行われる処理の全てを実行するようにしてもよいし、複数の投影撮像装置４２１（の制御部４２３）が、情報を授受し合う等して協働して処理を実行するようにしてもよい。
　このような構成の投影撮像システム４２０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
　また、例えば図２３のＢに示されるように、投影撮像システム１００が１つの装置として構成されるようにしてもよい。図２３のＢに示される投影撮像装置４３０は、投影部１１１（投影部１１１－１乃至投影部１１１－Ｎ（Ｎは任意の自然数））、撮像部１１２（撮像部１１２－１乃至撮像部１１２－Ｍ（Ｍは任意の自然数））、並びに、制御部４２３を有する。
　投影撮像装置４３０において、制御部４２３は、上述した制御装置１０１において行われる処理を実行することにより、各投影部１１１並びに各撮像部１１２を制御して姿勢推定等を行う。
　したがって、このような構成の投影撮像装置４３０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
　＜５．その他＞
　　＜本技術の適用例＞
　上述した実施形態に係るシステムや装置は、任意のシステムや電子機器に応用され得る。また、本技術は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野の画像処理システムや画像処理装置に適用することができる。
　例えば、本技術は、鑑賞の用に供される画像を投影・撮像するシステムにも適用することができる。また、例えば、本技術は、交通の用に供されるシステムにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムや、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステム等にも適用することができる。
　　＜ソフトウェア＞
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　例えば図１１の制御装置１０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１４１により構成される。その場合、例えば、リムーバブルメディア１４１をドライブ１３５に装着することにより、そのリムーバブルメディア１４１に記憶されているこのプログラムを読み出させ、記憶部１３３にインストールさせることができる。
　また例えば図１３の投影撮像装置１０２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア２２１により構成される。その場合、例えば、リムーバブルメディア２２１をドライブ２１５に装着することにより、そのリムーバブルメディア２２１に記憶されているこのプログラムを読み出させ、記憶部２１３にインストールさせることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図１１の制御装置１０１の場合、プログラムは、通信部１３４で受信し、記憶部１３３にインストールすることができる。また、例えば図１３の投影撮像装置１０２の場合、プログラムは、通信部２１４で受信し、記憶部２１３にインストールすることができる。
　その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図１１の制御装置１０１の場合、プログラムは、記憶部１３３やROM１２２等に予めインストールしておくこともできる。また、例えば図１３の投影撮像装置１０２の場合、プログラムは、記憶部２１３や制御部２０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、上述した各ステップの処理は、上述した各装置、または、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、装置やシステムとして実施するだけでなく、装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価する類似度評価部と、
　前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する姿勢設定部と
　を備える画像処理装置。
　（２）　前記姿勢設定部は、前記類似度評価部により前記類似度が最適となると評価された前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
　（１）に記載の画像処理装置。
　（３）　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の絶対値の差の総和を、前記類似度を示す評価値として求め、
　前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
　（１）または（２）に記載の画像処理装置。
　（４）　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の差の２乗の総和を、前記類似度を示す評価値として求め、
　前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、正規化相互相関を、前記類似度を示す評価値として求め、
　前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
　（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、ゼロ平均正規化相互相関を、前記類似度を示す評価値として求め、
　前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
　（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記類似度評価部は、前記投影部若しくは前記撮像部、またはその両方の仮想の姿勢を設定し、前記仮想の姿勢において得られる前記シミュレーション画像を生成し、前記撮像画像と前記シミュレーション画像との類似度を評価する
　（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記類似度評価部は、前記シミュレーション画像を、輝度値または所定の色成分で生成する
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記類似度評価部は、前記撮像画像の縮小画像と前記シミュレーション画像との類似度を評価する
　（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記類似度評価部は、前記撮像画像の、処理対象とする所定の範囲の部分画像について、前記シミュレーション画像との類似度を評価する
　（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記類似度評価部は、前記類似度の評価を複数回繰り返す
　（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記類似度評価部は、前記撮像画像の解像度、または、前記撮像画像内の処理対象とする部分画像の範囲を可変として各回の前記類似度の評価を行う
　（１）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）　前記撮像画像と前記シミュレーション画像との間で対応点を求め、前記撮像画像と前記シミュレーション画像との間の前記対応点の距離を評価する対応点距離評価部をさらに備える
　（１）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）　前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との両方を行い、
　前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果と、前記類似度評価部による前記類似度の評価結果との両方に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
　（１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との内のいずれか一方を行い、
　前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果、または、前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
　（１）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）　前記類似度評価部は、複数の投影部と複数の撮像部とのそれぞれの間で、前記撮像画像と前記シミュレーション画像との類似度を評価し、
　前記姿勢設定部は、前記類似度評価部による各投影部と各撮像部との間の前記類似度の評価結果に基づいて、前記複数の投影部若しくは前記複数の撮像部、またはその両方の姿勢を推定結果として設定する
　（１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記姿勢設定部により設定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備える
　（１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　投影画像を投影する投影部をさらに備える
　（１）乃至（１７）のいずれかに記載の画像処理装置。
　（１９）　投影画像を撮像して撮像画像を得る撮像部をさらに備える
　（１）乃至（１８）のいずれかに記載の画像処理装置。
　（２０）　投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価し、
　前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を設定する
　画像処理方法。
　１００　投影撮像システム，　１０１　制御装置，　１０２　投影撮像装置，　１１１　投影部，　１１２　撮像部，　１５１　投影処理部，　１５２　投影制御部，　１５３　撮像制御部，　１５４　姿勢推定部，　１５５　設定部，　１６１　類似度評価部，　１６２　姿勢設定部，　１７１　仮想姿勢設定部，　１７２　シミュレーション画像生成部，　１７３　画像類似度評価部，　２０１　制御部，　３０１　対応点距離評価部，　４００　投影撮像システム，　４０１　ネットワーク，　４１０　投影撮像システム，　４１１　投影装置，　４１２　撮像装置，　４２０　投影撮像システム，　４２１　投影撮像装置，　４２３　制御部，　４３０　投影撮像装置

Claims (20)

  1. 　投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価する類似度評価部と、
    　前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する姿勢設定部と
    　を備える画像処理装置。
  2. 　前記姿勢設定部は、前記類似度評価部により前記類似度が最適となると評価された前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
    　請求項１に記載の画像処理装置。
  3. 　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の絶対値の差の総和を、前記類似度を示す評価値として求め、
    　前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
    　請求項２に記載の画像処理装置。
  4. 　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の差の２乗の総和を、前記類似度を示す評価値として求め、
    　前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
    　請求項２に記載の画像処理装置。
  5. 　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、正規化相互相関を、前記類似度を示す評価値として求め、
    　前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
    　請求項２に記載の画像処理装置。
  6. 　前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、ゼロ平均正規化相互相関を、前記類似度を示す評価値として求め、
    　前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
    　請求項２に記載の画像処理装置。
  7. 　前記類似度評価部は、前記投影部若しくは前記撮像部、またはその両方の仮想の姿勢を設定し、前記仮想の姿勢において得られる前記シミュレーション画像を生成し、前記撮像画像と前記シミュレーション画像との類似度を評価する
    　請求項１に記載の画像処理装置。
  8. 　前記類似度評価部は、前記シミュレーション画像を、輝度値または所定の色成分で生成する
    　請求項７に記載の画像処理装置。
  9. 　前記類似度評価部は、前記撮像画像の縮小画像と前記シミュレーション画像との類似度を評価する
    　請求項１に記載の画像処理装置。
  10. 　前記類似度評価部は、前記撮像画像の、処理対象とする所定の範囲の部分画像について、前記シミュレーション画像との類似度を評価する
    　請求項１に記載の画像処理装置。
  11. 　前記類似度評価部は、前記類似度の評価を複数回繰り返す
    　請求項１に記載の画像処理装置。
  12. 　前記類似度評価部は、前記撮像画像の解像度、または、前記撮像画像内の処理対象とする部分画像の範囲を可変として各回の前記類似度の評価を行う
    　請求項１１に記載の画像処理装置。
  13. 　前記撮像画像と前記シミュレーション画像との間で対応点を求め、前記撮像画像と前記シミュレーション画像との間の前記対応点の距離を評価する対応点距離評価部をさらに備える
    　請求項１に記載の画像処理装置。
  14. 　前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との両方を行い、
    　前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果と、前記類似度評価部による前記類似度の評価結果との両方に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
    　請求項１３に記載の画像処理装置。
  15. 　前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との内のいずれか一方を行い、
    　前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果、または、前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
    　請求項１３に記載の画像処理装置。
  16. 　前記類似度評価部は、複数の投影部と複数の撮像部とのそれぞれの間で、前記撮像画像と前記シミュレーション画像との類似度を評価し、
    　前記姿勢設定部は、前記類似度評価部による各投影部と各撮像部との間の前記類似度の評価結果に基づいて、前記複数の投影部若しくは前記複数の撮像部、またはその両方の姿勢を推定結果として設定する
    　請求項１に記載の画像処理装置。
  17. 　前記姿勢設定部により設定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備える
    　請求項１に記載の画像処理装置。
  18. 　投影画像を投影する投影部をさらに備える
    　請求項１に記載の画像処理装置。
  19. 　投影画像を撮像して撮像画像を得る撮像部をさらに備える
    　請求項１に記載の画像処理装置。
  20. 　投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価し、
    　前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を設定する
    　画像処理方法。
PCT/JP2017/009671 2016-03-24 2017-03-10 画像処理装置および方法 WO2017163928A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780017817.1A CN108781267B (zh) 2016-03-24 2017-03-10 图像处理设备和方法
JP2018507216A JP6891873B2 (ja) 2016-03-24 2017-03-10 画像処理装置および方法
US16/085,707 US10872434B2 (en) 2016-03-24 2017-03-10 Image processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-059980 2016-03-24
JP2016059980 2016-03-24

Publications (1)

Publication Number Publication Date
WO2017163928A1 true WO2017163928A1 (ja) 2017-09-28

Family

ID=59900157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/009671 WO2017163928A1 (ja) 2016-03-24 2017-03-10 画像処理装置および方法

Country Status (4)

Country Link
US (1) US10872434B2 (ja)
JP (1) JP6891873B2 (ja)
CN (1) CN108781267B (ja)
WO (1) WO2017163928A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107734271A (zh) * 2017-10-16 2018-02-23 深圳市未来媒体技术研究院 高动态范围十亿像素视频生成方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540562B1 (en) * 2016-12-14 2020-01-21 Revenue Management Solutions, Llc System and method for dynamic thresholding for multiple result image cross correlation
WO2018173797A1 (ja) * 2017-03-23 2018-09-27 ソニー株式会社 プロジェクタ、投影方法、画像処理システム、および方法
JP2019154002A (ja) * 2018-03-06 2019-09-12 キヤノン株式会社 制御装置およびその制御方法、投写装置および投写システム
CN109459873A (zh) * 2018-11-12 2019-03-12 广州小鹏汽车科技有限公司 一种测试方法、装置、自动测试系统及存储介质
CN109615187B (zh) * 2018-11-20 2023-06-02 创新先进技术有限公司 一种od矩阵的评估方法、公交负载模拟方法及装置
CN111010556B (zh) * 2019-12-27 2022-02-11 成都极米科技股份有限公司 投影双向热失焦补偿的方法、装置及可读存储介质
CN112991179B (zh) * 2021-03-25 2023-06-27 北京百度网讯科技有限公司 用于输出信息的方法、装置、设备以及存储介质
JP2022185342A (ja) * 2021-06-02 2022-12-14 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法
CN113705455B (zh) * 2021-08-30 2024-03-19 平安银行股份有限公司 身份核查方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128337A1 (en) * 2001-12-07 2003-07-10 Jaynes Christopher O. Dynamic shadow removal from front projection displays
JP2016014720A (ja) * 2014-07-01 2016-01-28 ソニー株式会社 情報処理装置および方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8066384B2 (en) * 2004-08-18 2011-11-29 Klip Collective, Inc. Image projection kit and method and system of distributing image content for use with the same
JP3925521B2 (ja) * 2004-08-19 2007-06-06 セイコーエプソン株式会社 スクリーンの一部の辺を用いたキーストーン補正
DE102005037841B4 (de) * 2005-08-04 2010-08-12 Gesellschaft zur Förderung angewandter Informatik e.V. Verfahren und Anordnung zur Bestimmung der relativen Lage eines ersten Objektes bezüglich eines zweiten Objektes, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
JP4148281B2 (ja) * 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
US20080007700A1 (en) * 2006-07-10 2008-01-10 Vanbaar Jeroen Method and system for aligning an array of rear-projectors
US8315356B2 (en) * 2010-09-17 2012-11-20 Accuray Incorporated Image alignment
JP5924862B2 (ja) * 2010-12-15 2016-05-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6228469B2 (ja) * 2014-01-20 2017-11-08 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128337A1 (en) * 2001-12-07 2003-07-10 Jaynes Christopher O. Dynamic shadow removal from front projection displays
JP2016014720A (ja) * 2014-07-01 2016-01-28 ソニー株式会社 情報処理装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ASHDOWN, M. ET AL.: "Steerable Projector Calibration", PROCEEDINGS OF IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION - WORKSHOPS 2005 (CVPR WORKSHOPS 2005, vol. 3, 3 January 2006 (2006-01-03), XP055423752, ISSN: 1063-6919 *
JOHNSON, T. ET AL.: "A Distributed Cooperative Framework for Continuous Multi-Projector Pose Estimation", PROCEEDINGS OF IEEE VIRTUAL REALITY CONFERENCE, 7 April 2009 (2009-04-07), pages 35 - 42, XP031465446, ISBN: 978-1-4244-3943-0 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107734271A (zh) * 2017-10-16 2018-02-23 深圳市未来媒体技术研究院 高动态范围十亿像素视频生成方法
CN107734271B (zh) * 2017-10-16 2019-09-06 深圳市未来媒体技术研究院 高动态范围十亿像素视频生成方法

Also Published As

Publication number Publication date
JPWO2017163928A1 (ja) 2019-01-31
CN108781267A (zh) 2018-11-09
US20190122383A1 (en) 2019-04-25
CN108781267B (zh) 2021-02-09
US10872434B2 (en) 2020-12-22
JP6891873B2 (ja) 2021-06-18

Similar Documents

Publication Publication Date Title
WO2017163928A1 (ja) 画像処理装置および方法
US9686539B1 (en) Camera pair calibration using non-standard calibration objects
WO2014083721A1 (ja) 情報処理装置および情報処理方法
CN108702477B (zh) 图像处理装置和方法
WO2017006780A1 (ja) 情報処理装置および方法、並びにプログラム
JP2011192228A (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
CN108810423B (zh) 一种基于图像亮度梯度的光照角度调节方法及系统
US20200389573A1 (en) Image processing system, image processing method and storage medium
KR20110089825A (ko) 촬영 장치, 컴퓨터 판독 가능한 기록 매체, 및 제어 방법
RU2603357C2 (ru) Устройство обработки изображений и способ управления устройством обработки изображений
WO2017169723A1 (ja) 画像処理装置および方法
JP2014016965A (ja) 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置
JP2015200937A (ja) 画像処理装置及びシステム、画像処理方法、並びにプログラム
US20110085026A1 (en) Detection method and detection system of moving object
US11348271B2 (en) Image processing device and three-dimensional measuring system
JP7243623B2 (ja) 画像処理装置および方法
JP2019106173A (ja) 画像処理方法、画像処理装置およびプログラム
JP7040511B2 (ja) 情報処理装置および方法
JP7451465B2 (ja) 学習方法、プログラム及び画像処理装置
US20230188691A1 (en) Active dual pixel stereo system for depth extraction
EP3883236A1 (en) Information processing apparatus, imaging apparatus, method, and storage medium
CN102667853B (zh) 用于二进制传感器的滤光片设置学习
JP2020191546A (ja) 画像処理装置、画像処理方法、およびプログラム
US11651504B2 (en) Learning method, storage medium and image processing device
US20240071041A1 (en) Apparatus and method for mapping raw images between different camera sensors under arbitrary illuminations

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018507216

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17769972

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17769972

Country of ref document: EP

Kind code of ref document: A1