WO2013145554A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2013145554A1
WO2013145554A1 PCT/JP2013/001216 JP2013001216W WO2013145554A1 WO 2013145554 A1 WO2013145554 A1 WO 2013145554A1 JP 2013001216 W JP2013001216 W JP 2013001216W WO 2013145554 A1 WO2013145554 A1 WO 2013145554A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
reliability
image processing
processing apparatus
value
Prior art date
Application number
PCT/JP2013/001216
Other languages
English (en)
French (fr)
Inventor
カン グエン
物部　祐亮
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/115,647 priority Critical patent/US9495806B2/en
Priority to JP2013528428A priority patent/JP6115781B2/ja
Publication of WO2013145554A1 publication Critical patent/WO2013145554A1/ja

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for correcting a depth value.
  • DIBR Depth Image Based Rendering
  • Patent Document 1 As a conventional technique for correcting a depth value, there is a technique for correcting a depth value by using a relationship between a pixel value of a target pixel and a pixel value of a peripheral pixel (see, for example, Patent Document 1).
  • the device described in Patent Document 1 calculates a weight of a peripheral depth value using a pixel value (color, luminance, or color difference) of an input image, and corrects the depth value using the weight.
  • the apparatus corrects the depth value of the pixel by regarding the pixels having similar pixel values as the same subject.
  • an image processing apparatus is an image processing apparatus that corrects a plurality of depth values indicating the depths of a plurality of pixels included in an input image.
  • a feature calculation unit that calculates the feature amount of each of the pixels
  • a reliability acquisition unit that acquires the reliability of each of the plurality of depth values
  • the plurality of the plurality of reliability values using the plurality of reliability and the plurality of feature amounts.
  • a depth correction unit that corrects the depth value.
  • FIG. 9 is a block diagram illustrating a configuration of the depth correction unit according to the first embodiment.
  • FIG. 10A is a diagram showing a relationship between a feature amount difference and a weight according to the first embodiment.
  • FIG. 10B is a diagram showing a relationship between the error amount and the weight according to the first embodiment.
  • FIG. 10C is a diagram showing a relationship between the distance and the weight according to Embodiment 1.
  • FIG. 11 is a diagram illustrating an example of output depth information according to the first embodiment.
  • FIG. 12 is a flowchart of the image processing method according to the first embodiment.
  • FIG. 13 is a block diagram illustrating a configuration of the image processing apparatus according to the second embodiment.
  • FIG. 14 is a diagram illustrating a relationship between the minimum cost value and the reliability according to the second embodiment.
  • FIG. 15 is a flowchart of the image processing method according to the second embodiment.
  • FIG. 16 is a diagram illustrating a relationship between the minimum cost value and the reliability according to the second embodiment.
  • FIG. 17 is a diagram illustrating the relationship between the luminance and the threshold according to the second embodiment.
  • FIG. 18 is a block diagram illustrating a configuration of the image processing apparatus according to the third embodiment.
  • FIG. 19 is a diagram illustrating the relationship between the difference between blocks and the reliability according to the third embodiment.
  • FIG. 20 is a flowchart of the image processing method according to the third embodiment.
  • Patent Document 1 considers subjects with different colors as the same subject, and may use an incorrect peripheral depth value when correcting the depth value. As a result, the inventor has found that the accuracy of the corrected depth value is reduced.
  • a natural image contains many parts with different colors in the same subject.
  • the conventional apparatus determines that the portions with different colors are different subjects despite the same subject.
  • the peripheral depth value is correct
  • the depth value is not used for correction, and thus the depth value of the target pixel is not corrected.
  • the present inventor has found that the conventional process cannot correct the depth value correctly, and the accuracy of the depth value is not improved.
  • an image processing apparatus is an image processing apparatus that corrects a plurality of depth values indicating depths of a plurality of pixels included in an input image, and Using the feature calculation unit that calculates the feature amount of each of the plurality of pixels, the reliability acquisition unit that acquires the reliability of each of the plurality of depth values, and the plurality of reliability and the plurality of feature amounts A depth correction unit that corrects the plurality of depth values.
  • the image processing apparatus can determine the correctness of the depth value of the pixel to be processed and the depth value of the surrounding image by using the reliability.
  • the depth value of the pixels can be corrected.
  • pixels having the same characteristics are likely to have the same subject, that is, the same depth value. Therefore, the image processing apparatus can determine, for example, peripheral pixels included in the same subject as the pixel to be processed using the feature amount of the pixel. Thereby, the image processing apparatus can improve the accuracy of the depth value.
  • the image processing apparatus can correct the depth value of the target pixel using the depth value with high reliability. Furthermore, the image processing apparatus can determine peripheral pixels included in the same subject as the target pixel. Thereby, the image processing apparatus can improve the accuracy of the depth value.
  • the image processing apparatus calculates the weight based on the reliability of the reference pixel. That is, since the weight varies depending on the degree of correctness of the depth value of the reference pixel, the depth value correction accuracy is improved. Further, the image processing apparatus calculates a weight based on the feature amount of the pixel. As a result, the image processing apparatus can use the depth value of a pixel having characteristics similar to that of the processing pixel, for example, so that the accuracy of the depth value can be improved.
  • the weight calculation unit calculates a difference between the feature amount of the target pixel and each of the feature amounts of the plurality of reference pixels, and the weight of the corresponding reference pixel is decreased as the difference is larger. Also good.
  • the depth value of the reference pixel whose feature is closer to that of the target pixel is increased in weight. Therefore, since the image processing apparatus can use many depth values of pixels having similar characteristics, the accuracy of the depth value of the target pixel can be improved.
  • the feature amount may include the edge strength in each pixel.
  • the image processing apparatus can calculate the feature amount of the target pixel and the reference pixel.
  • an edge is detected at the boundary between subjects.
  • the depth value is likely to be different for different subjects. Therefore, the image processing apparatus can determine the reference pixel included in the same subject as the target pixel by using the amount of the edge, and can use the depth value of the reference pixel. Thus, the image processing apparatus can improve the accuracy of the depth value.
  • the feature amount may include an edge direction in each pixel.
  • the image processing apparatus can correct the depth value using the direction of the edge of the pixel. Thereby, the image processing apparatus can improve the accuracy of the depth value.
  • the weight calculation unit may increase the weight of the reference pixel as the reliability of the reference pixel increases.
  • the image processing apparatus can reduce the influence of pixels including errors by reducing the weight for the depth value with low reliability. Further, the image processing apparatus can improve the accuracy of the corrected depth value by increasing the weight for the depth value with high reliability.
  • the weight calculation unit may decrease the weight of the reference pixel as the distance between the target pixel and the reference pixel increases.
  • a pixel farther away from the target pixel is more likely to be included in a subject different from the target pixel. That is, the pixel farther away from the target pixel is more likely to have a different depth value from the target pixel. Therefore, the image processing apparatus can reduce the influence of the depth value of a different subject by reducing the weight of the depth value of the pixel far from the target pixel.
  • the image processing apparatus may further include a depth estimation unit that estimates the plurality of depth values using a plurality of images including the input image.
  • the image processing apparatus can estimate the depth value from a plurality of images.
  • the depth estimation unit may calculate, for each of the plurality of pixels, the degree of coincidence between the blur amount of the pixel to be processed and a plurality of predetermined blur amounts corresponding to a plurality of predetermined depths.
  • a cost value to be calculated is calculated for each depth, a depth corresponding to a selection cost value having the highest degree of matching among the calculated cost values is estimated as a depth value of the pixel to be processed, and
  • the reliability acquisition unit may calculate the reliability using the selected cost value.
  • the reliability acquisition unit may increase the reliability as the coincidence of the selection cost values is higher.
  • the image processing apparatus can calculate the reliability of the depth value with high accuracy.
  • the reliability acquisition unit may further change the threshold according to the luminance value of the pixel to be processed.
  • the image processing apparatus can reduce the influence of the fluctuation of the cost value according to the luminance value, for example, by changing the threshold value according to the luminance value.
  • the reliability acquisition unit may increase the threshold as the luminance value increases.
  • the image processing apparatus can reduce the influence of the fluctuation of the cost value according to the luminance value.
  • the image processing apparatus can improve the accuracy of the depth value estimation by matching the positional deviations of the subjects of the plurality of input images. Further, the image processing apparatus can improve the accuracy of reliability by using the information generated at the time of the alignment.
  • the alignment unit may include a target block included in a target image that is one of the plurality of images and a plurality of blocks included in an image different from the target image included in the plurality of images.
  • the block corresponding to the smallest difference among the plurality of calculated differences is determined as the corresponding block corresponding to the target block, and the reliability acquisition unit includes the target block and the corresponding block. The reliability may be increased as the difference is smaller.
  • the image processing apparatus can improve the accuracy of reliability.
  • the image processing apparatus corrects the input depth information based on the feature amount of the input image and the reliability of the input depth information. Thereby, the image processing apparatus can improve the accuracy of the depth value.
  • the image processing apparatus 100 shown in FIG. 1 generates the output depth information 122 by correcting the input depth information 121.
  • the input depth information 121 includes a plurality of depth values indicating the depths of the plurality of pixels included in the input image 123.
  • the image processing apparatus 100 includes a feature calculation unit 101, a reliability acquisition unit 102, and a depth correction unit 103.
  • the feature calculation unit 101 calculates a feature amount 125 of each of a plurality of pixels included in the input image 123.
  • the reliability acquisition unit 102 acquires reliability information 124.
  • the reliability information 124 is information indicating the reliability of each of a plurality of depth values included in the input depth information 121.
  • the reliability is information indicating the likelihood of the corresponding depth value.
  • the reliability indicates, for example, the degree of correctness of the depth value, or whether the depth value is correct.
  • the depth correction unit 103 generates the output depth information 122 by correcting the input depth information 121 using the reliability information 124 and the plurality of feature amounts 125.
  • FIG. 2 is a flowchart showing a flow of basic operations performed by the image processing apparatus 100 according to the present embodiment.
  • the feature calculation unit 101 calculates a feature value 125 of each of a plurality of pixels included in the input image 123 (S101).
  • the reliability acquisition unit 102 acquires the reliability information 124 (S102).
  • the depth correcting unit 103 generates the output depth information 122 by correcting the input depth information 121 using the reliability information 124 and the plurality of feature amounts 125 (S103). Specifically, the depth correction unit 103 corrects the depth value of the target pixel using the depth value of the reference pixel included in the input image 123.
  • the reference pixel is a pixel around the target pixel, for example.
  • the depth correction unit 103 has a feature amount in a depth value with high reliability among a plurality of depth values of a plurality of reference pixels included in the input image 123 and a depth value of a target pixel to be processed.
  • the depth value of the target pixel is corrected using the depth value of the near reference pixel with priority.
  • the image processing apparatus 100 corrects the input depth information 121 based on the feature amount of the input image 123 and the reliability of the input depth information 121.
  • the image processing apparatus 100 can determine the correctness of the depth value of the target pixel and the depth value of the peripheral image using the reliability, for example. Therefore, the depth value of the target pixel can be determined using the correct peripheral depth value. Can be corrected.
  • pixels having the same characteristics are likely to have the same subject, that is, the same depth value. Therefore, the image processing apparatus 100 can determine peripheral pixels included in the same subject as the target pixel using the pixel feature amount. Thereby, the image processing apparatus 100 can improve the accuracy of the depth value.
  • FIG. 3 is a block diagram showing a functional configuration of the image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 includes a feature calculation unit 101, an error detection unit 102 ⁇ / b> A, and a depth correction unit 103.
  • FIG. 4 is a diagram illustrating an example of the input image 123 that is an original image.
  • the error detection unit 102A corresponds to the reliability acquisition unit 102 illustrated in FIG. 1 and has a function of calculating the error amount 126 of the input depth information 121 based on the reliability information 124 in addition to the function of the reliability acquisition unit 102. .
  • the error detection unit 102A converts the reliability into the error amount 126, and the subsequent processing is performed using the error amount 126. As shown in FIG. Instead, the reliability may be used as it is in the subsequent processing.
  • the pixel estimated to be in the near side is displayed in white, and the pixel estimated to be in the back is displayed in black. From FIG. 5, it can be seen that many errors occur in the input depth information 121.
  • the cause is due to the shooting conditions and the low accuracy of image matching at the time of depth estimation.
  • the cause of the error that has occurred in the input depth information 121 is not limited, and input depth information 121 that includes an error that has occurred due to any cause is assumed.
  • FIG. 6 is a diagram illustrating a reliability image that is an example of the reliability information 124.
  • the reliability information 124 is an image indicating the accuracy of the depth value obtained when depth estimation is performed on the input image 123 illustrated in FIG. 4. That is, the reliability information 124 indicates how correct the estimated depth value is for each pixel or region included in the input image 123.
  • the reliability information 124 may be obtained at the time of depth estimation as described above, may be calculated under other conditions, and may be generated by any method. .
  • the error detection unit 102A calculates a plurality of error amounts 126 for the input depth information 121 based on the reliability information 124. Each error amount 126 corresponds to each depth value included in the input depth information 121.
  • FIG. 7 is a diagram showing the relationship between the reliability indicated by the reliability information 124 and the error amount 126. As illustrated in FIG. 7, for example, the error detection unit 102A reduces the error amount as the reliability increases. Thus, the error detection unit 102A can estimate the error amount 126 indicating the amount of error (incorrect degree) of each depth value included in the input depth information 121.
  • the error detection unit 102A uses the conversion shown in FIG. 7 when converting the reliability into the error amount.
  • the conversion is not limited to this conversion, and the error amount increases as the reliability increases. Any method can be used as long as the conversion is small.
  • the feature calculation unit 101 includes an image conversion unit 111 and a feature extraction unit 112.
  • the image conversion unit 111 converts the input image 123 shown in FIG. 4 into a feature image using information on each pixel value included in the input image 123.
  • the image conversion unit 111 generates the edge image 127 by performing edge detection processing on the input image 123, for example.
  • FIG. 8 is a diagram illustrating an example of the edge image 127.
  • an edge is often detected around the contour of a subject. Therefore, there is a high possibility that different subjects exist around the edge. That is, there is a high possibility that the depth values are different around the edge. Therefore, when the depth value of the target pixel is simply corrected using the peripheral depth value, the depth value of the target pixel may be corrected using the depth value of a different subject. In this case, the depth value cannot be corrected correctly. Therefore, the image processing apparatus 100 according to the present embodiment corrects the depth value using the feature of the edge of the image.
  • the feature extraction unit 112 calculates a plurality of feature amounts 125 using the edge image 127. That is, the feature extraction unit 112 extracts the edge strength of each pixel indicated by the edge image 127 as the feature amount 125. That is, in the present embodiment, the feature value 125 is the strength of the edge in each pixel. Note that the feature extraction unit 112 may calculate the final feature value 125 by performing a predetermined calculation on the feature value obtained from the edge strength. For example, the feature extraction unit 112 may calculate the feature value 125 using information on the color, luminance, or color difference of the pixel in addition to the edge strength. The feature extraction unit 112 may calculate the feature amount 125 using the spatial frequency or contrast of the input image 123.
  • the depth correction unit 103 corrects the error of the input depth information 121 based on the plurality of error amounts 126 and the plurality of feature amounts 125.
  • FIG. 9 is a block diagram showing a functional configuration of the depth correction unit 103.
  • the depth correction unit 103 includes a weight calculation unit 113 and a depth synthesis unit 114.
  • the depth correcting unit 103 corrects the depth value of the target pixel using the depth values of the peripheral pixels of the target pixel.
  • the depth correcting unit 103 calculates a weight 128 indicating how much the depth value of the peripheral pixel is reflected in the depth value of the target pixel, and corrects the depth value of the target pixel using the weight 128.
  • a weight 128 indicating how much the depth value of the peripheral pixel is reflected in the depth value of the target pixel, and corrects the depth value of the target pixel using the weight 128.
  • the weight calculation unit 113 sets the depth value to the depth value for each peripheral pixel. Multiplying weight 128 is calculated. Further, the weight calculation unit 113 calculates the weight of each reference pixel using the feature amount 125 and the reliability of each of the plurality of reference pixels including the target pixel.
  • the weight calculation unit 113 calculates the difference between the feature value 125 of the target pixel and the feature value 125 of the surrounding pixels. That is, this difference in feature amount is, for example, a difference in edge strength.
  • this difference in feature amount is, for example, a difference in edge strength.
  • the weight calculation unit 113 calculates the absolute value of this difference.
  • the weight calculation unit 113 calculates the weight 128 using the calculated feature amount difference.
  • FIG. 10A is a diagram showing the relationship between the difference in feature amount and the weight 128.
  • the weight 128 increases as the feature amount difference decreases.
  • the weight calculation unit 113 performs the conversion as shown in FIG. 10A, but the conversion method is not limited. The weight calculation unit 113 may use any other conversion method as long as the conversion is such that the weight is increased as the difference between the feature amounts is smaller.
  • the depth correction unit 103 uses the depth value of the peripheral pixel to correct the depth value of the target pixel, but the depth value of the peripheral pixel may be incorrect.
  • the depth correcting unit 103 uses the error amount 126 so as not to correct with an incorrect depth value. If the amount of error is large, there is a high possibility that the depth value is incorrect. Therefore, the weight calculation unit 113 lowers the depth value weight 128 having a large error amount.
  • FIG. 10B is a diagram illustrating the relationship between the error amount 126 and the weight 128. As shown in FIG. 10B, the weight calculation unit 113 decreases the weight 128 as the error amount 126 increases. That is, the weight calculation unit 113 increases the weight 128 as the reliability increases.
  • FIG. 10C is a diagram illustrating the relationship between the distance between the target pixel and the surrounding pixels and the weight 128.
  • the weight calculation unit 113 calculates the distance between the target pixel and the surrounding pixels, and decreases the weight as the distance increases.
  • the weight calculation unit 113 may calculate this distance, or the weight calculation unit 113 is calculated in advance by another processing unit.
  • the weight 128 may be calculated using the distance information.
  • the depth synthesis unit 114 corrects the input depth information 121 using the plurality of weights 128 calculated by the weight calculation unit 113. Specifically, the depth synthesis unit 114 generates the depth value of the target pixel after correction by performing weighted averaging of the depth values of the plurality of reference pixels using the calculated plurality of weights 128. That is, the depth value of the surrounding pixels is D (i), the weight calculated from the feature value 125 is Wf (i), the weight calculated from the error amount is We (i), and the weight calculated from the distance is Wd (i ), The output depth value D (0) of the target pixel is calculated by the following equation (1).
  • FIG. 11 is a diagram showing an output depth image which is an example of the output depth information 122 including a plurality of output depth values D (0) calculated by the depth synthesis unit 114 by the above processing.
  • the output depth information 122 shown in FIG. 11 has an error corrected as compared with the input depth information 121 shown in FIG. Further, as shown in FIG. 11, it can be seen that only the depth value in which an error has occurred due to noise or the like is corrected without adversely affecting the depth value of the object.
  • the image conversion unit 111 generates an edge image 127 by extracting an edge of the input image 123 (S111).
  • the feature extraction unit 112 extracts the feature amount 125 of each pixel included in the input image 123 from the edge image 127 (S112).
  • the error detection unit 102A detects the error amount of each pixel using the reliability information 124 (S113).
  • the image processing apparatus 100 selects a target pixel from a plurality of pixels included in the input image 123 (S114).
  • the depth correction unit 103 selects a reference pixel from a plurality of pixels included in the input image 123 (S115).
  • the reference pixel is a pixel around the target pixel.
  • the reference pixel is a pixel adjacent to the target pixel or a pixel located within a predetermined distance from the target pixel.
  • the plurality of reference pixels may be all the pixels included in the input image 123.
  • the plurality of reference pixels may include the target pixel.
  • the weight calculation unit 113 calculates a difference in feature amount between the target pixel and the reference pixel, and calculates a first weight using the calculated difference in feature amount (S116). Specifically, the weight calculation unit 113 decreases the first weight as the feature amount difference increases.
  • the weight calculation unit 113 calculates the second weight using the error amount (reliability) of the reference pixel (S117). Specifically, the weight calculation unit 113 decreases the second weight as the error amount increases (lower reliability).
  • the weight calculation unit 113 calculates the distance between the target pixel and the reference pixel, and calculates the third weight using the calculated distance (S118). Specifically, the weight calculation unit 113 decreases the third weight as the distance increases.
  • processing order of these steps S116 to S118 is in any order, and some or all of the processing may be performed simultaneously.
  • the next reference pixel is selected (S115), and the processes in steps S116 to S118 are performed on the selected reference pixel. That is, by performing the processing in steps S115 to S118 for all the reference pixels, the first to third weights corresponding to each of the plurality of reference pixels are calculated.
  • the depth synthesis unit 114 uses the first to third weights calculated for the plurality of reference pixels, and uses the plurality of reference pixels. To calculate the depth value of the target pixel after correction (S120). In other words, the depth synthesis unit 114 corrects the target pixel by multiplying each of the plurality of reference pixels by the first to third weights corresponding to the reference pixel and adding the calculated plurality of multiplication results. The later depth value is calculated.
  • the depth value of one target pixel is corrected.
  • the next target pixel is selected from the plurality of pixels (S114), and steps S115 to S115 are performed on the selected target pixel.
  • the process of S120 is performed. That is, the depth values of each of the plurality of pixels are corrected by performing the processes in steps S114 to S120 on all the pixels.
  • the image processing apparatus 100 corrects the depth value using all of the first to third weights. However, some weights are used instead of all the weights. May be.
  • the weight calculation unit 113 sets the weight 128 using at least one of the difference between the feature amounts of the target pixel and the surrounding pixels, the error amount of the surrounding pixels, and the distance between the target pixel and the surrounding pixels. You may decide.
  • the image processing apparatus 100 performs depth value correction processing on all pixels, but uses an error amount or the like to determine which pixels to correct and which pixels to not correct. Also good. For example, the image processing apparatus 100 determines a pixel whose error amount is larger than a predetermined threshold among a plurality of pixels, and performs error correction processing only for pixels whose error amount is larger than a predetermined threshold. Also good.
  • the image processing apparatus 100 uses the edge strength as the image feature.
  • the flatness may be used as the image feature.
  • the flatness is opposite to the edge strength. It is meaningful and the flatness decreases as the edge amount increases. In other words, the flatness is also information indicating the strength of the edge.
  • the feature extraction unit 112 may extract the edge direction as the feature of the pixel.
  • the weight calculation unit 113 calculates a difference in edge direction between the target pixel and the reference pixel, and decreases the weight 128 as the difference increases. Thereby, the image processing apparatus 100 can correct the target pixel using the reference pixel having a high degree of similarity to the target pixel.
  • the weight calculation unit 113 may increase (or decrease) the weight 128 in the direction in which the edge direction is determined in advance (or closer to the direction). Thereby, the weight calculation unit 113 can increase the weight of the depth value with higher reliability based on the tendency of the reliability of the depth value according to the characteristics of the camera. Specifically, depending on the characteristics of the camera (for example, the characteristics of the lens), the reliability of the depth value of the pixel having a specific edge direction is different from the other edge direction (for example, an edge orthogonal to the specific edge direction). May have a tendency to be lower than the reliability of the depth value of the pixel having (direction). In such a case, the weight calculation unit 113 decreases the weight 128 in the specific edge direction (or closer to the direction).
  • the image processing apparatus 200 has a function of generating input depth information 121 in addition to the function of the image processing apparatus 100. Further, the image processing apparatus 200 calculates the reliability using the information generated when the input depth information 121 is generated.
  • FIG. 13 is a block diagram showing a functional configuration of the image processing apparatus 200 according to the present embodiment.
  • the image processing apparatus 200 includes a depth estimation unit 215 and a reliability calculation unit 216 in addition to the configuration of the image processing apparatus 100 shown in FIG.
  • symbol is used about the component similar to Embodiment 1, and description is abbreviate
  • the depth estimation unit 215 generates the input depth information 121 by estimating the depth value in each pixel using the input image group 223 including a plurality of input images.
  • the input image group 223 is a plurality of images including the input image 123 shown in FIG.
  • the plurality of images included in the input image group 223 are images in which the same scene (subject) is photographed continuously or simultaneously so that the focal positions (focusing ranges) are different.
  • the depth estimation unit 215 estimates a depth value from a plurality of images.
  • the depth estimation unit 215 uses DFF (Depth From Focus) or DFD (Depth From Defocus).
  • the depth estimation unit 215 estimates, for example, a plurality of cost values Cost (d) of a plurality of assumed depth values d (n) in order to estimate which depth value the pixel to be processed corresponds to. (N)) is calculated.
  • each of the plurality of depth values d (n) corresponds to a predetermined depth. That is, n indicates a stage of an assumed depth value.
  • the cost value Cost (d (n)) indicates the degree of coincidence between the blur amount of the pixel to be processed and a predetermined blur amount corresponding to the depth value d (n). Specifically, the smaller the cost value Cost (d (n)), the higher the matching degree. That is, the depth estimation unit 215 calculates the cost value Cost (d (n)) for each depth value d (n).
  • the depth estimation unit 215 determines the smallest cost value 229 (selected cost value) having the smallest value (highest degree of matching) among the plurality of calculated cost values Cost (d (n)), The depth value d (n) corresponding to the minimum cost value 229 is used as the depth value estimation result. Therefore, it can be said that the smaller the minimum cost value 229, the more accurate the estimation result.
  • the depth estimation unit 215 estimates the depth values of a plurality of pixels corresponding to one screen by performing the above processing for each pixel, and outputs the plurality of depth values as the input depth information 121.
  • the depth estimation unit 215 outputs a plurality of minimum cost values 229 corresponding to one screen.
  • the reliability calculation unit 216 calculates reliability information 124 using a plurality of minimum cost values 229. That is, the reliability calculation unit 216 calculates the reliability of the estimated depth value based on each minimum cost value 229. Specifically, for example, as illustrated in FIG. 14, the reliability calculation unit 216 converts the minimum cost value 229 such that the smaller the minimum cost value 229 (the higher the matching degree), the higher the reliability. Thus, the reliability information 124 is calculated.
  • the reliability calculation unit 216 is included in, for example, the reliability acquisition unit 102 illustrated in FIG.
  • the error detection unit 102A detects the error amount 126 using the reliability information 124 calculated by the reliability calculation unit 216.
  • the error detection unit 102A uses the minimum cost value 229 as it is. Also good.
  • the error detection unit 102A may output the minimum cost value 229 as the error amount 126 as it is.
  • the depth correction unit 103 may calculate the weight 128 using the minimum cost value 229 as it is. That is, the depth correction unit 103 may decrease the weight 128 as the minimum cost value 229 increases.
  • FIG. 15 is a flowchart showing the flow of processing by the image processing apparatus 200 according to the present embodiment.
  • step S201 is added to the process shown in FIG. Further, step S113A is different from step S113.
  • the depth estimation unit 215 After step S112, the depth estimation unit 215 generates the input depth information 121 using the input image group 223 (S201).
  • the reliability calculation unit 216 calculates the reliability using the minimum cost value 229 (selected cost value) calculated in the depth estimation process, and the error detection unit 102A uses the calculated reliability.
  • the error amount 126 is calculated (S113A).
  • the subsequent processing is the same as in the first embodiment.
  • the image processing apparatus 200 can calculate the reliability using the information used in the depth estimation by the depth estimation unit 215 and the reliability calculation unit 216.
  • the reliability calculation unit 216 uses the minimum cost value at the time of depth estimation, and increases the reliability as the minimum cost value is smaller. However, the reliability calculation unit 216 calculates the minimum cost value at the time of depth estimation. Any other method may be used as long as the method is used to calculate the reliability of the depth value.
  • the reliability calculation unit 216 compares the minimum cost value 229 with the threshold value M_th, and when the minimum cost value 229 is larger than the threshold value M_th as shown in FIG. 16 (when the degree of coincidence is lower than the threshold value M_th). The reliability is set to the lowest value “0”. Thereby, it can suppress that the depth value with low reliability is used for correction.
  • the reliability calculation unit 216 may change the threshold M_th according to the luminance value of the pixel. Specifically, the reliability calculation unit 216 increases the threshold M_th as the luminance value increases. Further, at least one of an upper limit value and a lower limit value may be set for the threshold value M_th.
  • the cost value tends to increase as the luminance value increases. Therefore, by changing the threshold value M_th according to the luminance value, it is possible to reduce the influence of the fluctuation of the cost value according to the luminance value.
  • the image processing apparatus 300 has a function of aligning the input image group 223 in addition to the function of the image processing apparatus 200. Furthermore, the image processing apparatus 300 calculates the reliability using information generated at the time of alignment.
  • FIG. 18 is a block diagram showing a functional configuration of the image processing apparatus 300 according to the present embodiment.
  • the image processing apparatus 300 further includes an alignment unit 317 in addition to the configuration of the image processing apparatus 200 shown in FIG. Further, the function of the reliability calculation unit 316 is different from that of the reliability calculation unit 216.
  • symbol is used about the component similar to Embodiment 2, and description is abbreviate
  • the image processing apparatus 300 When estimating the depth value using a plurality of images, it is difficult to accurately estimate the depth value because the position and shape of the subject may change depending on the time difference between the images. Therefore, in order to improve the accuracy of depth estimation, the image processing apparatus 300 according to the present embodiment corrects the positional deviation of a plurality of images and performs depth estimation using the corrected plurality of images. Furthermore, the image processing apparatus 300 also uses information generated at the time of the alignment for calculation of reliability. Accordingly, the image processing apparatus 300 appropriately corrects the depth value.
  • the alignment unit 317 generates an image group 323 by performing alignment on a plurality of images included in the input image group 223. That is, the alignment unit 317 performs alignment by shifting the position of the subject in order to align the position of the subject in the plurality of images.
  • the alignment unit 317 may use a general alignment method such as block matching.
  • the alignment unit 317 searches for a corresponding block of the reference image corresponding to the target block of the target image using block matching.
  • the target image and the reference image are images included in the input image group 223.
  • the alignment unit 317 calculates a difference between the target block and each of a plurality of blocks included in the reference image.
  • the alignment unit 317 determines that the block corresponding to the smallest difference among the plurality of calculated differences is a corresponding block.
  • the alignment unit 317 shifts the target block or the corresponding block so that the positions of the target block and the corresponding block match.
  • the alignment unit 317 may output information indicating blocks corresponding to each other to the depth estimation unit 215.
  • the reliability calculation unit 316 calculates the reliability using the inter-block difference 330 which is the difference between the target block and the corresponding block at the time of block search. Specifically, as shown in FIG. 19, the reliability calculation unit 316 increases the reliability as the inter-block difference 330 is smaller.
  • the inter-block difference 330 indicates the difference between the target block and the corresponding block for each target block.
  • the depth estimation unit 215 performs depth estimation processing using the image group 323 after the alignment is performed.
  • the details of the depth estimation process are the same as those in the second embodiment except that the input images are different.
  • the reliability calculation unit 316 calculates the reliability information 124 using information generated when the alignment unit 317 performs alignment. Specifically, the reliability calculation unit 316 calculates reliability information 124 including reliability of a plurality of depth values based on the minimum cost value 229 and the inter-block difference 330.
  • R_cost the reliability calculated using the minimum cost value Cost (d (n))
  • R_diff the reliability calculated using the difference between blocks
  • R_diff the reliability calculated using the difference between blocks
  • R_diff the reliability calculated using the difference between blocks
  • the final reliability R is calculated by the following equation (3), for example.
  • the error detection unit 102A may use the inter-block difference 330 as it is.
  • the error detection unit 102A may output the inter-block difference 330 as the error amount 126 as it is.
  • the depth correction unit 103 may calculate the weight 128 using the inter-block difference 330 as it is. That is, the depth correction unit 103 may decrease the weight 128 as the inter-block difference 330 increases.
  • FIG. 20 is a flowchart showing a flow of processing by the image processing apparatus 300 according to the present embodiment.
  • step S301 is added to the process shown in FIG. Further, step S113B is different from step S113A.
  • the alignment unit 317 After step S112, the alignment unit 317 generates an image group 323 by aligning a plurality of images included in the input image group 223 (S301).
  • the depth estimation unit 215 generates the input depth information 121 using the image group 323 (S201).
  • the reliability calculation unit 316 calculates the reliability using the inter-block difference 330 calculated in the alignment process and the minimum cost value 229 (selected cost value) calculated in the depth estimation process.
  • the error detection unit 102A calculates the error amount 126 using the calculated reliability (S113B).
  • the subsequent processing is the same as in the first and second embodiments.
  • the image processing apparatus 300 uses, in addition to information used for depth estimation, information obtained when positioning is performed for reliability calculation. Thereby, the image processing apparatus 300 can calculate the reliability more accurately.
  • the reliability calculation unit 316 may calculate the final reliability by a method other than the method using the above formula (3).
  • the reliability calculation unit 316 may use the following equation (4).
  • a and b are coefficients and satisfy 0 ⁇ a and b ⁇ 1.
  • the reliability calculation unit 316 calculates the reliability using both the minimum cost value 229 and the inter-block difference 330, but calculates the reliability using only the inter-block difference 330. Also good.
  • the image processing apparatus according to one or more aspects of the present invention has been described based on the embodiment.
  • the present invention is not limited to this embodiment.
  • the components included in the image processing apparatus in each of the above embodiments may be configured by one system LSI (Large Scale Integration).
  • the image processing apparatus 100 may be configured by a system LSI including a feature calculation unit 101, a reliability acquisition unit 102, and a depth correction unit 103.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on one chip. Specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is a computer system comprised including. A computer program is stored in the ROM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • system LSI may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • one embodiment of the present invention may be an image processing method that uses not only such an image processing apparatus but also a characteristic component included in the image processing apparatus as a step.
  • One embodiment of the present invention may be a computer program that causes a computer to execute each characteristic step included in the image processing method.
  • One embodiment of the present invention may be a computer-readable non-transitory recording medium in which such a computer program is recorded.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the image processing apparatus according to each of the above embodiments is the following program.
  • this program causes a computer to calculate a feature calculation step for calculating a feature amount of each of a plurality of pixels included in an input image and a reliability of each of a plurality of depth values indicating the depth of each of the plurality of pixels.
  • a reliability obtaining step for obtaining, and a depth correcting step for modifying the depth value using the reliability and the feature amount are executed.
  • division of functional blocks in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, a single functional block can be divided into a plurality of functions, or some functions can be transferred to other functional blocks. May be.
  • functions of a plurality of functional blocks having similar functions may be processed in parallel or time-division by a single hardware or software.
  • the order in which the steps included in the image processing method are executed is for illustration in order to specifically describe the present invention, and may be in an order other than the above. Also, some of the above steps may be executed simultaneously (in parallel) with other steps.
  • the image processing apparatus has been described based on the embodiment.
  • the present invention is not limited to this embodiment. Unless it deviates from the gist of the present invention, various modifications conceived by those skilled in the art have been made in this embodiment, and forms constructed by combining components in different embodiments are also within the scope of one or more aspects. May be included.
  • the present invention can be applied to an image processing apparatus.
  • the present invention can be applied to various electronic devices such as a digital still camera, a digital video camera, a personal computer, a tablet terminal, a mobile phone device, and a smartphone provided with such an image processing device.

Abstract

　画像処理装置（１００）は、入力画像（１２３）に含まれる複数の画素の各々の特徴量（１２５）を算出する特徴算出部（１０１）と、前記複数の画素の各々の奥行きを示す複数のデプス値の各々の信頼度を示す信頼度情報（１２４）を取得する信頼度取得部（１０２）と、複数の前記信頼度及び複数の前記特徴量（１２５）を用いて、入力デプス情報（１２１）に含まれる前記複数のデプス値を修正することで出力デプス情報（１２２）を生成するデプス修正部（１０３）とを備える。

Description

画像処理装置及び画像処理方法
　本発明は、デプス値を修正する画像処理装置及び画像処理方法に関する。
　従来より、入力画像に含まれる各画素又は一定領域ごとに、当該画素又は一定領域のデプス値を推定する技術が知られている。デプス値とは、例えば撮像装置から被写体までの距離であり、奥行き値とも呼ばれる。しかしこれらの技術を用いた処理では、画像の特徴又はノイズなどの影響によってデプス推定にエラーが発生することで検出精度が低下することがある。このため、従来のデプス推定技術により生成されたデプス値を利用する画像処理では、出力画像の画質が低下してしまう。例えば、デプス値に基づいて画像をシフトすることで視差画像を生成するＤＩＢＲ（Ｄｅｐｔｈ　Ｉｍａｇｅ　Ｂａｓｅｄ　Ｒｅｎｄｅｒｉｎｇ）処理では、デプス値のエラーによって、生成された画像中にノイズ又はオブジェクトの歪みが発生するという問題がある。また、デプス値を利用して画像のボケを任意調整する処理では、デプス値エラーのため、被写体の前後関係が崩れる。これにより、生成された画像中の被写体のボケが不自然になるという課題もある。
　このように、デプス値が利用される画像処理により生成される出力画像の品質を改善するためには、高精度のデプス値が要求される。しかし、前述のように、画像を用いたデプス値の推定処理の精度には限界があり、推定後のデプス値にはエラーが多く含まれている。そこで、従来より推定後のデプス値を修正する技術が開発されていた。
　従来のデプス値を補正する技術としては、対象画素の画素値と周辺画素の画素値との関係を利用してデプス値を補正する技術がある（例えば、特許文献１参照）。特許文献１記載の装置は、入力画像の画素値（色、輝度又は色差）を利用して、周辺のデプス値の重みを算出し、当該重みを用いてデプス値を補正する。つまり、当該装置は、画素値が近い画素は同じ被写体とみなして画素のデプス値を補正する。
国際公開第２０１１／０３３６７３号
　このような、デプス値を補正する画像処理装置では、デプス値の精度を向上させることが望まれている。
　そこで、本発明は、デプス値の精度を向上させることができる画像処理装置を提供することを目的とする。
　上記目的を達成するために、本発明の一態様に係る画像処理装置は、入力画像に含まれる複数の画素の各々の奥行きを示す複数のデプス値を修正する画像処理装置であって、前記複数の画素の各々の特徴量を算出する特徴算出部と、前記複数のデプス値の各々の信頼度を取得する信頼度取得部と、複数の前記信頼度及び複数の前記特徴量を用いて前記複数のデプス値を修正するデプス修正部とを備える。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本発明は、デプス値の精度を向上させることができる画像処理装置を提供できる。
図１は、実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、実施の形態１に係る画像処理方法のフローチャートである。 図３は、実施の形態１に係る画像処理装置の構成を示すブロック図である。 図４は、実施の形態１に係る入力画像の一例を示す図である。 図５は、実施の形態１に係る入力デプス情報の一例を示す図である。 図６は、実施の形態１に係る信頼度情報の一例を示す図である。 図７は、実施の形態１に係る信頼度とエラー量との関係を示す図である。 図８は、実施の形態１に係るエッジ画像の一例を示す図である。 図９は、実施の形態１に係るデプス修正部の構成を示すブロック図である。 図１０Ａは、実施の形態１に係る特徴量の差と重みとの関係を示す図である。 図１０Ｂは、実施の形態１に係るエラー量と重みとの関係を示す図である。 図１０Ｃは、実施の形態１に係る距離と重みとの関係を示す図である。 図１１は、実施の形態１に係る出力デプス情報の一例を示す図である。 図１２は、実施の形態１に係る画像処理方法のフローチャートである。 図１３は、実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１４は、実施の形態２に係る最小コスト値と信頼度との関係を示す図である。 図１５は、実施の形態２に係る画像処理方法のフローチャートである。 図１６は、実施の形態２に係る最小コスト値と信頼度との関係を示す図である。 図１７は、実施の形態２に係る輝度と閾値との関係を示す図である。 図１８は、実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１９は、実施の形態３に係るブロック間差異と信頼度との関係を示す図である。 図２０は、実施の形態３に係る画像処理方法のフローチャートである。
　（本発明の基礎となった知見）
　本発明者は、従来の技術において、以下の問題が生じることを見出した。
　例えば、特許文献１に記載の従来の装置は、色が近い異なった被写体を同じ被写体とみなしてしまい、デプス値を補正する際、周辺の誤ったデプス値を利用してしまう場合がある。これにより、補正されたデプス値の精度が低くなるという問題が発生することを本発明者は見出した。
　また、自然画像では同じ被写体内に色が違う部分が多く含まれる。このような場合には、従来の装置は、同じ被写体にもかかわらず色が違った部分が違う被写体と判断する。これにより、周辺のデプス値が正しい場合でも、このデプス値が補正には利用されないため、対象画素のデプス値が補正されないという問題が発生する。この結果、従来の処理では正しいデプス値の補正が行えず、デプス値の精度が改善されないという問題があることを本発明者は見出した。
　このような問題を解決するために、本発明の一態様に係る画像処理装置は、入力画像に含まれる複数の画素の各々の奥行きを示す複数のデプス値を修正する画像処理装置であって、前記複数の画素の各々の特徴量を算出する特徴算出部と、前記複数のデプス値の各々の信頼度を取得する信頼度取得部と、複数の前記信頼度及び複数の前記特徴量を用いて前記複数のデプス値を修正するデプス修正部とを備える。
　これにより、当該画像処理装置は、信頼度を用いて、例えば、処理対象の画素のデプス値及び周辺の画像のデプス値の正しさを判断できるので、周辺の正しいデプス値を利用して処理対象の画素のデプス値を修正することができる。また、同じ特徴を有する画素は同じ被写体、つまり同じデプス値を有する可能性が高い。よって、当該画像処理装置は、画素の特徴量を用いて、例えば、処理対象の画素と同じ被写体に含まれる周辺の画素を判別できる。これにより、当該画像処理装置は、デプス値の精度を向上させることができる。
　例えば、前記デプス修正部は、前記複数の画素に含まれる複数の参照画素の複数のデプス値のうち、前記信頼度が高いデプス値と、処理対象の対象画素のデプス値に特徴量が近い参照画素のデプス値とを優先して用いて、前記対象画素のデプス値を修正してもよい。
　これにより、当該画像処理装置は、信頼度の高いデプス値を利用して対象画素のデプス値を修正することができる。さらに、当該画像処理装置は、対象画素と同じ被写体に含まれる周辺の画素を判別できる。これにより、当該画像処理装置は、デプス値の精度を向上させることができる。
　例えば、前記デプス修正部は、前記複数の参照画素の各々の前記特徴量及び前記信頼度を用いて、各参照画素の重みを算出する重み算出部と、算出された複数の前記重みを用いて、前記複数の参照画素のデプス値を加重平均することにより、修正後の前記対象画素の前記デプス値を生成するデプス合成部とを備えてもよい。
　これにより、当該画像処理装置は、参照画素の信頼度に基づいて重みを算出する。つまり、参照画素のデプス値の正しさの度合いによって重みが違ってくるのでデプス値の修正精度が向上する。また、当該画像処理装置は、画素の特徴量に基づいて重みを算出する。これにより、当該画像処理装置は、例えば、処理画素と特徴が似ている画素のデプス値を利用できるのでデプス値の精度を向上させることができる。
　例えば、前記重み算出部は、前記対象画素の特徴量と、前記複数の参照画素の特徴量の各々との差を算出し、前記差が大きいほど、対応する参照画素の前記重みを小さくしてもよい。
　これにより、対象画素と特徴が近い参照画素のデプス値ほど、重みが大きくなる。よって、当該画像処理装置は、特徴が似ている画素のデプス値を多く利用できるので、対象画素のデプス値の精度を向上させることができる。
　例えば、　記特徴量は、各画素におけるエッジの強さを含んでもよい。
　これにより、当該画像処理装置は、対象画素及び参照画素の特徴量が算出できる。一般にエッジは被写体と被写体との境界で検出される。また、被写体が異なると、デプス値も異なる可能性が高い。そこで、当該画像処理装置は、エッジの量を利用することによって、対象画素と同じ被写体に含まれる参照画素を判別し、当該参照画素のデプス値を利用することができる。これより、当該画像処理装置は、デプス値の精度を向上させることができる。
　例えば、前記特徴量は、各画素におけるエッジの方向を含んでもよい。
　これにより、当該画像処理装置は、画素のエッジの方向を用いてデプス値を修正できる。これにより、当該画像処理装置は、デプス値の精度を向上させることができる。
　例えば、前記重み算出部は、前記参照画素の信頼度が大きいほど当該参照画素の前記重みを大きくしてもよい。
　これにより、当該画像処理装置は、信頼度の低いデプス値に対する重みを小さくすることで、エラーを含む画素の影響を少なくすることができる。また、当該画像処理装置は、信頼度が高いデプス値に対する重みを大きくすることで、修正されたデプス値の精度を向上させることができる。
　例えば、前記重み算出部は、前記対象画素と前記参照画素との距離が遠いほど当該参照画素の前記重みを小さくしてもよい。
　ここで、対象画素から遠く離れる画素ほど、対象画素と異なる被写体に含まれる可能性が高い。つまり、対象画素から遠く離れる画素ほど、対象画素とデプス値が違う可能性が高い。そこで、当該画像処理装置は、対象画素から遠い画素のデプス値の重みを小さくすることによって、違う被写体のデプス値の影響を少なくすることができる。
　例えば、前記信頼度は、前記デプス値の正しさの度合い、又は、前記デプス値が正しいか否かを示してもよい。
　これにより、当該画像処理装置は、デプス値の正しい度合いを把握できるので、対象画素のデプス値を修正する際、例えば、当該対象画素のデプス値に、周辺の正しいデプス値を多く配分し、周辺の正しくないデプス値を少なく配分できる。これにより、当該画像処理装置は、修正されたデプス値の精度を向上させることができる。
　例えば、前記画像処理装置は、さらに、前記入力画像を含む複数の画像を用いて前記複数のデプス値を推定するデプス推定部を備えてもよい。
　これにより、当該画像処理装置は、複数の画像からデプス値を推定することができる。
　例えば、前記デプス推定部は、前記複数の画素の各々に対して、処理対象の画素のボケ量と、予め定められた複数の奥行きに対応する予め定められた複数のボケ量との一致度を示すコスト値を、当該奥行きごとに算出し、算出された複数の前記コスト値のうち、最も一致度が高い選択コスト値に対応する奥行きを、前記処理対象の画素のデプス値として推定し、前記信頼度取得部は、前記選択コスト値を用いて前記信頼度を算出してもよい。
　これにより、当該画像処理装置は、デプス値の推定処理時に用いられた情報を利用して、精度の高いデプス値の信頼度を算出することができる。
　例えば、前記信頼度取得部は、前記選択コスト値の一致度が高いほど前記信頼度を高くしてもよい。
　ここで、選択コスト値の一致度が高ければ高いほど、デプス値が正しい可能性が高い。よって、当該画像処理装置は、精度の高いデプス値の信頼度を算出できる。
　例えば、前記信頼度取得部は、さらに、前記選択コスト値の一致度が閾値より低い場合、前記信頼度を最も低い値に設定してもよい。
　これにより、当該画像処理装置は、信頼度が低いデプス値の影響を低減できる。
　例えば、前記信頼度取得部は、さらに、前記閾値を処理対象の画素の輝度値に応じて変更してもよい。
　ここで、コスト値は、輝度値に応じて変動する傾向がある。よって、当該画像処理装置は、輝度値に応じて閾値を変更することにより、例えば、この輝度値に応じたコスト値の変動の影響を低減できる。
　例えば、前記信頼度取得部は、前記輝度値が大きいほど前記閾値を大きくしてもよい。
　これにより、当該画像処理装置は、輝度値に応じたコスト値の変動の影響を低減できる。
　例えば、前記画像処理装置は、さらに、前記複数の画像における被写体の位置を合わせるために、当該被写体の位置をずらす位置合わせを行う位置合わせ部を備え、前記デプス推定部は、前記位置合わせが行われた後の複数の画像を用いて前記複数のデプス値を推定し、前記信頼度取得部は、前記位置合わせの際に生成された情報を用いて前記信頼度を算出してもよい。
　これにより、当該画像処理装置は、複数の入力画像の被写体の位置ずれを合わせることでデプス値の推定の精度を向上させることができる。さらに、当該画像処理装置は、この位置合わせの際に生成された情報を利用することで信頼度の精度を向上させることができる。
　例えば、前記位置合わせ部は、前記位置合わせにおいて、前記複数の画像の一つである対象画像に含まれる対象ブロックと、前記複数の画像に含まれる前記対象画像と異なる画像に含まれる複数のブロックとの差異を算出し、算出した複数の前記差異のうち最も小さい差異に対応するブロックを前記対象ブロックに対応する対応ブロックと判定し、前記信頼度取得部は、前記対象ブロックと前記対応ブロックとの前記差異が小さいほど前記信頼度を高くしてもよい。
　ここで、位置合わせの際の対象ブロックと対応ブロックとの差異が小さいほど、デプス値が正しい可能性が高い。よって、当該画像処理装置は信頼度の精度を向上できる。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　本実施の形態に係る画像処理装置は、入力画像の特徴量と、入力デプス情報の信頼度とに基づき、当該入力デプス情報を修正する。これにより、当該画像処理装置は、デプス値の精度を向上させることができる。
　まず、本実施の形態に係る画像処理装置の基本構成を説明する。図１は、本実施の形態に係る画像処理装置１００の基本構成を示すブロック図である。
　図１に示す画像処理装置１００は、入力デプス情報１２１を修正することにより出力デプス情報１２２を生成する。入力デプス情報１２１は、入力画像１２３に含まれる複数の画素の各々の奥行きを示す複数のデプス値を含む。
　この画像処理装置１００は、特徴算出部１０１と、信頼度取得部１０２と、デプス修正部１０３とを備える。
　特徴算出部１０１は、入力画像１２３に含まれる複数の画素の各々の特徴量１２５を算出する。
　信頼度取得部１０２は、信頼度情報１２４を取得する。この信頼度情報１２４は、入力デプス情報１２１に含まれる複数のデプス値の各々の信頼度を示す情報である。ここで信頼度とは、対応するデプス値の確からしさを示す情報である。具体的には、信頼度は、例えば、デプス値の正しさの度合い、又は、デプス値が正しいか否かを示す。
　デプス修正部１０３は、信頼度情報１２４及び複数の特徴量１２５を用いて入力デプス情報１２１を修正することで出力デプス情報１２２を生成する。
　図２は、本実施の形態に係る画像処理装置１００による基本動作の流れを示すフローチャートである。
　まず、特徴算出部１０１は、入力画像１２３に含まれる複数の画素の各々の特徴量１２５を算出する（Ｓ１０１）。次に、信頼度取得部１０２は、信頼度情報１２４を取得する（Ｓ１０２）。
　次に、デプス修正部１０３は、信頼度情報１２４及び複数の特徴量１２５を用いて入力デプス情報１２１を修正することで出力デプス情報１２２を生成する（Ｓ１０３）。具体的には、具体的には、デプス修正部１０３は、入力画像１２３に含まれる参照画素のデプス値を用いて対象画素のデプス値を修正する。参照画素とは、例えば、対象画素の周辺の画素である。
　より具体的には、デプス修正部１０３は、入力画像１２３に含まれる複数の参照画素の複数のデプス値のうち、信頼度が高いデプス値と、処理対象の対象画素のデプス値に特徴量が近い参照画素のデプス値とを優先して用いて、当該対象画素のデプス値を修正する。
　以上により、本実施の形態に係る画像処理装置１００は、入力画像１２３の特徴量と、入力デプス情報１２１の信頼度とに基づき、当該入力デプス情報１２１を修正する。これにより、画像処理装置１００は、信頼度を用いて、例えば、対象画素のデプス値及び周辺画像のデプス値の正しさを判断できるので、周辺の正しいデプス値を利用して対象画素のデプス値を修正することができる。また、同じ特徴を有する画素は同じ被写体、つまり同じデプス値を有する可能性が高い。よって、画像処理装置１００は、画素の特徴量を用いて、対象画素と同じ被写体に含まれる周辺画素を判別できる。これにより、画像処理装置１００は、デプス値の精度を向上させることができる。
　以下、本実施の形態に係る画像処理装置１００の詳細な構成及びその動作を説明する。
　まず、本実施の形態に係る画像処理装置１００の構成を説明する。図３は、本実施の形態に係る画像処理装置１００の機能構成を示すブロック図である。図３に示すように、画像処理装置１００は、特徴算出部１０１と、エラー検出部１０２Ａと、デプス修正部１０３とを備える。
　以下、本実施の形態における画像処理装置１００の各処理部の動作を説明する。また、図４は、原画像である入力画像１２３の一例を示す図である。
　エラー検出部１０２Ａは、図１に示す信頼度取得部１０２に対応し、信頼度取得部１０２の機能に加え、入力デプス情報１２１のエラー量１２６を信頼度情報１２４に基づいて算出する機能を有する。なお、以下では、エラー検出部１０２Ａにおいて、信頼度をエラー量１２６に変換し、エラー量１２６を用いて後続の処理が行われる例を説明するが、図１に示すように、この変換を行わずに、後続の処理において信頼度をそのまま用いてもよい。
　図５は、入力デプス情報１２１の一例である入力デプス画像を示す図である。この入力デプス情報１２１は、例えば、当該画像処理装置１００又は他の装置が、図４に示す入力画像１２３に対してデプス推定処理を施すことにより生成した画像である。なお、入力デプス情報１２１は、各画素のデプス値を示す情報であればよく、その生成方法は、上記に限定されない。
　図５に示す入力デプス情報１２１では、推定された各画素におけるデプス値に関して、手前側にあると推定された画素ほど白く表示され、奥にあると推定された画素ほど黒く表示されている。図５から、入力デプス情報１２１には、多くのエラーが発生していることが分かる。その原因は、撮影条件、及びデプス推定の際の画像マッチングの精度が低いこと等に起因する。ここでは入力デプス情報１２１に生じるエラーがどのような原因で生じたものかは限定せず、あらゆる原因により生じたエラーを含んでいる入力デプス情報１２１を想定する。
　図６は、信頼度情報１２４の一例である信頼度画像を示す図である。例えば、この信頼度情報１２４は、図４に示す入力画像１２３に対してデプス推定をする際に求まる、デプス値の確からしさを示す画像である。すなわち、信頼度情報１２４は、入力画像１２３に含まれる画素又は領域ごとに、推定されたデプス値がどれくらい正しいかを示している。ここで信頼度情報１２４は、上述のようにデプス推定の際に求められるものであってもよいし、その他の条件によって算出されたものでもあってもよく、いずれの方法により生成されてもよい。
　エラー検出部１０２Ａは、入力デプス情報１２１に対する複数のエラー量１２６を、信頼度情報１２４に基づいて算出する。また、各エラー量１２６は、入力デプス情報１２１に含まれる各デプス値に対応する。図７は、信頼度情報１２４で示される信頼度とエラー量１２６との関係を示す図である。図７に示すにように、エラー検出部１０２Ａは、例えば、信頼度が高いほどエラー量を小さくする。これによって、エラー検出部１０２Ａは、入力デプス情報１２１に含まれる各デプス値のエラーの量（正しくない度合い）を示すエラー量１２６を推定することができる。
　なお、本実施の形態では、エラー検出部１０２Ａは、信頼度をエラー量に変換する際、図７に示すような変換を利用したが、この変換に限定せず、信頼度が高いほどエラー量を小さくする変換であれば、どんな方法を利用してもよい。
　特徴算出部１０１は、画像変換部１１１と、特徴抽出部１１２とを含む。
　画像変換部１１１は、図４に示す入力画像１２３を、当該入力画像１２３に含まれる各画素値の情報を用いて、特徴画像に変換する。ここでは、画像変換部１１１は、例えば、入力画像１２３にエッジ検出処理を施すことによりエッジ画像１２７を生成する。
　図８は、エッジ画像１２７の一例を示す図である。一般的な画像では、被写体の輪郭周辺においてエッジが検出されることが多い。よって、エッジの周辺は異なる被写体が存在する可能性が高い。つまり、エッジの周辺では、デプス値が異なる可能性が高い。よって、単に周辺のデプス値を利用して対象画素のデプス値を修正した場合、異なった被写体のデプス値を用いて対象画素のデプス値を補正する場合がある。この場合、デプス値を正しく修正することができない。そこで、本実施の形態に係る画像処理装置１００は、画像のエッジの特徴を利用してデプス値の修正を行う。
　また、画像変換部１１１は、入力画像１２３をエッジ画像に変換するために、例えば、Ｓｏｂｅｌフィルタを利用する。なお、画像変換部１１１は、他の方法を用いてもよい。例えば、画像変換部１１１は、Ｐｒｅｗｉｔｔフィルタ、及びＬａｐｌａｃｉａｎフィルタなどの他の方法を利用してもよい。なお、画像変換部１１１は、エッジ情報の検出以外に、さらに、各画素における色、輝度又は色差の情報を検出し、当該検出した情報を用いて、入力画像１２３を特徴画像に変換してもよい。
　特徴抽出部１１２は、エッジ画像１２７を用いて複数の特徴量１２５を算出する。つまり、特徴抽出部１１２は、エッジ画像１２７で示される各画素のエッジの強さを特徴量１２５として抽出する。すなわち、本実施の形態では、特徴量１２５は各画素におけるエッジの強さである。なお、特徴抽出部１１２は、エッジの強さから求めた特徴量に所定の演算を行うことで、最終的な特徴量１２５を算出してもよい。例えば、特徴抽出部１１２は、エッジの強さに加え、画素の色、輝度又は色差の情報を用いて特徴量１２５を算出してもよい。また、特徴抽出部１１２は、入力画像１２３の空間周波数又はコントラストを用いて特徴量１２５を算出してもよい。
　デプス修正部１０３は、複数のエラー量１２６及び複数の特徴量１２５に基づいて、入力デプス情報１２１のエラーを修正する。
　図９はデプス修正部１０３の機能構成を示すブロック図である。図９に示すように、デプス修正部１０３は、重み算出部１１３と、デプス合成部１１４とを備える。ここでは、デプス修正部１０３は、対象画素の周辺画素のデプス値を利用して対象画素のデプス値を修正する。その際に、デプス修正部１０３は、周辺画素のデプス値を対象画素のデプス値にどの程度反映させるかを示す重み１２８を算出し、その重み１２８を用いて対象画素のデプス値を修正する。以下、各構成を説明する。
　重み算出部１１３は、デプス修正部１０３が、対象画素の周辺の複数の周辺画素のデプス値を利用して対象画素のデプス値を修正する際、周辺画素のデプス値毎に、当該デプス値にかける重み１２８を算出する。また、重み算出部１１３は、対象画素を含む複数の参照画素の各々の特徴量１２５及び信頼度を用いて、各参照画素の重みを算出する。
　具体的には、まず、重み算出部１１３は、対象画素の特徴量１２５と周辺画素の特徴量１２５との差を算出する。すなわち、この特徴量の差は、例えば、エッジの強さの差である。また、ここでは、重み算出部１１３は、この差の絶対値を算出する。次に、重み算出部１１３は、算出された特徴量の差を用いて重み１２８を算出する。
　図１０Ａは、特徴量の差と重み１２８との関係を示す図である。２つの画素の特徴量が近いほど、２つの画像が同じ被写体に含まれる可能性が高いので、図１０Ａに示すように、特徴量の差が小さいほど重み１２８が大きくなる。なお、ここでは、重み算出部１１３は、図１０Ａに示すような変換を行っているが、変換方法は限定しない。重み算出部１１３は、特徴量の差が小さいほど重みを大きくなる変換であれば、他のどんな変換方法を利用してもよい。
　また、デプス修正部１０３は、対象画素のデプス値を修正するために周辺画素のデプス値を利用するが、周辺画素のデプス値が正しくない場合もある。デプス修正部１０３は、間違ったデプス値で修正しないようにエラー量１２６を利用する。エラー量が大きい場合はデプス値が間違っている可能性が高い。よって、重み算出部１１３は、エラー量が大きいデプス値の重み１２８を低くする。図１０Ｂは、エラー量１２６と重み１２８との関係を示す図である。重み算出部１１３は、図１０Ｂに示すように、エラー量１２６が大きいほど重み１２８を小さくする。つまり、重み算出部１１３は、信頼度が高いほど重み１２８を大きくする。
　さらに、周辺画素は、対象画素から離れるほど対象画素の被写体と異なる被写体に含まれる可能性が高くなる。重み算出部１１３は、この特徴を利用して重みを算出してもよい。図１０Ｃは、対象画素と周辺画素との距離と、重み１２８との関係を示す図である。重み算出部１１３は、対象画素と周辺画素との距離を算出し、この距離が遠いほど重みを小さくする。なお、このように画素間の距離を利用して重み１２８を算出する場合、重み算出部１１３がこの距離を算出してもよいし、重み算出部１１３は、予め他の処理部で算出された距離情報を用いて重み１２８を算出してもよい。
　デプス合成部１１４は、重み算出部１１３で算出された複数の重み１２８を用いて入力デプス情報１２１を修正する。具体的には、デプス合成部１１４は、算出された複数の重み１２８を用いて、複数の参照画素のデプス値を加重平均することにより、修正後の対象画素のデプス値を生成する。つまり、周辺画素のデプス値をＤ（ｉ）、特徴量１２５から算出された重みをＷｆ（ｉ）、エラー量から算出された重みをＷｅ（ｉ）、距離から算出された重みをＷｄ（ｉ）とすると、対象画素の出力デプス値Ｄ（０）は、以下の式（１）で算出される。
Figure JPOXMLDOC01-appb-M000001
　図１１は、以上の処理によって、デプス合成部１１４にて算出された複数の出力デプス値Ｄ（０）を含む出力デプス情報１２２の一例である出力デプス画像を示す図である。図１１に示す出力デプス情報１２２は、図５に示す入力デプス情報１２１と比較して、エラーが修正されている。また、図１１に示すように、対象物のデプス値に悪影響を与えることなく、ノイズ等によりエラーが生じていたデプス値のみが修正されていることが分かる。
　以下、画像処理装置１００により処理の流れを説明する。図１２は、画像処理装置１００による画像処理方法のフローチャートである。
　まず、画像変換部１１１は、入力画像１２３のエッジを抽出することにより、エッジ画像１２７を生成する（Ｓ１１１）。次に、特徴抽出部１１２は、エッジ画像１２７から、入力画像１２３に含まれる各画素の特徴量１２５を抽出する（Ｓ１１２）。
　また、エラー検出部１０２Ａは、信頼度情報１２４を用いて各画素のエラー量を検出する（Ｓ１１３）。
　次に、画像処理装置１００は、入力画像１２３に含まれる複数の画素から対象画素を選択する（Ｓ１１４）。次に、デプス修正部１０３は、入力画像１２３に含まれる複数の画素から参照画素を選択する（Ｓ１１５）。例えば、この参照画素は、対象画素の周辺の画素である。具体的には、参照画素は、対象画素に隣接する画素、又は、対象画素から予め定められた距離内に位置する画素である。なお、複数の参照画素は、入力画像１２３に含まれる全ての画素であってもよい。また、複数の参照画素は対象画素を含んでもよい。
　次に、重み算出部１１３は、対象画素と参照画素との特徴量の差を算出し、算出された特徴量の差を用いて第１の重みを算出する（Ｓ１１６）。具体的には、重み算出部１１３は、特徴量の差が大きいほど第１の重みを小さくする。
　また、重み算出部１１３は、参照画素のエラー量（信頼度）を用いて第２の重みを算出する（Ｓ１１７）。具体的には、重み算出部１１３は、エラー量が大きいほど（信頼度が低いほど）第２の重みを小さくする。
　また、重み算出部１１３は、対象画素と参照画素との距離を算出し、算出された距離を用いて第３の重みを算出する（Ｓ１１８）。具体的には、重み算出部１１３は、距離が遠いほど第３の重みを小さくする。
　なお、これらのステップＳ１１６～Ｓ１１８の処理順序は任意の順序よく、一部又は全ての処理が同時に行われてもよい。
　全ての参照画素に対する重みの算出処理が終了していない場合（Ｓ１１９でＮｏ）、次の参照画素が選択され（Ｓ１１５）、選択された参照画素に対してステップＳ１１６～Ｓ１１８の処理が行われる。つまり、ステップＳ１１５～１１８の処理が全ての参照画素に対して行われることにより、複数の参照画素の各々に対応する第１～第３の重みが算出される。
　全ての参照画素に対する重みの算出処理が終了した場合（Ｓ１１９でＹｅｓ）、デプス合成部１１４は、複数の参照画素に対して算出された第１～第３の重みを用いて、複数の参照画素を重み付け加算することにより、対象画素の修正後のデプス値を算出する（Ｓ１２０）。つまり、デプス合成部１１４は、複数の参照画素の各々に、当該参照画素に対応する第１～第３の重みを乗算し、算出された複数の乗算結果を加算することにより、対象画素の修正後のデプス値を算出する。
　以上の処理により、一つの対象画素のデプス値が修正される。
　入力画像１２３に含まれる全ての画素に対する修正処理が終了していない場合（Ｓ１２１でＮｏ）、複数の画素から次の対象画素が選択され（Ｓ１１４）、選択された対象画素に対してステップＳ１１５～Ｓ１２０の処理が行われる。つまり、ステップＳ１１４～１２０の処理が全ての画素に対して行われることにより、複数の画素の各々のデプス値が修正される。
　以上、本実施の形態に係る画像処理装置１００は、周辺画素のデプス値を利用して対象画素のデプス値を修正する際、画像の特徴（エッジ強さ等）及び信頼度に基づいて、周辺画素のデプス値の重みを決定する。これにより、画像処理装置１００は、デプス値の精度を向上させることができる。
　なお、本実施の形態では、画像処理装置１００は、第１～第３の重みの全てを利用してデプス値の修正を行っているが、全ての重みではなく、一部の重みを利用してもよい。言い換えると、重み算出部１１３は、対象画素と周辺画素との特徴量の差と、周辺画素のエラー量と、対象画素と周辺画素との距離とのうち、少なくとも一つを用いて重み１２８を決定してもよい。
　また、本実施の形態では、画像処理装置１００は、全ての画素に対して、デプス値の修正処理を行うが、エラー量等を利用して、修正する画素と修正しない画素とを判断してもよい。例えば、画像処理装置１００は、複数の画素のうち、エラー量が予め定められた閾値より大きい画素を判定し、エラー量が予め定められた閾値より大きい画素に対してのみエラー修正処理を行ってもよい。
　また、本実施の形態では、画像処理装置１００は、画像の特徴としてエッジの強さを利用したが、画像の特徴として平坦度を利用してもよい、一般に平坦度はエッジの強さと反対の意味を持ち、エッジ量が多いほど、平坦度が少なくなる。言い換えると、平坦度もエッジの強さを示す情報である。
　また、特徴抽出部１１２は、画素の特徴として、エッジの方向を抽出してもよい。この場合、例えば、重み算出部１１３は、対象画素と参照画素とのエッジの方向の差を算出し、当該差が大きいほど重み１２８を小さくする。これにより、画像処理装置１００は、対象画素と類似度の高い参照画素を用いて、当該対象画素を修正できる。
　なお、重み算出部１１３は、エッジの方向が予め定められた方向（又は当該方向に近いほど）重み１２８を大きく（又は小さく）してもよい。これにより、重み算出部１１３は、カメラの特性に応じたデプス値の信頼度の傾向に基づき、より信頼度の高いデプス値の重みを大きくできる。具体的には、カメラの特性（例えば、レンズの特性）に応じて、特定のエッジ方向を有する画素のデプス値の信頼度が、他のエッジ方向（例えば、上記特定のエッジ方向に直交するエッジ方向）を有する画素のデプス値の信頼度より低くなる傾向がある場合がある。このような場合には、重み算出部１１３は、当該特定のエッジ方向（又は当該方向に近いほど）重み１２８を小さくする。
　（実施の形態２）
　本実施の形態では、上記実施の形態１に係る画像処理装置１００の変形例を説明する。本実施の形態に係る画像処理装置２００は、上記画像処理装置１００の機能に加え、入力デプス情報１２１を生成する機能を有する。さらに、画像処理装置２００は、入力デプス情報１２１を生成する際に生成された情報を用いて信頼度を算出する。
　図１３は、本実施の形態に係る画像処理装置２００の機能構成を示すブロック図である。この画像処理装置２００は、図３に示す画像処理装置１００の構成に加え、さらに、デプス推定部２１５と、信頼度算出部２１６とを備える。なお、実施の形態１と同様の構成要素については同じ符号を用い、説明を省略する。
　デプス推定部２１５は、複数の入力画像を含む入力画像群２２３を用いて、各画素におけるデプス値を推定することにより入力デプス情報１２１を生成する。ここで入力画像群２２３は、図３に示す入力画像１２３を含む複数の画像である。典型的には、入力画像群２２３に含まれる複数の画像は、焦点位置（合焦範囲）が異なるように、同一のシーン（被写体）が連続的又は同時に撮影された画像である。
　なお、デプス推定部２１５によるデプス推定処理には、公知のデプス推定処理を用いることができる。典型的には、デプス推定部２１５は、複数の画像からデプス値を推定する。例えば、デプス推定部２１５は、ＤＦＦ（Ｄｅｐｔｈ　Ｆｒｏｍ　Ｆｏｃｕｓ）又はＤＦＤ（Ｄｅｐｔｈ　Ｆｒｏｍ　Ｄｅｆｏｃｕｓ）などを利用する。
　具体的には、デプス推定部２１５は、処理対象の画素がどのデプス値に対応するかを推定するために、例えば、複数の想定されるデプス値ｄ（ｎ）の複数のコスト値Ｃｏｓｔ（ｄ（ｎ））を算出する。ここで、複数のデプス値ｄ（ｎ）は、各々が予め定められた奥行きに対応する。つまり、ｎは、想定されるデプス値の段階を示す。また、コスト値Ｃｏｓｔ（ｄ（ｎ））は、処理対象の画素のボケ量と、デプス値ｄ（ｎ）に対応する予め定められたボケ量との一致度を示す。具体的には、コスト値Ｃｏｓｔ（ｄ（ｎ））が小さいほど、一致度が高いことを示す。つまり、デプス推定部２１５は、デプス値ｄ（ｎ）ごとに、コスト値Ｃｏｓｔ（ｄ（ｎ））を算出する。
　次に、デプス推定部２１５は、算出された複数のコスト値Ｃｏｓｔ（ｄ（ｎ））のうち、最も値が小さい（最も一致度が高い）最小コスト値２２９（選択コスト値）を判定し、当該最小コスト値２２９に対応するデプス値ｄ（ｎ）をデプス値の推定結果とする。よって、最小コスト値２２９が小さいほど推定結果がより正確であるといえる。
　また、デプス推定部２１５は、上記の処理を画素ごとに行うことにより、１画面に対応する複数の画素のデプス値を推定し、この複数のデプス値を入力デプス情報１２１として出力する。また、デプス推定部２１５は、１画面に対応する複数の最小コスト値２２９を出力する。
　信頼度算出部２１６は、複数の最小コスト値２２９を用いて信頼度情報１２４を算出する。つまり、信頼度算出部２１６は、各最小コスト値２２９に基づいて、推定されたデプス値の信頼度を算出する。具体的には、信頼度算出部２１６は、例えば、図１４に示すように、最小コスト値２２９が小さいほど（一致度が高いほど）信頼度が高くなるように最小コスト値２２９を変換することにより信頼度情報１２４を算出する。なお、信頼度算出部２１６は、例えば、図１に示す信頼度取得部１０２に含まれる。
　エラー検出部１０２Ａは、信頼度算出部２１６によって算出された信頼度情報１２４を用いてエラー量１２６を検出する。
　また、ここでは、信頼度算出部２１６により複数の最小コスト値２２９（選択コスト値）が信頼度情報１２４に変換される例を述べるが、エラー検出部１０２Ａは、最小コスト値２２９をそのまま用いてもよい。例えば、エラー検出部１０２Ａは、最小コスト値２２９をそのままエラー量１２６として出力してもよい。または、デプス修正部１０３は、最小コスト値２２９をそのまま用いて重み１２８を算出してもよい。つまり、デプス修正部１０３は、最小コスト値２２９が大きいほど重み１２８を小さくしてもよい。
　図１５は、本実施の形態に係る画像処理装置２００による処理の流れを示すフローチャートである。図１５に示す処理は、図１２に示す処理に対して、ステップＳ２０１が追加されている。また、ステップＳ１１３ＡがステップＳ１１３と異なる。
　ステップＳ１１２の後、デプス推定部２１５は、入力画像群２２３を用いて入力デプス情報１２１を生成する（Ｓ２０１）。次に、信頼度算出部２１６は、デプス推定処理において算出された最小コスト値２２９（選択コスト値）を用いて、信頼度を算出し、エラー検出部１０２Ａは、算出された信頼度を用いてエラー量１２６を算出する（Ｓ１１３Ａ）。なお、以降の処理は、実施の形態１と同様である。
　以上、本実施の形態に係る画像処理装置２００は、デプス推定部２１５と、信頼度算出部２１６とにより、デプス推定の際に利用された情報を用いて信頼度を算出することができる。
　なお、本実施の形態では、信頼度算出部２１６は、デプス推定時の最小コスト値を利用して、最小コスト値が小さいほど信頼度を高くしているが、デプス推定時の最小コスト値を利用してデプス値の信頼度を算出する方法であれば、他の方法を利用してもよい。
　例えば、被写体が高速で移動している場合には、入力画像群２２３に含まれる複数の画像において被写体の位置がずれることがある。この場合には、正しくデプス値を推定できないため、最小コスト値２２９が大きくなる。よって、信頼度算出部２１６は、最小コスト値２２９と閾値Ｍ＿ｔｈとを比較し、図１６に示すように、最小コスト値２２９が閾値Ｍ＿ｔｈより大きい場合（一致度が閾値Ｍ＿ｔｈより低い場合）には、信頼度を最も低い値「０」に設定する。これにより、信頼度が低いデプス値が修正に用いられることを抑制できる。
　なお、図１７に示すように、信頼度算出部２１６は、閾値Ｍ＿ｔｈを画素の輝度値に応じて変更してもよい。具体的には、信頼度算出部２１６は、輝度値が大きいほど閾値Ｍ＿ｔｈを大きくする。また、閾値Ｍ＿ｔｈには上限値及び下限値のうち少なくとも一方が設定されていてもよい。ここで、コスト値の算出時には、輝度値が大きいほどコスト値が大きくなる傾向がある。よって、輝度値に応じて閾値Ｍ＿ｔｈを変更することにより、この輝度値に応じたコスト値の変動の影響を低減できる。
　（実施の形態３）
　本実施の形態では、上記実施の形態２に係る画像処理装置２００の変形例を説明する。本実施の形態に係る画像処理装置３００は、上記画像処理装置２００の機能に加え、入力画像群２２３の位置合わせを行う機能を有する。さらに、画像処理装置３００は、位置合わせの際に生成された情報を用いて信頼度を算出する。
　図１８は、本実施の形態に係る画像処理装置３００の機能構成を示すブロック図である。この画像処理装置３００は、図１３に示す画像処理装置２００の構成に加え、さらに、位置合わせ部３１７を備える。また、信頼度算出部３１６の機能が信頼度算出部２１６と異なる。なお、実施の形態２と同様の構成要素については同じ符号を用い、説明を省略する。
　複数の画像を用いてデプス値を推定する場合、画像間の時間差によって、被写体の位置及び形状などが変わる場合があるため、正確にデプス値を推定することが困難である。そこで、本実施の形態に係る画像処理装置３００は、デプス推定の精度を向上させるために、複数の画像の位置ずれを修正し、修正後の複数の画像を用いてデプス推定を行う。さらに、画像処理装置３００は、この位置合わせの際に生成された情報を信頼度の算出にも利用する。それによって、画像処理装置３００は、適切にデプス値の修正を行う。
　位置合わせ部３１７は、入力画像群２２３に含まれる複数の画像に対して位置合わせを行うことで画像群３２３を生成する。つまり、位置合わせ部３１７は、複数の画像における被写体の位置を合わせるために、当該被写体の位置をずらして位置合わせを行う。なお、この位置合わせ処理には、公知の任意の処理方式を用いることができる。例えば、位置合わせ部３１７は、ブロックマッチングなどの一般の位置合わせ方式を利用してもよい。
　具体的には、位置合わせ部３１７は、ブロックマッチングを用いて、対象画像の対象ブロックに対応する参照画像の対応ブロックを探索する。対象画像及び参照画像は、入力画像群２２３に含まれる画像である。具体的には、位置合わせ部３１７は、対象ブロックと、参照画像に含まれる複数のブロックの各々との差異を算出する。次に、位置合わせ部３１７は、算出された複数の差異のうち、最も小さい差異に対応するブロックを対応ブロックと判定する。そして、位置合わせ部３１７は、対象ブロックと対応ブロックとの位置が一致するように、対象ブロック又は対応ブロックをずらす。なお、位置合わせ部３１７は、互いに対応するブロックを示す情報をデプス推定部２１５へ出力してもよい。
　ここで、対象ブロックと対応ブロックと差異が少なければブロックが一致する可能性が高い。画像が一致すれば、デプス推定の精度も高くなる。そこで、信頼度算出部３１６は、このブロック探索時の対象ブロックと対応ブロックとの差異であるブロック間差異３３０を用いて信頼度を算出する。具体的には、信頼度算出部３１６は、図１９に示すように、このブロック間差異３３０が小さいほど信頼度を高くする。なお、このブロック間差異３３０は、対象ブロックごとの、当該対象ブロックと対応ブロックとの差異を示す。
　デプス推定部２１５は、位置合わせが行われた後の画像群３２３を用いてデプス推定処理を行う。なお、デプス推定処理の詳細は、入力される画像が異なる点を除くと実施の形態２と同様である。
　信頼度算出部３１６は、位置合わせ部３１７による位置合わせの際に生成された情報を用いて信頼度情報１２４を算出する。具体的には、信頼度算出部３１６は、最小コスト値２２９、及びブロック間差異３３０に基づいて複数のデプス値の信頼度を含む信頼度情報１２４を算出する。
　例えば、最小コスト値Ｃｏｓｔ（ｄ（ｎ））を用いて算出された信頼度をＲ＿ｃｏｓｔ、ブロック間の差異を用いて算出された信頼度をＲ＿ｄｉｆｆ、最終的なデプス値の信頼度をＲとした場合、以下の式（２）に示すように、ＲはＲ＿ｃｏｓｔとＲ＿ｄｉｆｆとの関数で表される。
Figure JPOXMLDOC01-appb-M000002
　最終的な信頼度Ｒは例えば以下の式（３）で算出される。
Figure JPOXMLDOC01-appb-M000003
　なお、ここでは、信頼度算出部３１６により複数のブロック間の差異が信頼度情報１２４に変換される例を述べたが、エラー検出部１０２Ａは、ブロック間差異３３０をそのまま用いてもよい。例えば、エラー検出部１０２Ａは、ブロック間差異３３０をそのままエラー量１２６として出力してもよい。または、デプス修正部１０３は、ブロック間差異３３０をそのまま用いて重み１２８を算出してもよい。つまり、デプス修正部１０３は、ブロック間差異３３０が大きいほど重み１２８を小さくしてもよい。
　図２０は、本実施の形態に係る画像処理装置３００による処理の流れを示すフローチャートである。図２０に示す処理は、図１５に示す処理に対して、ステップＳ３０１が追加されている。また、ステップＳ１１３ＢがステップＳ１１３Ａと異なる。
　ステップＳ１１２の後、位置合わせ部３１７は、入力画像群２２３に含まれる複数の画像の位置あわせを行うことにより画像群３２３を生成する（Ｓ３０１）。次に、デプス推定部２１５は、画像群３２３を用いて入力デプス情報１２１を生成する（Ｓ２０１）。次に、信頼度算出部３１６は、位置合わせ処理において算出されたブロック間差異３３０と、デプス推定処理において算出された最小コスト値２２９（選択コスト値）とを用いて、信頼度を算出し、エラー検出部１０２Ａは、算出された信頼度を用いてエラー量１２６を算出する（Ｓ１１３Ｂ）。なお、以降の処理は、実施の形態１及び２と同様である。
　以上、本実施の形態に係る画像処理装置３００は、デプス推定の際に利用する情報に加えて、位置あわせを行う際に求まる情報も信頼度算出に利用する。これにより、画像処理装置３００は、信頼度をより精度よく算出することができる。
　なお、信頼度算出部３１６は、上記式（３）を用いる方法以外で、最終的な信頼度を算出してもよい。例えば、信頼度算出部３１６は、以下の式（４）を用いてもよい。
Figure JPOXMLDOC01-appb-M000004
　ここでは、ａ及びｂは係数であり、０≦ａ、ｂ≦１を満たす。
　また、上記説明では、信頼度算出部３１６は、最小コスト値２２９とブロック間差異３３０とを共に用いて信頼度を算出しているが、ブロック間差異３３０のみを用いて信頼度を算出してもよい。
　以上、本発明の１つ又は複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。
　例えば、上記各実施の形態における画像処理装置が備える構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置１００は、特徴算出部１０１と、信頼度取得部１０２と、デプス修正部１０３とを有するシステムＬＳＩから構成されてもよい。
　システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　また、本発明の一態様は、このような画像処理装置だけではなく、画像処理装置に含まれる特徴的な構成部をステップとする画像処理方法であってもよい。また、本発明の一態様は、画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、入力画像に含まれる複数の画素の各々の特徴量を算出する特徴算出ステップと、前記複数の画素の各々の奥行きを示す複数のデプス値の各々の信頼度を取得する信頼度取得ステップと、前記信頼度及び前記特徴量を用いて前記デプス値を修正するデプス修正ステップとを実行させる。
　また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、上記画像処理方法に含まれる各ステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本発明は、画像処理装置に適用できる。また、本発明は、このような画像処理装置を備える、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、タブレット端末、携帯電話機器、及びスマートフォン等の各種電子機器に適用できる。
　１００、２００、３００　画像処理装置
　１０１　特徴算出部
　１０２　信頼度取得部
　１０２Ａ　エラー検出部
　１０３　デプス修正部
　１１１　画像変換部
　１１２　特徴抽出部
　１１３　重み算出部
　１１４　デプス合成部
　１２１　入力デプス情報
　１２２　出力デプス情報
　１２３　入力画像
　１２４　信頼度情報
　１２５　特徴量
　１２６　エラー量
　１２７　エッジ画像
　１２８　重み
　２１５　デプス推定部
　２１６、３１６　信頼度算出部
　２２３　入力画像群
　２２９　最小コスト値
　３１７　位置合わせ部
　３２３　画像群
　３３０　ブロック間差異

Claims (20)

  1. 　入力画像に含まれる複数の画素の各々の奥行きを示す複数のデプス値を修正する画像処理装置であって、
    　前記複数の画素の各々の特徴量を算出する特徴算出部と、
    　前記複数のデプス値の各々の信頼度を取得する信頼度取得部と、
    　複数の前記信頼度及び複数の前記特徴量を用いて前記複数のデプス値を修正するデプス修正部とを備える
    　画像処理装置。
  2. 　前記デプス修正部は、前記複数の画素に含まれる複数の参照画素の複数のデプス値のうち、前記信頼度が高いデプス値と、処理対象の対象画素のデプス値に特徴量が近い参照画素のデプス値とを優先して用いて、前記対象画素のデプス値を修正する
    　請求項１記載の画像処理装置。
  3. 　前記デプス修正部は、
    　前記複数の参照画素の各々の前記特徴量及び前記信頼度を用いて、各参照画素の重みを算出する重み算出部と、
    　算出された複数の前記重みを用いて、前記複数の参照画素のデプス値を加重平均することにより、修正後の前記対象画素の前記デプス値を生成するデプス合成部とを備える
    　請求項２記載の画像処理装置。
  4. 　前記重み算出部は、前記対象画素の特徴量と、前記複数の参照画素の特徴量の各々との差を算出し、前記差が大きいほど、対応する参照画素の前記重みを小さくする
    　請求項３記載の画像処理装置。
  5. 　前記特徴量は、各画素におけるエッジの強さを含む
    　請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記特徴量は、各画素におけるエッジの方向を含む
    　請求項１～５のいずれか１項に記載の画像処理装置。
  7. 　前記重み算出部は、前記参照画素の信頼度が大きいほど当該参照画素の前記重みを大きくする
    　請求項３記載の画像処理装置。
  8. 　前記重み算出部は、前記対象画素と前記参照画素との距離が遠いほど当該参照画素の前記重みを小さくする
    　請求項３記載の画像処理装置。
  9. 　前記信頼度は、前記デプス値の正しさの度合い、又は、前記デプス値が正しいか否かを示す
    　請求項１～８のいずれか１項に記載の画像処理装置。
  10. 　前記画像処理装置は、さらに、
    　前記入力画像を含む複数の画像を用いて前記複数のデプス値を推定するデプス推定部を備える
    　請求項１～９のいずれか１項に記載の画像処理装置。
  11. 　前記デプス推定部は、
    　前記複数の画素の各々に対して、処理対象の画素のボケ量と、予め定められた複数の奥行きに対応する予め定められた複数のボケ量との一致度を示すコスト値を、当該奥行きごとに算出し、
    　算出された複数の前記コスト値のうち、最も一致度が高い選択コスト値に対応する奥行きを、前記処理対象の画素のデプス値として推定し、
    　前記信頼度取得部は、前記選択コスト値を用いて前記信頼度を算出する
    　請求項１０記載の画像処理装置。
  12. 　前記信頼度取得部は、前記選択コスト値の一致度が高いほど前記信頼度を高くする
    　請求項１１記載の画像処理装置。
  13. 　前記信頼度取得部は、さらに、前記選択コスト値の一致度が閾値より低い場合、前記信頼度を最も低い値に設定する
    　請求項１２記載の画像処理装置。
  14. 　前記信頼度取得部は、さらに、前記閾値を処理対象の画素の輝度値に応じて変更する
    　請求項１３記載の画像処理装置。
  15. 　前記信頼度取得部は、前記輝度値が大きいほど前記閾値を大きくする
    　請求項１４記載の画像処理装置。
  16. 　前記画像処理装置は、さらに、
    　前記複数の画像における被写体の位置を合わせるために、当該被写体の位置をずらす位置合わせを行う位置合わせ部を備え、
    　前記デプス推定部は、前記位置合わせが行われた後の複数の画像を用いて前記複数のデプス値を推定し、
    　前記信頼度取得部は、前記位置合わせの際に生成された情報を用いて前記信頼度を算出する
    　請求項１０記載の画像処理装置。
  17. 　前記位置合わせ部は、前記位置合わせにおいて、
    　前記複数の画像の一つである対象画像に含まれる対象ブロックと、前記複数の画像に含まれる前記対象画像と異なる画像に含まれる複数のブロックとの差異を算出し、
    　算出した複数の前記差異のうち最も小さい差異に対応するブロックを前記対象ブロックに対応する対応ブロックと判定し、
    　前記信頼度取得部は、前記対象ブロックと前記対応ブロックとの前記差異が小さいほど前記信頼度を高くする
    　請求項１６記載の画像処理装置。
  18. 　入力画像に含まれる複数の画素の各々の奥行きを示す複数のデプス値を修正する画像処理方法であって、
    　前記複数の画素の各々の特徴量を算出する特徴算出ステップと、
    　前記複数のデプス値の各々の信頼度を取得する信頼度取得ステップと、
    　複数の前記信頼度及び複数の前記特徴量を用いて前記複数のデプス値を修正するデプス修正ステップとを含む
    　画像処理方法。
  19. 　請求項１８記載の画像処理方法をコンピュータに実行させるための
    　プログラム。
  20. 　入力画像に含まれる複数の画素の各々の奥行きを示す複数のデプス値を修正する集積回路であって、
    　前記複数の画素の各々の特徴量を算出する特徴算出部と、
    　前記複数のデプス値の各々の信頼度を取得する信頼度取得部と、
    　複数の前記信頼度及び複数の前記特徴量を用いて前記複数のデプス値を修正するデプス修正部とを備える
    　集積回路。
PCT/JP2013/001216 2012-03-29 2013-02-28 画像処理装置及び画像処理方法 WO2013145554A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/115,647 US9495806B2 (en) 2012-03-29 2013-02-28 Image processing apparatus and image processing method
JP2013528428A JP6115781B2 (ja) 2012-03-29 2013-02-28 画像処理装置及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-078066 2012-03-29
JP2012078066 2012-03-29

Publications (1)

Publication Number Publication Date
WO2013145554A1 true WO2013145554A1 (ja) 2013-10-03

Family

ID=49258877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001216 WO2013145554A1 (ja) 2012-03-29 2013-02-28 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US9495806B2 (ja)
JP (1) JP6115781B2 (ja)
WO (1) WO2013145554A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150043808A1 (en) * 2013-08-07 2015-02-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and imaging apparatus
JP2015088833A (ja) * 2013-10-29 2015-05-07 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP2015141615A (ja) * 2014-01-29 2015-08-03 キヤノン株式会社 画像処理装置およびその方法
JP2016103230A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2016194956A (ja) * 2016-07-26 2016-11-17 キヤノン株式会社 データ処理装置、撮像装置、およびデータ処理方法
JP2017021759A (ja) * 2015-07-15 2017-01-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2017166915A (ja) * 2016-03-15 2017-09-21 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020004266A (ja) * 2018-06-29 2020-01-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10547824B2 (en) 2014-10-27 2020-01-28 Canon Kabushiki Kaisha Data processing apparatus, imaging apparatus and data processing method
WO2020209040A1 (ja) 2019-04-10 2020-10-15 ソニー株式会社 画像処理装置、及び画像処理方法
WO2023127337A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US11727545B2 (en) 2019-12-12 2023-08-15 Canon Kabushiki Kaisha Image processing apparatus and image capturing apparatus

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9180524B2 (en) 2007-08-06 2015-11-10 3M Innovative Properties Company Fly-cutting head, system and method, and tooling and sheeting produced therewith
JP6115781B2 (ja) * 2012-03-29 2017-04-19 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
US20140009462A1 (en) * 2012-04-17 2014-01-09 3Dmedia Corporation Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
JP5703255B2 (ja) * 2012-04-27 2015-04-15 株式会社東芝 画像処理装置、画像処理方法およびプログラム
JP6140935B2 (ja) * 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
DE112013004760B4 (de) * 2012-09-27 2017-10-19 Fujifilm Corporation Bilderfassungsvorrichtung und Bildverarbeitungsverfahren
TWI515710B (zh) * 2014-02-17 2016-01-01 友達光電股份有限公司 顯示器的驅動方法
US9805294B2 (en) * 2015-02-12 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. Method for denoising time-of-flight range images
GB2537831A (en) * 2015-04-24 2016-11-02 Univ Oxford Innovation Ltd Method of generating a 3D representation of an environment and related apparatus
US9396400B1 (en) * 2015-07-30 2016-07-19 Snitch, Inc. Computer-vision based security system using a depth camera
JP6643122B2 (ja) * 2016-02-03 2020-02-12 キヤノン株式会社 距離画像装置、撮像装置、および距離画像補正方法
US10846826B2 (en) * 2016-04-06 2020-11-24 Sony Corporation Image processing device and image processing method
US11112237B2 (en) * 2016-11-14 2021-09-07 Waymo Llc Using map information to smooth objects generated from sensor data
US10699466B2 (en) * 2016-12-06 2020-06-30 Koninklijke Philips N.V. Apparatus and method for generating a light intensity image
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
US10775501B2 (en) * 2017-06-01 2020-09-15 Intel Corporation Range reconstruction using shape prior
CN114008670A (zh) * 2019-07-17 2022-02-01 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
US11303877B2 (en) * 2019-08-13 2022-04-12 Avigilon Corporation Method and system for enhancing use of two-dimensional video analytics by using depth data
JP7404137B2 (ja) * 2020-04-01 2023-12-25 株式会社豊田中央研究所 顔画像処理装置及び顔画像処理プログラム
CN113570530B (zh) * 2021-06-10 2024-04-16 北京旷视科技有限公司 图像融合方法、装置、计算机可读存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048725A (ja) * 1996-04-05 2004-02-12 Matsushita Electric Ind Co Ltd 画像伝送装置、送信装置及び受信装置
WO2011033673A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 画像処理装置
JP2011511532A (ja) * 2008-01-29 2011-04-07 トムソン ライセンシング ２ｄ画像データを立体画像データに変換する方法およびシステム
JP2012019365A (ja) * 2010-07-07 2012-01-26 Sony Computer Entertainment Inc 画像処理装置および画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163337A (en) 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP2001359119A (ja) 2000-06-15 2001-12-26 Toshiba Corp 立体映像生成方法
JP2004362443A (ja) * 2003-06-06 2004-12-24 Canon Inc パラメータ決定方式
JP3790764B2 (ja) * 2004-04-02 2006-06-28 一成 江良 投写型表示装置および投写型表示システム
KR101590767B1 (ko) * 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
JP2011217044A (ja) * 2010-03-31 2011-10-27 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6115781B2 (ja) * 2012-03-29 2017-04-19 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
US9729860B2 (en) * 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048725A (ja) * 1996-04-05 2004-02-12 Matsushita Electric Ind Co Ltd 画像伝送装置、送信装置及び受信装置
JP2011511532A (ja) * 2008-01-29 2011-04-07 トムソン ライセンシング ２ｄ画像データを立体画像データに変換する方法およびシステム
WO2011033673A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 画像処理装置
JP2012019365A (ja) * 2010-07-07 2012-01-26 Sony Computer Entertainment Inc 画像処理装置および画像処理方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361680B2 (en) * 2013-08-07 2016-06-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and imaging apparatus
US20150043808A1 (en) * 2013-08-07 2015-02-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and imaging apparatus
US10306210B2 (en) 2013-10-29 2019-05-28 Canon Kabushiki Kaisha Image processing apparatus and image capturing apparatus
JP2015088833A (ja) * 2013-10-29 2015-05-07 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP2015141615A (ja) * 2014-01-29 2015-08-03 キヤノン株式会社 画像処理装置およびその方法
US11044453B2 (en) 2014-10-27 2021-06-22 Canon Kabushiki Kaisha Data processing apparatus, imaging apparatus and data processing method
US10547824B2 (en) 2014-10-27 2020-01-28 Canon Kabushiki Kaisha Data processing apparatus, imaging apparatus and data processing method
JP2016103230A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017021759A (ja) * 2015-07-15 2017-01-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2017166915A (ja) * 2016-03-15 2017-09-21 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016194956A (ja) * 2016-07-26 2016-11-17 キヤノン株式会社 データ処理装置、撮像装置、およびデータ処理方法
JP2020004266A (ja) * 2018-06-29 2020-01-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7117914B2 (ja) 2018-06-29 2022-08-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022136272A (ja) * 2018-06-29 2022-09-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7403594B2 (ja) 2018-06-29 2023-12-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2020209040A1 (ja) 2019-04-10 2020-10-15 ソニー株式会社 画像処理装置、及び画像処理方法
US11727545B2 (en) 2019-12-12 2023-08-15 Canon Kabushiki Kaisha Image processing apparatus and image capturing apparatus
WO2023127337A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP6115781B2 (ja) 2017-04-19
JPWO2013145554A1 (ja) 2015-12-10
US9495806B2 (en) 2016-11-15
US20140093159A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
JP6115781B2 (ja) 画像処理装置及び画像処理方法
CN106469431B (zh) 图像处理装置
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
US10582180B2 (en) Depth imaging correction apparatus, imaging apparatus, and depth image correction method
US9607240B2 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
US9300946B2 (en) System and method for generating a depth map and fusing images from a camera array
US9251572B2 (en) System and method of correcting image artifacts
US9251589B2 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
US8942506B2 (en) Image processing apparatus, image processing method, and program
EP2704423B1 (en) Image processing apparatus, image processing method, and image processing program
US9508153B2 (en) Distance measurement apparatus, imaging apparatus, distance measurement method, and program
US9576370B2 (en) Distance measurement apparatus, imaging apparatus, distance measurement method and program
EP1968308A1 (en) Image processing method, image processing program, image processing device, and imaging device
JP2014056378A (ja) 画像処理装置及び画像処理方法
US20150161771A1 (en) Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium
JP2015062270A (ja) 画像処理装置
US10122939B2 (en) Image processing device for processing image data and map data with regard to depth distribution of a subject, image processing system, imaging apparatus, image processing method, and recording medium
US8849066B2 (en) Image processing apparatus, image processing method, and storage medium
JP2011171991A (ja) 画像処理装置、電子機器、画像処理方法、および、画像処理プログラム
McCrackin et al. Strategic image denoising using a support vector machine with seam energy and saliency features
JP5907755B2 (ja) 画像位置合わせ装置及び画像位置合わせ方法
JP2010079815A (ja) 画像補正装置
JP6354907B2 (ja) 画像処理装置および画像処理方法
JP2016162376A (ja) 画像処理装置、撮像装置、および画像処理方法
JP2016195367A (ja) 画像処理装置及び方法、撮像装置、並びにプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013528428

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14115647

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13769535

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 13769535

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE