JP4958302B2 - Multi-viewpoint image depth value extraction apparatus, method and program thereof - Google Patents
Multi-viewpoint image depth value extraction apparatus, method and program thereof Download PDFInfo
- Publication number
- JP4958302B2 JP4958302B2 JP2007320769A JP2007320769A JP4958302B2 JP 4958302 B2 JP4958302 B2 JP 4958302B2 JP 2007320769 A JP2007320769 A JP 2007320769A JP 2007320769 A JP2007320769 A JP 2007320769A JP 4958302 B2 JP4958302 B2 JP 4958302B2
- Authority
- JP
- Japan
- Prior art keywords
- depth value
- block
- average
- captured
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
本発明は、複数のカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像(多視点映像)用の奥行値を抽出する技術に関する。 The present invention relates to a technique for extracting a depth value for a multi-view image (multi-view video) of a subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras.
近年、複数のカメラで同一の被写体を撮影した複数の撮影画像(多視点画像)を用いて、立体映像や自由視点映像を生成する技術が種々開示されている(例えば、特許文献1参照)。これらの立体映像や自由視点映像を生成する技術では、基本的に、複数のカメラで撮影した撮影画像の視差量を利用することで、被写体までの奥行値を求めている。 In recent years, various techniques for generating a stereoscopic video and a free viewpoint video using a plurality of captured images (multi-view images) obtained by capturing the same subject with a plurality of cameras have been disclosed (for example, see Patent Document 1). In these technologies for generating a stereoscopic video and a free viewpoint video, the depth value to the subject is basically obtained by using the parallax amount of the captured images taken by a plurality of cameras.
また、この撮影画像の視差量を求めるには、撮影画像を所定の大きさのブロック単位で類似するブロックを撮影画像間で探索(ブロックマッチング)し、そのブロック間の距離を視差量とすることが一般的である(例えば、特許文献2参照)。このブロックマッチングによって視差を求める手法によれば、図7に示すように、水平に配置した2台のカメラ(C1,C2)で撮影した画像M1と、画像M2との間で、ブロックマッチングにより対応する領域を探索し、その差分を視差量(視差ベクトル)Bとして算出する。 In addition, in order to obtain the parallax amount of the photographed image, a block similar to the photographed image in units of a predetermined size is searched between the photographed images (block matching), and the distance between the blocks is set as the parallax amount. Is common (see, for example, Patent Document 2). According to the method for obtaining the parallax by this block matching, as shown in FIG. 7, between the image M 1 photographed by two horizontally arranged cameras (C 1 , C 2 ) and the image M 2 , A corresponding region is searched by block matching, and the difference is calculated as a parallax amount (parallax vector) B.
ここで、視差量Bは、カメラC1で撮影された被写体の部分を示すブロック位置T1と、カメラC2で撮影された同じ被写体の部分を示すブロック位置T2に対応する、カメラC1での被写体の部分を示すブロック位置T1(この位置は、カメラC2ではTX)との相対的なズレ量となる。すなわち、図7に示すように、カメラC1とカメラC2との距離をL、カメラC1,C2の焦点距離をf、カメラC1,C2から被写体Sまでの距離(奥行値)をDとし、カメラC1,C2間の距離Lに対して相対的に(L−X):Xの位置に被写体Sが存在していたとすると、一般的な三角測量の原理から、視差量Bは、以下の(1)式により求められる。
B=f(L−X)/D+fX/D=fL/D …(1)式
Here, the parallax amount B is the block position T 1 showing the photographed part of the subject by the camera C 1, corresponding to the block position T 2 showing the photographed part of the same subject by the camera C 2, camera C 1 Is a relative shift amount with respect to a block position T 1 indicating the portion of the subject at (this position is T X in the camera C 2 ). That is, as shown in FIG. 7, the distance of the distance between the camera C 1 and the camera C 2 L, the
B = f (L−X) / D + fX / D = fL / D (1)
この視差量Bは、ブロックT1の視差量であるとともに、ブロックT2の視差量でもある。この(1)式から、カメラC1,C2から被写体Sまでの距離(奥行値)Dは、以下の(2)式により求められる。
D=fL/B …(2)式
このように、従来、被写体の奥行値を求めるには、複数の撮影画像において、所定のブロックごとに視差量を求め、奥行値に変換する手法が一般的である。
D = fL / B (2) As described above, conventionally, in order to obtain the depth value of a subject, a method of obtaining a parallax amount for each predetermined block and converting it to a depth value in a plurality of captured images is generally used. It is.
前記した従来技術において、複数のカメラで撮影した撮影画像間でブロックマッチングにより視差量を求める手法では、カメラごとに被写体の見え方が大きく異なる場合、被写体に似た部分が撮影画像内に存在していた場合等で、誤ったブロックを探索してしまい、間違った視差量を抽出してしまうという問題がある。 In the above-described conventional technique, in the method of obtaining the parallax amount by block matching between captured images captured by a plurality of cameras, if the subject looks different for each camera, a portion similar to the subject exists in the captured image. In such a case, there is a problem that a wrong block is searched and a wrong amount of parallax is extracted.
さらに、従来技術において、複数の撮影画像は、異なるカメラで撮影したものであるため、ブロックマッチングによっても対応点が完全に一致することはなく、視差量やそれによって求められる奥行値には多くの誤差が含まれているという問題がある。 Furthermore, in the prior art, since a plurality of captured images are captured by different cameras, corresponding points are not completely matched even by block matching, and there are many parallax amounts and depth values obtained thereby. There is a problem that errors are included.
本発明は、以上のような課題を解決するためになされたものであり、対応点が一致していないブロックであっても、誤差を軽減し、被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を精度よく抽出することを可能にした多視点画像奥行値抽出装置、その方法およびそのプログラムを提供することを目的とする。 The present invention has been made in order to solve the above-described problems.Even if the corresponding points do not coincide with each other, the error can be reduced, and a plurality of captured images obtained by capturing the subject can be used. It is an object of the present invention to provide a multi-viewpoint image depth value extraction device, a method thereof, and a program thereof that can accurately extract depth values for a multi-viewpoint image.
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の多視点画像奥行値抽出装置は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出装置であって、ブロック分割手段と、ブロック探索手段と、差分算出手段と、平均視差量算出手段と、奥行値変換手段と、を備える構成とした。
The present invention was devised to achieve the above object. First, the multi-viewpoint image depth value extraction device according to
かかる構成において、多視点画像奥行値抽出装置は、ブロック分割手段によって、複数の撮影画像を予め定めた大きさ(例えば、16×16画素)のブロックに分割する。このブロックの大きさは、奥行値を抽出する基準となるものであって、どの程度の解像度で奥行値を抽出するかによって、任意に定めることができる。 In such a configuration, the multi-viewpoint image depth value extracting device divides a plurality of captured images into blocks having a predetermined size (for example, 16 × 16 pixels) by the block dividing unit. The size of the block serves as a reference for extracting the depth value, and can be arbitrarily determined depending on the resolution at which the depth value is extracted.
そして、多視点画像奥行値抽出装置は、ブロック探索手段によって、奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索する。これによって、対象ブロックに対応する領域が参照撮影画像において探索されることになる。 Then, the multi-viewpoint image depth value extraction device uses a block search unit for each target block from which a depth value is to be extracted, for a plurality of references captured by a camera adjacent to the camera that captured the captured image to which the target block belongs. In the photographed image, a similar image region having the highest image feature similarity is searched. As a result, a region corresponding to the target block is searched for in the reference captured image.
そして、多視点画像奥行値抽出装置は、差分算出手段によって、類似画像領域の位置と対象ブロックの位置との差分を算出する。さらに、多視点画像奥行値抽出装置は、平均視差量算出手段によって、差分算出手段で算出された参照撮影画像分ごとの差分の平均値を算出し、対象ブロックにおける視差量とする。これによって、対象ブロックの視差量が、参照撮影画像分ごとに平均化され、誤差が分散されることになる。
なお、このとき、平均視差量算出手段は、平均値を算出する値から、対象ブロックとの類似度が予め定めた値よりも低い類似画像領域に対応する差分を除外して、平均視差量を求める。このように、類似画像領域と対象ブロックとの類似度が低くなった場合、平均値を算出するための値から除外することで、誤差の少ない視差量を求めることができる。
Then, the multi-viewpoint image depth value extraction device calculates the difference between the position of the similar image region and the position of the target block by the difference calculation means. Further, in the multi-viewpoint image depth value extraction device, the average parallax amount calculating unit calculates the average value of the differences for each reference photographed image calculated by the difference calculating unit, and sets it as the parallax amount in the target block. Thus, the parallax amount of the target block is averaged for each reference captured image, and the error is dispersed.
At this time, the average parallax amount calculating means excludes the difference corresponding to the similar image area whose similarity with the target block is lower than a predetermined value from the value for calculating the average value, and calculates the average parallax amount. Ask. As described above, when the similarity between the similar image region and the target block is low, the amount of parallax with less error can be obtained by excluding the average value from the value for calculating the average value.
そして、多視点画像奥行値抽出装置は、奥行値変換手段によって、平均視差量算出手段で算出された視差量を、予め定められたカメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する。この視差量から奥行値への変換は、前記した(2)式の演算により行うことができる。 Then, the multi-viewpoint image depth value extracting device converts the parallax amount calculated by the average parallax amount calculating unit to the target block based on the predetermined focal length of the camera and the distance between the cameras by the depth value converting unit. Convert to the depth value of the corresponding subject. The conversion from the parallax amount to the depth value can be performed by the calculation of the above-described equation (2).
また、多視点画像奥行値抽出装置は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出装置であって、前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段と、このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段と、このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段と、この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段と、前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段と、複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定手段と、この周辺ブロック特定手段で特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出手段と、この類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出手段と、を備える構成としてもよい。The multi-viewpoint image depth value extraction device is a multi-viewpoint image depth value extraction device that extracts depth values for the multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged. A block dividing unit that divides the plurality of captured images into blocks of a predetermined size, and a target block for which the depth value of the captured image divided by the block dividing unit is to be extracted. In a plurality of reference captured images captured by a camera adjacent to the camera that captured the captured image to which the block belongs, a block search unit that searches for a similar image region having the highest image feature similarity, and the block search unit Difference calculating means for calculating a difference between the position of the similar image area and the position of the target block, and the reference photographed image portion calculated by the difference calculating means. An average parallax amount calculating unit that calculates an average value of the differences between the target blocks and the parallax amount calculated by the average parallax amount calculating unit for each captured image. A depth value converting means for converting into a depth value of the subject corresponding to the target block based on the focal length of the camera and the distance between the cameras, and a block spanning the similar image region in a plurality of the reference photographed images. Peripheral block specifying means for specifying as a peripheral block, and a similar image area depth for calculating an average value of the depth values corresponding to the peripheral blocks specified by the peripheral block specifying means and setting the depth value corresponding to the similar image area An average value of the depth value calculated by the value calculating means and the depth value calculating means of the similar image area and the depth value of the target block is calculated, and the target block is calculated. An average depth value calculating means for the depth value of the click, may be configured to include a.
このとき、多視点画像奥行値抽出装置は、類似画像領域奥行値算出手段が、周辺ブロックに対応する奥行値の平均値を算出する際に、周辺ブロックに当該平均値に対して予め定めた差分よりも差が大きい奥行値が対応していた場合に、当該奥行値を除外して平均値を再度算出する構成としてもよい(請求項2)。 At this time, the multi-viewpoint image depth value extraction device, kind similar image region depth value calculating means, when calculating the average value of the depth values corresponding to the peripheral block, determined in advance around the block with respect to the mean value When a depth value having a larger difference than the difference corresponds, the average value may be calculated again by excluding the depth value (claim 2).
かかる構成において、類似画像領域奥行値算出手段は、周辺ブロックのうちで、奥行値が大きく異なった周辺ブロックを除外して平均値が算出されることになる。 In such a configuration, the similar image region depth value calculation means calculates an average value by excluding peripheral blocks having greatly different depth values from the peripheral blocks.
また、多視点画像奥行値抽出装置は、平均奥行値算出手段が、類似画像領域奥行値算出手段で算出された奥行値と対象ブロックの奥行値との平均値を算出する際に、類似画像領域奥行値算出手段で算出された奥行値から、当該平均値に対して予め定めた差分よりも差が大きい奥行値を除外して平均値を再度算出する構成としてもよい(請求項3)。 Further, when the multi-viewpoint image depth value extraction device, the average depth value calculating means, for calculating an average value of the depth value of the calculated depth value and the target block in the similar image region depth value calculating means, similar image It is good also as a structure which excludes the depth value with a difference larger than a predetermined difference with respect to the said average value from the depth value calculated by the area | region depth value calculation means, and calculates an average value again (Claim 3).
かかる構成において、多視点画像奥行値抽出装置は、類似画像領域のうちで、奥行値が大きく異なった類似画像領域を除外して平均値が算出されることになる。 In such a configuration, the multi-viewpoint image depth value extraction device calculates an average value by excluding similar image regions having greatly different depth values from similar image regions.
また、請求項4に記載の多視点画像奥行値抽出方法は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出方法であって、ブロック分割ステップと、ブロック探索ステップと、差分算出ステップと、平均視差量算出ステップと、奥行値変換ステップと、を含む手順とした。
The multi-viewpoint image depth value extracting method according to
かかる手順において、多視点画像奥行値抽出方法は、ブロック分割ステップで、複数の撮影画像を予め定めた大きさのブロックに分割する。そして、多視点画像奥行値抽出方法は、ブロック探索ステップで、奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索する。 In this procedure, the multi-viewpoint image depth value extraction method divides a plurality of captured images into blocks of a predetermined size in a block division step. In the multi-viewpoint image depth value extraction method, in the block search step, for each target block from which the depth value is to be extracted, a plurality of references captured by a camera adjacent to the camera that captured the captured image to which the target block belongs. In the photographed image, a similar image region having the highest image feature similarity is searched.
そして、多視点画像奥行値抽出方法は、差分算出ステップで、類似画像領域の位置と対象ブロックの位置との差分を算出する。さらに、多視点画像奥行値抽出方法は、平均視差量算出ステップで、差分算出ステップで算出された参照撮影画像分ごとの差分の平均値を算出し、対象ブロックにおける視差量とする。なお、この平均視差量算出ステップにおいて、平均値を算出する値から、対象ブロックとの類似度が予め定めた値よりも低い類似画像領域に対応する差分を除外して、平均視差量を求める。その後、多視点画像奥行値抽出方法は、奥行値変換ステップで、平均視差量算出ステップで算出された視差量を、予め定められたカメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する。 In the multi-viewpoint image depth value extraction method, the difference calculation step calculates a difference between the position of the similar image region and the position of the target block. Further, in the multi-viewpoint image depth value extraction method, the average value of the difference for each reference captured image calculated in the difference calculation step is calculated in the average parallax amount calculation step, and is set as the parallax amount in the target block. In this average parallax amount calculating step, the average parallax amount is obtained by excluding a difference corresponding to a similar image region whose similarity to the target block is lower than a predetermined value from the value for calculating the average value. After that, the multi-viewpoint image depth value extraction method converts the parallax amount calculated in the average parallax amount calculating step into the target block based on the predetermined focal length of the camera and the distance between the cameras in the depth value conversion step. Convert to the depth value of the corresponding subject.
また、多視点画像奥行値抽出方法は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出方法であって、ブロック分割手段によって、前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割ステップと、ブロック探索手段によって、前記ブロック分割ステップで分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索ステップと、差分算出手段によって、前記ブロック探索ステップで探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出ステップと、平均視差量算出手段によって、前記差分算出ステップで算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出ステップと、奥行値変換手段によって、前記撮影画像ごとに、前記平均視差量算出ステップで算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換ステップと、周辺ブロック特定手段によって、複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定ステップと、類似画像領域奥行値算出手段によって、前記周辺ブロック特定ステップで特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出ステップと、平均奥行値算出手段によって、前記類似画像領域奥行値算出ステップで算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出ステップと、を含む手順としてもよい。The multi-viewpoint image depth value extraction method is a multi-viewpoint image depth value extraction method that extracts depth values for a multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged. Then, the block dividing unit divides the plurality of photographed images into blocks of a predetermined size, and the block search unit extracts the depth value of the photographed image divided in the block dividing step. A block search step for searching for a similar image region having the highest similarity of image features in a plurality of reference captured images captured by a camera adjacent to the camera that captured the captured image to which the target block belongs for each target block to be processed. And the position of the similar image area searched in the block search step and the target block by the difference calculating means. A difference calculating step for calculating a difference from the position of the reference image; and an average parallax amount calculating unit that calculates an average value of differences for each of the reference captured images calculated in the difference calculating step; The parallax amount calculated in the average parallax amount calculating step is set to a predetermined focal length of the camera and a distance between the cameras for each captured image by the average parallax amount calculating step and the depth value converting unit. Based on the depth value conversion step of converting the depth value of the subject corresponding to the target block, and peripheral block specifying means, the block over which the similar image area is straddled is specified as a peripheral block in the plurality of reference captured images The surrounding block specifying step, and the similar image region depth value calculating means, the surrounding block specifying step The similar image region depth is calculated by a similar image region depth value calculating step of calculating an average value of the depth values corresponding to the identified peripheral blocks and setting the depth value corresponding to the similar image region, and an average depth value calculating unit. An average depth value calculating step of calculating an average value of the depth value calculated in the value calculating step and the depth value of the target block and setting the depth value of the target block may be used.
このとき、多視点画像奥行値抽出方法は、類似画像領域奥行値算出ステップにおいて、周辺ブロックに対応する奥行値の平均値を算出する際に、周辺ブロックに当該平均値に対して予め定めた差分よりも差が大きい奥行値が対応していた場合に、当該奥行値を除外して平均値を再度算出することとしてもよい(請求項5)。At this time, in the multi-viewpoint image depth value extraction method, when calculating the average value of the depth values corresponding to the peripheral blocks in the similar image region depth value calculating step, the difference predetermined for the average value in the peripheral blocks is calculated. When a depth value having a larger difference corresponds to the average value, the average value may be calculated again by excluding the depth value (claim 5).
また、多視点画像奥行値抽出方法は、平均奥行値算出ステップにおいて、類似画像領域奥行値算出ステップで算出された奥行値と対象ブロックの奥行値との平均値を算出する際に、類似画像領域奥行値算出ステップで算出された奥行値から、当該平均値に対して予め定めた差分よりも差が大きい奥行値を除外して平均値を再度算出することとしてもよい(請求項6)。Further, the multi-viewpoint image depth value extraction method uses the similar image region when calculating the average value of the depth value calculated in the similar image region depth value calculation step and the depth value of the target block in the average depth value calculation step. The depth value calculated in the depth value calculation step may be calculated again by excluding depth values having a difference larger than a predetermined difference with respect to the average value (claim 6).
また、請求項7に記載の多視点画像奥行値抽出プログラムは、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出するために、コンピュータを、ブロック分割手段、ブロック探索手段、差分算出手段、平均視差量算出手段、奥行値変換手段、として機能させる構成とした。
Further, the multi-viewpoint image depth value extraction program according to
かかる構成において、多視点画像奥行値抽出プログラムは、ブロック分割手段によって、複数の撮影画像を予め定めた大きさのブロックに分割する。そして、多視点画像奥行値抽出プログラムは、ブロック探索手段によって、奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索する。 In such a configuration, the multi-viewpoint image depth value extraction program divides a plurality of captured images into blocks having a predetermined size by the block dividing unit. Then, the multi-viewpoint image depth value extraction program uses a block search unit for each target block from which a depth value is to be extracted. In the photographed image, a similar image region having the highest image feature similarity is searched.
そして、多視点画像奥行値抽出プログラムは、差分算出手段によって、類似画像領域の位置と対象ブロックの位置との差分を算出する。さらに、多視点画像奥行値抽出プログラムは、平均視差量算出手段によって、差分算出手段で算出された参照撮影画像分ごとの差分の平均値を算出し、対象ブロックにおける視差量とする。なお、このとき、平均視差量算出手段は、平均値を算出する値から、対象ブロックとの類似度が予め定めた値よりも低い類似画像領域に対応する差分を除外して、平均視差量を求める。そして、多視点画像奥行値抽出プログラムは、奥行値変換手段によって、平均視差量算出手段で算出された視差量を、予め定められたカメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する。 Then, the multi-viewpoint image depth value extraction program calculates the difference between the position of the similar image region and the position of the target block by the difference calculation means. Furthermore, the multi-viewpoint image depth value extraction program calculates an average value of differences for each reference captured image calculated by the difference calculation unit by the average parallax amount calculation unit, and sets the average value as the parallax amount in the target block. At this time, the average parallax amount calculating means excludes the difference corresponding to the similar image area whose similarity with the target block is lower than a predetermined value from the value for calculating the average value, and calculates the average parallax amount. Ask. Then, the multi-viewpoint image depth value extraction program converts the parallax amount calculated by the average parallax amount calculating unit to the target block based on the predetermined focal length of the camera and the distance between the cameras. Convert to the depth value of the corresponding subject.
また、多視点画像奥行値抽出プログラムは、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出するために、コンピュータを、前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段、このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段、このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段、この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段、前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段、複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定手段、この周辺ブロック特定手段で特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出手段、この類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出手段、として機能させる構成としてもよい。In addition, the multi-viewpoint image depth value extracting program extracts a depth value for the multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged, the computer A block dividing unit that divides a captured image into blocks of a predetermined size, and for each target block from which the depth value of the captured image divided by the block dividing unit is to be extracted, the captured image to which the target block belongs Block search means for searching for a similar image area having the highest similarity of image features in a plurality of reference photographed images taken by cameras adjacent to the photographed camera, the position of the similar image area searched by the block search means, and the position Difference calculating means for calculating the difference with the position of the target block, the difference for each reference captured image calculated by the difference calculating means An average parallax amount calculating unit that calculates an average value and sets the parallax amount in the target block, and for each captured image, the parallax amount calculated by the average parallax amount calculating unit is set to a predetermined focal length of the camera and Based on the distance between the cameras, a depth value converting means for converting into a depth value of the subject corresponding to the target block, and in a plurality of the reference photographed images, a block spanned by the similar image region is specified as a peripheral block Peripheral block specifying means, a similar image area depth value calculating means for calculating an average value of the depth values corresponding to the peripheral blocks specified by the peripheral block specifying means, and making the depth value corresponding to the similar image area, this similarity The average value of the depth value calculated by the image area depth value calculating means and the depth value of the target block is calculated and used as the depth value of the target block. Hitoshi depth value calculating means may be configured to function as a.
このとき、多視点画像奥行値抽出プログラムは、類似画像領域奥行値算出手段が、周辺ブロックに対応する奥行値の平均値を算出する際に、周辺ブロックに当該平均値に対して予め定めた差分よりも差が大きい奥行値が対応していた場合に、当該奥行値を除外して平均値を再度算出する構成としてもよい(請求項8)。At this time, the multi-viewpoint image depth value extraction program, when the similar image area depth value calculation means calculates the average value of the depth value corresponding to the peripheral block, the difference predetermined for the average value in the peripheral block When the depth value having a larger difference corresponds, the average value may be calculated again by excluding the depth value (claim 8).
また、多視点画像奥行値抽出プログラムは、平均奥行値算出手段が、類似画像領域奥行値算出手段で算出された奥行値と対象ブロックの奥行値との平均値を算出する際に、類似画像領域奥行値算出手段で算出された奥行値から、当該平均値に対して予め定めた差分よりも差が大きい奥行値を除外して平均値を再度算出する構成としてもよい(請求項9)。Further, the multi-viewpoint image depth value extraction program allows the similar image region when the average depth value calculation unit calculates the average value of the depth value calculated by the similar image region depth value calculation unit and the depth value of the target block. The depth value calculated by the depth value calculating means may be configured to exclude the depth value having a difference larger than a predetermined difference with respect to the average value and calculate the average value again (claim 9).
本発明は、以下に示す優れた効果を奏するものである。
請求項1,4,7に記載の発明によれば、隣接するカメラが撮影した画像間で視差量を平均化することができるため、対応点が完全に一致していないブロックであっても、ブロックマッチングの誤差が分散し軽減されることになる。これによって、本発明は、誤差が軽減された視差量から奥行値を求めることができ、被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を精度よく抽出することができる。
The present invention has the following excellent effects.
According to the inventions described in
また、請求項1,4,7に記載の発明によれば、類似度が大きく異なる類似画像領域の視差量を除外することができ、オクルージョンが発生している場合であっても、対象ブロックの視差量を精度よく算出することができる。 In addition, according to the first, fourth, and seventh aspects of the present invention, it is possible to exclude the amount of parallax of similar image regions having greatly different degrees of similarity, and even when occlusion occurs, The amount of parallax can be calculated with high accuracy.
請求項2,3,5,6,8,9に記載の発明によれば、類似画像領域の奥行値を周辺ブロックに対応付けられた奥行値で平均化することができるため、類似画像領域の奥行値を、誤差を軽減させて求めることができる。これによって、本発明は、誤差が軽減された類似画像領域の奥行値から対象ブロックの奥行値を補正するため、対象ブロックの奥行値の精度を高めることができる。
According to the inventions described in
また、請求項2,5,8に記載の発明によれば、奥行値が大きく異なる周辺ブロックの奥行値を除外することができ、周辺ブロック内にオクルージョンが発生している場合であっても、類似画像領域の奥行値を精度よく算出することができる。これによって、対象ブロックの奥行値の精度を高めることができる。
Further , according to the inventions of
また、請求項3,6,9に記載の発明によれば、周辺ブロックにオクルージョンが複数発生し、類似画像領域に誤った奥行値が算出された場合であっても、誤った奥行値を持つ参照撮影画像を除外して対象ブロックの奥行値を算出することができる。これによって、撮影画像に複数のオクルージョンが発生している場合であっても、対象ブロックの奥行値を精度よく抽出することができる。
Also, according to the invention as defined in
以下、本発明の実施の形態について図面を参照して説明する。
[第1実施形態:多視点画像奥行値抽出装置の構成]
まず、図1を参照して、本発明の第1実施形態に係る多視点画像奥行値抽出装置の構成について説明する。図1は、本発明の第1実施形態に係る多視点画像奥行値抽出装置の全体構成を示すブロック図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment: Configuration of Multi-Viewpoint Image Depth Value Extraction Device]
First, the configuration of the multi-viewpoint image depth value extraction device according to the first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing the overall configuration of the multi-viewpoint image depth value extraction device according to the first embodiment of the present invention.
多視点画像奥行値抽出装置1は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出するものである。なお、多視点画像奥行値抽出装置1は、外部に複数(3台以上)のカメラC(…,CN−1,CN,CN+1,…)を接続し、カメラCから入力される複数の撮影画像を用いて被写体の奥行値を求めることとする。
The multi-viewpoint image depth
このカメラCは、撮影した画像をフレーム単位で多視点画像奥行値抽出装置1に出力する。なお、カメラCの配置は、カメラCから被写体Sまでの距離が隣接するカメラ同士でほぼ等しければその配置を限定するものではない。例えば、立体映像を生成するために使用する多視点画像の奥行値を抽出する場合であれば、被写体Sに対向して水平方向に等間隔で一直線上にカメラCを配置すればよい。また、例えば、自由視点映像を生成するために使用する多視点画像の奥行値を抽出する場合であれば、被写体Sを中心に等間隔で円環上にカメラCを配置すればよい。ここでは、被写体Sに対向して水平方向に等間隔で一直線上にカメラCを配置した例で説明を行うこととする。
The camera C outputs the captured image to the multi-viewpoint image depth
以下、多視点画像奥行値抽出装置1の各構成について説明する。ここでは、多視点画像奥行値抽出装置1は、ブロック分割手段10と、ブロック探索手段20と、視差量算出手段30と、奥行値変換手段40とを備える。
Hereinafter, each configuration of the multi-viewpoint image depth
ブロック分割手段10は、カメラCで撮影された複数の撮影画像を、撮影画像ごとに予め定めた大きさのブロックに分割するものである。このブロックは、撮影画像間で類似する領域を探索(ブロックマッチング)する際の基準となるもので、例えば、16×16画素の大きさとする。また、このブロックは、被写体Sの奥行値を算出する基準でもある。なお、ここでは、ブロック分割手段10は、図示を省略したメモリ等の記憶手段にカメラC(…,CN−1,CN,CN+1,…)から入力した画像をフレーム単位で蓄積して、ブロックの位置、大きさをブロック探索手段20に出力することとする。
The
ブロック探索手段20は、ブロック分割手段10で分割されたブロック単位で、奥行値を抽出する対象となる対象ブロックが属する撮影画像(以下、基準撮影画像という)を撮影したカメラ(例えばカメラCN)に隣接したカメラ(例えばカメラCN−1,CN+1)が撮影した複数の撮影画像(以下、参照撮影画像という)において、参照撮影画像ごとに対象ブロックとの画像特徴の類似度が最も高い類似画像領域を探索するものである。ここでは、ブロック探索手段20は、比較対象領域選択手段21と、類似度算出手段22と、類似画像領域決定手段23とを備える。 The block search means 20 is a camera (for example, a camera C N ) that has taken a captured image (hereinafter referred to as a reference captured image) to which a target block from which a depth value is to be extracted belongs in units of blocks divided by the block dividing means 10. In the plurality of photographed images (hereinafter referred to as reference photographed images) photographed by cameras adjacent to the camera (for example, the cameras C N-1 and C N + 1 ), the similarity having the highest image feature similarity with the target block for each reference photographed image This is to search for an image area. Here, the block search means 20 includes a comparison target area selection means 21, a similarity calculation means 22, and a similar image area determination means 23.
比較対象領域選択手段21は、基準撮影画像内の奥行値を抽出する対象となる対象ブロックごとに、参照撮影画像内において、対象ブロックと画像特徴を比較するための領域(比較対象領域)を順次選択するものである。ここでは、比較対象領域選択手段21は、参照撮影画像内における対象ブロックと同じ画像位置のブロックの近傍領域を選択範囲とし、当該選択範囲内で、対象ブロックと同じ大きさの領域を順次ずらし、比較対象領域を順次選択していく。また、比較対象領域選択手段21は、選択した比較対象領域を、順次、類似度算出手段22に出力する。
The comparison target
ここで、比較対象領域選択手段21が選択を行うブロックの近傍領域は、例えば、当該ブロックの上下左右に数ブロック程度拡張した領域である。このように、選択範囲を近傍領域に限定することで、参照撮影画像内で誤ったブロックを探索することを防止することができるとともに、演算量を抑えることができる。 Here, the neighborhood area of the block to be selected by the comparison target area selection means 21 is an area expanded by several blocks vertically and horizontally, for example. In this way, by limiting the selection range to the neighborhood region, it is possible to prevent an erroneous block from being searched for in the reference captured image and to reduce the amount of calculation.
類似度算出手段22は、対象ブロックごとに、当該対象ブロックと、比較対象領域選択手段21で順次選択された比較対象領域との類似度を算出するものである。ここでは、類似度算出手段22は、画像特徴に基づいて、対象ブロックと比較対象領域との類似度を算出することとし、例えば、対象ブロックと比較対象領域とで、色ベクトルの距離が近いほど類似度を高い値に設定することとする。なお、画像の類似度は、一般的な指標を用いればよく、色ベクトル以外にも、色ヒストグラム、輝度等、あるいは、それらの組み合わせを用いてもよい。また、距離には、ブロック内の画素ごとの値の差の絶対値や2乗したものを加算した値を用いることができる。この類似度算出手段22で算出された類似度は、類似画像領域決定手段23に出力される。
The
類似画像領域決定手段23は、類似度算出手段22で算出された類似度に基づいて、対象ブロックに類似する領域(類似画像領域)を決定するものである。ここでは、類似画像領域決定手段23は、対象ブロックごとに、参照撮影画像における最も類似度の高い比較対象領域を類似画像領域に決定する。また、類似画像領域決定手段23は、対象ブロックの位置、類似画像領域の位置および類似度を、視差量算出手段30に出力する。
このように、ブロック探索手段20を構成することで、対象ブロックごとに、隣接したカメラCで撮影された参照撮影画像における類似画像領域が探索されることになる。
The similar image
By configuring the block search means 20 in this way, a similar image region in a reference captured image captured by the adjacent camera C is searched for each target block.
視差量算出手段30は、対象ブロックごとに、当該対象ブロックの位置と、ブロック探索手段20で探索された対象ブロックに対応する類似画像領域の位置との差に基づいて、当該対象ブロックにおける視差量を算出するものである。ここでは、視差量算出手段30は、差分算出手段31と、平均視差量算出手段32とを備える。
For each target block, the parallax amount calculation means 30 is based on the difference between the position of the target block and the position of the similar image area corresponding to the target block searched by the block search means 20. Is calculated. Here, the parallax
差分算出手段31は、対象ブロックの位置と類似画像領域の位置との差分を算出するものである。ここでは、差分算出手段31は、対象ブロックを基準に、参照撮影画像ごとの差分を算出することとする。この差分算出手段31で算出された差分は、平均視差量算出手段32に出力される。
The difference calculation means 31 calculates the difference between the position of the target block and the position of the similar image area. Here, the difference calculation means 31 calculates a difference for each reference captured image based on the target block. The difference calculated by the
平均視差量算出手段32は、差分算出手段31で算出された差分の平均値を、対象ブロックにおける視差量として算出するものである。このように、複数の視差量を平均化することで、1つの視差量に誤差が含まれている場合であっても、誤差が分散され視差量の精度を増すことができる。
The average parallax
また、平均視差量算出手段32は、視差量の平均値を算出する際に、平均値を算出する対象となる参照撮影画像の類似画像領域の類似度が、予め定めた値よりも低い場合、当該類似画像領域の位置と対象ブロックの位置との差分を、平均値を算出する値から除外することとする。このように、類似度の低い類似画像領域を、視差量を求める対象から除外することで、例えば、あるカメラCにおいて撮影されていない領域(オクルージョン領域)が存在する場合、当該カメラCが撮影したオクルージョン領域を、視差量を求める対象から除外することができ、正確な視差量を求めることが可能になる。
In addition, when calculating the average value of the parallax amount, the average parallax
なお、カメラCが等間隔に配置されていない場合、平均視差量算出手段32は、カメラC間の距離に応じた比で視差量を正規化してから平均値を算出することとする。また、この場合、平均視差量算出手段32は、対象ブロックに、予め定めた標準カメラ間隔での視差量を対応付けることとする。 When the cameras C are not arranged at equal intervals, the average parallax amount calculation means 32 calculates the average value after normalizing the parallax amount by a ratio according to the distance between the cameras C. In this case, the average parallax amount calculating means 32 associates the parallax amount at a predetermined standard camera interval with the target block.
奥行値変換手段40は、撮影画像ごとに、視差量算出手段30で算出された視差量を、予め定められたカメラCの焦点距離およびカメラC間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換するものである。すなわち、奥行値変換手段40は、カメラ間の距離をL、カメラCの焦点距離をfとしたとき、以下の(3)式により、撮影画像の対象ブロックに対応付けて算出された視差量Bを、当該対象ブロックにおける被写体Sの奥行値Dに変換する。
D=fL/B …(3)式
このように、奥行値変換手段40は、複数の撮影画像内のブロックごとに、被写体の奥行値を対応付けることができる。
For each captured image, the depth
D = fL / B (3) As described above, the depth value conversion means 40 can associate the depth value of the subject with each block in the plurality of captured images.
以上説明したように多視点画像奥行値抽出装置1を構成することで、多視点画像奥行値抽出装置1は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出することができる。また、多視点画像奥行値抽出装置1は、ブロックごとの視差量を、基準撮影画像と複数の参照撮影画像との視差量の平均値により算出するため、誤差を分散させ、奥行値の精度を高めることができる。さらに、多視点画像奥行値抽出装置1は、平均処理によって視差量を算出する際に、ブロック間の類似度が予め定めた値よりも低いものを平均処理の対象から除外するため、オクルージョンが発生したブロックの影響を受けることなく、精度よく奥行値を求めることができる。
By configuring the multi-viewpoint image depth
なお、多視点画像奥行値抽出装置1は、一般的なコンピュータを、前記した各手段として機能させる多視点画像奥行値抽出プログラムによって動作させることができる。また、この多視点画像奥行値抽出プログラムは、通信回線を介して配布したり、CD−ROM等の記録媒体に記録して配布したりすることも可能である。
Note that the multi-viewpoint image depth
[第1実施形態:多視点画像奥行値抽出装置の動作]
次に、図2を参照(構成については適宜図1参照)して、本発明の第1実施形態に係る多視点画像奥行値抽出装置の動作について説明する。図2は、本発明の第1実施形態に係る多視点画像奥行値抽出装置の動作を示すフローチャートである。
[First Embodiment: Operation of Multi-Viewpoint Image Depth Value Extraction Device]
Next, the operation of the multi-viewpoint image depth value extraction device according to the first embodiment of the present invention will be described with reference to FIG. FIG. 2 is a flowchart showing the operation of the multi-viewpoint image depth value extraction device according to the first embodiment of the present invention.
(ブロック分割ステップ)
まず、多視点画像奥行値抽出装置1は、ブロック分割手段10によって、カメラCで撮影された複数の撮影画像を、撮影画像ごとに予め定めた大きさのブロックに分割する(ステップS1)。
(Block division step)
First, the multi-viewpoint image depth
(ブロック探索ステップ)
そして、多視点画像奥行値抽出装置1は、ブロック探索手段20によって、1つの撮影画像を基準撮影画像とし、当該基準撮影画像を撮影したカメラ(例えばカメラCN)に隣接したカメラ(例えばカメラCN−1,CN+1)が撮影した複数の参照撮影画像において、基準撮影画像内のブロックごとに、画像特徴の類似度が最も高い類似画像領域を探索する。
(Block search step)
Then, the multi-viewpoint image depth
具体的には、多視点画像奥行値抽出装置1は、ブロック探索手段20の比較対象領域選択手段21によって、参照撮影画像内において、基準撮影画像内の奥行値を抽出する対象となるブロック(対象ブロック)と画像特徴を比較するための領域(比較対象領域)を選択し、ブロック探索手段20の類似度算出手段22によって、対象ブロックと比較対象領域との類似度を算出する(ステップS2)。
Specifically, the multi-viewpoint image depth
ここで、多視点画像奥行値抽出装置1は、ブロック探索手段20の比較対象領域選択手段21が対象ブロックに対応する領域の近傍領域のすべてについて比較対象領域を選択していない場合(ステップS3でNo)、比較対象領域選択手段21が比較対象領域を変更し(ステップS4)、ステップS2に戻って動作を継続する。
Here, the multi-viewpoint image depth
一方、比較対象領域選択手段21が対象ブロックに対応する領域の近傍領域のすべてについて比較対象領域を選択した場合(ステップS3でYes)、ブロック探索手段20の類似画像領域決定手段23によって、ステップS2で算出された類似度が最も高い比較対象領域を類似画像領域に決定する(ステップS5)。
On the other hand, when the comparison target
ここで、多視点画像奥行値抽出装置1は、ブロック探索手段20がすべての参照撮影画像について類似画像領域を決定していない場合(ステップS6でNo)、類似撮影画像を変更し(ステップS7)、ステップS2に戻って動作を継続する。
Here, the multi-viewpoint image depth
(視差量算出ステップ)
一方、ブロック探索手段20がすべての参照撮影画像について類似画像領域を決定した場合(ステップS6でYes)、多視点画像奥行値抽出装置1は、視差量算出手段30によって、対象ブロックにおける視差量を算出する。
(Parallax amount calculation step)
On the other hand, when the
具体的には、多視点画像奥行値抽出装置1は、視差量算出手段30の差分算出手段31によって、対象ブロックの位置と、ステップS5で決定された複数の類似画像領域の位置との差分を算出する(ステップS8;差分算出ステップ)。
Specifically, the multi-viewpoint image depth
そして、多視点画像奥行値抽出装置1は、視差量算出手段30の平均視差量算出手段32によって、ステップS8で算出された差分の平均値を、対象ブロックにおける視差量として算出する(ステップS9;平均視差量算出ステップ)。なお、このとき、平均視差量算出手段32は、類似画像領域における対象ブロックとの類似度が、予め定めた値よりも低い場合、当該類似画像領域の位置と対象ブロックの位置との差分を、平均値を算出する値から除外する。
Then, the multi-viewpoint image depth
(奥行値変換ステップ)
その後、多視点画像奥行値抽出装置1は、奥行値変換手段40によって、ステップS9で算出された視差量を、予め定められたカメラCの焦点距離およびカメラC間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する(ステップS10)。
(Depth value conversion step)
Thereafter, the multi-viewpoint image depth
そして、基準撮影画像内のすべてのブロックについて奥行値が得られていない場合(ステップS11でNo)、多視点画像奥行値抽出装置1は、基準撮影画像内の対象ブロックを変更し(ステップS12)、ステップS2に戻って動作を継続する。
When the depth values are not obtained for all the blocks in the reference captured image (No in step S11), the multi-viewpoint image depth
一方、基準撮影画像内のすべてのブロックについて奥行値が得られ(ステップS11でYes)、他の撮影画像について奥行値が得られていない場合(ステップS13でNo)、多視点画像奥行値抽出装置1は、基準撮影画像を他の撮影画像に変更し(ステップS14)、ステップS2に戻って動作を継続する。
そして、すべての撮影画像において奥行値が算出された場合(ステップS13でYes)、多視点画像奥行値抽出装置1は、動作を終了する。
On the other hand, when the depth value is obtained for all the blocks in the reference photographed image (Yes in step S11) and the depth value is not obtained for other photographed images (No in step S13), the multi-viewpoint image depth value extracting device. 1 changes the reference captured image to another captured image (step S14), and returns to step S2 to continue the operation.
And when the depth value is calculated in all the captured images (Yes in step S13), the multi-viewpoint image depth
なお、カメラCが動画像カメラである場合、多視点画像奥行値抽出装置1は、順次フレーム画像単位で画像を入力し、前記動作を繰り返し実行することとする。これによって、多視点画像奥行値抽出装置1は、動画像映像においても、フレーム単位で奥行値を抽出することができる。
When the camera C is a moving image camera, the multi-viewpoint image depth
以上の動作によって、多視点画像奥行値抽出装置1は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出することができる。
With the above operation, the multi-viewpoint image depth
〔多視点画像奥行値抽出装置1の具体的動作例〕
次に、図3を参照(構成については適宜図1参照)して、本発明の第1実施形態に係る多視点画像奥行値抽出装置の具体的な動作例について説明する。図3は、本発明の第1実施形態に係る多視点画像奥行値抽出装置の動作を視覚的に説明するための模式図である。
[Specific operation example of multi-viewpoint image depth value extraction apparatus 1]
Next, a specific operation example of the multi-viewpoint image depth value extraction device according to the first embodiment of the present invention will be described with reference to FIG. FIG. 3 is a schematic diagram for visually explaining the operation of the multi-viewpoint image depth value extraction device according to the first embodiment of the present invention.
図3(a)は、被写体Sを複数のカメラC(…,CN−1,CN,CN+1,…)で撮影した撮影画像のうち、3台のカメラCN−1,CN,CN+1が撮影した撮影画像MN−1,MN,MN+1の内容を示している。 3 (a) is a subject S plurality of cameras C (..., C N-1 , C N, C N + 1, ...) of the captured photographed images, the three cameras C N-1, C N, The contents of the captured images M N−1 , M N , and M N + 1 captured by C N + 1 are shown.
まず、多視点画像奥行値抽出装置1は、ブロック分割手段10によって、各撮影画像MN−1,MN,MN+1を予め定めた大きさのブロックに分割する。なお、図3では、一例として各画像を9個のブロックに分割した例を示している。
First, the multi-viewpoint image depth
そして、多視点画像奥行値抽出装置1は、ブロック探索手段20によって、1つの撮影画像を基準撮影画像(ここではMN)、その基準撮影画像を撮影したカメラに隣接したカメラが撮影した撮影画像を参照撮影画像(ここではMN−1,MN+1)として、基準撮影画像MN内の対象ブロックTNに類似する領域(類似画像領域)を、参照撮影画像MN−1,MN+1内で探索する。なお、図3(a)では、参照撮影画像MN−1において類似画像領域RN−1、参照撮影画像MN+1において類似画像領域RN+1が、対象ブロックTNに類似する領域として探索された状態を示している。
The multi-viewpoint image depth
そして、多視点画像奥行値抽出装置1は、視差量算出手段30によって、対象ブロックTNの位置と、類似画像領域RN−1,RN+1の位置との差分(ここでは、BN−1,BN+1)の平均値を当該対象ブロックTNの視差量((BN−1+BN+1)/2)とする。なお、対象ブロックTNに類似するブロックに、類似画像領域RN+1のように、オクルージョンが発生している場合(ここでは、対応するブロックの一部が円柱で隠されている)、対象ブロックTNと、類似画像領域RN+1との類似度が低くなる。この場合、視差量算出手段30は、類似画像領域RN−1との視差量BN−1を、対象ブロックTNの視差量として採用する。
Then, the multi-viewpoint image depth
そして、多視点画像奥行値抽出装置1は、基準撮影画像MN内において、順次、対象ブロックTNを変更して、基準撮影画像MN内のすべてのブロックについて視差量を算出する。そして、多視点画像奥行値抽出装置1は、奥行値変換手段40によって、ブロックごとに算出された視差量を奥行値に変換する(前記(3)式参照)。これによって、多視点画像奥行値抽出装置1は、基準撮影画像MN内のブロックごとに奥行値を抽出することができる。
Then, the multi-viewpoint image depth
さらに、多視点画像奥行値抽出装置1は、図3(b)に示すように、基準撮影画像を他の撮影画像に変更し、同様の動作を行う。なお、図3(b)では、カメラCN−1が撮影した撮影画像MN−1を基準撮影画像に変更した例を示している。このように、基準撮影画像を順次変更することで、すべての撮影画像内のブロックごとに奥行値を抽出することができる。
Further, the multi-viewpoint image depth
以上説明したように、多視点画像奥行値抽出装置1は、隣接したカメラで撮影した参照撮影画像の類似画像領域の位置と、対象ブロックの位置との差分を平均処理することで視差量を求めるため、撮影したカメラが異なることで対応点が異なる場合であっても、視差量の誤差が減少する。これによって、精度よく奥行値を抽出することができる。
As described above, the multi-viewpoint image depth
[第2実施形態:多視点画像奥行値抽出装置の構成]
次に、図4を参照して、本発明の第2実施形態に係る多視点画像奥行値抽出装置の構成について説明する。図4は、本発明の第2実施形態に係る多視点画像奥行値抽出装置の全体構成を示すブロック図である。
[Second Embodiment: Configuration of Multi-Viewpoint Image Depth Value Extraction Device]
Next, the configuration of the multi-viewpoint image depth value extraction device according to the second embodiment of the present invention will be described with reference to FIG. FIG. 4 is a block diagram showing the overall configuration of the multi-viewpoint image depth value extraction device according to the second embodiment of the present invention.
図4に示すように、多視点画像奥行値抽出装置1Bは、ブロック分割手段10と、ブロック探索手段20と、視差量算出手段30と、奥行値変換手段40と、奥行値補正手段50とを備える。奥行値補正手段50以外の構成は、図1で説明した多視点画像奥行値抽出装置1と同様の構成であるため、同一の符号を付し説明を省略する。
As shown in FIG. 4, the multi-viewpoint image depth
多視点画像奥行値抽出装置1Bは、図1で説明した多視点画像奥行値抽出装置1と同様に、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出するものである。以下、多視点画像奥行値抽出装置1と異なる構成である奥行値補正手段50について詳細に説明する。
Similar to the multi-viewpoint image depth
奥行値補正手段50は、奥行値変換手段40で変換されたブロックごとの奥行値を、当該ブロックを撮影したカメラ以外のカメラで撮影した撮影画像(参照撮影画像)を参照して補正するものである。ここでは、奥行値補正手段50は、周辺ブロック特定手段51と、類似画像領域奥行値算出手段52と、平均奥行値算出手段53とを備える。
The depth
周辺ブロック特定手段51は、複数の参照撮影画像において、類似画像領域が跨ったブロックを周辺ブロックとして特定するものである。この周辺ブロック特定手段51は、対象ブロックに対応する参照撮影画像内のブロック(対応ブロック)の位置を対象ブロックと対応ブロックとの視差量分だけずらすことで、参照撮影画像における対象ブロックに類似する類似画像領域の位置を求め、この類似画像領域が跨った周辺ブロックを特定することとする。
The peripheral block specifying means 51 is for specifying, as a peripheral block, a block in which a similar image region is straddled in a plurality of reference captured images. The peripheral
例えば、周辺ブロック特定手段51は、対象ブロックの奥行値がD(=fL/B〔前記(3)式参照〕)である場合に、対応ブロックの位置を、以下の(4)式に示より逆変換することで視差量Bを求め、対応ブロックを視差量Bだけずらすことで類似画像領域の位置を特定する。
B=fL/D …(4)式
For example, when the depth value of the target block is D (= fL / B [see the above equation (3)]), the peripheral
B = fL / D (4) formula
そして、周辺ブロック特定手段51は、類似画像領域の周辺のブロックを類似画像領域奥行値算出手段52に出力する。なお、カメラCが等間隔に配置されていない場合、周辺ブロック特定手段51は、対象ブロックに対応付けられた標準カメラ間隔での視差量を当該カメラ間隔での視差量に変換した値に基づいて、類似画像領域の位置を特定することとする。
Then, the peripheral
また、ここでは、周辺ブロック特定手段51は、対象ブロックの位置に対応する参照撮影画像のブロック(対応ブロック)を視差量分ずらすことで類似画像領域の位置を特定したが、ブロック探索手段20の類似画像領域決定手段23で決定された類似画像領域の位置を記憶手段(図示せず)に保持しておき、利用することとしてもよい。
Here, the peripheral
類似画像領域奥行値算出手段52は、参照撮影画像において、周辺ブロック特定手段51で特定されたブロック(周辺ブロック)に対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とするものである。
The similar image region depth
この類似画像領域奥行値算出手段52は、類似画像領域の奥行値を、類似画像領域が跨った周辺ブロックに対応する奥行値の平均値を算出することで求めるため、各ブロックに対応する奥行値に誤差が含まれている場合であっても、その誤差が分散され、精度の高い奥行値を求めることができる。 The similar image area depth value calculating means 52 calculates the depth value of the similar image area by calculating the average value of the depth values corresponding to the peripheral blocks over which the similar image area is straddled. Even if an error is included in the error, the error is dispersed, and a depth value with high accuracy can be obtained.
なお、類似画像領域奥行値算出手段52は、類似画像領域の奥行値と、当該奥行値を算出するために使用した各周辺ブロックの奥行値との差が、予め定めた値よりも大きい奥行値を有する周辺ブロックについては、その奥行値の値を除外して再度平均値を算出し、類似画像領域の奥行値とすることが望ましい。これによって、類似画像領域奥行値算出手段52は、類似画像領域が跨った周辺ブロックでオクルージョンが発生し、正しい奥行値が対応していない場合に、当該オクルージョンが発生した周辺ブロックの奥行値を除外して平均値を求めるため、さらに精度の高い類似画像領域の奥行値を求めることができる。
このように求められた対象ブロックごとに対応する複数の類似画像領域の奥行値は、平均奥行値算出手段53に出力される。
The similar image region depth value calculation means 52 is a depth value in which the difference between the depth value of the similar image region and the depth value of each peripheral block used for calculating the depth value is larger than a predetermined value. For the peripheral blocks having “”, it is desirable to calculate the average value again by excluding the value of the depth value and use it as the depth value of the similar image region. Thereby, the similar image region depth value calculation means 52 excludes the depth value of the peripheral block in which the occlusion occurs when the occlusion occurs in the peripheral block across the similar image region and the correct depth value does not correspond. Therefore, since the average value is obtained, the depth value of the similar image region with higher accuracy can be obtained.
The depth values of the plurality of similar image areas corresponding to the respective target blocks thus obtained are output to the average depth
平均奥行値算出手段53は、類似画像領域奥行値算出手段52で算出された対象ブロックに対応する複数の類似画像領域の奥行値と、当該対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とするものである。このように、類似する複数のブロックに対応している奥行値を平均化することで、奥行値に誤差が含まれている場合であっても、その誤差が分散化され、精度の高い奥行値を求めることができる。
The average depth
なお、平均奥行値算出手段53は、類似画像領域の奥行値との平均により求めた対象ブロックの奥行値と、当該類似画像領域の奥行値との差が、予め定めた値よりも大きい奥行値を有する類似画像領域については、その類似画像領域の奥行値の値を含む参照撮影画像を除外して再度平均値を算出し、対象ブロックの奥行値とすることが望ましい。これによって、平均奥行値算出手段53は、類似画像領域奥行値算出手段52が、類似画像領域に複数のオクルージョンが発生し、類似画像領域に誤った奥行値を対応付けた場合であっても、当該誤った奥行値を含む参照撮影画像を除外して平均値を求めるため、さらに精度の高い類似画像領域の奥行値を求めることができる。 The average depth value calculation means 53 is a depth value in which the difference between the depth value of the target block obtained by averaging with the depth value of the similar image area and the depth value of the similar image area is larger than a predetermined value. For a similar image region having a similar image region, it is desirable to calculate the average value again by excluding the reference captured image including the depth value value of the similar image region, and to obtain the depth value of the target block. Thereby, the average depth value calculation means 53 is a case where the similar image area depth value calculation means 52 has a plurality of occlusions in the similar image area and associates an incorrect depth value with the similar image area. Since the average value is obtained by excluding the reference photographed image including the erroneous depth value, the depth value of the similar image region with higher accuracy can be obtained.
このように、奥行値補正手段50は、参照撮影画像内の類似画像領域が跨ったブロックの奥行値を平均化することで類似画像領域の奥行値を算出し、対象ブロックごとの奥行値を複数の参照撮影画像の類似画像領域の奥行値で平均化することで、対象ブロックの奥行値を補正する。これによって、奥行値補正手段50は、奥行値変換手段40で変換された対象ブロックの奥行値の誤差が発生している場合であっても、誤差分散により奥行値の精度を高めることができる。
As described above, the depth
なお、奥行値補正手段50は、対象ブロックの奥行値を補正するための類似画像領域を含む参照撮影画像の数は特に限定するものではない。例えば、奥行値補正手段50は、基準撮影画像を撮影したカメラの両隣のカメラが撮影した2枚の参照撮影画像内の2つの類似画像領域の奥行値を使用して対象ブロックの奥行値を補正することとしてよいし、さらに参照撮影画像を増やして、3枚以上の参照撮影画像の類似画像領域を使用して対象ブロックの奥行値を補正することとしてよい。
In addition, the depth value correction | amendment means 50 does not specifically limit the number of the reference picked-up images containing the similar image area | region for correct | amending the depth value of an object block. For example, the depth
以上説明したように多視点画像奥行値抽出装置1Bを構成することで、多視点画像奥行値抽出装置1Bは、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出することができる。また、多視点画像奥行値抽出装置1Bは、複数のカメラで撮影した撮影画像から、対象ブロックに類似するブロックの奥行値を平均化処理するため、複数のオクルージョンが発生する場合であっても、精度よく奥行値を求めることができる。
As described above, by configuring the multi-viewpoint image depth
なお、多視点画像奥行値抽出装置1Bは、一般的なコンピュータを、前記した各手段として機能させる多視点画像奥行値抽出プログラムによって動作させることができる。また、この多視点画像奥行値抽出プログラムは、通信回線を介して配布したり、CD−ROM等の記録媒体に記録して配布したりすることも可能である。
The multi-viewpoint image depth
[第2実施形態:多視点画像奥行値抽出装置の動作]
次に、図5を参照(構成については適宜図4参照)して、本発明の第2実施形態に係る多視点画像奥行値抽出装置の動作について説明する。図5は、本発明の第2実施形態に係る多視点画像奥行値抽出装置の動作を示すフローチャートである。なお、図5のステップS1〜S14の動作は、図2で説明した多視点画像奥行値抽出装置1(図1)の動作と同様であるため、説明を省略する。ここでは、ステップS14の動作後について説明を行う。
[Second Embodiment: Operation of Multi-Viewpoint Image Depth Value Extraction Device]
Next, the operation of the multi-viewpoint image depth value extraction device according to the second embodiment of the present invention will be described with reference to FIG. FIG. 5 is a flowchart showing the operation of the multi-viewpoint image depth value extraction device according to the second embodiment of the present invention. The operations in steps S1 to S14 in FIG. 5 are the same as the operations of the multi-viewpoint image depth value extraction apparatus 1 (FIG. 1) described in FIG. Here, the operation after step S14 will be described.
(奥行値補正ステップ)
ステップS14の動作後、多視点画像奥行値抽出装置1Bは、奥行値補正手段50によって、奥行値変換手段40で変換されたブロックごとの奥行値を、当該ブロックを撮影したカメラ以外のカメラで撮影した撮影画像(参照撮影画像)を参照して補正する。
(Depth value correction step)
After the operation of step S14, the multi-viewpoint image depth
具体的には、多視点画像奥行値抽出装置1Bは、奥行値補正手段50の周辺ブロック特定手段51によって、複数の参照撮影画像において、類似画像領域が跨ったブロックを周辺ブロックとして特定する(ステップS15;周辺ブロック特定ステップ)。
Specifically, the multi-viewpoint image depth
そして、多視点画像奥行値抽出装置1Bは、奥行値補正手段50の類似画像領域奥行値算出手段52によって、ステップS15で特定された類似画像領域が跨った参照撮影画像内の周辺ブロックに対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする(ステップS16;類似画像領域奥行値算出ステップ)。
Then, the multi-viewpoint image depth
なお、類似画像領域の奥行値の平均値と、当該平均値を算出するために使用した各周辺ブロックの奥行値との差が、予め定めた値(閾値)よりも大きい周辺ブロックの奥行値が存在していた場合(ステップS17でYes)、類似画像領域奥行値算出手段52は、その差が大きかった周辺ブロックの奥行値を除いて再度平均値を算出し、類似画像領域に対応する奥行値とする(ステップS18)。そして、動作をステップS19に進める。 It should be noted that the depth value of the peripheral block in which the difference between the average value of the depth value of the similar image region and the depth value of each peripheral block used for calculating the average value is larger than a predetermined value (threshold value). If it exists (Yes in step S17), the similar image area depth value calculation means 52 calculates the average value again excluding the depth values of the peripheral blocks where the difference is large, and the depth value corresponding to the similar image area (Step S18). Then, the operation proceeds to step S19.
一方、類似画像領域の奥行値の平均値と、当該平均値を算出するために使用した各周辺ブロックの奥行値との差が、予め定めた値(閾値)以下である場合(ステップS17でNo)、多視点画像奥行値抽出装置1Bは、奥行値補正手段50の平均奥行値算出手段53によって、ステップS16またはステップS18で算出された対象ブロックに対応する複数の参照撮影画像の類似画像領域の奥行値と、当該対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする(ステップS19;平均奥行値算出ステップ)。
On the other hand, when the difference between the average value of the depth value of the similar image region and the depth value of each peripheral block used for calculating the average value is equal to or less than a predetermined value (threshold value) (No in step S17). ), The multi-viewpoint image depth
なお、ステップS19で算出された平均値と、当該平均値を算出するために使用した類似画像領域の奥行値との差が、予め定めた値(閾値)よりも大きい類似画像領域の奥行値を含む参照撮影画像が存在していた場合(ステップS20でYes)、平均奥行値算出手段53は、その差が大きかった類似画像領域の奥行値を含む参照撮影画像を除いて再度平均値を算出し、対象ブロックに対応する奥行値とする(ステップS21)。
Note that the depth value of the similar image region in which the difference between the average value calculated in step S19 and the depth value of the similar image region used for calculating the average value is larger than a predetermined value (threshold value). If there is a reference captured image that includes the image (Yes in step S20), the average depth
そして、基準撮影画像内のすべてのブロックについて奥行値の補正値が得られていない場合(ステップS22でNo)、多視点画像奥行値抽出装置1Bは、基準撮影画像内の対象ブロックを変更し(ステップS23)、ステップS15に戻って動作を継続する。
And when the correction value of depth value is not acquired about all the blocks in a reference | standard imaging | photography image (it is No at step S22), the multiview image depth
一方、基準撮影画像内のすべてのブロックについて奥行値の補正値が得られ(ステップS22でYes)、他の撮影画像について奥行値の補正値が得られていない場合(ステップS24でNo)、多視点画像奥行値抽出装置1Bは、基準撮影画像を他の撮影画像に変更し(ステップS25)、ステップS15に戻って動作を継続する。
そして、すべての撮影画像において奥行値の補正値が算出された場合(ステップS24でYes)、多視点画像奥行値抽出装置1Bは、動作を終了する。
On the other hand, depth value correction values are obtained for all the blocks in the reference captured image (Yes in step S22), and depth value correction values are not obtained for other captured images (No in step S24). The viewpoint image depth
And when the correction value of depth value is calculated in all the picked-up images (Yes in step S24), the multi-viewpoint image depth
以上の動作によって、多視点画像奥行値抽出装置1Bは、図2で説明した多視点画像奥行値抽出装置1が抽出したブロックの奥行値を、参照撮影画像の類似画像領域を参照して補正することができ、さらに精度よくブロックの奥行値を抽出することができる。
Through the above operation, the multi-viewpoint image depth
〔多視点画像奥行値抽出装置1Bの具体的動作例〕
次に、図6を参照(構成については適宜図4参照)して、本発明の第2実施形態に係る多視点画像奥行値抽出装置の具体的な動作例について説明する。図6は、本発明の第2実施形態に係る多視点画像奥行値抽出装置の動作を視覚的に説明するための模式図である。なお、図3で説明したブロックごとの奥行値を抽出する動作については、多視点画像奥行値抽出装置1Bにおいても同様であり、ここでは、当該ブロックの奥行値を補正する動作についてのみ説明を行う。
[Specific Operation Example of Multi-viewpoint Image Depth
Next, a specific operation example of the multi-viewpoint image depth value extraction device according to the second embodiment of the present invention will be described with reference to FIG. FIG. 6 is a schematic diagram for visually explaining the operation of the multi-viewpoint image depth value extracting device according to the second embodiment of the present invention. The operation for extracting the depth value for each block described in FIG. 3 is the same in the multi-viewpoint image depth
図6では、被写体Sを複数のカメラC(…,CN−1,CN,CN+1,…)で撮影した撮影画像のうち、3台のカメラCN−1,CN,CN+1が撮影した撮影画像MN−1,MN,MN+1の内容を示している。また、MNを基準撮影画像、MN−1,MN+1を参照撮影画像としている。 In FIG. 6, three cameras C N−1 , C N , and C N + 1 out of the captured images obtained by shooting the subject S with a plurality of cameras C (..., C N−1 , C N , C N + 1 ,. The contents of the captured images M N−1 , M N , and M N + 1 are shown. In addition, MN is a standard captured image, and M N−1 and M N + 1 are reference captured images.
まず、多視点画像奥行値抽出装置1Bは、奥行値補正手段50の周辺ブロック特定手段51によって、基準撮影画像MN内の対象ブロックTNに対応付けられている奥行値を視差量に基づいて逆変換することで、参照撮影画像MN−1,MN+1内で類似画像領域の位置を特定する。ここでは、参照撮影画像MN−1,MN+1内で、対象ブロックTNに対応する類似画像領域RN−1,RN+1が特定された状態を示している。さらに、周辺ブロック特定手段51は、参照撮影画像MN−1,MN+1内でそれぞれ類似画像領域RN−1,RN+1が跨っているブロック(周辺ブロック)を特定する。
First, the multi-viewpoint image depth
そして、多視点画像奥行値抽出装置1Bは、奥行値補正手段50の類似画像領域奥行値算出手段52によって、周辺ブロックに対応する奥行値の平均値を、類似画像領域RN−1,RN+1の奥行値として算出する。
Then, the multi-viewpoint image depth
ここでは、参照撮影画像MN−1内で類似画像領域RN−1が跨った周辺ブロックがT1〜T4で、参照撮影画像MN+1内で類似画像領域RN+1が跨った周辺ブロックがT5〜T8であることを示している。なお、周辺ブロックT1〜T8には、それぞれ奥行値D1〜D8が対応付けられているものとする。そして、類似画像領域奥行値算出手段52は、類似画像領域RN−1の奥行値Daを、周辺ブロックT1〜T4の奥行値の平均値((D1+D2+D3+D4)/4)として算出し、類似画像領域RN+1の奥行値Dbを、周辺ブロックT5〜T8の奥行値の平均値((D5+D6+D7+D8)/4)として算出する。
Here, around the block similar image areas in the reference photographed image M N-1 R N-1 is across the T1-T4, the reference photographed image M N + neighboring block similar image region R N + 1 extends over within 1 T5~ T8 is indicated. It is assumed that depth values D1 to D8 are associated with the peripheral blocks T1 to T8, respectively. Then, the similar image region depth
なお、類似画像領域奥行値算出手段52は、例えば、参照撮影画像MN+1内の周辺ブロックT7に示すように、オクルージョンの発生(ここでは、対応するブロックの一部が円柱で隠されている)等によって、周辺ブロックT7の奥行値が、類似画像領域RN+1の奥行値Dbに対して、予め定めた値よりも差が大きい場合、周辺ブロックT7の奥行値を除外して、類似画像領域RN+1の奥行値Dbを、周辺ブロックT5,T6,T8の奥行値の平均値((D5+D6+D8)/3)として算出する。
Note that the similar image region depth
そして、多視点画像奥行値抽出装置1Bは、奥行値補正手段50の平均奥行値算出手段53によって、類似画像領域RN−1の奥行値Daと、類似画像領域RN+1の奥行値Dbと、対象ブロックTNの奥行値Dとの平均値((Da+Db+D)/3)を算出し、対象ブロックTNの奥行値Dを補正する。なお、類似画像領域RN−1,RN+1の奥行値Da,Dbが、平均値として算出された対象ブロックTNの奥行値Dに対して、予め定めた値よりも差が大きい場合、その類似画像領域の奥行値を除外して再度平均値を求めることが望ましい。
Then, the multi-viewpoint image depth
以上説明したように、多視点画像奥行値抽出装置1Bは、対象ブロックの奥行値を、他の参照撮影画像の類似画像領域の奥行値との平均値で補正するため、撮影したカメラが異なることで対応点が異なる場合であっても、奥行値の誤差が減少し、精度よく奥行値を抽出することができる。
As described above, since the multi-viewpoint image depth
1、1B 多視点画像奥行値抽出装置
10 ブロック分割手段
20 ブロック探索手段
21 比較対象領域選択手段
22 類似度算出手段
23 類似画像領域決定手段
30 視差量算出手段
31 差分算出手段
32 平均視差量算出手段
40 奥行値変換手段
50 奥行値補正手段
51 周辺ブロック特定手段
52 類似画像領域奥行値算出手段
53 平均奥行値算出手段
DESCRIPTION OF
Claims (9)
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段と、
このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段と、
このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段と、
この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段と、
前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段と、を備え、
前記平均視差量算出手段は、
前記平均値を算出する対象となる参照撮影画像の類似画像領域と前記対象ブロックとの類似度が予め定めた値よりも低い場合、当該類似画像領域の位置と前記対象ブロックの位置との差分を除外して前記平均値を算出し、前記視差量とすることを特徴とする多視点画像奥行値抽出装置。 A multi-viewpoint image depth value extraction device that extracts a depth value for a multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged,
Block dividing means for dividing the plurality of photographed images into blocks of a predetermined size;
In a plurality of reference captured images captured by a camera adjacent to the camera that captured the captured image to which the target block belongs, for each target block from which the depth value of the captured image divided by the block dividing unit is extracted, Block search means for searching for a similar image region having the highest similarity of image features;
A difference calculating means for calculating a difference between the position of the similar image area searched by the block searching means and the position of the target block;
An average parallax amount calculating unit that calculates an average value of the difference for each reference captured image calculated by the difference calculating unit and sets the parallax amount in the target block;
For each of the captured images, the parallax amount calculated by the average parallax amount calculating unit is determined based on the predetermined focal length of the camera and the distance between the cameras, and the depth value of the subject corresponding to the target block. and a depth value converting means for converting,
The average parallax amount calculating means includes
When the similarity between the similar image area of the reference captured image that is the target for calculating the average value and the target block is lower than a predetermined value, the difference between the position of the similar image area and the position of the target block is calculated. A multi-viewpoint image depth value extracting apparatus, characterized in that the average value is calculated by excluding the parallax amount .
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段と、
このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段と、
このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段と、
この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段と、
前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段と、
複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定手段と、
この周辺ブロック特定手段で特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出手段と、
この類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出手段と、を備え、
前記類似画像領域奥行値算出手段は、
前記周辺ブロックに対応する奥行値の平均値を算出する際に、前記周辺ブロックに当該平均値に対して予め定めた差分よりも差が大きい奥行値が対応していた場合に、当該奥行値を除外して平均値を再度算出することを特徴とする多視点画像奥行値抽出装置。 A multi-viewpoint image depth value extraction device that extracts a depth value for a multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged,
Block dividing means for dividing the plurality of photographed images into blocks of a predetermined size;
In a plurality of reference captured images captured by a camera adjacent to the camera that captured the captured image to which the target block belongs, for each target block from which the depth value of the captured image divided by the block dividing unit is extracted, Block search means for searching for a similar image region having the highest similarity of image features;
A difference calculating means for calculating a difference between the position of the similar image area searched by the block searching means and the position of the target block;
An average parallax amount calculating unit that calculates an average value of the difference for each reference captured image calculated by the difference calculating unit and sets the parallax amount in the target block;
For each of the captured images, the parallax amount calculated by the average parallax amount calculating unit is determined based on the predetermined focal length of the camera and the distance between the cameras, and the depth value of the subject corresponding to the target block. Depth value conversion means for converting to
In a plurality of the reference photographed images, peripheral block specifying means for specifying a block across the similar image region as a peripheral block;
A similar image area depth value calculating means for calculating an average value of the depth values corresponding to the peripheral blocks specified by the peripheral block specifying means, and making the depth value corresponding to the similar image area;
An average depth value calculating unit that calculates an average value of the depth value calculated by the similar image region depth value calculating unit and the depth value of the target block, and sets the depth value of the target block;
The similar image region depth value calculating means includes:
When calculating an average value of the depth values corresponding to the peripheral blocks, if the depth value corresponding to the peripheral block is larger than a predetermined difference with respect to the average value, the depth value is set. A multi-viewpoint image depth value extraction apparatus, characterized in that the average value is calculated again by excluding it .
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段と、
このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段と、
このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段と、
この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段と、
前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段と、
複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定手段と、
この周辺ブロック特定手段で特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出手段と、
この類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出手段と、を備え、
前記平均奥行値算出手段は、
前記類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出する際に、前記類似画像領域奥行値算出手段で算出された奥行値から、当該平均値に対して予め定めた差分よりも差が大きい奥行値を除外して平均値を再度算出することを特徴とする多視点画像奥行値抽出装置。 A multi-viewpoint image depth value extraction device that extracts a depth value for a multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged,
Block dividing means for dividing the plurality of photographed images into blocks of a predetermined size;
In a plurality of reference captured images captured by a camera adjacent to the camera that captured the captured image to which the target block belongs, for each target block from which the depth value of the captured image divided by the block dividing unit is extracted, Block search means for searching for a similar image region having the highest similarity of image features;
A difference calculating means for calculating a difference between the position of the similar image area searched by the block searching means and the position of the target block;
An average parallax amount calculating unit that calculates an average value of the difference for each reference captured image calculated by the difference calculating unit and sets the parallax amount in the target block;
For each of the captured images, the parallax amount calculated by the average parallax amount calculating unit is determined based on the predetermined focal length of the camera and the distance between the cameras, and the depth value of the subject corresponding to the target block. Depth value conversion means for converting to
In a plurality of the reference photographed images, peripheral block specifying means for specifying a block across the similar image region as a peripheral block;
A similar image area depth value calculating means for calculating an average value of the depth values corresponding to the peripheral blocks specified by the peripheral block specifying means, and making the depth value corresponding to the similar image area;
An average depth value calculating unit that calculates an average value of the depth value calculated by the similar image region depth value calculating unit and the depth value of the target block, and sets the depth value of the target block;
The average depth value calculating means is:
When calculating the average value of the depth value calculated by the similar image region depth value calculating unit and the depth value of the target block, the average value is calculated from the depth value calculated by the similar image region depth value calculating unit. A multi-viewpoint image depth value extracting apparatus, wherein a depth value having a difference larger than a predetermined difference is excluded and an average value is calculated again .
ブロック分割手段によって、前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割ステップと、
ブロック探索手段によって、前記ブロック分割ステップで分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索ステップと、
差分算出手段によって、前記ブロック探索ステップで探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出ステップと、
平均視差量算出手段によって、前記差分算出ステップで算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出ステップと、
奥行値変換手段によって、前記撮影画像ごとに、前記平均視差量算出ステップで算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換ステップと、を含み、
前記平均視差量算出ステップにおいて、前記平均視差量算出手段は、
前記平均値を算出する対象となる参照撮影画像の類似画像領域と前記対象ブロックとの類似度が予め定めた値よりも低い場合、当該類似画像領域の位置と前記対象ブロックの位置との差分を除外して前記平均値を算出し、前記視差量とすることを特徴とする多視点画像奥行値抽出方法。 A multi-viewpoint image depth value extraction method for extracting depth values for a multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged,
The block dividing means, a block dividing step of dividing the block size that defines a plurality of captured images in advance,
For each target block from which the depth value of the captured image divided in the block dividing step is extracted by the block search unit, a plurality of images captured by a camera adjacent to the camera that captured the captured image to which the target block belongs are captured. A block search step for searching for a similar image region having the highest similarity of the image features in the reference photographed image;
A difference calculating step of calculating a difference between the position of the similar image area searched in the block searching step and the position of the target block by a difference calculating means;
An average parallax amount calculating unit that calculates an average value of differences for each of the reference captured images calculated in the difference calculating step and sets the parallax amount in the target block;
For each captured image, the parallax amount calculated in the average parallax amount calculating step corresponds to the target block based on a predetermined focal length of the camera and a distance between the cameras by a depth value conversion unit. a depth value conversion step of converting the depth value of the subject which, only including,
In the average parallax amount calculating step, the average parallax amount calculating means includes:
When the similarity between the similar image area of the reference captured image that is the target for calculating the average value and the target block is lower than a predetermined value, the difference between the position of the similar image area and the position of the target block is calculated. A multi-viewpoint image depth value extraction method, characterized in that the average value is calculated by excluding the parallax amount .
ブロック分割手段によって、前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割ステップと、
ブロック探索手段によって、前記ブロック分割ステップで分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索ステップと、
差分算出手段によって、前記ブロック探索ステップで探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出ステップと、
平均視差量算出手段によって、前記差分算出ステップで算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出ステップと、
奥行値変換手段によって、前記撮影画像ごとに、前記平均視差量算出ステップで算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換ステップと、
周辺ブロック特定手段によって、複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定ステップと、
類似画像領域奥行値算出手段によって、前記周辺ブロック特定ステップで特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出ステップと、
平均奥行値算出手段によって、前記類似画像領域奥行値算出ステップで算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出ステップと、を含み、
前記類似画像領域奥行値算出ステップにおいて、前記類似画像領域奥行値算出手段は、
前記周辺ブロックに対応する奥行値の平均値を算出する際に、前記周辺ブロックに当該平均値に対して予め定めた差分よりも差が大きい奥行値が対応していた場合に、当該奥行値を除外して平均値を再度算出することを特徴とする多視点画像奥行値抽出方法。 A multi-viewpoint image depth value extraction method for extracting depth values for a multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged,
The block dividing means, a block dividing step of dividing the block size that defines a plurality of captured images in advance,
For each target block from which the depth value of the captured image divided in the block dividing step is extracted by the block search unit, a plurality of images captured by a camera adjacent to the camera that captured the captured image to which the target block belongs are captured. A block search step for searching for a similar image region having the highest similarity of the image features in the reference photographed image;
A difference calculating step of calculating a difference between the position of the similar image area searched in the block searching step and the position of the target block by a difference calculating means;
An average parallax amount calculating unit that calculates an average value of differences for each of the reference captured images calculated in the difference calculating step and sets the parallax amount in the target block;
For each captured image, the parallax amount calculated in the average parallax amount calculating step corresponds to the target block based on a predetermined focal length of the camera and a distance between the cameras by a depth value conversion unit. A depth value conversion step for converting the depth value of the subject to
A peripheral block specifying step of specifying, as a peripheral block, a block across the similar image regions in the plurality of reference captured images by a peripheral block specifying unit;
Similar image region depth value calculation means calculates an average value of the depth values corresponding to the peripheral blocks specified in the peripheral block specifying step, and calculates a similar image region depth value as a depth value corresponding to the similar image region Steps,
An average depth value calculating unit calculates an average value of the depth value calculated in the similar image region depth value calculating step and the depth value of the target block, and sets the depth value of the target block as an average depth value calculating step; Including,
In the similar image region depth value calculating step, the similar image region depth value calculating means includes:
When calculating an average value of the depth values corresponding to the peripheral blocks, if the depth value corresponding to the peripheral block is larger than a predetermined difference with respect to the average value, the depth value is set. A multi-viewpoint image depth value extraction method, characterized by excluding the average value and excluding the average value .
ブロック分割手段によって、前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割ステップと、
ブロック探索手段によって、前記ブロック分割ステップで分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索ステップと、
差分算出手段によって、前記ブロック探索ステップで探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出ステップと、
平均視差量算出手段によって、前記差分算出ステップで算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出ステップと、
奥行値変換手段によって、前記撮影画像ごとに、前記平均視差量算出ステップで算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換ステップと、
周辺ブロック特定手段によって、複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定ステップと、
類似画像領域奥行値算出手段によって、前記周辺ブロック特定ステップで特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出ステップと、
平均奥行値算出手段によって、前記類似画像領域奥行値算出ステップで算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出ステップと、を含み、
前記平均奥行値算出ステップにおいて、前記平均奥行値算出手段は、
前記類似画像領域奥行値算出ステップで算出された奥行値と前記対象ブロックの奥行値との平均値を算出する際に、前記類似画像領域奥行値算出ステップで算出された奥行値から、当該平均値に対して予め定めた差分よりも差が大きい奥行値を除外して平均値を再度算出することを特徴とする多視点画像奥行値抽出方法。 A multi-viewpoint image depth value extraction method for extracting depth values for a multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged,
The block dividing means, a block dividing step of dividing the block size that defines a plurality of captured images in advance,
For each target block from which the depth value of the captured image divided in the block dividing step is extracted by the block search unit, a plurality of images captured by a camera adjacent to the camera that captured the captured image to which the target block belongs are captured. A block search step for searching for a similar image region having the highest similarity of the image features in the reference photographed image;
A difference calculating step of calculating a difference between the position of the similar image area searched in the block searching step and the position of the target block by a difference calculating means;
An average parallax amount calculating unit that calculates an average value of differences for each of the reference captured images calculated in the difference calculating step and sets the parallax amount in the target block;
For each captured image, the parallax amount calculated in the average parallax amount calculating step corresponds to the target block based on a predetermined focal length of the camera and a distance between the cameras by a depth value conversion unit. A depth value conversion step for converting the depth value of the subject to
A peripheral block specifying step of specifying, as a peripheral block, a block across the similar image regions in the plurality of reference captured images by a peripheral block specifying unit;
Similar image region depth value calculation means calculates an average value of the depth values corresponding to the peripheral blocks specified in the peripheral block specifying step, and calculates a similar image region depth value as a depth value corresponding to the similar image region Steps,
An average depth value calculating unit calculates an average value of the depth value calculated in the similar image region depth value calculating step and the depth value of the target block, and sets the depth value of the target block as an average depth value calculating step; Including,
In the average depth value calculating step, the average depth value calculating means includes:
When calculating the average value of the depth value calculated in the similar image region depth value calculating step and the depth value of the target block, the average value is calculated from the depth value calculated in the similar image region depth value calculating step. A multi-viewpoint image depth value extraction method, wherein a depth value having a difference larger than a predetermined difference is excluded and an average value is calculated again .
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段、
このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段、
このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段、
この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段、
前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段、として機能させ、
前記平均視差量算出手段は、
前記平均値を算出する対象となる参照撮影画像の類似画像領域と前記対象ブロックとの類似度が予め定めた値よりも低い場合、当該類似画像領域の位置と前記対象ブロックの位置との差分を除外して前記平均値を算出し、前記視差量とすることを特徴とする多視点画像奥行値抽出プログラム。 In order to extract a depth value for a multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged,
Block dividing means for dividing the plurality of captured images into blocks of a predetermined size;
In a plurality of reference captured images captured by a camera adjacent to the camera that captured the captured image to which the target block belongs, for each target block from which the depth value of the captured image divided by the block dividing unit is extracted, Block search means for searching for a similar image region having the highest similarity of image features;
A difference calculating means for calculating a difference between the position of the similar image area searched by the block searching means and the position of the target block;
An average parallax amount calculating unit that calculates an average value of the difference for each reference captured image calculated by the difference calculating unit and sets the parallax amount in the target block;
For each of the captured images, the parallax amount calculated by the average parallax amount calculating unit is determined based on the predetermined focal length of the camera and the distance between the cameras, and the depth value of the subject corresponding to the target block. depth value converting means for converting, to function as,
The average parallax amount calculating means includes
When the similarity between the similar image area of the reference captured image that is the target for calculating the average value and the target block is lower than a predetermined value, the difference between the position of the similar image area and the position of the target block is calculated. A multi-viewpoint image depth value extraction program characterized in that the average value is excluded and calculated as the parallax amount .
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段、
このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段、
このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段、
この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段、
前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段、
複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定手段、
この周辺ブロック特定手段で特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出手段、
この類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出手段、として機能させ、
前記類似画像領域奥行値算出手段は、
前記周辺ブロックに対応する奥行値の平均値を算出する際に、前記周辺ブロックに当該平均値に対して予め定めた差分よりも差が大きい奥行値が対応していた場合に、当該奥行値を除外して平均値を再度算出することを特徴とする多視点画像奥行値抽出プログラム。 In order to extract a depth value for a multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged,
Block dividing means for dividing the plurality of captured images into blocks of a predetermined size;
In a plurality of reference captured images captured by a camera adjacent to the camera that captured the captured image to which the target block belongs, for each target block from which the depth value of the captured image divided by the block dividing unit is extracted, Block search means for searching for a similar image region having the highest similarity of image features;
A difference calculating means for calculating a difference between the position of the similar image area searched by the block searching means and the position of the target block;
An average parallax amount calculating unit that calculates an average value of the difference for each reference captured image calculated by the difference calculating unit and sets the parallax amount in the target block;
For each of the captured images, the parallax amount calculated by the average parallax amount calculating unit is determined based on the predetermined focal length of the camera and the distance between the cameras, and the depth value of the subject corresponding to the target block. Depth value conversion means for converting to
In a plurality of the reference photographed images, peripheral block specifying means for specifying a block across the similar image region as a peripheral block,
A similar image region depth value calculating unit that calculates an average value of the depth values corresponding to the peripheral blocks specified by the peripheral block specifying unit and sets the depth value corresponding to the similar image region;
Calculating an average value of the depth value calculated by the similar image region depth value calculating unit and the depth value of the target block, and functioning as an average depth value calculating unit as a depth value of the target block;
The similar image region depth value calculating means includes:
When calculating an average value of the depth values corresponding to the peripheral blocks, if the depth value corresponding to the peripheral block is larger than a predetermined difference with respect to the average value, the depth value is set. A multi-viewpoint image depth value extraction program characterized by excluding the average value and excluding the average value .
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段、
このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段、
このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段、
この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段、
前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段、
複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定手段、
この周辺ブロック特定手段で特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出手段、
この類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出手段、として機能させ、
前記平均奥行値算出手段は、
前記類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出する際に、前記類似画像領域奥行値算出手段で算出された奥行値から、当該平均値に対して予め定めた差分よりも差が大きい奥行値を除外して平均値を再度算出することを特徴とする多視点画像奥行値抽出プログラム。 In order to extract a depth value for a multi-viewpoint image of the subject from a plurality of captured images obtained by photographing the same subject with a plurality of cameras arranged,
Block dividing means for dividing the plurality of captured images into blocks of a predetermined size;
In a plurality of reference captured images captured by a camera adjacent to the camera that captured the captured image to which the target block belongs, for each target block from which the depth value of the captured image divided by the block dividing unit is extracted, Block search means for searching for a similar image region having the highest similarity of image features;
A difference calculating means for calculating a difference between the position of the similar image area searched by the block searching means and the position of the target block;
An average parallax amount calculating unit that calculates an average value of the difference for each reference captured image calculated by the difference calculating unit and sets the parallax amount in the target block;
For each of the captured images, the parallax amount calculated by the average parallax amount calculating unit is determined based on the predetermined focal length of the camera and the distance between the cameras, and the depth value of the subject corresponding to the target block. Depth value conversion means for converting to
In a plurality of the reference photographed images, peripheral block specifying means for specifying a block across the similar image region as a peripheral block,
A similar image region depth value calculating unit that calculates an average value of the depth values corresponding to the peripheral blocks specified by the peripheral block specifying unit and sets the depth value corresponding to the similar image region;
Calculating an average value of the depth value calculated by the similar image region depth value calculating unit and the depth value of the target block, and functioning as an average depth value calculating unit as a depth value of the target block;
The average depth value calculating means is:
When calculating the average value of the depth value calculated by the similar image region depth value calculating unit and the depth value of the target block, the average value is calculated from the depth value calculated by the similar image region depth value calculating unit. A multi-viewpoint image depth value extraction program which calculates a mean value again by excluding depth values having a difference larger than a predetermined difference .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007320769A JP4958302B2 (en) | 2007-12-12 | 2007-12-12 | Multi-viewpoint image depth value extraction apparatus, method and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007320769A JP4958302B2 (en) | 2007-12-12 | 2007-12-12 | Multi-viewpoint image depth value extraction apparatus, method and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009146034A JP2009146034A (en) | 2009-07-02 |
JP4958302B2 true JP4958302B2 (en) | 2012-06-20 |
Family
ID=40916596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007320769A Expired - Fee Related JP4958302B2 (en) | 2007-12-12 | 2007-12-12 | Multi-viewpoint image depth value extraction apparatus, method and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4958302B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5299214B2 (en) * | 2009-10-20 | 2013-09-25 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP5375531B2 (en) * | 2009-11-06 | 2013-12-25 | 株式会社リコー | Distance image acquisition device and distance image acquisition processing method |
JP5549283B2 (en) * | 2010-03-08 | 2014-07-16 | 株式会社リコー | Distance acquisition device |
JP5462722B2 (en) * | 2010-06-17 | 2014-04-02 | 富士フイルム株式会社 | Stereoscopic imaging device, stereoscopic image display device, and stereoscopic effect adjustment method |
JP5715534B2 (en) * | 2011-09-26 | 2015-05-07 | 日立マクセル株式会社 | Stereoscopic image processing apparatus and image display apparatus |
JP2012147160A (en) * | 2011-01-11 | 2012-08-02 | Nec Personal Computers Ltd | Three-dimensional image processing apparatus |
JP2012169730A (en) * | 2011-02-10 | 2012-09-06 | Nec Personal Computers Ltd | Image processing method and image processing device |
JP6039178B2 (en) * | 2011-09-15 | 2016-12-07 | シャープ株式会社 | Image encoding apparatus, image decoding apparatus, method and program thereof |
WO2014030571A1 (en) * | 2012-08-23 | 2014-02-27 | シャープ株式会社 | Stereoscopic image processing device, stereoscopic image processing method, and program |
CN105120255B (en) * | 2015-09-15 | 2018-11-20 | Tcl集团股份有限公司 | A kind of smoothing method of disparity map, device and electronic equipment |
JP2018004554A (en) * | 2016-07-07 | 2018-01-11 | アペックスエナジー株式会社 | Device and method for calculating three-dimensional coordinate of a characteristic point of object |
CN113284137B (en) * | 2021-06-24 | 2023-07-18 | 中国平安人寿保险股份有限公司 | Paper fold detection method, device, equipment and storage medium |
CN114754732B (en) * | 2022-03-11 | 2023-09-05 | 江苏电力信息技术有限公司 | Distance measurement method based on multi-eye vision |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02268215A (en) * | 1989-04-10 | 1990-11-01 | Graphics Commun Technol:Kk | Method and apparatus for detecting distance |
JP3287465B2 (en) * | 1999-09-22 | 2002-06-04 | 富士重工業株式会社 | Stereo image processing device |
JP2001116513A (en) * | 1999-10-18 | 2001-04-27 | Toyota Central Res & Dev Lab Inc | Distance image calculating device |
JP4537597B2 (en) * | 2001-02-22 | 2010-09-01 | オリンパス株式会社 | Parallax measuring device |
GB2418314A (en) * | 2004-09-16 | 2006-03-22 | Sharp Kk | A system for combining multiple disparity maps |
-
2007
- 2007-12-12 JP JP2007320769A patent/JP4958302B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009146034A (en) | 2009-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4958302B2 (en) | Multi-viewpoint image depth value extraction apparatus, method and program thereof | |
JP4958233B2 (en) | Multi-view image creation system and multi-view image creation method | |
JP6147172B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and program | |
TWI387935B (en) | Image generation method, program therefor, and storage medium for storing the program | |
CN107077743A (en) | System and method for the dynamic calibration of array camera | |
US8879794B2 (en) | Tracking-frame initial-position setting device and method of controlling operation of same | |
US20110234765A1 (en) | Image processing apparatus, image processing method, image processing program, and compound eye digital camera | |
US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
JP6020471B2 (en) | Image processing method, image processing apparatus, and image processing program | |
US20110080463A1 (en) | Image processing apparatus, method, and recording medium | |
US10142613B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP2012079251A (en) | Image processing apparatus and image processing system | |
KR100943635B1 (en) | Method and apparatus for generating disparity map using digital camera image | |
KR102310789B1 (en) | Apparatus and method for estimating camera pose and depth using images continuously acquired at various viewpoints | |
JP5492223B2 (en) | Motion vector detection apparatus and method | |
JP6494402B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2009047498A (en) | Stereoscopic imaging device, control method of stereoscopic imaging device, and program | |
JP6395429B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
JP4944046B2 (en) | Video encoding method, decoding method, encoding device, decoding device, program thereof, and computer-readable recording medium | |
KR101316196B1 (en) | Apparatus and method for enhancing stereoscopic image, recording medium thereof | |
JP6901424B2 (en) | Image processing device and image processing method | |
JP6175878B2 (en) | Image processing circuit, image processing apparatus, and image processing method | |
JP6648916B2 (en) | Imaging device | |
JP6332982B2 (en) | Image processing apparatus and method | |
KR101544156B1 (en) | Video retargeting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110913 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120316 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150330 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |