WO2014030571A1

WO2014030571A1 - 立体画像処理装置、立体画像処理方法およびプログラム

Info

Publication number: WO2014030571A1
Application number: PCT/JP2013/071824
Authority: WO
Inventors: 浜地　淳; 照久増井; 陽介中邨
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-08-23
Filing date: 2013-08-12
Publication date: 2014-02-27
Anticipated expiration: 2015-02-23
Also published as: US20150222879A1; US9654764B2

Abstract

少ない演算量で視差マップ（デプスマップ）を取得するとともに、精度の高い立体画像処理を実行することができる立体画像処理装置を実現する。立体画像処理装置（１０００）は、デプスマップ生成部（１）と、デプスマップ補正部（２）と、を備える。デプスマップ生成部（１）は、第１視点用画像および第２視点用画像を用いて、複数の画素からなるブロック単位でデプス値を取得し、デプスマップを生成する。デプスマップ補正部（２）は、デプスマップ上において、処理対象のブロックである注目ブロックの周辺のブロックのデプス値に基づいて、注目ブロック内に境界領域が含まれるか否かの判定を行うとともに、注目ブロック内に境界領域が含まれると判定された場合、注目ブロック内において、ブロックより小さい単位である補正領域単位でデプス値を補正する。

Description

立体画像処理装置、立体画像処理方法およびプログラム

　本発明は、立体画像処理技術に関する。特に、立体画像（ステレオ画像）を処理する場合に用いられるデプスマップ（距離画像）の補正に関する。

　異なる視点により取得された右眼用画像および左眼用画像からなる立体画像（ステレオ画像）に対して、距離情報を用いて様々な処理を行う技術がある。

　距離情報を用いて立体画像に対して処理を行う場合、例えば、右眼用画像および左眼用画像から視差マップ（デプスマップ）を取得し、取得した視差マップ（デプスマップ）を用いて、立体画像に対して処理を行う。

　具体的には、右眼用画像および左眼用画像のうちの一方の画像を基準画像とし、当該基準画像の画素ごとに、対応する他方の画像（基準画像ではない画像）の画素との水平方向のズレ量である視差を算出し、算出した視差を当該視差に対応する画素の位置（画像上の位置）にマッピングすることで、１画面分の視差マップ（デプスマップ）を取得することができる。そして、取得した視差マップ（デプスマップ）を用いることで、画素ごとの距離情報（デプス値）が取得できるので、処理対象画素に対して、距離情報（デプス値）に応じた様々な処理を行うことができる。

　例えば、特許文献１に開示されているように、視差マップ（デプスマップ）を用いることで、オクルージョン領域を検出することや、オクルージョン領域の視差の補正を行うことができる。

特開２０１１－６０１１６号公報

　しかしながら、視差マップ（デプスマップ）を取得する場合、画素ごとに、視差を算出すると演算量が多くなり、高速な処理を行うことができない。

　そこで、複数の画素からなるブロックごとに視差を算出することで、視差マップ（デプスマップ）を少ない演算量で取得し、高速な処理を実現させることが考えられる。

　ブロックごとに視差を算出して取得した視差マップ（デプスマップ）を用いて、立体画像に対する処理を行う場合、高速な処理を実現することができるが、同一ブロック内に視差が大きく異なる画素が含まれていた場合（例えば、前景と背景との境界が同一ブロック内に含まれている場合）、当該ブロックに含まれる画素に対して、視差マップから取得した視差あるいは距離情報（デプス値）を用いて、処理を行うと適切な処理が実行されないことがある。このような場合、処理結果の立体画像において、当該ブロック（視差（デプス値）が大きく異なる画素が含まれるブロック）内にジャギーが発生する等の副作用が生じることがある。

　そこで、本発明は、上記課題に鑑み、少ない演算量で視差マップ（デプスマップ）を取得するとともに、精度の高い立体画像処理を実行することができる立体画像処理装置、立体処理方法、および、プログラムを実現することを目的とする。

　上記課題を解決するために、第１の構成の立体画像処理装置は、デプスマップ生成部と、デプスマップ補正部と、を備える立体画像処理装置である。

　デプスマップ生成部は、第１視点用画像および第２視点用画像を用いて、複数の画素からなるブロック単位でデプス値を取得し、デプスマップを生成する。

　デプスマップ補正部は、デプスマップ上において、処理対象のブロックである注目ブロックの周辺のブロックのデプス値に基づいて、注目ブロック内に境界領域が含まれるか否かの判定を行うとともに、注目ブロック内に境界領域が含まれると判定された場合、注目ブロック内において、ブロックより小さい単位である補正領域単位でデプス値を補正する。

　本発明によれば、少ない演算量で視差マップ（デプスマップ）を取得するとともに、精度の高い立体画像処理を実行することができる立体画像処理装置、立体処理方法、および、プログラムを実現することができる。

第１実施形態の立体画像処理装置１０００の概略構成図。デプスマップの取得方法を説明するための左眼用画像Ｌｉｎの模式図。デプスマップの取得方法を説明するための右眼用画像Ｒｉｎの模式図。デプスマップの取得方法を説明するための左眼用画像Ｌｉｎの模式図。デプスマップの取得方法を説明するための右眼用画像Ｒｉｎの模式図。デプスマップの取得方法を説明するための模式図。デプスマップの一例を模式的に示す図。分割ブロック内に斜め方向の境界領域が含まれているか否かを検出するための４つのパターンを示す図。デプスマップ補正部２で実行されるデプスマップ補正処理のフローチャート。デプスマップ補正部２で実行されるデプスマップ補正処理の補正処理（ｐｔ）のフローチャート。値ｐｔ、値ｖｅｃ１および値ｖｅｃ２の関係を示す表。処理対象の分割ブロックと上下左右に隣接する分割ブロックのデプス値との関係を示す図。パターン１における補正処理を行うための２次元データ配列を示す図。パターン２における補正処理を行うための２次元データ配列を示す図。パターン３における補正処理を行うための２次元データ配列を示す図。パターン４における補正処理を行うための２次元データ配列を示す図。

　［第１実施形態］
　第１実施形態について、図面を参照しながら、以下、説明する。

　＜１．１：立体画像処理装置の構成＞
　図１は、第１実施形態に係る立体画像処理装置１０００の概略構成図である。

　立体画像処理装置１０００は、図１に示すように、デプスマップ生成部１と、デプスマップ補正部２と、画像処理部３と、を備える。

　デプスマップ生成部１は、立体画像（ステレオ画像）を構成する右眼用画像Ｒｉｎおよび左眼用画像Ｌｉｎを入力とし、入力された右眼用画像Ｒｉｎおよび左眼用画像Ｌｉｎのいずれか一方の画像を基準画像に設定し、他方の画像を参照画像に設定する。そして、デプスマップ生成部１は、基準画像を所定の大きさのブロック（複数の画素からなるブロック）に分割し、分割したブロック（以下、「分割ブロック」という。）に対応する参照画像上の位置を特定するマッチング処理を実行する。デプスマップ生成部１は、このマッチング処理を全ての分割ブロックについて実行する。デプスマップ生成部１は、マッチング処理を行うことで、基準画像上の全ての分割ブロックについて視差（デプス値）を検出し、検出した視差（デプス値）を対応する分割ブロックの位置にマッピングすることで、デプスマップを取得する。そして、デプスマップ生成部１は、取得したデプスマップをデプスマップ補正部２に出力する。

　デプスマップ補正部２は、デプスマップ生成部１により取得されたデプスマップを入力とし、入力されたデプスマップに対して、分割ブロックごとに、補正対象ブロックとするべきか否かの判定を行い、補正対象ブロックとするべきであると判定された分割ブロックに対して、当該分割ブロック内に含まれる画素ごとに、デプス値を補正する（詳細については、後述）。デプスマップ補正部２は、デプスマップ生成部１により取得されたデプスマップに対して、上記補正処理を実行することで取得したデプスマップを補正デプスマップとして、画像処理部３に出力する。

　画像処理部３は、立体画像（ステレオ画像）を構成する右眼用画像Ｒｉｎおよび左眼用画像Ｌｉｎと、デプスマップ補正部２により取得された補正デプスマップとを入力とする。画像処理部３は、補正デプスマップから取得される画素ごと（あるいはブロックごと）のデプス値（距離情報）に基づいて、右眼用画像Ｒｉｎおよび／または左眼用画像Ｌｉｎに対して、所望の画像処理を実行する。そして、画像処理部３は、画像処理後の右眼用画像および左眼画像を、右眼用出力画像Ｒｏｕｔおよび左眼用出力画像Ｌｏｕｔとして、出力する。

　＜１．２：立体画像処理装置の動作＞
　以上のように構成された立体画像処理装置１０００の動作について、以下、説明する。

　図２は、デプスマップの取得方法を説明するための模式図である。図２Ａは、左眼用画像Ｌｉｎである。図２Ｂは、右眼用画像Ｒｉｎである。図２Ｃは、左眼用画像Ｌｉｎ上に設定された分割ブロックと探索領域との関係（一例）を示す図である。図２Ｄは、右眼用画像Ｒｉｎ上において、マッチング処理により取得される視差（デプス値）について説明するための図である。図２Ｅは、デプスマップを説明するための図である。

　以下では、図２Ａに示す左眼用画像Ｌｉｎおよび図２Ｂに示す右眼用画像Ｒｉｎが立体画像処理装置１０００に入力された場合について説明する。

　まず、立体画像（ステレオ画像）を構成する右眼用画像Ｒｉｎおよび左眼用画像Ｌｉｎがデプスマップ生成部１に入力される。

　デプスマップ生成部１では、入力された右眼用画像Ｒｉｎおよび左眼用画像Ｌｉｎのいずれか一方の画像が基準画像に設定され、他方の画像が参照画像に設定される。以下では、説明便宜のため、左眼用画像Ｌｉｎが基準画像として設定され、右眼用画像Ｒｉｎが参照画像として設定された場合について説明する。なお、基準画像および参照画像の設定方法は、上記と逆であってもよい。

　デプスマップ生成部１では、図２Ｃに示すように、基準画像である左眼用画像Ｌｉｎが所定の大きさのブロック（複数の画素からなるブロック）に分割され、分割されたブロック（以下、「分割ブロック」という。）ごとに参照画像である右眼用画像Ｒｉｎを用いてマッチング処理が実行される。なお、以下では、分割ブロックは、ｎ画素×ｍ画素（ｎ，ｍ：自然数）からなるブロックである場合について説明する。

　ここで、図２Ｃに示す、左眼用画像Ｌｉｎ上の分割ブロックＢＬ１を処理対象とした場合のマッチング処理について説明する。

　デプスマップ生成部１は、参照画像である右眼用画像Ｒｉｎ上において、基準画像である右眼用画像Ｒｉｎ上の分割ブロックＢＬ１と同じ座標位置を中心とする左右の所定の範囲（水平方向の所定の範囲）を探索領域に設定する。図２Ｃ、図２Ｄの場合、分割ブロックＢＬ１の探索領域は、矢印Ｒ１で示した領域である。なお、図２Ｃ、図２Ｄに示した分割ブロックの探索領域は一例であり、これに限定されることはなく、他の大きさの探索領域を設定してもよい。

　デプスマップ生成部１は、右眼用画像Ｒｉｎ上において、左眼用画像Ｌｉｎ上の分割ブロックＢＬ１と最も類似する画像領域を、設定した探索領域において検出する。

　具体的には、デプスマップ生成部１は、右眼用画像Ｒｉｎ上の探索領域内において、ｎ画素×ｍ画素からなる矩形領域（分割ブロックと同じサイズの矩形領域）を左右にずらしながら、左眼用画像Ｌｉｎ上の分割ブロックと最も一致度の高い領域を検出する。一致度は、分割ブロックＢＬ１に含まれる各画素の画素値と、ｎ画素×ｍ画素からなる矩形領域（探索用ブロック）に含まれる各画素の画素値（領域（ブロック）内の相対位置が同じ画素の画素値）との差の絶対値の総和であるＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）値により求められる。つまり、分割ブロックＢＬ１の左上の画素の座標を（ｘ０，ｙ０）とし、分割ブロックＢＬ１に含まれる、座標（ｘ，ｙ）の画素の画素値をＳ（ｘ，ｙ）とし、ｎ画素×ｍ画素からなる矩形領域（探索用ブロック）の左上の画素の座標を（ｘ１，ｙ１）とし、探索用ブロックに含まれる、座標（ｘ，ｙ）の画素の画素値をＤ（ｘ，ｙ）とすると、ＳＡＤ値は、下記（数式１）により求められる。

　デプスマップ生成部１は、右眼用画像Ｒｉｎ上の探索領域内において、上記（数式１）により算出したＳＡＤ値（一致度）が最も小さくなる位置を検出し、検出した位置（右眼用画像Ｒｉｎ上の位置）と、左眼用画像Ｌｉｎ上の分割ブロックＢＬの位置とのズレ量（水平方向のズレ量）を、分割ブロックＢＬの視差（デプス値）として検出する。図２Ｄの場合、矢印ＡＲ１の長さが分割ブロックＢＬの視差（デプス値）に相当する。なお、本実施形態では、右方向にずれている場合の視差（デプス値）は正の値をとり、左方向にずれている場合の視差（デプス値）は負の値をとるものとする。なお、上記では、ＳＡＤ値を用いる場合について説明しているが、ＳＡＤ値の代わりにＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅ）値を用いて、デプスマップ生成部１は、一致度を算出するようにしてもよい。

　デプスマップ生成部１は、図２Ｃの分割ブロックＢＬ２についても、図２Ｃに示す矢印Ｒ２に相当する探索領域において、上記同様の処理を行うことにより、図２Ｄに示す矢印ＡＲ２の長さに相当する値を分割ブロックＢＬ２の視差（デプス値）として取得する。

　図２Ａ～図２Ｄの場合、分割ブロックＢＬ１の視差（デプス値）は、正の値α（α＞０）であり、分割ブロックＢＬ２の視差（デプス値）は、負の値－β（β＞０）である。つまり、図２Ａ、図２Ｂに示す立体画像を立体画像表示させた場合、分割ブロックＢＬ１に対応する被写体は、仮想スクリーン（視差が「０」の位置）よりも奥に定位し、分割ブロックＢＬ２に対応する被写体は、仮想スクリーンよりも手前に定位する。

　以上で説明したマッチング処理を、全ての分割ブロックに対して実行することで、各分割ブロックの視差（デプス値）が取得される。そして、デプスマップ生成部１は、取得した視差（デプス値）を各分割ブロックの画像上の位置にマッピングすることで、デプスマップを取得する。例えば、図２Ｅに示すように、分割ブロックＢＬ１の位置に、マッチング処理により取得された視差（デプス値）「＋α」を、分割ブロックＢＬ２の位置に、マッチング処理により取得された視差（デプス値）「－β」を、それぞれ、マッピングすることで、デプスマップが取得される。なお、デプスマップは、必ずしも画像データとして保持される必要はなく、各分割ブロックと、当該分割ブロックの視差（デプス値）との関係が分かるデータ形式で保持されるものであればよい。

　以上のようにして、デプスマップ生成部１で取得されたデプスマップは、デプスマップ補正部２に出力される。

　デプスマップ補正部２は、入力されたデプスマップに対して、分割ブロックごとに、補正対象ブロックとするべきか否かの判定を行い、補正対象ブロックとするべきであると判定された分割ブロックに対して、当該分割ブロック内に含まれる画素ごとに、デプス値補正する。

　図３に、デプスマップの一例を示す。なお、図３のデプスマップは、１枚の画像（例えば、１フレーム画像）の一部の画像領域に対応するデプスマップの一例である。図３の各分割ブロックの中の数値は、各分割ブロックのデプス値を示しており、一例として、デプス値が－１２８～１２７の範囲の値である場合を示している。また、図３は、デプスマップが画素ごとにデプス値を保持する形式である場合を示している。つまり、図３は、１つの分割ブロックが８画素×８画素から構成されており、各分割ブロック内の全て画素（６４個の画素）に、同じデプス値（分割ブロックのデプス値）が設定されている場合を示している。図３に示すように、例えば、デプス値が「－８２」の分割ブロックに含まれる全ての画素（６４個の画素）のデプス値は、それぞれ、「－８２」に設定されている。

　デプスマップ補正部２では、デプスマップに対して、図４に示すパターンを適用することで、処理対象の分割ブロックを補正対象ブロックとするべきか否かの判定処理が実行される。

　図４は、分割ブロック内に斜め方向の境界領域が含まれているか否かを検出するための４つのパターンを示す図である。図４は、３×３の９個の分割ブロックを示しており、中心の分割ブロックが処理対象のブロックである。

　図４（ａ）に示すパターン１は、処理対象分割ブロック（中央の分割ブロック）（以下、「注目ブロック」という。）の下および右に隣接する分割ブロックのデプス値（視差）が所定の閾値よりも小さく、かつ、注目ブロックの上および左に隣接する分割ブロックのデプス値が所定の閾値よりも大きい場合を示している。つまり、パターン１は、右下領域が近景であり、左上領域が遠景であるような画像領域を検出するためのパターンである。

　図４（ｂ）に示すパターン２は、注目ブロックの下および左に隣接する分割ブロックのデプス値（視差）が所定の閾値よりも小さく、かつ、注目ブロックの上および右に隣接する分割ブロックのデプス値が所定の閾値よりも大きい場合を示している。つまり、パターン２は、左下領域が近景であり、右上領域が遠景であるような画像領域を検出するためのパターンである。

　図４（ｃ）に示すパターン３は、注目ブロックの上および左に隣接する分割ブロックのデプス値（視差）が所定の閾値よりも小さく、かつ、注目ブロックの下および右に隣接する分割ブロックのデプス値が所定の閾値よりも大きい場合を示している。つまり、パターン３は、左上領域が近景であり、右下領域が遠景であるような画像領域を検出するためのパターンである。

　図４（ｄ）に示すパターン４は、注目ブロックの上および右に隣接する分割ブロックのデプス値（視差）が所定の閾値よりも小さく、かつ、注目ブロックの下および左に隣接する分割ブロックのデプス値が所定の閾値よりも大きい場合を示している。つまり、パターン４は、右上領域が近景であり、左下領域が遠景であるような画像領域を検出するためのパターンである。

　なお、上記の「所定の閾値」は、立体画像処理を行った場合に、ジャギー等の副作用の発生が十分に抑制されるように設定されることが好ましい。閾値は、対象となるデプスマップの状況により変化させるようにしてもよい。例えば、デプスマップ全体から、閾値を決定するテーブルを作成する方法や、処理対処の画像上の前景の形状から前景のオブジェクト（人物など）を判断するアルゴリズムを導入して閾値を判断する手法を採用し、閾値を決定するようにしてもよい。

　ここで、図５および図６に示すフローチャートを用いて、デプスマップ補正部２で実行されるデプスマップ補正処理について説明する。

　（Ｓ１）：
　デプスマップ補正部２は、入力されたデプスマップにおいて、処理対象ブロックとする分割ブロック（注目ブロック）を選択する（ステップＳ１）。

　≪パターン判定処理≫
　（Ｓ２～Ｓ９）：
（１）ステップＳ２にて、ステップＳ１で選択された注目ブロックが、図４に示すパターン１の条件を満たすか判定される。つまり、注目ブロックの上および左に隣接する分割ブロックのデプス値が所定の閾値ｔｈ１よりも大きく、かつ、注目ブロックの下および右に隣接する分割ブロックのデプス値が所定の閾値ｔｈ２より小さい場合（パターン１の条件）（ステップＳ２において「Ｙｅｓ」）、デプスマップ補正部２は、注目ブロックがパターン１の条件を満たすと判定し、変数ｐｔをｐｔ＝０にセットする（ステップＳ３）。そして、注目ブロックに対してパターン１の場合、すなわち、ｐｔ＝０の場合の補正処理（ステップＳ１０の処理）が実行される（ステップＳ１０の補正処理については後述）。一方、上記パターン１の条件を満たさない場合（ステップＳ２において「Ｎｏ」）、デプスマップ補正部２は、処理をステップ４に進める。
（２）ステップＳ４にて、注目ブロックが、図４に示すパターン２の条件を満たすか判定される。つまり、注目ブロックの上および右に隣接する分割ブロックのデプス値が所定の閾値ｔｈ１よりも大きく、かつ、注目ブロックの下および左に隣接する分割ブロックのデプス値が所定の閾値ｔｈ２より小さい場合（パターン２の条件）（ステップＳ４において「Ｙｅｓ」）、デプスマップ補正部２は、注目ブロックがパターン２の条件を満たすと判定し、変数ｐｔをｐｔ＝１にセットする（ステップＳ５）。そして、注目ブロックに対してパターン２の場合、すなわち、ｐｔ＝１の場合の補正処理（ステップＳ１０の処理）が実行される（ステップＳ１０の補正処理については後述）。一方、上記パターン２の条件を満たさない場合（ステップＳ４において「Ｎｏ」）、デプスマップ補正部２は、処理をステップＳ６に進める。
（３）ステップＳ６にて、注目ブロックが、図４に示すパターン３の条件を満たすか判定される。つまり、注目ブロックの下および右に隣接する分割ブロックのデプス値が所定の閾値ｔｈ１よりも大きく、かつ、注目ブロックの上および左に隣接する分割ブロックのデプス値が所定の閾値ｔｈ２より小さい場合（パターン３の条件）（ステップＳ６において「Ｙｅｓ」）、デプスマップ補正部２は、注目ブロックがパターン３の条件を満たすと判定し、変数ｐｔをｐｔ＝２にセットする（ステップＳ７）。そして、注目ブロックに対してパターン３の場合、すなわち、ｐｔ＝２の場合の補正処理（ステップＳ１０の処理）が実行される（ステップＳ１０の補正処理については後述）。一方、上記パターン３の条件を満たさない場合（ステップＳ６において「Ｎｏ」）、デプスマップ補正部２は、処理をステップＳ８に進める。
（４）ステップＳ８にて、注目ブロックが、図４に示すパターン４の条件を満たすか判定される。つまり、注目ブロックの下および左に隣接する分割ブロックのデプス値が所定の閾値ｔｈ１よりも大きく、かつ、注目ブロックの上および右に隣接する分割ブロックのデプス値が所定の閾値ｔｈ２より小さい場合（パターン４の条件）（ステップＳ８において「Ｙｅｓ」）、デプスマップ補正部２は、注目ブロックがパターン４の条件を満たすと判定し、変数ｐｔをｐｔ＝３にセットする（ステップＳ９）。そして、注目ブロックに対してパターン４の場合、すなわち、ｐｔ＝３の場合の補正処理（ステップＳ１０の処理）が実行される（ステップＳ１０の補正処理については後述）。一方、上記パターン４の条件を満たさない場合（ステップＳ６において「Ｎｏ」）、デプスマップ補正部２は、処理をステップＳ１１に進める。

　（Ｓ１１）：
　ステップＳ１１では、ステップＳ８での判定結果が「Ｎｏ」の場合、または、ステップＳ１０の処理が実行された後、デプスマップ補正部２は、未処理の分割ブロックがないか判定し、未処理の分割ブロックがある場合、処理をＳ１に戻し、未処理の分割ブロックがない場合、処理を完了させる。

　以上により、デプスマップの全ての分割ブロックに対して、上記処理が実行される。

　≪デプス値の補正処理≫
　ここで、ステップＳ１０のパターンごとの補正処理について、図６のフローチャートを用いて説明する。

　（Ｓ１０１）：
　ステップＳ１０１にて、デプスマップ補正部２は、図７Ａに示すテーブル１から、該当パターンを示す変数ｐｔの値に基づいて、値ｖｅｃ１および値ｖｅｃ２を決定する。

　図７Ａに示すテーブル１は、値ｐｔにより設定される値ｖｅｃ１および値ｖｅｃ２を示している。例えば、ｐｔ＝０（パターン１）の場合、
　　ｖｅｃ１＝Ｖ１
　　ｖｅｃ２＝Ｖ４
に設定される。値Ｖ１～Ｖ４は、図７Ｂに示すように、処理対象の分割ブロック（図７Ｂにおいて、「Ｖｅｃ」で示すブロック）の上に隣接する分割ブロックのデプス値がＶ１であり、処理対象の分割ブロックの左に隣接する分割ブロックのデプス値がＶ２であり、処理対象の分割ブロックの右に隣接する分割ブロックのデプス値がＶ３であり、処理対象の分割ブロックの下に隣接する分割ブロックのデプス値がＶ４である。

　（Ｓ１０２）：
　ステップＳ１０２にて、デプスマップ補正部２は、ｙの値を「０」に設定する。なお、ｙの値は、分割ブロック内の各画素のデプス値を補正するための２次元データ配列の行を示す値である。具体的には、図８Ａ～図８Ｄに示す２次元データ配列によりパターンごとの補正処理が実行される。図８Ａは、パターン１の場合における分割ブロック内の各画素のデプス値を補正するための２次元データ配列である。図８Ｂは、パターン２の場合における分割ブロック内の各画素のデプス値を補正するための２次元データ配列である。図８Ｃは、パターン３の場合における分割ブロック内の各画素のデプス値を補正するための２次元データ配列である。図８Ｄは、パターン４の場合における分割ブロック内の各画素のデプス値を補正するための２次元データ配列である。

　なお、図８Ａ～図８Ｄに示した２次元データ配列は、１つの分割ブロックが８画素×８画素からなる場合の一例である。

　（Ｓ１０３）：
　ステップＳ１０３にて、デプスマップ補正部２は、ｘの値を「０」に設定する。なお、ｘの値は、分割ブロック内の各画素のデプス値を補正するための２次元データ配列の列を示す値である。

　（Ｓ１０４）：
　ステップＳ１０４にて、デプスマップ補正部２は、処理対象の画素（以下、「注目画素」という。）のデプス値を補正するための係数ｋを決定する。具体的には、
　　ｋ＝ｐａｔｔｅｒｎ＿ｔｂｌ［ｐｔ］［ｙ］［ｘ］
により、補正係数ｋを決定する。なお、ｐａｔｔｅｒｎ＿ｔｂｌ［ｐｔ］［ｙ］［ｘ］は、処理対象の分割ブロックが満たすパターンを示す変数ｐｔ、注目画素の分割ブロック内の相対座標位置（ｘ，ｙ）により決定される値である。具体的には、以下の通りである。
（１）処理対象の分割ブロックが満たすパターンがパターン１である場合、ｐａｔｔｅｒｎ＿ｔｂｌ［０］［ｙ］［ｘ］により、補正係数ｋが決定される。つまり、ｐａｔｔｅｒｎ＿ｔｂｌ［０］［ｙ］［ｘ］は、図８Ａに示す２次元配列の（ｘ，ｙ）の位置のデータである。
（２）処理対象の分割ブロックが満たすパターンがパターン２である場合、ｐａｔｔｅｒｎ＿ｔｂｌ［１］［ｙ］［ｘ］により、補正係数ｋが決定される。つまり、ｐａｔｔｅｒｎ＿ｔｂｌ［１］［ｙ］［ｘ］は、図８Ｂに示す２次元配列の（ｘ，ｙ）の位置のデータである。
（３）処理対象の分割ブロックが満たすパターンがパターン３である場合、ｐａｔｔｅｒｎ＿ｔｂｌ［２］［ｙ］［ｘ］により、補正係数ｋが決定される。つまり、ｐａｔｔｅｒｎ＿ｔｂｌ［２］［ｙ］［ｘ］は、図８Ｃに示す２次元配列の（ｘ，ｙ）の位置のデータである。
（４）処理対象の分割ブロックが満たすパターンがパターン４である場合、ｐａｔｔｅｒｎ＿ｔｂｌ［３］［ｙ］［ｘ］により、補正係数ｋが決定される。つまり、ｐａｔｔｅｒｎ＿ｔｂｌ［３］［ｙ］［ｘ］は、図８Ｄに示す２次元配列の（ｘ，ｙ）の位置のデータである。

　（Ｓ１０５）：
　ステップＳ１０５にて、デプスマップ補正部２は、ステップＳ１０４にて決定された補正係数ｋを用いて、以下の数式により、注目画素のデプス値の補正値Ｖｅｃが算出される。

　　Ｖｅｃ＝（ｋ×ｖｅｃ１＋（８－ｋ）×ｖｅｃ２）／８
　具体的には、以下の（１）～（４）に示すようにして、パターンごとにデプス値の補正値Ｖｅｃが算出される。
（１）パターン１の場合
　処理対象の分割ブロックが満たすパターンがパターン１である場合、図７Ａより、
　　ｖｅｃ１＝Ｖ１（注目ブロックの上に隣接する分割ブロックのデプス値）、
　　ｖｅｃ２＝Ｖ４（注目ブロックの下に隣接する分割ブロックのデプス値）
であるので、
　　Ｖｅｃ＝（ｋ×ｖｅｃ１＋（８－ｋ）×ｖｅｃ２）／８
　　　　　＝（ｋ×Ｖ１＋（８－ｋ）×Ｖ４）／８
により、注目画素のデプス補正値Ｖｅｃが算出される。処理対象の分割ブロックが満たすパターンがパターン１である場合、図８Ａから分かるように、補正係数ｋは、左上にいく程、大きな値（「８」に近い値）となり、右下にいく程、小さな値（「０」に近い値）となるように設定されている。上記数式から分かるように、係数ｋは、内分比を決定する数値であるので、分割ブロック内において、左上にいく程、注目ブロックの上に隣接する分割ブロックのデプス値Ｖ１に近い値をとり、逆に、右下にいく程、注目ブロックの下に隣接する分割ブロックのデプス値Ｖ４に近い値をとることになる。

　また、図８Ａの２次元データ配列の右斜め上方向の対角線より下側（右下側）のデータが「０」に設定されているので、注目ブロックの右斜め上方向の対角線より下側（右下側）の画素のデプス補正値が値Ｖ４となる。パターン１の場合、注目ブロックの下側の分割ブロックのデプス値が小さい（つまり、注目ブロックの下側の領域が近景である）ので、図８Ａに示す２次元データ配列により、近景を重視したデプス値の補正処理が実行できる。
（２）パターン２の場合
　処理対象の分割ブロックが満たすパターンがパターン２である場合、図７Ａより、
　　ｖｅｃ１＝Ｖ２（注目ブロックの左に隣接する分割ブロックのデプス値）、
　　ｖｅｃ２＝Ｖ３（注目ブロックの右に隣接する分割ブロックのデプス値）
であるので、
　　Ｖｅｃ＝（ｋ×ｖｅｃ１＋（８－ｋ）×ｖｅｃ２）／８
　　　　　＝（ｋ×Ｖ２＋（８－ｋ）×Ｖ３）／８
により、注目画素のデプス補正値Ｖｅｃが算出される。処理対象の分割ブロックが満たすパターンがパターン２である場合、図８Ｂから分かるように、補正係数ｋは、左下にいく程、大きな値（「８」に近い値）となり、右上にいく程、小さな値（「０」に近い値）となるように設定されている。上記数式から分かるように、係数ｋは、内分比を決定する数値であるので、分割ブロック内において、左下にいく程、注目ブロックの左に隣接する分割ブロックのデプス値Ｖ２に近い値をとり、逆に、右上にいく程、注目ブロックの右に隣接する分割ブロックのデプス値Ｖ３に近い値をとることになる。

　また、図８Ｂの２次元データ配列の左斜め上方向の対角線より下側（左下側）のデータが「７」に設定されているので、注目ブロックの左斜め上方向の対角線より下側（左下側）の画素のデプス補正値が値Ｖ２に近い値となる。パターン２の場合、注目ブロックの左側の分割ブロックのデプス値が小さい（つまり、注目ブロックの左側の領域が近景である）ので、図８Ｂに示す２次元データ配列により、近景を重視したデプス値の補正処理が実行できる。
（３）パターン３の場合
　処理対象の分割ブロックが満たすパターンがパターン３である場合、図７Ａより、
　　ｖｅｃ１＝Ｖ１（注目ブロックの上に隣接する分割ブロックのデプス値）、
　　ｖｅｃ２＝Ｖ４（注目ブロックの下に隣接する分割ブロックのデプス値）
であるので、
　　Ｖｅｃ＝（ｋ×ｖｅｃ１＋（８－ｋ）×ｖｅｃ２）／８
　　　　　＝（ｋ×Ｖ１＋（８－ｋ）×Ｖ４）／８
により、注目画素のデプス補正値Ｖｅｃが算出される。処理対象の分割ブロックが満たすパターンがパターン３である場合、図８Ｃから分かるように、補正係数ｋは、左上にいく程、大きな値（「８」に近い値）となり、右下にいく程、小さな値（「０」に近い値）となるように設定されている。上記数式から分かるように、係数ｋは、内分比を決定する数値であるので、分割ブロック内において、左上にいく程、注目ブロックの上に隣接する分割ブロックのデプス値Ｖ１に近い値をとり、逆に、右下にいく程、注目ブロックの下に隣接する分割ブロックのデプス値Ｖ４に近い値をとることになる。

　また、図８Ｃの２次元データ配列の右斜め上方向の対角線より上側（左上側）のデータが「７」に設定されているので、注目ブロックの右斜め上方向の対角線より上側（左上側）の画素のデプス補正値が値Ｖ１に近い値となる。パターン３の場合、注目ブロックの上側の分割ブロックのデプス値が小さい（つまり、注目ブロックの上側の領域が近景である）ので、図８Ｃに示す２次元データ配列により、近景を重視したデプス値の補正処理が実行できる。
（４）パターン４の場合
　処理対象の分割ブロックが満たすパターンがパターン４である場合、図７Ａより、
　　ｖｅｃ１＝Ｖ２（注目ブロックの左に隣接する分割ブロックのデプス値）、
　　ｖｅｃ２＝Ｖ３（注目ブロックの右に隣接する分割ブロックのデプス値）
であるので、
　　Ｖｅｃ＝（ｋ×ｖｅｃ１＋（８－ｋ）×ｖｅｃ２）／８
　　　　　＝（ｋ×Ｖ２＋（８－ｋ）×Ｖ３）／８
により、注目画素のデプス補正値Ｖｅｃが算出される。処理対象の分割ブロックが満たすパターンがパターン４である場合、図８Ｄから分かるように、補正係数ｋは、左下にいく程、大きな値（「８」に近い値）となり、右上にいく程、小さな値（「０」に近い値）となるように設定されている。上記数式から分かるように、係数ｋは、内分比を決定する数値であるので、分割ブロック内において、左下にいく程、注目ブロックの左に隣接する分割ブロックのデプス値Ｖ２に近い値をとり、逆に、右上にいく程、注目ブロックの右に隣接する分割ブロックのデプス値Ｖ３に近い値をとることになる。

　また、図８Ｄの２次元データ配列の左斜め上方向の対角線より上側（右上側）のデータが「０」に設定されているので、注目ブロックの左斜め上方向の対角線より上側（右上側）の画素のデプス補正値が値Ｖ３となる。パターン４の場合、注目ブロックの右側の分割ブロックのデプス値が小さい（つまり、注目ブロックの右側の領域が近景である）ので、図８Ｄに示す２次元データ配列により、近景を重視したデプス値の補正処理が実行できる。

　以上のように、上記（１）～（４）により、注目画素のデプス値の補正値Ｖｅｃが算出され、注目画素のデプス値が補正値Ｖｅｃに置換される。

　（Ｓ１０６）：
　ステップＳ１０６にて、ｘの値が「１」だけインクリメントされる。

　（Ｓ１０７）：
　ステップＳ１０７にて、ｘの値が「８」より小さいか判定され、ｘの値が「８」より小さい場合、ステップＳ１０４～Ｓ１０６の処理が繰り返し実行される。一方、ｘの値が「８」以上の場合、デプスマップ補正部２は、処理をステップＳ１０８に進める。

　（Ｓ１０８）：
　ステップＳ１０８にて、ｙの値が「１」だけインクリメントされる。

　（Ｓ１０９）：
　ステップＳ１０９にて、ｙの値が「８」より小さいか判定され、ｙの値が「８」より小さい場合、ステップＳ１０３に戻り、ステップＳ１０３移行の処理が繰り返し実行される。一方、ｙの値が「８」以上の場合、デプスマップ補正部２は、処理をステップＳ１１に進める（補正対象と判定された分割ブロック内の各画素のデプス値の補正処理を完了させる）。

　デプスマップ補正部では、上記処理を実行することにより、注目ブロック内の境界の状況に応じたデプス値の補正を適切に行うことができる。つまり、デプスマップ補正部では、以下の（１）～（４）にように処理を実行する。
（１）パターン１の場合、つまり、注目ブロック内に、右斜め上方向の境界（デプス値が大きく異なる領域）がある可能性が高く、かつ、注目ブロックの右下領域に近景がある場合、デプスマップ補正部は、注目ブロック内の右下領域の画素のデプス値をより近景となるように補正し（注目ブロックの下側の分割ブロックのデプス値に近づくように補正し）、かつ、注目ブロック内の左上領域の画素のデプス値をより遠景となるように補正する（注目ブロックの上側の分割ブロックのデプス値に近づくように補正する）。
（２）パターン２の場合、つまり、注目ブロック内に、左斜め上方向の境界（デプス値が大きく異なる領域）がある可能性が高く、かつ、注目ブロックの左下領域に近景がある場合、デプスマップ補正部は、注目ブロック内の左下領域の画素のデプス値をより近景となるように補正し（注目ブロックの左側の分割ブロックのデプス値に近づくように補正し）、かつ、注目ブロック内の右上領域の画素のデプス値をより遠景となるように補正する（注目ブロックの右側の分割ブロックのデプス値に近づくように補正する）。
（３）パターン３の場合、つまり、注目ブロック内に、右斜め上方向の境界（デプス値が大きく異なる領域）がある可能性が高く、かつ、注目ブロックの左上領域に近景がある場合、デプスマップ補正部は、注目ブロック内の左上領域の画素のデプス値をより近景となるように補正し（注目ブロックの上側の分割ブロックのデプス値に近づくように補正し）、かつ、注目ブロック内の右下領域の画素のデプス値をより遠景となるように補正する（注目ブロックの下側の分割ブロックのデプス値に近づくように補正する）。
（４）パターン４の場合、つまり、注目ブロック内に、左斜め上方向の境界（デプス値が大きく異なる領域）がある可能性が高く、かつ、注目ブロックの右上領域に近景がある場合、デプスマップ補正部は、注目ブロック内の右上領域の画素のデプス値をより近景となるように補正し（注目ブロックの右側の分割ブロックのデプス値に近づくように補正し）、かつ、注目ブロック内の左下領域の画素のデプス値をより遠景となるように補正する（注目ブロックの左側の分割ブロックのデプス値に近づくように補正する）。

　このように、デプスマップ補正部では、上記（１）～（４）のように処理を実行することにより、注目ブロック内の境界の状況に応じたデプス値の補正を適切に行うことができる。

　デプスマップ補正部２で、上記処理が実行され、補正されたデプスマップ（補正デプスマップ）は、画像処理部３に出力される。

　画像処理部３では、補正デプスマップから取得される画素ごと（あるいはブロックごと）のデプス値（距離情報）に基づいて、右眼用画像Ｒｉｎおよび／または左眼用画像Ｌｉｎに対して、所望の画像処理が実行される。画像処理部３では、斜め方向の境界を含む分割ブロック内の画素について、デプスマップ補正部２によりデプス値が適切に補正された補正デプスマップを用いて、右眼用画像Ｒｉｎおよび／または左眼用画像Ｌｉｎに対して、画像処理を実行することができる。したがって、例えば、画像処理部３にて、右眼用画像Ｒｉｎおよび／または左眼用画像Ｌｉｎに対して、視差変換処理や、デプス値により画素値を調整する処理（例えば、コントラスト調整処理）等を行う場合、ブロック単位でデプス値を取得したデプスマップ（補正処理を行っていないデプスマップ）を用いて処理したときに生じるジャギー等の副作用の発生を効果的に抑制することができる。

　以上のように、本実施形態の立体画像処理装置１０００では、ブロック単位でマッチング処理を行うことで、デプス値を取得し、分割ブロック内に境界を含まないブロックについては、ブロック単位で取得したデプス値を用いて、立体画像処理を行うことで、高速な処理を実現することができる。また、立体画像処理装置１０００では、分割ブロック内に境界を含む可能性の高いブロックについては、当該ブロック内において、ブロック単位でマッチング処理を行うことで取得したデプス値に対して、画素単位でデプス値の補正を行い、当該ブロックについては、補正されたデプス値を用いて、立体画像処理を行う。つまり、本実施形態の立体画像処理装置１０００では、ブロック単位でマッチング処理を行うことで少ない演算量でデプスマップを取得し、分割ブロック内に境界が含まれる場合のみ、当該分割ブロック内のデプス値を適切に補正する。したがって、立体画像処理装置１０００では、高速処理を実現することができるとともに、ジャギー等の副作用の発生を効果的に抑制した精度の高い立体画像処理を実行することができる。

　［他の実施形態］
　上記実施形態では、分割ブロックのサイズが８画素×８画素の場合について説明したが、分割ブロックのサイズは、これに限定されることはなく、他のサイズであってもよい。

　また、上記実施形態では、境界領域を含む分割ブロックについて、画素単位でデプス値を補正する場合に説明したが、これに限定されることはない。例えば、分割ブロックよりも小さい大きさの領域（例えば、分割ブロックの大きさが８画素×８画素の場合、２画素×２画素の領域）を設定し、当該設定した領域単位（例えば、２画素×２画素の領域）でデプス値の補正を行うようにしてもよい。

　また、上記実施形態の立体画像処理装置は、例えば、表示装置、撮像装置、映像送受信装置、映像記録再生装置等に搭載される。また、上記実施形態の立体画像処理装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。

　上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

　また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

　また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

　前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリを挙げることができる。

　上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

　なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

　［付記］
　なお、本発明は、以下のようにも表現することができる。

　第１の構成の立体画像処理装置は、デプスマップ生成部と、デプスマップ補正部と、を備える立体画像処理装置である。

　この立体画像処理装置では、複数の画素からなるブロック単位でデプス値を取得することでデプスマップを生成するので、少ない演算量でデプスマップを取得することができる。さらに、この立体画像処理装置では、注目ブロック内に境界領域（デプス値が大きく異なる領域）が含まれる場合に、ブロックより小さい単位である補正領域単位でデプス値を補正するので、デプス値を用いて立体画像処理を行う場合等において、精度の高い立体画像処理を実行することができる。

　なお、「第１視点画像」とは、例えば、第１視点から撮像された画像（例えば、右眼用画像）であり、「第２視点画像」とは、例えば、第１視点とは異なる視点である第２視点から撮像された画像（例えば、左眼用画像）である。

　また、「ブロックより小さい単位である補正領域」とは、ブロック内に含まれ、当該ブロックのサイズより小さい領域のことをいい、例えば、ブロックのサイズが８画素×８画素の場合、「補正領域」は、例えば、２画素×２画素からなる領域や、１画素からなる領域である。

　また、「デプスマップ」とは、画像上の位置と当該位置のデプス値とが対応付けられたデータのことをいい、例えば、２次元画像形式のデータ（距離画像）としてもよい。

　また、「デプスマップ上」とは、デプスマップを構成するデータに基づいて２次元画像形式の距離画像を生成した場合の当該「距離画像上」と同様の意味である。

　第２の構成の立体画像処理装置は、第１の構成において、デプスマップ補正部は、以下の（１）～（４）の処理を行う。
（１）デプスマップ上において、注目ブロックの上側に隣接するブロックである上側隣接ブロックのデプス値および注目ブロックの左側に隣接するブロックである左側隣接ブロックのデプス値がともに所定の位置である第１の位置より遠いことを示す値である場合で、かつ、デプスマップ上において、注目ブロックの下側に隣接するブロックである下側隣接ブロックのデプス値および注目ブロックの右側に隣接するブロックである右側隣接ブロックのデプス値がともに所定の位置である第２の位置より近いことを示す値である場合、注目ブロック内のデプス値を、上側隣接ブロックのデプス値と下側隣接ブロックのデプス値とを用いて、補正する。
（２）デプスマップ上において、上側隣接ブロックのデプス値および右側隣接ブロックのデプス値がともに第１の位置より遠いことを示す値である場合で、かつ、デプスマップ上において、左側隣接ブロックのデプス値および下側隣接ブロックのデプス値がともに第２の位置より近いことを示す値である場合、注目ブロック内のデプス値を、左側隣接ブロックのデプス値と右側隣接ブロックのデプス値とを用いて、補正する。
（３）デプスマップ上において、下側隣接ブロックのデプス値および右側隣接ブロックのデプス値がともに第１の位置より遠いことを示す値である場合で、かつ、デプスマップ上において、左側隣接ブロックのデプス値および上側隣接ブロックのデプス値がともに第２の位置より近いことを示す値である場合、注目ブロック内のデプス値を、上側隣接ブロックのデプス値と下側隣接ブロックのデプス値とを用いて、補正する。
（４）デプスマップ上において、左側隣接ブロックのデプス値および下側隣接ブロックのデプス値がともに第１の位置より遠いことを示す値である場合で、かつ、デプスマップ上において、上側隣接ブロックのデプス値および右側隣接ブロックのデプス値がともに第２の位置より近いことを示す値である場合、注目ブロック内のデプス値を、左側隣接ブロックのデプス値と右側隣接ブロックのデプス値とを用いて、補正する。

　この立体画像処理装置では、上記（１）～（４）のパターンに応じて、注目ブロックの両側に隣接する２つの隣接ブロックのデプス値を用いて、注目ブロック内のデプス値を補正する。したがって、この立体画像処理装置では、上記（１）のパターン（注目ブロック内において、右斜め上方向に境界領域がある可能性が高い場合であって、注目ブロック内の右下部分が近景である可能性が高い場合）、上記（２）のパターン（注目ブロック内において、左斜め上方向に境界領域がある可能性が高い場合であって、注目ブロック内の左下部分が近景である可能性が高い場合）、上記（３）のパターン（注目ブロック内において、右斜め上方向に境界領域がある可能性が高い場合であって、注目ブロック内の右上部分が近景である可能性が高い場合）、および、上記（４）のパターン（注目ブロック内において、左斜め上方向に境界領域がある可能性が高い場合であって、注目ブロック内の右上部分が近景である可能性が高い場合）、のいずれの場合であっても、注目ブロック内のデプス値を適切に補正することができる。

　なお、「第１の位置より遠いことを示す値」とは、第１の位置に相当する値を含んでもよい。

　また、「第２の位置より近いことを示す値」とは、第２の位置に相当する値を含んでもよい。

　第３の構成の立体画像処理装置は、第２の構成において、デプスマップ補正部は、以下の（１）～（４）の処理を行う。
（１）デプスマップ上において、上側隣接ブロックのデプス値および左側隣接ブロックのデプス値がともに第１の位置より遠いことを示す値である場合で、かつ、デプスマップ上において、下側隣接ブロックのデプス値および右側隣接ブロックのデプス値がともに第２の位置より近いことを示す値である場合、注目ブロック内のデプス値を、注目ブロック内の補正領域の位置が注目ブロックの左上端に近い程、上側隣接ブロックのデプス値に近い値をとり、注目ブロック内の補正領域の位置が注目ブロックの右下端に近い程、下側隣接ブロックのデプス値に近い値をとるように補正する。
（２）デプスマップ上において、上側隣接ブロックのデプス値および右側隣接ブロックのデプス値がともに第１の位置より遠いことを示す値である場合で、かつ、デプスマップ上において、左側隣接ブロックのデプス値および下側隣接ブロックのデプス値がともに第２の位置より近いことを示す値である場合、注目ブロック内のデプス値を、注目ブロック内の補正領域の位置が注目ブロックの左下端に近い程、左側隣接ブロックのデプス値に近い値をとり、注目ブロック内の補正領域の位置が注目ブロックの右上端に近い程、右側隣接ブロックのデプス値に近い値をとるように補正する。
（３）デプスマップ上において、下側隣接ブロックのデプス値および右側隣接ブロックのデプス値がともに第１の位置より遠いことを示す値である場合で、かつ、デプスマップ上において、左側隣接ブロックのデプス値および上側隣接ブロックのデプス値がともに第２の位置より近いことを示す値である場合、注目ブロック内のデプス値を、注目ブロック内の補正領域の位置が注目ブロックの右上端に近い程、上側隣接ブロックのデプス値に近い値をとり、注目ブロック内の補正領域の位置が注目ブロックの右下端に近い程、下側隣接ブロックのデプス値に近い値をとるように補正する。
（４）デプスマップ上において、左側隣接ブロックのデプス値および下側隣接ブロックのデプス値がともに第１の位置より遠いことを示す値である場合で、かつ、デプスマップ上において、上側隣接ブロックのデプス値および右側隣接ブロックのデプス値がともに第２の位置より近いことを示す値である場合、注目ブロック内のデプス値を、注目ブロック内の補正領域の位置が注目ブロックの左下端に近い程、左側隣接ブロックのデプス値に近い値をとり、注目ブロック内の補正領域の位置が注目ブロックの右上端に近い程、右側隣接ブロックのデプス値に近い値をとるように補正する。

　この立体画像処理装置では、上記（１）～（４）のパターンに応じて、注目ブロックの両側に隣接する２つの隣接ブロックのデプス値を用いて、注目ブロック内のデプス値を、デプスマップ上の距離が近い方の隣接ブロックのデプス値に近くなるように補正する。したがって、この立体画像処理装置では、上記（１）～（４）のパターンのいずれの場合であっても、注目ブロック内のデプス値を適切に補正することができる。

　なお、注目ブロックの両側に隣接する２つの隣接ブロックのデプス値を用いて、注目ブロック内のデプス値を、デプスマップ上の距離が近い方の隣接ブロックのデプス値に近くなるように補正するために、以下のように処理するようにしてもよい。すなわち、注目ブロック内のデプス値を、注目ブロックの両側に隣接する２つの隣接ブロックのデプス値の内分処理により求めるようにし、さらに、当該内分処理の内分係数を、デプスマップ上の距離が近い方の隣接ブロックのデプス値に近くなるように設定するようにしてもよい。

　第４の構成の立体画像処理装置は、第１から第３のいずれかの構成において、補正領域は、１画素からなる領域である。

　これにより、この立体画像処理装置では、注目ブロック内のデプス値を、１画素単位で、補正することができる。

　第１の方法である立体画像処理方法は、デプスマップ生成ステップと、デプスマップ補正ステップと、を備える立体画像処理方法である。

　デプスマップ生成ステップは、第１視点用画像および第２視点用画像を用いて、複数の画素からなるブロック単位でデプス値を取得し、デプスマップを生成する。

　デプスマップ補正ステップは、デプスマップ上において、処理対象のブロックである注目ブロックの周辺のブロックのデプス値に基づいて、注目ブロック内に境界領域が含まれるか否かの判定を行うとともに、注目ブロック内に境界領域が含まれると判定された場合、注目ブロック内において、ブロックより小さい単位である補正領域単位でデプス値を補正する。

　これにより、第１の構成の立体画像処理装置と同様の効果を奏する立体画像処理方法を実現することができる。

　第１のプログラムは、立体画像処理方法をコンピュータに実行させるプログラムである。立体画像処理方法は、デプスマップ生成ステップと、デプスマップ補正ステップと、を備える。

　これにより、第１の構成の立体画像処理装置と同様の効果を奏する立体画像処理方法をコンピュータに実行させるプログラムを実現することができる。

　本発明に係る立体画像処理装置、立体画像処理方法およびプログラムは、少ない演算量でデプスマップを取得するとともに、精度の高い立体画像処理を実行することができるので、映像機器関連産業分野において、有用であり、当該分野において実施することができる。

１０００　立体画像処理装置
１　デプスマップ生成部
２　デプスマップ補正部
３　画像処理部

Claims

　第１視点用画像および第２視点用画像を用いて、複数の画素からなるブロック単位でデプス値を取得し、デプスマップを生成するデプスマップ生成部と、
　前記デプスマップ上において、処理対象のブロックである注目ブロックの周辺のブロックのデプス値に基づいて、前記注目ブロック内に境界領域が含まれるか否かの判定を行うとともに、前記注目ブロック内に境界領域が含まれると判定された場合、前記注目ブロック内において、ブロックより小さい単位である補正領域単位でデプス値を補正するデプスマップ補正部と、
を備える立体画像処理装置。
　前記デプスマップ補正部は、
（１）前記デプスマップ上において、前記注目ブロックの上側に隣接するブロックである上側隣接ブロックのデプス値および前記注目ブロックの左側に隣接するブロックである左側隣接ブロックのデプス値がともに所定の位置である第１の位置より遠いことを示す値である場合で、かつ、前記デプスマップ上において、前記注目ブロックの下側に隣接するブロックである下側隣接ブロックのデプス値および前記注目ブロックの右側に隣接するブロックである右側隣接ブロックのデプス値がともに所定の位置である第２の位置より近いことを示す値である場合、前記注目ブロック内のデプス値を、前記上側隣接ブロックのデプス値と前記下側隣接ブロックのデプス値とを用いて、補正し、
（２）前記デプスマップ上において、前記上側隣接ブロックのデプス値および前記右側隣接ブロックのデプス値がともに前記第１の位置より遠いことを示す値である場合で、かつ、前記デプスマップ上において、前記左側隣接ブロックのデプス値および前記下側隣接ブロックのデプス値がともに前記第２の位置より近いことを示す値である場合、前記注目ブロック内のデプス値を、前記左側隣接ブロックのデプス値と前記右側隣接ブロックのデプス値とを用いて、補正し、
（３）前記デプスマップ上において、前記下側隣接ブロックのデプス値および前記右側隣接ブロックのデプス値がともに前記第１の位置より遠いことを示す値である場合で、かつ、前記デプスマップ上において、前記左側隣接ブロックのデプス値および前記上側隣接ブロックのデプス値がともに前記第２の位置より近いことを示す値である場合、前記注目ブロック内のデプス値を、前記上側隣接ブロックのデプス値と前記下側隣接ブロックのデプス値とを用いて、補正し、
（４）前記デプスマップ上において、前記左側隣接ブロックのデプス値および前記下側隣接ブロックのデプス値がともに前記第１の位置より遠いことを示す値である場合で、かつ、前記デプスマップ上において、前記上側隣接ブロックのデプス値および前記右側隣接ブロックのデプス値がともに前記第２の位置より近いことを示す値である場合、前記注目ブロック内のデプス値を、前記左側隣接ブロックのデプス値と前記右側隣接ブロックのデプス値とを用いて、補正する、
　請求項１に記載の立体画像処理装置。
　前記デプスマップ補正部は、
（１）前記デプスマップ上において、前記上側隣接ブロックのデプス値および前記左側隣接ブロックのデプス値がともに前記第１の位置より遠いことを示す値である場合で、かつ、前記デプスマップ上において、前記下側隣接ブロックのデプス値および前記右側隣接ブロックのデプス値がともに前記第２の位置より近いことを示す値である場合、前記注目ブロック内のデプス値を、前記注目ブロック内の前記補正領域の位置が前記注目ブロックの左上端に近い程、前記上側隣接ブロックのデプス値に近い値をとり、前記注目ブロック内の前記補正領域の位置が前記注目ブロックの右下端に近い程、前記下側隣接ブロックのデプス値に近い値をとるように補正し、
（２）前記デプスマップ上において、前記上側隣接ブロックのデプス値および前記右側隣接ブロックのデプス値がともに前記第１の位置より遠いことを示す値である場合で、かつ、前記デプスマップ上において、前記左側隣接ブロックのデプス値および前記下側隣接ブロックのデプス値がともに前記第２の位置より近いことを示す値である場合、前記注目ブロック内のデプス値を、前記注目ブロック内の前記補正領域の位置が前記注目ブロックの左下端に近い程、前記左側隣接ブロックのデプス値に近い値をとり、前記注目ブロック内の前記補正領域の位置が前記注目ブロックの右上端に近い程、前記右側隣接ブロックのデプス値に近い値をとるように補正し、
（３）前記デプスマップ上において、前記下側隣接ブロックのデプス値および前記右側隣接ブロックのデプス値がともに前記第１の位置より遠いことを示す値である場合で、かつ、前記デプスマップ上において、前記左側隣接ブロックのデプス値および前記上側隣接ブロックのデプス値がともに前記第２の位置より近いことを示す値である場合、前記注目ブロック内のデプス値を、前記注目ブロック内の前記補正領域の位置が前記注目ブロックの右上端に近い程、前記上側隣接ブロックのデプス値に近い値をとり、前記注目ブロック内の前記補正領域の位置が前記注目ブロックの右下端に近い程、前記下側隣接ブロックのデプス値に近い値をとるように補正し、
（４）前記デプスマップ上において、前記左側隣接ブロックのデプス値および前記下側隣接ブロックのデプス値がともに前記第１の位置より遠いことを示す値である場合で、かつ、前記デプスマップ上において、前記上側隣接ブロックのデプス値および前記右側隣接ブロックのデプス値がともに前記第２の位置より近いことを示す値である場合、前記注目ブロック内のデプス値を、前記注目ブロック内の前記補正領域の位置が前記注目ブロックの左下端に近い程、前記左側隣接ブロックのデプス値に近い値をとり、前記注目ブロック内の前記補正領域の位置が前記注目ブロックの右上端に近い程、前記右側隣接ブロックのデプス値に近い値をとるように補正する、
　請求項２に記載の立体画像処理装置。
　前記補正領域は、１画素からなる領域である、
　請求項１から３のいずれかに記載の立体画像処理装置。
　第１視点用画像および第２視点用画像を用いて、複数の画素からなるブロック単位でデプス値を取得し、デプスマップを生成するデプスマップ生成ステップと、
　前記デプスマップ上において、処理対象のブロックである注目ブロックの周辺のブロックのデプス値に基づいて、前記注目ブロック内に境界領域が含まれるか否かの判定を行うとともに、前記注目ブロック内に境界領域が含まれると判定された場合、前記注目ブロック内において、ブロックより小さい単位である補正領域単位でデプス値を補正するデプスマップ補正ステップと、
を備える立体画像処理方法。
　第１視点用画像および第２視点用画像を用いて、複数の画素からなるブロック単位でデプス値を取得し、デプスマップを生成するデプスマップ生成ステップと、
　前記デプスマップ上において、処理対象のブロックである注目ブロックの周辺のブロックのデプス値に基づいて、前記注目ブロック内に境界領域が含まれるか否かの判定を行うとともに、前記注目ブロック内に境界領域が含まれると判定された場合、前記注目ブロック内において、ブロックより小さい単位である補正領域単位でデプス値を補正するデプスマップ補正ステップと、
を備える立体画像処理方法をコンピュータに実行させるプログラム。