JP4899151B2 - 視差補間処理方法および処理装置 - Google Patents

Description

本発明は、ステレオカメラから得られた視差データを全て有効なデータに変換するための簡易視差補間方法および装置に関する。

３次元空間中の１点の距離を測定する方法はいくつかあるが、シーン中の多数の点の距離（距離画像）を高速に測定することは容易でない。現在、距離情報を得る方法として例えばレーザレーダーを用いた伝播時間法、例えば両眼立体視画像に基づく三角測量法、レンズ焦点法等が提案されている。三角測量法の場合、普通の両眼立体視、３個以上のカメラを用いる多眼立体視、カメラが移動する方式があり、入力画像を処理して対応点を求めなければならない。そのため、距離画像を得るためにステレオカメラ（数インチ離した２個の同一のレンズで同時に写真を撮るカメラ。見る人に奥行の感覚を与える立体鏡やその他の光学系に使う写真をとるためのもの）を用いる方法も知られている（例えば、特許文献１参照）。
ステレオカメラの視差アルゴリズムは、例えば、以下のような処理手順を含む。
本実施形態に係るステレオ撮像のステレオマッチングによる距離画像の生成を示す。
ステレオカメラの撮像画像の左側視野部分をステレオ左画像、撮像画像の右側視野部分をステレオ右画像とする。
この左右それぞれのステレオ画像を予め得られているキャリブレーションデータに基づいて、ステレオの左右画像の歪補正を行い、エピポーラ線上に左右画像の対応点が同一線上に来るように画像を幾何変換する補正処理を行う。
この補正処理後の左右画像をステレオマッチング処理し、対応点検索を行い、視差を算出する。これにより、画像上の各点の視差量のマップが生成され、これが視差データとなる。視差データの視差量は基準点からの距離に変換され、距離画像データが生成される。

ステレオカメラから得られる視差データ（前記左右の画像の偏差を表す情報：撮影対象とステレオカメラの両レンズ間の距離を左右のレンズに対応して求めた値の偏差を表す情報）には、左右の画像に偏差が生じない場合（例えば、真っ白い壁を撮像したときに、左右の画像の偏差が生じない場合、又は、暗い空間を撮影したときに、左右の画像の偏差が生じない場合、等）にはステレオカメラの出力が出ない等の理由から、局所的に視差データを算出することができないことにより発生する例外点が存在することがある。
視差計算アルゴリズムにおけるこの例外点は、主に計算対象となる単位領域の窓の問題を発端とする。このような例外点は、視差データを扱った認識処理などにおいて、画素位置による位相関係が利用できなくなるなどの不都合を発生させるため、これを削減する演算方法や補間方法が必要とされる。
このような部分的に計算アルゴリズムに適用できないデータを補間する手法として、一般的に知られている手法には、クリンギング法や自然近傍法、多項式回帰などがある（非特許文献１参照）。
特開２００６−５４５０３号公報 間瀬、武田、"空間データモデリング −空間統計学の応用"、共立出版。

しかし、これらの手法は厳密な空間統計学の理論に沿って解を得ることに主眼を置いており、演算処理に時間がかかりすぎ実用的でない。そのため、静止データに対する応用は有効であるが、リアルタイム処理を必要とするシステムに応用することは難しい。
ここでは、リアルタイム処理を念頭に置いたステレオビジョンでの使用に耐えうる、高速で簡易な視差補間処理を提案する。
本発明の目的は、上記問題点に鑑み、リアルタイムで、撮像画像データをすべて計算アルゴリズムで計算可能に有効化する視差補間処理方法および装置を提供することにある。
また、本発明の他の目的は、ステレオビジョンでの使用に耐えうる、高速な視差補間処理方法および装置を提供することにある。

視差データとは、左右の撮像カメラで同じ被写体を撮像したときの該カメラから被写体までの距離に応じたグレー画像データをいい、後記する視差値で表す。
本発明の視差補間処理方法は、視差の例外点を除去しながら平均化を行うことで解像度を一度下げる手順を例外点が無くなる段階まで順次ｎ回（ｎは諸条件により決まる）行い、例外点が無くなった段階から例外点を解像度の低い平均化した値で埋めながら再び解像度を上げていく一連の処理を複数のステップで行うことによって例外点を含まない画像を作成し、視差を補間していく手順を有する。本発明の視差補間処理装置は前記視差補間処理方法を実行するマイクロコンピュータを備えた処理装置である。
まず解像度を下げる処理について説明する。
視差画像の低解像度化は、解像度を半分に落とすことを１段階の処理とする。
低解像度化のためには平均化を行うが、例外点をどのように扱うかが問題である。そこで、例外点を無視して（例えば、濃度値ゼロ等として演算する等の処理手段により）平均化を行っていくことで、解像度を下げることに伴って例外点を減らしていく。

図１は視差の平均値を用いた解像度処理を説明する図である。画像の分割数は任意に設定することができる。好ましくは２×２、４×４、８×８、１６×１６ピクセルのブロックを用いる。実施例では２×２ピクセルのブロックを用いて説明する。
図１に示すように、１段階低い解像度の視差画像を得るためには、正方形領域４ピクセルの視差の平均を取る。平均は、単位領域（例えば、ピクセル、設定領域（例えば２×２ピクセル等））の視差値（=濃度値→８ビット又は１６ビットの値）を適宜用いて求める。この視差値が大きいと被写体がカメラに対して近くにあり、小さいと被写体がカメラに対して遠くなる。
このとき、視差平均値ｄは次のように計算する。正方形領域１ピクセルの濃度値が、演算上の閾値（例えば、この値を境にして、視差データが有効と無効に分けるもの）以上の場合、有効な（valid）値ｄｋとして表す。また、閾値以下の場合、例外点領域として、無効な（invalid）値、例えばゼロで表す。
このとき、対象ブロック内の例外点を含む領域を除く残りのすべての領域の濃度値の合計をこのブロック内の残り全ての領域の数で割り算して、全ての領域において濃度値を平均化する処理を行う。この処理を各段階毎に単位領域を拡大しながら画像内に例外点が無くなるまで行う。この処理の間の必要なデータ、例えば、領域の大きさ、位置、濃度値、平均値、例外点の位置、領域と例外点の関係、有効領域、有効領域の数および対象となる有効領域の平均値等を必要数記憶しておく。
下記数１〜数３の式により、有効領域、有効領域の数および対象となる有効領域の平均値を求める。ここで、有効領域をδ（ｋ）で表し、有効領域の数をｎ（ｄ）で表し、対象となる有効領域の平均値をｄで表す。

このように、解像度を下げることにより正方形領域４ピクセルすべてが例外点でない限り正しい値として平均値が算出され、例外点領域が減少する。
上記低解像度化の手法によって例外点領域を減少できることを利用すると、反対に簡易的に例外点領域の補間（高解像度化処理）を行うことができる。すなわち、解像度を下げることで得られた平均値を元のサイズの例外点領域に代入する。
数段階の低解像度化の後、この補間手法を適用して元の解像度まで戻せば大きな連続領域の補間も可能である。

図２に視差補間の処理（低解像度化および高解像度化処理）概要を示す図である。
図２は本発明の視差補間処理における低解像度化処理および高解像度化処理の手順を説明する図である。
「処理段階」は解像度を変化させる処理段階を表している。

図２に示すように、低解像度化処理手順は、
（０）〔処理段階０〕；ステップａ：
初期状態では、読み込んだ視差画像を最小単位の領域、例えばピクセル(画素）で分割する。その際、処理段階数の０と、ピクセル単位での座標位置、例外点の有無および評価値（視差値、例えば、濃度値）等のデータ、各ピクセルと任意数のピクセルをまとめたブロックとの関係、各ブロックと任意数のブロックをまとめたラージブロックとの関係、以下さらに大きなブロックがあれば同様にまとめる処理を続行し、それらの関係を採取・記憶する。
実施例の場合、画像は、領域の濃度が閾値未満の例外点が２×２のブロック、例外点が２で有効な濃度値（閾値以上）のピクセルが２のブロック、例外点が１で有効な濃度値（閾値以上）のピクセルが３のブロック、有効な濃度値（閾値以上）のピクセルが２×２のブロックからなる。
（１）〔処理段階１〕；ステップｂ：
この状態から、２×２の４ピクセルを１ブロックとして、上記数１〜数３の式による演算を行い、ブロック単位の濃度の平均値を求め、各ブロック単位を求めた平均値に置き換える。
この処理段階数の１と、平均化処理に必要なデータ、例えば、前記それぞれのピクセルとそれぞれのブロックとの関係、各ブロックの平均値で置き換えた濃度値等を記憶しておく。
（２）〔処理段階２〕；ステップｃ：
２×２の４ブロックを１ラージブロックとして、各ラージブロックを画素単位として上記数１〜数３の演算を行い、１ラージブロック単位の濃度の平均値を求める。
この処理段階数の２と、前記それぞれのブロックとラージブロックとの関係、ラージブロックの平均値で置き換えた濃度値等を記憶しておく。この結果、対象となる画像全体が平均値からなる画像データが得られる。
次に、更に、対象となる上記１ラージブロックを含む大きな領域があるか否か判断し、無い場合には低解像度化処理を終了する。

高解像度化（視差値補間）処理手順は、
（３）〔処理段階３〕；ステップｄ：
記憶してある前記それぞれのブロックとラージブロックとの関係、ラージブロックの濃度値等を読み出し、前記処理段階２に対応する２×２のブロックのうち、例外点を含むブロックの濃度値データを前記ラージブロックの濃度値データで置き換え、データを書き直し、一連の処理に必要なデータをすべて記録する。この処理段階数の３を記憶する。
（４）〔処理段階４〕；ステップｅ：
ステップｄで書き直したそれぞれのブロックの平均値データで、前記処理段階１に対応し各ブロックを構成する２×２のピクセルのうち、例外点を含むピクセルの濃度値データを書き直し、一連の処理に必要なデータをすべて記録する。この処理段階数の４を記憶する。
これにより、１ラージブロックに対応する４×４のピクセルデータから例外点を含むピクセルデータを無くし、全ピクセルデータを演算アルゴリズムで計算できるように有効化することができるようになる。これにより、対象となる領域を平均値で置き換えた画像データを作成する。
対象となる前記１ラージブロック内の全てのピクセルに例外点があるか否か判断し、無い場合には低解像度化処理を終了する。
この低解像度化処理および高解像度化処理は、画像をどのような領域に分割するかによって処理段階数が決まる。
視差補間処理装置は、少なくとも入出力手段および演算処理手段を有し、前記視差補間処理方法を記憶し実行することができる機能を有し、マイクロコンピュータ等により構成する。

具体的には、以下のようになる。
（１） 視差補間処理方法は、視差画像を各段階に応じて単位領域の大きさを順次増減した同じ単位処理領域数で領域毎に分割し、大きさが最小単位の領域で区分された最終分割視差画像を形成し、該最終分割視差画像の単位処理領域内の例外点を含む領域を各段階毎に該単位処理領域内の例外点を除いた領域の視差値の平均値で置き換える手順を繰り返す低解像度化処理手順と、前記低解像度化処理手順で単位処理領域内に例外点を含む領域が無いことを判断したとき、前段階の平均値で前記低解像度化処理手順の各段階の例外点を含む領域を置き換える手順を繰り返し例外点を含まない最終視差画像を形成する高解像度化処理手順とからなることを特徴とする。
（２） 上記（１）記載の視差補間処理方法は、前記単位処理領域数を正方形領域数とすることを特徴とする。
（３） 視差補間処理装置は、上記（１）又は（２）記載の視差補間処理方法をプログラムとして組み込み、実行するようにしたことを特徴とする。

本発明の処理は、データの平均化処理と、計算結果の置き換え処理で済むので、容易且つ短時間に行うことができるようになる。
また、各ピクセルデータから例外点を含むピクセルデータを無くし、全ピクセルデータを演算アルゴリズムで計算できるように有効化することができるようになる。

本発明の実施の形態を図に基づいて詳細に説明する。

図３は本発明の視差補間処理のフローチャートを示す図である。 図中Ｉｔは視差画像を表し、添字ｔは元の解像度における視差画像Ｉ０から何段階解像度を落としたかを表すダウン値を示す。Ｉ’ｔはＩｔの例外点を補間した視差画像である。解像度を落とす段階数の上限Ｔはユーザが決定する。
図３のフローチャートを説明する。

− 開始 −
視差計算アルゴリズムに基づくプログラムにより、視差画像を読み込み、処理対象となる任意の最小領域、例えばピクセル（画素）で分割し、１度に処理する最小ブロック数を決定する。例えば、２×２、３×３、４×４、８×８、・・・等任意に選択する。これにより、対象となる画像の最終的なピクセル数が決まれば、低解像度化処理および高解像度化処理の処理段階数およびステップ数が求まる。処理段階数の最大値をＴとして記憶する。最大値Ｔと視差画像のサイズを対応させてテーブルに記憶する。また、視差画像について、必要なデータ（上記「課題を解決するための手段」で述べたデータ）を記憶する。
処理段階数ｔを初期化し記憶する。
（１）（ステップ１）
視差画像Ｉ０を取得する。
視差画像Ｉ０のサイズに応じて処理段階数の最大値Ｔを読み出し記憶する。

（２）（ステップ２）
処理段階数ｔと最大値Ｔの一致を判断し、一致しないとき（Ｎｏ）はステップＳ３へ進み、一致するとき（ｙｅｓ）はステップＳ５へ進む。

（３）（ステップ３）
ステップ２でＮｏと判断したとき、例外点除去、低解像度化処理を実行し、処理段階数ｔ+１の視差画像を取得する。低解像度化処理は段階数ｔが増加する方向に向かう。

（４）（ステップ４）
処理段階数ｔをｔ+１に置き換え、ステップ２へ進む。

（５）（ステップ５）
ステップ２において、処理段階数ｔと最大値Ｔの一致を判断し、一致したときは、視差画像（Ｉｔ）を例外点が補間された視差画像（Ｉ’ｔ）に置き換える。

（６）（ステップ６）
ステップＳ５の出力視差画像が０(ゼロ）段階解像度を落とした画像であるか判断し、
段階数ｔが０(ゼロ）のとき（ｙｅｓ）、ステップＳ９へ進み、段階数ｔが０(ゼロ）でないとき（Ｎｏ）、ステップＳ７へ進む。

（７）（ステップ７）
段階数ｔが０でないとき、視差補間の高解像度化処理を行う。
高解像度化処理は、低解像度化処理時の同じ段階（ｔ−１）の視差データを読み出し、例外点を含む領域を段階（ｔ）の視差データである平均値データで置き換え、新しい段階（ｔ−１）の視差データを形成する。
高解像度化処理は段階数ｔが減少する方向に向かう。

（８）（ステップ８）
ステップＳ７で視差補間の高解像度化処理が終了した後、段階数ｔをｔ−１に書き換え、ステップＳ６へ進む。

（９）（ステップ９）
ステップＳ６で段階数ｔが０(ゼロ）のとき（ｙｅｓ）、例外点を含む領域を全てそれぞれの段階の平均値で置き換えた補間視差画像Ｉ’０を出力し、終了へ進む。

− 終了 −

図４は、実問題における例外点を含む視差データと、その補間を行った例を示す図である。
図４では、各ピクセルにおける視差がグレースケールで表示されている。白に近い部分ほど視差が大きい値となっており、完全に黒くなっている部分はステレオカメラの視差計算において正しい値が得られなかった例外点である。図４上段４８０ｘ６４０の視差では例外点の領域が多い。３段階の低解像度化を行ったものが図４上段６０ｘ８０の視差である。さらに２段階の低解像度化で得られる視差が図４右である。ここから逆に解像度を上げていき、例外点の補間を行った結果が図４下段である。 視差補間の結果、例外点の数が減少していることがわかる。

前述した空間統計学に沿った手法と比較すると精度は粗いが、計算速度は速く、ヒューリスティック（視差結果に依存した発見的）な手法でないため計算時間はスタティック（画素数に比例して固定的）である。計算速度は平均化の全段階における総画素数に比例するため、画素数Ｍの視差画像データをＴ段階の低解像度化によって補間する場合の計算オーダは
である。 Ｔに関する極限を取れば
であり、結局Ｔの設定にかかわらず計算時間のオーダはＯ（Ｍ）を越えない。リアルタイムステレオ動画像処理においては、非常に有効な手法である。
視差補間処理装置は、少なくとも入出力手段および演算処理手段を有し、前記視差補間処理方法を記憶し実行することができる機能を有し、マイクロコンピュータ等により構成する。

視差の平均による低解像度化を説明する図である。 本発明の視差補間処理における低解像度化処理および高解像度化処理の手順を説明する図である。 本発明の視差補間処理のフローチャートを示す図である。 実問題における例外点を含む視差データと、その補間を行った例を示す図である。

符号の説明

１ ラージブロック
２ ピクセル

Claims (3)

1. 視差画像を各段階に応じて単位領域の大きさを順次増減した同じ単位処理領域数で領域毎に分割し、大きさが最小単位の領域で区分された最終分割視差画像を形成し、
   該最終分割視差画像の単位処理領域内の例外点を含む領域を各段階毎に該単位処理領域内の例外点を除いた領域の視差値の平均値で置き換える手順を繰り返す低解像度化処理手順と、
   前記低解像度化処理手順で単位処理領域内に例外点を含む領域が無いことを判断したとき、前段階の平均値で前記低解像度化処理手順の各段階の例外点を含む領域を置き換える手順を繰り返し例外点を含まない最終視差画像を形成する高解像度化処理手順とからなることを特徴とする視差補間処理方法。
2. 前記単位処理領域数を正方形領域数とすることを特徴とする請求項１項記載の視差補間処理方法。
3. 請求項１又は２記載の視差補間処理方法をプログラムとして組み込み、実行するようにしたことを特徴とする視差補間処理装置。