JP6061834B2 - 奥行き画像の解像度を増大させる方法とシステム - Google Patents

Description

この発明は、包括的には奥行き画像に関し、より詳細には奥行き画像の解像度を増大させる方法に関する。

奥行き画像は、３Ｄシーン解析及び他の３Ｄコンピュータービジョン用途に用いることができる。通常、奥行き画像の解像度は、同等の光学画像、すなわちグレースケール画像又はカラー画像よりも実質的に低い。光学カメラによって取得される画像の解像度は、容易に１０メガピクセル以上にすることができるのに対し、奥行き画像の解像度は通常、０．０２メガピクセル未満である。本明細書において定義されるとき、光学画像内のピクセルは、あるいは複数のカラーチャネル内のピクセルは関連付けられた輝度のみを有する。奥行き画像はピクセルの関連付けられた奥行きのみを有する。

奥行き画像の解像度を増大させる１つの方法は、低解像度奥行き画像に位置合わせされた高解像度光学画像を用いることである。一般に、シーンの奥行き境界と色境界とは相関している。奥行きが急に変化すると、多くの場合、色も急に変化する。

奥行きアップサンプリングは大域的とすることもできるし局所的とすることもできる。大域的方法は、奥行きアップサンプリングを最適化問題として定式化する。同様の色の輝度を有する近傍ピクセルが非常に異なる奥行きを割り当てられているとき、大きなコストが生じる。このため、アップサンプリングされた奥行き境界が色境界と一致することが望ましい。これらの方法は、正確な奥行き画像を生成することができるが、一般にリアルタイム用途には低速すぎる。フィルタリング動作に基づく局所的方法はリアルタイムで実行することができる。ジョイントバイラテラルアップサンプリングは、光学及び空間の共同スペース(joint optical and spatial space)においてバイラテラルフィルタリングを用いる局所的方法である。

カラー化、画像の艶消し処理、及び画像の雑音除去等の様々な用途において測地線距離が用いられてきた。高速マーチング手順及び測地線距離変換は、距離決定に一般的に用いられる２つの実施態様である。双方が線形時間計算量を有する。しかしながら、これらの技法は、全ての最も短い経路対を求めてリアルタイムで測地的アップサンプリングを行うには低速すぎる。

２０１１年２月１５日付でCohen他に対して発行された特許文献１「Joint bilateral upsampling」は、第１の解像度を有する高解像度入力信号と、高解像度信号のダウンサンプリングされたバージョンから計算された第２の解像度を有する低解像度解集合とを用いる。低解像度解集合及び高解像度信号を用いるジョイントバイラテラルアップサンプリングが実行され、第１の解像度に等しい解像度を有する高解像度解集合が生成される。上記特許文献１に記載されている方法は、バイラテラルアップサンプリングを用いる。バイラテラルアップサンプリングは、別個のカラーカーネル及び空間カーネルを用い、これによって、特に奥行き境界にまたがる表面の色が類似しているとき、奥行き境界が曖昧になり、奥行きが滲むアーチファクトが生じる。さらに、細かいシーン構造はアップサンプリング中に保持されない。

Criminisi他は、非特許文献１において、画像編集タスク、ｎ次元セグメンテーション、エッジ認識雑音除去、テクスチャ平坦化、アニメーション化(cartooning)、ソフト選択及びパノラマスティッチングについて記載している。この編集は、一般化された測地線距離に基づく対称作用素を用いて高解像度のカラー画像を処理し、奥行き画像も空間アップサンプリングも必要としない。

米国特許第７，８８９，９４９号

Criminisi他「Geodesic image and video editing」(ACM Transaction on Graphics, volume 29, issue 5, October 2010)

この発明の実施の形態は、或るシーンの奥行き画像の解像度を、同じシーンの高解像度光学画像を用いて増大させる方法を提供する。

本方法は、高解像度光学画像内のピクセルごとの奥行きを、低解像度奥行き画像内の対応するピクセルへの測地経路を用いて求める。

本方法は、画像サイズの関数として線形計算量を有する新規の概算手順を用い、リアルタイムの性能を達成することができる。さらに、本方法は、センサー融合用途においてバイナリエッジマップとともに用いることもできる。

測地曲線(geodesic curve：測地線)は画像グリッド上の最短経路である。本方法は、高解像度光学画像内のピクセルのジョイント測地線距離(joint geodesic distance)(すなわち測地曲線の長さ)を求める。次に、その距離を用いて、低解像度の奥行きを高解像度のグリッドに平滑で奥行き不連続性が保持された形で伝搬する。

測地線距離は、曲線に沿って色(輝度)及び空間の共同の変化を統合するので、表面の周囲の薄い輪郭に対する感度が特に高く、２つの表面間の色の違いがわずかな場合であっても鮮鋭な奥行き境界を提供する。さらに、測地経路は、均一の色を有する薄いセグメントを辿ることができ、したがって細かい詳細を有する高品質の奥行き画像を生成する。測地線距離を求めることは、全点対間最短路問題に密接に関連し、これは計算的に集中的な演算である。このため、全点対間最短路問題を解くことによって測地線距離を得ることは、リアルタイム処理には不適切である。

本方法は、Ｋ個の最近傍ピクセルを測地的意味で同時にロケーション特定する新規の概算手順を用いる。ここで、計算量は画像サイズ及びＫに対し線形である。

本方法は、平滑な表面及び境界領域に関して正確な高解像度奥行き画像を生成する。本方法は、マルチフラッシュカメラ又は他の手段によって取得されたバイナリエッジマップを用いて奥行き画像をアップサンプリングするのにもよく適している。奥行き画像をアップサンプリングするのにバイナリエッジマップを用いることは、ほとんどの従来技術による方法では達成が困難である。

従来技術による方法は、ジョイントバイラテラルアップサンプリング手順を用いていた。この手順は、空間カーネル及びカラーカーネルの乗算として求められた重みの集合に基づいて高解像度グリッドに低解像度の奥行きを補間する。カーネルはユークリッド距離を用いてピクセルの相違を量子化する。２つのカーネルを用いることによって、特に表面の色が奥行き境界にわたって類似しているとき、奥行き境界が曖昧になり、奥行きが滲むアーチファクトが生じる。さらに、細かいシーン構造はアップサンプリング中に保持することができない。

この発明の実施の形態による、測地的ジョイントアップサンプリングを実行することによって、高解像度光学画像１０１(又は高解像度バイナリ境界マップ４０１)を用いて奥行き画像の解像度を増大させる方法の流れ図である。 高解像度画像を用いた測地的ジョイントアップサンプリングの計算の最適化方法の流れ図である。 低解像度奥行き画像内のピクセルと高解像度光学画像内のシードピクセルとの間の対応の概略図である。 高解像度バイナリ境界マップを用いた測地的ジョイントアップサンプリングの計算の最適化方法の流れ図である。 従来技術におけるようなジョイントバイラテラルアップサンプリングと、この発明による測地的ジョイントアップサンプリングとを比較する概略図及びグラフである。

図１は、この発明の実施の形態による、測地的ジョイントアップサンプリング１１０を実行することによって、シーン１０から取得される奥行き画像１０２の解像度を、同じシーンから取得される高解像度光学画像１０１、例えばグレースケール画像又はカラー画像を用いて増大させる(アップサンプリングする)方法を示している。画像１０１及び１０２はそれぞれ高解像度(ＨＲ)センサー１１及び低解像度センサー(ＬＲ)１２によって取得することができる。

本方法は、同じか又は異なる撮像モダリティーにおいて取得される対応する高解像度画像が存在する場合、熱画像、Ｘ線画像、超音波画像、レーダー画像及びマルチスペクトル画像等の他のタイプの低解像度画像をアップサンプリングするのにも用いることができることに留意すべきである。これらの他のタイプの低解像度画像において、ピクセル値は必ずしも奥行きを表すとは限らず、撮像モダリティーに応じて、例えば密度、不透明度及びエッジ等の他の物理量を表し得る。画像は合成画像又はコンピューター生成画像とすることもできる。

低解像度画像が奥行き画像である場合、奥行き画像内のピクセルは奥行きを表し、光学画像内のピクセルは輝度を表す。奥行き画像及び光学画像は互いに位置合わせされ、すなわち奥行き画像内のピクセルと光学画像内のピクセルとの間の対応が知られている。詳細は図２に示される。

図４に示す代替的な実施の形態は高解像度境界マップＢ４０１を用いる。高解像度境界マップＢ４０１は、測地線距離変換を求めるための空間距離のみを示す。

測地的ジョイントアップサンプリング
高解像度光学画像１０１はＩであり、低解像度奥行き画像１０２はＤ_↓であり、ここでＩの解像度は奥行き画像Ｄ_↓の解像度のｒ倍大きい。２つの画像は、奥行き画像Ｄ_↓内の各グリッドポイントをＩ内の対応するグリッドポイントにマッピングすることができるように位置合わせされる。図３に示すように、単純な１対１のマッピング３０３を仮定する。ここで、Ｄ_↓におけるロケーション(ｉ，ｊ)にあるピクセルは、Ｉにおけるロケーション(ｉｒ，ｊｒ)にあるピクセルにマッピングされる。測地的ジョイントアップサンプリング１１０の目標は、解像度が光学画像Ｉ１０１又は代替的な実施の形態では高解像度境界マップＢ４０１の解像度に等しい高解像度出力光学画像Ｄ１２０を構築することである。

Ｄ内のスパースなグリッドポイントにおけるシードピクセルの奥行きは、対応する低解像度奥行き画像Ｄ_↓から得られる。これらの奥行きを用いて、Ｄ内の他のピクセルの奥行きを組み込む。Ｄ内のピクセルｘの奥行きが以下となるように補間手法を用いる。

ここで、ｙ及びｙ_↓はそれぞれ、高解像度画像及び低解像度画像内のシードピクセルの対応する座標であり、ｇ_Ｇは、座標ｘ及びｙにおける２つのピクセル間のアフィニティーを測定するカーネル関数である。カーネル関数ｇ_Ｇは式(３)で与えられる。

光学及び空間の共同領域における測地線距離を用いて２つのピクセル間のアフィニティー尺度を求める。測地線距離は画像グリッド上の２つのピクセル間の最短経路であり、８連結である、すなわち、各ピクセルがその８個の近傍ピクセルにのみ連結されていると仮定される。

ｐが座標ｘ及びｙを結合する経路であり、その経路が横切るピクセルのシーケンス、すなわち

によって一意に表すことができるものとする。ここで、|ｐ|はシーケンス内のピクセル数を表す。Ｐがｘ及びｙを結合する全ての経路の集合であるとする。ｘとｙとの間の測地線距離は、最短経路の長さによって与えられる。

ここで、λは加重パラメーターであり、

は空間距離であり、

は

と

との間の色(輝度)の距離である。この発明では、ガウスカーネルを用いて測地線距離をアフィニティー尺度(affinity measure)に変換する。

ここで、σはカーネル帯域幅パラメーターである。例えば、Ｋ＝４のとき、λを１０に設定し、σを０．５に設定する。

測地的ジョイントアップサンプリングは、画像ピラミッドを用いて階層的に実行することもできる。単一のステップにおいて低解像度奥行き画像をｒ回アップサンプリングする代わりに、単一のステップにおいて奥行き画像を

回アップサンプリングして、このステップをＬ回繰り返すことができる。この場合、ｌ番目のアップサンプリングステップ(ｌ＝１，…，Ｌ)は、入力高解像度光学画像を

回ダウンサンプリングすることによって得られた光学画像を用い、入力低解像度奥行きマップよりも解像度が

倍高い奥行きマップを生成する。ｌ番目のステップにおいて得られる奥行きマップは、(ｌ＋１)番目のステップへの入力として用いることができる。

測地的ジョイントアップサンプリングの計算の最適化方法
(１)を用いた測地的ジョイントアップサンプリングの直接計算は低速である。図２は、測地的ジョイントアップサンプリングの計算の最適化方法を示している。ピクセルの奥行きを求めるのには、測地的意味で規定されるようなそのＫ個の最近傍奥行きピクセルからの情報を伝播することで十分である。低解像度入力奥行き画像からその奥行きが知られているピクセルの集合を特定する(２１０)。これらのピクセルはシードピクセルと呼ばれる。次に、シードピクセルを逆多重化してＫ個の別個のチャネル２２１にする(２２０)。チャネルごとに測地線距離変換２３０を適用し、それによって光学画像内の各ピクセルから最近傍のシードピクセルへの測地線距離マップ２３１が生成される。次に、シードピクセルの奥行きが補間２４０を用いて伝播され、高解像度出力奥行き画像１２０が生成される。上記のステップ並びに本明細書において説明される他の手順及び方法は、当該技術分野において既知のメモリ及び入出力インターフェースに接続されたプロセッサにおいて実行することができる。

逆多重化
逆多重化を使用して、シードピクセルをＫ個のチャネルに分割する。最適な逆多重化の方策は、画像グリッドの均一な分割である。この逆多重化の間隔、すなわち低解像度グリッド３０２上の所与のチャネルにおける２つの連続ピクセル間の距離はδであり、Ｋ＝δ^２である。これらの２つの連続ピクセルは、距離Ｌ＝ｒδにあるピクセルである高解像度グリッド３０１上のシードピクセルにマッピングされる。ここで、ｒはアップサンプリングの比率である。このため、第１のチャネルは高解像度グリッドにおいてグリッドポイント(ｉＬ，ｊＬ)を含み、ここでｉ及びｊは非負の整数であり、第２のチャネルはグリッドポイント(ｉＬ，ｒ＋ｊＬ)を含み、以下同様である。

測地線距離変換(ＧＤＴ)
チャネルごとに測地線距離変換を求め、これによって光学画像内の各ピクセルから再近傍のシードピクセルへの最短距離が与えられる。Ｓ_ｋがｋ番目のチャネルにおけるシードピクセルの集合であるものとする。測地線距離変換は以下の最適化問題を解く。

ここで、ピクセルｘとｙとの間の最短経路ｄ_Ｇ(ｘ，ｙ)の長さは式(２)において定義される。式(４)は、高解像度グリッドにわたる順方向パス及び逆方向パスのシーケンスを含む動的プログラムを用いて解くことができる。

順方向パスは画像を左上から右下まで横切り、ここで各ピクセルは以下に従って更新される。

ここで、Ｖ_ｆは順方向パスのピクセルオフセットの集合を表し、元のピクセル、並びに左上、上、右上、及び左の近傍ピクセルを以下のように含む。

同様に、逆方向パスは、以下に従って画像を逆の順序で横切る。

ここで、逆方向パスＶ_ｂのピクセルオフセットの集合は以下である。

測地線距離変換を正確に求めるには、順方向パス及び逆方向パスを収束するまで複数回反復することが必要である。通常の場合には、収束は１０回以内の反復で達成することができる。例えば３回〜５回の僅かな数の反復後に計算を終わらせ、それでも良好な概算を得ることもできる。

補間
チャネルごとに測地線距離変換を求めた後、測地線距離を用いて、低解像度奥行き画像におけるシードピクセルの奥行きを高解像度グリッドに伝搬する。測地線距離変換は最近傍のシードピクセルの座標も与え、このため伝搬の奥行きも与える。

チャネルｋについての測地線距離変換はＭ_ｋである。ここで、ピクセルｘからチャネルｋ内のその最近傍のシードピクセルへの距離はＭ_ｋ(ｘ)であり、その座標は

である。概算の測地的アップサンプリングは以下となる。

アップサンプリングに１つのみの近傍ピクセルが用いられるときであっても、ピクセルに対する再近傍シードピクセルは、必ずしも低解像度グリッドにおいてそのピクセルの直接近傍のうちの１つであるとは限らない。最短経路は、シードピクセルによってスパースにカバーされた高解像度グリッド上で定義され、パスに沿ったピクセルの輝度(色)が類似している場合、パスは空間的に遠くのシードピクセルに到達することができる。この特性は、光学画像においてのみ見られる薄い構造を復元するのに重要である。

バイナリ境界マップを用いた奥行きアップサンプリング
本方法は、センサー融合用途におけるバイナリ境界マップを用いたアップサンプリング奥行き画像にも用いることができる。この発明の１つの実施の形態では、低解像度奥行きセンサーを用いて得られた低解像度奥行き画像を、高解像度バイナリ境界マップを用いてアップサンプリングする。奥行きセンサーは、超音波信号、無線信号、又は光信号、例えばレーザー又はプロジェクターを用いることができる。

バイナリ境界マップは、マルチフラッシュカメラ(ＭＦＣ)によって取得された光学画像からの奥行き不連続性マップとして得ることができる。米国特許第７，７３８，７２５号を参照されたい。バイナリ境界マップは、他の手段によって、例えばエッジ検出器を光学画像に適用して輝度不連続性マップを生成することによって取得することもできる。

図４は、入力高解像度画像がバイナリ境界マップ４０１であるときの測地的ジョイントアップサンプリングの計算の最適化方法を示している。処理ステップは本質的に図２に示すとおりであるが、バイナリ境界マップＢ４０１の処理が異なる。式(２)におけるようにピクセル間のアフィニティー尺度として空間距離及び色(輝度)の差を用いる代わりに、この実施の形態では、測地線距離変換２３０を求めるのに空間距離のみが用いられる。さらに、空間距離は、バイナリ境界マップにおける境界の反対側にある近傍ピクセルについて無限大に設定される。このように、同じ連続領域内の奥行きピクセルのみが、その領域内のピクセルの奥行きを求めるのに用いられる。換言すれば、アップサンプリングは境界マップによって境界が画定される。

発明の効果
この発明は、光学画像を用いて奥行き画像の解像度を増大させる方法を提供する。本方法は、奥行き画像をアップサンプリングするのに測地的ジョイントアップサンプリング手順を用いる。アップサンプリングは従来技術と比較して効率的であり、リアルタイム性能を達成する。

従来技術による方法はバイラテラルアップサンプリングを用いており、これによって特に奥行き境界にまたがる表面の色が類似しているとき、奥行き境界が曖昧になり、奥行きが滲むアーチファクトが生じる。さらに、細かいシーン構造はアップサンプリング中に保持されない。測地線距離は曲線に沿って色及び空間の共同の変化を統合するので、表面の周囲の薄い輪郭に対する感度が高く、２つの表面間の色の違いがわずかな場合であっても鮮鋭な奥行き境界を提供する。

図５は、従来技術におけるようなジョイントバイラテラルアップサンプリングと、この発明による測地的ジョイントアップサンプリングとを比較している。屋内シーンの画像５０１は、壁、ドア及び窓を含む。ドア及び窓枠はほとんど壁と同一の色を有する。画像の水平スライス５００の輝度プロファイル及び奥行きプロファイル５０２が示されている。三角形は、低解像度奥行きセンサーを用いて奥行き測定値が収集されたロケーションを示している。丸まった表面エッジの影に起因して、窓枠と壁とのオクルージョン境界のロケーションにおいて薄暗い帯が存在することに留意されたい。ジョイントバイラテラルアップサンプリングを用いてアップサンプリングされた奥行きプロファイル５０３及び測地的ジョイントアップサンプリングを用いてアップサンプリングされた奥行きプロファイル５０４が示されている。水平軸は画像内の水平オフセット及び垂直軸奥行き値を示す。

測地的ジョイントアップサンプリングは測地曲線に沿った色変化を統合する。したがって、測地的ジョイントアップサンプリングは薄い構造及び細かいスケールの変化に対する感度が高く、鮮鋭なオクルージョン境界を有する平滑な表面を生成するのに対し、ジョイントバイラテラルアップサンプリングはユークリッド色距離計算に起因して、奥行き境界にわたって奥行き値を不正確に伝搬する。

この発明による方法は、測地経路に沿って色変化を統合し、高解像度奥行きプロファイルを正確に復元するのに対し、ジョイントバイラテラルアップサンプリングはオクルージョン境界にまたがって奥行き値を平滑化し、結果としてブラー効果を生じる。

Claims (19)

1. 測地的ジョイントアップサンプリングを用いて低解像度奥行き画像の解像度を増大させる方法であって、
   高解像度画像における測地線距離を計算するステップと、
   前記測地線距離を用いて前記低解像度奥行き画像における奥行きを補間して高解像度奥行き画像を得る、補間するステップと、
   を含み、
   前記測地線距離を計算するステップは、
   前記高解像度画像におけるシードピクセルを逆多重化して別個のチャネルにする、逆多重化するステップと、
   前記チャネルにジョイント測地線距離変換を適用して、各ピクセルから各チャネル内の最近傍シードピクセルへの測地線距離を生成するステップと、
   を含み、
   前記補間するステップは、前記測地線距離に従って前記低解像度奥行き画像における前記奥行きを前記高解像度奥行き画像に伝搬するステップであり、
   前記ステップはプロセッサにおいて実行される、測地的ジョイントアップサンプリングを用いて低解像度奥行き画像の解像度を増大させる方法。
2. 前記高解像度奥行き画像の解像度は前記高解像度画像の解像度と同一である、請求項１に記載の方法。
3. 前記低解像度奥行き画像を前記高解像度画像に位置合わせするステップ、
   を更に含む、請求項１に記載の方法。
4. 前記高解像度画像はグレースケール輝度画像である、請求項１に記載の方法。
5. 前記高解像度画像はカラー画像である、請求項１に記載の方法。
6. 前記測地線距離は前記高解像度画像内の２つのピクセル間のアフィニティー尺度を決定する、請求項１に記載の方法。
7. 前記アフィニティー尺度は前記２つのピクセル間の最短経路の長さである、請求項６に記載の方法。
8. ガウスカーネルを用いて前記測地線距離を前記アフィニティー尺度に変換するステップ、を更に含む、請求項６に記載の方法。
9. 前記高解像度画像内のピクセルは８連結であり、８連結ピクセルの対間のジョイント測地線距離は光及び空間の共同領域において定義される、請求項１に記載の方法。
10. 前記逆多重化するステップは、前記低解像度奥行き画像を一様なグリッドに分割し、該一様なグリッド上の特定のチャネルにおける２つの連続ピクセル間の空間距離はδであり、Ｋ＝δ^２であり、ここでＫは前記チャネルの数である、請求項１に記載の方法。
11. 前記ジョイント測地線距離変換は、前記高解像度画像にわたる順方向パス及び逆方向パスのシーケンスを含む動的プログラムを用いて解かれる、請求項１に記載の方法。
12. 前記高解像度画像は高解像度バイナリ境界マップである、請求項１に記載の方法。
13. 前記高解像度バイナリ境界マップはマルチフラッシュカメラによって取得される、請求項１２に記載の方法。
14. 前記高解像度バイナリ境界マップは、エッジ検出器を高解像度画像に適用することによって取得される、請求項１２に記載の方法。
15. 前記高解像度画像は高解像度バイナリ境界マップであり、該高解像度バイナリ境界マップ内のピクセルは８連結であり、連結した境界ピクセル及び非境界ピクセルの対間の前記測地線距離は、連結した非境界ピクセルの対間の前記測地線距離よりも大きい、請求項１に記載の方法。
16. 前記測地的ジョイントアップサンプリングは画像ピラミッドを用いて階層的に実行される、請求項１に記載の方法。
17. 前記低解像度奥行き画像は低解像度奥行きセンサーによって取得される、請求項１に記載の方法。
18. 低解像度奥行き画像の解像度を増大させるシステムであって、
    高解像度画像を取得するように構成された高解像度センサーと、
    前記低解像度奥行き画像を取得するように構成された低解像度センサーと、
    前記高解像度画像における測地線距離を計算し、前記測地線距離を用いて前記低解像度奥行き画像における奥行きを補間して、高解像度奥行き画像を得て、測地的ジョイントアップサンプリングを画像ピラミッドを用いて階層的に実行するプロセッサと、
    を備える、低解像度奥行き画像の解像度を増大させるシステム。
19. 測地的ジョイントアップサンプリングを用いて低解像度奥行き画像の解像度を増大させる方法であって、
    高解像度画像における測地線距離を計算するステップであって、前記測地線距離が前記高解像度画像内の２つのピクセル間のアフィニティー尺度を決定するものと、
    前記測地線距離を用いて前記低解像度奥行き画像における奥行きを補間して高解像度奥行き画像を得る、補間するステップと、
    ガウスカーネルを用いて前記測地線距離を前記アフィニティー尺度に変換するステップと、
    を含み、前記ステップはプロセッサにおいて実行される、測地的ジョイントアップサンプリングを用いて低解像度奥行き画像の解像度を増大させる方法。

Images