JP4208142B2 - 自由視点画像の隠蔽領域補完方式 - Google Patents

Description

本発明は、自由視点からの画像、つまり自由視点画像の隠蔽領域補完方式に関し、特に、自由視点映像を出力させるに際し、一視点からの画像（以下、参照画像と称す。）における前景画素によって隠蔽されていた背景領域に対する画素を広範囲かつ高精度に補完することができる自由視点画像の隠蔽領域補完方式に関する。

次世代におけるインタラクティブな映像アプリケーションに対する１つの素材として自由視点映像が注目されている。自由視点映像とは、対象物に対する視点をユーザが任意に選択して得られる映像のことである。ユーザにより選択される視点は無数に存在するため、それらに対応した映像を全て用意することは非現実的である。

そこで、従来では、対象物を３次元情報で記述した素材を用いて任意視点での映像を描画する手法が一般に用いられている。例えば、非特許文献１には３次元の位置情報を素材として用いる手法が提案され、非特許文献２には多数の方位から撮影した対象物の映像を映像素材として用いる手法が提案されている。

また、参照画像と該参照画像における各画素の奥行き情報（奥行きマップ）を基に３次元情報を推定する手法もある。さらに、本出願人は、参照画像における前景領域によって隠蔽された背景領域における画素を補完する手法として、単層背景バッファを用いた補完手法、および多層背景バッファを用いた補完手法を非特許文献３，４でそれぞれ提案した。

図６は、単層背景バッファまたは多層背景バッファを用いた補完手法における処理手順を示すフロー図である。まず、参照画像と奥行きマップを用いて各フレームの仮の自由視点画像を生成する（Ｓ１）。同時に、参照画像と奥行きマップから参照画像における背景画像である背景領域を抽出し（Ｓ２）、抽出された背景画像を単層背景バッファまたは多層背景バッファに保存する。

単層背景バッファを用いた補完手法では、ある閾値よりも奥行きの深い画素を背景画像と見なす。多層背景バッファを用いた補完手法では奥行きマップを用いて参照画像の画素を複数の領域に分割し、奥行きの最も浅い画素（前景領域）以外を各層における背景画像と見なす。生成され、保存された背景画像は続くフレームで抽出された背景画像により更新される（Ｓ３）。

最後に、Ｓ１で生成された仮の視点画像に対して、多層背景バッファまたは多層背景バッファに保存された背景画像で画素補完を行い（Ｓ４）、その結果を出力画像として出力する。
Saied Moezzi, Li-Cheng Tai, and Philippe Gerard "Virtual View Generation for 3D Digital Video", IEEE Multimedia, Vol.4, No.1, pp.18-26, 1997 橋本奈穂，斎藤英雄"サッカーシーンにおける多視点映像からの中間映像生成"電子情報通信学会技術報告，PRMU2001-151, Nov.2001. pp.87-94 松村篤志，内藤整，川田亮一，小池淳，松本修一"任意視点動画像の高圧縮伝送を目的とした隠蔽領域補完方式の提案"電子情報通信学会技術報告 Vol. OIS2003-41, IE2003-66 Sep.2003. pp.63-68 松村篤志，内藤整，川田亮一，小池淳，松本修一"複数枚の背景バッファを用いた自由視点動画像に対する高精度な補完方式"映像情報メディア学会冬季大会 No.8-8, Dec. 2003.

対象物を３次元情報で記述した素材を用いて任意視点での映像を描画する手法は、正確な３次元情報の取得に特殊な機器を必要とする、対象物を各方位から撮影する多数のカメラを固定する必要があるため撮影環境が限られてくるなどといった課題がある。

参照画像と該参照画像における各画素の奥行きマップを基に３次元情報を推定する手法は、選択できる視点の範囲が限られてしまうが、奥行きマップを参照画像の付随情報として扱うことができるため、MPEG-4などの付随情報の伝送に対応した符号化フォーマットとの整合性がよく、さらに屋外など多数のカメラを固定できない環境においても適用できるため、汎用性が高いという長所がある。しかしながら、この手法では参照画像の前景領域によって隠蔽されていた背景領域の画素情報が欠落するため、自由視点画像において描画されない画素が生じるという課題がある。

単層背景バッファまたは多層背景バッファを用いた補完手法では、背景バッファに保存される背景画像が参照画像と奥行きマップから生成、更新されるため、背景画像の生成に必要な情報をあらかじめ用意することなく画素の補完が可能である。しかしながら、単層背景バッファを用いた補完手法では各画素において高精度な補完を行うことができない。また、多層背景バッファを用いた補完手法では広範囲の画素を補完することができないという課題がある。

本発明の目的は、上記課題を解決し、自由視点映像を出力させるに際し、参照画像における前景画素によって隠蔽されていた背景領域に対する画素を広範囲かつ高精度に補完することができる自由視点画像の隠蔽領域補完方式を提供することにある。

上記課題を解決するため、本発明は、自由視点画像を出力させる際に、参照画像における前景領域で隠蔽されていた背景領域に対する画素を補完する自由視点画像の隠蔽領域補完方式において、入力された画像から単層の背景画像および奥行きに従って分割された複数層の背景画像として背景領域を抽出する背景領域抽出手段と、前記単層の背景画像を保存するための単層背景バッファと、前記複数層の背景画像を保存するための多層背景バッファとを備え、自由視点画像の出力に際しては、まず、前記多層背景バッファに保存された複数層の背景画像の画素を用いて参照画像における前景領域で隠蔽されていた背景領域に対する画素を補完し、これにより補完されない画素を前記単層背景バッファに保存された単層の背景画像の画素を用いて補完することを基本的な特徴としている。

本発明によれば、自由視点画像の出力に際し、まず、多層背景バッファに保存た複数層の背景画像の画素を用いて参照画像における前景領域で隠蔽されていた背景領域に対する画素を補完し、これにより補完されない画素を単層バッファに保存された単層の背景画像の画素を用いて補完するので、多層背景バッファを用いた補完手法および単層背景バッファを用いた補完手法の各長所を取り入れた広範囲かつ高精度の補完を行うことができる。

本発明を説明する前に、まず、単層背景バッファを用いた補完手法と多層背景バッファを用いた補完手法における補完精度について説明する。各手法による補完精度の検証実験の結果を図２，図３および図４に示す。

実験では、映像情報メディア学会のHDTVステレオ標準動画像であるTulip GardenのＹ信号より960×480画素の領域を切り出し、左目画像を参照画像とし、右目画像を用いて推定した左目画像における視差ベクトルの水平方向成分を奥行きマップとした。この参照画像と奥行きマップから右目画像を生成し、再生画質の比較を行った。

図２は、単層背景バッファを用いた補完手法と多層背景バッファを用いた補完手法で共通して補完がなされた画素のみのPSNR（peak signal nois ratio）の差分を示し、図３は、各手法による画像全体のPSNRの差分を示す。

図２，図３において、正の値は、多層背景バッファを用いた補完手法のPSNRが単層背景バッファを用いた補完手法のPSNRより高いことを示し、負の値は、逆に単層背景バッファを用いた補完手法のPSNRが多層背景バッファを用いた補完手法のPSNRより高いことを示している。

図２および図３から、各手法で共通して補完がなされた画素については、多層背景バッファを用いた補完手法が単層背景バッファを用いた補完手法より良好な結果をもたらし、画像全体については、単層背景バッファを用いた補完手法が多層背景バッファを用いた補完手法より良好な結果をもたらすことが分かる。

図４は、各手法による補完画素の割合を示す。これは、単層背景バッファを用いた補完手法は多層背景バッファを用いた補完手法より補完される画素の割合が大であることを示している。図２，図３に示す結果は、多層背景バッファを用いた補完手法では補完されず、単層背景バッファを用いた補完手法でのみ補完される画素が存在することに起因していると推定される。

以上の実験結果から次の性質の存在が推定される。
(1)単層背景バッファを用いた補完手法は、多層背景バッファを用いた補完手法に比べ、より広範囲の領域の画素を補完する。これは、多層背景バッファを用いた補完手法では補完領域が重複し、補完領域間の境界で隙間が生じるためであると考えられる。
(2)多層背景バッファを用いた補完手法は、各画素において、より高精度に画素を補完する。

本発明は、以上の性質を利用し、まず、多層背景バッファを用いた補完方法で高精度に画素を補完し、これにより補完されない画素を単層背景バッファを用いた補完方法で補完することにより、広範囲かつ高精度の画素補完を可能にするものである。以下に、図面を参照して本発明を説明する。

図１は、本発明に係る自由視点画像の隠蔽領域補完方式における処理手順を示すフロー図であり、図６と同一あるいは同等部分には同一符号を付してある。この処理手順の各ステップはハードウエアあるいはソフトウエアで実現できる。

図１に示すように、本発明では、まず、参照画像と奥行きマップから各フレームの仮の自由視点画像を生成する（Ｓ１）。同時に、参照画像と奥行きマップから背景領域を抽出する（Ｓ２）。この背景領域の抽出では、単層背景バッファおよび多層背景バッファの両者に保存する背景画像を背景領域として抽出する。次に、抽出された背景画像を単層背景バッファおよび多層背景バッファに保存する。ここに保存される背景画像は、後続のフレームごとに抽出した最新の背景画像で更新される。すなわち、背景画像は単層背景バッファおよび多層背景バッファに動的に生成・更新される（Ｓ３）。このように動的に生成・更新された背景画像を用いることにより、参照画像における前景領域で隠蔽されていた背景領域に対する画素をより完全に補完できる。なお、１フレーム分前の画像から抽出される背景画像あるいは数フレーム前以降の画像から抽出される背景画像により生成、更新される背景画像を用いてもある程度の画素補完は可能である。

次に、Ｓ１で生成された仮の自由視点画像を多層背景バッファに保存した背景画像で補完し（Ｓ４−１）、続いて、これにより補完されない画素を単層背景バッファに保存した背景画像で補完する（Ｓ４−２）。以上の手順により多層背景バッファを用いた補完方法および単層背景バッファを用いた補完方法の各長所を取り入れた広範囲かつ高精度の補完を行うことができる。

以下に、上記処理手順の各ステップについて詳細に説明する。
１．仮の自由視点画像の生成（Ｓ１）
まず、参照画像Ｉを撮影した視点から自由視点への回転、および平行移動を３×３の行列Ｒ′、および１×３のベクトルｔ′として定義すると、参照画像Ｉにおける画素の位置（ｕ，ｖ，１）と自由視点画像Ａにおけるその画素に対応する画素（以下、対応点と称す。）の位置（ｕ″，ｖ″、１）との関係は、式(1)によって表される。ここで、Ｄ_{Ｉ（ｕ，ｖ）}は参照画像Ｉにおける画素の位置（ｕ，ｖ）の奥行きを表し、（ｕ，ｖ，１）や（ｕ″，ｖ″、１）は３次元上での画素の位置を表す。なお、奥行きの単位は奥行きマップの定義に従うものとする。

（Ｄ_{Ｉ（ｕ，ｖ）}（ｕ，ｖ，１）^Ｔ−ｔ′）×Ｒ′（ｕ″，ｖ″，１）^Ｔ＝０ (1)

式(1)を（ｕ″，ｖ″，１）^Ｔについて解くことにより、参照画像Ｉと自由視点画像Ａとの間の対応点を求めることができる。この対応関係で式(2)により描画を行い、仮の自由視点画像Ａを生成する。なお、式(2)において、Ａ（ｕ″，ｖ″）は自由視点画像Ａの位置（ｕ″，ｖ″）の画素値を表し、Ｉ（ｕ，ｖ）は参照画像Ｉの位置（ｕ，ｖ）の画素値を表す。

Ａ（ｕ″，ｖ″）＝Ｉ（ｕ，ｖ） (2)

２．背景領域の抽出（Ｓ２）
背景領域の抽出は、多層背景バッファおよび単層背景バッファに保存する背景画像うぃ抽出する処理であり、背景画像の生成・更新の前処理として行われる。ここでは、まず、式(3)を用いて参照画像Ｉの奥行き分布の統計をとる。式(3)の右辺は、参照画像Ｉにおける奥行きがｎＳ以上、（ｎ＋１）Ｓ未満である画素の個数を意味し、Ｓは統計をとる際のステップ幅を表す。また、ｎは整数である。

次に、式(3)で求められたＶ(n)をガウスフィルタで平滑化し、Ｖ′（ｎ）を算出する。ここで、Ｖ′（ｎ）が極小値をとる際の奥行きを分割指標（Ｓの整数倍数とする。）として定義し、値が小さい順に分割指標ｍｉｎ_１，ｍｉｎ_２，・・・，ｍｉｎ_Ｍを生成する。最後に、式(4)に従って参照画像Ｉを複数の画像Ｉ_ｍ（ｍ＝０，１，・・・，Ｍ）に分割する。なお、式(4)において、nullは画素が存在しないことを表す。また、ｍｉｎ_０＝−∞、ｍｉｎ_Ｍ＋１＝∞とする。この複数の画像Ｉ_ｍ（ｍ＝１，・・・，Ｍ）は、後述する多層背景バッファ内の背景画像の生成・更新のために使用される。

さらに、式(5)で生成される画像Ｉ_ａｌｌを定義する。画像Ｉ_ａｌｌは、単層背景バッファ内の背景画像の生成・更新のために使用される。

３．背景画像の生成・更新（Ｓ３）
ここでは、背景領域の抽出（Ｓ２）で抽出された画像Ｉ_ｍ（ｍ＝１，・・・，Ｍ，all）を背景バッファ（多層背景バッファおよび単層背景バッファ）に保存し、それをフレームごとに更新する。画像Ｉ_ｍ（ｍ＝１，・・・，Ｍ，all）のそれぞれに背景バッファＵ_ｍ（ｍ＝１，・・・，Ｍ，all）が対応するとする。なお、画像Ｉ_０は前景画像であるため、それに対応する背景バッファＵ_０は存在しない。

先頭フレームでは、画像Ｉ_ｍを背景バッファＵ_ｍにそのまま保存する。続く他のフレームでは、画像Ｉ_ｍと背景バッファＵ_ｍに保存された画像の合成を以下の手順で行う。

まず、画像Ｉ_ｍと背景バッファＵ_ｍに保存された背景画像から８点以上の対応点を探索し、それらの対応点を用いて式(6)を満たす射影変換行列Ｂ_ｍを算出する。ただし、画像Ｉ_ｍ内の座標（ｕ_Ｉｍ ，ｖ_Ｉｍ）と背景バッファＵ_ｍに保存されている画像内の座標（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）は対応点であるとする。

（ｕ_Ｉｍ ，ｖ_Ｉｍ ，１）^Ｔ×Ｂ_ｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ ，１）^Ｔ＝０ (6)

その後、式(6)によって求められる（ｕ_Ｉｍ ，ｖ_Ｉｍ）と（（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の対応を式(7)に代入することにより、背景バッファＵ_ｍ（ｍ＝１，・・・，Ｍ，all）に保存した背景画像を更新する。なお、式(7)において「←」は右辺の値を左辺に代入することを表す。

４．出力画像の生成（Ｓ４，Ｓ５）
仮の自由視点画像Ａを背景バッファＵ_ｍ（ｍ＝１，・・・，Ｍ，all）に保存された背景画像で補完することにより出力画像を生成する。補完は、対応点が存在しない画素に対して行う。

まず、多層背景バッファを用いた補完を行うために、ｍ＝１，・・・，Ｍとして、仮の自由視点画像Ａと背景バッファＵ_ｍに保存されている背景画像の対応点を各８点以上求め、射影変換行列Ｂ′_ｍを式(8)により算出する。ただし、自由視点画像Ａ内の座標（ｕ″，ｖ″)と背景バッファＵ_ｍに保存されている背景画像の座標（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）は対応点であるとする。

（ｕ′_Ｕｍ ，ｖ′_Ｕｍ ，１）^Ｔ×Ｂ′_ｍ（ｕ″，ｖ″，１）^Ｔ＝０ (8)

次に、(8)式によって求められる（ｕ″，ｖ″)と（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の対応を式(9)に代入することにより、自由視点画像Ａに対する補完を行う。なお、式(9)において「←」は右辺の値を左辺に代入することを表す。

さらに、単層背景バッファを用いた補完を行うために、ｍ＝allとして、上記と同様に、射影変換行列を算出し、この射影変換行列を用いて自由視点画像Ａに対する補完を行う。なお、単層背景バッファを用いた補完は、Ａ（ｕ″，ｖ″）＝nullの画素、すなわち、多層背景バッファを用いた補完では補完されずに残っている画素に対して行われる。以上によって得られる画像を出力画像として出力する。

図５は、本発明を含めた各手法による再生画質の比較を示す図である。これは、映像情報メディア学会のHDTVステレオ標準動画像であるTulip Garden、およびRed LeavesのＹ信号より960&×480の領域を切り出し、左目画像を参照画像とし、右目画像を用いて推定した左目画像における視差ベクトルの水平方向成分を奥行きマップとし、参照画像と奥行きマップから右目画像を生成し、再生画質の比較を行った検証実験で得られた結果である。

ここでは、仮の自由視点画像で描画されなかった画素、すなわち補完がなされた画素に対する再生画質をPSNRで示しており、出力画像において補完が行われなかった画素に対しては近隣の画素値を代入した。

図５から、奥行きに起伏があるRed Leavesでは、30フレームの平均PSNRは単層背景バッファを用いた補完手法、多層背景バッファを用いた補完手法、本発明においてそれぞれ、15.51dB、16.03dB、16.08dBであり、本発明により良好な結果が得られていることが分かる。また、奥行きが平坦なTulip Gardenでは、それぞれ20.27dB、20.27dB、20.33dBであり、これでも本発明により良好な結果が得られていることが分かる。

以上、実施形態を説明したが、本発明は種々の形態で実施できる。例えば、送信側から参照画像と奥行きマップを送信し、送信された参照画像と奥行きマップを用いて受信側で自由視点画像を生成することができ、また、対応点を求める射影変換行列は受信側で算出したり、送信側で算出して送信したりすることもできる。本発明は、放送受信機、映像受信機としての携帯端末などに適用できる。

本発明に係る自由視点画像の隠蔽領域補完方式における処理手順を示すフロー図である。 単層背景バッファを用いた補完手法と多層背景バッファを用いた補完手法で共通して補完がなされた画素のみのPSNRの差分を示す図である。 各手法による画像全体のPSNRの差分を示す図である。 各手法による補完画素の割合を示す図である。 本発明を含めた各手法での再生画質の比較を示す図である。 単層背景バッファまたは多層背景バッファを用いた補完手法における処理手順を示すフロー図である。

符号の説明

Ｓ１・・・仮の自由視点画像の生成、２・・・背景領域の抽出、３・・・背景画像の生成・更新、４，４−１・・・仮の自由視点画像の補完、４−２・・・仮の出力画像の補完

Claims (4)

1. 自由視点画像を出力させる際に、参照画像における前景領域で隠蔽されていた背景領域に対する画素を補完する自由視点画像の隠蔽領域補完方式において、
   入力された画像から単層の背景画像および奥行きに従って分割された複数層の背景画像として背景領域を抽出する背景領域抽出手段と、
   前記単層の背景画像を保存するための単層背景バッファと、
   前記複数層の背景画像を保存するための多層背景バッファとを備え、
   自由視点画像の出力に際しては、まず、前記多層背景バッファに保存された複数層の背景画像の画素を用いて参照画像における前景領域で隠蔽されていた背景領域に対する画素を補完し、これにより補完されない画素を前記単層背景バッファに保存された単層の背景画像の画素を用いて補完することを特徴とする自由視点画像の隠蔽領域補完方式。
2. 前記単層背景バッファに保存される単層の背景画像および前記多層背景バッファに保存される複数層の背景画像を、フレームごとに生成、更新することを特徴とする請求項１に記載の自由視点画像の隠蔽領域補完方式。
3. 前記単層背景バッファおよび多層背景バッファに保存された背景画像と新たに入力されたフレーム画像との対応点を探索して射影変換行列を算出し、該射影変換行列を用いて前記単層背景バッファおよび多層背景バッファに保存する背景画像を更新することを特徴とする請求項２に記載の自由視点画像の隠蔽領域補完方式。
4. 前記単層背景バッファおよび多層背景バッファに保存された背景画像と前記自由視点画像との対応点を探索して射影変換行列を算出し、該射影変換行列を用いて隠蔽されていた背景領域に対する画素を補完することを特徴とする請求項１に記載の自由視点画像の隠蔽領域補完方式。

Images