JP4591955B2 - 自由視点映像の隠蔽領域補完装置 - Google Patents

Description

本発明は、２次元画像とその奥行画像のみから任意の視点から見た映像を生成する自由視点映像の隠蔽領域補完装置に関する。

従来、２次元画像とそれに対応する奥行データとから、任意の仮想視点から見た画像を生成する自由視点映像生成装置に関しては、動的に更新される背景バッファを用いる下記の非特許文献１，２に開示されているものがある。

これらの文献１，２に開示されている方法は、２次元動画像と対応するフレーム毎の奥行データからフレーム毎に背景を切り出し、その背景をバッファに蓄えていく、つまり動画像であることを利用し、当該フレームだけでなく過去のフレームにある情報を全て使って背景の画像を動的に更新していくものである。

これにより、当該フレームでは新視点から見て前景の陰に隠れている背景部（隠蔽領域）であっても、その動的更新背景バッファから画像を持ってくることによって、隠蔽領域のより少ない任意視点映像が生成できることになる。
松村篤志，内藤整，川田亮一，小池淳，松本修一"任意視点動画像の高圧縮伝送を目的とした隠蔽領域補完方式の提案"電子情報通信学会技術報告 Vol. OIS2003-41, IE2003-66 Sep.2003. pp.63-68 松村篤志，内藤整，川田亮一，小池淳，松本修一"複数枚の背景バッファを用いた自由視点動画像に対する高精度な補完方式"映像情報メディア学会冬季大会 No.8-8, Dec. 2003.

しかしながら、前記の従来技術では、図１(a)に示すように、前記背景バッファ１に記録される背景の映像は、背景は平面であることを仮定している。そのため、背景バッファ１に記録される背景の映像と実際の奥行が連続的に変化している背景の画像２とにはずれが生じ、例えば人物の陰に隠れた地面などの奥行が連続的に変化している部分の隠蔽領域についてはうまく補完することができず、新視点映像にずれが生じてしまうという課題があった。

本発明の目的は、前記した従来技術の課題を解消し、奥行が連続的に変化している部分の隠蔽領域の画像についても高精度に生成できる自由視点映像の隠蔽領域補完装置を提供することにある。

また、他の目的は、背景が激しく動いた場合にも正確な奥行値を求めて、任意視点からの画像を高精度に生成できる自由視点映像の隠蔽領域補完装置を提供することにある。

前記の目的を達成するために、本発明は、参照画像とそれに対応する予め与えられている奥行値（基準面からの奥行の大きさ）を記録した奥行マップとから仮の自由視点画像を生成する自由視点画像生成部と、前記参照画像と前記奥行マップとから、該参照画像を奥行値に基づいて分割し、該分割した結果に従って該参照画像の背景領域を抽出する背景領域抽出部と、前記背景領域抽出部で抽出された背景領域で構成される背景画像とそれに対応する奥行値を保存する曲面背景バッファと、前記自由視点画像生成部で生成された仮の自由視点画像を、前記曲面背景バッファに保存された背景画像と奥行値とで補完することにより前記仮の自由視点画像の隠蔽領域を補完する補完部とを有し、視点の位置又は視線の向きが動いた自由視点画像を生成する場合には、前記曲面背景バッファに保存されている奥行値を、該自由視点画像の新たな基準面に射影変換して補正し該新たな基準面から測った奥行値に更新することを特徴とする自由視点画像の隠蔽領域補完装置を提供する点に特徴がある。

本発明によれば、背景バッファに格納された背景と実際の背景との間の位置のずれを減少または零にさせることができるので、奥行が連続的に変化している部分の隠蔽領域の画像についても高精度に生成できるようになる。
また、背景が激しく動いた場合でも、正確な奥行値を求めることができるようになる。
この結果、任意視点からの映像を高精度に生成することが可能になる。

以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の原理を説明する。
本発明では、背景バッファに背景の映像のみならずその奥行値も記録するものであり、図１(b)に示されているように、背景バッファ３に格納された背景の形状を、奥行画像に基づく実際の形状と一致させることにより、背景バッファ３に格納された背景と実際の背景２との間の位置のずれを減少させるものである。なお、以降では、必要に応じて、この背景バッファ３を「曲面背景バッファ３」と呼ぶ。該曲面背景バッファ３は、従来の背景バッファ１が映像のみを記録する「平面背景バッファ」に対するものである。

次に、本発明の第１の実施形態を図２を参照して説明する。図２は、本発明の実施形態に係る自由視点画像の隠蔽領域補完方式における処理手順を示すフロー図である。この処理手順の各ステップはハードウエアあるいはソフトウエアで実現できる。

図２に示すように、本発明では、まず、参照画像と奥行マップから各フレームの仮の自由視点画像を生成する（Ｓ１）。同時に、参照画像と奥行マップから背景領域を抽出する（Ｓ２）。この背景領域の抽出では、曲面単層背景バッファおよび曲面多層背景バッファの両者に保存する背景画像とその奥行値とを背景領域として抽出する。

ここで、図３は前記参照画像の一例、図４は該参照画像の背景画像の奥行の概念図を示す。該奥行の概念図では、白黒の濃淡で奥行の大きさを示し、濃度が濃いほど奥行値が大きいことを示している。

次に、抽出された背景画像とその奥行値とを、曲面単層背景バッファおよび曲面多層背景バッファに保存する。ここに保存される背景画像とその奥行値は、後続のフレームごとに抽出した最新の背景画像とその奥行値で更新される。すなわち、背景画像とその奥行値は曲面単層背景バッファおよび曲面多層背景バッファに動的に生成・更新される（Ｓ３）。

ここで、図５は従来手法の平面背景バッファの概念図を示し、図６は本発明手法による曲面背景バッファの概念図を示す。図５には、奥行がない背景画像が示されているが、図６には奥行のある背景画像が示されている。

このように動的に生成・更新された背景画像とその奥行値を用いることにより、参照画像における前景領域で隠蔽されていた背景領域に対する画素をより完全に補完できる。なお、１フレーム分前の画像から抽出される背景画像とその奥行値あるいは数フレーム前以降の画像から抽出される背景画像とその奥行値により生成、更新される背景画像とその奥行値を用いてもある程度の画素補完は可能である。

再度、図２に戻ると、次に、前記Ｓ１で生成された仮の自由視点画像を曲面多層背景バッファに保存した背景画像とその奥行値で補完し（Ｓ４−１）、続いて、これにより補完されない画素を曲面単層背景バッファに保存した背景画像とその奥行値で補完する（Ｓ４−２）。以上の手順により曲面多層背景バッファを用いた補完方法および曲面単層背景バッファを用いた補完方法の各長所を取り入れた広範囲かつ高精度の補完を行うことができる。

以下に、上記処理手順の各ステップについて詳細に説明する。
１．仮の自由視点画像の生成（Ｓ１）
まず、参照画像Ｉを撮影した視点から自由視点への回転、および平行移動を３×３の行列Ｒ′、および１×３のベクトルｔ′として定義すると、参照画像Ｉにおける画素の位置（ｕ，ｖ，１）と自由視点画像Ａにおけるその画素に対応する画素（以下、対応点と称す。）の位置（ｕ″，ｖ″、１）との関係は、式(1)によって表される。ここで、Ｄ_{Ｉ（ｕ，ｖ）}は参照画像Ｉにおける画素の位置（ｕ，ｖ）の奥行値を表し、（ｕ，ｖ，１）や（ｕ″，ｖ″、１）は３次元上での画素の位置を表す。なお、奥行値の単位は奥行マップの定義に従うものとする。
（Ｄ_{Ｉ（ｕ，ｖ）}（ｕ，ｖ，１）^Ｔ−ｔ′）×Ｒ′（ｕ″，ｖ″，１）^Ｔ＝０ (1)

式(1)を（ｕ″，ｖ″，１）^Ｔについて解くことにより、参照画像Ｉと自由視点画像Ａとの間の対応点を求めることができる。この対応関係で式(2)により描画を行い、仮の自由視点画像Ａを生成する。なお、式(2)において、Ａ（ｕ″，ｖ″）は自由視点画像Ａの位置（ｕ″，ｖ″）の画素値を表し、Ｉ（ｕ，ｖ）は参照画像Ｉの位置（ｕ，ｖ）の画素値を表す。
Ａ（ｕ″，ｖ″）＝Ｉ（ｕ，ｖ） (2)

２．背景領域の抽出（Ｓ２）
背景領域の抽出は、曲面多層背景バッファおよび単層背景バッファに保存する背景画像を抽出する処理であり、背景画像の生成・更新の前処理として行われる。ここでは、まず、式(3)を用いて参照画像Ｉの奥行分布の統計をとる。式(3)の右辺は、参照画像Ｉにおける奥行がｎＳ以上、（ｎ＋１）Ｓ未満である画素の個数を意味し、Ｓは統計をとる際のステップ幅を表す。また、ｎは整数である。

次に、式(3)で求められたＶ(n)をガウスフィルタで平滑化し、Ｖ′（ｎ）を算出する。ここで、Ｖ′（ｎ）が極小値をとる際の奥行を分割指標（Ｓの整数倍数とする。）として定義し、値が小さい順に分割指標ｍｉｎ_１，ｍｉｎ_２，・・・，ｍｉｎ_Ｍを生成する。最後に、式(4)に従って参照画像Ｉを複数の画像Ｉ_ｍ（ｍ＝０，１，・・・，Ｍ）に分割する。なお、式(4)において、nullは画素が存在しないことを表す。また、ｍｉｎ_０＝−∞、ｍｉｎ_Ｍ＋１＝∞とする。この複数の画像Ｉ_ｍ（ｍ＝１，・・・，Ｍ）は、後述する多層背景バッファ内の背景画像の生成・更新のために使用される。

さらに、式(5)で生成される画像Ｉ_ａｌｌを定義する。画像Ｉ_ａｌｌは、曲面単層背景バッファ内の背景画像の生成・更新のために使用される。

３．曲面背景バッファの生成・更新（Ｓ３）
ここでは、背景領域の抽出（Ｓ２）で抽出された画像Ｉ_ｍ（ｍ＝１，・・・，Ｍ，all）を曲面背景バッファ（曲面多層背景バッファおよび曲面単層背景バッファ）に保存し、それをフレームごとに更新する。画像Ｉ_ｍ（ｍ＝１，・・・，Ｍ，all）のそれぞれに背景バッファＵ_ｍ（ｍ＝１，・・・，Ｍ，all）が対応するとする。なお、画像Ｉ_０は前景画像であるため、それに対応する背景バッファＵ_０は存在しない。

先頭フレームでは、画像Ｉ_ｍを背景バッファＵ_ｍにそのまま保存する。続く他のフレームでは、画像Ｉ_ｍと背景バッファＵ_ｍに保存された画像の合成を以下の手順で行う。

まず、画像Ｉ_ｍと背景バッファＵ_ｍに保存された曲面背景画像から８点以上の対応点を探索し、それらの対応点を用いて式(6)を満たす射影変換行列Ｂ_ｍを算出する。ただし、画像Ｉ_ｍ内の座標（ｕ_Ｉｍ ，ｖ_Ｉｍ）と背景バッファＵ_ｍに保存されている画像内の座標（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）は対応点であるとする。
（ｕ_Ｉｍ ，ｖ_Ｉｍ ，１）^Ｔ×Ｂ_ｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ ，１）^Ｔ＝０ ・・・(6)

その後、式(6)によって求められる（ｕ_Ｉｍ ，ｖ_Ｉｍ）と（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の対応を式(7)に代入することにより、背景バッファＵ_ｍ（ｍ＝１，・・・，Ｍ，all）に保存した曲面背景画像を更新する。

また、画像Ｉ_ｍ内の座標（ｕ_Ｉｍ ，ｖ_Ｉｍ）における奥行値をＤ_Ｉｍ（ｕ_Ｉｍ ，ｖ_Ｉｍ）とおき、背景バッファＵ_ｍ内の座標（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）における奥行値をＤ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）とおくと、式（６）によって求められる（ｕ_Ｉｍ ，ｖ_Ｉｍ）と（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の対応を式（８）に代入することにより、背景バッファＵ_ｍにおける奥行値Ｄ_Ｕｍ（ｍ＝１，・・・，Ｍ，all）の値を更新する。

４．出力画像の生成（Ｓ４，Ｓ５）
仮の自由視点画像Ａを背景バッファＵ_ｍ（ｍ＝１，・・・，Ｍ，all）に保存された背景画像およびその奥行値を用いて補完することにより出力画像を生成する。補完は、対応点が存在しない画素に対して行う。

まず、曲面多層背景バッファを用いた補完を行うために、ｍ＝１，・・・，Ｍとして、曲面背景画像Ｕ_ｍ内の座標（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の点に対応する仮の自由視点画像Ａの座標（ｕ″，ｖ″)の点式（９）により算出する。
（Ｄ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ ，１）（ｕ′_Ｕｍ ，ｖ′_Ｕｍ ，１）^Ｔ−ｔ）×Ｒ（ｕ ″，ｖ″，１)^Ｔ＝０ ・・・(9)
ただし、行列Ｒは視点の回転移動を定義し、ベクトルｔは視点の平行移動を定義する。

次に、（９）式によって求められる（ｕ″，ｖ″)と（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の対応を式（１０）に代入することにより、自由視点画像Ａに対する補完を行う。

さらに、曲面単層背景バッファを用いた補完を行うために、ｍ＝allとして、上記と同様に、対応点を算出し、この対応点を用いて自由視点画像Ａに対する補完を行う。なお、曲面単層背景バッファを用いた補完は、Ａ（ｕ″，ｖ″）＝nullの画素、すなわち、曲面多層背景バッファを用いた補完では補完されずに残っている画素に対して行われる。以上によって得られる画像を出力画像として出力する。

図７(a)、(b)および(c)の各々に、背景画像を補完しなかった場合（従来）、平面背景バッファで補完した場合（従来）および曲面背景バッファで補完した場合（本発明）の任意視点映像の具体例を示す。図７(a)では隠蔽領域が残り、同図(b)では背景画像の一部が下の方にずれているのに対して、同図(c)では該下方向にずれていた背景画像が他部の背景画像とほぼ整合していることが分かる。すなわち、本発明によれば、奥行が連続的に変化している部分の隠蔽領域についても高精度に任意の視点映像を生成することができる。

次に、本発明の第２の実施形態を以下に説明する。この実施形態は、例えばカメラの位置が急激に動いた場合、換言すれば背景が激しく動いた場合でも、正確な奥行値を求めることができるようにするものである。

この課題を達成するために、本実施形態では、前記第１の実施形態における奥行値を奥行画像に射影変換して補正することにより、正確な奥行値を求めるようにした。

具体的には、前記式（７）の後の文「また、画像Ｉ_ｍ内の座標（ｕ_Ｉｍ ，ｖ_Ｉｍ）における奥行値をＤ_Ｉｍ（ｕ_Ｉｍ ，ｖ_Ｉｍ）とおき、背景バッファＵ_ｍ内の座標（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）における奥行値をＤ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）とおくと、式（６）によって求められる（ｕ_Ｉｍ ，ｖ_Ｉｍ）と（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の対応を式（８）に代入することにより、背景バッファＵ_ｍにおける奥行値Ｄ_Ｕｍ（ｍ＝１，・・・，Ｍ，all）の値を更新する。」を、次の文に置き換える処理をする。これ以外の処理は第１の実施形態における処理と同じであるので、説明を省略する。

すなわち、「また、画像Ｉ_ｍ内の座標（ｕ_Ｉｍ ，ｖ_Ｉｍ）における奥行値をＤ_Ｉｍ（ｕ_Ｉｍ ，ｖ_Ｉｍ）、背景バッファＵ_ｍ内の座標（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）における奥行値をＤ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）とおき、式（６）によって求められる（ｕ_Ｉｍ ，ｖ_Ｉｍ）と（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の対応を求め、式（７）’を使って奥行値Ｄ_ＩＭ（ｕ_Ｉｍ ，ｖ_Ｉｍ）を算出する。
Ｄ_ＩＭ（ｕ_Ｉｍ ，ｖ_Ｉｍ）（ｕ_Ｉｍ ，ｖ_Ｉｍ ，１）^Ｔ
＝Ｂ_ｍＤ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）（ｕ′_Ｕｍ ，ｖ′_Ｕｍ ，１）・・・（７）’

このＤ_ＩＭ（ｕ_Ｉｍ ，ｖ_Ｉｍ）を式（８）に代入することにより、背景バッファＵ_ｍにおける奥行値Ｄ_Ｕｍ（ｍ＝１，・・・，Ｍ，all）の値を更新する。」。なお、これ以外の処理は第１の実施形態における処理と同じであるので、説明を省略する。

この第２実施形態は、カメラ位置を、図８の左側のカメラ位置から右側のカメラ位置に急激に移動すると、実際の奥行値（背景バッファの奥行値）と奥行き画像の奥行値とが一致しなくなるのを補正して、一致するようにするものである。すなわち、実際の奥行値が奥行き基準面に対する奥行値と等しくなるように、該実際の奥行値を補正する。

以上、実施形態を説明したが、本発明は種々の形態で実施できる。例えば、送信側から参照画像と奥行マップを送信し、送信された参照画像と奥行マップを用いて受信側で自由視点画像を生成することができ、本発明は、放送受信機、映像受信機としての携帯端末などに適用できる。

従来の背景バッファと本発明による曲面背景バッファの概念図である。 本発明の第１の実施形態の自由視点画像の隠蔽領域補完方式の処理手順を示すフロー図である。 参照画像の一具体例を示す図である。 図３に対応する奥行画像の概念図である。 従来手法による背景バッファの一具体例を示す図である。 本発明手法による曲面背景バッファの一具体例を示す図である。 背景画像を補完しなかった場合（a）、平面背景バッファで補完した場合（b）および曲面背景バッファで補完した場合（c）の任意視点映像の一具体例を示す図である。 本発明の第２の実施形態における奥行値の補正の説明図である。

符号の説明

Ｓ１・・・仮の自由視点画像の生成、Ｓ２・・・背景領域の抽出、Ｓ３・・・曲面背景バッファの生成・更新、Ｓ４−１・・・仮の自由視点画像の補完、Ｓ４−２・・・仮の出力画像の補完。

Claims (1)

1. 参照画像とそれに対応する予め与えられている奥行値（基準面からの奥行の大きさ）を記録した奥行マップとから仮の自由視点画像を生成する自由視点画像生成部と、
   前記参照画像と前記奥行マップとから、該参照画像を奥行値に基づいて分割し、該分割した結果に従って該参照画像の背景領域を抽出する背景領域抽出部と、
   前記背景領域抽出部で抽出された背景領域で構成される背景画像とそれに対応する奥行値を保存する曲面背景バッファと、
   前記自由視点画像生成部で生成された仮の自由視点画像を、前記曲面背景バッファに保存された背景画像と奥行値とで補完することにより前記仮の自由視点画像の隠蔽領域を補完する補完部とを有し、
   視点の位置又は視線の向きが動いた自由視点画像を生成する場合には、前記曲面背景バッファに保存されている奥行値を、該自由視点画像の新たな基準面に射影変換して補正し該新たな基準面から測った奥行値に更新することを特徴とする自由視点画像の隠蔽領域補完装置。