JP7394566B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、離散的に配置されたカメラで撮影された被写体の多視点画像を用いて、連続的に変化する視点位置から見た該被写体の三次元的な映像をＸＲ空間内に生成することのできる画像処理装置、画像処理方法、および画像処理プログラムに関する。

従来、運動あるいは静止する被写体（例えば、人間、動物、品物などのオブジェクト）をＸＲ空間内に取り込むため、被写体の周囲に、できるだけ被写体の全ての面が映るように複数のデプスカメラを配置し、このデプスカメラで撮影された画像群と、デプスデータ（以下、「デプス値」とも言う。）群をもとにフォトグラメトリ等の手法によって、被写体を点群、ポリゴン等の三次元モデルで表す技術が一般的に知られている。（例えば特許文献１を参照のこと。）
ここで、ＸＲとは、ＡＲ（拡張現実）、ＶＲ（仮想現実）、ＭＲ（複合現実）などの一連の３Ｄ技術を意味する。

しかしながら、このような従来方法では、三次元モデル化のプロセスが重くなり、また自動化が難しいので、撮影からＸＲ空間内での表示までをリアルタイムに処理するには困難である。また、人間や動物などの複雑な形状を有する被写体を三次元モデルで高品質に表現しようとすると、膨大な量の点群、ポリゴンデータが必要になる。

データ量を削減するためには、三次元モデルを作成するのではなく、イメージベースドレンダリング（ＩＢＲ）と呼ばれる手法を用いることが考えられる。（例えば特許文献２を参照のこと。）

このイメージベースドレンダリング手法は、オブジェクトの２種類の見え方を記録した２枚の画像から新しい見え方となる画像を合成する技術である。特許文献２は、この技術を用いて注目視点位置からの仮想物体の画像を高精度、かつ高速に生成する。具体的には、観察者視点のカメラ位置に最も近い参照画像（第１の参照画像）を選び出す。次に仮想物体を複数の三角パッチに分割して、各三角パッチにラベルを付したとき、同じ三角形パッチのラベルを有する参照画像ごとのグループにおいて、はじめに選び出された第１の参照画像と同じグループに属する第２の参照画像を選択する。そして、第１の参照画像と第２の参照画像を用いて、注目視点位置からの仮想物体の画像を生成する。

しかしながら、特許文献２に記載の方法は、通常の平面的なモニター（ディスプレイ）で見ることが想定されていて、運動したり、変形したりする物体でなく、静止物体のみを対象としているため、ＸＲ空間内で運動したり、変形したりする仮想物体を表示したり、ＸＲ空間内で視点カメラが移動する場合などを表示する場合は適さない。

特開２０１６－１１９０８６号公報 特開２００２－１５７６０３号公報

本発明は、上述のかかる事情に鑑みてなされたものであり、多視点画像を用いて視点カメラから見た仮想物体の映像をＸＲ空間内に表示する場合に、視点カメラを移動させたときに、仮想物体の歪みを抑え、かつ視点カメラの移動に伴う滑らかな表示を低処理コストで実現することのできる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

本発明は、ＸＲ空間内に三次元モデルで生成した仮想物体を置くのではなく、視点カメラから見た仮想物体の位置に、視点カメラと注視点とを結ぶ視線軸に常に垂直に向く四角板（所謂スプライトを意味し、以下、「スクリーン」、「ビルボード」とも言う。）を置き、その四角板に、その方向から撮影された画像を投影（マッピング）することによって、そこに三次元物体があるかの如くに表示する方法である。

より詳しく説明すると、本発明は、運動あるいは静止した被写体を覆うように離散的に配置されたカメラで撮影されたフレーム画像データ群から、撮影した際と別の位置にあるカメラ画像を復元し、刻々と変化し得る被写体の運動やＸＲ空間内の滑らかなカメラ移動を反映し、実際に運動する立体物があるように見る者に動画として体験させる技術である。これによって従来法あるいはポリゴンやクラウドデータによる立体化よりも撮影から表示までの処理の軽量性（ライブ化）、データの軽量性、画像品質の高さなどを担保することができる。

これを実現するために、新しいデプスデータを応用した画像間のマッチング手法、前面画像の移動が後方の物体の画像を変形させる問題を解決するレイヤー分け、モーフィングの際にメッシュの無理な変形を生じさせないためと省データ化のためのメッシュデータ（＝マップデータ）の生成方法、再生時に処理を軽減するための三角地点カメラデータの合成マップの準備、マップデータのデプスデータを加えた特殊なマップデータ構造によるオクルージョン問題の軽減と立体感の強調、左右視が可能なＨＭＤの場合は視差に応じてレイヤーをずらして表示し、立体感を強化することなどを特徴としている。

具体的には、本発明に係る画像処理装置は、離散的に配置されたカメラで撮影された被写体の複数の撮影画像を用いて、連続的に変化する視点位置から見た場合の前記被写体の映像を生成する画像処理装置であって、
前記撮影画像と撮影位置とを関連付けて保存する手段と、
前記視点位置近傍の３つの撮影位置であって、各撮影位置を頂点とする三角形が、前記視点位置と予め定めた前記被写体方向の注視点とを通る直線と交わる撮影位置を特定し、特定された撮影位置の撮影画像を抽出するキーフレーム抽出手段と、
前記キーフレーム抽出手段によって抽出された撮影画像を用いて、前記直線に垂直な面上に投影されたときの画像を生成する視点画像生成手段と、
前記視点位置の動きに連動して前記視点画像生成手段によって生成された前記画像を表示装置へ出力する表示出力手段と、
を備えたことを特徴とする。

ここで、撮影位置とは、撮影時のカメラの位置をいう。例えば、ワールド座標系で表すことができる。
本発明によれば、視点位置から見た場合の被写体の映像を、該視点位置を囲む近傍３点のカメラ位置で撮影された撮影画像を用いて生成することができる。

また、本発明に係る画像処理装置の前記視点画像生成手段は、その撮影位置が前記三角形を構成する撮影画像間のピクセル対応関係を有するマップデータを生成し、当該マップデータを用いて、モーフィング処理により前記画像を生成することを特徴とする。
本発明では、滑らかに視点位置が移動した場合に、モーフィング処理によって滑らかに視点位置からみた被写体の映像を表示することができる。

好ましくは、前記視点画像生成手段は、マップデータの生成において、夫々の撮影画像の撮影位置、撮影方向、および、デプスデータを用いて該撮影画像のピクセルごとに被写体表面の対応する位置を算出し、当該位置をもとに撮影画像間のピクセル対応関係を演算すると良い。

また、撮影画像を、デプスデータに基づいてレイヤーごとに分け、前記視点画像生成手段は、このレイヤーごとの撮影画像に対してモーフィング処理を実行するのがよい。これに、モーフィング時のオクルージョンや歪みの問題に対処することができる。
さらに、レイヤーごとに視差画像を生成することにより、ＨＭＤ（ヘッドマウントディスプレイ）使用時に、被写体を仮想空間内に立体的に映し出すことが可能となる。

また、本発明に係る画像処理方法は、離散的に配置されたカメラで撮影された被写体の複数の撮影画像を用いて、連続的に変化する視点位置から見た場合の前記被写体の映像を生成する画像処理方法であって、
被写体を複数の方向から撮影して、ピクセルごとにデプス値を有する多視点画像を取得する段階と、
視点カメラを囲む近傍の少なくとも３点で撮影された多視点画像を抽出する段階と、
抽出された多視点画像について、ピクセルのデプス値を用いて、被写体表面の該ピクセルに対応するワールド座標を演算する段階と、
前記ワールド座標に基づいて、抽出された各多視点画像間のピクセルマッチング処理を実行し、マップデータを生成する段階と、
前記マップデータと前記多視点画像とを用いて視点カメラにおける仮想画像を生成する段階と、
を含むことを特徴とする。

本発明によれば、撮影カメラによって離散的に取得された多視点画像をもとに撮影カメラ位置間の隙間を視点カメラが動く場合に、視点カメラから見た映像を滑らかに繋ぐことができる。これにより、あたかも被写体を囲む撮影カメラが隙間なく配置されたのと同様に、仮想空間内を視点カメラが滑らかに動いても、ビルボードに投影（マッピング）される映像も滑らかに連続して変化する。

本発明の第１の実施の形態による画像処理装置１のブロック図である。 本発明の実施の形態によるマップデータ自動生成処理における被写体表面と撮影カメラの視線の交点の座標の決定のしかたの説明図である。 本発明の実施の形態によるマップデータ生成処理におけるメッシュ生成の説明図である。 本発明の実施の形態によるモーフィングのしかたの説明図である。 本発明の実施の形態による視点カメラの画像のマップデータを含めた合成マップデータ生成処理の説明図である。 デプスデータに基づくレイヤー分割の説明図である。 視差の説明図である。 本発明の実施の形態による画像処理装置１の処理手順を説明するためのフローチャートである。 図１のキーフレーム抽出手段によるキーフレーム抽出処理の説明図である。 本発明の第２の実施の形態による画像処理装置の機能ブロック図である。 図１０の中間キーフレーム生成手段の説明図である。

以下に本発明の実施の形態による画像処理装置および画像処理方法について、図面を参照しながら説明する。尚、以下に示す実施例は本発明の画像処理装置および画像処理方法における好適な具体例であり、技術的に好ましい種々の限定を付している場合もあるが、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。また、以下に示す実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、かつ、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下に示す実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

図１は、本発明の第１の実施の形態による画像処理装置１のブロック図である。
図１において、本実施の形態による画像処理装置１は、カメラ等の撮影機能を有し多視点から撮影画像を取得する撮影手段６０、撮影画像やカメラの位置・姿勢データを記憶する記憶部３０、撮影画像等の情報を用いて、連続的に変化する視点位置から見た場合の映像を生成する演算処理部１０を備える。

また、演算処理部１０は、撮影手段６０で取得した撮影画像やカメラの位置・姿勢データを入力する入力手段１１、外部からの指示あるいは予め決められた手順によって視点位置を移動させる視点位置移動手段１２、視点位置に基づいて合成に用いる撮影画像を抽出するキーフレーム抽出手段１３、抽出した撮影画像を用いて視点位置から見た画像を生成する視点画像生成手段１４、生成した画像を表示装置に出力する表示出力手段１５を備える。各手段１１～１５はＣＰＵの機能としてプログラムによって実現することができる。

次に、上記の構成を有する画像処理装置１の動作概要を説明する。
＜撮影時の処理＞
１．多視点画像収集処理
まず、三角形に配置された組みで、複数の撮影手段（以下、「撮影カメラ」又は単に「カメラ」という。）６０を配置する。撮影カメラ６０として、撮影画像の画素ごとに深度データ（デプスデータ）を計測可能なカメラ（例えば、デプスカメラ）が用いられ、被写体方向の注視点に向けられる。デプスカメラを用いる代わりに、例えば左右の視差でデプス値を算出できればよい。複数の撮影カメラ６０は、図１に示すように被写体を取り囲むように球表面上に配置されてもよいが、これに限らず例えばその並びが任意のスプラインカーブ上に配置されていてもよい。このとき近傍の任意の３つの撮影カメラ６０の構成する三角形は、その一辺が底面と平行になるように設置するのが演算コストの低減の観点から好ましい。

図１に示すように被写体７０を取り囲む位置に複数の撮影カメラ６０を配置し、撮影画像（以下、「多視点画像」ともいう。）および撮影カメラ６０の位置、向き等のデータ（カメラ位置情報）を入力手段１１を介して取得する。撮影画像は、ピクセルごとに、たとえば（Ｒ，Ｇ，Ｂ，Ｄ）というようにＲＧＢ値とデプス値（Ｄ）を有し、記憶部３０の画像データ保存エリア３１に保存される。撮影カメラ６０の位置と向きはワールド座標系で表され、カメラ位置情報保存エリア３２に保存される。カメラ位置情報とその位置で撮影された撮影画像とはカメラ位置ＩＤ等によって互いに関連付けられている。このようにして、入力手段１１は、注視点を共通にした多視点画像を取得する。

２．キーフレーム抽出処理
キーフレーム抽出手段１３は、視点カメラ６１を囲む近傍３つの撮影カメラ６０で撮影した撮影画像（多視点画像）をキーフレームとして抽出する。このキーフレームは、図示しない視点カメラ６１の位置（視点位置）から被写体を見たときの画像（視点画像）の生成に用いられる。視点カメラ６１は、視点位置移動手段１２によって、表示装置５０のＸＲ空間内で移動される。
各撮影カメラ６０の位置および視点カメラ６１の位置は、ワールド座標で表される。

３．マップデータ生成処理
視点画像生成手段１４は、キーフレーム抽出手段１３で抽出したキーフレーム、すなわち隣り合うカメラ（三角形の頂点位置にあるカメラ６０によって撮影された三つのキーフレーム）同士の画像間のピクセルマッチング計算を行い、マップデータを生成する。なお、ここでのピクセルマッチングは、カメラ位置の違いによって生じるピクセルの移動であり、以下に説明する手順によって、キーフレームの有するピクセルごとのデプスデータ等を用いてピクセルの移動を精度よく算出することができる。

（１）レイトレーシング・アルゴリズム
先ず、図２に基づいて、隣り合うカメラの二つの二次元スクリーン（キーフレーム）のピクセル位置と被写体の対応する点のワールド座標との関係について説明する。
以下のステップはレイトレーシング（光線追跡法）の視点から、スクリーンの各点に向けたレイのベクトルを求めるアルゴリズムを利用するものである。

// 視点から注視点へのベクトル = 視点（カメラの座標）- 注視点の座標
at_vec = from_vec - look_vec
// 視点の右方向ベクトル = 視点から注視点へのベクトルとカメラの上方向ベクトル(0,1,0)の外積
right_vec = look_vec × up_vec
// right_vecの正規化
right_vec = normalize(right_vec )
// up_vecの画角によるスケール
up_vec = VecScale(up_vec, -VecLen(look_vec) * tan(fov)
// right_vecの画角によるスケール
right_vec = VecScale(right_vec, VecLen(look_vec) * tan(fov) * xres / yres
// スクリーン左上から右下へのピクセル毎の繰り返し
for(j = 0; j < yres; j++) {
for(i = 0; i < xres; i++) {
// スクリーン上の各点のu v 座標
disp_vec = VecComb(((float)i / (float)(xres-1) - 0.5)), (float)j/(float)(yres-1) - 0.5), disp_vec)
// 視点（カメラ）からのスクリーン上のピクセルへの単位ベクトルを求める。
ray_vec = look_vec * 2.0 + disp_vec
ray_vec = normalize(ray_vec)
}}

これによって、視線ベクトル(ray_vec)とスクリーン上のあるピクセルを結ぶ直線と被写体が交わる場合、カメラから被写体上へのベクトルp_vecは、depth(距離)値（デプスデータ）を用いて次のように表される。
p_vec=ray_vec*depth ・・・（１）

ここで、撮影カメラの位置座標（ワールド座標）はわかっているため、式（１）によって被写体上の座標（ワールド座標）を求めることができる。また視線ベクトル(ray_vec)は、スクリーン上の各点のu v 座標（disp_vec）およびピクセル（i, j）と関連付いている。したがって、視点位置と写体方向の注視点とを通る直線（at_vec）と直交するスクリーン上の任意のピクセル（i, j）に対応する被写体上のワールド座標（p_vecの終点座標）を求めることができ、逆に被写体上の任意のワールド座標に対応するスクリーン上のピクセル（i, j）を求めることができる。
この点から二つめのカメラの位置の座標とp_vecの終点座標とを結ぶ直線が決まり、この直線と二つめのスクリーンとの交点ピクセル（i', j'）が決まるのでこれが対応点となる。

視点画像生成手段１４は、上記アルゴリズムを用いて、キーフレームの各ピクセル（i, j）に対応する被写体表面のワールド座標を求め、当該ワールド座標が一致する（当該座標の差が一定の範囲以内に入る）ピクセルは同じ被写体上の点に対応すると判定して、キーフレーム間のピクセルマッチングを行う。

以上の如く、視点画像生成手段１４は、キーフレームのピクセルごとのデプス値（Depth）を用いて、ピクセルマッチングを行う。なお、上記はキーフレームを取得する撮影カメラが予め定めた注視点を向いていることを前提として説明したが、撮影カメラの位置と方向が既知である場合は、撮影カメラの方向と注視点方向のずれによるピクセル位置のずれを補正することにより上記と同じ手順を用いてピクセルマッチングを行うことができる。

（２）次に、マップデータの生成処理の手順について説明する。
ここでのマップデータの定義は同じ被写体をそれぞれのカメラから近い位置から撮影した場合、一つ目のキーフレームの被写体の部分のピクセルが、二つ目のキーフレームのどのピクセルに対応するかを表したデータ群である。

ピクセルごとに対応するピクセルを求めていくが、このピクセルをスキャンする密度はn個（ｎは２以上の自然数）おきにすることができる。全てのピクセルをスキャンするとデータ量が増え、また、近傍のピクセルは同じ移動をする場合が多いからである。なお、物体の遠近、また物体の表面のテクスチャーの細かさによって、ユーザーがピクセルをスキップする値を選択できるようにするのが好ましい。テクスチャーが細かい場合はスキップ数を少なく、テクスチャーが粗い場合はスキップ数を多くして効率的にマップデータを生成することができる。

なお、モーフィングを高速で処理するため、画素（ピクセル）の移動を画素単位で行わずメッシュの変形で実行するのが好ましい。この場合は、あるキーフレームについて、まずデプスデータを用い、図３（ａ）のように被写体より遠いデプスの閾値以上の領域を切り捨てる。図３（ａ）の周囲の白い部分はスキップして一致点探索の画素の最初の地点は灰色部分からになる。次にモーフィングにおいて最も不自然さが目立つのは明度の差の大きい部分がマッチしていない場合で、その部分がクロスディゾルブのようになってしまうところなので、既存のエッジ検出技術を用いて、エッジを検出するのが好ましい。図３（ｂ）はエッジ画像の例である。

たとえば、縦横２-４ピクセルおき（選択可）にマッチングを行い、
１） 画素の移動が大きくかつエッジである。
２） 画素の移動が大きくかつエッジでない。
３） 画素の移動が小さくかつエッジである。
４） 画素の移動が小さくエッジでない。
５） 画素の移動がない。
という判断基準でメッシュの作成の元となる点を残す。そして、その点をもとにボロノイ図からドロネー分割でメッシュを生成する。（図３（ｃ）を参照）
このメッシュの頂点をマップデータとして選択する。

上記の手順によって作成されるマップデータは次のようになる。
（(X0, Y0)（X'0, Y'0））………（(Xn, Yn) （X'n, Y'n））
ここで、 (Xｉ, Yｉ)（i=0～n）は、キーフレームＡのピクセル位置、(X'ｉ, Y'ｉ) （i=0～n）はキーフレームＢのピクセル位置であり、両ピクセルがマッチングしていることを意味する。

上記のマップデータには、デプス値を加えて次のように表すようにしても良い。
A(Xi, Yi)D(Xi, Yi) → B(X'i, Y'i)D(X'i, Y'i)
なお、デプス値はマップデータとは別に管理することも可能であるため、以下の説明においては、デプス値の記載は省略する。

３つの撮影位置（Ａ，Ｂ，Ｃ）の撮影画像を用いる場合、ＡＢ間のマップデータとＢＣ間のマップデータとを合成し、三角形ＡＢＣ内の合成マップデータを作成する。
キーフレームＡ，Ｂ，Ｃ間のマップデータは次のようになる。
（(X0, Y0)（X'0, Y'0）（X''0, Y''0））………（(Xn, Yn)（X'n, Y'n）（X''n, Y''n））
ここで(Xｉ, Yｉ)（i=0～n）は、キーフレームＡのピクセル位置、(X'ｉ, Y'ｉ) （i=0～n）はキーフレームＢのピクセル位置、(X' 'ｉ, Y' 'ｉ) （i=0～n）はキーフレームＣのピクセル位置である。
このマップデータは、モーフィング処理に用いられる。なお、マップデータにデプス値を含めても良いことは上述したとおりである。

＜ＸＲ空間内での再生時の処理＞
４．視点画像生成処理
次に、視点画像生成手段１４による、視点カメラ位置から見た被写体画像（視点画像）の生成処理について説明する。

（１）基本的な合成処理
まず、時刻ｔ０におけるＸＲ空間内の視点カメラの位置と撮影カメラ６０のリグ（実カメラ設置の枠組み）の中心（注視点）位置とを結ぶ直線と、リグの配置と同じＸＲ空間内の三次元構造物（三角板）との交点Ｐの座標を求める。そして、その交点Ｐを含む三角板（近傍３つの撮影カメラで構成される三角形）の頂点の位置から撮影された時刻t０の三枚のキーフレームと、その三角板内の合成マップデータを読み込む。

以下、図４に基づいて、視点カメラ位置から見た被写体画像をキーフレームと合成マップデータとを用いて生成する手順を説明する。
図４において、３つのキーフレームの撮影カメラの位置a, b, cのワールド座標をそれぞれ（x,y,z），（x',y',z'），（x'',y'',z''）とする。また、視点カメラと被写体注視点とを結んだ直線が三角板abcと交わる点ｆのワールド座標を（fx,fy,fz）とする。なお、撮影カメラの位置a, b, cで取得した画像をそれぞれキーフレームA,B,Cという。
ここで、三角板の頂点ｃから点ｆを通り、三角板の辺ａｃと交わる点をｌとする。

この点ｌの座標は幾何学的に求めることができ、いまこの座標を（lx,ly.lz）とする。１）まず、点ｌを新たな視点位置として、撮影カメラ位置a,bのキーフレームA,Bを用いて、点ｌの位置の中間キーフレームを生成する手順を説明する。
キーフレームA上の座標の位置をp = (i, j)、キーフレームB上の対応点の位置をp' = (i', j')とすると、
その差d = p - p' = (i - i', j-j')となる。
撮影カメラの座標をa(x, y, z)とb(x', y', z')すると、その間の距離は、
len = sqrt((x-x')*(x-x')+(y-y')*(y-y')+(z-z')*(z-z'))
となる。ここで、sqrtは平方根を意味する。以下同様である。

また、中間カメラの位置を l (lx, ly, lz)とすると、
mid = sqrt((lx-x')*(lx-x')+(ly-y')*(ly-y')+(lz-z')*(lz-z'))
となる。モーフィングの変形率ratioは、ratio = mid/len (0～１)で表される。
中間カメラの位置ｌでの実際のスクリーン上の変形率を反映した位置は、
pos = (pi, pj) = p + d * ratio
となる。

この変形を反映したポリゴンメッシュ上にキーフレームAをマッピングする。以下、この結果生成された画像を「ａの画像」という。実際、同じuv値で、ポリゴンの頂点位置が変わっているので、画像がbよりに変形する。

同様に、キーフレームBのメッシュを
pos' = (p'i, p'j) = p' - d * (1-ratio)
で変形したポリゴンメッシュ上にキーフレームBをマッピングする。以下、この結果生成された画像を「ｂの画像」という。キーフレームBいついては、画像がaよりに変形(1-ratio)する。

そして、aの画像上にbの画像のアルファ値（透明度）をratio (0～１)として合成して、点lの位置(pos又はpos')の中間キーフレームLを得る。なお、aの画像上にbの画像を重ねる処理の際、aの画像のアルファ値は常に1で変化しない。

２）次に、キーフレームCと中間キーフレームLを用いて、点ｆでの画像を生成する。
撮影カメラcのワールド座標（x'',y'',z''）、中間カメラｌのワールド座標 (lx, ly, lz)、及び、点ｆのワールド座標（fx,fy,fz）は既知であり、またキーフレームC上の点p'' = (i'', j'')と、中間キーフレームL上の対応点pos（又はpos'、或いはこれらの加算平均値）も既知であるため、上記１）と同様の処理によって、視点カメラの位置での合成画像（視点画像）を生成することができる。

視点画像生成手段１４によって生成された視点画像は、表示出力手段１５によって、ＸＲ空間に映像出力される。
この処理は、定周期で実行され次の時刻ｔ１、およびその後の時刻においても同様の処理が行われる。

（２）視点画像生成手段１４の合成処理（他の実施例１）
図５に示すように、視点カメラ６１の位置を想定し、その視点カメラから見たピクセルの位置を合成マップデータに追加する。この合成マップデータの例を示す。
（(X0, Y0)（X'0, Y'0）（X''0, Y''0）（X'' '0, Y'' '0））………（(Xn, Yn) （X'n, Y'n）（X''n, Y''n）（X'' 'n, Y'' 'n））
ここで、(Xi, Yi)、（X'i, Y'i）、（X''i, Y''i）、（X'' 'i, Y'' 'i）（i=0～ｎ）は、それぞれ、撮影カメラＡ，Ｂ，Ｃ、および視点カメラ６１での画像のピクセル位置を表す。なお、図５において撮影カメラＣの図示は省略している。

視点カメラ６１のマップデータは次のようにして生成することができる。
任意の撮影カメラは、その向きや位置がワールド座標で表され、そのマップデータはデプスデータを含んでおり、若しくはデプスデータと関連付けられている。このため、上記レイトレーシング・アルゴリズムを用いて、マップデータの任意の座標（例えば、(Xi, Yi)）に対応する被写体表面のワールド座標を求めることができる。

一方、視点カメラ６１の向きや位置はワールド座標で表される。したがって、上述したレイトレーシング・アルゴリズムを用いて、視点カメラ６１の位置から被写体表面の任意の点のワールド座標へ向かうベクトルに対応するスクリーン上の座標を求めることができる。被写体表面上のワールド座標を同じくする（一定の閾値範囲に入る）スクリーン上の座標を求めることにより、例えば撮影カメラＡのキーフレームの座標(Xi、Yi)に対応する視点カメラの画像上の座標（X'' 'i, Y'' 'i）（i=0～ｎ）を求めることができる。
この視点カメラ６１の画像（視点画像）を含めた合成マップデータを生成することにより、各撮影カメラＡ，Ｂ，Ｃのキーフレームをそれぞれ視点画像のマップデータに基づいてメッシュ変形させて合成することができる。

（３）レイヤーごとの合成処理（他の実施例２）
画像変形で中間（補間）画像を復元する場合、画像をデプス値によってレイヤー分けする。これにより、画像合成時にレイヤーの違う画像同士の干渉やオクルージョンなどの問題によって、復元される画像の品質が損なわれることを防止できる。

例えば、図６に示すように、予め、デプス値に基づいて予め複数のレイヤーに分ける。このとき、レイヤーの境界は一定範囲を重複を持たせておくのが好ましい。なお、図６中、領域Ａ（被写体の右耳部分）を点線、領域Ｂ（被写体の左耳部分）を実線、領域Ｃ（被写体の顔部分）を一点鎖線、領域Ｄ（被写体の胴体部分）を二点鎖線で表している。

また、マップデータをレイヤーごとに生成し、このマップデータを用いてレイヤー境界を含む周囲のデプス値（あるいは複数のピクセルの平均デプス値）の大きいレイヤーから順に重ね合わせることにより、視点カメラ６１から見た視点画像を生成する。

マップデータは、たとえばピクセルごとにデプス値が閾値以上か否かを判定し、閾値以上のグループと、閾値以下のグループにわけて、それぞれのグループでマップデータを作成する。レイヤーの分け方はこれに限らず、デプス値の勾配（変化の大きなところ）で分割するようにしてもよい。

（４）レイヤー合成時の視差の反映（他の実施例３）
次に、デプス値によってレイヤー分けした画像をモーフィング画像作成時にカメラ視差を考慮し、左眼と右眼用に視差を反映した、配置を左右にずらして表示する方法について述べる。

合成の際に使用されるズレは図７にその原理を示す方法であらかじめ求めておく。
ここで、ｄ：距離、B：基線長、ｆ：焦点距離、S：視差との間には、
d ＝ B * f/S
の関係があるため、この式から視差Sを求めて合成時に反映する。
例えば、図７に示すように、撮影画像をレイヤー分割し、視差（右眼、左眼）を考慮して、レイヤーを視差Sだけずらして、右眼用の合成画像、左眼用の合成画像をそれぞれ生成して映像出力する。

＜運動する被写体に対する処理＞
次に、図８に基づいて、運動する被写体について、ＸＲ空間内の滑らかな視点カメラの移動を反映して、視点カメラから見た被写体の映像をＸＲ空間内に仮想表示する手順について説明する。

入力手段１１は、撮影カメラ６０により撮影された被写体７０の画像（多視点画像）を時々刻々入力して、記憶部３０の画像データ保存エリア３１に格納する（Ｓ１００）。なお、撮影カメラ６０は、図１に示すように複数台が被写体７０を取り囲むように共通の注視点方向に向けて配置される。多視点画像は時間的に同期して、同じ時刻の画像を同時に撮影するのが好ましい。なお、撮影カメラ６０の全てが動作しても良いが、ＸＲ空間内の視点カメラ６１の位置によって、当該視点カメラを囲む近傍の撮影カメラ６０のみを動作させて、視点画像生成の演算に必要な多視点画像のみを取り込むようにしても良い。

各撮影カメラ６０および視点カメラ６１は、ＸＲ空間内のワールド座標により位置が特定され、記憶部３０のカメラ位置情報保存エリア３２に保存される。視点カメラ６１は、視点位置移動手段１２によってＸＲ空間内に表示され、滑らかに移動される。また、視点カメラ６１の位置、移動方向、移動速度は逐次記録される（Ｓ１０１，Ｓ１０２）。視点カメラ６１の移動のしかたは予めプログラミングされても良いし、画像処理装置１に繋がる図示しないユーザー端末からの指示によって移動させるようにしても良い。

次にキーフレーム抽出手段１３によって、視点カメラ６１を囲む３つの撮影カメラ６０の撮影した多視点画像（いわゆる三角地点の画像）をキーフレームとして抽出する（Ｓ１０３）。このとき、キーフレーム抽出手段１３は、視点カメラ６１が現在属する三角地点のみならず、移動方向をもとに予測した三角地点のキーフレームも含むようにするのが好ましい。視点カメラ６１の属する三角地点が切り替わる際は、図９に示すように現在使用されている１つ又は２つのキーフレームが利用されながら新たなキーフレームが加わるため、視点カメラ６１の動きが予測できない場合でも、現在の三角地点に隣接する三角地点の撮影カメラ６０の取得した画像をキーフレームとして抽出すればよい。

なお、図９は、ｎ台の撮影カメラ１～ｎ（６０）を用いた例であるが、基本的には各フレームごとにカメラ台数の画像が生成される。しかし、本実施の形態によれば、各フレームごとに隣接する３台のカメラからの画像と合成マップデータがあれば、中間画像が生成されるので、図９のようにフレームごとに視点カメラ６１の位置３つの画像（キーフレーム）とマップデータから中間画像を生成する。なお、フレーム群１の時点でフレーム群２のキーフレームも抽出して、これらについて後述するマップデータ生成処理を行うようにしても良い。

従来のポリゴンデータやクラウドデータの場合は精密な画像を得るためには膨大なジオメトリデータと画像データ（画像マッピング用データ）を必要とするが、本手法によれば、ライブで撮影してＸＲ空間にサーバー経由で画像処理装置１にデータを送る場合でも比較的少量のデータで処理できる。また、画像は基本的に写真であるため画質も担保される。

次に視点画像生成手段１４によって、抽出したキーフレームについてピクセルマッチングを行う（Ｓ１０４）。このとき、視点カメラ６１の移動速度に合わせて、ｎピクセルおきにマッチングするのが好ましい。たとえば、視点カメラ６１の移動速度が速くなれば、間引く間隔（ｎ）を大きくすることにより、視点画像生成処理のリアルタイム性を担保することができる。
次に、キーフレームのピクセルごとのデプス値に基づいてレイヤー分けされた、各レイヤーごとにマップデータを生成する（Ｓ１０５）。

視点画像生成手段１４は、ピクセルマッチングの後、例えば画素の移動が大きくかつエッジである、画素の移動が大きくかつエッジでない、画素の移動が小さくかつエッジである、画素の移動が小さくエッジでない、画素の移動がない、等の判断基準でメッシュの作成の元となる点を残す。このとき、視点カメラ６１の移動速度に応じて、この判断基準のいずれを用いるかを選択するようにしても良い。たとえば、移動速度が閾値以上の場合は、画素の移動が一定値以上であり、かつエッジである点のみを残す等である。そして、残した点をもとに、ボロノイ図およびドロネー分割でメッシュを生成して、これをもとにマップデータ（対応するメッシュ頂点の位置座標）を作成する。

なお、画像間の画素の移動の大きさは判定要素に含めず、エッジか否かのみを判定要素にして、視点カメラ６１の移動速度に応じて、エッジ強度の閾値を変更するようにしてもよい。例えば移動速度が遅い場合は、当該閾値を小さくして強度の弱いエッジまでも含め、移動速度が速い場合は、当該閾値を大きく強度の強いのみをメッシュの対象とするなどである。

また、視点画像生成手段１４は視点カメラ６１の移動速度に応じて、分割するレイヤー数を変更するようにしてもよい。移動速度が速い場合、分割するレイヤー数を減らすことにより処理コストを低減することができる。

キーフレーム間のマップデータの生成後、視点画像生成手段１４は、視点位置（視点カメラ６１）のキーフレーム位置からの変位（移動データ）に基づいて、視点位置のマップデータを生成する（Ｓ１０６）。その後、視点画像生成手段１４は、レイヤーごとにキーフレームの画素データを合成して、視点位置の画像（視点画像）を合成する（Ｓ１０７）。生成された視点画像は、表示出力手段１５によって、ＸＲ空間に映像出力される（Ｓ１０８）。

以上の処理によって、時々刻々かわる被写体の多視点画像を用いて、滑らかに移動する視点カメラ位置の画像を合成する。上述したように、視点カメラ６１の移動速度に応じて、マップデータのデータ数や分割するレイヤー数を変更することにより、リアルタイム性を重視した仮想表示が可能となる。また、ユーザーは、仮想表示される画像の粗さ（質）を確認しながら移動速度を調整することができる。

以上、本実施の形態によれば、撮影カメラによって離散的に取得された多視点画像をもとに撮影カメラ位置間の隙間を視点カメラが動く場合に、視点カメラから見た映像をリアルタイムに合成してＸＲ空間に仮想表示することができる。これにより、あたかも被写体を囲む撮影カメラが隙間なく配置されたのと同様に、仮想空間内を視点カメラが滑らかに動いても、ビルボードに投影（マッピング）される映像も滑らかに連続して変化する。この方法によって被写体がＸＲ空間内で表示される品質を写真クォリティで表現でき人間、動物、ファッションなどをＣＧにすることで表示クォリティが下がる被写体を高品質の映像として表示することができる。

また、デプスデータを用いてレイヤー分けした撮影画像を用いることにより、モーフィ
ングによるオクルージョンや歪曲の問題を回避することができる。
さらに、本実施の形態による画像処理方法によれば、完全自動で全てのプロセスを実行できるのでライブにも適している。また、撮影時の画質を維持できるので高品質である。
また、最低三枚の鍵フレームとマップファイルによって、１フレームの復元が可能であるため、伝送コストを低減することができる。

特に、ピクセル（画素）ごとに被写体の深度情報（デプスデータ）を検出可能なデプスカメラによって被写体を撮影して取得した二次元画像上の任意のピクセル位置と、当該ピクセル位置に対応する被写体表面のワールド座標とを関係付けた関係付けデータを記憶部に保存しておき、この関係付けデータを用いて、ピクセルマッチングを行うので、従来のように色情報（色彩や輝度等）を用いて特徴点を検出するマッチング処理に比べて高速かつ高精度でマッチングを行うことができる。

次に本発明の第２の実施の形態について説明する。
図１０は、本実施の形態による画像処理装置の機能ブロック図である。図１との違いは、複数の撮影カメラ６０の間に仮想的にカメラを設定する中間カメラ位置設定手段１６と、撮影カメラ６０によって取得した多視点画像をキーフレームとして中間カメラ位置の画像（中間キーフレーム）を生成する中間キーフレーム生成手段１７とを追加したことである。これらの手段１６，１７はＣＰＵの機能としてプログラムによって実現することができる。その他は図１と同様であるので同一要素には同一符号を付して説明を省略する。

次に上記の構成を有する画像処理装置１の動作を第１の実施の形態との相違点を中心に説明する。
中間カメラ位置設定手段１６は、任意の隣接する撮影カメラ６０の間に仮想的にカメラ（以下、「中間カメラ」という。）６５を介挿する。そのカメラ位置は、撮影カメラ６０も含めてスプラインカーブ上にあればよい。中間カメラ６５の配置は、図示しない入力デバイスによって指定されても良いし、予め定めたアルゴリズムで自動的に配置されるようにしてもよい。例えば、ある撮影カメラ６０によって取得した被写体の多視点画像のデプス値に基づいて被写体の凹凸の深さや数が一定値を超える場合はその周辺に中間カメラ６５を配置するようにしてもよいし、配置する中間カメラ６５の台数を決定してもよい。この中間カメラ６５の位置情報（向きや位置のワールド座標）は、記憶部３０のカメラ位置情報保存エリア３２に格納される。

次に中間キーフレーム生成手段１７は、中間カメラ６５の近傍の撮影カメラ６０の位置データと当該カメラの多視点画像を用いて当該中間カメラ６５の位置から被写体７０を見たときの画像（以下、「中間キーフレーム」という。）を生成する。

以下、図１１を参照しながら、中間キーフレーム生成手段１７の処理手順について詳述する。図１１において、実際の撮影カメラ６０の位置をＡ，Ｂとし、仮想の中間カメラ６５の位置をｍとする。
第１の実施の形態におけるマッピングデータ生成処理と同様に、被写体表面のＰ0のワールド座標は既知のＢの座標とＢＰ0のベクトルから求められる。一方、中間カメラ６５の位置ｍから被写体表面Ｐ0を見たときの、スクリーンｍ上の座標は、第１の実施の形態で説明したレイトレーシング・アルゴリズム用いて求めることができる。被写体表面の他の点Ｐ1についても同様である。

すなわち、中間カメラの位置から被写体を見たときのスクリーン上の画像は、撮影カメラＢの位置の多視点画像（キーフレーム）を用いてデプスデータを利用したピクセルマッチングによって生成することができる。

撮影カメラＡの位置にあるようにオクルージョンが問題となる場合は中間キーフレームの生成が困難になる場合はあるが、中間カメラ６５の近傍の複数の撮影カメラの画像データ（デプスデータを含む。）を用いることによって中間キーフレームを精度良く生成することができる。
この中間キーフレームの画像データは、中間カメラ６５の位置データと関連付けられ、記憶部３０の画像データ保存エリア３１に格納される。
なお、中間カメラ周辺の撮影カメラあるいは他の中間カメラのキーフレーム間の合成マップデータは、予め生成しておいてもよいし、

ＸＲ空間内での再生時の処理において、視点カメラの位置の移動に伴って、キーフレーム抽出手段１３は、視点カメラ近傍のカメラのキーフレーム抽出処理において、中間キーフレームも含めて抽出対象とする。
そして、視点画像生成手段１４は、抽出されたキーフレーム（中間キーフレームを含む。）を用いてモーフィング処理を実行して、視点画像を生成する。生成された視点画像は表示出力手段１５によってＸＲ空間に仮想表示される。

一般に、二枚のキーフレームから中間画像を生成する場合、その間の数値の変化は線形（直線）的となり、実際の立体データが運動やＸＲカメラが移動する場合の画像の変化とは異なり、立体感が損なわれるが、本実施の形態によれば、モーフィングによって画像を生成する場合であっても、キーフレーム間で滑らかなピクセル移動の速度の変化が生じ、より立体感を生じさせることができる。特に、撮影カメラ間の仮想中間位置に任意数の中間キーフレームを挿入できるものとすれば、必要に応じてより実際の立体をスクリーンに投影した場合に近いピクセルの移動を実現することができる。

上記の各実施の形態は、各要素を組合せてあるいはそれぞれ独立して機能させることができる。また、本発明は、上述した実施の形態に限らず、その要旨を逸脱しない範囲で種々変形して実現することができる。例えば、例えばマップデータや中間キーフレームは撮影カメラからの画像入力時に予め準備しておくこともできるが、ＸＲ空間内での再生時に作成してもよいことは言うまでもない。また、撮影カメラから逐次画像データを入力しながら同時にＸＲ空間内での再生を行うことも可能である。

１ 画像処理装置
１０ 演算処理部
１１ 入力手段
１２ 視点位置移動手段
１３ キーフレーム抽出手段
１４ 視点画像生成手段
１５ 表示出力手段
１６ 中間カメラ位置設定手段
１７ 中間キーフレーム生成手段
３０ 記憶部
３１ 画像データ保存エリア
３２ カメラ位置情報保存エリア
５０ 表示装置
６０ 撮影カメラ（撮影手段、多視点カメラ）
６１ 視点カメラ
６５ 中間カメラ
７０ 被写体

Claims (9)

1. 離散的に配置されたカメラで撮影された被写体の複数の撮影画像を用いて、連続的に変化する視点位置から見た場合の前記被写体の映像を生成する画像処理装置であって、
   前記撮影画像と撮影位置とを関連付けて保存する手段と、
   前記視点位置近傍の３つの撮影位置であって、各撮影位置を頂点とする三角形が、前記視点位置と予め定めた前記被写体方向の注視点とを通る直線と交わる撮影位置を特定し、特定された撮影位置の撮影画像をキーフレームとして抽出するキーフレーム抽出手段と、
   前記キーフレーム抽出手段によって抽出されたキーフレームを用いて、前記直線に垂直な面上に投影されたときの画像を生成する視点画像生成手段と、
   前記視点位置の動きに連動して前記視点画像生成手段によって生成された前記画像を表示装置へ出力する表示出力手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記視点画像生成手段は、
   その撮影位置が前記三角形を構成する撮影画像間のピクセル対応関係を有するマップデータを生成し、当該マップデータを用いて、モーフィング処理により前記画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記視点画像生成手段は、夫々の撮影画像の撮影位置、撮影方向、および、デプスデータを用いて該撮影画像のピクセルごとに被写体表面の対応する位置を算出し、当該位置をもとに撮影画像間のピクセル対応関係を演算することを特徴とする請求項２に記載の画像処理装置。
4. 前記撮影画像は、デプスデータに基づいてレイヤーごとに分けられており、
   前記視点画像生成手段は、レイヤーごとの前記撮影画像に対して前記モーフィング処理を実行することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記視点画像生成手段は、レイヤーごとに視差画像を生成することを特徴とする請求項１～４のいずれか一項に記載の画像処理装置。
6. 複数の前記カメラの間に、仮想的なカメラである中間カメラの位置を設定する中間カメラ位置設定手段と、
   前記カメラによって取得した画像をキーフレームとして、該キーフレームのデプスデータを用いてピクセルマッチング処理を行って、前記中間カメラの位置における画像である中間キーフレームを生成する中間キーフレーム生成手段と、を備え、
   前記キーフレーム抽出手段および前記視点画像生成手段は、前記中間キーフレームを前記キーフレームとして用いることを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。
7. 離散的に配置されたカメラで撮影された被写体の複数の撮影画像を用いて、連続的に変化する視点位置から見た場合の前記被写体の映像を生成する画像処理方法であって、
   被写体を複数の方向から撮影して、ピクセルごとにデプス値を有する多視点画像を取得する段階と、
   視点カメラを囲む近傍の少なくとも３点で撮影された多視点画像を抽出する段階と、
   抽出された多視点画像について、ピクセルのデプス値を用いて、被写体表面の該ピクセルに対応するワールド座標を演算する段階と、
   前記ワールド座標に基づいて、抽出された各多視点画像間のピクセルマッチング処理を実行し、マップデータを生成する段階と、
   前記マップデータと前記多視点画像とを用いて視点カメラにおける仮想画像を生成する段階と、
   を含むことを特徴とする画像処理方法。
8. 前記視点カメラの移動速度に応じて、前記ピクセルマッチング処理における間引き間隔を調整することを特徴とする請求項７に記載の画像処理方法。
9. 離散的に配置されたカメラで撮影された被写体の複数の撮影画像を用いて、連続的に変化する視点位置から見た場合の前記被写体の映像を生成する画像処理装置で動作するプログラムであって、
   前記撮影画像と撮影位置とを関連付けて保存する処理と、
   前記視点位置近傍の３つの撮影位置であって、各撮影位置を頂点とする三角形が、前記視点位置と予め定めた前記被写体方向の注視点とを通る直線と交わる撮影位置を特定し、特定された撮影位置の撮影画像をキーフレームとして抽出するキーフレーム抽出処理と、
   前記キーフレーム抽出処理によって抽出されたキーフレームを用いて、前記直線に垂直な面上に投影されたときの画像を生成する視点画像生成処理と、
   前記視点位置の動きに連動して前記視点画像生成処理によって生成された前記画像を表示装置へ出力する表示出力処理と、
   をコンピュータに実行させるためのプログラム。

Images