JP6581514B2 - 三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置 - Google Patents

Description

本発明は、三次元位置センサによって計測されるセンサ空間上の位置を、物理空間上の位置に対応付ける三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置に関する。

近年、観察者の頭部、目の位置等の視点位置に応じて変化させた画像を表示装置に表示する自由視点の画像表示手法が研究、開発されている。
例えば、コンピュータグラフィックスで自由視点画像を生成して表示する場合、この画像表示手法は、仮想カメラを設置した仮想空間の座標系と、表示装置を設置した物理空間（実空間）の座標系とを対応付ける。そして、この画像表示手法は、観察者の視点位置に対応する仮想空間の位置に仮想カメラを設置し、表示装置の表示領域に対応する仮想空間の画像を撮影（生成）する。

このとき、仮想空間と物理空間とは、仮想カメラの視点位置を頂点とした視錐台において、視点位置となる頂点から底面の各頂点に伸びる辺が、表示装置の表示領域の四隅の点を常に通るように、視錐台のパラメータを設定することで対応付けることができる。
つまり、仮想カメラは、暗室の中に設置された長方形の窓を通して外を見ていることに相当し、その窓枠の四隅の各点は、物理空間に設置された表示装置の表示領域の四隅の各点に対応することになる。

一方、物理空間における頭部位置等の視点位置を取得する手法としては、従来、光学センサ、磁気センサ等を用いた三次元位置センサから取得する手法が知られている（特許文献１〜４参照）。

光学センサを用いる手法は、例えば、観察者の頭部位置に反射マーカを貼付し、赤外線を照射したときの反射光を光学センサで検出することでマーカ位置を算出したり、ＫＩＮＥＣＴ（登録商標）のように、赤外線により特定のパターンを対象に照射し、赤外カメラで撮影したパターンから、人物頭部の位置を算出したり、等により視点位置を取得する。

また、磁気センサを用いる手法は、例えば、トランスミッタにより磁場を発生させ、頭部位置近傍に設置したレシーバが測定した磁場強度から視点位置を算出する。
このとき、三次元位置センサで取得した位置情報は、赤外カメラやトランスミッタ（磁場発生装置）の位置に対する相対位置で表現される。
そこで、三次元位置センサで取得した相対位置と物理空間の位置とを対応付けるためには、それぞれの座標系（センサ空間座標系、物理空間座標系）との位置合わせを行う必要がある。

このセンサ空間座標系と物理空間座標系との位置合わせは、例えば、三次元位置センサの基準となる位置を物理空間上において物理的な計測手段（例えば、定規、レーザ等の測量機器）を用いて実測することで行われている。あるいは、この位置合わせは、物理空間上の特定の位置に座標値を定めておき、三次元位置センサでその位置を計測することで行われている。
すなわち、従来、観察者の視点位置に応じて変化させた画像を表示する自由視点の画像表示手法においては、仮想空間と物理空間とセンサ空間との３つの空間の座標系を合わせることで実現している。

特許第５２４７５９０号公報 特許第５６９３６９１号公報 特許第５７２６０２４号公報 特許第５７７７７８６号公報

前記したように、従来の自由視点の画像表示手法において、仮想空間と物理空間とは、視錐台のパラメータを設定することで容易に対応付けることができる。
しかし、従来の手法は、センサ空間の座標系と物理空間の座標系との対応付けを行うために、三次元位置センサの物理空間上の基準位置を計測する必要がある。そのため、従来の手法は、別途計測を行うための機材が必要となってしまい、計測に手間がかかってしまうという問題がある。

なお、簡易に三次元位置センサの基準位置を特定するため、例えば、表示装置の表示面が揃った所定位置に三次元位置センサを配置することが考えられる。
しかし、三次元位置センサとして、赤外カメラ等の光学センサを用いた場合、観察者にとって、カメラの主点位置が不明であるため、必ずしも光学センサを表示装置の表示面に揃えることができず、正確な位置合わせを行うことは困難である。

また、三次元位置センサとして、磁気センサを用いた場合、表示装置のような磁場を乱す装置の近傍に、トランスミッタ（磁場発生器）を配置することはできず、表示装置の表示面が揃った所定位置に簡易に三次元位置センサを配置することはできない。
このように、従来の手法において、正確にセンサ空間と物理空間とを対応付けるためには、前記したように、別途計測手段を設ける必要があり、計測に手間がかかってしまう。

本発明は、このような問題に鑑みてなされたものであり、三次元位置センサを表示装置から離した状態でも、別途計測手段を設けることなく、センサ空間と物理空間とを対応付けることが可能な三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置を提供することを課題とする。

前記課題を解決するため、本発明に係る三次元位置校正装置は、観察者の視点位置を磁気センサの位置により検出する三次元位置センサのセンサ空間の座標系と、前記観察者が視認する表示装置が配置された物理空間の座標系とを対応付ける三次元位置校正装置であって、位置収集手段と、校正データ算出手段と、を備える構成とした。

かかる構成において、三次元位置校正装置は、位置収集手段によって、三次元位置センサが検出したセンサ空間における少なくとも３点以上の位置を収集する。なお、この収集する位置は、一端を物理空間の予め定めた位置に固定し、他端を磁気センサに固定した固定長部材の他端の位置を観察者が複数箇所に移動させることで得られる位置である。これによって、位置収集手段は、物理空間上の予め定めた位置から、固定長部材の長さだけ離れた複数のセンサ空間上の位置を取得することができる。

そして、三次元位置校正装置は、校正データ算出手段によって、位置収集手段で収集されたセンサ空間における複数の位置と、物理空間における予め定めた位置とに基づいて、誤差の最も小さい物理空間におけるセンサ空間の原点座標の位置を校正データとして算出する。すなわち、物理空間上の１点とセンサ空間上の３点から、物理空間の座標系とセンサ空間の座標系とを対応付けることができるが、測定誤差を考慮し、校正データ算出手段は、センサ空間上の点で求められる複数の原点座標のうちで、他の原点座標と最も誤差が小さい座標を校正データとする。

これによって、三次元位置校正装置は、三次元位置センサを表示装置から離した状態で、正確に物理空間とセンサ空間との位置合わせ（校正）を行うことができる。
なお、本発明に係る三次元位置校正装置は、コンピュータを、位置収集手段、校正データ算出手段として機能させるための三次元位置校正プログラムで動作させることができる。

また、前記課題を解決するため、本発明に係る自由視点画像生成装置は、表示装置を視認する観察者の視点位置を磁気センサの位置により検出し、前記視点位置に対応した視点画像を生成する自由視点画像生成装置であって、三次元位置校正装置と、視点画像生成装置と、を備える構成とした。

かかる構成において、自由視点画像生成装置は、三次元位置校正装置によって、三次元位置センサを表示装置から離した状態で、物理空間とセンサ空間との校正を行う。
そして、自由視点画像生成装置は、視点画像生成装置によって、三次元位置校正装置で校正された校正データに基づいて、三次元位置センサから取得したセンサ空間上の磁気センサの位置から物理空間上の視点位置を算出し、当該視点位置を仮想カメラの位置として、ＣＧを表示装置の画面上に投影変換することで視点画像を生成する。
これによって、自由視点画像生成装置は、三次元位置センサを表示装置から離した状態で、正確に物理空間とセンサ空間との校正を行い、正しい視点位置に対応する視点画像を表示することができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、三次元位置センサを表示装置から離した状態でも、センサ空間と物理空間とを対応付けることができる。
また、本発明によれば、磁気センサの位置を動かすだけの簡単な動作で、センサ空間と物理空間とを精度よく対応付けることができる。
これによって、本発明は、磁気センサの位置で検出される観察者の正確な視点位置に応じた視点画像を生成することが可能になる。

本発明の実施形態に係る自由視点画像表示システムの全体構成を示す構成図である。 本発明の実施形態に係る三次元位置校正装置（三次元位置校正手段）を備えた自由視点画像生成装置の構成を示すブロック構成図である。 マーカを表示した表示装置の画面例を示す図である。 複数の視点位置を計測する方法を説明するための説明図である。 物理空間座標系とセンサ空間座標系の校正の手法を説明するための説明図である。 物理空間座標系と仮想空間座標系との関係を説明するための説明図である。 本発明の実施形態に係る自由視点画像生成装置の三次元位置校正手段の動作を示すフローチャートである。 本発明の実施形態に係る自由視点画像生成装置の視点画像生成手段の動作を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。
〔自由視点画像表示システムの全体構成〕
まず、図１を参照して、本発明の実施形態に係る自由視点画像表示システムＳの全体構成について説明する。

自由視点画像表示システムＳは、観察者Ｍの視点位置に応じた視点画像を、表示装置２に表示するものである。ここで、自由視点画像表示システムＳは、自由視点画像生成装置１と、表示装置２と、三次元位置センサ３と、を備える。

自由視点画像生成装置１は、観察者Ｍの視点位置に応じた表示装置２に表示する視点画像を生成するものである。この自由視点画像生成装置１は、三次元位置校正手段１０によって、表示装置２を配置した物理空間の座標系（物理空間座標系Ｆ_Ｒ）と、三次元位置センサ３が認識するセンサ空間の座標系（センサ空間座標系Ｆ_Ｓ）との位置合わせ（校正）を行う。
そして、自由視点画像生成装置１は、視点画像生成手段１２によって、センサ空間における観察者Ｍの視点位置から、物理空間における位置を算出し、その視点位置に対応する表示装置２に表示する画像（視点画像）を生成する。
なお、この自由視点画像生成装置１における校正や視点画像の生成については、後記する自由視点画像生成装置１の構成および動作の説明において詳細に行うこととする。

表示装置２は、自由視点画像生成装置１で生成された視点画像を表示するものである。この表示装置２は、液晶ディスプレイ（LCD：Liquid Crystal Display）、有機ＥＬ（OLED：Organic Light-Emitting Diode）ディスプレイ等の一般的な表示装置である。

三次元位置センサ３は、観察者Ｍの視点位置を検出するものである。ここでは、三次元位置センサ３は、磁場の強度によって３次元空間の位置を検出する磁場発生器（トランスミッタ）３０と、磁場測定器（レシーバ）３１と、コントローラ３２と、を備える。

磁場発生器３０は、磁場を発生させるものである。この磁場発生器３０内の磁場を発生させる基準位置がセンサ空間座標系Ｆ_Ｓにおける座標原点となる。
磁場測定器（磁気センサ）３１は、磁場発生器３０が発生する磁場の方向および強度を測定するものである。この磁場測定器３１は、測定した磁場の方向および強度をコントローラ３２に出力する。なお、磁場測定器３１は、観察者Ｍが視点画像を観る際に、観察者Ｍの視点位置に対応する位置、例えば、メガネ等に固定される。

コントローラ３２は、磁場発生器３０および磁場測定器３１を制御するものである。ここでは、コントローラ３２は、磁場発生器３０に対して磁場の発生を指示するとともに、磁場測定器３１で測定された磁場の方向および強度から、センサ空間座標系Ｆ_Ｓにおける位置を求める。このコントローラ３２は、求めたセンサ空間座標系Ｆ_Ｓにおける磁場測定器３１の位置（三次元位置）を自由視点画像生成装置１に出力する。

また、ここでは、センサ空間座標系Ｆ_Ｓと物理空間座標系Ｆ_Ｒとは、各軸（ｘｙｚ）の方向が一致しているものとする。例えば、磁場発生器３０が立方体形状であれば、その各辺が表示装置２の各辺と平行になるように磁場発生器３０を配置する。これは、例えば、ｘｙｚ軸の回転角を測定可能な水準器等を用いて、センサ空間座標系Ｆ_Ｓの基準となる磁場発生器３０の回転角を、物理空間座標系Ｆ_Ｒの基準となる表示装置２と合わせることで容易に実現することができる。
このように、自由視点画像表示システムＳを構成することで、自由視点画像表示システムＳは、観察者Ｍの視点位置に応じた視点画像を表示装置２に表示することができる。
以下、自由視点画像生成装置１の構成および動作について、詳細に説明する。

〔自由視点画像生成装置の構成〕
まず、図２を参照（適宜図１参照）して、自由視点画像生成装置１の構成について説明する。図２に示すように、自由視点画像生成装置１は、三次元位置校正手段１０と、校正データ記憶手段１１と、視点画像生成手段１２と、ＣＧ情報記憶手段１３と、を備える。
なお、三次元位置校正手段１０と視点画像生成手段１２とは、図示を省略した切り替え手段によって、いずれか一方が動作するものとする。

三次元位置校正手段（三次元位置校正装置）１０は、物理空間座標系Ｆ_Ｒと、センサ空間座標系Ｆ_Ｓとの位置合わせ（校正）を行うものである。
ここでは、三次元位置校正手段１０は、マーカ表示手段１００と、位置収集手段１０１と、校正データ算出手段１０２と、を備える。

マーカ表示手段１００は、表示装置２に、マーカを表示するものである。このマーカ表示手段１００は、図３に示すように、表示装置２の画面上の予め定めた位置、例えば、画面中央にマーカＭＫを表示する。このマーカＭＫ（より具体的には、マーカＭＫの中央）の表示位置は、三次元位置校正手段１０にとっては、物理空間座標系Ｆ_Ｒにおいて既知の座標である。
なお、図３に示したマーカＭＫの形状は十字形状としているが、観察者Ｍが表示装置２の画面上の位置を視認可能な形状であれば、×印、矢印等、どのような形状であっても構わない。

位置収集手段１０１は、物理空間座標系Ｆ_Ｒの予め定めた位置（マーカ位置）を基準として、三次元位置センサ３で検出されるセンサ空間座標系Ｆ_Ｓにおける三次元位置を複数収集するものである。
この位置収集手段１０１は、マーカＭＫ（図３）の位置から等距離となる位置で磁場測定器３１を移動させたときの複数（３点以上）の三次元位置を収集する。

例えば、図４に示すように、予め定めた長さの紐（測定用紐ｓｔ；固定長部材 ）の一端に吸盤ＳＵ、他端に磁場測定器３１を取り付けた状態で、吸盤ＳＵをマーカＭＫの位置に吸着させ、測定用紐ｓｔを張り詰めて、観察者が複数の位置に磁場測定器３１を移動させる。
このとき、位置収集手段１０１は、マーカ表示手段１００でマーカＭＫを表示した後、一定時間内に、予め定めたサンプリング間隔で磁場測定器３１の位置を収集する。これによって、観察者は、一定時間内に磁場測定器３１の複数の位置を容易に設定することができる。

なお、位置収集手段１０１は、マーカ表示手段１００によるマーカＭＫの表示後、磁場測定器３１の位置の収集を開始する旨、収集中の旨、収集を終了した旨等を、表示装置２に表示することが好ましい。
また、収集する磁場測定器３１の位置は、測定ノイズが含まれることもあるため、数十、数百等のできるだけ多くの位置を収集することが好ましい。
この位置収集手段１０１は、収集した磁場測定器３１の複数の位置（三次元位置）を校正データ算出手段１０２に出力する。

校正データ算出手段１０２は、位置収集手段１０１で、物理空間座標系Ｆ_Ｒのマーカ位置を基準に収集したセンサ空間座標系Ｆ_Ｓにおける磁場測定器３１の複数の位置から、センサ空間座標系Ｆ_Ｓの原点座標の物理空間座標系Ｆ_Ｒにおける位置（位置ベクトル）を校正データとして算出するものである。

ここで、図５を参照（適宜図２参照）して、校正データ算出手段１０２における校正データの算出手法について説明する。
図５に示すように、予め定めた物理空間座標系Ｆ_ＲにおけるマーカＭＫの位置（物理空間位置ベクトル）をｒ、センサ空間座標系Ｆ_Ｓにおける磁場測定器３１の複数の位置（センサ空間位置ベクトル）をｐ_ｉ（１≦ｉ≦Ｎ；Ｎは収集位置の数）とする。
また、校正データ算出手段１０２が算出するセンサ空間座標系Ｆ_Ｓの原点座標の物理空間座標系Ｆ_Ｒにおける位置（校正位置ベクトル）をｓとする。

ここで、複数のｐ_ｉは、マーカＭＫの位置を中心とする球面上に存在すると考えられる。そのため、任意の２点ｐ_ｉ，ｐ_ｊ（ｉ≠ｊ）が与えられたとすると、マーカＭＫは、２点ｐ_ｉ，ｐ_ｊ間を結ぶベクトルを法線に持ち、２点ｐ_ｉ，ｐ_ｊの中点を通る平面上に存在する。
すなわち、その平面上の点の位置ベクトルをｖとすると、以下の式（１）の関係が成り立つ。なお、ｔは転置を示す。

また、この平面上には、表示装置２の表示画面上のマーカＭＫが存在するため、ｖ＝ｒとした、以下の式（２）も成り立つ。

したがって、校正位置ベクトルｓは、任意のｉ，ｊの各点について、この式（２）を満たせばよいことになる。
なお、原理的には、３点の独立なｐ_ｉでｓを決定することができる。しかし、ｐ_ｉには、測定ノイズが含まれることがあり、校正の精度を高めるため、ここでは、位置収集手段１０１において、ｐ_ｉを３点よりも多く収集している。
ここで、尤もらしい校正位置ベクトルｓを決定するため、以下の式（３）の誤差関数Ｌを定義する。

校正データ算出手段１０２は、この誤差関数Ｌを最小とするｓを求める。なお、このｓは、以下の式（４）に示すように、誤差関数Ｌをｓで偏微分した結果を“０”として求めることができる。

この式（４）を変形すると、以下の式（５）となる。

ここで、行列Ａ、ベクトルｂを以下の式（６）、式（７）と定義する。

この行列Ａ、ベクトルｂを用いると、式（５）は、以下の式（８）となる。

この式（８）の解法は種々存在するが、例えば、行列Ａの逆行列を求め、以下の式（９）によりｓを求めることができる。

これによって、校正データ算出手段１０２は、センサ空間座標系Ｆ_Ｓの原点座標の物理空間座標系Ｆ_Ｒにおける位置（校正位置ベクトルｓ）を校正データとして算出することができる。
図２に戻って、自由視点画像生成装置１の構成について説明を続ける。

校正データ算出手段１０２は、算出した校正データ（校正位置ベクトルｓ）を校正データ記憶手段１１に書き込む。
このように三次元位置校正手段１０を構成することで、三次元位置校正手段１０は、三次元位置センサ３を表示装置２から離した状態でも、センサ空間と物理空間とを対応付けることができる。
また、三次元位置校正手段１０は、測定用紐で接続された磁場測定器３１を移動させる動作で、三次元位置センサ３の位置を収集することができ、簡単に校正を行うことができる。

校正データ記憶手段１１は、三次元位置校正手段１０で校正された校正データを記憶するもので、ハードディスク、半導体メモリ等の一般的な記憶媒体である。
なお、三次元位置校正手段１０で校正された校正データ（校正位置ベクトルｓ）は、三次元位置センサ３（より詳細には、磁場発生器３０）の位置を変えない限り有効である。

視点画像生成手段（視点画像生成装置）１２は、センサ空間における観察者Ｍの視点位置から、物理空間における位置を算出し、その視点位置に対応する表示装置２に表示する画像（視点画像）を生成するものである。なお、視点画像生成手段１２が動作する前には、校正データ記憶手段１１に校正データが記憶されていることする。また、視点画像生成手段１２が動作する際には、三次元位置センサ３の磁場測定器３１を取り付けた測定用紐ｓｔ（図４）は不用である。
ここでは、視点画像生成手段１２は、位置取得手段１２０と、視点位置算出手段１２１と、投影変換手段１２２と、を備える。

位置取得手段１２０は、三次元位置センサ３で検出されるセンサ空間座標系Ｆ_Ｓにおける磁場測定器３１の三次元位置を取得するものである。なお、ここでは、三次元位置センサ３の磁場測定器３１が、観察者Ｍの視点位置（ここでは、メガネ）に固定されているものとする。
この位置取得手段１２０は、予め定めたサンプリング間隔で磁場測定器３１の位置を取得する。これによって、位置取得手段１２０は、観察者Ｍの視点位置の変化を、逐次、センサ空間座標系Ｆ_Ｓにおける三次元位置として取得する。
この位置取得手段１２０は、取得したセンサ空間座標系Ｆ_Ｓにおける視点位置を、視点位置算出手段１２１に出力する。

視点位置算出手段１２１は、三次元位置校正手段１０で求められた校正データに基づいて、位置取得手段１２０で取得したセンサ空間座標系Ｆ_Ｓにおける視点位置から、物理空間座標系Ｆ_Ｒにおける位置を算出するものである。
この視点位置算出手段１２１は、位置取得手段１２０で取得したセンサ空間座標系Ｆ_Ｓにおける視点位置（位置ベクトル）をｐ、校正データ記憶手段１１に記憶されている校正データ（校正位置ベクトル）をｓとしたとき、以下の式（１０）によって、物理空間座標系Ｆ_Ｒにおける視点位置（位置ベクトルｑ）を算出する。

この視点位置算出手段１２１は、算出した物理空間座標系Ｆ_Ｒにおける視点位置を投影変換手段１２２に出力する。

投影変換手段１２２は、視点位置算出手段１２１で算出された視点位置を仮想空間上の仮想カメラの位置として、仮想空間上のオブジェクト（ＣＧ）を表示装置２の画面上に投影変換した、二次元画像（視点画像）を生成するものである。なお、仮想空間上のオブジェクトは、ＣＧデータとして、予めＣＧ情報記憶手段１３に記憶されていることとする。

この二次元画像は、図６（ａ）に示すような仮想空間座標系Ｆ_Ｖにおいて、仮想カメラＶｃの視点となる位置を頂点とする視錐台ＶＦにおいて、視錐台ＶＦ内のオブジェクトを、ニアプレーン（仮想カメラＶｃからｎｅａｒ離れた視錐台ＶＦの断面）に投影することで生成することができる。この二次元画像の生成は、ＯｐｅｎＧＬライブラリ等の既存の手法によって生成することができる。

なお、仮想空間座標系Ｆ_Ｖと物理空間座標系Ｆ_Ｒとの対応付けは、視錐台ＶＦ内のオブジェクトをニアプレーン（ｎｅａｒ面）に投影する投影行列のパラメータの値を、ニアプレーンと図６（ｂ）に示す物理空間座標系Ｆ_Ｒに配置した表示装置２の表示画面とが対応する値に設定すればよい。すなわち、ニアプレーンの四角形の各頂点ｔｌ，ｔｒ，ｂｌ，ｂｒが、それぞれ、表示装置２の表示画面の各頂点ＴＬ，ＴＲ，ＢＬ，ＢＲが対応するようにすればよい。

以下、具体的に、投影行列のパラメータの設定方法について説明する。
図６（ａ）に示すように、仮想空間上の投影対象の範囲をｚ軸方向の−ｎｅａｒ面から−ｆａｒ面とし、−ｎｅａｒ面の投影範囲におけるｘ座標の最大値をｒｉｇｈｔ、最小値をｌｅｆｔ、ｙ座標の最大値をｔｏｐ、最小値をｂｏｔｔｏｍとする。なお、通常、ｎｅａｒ，ｆａｒは、０＜ｎｅａｒ＜ｆａｒを満たす任意の値である。
この場合、投影行列は、以下の式（１１）となる。

ここで、仮想空間座標系Ｆ_Ｖにおいて、表示装置２の表示画面の左下角ＢＬの位置ベクトルをｖ_ｂｌ、右下角ＢＲの位置ベクトルをｖ_ｂｒ、左上角ＴＬの位置ベクトルをｖ_ｔｌとする。また、仮想空間座標系Ｆ_Ｖにおいて、仮想カメラＶｃの位置ベクトルをｖ_ｃとする。
このとき、表示装置２の表示画面の横軸（右方向を正）を表す単位ベクトルｖ_ｒは、以下の式（１２）で表される。

なお、式（１２）中、｜｜ｘ｜｜はベクトルｘのノルムを取ることを意味する。
同様に、表示装置２の表示画面の縦軸（上方向を正）を表す単位ベクトルｖ_ｕは、以下の式（１３）で表される。

このとき、表示装置２の表示画面の法線ベクトルｖ_ｎは、以下の式（１４）で表される。

なお、式（１４）中、×はベクトルの外積を表す。
また、仮想カメラＶｃから、表示装置２の表示画面への鉛直距離ｄは、以下の式（１５）で表される。

なお、式（１５）中、・はベクトルの内積を表す。
そして、視錐台ＶＦのパラメータ値ｒｉｇｈｔ，ｌｅｆｔ，ｔｏｐ，ｂｏｔｔｏｍは、以下の式（１６）により計算することができる。

なお、式（１６）中、・はベクトルの内積、×はベクトルの外積を表す。
この視錐台ＶＦのパラメータ値を用いることで、仮想空間座標系Ｆ_Ｖと物理空間座標系Ｆ_Ｒとを対応付けることができる。
図２に戻って、自由視点画像生成装置１の構成について説明を続ける。

視点画像生成手段１２は、生成した視点画像を表示装置２に出力する。
このように視点画像生成手段１２を構成することで、視点画像生成手段１２は、センサ空間と物理空間とを対応付ける校正データに基づいて、観察者Ｍの視点位置をセンサ空間上の位置から物理空間上の位置に変換し、仮想空間と対応付けることで、視点位置に応じた視点画像を生成することができる。

ＣＧ情報記憶手段１３は、ＣＧデータを記憶するもので、ハードディスク、半導体メモリ等の一般的な記憶媒体である。
以上説明したように自由視点画像生成装置１を構成することで、自由視点画像生成装置１は、三次元位置センサ３を表示装置２から離した状態でも、センサ空間と物理空間とを簡易な手法で対応付けることができ、観察者の正確な視点位置に応じた視点画像を表示装置２に表示することができる。

〔自由視点画像生成装置の動作〕
次に、自由視点画像生成装置１の動作について説明する。
（校正動作）
最初に、図７を参照（適宜図１，図２参照）して、自由視点画像生成装置１の三次元位置校正手段１０による物理空間とセンサ空間の位置合わせ動作（校正動作）について説明する。

まず、三次元位置校正手段１０は、マーカ表示手段１００によって、表示装置２の画面上の予め定めた位置、例えば、画面中央にマーカＭＫを表示する（ステップＳ１）。
ここで、観察者Ｍは、一端に吸盤、他端に三次元位置センサ３の磁場測定器３１を取り付けた測定用紐の吸盤を、ステップＳ１で表示された表示装置２のマーカ位置に吸着させる（ステップＳ２）。
そして、三次元位置校正手段１０は、位置収集手段１０１によって、観察者Ｍが測定用紐を張り詰めてマーカ位置から等間隔の状態で移動させた磁場測定器３１の位置（三次元座標位置）を収集する（ステップＳ３）。
これによって、物理空間座標系Ｆ_Ｒのマーカ位置を基準として、センサ空間座標系Ｆ_Ｓにおける磁場測定器３１の位置が収集されることになる。

そして、位置収集手段１０１は、収集した磁場測定器３１の位置のデータ数が、予め定めた数（Ｎ）以上収集されたか否かを判定する（ステップＳ４）。
ここで、データ数が予め定めた数（Ｎ）未満の場合（ステップＳ４でＮｏ）、位置収集手段１０１は、ステップＳ３に戻って、磁場測定器３１の位置の収集を継続する。

一方、データ数が予め定めた数（Ｎ）以上になった場合（ステップＳ４でＹｅｓ）、三次元位置校正手段１０は、校正データ算出手段１０２によって、センサ空間座標系Ｆ_Ｓの原点座標の物理空間座標系Ｆ_Ｒにおける位置（校正位置ベクトル）を校正データとして算出する（ステップＳ５）。具体的には、校正データ算出手段１０２は、前記式（３）に示した誤差関数Ｌを最小とする校正位置ベクトルｓを校正データとして算出する。
そして、三次元位置校正手段１０は、ステップＳ５で算出された校正データを校正データ記憶手段１１に書き込み記憶する（ステップＳ６）。

以上の動作によって、自由視点画像生成装置１は、三次元位置校正手段１０によって、三次元位置センサ３を表示装置２から離した状態でも、センサ空間と物理空間とを簡易な手法で対応付けることができる。

（視点画像生成動作）
次に、図８を参照（適宜図１，図２参照）して、自由視点画像生成装置１の視点画像生成手段１２による視点画像の生成動作について説明する。

まず、視点画像生成手段１２は、位置取得手段１２０によって、三次元位置センサ３で検出されるセンサ空間座標系Ｆ_Ｓにおける観察者Ｍの視点位置（磁場測定器３１の三次元位置）を取得する（ステップＳ１０）。

そして、視点画像生成手段１２は、視点位置算出手段１２１によって、校正データ記憶手段１１に記憶されている校正データにより、ステップＳ１０で取得したセンサ空間座標系Ｆ_Ｓ上の視点位置から、物理空間座標系Ｆ_Ｒにおける視点位置を算出する（ステップＳ１１）。
すなわち、視点画像生成手段１２は、ステップＳ１０で取得したセンサ空間座標系Ｆ_Ｓにおける視点位置（位置ベクトル）をｐ、校正データ記憶手段１１に記憶されている校正データ（校正位置ベクトル）をｓとしたとき、前記式（１０）により、物理空間座標系Ｆ_Ｒにおける視点位置（位置ベクトルｑ）を算出する。

そして、視点画像生成手段１２は、投影変換手段１２２によって、ステップＳ１１で算出された物理空間上における視点位置を、仮想空間上の仮想カメラの位置として、ＣＧ情報記憶手段１３に記憶されている仮想空間上のオブジェクト（ＣＧ）を表示装置２の画面上に投影変換して、二次元画像（視点画像）を生成する（ステップＳ１２）。
このとき、投影変換手段１２２は、仮想カメラの視点となる位置を頂点とする視錐台内のオブジェクトを、表示装置２の表示画面の各頂点が対応するように視錐台のニアプレーンに投影することで、物理空間と仮想区間とを対応付ける。
以上の動作によって、自由視点画像生成装置１は、視点画像生成手段１２によって、観察者の正確な視点位置に応じた視点画像を表示装置２に表示することができる。

以上、本発明の実施形態に係る自由視点画像生成装置の構成について説明したが、本発明は、この実施形態に限定されるものではない。
ここでは、自由視点画像生成装置１が、三次元位置校正手段１０と、校正データ記憶手段１１と、視点画像生成手段１２と、ＣＧ情報記憶手段１３と、を備える構成とした。これらは、それぞれ別途独立した装置として構成してもよい。
例えば、三次元位置校正手段１０を、三次元位置校正装置１０として構成してもよい。このとき、三次元位置校正装置１０は、コンピュータを、マーカ表示手段１００、位置収集手段１０１、校正データ算出手段１０２として機能させるプログラム（三次元位置校正プログラム）で動作させることができる。

また、ここでは、三次元位置校正装置（三次元位置校正手段）１０に、マーカ表示手段１００を備える構成としたが、物理空間座標系Ｆ_Ｒの既知の位置を観察者Ｍが予め知っている場合であれば、必ずしもこの構成を備える必要はない。例えば、表示装置２の表示画面の左上角を物理空間座標系Ｆ_Ｒの既知の位置とし、観察者Ｍが、表示画面の左上角に測定用紐の一端を固定すればよい。

また、ここでは、位置収集手段１０１が、三次元位置センサ３で検出されるセンサ空間座標系Ｆ_Ｓにおける三次元位置を収集するため、測定用紐ｓｔ（図４参照）を用いた。しかし、これは必ずしも紐である必要はなく、等距離を確保可能なものであればよく、例えば、棒を用いてもよい。その場合、棒の両端部を紐等で吸盤ＳＵおよび磁場測定器３１に接続すればよい。

Ｓ 自由視点画像表示システム
１ 自由視点画像生成装置
１０ 三次元位置校正手段（三次元位置校正装置）
１００ マーカ表示手段
１０１ 位置収集手段
１０２ 校正データ算出手段
１１ 校正データ記憶手段
１２ 視点画像生成手段（視点画像生成装置）
１２０ 位置取得手段
１２１ 視点位置算出手段
１２２ 投影変換手段
１３ ＣＧ情報記憶手段
２ 表示装置
３ 三次元位置センサ
３０ 磁気発生器
３１ 磁気測定器（磁気センサ）
３２ コントローラ

Claims (5)

1. 観察者の視点位置を磁気センサの位置により検出する三次元位置センサのセンサ空間の座標系と、前記観察者が視認する表示装置が配置された物理空間の座標系とを対応付ける三次元位置校正装置であって、
   一端を前記物理空間の予め定めた位置に固定し、他端を前記磁気センサに固定した固定長部材の前記他端の位置を前記観察者が複数箇所に移動させることで、前記三次元位置センサが検出した前記センサ空間における少なくとも３点以上の位置を収集する位置収集手段と、
   この位置収集手段で収集された前記センサ空間における複数の位置と、前記物理空間における予め定めた位置とに基づいて、誤差の最も小さい前記物理空間における前記センサ空間の原点座標の位置を校正データとして算出する校正データ算出手段と、
   を備えることを特徴とする三次元位置校正装置。
2. 前記物理空間における予め定めた位置として、前記表示装置の画面上にマーカを表示するマーカ表示手段を、さらに備えることを特徴とする請求項１に記載の三次元位置校正装置。
3. 前記物理空間における予め定めた位置である物理空間位置ベクトルをｒ、前記センサ空間における前記複数の位置であるセンサ空間位置ベクトルをｐ_ｉ（１≦ｉ≦Ｎ；Ｎは収集位置の数）、前記物理空間における前記センサ空間の原点座標の位置である校正位置ベクトルをｓとしたとき、
   前記校正データ算出手段は、
   

   

   となる誤差関数Ｌ（ｔは転置を示す）を最小にする校正位置ベクトルｓを前記校正データとして算出することを特徴とする請求項１または請求項２に記載の三次元位置校正装置。
4. コンピュータを、請求項１から請求項３にいずれか一項に記載の三次元位置校正装置として機能させるための三次元位置校正プログラム。
5. 表示装置を視認する観察者の視点位置を磁気センサの位置により検出し、前記視点位置に対応した視点画像を生成する自由視点画像生成装置であって、
   請求項１から請求項３のいずれか一項に記載の三次元位置校正装置と、
   この三次元位置校正装置で校正された校正データに基づいて、三次元位置センサから取得したセンサ空間上の前記磁気センサの位置から物理空間上の視点位置を算出し、当該視点位置を仮想カメラの位置として、ＣＧを前記表示装置の画面上に投影変換することで前記視点画像を生成する視点画像生成装置と、
   を備える自由視点画像生成装置。

Images