JPWO2018167918A1 - プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム - Google Patents

Abstract

立体物の各面の外形と一致したプロジェクションマッピング映像を作成可能なマッピング用データを生成する。プロジェクタは、データ作成要求に応じてマッピング用データを生成するマッピング用データ生成部（４０３）を有する。マッピング用データ生成部は、立体物を３次元計測し、該立体物上の画像が投射される各面の位置および形状を３次元座標で表した３次元位置データを出力する３次元センサ部（４０５）と、３次元位置データの座標系を、画像形成面の対角に位置する画素からの主光線が交差する点を原点として画像の投射エリアを３次元座標で表したプロジェクタ座標系に変換する座標変換部（４０６）と、座標変換された３次元位置データに基づいて、立体物の各面の位置と該各面の外形を示す稜線とを取得してマッピング用データを生成するデータ生成部（４０７）と、を有する。

Description

本発明は、プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステムに関する。

最近、プロジェクタを使って建築物等の立体物に映像を投射して映像表現を行うプロジェクションマッピングが注目を浴びている。このプロジェクションマッピングでは、立体物の表面の外形に合うように、プロジェクタから投射するための映像（プロジェクションマッピング映像）を作成する必要がある。
図１Ａに、プロジェクションマッピングを行うシステムの一例を示す。このシステムは、プロジェクタ１０１と、パーソナルコンピュータ等よりなる映像処理装置１０５とを有する。プロジェクタ１０１と映像処理装置１０５とは、映像信号ケーブルを介して接続されている。
映像処理装置１０５は、プロジェクションマッピング映像１０６を作成し、その映像信号をプロジェクタ１０１に供給する。プロジェクタ１０１は、映像処理装置１０５からの映像信号に基づく映像を投射エリア１０３内の立体物１０４に向けて投射する。プロジェクションマッピング映像１０６は、立体物１０４の５つの面１０４ａ〜１０４ｅからなる投射面に表示される。

図１Ｂに、プロジェクションマッピング映像１０６の一例を示す。
矩形の元映像１４１ａ〜１４１ｅは、図１Ａに示した立体物１０４の面１０４ａ〜１０４ｅそれぞれで表示するための映像である。映像１４２ａ〜１４２ｅは、矩形の元映像１４１ａ〜１４１ｅをそれぞれ面１０４ａ〜１０４ｅの外形に合わせて変形した映像である。これら映像１４２ａ〜１４２ｅをそれぞれ面１０４ａ〜１０４ｅに対応するように割り当てたものが、プロジェクションマッピング映像１０６である。
プロジェクションマッピング映像１０６を作成する方法には、２次元空間でプロジェクションマッピング映像を作成する方法と、３次元空間でプロジェクションマッピング映像を作成する方法とがある。

図２に、２次元空間でのプロジェクションマッピング映像作成方法を模式的に示す。映像処理装置１０５上で、投射映像における立体物の各面の外形を示す枠を作成する。図２において、実線で示された枠１４６は、図１Ａに示した立体物の面１０４ｃの外形を示す枠である。映像処理装置１０５上で形成した枠の映像を、実際に、プロジェクタ１０１から投射する。投射された枠の映像が立体物１０４の対応する面の外形に合うように、映像処理装置１０５上で枠を変形させる。
図２に示した例では、立体物１０４に投射された枠１４７は、映像処理装置１０５上で作成した枠１４６に対応するが、枠１４７は立体物１０４の対応する面の外形と一致していない。このため、枠１４７が立体物１０４の対応する面の外形と一致するように、映像処理装置１０５上で枠１４６を変形させる。

図３に、３次元空間でのプロジェクションマッピング映像作成方法を模式的に示す。映像処理装置１０５上で、仮想の３次元空間を形成し、該３次元空間に、立体物１０４に対応する仮想の立体物１０４−１と仮想のカメラ１４８とを配置する。仮想の立体物１０４−１の各面に、映像を割り当てて再生し、仮想のカメラ１４８を用いて仮想の立体物１０４−１の各面にて再生された映像を撮影する。仮想のカメラ１４８で撮影した映像をプロジェクションマッピング映像１０６として用いる。
一般に、仮想のカメラ１４８を用いて映像を作成することをレンダリングと呼ぶ。仮想のカメラ１４８の画角は、プロジェクタ１０１の画角と等しくなるように設定される。実際の３次元空間で、仮想のカメラ１４８が配置されていた位置にプロジェクタ１０１を配置し、プロジェクタ１０１が、仮想のカメラ１４８を用いて作成したプロジェクションマッピング映像１０６を立体物１０４に向けて投射する。
プロジェクションマッピングに関連する技術が、特許文献１、２に記載されている。

実用新案登録第１９９７７９号公報 特開２０１２−２１５６３３号公報

図２に示した２次元空間でのプロジェクションマッピング映像作成方法においては、操作者が、投射した枠１４７が立体物１０４の対応する面の外形と一致するように、映像処理装置１０５上で枠１４６を変形させるといった調整作業を行う必要がある。そのような調整作業は、操作者にとって非常に煩わしく、面倒である。

図３に示した３次元空間でのプロジェクションマッピング映像作成方法においては、実際の３次元空間で、仮想のカメラ１４８が配置されていた位置を特定し、その位置にプロジェクタ１０１を正確に配置する必要がある。しかし、仮想空間における仮想のカメラ１４８の位置と実空間におけるプロジェクタ１０１の位置とを正確に一致させることは困難であるため、立体物１０４の各面の外形と一致したプロジェクションマッピング映像を得ることは困難である。

本発明の目的は、上記問題を解決することができ、立体物の各面の外形と一致したプロジェクションマッピング映像を作成可能なマッピング用データを生成することができる、プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステムを提供することにある。

上記目的を達成するため、本発明の一態様によれば、
複数の画素からなる画像形成面を備えた表示素子と、前記画像形成面に形成された画像を投射する投射レンズと、を有し、前記投射レンズから立体物に向けて前記画像が投射されるプロジェクタであって、
データ作成要求を受け付ける受付部と、
前記データ作成要求に応じて、プロジェクションマッピング映像を作成するためのマッピング用データを生成するマッピング用データ生成部と、を有し、
前記マッピング用データ生成部は、
前記立体物を３次元計測し、該立体物上の前記画像が投射される各面の位置および形状を３次元座標で表した３次元位置データを出力する３次元センサ部と、
前記３次元位置データの座標系を、前記画像形成面の対角に位置する画素からの主光線が交差する点を原点として前記画像の投射エリアを３次元座標で表したプロジェクタ座標系に変換する座標変換部と、
前記座標変換部にて座標変換された３次元位置データに基づいて、前記立体物の前記各面それぞれについて、該面の位置と該面の外形を示す稜線とを取得し、該位置および稜線に基づいて前記マッピング用データを生成するデータ生成部と、を有する、プロジェクタが提供される。

本発明の別の態様によれば、
複数の画素からなる画像形成面を備えた表示素子と、前記画像形成面に形成された画像を投射する投射レンズと、を有し、前記投射レンズから立体物に向けて前記画像が投射されるプロジェクタにて行われるマッピング用データ作成方法であって、
データ作成要求に応じて、プロジェクションマッピング映像を作成するためのマッピング用データを生成するマッピング用データ生成ステップを含み、
前記マッピング用データ生成ステップは、
前記立体物を３次元計測し、該立体物上の前記画像が投射される各面の位置および形状を３次元座標で表した３次元位置データを取得し、
前記３次元位置データの座標系を、前記画像形成面の対角に位置する画素からの主光線が交差する点を原点として前記画像の投射エリアを３次元座標で表したプロジェクタ座標系に変換し、
前記座標変換された３次元位置データに基づいて、前記立体物の前記各面それぞれについて、該面の位置と該面の外形を示す稜線とを取得し、該位置および稜線に基づいて前記マッピング用データを生成すること、を含む、マッピング用データ作成方法が提供される。

本発明のさらに別の態様によれば、
複数の画素からなる画像形成面を備えた表示素子と、前記画像形成面に形成された画像を投射する投射レンズと、を有し、前記投射レンズから立体物に向けて前記画像が投射されるプロジェクタのコンピュータに、データ作成要求に応じて、プロジェクションマッピング映像を作成するためのマッピング用データを生成するマッピング用データ生成処理を実行させるためのプログラムであって、
前記マッピング用データ生成処理は、
前記立体物を３次元計測し、該立体物上の前記画像が投射される各面の位置および形状を３次元座標で表した３次元位置データを取得する処理と、
前記３次元位置データの座標系を、前記画像形成面の対角に位置する画素からの主光線が交差する点を原点として前記画像の投射エリアを３次元座標で表したプロジェクタ座標系に変換する処理と、
前記座標変換された３次元位置データに基づいて、前記立体物の前記各面それぞれについて、該面の位置と該面の外形を示す稜線とを取得し、該位置および稜線に基づいて前記マッピング用データを生成する処理と、を含む、プログラムが提供される。

本発明のさらに別の態様によれば、
上記のプロジェクタと、
前記プロジェクタと相互に通信可能な映像処理装置と、を有し、
前記映像処理装置は、前記プロジェクタで生成したプロジェクションマッピング映像作成ツール用のデータに基づいてプロジェクションマッピング映像を作成する、プロジェクションマッピングシステムが提供される。

プロジェクションマッピングを行うシステムの一例を示す模式図である。 図１Ａに示すシステムで生成されるプロジェクションマッピング映像の一例を示す模式図である。 ２次元空間でのプロジェクションマッピング映像作成方法を説明するための模式図である。 ３次元空間でのプロジェクションマッピング映像作成方法を説明するための模式図である。 本発明の第１の実施形態であるプロジェクタの構成を示すブロック図である。 打ち上げ有りの場合の画角、投射光軸及び投射中心点の関係を説明するための模式図である。 打ち上げ無しの場合の画角、投射光軸及び投射中心点の関係を説明するための模式図である。 画角を拡大した場合の画角、投射光軸及び投射中心点の関係を説明するための模式図である。 上方へレンズシフトを行った場合の画角、投射中心軸及び投射中心点の関係を説明するための模式図である。 ３次元センサの検出範囲と投射可能エリアとの相対的な位置関係を説明するための模式図である。 プロジェクションマッピングシステムの一例を示す模式図である。 マッピング用データ作成処理の一手順を示すフローチャートである。 打ち上げ投射における、投射光軸が投射エリアの下辺の中心部を通る投射状態を示す模式図である。 歪み補正の前後の投射映像エリアを示す模式図である。 左上方向にレンズシフトさせた場合の投射状態を示す模式図である。 歪み補正の前後の投射映像エリアを示す模式図である。 ３次元データファイル３３の生成処理の一手順を示すフローチャートである。 ３次元センサの座標系とプロジェクタの座標系との位置関係を示す模式図である。 プロジェクタの設置状態を説明するための模式図である。 セグメンテーション処理の一例を示す模式図である。 ３角ポリゴンと４角ポリゴンの両方でポリゴンメッシュ化した例を示す模式図である。 ３角ポリゴンのみでポリゴンメッシュ化した例を示す模式図である。 プロジェクタデータファイルの生成処理の一手順を示すフローチャートである。 画角対称化選択パラメータに画角対称化なしが設定されている場合の投射方向ベクトル、上下画角、左右画角、投射中心座標の一例を示す模式図である。 画角対称化選択パラメータに画角対称化ありが設定されている場合の投射方向ベクトル、上下画角、左右画角、投射中心座標の一例を示す模式図である。 ２次元データファイル３３の生成処理の一手順を示すフローチャートである。 透視投影の一例を示す模式図である。 打ち上げ投射の画角を説明するための模式図である。 画角中心軸を説明するための模式図である。 立体物の１つの面を示す投射対象面を説明するための模式図である。 レンダリング用カメラの仮想撮像面と光学中心軸との関係を説明するための模式図である。 レンダリング用カメラの撮像映像を説明するための模式図である。 投射対象面への映像と投射対象面との関係を説明するための模式図である。 投射面に投射される映像がスクウェアになるように歪み補正を行ったときの映像の画角を説明するための模式図である。 立体物の１つの面を示す投射対象面とプロジェクタの投射方向及び位置との関係を説明するための模式図である。 レンダリング用カメラの仮想撮像面と光学中心軸との関係を説明するための模式図である。 仮想投射対象面に割り付けられた映像をレンダリング用カメラで撮像する状態を示す模式図である。 投射対象面に投射された投射映像の中心を通る投射中心軸と画角中心軸との関係を説明するための模式図である。 、本発明の第２の実施形態であるプロジェクタの構成を示すブロック図である。 、本発明の第３の実施形態であるプロジェクタの構成を示すブロック図である。

次に、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図４は、本発明の第１の実施形態であるプロジェクタの構成を示すブロック図である。
図４を参照すると、プロジェクタは、通信制御部１、パラメータ格納部３、投射部５、プロジェクタデータ生成部６、マッピング用データ生成部７、ファイル格納部８、プロジェクタ投射設計データ格納部９、画角対称化部１０及び姿勢センサ部１１を有する。
通信制御部１は、ＣＰＵ（Central Processing unit）等の制御手段を含み、通信入出力部２を介して外部機器と相互に通信可能に接続される。通信入出力部２と外部機器との通信手段としては、ＲＳ−２３２Ｃ、有線ＬＡＮ（Local Area Network）、無線ＬＡＮなどを用いることができるが、これらに限定されない。

外部機器は、例えば、パーソナルコンピュータ等の情報処理装置であって、プロジェクションマッピング映像作成ツールを備える。プロジェクションマッピング映像作成ツールは、３次元空間でのプロジェクションマッピング映像を作成するツールや、２次元空間でのプロジェクションマッピング映像を作成するツールなどである。これらツールは、既存のものであるので、ここではその詳細な説明を省略する。
通信制御部１は、プロジェクタの各部の動作を制御したり、情報処理装置との間でデータや指示信号（又は制御信号）を送受信したりする。例えば、通信制御部１は、情報処理装置からの指示に応じて、プロジェクタデータ生成部６やマッピング用データ生成部７を制御して、プロジェクションマッピング映像を作成するのに必要なデータ（立体物の２次元データ又は３次元データや、プロジェクタデータ）を生成させる。

パラメータ格納部３には、プロジェクションマッピング映像の作成に必要なマッピング用データ作成処理にて用いられるパラメータ（画角対称化選択パラメータ、セグメンテーションパラメータ、ポリゴンメッシュ化パラメータ、ファイルフォーマットパラメータ、マッピングモードパラメータなど）が格納されている。
画角対称化選択パラメータは、画角対称化の有無を示す設定情報である。セグメンテーションパラメータは、立体物の表面の形状を３次元計測して得られた３次元位置データ（点群データ）に基づいて立体物の各面を抽出するための閾値である。ポリゴンメッシュ化パラメータは、抽出した立体物の各面をポリゴンメッシュ化するのに必要なパラメータ（ポリゴンの形状やメッシュの粗さなど）である。ファイルフォーマットパラメータは、２次元データファイル及び３次元データファイルそれぞれのフォーマットを指定するためのパラメータである。マッピングモードパラメータは、２次元空間用マッピング、３次元空間用マッピング、マッピングなしの３つのモードのいずれかを指定するためのパラメータである。

映像信号が、情報処理装置から投射映像入力部４を介して投射部５に入力される。投射部５は、投射映像入力部４からの入力映像信号に基づく映像を投射するものであって、映像処理部１２、歪み補正部１３、投射レンズユニット１４及び歪み補正係数計算部１５を有する。
映像処理部１２は、入力映像信号の解像度を表示デバイスの解像度へ変換する処理や画質を調整する処理などを行う。歪み補正部１３は、映像処理部１２で処理された映像信号に対して、歪み補正係数に従って、プロジェクタと正対していない投射面に投射された画像の歪み（例えば、台形歪み）を補正する。歪み補正係数計算部１５は、ユーザが設定した歪み補正のための情報、又は、画角対称化部１０からの投射面の水平及び垂直の傾きの情報に基づいて、歪み補正部１３での歪み補正に必要な歪み補正係数を計算する。ユーザは、不図示の操作部を用いて歪み補正のための情報を設定することができる。

投射レンズユニット１４は、歪み補正部１３からの映像信号に基づく画像を形成する表示デバイスと、表示デバイスで形成された画像を投射する投射レンズとを含む。投射レンズは、光軸の方向に移動可能なレンズを備え、該レンズの光軸上の位置に対応するズーム位置に応じて画角が変化するズーム機構と、当該投射レンズ全体を光軸と直交する方向にシフトさせるレンズシフト機構とを備える。投射レンズユニット１４は、投射レンズのズーム位置及びレンズシフト位置を示すズーム・シフト位置情報を画角対称化部１０に供給する。ここで、表示デバイスは、複数の画素からなる画像形成面を備える表示素子と呼ぶことができ、歪み補正部１３からの映像信号に基づく画像が画像形成面に形成される。表示素子として、液晶表示素子やＤＭＤ（デジタルマイクロミラーデバイス）などを用いることができる。
プロジェクタ投射設計データ格納部９は、プロジェクタの投射に関わる設計データを格納する。設計データは、投射レンズのズーム位置とレンズシフト位置とから画角と投射中心点を求めるための光学に関するデータ、すなわち、ズーム位置とレンズシフト位置とにより画角と投射中心点がどのように変化するかを計算するためのデータである。このデータは、光学設計で決定したデータに基づくものである。

姿勢センサ部１１は、前後３６０°、左右３６０°の回転角を検出できる姿勢センサ、例えば、３軸の加速度センサを備え、プロジェクタの水平面に対する傾きを検出する。姿勢センサ部１１の出力は、プロジェクタデータ生成部６及びマッピング用データ生成部７に供給されている。
画角対称化部１０は、投射レンズユニット１４からズーム・シフト位置情報を取得し、プロジェクタ投射設計データ格納部９から設計データを取得し、パラメータ格納部３から画角対称化選択パラメータを取得し、パラメータ格納部３からマッピングモードパラメータを取得する。画角対称化部１０は、マッピングモードパラメータ及び画角対称化選択パラメータに応じて、ズーム・シフト位置情報と設計データとに基づいて、プロジェクタの投射中心軸の方向を示す投射方向ベクトルと画角、及び、プロジェクタと正対する投射面に対する投射面の水平及び垂直の傾き角を算出する。
ここで、画角は、投射レンズからの投射光の範囲（画像の投射範囲）を角度で表したもので、水平方向の投射光の範囲を角度で表したものを水平方向の画角と呼び、垂直方向の投射光の範囲を角度で表したものを垂直方向の画角と呼ぶ。投射中心軸は、投射レンズからの投射光の中心軸（中心光線に対応する）であって、画角の基準として用いることができる。画角、投射中心軸及び投射中心点は、ズーム位置やレンズシフト位置に応じて変化する。

図５Ａに打ち上げ有りの場合の画角、投射光軸及び投射中心点の関係を模式的に示す。図５Ｂに打ち上げ無しの場合の画角、投射光軸及び投射中心点の関係を模式的に示す。図５Ｃに画角を拡大した場合の画角、投射光軸及び投射中心点の関係を模式的に示す。図５Ｄに上方へレンズシフトを行った場合の画角、投射中心軸及び投射中心点の関係を模式的に示す。ここで、投射光軸は、画像形成面の中心を通り、かつ、画像形成面に垂直に交わる軸である。ここで、図５Ｂ〜図５Ｄは、垂直方向の断面に相当する。
通常、プロジェクタをテーブル上に置いたときに、テーブルの高さより上に映像が投射されるように、映像を投射光軸よりも上に向けて投射する、打ち上げと呼ばれる投射形態が用いられる。また、映像を投射光軸に対して上下左右の位置に移動して投射する、レンズシフトと呼ばれる投射形態もあるが、打ち上げはそのレンズシフトの一形態である。
例えば、図５Ａに示すように、投射中心点１０２は、投射エリア１０３の四隅の各点と表示デバイス１００の画像形成領域の四隅の各点とを、それぞれ対応する点同士で直線的に結んだ線が交わる点である。ここで、投射エリア１０３は、表示デバイス１００の画像形成領域の画像を上下左右で反転させたものである。なお、実際は、レンズでの屈折を伴うため、投射エリア１０３の四隅の各点と表示デバイス１００の画像形成領域の四隅の各点とを結ぶ線は直線とはならない。投射中心点１０２は、投射レンズのレンズ構成を考慮して決定する必要がある。

例えば、表示デバイス１００の画像形成領域の四隅の点をそれぞれＡ点、Ｂ点、Ｃ点、Ｄ点とし、投射エリア１０３の四隅の点をそれぞれａ点、ｂ点、ｃ点、ｄ点とする。ａ点、ｂ点、ｃ点、ｄ点はそれぞれＡ点、Ｂ点、Ｃ点、Ｄ点に対応し、ａ点、ｂ点、ｃ点、ｄ点の配置はＡ点、Ｂ点、Ｃ点、Ｄ点の配置に対して上下左右が反転した位置関係になる。この場合、投射中心点１０２は、Ａ点から射出してレンズを介してａ点に到達する主光線と、Ｂ点から射出してレンズを介してｂ点に到達する主光線と、Ｃ点から射出してレンズを介してｃ点に到達する主光線と、Ｄ点から射出してレンズを介してｄ点に到達する主光線とが互いに交わる点を示す。このような主光線の交点は、例えば、投射レンズの開口絞りの中心で規定することができ、レンズ設計データに基づいて計算することが可能である。
図５Ａに示した打ち上げ有りの例では、投射光軸１０９は投射エリア１０３の下端の中心部を通り、投射中心点１０２は、投射光軸１０９よりも上側に位置している。この場合、投射中心軸は、投射光軸１０９と一致しない。

図５Ｂに示した打ち上げ無しの例では、投射光軸１０９は投射エリア１０３の中心部を通り、投射中心点１０２は、投射光軸１０９上に位置している。この場合、投射中心軸は、投射光軸１０９と一致する。
図５Ｃは、図５Ｂの例と比較して、画角を拡大した例である。図５Ｂと同様、投射光軸１０９は投射エリア１０３の中心部を通り、投射中心点１０２は投射光軸１０９上に位置しているが、図５Ｂの例よりも、投射中心点１０２は表示デバイス１００側に配置されている。この場合も、投射中心軸は、投射光軸１０９と一致する。

図５Ｄは、図５Ｂの例と比較して、投射エリア１０３が上方へシフトするようにレンズシフトを行った例である。図５Ａの例と同様、投射光軸１０９は投射エリア１０３の下端の中心部を通り、投射中心点１０２は、投射光軸１０９よりも上側に位置している。この場合、投射中心軸は、投射光軸１０９と一致しない。
図５Ａ〜図５Ｄの例から分かるように、画角、投射中心軸及び投射中心点は、ズーム位置やレンズシフト位置に応じて変化する。換言すると、画角、投射中心軸及び投射中心点は、ズーム位置やレンズシフト位置に応じて決定する必要がある。

再び、図４を参照する。画角対称化を行う場合と画角対称化を行わない場合とで、投射方向ベクトル、画角、及び、傾き角を算出する処理が異なる。
マッピングモードパラメータに２次元空間用マッピングモードが設定され、または、マッピングモードパラメータに３次元空間用マッピングモードが設定され、かつ、画角対称化選択パラメータに画角対称化無しが設定されている場合、画角対称化部１０は、以下の処理（Ａ１）〜（Ａ３）を実行する。
（Ａ１）ズーム・シフト位置情報（ズーム位置及びレンズシフト位置）と設計データとに基づいて、水平方向の左右の画角と垂直方向の上下の画角を求める。
（Ａ２）投射光軸を投射中心軸と見做して、水平・垂直方向成分がそれぞれ０とされたベクトルを投射方向ベクトルに設定する。
（Ａ３）水平傾き及び垂直傾きをともに０に設定する。

一方、マッピングモードパラメータに３次元空間用マッピングモードが設定され、かつ、画角対称化選択パラメータに画角対称化有りが設定されている場合には、画角対称化部１０は、以下の処理（Ｂ１）〜（Ｂ３）を実行する。
（Ｂ１）ズーム・シフト位置情報（ズーム位置及びレンズシフト位置）と設計データとに基づいて、水平方向の左右の画角と垂直方向の上下の画角を求める。
（Ｂ２）投射中心軸に垂直な投射面であり、その投射面に投射される映像がスクウェアになるように歪み補正を行ったときのその投射中心軸に対する水平方向の左右の画角が等しくなり、かつ、垂直方向の上下の画角が等しくなるように投射中心軸と投射面を定め、投射方向ベクトルをその投射中心軸の方向に設定する。
（Ｂ３）（Ｂ２）で定めた投射中心軸に垂直な投射面の投射光軸に垂直な面に対する水平方向及び垂直方向の傾きをそれぞれ求める。

画角対称化部１０は、投射方向ベクトル及び画角の演算結果をプロジェクタデータ生成部６に供給し、傾き角の算出結果を歪み補正係数計算部１５に供給する。なお、マッピングモードパラメータがマッピングなしのモードである場合は、画角対称化部１０は、投射方向ベクトル、画角及び傾きの演算処理を実行しない。
プロジェクタデータ生成部６は、仮想の３次元空間におけるレンダリング用カメラやプロジェクタの設定を行うためのプロジェクタデータファイルを生成する。このプロジェクタデータファイルは、情報処理装置側の３次元空間でのプロジェクションマッピング映像を作成するツールにて用いられる。

プロジェクタデータ生成部６は、初期プロジェクタデータ生成部１６、プロジェクタデータワールド座標変換部１７、プロジェクタデータ垂直オフセット部１８及びプロジェクタデータファイル生成部１９を有する。
初期プロジェクタデータ生成部１６は、プロジェクタの投射中心点（図５Ａ〜図５Ｄに示したような投射中心点１０２）であるプロジェクタ座標系の原点、すなわち、座標（０，０，０）をプロジェクタ位置座標に設定する。初期プロジェクタデータ生成部１６は、プロジェクタ位置座標と画角対称化部１０からの投射方向ベクトル及び画角（上下左右の画角）とを含むプロジェクタデータを生成する。

プロジェクタデータワールド座標変換部１７は、姿勢センサ部１１で検出されたプロジェクタの水平面に対する傾きに基づいて、初期プロジェクタデータ生成部１６で生成されたプロジェクタデータに含まれている投射ベクトルの方向を、水平面を基準としたワールド座標系に変換する。
プロジェクタデータ垂直オフセット部１８は、マッピング用データ生成部７で行われる３次元位置データの垂直方向の座標の調整に合わせて、プロジェクタデータワールド座標変換部１７からのプロジェクタデータに含まれているプロジェクタ位置座標の垂直方向の座標を変更する。この座標変更を行うために、垂直オフセット量がマッピング用データ生成部７からプロジェクタデータ垂直オフセット部１８に供給される。

プロジェクタデータファイル生成部１９は、プロジェクタデータ垂直オフセット部１８からのプロジェクタデータに基づくプロジェクタデータファイル３１を生成する。プロジェクタデータファイル３１は、ファイル格納部８に格納される。
マッピング用データ生成部７は、立体物の各面の外形位置を示す２次元データファイル３２、又は、立体物の３次元データファイル３３を生成する。２次元データファイル３２は、２次元空間でのプロジェクションマッピング映像を作成するツールにて用いられる。３次元データファイル３３は、３次元空間でのプロジェクションマッピング映像を作成するツールにて使用される。２次元データファイル３２及び立体物の３次元データファイル３３はファイル格納部８に格納される。

マッピング用データ生成部７は、３次元センサ部２０、キャリブレーションデータ格納部２１、３次元位置データプロジェクタ座標変換部２２、３次元位置データワールド座標変換部２３、垂直オフセット計算部２４、３次元位置データ垂直オフセット部２５、３次元位置データセグメンテーション部２６、透視投影部２７、３次元位置データポリゴンメッシュ化部２９、２次元データファイル生成部２８及び３次元データファイル生成部３０を有する。
３次元センサ部２０は、投射レンズの光軸方向に向けて配置された、投射対象である立体物の各面を３次元計測する３次元センサを有する。３次元センサの検出範囲は、投射レンズの画像を投射することができる投射可能エリア全体を含む。

図６は、３次元センサの検出範囲と投射可能エリアとの相対的な位置関係を説明するための模式図である。図６に示すように、３次元センサ１０８は、投射レンズ１０１ａの光軸方向に向けて配置されている。ズーム機能を用いて投射エリアを拡大又は縮小することができ、レンズシフト機能を用いて投射エリアを上下左右に移動することができる。
投射エリア１１３は、右上方向にレンズシフトしてズームを最小にした場合の投射エリアである。投射エリア１１４は、右上方向にレンズシフトしてズームを最大にした場合の投射エリアである。投射エリア１１５は、左上方向にレンズシフトしてズームを最小にした場合の投射エリアである。投射エリア１１６は、左上方向にレンズシフトしてズームを最大にした場合の投射エリアである。

投射エリア１１７は、右下方向にレンズシフトしてズームを最小にした場合の投射エリアである。投射エリア１１８は、右下方向にレンズシフトしてズームを最大にした場合の投射エリアである。投射エリア１１９は、左下方向にレンズシフトしてズームを最小にした場合の投射エリアである。投射エリア１２０は、左下方向にレンズシフトしてズームを最大にした場合の投射エリアである。
３次元センサ１０８の検出範囲は、投射レンズ１０１ａからの画像を投射することができる投射可能エリア全体、すなわち、投射エリア１１３〜１２０全体を含む。よって、３次元センサ１０８は、投射可能エリア内に配置された立体物の３次元位置を計測できる。３次元センサ部２０は、３次元センサ１０８の出力である３次元位置データを３次元位置データプロジェクタ座標変換部２２に供給する。

３次元センサ１０８として、例えば、ＴＯＦ（Time of Flight）方式や三角測量方式の３次元センサを用いることができるが、これら方式のものに限定されない。ＴＯＦ方式は、光を対象物に向けて投射し、その投射光が対象物で反射されて戻ってくるまでの時間を計測することで、３次元計測を行う方式である。三角測量方式には、例えば、パッシブ三角測量方式やアクティブ三角測量方式などがある。パッシブ三角測量方式は、左右に並べて配置された２台のカメラで同時に対象物を撮影し、各カメラで得られる対象物の撮像画像上での位置の違いから三角測量の原理を用いて３次元計測を行う方式であり、ステレオカメラ方式とも呼ばれている。アクティブ三角測量方式は、対象物に光を照射し、対象物からの反射光の情報に基づいて、三角測量の原理を用いて３次元計測を行う方式である。

再び図４を参照する。キャリブレーションデータ格納部２１には、キャリブレーションデータが格納されている。キャリブレーションデータは、３次元センサ１０８の座標系をプロジェクタの座標系に変換するためのパラメータ（回転量及び並進量）と、基準ズーム位置及び基準レンズシフト位置とを含む。回転量及び並進量は、３次元センサの座標系とプロジェクタの座標系の位置関係を計測するキャリブレーションを行うことで得られる。基準ズーム位置及び基準レンズシフト位置は、キャリブレーションを行った時のズーム位置及びレンズシフト位置である。
３次元位置データプロジェクタ座標変換部２２は、キャリブレーションデータ格納部２１からキャリブレーションデータ（回転量、並進量、基準ズーム位置及び基準レンズシフト位置）を取得し、プロジェクタ投射設計データ格納部９から設計データを取得し、投射レンズユニット１４からズーム・シフト位置情報を取得する。３次元位置データプロジェクタ座標変換部２２は、キャリブレーションデータと設計データとに基づいて、３次元センサからの立体物の３次元位置データを、投射中心点を原点としたプロジェクタの座標系の３次元位置データに変換する。キャリブレーションデータ及び設計データは、３次元センサの座標系を投射中心点が原点とされたプロジェクタ座標系に変換するための座標変換データと呼ぶことができる。

３次元位置データワールド座標変換部２３は、プロジェクタの水平面に対する傾きを姿勢センサ部１１から取得し、プロジェクタ座標系に座標変換された３次元位置データを３次元位置データプロジェクタ座標変換部２２から取得する。３次元位置データワールド座標変換部２３は、プロジェクタの水平面に対する傾きに基づいて、プロジェクタ座標系に座標変換された３次元位置データを、水平面を基準としたワールド座標系に変換する。このワールド座標系に座標変換された３次元位置データは、垂直オフセット計算部２４及び３次元位置データ垂直オフセット部２５に供給される。
垂直オフセット計算部２４は、３次元位置データワールド座標変換部２３からのワールド座標系に座標変換された３次元位置データから垂直座標の最小値を求める。垂直座標の最小値が負の数であった場合は、垂直オフセット計算部２４は、垂直座標の最小値の絶対値を示す垂直オフセット量を出力する。垂直座標の最小値が正の数であった場合は、垂直オフセット計算部２４は、０を示す垂直オフセット量を出力する。垂直オフセット計算部２４の出力は、プロジェクタデータ垂直オフセット部１８及び３次元位置データ垂直オフセット部２５に供給される。

３次元位置データ垂直オフセット部２５は、垂直オフセット計算部２４で計算した垂直オフセット量に基づいて、３次元位置データワールド座標変換部２３からのワールド座標系に座標変換された３次元位置データを垂直方向にオフセットする。具体的には、３次元位置データの垂直方向の座標に垂直オフセット量を足すことで垂直方向へのオフセットを行う。この垂直方向へのオフセットがなされた３次元位置データは、３次元位置データセグメンテーション部２６、３次元位置データポリゴンメッシュ化部２９及び３次元位置データファイル作成部３０に供給される。
３次元位置データセグメンテーション部２６は、パラメータ格納部３からセグメンテーションパラメータを取得する。３次元位置データセグメンテーション部２６は、セグメンテーションパラメータに基づいて、３次元位置データ垂直オフセット部２５からの３次元位置データから立体物の面とその形状を示す稜線を検出する。面と稜線の検出結果は、透視投影部２７及び３次元位置データポリゴンメッシュ化部２９に供給される。

透視投影部２７は、プロジェクタデータ垂直オフセット部１８からプロジェクタデータを取得する。透視投影部２７は、プロジェクタデータを用いて、３次元位置データセグメンテーション部２６で検出した稜線を投射面に透視投影することで、投射映像における立体物の各面の外形位置を示す２次元データを生成する。この２次元データは、２次元データファイル生成部２８に供給される。
２次元データファイル生成部２８は、パラメータ格納部３からファイルフォーマットパラメータを取得する。２次元データファイル生成部２８は、透視投影部２７で作成した２次元データからファイルフォーマットパラメータが示すファイルフォーマットに基づく２次元データファイル３２を生成する。この２次元データファイル３２は、ファイル格納部８に格納される。

３次元位置データポリゴンメッシュ化部２９は、パラメータ格納部３からポリゴンメッシュ化パラメータ及びファイルフォーマットパラメータを取得する。３次元位置データポリゴンメッシュ化部２９は、ポリゴンメッシュ化パラメータとファイルフォーマットパラメータが示すファイルフォーマットとに基づいて、３次元位置データセグメンテーション部２６で検出した面をポリゴンメッシュ化する。ポリゴンメッシュ化された面のデータが３次元データファイル生成部３０に供給される。
３次元データファイル生成部３０は、パラメータ格納部３からファイルフォーマットパラメータを取得する。３次元データファイル生成部３０は、３次元位置データポリゴンメッシュ化部２９でポリゴンメッシュ化された面のデータからファイルフォーマットパラメータが示すファイルフォーマットに基づく３次元データファイル３３を生成する。この３次元データファイル３３は、ファイル格納部８に格納される。

次に、本実施形態のプロジェクタを用いたプロジェクションマッピングシステムの構成を説明する。
図７に、プロジェクションマッピングシステムの一例を示す。図７を参照すると、プロジェクションマッピングシステムは、プロジェクタ２０１と、パーソナルコンピュータ等の映像処理装置２０５とを有する。プロジェクタ２０１と映像処理装置２０５は通信手段２０７を介して相互に通信可能に接続されている。例えば、通信手段２０７は、通信ケーブルと映像信号ケーブルとから構成されてもよい。この場合、映像信号ケーブルは、後述の映像処理装置２０５が、３次元空間用プロジェクションマッピング映像をプロジェクタ２０１に供給するのに用いられる。通信ケーブルは、例えば、後述のプロジェクタ２０１が、プロジェクタデータファイル３１、２次元データファイル３２及び３次元データファイル３３などのデータを映像処理装置２０５に供給するために用いられる。なお、通信ケーブルと映像信号ケーブルを１つのケーブルで構成することも可能である。また、通信手段２０７は、無線通信手段を含むものであっても良い。
プロジェクタ２０１は、図４〜図６を用いて説明した構成を有し、映像処理装置２０５からの映像信号に基づく映像を立体部１０４の各面に投射する。映像処理装置２０５は、２次元空間用プロジェクションマッピング映像作成及び３次元空間用プロジェクションマッピング映像作成ツールの少なくとも一方を搭載している。

図７に示したプロジェクションマッピングシステムでは、以下の手順でプロジェクションマッピングが行われる。
まず、プロジェクタ２０１が、映像処理装置２０５からのデータ作成指示（データ作成要求）に応じて、マッピング用データ作成処理を実行する。このマッピング用データ作成処理では、２次元空間用プロジェクションマッピング映像作成ツール用のデータ、または、３次元空間用プロジェクションマッピング映像作成ツール用のデータを作成する。ここでは、便宜上、映像処理装置２０５は３次元空間用プロジェクションマッピング映像作成ツールを搭載しているものと仮定し、プロジェクタ２０１は３次元空間用プロジェクションマッピング映像作成ツール用のデータを作成する。このデータは、立体物の３次元データと、仮想の３次元空間におけるレンダリング用カメラやプロジェクタの設定を行うためのプロジェクタデータとを含む。

次に、映像処理装置２０５が、プロジェクタ２０１で生成した３次元空間用プロジェクションマッピング映像作成ツール用のデータ、すなわち、３次元データファイル３３とプロジェクタデータファイル３１を取得する。そして、３次元空間用プロジェクションマッピング映像作成ツールが、プロジェクタ２０１から取得した３次元データファイル３３とプロジェクタデータファイル３１を用いて３次元空間用プロジェクションマッピング映像を作成する。
映像処理装置２０５が、３次元空間用プロジェクションマッピング映像をプロジェクタ２０１に供給する。プロジェクタ２０１が、３次元空間用プロジェクションマッピング映像に基づく映像を立体部１０４の各面に投射する。

なお、映像処理装置２０５が２次元空間用プロジェクションマッピング映像作成ツールを搭載している場合は、プロジェクタ２０１は、３次元データファイル３３に代えて、２次元空間用プロジェクションマッピング映像作成ツール用のデータである２次元データファイル３２を作成する。２次元データファイル３２は、投射映像における立体物の各面の外形位置を示す２次元データであり、プロジェクタ２０１から映像処理装置２０５に供給される。映像処理装置２０５では、２次元空間用プロジェクションマッピング映像作成ツールが、２次元データファイル３２を用いて２次元空間用プロジェクションマッピング映像を作成する。

次に、本実施形態のプロジェクタ２０１のマッピング用データ作成処理の動作を詳細に説明する。
図８に、マッピング用データ作成処理の一手順を示す。
ステップＳ１０で、操作者が、映像処理装置２０５上で、プロジェクションマッピング映像の作成に必要なパラメータを設定するための入力操作（データ作成要求）を行う。この入力操作に応じて、パラメータ設定開始指示及びパラメータ設定画面情報が、映像処理装置２０５からプロジェクタ２０１に供給される。プロジェクタ２０１では、パラメータ設定画面情報が投射部５に供給され、通信制御部１が、パラメータ設定開始指示に従い、投射部５にてパラメータ設定画面を投射させる。

操作者は、パラメータ設定画面を参照して必要なパラメータの情報を入力する。ここで、パラメータは、マッピング用データ作成処理に必要なパラメータ（画角対称化選択パラメータ、セグメンテーションパラメータ、ポリゴンメッシュ化パラメータ、ファイルフォーマットパラメータ、マッピングモードパラメータなど）を含む。パラメータの入力情報は、映像処理装置２０５からプロジェクタ２０１に供給される。プロジェクタ２０１では、通信制御部１が、操作者が入力したパラメータをパラメータ格納部３に格納する。
次に、ステップＳ１１で、画角対称化部１０が、投射レンズユニット１４からズーム・シフト位置情報を取得し、プロジェクタ投射設計データ格納部９から設計データを取得し、パラメータ格納部３から画角対称化選択パラメータを取得し、パラメータ格納部３からマッピングモードパラメータを取得する。画角対称化部１０は、マッピングモードパラメータ及び画角対称化選択パラメータに応じて、ズーム・シフト位置情報と設計データとに基づいて、プロジェクタの投射中心軸の方向を示す投射方向ベクトルと画角、及び、プロジェクタと正対する投射面に対する投射面の水平及び垂直の傾き角を算出する。

画角対称化部１０による画角、投射方向、傾きの算出処理は、以下の第１及び第２の処理を含む。
（第１の処理）
画角を上下対称、左右対称になるようにする画角対称化を行わないとき、すなわち、マッピングモードパラメータに２次元空間用マッピングが設定されるか、マッピングモードパラメータに３次元空間用マッピングが設定され、かつ、画角対称化選択パラメータに画角対称化なしが設定されているときに、画角対称化部１０は、第１の処理を実行する。
第１の処理において、画角対称化部１０は、投射レンズユニット１４のズーム位置、レンズシフト位置、プロジェクタ投射設計データ格納部９に格納されているプロジェクタの画角、ズーム特性、レンズシフト特性などの投射に関わる設計データから画角を求める。そして、画角対称化部１０は、投射方向ベクトルを投射光軸の方向、すなわち、水平・垂直方向成分がそれぞれ０のベクトルに設定する。なお、投射面の傾きについては、画角対称化部１０は、投射面を変えないので、水平傾き、垂直傾きともに０にする。

（第２の処理）
画角を上下対称、左右対称になるようにする画角対称化を行うとき、すなわち、マッピングモードパラメータに３次元空間用マッピングが設定され、かつ、画角対称化選択パラメータに画角対称化ありが設定されているときに、画角対称化部１０は、第２の処理を実行する。
第２の処理において、画角対称化部１０は、投射レンズユニット１４のズーム位置、レンズシフト位置、プロジェクタ投射設計データ格納部９に格納されているプロジェクタの画角、ズーム特性、レンズシフト特性などの投射に関わる設計データから画角を求める。次に、画角対称化部１０は、投射中心軸に垂直な投射面であり、投射面に投射される映像がスクウェアになるように歪み補正を行ったときの投射中心軸に対する水平方向の左右の画角と垂直方向の上下の画角が等しくなるような投射面を定め、投射方向ベクトルをその投射中心軸の方向に設定する。そして、画角対称化部１０は、投射中心軸に垂直なその投射面の投射光軸に垂直な面に対する水平方向、垂直方向の傾きを求める。

なお、投射部５では、投射面における投射映像がスクウェアになるように歪み補正が行われるが、この歪み補正後の投射映像エリアは、補正前に比較して小さくなることから、歪み補正は画角にも影響を与える。このため、歪み補正後の投射映像エリアの変化も考慮して、水平方向画角の左右の画角が等しくなり、かつ、垂直方向画角の上下の画角が等しくなる投射中心軸とプロジェクタ装置とスクリーンが正対したときの投射面に対する投射面の傾きを求めることが望ましい。

ここで、画角対称化部１０及び投射部５の動作をさらに詳細に説明する。
投射部５では、通常は、歪み補正係数計算部１５は、ユーザによる歪み補正設定に従って歪み補正係数を計算し、歪み補正部１３でプロジェクタと正対していないスクリーンに投射したときに生じる歪みを補正する。しかしながら、マッピングモードパラメータに２次元空間用マッピング又は３次元空間用マッピングが設定されているときは、歪み補正係数計算部１５は、ユーザによる歪み補正設定ではなく、画角対称化部１０からの投射面の傾きに従って、歪み補正係数を計算し、歪み補正部１３がその歪み補正係数に基づいて歪みを補正する。画角対称化１０と投射部５における歪み補正の処理は、ユーザが投射レンズユニット１４のズーム位置とレンズシフト位置を調整するたび実行される。これにより、画角が上下対称、左右対称にしか設定できない３次元空間でのプロジェクションマッピング映像を作成するツールを使用した場合の、投射映像と立体物との間にずれが生じるという問題を解消することが可能となる。

図９と図１０を用いて上記の問題解消を説明する。
図９Ａは、打ち上げ投射で、投射光軸が投射エリアの下辺の中心部を通る投射状態を示し、図９Ｂは、歪み補正の前後の投射映像エリアを示す。
図９の例では、投射中心軸１１０は投射光軸１０９と一致しない。投射光軸１０９を基準とする垂直方向の画角について、上角をθ_T、下角をθ_Bとする。投射中心軸１１０を基準とする垂直方向の画角について、上角をθ’_T、下角をθ’_Bとする。下角θ_B＝０であり、上角θ_Tと下角θ_Bは一致しないため、上下対称にならない。画角対称化部１０は、投射面に投射される映像がスクウェアになるように歪み補正を行ったときに垂直方向の画角が上下対称（θ’_T＝θ’_B）になるように、画投射中心軸１１０と、画投射中心軸１１０に垂直な投射面を求め、その投射面の、プロジェクタ２０１とスクリーンが正対したときの投射面に対する傾きを求める。そして、画角対称化部１０は、投射面の傾きを歪み補正係数計算部１５に供給し、歪み補正係数計算部１５が投射面の傾きに基づいて歪み補正係数を計算し、歪み補正部１３が歪み補正係数に基づいて、投射面上の投射映像がスクウェアになるように歪み補正を行う。この歪み補正によれば、図９Ｂに示すように、投射映像エリア１２２が投射映像エリア１２３に補正され、その結果、図９Ａに示すように、投射エリア１０３は投射エリア１２１に補正される。

図１０Ａは、左上方向にレンズシフトさせた場合の投射状態を示し、図１０Ｂは、歪み補正の前後の投射映像エリアを示す。この例においても、投射中心軸１１０を基準とする垂直方向の画角について、上角をθ’_T、下角をθ’_Bとする。また、投射中心軸１１０を基準とする水平方向の画角について、右角をθ’_R、左角をθ’_Lとする。
θ’_T≠θ’_Bであるため、垂直方向の画角は上下対称にならない。また、θ’_R≠θ’_Lであるため、水平方向の画角も左右対称にならない。この場合、画角対称化部１０は、投射面に投射される映像がスクウェアになるように歪み補正を行ったときに垂直方向の画角が上下対称（θ’_T＝θ’_B）に、かつ、水平方向の画角が左右対称（θ’_R＝θ’_L）になるように、投射中心軸１１０と、投射中心軸１１０に垂直な投射面を求め、その投射面の、プロジェクタ２０１とスクリーンが正対したときの投射面に対する傾きを求める。そして、画角対称化部１０は、投射面の傾きを歪み補正係数計算部１５に供給し、歪み補正係数計算部１５が投射面の傾きに基づいて歪み補正係数を計算し、歪み補正部１３が歪み補正係数に基づいて、投射面上の投射映像がスクウェアになるように歪み補正を行う。この歪み補正によれば、図１０Ｂに示すように、投射映像エリア１２２が投射映像エリア１２３に補正され、その結果、図１０Ａに示すように、投射エリア１０３は投射エリア１２１に補正される。

再び、図８を参照する。ステップＳ１２で、プロジェクタ２０１の通信制御部１が、マッピングデータ生成開始指示を受信した否かを判定する。プロジェクタ２０１の位置、投射方向、ズーム位置、レンズシフト位置を、投射対象である立体物に投射映像が投射されるように調整した後、ユーザは、情報処理装置２０５上で、マッピングデータ生成開始を指示するための入力操作を行う。この入力操作に応じて、マッピングデータ生成開始指示が情報処理装置２０５からプロジェクタ２０１に供給される。
マッピングデータ生成開始指示を受信すると、ステップＳ１３、Ｓ１４で、通信制御部１は、マッピングモードパラメータに、２次元空間用マッピングモード又は３次元空間用マッピングモードが設定されているか否かを判定する。
マッピングモードパラメータに２次元空間用マッピングモードが設定されている場合は、ステップＳ１５で、通信制御部１は、マッピング用データ生成部７にて、２次元データファイル３２を生成させる。一方、マッピングモードパラメータに３次元空間用マッピングモードが設定されている場合は、ステップＳ１６で、通信制御部１は、マッピング用データ生成部７にて、３次元データファイル３３を生成させるとともに、プロジェクタデータ生成部６にてプロジェクタデータファイル３１を生成させる。なお、マッピングモードパラメータにマッピングなしモードが設定されている場合は、データファイル生成を行うことなく、マッピング用データ作成処理を終了する。

以下、２次元空間用マッピングモードと３次元空間用マッピングモードとに分けて動作を説明する。
（３次元空間用マッピングモード）
３次元空間用マッピングモードでは、通信制御部１からのマッピング用データ生成開始指示に従い、マッピング用データ生成部７が３次元データファイル３３の生成処理を実行するとともに、プロジェクタデータ生成部６がプロジェクタデータファイル３１の生成処理を実行する。
図１１に、３次元データファイル３３の生成処理の一手順を示す。
ステップＳ２０で、３次元センサ部２０が立体物を３次元計測し、３次元位置データを出力する。この３次元位置データは、３次元センサ１０８の座標系における３次元座標で示される点群データで表される。

ステップＳ２１で、３次元位置データプロジェクタ座標変換部２２が、キャリブレーションデータ格納部２１から回転量、並進量、基準ズーム位置及び基準レンズシフト位置を取得し、投射レンズユニット１４から現在のズーム位置及びレンズシフト位置を取得し、プロジェクタ投射設計データ格納部９から設計データを取得する。そして、３次元位置データプロジェクタ座標変換部２２が、回転量、並進量、基準ズーム位置、基準レンズシフト位置、現在のズーム位置及びレンズシフト位置、設計データに基づいて、３次元センサ２０からの３次元位置データの座標系を、投射中心点を原点としたプロジェクタ２０１の座標系に変換する。

図１２に、３次元センサ１０８の座標系とプロジェクタ２０１の座標系との位置関係を模式的に示す。
図１２に示すように、３次元センサ１０８の座標系の原点はプロジェクタ２０１の座標系の原点（投射中心点）と一致せず、また、３次元センサ１０８の検出方向もプロジェクタ２０１の投射方向と一致しない。このため、３次元センサ１０８で計測した３次元位置データの座標系は、プロジェクタ２０１の座標系と異なる。ステップＳ２１の座標変換は、３つの座標軸（ＸＹＺ）に対する回転量と、３つの座標軸（ＸＹＺ）に対する移動を表す並進量で定義できる。この回転量と並進量を求めることをキャリブレーションと呼ぶ。

プロジェクタ２０１では、プロジェクタ座標系の原点となる投射中心点がいつも同じ位置ではなく、ズームやレンズシフトの操作により移動するため、回転量及び並進量とともに、キャリブレーションを行った時のズーム位置とレンズシフト位置がそれぞれ基準ズーム位置、基準レンズシフト位置としてキャリブレーションデータ格納部２１に格納されている。
３次元位置データプロジェクタ座標変換部２２は、まず、設計データ、基準ズーム位置、基準レンズシフト位置を用いて、キャリブレーションを行った時の基準投射中心点の座標を求める。次に、３次元位置データプロジェクタ座標変換部２２は、現在のズーム位置及びレンズシフト位置に基づいて現在の投射中心点の座標を求め、基準投射中心点の座標から現在の投射中心点の座標への座標変換のための並進量を求める。

次に、３次元位置データプロジェクタ座標変換部２２は、３次元センサ部２０からの３次元位置データをキャリブレーションデータ格納部２１に格納されている回転量及び並進量に基づいて座標変換する。次に、３次元位置データプロジェクタ座標変換部２２は、現在のズーム位置及びレンズシフト位置に基づいて、基準投射中心点の座標から現在の投射中心点の座標への並進量分だけ座標を移動する。これにより、３次元センサ部２０からの３次元位置データの座標系を現在の投射中心点を原点としたプロジェクタ座標系に変換する。
ステップＳ２２で、３次元位置データワールド座標変換部２３が、姿勢センサ部１１で検出されたプロジェクタの水平面に対する傾きに基づいて、プロジェクタ座標系に座標変換された３次元位置データを、水平面を基準としたワールド座標系に変換する。
プロジェクタ２０１は、前後方向及び左右方向に傾いて設置されたり、上下逆さまに設置されたりする。例えば、プロジェクタ２０１の設置状態には、図１３に示すように、水平状態１２４、上下逆さ状態１２５、上向き状態１２６、下向き状態１２７、右回転状態１２８、左回転状態１２９といった種々の状態がある。このため、３次元位置データワールド座標変換部２３は、姿勢センサ部１１で検出した水平方向の傾きに基づいて、図１２に示したような水平面を基準としたワールド座標系への変換処理を行う。

なお、３次元空間用のプロジェクションマッピング映像作成ツールにおいては、立体物の表面に投射する映像として、平面的な映像だけでなく、立体的な映像表現を行う３次元プロジェクションマッピングを作成でき、平面で立体的表現を行うために、視点の位置の設定が必要となる。つまり、視点を３次元位置で設定し、そこから見たときに立体に見えるように立体物表面の映像を作成する。このとき、視点は地面に立った人間の目の位置であり、視点設定のために地面に平行な水平面を基準としたワールド座標系に変換しておく必要がある。

座標変換した３次元位置データの垂直方向の座標には負の数が含まれることがあるため、垂直方向の座標調整を行う必要がある。この垂直方向の座標調整においては、３次元位置データのすべての垂直方向の座標を０以上にするために、垂直オフセット量計算部２４が垂直オフセット量を計算し、３次元位置データ垂直オフセット部２５が、３次元位置データのすべての垂直方向の座標に垂直オフセット量を足す。具体的には、垂直オフセット量計算部２４が、３次元位置データの垂直座標の最小値を求め、負の数であった場合には、垂直オフセット量としてその最小値の絶対値を出力し、正の数であった場合は垂直オフセット量として０を出力する。
ステップＳ２４で、３次元位置データセグメンテーション部２６が、パラメータ格納部３に格納されているセグメンテーションパラメータに基づいて、３次元位置データの中から投射対象である立体物の面とその外形を示す稜線を検出する。

図１４に、セグメンテーション処理の一例を示す。３次元位置データセグメンテーション部２６は、まず、３次元位置データの点群データ１３０の各点について、法線ベクトル１３２を求める。ここで、法線ベクトル１３２は、注目点と周辺の点で構成される三角形の面の法線ベクトル１３１の合成ベクトルである。次に、３次元位置データセグメンテーション部２６は、隣接する点の法線ベクトルを比較し、その差がセグメンテーションパラメータで設定されている閾値よりも小さければ、同一面とする。これにより、面１３３、１３４を抽出することができる。面の抽出が終わると、３次元位置データセグメンテーション部２６は、隣接する面１３３、１３４の交線である稜線１３５を算出する。
上記のセグメンテーション処理において、セグメンテーションパラメータで設定されている閾値に応じて、どの程度の曲面を１つの面として抽出するかが決まる。なお、この例では、セグメンテーションパラメータは、法線ベクトルの差に対する閾値であるが、セグメンテーション手法により、その値は異なる。

ステップＳ２５で、３次元位置データポリゴンメッシュ化部２９が、パラメータ格納部３に格納されているポリゴンメッシュ化パラメータとパラメータ格納部３に格納されているファイルフォーマットパラメータに基づき、３次元位置データセグメンテーション部２６で検出した面をポリゴンメッシュ化する。
生成する３次元データファイルのフォーマットに応じて、扱えるポリゴンが異なる。例えば、３角形のポリゴンしか扱えないフォーマット、３角形と４角形のポリゴンしか扱えないフォーマット、多角形のポリゴンが扱えるフォーマットなどがある。このため、３次元位置データポリゴンメッシュ化部２９は、ポリゴンの形を指定するファイルフォーマットパラメータと、ポリゴンの粗さを指定するポリゴンメッシュ化パラメータとを用いて、ポリゴン化を行う。なお、ポリゴンを細かくすると、曲面をより滑らかに表現することができるが、プロジェクションマッピング映像を作成するツールにおける計算量が増える。

図１５Ａに、３角ポリゴンと４角ポリゴンの両方でポリゴンメッシュ化した例を示し、図１５Ｂに、３角ポリゴンのみでポリゴンメッシュ化した例を示す。図１５Ａ及び図１５Ｂから分かるように、３角ポリゴンと４角ポリゴンの両方でポリゴンメッシュ化した仮想の立体物３００、３０１に比較して、３角ポリゴンのみでポリゴンメッシュ化した仮想の立体物３０２、３０３は、ポリゴンがより細かなものとなっている。
ステップＳ２６で、３次元データファイル生成部３０が、ファイルフォーマットパラメータに基づいて、３次元位置データ垂直オフセット部２５からの３次元位置データ、または、３次元位置データポリゴンメッシュ化部２９からのポリゴンメッシュ化３次元位置データから、指定されたファイルフォーマットに合った３次元データファイル３３を生成する。なお、ファイルフォーマットによっては、３次元データファイル生成部３０は、ポリゴンの各頂点の法線ベクトルや、メッシュ面の法線ベクトルなどの情報を計算し、これら情報を含む３次元データファイル３３を生成する。
なお、３次元位置データ垂直オフセット部２５からの３次元位置データを用いて３次元データファイル３３を生成する場合は、３次元データファイル３３は、ワールド座標系における計測した３次元位置の生のデータを含む。

次に、プロジェクタデータファイル３１の生成処理を説明する。図１６に、プロジェクタデータファイル３１の生成処理の一手順を示す。
ステップＳ３０で、初期プロジェクタデータ生成部１６が、プロジェクタの投射中心であるプロジェクタ座標系の原点、すなわち、座標（０，０，０）をプロジェクタ位置座標に設定し、画角対称化部１０からの投射方向ベクトル及び画角と合わせて、投射方向ベクトル、画角、プロジェクタ位置座標からなる初期プロジェクタデータを生成する。
図１７に、画角対称化選択パラメータに画角対称化なしが設定されている場合の投射方向ベクトル、上下画角、左右画角、投射中心座標の例を示す。この例では、投射光軸１０９は、投射エリア１０３の下端の中心部を通る。下角θ_B＝０であり、上角θ’_Tと下角θ_Bは一致しないが、投射光軸１０９を投射中心軸１１０と見做す。プロジェクタ２０１の投射中心点１０２であるプロジェクタ座標系の原点、すなわち、座標（０，０，０）をプロジェクタ位置１３８の座標に設定する。投射方向ベクトル１３６は、投射光軸１０９の方向（水平・垂直方向成分がそれぞれ０）である。

図１８に、画角対称化選択パラメータに画角対称化ありが設定されている場合の投射方向ベクトル、上下画角、左右画角、投射中心座標の例を示す。この例では、下角θ_B＝０であり、上角θ_Lと下角θ_Bは一致しないため、画角１３７のうちの垂直方向の画角は上下対称にならない。投射中心軸に垂直な投射面に投射される映像がスクウェアになるように歪み補正を行ったときに垂直方向の画角が上下対称（θ’_T＝θ’_B）に、かつ、水平方向の画角が左右対称（θ’_R＝θ’_L）になるように投射中心軸１１０を設定する。投射方向ベクトル１３６は、垂直方向の上下画角が対称、かつ、水平方向の左右画角が対称となる方向を示すベクトルとなる。

ステップＳ３１で、プロジェクタデータワールド座標変換部１７が、３次元位置データワールド座標変換部２３での処理と同じように、姿勢センサ部１１で検出されたプロジェクタの水平面に対する傾きに基づき、初期プロジェクタデータ生成部１６で生成された投射方向ベクトルを、水平面を基準としたワールド座標系に変換する。
ステップＳ３２で、プロジェクタデータ垂直オフセット部１８が、３次元位置データ垂直オフセット部２５での処理と同じように、垂直オフセット量計算部２４で計算した垂直オフセット量をプロジェクタ位置座標の垂直方向の座標に足して垂直方向の座標の調整を行う。
ステップＳ３３で、プロジェクタファイル生成部１９が、プロジェクタデータファイル３１を生成する。

３次元データファイル３３及びプロジェクタデータファイル３１の生成後、情報処理装置が、３次元データファイル３３とプロジェクタデータファイル３１を取り込む。３次元空間プロジェクションマッピング映像作成ツールが、３次元データファイル３３の内容に基づいて仮想の３次元空間上で立体物を構成し、立体物のそれぞれの面に映像を割り当てて再生し、プロジェクタデータファイル３１の内容に従って、レンダリング用カメラを設定してレンダリングを行って投射映像を作成する。この投射映像をプロジェクタから投射すれば、立体物に外形がぴったり合った状態でプロジェクションマッピングを行うことができる。
なお、立体的な映像表現を行う３次元プロジェクションマッピングにおいて、照明を設定して光のあたり具合などを再現するために視点位置にレンダリング用カメラを設定する場合には、プロジェクタデータファイル３１の内容に従って、プロジェクタを設定し、視点位置にレンダリング用カメラを設定してレンダリングを行う。立体物との位置関係を用いてプロジェクタ投射映像に変換して投射映像を作成する。この投射映像をプロジェクタから投射すれば、立体物に外形がぴったり合った状態でプロジェクションマッピングを行うことができる。

（２次元空間用マッピングモード）
２次元空間用マッピングモードでは、通信制御部１からのマッピング用データ生成開始指示に従い、マッピング用データ生成部７が２次元データファイル３２の生成処理を実行するとともに、プロジェクタデータ生成部６がプロジェクタデータ垂直オフセット部１８までの処理を実行する。

図１９に、２次元データファイル３３の生成処理の一手順を示す。
ステップＳ４０で３次元位置データを取得し、ステップＳ４１で３次元位置データの座標系をプロジェクタの座標系に変換し、ステップＳ４２でワールド座標系に変換し、ステップＳ４３で垂直オフセットを行い、ステップＳ４４で立体物の面及び稜線の検出を行う。これらステップＳ４０〜Ｓ４４の処理は、図１１に示したステップＳ２０〜Ｓ２４の処理と同様である。一方、プロジェクタデータ生成部６において、図１６に示したステップＳ３０からＳ３３の処理が行われる。
ステップＳ４４の処理の後、ステップＳ４５で、透視投影部２７が、プロジェクタデータ垂直オフセット部１８からのプロジェクタデータに基づいて、３次元位置データセグメンテーション部２６で検出した３次元空間の稜線をプロジェクタの投射面に透視投影して２次元データを生成する。
ステップＳ４６で、２次元データファイル生成部２８が、パラメータ格納部３に格納されているファイルフォーマットパラメータに基づいて、透視投影部２７で生成した２次元データから指定されたファイルフォーマットに合った２次元データファイル３２を生成する。

図２０に示すように、透視投影では、３次元空間における稜線を構成する３次元位置データの点群データの各点とプロジェクタデータ中の投射中心点１０２を示すプロジェクタ位置座標とを結ぶ直線と、仮想的に設定したプロジェクタデータ中の投射方向ベクトル１３６に垂直な投影面１３９との交点を求める。その交点を投影点とし、投影面１３９と投影面１３９上の稜線の投影点を２次元データに変換し、その投影点を補完することによって、立体物の各面の外形位置を示す２次元データを生成する。
２次元データファイル３２の生成後、情報処理装置が、２次元データファイル３２を取り込む。２次元空間プロジェクションマッピング映像作成ツールが、２次元データファイル３２の内容に基づいて、２次元データ上の立体物の各面の外形位置を元に各面に映像を割り当てて投射映像を作成する。この投射映像をプロジェクタから投射すれば、立体物の外形に合った状態でプロジェクションマッピングを行うことができる。

以上説明した本実施形態のプロジェクタによれば、３次元センサ１０８が立体物を３次元計測し、該計測結果である３次元位置データ（立体物上の投射面の位置及び稜線）をプロジェクタの座標系に座標変換する。これにより、プロジェクタの座標系での立体物の３次元位置データを得ることができる。
また、上記の座標変換した３次元位置データを用いて、立体物上の各投射面の位置及び外形を示す２次元データを作成する。この２次元データに基づいて、立体物上の各投射面に映像を割り当てることで、２次元プロジェクションマッピング用の映像を作成することができる。この２次元プロジェクションマッピング用の映像は、プロジェクタの座標系での立体物の３次元位置データに基づいて作成されているので、その映像をプロジェクタから投射した場合、その投射映像の範囲は、立体物の投射面に一致する。

また、上記の座標変換した３次元位置データを用いて、立体物上の各投射面の位置及び外形を示す３次元データを生成し、さらに、投射方向ベクトル、画角、プロジェクタ位置座標を含むプロジェクタデータを生成する。３次元データに基づいて、仮想の３次元空間上で立体物を構成し、この仮想の立体物上の各面に映像を割り当てて再生するとともに、プロジェクタデータに基づいてレンダリング用カメラを設定し、レンダリングを行うことで、３次元プロジェクションマッピング用の映像を作成することができる。この３次元プロジェクションマッピング用の映像も、プロジェクタの座標系での立体物の３次元位置データに基づいて作成されているので、その映像をプロジェクタから投射した場合、その投射映像の範囲は、立体物の投射面に一致する。

さらに、立体的な映像表現を行う３次元プロジェクションマッピングにおいて、照明を設定して光のあたり具合などを再現するために視点位置にレンダリング用カメラを設定する場合には、プロジェクタデータファイルの内容に従ってプロジェクタを設定し、視点位置にレンダリング用カメラを設定してレンダリングを行う。そして、立体物との位置関係に基づいて、プロジェクタ投射映像に変換して投射映像を作成する。この映像をプロジェクタから投射した場合、その投射映像の範囲は、立体物の投射面に一致する。

また、プロジェクタの画角が上下対称、左右対称になるように歪み補正をかけ、その歪み補正に応じた投射方向ベクトル、画角、プロジェクタ位置座標を含むプロジェクタデータファイルを生成することできる。よって、レンダリング用のカメラ、あるいは、プロジェクタの設定として上下対称、左右対称の画角しか設定できない３次元空間のプロジェクションマッピング映像を作成するツールにおいても、立体物の投射面に一致した映像を作成することができる。
さらに、地面に平行な水平面を基準としたワールド座標系のデータは、３次元空間のプロジェクションマッピング映像を作成するツールにおける立体的な映像表現を行う３次元プロジェクションマッピングの映像作成にも、そのまま使用することができる。

以下、３次元プロジェクションマッピング用の映像作成における画角対称化に関する作用効果について具体的に説明する。
はじめに、図２１Ａ〜図２１Ｆを参照して画角対称化に関する問題を説明する。
プロジェクタの投射形態としては、図２１Ａに示すような打ち上げ投射が一般的である。この例では、投射光軸１０９が投射エリア１０３の下辺の中心部を通る。この場合、水平方向の画角おいて、左角θ_Lと右角θ_Rは等しいが、垂直方向の画角において、下角θ_Bは０であり、上角θ_Tとは一致しない。
仮想の３次元空間におけるレンダリング用カメラにおいては、水平方向の画角を上下対称に設定し、垂直方向の画角を左右対称に設定するのが一般的である。このようなレンダリング用カメラを用いる場合、図２１Ｂに示すように、垂直方向の画角が上下対称（θ'_T=θ'_B）となるように画角中心軸１５０を定め、投射光軸１０９が画角中心軸１５０と一致するように設定する必要がある。

図２１Ｃに示すように、立体物の１つの面を示す投射対象面１５３に投射できるように、プロジェクタ２０１の投射方向、画角（ズーム）、位置を決定する。ここでは、投射対象面１５３は、地面に対し垂直である。なお、この位置決め以降、プロジェクタ２０１の位置、画角（ズーム）、方向は変更しない。
３次元データ（投射対象面１５３の３次元データ）と、位置、画角及び投射方向ベクトルからなるプロジェクタデータとを用いて、３次元プロジェクションマッピング用の映像を作成する。ここで、位置は投射中心点１０２の座標であり、画角はθ_Lθ_R(θ_L=θ_R)、θ'_Tθ'_B(θ'_T=θ'_B)であり、投射方向ベクトルは、画角中心軸１５０の方向である。

３次元プロジェクションマッピング用の映像の作成では、まず、プロジェクタデータをレンダリング用カメラ１４８のパラメータとして設定する。この設定により、例えば、図２１Ｄに示すように、レンダリング用カメラ１４８の仮想撮像面１５１は、光学中心軸１５２に対して垂直とされる。
次いで、３次元データに基づき、仮想の３次元空間に再現された仮想投射対象面１５４に投射する映像を割り付ける。そして、図２１Ｅに示すように、仮想投射対象面１５４に割り付けられた映像をレンダリング用カメラ１４８で撮像する。撮像映像は、仮想撮像面１５１内の撮像された仮想投射対象面１５５のようになる。

上記のようにして作成した映像をプロジェクタ２０１から投射する。この場合、例えば、図２１Ｆに示すように、投射対象面１５３に投射された投射映像１５６の中心を通る投射中心軸１１０は、画角中心軸１５０より上に位置する。このため、投射映像１５６は投射対象面１５３に対して上方向にずれる。
また、レンダリング用カメラ１４８の仮想撮像面１５１が光学中心軸１５２に対して垂直であるのに対し、投射エリア１０３の投射面は画角中心軸１５０に対して傾いており、仮想撮像面１５１と投射面が平行でないために、投射映像１５６に歪みが生じる。例えば、図２１Ｅに示すように、レンダリング用カメラ１４８を用いた撮影では、撮像された仮想投射対象面１５５と仮想投射対象面１５４との間で、互いの上辺の間の距離と互いの下辺の間の距離が同じである。これに対して、図２１Ｆに示すように、プロジェクタ２０１の投射では、投射対象面への映像１５７と投射対象面１５３の間で、互いの上辺の間の距離よりも互いの下辺の間の距離が遠いため、投射映像１５６の幅が広がってしまう。このため、投射映像１５６に歪みが生じる。この歪みが生じる現象は、あおり投射や斜め投射を行ったときに歪みが生じる現象と同じである。

本実施形態のプロジェクタによれば、上記の投射映像の投射対象面に対するずれや歪みの発生を抑制することができる。以下、図２１Ｇ〜図２１Ｋを用いてその原理を説明する。
図２１Ｇに示すように、投射中心軸に垂直な投射面に投射される映像がスクウェアになるように歪み補正を行ったときの映像の画角の上下角が等しくなる（θ"_T＝θ"_B）ようにする。具体的には、投射中心点１０２と投射映像の中心とを結ぶ投射中心軸１１０と、投射中心軸１１０に垂直な投射面とを求めて、歪み補正係数を設定する。なお、歪み補正を施した映像は、元の映像よりも小さくなるため、θ"_T及びθ"_Bはそれぞれθ'_T及びθ'_Bより小さく、θ"_L及びθ"_Rはそれぞれθ_L及びθ_Rより小さくなる。このため、歪み補正をしていない場合と比較して、画角は狭くなる。

次に、図２１Ｈに示すように、立体物の１つの面を示す投射対象面１５３に投射できるようにプロジェクタ２０１の投射方向及び位置を決定する。この例では、投射対象面１５３が地面に対し垂直とされている。なお、これ以降、プロジェクタ２０１の位置、方向、画角（ズーム）は変更しない。
３次元データ（投射対象面１５３の３次元データ）と、位置、画角及び投射方向ベクトルからなるプロジェクタデータとを用いて、３次元プロジェクションマッピング用の映像を作成する。ここで、位置は投射中心点１０２の座標であり、画角はθ_Lθ_R(θ_L=θ_R)、θ'_Tθ'_B(θ'_T=θ'_B)であり、投射方向ベクトルは投射中心軸１１０（＝画角中心軸１５０）の方向である。

３次元プロジェクションマッピング用の映像の作成では、まず、プロジェクタデータをレンダリング用カメラ１４８のパラメータとして設定する。この設定により、例えば、図２１Ｉに示すように、レンダリング用カメラ１４８の仮想撮像面１５１は、光学中心軸１５２に対して垂直とされる。
次いで、３次元データに基づき、仮想の３次元空間に再現された仮想投射対象面１５４に投射する映像を割り付ける。そして、図２１Ｊに示すように、仮想投射対象面１５４に割り付けられた映像をレンダリング用カメラ１４８で撮像する。撮像映像は、仮想撮像面１５１内の撮像された仮想投射対象面１５５のようになる。

上記のようにして作成した映像をプロジェクタ２０１から投射する。この場合、例えば、図２１Ｋに示すように、投射対象面１５３に投射された投射映像１５６の中心を通る投射中心軸１１０は、画角中心軸１５０と一致する。また、レンダリング用カメラ１４８の仮想撮像面１５１が光学中心軸１５２に対し垂直であるのに対して、投射エリア１０３の投射面も画角中心軸１５０に対して垂直であるため、投射映像１５５は投射対象面１５３と一致し、歪みも生じない。
なお、上記の説明では、図２１Ａで示した打ち上げ投射の例に作用を説明したが、図５Ｂ〜図５Ｄで示したようなレンズシフトにより投射映像の位置を上下左右にずらす場合にも、投射映像のずれや歪みの問題が生じる。この場合は、垂直方向の歪み補正に加えて、水平方向の歪み補正も行う。すなわち、プロジェクタ２０１の画角が上下対称、左右対称になるように、垂直方向及び水平方向の歪み補正を行い、投射方向ベクトル、画角、プロジェクタ位置座標を含むプロジェクタデータを生成する。

（第２の実施形態）
図２２は、本発明の第２の実施形態であるプロジェクタの構成を示すブロック図である。
図２２に示すプロジェクタは、通信制御部１及び通信入出力部２に代えて、ユーザインタフェース部３４及び外部ストレージデバイス３５を備えており、この点で、第１の実施形態のものと異なる。
ユーザインタフェース部３４は、ユーザによる入力操作を受け付け、通信制御部１と同様の制御を行う操作部であって、例えば、オンスクリーンディスプレイやキー入力部からなる。

外部ストレージデバイス３５は、例えば、ＵＳＢ（Universal Serial Bus）メモリやＳＤカードなどの取り外し可能な記憶装置である。プロジェクタデータファイル３１、２次元データファイル３２及び３次元データファイル３３は、ファイル格納部８から外部ストレージデバイス３５に供給される。外部ストレージデバイス３５を情報処理装置に接続することで、情報処理装置は、外部ストレージデバイス３５からプロジェクタデータファイル３１、２次元データファイル３２及び３次元データファイル３３を読み込むことができる。
本実施形態のプロジェクタによれば、第１の実施形態で説明した作用効果に加えて、情報処理装置との通信ケーブルを介した相互通信が困難な場合や、情報処理装置との無線通信が困難である場合にも、外部ストレージデバイス３５を用いることで、プロジェクタデータファイル３１、２次元データファイル３２及び３次元データファイル３３を情報処理装置に提供することができる効果を奏する。ここで、通信ケーブルは、例えば、プロジェクタデータファイル３１、２次元データファイル３２及び３次元データファイル３３を送るために用いられる。

上述した第１及び第２の実施形態において、プロジェクタの各部（プロジェクタデータ生成部６、マッピング用データ生成部７、画角対称化部１０、歪み補正部１３、歪補正計算部１５など）に対応する処理をコンピュータに実行させるためのプログラムが提供されてもよい。この場合、コンピュータがそのプログラムを実行することで、プロジェクタデータ生成部６、マッピング用データ生成部７、画角対称化部１０、歪み補正部１３、歪補正計算部１５などの各部に対応する機能を実現することができる。ここで、プログラムは、コンピュータ使用可能またはコンピュータ可読媒体で提供されてもよく、また、インターネット等のネットワークを介して提供されてもよい。ここで、コンピュータ使用可能またはコンピュータ可読媒体は、磁気、光、電子、電磁気、赤外線などを用いて情報の記録または読み取りが可能な媒体を含む。そのような媒体として、例えば、半導体メモリ、半導体または固体の記憶装置、磁気テープ、取外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、磁気ディスク、光ディスク、光磁気ディスクなどがある。

（第３の実施形態）
図２３は、本発明の第３の実施形態であるプロジェクタの構成を示すブロック図である。
図２３を参照すると、プロジェクタは、表示素子４００、投射レンズ４０１、受付部４０２及びマッピング用データ生成部４０３を有する。
表示素子４００は、複数の画素からなる画像形成面を備える。投射レンズ４０１は、画像形成面に形成された画像を投射する。この投射レンズ４０１から立体物に向けて画像が投射される。

受付部４０２は、データ作成要求を受け付ける。マッピング用データ生成部４０３は、データ作成要求に応じて、プロジェクションマッピング映像を作成するためのマッピング用データを生成する。マッピング用データ生成部４０３は、３次元センサ部４０４、座標変換部４０６及びデータ生成部４０７を有する。
３次元センサ部４０４は、例えば、画像が投射される方向に向けて配置された３次元センサ４０５を備える。３次元センサ部４０４は、３次元センサ４０５で立体物を３次元計測し、該立体物上の画像が投射される各面の位置および形状を３次元座標で表した３次元位置データを出力する。

座標変換部４０６は、３次元位置データの座標系を、画像形成面の対角に位置する画素からの主光線が交差する点を原点として画像の投射エリアを３次元座標で表したプロジェクタ座標系に変換する。
データ生成部４０７は、座標変換部４０６にて座標変換された３次元位置データに基づいて、立体物の各面（画像が投射される面）それぞれについて、該面の位置と該面の外形を示す稜線とを取得し、該位置および稜線に基づいてマッピング用データ（立体物の２次元データ又は３次元データ）を生成する。

本実施形態のプロジェクタにおいて、投射レンズ４０１を構成する複数のレンズの少なくとも一部のレンズを投射レンズ４０１の光軸方向に移動可能なズーム機構と、光軸方向と直交する方向であるシフト方向に投射レンズ４０１をシフト可能なレンズシフト機構と、光軸方向における上記少なくとも一部のレンズの位置であるズーム位置と、シフト方向における投射レンズ４０１の位置であるレンズシフト位置とに応じた、主光線が交差する位置の変化を示す第１のルックアップテーブルと、をさらに有してもよい。この場合、座標変換部４０６は、第１のルックアップテーブルを参照して、ズーム機構の現在のズーム位置とレンズシフト機構の現在のレンズシフト位置とから上記主光線が交差する位置を決定してもよい。

また、本実施形態のプロジェクタにおいて、座標変換部４０６は、３次元位置データの座標系をプロジェクタ座標系に変換した後、水平面を基準としたワールド座標系に変換してもよい。
さらに、本実施形態のプロジェクタにおいて、ズーム位置とレンズシフト位置とに応じた、画像の投射範囲を角度で表した画角の変化を示す第２のルックアップテーブルと、第２のルックアップテーブルを参照して、ズーム機構の現在のズーム位置とレンズシフト機構の現在のレンズシフト位置とから現在の画角を取得し、該画角に基づいて、投射レンズ４０１からの投射光束の中心光線を表す投射中心軸を設定し、該投射中心軸の方向を示す投射方向ベクトルと現在の画角とを含む画角対称化情報を出力する画角対称化部と、プロジェクタ座標系の原点の座標を示すプロジェクタ位置座標と、画角対称化情報により示される、前記投射方向ベクトルおよび現在の画角と、を含む、プロジェクタデータを生成するプロジェクタデータ生成部と、をさらに有してもよい。この場合、プロジェクタデータ生成部は、投射ベクトルの方向を、水平面を基準としたワールド座標系に変換してもよい。さらに、データ生成部４０７は、プロジェクタデータに基づいて、稜線を投射面に透視投影することで、２次元データを生成してもよい。

また、本実施形態のプロジェクタにおいて、画角対称化部は、投射レンズ４０１の光軸に垂直な面に対する、投射中心軸に垂直な面の傾きを示す投射面傾き情報を出力してもよい。この場合、プロジェクタは、投射面傾き情報に基づいて、投射面に投射される画像の歪みを補正するための歪み補正係数を計算する歪み補正係数計算部と、入力映像信号に対して歪み補正係数に基づく歪み補正を行う歪み補正部と、をさらに有し、歪み補正が行われた映像信号に基づく画像が表示素子４００の画像形成面に形成されてもよい。
さらに、本実施形態のプロジェクタにおいて、データ生成部４０７は、２次元データを所定のフォーマットのファイル形式で生成した２次元データファイルを作成してもよい。この場合、プロジェクタは、２次元データファイルを出力する出力手段を、さらに有してもよい。

さらに、本実施形態のプロジェクタにおいて、データ生成部４０７は、３次元データを所定のフォーマットのファイル形式で生成した３次元データファイルを作成してもよい。さらに、データ生成部４０７は、立体物の各面をポリゴンメッシュ化することで３次元データを生成してもよい。この場合、プロジェクタは、３次元データファイルを出力する出力手段を、さらに有してもよい。
また、本実施形態のプロジェクタにおいて、データ生成部４０３は、３次元データを所定のフォーマットのファイル形式で生成した３次元データファイルを作成し、プロジェクタデータ生成部は、プロジェクタデータを所定のフォーマットのファイル形式で生成したプロジェクタデータファイルを作成し、３次元データファイルおよびプロジェクタデータファイルを出力する出力手段を、さらに有してもよい。
上記の出力手段は、外部情報処理装置との相互通信が可能な通信手段、または、取り外し可能な記憶手段であってもよい。

本実施形態のプロジェクタでは、マッピング用データ作成要求に応じて、マッピング用データを生成するマッピング用データ生成するマッピング用データ作成方法が行われる。このマッピング用データ作成方法は、３次元センサ部４０４が、画像が投射される方向に向けて配置された３次元センサ４０５を用いて立体物を３次元計測し、該立体物上の画像が投射される各面の位置および形状を３次元座標で表した３次元位置データを出力すること、座標変換部４０６が、３次元位置データの座標系を、画像形成面の対角に位置する画素からの主光線が交差する点を原点として画像の投射エリアを３次元座標で表したプロジェクタ座標系に変換すること、データ生成部４０７が、座標変換された３次元位置データに基づいて、立体物の各面それぞれについて、該面の位置と該面の外形を示す稜線とを取得し、該位置および稜線に基づいて、立体物の２次元データ又は３次元データを生成することとを含む。

本実施形態のプロジェクタにおいて、コンピュータに、マッピング用データ作成要求に応じて、マッピング用データを生成するマッピング用データ生成処理を実行させるためのプログラムが用いられてもよい。この場合、マッピング用データ生成処理は、画像が投射される方向に向けて配置された３次元センサ４０５を用いて立体物を３次元計測し、該立体物上の前記画像が投射される各面の位置および形状を３次元座標で表した３次元位置データを出力する処理と、３次元位置データの座標系を、画像形成面の対角に位置する画素からの主光線が交差する点を原点として画像の投射エリアを３次元座標で表したプロジェクタ座標系に変換する処理と、座標変換された３次元位置データに基づいて、立体物の各面それぞれについて、該面の位置と該面の外形を示す稜線とを取得し、該位置および稜線に基づいて、立体物の２次元データ又は３次元データを生成する処理とを含んでもよい。

上記プログラムは、コンピュータ使用可能またはコンピュータ可読媒体で提供されてもよく、また、インターネット等のネットワークを介して提供されてもよい。ここで、コンピュータ使用可能またはコンピュータ可読媒体は、磁気、光、電子、電磁気、赤外線などを用いて情報の記録または読み取りが可能な媒体を含む。そのような媒体として、例えば、半導体メモリ、半導体または固体の記憶装置、磁気テープ、取外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、磁気ディスク、光ディスク、光磁気ディスクなどがある。

４００ 表示素子
４０１ 投射レンズ
４０２ 受付部
４０３ マッピング用データ生成部
４０４ ３次元センサ部
４０６ 座標変換部
４０７ データ生成部

Claims (17)

1. 複数の画素からなる画像形成面を備えた表示素子と、前記画像形成面に形成された画像を投射する投射レンズと、を有し、前記投射レンズから立体物に向けて前記画像が投射されるプロジェクタであって、
   データ作成要求を受け付ける受付部と、
   前記データ作成要求に応じて、プロジェクションマッピング映像を作成するためのマッピング用データを生成するマッピング用データ生成部と、を有し、
   前記マッピング用データ生成部は、
   前記立体物を３次元計測し、該立体物上の前記画像が投射される各面の位置および形状を３次元座標で表した３次元位置データを出力する３次元センサ部と、
   前記３次元位置データの座標系を、前記画像形成面の対角に位置する画素からの主光線が交差する点を原点として前記画像の投射エリアを３次元座標で表したプロジェクタ座標系に変換する座標変換部と、
   前記座標変換部にて座標変換された３次元位置データに基づいて、前記立体物の前記各面それぞれについて、該面の位置と該面の外形を示す稜線とを取得し、該位置および稜線に基づいて前記マッピング用データを生成するデータ生成部と、を有する、プロジェクタ。
2. 請求項１に記載のプロジェクタにおいて、
   前記投射レンズを構成する複数のレンズの少なくとも一部のレンズを前記投射レンズの光軸方向に移動可能なズーム機構と、
   前記光軸方向と直交する方向であるシフト方向に前記投射レンズをシフト可能なレンズシフト機構と、
   前記光軸方向における前記少なくとも一部のレンズの位置であるズーム位置と、前記シフト方向における前記投射レンズの位置であるレンズシフト位置とに応じた、前記主光線が交差する位置の変化を示す第１のルックアップテーブルと、をさらに有し、
   前記座標変換部は、前記第１のルックアップテーブルを参照して、前記ズーム機構の現在のズーム位置と前記レンズシフト機構の現在のレンズシフト位置とから前記主光線が交差する位置を決定する、プロジェクタ。
3. 請求項２に記載のプロジェクタにおいて、
   前記座標変換部は、前記３次元位置データの座標系を前記プロジェクタ座標系に変換した後、水平面を基準としたワールド座標系に変換する、プロジェクタ。
4. 請求項２または３に記載のプロジェクタにおいて、
   前記ズーム位置と前記レンズシフト位置とに応じた、前記画像の投射範囲を角度で表した画角の変化を示す第２のルックアップテーブルと、
   前記第２のルックアップテーブルを参照して、前記ズーム機構の現在のズーム位置と前記レンズシフト機構の現在のレンズシフト位置とから現在の画角を取得し、該画角に基づいて、前記投射レンズからの投射光束の中心光線を表す投射中心軸を設定し、該投射中心軸の方向を示す投射方向ベクトルと前記現在の画角とを含む画角対称化情報を出力する画角対称化部と、
   前記プロジェクタ座標系の原点の座標を示すプロジェクタ位置座標と、前記画角対称化情報により示される、前記投射方向ベクトルおよび現在の画角と、を含む、プロジェクタデータを生成するプロジェクタデータ生成部と、をさらに有する、プロジェクタ。
5. 請求項４に記載のプロジェクタにおいて、
   前記プロジェクタデータ生成部は、前記投射ベクトルの方向を、水平面を基準としたワールド座標系に変換する、プロジェクタ。
6. 請求項４または５に記載のプロジェクタにおいて、
   前記データ生成部は、前記プロジェクタデータに基づいて、前記稜線を投射面に透視投影することで、２次元データを生成する、プロジェクタ。
7. 請求項４から６のいずれか一項に記載のプロジェクタにおいて、
   前記画角対称化部は、前記投射レンズの光軸に垂直な面に対する、前記投射中心軸に垂直な面の傾きを示す投射面傾き情報を出力し、
   前記投射面傾き情報に基づいて、投射面に投射される画像の歪みを補正するための歪み補正係数を計算する歪み補正係数計算部と、
   入力映像信号に対して前記歪み補正係数に基づく歪み補正を行う歪み補正部と、をさらに有し、
   前記歪み補正が行われた映像信号に基づく画像が前記画像形成面に形成される、プロジェクタ。
8. 請求項１から７のいずれか一項に記載のプロジェクタにおいて、
   前記データ生成部は、前記２次元データを所定のフォーマットのファイル形式で生成した２次元データファイルを作成する、プロジェクタ。
9. 請求項８に記載のプロジェクタにおいて、
   前記２次元データファイルを出力する出力手段を、さらに有する、プロジェクタ。
10. 請求項１から７のいずれか一項に記載のプロジェクタにおいて、
    前記データ生成部は、前記立体物の前記各面をポリゴンメッシュ化することで３次元データを生成する、プロジェクタ。
11. 請求項１から７、１０のいずれか一項に記載のプロジェクタにおいて、
    前記データ生成部は、前記３次元データを所定のフォーマットのファイル形式で生成した３次元データファイルを作成する、プロジェクタ。
12. 請求項１１に記載のプロジェクタにおいて、
    前記３次元データファイルを出力する出力手段を、さらに有する、プロジェクタ。
13. 請求項４から７のいずれか一項に記載のプロジェクタにおいて、
    前記データ生成部は、前記３次元データを所定のフォーマットのファイル形式で生成した３次元データファイルを作成し、
    前記プロジェクタデータ生成部は、前記プロジェクタデータを所定のフォーマットのファイル形式で生成したプロジェクタデータファイルを作成し、
    前記３次元データファイルおよびプロジェクタデータファイルを出力する出力手段を、さらに有する、プロジェクタ。
14. 請求項９、１２、１３のいずれか一項に記載のプロジェクタにおいて、
    前記出力手段は、外部情報処理装置との相互通信が可能な通信手段、または、取り外し可能な記憶手段である、プロジェクタ。
15. 複数の画素からなる画像形成面を備えた表示素子と、前記画像形成面に形成された画像を投射する投射レンズと、を有し、前記投射レンズから立体物に向けて前記画像が投射されるプロジェクタにて行われるマッピング用データ作成方法であって、
    データ作成要求に応じて、プロジェクションマッピング映像を作成するためのマッピング用データを生成するマッピング用データ生成ステップを含み、
    前記マッピング用データ生成ステップは、
    前記立体物を３次元計測し、該立体物上の前記画像が投射される各面の位置および形状を３次元座標で表した３次元位置データを取得し、
    前記３次元位置データの座標系を、前記画像形成面の対角に位置する画素からの主光線が交差する点を原点として前記画像の投射エリアを３次元座標で表したプロジェクタ座標系に変換し、
    前記座標変換された３次元位置データに基づいて、前記立体物の前記各面それぞれについて、該面の位置と該面の外形を示す稜線とを取得し、該位置および稜線に基づいて前記マッピング用データを生成すること、を含む、マッピング用データ作成方法。
16. 複数の画素からなる画像形成面を備えた表示素子と、前記画像形成面に形成された画像を投射する投射レンズと、を有し、前記投射レンズから立体物に向けて前記画像が投射されるプロジェクタのコンピュータに、データ作成要求に応じて、プロジェクションマッピング映像を作成するためのマッピング用データを生成するマッピング用データ生成処理を実行させるためのプログラムであって、
    前記マッピング用データ生成処理は、
    前記立体物を３次元計測し、該立体物上の前記画像が投射される各面の位置および形状を３次元座標で表した３次元位置データを取得する処理と、
    前記３次元位置データの座標系を、前記画像形成面の対角に位置する画素からの主光線が交差する点を原点として前記画像の投射エリアを３次元座標で表したプロジェクタ座標系に変換する処理と、
    前記座標変換された３次元位置データに基づいて、前記立体物の前記各面それぞれについて、該面の位置と該面の外形を示す稜線とを取得し、該位置および稜線に基づいて前記マッピング用データを生成する処理と、を含む、プログラム。
17. 請求項１乃至１４のいずれか一項に記載のプロジェクタと、
    前記プロジェクタと相互に通信可能な映像処理装置と、を有し、
    前記映像処理装置は、前記プロジェクタで生成したプロジェクションマッピング映像作成ツール用のデータに基づいてプロジェクションマッピング映像を作成する、プロジェクションマッピングシステム。

Images