JP6556539B2 - スクリーンおよびスクリーンの製造方法 - Google Patents

Description

本実施形態は、スクリーン、位置特定装置、映像処理装置、パターン生成装置、スクリーンの製造方法に関する。

建物や物体、空間などの３次元形状を有するスクリーンに対して映像を映し出す技術がある。この技術は、例えばプロジェクションマッピング等と呼ばれる。スクリーンが固定されている場合には、映像を歪みなく投影するために、既知のスクリーンの形状情報を用いることができる。また、未知の形状のスクリーンに投影する方法として、マーカーやパターン等をスクリーンに投影して、スクリーンの形状を把握する方法もある。

また、建物等の固定物だけでなく、移動する動体に設けられた立体スクリーンに対して映像を投影する映像投影システムが、下記特許文献１に開示されている。特許文献１に記載の技術では、立体スクリーンに投影する被投影体に複数のマーカーを設け、マーカーを含む映像を撮影する。そして、撮影した映像中のマーカーの一座標を用いて立体スクリーンの位置および方向情報を取得する。

特開２０１１−２５４４１１号公報

しかしながら、スクリーンが移動する場合、従来のマーカーや座標系等をスクリーンに投影する方法では、スクリーンへのマーカー等を投影し、投影した映像に基づいてスクリーンの位置や形状を把握し、その後に映像を投影することになる。このため、スクリーンの移動速度が速い場合等には、これらの処理時間が移動の速度より遅くなり、処理が間に合わない可能性があるという問題がある。

また、上記特許文献１に記載の技術は、ある程度の形状が既知である動体を想定して、複数のマーカーを用いて、投影する映像データをスクリーンに整合させている。特許文献１に記載の技術では、ある形状のものがその形状のまま移動することを想定しており、局所的な形状変化には対応できないという問題がある。また、検出できないマーカーが発生した場合等に、各マーカーの位置を求めることができないという問題がある。

本発明は、上記に鑑みてなされたものであって、スクリーンの位置の特定を高速に実施することができるスクリーン、位置特定装置、映像処理装置、パターン生成装置、スクリーンの製造方法を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかるスクリーンは、反射材と、前記反射材を覆い、前記スクリーンに投影される映像に対応付けられたアドレスコードに基づいて生成されるパターンを構成する複数の点にそれぞれ対応する複数の貫通穴が形成された遮光材と、を備え、前記遮光材側から前記スクリーンが撮影された画像に基づいて算出された前記アドレスコードに対応する映像が、前記遮光材側に配置されるプロジェクタから前記スクリーンに投影され、前記アドレスコードは、前記パターンを構成する前記複数の点のそれぞれに対応する複数の点コードで構成される数列であり、前記点コードは、前記パターンを構成する前記複数の点のそれぞれの位置の、あらかじめ位置が定められた複数の点で構成される基準パターンの対応する点の位置に対するずれの方向を数値化した値であり、前記パターンを構成する複数の点の位置は、前記アドレスコードを構成する前記点コードに対応するずれの方向に基づいて決定されることを特徴とする。

本発明によれば、スクリーンの位置の特定を高速に実施することができるという効果を奏する。

図１は、本発明にかかるスクリーンシステムの構成例を示す図である。 図２は、実施の形態のスクリーンシステムの適用例を示す図である。 図３は、映像処理装置として機能する計算機システムの構成例を示す図である。 図４は、映像処理装置の機能構成例を示す図である。 図５は、パターン生成装置の構成例を示す図である。 図６は、基準となる格子パターンの一例を示す図である。 図７は、アドレスコードを与えた格子パターンの一例を示す図である。 図８は、スクリーンの構成例を示す図である。 図９は、スクリーンの製造方法の一例を示す図である。 図１０は、スクリーンごとにスクリーンに追従した映像を投影した例を示す図である。 図１１は、アドレスコード対応データの一例を示す図である。 図１２は、スクリーン１ごとに異なるアドレスコードが埋め込まれた格子パターンが形成された例を示す図である。 図１３は、スクリーンの移動、回転および傾斜を示す図である。 図１４は、スクリーン装置の構成例を示す図である。 図１５は、スクリーン装置における各スクリーンに形成する格子パターンの一例を示す図である。 図１６は、位置特定処理および映像投影処理の一例を示すフローチャートである。

以下に、本発明の実施の形態にかかるスクリーン、位置特定装置、映像処理装置、パターン生成装置、スクリーンの製造方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

図１は、本発明にかかるスクリーンシステムの構成例を示す図である。図１に示すように、本実施の形態のスクリーンシステムは、スクリーン１（部材）、映像処理装置２、投影装置３および撮影装置４を備える。

図２は、本実施の形態のスクリーンシステムの適用例を示す図である。なお図２では、スクリーン１を１つ図示しているが、スクリーン１は複数であってもよい。また、後述するように複数のスクリーン１を有するスクリーン装置を用いてもよい。映像処理装置２は、パーソナルコンピュータ等の計算機システムである。投影装置３は、プロジェクタ等と呼ばれ、映像を拡大して投影する装置である。撮影装置４は、例えばデジタルカメラ等であり、撮影した映像を映像データとして出力可能な装置である。投影装置３、撮影装置４の方式等に制約はなく、どのようなものを用いてもよい。また、撮影装置４と並置して図示しない光源をスクリーン１に向けて別途配置してもよい。

図３は、本実施の形態の映像処理装置２として機能する計算機システムの構成例を示す図である。この計算機システムは、たとえば、制御部１０１と入力部１０２と記憶部１０３と表示部１０４と通信部１０５とを備え、これらはシステムバス１０６を介して接続されている。

制御部１０１は、本発明にかかる位置特定プログラムおよび映像投影プログラムを実行する。入力部１０２は、たとえばキーボードやマウスなどで構成され、計算機システムのユーザが、各種情報の入力を行うために使用する。記憶部１０３は、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの各種メモリおよびハードディスクなどのストレージデバイスを含み、上記制御部１０１が実行すべきプログラム，処理の過程で得られた必要なデータ，などを記憶する。また、記憶部１０３は、プログラムが一時的に利用する一時的な記憶領域としても使用される。表示部１０４は、ＣＲＴ，ＬＣＤ（液晶表示パネル）などで構成され、計算機システムのユーザに対して各種画面を表示する。

ここで、本発明にかかる位置特定プログラムおよび映像投影プログラムが実行可能な状態になるまでの計算機システムの動作例について説明する。上述した構成をとる計算機システムには、たとえば、ＣＤ−ＲＯＭドライブ（図示せず）にセットされたＣＤ−ＲＯＭから、位置特定プログラムおよび映像投影プログラムが記憶部１０３にインストールされる。そして、位置特定プログラムおよび映像投影プログラムの実行時に、記憶部１０３から読み出された位置特定プログラムおよび映像投影プログラムが記憶部１０３の所定の場所に格納される。この状態で、制御部１０１は、記憶部１０３に格納されたプログラムに従って、位置特定処理および映像投影処理を実行する。

なお、ここでは、ＣＤ−ＲＯＭを記録媒体として、上記プログラムを提供しているが、これに限らず、計算機システムの構成、提供するプログラムの容量などに応じて、たとえば、フロッピー（登録商標）ディスクなどの磁気ディスク，光磁気ディスク，磁気テープなどの記録媒体を用いることも可能である。また、電子メール，インターネットなどの伝送媒体により提供されたプログラムを用いることとしてもよい。

図４は、本実施の形態の映像処理装置２の機能構成例を示す図である。映像処理装置２は、座標算出部２１、格子パターン推定部２２、アドレス決定部２３、座標変換行列決定部２４および映像データ変換部２５を備える。座標算出部２１、格子パターン推定部２２、アドレス決定部２３は、位置特定プログラムにより制御部１０１内に生成される処理部である。座標変換行列決定部２４および映像データ変換部２５は、映像投影プログラムにより制御部１０１内に生成される処理部である。また、映像処理装置２は、アドレスコード対応データ２６および映像データ２７を、図３の記憶部１０３内に保持している。

なお、本実施の形態では、映像処理装置２が、位置特定プログラムを実行する位置特定装置としての機能と映像投影プログラムを実行する映像投影プログラム実行装置としての機能とを備えるようにしたが、位置特定プログラムと映像投影プログラムをそれぞれ異なる装置により実行してもよい。位置特定プログラムと映像投影プログラムをそれぞれ異なる装置で実行する場合、位置特定プログラムを実行する位置特定装置は、座標算出部２１、格子パターン推定部２２、アドレス決定部２３を備え、アドレスコード対応データ２６を保持する。映像投影プログラム実行装置は、座標変換行列決定部２４および映像データ変換部２５を備え、映像データ２７を保持する。

図５は、本実施の形態のパターン生成装置６の構成例を示す図である。本実施の形態のパターン生成装置６は、格子パターン生成プログラムを実行する装置であり、スクリーン１に形成される後述の格子パターンのデータを生成する装置である。パターン生成装置６は、本実施の形態のスクリーンシステムとは独立した別の装置であってもよいし、スクリーンシステムの構成要素であってもよい。パターン生成装置６は、映像処理装置２が実装される図３に示した計算機システムと同様の計算機システムに実装される。例えば、１つの計算機システムが映像処理装置２としての機能とパターン生成装置６としての機能を有していてもよい。格子パターン生成プログラムが実行可能な状態になるまでの計算機システムの動作例は、上述の位置特定プログラムと同様である。

本実施の形態のパターン生成装置６は、アドレスコード配置部６１および形成データ生成部６２を備える。アドレスコード配置部６１および形成データ生成部６２は、格子パターン生成プログラムにより制御部１０１内に生成される処理部である。また、パターン生成装置６は、アドレスコード対応データ６３を、記憶部１０３内に保持する。アドレスコード対応データ６３は、アドレスコードと該アドレスコードに対応する情報とで構成される。アドレスコード対応データ６３は、スクリーン１の用途により異なるが、例えば、アドレスコードと該アドレスコードが埋め込まれるスクリーン１に投影する映像データを示す情報との対応を示すデータである。

次に、本実施の形態の動作について説明する。本実施の形態では、スクリーン１に、アドレスコードを埋め込んだ格子パターンが形成される。アドレスコードとは、後述するように格子パターンの基準座標系における位置を示す情報（数列）である。本実施の形態では、１つのスクリーン１につき１つの格子パターンが形成されている。各格子パターンのアドレスコード（数列）により、スクリーン１を識別する。なお、スクリーン１における格子パターンの形成方法は、どのような方法であってもよいが、例えば、格子パターンの点となる物質をスクリーン１にスプレー等で塗布する方法、印刷、格子パターンの点以外をマスクすることにより格子パターンの点を露出させる方法等を用いることができる。スクリーン１における格子パターンの形成方法の詳細については後述する。

まず、パターン生成装置６のアドレスコード配置部６１は、スクリーン１ごとすなわち該スクリーン１に投影する映像データごとに該スクリーン１に形成する格子パターンに埋め込むアドレスコードを決定する。本実施の形態では、１つのスクリーン１に、１つの映像データを対応させる。アドレスコード配置部６１は、映像データを示す情報（ファイル名等）と該映像データに対応するアドレスコードとの対応をアドレスコード対応データ６３として保持する。スクリーン１ごとにアドレスコードを決定することにより、映像データごとにアドレスコードを埋め込んだ格子パターンとは、格子パターンの位置自体にアドレス情報が含まれている格子パターンのことを示す。ここで、本実施の形態のアドレスコードを埋め込んだ格子パターンについて説明する。基準座標系とは、スクリーン１が移動や歪み等のない初期状態に置かれた場合のスクリーン１上の座標系である。

図６は、基準となる格子パターン（基準パターン）の一例を示す図である。ここでは、アドレスコードを埋め込んだ格子パターンとして３×３点の正方格子パターンを用いる例を説明する。図６の３×３の９点について、インデックスｋを図６に示すように設定する（図６の各点の右上方に記載した数字が各点のｋの値）。

各インデックスｋに対応する点の座標を［ｕ（ｋ），ｖ（ｋ）］^Tとする。アドレスコードは、３×３の９点にそれぞれ設定されたコードを示す数列である。各点に対応するコード（点コード）ｐ（ｋ）は、０から３の整数とする。このとき、コードに応じて位置をずらした点の座標［ｕ´（ｋ），ｖ´（ｋ）］^Tを、次の式（１）で与える。

ここで、Ｄは、位置をずらす幅であり定数である。ここでは、Ｄを格子点間隔の１／１０の幅とする。１／１０は一例であり、Ｄは１／１０に限定されず、格子点間隔の半分より小さい数値であればよい。例えば、アドレスコードｐとして［０，１，２，３，０，１，２，３，０］を与えた場合、格子パターンは図７のようになる。図７は、アドレスコードを与えた格子パターンの一例を示す図である。図７の、黒丸は図６で示した基準パターンの各点の座標（［ｕ（ｋ），ｖ（ｋ）］^T）を示し、×は各点をアドレスコードに従って、それぞれ位置をずらした格子点の座標（［ｕ´（ｋ），ｖ´（ｋ）］^T）である。この×がアドレスコードを埋め込んだ格子パターンとなる。

本実施の形態では、アドレスコードをスクリーン１内ごとに生成しておくことで、格子パターンのアドレスコードを解読できれば、当該スクリーン１の位置、すなわち初期状態からの変化を知ることができる。なお、スクリーン１の形状の一例としては、図６、７に形状２００として示したような矩形の形状を用いることができるが、スクリーン１の形状は図６、７の例に限定されず、どのような形状であってもよい。

形成データ生成部６２は、スクリーン１ごとに、アドレスコード配置部６１が決定したアドレスコードに基づいて、上述した式（１）により、格子パターンを生成する。形成データ生成部６２は、生成した格子パターンを形成データとして出力する。形成データの出力形式は、どのような形式でもよく格子パターンのスクリーン１上の配置を示す電子データであってもよいし、格子パターンのスクリーン１上の配置が紙等に印刷されたものであってもよい。なお、形成データ生成部６２が、スクリーン１へ格子パターンを形成する機能を有している場合は、形成データ生成部６２は、形成データを出力するのではなく、形成データをスクリーン１へ形成してもよい。例えば、印刷により格子パターンを形成する場合に、形成データ生成部６２が、印刷機能を有し、スクリーン１へ印刷により格子パターンを形成してもよい。

形成データ生成部６２が、形成データを出力する場合、スクリーン１へ格子パターンを形成する形成装置へ通信路によりまたは媒体等を経由して形成データが入力される。そして、形成装置は、形成データに基づいてスクリーン１へ格子パターンを形成する。なお、形成データ生成部６２から紙により形成データが出力され、この紙に基づいて、手動または自動の機械加工によりスクリーン１へ格子パターンが形成されてもよい。

スクリーン１は、例えば、平板上の基材と、格子パターンが形成されたパターン形成部材である生地とで構成される。基材としては、例えば布や樹脂シート、樹脂板等を用いることができるが、これらに限らずどのようなものを用いてもよい。パターン形成部は、例えば、コーディング等が施された生地であり、この生地に格子パターンを構成する各点が形成される。スクリーン１への格子パターンの形成方法としてはどのような方法を用いてもよいが、例えば、特定の方向の光のみを反射する材質や可視光以外の光（例えば赤外光）を放出または反射する材質等を格子パターンとして生地に印刷する、すなわち生地に格子パターンを塗布する方法が考えられる。例えば、特定の方向の光のみを反射する材質を用いる場合、撮影装置４の視線方向と一致する方向に光を放出する光源を用い、撮影装置４からは格子パターンが撮影できるように配置する。特定の方向の光のみを反射する材質としては、例えば、再帰性反射材を用いることができる。また、可視光以外の光（例えば赤外光）を放出または反射する材質を格子パターンとして用いる場合、どのような材質を用いてもよいが、格子パターンを構成する材質、それ以外の領域（生地に相当する部分）との間で、撮影装置４において十分な感度の差が得られる波長を適用する。

上記のように、格子パターンを塗布する方法として、例えば、次のような方法がある。まず、マスク用のシートを、カッティングプロッタ等により格子パターンの各点すなわちマーカー部分を切り抜きマーカー部分に対応する穴を形成し、穴開きシートを生成する。そして、この穴開きシートをパターン形成部材の上に貼合する。そして、穴開きシートの上からインクを塗布する。これにより、マーカー部分にインクが塗布される。マーカー部分以外のパターン形成部材は、穴開きシートにより覆われているため、インクが塗布されない。インクの塗布後、穴開きシートを剥離する。その後、インクを塗布したパターン形成部材を基材に貼合し、スクリーン１とする。

また、再帰性反射材が全面に形成されたものを生地として、格子パターンを構成する各点すなわちマーカー部分以外の領域を別の印刷塗料で塗布し、マーカー部分以外の再帰性反射材を隠す（例：酸化チタンによる塗料で例えば白色に塗布する等）といった方法も考えられる。このように、マーカー部分以外を隠す場合、具体的には、例えば、次のような方法が考えられる。再帰性反射材が全面に形成された生地に、インクジェットプリンター等によりマーカー部分以外の領域に白色インクを塗布する。すなわち、再帰性反射材が全面に形成された生地に、マーカー部分を塗り残すように、白色インクを印刷する。そして、白色インクが塗布された生地を基材に貼合し、スクリーン１とする。

以上述べたように、スクリーン１の形成方法には、様々な方法が考えられるが、本実施の形態では、格子パターンを構成する点すなわちマーカーとそれ以外の領域との反射による輝度の差を大きくすることが可能な形成方法の一例として以下に示す形成方法を説明する。以下に示す方法では、格子パターンを構成する点とそれ以外の領域とで輝度の差を大きくすることができるため、上述した他の方法と比べ、点のサイズを縮小しても撮影装置４での点の視認性も高めることができる。上述した穴開きシートを用いるインク塗布の方法では、現状では再帰性反射材のインク自体の反射特性が低く、格子パターンを構成する点とそれ以外の領域とで輝度の差を大きくすることが難しい。また、上述した再帰性反射材が全面に形成されたものを生地としてマーカー部分以外の領域を白色塗料等で塗布する方法では、白色塗料等自体も反射するため、使用する再帰反射材の反射特性によっては格子パターンを構成する点とそれ以外の領域とで反射輝度の差を大きくすることが困難となることもある。

図８は、本実施の形態のスクリーン１の構成例を示す図である。図８に示すように、本実施の形態のスクリーン１は、格子パターンを構成するマーカー部分を切り抜いて形成された貫通穴１２すなわち切抜き部を設けた遮光材であるカットシート１１と反射材である再帰性反射シート１３とを貼合したものをパターン形成部材とし、パターン形成部材と基材１４とを貼合している。すなわち、カットシート１１は、再帰性反射シート１３を覆い、格子パターンの形成される位置を示すアドレスコードに基づいて生成され格子パターンを構成する複数の点にそれぞれ対応する複数の貫通穴が形成されている。本実施の形態では、１つのスクリーン１に１つの格子パターンが形成されることから、アドレスコードはスクリーン１の位置を示している。再帰性反射シート１３は、再帰反射材が表面に形成されたシートである。カットシート１１は、カッティングプロッタで加工可能であればどのような材質を用いてもよく、カットシート１１の表面を例えばマット調とすることでカットシート１１の表面における反射が拡散反射となり、結果として撮影装置４側への反射成分は少なくなることが想定される。したがって、撮影装置４から、撮影する際の、再帰性反射シート１３からの反射による輝度とカットシート１１からの反射輝度との差は、マーカー部分以外の領域を白色塗料等で塗布する方法に比べて大きくすることができ撮影装置4でのパターン認識の容易性が増すことが考えられる。なお、基材１４はスクリーン１表面の平面性を維持するために用いるものであるが、必須ではなく、格子パターンを構成するマーカー部分を切り抜いて形成された貫通穴１２を設けた遮光材であるカットシート１１と再帰性反射シート１３とでスクリーン１を構成してもよい。この方法によれば、反射材として用いる再帰反射シートはインクジェットプリンター対応のものにとらわれないため、シート選択の自由度がひろがるという利点もある。また、遮光材であるカットシート表面との反射輝度差がとれるのであれば、反射材として再帰反射シートの代わりに拡散シート（拡散反射材が表面に形成されたシート）の使用も可能である。

図９は、本実施の形態のスクリーン１の製造方法の一例を示す図である。図９では、各部材の断面を示している。図９（ａ）に示すように、カッティングプロッタにより貫通穴１２が形成される前のカットシート１１を用意する。次に、図９（ｂ）に示すように、上述した形成データに基づくマーカーの位置にカッティングプロッタにより貫通穴１２を形成し、貫通穴１２が形成されたカットシート１１を基材１４のサイズに合わせてカットする。次に、図９（ｃ）に示すように、基材１４のサイズに合わせてカットされた再帰性反射シート１３と貫通穴１２が形成されたカットシート１１とを貼合する。次に、図９（ｄ）に示すように、再帰性反射シート１３のカットシート１１の貼合されていない側の面に基材１４を貼合する。

なお、図９の手順は、一例であり、図９（ｃ）、図９（ｄ）の貼合は、再帰性反射シート１３と基材１４とを貼合した後に、再帰性反射シート１３と貫通穴１２が形成されたカットシート１１とを貼合してもよい。また、貫通穴１２が形成される前のカットシート１１および再帰性反射シート１３を基材１４のサイズに合わせてカットする工程は、どの段階で行われてもよい。例えば、再帰性反射シート１３を基材１４のサイズに合わせてカットした後に、図９（ａ）を行ってもよいし、図９（ａ）を行った後に、再帰性反射シート１３を基材１４のサイズに合わせてカットしてもよいし、図９（ａ）と再帰性反射シート１３を基材１４のサイズに合わせてカットすることとを同時に行ってもよい。また、図９（ｄ）の貼合の後に、再帰性反射シート１３およびカットシート１１を基材１４のサイズに合わせてカットしてもよい。

なお、上記の例では、１つのスクリーン１に１つの格子パターンが形成される例を説明したが、１つのスクリーン１に複数の格子パターンが形成されてもよい。この場合にも、図８、図９を用いて説明したように、基材１４と再帰性反射シート１３と貫通穴１２が形成されたカットシート１１とでスクリーン１を構成することができる。

以上述べた手順で、アドレスコードが埋め込まれた格子パターンが形成されたスクリーン１が生成される。このスクリーン１を、撮影装置４により撮影して画像を取得し、取得した画像を解析することで、スクリーン１に対応するアドレスコードを求めることができる。このようにして得られるスクリーン１とアドレスコードとの対応を用いて、スクリーン１の位置および回転角度等の情報を得ることができる。これらの情報は、様々な用途に用いることができる。例えば、第１の用途として、スクリーン１ごとにスクリーン１に追従した映像を投影する用途である。スクリーン１ごとに、該スクリーン１に投影する映像を定めておき、該スクリーン１のアドレスコードを用いて算出される上記の位置および回転角度を用いて映像を該スクリーン１に投影すれば、スクリーン１の位置および回転角度に追従した映像が投影されることになる。

図１０は、スクリーンごとにスクリーンに追従した映像を投影した例を示す図である。図１０では、第１の用途の一例として、例えば、トランプの映像を投影する例を示している。トランプの映像を投影する場合、トランプのカードの表面の映像データとしてジョーカー２種類を含む５４種類の映像データを生成しておき、トランプのカードの裏面の１種類の映像データを生成しておく。これらの映像データは、映像処理装置２の記憶部（例えば、図３の構成例の記憶部１０３）に予め格納される。第１の用途の場合、図４に示した映像処理装置２の映像データ２７は、これらのカードごとの映像データの集合である。また、スクリーン１を５４個生成しておく。５４個のスクリーン１には、スクリーン１ごとに異なるアドレスコードが埋め込んだ格子パターンを形成する。そして、アドレスコードと映像データとの対応をアドレスコード対応データ６３として保持しておく。図１１は、アドレスコード対応データ６３の一例を示す図である。図１１に示すように、アドレスコード対応データ６３は、アドレスコードと映像データを示す情報とで構成される。第１の用途では、図１１のＡ，Ｂ，Ｃは、例えば映像データのファイル名（データ名）を示し、トランプの例では、Ａは、スペードのエースのカードの映像データであり、Ｂは、スペードの２のカードの映像データであり、というように、トランプのカードの５４種類のいずれかの映像データを示す。図１２は、スクリーン１ごとに異なるアドレスコードが埋め込まれた格子パターンが形成された例を示す図である。図１２では、図１０に示したトランプのカードの映像をそれぞれ投影するために、スクリーン３０１〜３０８に埋め込まれた格子パターンの一例を示している。図１２は、スクリーン３０１〜３０８の図１０の状態に対応しており、スクリーン３０１，３０３，３０４は、裏面が撮影装置４側を向いており、スクリーン３０２，３０５〜３０８は、表面が撮影装置４側を向いている。表面には、各スクリーンに異なるアドレスコードが埋め込まれた格子パターンが形成され、裏面には同じアドレスコードが埋め込まれた格子パターンが形成されている。

例えば、図８に示したスクリーン１の基材１４の裏面、すなわち再帰性反射シート１３と貼合されない面にも、再帰性反射シート１３および貫通穴１２の形成されたカットシート１１を貼合することにより裏面にも格子パターンを形成しておいてもよい。そして、アドレスコード対応データ６３において、この格子パターンに埋め込むアドレスコードには、トランプのカードの裏面の映像データを対応させておく。このように、裏面にも格子パターンが形成されたスクリーンを両面形成スクリーンと呼ぶ。または、両面形成スクリーンの替わりに、２つのスクリーン１を格子パターンが外側を向くように貼合させて両面形成スクリーンとしてもよい。

その後、５４個のスクリーン１のうち１つ以上を図２に示したように、投影装置３と視野方向が略同一となる撮影装置４により撮影し、画像を取得する。映像処理装置２は、投影装置３により取得された画像を解析することにより、後述するように、スクリーン１ごとに、該スクリーン１に対応するアドレスコードと射影変換行列とを算出する。映像処理装置２は、スクリーン１ごとに、すなわち算出されたアドレスコードごとに、アドレスコード対応データ６３を参照して、該アドレスコードに対応する映像データを示す情報（ファイル名等）を読み出す。また、映像処理装置２は、算出されたアドレスコードに対応するスクリーン１の位置を算出する。スクリーン１の位置は、例えば、あらかじめ定めた点を原点とした３次元座標系における座標値として算出される。この座標値は、各スクリーン１に固定された座標系において定められた基準点の座標値である。基準点は、例えば、幾何中心の座標値であってもよいし、４隅のうちのあらかじめ定めた１点の座標値でもよく、基準点の位置に制約はない。次に、映像処理装置２は、該情報に対応する映像データを読み出し、読み出した映像データに対して射影変換行列を用いた変換を行い、変換した映像データを上記の算出した位置に投影する。

例えば、図１０の例では、スクリーン３０１〜３０８の８つのスクリーンを撮影装置４により撮影する。スクリーン３０１〜３０８は、上述の本実施の形態の両面形成スクリーンである。スクリーン３０１〜３０８のうち、スクリーン３０１，３０３，３０４は、撮影装置４により裏面が撮影され、３０２，３０５〜３０８は、撮影装置４により表面が撮影されたとする。図１３は、スクリーン３０１の移動、回転および傾斜を示す図である。図１３では、スクリーン３０１の断面を示している。スクリーン３０２〜３０８も、スクリーン３０１と同様に、それぞれが個別に移動、回転および傾斜可能である。

撮影装置４により撮影された画像に基づいて、映像処理装置２は、スクリーン３０１〜３０８に対応するアドレスコードをそれぞれ算出し、また、スクリーン３０１〜３０８の位置をそれぞれ算出する。スクリーン３０２，３０５〜３０８については、スクリーン３０２，３０５〜３０８に対応するアドレスコードはトランプのカードの表面の映像データに対応するものであるから、映像処理装置２は、スクリーン３０２，３０５〜３０８ごとに、トランプのカードの表面のそれぞれのアドレスコードに対応する映像データに対して射影変換行列を用いた変換を行い、変換した映像データを投影装置３によりスクリーン３０２，３０５〜３０８のそれぞれ算出した位置に投影する。これにより、図１０に示すように、スクリーン３０２，３０５〜３０８には、トランプのカードの表面の映像データが投影される。また、スクリーン３０２，３０５〜３０８に対応する映像データに対してスクリーン３０２，３０５〜３０８にそれぞれ対応する射影変換行列を用いた変換が実施されることにより、スクリーン３０２，３０５〜３０８の回転および傾斜に応じた映像データが投影される。

スクリーン３０１，３０３，３０４については、スクリーン３０１，３０３，３０４に対応するアドレスコードはトランプのカードの裏面の映像データに対応するものであるから、映像処理装置２は、トランプのカードの裏面の映像データに対して射影変換行列を用いた変換を行い、変換した映像データを投影装置３によりスクリーン３０１，３０３，３０４のそれぞれ算出した位置に投影する。これにより、図１０に示すように、スクリーン３０１，３０３，３０４には、トランプのカードの裏面の映像データが投影される。また、スクリーン３０１，３０３，３０４に対応する映像データに対してスクリーン３０１，３０３，３０４にそれぞれ対応する射影変換行列を用いた変換が実施されることにより、スクリーン３０１，３０３，３０４の回転および傾斜に応じた映像データが投影される。なお、この例では、両面形成スクリーンを例に説明したが、図８に示した片面に格子パターンが形成された場合も、同様にスクリーンの回転および傾斜に応じた映像データを投影することができる。この場合、図１０に示した例において、トランプのカードの表面の映像データの投影を行い、トランプのカードの裏面の映像データを行わない場合と同様となる。

次に、本実施の形態のスクリーン１の第２の用途を説明する。第２の用途では、例えば、本実施の形態のスクリーン１を複数備えるスクリーン装置を用いる。図１４は、スクリーン装置の構成例を示す図である。図１４の右図と左図は、同一のスクリーン装置の異なる状態をそれぞれ示している。図１４に示すように、スクリーン装置は、本実施の形態のスクリーン１であるスクリーン４０２を複数備え、複数のスクリーン４０２の外側に、枠４０１が形成されている。また、複数のスクリーン４０２は、接続部材４０３で接続されている。接続部材４０３は、スクリーン４０２が３次元すなわちＸ，Ｙ，Ｚのそれぞれの方向に回転可能なようにスクリーン４０２を枠に接続する。接続部材４０３は、例えば、弾性体である。このようなスクリーン装置を、例えば、立体に沿って配置すると、立体の表面にそって、スクリーン４０２がそれぞれ回転する。各スクリーン４０２には、それぞれ異なるアドレスコードが埋め込まれた格子パターンが形成されているとする。撮影装置４が、スクリーン装置を撮影して画像を取得し、映像処理装置２が、この画像を用いて、第１の用途と同様にアドレスコードを算出して、各スクリーン４０２の位置と射影変換行列を算出し、算出した位置と射影変換行列を用いて映像データを各スクリーン４０２に投影することにより、立体の移動および変形に応じた映像データを投影することができる。

なお、第２の用途においても、第１の用途と同様に、アドレスコードごとに投影する映像データを生成して、映像処理装置２が保持しておく。この映像データを、スクリーン装置を構成する複数のスクリーン４０２全体に投影する全体の映像データをスクリーン４０２ごとに分割したものとしておけば、各スクリーン４０２に対応する映像データを投影することで、スクリーン装置に、全体の映像データを投影することができる。

図１５は、スクリーン装置における各スクリーンに形成する格子パターンの一例を示す図である。図１５では、図１４に示したスクリーン装置が４８個のスクリーン４０２で構成される例を示している。図１５は、４８個のスクリーンに１から４８までの４８種類のアドレスコードをそれぞれ割当てて、各アドレスコードに対応する格子パターンを形成した例を示している。

また、立体の移動および変形に応じた映像データを投影する別の例として、立体の複数個所に本実施の形態のスクリーン１をそれぞれ貼り付ける例も考えられる。この例では、スクリーン１ごとに異なるアドレスコードが埋め込まれた格子パターンを形成しておき、上記のスクリーン装置を用いる例と同様に、撮影装置４が、複数のスクリーン１を含む画像を取得し、映像処理装置２が、この画像を用いて、第１の用途と同様にアドレスコードを算出して、各スクリーン１の位置と射影変換行列を算出し、算出した位置と射影変換行列を用いて映像データを各スクリーン１に投影することにより、立体の移動および変形に応じた映像データを投影することができる。

次に、本実施の形態のスクリーン１を用いた位置特定処理および映像投影処理について説明する。図１６は、本実施の形態の位置特定処理および映像投影処理の一例を示すフローチャートである。位置特定処理は、位置特定プログラムにより実現される処理であり、映像投影処理は、映像投影プログラムにより実現される処理であり、上述の第１の用途、第２の用途に共通の処理である。映像処理装置２は、スクリーンごと、すなわちアドレスコードごとに以下に示す処理を実施する。

図１６に示すように、まず、座標算出部２１が撮影装置４からスクリーン１（アドレスコードを埋め込んだ格子パターンが形成されたスクリーン１）を撮影した画像データを取得する（ステップＳ１）。本実施の形態では、上述したようにスクリーン１ごとに異なるアドレスコードを埋め込んだ格子パターンを各スクリーン１に形成しておく。そして、撮影装置４は、１つ以上のスクリーン１を含む領域を撮影することにより、これらの格子パターンを含む画像データを取得する。上記のステップＳ１では、座標算出部２１は、この画像データを撮影装置４から取得する。

次に、格子パターン推定部２２が、画像データを用いて格子点の画像データ中の座標を算出する（ステップＳ２）。具体的には、画像データ中の形成されている３×３の９点の格子点の座標を求める。

次に、格子パターン推定部２２が、画像データ中の複数の（ここでは９点の）格子点の座標に基づいて、この９点の格子パターンのアドレスコードを推定する（ステップＳ３）。具体的には、次のようにアドレスコードを推定する。

画像データ中の格子点の座標を［ｕ_cam（ｋ），ｖ_cam（ｋ）］^Tとすると、［ｕ_cam（ｋ），ｖ_cam（ｋ）］^Tは、以下の式（２）に示すように、［ｕ´（ｋ），ｖ´（ｋ）］^Tに射影変換行列Ｈ（太字）を適用したものとして観測される。なお、ｓは、スケールを決定するための変数である。

このとき、［ｕ_cam（ｋ），ｖ_cam（ｋ）］^Tと［ｕ´（ｋ），ｖ´（ｋ）］^Tの組が４組以上あれば、射影変換行列Ｈ（太字）を推定することができる。しかしながら、［ｕ´（ｋ），ｖ´（ｋ）］^Tは、アドレスコードが既知の場合にしか計算することができない。そこで、［ｕ´（ｋ），ｖ´（ｋ）］^Tの代わりに［ｕ（ｋ），ｖ（ｋ）］^Tを用いても大きな誤差が生じないと仮定し、［ｕ_cam（ｋ），ｖ_cam（ｋ）］^Tと［ｕ（ｋ），ｖ（ｋ）］^Tの組を用いて最小二乗法により射影変換行列Ｈ（太字）´を推定する。

具体的には、例えば、次のようにして射影変換行列Ｈ（太字）´を推定する。まず、Ｈ（太字）´を以下の式（３）で表すとする。Ｈ（太字）´の９番目の要素が１であるのは、スケールが任意のためである。式（３）に示すように、射影変換行列Ｈ（太字）´は８パラメータで表すことができる。

Ｎ（Ｎ≧４）組の［ｕ_cam（ｋ），ｖ_cam（ｋ）］^Tと［ｕ´（ｋ），ｖ´（ｋ）］^Tとの組み合わせ（ｋ＝１，２，…，Ｎ、かつＮ≧４）を用いるとすると、ｋ＝１，２，…，Ｎ（Ｎ≧４）について、上記式(２)、（３）から２Ｎ個の方程式が得られる。これらの方程式を行列の掛け算で表現すると以下の式（４）のようになる。

このとき、射影変換行列Ｈ（太字）´の８パラメータ（８個の要素）を要素とするｈ（太字）は以下の式（５）で最小二乗法により求めることができる。なお、Ｂ（太字）⁺は、Ｂ（太字）の擬似逆行列を示す。

上記の式（５）により求めたｈ（太字）の要素を上記の式（３）のように成形することで射影変換行列Ｈ（太字）´を推定することができる。なお、以上述べた射影変換行列Ｈ（太字）´の推定方法は一例であり、具体的な処理手順は上記の例に限定されない。

この推定された射影変換行列Ｈ（太字）´を用いて以下の式（６）に示すように、［ｕ（ｋ），ｖ（ｋ）］^Tからもとの格子パターンの座標［ｕ´´（ｋ），ｖ´´（ｋ）］^Tを推定する。

最後に、［ｕ´´（ｋ），ｖ´´（ｋ）］^Tが［ｕ（ｋ），ｖ（ｋ）］^Tからどの方向にずれているかを格子点ごとに求めることによりアドレスコードを推定する。すなわち、推定されるアドレスコードｐ_est（ｋ）は、次の式（７）で与えられる。

ただし、θ＝tan^-1（（ｖ´´（ｋ）−ｖ（ｋ））／（ｕ´´（ｋ）−ｕ（ｋ）））は、［ｕ（ｋ），ｖ（ｋ）］^Tからみた［ｕ´´（ｋ），ｖ´´（ｋ）］^Tの角度を表す。

以上に述べたアドレスコードの推定方法では、アドレスコードによって射影変換の推定誤差の傾向が異なるため、推定されるアドレスコードｐ_est（ｋ）の推定において、誤りが生じやすいコード列と誤りにくいコード列が存在する。また、射影変換行列Ｈ（太字）´の推定には、図６の基準パターンを用いる場合、格子パターンを構成する９点の全てを使用する場合に比べ、インデックスｋが５となる格子点（図６の中央の点）を除いた点を用いた方がアドレスコードの推定精度が高くなることをシミュレーションにより確認している。このように、格子パターンにより、推定時に用いる格子点の点数を適切に選択することにより、アドレスコードの推定精度を向上させることができる。

図１６の説明に戻り、ステップＳ３の処理の後、アドレス決定部２３は、推定したアドレスコードと保持しているアドレスコード対応データ２６とに基づいて投影する映像データを選択する（ステップＳ４）。アドレスコード対応データ２６は、アドレスコード対応データ６３と同様のデータであり、映像処理装置２に予め記憶されているとする。

そして、座標変換行列決定部２４は、選択した映像データを、上記のアドレスコードの推定の際に推定された座標変換行列を用いて変換して、変換後の映像データを投影データとして生成して投影装置３へ出力する（ステップＳ５）。その後、投影装置３は、投影データをスクリーン１に投影する。

また、図１５に示した格子パターンの番号は、アドレスコードの推定精度を示すスコアに応じて定めている。上述したように、アドレスコードの推定精度は、アドレスコードを設定した際のアドレスコードの値（基準パターンからのずらし方）に依存する。

以下では、アドレスコードの推定精度が高い、すなわち射影変換にロバストなアドレスコードの選択方法について説明する。射影変換にロバストなアドレスコードは、全てのアドレスコード（４⁹通り）について、それぞれ射影変換に対するロバスト性の指標となるスコアを求める。ここでは、シミュレーションにより、正対する平面を±８０の範囲で５°ずつＸ軸およびＹ軸回りに（ロールおよびピッチ）回転させた平面に変化するための射影変換を与え、上述した方法によりアドレスコードを推定する。そして、９点のアドレスコードの全てが正解した場合にスコアを１加算する。したがって、スコアの上限は、Ｘ軸およびＹ軸回りの全ての角度で、アドレスコードが全て正解した場合に対応する、３３×３３＝１０８９である。

このようにしてアドレスコードごとにスコアを求め、スコアの高い順に３×３の格子パターンを走査線上に並べて格子パターンを生成する。図１５では、格子パターンの番号が、当該格子パターンに対応するスコアを示している。このように、図１５では、スコアの高い順に格子パターンを並べている。図９では、スコアの高い順に格子パターンを並べる例を示したが、スクリーン１上の配置はこれに限定されない。ただし、スクリーン１の端等の歪みが大きくなることが予想される場所には、スコアの高い格子パターンを配置すること望ましい。

以上の処理により、高速にスクリーン１の位置および回転状態（スクリーン上の基準座標系に対する射影変換）を推定することができる。

なお、ここでは、アドレスコードを埋め込むパターンの一例として３×３の正方格子パターンを用いる例を説明したが、ｎ×ｍ（ｎ≠ｍ）の点の長方形のパターンであってもよい。また、ここでは、基準パターンとして、縦方向、および横方向の各点の間隔が等間隔となる例を説明したが、縦方向、横方向の一方または両方が等間隔でなくてもよい。さらに、基準パターンが正方形や長方形の矩形ではなく、円であったり、多角形であったりしてもよく、５点以上で構成されるパターンであれば形状に制約はない。ただし、位置算出時の誤差を低減するには、基準パターン内の各点は基準パターン内でなるべく偏らないよう配置されることが望ましい。また、格子パターン同士が重なるようにしても、本実施の形態の位置特定方法により位置の特定を実施することができる。

上述したアドレスコードを埋め込んだ格子パターンを用いることで、撮影されたカメラ画像上の位置・２次元座標の回転角度・３次元平面の位置・３次元平面の傾きを推定することができる。これらの情報は、プロジェクタ・カメラシステムにおいて、投影画像の幾何補正のために利用される情報である。一方で、これらの情報を用いることで、アドレスコードを埋め込んだ格子パターンをＡＲ（Augmented Reality，拡張現実）マーカーとして利用することも可能である。ＡＲは、カメラで撮影した画像をディスプレイに表示する際に、カメラ画像に情報を付加して表示する技術である。例えば、画像上に文字情報を付加したり、現実には存在しない物体をＣＧ（Computer Graphics）モデルで付加したりする。このＡＲでは、しばしば、ＡＲマーカーを補助的に使用する。例えば、Hiroマーカーが有名である。ＡＲマーカーを、紙や布，平板などに印刷しておき、それをカメラで撮影し、ＡＲマーカーの位置や傾きに合わせてＣＧモデルの位置や傾きを決定することで、現実には存在しない仮想情報（ＣＧモデルなど）を違和感なくカメラ画像に合成することができる。

アドレスコードを埋め込んだ格子パターンは、カメラ画像から、カメラ画像上の位置・２次元座標の回転角度・３次元平面の位置・３次元平面の傾きを推定することができるため、ＣＧモデルなどの付加情報を合成する位置・姿勢の決定に利用できる。また、格子パターンが形成された面（平面やゆるやかな曲面）の形状をカメラから推定することができるため、現実には形成されていない仮想情報（画像や模様，文字など）があたかもその平面に形成されているかのように画像に合成するための情報を付加することも可能である。すなわち、仮想情報（ＣＧモデルや平面の画像や模様，文字など）をカメラ画像に合成するための情報に基づいてアドレスコードを生成することにより、格子パターンをＡＲマーカーとして用いることができる。格子パターンを実装する方法としては形成に限定されず、例えば、格子パターンの点となる物質をスクリーン１にスプレー等で塗布する方法であってもよく、どのような方法であってもよい。

アドレスコードを埋め込んだ格子パターンでは、アドレスコードによって形成面上の絶対座標を定義することができるため、アドレスコードごとに異なる情報を付加することが可能である。このとき、カメラの移動に伴い、あるアドレスコードが一時的に見えなくなったことで、そのアドレスコードに対応する情報が画像上に付加できなくなったとしても、再度そのアドレスコードがカメラから見えた際には、そのアドレスコードに対応する情報を再び表示することができる。

一般に、これまでに使用されているＡＲマーカーを用いてマーカーごとに異なる情報を付加したい場合、多くの種類のＡＲマーカーが必要になる。これに対し、アドレスコードを埋め込んだ格子パターンをＡＲマーカーとして用いると、アドレスコードを変えることで、容易に多様な情報を付加することが可能である。

これまでに使用されているＡＲマーカーは、ロバストに位置・姿勢を求めるために、Hiroマーカーのように、四角形の枠内に固有のコードや模様をもつものが使用されていた。これに対して、アドレスコードを埋め込んだ格子パターンは、点の座標で情報を表現できるため、形成されるＡＲマーカーを目立たなくすることができる。また、形成の際に、特定の方向の光のみを反射する材質や可視光以外の光（例えば赤外光）を放出または反射する材質等を格子パターンとしてスクリーンに形成することが考えられる。このような材質を用いることにより、観測者からは格子パターンは見えないＡＲマーカーを実現することができる。

以上のように、本発明にかかるスクリーン、位置特定装置、映像処理装置、パターン生成装置、スクリーンの製造方法は、映像を投影するスクリーンシステムに有用であり、特に、スクリーンが移動するシステムに適している。

１，３０１〜３０８，４０２ スクリーン、２ 映像処理装置、３ 投影装置、４ 撮影装置、６ パターン生成装置、１１ カットシート、１２ 貫通穴、１３ 再帰性反射シート、１４ 基材、２１ 座標算出部、２２ 格子パターン推定部、２３ アドレス決定部、２４ 座標変換行列決定部、２５ 映像データ変換部、２６ アドレスコード対応データ、２７ 映像データ、６１ アドレスコード配置部、６２ 形成データ生成部６２ アドレスコード対応データ、１０１ 制御部、１０２ 入力部、１０３ 記憶部、１０４ 表示部、１０５ 通信部、１０６ システムバス、４０１ 枠，４０３ 接続部材。

Claims (8)

1. スクリーンであって、
   反射材と、
   前記反射材を覆い、前記スクリーンに投影される映像に対応付けられたアドレスコードに基づいて生成されるパターンを構成する複数の点にそれぞれ対応する複数の貫通穴が形成された遮光材と、
   を備え、
   前記遮光材側から前記スクリーンが撮影された画像に基づいて算出された前記アドレスコードに対応する映像が、前記遮光材側に配置されるプロジェクタから前記スクリーンに投影され、
   前記アドレスコードは、前記パターンを構成する前記複数の点のそれぞれに対応する複数の点コードで構成される数列であり、
   前記点コードは、前記パターンを構成する前記複数の点のそれぞれの位置の、あらかじめ位置が定められた複数の点で構成される基準パターンの対応する点の位置に対するずれの方向を数値化した値であり、
   前記パターンを構成する複数の点の位置は、前記アドレスコードを構成する前記点コードに対応するずれの方向に基づいて決定されること特徴とするスクリーン。
2. 前記反射材は、再帰性反射材または拡散反射材であることを特徴とする請求項１に記載のスクリーン。
3. 前記反射材の前記遮光材が配置されている面の裏面に配置された基材と、
   を備えることを特徴とする請求項１または２に記載のスクリーン。
4. 前記基準パターンは、正方格子であることを特徴とする請求項１、２または３に記載のスクリーン。
5. 前記基準パターンは、３×３の正方格子であることを特徴とする請求項４に記載のスクリーン。
6. ｎを整数とし、ｍをｎとは異なる整数とするとき、前記基準パターンは、ｎ×ｍの点の長方形であることを特徴とする請求項１、２または３に記載のスクリーン。
7. スクリーンの製造方法であって、
   遮光材に前記スクリーンに投影される映像に対応付けられたアドレスコードに基づいて生成されるパターンを構成する複数の点にそれぞれ対応する複数の貫通穴が形成するパターン形成ステップと、
   前記遮光材と反射材とを貼合することにより前記スクリーンを生成する貼合ステップと、
   を備え、
   前記遮光材側から前記スクリーンが撮影された画像に基づいて算出された前記アドレスコードに対応する映像が、前記遮光材側に配置されるプロジェクタから前記スクリーンに投影され、
   前記アドレスコードは、前記パターンを構成する前記複数の点のそれぞれに対応する複数の点コードで構成される数列であり、
   前記点コードは、前記パターンを構成する前記複数の点のそれぞれの位置の、あらかじめ位置が定められた複数の点で構成される基準パターンの対応する点の位置に対するずれの方向を数値化した値であり、
   前記パターンを構成する複数の点の位置は、前記アドレスコードを構成する前記点コードに対応するずれの方向に基づいて決定されることを特徴とするスクリーンの製造方法。
8. スクリーンであって、
   反射材と、
   前記反射材を覆い、前記スクリーンに固有のアドレスコードに基づいて生成されるパターンを構成する複数の点にそれぞれ対応する複数の貫通穴が形成された遮光材と、
   を備え、
   前記遮光材側から前記スクリーンが撮影された画像に基づいて算出された前記アドレスコードを用いて幾何補正された映像が、前記遮光材側に配置されるプロジェクタから前記スクリーンに投影され、
   前記アドレスコードは、前記パターンを構成する前記複数の点のそれぞれに対応する複数の点コードで構成される数列であり、
   前記点コードは、前記パターンを構成する前記複数の点のそれぞれの位置の、あらかじめ位置が定められた複数の点で構成される基準パターンの対応する点の位置に対するずれの方向を数値化した値であり、
   前記パターンを構成する複数の点の位置は、前記アドレスコードを構成する前記点コードに対応するずれの方向に基づいて決定されること特徴とするスクリーン。