JP7285470B2 - 投影システム、投影装置及び投影方法 - Google Patents

Description

本開示は、映像を対象物に投影する投影システム、投影装置及び投影方法に関する。

スクリーン又は構造物などの対象物に映像を投影する技術、いわゆるプロジェクションマッピングと呼ばれる技術が知られている。プロジェクションマッピングのシステムの中には、撮像機能を備えているシステムがある。例えば、特許文献１には、被写体の３Ｄ形状を取得すること、及び被写体を可視光で撮像することを同時に行うことができるシステムが開示されている。

また、大画面表示などの用途のために、複数の投影装置を用いた投影システムが種々提案されている。この種の投影システムとしては、投影装置を水平及び垂直方向に複数配置し、各投影装置の投射画面を並べて表示することにより大画面表示を行うマルチプロジェクションシステム、或いは、各投影装置の投射画面を重ねて表示することにより投射画面の明るさの向上を行うスタックプロジェクションシステムがある。例えば、特許文献２には、複数のプロジェクタ装置間で赤外線通信を行うことにより、個々のプロジェクタ装置の操作、或いは全てのプロジェクタ装置の一括操作を簡易に行うことができるシステムが開示されている。

特開２００５－２５８６２２号公報 国際公開第２０１１／００１５０７号

本開示は、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる投影システム、投影装置及び投影方法を提供することを目的とする。

本開示は、対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムであって、前記投影装置は、前記対象物に非可視光の計測光を投影する非可視光投影部と、前記対象物から反射した計測光の反射光を受光する受光部と、前記計測光の反射光に基づいて前記対象物の位置情報を算出する演算部と、前記対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影部と、を有し、複数の前記投影装置において、第１の投影装置と、第２の投影装置とは、異なる投影タイミングで前記計測光を投影し、前記第２の投影装置は、前記第１の投影装置からタイミング信号を受信し、前記タイミング信号に従った所定タイミングで前記計測光を投影し、前記第２の投影装置は、非可視光を検知する光センサを有し、前記光センサによって前記第１の投影装置が投影した前記非可視光の計測光を前記タイミング信号として受信する、投影システムを提供する。

また、本開示は、対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムであって、前記投影装置は、前記対象物に非可視光の計測光を投影する非可視光投影部と、前記対象物から反射した計測光の反射光を受光する受光部と、前記計測光の反射光に基づいて前記対象物の位置情報を算出する演算部と、前記対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影部と、を有し、複数の前記投影装置において、第１の投影装置と、第２の投影装置とは、異なる投影タイミングで前記計測光を投影し、前記第１の投影装置と前記計測光の投影範囲が重複し、前記第２の投影装置と前記計測光の投影範囲が重複しない第３の投影装置は、前記第２の投影装置と同じ投影タイミングで前記計測光を投影する、投影装置を提供する。

また、本開示は、対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムにおける投影方法であって、前記投影装置において、前記対象物に非可視光の計測光を非可視光投影部により投影し、前記対象物から反射した計測光の反射光を受光部により受光し、前記計測光の反射光に基づいて前記対象物の位置情報を演算部により算出し、前記対象物の位置情報に基づいて可視光の映像コンテンツを可視光投影部により投影し、複数の前記投影装置において、第１の投影装置と、第２の投影装置とは、前記第１の投影装置の前記計測光の投影範囲と、前記第２の投影装置の前記計測光の投影範囲が重複する場合は、異なる投影タイミングで前記計測光を投影し、前記第１の投影装置の前記計測光の投影範囲と、前記第２の投影装置の前記計測光の投影範囲が重複しない場合は、同じ投影タイミングで前記計測光を投影する、投影方法を提供する。

本開示によれば、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる。

本実施の形態に係る計測投影装置の構成及び機能の概要を説明する図 本実施の形態に係る投影システムの第１使用例を示す図 本実施の形態に係る投影システムの第２使用例を示す図 本実施の形態に係る投影システムの第３使用例を示す図 本実施の形態に係る投影システムの構成の第１例を示す図 本実施の形態に係る投影システムの構成の第２例を示す図 本実施の形態に係る計測投影装置の概略構成を示す図 本実施の形態に係る不可視光の計測パターンの一例を示す図 本実施の形態に係る計測投影装置の変形例の構成を示す図 本実施の形態に係る計測投影装置の機能構成の第１例を示すブロック図 本実施の形態に係る投影システムの動作の第１例を示すタイムチャート 本実施の形態に係る計測投影装置の機能構成の第２例を示すブロック図 本実施の形態に係る投影システムの動作の第２例を示すタイムチャート 本実施の形態に係る投影システムの構成の第３例を示す図 本実施の形態に係る投影システムの動作の第３例を示すタイムチャート 本実施の形態に係る投影システムの構成の第４例を示す図 本実施の形態に係る投影調整装置の機能構成を示すブロック図 本実施の形態に係る投影システムの構成の第４例を示す図 本実施の形態に係る投影システムの第４例における計測パターンの投影時間の一例を示すタイムチャート 本実施の形態に係る投影システムの第４例における投影範囲の一例を示す図 本実施の形態に係る投影システムの第４例における計測パターンの投影動作の一例を示すタイムチャート 本実施の形態に係る投影調整装置による投影調整方法の手順を示すフローチャート 本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第１例を示す図 本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第１例を示す図 本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第２例を示す図 本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第２例を示す図 本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第３例を示す図 本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第３例を示す図 本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第４例を示す図 本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第５例を示す図

［実施の形態の内容に至る経緯］
プロジェクションマッピングなどの、投影対象である対象物に映像コンテンツを投影することを考えた場合、映像コンテンツを対象物に意図通り位置合わせをして投影することが求められる。最終的には、投影装置の座標系から見た対象物の幾何学的な位置情報を得ることが必要となる。

また、静的な対象物に投影するときは、投影とは別に事前計測を１度だけ行えばよい。その場合、投影と計測との干渉を無視できる。一方、動的に移動し、及び／又は変形する対象物に対して、それを３Ｄ計測しながらその結果に基づいてリアルタイムに誤差のない投影を行うことを考える。その場合、投影中の映像コンテンツに影響を与えないように計測を行うことが求められる。

しかしながら、上記の特許文献１は、３Ｄ計測用のパターン画像を非可視光により投影することによって、別の場所に設置された可視光光源からの可視光の影響を受けない計測が可能になることを開示しているに過ぎない。特許文献１の技術によれば、撮像装置の座標系に準ずる計測結果しか得られない。

計測の分野において、上記の特許文献１以外に、例えば参考非特許文献１及び参考特許文献３に開示されたシステムが知られている。
［参考特許文献３］特開２０１３－１９２１８９号公報
［参考非特許文献１］“高速プロジェクタを用いた３０００フレーム毎秒の三次元画像計測システムの開発”，ロボティクス・メカトロニクス講演会講演概要集 ２００７，”１Ｐ１－Ｍ０２（１）”－”１Ｐ１－Ｍ０２（４）”，２００７－０５－１１

参考非特許文献１は、光パターン投影を用いて高速に３Ｄ形状を計測する手法を開示している。参考非特許文献１の計測システムは、撮像装置と、光源、レンズ及びミラー素子又は液晶素子を有する投影装置とを備えている。撮像装置は高速度撮影を行う機能を有している。例えば、撮像装置は、６０００ｆｐｓで高速撮影ができる。投影装置は、１０２４×７６８の画素を有するバイナリパターンを６０００ｆｐｓ以上で投影できる。

また、参考特許文献３は、撮像データに基づいて映像コンテンツを調整する計測システムを開示している。参考特許文献３の計測システムは、撮像装置、投影装置、及び計算装置を備えている。計算装置は、撮像装置により取得された撮像結果から投影対象の画像認識を行う。計算装置は、投影対象を認識した領域に映像コンテンツを投射するようにその映像を生成する。投影装置は、映像コンテンツを投影対象に投影する。

上記の参考非特許文献１は、高速に３Ｄ計測を行う技術水準を開示しているに過ぎない。投影装置の座標情報を送出するには数十フレーム分の画像が必要になるので、従来、移動物体の３Ｄ計測を高速に行うことは困難であった。参考非特許文献１の技術は、高速に計測を行える可能性を示唆した点では有意義であると考えられる。

しかしながら、参考非特許文献１は３Ｄ計測単体の技術を開示しているだけであり、投影装置の座標系について何ら言及していない。また、参考非特許文献１は、高速撮像後のオフライン処理、すなわち非リアルタイムでの処理について言及している。そもそも、６０Ｈｚなどで画像処理を行うことを前提としたパーソナルコンピュータのような計算機アーキテクチャ装置においては、数十ミリ秒以上の遅延が入出力で発生する。その結果、移動物体に映像を投影しながらそれを撮像し、その結果をリアルタイムで投影にフィードバックさせることは困難である。

上記の参考特許文献３の技術によれば、撮像装置と投影装置との位置が互いに異なることによって視差が発生する。しかしながら、参考特許文献３は、その視差の解決について何ら言及していないし、システムの高速化についても言及していない。

このような状況を鑑み、本願発明者は、赤外光等の不可視光の高速投影が可能な不可視光投影装置と、可視光の高速投影が可能な可視光投影装置と、高速撮影が可能な撮像装置とを有し、高速に不可視光のパターン光による計測光の投影及び撮影を行って対象物の位置を高精度に計測し、対象物に可視光の映像コンテンツを意図通りに位置合わせをして投影を行うことができる投影システムを想到した。

ここで、計測光を高速投影して対象物の位置計測を行う投影装置を複数配置した投影システムを想定する。このような投影システムでは、複数の投影装置による投影時間及び投影範囲を調整し、対象物の位置計測及び映像投影を高精度に実行可能にすることが求められる。上記の特許文献２は、複数の投影装置間で赤外線通信を行うことにより、他の投影装置の存在の検出、複数の投影装置の操作を可能とすることについて開示しているに過ぎない。

上記のような複数の投影装置を用いて対象物の位置計測及び映像投影を行う投影システムでは、複数の投影装置の投影範囲に重なりが生じる場合、重複領域において計測光に干渉が発生し、的確な位置計測ができないという課題がある。

また、高精度の位置計測が可能な投影装置を複数配置する場合、それぞれの投影装置の投影範囲の配置、投影範囲の重なりなど、複数の投影範囲の位置関係を容易に把握できないという課題がある。

以下、適宜図面を参照しながら、本開示に係る構成を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

［本実施の形態］
まず、本実施の形態の一例として、複数の投影装置における位置計測用の不可視光の投影時間のタイミングを制御し、計測光の干渉を防止して的確な位置計測を可能とする投影システム、投影装置及び投影方法を例示する。

（計測投影装置及び投影システムの概要）
図１は、本実施の形態に係る計測投影装置の構成及び機能の概要を説明する図である。本実施の形態では、対象物に対して映像投影を行う投影装置として、図１に示すような計測投影装置１００を用いて、対象物の位置を計測し、対象物の位置情報に応じて映像を投影する例を示す。ここでは、映像を投影する対象物として、平面又は曲面のスクリーン又は壁面等による第１の対象物１０５と、この第１の対象物１０５の前に位置する人物等による第２の対象物１０６とを想定する。以下、単に対象物１０５、１０６と称することもある。人物等の第２の対象物１０６は、スクリーン等の第１の対象物１０５の前でダンスなどを行って身体の各部を動かし、移動するものとする。つまり、対象物１０６は、自身の動きに伴って各部の形状及び位置が変化する状態となっている。このため、対象物１０５、１０６に所定の映像コンテンツを投影するために、第１の対象物１０５に対する第２の対象物１０６の位置を計測し、対象物１０６の正確な位置情報を取得する必要がある。

計測投影装置１００は、受光部の一例としての撮像装置１０１と、不可視光の計測光の一例としての赤外光を投影する非可視光投影部の一例としての赤外光投影装置１０２と、可視光を投影する可視光投影部の一例としての可視光投影装置１０４とを有する。計測投影装置１００は、赤外光投影装置１０２によって投影座標をコード化した赤外光のパターン光を高速投影し、撮像装置１０１によって対象物１０５、１０６を高速撮像することにより、対象物１０５、１０６の位置を高速に計測する。対象物の位置計測の詳細については後述する。そして、計測投影装置１００は、対象物１０５、１０６の位置情報に基づき、特に動いている対象物１０６の位置に対して常に位置合わせを行った状態で、可視光投影装置１０４によって所定の映像を投影する。本実施の形態では、後述するように複数の計測投影装置１００を適宜配置して投影システムを構成する場合を想定する。

ここで、複数の計測投影装置１００を用いた投影システムの使用例をいくつか示す。図２は、本実施の形態に係る投影システムの第１使用例を示す図である。第１使用例は、複数（図示例では３つ）の計測投影装置１００を並べて配置し、対象物１０５、１０６に対して多面投影を行って広い面積の領域をカバーするように、各計測投影装置１００の投影範囲の一部が重なるように投影範囲を設定し、位置計測及び映像投影を行う例である。この場合、投影範囲が重複する領域において、計測光に干渉が発生し、対象物１０６の位置計測を正確に行えない課題が生じ得る。

図３は、本実施の形態に係る投影システムの第２使用例を示す図である。第２使用例は、複数（図示例では３つ）の計測投影装置１００を並べて配置し、屋外等において対象物１０５、１０６に対して重ね打ち投影によって高輝度の投影を行うように、各計測投影装置１００の投影範囲の全部又は大部分が重なるように投影範囲を設定し、位置計測及び映像投影を行う例である。この場合、計測投影装置１００毎に対象物１０５、１０６に対する投影角度が異なり、投影範囲が重複する計測光の大部分の領域で干渉が発生し、対象物１０６の位置計測を正確に行えない課題が生じ得る。

図４は、本実施の形態に係る投影システムの第３使用例を示す図である。第３使用例は、複数（図示例では３つ）の計測投影装置１００を対象物１０６の周囲を囲むように周状に配置し、ラッピング投影による３６０度映像の投影を行って立体物を多くの角度から見られるように、対象物１０６に向かって複数の計測投影装置１００から位置計測及び映像投影を行う例である。この場合、各計測投影装置１００の投影範囲の多くが重なるため、計測光に干渉が発生し、対象物１０６の位置計測を正確に行えない課題が生じ得る。

本実施の形態では、タイミング制御部によって複数の計測投影装置１００における計測光の照射タイミングを制御することにより、計測光の干渉を防止し、上記の課題を解決する。

図５は、本実施の形態に係る投影システムの構成の第１例を示す図である。第１例の投影システムは、複数の計測投影装置１００Ａ、１００Ｂを有し、これらの計測投影装置１００Ａ、１００Ｂによって対象物１０５、１０６に対する位置計測と映像投影とを行うものである。第１例では、複数の計測投影装置１００Ａ、１００Ｂが互いに接続され、第１の計測投影装置１００Ａがマスター（ｍａｓｔｅｒ）として機能し、他の第２の計測投影装置１００Ｂがスレーブ（ｓｌａｖｅ）として機能する。マスターの計測投影装置１００Ａは、装置内部にタイミング制御部を有し、スレーブの計測投影装置１００Ｂの動作タイミングを指示して同期をとり、投影システムの各計測投影装置による位置計測及び映像投影のタイミングを制御する。図示例では、３つの計測投影装置を有する構成を示しており、中央の装置をマスターの計測投影装置Ｐ１、左側の装置をスレーブの計測投影装置Ｐ２、右側の装置をスレーブの計測投影装置Ｐ３としている。

図６は、本実施の形態に係る投影システムの構成の第２例を示す図である。第２例の投影システムは、複数の計測投影装置としてスレーブの計測投影装置１００Ｂを有し、これらの計測投影装置１００Ｂによって対象物１０５、１０６に対する位置計測と映像投影とを行うものである。第２例では、外部にタイミング制御部の一例としてのタイミングジェネレータ１５１を有し、複数のスレーブの計測投影装置１００Ｂがタイミングジェネレータ１５１に接続される構成となっている。タイミングジェネレータ１５１は、外部に設けたコンピュータなどによって構成され、複数のスレーブの計測投影装置１００Ｂの動作タイミングを指示して同期をとり、投影システムの各計測投影装置による位置計測及び映像投影のタイミングを制御する。図示例では、３つの計測投影装置を有する構成を示しており、中央の計測投影装置Ｐ１、左側の計測投影装置Ｐ２、右側の計測投影装置Ｐ３が共にスレーブとして機能する。

（計測投影装置の構成）
次に、計測投影装置の構成及び動作の一例をより詳しく説明する。

図７は、本実施の形態に係る計測投影装置の概略構成を示す図である。計測投影装置１００は、撮像装置１０１、赤外光投影装置１０２、可視光投影装置１０４、及び演算装置１０３を備える。

本実施の形態では、撮像装置１０１は参考非特許文献１と同様に毎秒６０００フレームの撮影を行うことができる。また、撮像装置１０１は、内部にバッファリングすることなく大規模な転送帯域を有し、演算装置１０３に撮像データを出力できる。さらに、撮像装置１０１は、赤外光領域に感度を有している。以下、これらを前提とし、各装置の機能及び動作の一例を説明する。

非可視光投影部の一例としての赤外光投影装置１０２は、計測光の一例として、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を投影する。本願明細書では、投影座標系は、可視光投影装置１０４より投影する投影画像である映像コンテンツの画像の各画素の座標を特定する座標系を意味する。映像コンテンツの画像の各画素を特定する座標を投影座標系の「投影座標」と称する。投影座標は、赤外光投影装置１０２より投影するパターン画像の各画素の座標とも対応する。

赤外光投影装置１０２は、レンズ光学系１１１と、赤外ＬＥＤ光源１１２と、表示デバイス１１３とを有する。レンズ光学系１１１は、一枚のレンズで構成されていてもよいし、複数枚のレンズ（レンズ群）で構成されていてもよい。複数のレンズは、例えばズームレンズ及びフォーカスレンズなどを含み得る。

赤外ＬＥＤ光源１１２は、非可視光の一例としての赤外光をパターン光として出射する。非可視光は、例えば、赤外光帯域（概ね７００ｎｍから１０００ｎｍ）の波長を有している。なお、本実施の形態では、非可視光の光源として、赤外ＬＥＤ光源を用いているが、紫外線を出射する光源を利用することもできる。

表示デバイス１１３は、例えば１０２４×７６８の升目上にマイクロミラーが配列されたデバイスであり、投影座標をコード化したパターン画像を生成する。表示デバイス１１３は、バイナリパターンで毎秒３００００フレームの映像を出力できる。なお、表示デバイス１１３は、反射型の光学素子の代わりに、透過型の光学素子により構成するものであってもよいし、液晶デバイスで代替することも可能である。

受光部の一例としての撮像装置１０１は、パターン光を撮像し、パターン光の撮像画像を生成する。撮像装置１０１は、イメージセンサ、レンズ光学系などを含んでいる。例えば、表示デバイス１１３と対応させて、１０２４×７６８の画素数を有するイメージセンサを用いることができる。その場合、１画素を８ｂｉｔの分解能とすると、転送帯域は３８Ｇｂｐｓ程である。ここで、演算装置１０３は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）で実現するものと仮定する。現在の半導体技術水準を考慮すると、３８Ｇｂｐｓ程の転送帯域は十分に実現できる範囲である。

撮像装置１０１は、撮像座標系を有している。本願明細書では、撮像座標系は、撮像装置１０１により取得される撮像画像の各画素の座標を特定する座標系を意味する。「投影座標」と区別して、撮像画像の各画素の座標を撮像座標系の「撮像座標」と称する。

可視光投影部の一例としての可視光投影装置１０４は、映像コンテンツを表す映像光を投影する。可視光投影装置１０４は、レンズ光学系、可視光光源、及び赤外光投影装置１０２と同様の表示デバイスを有する。可視光投影装置１０４は、可視光帯域（概ね３８０ｎｍから７８０ｎｍ）の光を映像光として出射する。簡易化の観点から、可視光光源を単色の可視光ＬＥＤ光源とすることができる。ただし、赤青緑の三色用に３つの光源をそれぞれ設けることにより、フルカラーの映像を投影しても当然構わない。又は、十分高速に回転可能なカラーホイールがあれば、可視光ＬＥＤ光源の代わりに高圧水銀灯などの白色光源を備え、出力にそれを取り付けることにより、フルカラーの映像を投影することができる。また、可視光光源として、高圧水銀灯からダイクロイックプリズムなどで波長別に光を取り出せる光源を利用することができる。このように本開示にはあらゆる光源を利用することができる。

演算部の一例としての演算装置１０３は、撮像画像を、撮像座標系で規定される撮像座標に対応する投影座標を示す投影座標情報に復号し、投影座標系を基準として投影座標情報を対象物までの距離情報に変換し、距離情報に応じて、映像コンテンツの内容を選択的に決定する。

図８は、本実施の形態に係る不可視光の計測パターンの一例を示す図である。図８では、パターン光に対応した、コード化されたパターン画像（座標パターン）の一部を例示している。図８に示されるパターン画像は、１０２４×７６８のマイクロミラーを有する表示デバイス１１３の各ミラーのＸ座標及びＹ座標をグレイコード化した後に、各ｂｉｔを白黒の２値画像として表すことにより得られる。

赤外光投影装置１０２は、例えば１０２４×７６８画素のパターン画像に基づいてパターン光を対象物１０７（対象物１０５、１０６に相当）に投影することができる。画素のＸ座標及びＹ座標ともに５１２より大きく１０２４以下である。その場合、Ｘ座標を表すｂｉｔ０からｂｉｔ９までの１０ビットがグレイコード化される。Ｘ座標と同様に、Ｙ座標を表すｂｉｔ０からｂｉｔ９までの１０ビットがグレイコード化される。このように、各座標にそれぞれ１０ビット、合計２０ビットを割り当てることにより、座標情報をコード化できる。以下、４０フレームの画像データを利用して、その２０ビットの情報の符号化を行う例を説明する。

図８の（Ｘ９ａ）はＸ座標をグレイコード化した後のｂｉｔ９に対応したパターン画像を示している。また、本実施の形態では、マンチェスタ符号化により投影座標を符号化するので、ｂｉｔ９をビット反転させた反転パターン画像も用いられる。図８の（Ｘ９ｂ）は、（Ｘ９ａ）の画像パターンを反転させた反転パターン画像を示している。同様に、図８の（Ｘ８ａ）はＸ座標をグレイコード化した後のｂｉｔ８に対応したパターン画像を示し、（Ｘ８ｂ）は（Ｘ８ａ）の画像パターンを反転させた反転パターン画像を示している。図８の（Ｘ７ａ）はＸ座標をグレイコード化した後のｂｉｔ７に対応したパターン画像を示し、（Ｘ７ｂ）は（Ｘ７ａ）の画像パターンを反転させた反転パターン画像を示している。

図８の（Ｙ９ａ）はＹ座標をグレイコード化した後のｂｉｔ９に対応したパターン画像を示している。図８の（Ｙ９ｂ）は、（Ｙ９ａ）の画像パターンを反転させた反転パターン画像を示している。同様に、図８の（Ｙ８ａ）はＹ座標をグレイコード化した後のｂｉｔ８に対応したパターン画像を示し、（Ｙ８ｂ）は（Ｙ８ａ）の画像パターンを反転させた反転パターン画像を示している。図８の（Ｙ７ａ）はＹ座標をグレイコード化した後のｂｉｔ７に対応したパターン画像を示し、（Ｙ７ｂ）は（Ｙ７ａ）の画像パターンを反転させた反転パターン画像を示している。

図示されていないが、計測可能な解像度まで、例えばＸ座標及びＹ座標のｂｉｔ６から０にもそれぞれ対応したパターン画像及び反転パターン画像が存在する。赤外光投影装置１０２は、これらパターンを含めた４０パターンを対象物１０７に順次投影する。撮像装置１０１は、投影されたパターン画像を順次撮像する。

図９は、本実施の形態に係る計測投影装置の変形例の構成を示す図である。変形例の計測投影装置１４０は、図１及び図７に示した計測投影装置１００の投影装置を一体に構成した例であり、赤外光投影装置及び可視光投影装置を含む投影装置１４２を有している。このような一体型の投影装置１４２を備える計測投影装置１４０を用いてもよい。

（計測投影装置の機能構成）
図１０は、本実施の形態に係る計測投影装置の機能構成の第１例を示すブロック図である。演算装置１０３は、計測投影装置１００の全体を制御する機能を有している。演算装置１０３は、例えばコンピュータ、プロセッサに代表される演算装置、又は半導体集積回路によって実現され得る。半導体集積回路とは、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）及びＦＰＧＡなどである。演算装置１０３は、メモリに、各構成要素の機能を発揮するコンピュータプログラムを実装したものを用い、半導体集積回路内のプロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能を実現してもよい。

演算装置１０３は、画像入力部４０１、パターン復号部４０２、フレームメモリ部４０３、コード復号用メモリ部４０４、座標変換部４０５、座標変換用メモリ部４０６、座標補間部４０７、コンテンツ生成部４０８、コンテンツメモリ部４０９、画像出力部４１０、及びパターン生成部４１１を有している。演算装置１０３内の各メモリ部は、例えばＲＡＭなどによって構成され得る。

また、演算装置１０３は、タイミング制御部の一例としての外部同期インタフェース（Ｉ／Ｆ）１５２を有している。複数の計測投影装置１００を計測投影装置の内部のタイミング制御部によって制御する場合は、マスターの計測投影装置の外部同期インタフェース１５２がタイミング制御部として機能し、他のスレーブの計測投影装置の外部同期インタフェース１５２に対してタイミング信号を伝送する。計測投影装置の外部のタイミング制御部によって制御する場合は、外部に設けたタイミングジェネレータ１５１がタイミング制御部として機能し、複数のスレーブの計測投影装置の外部同期インタフェース１５２に対してタイミング信号を伝送する。

外部同期インタフェース１５２は、タイミングジェネレータ１５１又は他の計測投影装置の外部同期インタフェース１５２と接続する場合、例えば有線にて接続される通信インタフェースであってもよいし、無線にて接続される通信インタフェースであってもよい。有線の通信インタフェースとしては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、イーサネット（登録商標）などを用いてよい。無線の通信インタフェースとしては、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどを用いてよい。なお、外部同期インタフェース１５２を赤外光等の光源及び光センサによって構成し、光のオンオフ又は光通信によって計測投影装置間の動作タイミングを制御してもよい。

（投影システムの動作）
図１１は、本実施の形態に係る投影システムの動作の第１例を示すタイムチャートである。本実施の形態では、例えば１ミリ秒などの所定の単位時間を基準にして、この単位時間ごとに、赤外光投影装置１０２による赤外光の計測パターン投影、撮像装置１０１によるカメラ露光、読み出し＆演算、可視光投影装置１０４による映像投影を実行する場合を想定する。ここでの「読み出し＆演算」とは、撮像装置１０１が撮像された画像を読み出し、演算装置１０３へ転送する処理（以下、読み出し転送処理又は演算装置１０３への転送処理）と演算装置１０３が転送された撮像画像から位置計測情報の演算処理を意味する。なお、演算装置１０３による位置計測情報の演算処理は、撮像装置１０１による読み出し転送処理と同時並行的に実施されてもよいし、撮像装置１０１による読み出し転送処理（演算装置１０３への転送処理）の一部又は全てが完了後に実施されてもよい。本実施の形態のように上記２つの処理を同時並行的に実施する場合、位置計測情報の演算は、ＦＰＧＡなどを用いて専用の演算装置を構成することで、読み出し期間にオーバーラップして実施することが可能である。また、本実施の形態と異なり、撮像画像の読み出し転送に要する時間と位置情報計測に要する時間とは同じでなくてもよい。なお、上述した読み出し転送及び位置計測情報の演算に関しては図１１以降で説明する動作例についても同様である。

パターン生成部４１１は、計測パターン投影の期間において、赤外光投影装置１０２の赤外ＬＥＤ光源１１２を点灯させる。パターン生成部４１１は、上述した方法によりパターン投影用のパターン画像を生成する。パターン生成部４１１は、赤外光投影装置１０２の表示デバイス１１３において計測用のパターン投影を行うように、画像出力部４１０にパターン画像を示す画像データを出力する。画像出力部４１０は、パターン生成部４１１からの画像データと赤外ＬＥＤ光源１１２の点灯情報とを、赤外光投影装置１０２及び画像入力部４０１に出力する。パターン画像を示す計測光のパターン光は不可視光として投影されるので、撮像装置１０１により撮像されて計測されるが、人間の視覚には影響を及ぼさない。

パターン生成部４１１は、１つのパターンを１／６０００秒で出力することができる。パターン生成部４１１は、計測パターン投影の期間において、Ｘ座標及びＹ座標のそれぞれの１０ｂｉｔの座標画像とその反転画像との合計４０フレームを出力する。一方、撮像装置１０１は、表示デバイス１１３のフレームを出力するレートと同期して４０フレームで撮像を行う。

画像出力部４１０は、パターン生成部４１１の画像データの出力タイミングと同期して赤外光投影装置１０２にパターン画像を出力する。赤外光投影装置１０２は、パターン画像を対象物に投影する。また、画像入力部４０１は、画像出力部４１０のパターン画像の出力タイミングと同期して撮像装置１０１の露光を制御する。これにより、撮像装置１０１は、カメラ露光の期間において４０フレームのパターン画像の撮像を行う。

画像入力部４０１は、読み出し及び演算の期間において、撮像装置１０１により撮像されたパターン画像の撮像画像（撮像データ）を受信する。画像入力部４０１は、受信した撮像データをパターン復号部４０２に送信する。画像入力部４０１は、画像出力部４１０と同期しながら受信した撮像データに対応するパターンを判定する。

パターン復号部４０２は、読み出し及び演算の期間において、撮像装置１０１からのパターン画像を示す撮像画像を、撮像座標系で規定される撮像座標に対応する投影座標を示す投影座標情報に復号する。以下、パターン復号部４０２の機能をより詳細に説明する。

パターン復号部４０２は、画像入力部４０１から受信した撮像データがＸ座標及びＹ座標の非ビット反転画像であれば、その撮像データをフレームメモリ部４０３に書き込む。パターン復号部４０２は、その画像データがＸ座標及びＹ座標のビット反転画像であれば、先にフレームメモリ部４０３に記録された非ビット反転画像を読み出しながら、両者の差分をとる。このように非ビット反転画像とビット反転画像の差分を取ることにより、投影対象の色又は環境光に依存することなく、投影光の「０」と「１」とを判別することができる。上記差分が所定の値以下の領域を、投影光が投影されていない領域として判定し、その領域を計測対象領域から除外することができる。

コード復号用メモリ部４０４には、撮像装置１０１の画素毎に書き込み領域が設けられている。パターン復号部４０２は、非ビット反転画像とビット反転画像の差分をとった後、グレイコード化された座標データの各ビット値を、その書き込み領域にビット単位で書き込む。この座標データの書き込み操作が撮像装置１０１の露光時間の間に４０フレーム分実行される。これにより、撮像装置１０１の各画素に対応する、赤外光投影装置１０２のＸ座標及びＹ座標が存在するか否かを示す情報と、存在する場合のＸ座標及びＹ座標のそれぞれを示す１０ｂｉｔの値とが、コード復号用メモリ部４０４に書き込まれる。パターン復号部４０２は最終的に、コード復号用メモリ部４０４に記録されたグレイコードの座標データをバイナリに再変換して座標変換部４０５に出力する。

これまでの処理により、撮像装置１０１のある画素位置に撮像された投影光が、赤外光投影装置１０２のどの画素から投影されたのかを知ることができる。つまり、赤外光投影装置１０２の投影座標、すなわち可視光投影装置１０４の投影座標系で規定される投影座標と、撮像装置１０１の撮像座標系で規定される撮像座標との対応関係を知ることができる。したがって、撮像装置１０１と赤外光投影装置１０２との互いの位置関係が既知であれば、撮像画素毎に対象物までの距離を三角法により得ることができる。しかしながら、得られる情報は、撮像装置１０１の撮像画素に対応した距離情報である。そのため、本実施の形態では、撮像装置１０１の撮像画素に対応した撮像座標の距離情報を赤外光投影装置１０２の画素座標に対応した距離情報、すなわち可視光投影装置１０４の投影座標の距離情報に変換する。

座標変換部４０５は、パターン復号部４０２から受信したデータを、可視光投影装置１０４の投影座標に対応したアドレスで特定される座標変換用メモリ部４０６の領域に書き込む。その後、座標変換部４０５は、座標変換用メモリ部４０６から、距離情報を可視光投影装置１０４のＸ座標及びＹ座標の順番で読み出すことにより、可視光投影装置１０４の投影座標に対応した距離情報を生成する。

その際、対応点が存在しない投影画素が発生し得る。具体的には、対象物に投影されたパターン画像のうち、ある複数の画素に対応したそれぞれの光が、撮像装置１０１の１つの撮像画素によって撮像され得る。その場合、グレイコードの特性上、対応点が存在しない投影画素は隣接する２つの投影画素のどちらかの画素座標に丸め込まれるので、片側の投影画素は対応先のない状態となる。

座標補間部４０７は、座標変換部４０５から、可視光投影装置１０４の投影座標に対応した距離情報を受信する。座標補間部４０７は、距離情報の存在しない投影座標に対して距離情報を補間する。これは、補間することが可能な距離情報を有する投影座標が一定数その周辺に存在する箇所に限り、周辺座標の距離情報から線形補間等の補間法を用いて行なわれる。座標補間部４０７は、投影座標に基づく距離情報をコンテンツ生成部４０８に出力する。上記のように、パターン画像の撮像画像の読み出しと対象物までの距離情報を含む位置情報の演算とを実行することにより、リアルタイムで高速な位置計測動作が可能になる。

コンテンツ生成部４０８は、映像投影の期間において、投影用の映像コンテンツを生成する。コンテンツ生成部４０８は、コンテンツメモリ部４０９に予め記録されていた映像コンテンツを、座標補間部４０７から受信した距離情報に基づいて加工し、加工した映像コンテンツを画像出力部４１０に出力する。以下、加工された映像コンテンツを、予め記録された加工前の映像コンテンツと区別して、「加工後の映像コンテンツ」と称する場合がある。

コンテンツ生成部４０８は、座標ずれの無い、対象物までの距離に正確に対応した映像コンテンツを生成する。また、コンテンツ生成部４０８は、映像コンテンツの内容を距離情報に応じて選択的に決定することができる。例えば一定の距離にある物体だけを切り出して検知し、可視光投影用の映像コンテンツを正確に描画するなどの処理が可能となる。コンテンツ生成部４０８は、投影用の加工後の映像コンテンツを画像出力部４１０に出力する。

画像出力部４１０は、映像投影の期間において生成された可視光投影用の映像コンテンツを、可視光投影装置１０４に出力する。可視光投影装置１０４は、可視光光源を点灯し、映像コンテンツに対応した映像光を投影する。可視光投影装置１０４の表示デバイスは、毎秒３００００のバイナリフレームを出力することができる。そのため、例えば８．５ミリ秒の間に２５５フレームを用いて２５６階調の画像を投影することが可能となる。この投影は可視光光源によってなされるので、人間に視認される。このように、位置計測と投影とを連続的に行うことが可能である。

本実施の形態の計測投影装置１００では、映像投影と位置計測とを同じ計測投影装置によって行うことにより、投影と計測とのずれの発生を原理的に抑制でき、かつ、可視光の映像に干渉しない幾何学計測の重畳を実現できる。また、演算装置１０３が撮像装置１０１により撮像されたパターン画像をデコードできれば、相対的な位置計測には耐えることができる。そのため、設置の精度が十分に確保されなくても、実用に耐え得る。その点において、設置の簡易性を確保できる。また、経年劣化による設置関係の誤差拡大に対して高いロバスト性を得ることができる。

ここで、本実施の形態の投影システムにおける複数の計測投影装置の動作について、図１１を用いて説明する。本実施の形態では、マスターの計測投影装置の外部同期インタフェース１５２又は外部のタイミングジェネレータ１５１等によるタイミング制御部１５０によって、タイミング信号を生成して出力し、複数の計測投影装置１００の動作タイミングを制御する。計測投影装置の外部同期インタフェース１５２は、タイミング信号を受信して画像出力部４１０に入力し、タイミング信号に従って画像出力部４１０のパターン画像の出力と画像入力部４０１の撮像画像の入力とを制御する。これにより、複数の計測投影装置間の同期をとる。

図１１では、３個の計測投影装置Ｐ１、Ｐ２、Ｐ３によって時分割で交代に位置計測を行う場合の動作例を示している。なお、ここでの動作例における位相数は計測投影装置の個数と同様に３である。複数の計測投影装置Ｐ１、Ｐ２、Ｐ３は、タイミング制御部１５０より出力される所定の単位時間毎のタイミング信号に従って、それぞれ順次交代で赤外光の計測パターン投影及びカメラ露光を行う。計測投影装置Ｐ１の計測パターン投影及びカメラ露光が終了すると、次に計測投影装置Ｐ２の計測パターン投影及びカメラ露光が行われ、続いて計測投影装置Ｐ３の計測パターン投影及びカメラ露光が行われる。図１１におけるタイミング信号の間隔を示す単位時間は、例えば１ミリ秒とする。したがって、１秒間に１０００回（１０００ｆｐｓ）の計測パターン投影及びカメラ露光を、複数の計測投影装置において順次実行可能となっている。

計測投影装置Ｐ１、Ｐ２、Ｐ３は、時分割で交代に計測パターン投影及びカメラ露光を行った後、それぞれ次の単位時間のタイミングで、パターン画像の撮像画像の読み出しと対象物までの距離情報を含む位置情報の演算とを実行する。そして、計測投影装置Ｐ１、Ｐ２、Ｐ３は、それぞれ次の単位時間のタイミングで、計測した対象物の位置情報に応じた映像コンテンツを作成し、映像を投影する。図１１において、動作タイミングを示す各ブロックの１、２、３はフレーム番号の一例を示しており、図示例では３単位時間（３ミリ秒）ごとに１フレームずつ映像投影が行われる。なお、複数の計測投影装置Ｐ１、Ｐ２、Ｐ３の間で映像投影するフレームのタイミングがずれているが、１ミリ秒単位の短い時間であるため、人間の視覚には影響を及ぼさない。

このとき、計測投影装置Ｐ１、Ｐ２、Ｐ３は、それぞれ他の計測投影装置と異なる投影タイミングで計測光の投影を行う。計測投影装置Ｐ１は、計測投影装置Ｐ２、Ｐ３と投影範囲が重複しているため、計測投影装置Ｐ２、Ｐ３と異なる投影タイミングで計測光の投影を行う。なお、計測投影装置Ｐ２は、計測投影装置Ｐ１と投影範囲が重複しているが、計測投影装置Ｐ３とは投影範囲が重複していないので、計測投影装置Ｐ２、Ｐ３は同じ投影タイミングで計測光の投影を行ってもよい。また、計測投影装置Ｐ２は、計測投影装置Ｐ１において撮像画像の読み出し及び位置情報の演算を行う演算中のタイミングで、計測光の投影を行う。また、計測投影装置Ｐ２は、計測投影装置Ｐ１において計測光の投影中のタイミングで、撮像画像の読み出し及び位置情報の演算を行う。また、計測投影装置Ｐ１は、自装置にて映像コンテンツの投影中のタイミングで、計測光の投影を行う。

このように、本実施の形態では、タイミング制御部によって複数の計測投影装置を制御し、各装置毎に交代で計測光の投影及び露光を行って対象物の位置計測を実行する。これにより、複数の計測投影装置間での計測光の干渉を防止できる。特に、隣り合った計測投影装置において同時に計測光が投影されることを無くし、投影範囲が重複する領域において計測光の干渉を防止できる。したがって、投影システムの各計測投影装置において適切な位置計測を実施することができる。例えば、複数の計測投影装置を用いてダンサーなどの動く対象物に対して位置計測及び映像投影を行う場合に、リアルタイムで正確に位置を計測しながら映像投影を繰り返し行うことが可能になる。また、スクリーンなどの固定された対象物と、ダンサーなどの動く対象物とがある場合に、複数の計測投影装置を用いる投影システムであっても、対象物の位置をリアルタイムで正確に計測し、それぞれの対象物の位置に合わせて個別に映像コンテンツを生成し、投影できる。

図１２は、本実施の形態に係る計測投影装置の機能構成の第２例を示すブロック図である。計測投影装置の機能構成の第２例は、前述した第１例の計測投影装置の構成を一部変更し、機能追加を行った構成例である。本実施の形態の演算装置１２３は、設定情報を入力する設定入力部１３１を有している。その他の構成及び機能は図１０に示した第１例の演算装置１０３と同様であるので、ここでは第１例と異なる部分についてのみ説明する。

設定入力部１３１は、順次動作する計測投影装置の位相数、或いは同時使用する計測投影装置の数などに応じて、計測光の発光時間の分割数及び計測光の発光光量を設定するための設定情報を入力する。設定情報は、外部に設けたコンピュータなどによる制御装置において生成し、計測投影装置の設定入力部１３１に伝送するような構成とすればよい。設定入力部１３１は、入力した設定情報を画像出力部４１０及び赤外光投影装置１０２に伝送し、計測光の発光時間及び計測光の発光光量を設定する。

本実施の形態では、ｎ個の計測投影装置によって交代で位置計測を行う場合、計測パターン投影及びカメラ露光を行う期間を単位時間の１／ｎに分割する。また、計測パターン投影の期間を１／ｎにするのに伴い、不可視光の計測光の発光光量を増加させる。例えば、赤外ＬＥＤ光源の発光時の駆動電流をｎ倍に増加する。このとき、赤外ＬＥＤ光源の発光時のピーク電力を発光時間に応じて変化させればよい。このため、赤外ＬＥＤ光源の駆動電流に限らず、駆動電圧、ＰＷＭ比率など、種々の方法で駆動電力を制御可能である。そして、分割した計測パターン投影及びカメラ露光の時間と、増加した駆動電流とを含む設定情報を、設定入力部１３１から画像出力部４１０及び赤外光投影装置１０２、並びに画像出力部４１０を介して画像入力部４０１に伝送する。

なお、計測投影装置が計測パターン投影、カメラ露光、撮像画像の読み出し転送、位置情報計測の演算、映像投影という一連の処理を高速に行う場合、撮像画像の読み出し転送の処理が律速（すなわち、ボトルネック）となる可能性が高い。このため、計測投影装置は、この一連の処理を高速に実施するために、読み出し転送時間を基準（単位時間）として各処理時間を可変とするように構成される方が好ましい。例えば、計測パターン投影（及びカメラ露光）の期間を読み出し転送時間（単位時間）の１／ｎにしてもよい。また、ここでの単位時間は、撮像装置及び／又は演算装置の最大限の動作は実施されたときの読み出し転送の処理に要する時間に相当することが好ましい。また、このように単位時間が撮像装置及び／又は演算装置の性能に基づく場合、単位時間は事前に計測投影装置内部のメモリに格納されていてもよいし、計測投影装置外部から所望のネットワークを介して伝送されてきてもよいし、計測投影装置で実際にテストして計測してもよい。

図１３は、本実施の形態に係る投影システムの動作の第２例を示すタイムチャートである。図１３では、３個の計測投影装置Ｐ１、Ｐ２、Ｐ３によって時分割で交代に位置計測を行う場合の動作例を示している。この場合、計測パターン投影及びカメラ露光を行う期間を通常の単位時間の１／３（例えば１／３ミリ秒）に短く設定し、赤外ＬＥＤ光源の駆動電流（駆動電力）を３倍に増加する。これにより、赤外ＬＥＤ光源は例えば２～３倍程度の発光光量となる。ＬＥＤ光源などでは、単位時間当たりの平均電流によって駆動電流の定格が決まっているため、発光時間を分割して間欠点灯させる場合は、単位時間の平均電流を同じにして最大電流を大きくできる。すなわち、消費電力を変えずに最大発光量を増加できる。なお、ここでの動作例における位相数は計測投影装置の個数と同様に３である。

複数の計測投影装置Ｐ１、Ｐ２、Ｐ３は、タイミング制御部１５０より出力されるタイミング信号に従って、所定の単位時間の１／３の期間でそれぞれ順次交代で赤外光の計測パターン投影及びカメラ露光を行う。図示例では、計測投影装置Ｐ１→Ｐ２→Ｐ３の順番で１つの単位時間で計測パターン投影及びカメラ露光が交互に行われる。そして、計測投影装置Ｐ１、Ｐ２、Ｐ３は、それぞれの計測パターン投影及びカメラ露光が終了した時点で、パターン画像の撮像画像の読み出し及び対象物の位置情報の演算を１つの単位時間で行い、その後、対象物の位置情報に応じた映像コンテンツの作成及び映像投影を１つの単位時間で行う。このとき、赤外光の計測パターン投影及びカメラ露光を行う時間は、撮像画像の読み出し及び位置情報の演算を行う時間よりも短くなっている。

本実施の形態では、計測パターン投影及びカメラ露光を行う期間を分割して短くすることによって、位置計測と映像投影のフレームレートを保持したまま、複数の計測投影装置を用いた投影を行うことが可能となる。また、計測光の発光光量を増加することによって、位置計測の精度を向上できる。

図１４は、本実施の形態に係る投影システムの構成の第３例を示す図である。投影システムの構成の第３例は、計測投影装置のタイミング制御部の構成を変更した構成例である。本実施の形態の投影システムは、複数の計測投影装置として、マスターの計測投影装置１６０Ａと、スレーブの計測投影装置１６０Ｂとを有する。スレーブの計測投影装置１６０Ｂは、不可視光の計測光を検出する光センサ１５３を備える。光センサ１５３は、計測投影装置の第１例の外部同期インタフェース１５２と同様に、タイミング制御部として機能するものである。その他の構成及び機能は前述した第１例及び第２例と同様であるので、ここでは異なる部分についてのみ説明する。

図１５は、本実施の形態に係る投影システムの動作の第３例を示すタイムチャートである。図１５では、３個の計測投影装置Ｐ１、Ｐ２、Ｐ３によって時分割で交代に位置計測を行う場合の動作例を示している。ここでは、中央の計測投影装置Ｐ２がマスターとして機能し、左側の計測投影装置Ｐ１、右側の計測投影装置Ｐ３がスレーブとして機能する。なお、ここでの動作例における位相数は２であり、計測投影装置の個数よりも少ない。

まず、マスターの計測投影装置Ｐ２が、計測パターン投影及びカメラ露光を行う。この際、隣り合う計測投影装置において投影範囲が重複しているため、スレーブの計測投影装置Ｐ１、Ｐ３において、光センサ１５３によって不可視光の計測光が受光され、マスターの計測光の投影が検出される。スレーブの計測投影装置Ｐ１、Ｐ３は、マスターの計測投影装置Ｐ２が投影した不可視光の計測光を光センサ１５３によりタイミング信号として受光する。

マスターの計測投影装置Ｐ２による計測光の投影が終了すると、スレーブの計測投影装置Ｐ１、Ｐ３において、光センサ１５３によって計測光の発光停止を検知し、計測パターン投影開始のトリガとなるタイミング信号を画像出力部４１０に入力する。これにより、スレーブの計測投影装置Ｐ１、Ｐ３は、計測パターン投影及びカメラ露光を行う。なお、図示例では、図１３に示した投影システムの動作の第２例と同様に、計測光の発光時間の分割及び計測光の発光光量の増加を行った場合を示している。スレーブの計測投影装置Ｐ１、Ｐ３において計測光の投影を行っている間、光センサ１５３によって自装置の計測光が検出されるが、例えば自装置の計測パターン投影時には光センサ１５３の出力をマスクするなどして、マスターの計測投影装置Ｐ２による計測光のみを検出すればよい。

このとき、計測投影装置Ｐ２は、計測投影装置Ｐ１、Ｐ３と投影範囲が重複しているため、計測投影装置Ｐ１、Ｐ３と異なる投影タイミングで計測光の投影を行う。また、計測投影装置Ｐ１は、計測投影装置Ｐ２と投影範囲が重複しているが、計測投影装置Ｐ３とは投影範囲が重複していないので、計測投影装置Ｐ１、Ｐ３は同じ投影タイミングで計測光の投影を行う。これにより、位相数を計測投影装置の個数より少なくできる。すわなち、計測光の干渉を防止しつつさらに短い時間で効率良く対象物の計測を実行できる。

そして、計測投影装置Ｐ１、Ｐ２、Ｐ３は、それぞれの計測パターン投影及びカメラ露光が終了した時点で、パターン画像の撮像画像の読み出し及び対象物の位置情報の演算を１つの単位時間で行い、その後、対象物の位置情報に応じた映像コンテンツの作成及び映像投影を１つの単位時間で行う。

本実施の形態では、光センサによるタイミング制御部を備えることによって、外部同期インタフェースなどの通信部を設けることなく、複数の計測投影装置における計測光のタイミング制御を実施できる。

以上のように、本実施の形態の投影システムは、対象物１０５、１０６に対して位置計測及び投影を行う投影装置として複数の計測投影装置１００を含む投影システムである。計測投影装置１００は、対象物に非可視光である赤外光の計測光を投影する赤外光投影装置１０２と、対象物から反射した計測光の反射光を受光して撮像する撮像装置１０１と、計測光の反射光に基づいて対象物の位置情報を算出する演算装置１０３と、対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影装置１０４と、を有する。複数の計測投影装置１００において、第１の計測投影装置と、第２の計測投影装置とは、異なる投影タイミングで計測光を投影する。

これにより、複数の投影装置における計測光の干渉を防止できる。例えば隣り合う投影装置の投影範囲が重複している場合であっても、計測光の投影タイミングを異なるタイミングに設定することで、計測光の干渉を防止でき、適切な位置計測が可能となる。したがって、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる。

また、投影システムにおいて、第２の計測投影装置の赤外光投影装置１０２は、第１の計測投影装置の演算装置１０３が位置情報に関する演算中に計測光を投影する。これにより、計測光の干渉を防止しつつ短い時間で効率良く対象物の計測を実行できる。

また、投影システムにおいて、第２の計測投影装置の演算装置１０３は、第１の計測投影装置の可視光投影装置１０４が映像コンテンツを投影中に位置情報に関する演算を行い、対象物の形状及び位置を算出する。これにより、計測光の干渉を防止しつつ短い時間で効率良く対象物の計測を実行できる。

また、投影システムにおいて、第１の計測投影装置の赤外光投影装置１０２は、第１の計測投影装置の可視光投影装置１０４が映像コンテンツを投影中に計測光を投影する。これにより、計測光の干渉を防止しつつ短い時間で効率良く対象物の計測と映像の投影を実行できる。

また、投影システムにおいて、第２の計測投影装置の赤外光投影装置１０２は、撮像装置１０１で受光した反射光に関する情報を演算装置１０３へ転送中に計測光を投影する。これにより、短い時間で効率良く対象物の計測を実行できる。

また、投影システムにおいて、計測投影装置１００は、赤外光投影装置１０２により非可視光の計測光を投影する時間は、撮像装置１０１で受光した反射光に関する情報を演算装置１０３へ転送する時間よりも短くなっている。例えば、反射光に関する情報を演算装置１０３へ転送する時間に対して、投影システムにおける複数の計測投影装置の装置数分の１などの短い時間で計測光を発光させる。これにより、短時間で対象物の位置計測が可能となり、短い時間で効率良く対象物の計測を実行できる。また、計測光の発光時間の短縮に伴って発光量を増加できるので、位置計測の精度向上に寄与できる。

また、投影システムにおいて、計測投影装置１００は、計測光を投影する時間を、投影システムにおける計測投影装置の数、投影システムにおいて同時使用する計測投影装置の数、投影システムにおいて順次動作する計測投影装置の位相数のうち、少なくとも一つに応じて設定される。例えば、３個の計測投影装置を使用する場合は、通常の演算時間及び投影時間に対して１／３の時間に計測光の投影時間を設定する。また、計測光の発光量は例えば３倍に設定する。このように計測光の投影時間を分割して短くすることによって、短時間で対象物の位置計測が可能となり、位置計測と映像投影のフレームレートを保持したまま、複数の計測投影装置を用いた投影を行うことが可能となる。また、計測光の発光光量を増加することによって、位置計測の精度を向上できる。

また、投影システムにおいて、計測投影装置１００は、設定された非可視光の計測光を投影する時間に応じて、赤外光投影装置１０２の光源の駆動電力を調整する。例えば、投影システムにおける計測投影装置の位相数など、非可視光の計測光の発光時間に応じて、赤外ＬＥＤ光源の発光時のピーク電力を変化させる。これにより、計測光の発光時の単位時間の平均電力を同じにした状態で最大電力を大きくでき、最大発光量を増加できるため、位置計測の精度を向上できる。

また、投影システムにおいて、投影タイミングを制御するタイミング制御部１５０を有し、計測投影装置１００は、タイミング制御部１５０からタイミング信号を受信し、タイミング信号に従った所定タイミングで計測光を投影する。タイミング制御部１５０として、例えば装置外部に設けたタイミングジェネレータ１５１、装置内部に設けた外部同期インタフェース１５２、不可視光を検知する光センサ１５３などを用いる。これにより、複数の計測投影装置１００において適切に計測光の投影タイミングを制御し、同期させることができる。

また、投影システムにおいて、第１の計測投影装置及び第２の計測投影装置は、例えばスレーブとして機能し、投影タイミングを制御するタイミング制御部１５０からタイミング信号を受信し、タイミング信号に従った所定タイミングで計測光を投影する。これにより、複数の計測投影装置１００において適切に計測光の投影タイミングを制御し、同期させることができる。

また、投影システムにおいて、第２の計測投影装置は、例えばスレーブとして機能し、例えばマスターとして機能する第１の計測投影装置からタイミング信号を受信し、タイミング信号に従った所定タイミングで計測光を投影する。これにより、複数の計測投影装置１００において適切に計測光の投影タイミングを制御し、同期させることができる。

また、投影システムにおいて、第２の計測投影装置は、非可視光を検知する光センサ１５３を有し、光センサ１５３によって第１の計測投影装置が投影した非可視光の計測光をタイミング信号として受信する。このように、他の計測投影装置が投影する計測光をタイミング信号として用いて、適切に計測光の投影タイミングを制御し、同期させることが可能となる。

また、投影システムにおいて、第１の計測投影装置及び第２の計測投影装置と計測光の投影範囲が重複する第３の計測投影装置は、第１の計測投影装置及び第２の計測投影装置と異なる投影タイミングで計測光を投影する。これにより、複数の計測投影装置における計測光の干渉を防止でき、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる。

また、投影システムにおいて、第１の計測投影装置と計測光の投影範囲が重複し、第２の計測投影装置と計測光の投影範囲が重複しない第３の計測投影装置は、第２の計測投影装置と同じ投影タイミングで計測光を投影する。これにより、複数の計測投影装置における計測光の干渉を防止しつつ、短い時間で効率良く対象物の計測を実行できる。

本実施の形態の投影装置は、対象物１０５、１０６に対して位置計測及び投影を行う複数の投影装置を含む投影システムにおける計測投影装置１００である。計測投影装置１００は、対象物に非可視光である赤外光の計測光を投影する赤外光投影装置１０２と、対象物から反射した計測光の反射光を受光して撮像する撮像装置１０１と、計測光の反射光に基づいて対象物の位置情報を算出する演算装置１０３と、対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影装置１０４と、を有する。計測投影装置１００は、他の計測投影装置とは異なる投影タイミングで計測光を投影する。これにより、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる。

また、投影装置において、他の第１の計測投影装置からタイミング信号を受信し、タイミング信号に従った所定タイミングで計測光を投影する。これにより、複数の計測投影装置１００において適切に計測光の投影タイミングを制御可能にし、他の計測投影装置と同期させて計測光の干渉を防止できる。

また、投影装置において、他の第２の計測投影装置に対してタイミング信号を送信し、タイミング信号に従った所定タイミングで計測光を投影させる。これにより、複数の計測投影装置１００において適切に計測光の投影タイミングを制御し、他の計測投影装置と同期させて計測光の干渉を防止できる。

本実施の形態の投影方法は、対象物１０５、１０６に対して位置計測及び投影を行う投影装置として複数の計測投影装置１００を含む投影システムにおける投影方法である。計測投影装置１００において、対象物に非可視光である赤外光の計測光を赤外光投影装置１０２により投影し、対象物から反射した計測光の反射光を撮像装置１０１により受光して撮像し、計測光の反射光に基づいて対象物の位置情報を演算装置１０３により算出し、対象物の位置情報に基づいて可視光の映像コンテンツを可視光投影装置１０４により投影する。複数の計測投影装置１００において、第１の計測投影装置と、第２の計測投影装置とは、異なる投影タイミングで計測光を投影する。これにより、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる。

次に、本実施の形態の他の例として、複数の投影装置を有する投影システムにおいて、投影時間及び投影範囲等の投影動作の調整を行う際に、複数の投影範囲の位置関係を容易に把握可能とする投影調整プログラム、及び投影調整方法を例示する。

（投影システム及び投影調整装置の構成）
図１６は、本実施の形態に係る投影システムの構成の第４例を示す図である。本実施の形態では、図１６に示すような投影システムにおいて、パーソナルコンピュータ（ＰＣ）などによって構成される投影調整装置２００を用いて、複数の計測投影装置１００の投影動作の調整、或いはユーザによる投影動作の調整作業の支援を行う例を示す。ここでは、複数の計測投影装置１００によって、対象物１０５、１０６に対して多面投影を行って広い面積の領域をカバーするように、各計測投影装置１００の投影範囲の一部が重なるように投影範囲を設定する場合を想定する。

投影調整装置２００は、情報表示用のディスプレイを有するモニタ２５０が接続され、投影動作調整のための各種の投影情報を含む表示画面をモニタ２５０に表示する。投影調整装置２００は、プロセッサ及びメモリを有するＰＣなどの情報処理装置によって構成され、所定のコンピュータプログラムを実行することにより、投影情報の表示、投影動作の自動調整などの機能を実現する。

図１７は、本実施の形態に係る投影調整装置の機能構成を示すブロック図である。投影調整装置２００は、処理部２１０、記憶部２２０、通信インタフェース（Ｉ／Ｆ）２３０を有する。投影調整装置２００は、通信インタフェース２３０を介して計測投影装置１００と接続され、計測動作に関する設定情報、投影範囲情報、対象物の位置計測情報などの各種情報を送受信する。投影調整装置２００は、表示部２４０及び入力部２６０と接続され、表示部２４０への表示画面の表示、入力部２６０からの操作指示の入力を行う。

記憶部２２０は、フラッシュメモリ等による半導体メモリ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等によるストレージデバイスなどの少なくともいずれか一つを含む記憶デバイスを有する。記憶部２２０は、投影動作の調整に関する機能を実行する投影調整プログラム２２１を記憶する。

処理部２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサを有する。処理部２１０は、投影調整プログラム２２１に従って処理を実行し、位置関係表示２１１、投影時間設定２１２等の機能を実現する。

通信インタフェース２３０は、有線通信又は無線通信により計測投影装置１００等の外部装置との間で情報の送受信を行うインタフェースである。有線の通信インタフェースとしては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、イーサネット（登録商標）などを用いてよい。無線の通信インタフェースとしては、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどを用いてよい。

投影調整装置２００は、位置関係表示２１１の機能として、複数の計測投影装置の投影範囲の配置、投影範囲の重複状態、投影範囲の接続関係等の投影位置情報の表示を、図形表示、テキスト表示、アイコン表示、グラフ表示等の各種表示態様によって表示する。投影調整装置２００は、投影時間設定２１２の機能として、複数の計測投影装置の投影タイミング、投影の順番又は位相などの投影時間に関する設定を、各計測投影装置の投影範囲の配置、接続関係等の投影位置情報に基づいて行う。

（投影システムの動作）
ここで、複数の計測投影装置を有する投影システムにおける投影時間の設定及び投影範囲の配置について一例を説明する。

図１８Ａは、本実施の形態に係る投影システムの構成の第４例を示す図である。第４例の投影システムは、複数（図示例では４つ）の計測投影装置１００Ａ、１００Ｂを有し、これらの計測投影装置１００Ａ、１００Ｂによって対象物１０５、１０６に対する位置計測と映像投影とを行うものである。

第４例では、一つの計測投影装置（Ｐ２）１００Ａがマスターとして機能し、他の計測投影装置（Ｐ１、Ｐ３、Ｐ４）１００Ｂがスレーブとして機能する。図１８Ａではマスターの計測投影装置１００Ａの内部にタイミング制御部を有するように示しているが、外部にタイミング制御部を有していてもよい。この場合、計測投影装置Ｐ２は、マスターとして自装置から最初の投影期間にて計測光を投影するか、或いはスレーブとしてタイミング指示を受けて最初の投影期間にて計測光を投影する。なお、複数の計測投影装置は、有線の通信インタフェースで接続して計測光の投影タイミングを同期させる構成に限らず、無線の通信インタフェースで接続する構成であってもよい。また、図１４の第３例の投影システムで示したような光センサを用いて計測光の投影タイミングを同期させる構成としてもよい。計測投影装置Ｐ２による計測パターン投影が終了すると、両隣にある計測投影装置Ｐ１、Ｐ３が次の投影期間にて計測パターンを投影する。これにより、隣り合う複数の計測投影装置における計測光の干渉を防止する。

図１８Ｂは、本実施の形態に係る投影システムの第４例における計測パターンの投影時間の一例を示すタイムチャートである。計測投影装置Ｐ２は、最初の投影期間である第１の位相Ｔ１にて計測パターンを投影する。計測投影装置Ｐ２による計測パターン投影が終了したタイミングで、両隣の計測投影装置Ｐ１、Ｐ３は、次の投影期間である第２の位相Ｔ２にて計測パターンを投影する。そして、計測投影装置Ｐ１、Ｐ３による計測パターン投影が終了したタイミングで、計測投影装置Ｐ２は再び第１の位相Ｔ１として計測パターンを投影する。このとき、計測投影装置Ｐ３の隣にある計測投影装置Ｐ４は、計測投影装置Ｐ２と同時に第１の位相Ｔ１にて計測パターンを投影する。

このとき、計測投影装置Ｐ２は、計測投影装置Ｐ１、Ｐ３と投影範囲が重複しているため、計測投影装置Ｐ１、Ｐ３と異なる投影タイミング（第１の位相Ｔ１）で計測光の投影を行う。また、計測投影装置Ｐ１は、計測投影装置Ｐ２と投影範囲が重複しているが、計測投影装置Ｐ３とは投影範囲が重複していないので、計測投影装置Ｐ１、Ｐ３は同じ投影タイミング（第２の位相Ｔ２）で計測光の投影を行う。

投影調整装置２００は、上記のような複数の計測投影装置Ｐ１～Ｐ４の投影時間に関して、各計測投影装置の投影動作の順番、位相、投影タイミングなどを投影範囲の配置等に基づいて決定し、各計測投影装置に設定することが可能である。投影調整装置２００における投影調整プログラムの処理の具体例については後述する。

このように４つの計測投影装置において交代で計測光を投影することによって、隣り合う計測投影装置の投影範囲が重複していても、計測光の干渉を防止できる。また、投影範囲の重複が２重の場合に２つの位相によって交互に計測光の投影することによって、より短い時間で複数の計測投影装置の位置計測及び映像投影を実行できる。

図１９Ａは、本実施の形態に係る投影システムの第４例における投影範囲の一例を示す図である。第４例の投影システムにおいて、各計測投影装置Ｐ１～Ｐ４の投影範囲は、例えば図１９Ａに示すような配置となるものと仮定する。この場合、投影調整装置２００は、各計測投影装置Ｐ１～Ｐ４の位置計測による投影座標の位置計測情報を用いて、投影範囲を取得する。投影調整装置２００は、計測投影装置Ｐ１の投影範囲ＰＥ１、計測投影装置Ｐ２の投影範囲ＰＥ２、計測投影装置Ｐ３の投影範囲ＰＥ３、計測投影装置Ｐ４の投影範囲ＰＥ４を、図示例のような四角形の図形表示によって表示部２４０に表示する。ユーザは、このような投影位置情報の表示によって、複数の計測投影装置Ｐ１～Ｐ４の投影範囲を認識できる。

図１９Ｂは、本実施の形態に係る投影システムの第４例における計測パターンの投影動作の一例を示すタイムチャートである。計測投影装置Ｐ１～Ｐ４は、計測パターンを投影する際に、それぞれの装置に固有の装置ＩＤを示すＩＤコードを含む計測パターンを発光することも可能である。図示例では、計測投影装置Ｐ１はＩＤ１、計測投影装置Ｐ２はＩＤ２、計測投影装置Ｐ３はＩＤ３、計測投影装置Ｐ４はＩＤ４をそれぞれ設定しており、各計測投影装置は計測パターンの先頭に自装置のＩＤコードを含む計測パターンを投影する。計測投影装置Ｐ２が計測光を投影すると、投影範囲が重複している計測投影装置Ｐ１、Ｐ３は、計測投影装置Ｐ２による計測光の投影を検知できる。このため、計測投影装置Ｐ１、Ｐ３は、計測投影装置Ｐ２の計測光の投影が終了した時点で、自装置が計測光を投影可能であることを認識できる。したがって、複数の計測投影装置の投影範囲が複雑に重複している場合であっても、各計測投影装置による計測光の投影を認識でき、自装置が計測光を投影すべきタイミングを適切に判定可能である。

（投影調整方法の一例）
図２０は、本実施の形態に係る投影調整装置による投影調整方法の手順を示すフローチャートである。ここでは、投影調整プログラム２２１による位置関係表示２１１及び投影時間設定２１２に関する処理の一例として、複数の投影範囲の接続関係の表示、及び各計測投影装置の投影タイミングの設定を行う処理手順を示す。

投影調整装置２００は、処理部２１０において投影調整プログラム２２１に従って処理を実行する。まず、投影調整装置２００は、ユーザインタフェースとして、表示部２４０にＧＵＩ操作表示を行い、ユーザ操作用の操作画面を表示する（Ｓ１１）。そして、ユーザ操作に従って投影調整装置２００は以降の処理を実行する。ユーザにより計測実施の操作指示がなされると、投影調整装置２００は、計測投影装置をカウントするカウンタ値をｉ＝１として初期化し（Ｓ１２）、続いてｉ番目（初期状態では１番目）の計測投影装置のプロジェクタ投影を実行させる（Ｓ１３）。プロジェクタ投影として、上述した計測光の投影を実行させる。このとき、投影調整装置２００は、ｉ番目の計測投影装置による計測光の投影を、全ての計測投影装置において撮像装置のカメラで撮影させる（Ｓ１４）。

投影調整装置２００は、全ての計測投影装置による撮影結果から、ｉ番目の計測投影装置の投影範囲について、重複の有無、どの計測投影装置と重複しているかなど、投影範囲の接続関係を判定する（Ｓ１５）。投影範囲の重複がある場合、他の計測投影装置によって計測光が撮像される。計測光が撮像された計測投影装置の位置によって、複数の計測投影装置における投影範囲の接続関係を判定可能である。

次に、投影調整装置２００は、計測投影装置のカウンタ値をｉ＝ｉ＋１とし（Ｓ１６）、カウンタ値ｉが計測投影装置の数より小さいかどうかを判定する（Ｓ１７）。カウンタ値ｉが計測投影装置の数より小さい場合（Ｓ１７：Ｙｅｓ）、すなわち投影範囲の接続関係の判定が未処理の計測投影装置がある場合は、上記と同様にステップＳ１３～Ｓ１７の処理を繰り返す。つまり、投影調整装置２００は、全ての計測投影装置について順番に、計測光を投影して他の計測投影装置により撮像する動作を実行させ、それぞれの計測投影装置の投影範囲の接続関係を判定する。この各計測投影装置での計測光の投影及び全計測投影装置での撮像を行う計測処理は、ユーザが計測実施の操作指示を行ったときのみ実行してもよいし、所定時間毎に自動的に実行してもよい。

カウンタ値ｉが計測投影装置の数と等しくなった場合（Ｓ１７：Ｎｏ）、投影調整装置２００は、各計測投影装置の投影範囲の接続関係を示す投影位置情報を生成する。ここでは、一例として投影範囲の接続関係を示すグラフ表示の表示画面を作成する（Ｓ１８）。そして、投影調整装置２００は、表示部２４０の操作画面にグラフを描画し、各計測投影装置の投影範囲の接続関係を示すグラフ表示を行う（Ｓ１９）。

ユーザにより投影タイミングの自動割り当ての操作指示がなされると、投影調整装置２００は、上記作成したグラフ等の投影位置情報に基づき、各計測投影装置の投影範囲間の距離を算出し、起点となる計測投影装置を設定する（Ｓ２１）。起点となる計測投影装置は、マスターの計測投影装置として設定してもよい。続いて、投影調整装置２００は、起点となる計測投影装置から順に、接続している計測投影装置を辿っていき、投影範囲に重複が無い状態で投影タイミングの順番を示すスロット番号を再帰的に割り当てる（Ｓ２２）。スロット番号は、上述した投影期間の位相に相当する。この各計測投影装置の投影タイミングの割り当て処理は、ユーザが自動割り当ての操作指示を行ったときに、上記のステップＳ１３～Ｓ１７の計測処理が未完了である場合、計測処理を実行してから投影タイミングの割り当て処理を実行してよい。

このように、計測投影装置の投影範囲の接続関係を判定し、接続関係示す投影位置情報を生成して表示することにより、ユーザは複数の計測投影装置の投影範囲の位置関係を容易に把握可能となる。各投影範囲を図形等で示すイメージ表示、各投影範囲の重複等の接続関係をノード及び接続線等で示すグラフ表示などによって、一目でユーザが複数の投影範囲の位置関係を認識でき、視認性が良好な投影位置情報の表示を提供できる。これにより、ユーザが計測投影装置の投影範囲及び／又は投影タイミング等を調整する場合の投影動作の調整作業の支援を効果的に実施できる。

また、起点となる計測投影装置の決定、起点の計測投影装置から順に投影タイミングの割り当てを行うことにより、複数の計測投影装置における計測光の干渉を防止しつつ、各投影範囲の配置に応じた適切な投影順序及び位相などの投影タイミングを設定できる。また、計測光投影の起点となる計測投影装置として、効率が良い最適な計測投影装置を設定可能となる。

以下に、投影調整装置２００による投影位置情報の表示の種々の態様を例示する。

図２１Ａは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第１例を示す図である。図２１Ｂは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第１例を示す図である。投影位置情報の表示の第１例は、投影調整装置２００による投影位置情報の表示の一例を示したものである。

投影調整装置２００は、表示部２４０の操作画面に表示する投影位置情報として、図２１Ａに示すような複数の計測投影装置の投影範囲のイメージ表示、又は図２１Ｂに示すような複数の計測投影装置の投影範囲のグラフ表示を行う。図２１Ａのイメージ表示では、複数の計測投影装置１００として９個の計測投影装置Ｐ１～Ｐ９を有する場合に、各計測投影装置Ｐ１～Ｐ９の投影範囲ＰＥ１～ＰＥ９を、四角形の図形表示によって模式的に表している。このイメージ表示により、ユーザは投影範囲ＰＥ１～ＰＥ９の配置及び接続関係を容易に視認できる。また、各計測投影装置の投影範囲３５１を表示するとともに、投影範囲が２重に重複している２重の投影範囲３５２、投影範囲が３重に重複している３重の投影範囲３５３、投影範囲が４重に重複している４重の投影範囲３５４などを、色又はパターン等によって区別して強調表示してもよい。これにより、ユーザは投影範囲が重複している領域や重複の状態をイメージ表示によって容易に把握できる。

図２１Ｂのグラフ表示では、各計測投影装置Ｐ１～Ｐ９の投影範囲の位置を円マーク等のノード（節）３６１で表示し、それぞれの投影範囲が重複し接続関係があるノード３６１の間を接続線３６２で接続したグラフによって表している。このグラフ表示により、ユーザは各計測投影装置の投影範囲の接続関係を一目で確認できる。また、各計測投影装置Ｐ１～Ｐ９において、計測光の投影タイミングを示す位相Ｔ１～Ｔ４を表示してもよい。また、マスターの計測投影装置を設定する場合はマスターの計測投影装置を色又はパターン、マーク等によって識別表示してもよい。なお、図２１Ｂでは、グラフ表示は接続線３６２の方向を持たない無向グラフの表示としているが、計測光の干渉が一方向のみである場合は、接続線３６２において矢印など干渉方向を示す有向グラフの表示としてもよい。例えば、対象物が複雑な形状で第１の計測投影装置が第２の計測投影装置に干渉するが、逆方向に第２の計測投影装置が第１の計測投影装置には干渉しない場合などに、有向グラフの表示とすればよい。

ここで、複数の計測投影装置において起点となる計測投影装置の設定、及び各計測投影装置の投影タイミングの自動割り当てについて、図２１Ａ、図２１Ｂの表示例を用いて具体例を説明する。投影調整装置２００は、図２１Ａのイメージ表示から、図２１Ｂのグラフ表示を生成する。各の計測投影装置のノード３６１において、隣の計測投影装置との間で投影範囲が重複している箇所は、ノード３６１間が接続線３６２で接続される。投影調整装置２００は、各の計測投影装置のノードについて他のノードとの間の距離を算出し、最も遠いノードの距離が最小となるノード、すなわち他の全てのノードへの到達ステップ数が最小となるノードを抽出し、これを起点の計測投影装置のノードとする。複数のノード間の距離は、例えばダイクストラ法などによって最短経路を算出可能である。起点の計測投影装置をマスターの計測投影装置として設定してもよい。図示例では、中央に位置する計測投影装置Ｐ５が他の全ての計測投影装置のノードに１ステップで到達可能であるので、この計測投影装置Ｐ５を起点の計測投影装置に設定する。そして、投影調整装置２００は、起点の計測投影装置Ｐ５のノードから順に、隣接するノードにおいて重複が無いように投影タイミングの順番を示すスロット番号を再帰的に割り当てる。図示例では、計測投影装置Ｐ５を第１の位相Ｔ１、計測投影装置Ｐ４、Ｐ６を第２の位相Ｔ２、計測投影装置Ｐ２、Ｐ８を第３の位相Ｔ３、計測投影装置Ｐ１、Ｐ３、Ｐ７、Ｐ９を第４の位相Ｔ４に設定する。

投影調整装置２００は、上述した複数の計測投影装置の投影範囲の計測処理をリアルタイムで実行し、現在の計測投影装置の配置に応じて投影位置情報のイメージ表示又はグラフ表示を更新する。これにより、ユーザにおいて手動で計測投影装置の投影範囲及び／又は投影タイミング等を調整する場合の投影動作の調整作業の支援を実施する。

図２２Ａは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第２例を示す図である。図２２Ｂは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第２例を示す図である。投影位置情報の表示の第２例は、図２１Ａ、図２１Ｂに示した第１例の状態から一部の計測投影装置の投射範囲が変位した場合を例示するものである。

図２２Ａのイメージ表示のように、図中右下に位置する計測投影装置Ｐ９の投影範囲ＰＥ９が下側に変位し、計測投影装置Ｐ６の投影範囲ＰＥ６との重複が無くなった状態を想定する。この場合、図２２Ｂのグラフ表示では、計測投影装置Ｐ９のノードと計測投影装置Ｐ６のノードとの間の接続線が表示されず、ユーザは計測投影装置Ｐ６とＰ９との間で干渉が無く接続関係が無くなったことを認識できる。また、図２２Ａのイメージ表示によって、投影範囲ＰＥ６、ＰＥ９の間で不連続の領域が生じたことを認識できる。ユーザは、投影調整装置２００による投影位置情報の表示を見ながら、各計測投影装置の投影範囲の配置を確認し、適切な配置となるよう投影範囲を調整できる。また、ユーザは投影位置情報の表示に基づいて複数の計測投影装置の投影動作の順番、位相、投影タイミングなどを設定、調整することも可能である。

図２３Ａは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第３例を示す図である。図２３Ｂは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第３例を示す図である。投影位置情報の表示の第３例は、投影調整装置２００による投影位置情報の表示の他の例を示したものである。

投影調整装置２００は、表示部２４０の操作画面に表示する投影位置情報として、図２３Ａに示すような複数の計測投影装置の投影範囲のイメージ表示、又は図２３Ｂに示すような複数の計測投影装置の投影範囲のグラフ表示を行う。図２３Ａのイメージ表示では、複数の計測投影装置１００として４個の計測投影装置Ｐ１～Ｐ４を有する場合に、各計測投影装置Ｐ１～Ｐ４の投影範囲ＰＥ１～ＰＥ４を、四角形の図形表示によって模式的に表している。本例では、Ａ領域で示す投影範囲が２重に重複している２重の投影範囲３７１、Ｂ領域で示す投影範囲が３重に重複している３重の投影範囲３７２を、それぞれ色又はパターン等によって区別して強調表示する。

図２３Ｂのグラフ表示では、各計測投影装置Ｐ１～Ｐ４の投影範囲の位置を円マーク等のノード（節）３６１で表示し、それぞれの投影範囲が重複し接続関係があるノード３６１の間を接続線３６２で接続するとともに、重なりのある箇所を複数種類のノードで強調表示し、投影範囲の重複状態をよりわかりやすく視認可能にしている。図示例では、Ａ領域を２重の重複ノード３８１、Ｂ領域を３重の重複ノード３８２によって示している。重複箇所を示す重複ノード３８１、３８２は、色、パターン、形状などによって重複数、重複領域の大きさなどを区別して表示する。

これらのイメージ表示、グラフ表示により、ユーザは複数の計測投影装置の投影範囲が重複している位置、重複している投影範囲の数、重複している計測投影装置間の位置関係など、投影範囲の各種の状態を容易に視認可能である。特に、重複箇所についてもグラフ表示のノードで示すことによって、ユーザは投影範囲の重複数、重複関係などを一目で把握できる。

図２４は、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第４例を示す図である。図２５は、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第５例を示す図である。投影位置情報の表示の第４例及び第５例は、ユーザによる投影動作の調整作業の支援のための投影位置情報の表示例を示したものである。

投影調整装置２００は、表示部２４０の操作画面に表示する投影位置情報として、図２４に示すような複数の計測投影装置の投影範囲のイメージ表示を行う。図示例では、複数の計測投影装置の投影範囲を四角形の図形表示によって模式的に表すとともに、各計測投影装置の投影タイミングの位相Ｔ１～Ｔ４を示している。

複数の計測投影装置の投影範囲が隣接する場合、四角形で外周が四辺の投影範囲では最大の重複数は４であり、投影タイミングは４つの位相Ｔ１～Ｔ４を設定することによって全ての計測投影装置の投影が可能になる。ここで、４重の投影範囲３９１を色又はパターン等によって区別して表示し、ユーザが投影範囲の重複領域及び重複数を視認可能にしてもよい。

図２４に示した第４例の状態から、ユーザが一部の計測投影装置の投射範囲を調整して変位させることにより、図２５に示す第５例のようになった場合を想定する。この場合、図中上から２段目と４段目の３つずつ合計６つの計測投影装置の投影範囲を図中左右方向に位置をずらして配置することにより、投影範囲の最大重複数を３にすることができる。この場合、投影タイミングは３つの位相Ｔ１～Ｔ３を設定することによって全ての計測投影装置の投影が可能になる。ここで、３重の投影範囲３９２を色又はパターン等によって区別して表示し、ユーザが投影範囲の重複領域及び重複数を視認可能にしてもよい。このように３位相で全ての領域をカバーできるように複数の計測投影装置の投射範囲を調整することによって、効率の良い位置計測及び映像投影を実行可能になる。

上記のようなイメージ表示によって、ユーザにおいて適切な投影範囲及び投影タイミングを設定可能なように投影動作の調整作業を支援することができる。なお、投影位置情報の表示において、４位相の投影が必要な４重の投影範囲がある場合にその領域を目立つ色又はマークなどによって警告表示を行うことによって、ユーザにより３位相の投影動作が可能な投影範囲の配置設定が容易にできるように支援することも可能である。また、投影範囲の位置調整時の移動方向、移動量などを算出して支援することも可能である。

以上のように、本実施の形態の投影調整プログラムは、対象物１０５、１０６に対して位置計測及び投影を行う投影装置として複数の計測投影装置１００を含む投影システムにおいて、コンピュータにより計測投影装置１００の投影動作の調整に関する処理を実行する投影調整プログラムである。この投影調整プログラムは、例えば投影システムの計測投影装置１００と接続される投影調整装置２００により実行される。投影調整プログラムは、投影システムの第１の計測投影装置において対象物に非可視光の計測光を投影し、投影システムの第２の計測投影装置において対象物から反射した計測光の反射光を受光し、受光した計測光の反射光に基づいて第１の計測投影装置の投影範囲の接続関係を判定する。また、投影調整プログラムは、接続関係の判定処理を全処理対象の投影装置について実行し、投影システムにおける各計測投影装置の投影範囲の接続関係を示す投影位置情報を生成し、表示部に表示する。

これにより、投影装置を複数配置する場合に、投影範囲の重複の有無、重複関係、重複数など、複数の投影範囲の位置関係をユーザが容易に把握可能となる。また、ユーザにおいて適切な投影範囲及び投影タイミングを設定可能なように投影動作の調整作業の支援を効果的に実施可能となる。

また、投影調整プログラムにおいて、投影位置情報の表示として、計測投影装置の投影範囲を示すイメージ表示を生成する。これにより、例えば投影範囲の図形表示などのイメージ表示によって、複数の計測投影装置における各投影範囲の配置、投影範囲の重複関係など、複数の投影範囲の位置関係をユーザが容易に把握可能となる。

また、投影調整プログラムにおいて、投影位置情報の表示として、計測投影装置の投影範囲の位置を示すノードと、投影範囲の重なりによるノード間の接続関係を示す接続線とを含むグラフ表示を生成する。これにより、グラフ表示のノードによって複数の計測投影装置における各投影範囲の配置を把握でき、また、接続線によって各投影範囲の接続関係（重複の状態）を容易に把握可能となる。

また、投影調整プログラムにおいて、複数の計測投影装置の投影範囲において重なりがある場合、重複箇所を強調表示する。これにより、投影範囲の重複箇所を一目で容易に認識でき、各投影範囲の接続関係を容易に把握可能となる。

また、投影調整プログラムにおいて、複数の計測投影装置の投影範囲において重なりがある場合、重複箇所において投影範囲の重複状態を示す重複ノードを表示する。これにより、投影範囲の重複箇所、及び重複数などの重複状態を一目で容易に認識でき、各投影範囲の接続関係を容易に把握可能となる。

また、投影調整プログラムにおいて、投影範囲の接続関係を示す投影位置情報に基づき、それぞれの計測投影装置の投影範囲間の距離を算出し、他の計測投影装置との距離が最小となる計測投影装置を起点の計測投影装置として設定する。これにより、例えばマスターの計測投影装置など、計測光投影の起点となる計測投影装置を、各計測投影装置の投影範囲の配置に基づいて効率が良い最適な計測投影装置を設定可能となる。

また、投影調整プログラムにおいて、起点の計測投影装置から順に、投影範囲に重複が無い状態で投影タイミングを再帰的に割り当てる。これにより、複数の計測投影装置における計測光の干渉を防止しつつ、各投影範囲の配置に応じた適切な投影順序及び位相などの投影タイミングを設定できる。

本実施の形態の投影調整方法は、対象物１０５、１０６に対して位置計測及び投影を行う投影装置として複数の計測投影装置１００を含む投影システムにおいて、計測投影装置１００の投影動作の調整に関する処理を実行する投影調整装置２００による投影調整方法である。この投影調整方法は、投影システムの第１の計測投影装置において対象物に非可視光の計測光を投影し、投影システムの第２の計測投影装置において対象物から反射した計測光の反射光を受光し、受光した計測光の反射光に基づいて第１の計測投影装置の投影範囲の接続関係を判定する。また、投影調整方法は、接続関係の判定処理を全処理対象の投影装置について実行し、投影システムにおける各計測投影装置の投影範囲の接続関係を示す投影位置情報を生成し、表示部に表示する。これにより、投影装置を複数配置する場合に複数の投影範囲の位置関係を容易に把握できる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。

本開示は、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる投影システム、投影装置及び投影方法として有用である。

１００、１００Ａ、１００Ｂ、１４０、１６０Ａ、１６０Ｂ 計測投影装置
１０１ 撮像装置
１０２ 赤外光投影装置
１０３ 演算装置
１０４ 可視光投影装置
１０５ 第１の対象物
１０６ 第２の対象物
１１１ レンズ光学系
１１２ 赤外ＬＥＤ光源
１１３ 表示デバイス
１３１ 設定入力部
１４２ 投影装置
１５０ タイミング制御部
１５１ タイミングジェネレータ
１５２ 外部同期インタフェース（Ｉ／Ｆ）
１５３ 光センサ
２００ 投影調整装置
２１０ 処理部
２２０ 記憶部
２２１ 投影調整プログラム
２３０ 通信インタフェース（Ｉ／Ｆ）
２４０ 表示部
２５０ モニタ
２６０ 入力部
４０１ 画像入力部
４０２ パターン復号部
４０５ 座標変換部
４０７ 座標補間部
４０８ コンテンツ生成部
４１０ 画像出力部
４１１ パターン生成部

Claims (2)

1. 対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムであって、
   前記投影装置は、
   前記対象物に非可視光の計測光を投影する非可視光投影部と、
   前記対象物から反射した計測光の反射光を受光する受光部と、
   前記計測光の反射光に基づいて前記対象物の位置情報を算出する演算部と、
   前記対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影部と、を有し、
   複数の前記投影装置において、第１の投影装置と、第２の投影装置とは、異なる投影タイミングで前記計測光を投影し、
   前記第２の投影装置は、前記第１の投影装置からタイミング信号を受信し、前記タイミング信号に従った所定タイミングで前記計測光を投影し、
   前記第２の投影装置は、非可視光を検知する光センサを有し、前記光センサによって前記第１の投影装置が投影した前記非可視光の計測光を前記タイミング信号として受信する、
   投影システム。
2. 対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムであって、
   前記投影装置は、
   前記対象物に非可視光の計測光を投影する非可視光投影部と、
   前記対象物から反射した計測光の反射光を受光する受光部と、
   前記計測光の反射光に基づいて前記対象物の位置情報を算出する演算部と、
   前記対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影部と、を有し、
   複数の前記投影装置において、第１の投影装置と、第２の投影装置とは、異なる投影タイミングで前記計測光を投影し、
   前記第１の投影装置と前記計測光の投影範囲が重複し、前記第２の投影装置と前記計測光の投影範囲が重複しない第３の投影装置は、前記第２の投影装置と同じ投影タイミングで前記計測光を投影する、
   投影システム。

Images