JP6587158B2 - 投影システム - Google Patents

Description

本開示は、物体の形状および位置等に応じた映像を投影する投影システムに関する。

特許文献１は、建物のような構造物に映像コンテンツを投影するプロジェクションマッピングのための投影システムを開示している。特許文献１の投影システムにおいては、投影装置が、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光とを構造物に照射する。また、撮像装置が、構造物に投影されたパターン画像を撮像する。特許文献１の投影システムによると、構造物に映像コンテンツを位置合わせしてプロジェクションマッピングを行うことが可能になる。

特開２０１５−１７３４３１号公報

本開示は、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる投影システムを提供する。

本開示の一態様における投影システムは、物体の形状に応じた映像を投影する。投影システムは、非可視光投影部と、撮像部と、映像生成部と、可視光投影部とを備える。非可視光投影部は、物体に所定の非可視光映像を非可視光により投影する。撮像部は、非可視光投影部によって投影された非可視光映像を撮像する。映像生成部は、撮像部によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光投影部は、物体に映像データが示す映像を可視光により投影する。非可視光投影部は、非可視光映像を投影するための非可視光をパルス発光する。映像生成部は、パルス発光のタイミングに応じて撮像された撮像画像に基づき、映像データを生成する。撮像部は、パルス発光に同期して、パルス発光のタイミングから所定の遅延期間の経過毎に撮像動作を行う。遅延期間は、物体までの距離および光速に基づく期間である。

本開示の別の態様における投影システムにおいて、撮像部は、非可視光のパルス発光の繰り返し周期よりも短い時間間隔において撮像動作を繰り返す。映像生成部は、繰り返し撮像された撮像画像の中からパルス発光のタイミングに応じた撮像画像を抽出する。

本開示における投影システムによると、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる。

実施形態１に係る投影システムの構成を示すブロック図 投影システムにおける三次元計測の原理を説明するための図 空間コード化法に基づく計測パターンを説明するための図 投影システムにおける各種フィルタの機能を説明するための図 投影システムにおけるパルス発光制御の機能を説明するための図 実施形態１に係る投影システムの動作タイミングを示すタイミングチャート 実施形態２に係る投影システムの動作タイミングを示すタイミングチャート 実施形態２の変形例に係る投影システムの動作タイミングを示すタイミングチャート 実施形態３に係る投影システムの動作タイミングを示すタイミングチャート 実施形態３の変形例に係る投影システムの動作タイミングを示すタイミングチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
１．構成
実施形態１に係る投影システムの構成を、図１を参照して説明する。図１は、本実施形態に係る投影システム１の構成を示すブロック図である。

投影システム１は、図１に示すように、可視光プロジェクタ２と、赤外光プロジェクタ３と、カメラ４と、コントローラ５と、スクリーン１０とを備える。本実施形態に係る投影システム１は、例えば演出用に人物等の被写体６に可視光の映像を投影するプロジェクションマッピングを行うシステムである。投影システム１では、可視光プロジェクタ２からの可視光による映像コンテンツを、被写体６の動きに追従させるため、赤外光プロジェクタ３及びカメラ４を用いて被写体６の形状等を計測する。また、スクリーン１０は、各プロジェクタ２，３の投影方向において被写体６よりも後方となる位置に配置される。

可視光プロジェクタ２は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。可視光プロジェクタ２は、例えばコントローラ５から入力される映像信号（映像データ）に基づき、種々の映像コンテンツを含む映像を投影するように可視光を出射する。可視光プロジェクタ２は、本実施形態における可視光投影部の一例である。可視光プロジェクタ２は、図１に示すように、可視光光源２１と、空間光変調部２２と、投影光学系２３とを備える。

可視光光源２１は、本実施形態では、赤色光、緑色光及び青色光をそれぞれ出射する複数の光源素子（例えばＬＥＤ）を含む。可視光光源２１は、可視光プロジェクタ２の投影方式に応じて適宜、単色の光源素子のみ、或いは白色の光源素子を有してもよい。光源素子は、レーザダイオード又はハロゲンランプなどであってもよい。

空間光変調部２２は、本実施形態では、３つの空間光変調素子で構成される。空間光変調素子としては、ＤＭＤ又はＬＣＤ等を用いることができる。空間光変調部２２は、１つの空間光変調素子で構成されてもよい。

投影光学系２３は、可視光プロジェクタ２の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。

赤外光プロジェクタ３は、例えばＤＬＰ方式、ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。赤外光プロジェクタ３は、例えばコントローラ５から入力される映像信号（映像データ）に基づき、後述する所定の赤外光の計測パターンを投影する。赤外光プロジェクタ３は、非可視光により非可視光映像を投影する非可視光投影部の一例である。本実施形態では、非可視光の一例として赤外光を用いるが、これに限らず、例えば紫外光を用いてもよい。

赤外光プロジェクタ３は、図１に示すように、パルス光源３１と、空間光変調素子３２と、投影光学系３３とを備える。

パルス光源３１は、本実施形態では、赤外光をパルス発振するパルスレーザで構成される。パルス光源３１は、パルス発振により、０．１ピコ秒〜２０マイクロ秒等のパルス幅において、例えばピーク波長が８００ｎｍ〜９００ｎｍの赤外光をパルス発光する。

空間光変調素子３２は、ＤＭＤ又はＬＣＤ等で構成される。空間光変調素子３２の画像形成面には、コントローラ５等からの映像信号に基づき画像が形成される。パルス光源３１においてパルス発光した赤外光が空間光変調素子３２の画像形成面に入射することで、赤外光が空間変調され、非可視光映像が生成される。

投影光学系３３は、赤外光プロジェクタ３の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。

各プロジェクタ２，３は、例えば互いに同一の領域に光を出射可能に配置される。各プロジェクタ２，３は、それぞれの光軸が一致するように光学的に結合されてもよい。この場合、例えば、可視光を透過して赤外光を反射する、或いは可視光を反射して赤外光を透過するダイクロイックミラーなどを用いてもよい。また、この場合、それぞれの投影光学系２３，３３は一体的に構成されてもよい。また、赤外光プロジェクタ３と可視光プロジェクタ２とが、一つの装置として一体的に構成されてもよい。

カメラ４は、赤外光プロジェクタ３によって非可視光映像が投影される領域の画像を撮像可能な位置に配置される。カメラ４は、赤外光において被写体６に投影される計測パターンの撮像画像を生成し、撮像画像を示す画像データである撮像データをコントローラ５に出力する。カメラ４は、投影システム１における撮像部の一例である。カメラ４は、図１に示すように、撮像素子４１と、撮像レンズ４２と、可視光遮断フィルタ４３とを備える。

撮像素子４１は、例えばシリコンを主原料として含むＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどの固体撮像素子で構成される。撮像素子４１は、光を受光する複数の画素回路が並ぶ撮像面を有する。撮像素子４１の主原料はシリコンに限らず、例えばゲルマニウムやガリウムであってもよい。

撮像レンズ４２は、カメラ４の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。

可視光遮断フィルタ４３は、入射する光の内の赤外光成分を透過し、可視光成分を吸収するバンドパスフィルタ或いはロングパスフィルタである。可視光遮断フィルタ４３は、例えば撮像レンズ４２に取り付けられる。可視光遮断フィルタ４３は、カメラ４において選択的に赤外光を透過する波長選択部材の一例である。

可視光遮断フィルタ４３は、撮像レンズ４２におけるコーティング、或いは回折格子の形成等により、撮像レンズ４２と一体的に構成されてもよい。また、可視光遮断フィルタ４３は、撮像素子４１の画像形成面などに組み込まれて構成されてもよい。また、可視光遮断フィルタ４３は、可視光成分の吸収に代えて、又はこれに加えて、可視光成分を反射するように構成されてもよい。

コントローラ５は、投影システム１の各部を制御する制御装置である。コントローラ５は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを備える。コントローラ５は、図１に示すように、映像生成部５０と、記憶部５１とを備える。

コントローラ５は、記憶部５１に格納されたデータやプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、コントローラ５は、映像生成部５０としての機能を実現する。また、コントローラ５は、カメラ４、赤外光プロジェクタ３及び可視光プロジェクタ２等の各種動作タイミングの制御（例えば各部の同期制御）、ズーム制御、フォーカス制御などを行ってもよい。

コントローラ５は、所定の機能を実現するように設計された専用の電子回路や再構成可能な電子回路などのハードウェア回路であってもよい。コントローラ５は、ＣＰＵ，ＭＰＵ，マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。また、コントローラ５の各種機能は、投影システム１の各部２，３，４に組み込まれてもよい。

映像生成部５０は、可視光プロジェクタ２によって投影される映像コンテンツを示す映像データを生成する。この際、映像データは、映像コンテンツを被写体６の動きに追従して投影できるように生成される必要がある。このため、映像生成部５０は、カメラ４からの撮像データに基づき被写体６の形状等の三次元計測を行う。映像生成部５０の動作については後述する。

記憶部５１は、コントローラ５の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体であり、例えばハードディスク（ＨＤＤ）又は半導体記憶装置（ＳＳＤ）を備える。また、記憶部５１は、さらに、ＤＲＡＭやＳＲＡＭ等の半導体デバイスを備えてもよく、データを一時的に記憶するとともにコントローラ５の作業エリアとしても機能する。例えば、記憶部５１は、種々の映像コンテンツを示す映像データ及び後述する計測パターンを示す映像データを格納する。

スクリーン１０は、投影システム１において被写体６の背景となるような映像コンテンツを映し出すための背景部材の一例である。スクリーン１０を用いることにより、例えば被写体６の動きに連動するような映像コンテンツが投影でき、プロジェクションマッピングにおける演出効果を高めることができる。スクリーン１０は、図１に示すように、拡散部材１１と、赤外光遮断フィルタ１２とを備える。

拡散部材１１は、可視光を拡散反射する投影面を構成する幕部材である。スクリーン１０は、拡散部材１１が赤外光遮断フィルタ１２に覆われる二層構造で構成される（図４参照）。スクリーン１０の投影面は、平面であってもよいし、曲面であってもよい。

赤外光遮断フィルタ１２は、入射する光の内の可視光成分を平均５０％以上の透過率で透過し、赤外光成分を平均５０％以上吸収する光学特性を有するフィルム部材で構成される。赤外光遮断フィルタ１２により、スクリーン１０の投影面が入射する赤外光の拡散反射を遮断する遮光面として形成される。赤外光遮断フィルタ１２は、スクリーン１０における遮光部材の一例である。

赤外光遮断フィルタ１２は、上記の光学特性に限らず、例えば赤外光を鏡面反射する光学特性を有してもよい。また、赤外光遮断フィルタ１２は、例えばビーズ部材等を含む再帰反射構造を備えてもよい。また、赤外光遮断フィルタ１２は、フィルム部材に限らず、例えばパネル部材で構成されてもよい。また、拡散部材１１に対するコーティングなどにより、赤外光遮断フィルタ１２が形成されてもよい。

２．動作
以上のように構成された投影システム１の動作を以下に説明する。

２−１．投影動作（プロジェクションマッピング）
本実施形態に係る投影システム１においてプロジェクションマッピングを行うための投影動作を、図１を参照して説明する。

まず、赤外光プロジェクタ３は、赤外光を出射して、複数の計測パターンの内の各計測パターンを順次、被写体６に投影する。計測パターンは、空間コード化法によって被写体６の形状及び位置を計測するための非可視光映像の一例である。計測対象の形状は、被写体６等の物体の輪郭及び凹凸を含む三次元形状である。また、計測対象の位置は、物体までの距離を含む三次元的な位置である。三次元計測の原理については後述する。

赤外光プロジェクタ３は、例えばコントローラ５の制御により、記憶部５１に格納された映像データを読み出し、空間光変調素子３２において映像データが示す計測パターンを形成する。次いで、赤外光プロジェクタ３は、パルス光源３１を駆動して、スクリーン１０の投影面全体などの範囲を含む画角において、赤外光の計測パターンを投影する。

この際、カメラ４は、赤外光プロジェクタ３によって投影された計測パターンを撮像し、計測パターンの撮像画像を示す撮像データをコントローラ５に出力する。カメラ４の撮像動作は、複数の計測パターンにおける計測パターン毎に行われる。

次に、コントローラ５の映像生成部５０は、計測パターンの撮像画像に基づいて被写体６の形状及び位置を計測し、計測結果に応じて被写体６に投影される映像コンテンツを含む映像データを生成する。

具体的に、映像生成部５０は、後述する空間コード化法によって撮像画像における被写体６の領域の画素毎に自装置までの距離を計測し、画素毎に計測した距離を示す距離画像を生成する。生成した距離画像に基づいて、映像生成部５０は、デフォルトの映像データが示す映像コンテンツが計測した形状及び位置の被写体６に投影された際に適切に映し出されるように、デフォルトの映像データを補正する。デフォルトの映像データは、例えば予め記憶部５１に格納されている。

また、本実施形態において、映像生成部５０は、スクリーン１０に投影する映像コンテンツも含めるように、可視光プロジェクタ２に出力する映像データを生成する。例えば、投影システム１の設置時などのキャリブレーションによりスクリーン１０の位置及び形状（向き）を示す情報を予め記憶部５１に記録しておき、投影動作時に映像生成部５０が上記の情報を参照して、スクリーン１０に投影する映像コンテンツの補正を行う。

次に、可視光プロジェクタ２は、コントローラ５の映像生成部５０からの映像データに基づき空間光変調部２２を制御し、可視光光源２１からの可視光の出射により被写体６及びスクリーン１０に映像コンテンツを投影する。

投影システム１は、以上の処理を所定のフレームレートにおいて繰り返し行う。これにより、可視光プロジェクタ２から投影される映像コンテンツを被写体６の動きに精度良く追従させることができる。

以上のような投影システム１の投影動作においては、赤外光プロジェクタ３から投影される計測パターンの撮像画像に基づく被写体６の形状及び位置の計測精度を良くすることが重要である。そこで、本実施形態では、上記の計測精度を良くするという目的を達成するために、各種フィルタ１２，４３を用いる。また、本実施形態では、上記の目的を達成するために、赤外光プロジェクタ３においてパルス発光制御を採用する。以下、本実施形態に係る投影システム１の動作の詳細について説明する。

２−２．三次元計測の原理について
本実施形態では、被写体６の形状等を計測するための計測原理として、空間コード化法によるアクティブステレオ計測を採用する。本計測原理について、図２，３を用いて説明する。図２は、三次元計測の原理を説明するための図である。図３は、空間コード化法に基づく計測パターンを説明するための図である。

図２では、カメラ４と赤外光プロジェクタ３とが、それぞれの光軸が平行になるように並んで配置されている。以下、図２に示すように、各光軸の方向をｚ方向とする。また、ｚ方向に直交し、カメラ４と赤外光プロジェクタ３とが並ぶ方向をｘ方向とし、ｚ方向及びｘ方向に直交する方向をｙ方向とする。

図２では、赤外光プロジェクタ３から出射した赤外光が物体の特定の点（輝点）において反射し、輝点からの反射光がカメラ４に入射する様子を示している。図２に示すように、カメラ４と赤外光プロジェクタ３との間には、視差θが生じる。赤外光プロジェクタ３から投影された映像がカメラ４で撮像されると、投影された映像はカメラ４の撮像画像において視差θだけずれて映る。すなわち、図２に示すように、物体上の輝点までの距離に応じて、カメラ４の撮像画像における輝点のｘ座標がずれる。

投影システム１では、上記のような座標のずれに基づき、コントローラ５（映像生成部５０）がカメラ４と赤外光プロジェクタ３との間隔を基線長とする三角法に基づく計算を行って、ｚ方向の距離を計測する。基線長は、例えば投影システム１の設置時のキャリブレーションなどによって予め取得される。座標のずれは、空間コード化法に基づく計測パターンを用いて計測される。この計測方法について、図３（ａ），（ｂ）を参照して説明する。

図３（ａ）は、赤外光プロジェクタ３から投影される１組の計測パターン８１，８２，８３の映像データを例示している。各計測パターン８１〜８３は、ずれの計測対象のｘ座標の方向に沿って配置された発光領域Ｒ１と非発光領域Ｒ０を有する。空間コード化法によると、発光領域Ｒ１を「１」、非発光領域Ｒ０を「０」に対応させることで、映像データ上のｘ座標がコード化される。図３（ａ）の例では、３つの計測パターン８１〜８３により、映像データ上で８つの領域に対応する３ビットのコードが得られる。

図３（ｂ）は、図３（ａ）の各計測パターン８１，８２，８３が投影された物体がカメラ４によって撮像されたときに生成される撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３を示している。図３（ｂ）に示すように、同じコード「１１０」に対応する輝点であっても、物体上の奥行きに応じて、撮像画像におけるｘ座標がずれる。本実施形態では、コントローラ５が、映像生成部５０において撮像画像Ｉｍ１〜Ｉｍ３を示す撮像データをデコードすることにより、座標のずれを計測する。

具体的に、コントローラ５は、まず、１フレームの撮像画像の画素毎に、画素の輝度と所定のしきい値とを比較するしきい値判定を行う。所定のしきい値は、撮像画像中で計測パターンにおける発光領域の輝点を映している画素を判断する基準のしきい値であり、例えばノイズの光量を考慮して設定される。コントローラ５は、しきい値判定において、輝度がしきい値を越えると判断した画素に「１」を割り当て、輝度がしきい値を越えないと判断した画素に「０」を割り当てる。

コントローラ５は、以上の処理を全ての撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３に対して行い、画素毎に割り当てられた二値（「０」又は「１」）を集計することにより、撮像データのデコードを行う。この際、コントローラ５は、例えば全撮像画像Ｉｍ１〜Ｉｍ３において輝度がしきい値を超えない領域を除くなどにより、撮像データ上で被写体と考えられる領域を抽出してもよい。

コントローラ５は、デコード結果が表すｘ座標の値と基準のｘ座標の値とを画素毎に比較することにより、ｘ座標のずれを計測する。ｙ座標のずれについても、例えば図３（ａ）の計測パターン８１〜８３を９０度回転させた計測パターンを用いることで、上記と同様に計測できる。また、赤外光プロジェクタ３と可視光プロジェクタ２との間にも視差がある場合、例えば予め両者の設置位置を示す情報を取得しておき、適宜、赤外光プロジェクタ３において規定される三次元座標を可視光プロジェクタ２において規定される三次元座標に換算する。

２−３．各種フィルタについて
本実施形態における赤外光遮断フィルタ１２及び可視光遮断フィルタ４３の機能について、図４を用いて説明する。図４は、投影システム１における各種フィルタの機能を説明するための図である。

本実施形態では、可視光プロジェクタ２は、被写体６と共に、スクリーン１０に映像コンテンツを投影する（図１参照）。スクリーン１０において観察者等に視認可能に映像コンテンツを映すためには、図４に示すように、可視光プロジェクタ２からの可視光がスクリーン１０において拡散反射される必要がある。しかし、赤外光プロジェクタ３からの赤外光もスクリーン１０において拡散反射されると、カメラ４による計測パターンの撮像画像中で、被写体６の領域と被写体６以外の領域との境界が不明瞭になってしまう。

そこで、本実施形態では、スクリーン１０の投影面において赤外光が拡散反射されないように、赤外光遮断フィルタ１２を用いてスクリーン１０を構成する（図４）。これにより、赤外光プロジェクタ３から投影される計測パターン中のスクリーン１０に投影された部分はカメラ４の撮像画像に映らずに、計測パターン中の被写体６に投影された部分のみが、撮像画像に映ることとなる。このため、カメラ４の撮像画像上で被写体６の輪郭が明瞭になり、被写体６の形状及び位置を精度良く計測可能になる。

また、スクリーン１０は、可視光を拡散反射する拡散部材１１に赤外光遮断フィルタ１２を重ねて構成される。図４に示すように、赤外光遮断フィルタ１２が可視光を透過することにより、スクリーン１０の投影面において可視光の拡散反射は維持される。これにより、スクリーン１０において可視光プロジェクタ２による映像の視認性を確保することができる。

また、本実施形態では、図４に示すように、可視光遮断フィルタ４３をカメラ４に用いて、カメラ４に入射する光の内の可視光成分を遮断して赤外光成分を透過する。これにより、可視光プロジェクタ２が可視光の発光により映像を投影するタイミングに拘らず、カメラ４が赤外光プロジェクタ３による計測パターンを精度良く撮像することができる。

スクリーン１０の遮光面１０ａにおける拡散反射の遮断は、赤外光の吸収に限らず、赤外光遮断フィルタ１２が赤外光を鏡面反射、或いは再帰反射すること等によって実現されてもよい。鏡面反射によると、撮像画像中に遮光面１０ａを鏡面とする赤外光プロジェクタ３の光源像が映ることになる。この場合、例えばコントローラ５が撮像画像中で光源像の領域を光量又は位置等により判定し、除去してもよい。また、再帰反射によると、赤外光プロジェクタ３が出射した赤外光が赤外光プロジェクタ３に向けて反射され、カメラ４への入射を遮断できる。

２−４．パルス発光制御について
本実施形態における計測パターンのパルス発光制御について、図５を用いて説明する。図５は、投影システム１におけるパルス発光制御の機能を説明するための図である。

図５に示すように、被写体６で反射される光には、赤外光プロジェクタ３からの赤外光の他にも、可視光プロジェクタ２からの可視光および外光が含まれる。外光には通常、可視光成分と共に赤外光成分が含まれる。ここで、赤外光プロジェクタ３からの赤外光以外の光は、カメラ４に露光されることで、撮像画像に基づく被写体６の計測精度を低下させるノイズになる。

そこで、本実施形態では、赤外光プロジェクタ３のパルス光源３１（図１）が計測パターンを投影するための赤外光をパルス発光し、発光する赤外光の光量をパルス幅の期間に集中させる（図５）。この際、カメラ４は、赤外光のパルス発光のタイミングに同期して撮像動作を行う。これにより、カメラ４に露光される光量において、外光等のノイズの光量よりも赤外光プロジェクタ３からの赤外光の光量を顕著に大きくすることができ、被写体６の計測精度におけるＳ／Ｎ比を向上できる。また、計測精度に対する外光の影響の緩和により、投影システム１の設置自由度を広げることができる。

以下、本実施形態における投影システム１のタイミング制御の詳細について、図６（ａ）〜（ｇ）を用いて説明する。

図６（ａ），（ｂ），（ｃ）は、それぞれ可視光プロジェクタ２による赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の発光タイミングを示す。本実施形態において、可視光プロジェクタ２は、図６（ａ）〜（ｃ）に示すように、１フレームの映像を投影するためのフレーム期間Ｔ１において赤色光、緑色光及び青色光の各々を連続的に発光するように可視光光源２１（図１）を駆動する。これにより、例えば赤色光、緑色光及び青色光を時分割で発光する場合よりも光量（最大光量）を大きく設定でき、投影される映像を高品質にすることができる。フレーム期間Ｔ１は、映像を動体に追従させるために、例えば１／２００秒以下に設定される。

図６（ｄ）は、赤外光プロジェクタ３による赤外光の発光タイミングを示す。図６（ｄ）に示すように、赤外光プロジェクタ３は、可視光プロジェクタ２が発光中の期間に重畳して、赤外光のパルス発光を周期的に行う。これにより、例えば可視光と赤外光とを時分割で発光する場合よりも可視光と赤外光とのそれぞれの光量を大きく設定可能になる。

本実施形態では、一例として、赤外光プロジェクタ３が、パルス発光１回当たりに１フレームの計測パターンを投影する。また、パルス発光の繰り返し周期であるパルス周期の長さは、可視光の映像のフレーム期間Ｔ１と同じ長さに設定される。また、パルス発光１回当たりの赤外光の光量は、例えば可視光プロジェクタ２が発光可能な可視光の光量を基準として設定され、例えばフレーム期間Ｔ１中に発光可能な可視光の光量以上、或いはパルス幅と同じ期間中に発光可能な可視光の光量以上に設定される。

図６（ｅ）は、カメラ４による撮像タイミングを示す。カメラ４は、図６（ｄ），（ｅ）に示すように、撮像動作において、赤外光プロジェクタ３の発光タイミングに同期して露光する。これにより、フレーム期間Ｔ１毎にカメラ４の撮像画像が得られる。図６（ｆ），（ｇ）に、図６（ｄ），（ｅ）のフレーム期間Ｔ１中の詳細を示す。

図６（ｆ），（ｇ）に示すように、本実施形態においてカメラ４は、計測光のパルス発光のタイミング及びパルス幅と同じ期間Ｔ２に露光を行う。パルス発光光のパルス幅は、例えば０．１ピコ秒〜２０マイクロ秒に設定される。これにより、パルス発光の期間を短縮しすぎて計測光の波長帯に広がりが生じてしまう事態を回避しながら、パルス発光の光量のピークを顕著に高くすることができる。また、同様の観点から、パルス発光のデューティ比は、例えば１／１００〜１／１００００に設定される。この際、パルス周期に対応するパルス周波数は、動体に追従可能な撮像画像のフレームレートを確保するために、２００Ｈｚ〜１ＧＨｚの範囲内で適宜、設定されてもよい。

３．効果等
以上のように、本実施形態において投影システム１は、被写体６等の物体の形状に応じた映像を投影する。投影システム１は、赤外光プロジェクタ３と、スクリーン１０と、カメラ４と、映像生成部５０と、可視光プロジェクタ２とを備える。赤外光プロジェクタ３は、非可視光である赤外光により、物体に計測パターン８１〜８３を投影する。スクリーン１０は、赤外光プロジェクタ３から赤外光が出射する方向において物体の後方に配置される。カメラ４は、赤外光プロジェクタ３によって投影された計測パターン８１〜８３を撮像する。映像生成部５０は、カメラ４によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光プロジェクタ２は、物体に映像データが示す映像を可視光により投影する。スクリーン１０は、赤外光が入射したときに赤外光の拡散反射を遮断する遮光面１０ａを有する。

以上の投影システム１によると、遮光面１０ａにおいて赤外光プロジェクタ３からの赤外光の拡散反射が遮断される。これにより、物体の形状に応じた映像を投影する投影システム１において、被写体６等の物体の形状を精度良く計測することができる。

また、本実施形態において、スクリーン１０は、遮光面１０ａにおいて赤外光を拡散反射せずに吸収する。スクリーン１０は、拡散反射せずに鏡面反射又は再帰反射してもよい。これにより、遮光面１０ａにおいて赤外光の拡散反射が遮断され、物体の計測精度を良くすることができる。

また、本実施形態において、スクリーン１０は、可視光を拡散反射する。これにより、可視光プロジェクタ２からスクリーン１０に映像を映し出すことができ、投影システム１における演出効果を高めることができる。

また、本実施形態において、スクリーン１０は、赤外光遮断フィルタ１２と、拡散部材１１とを備える。赤外光遮断フィルタ１２は、遮光面１０ａを形成し、可視光を透過する。拡散部材１１は、赤外光遮断フィルタ１２に覆われ、可視光を拡散反射する。これにより、拡散部材１１と赤外光遮断フィルタ１２の二層構造で簡単に可視光を拡散反射する遮光面１０ａを構成することできる。

また、本実施形態において、カメラ４は、シリコンを含む撮像素子４１と、赤外光を透過して可視光を吸収または反射する可視光遮断フィルタ４３とを備える。これにより、カメラ４において、撮像素子４１には可視光領域に受光感度があるような場合であっても、可視光の受光を遮断することができる。なお、可視光領域に受光感度がない撮像素子を用いる場合には、可視光遮断フィルタ４３を省略してもよい。

また、本実施形態において、可視光遮断フィルタ４３は、カメラ４における撮像レンズ４２に取り付けられるフィルタである。可視光遮断フィルタ４３は、撮像素子４１に組み込まれるフィルタであってもよいし、カメラ４における撮像レンズ４２と一体的に構成されてもよい。

また、本実施形態において、投影システム１は、赤外光プロジェクタ３と、カメラ４と、映像生成部５０と、可視光プロジェクタ２とを備える。赤外光プロジェクタ３は、各計測パターン８１，８２，８３を投影するための赤外光をパルス発光する。映像生成部５０は、パルス発光のタイミングに応じて撮像された撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３に基づき、映像データを生成する。

以上の投影システム１によると、赤外光プロジェクタ３によるパルス発光のパルス幅の期間に、各計測パターン８１，８２，８３を投影するための赤外光の光量を集中させ、撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３におけるＳ／Ｎ比を向上できる。これにより、投影システム１において、被写体６等の物体の形状を精度良く計測することができる。

また、本実施形態において、赤外光プロジェクタ３によるパルス発光のパルス幅は、可視光プロジェクタ２が投影する映像の１フレームの期間よりも短い。パルス発光の光量は、可視光プロジェクタ２がパルス幅の期間中に発光する可視光の光量よりも大きい。

これにより、パルス幅の期間において、可視光プロジェクタ２からの可視光の光量よりも顕著に大きいパルス発光の光量が設定できる。このため、投影システム１における物体の計測精度を良くすることができる。

また、本実施形態において、カメラ４は、赤外光プロジェクタ３によるパルス発光に同期して撮像動作を行う。これにより、カメラ４から、パルス発光によってＳ／Ｎ比が改善された撮像画像を得ることができる。

また、本実施形態において、赤外光プロジェクタ３は、パルスレーザで構成されるパルス光源３１を備える。これにより、パルスレーザのパルス発振による大光量のパルス発光が行える。

また、本実施形態において赤外光プロジェクタ３から投影する非可視光映像は、空間コード化法に基づく計測パターン８１〜８３である。非可視光映像は、これに限らず、例えば、ランダムドットパターンなどを用いてもよい。

（実施形態２）
以下、図面を用いて、実施形態２を説明する。実施形態１では、赤外光プロジェクタ３によるパルス発光にカメラ４の撮像動作を同期させる際に、パルス発光のタイミングにカメラ４の露光のタイミングを一致させた。実施形態２では、パルス発光のタイミングから遅延期間を設けてカメラ４の露光のタイミングを同期させる。

以下、実施形態１に係る投影システム１と同様の構成、動作の説明は適宜、省略して、本実施形態に係る投影システム１を説明する。

図７（ａ）は、赤外光プロジェクタ３による赤外光のパルス発光のタイミングを示す。図７（ｂ）は、図７（ａ）のパルス発光した赤外光の反射光がカメラ４に入射するタイミングを示す。図７（ｃ）は、図７（ａ）のパルス発光のタイミングに一致させた場合のカメラ４の露光のタイミングを示す。図７（ｄ），（ｅ），（ｆ）は、それぞれ本実施形態に係る赤外光プロジェクタ３による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ４の露光のタイミングを示す。

図７（ａ），（ｂ），（ｃ）では、パルス発光のタイミングにカメラ４の露光のタイミングを一致させた場合の動作例を示している。図７（ａ）〜（ｃ）の例では、パルス幅を２マイクロ秒に設定した際に１５０ｍ程度離れた物体を計測対象とすることを想定している。この場合では、赤外光の反射光は光速（略３×１０^８ｍ／秒）に基づき、図７（ｂ）に示すように、パルス発光のタイミングから略１マイクロ秒の経過後にカメラ４に入射する。すると、カメラ４の露光のタイミングをパルス発光のタイミングに一致させた場合、図７（ｃ）に示すように、反射光の光量が、カメラ４に入射する反射光の光量の内の半分程度しか、カメラ４に露光されないこととなる。

そこで、本実施形態では、図７（ｄ），（ｅ），（ｆ）に示すように、パルス発光のタイミングから遅延期間Δｔを設けてカメラ４の露光を行うように、カメラ４の撮像動作をパルス発光に同期させる。遅延期間Δｔは、投影対象の物体（被写体）が存在することが想定される基準距離、及び光速に基づき、光が基準距離を往復するためにかかる期間に設定される。これにより、図７（ｅ），（ｆ）に示すように、物体からの反射光がカメラ４に入射する期間とカメラ４の露光期間との重なりが遅延期間Δｔ分増える。このため、カメラ４に露光される反射光の光量が増大し、物体の計測精度を向上できる。

投影システム１における遅延期間Δｔの設定は、例えば投影システム１のキャリブレーション時などに予め行われる。また、投影システム１の投影動作中に、ユーザの指示あるいは所定周期（例えば１分）等により、被写体６までの距離（ｚ方向位置）の計測結果に基づいて行われてもよい。

以上のように、本実施形態に係る投影システム１において、カメラ４は、赤外光プロジェクタ３によるパルス発光のタイミングから遅延期間Δｔの経過毎に撮像動作を行う。これにより、物体からの反射光がカメラ４に入射する期間とカメラ４の露光期間とを重なり易くすることができ、物体の計測精度を向上できる。

また、本実施形態において、遅延期間Δｔは、物体までの距離及び光速に基づく期間である。これにより、赤外光プロジェクタ３からパルス発光した赤外光が物体までの距離を往復するためにかかる期間に遅延期間Δｔを調整して、カメラ４に露光される反射光の光量を増大させることができる。

また、上記の実施形態では、カメラ４が赤外光のパルス発光のパルス幅と同じ期間に露光を行った。カメラ４の露光期間は、パルス幅とは異なる長さに設定されてもよい。この変形例について、図８（ａ）〜（ｃ）を用いて説明する。

図８（ａ），（ｂ），（ｃ）は、それぞれ本変形例に係る赤外光プロジェクタ３による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ４の露光のタイミングを示す。本変形例では、図８（ｃ）に示すように、カメラ４の露光期間が赤外光のパルス発光のパルス幅よりも長い期間に設定されている。これにより、カメラ４の露光のタイミングが反射光の入射のタイミングに完全に一致しなくても、カメラ４の露光期間内に反射光が入射する期間が含まれることとなる。このため、カメラ４のタイミング制御を過度に複雑化することなく、簡単な回路構成で物体の計測精度を向上できる。

カメラ４の露光期間は、例えば赤外光プロジェクタ３によるパルス発光の間隔、すなわちパルス周期（期間Ｔ１）よりも短く設定され、例えばパルス発光の間隔の半分以下に設定される。また、カメラ４の露光期間は、パルス発光のパルス幅の複数倍（例えば１０倍）以下に設定されてもよい。これらの場合において、遅延期間Δｔは省略されてもよい。

（実施形態３）
以下、図面を用いて、実施形態３を説明する。上記の各実施形態では、カメラ４が赤外光プロジェクタ３によるパルス発光に同期して撮像動作を行った。実施形態３では、カメラ４の撮像動作はパルス発光に同期させずに、映像生成部５０がパルス発光のタイミングに応じた撮像画像を抽出する。

以下、実施形態１，２に係る投影システム１と同様の構成、動作の説明は適宜、省略して、本実施形態に係る投影システム１を説明する。

図９（ａ），（ｂ），（ｃ）は、それぞれ本実施形態に係る赤外光プロジェクタ３による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ４の露光のタイミングを示す。

本実施形態では、図９（ｃ）に示すように、カメラ４が、パルス発光のタイミング（図９（ａ））に特に同期することなく、所定の繰り返し周期において撮像動作を繰り返す。これにより、カメラ４の撮像動作をパルス発光に同期させる同期信号源などの構成を省略できる。

本実施形態では、カメラ４の撮像の繰り返し周期は、図９（ｂ），（ｃ）に示すように、パルス発光のパルス幅よりも短い期間に設定される。これにより、反射光がカメラ４に入射する期間中に露光期間が含まれる撮像画像が生成されることとなる。このような撮像画像においては、反射光の光量に対して外光などのノイズ成分の光量が小さく、高いＳ／Ｎ比において物体の計測を行うことができる。

映像生成部５０は、カメラ４が順次、撮像する撮像画像の中から上記のように生成された撮像画像を抽出し、抽出した撮像画像に基づいて計測パターンのデコードなどの処理を行う。例えば、反射光の往復期間を示す情報を予め記憶部５１に格納しておき、当該情報及びパルス発光のタイミングに基づいて、映像生成部５０が上記のような撮像画像の抽出を行う。

以上のように、本実施形態における投影システム１において、カメラ４は、赤外光プロジェクタ３によるパルス発光の繰り返し周期よりも短い時間間隔において撮像動作を繰り返す。映像生成部５０は、繰り返し撮像された撮像画像の中からパルス発光のタイミングに応じた撮像画像を抽出する。これにより、映像生成部５０が抽出した撮像画像に基づいて、精度良く物体の三次元計測を行うことができる。また、カメラ４の同期制御等の構成を省略でき、コストを削減することができる。

上記の実施形態において、カメラ４の撮像の繰り返し周期は、パルス発光のパルス幅の長さ以上の期間に設定されてもよい。この変形例について、図１０（ａ）〜（ｃ）を用いて説明する。

図１０（ａ），（ｂ），（ｃ）は、それぞれ本変形例に係る赤外光プロジェクタ３による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ４の露光のタイミングを示す。

本変形例において、カメラ４の撮像の繰り返し周期は、図１０（ａ），（ｃ）に示すようにパルス発光のパルス幅の長さ以上であり、且つ赤外光プロジェクタ３によるパルス発光の間隔、すなわちパルス周期の半周期以下に設定される。また、撮像動作の１回当たりの露光期間は、例えばパルス幅の長さ以上パルス周期の半周期以下に設定される。

この場合、図１０（ｂ），（ｃ）に示すように、反射光がカメラ４に入射する期間の半分以上を露光期間に含む撮像画像が周期的に生成される。このような撮像画像は、パルス周期１周期分の外光を取り込むことなくノイズの影響を緩和した物体の三次元計測を可能にする。映像生成部５０が上記の撮像画像を抽出し、抽出した撮像画像に基づき映像データを生成することにより、物体に精度よく追従する映像を得ることができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。

上記の各実施形態では、背景部材の一例として、可視光を拡散反射するスクリーン１０について説明した。本開示における背景部材はこれに限らず、例えば、可視光を吸収または透過する部材を採用してもよい。例えば、投影システム１において、可視光プロジェクタ２からの映像コンテンツを特に背景部材に投影しない場合には、赤外光を拡散反射せずに可視光を吸収する暗幕を背景部材として用いてもよい。また、例えば、投影システム１の外部構成のスクリーンを用いる場合等に、可視光を透過する赤外光遮断フィルタ、遮光カバー或いは遮光カーテン等を背景部材として用いてもよい。

また、上記の各実施形態では、投影システム１が背景部材を備えると共に、非可視光のパルス発光制御を行った。本開示はこれに限らず、投影システム１が背景部材を備える場合には非可視光のパルス発光制御を省略してもよいし、非可視光のパルス発光制御を行う場合には背景部材を省略してもよい。いずれの場合においても、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる。

また、非可視光のパルス発光制御を省略する場合、赤外光プロジェクタ３において、パルス光源３１に代えて連続波レーザー或いはＬＥＤなどで構成される光源を用いてもよい。

また、非可視光のパルス発光制御を行う場合、可視光遮断フィルタ４３を省略してもよい。この場合、パルス発光の光量及び三次元計測のしきい値を適宜、設定することにより、撮像画像に基づき物体の形状を精度良く計測することができる。

また、上記各実施形態において、可視光プロジェクタ２が赤色光、緑色光及び青色光を連続発光する例について説明したが、赤色光、緑色光及び青色光を時分割で発光してもよい。また、このような可視光の発光と、赤外光プロジェクタ３による赤外光の発光とを時分割にしてもよい。

また、上記各実施形態において、投影システム１において被写体６に映像コンテンツを追従させる例について説明した。本開示における投影システムの投影対象となる物体は、特に動体に限らず静止物体でもよく、例えば建造物でもよい。静止物体が投影システムの投影対象である場合には、特に投影動作中に位置を計測しなくてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。

本開示における投影システムは、物体に映像を投影する種々の用途に適用可能である。

Claims (5)

1. 物体の形状に応じた映像を投影する投影システムであって、
   前記物体に所定の非可視光映像を非可視光により投影する非可視光投影部と、
   前記非可視光投影部によって投影された非可視光映像を撮像する撮像部と、
   前記撮像部によって撮像された撮像画像に基づき前記物体の形状を計測し、計測結果に応じて前記物体に投影される映像を示す映像データを生成する映像生成部と、
   前記物体に前記映像データが示す映像を可視光により投影する可視光投影部とを備え、
   前記非可視光投影部は、前記非可視光映像を投影するための非可視光をパルス発光し、
   前記映像生成部は、前記パルス発光のタイミングに応じて撮像された撮像画像に基づき、前記映像データを生成し、
   前記撮像部は、前記パルス発光に同期して、各パルス発光において投影された非可視光映像毎に前記撮像画像を生成するように、前記パルス発光のタイミングから所定の遅延期間の経過毎に撮像動作を行い、
   前記遅延期間は、前記物体までの距離および光速に基づく期間であり、
   前記非可視光投影部によるパルス発光のパルス幅は、前記可視光投影部が投影する映像の１フレームの期間よりも短く、
   前記パルス発光の光量は、前記可視光投影部が前記パルス幅の期間中に発光する可視光の光量よりも大きい
   投影システム。
2. 前記撮像部による撮像動作の１回当たりの露光期間は、前記非可視光のパルス発光におけるパルス周期の半周期以下である
   請求項１に記載の投影システム。
3. 前記非可視光投影部は、パルスレーザで構成されるパルス光源を備える
   請求項１または２に記載の投影システム。
4. 前記非可視光は、赤外光である
   請求項１〜３のいずれか１項に記載の投影システム。
5. 前記非可視光映像は、空間コード化法に基づく計測パターンである
   請求項１〜４のいずれか１項に記載の投影システム。

Images