JPWO2018173311A1

JPWO2018173311A1 - 投影システム及び投影方法

Info

Publication number: JPWO2018173311A1
Application number: JP2019506928A
Authority: JP
Inventors: 千春坪田; 和博南
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-03-24
Filing date: 2017-08-01
Publication date: 2020-01-23
Anticipated expiration: 2037-08-01
Also published as: JP6964223B2; US20190364251A1; WO2018173311A1; US10728508B2

Abstract

本開示における投影システムは、物体の形状に応じた映像を投影する投影システムであって、非可視光投影部と、撮像部と、映像生成部と、可視光投影部と、を備える。非可視光投影部は、所定の偏光が主成分である非可視光による所定の非可視光映像を、物体、及び非可視光を所定の偏光を維持して反射する背景部材に投影する。撮像部は、物体及び背景部材により反射された非可視光映像を、所定の偏光の非可視光を遮断して撮像し、撮像データを生成する。映像生成部は、撮像データに基づき物体の形状を計測し、計測結果に応じて映像データを生成する。可視光投影部は、物体に映像データが示す映像を可視光により投影する。

Description

本開示は、物体の形状および位置等に応じた映像を投影する投影システム及び投影方法に関する。

特許文献１は、建物のような構造物に映像コンテンツを投影するプロジェクションマッピングのための投影システムを開示している。特許文献１の投影システムにおいては、投影装置が、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光と、を構造物に照射する。また、撮像装置が、構造物に投影されたパターン画像を撮像する。特許文献１の投影システムによると、構造物に映像コンテンツを位置合わせしてプロジェクションマッピングを行うことが可能になる。

特開２０１５−１７３４３１号公報

本開示は、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる投影システム及び投影方法を提供する。

また、本開示における投影方法は、物体の形状に応じた映像を投影する投影方法であって、非可視光投影ステップと、撮像ステップと、映像生成ステップと、可視光投影ステップと、を備える。非可視光投影ステップでは、所定の偏光が主成分である非可視光による所定の非可視光映像を、物体、及び非可視光を所定の偏光を維持して反射する背景部材に投影する。撮像ステップでは、物体及び背景部材により反射された非可視光映像を、所定の偏光の非可視光を遮断して撮像し、撮像データを生成する。映像生成ステップでは、撮像データに基づき物体の形状を計測し、計測結果に応じて映像データを生成する。可視光投影ステップでは、物体に映像データが示す映像を可視光により投影する。

本開示における投影システム又は投影方法によると、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる。

実施形態１に係る投影システムの構成を示すブロック図投影システムにおける三次元計測の原理を説明するための図空間コード化法に基づく計測パターンを説明するための図実施形態１に係る投影システムにおける各種フィルタの機能を説明するための図実施形態１に係る投影システムにおけるパルス発光制御の機能を説明するための図実施形態１に係る投影システムの動作タイミングを示すタイミングチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
１．構成
実施形態１に係る投影システムの構成を、図１を参照して説明する。図１は、本実施形態に係る投影システム１の構成を示すブロック図である。

投影システム１は、図１に示すように、可視光プロジェクタ２と、赤外光プロジェクタ３と、カメラ４と、コントローラ５と、を備える。本実施形態に係る投影システム１は、例えば演出用に人物等の被写体６に可視光７の映像を投影するプロジェクションマッピングを行うシステムである。投影システム１では、可視光プロジェクタ２からの可視光７による映像コンテンツ７１を、被写体６の動きに追従させるため、赤外光プロジェクタ３及びカメラ４を用いて被写体６の形状等を計測する。また、スクリーン１０は、各プロジェクタ２，３の投影方向において被写体６よりも後方となる位置に配置される。

可視光プロジェクタ２は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。可視光プロジェクタ２は、例えばコントローラ５から入力される映像信号（映像データ）に基づき、種々の映像コンテンツ７１を含む映像を投影するように可視光７を出射する。可視光プロジェクタ２は、本実施形態における可視光投影部の一例である。可視光プロジェクタ２は、図１に示すように、可視光光源２１と、空間光変調部２２と、投影光学系２３とを備える。

可視光光源２１は、本実施形態では、赤色光、緑色光及び青色光をそれぞれ出射する複数の光源素子（例えばＬＥＤ）を含む。可視光光源２１は、可視光プロジェクタ２の投影方式に応じて適宜、単色の光源素子のみ、或いは白色の光源素子を有してもよい。光源素子は、レーザダイオード又はハロゲンランプなどであってもよい。

空間光変調部２２は、本実施形態では、３つの空間光変調素子で構成される。空間光変調素子としては、ＤＭＤ又はＬＣＤ等を用いることができる。空間光変調部２２は、１つの空間光変調素子で構成されてもよい。

投影光学系２３は、可視光プロジェクタ２の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。

赤外光プロジェクタ３は、例えばＤＬＰ方式、ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。赤外光プロジェクタ３は、例えばコントローラ５から入力される映像信号（映像データ）に基づき、後述する所定の赤外光８の計測パターンを投影する。赤外光プロジェクタ３は、非可視光により非可視光映像を投影する非可視光投影部の一例である。本実施形態では、非可視光の一例として赤外光を用いるが、これに限らず、例えば紫外光を用いてもよい。

赤外光プロジェクタ３は、図１に示すように、パルス光源３１と、空間光変調素子３２と、投影光学系３３と、第１偏光フィルタ３４とを備える。

パルス光源３１は、本実施形態では、赤外光をパルス発振するパルスレーザで構成される。パルス光源３１は、パルス発振により、０．１ピコ秒〜２０マイクロ秒等のパルス幅において、例えばピーク波長が８００ｎｍ〜９００ｎｍの赤外光をパルス発光する。

空間光変調素子３２は、ＤＭＤ又はＬＣＤ等で構成される。空間光変調素子３２の画像形成面には、コントローラ５等からの映像信号に基づき画像が形成される。パルス光源３１においてパルス発光した赤外光が空間光変調素子３２の画像形成面に入射することで、赤外光が空間変調され、非可視光映像が生成される。

投影光学系３３は、赤外光プロジェクタ３の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。

第１偏光フィルタ３４は、赤外光プロジェクタ３から投影される非可視光のうち、特定方向の直線偏光成分のみを透過する偏光フィルタである。第１偏光フィルタ３４は、例えば投影光学系３３に取り付けられる。第１偏光フィルタ３４は、赤外光プロジェクタ３において非可視光に特定の偏光特性を付与する偏光部材の一例である。第１偏光フィルタ３４は、パルス光源３１とスクリーン１０の間において、投影光学系３３に配置されたり、投影光学系３３に組み込まれて一体的に構成されても良い。

各プロジェクタ２，３は、例えば互いに同一の領域に光を出射可能に配置される。各プロジェクタ２，３は、それぞれの光軸が一致するように光学的に結合されてもよい。この場合、例えば、可視光を透過して赤外光を反射する、或いは可視光を反射して赤外光を透過するダイクロイックミラーなどを用いてもよい。また、この場合、それぞれの投影光学系２３，３３は一体的に構成されてもよい。また、赤外光プロジェクタ３と可視光プロジェクタ２とが、一つの装置として一体的に構成されてもよい。

カメラ４は、赤外光プロジェクタ３によって非可視光映像が投影される領域の画像を撮像可能な位置に配置される。カメラ４は、赤外光８により被写体６に投影される計測パターンの撮像画像を撮像し、撮像画像を示す画像データである撮像データを生成してコントローラ５に出力する。カメラ４は、投影システム１における撮像部の一例である。カメラ４は、図１に示すように、撮像素子４１と、撮像レンズ４２と、可視光遮断フィルタ４３と、第２偏光フィルタ４４とを備える。

撮像素子４１は、例えばシリコンを主原料として含むＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどの固体撮像素子で構成される。撮像素子４１は、光を受光する複数の画素回路が並ぶ撮像面を有する。撮像素子４１の主原料はシリコンに限らず、例えばゲルマニウムやガリウムであってもよい。

撮像レンズ４２は、カメラ４の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。

可視光遮断フィルタ４３は、入射する光の内の赤外光成分を透過し、可視光成分を吸収するバンドパスフィルタ或いはロングパスフィルタである。可視光遮断フィルタ４３は、例えば撮像レンズ４２に取り付けられる。可視光遮断フィルタ４３は、カメラ４において選択的に赤外光を透過する波長選択部材の一例である。

可視光遮断フィルタ４３は、撮像レンズ４２におけるコーティング、或いは回折格子の形成等により、撮像レンズ４２と一体的に構成されてもよい。また、可視光遮断フィルタ４３は、撮像素子４１の画像形成面などに組み込まれて構成されてもよい。また、可視光遮断フィルタ４３は、可視光成分の吸収に代えて、又はこれに加えて、可視光成分を反射するように構成されてもよい。

第２偏光フィルタ４４は、カメラ４に入射する光のうち、特定方向の直線偏光成分のみを透過する偏光フィルタである。第２偏光フィルタ４４は、第１偏光フィルタ３４により付与された特定の偏光特性の赤外光を遮断するため、第１偏光フィルタ３４の特性と９０°異なる方向の特性になるように設置される。第２偏光フィルタ４４は、例えば撮像レンズ４２に取り付けられる。第２偏光フィルタ４４は、カメラ４において特定の偏光特性の非可視光を遮断する偏光部材の一例である。また、第２偏光フィルタ４４は、撮像素子４１とスクリーン１０の間において、撮像レンズ４２に配置されたり、撮像レンズ４２と一体的に構成されてもよい。また、第２偏光フィルタ４４は、撮像素子４１の画像形成面などに組み込まれて構成されてもよい。また、第２偏光フィルタ４４は、可視光遮断フィルタ４３と一体的に構成されてもよい。

コントローラ５は、投影システム１の各部を制御する制御装置である。コントローラ５は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを備える。コントローラ５は、図１に示すように、映像生成部５０と、記憶部５１とを備える。

コントローラ５は、記憶部５１に格納されたデータやプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、コントローラ５は、映像生成部５０としての機能を実現する。また、コントローラ５は、カメラ４、赤外光プロジェクタ３及び可視光プロジェクタ２等の各種動作タイミングの制御（例えば各部の同期制御）、ズーム制御、フォーカス制御などを行ってもよい。

コントローラ５は、所定の機能を実現するように設計された専用の電子回路や再構成可能な電子回路などのハードウェア回路であってもよい。コントローラ５は、ＣＰＵ，ＭＰＵ，マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。また、コントローラ５の各種機能は、可視光プロジェクタ２，赤外光プロジェクタ３，カメラ４に組み込まれてもよい。

映像生成部５０は、可視光プロジェクタ２によって投影される映像コンテンツ７１を示す映像データを生成する。この際、映像データは、映像コンテンツ７１を被写体６の動きに追従して投影できるように生成される必要がある。このため、映像生成部５０は、カメラ４からの撮像データに基づき被写体６の形状等の三次元計測を行う。映像生成部５０の動作については後述する。

記憶部５１は、コントローラ５の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体であり、例えばハードディスク（ＨＤＤ）又は半導体記憶装置（ＳＳＤ）を備える。また、記憶部５１は、さらに、ＤＲＡＭやＳＲＡＭ等の半導体デバイスを備えてもよく、データを一時的に記憶するとともにコントローラ５の作業エリアとしても機能する。例えば、記憶部５１は、種々の映像コンテンツ７１を示す映像データ及び後述する計測パターンを示す映像データを格納する。

スクリーン１０は、投影システム１において被写体６の背景となるような映像コンテンツ７１を映し出すための背景部材の一例である。スクリーン１０を用いることにより、例えば被写体６の動きに連動するような映像コンテンツ７１が投影され、プロジェクションマッピングにおける演出効果を高めることができる。また、スクリーン１０は、図１に示すように、赤外光８が投影される側（映像コンテンツ７１が投影される側）に反射面１０ａ（投影面）を備える。反射面１０ａは赤外光８の偏光特性を維持する性質を備える。反射面１０ａは、偏光特性を維持する性質であれば、平面であってもよいし、曲面であってもよい。スクリーン１０は、金属粉を反射面１０ａの全面に塗布したスクリーン（例えば、シルバースクリーン）を用いることができる。このようなスクリーン１０は、スクリーンとなる基材を、アルミ粒子や銀粒子等の金属粉を含んだスプレーで塗装することに得られる。

２．動作
以上のように構成された投影システム１の動作を以下に説明する。

２−１．投影動作（プロジェクションマッピング）
本実施形態に係る投影システム１においてプロジェクションマッピングを行うための投影動作を、図１を参照して説明する。

まず、赤外光プロジェクタ３は、赤外光８を出射して、複数の計測パターンの内の各計測パターンを順次、被写体６に投影する。赤外光８の計測パターンは、空間コード化法によって被写体６の形状及び位置を計測するための非可視光映像の一例である。計測対象の形状は、被写体６等の物体の輪郭及び凹凸を含む三次元形状である。また、計測対象の位置は、物体までの距離を含む三次元的な位置である。三次元計測の原理については後述する。

赤外光プロジェクタ３は、例えばコントローラ５の制御により、記憶部５１に格納された映像データを読み出し、空間光変調素子３２において映像データが示す計測パターンを形成する。次いで、赤外光プロジェクタ３は、パルス光源３１を駆動して、スクリーン１０の投影面全体などの範囲を含む画角において、赤外光８の計測パターンを投影する。

この際、カメラ４は、赤外光プロジェクタ３によって投影された計測パターンを撮像し、計測パターンの撮像画像を示す撮像データをコントローラ５に出力する。カメラ４の撮像動作は、複数の計測パターンにおける計測パターン毎に行われる。

次に、コントローラ５の映像生成部５０は、計測パターンの撮像データに基づいて被写体６の形状及び位置を計測し、計測結果に応じて被写体６に投影される映像コンテンツ７１を示す映像データを生成する。

具体的に、映像生成部５０は、後述する空間コード化法によって撮像データにおける被写体６の領域の画素毎に自装置までの距離を計測し、画素毎に計測した距離を示す距離画像を生成する。生成した距離画像に基づいて、映像生成部５０は、デフォルトの映像データが示す映像コンテンツ７１が計測した形状及び位置の被写体６に投影された際に適切に映し出されるように、デフォルトの映像データを補正する。デフォルトの映像データは、例えば予め記憶部５１に格納されている。

また、本実施形態において、映像生成部５０は、スクリーン１０に投影する映像コンテンツ７１も含めるように、可視光プロジェクタ２に出力する映像データを生成する。例えば、投影システム１の設置時などのキャリブレーションによりスクリーン１０の位置及び形状（向き）を示す情報を予め記憶部５１に記録しておき、投影動作時に映像生成部５０が上記の情報を参照して、スクリーン１０に投影する映像コンテンツ７１の補正を行う。

次に、可視光プロジェクタ２は、コントローラ５の映像生成部５０からの映像データに基づき空間光変調部２２を制御し、可視光光源２１からの可視光７の出射により被写体６及びスクリーン１０に映像コンテンツ７１を投影する。

投影システム１は、以上の処理を所定のフレームレートにおいて繰り返し行う。これにより、可視光プロジェクタ２から投影される映像コンテンツ７１を被写体６の動きに精度良く追従させることができる。

以上のような投影システム１の投影動作においては、赤外光プロジェクタ３から投影される計測パターンの撮像画像に基づく被写体６の形状及び位置の計測精度を良くすることが重要である。そこで、本実施形態では、上記の計測精度を良くするという目的を達成するために、第１偏光フィルタ３４と、スクリーン１０と、第２偏光フィルタ４４と、可視光遮断フィルタ４３を用いる。また、本実施形態では、上記の目的を達成するために、赤外光プロジェクタ３においてパルス発光制御を採用する。以下、本実施形態に係る投影システム１の動作の詳細について説明する。

２−２．三次元計測の原理について
本実施形態では、被写体６の形状等を計測するための計測原理として、空間コード化法によるアクティブステレオ計測を採用する。本計測原理について、図２，３を用いて説明する。図２は、三次元計測の原理を説明するための図である。図３は、空間コード化法に基づく計測パターンを説明するための図である。

図２では、カメラ４と赤外光プロジェクタ３とが、それぞれの光軸が平行になるように並んで配置されている。以下、図２に示すように、各光軸の方向をｚ方向とする。また、ｚ方向に直交し、カメラ４と赤外光プロジェクタ３とが並ぶ方向をｘ方向とし、ｚ方向及びｘ方向に直交する方向をｙ方向とする。

図２では、赤外光プロジェクタ３から出射した赤外光が物体の特定の点（輝点）において反射し、輝点からの反射光がカメラ４に入射する様子を示している。図２に示すように、カメラ４と赤外光プロジェクタ３との間には、視差θが生じる。赤外光プロジェクタ３から投影された映像がカメラ４で撮像されると、投影された映像はカメラ４の撮像画像において視差θだけずれて映る。すなわち、図２に示すように、物体上の輝点までの距離に応じて、カメラ４の撮像画像における輝点のｘ座標がずれる。

投影システム１では、上記のような座標のずれに基づき、コントローラ５（映像生成部５０）がカメラ４と赤外光プロジェクタ３との間隔を基線長とする三角法に基づく計算を行って、ｚ方向の距離を計測する。基線長は、例えば投影システム１の設置時のキャリブレーションなどによって予め取得される。座標のずれは、空間コード化法に基づく計測パターンを用いて計測される。この計測方法について、図３の（ａ），（ｂ）を参照して説明する。

図３の（ａ）は、赤外光プロジェクタ３から投影される１組の計測パターン８１，８２，８３の映像データを例示している。各計測パターン８１〜８３は、ずれの計測対象のｘ座標の方向に沿って配置された発光領域Ｒ１と非発光領域Ｒ０を有する。空間コード化法によると、発光領域Ｒ１を「１」、非発光領域Ｒ０を「０」に対応させることで、映像データ上のｘ座標がコード化される。図３の（ａ）の例では、３つの計測パターン８１〜８３により、映像データ上で８つの領域に対応する３ビットのコードが得られる。

図３の（ｂ）は、図３の（ａ）の各計測パターン８１，８２，８３が投影された物体（図３に示す例では直方体）がカメラ４によって撮像されたときに生成される撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３を示している。図３の（ｂ）に示すように、同じコード「１１０」に対応する輝点であっても、物体上の奥行きに応じて、撮像画像におけるｘ座標がずれる。本実施形態では、コントローラ５が、映像生成部５０において撮像画像Ｉｍ１〜Ｉｍ３を示す撮像データをデコードすることにより、座標のずれを計測する。

具体的に、コントローラ５は、まず、１フレームの撮像データが示す撮像画像の画素毎に、画素の輝度と所定のしきい値とを比較するしきい値判定を行う。所定のしきい値は、撮像画像中で計測パターンにおける発光領域の輝点を映している画素を判断する基準のしきい値であり、例えばノイズの光量を考慮して設定される。コントローラ５は、しきい値判定において、輝度がしきい値を越えると判断した画素に「１」を割り当て、輝度がしきい値を越えないと判断した画素に「０」を割り当てる。

コントローラ５は、以上の処理を全ての撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３に対して行い、画素毎に割り当てられた二値（「０」又は「１」）を集計することにより、撮像データのデコードを行う。この際、コントローラ５は、例えば全撮像画像Ｉｍ１〜Ｉｍ３において輝度がしきい値を超えない領域を除くなどにより、撮像データ上で被写体と考えられる領域を抽出してもよい。

コントローラ５は、デコード結果が表すｘ座標の値と基準のｘ座標の値とを画素毎に比較することにより、ｘ座標のずれを計測する。ｙ座標のずれについても、例えば図３の（ａ）の計測パターン８１〜８３を９０度回転させた計測パターンを用いることで、上記と同様に計測できる。また、赤外光プロジェクタ３と可視光プロジェクタ２との間にも視差がある場合、例えば予め両者の設置位置を示す情報を取得しておき、適宜、赤外光プロジェクタ３において規定される三次元座標を可視光プロジェクタ２において規定される三次元座標に換算する。

２−３．各種フィルタについて
本実施形態における第１偏光フィルタ３４及び第２偏光フィルタ４４の機能について、図４を用いて説明する。図４は、投影システム１における各種フィルタの機能を説明するための図である。

本実施形態では、可視光プロジェクタ２は、被写体６とスクリーン１０に映像コンテンツ７１を投影する（図１参照）。スクリーン１０において観察者等に視認可能に映像コンテンツ７１を映すためには、図４に示すように、可視光プロジェクタ２からの可視光７がスクリーン１０において拡散反射される必要がある。しかし、赤外光プロジェクタ３からの赤外光８が被写体６とスクリーン１０において共に拡散反射されると、カメラ４による計測パターンの撮像画像中で、被写体６の領域と被写体６以外の領域との境界が不明瞭になってしまう。

そこで、本実施形態では、スクリーン１０の反射面１０ａで反射された赤外光がカメラ４で撮影されないように、赤外光８が第１偏光フィルタ３４を透過する時に特定の方向の直線偏光成分のみを透過し、スクリーン１０で反射する時に特定の方向の直線偏光成分を維持し、第２偏光フィルタ４４を透過する時に特定の方向の直線偏光成分のみを遮断する構成とする。これにより、赤外光プロジェクタ３から投影される計測パターン中のスクリーン１０に投影された部分はカメラ４の撮像画像に映らずに、計測パターン中の被写体６に投影された部分のみが、撮像画像に映ることとなる。このため、カメラ４の撮像画像上で被写体６の輪郭が明瞭になり、被写体６の形状及び位置を精度良く計測可能になる。

例えば図４に示すように、赤外光プロジェクタ３のパルス光源３１で発光した赤外光８は、無偏光である（全方向の矢印）。そして、赤外光８は、第１偏光フィルタ３４を通過するとき、横方向の偏光成分のみが透過する（横方向の矢印）。第１偏光フィルタ３４を通過した赤外光８は、被写体６やスクリーン１０で反射される。スクリーン１０で反射される赤外光８は、スクリーン１０の反射面１０ａで偏光状態を維持するので、横方向の偏光成分のみで反射される（横方向の矢印）。そして、第２偏光フィルタ４４で横方向の偏光成分が遮断され、赤外光は実質的に撮像素子４１に入射しない（矢印なし）ので、スクリーン１０で反射した赤外光はカメラ４で撮像されない。また、被写体６で反射される赤外光８は、被写体６の表面で拡散反射するので、無偏光となる（全方向の矢印）。そして、第２偏光フィルタ４４で横方向の偏光成分が遮断されるが縦方向の偏光成分が透過するので、被写体６で反射した赤外光はカメラ４で撮像される。

図４の例では、第１偏光フィルタ３４を透過した赤外光８は横偏光である。スクリーン１０で反射した赤外光は、横偏光である。そして、第２偏光フィルタ４４は横偏光を透過しないように設置する。すなわち縦偏光を透過するように設置する。また、被写体６で拡散反射した赤外光は、入射光の偏光成分は保持されず無偏光になる。そして、縦偏光を透過するように設置した第２偏光フィルタ４４を透過した赤外光は、被写体６で拡散反射した無偏光の赤外光の半分の光量となる。これらより、スクリーン１０で反射した赤外光はカメラ４の撮像素子４１に到達しないが、被写体６で反射した赤外光８の半分の光量がカメラ４の撮像素子４１に到達する。これによって、スクリーン１０と被写体６とでカメラ４で撮像される画像の明暗が明らかに異なるので、被写体６の輪郭を明瞭にすることができる。

また、第１偏光フィルタ３４が赤外光８を横方向の偏光成分のみにすることは技術的に困難である。しかし、スクリーン１０での反射と、被写体６での反射とを撮像素子４１で見分けるためには、第２偏光フィルタ４４を透過する赤外光の光量に差があればよい。そのためには、第１偏光フィルタ３４を透過した赤外光８の所定の偏光状態は、非可視光において所定の偏光成分が５０％より多い割合となればよい。より好ましくは、スクリーン１０での反射と、被写体６での反射との見分けをつけるために、第２偏光フィルタ４４を透過した赤外光に１０％以上の差異をつければよい。つまり、第１偏光フィルタ３４を透過した赤外光８の所定の偏光状態は、非可視光において所定の偏光成分が６０％以上の割合とすればよい。

また、スクリーン１０は、例えばシルバースクリーンのような金属粉を反射面１０ａの全面に塗布したスクリーンを用いることにより、可視光７の拡散反射を行うことができる。これにより、スクリーン１０において可視光プロジェクタ２による映像の視認性を確保することができる。

また、本実施形態では、図４に示すように、可視光遮断フィルタ４３をカメラ４に用いて、カメラ４に入射する光の内の可視光成分を遮断して赤外光成分を透過する。これにより、可視光プロジェクタ２が可視光７の発光により映像を投影するタイミングに拘らず、カメラ４が赤外光プロジェクタ３による計測パターンを精度良く撮像することができる。

２−４．パルス発光制御について
本実施形態における計測パターンのパルス発光制御について、図５を用いて説明する。図５は、投影システム１におけるパルス発光制御の機能を説明するための図である。

図５に示すように、被写体６で反射される光には、赤外光プロジェクタ３からの赤外光の他にも、可視光プロジェクタ２からの可視光７および外光が含まれる。外光には通常、可視光成分と共に赤外光成分が含まれる。ここで、赤外光プロジェクタ３からの赤外光以外の光は、カメラ４に露光されることで、撮像画像に基づく被写体６の計測精度を低下させるノイズになる。

そこで、本実施形態では、赤外光プロジェクタ３のパルス光源３１（図１）が計測パターンを投影するための赤外光８をパルス発光し、発光する赤外光８の光量をパルス幅の期間に集中させる。この際、カメラ４は、赤外光８のパルス発光のタイミングに同期して撮像動作を行うことにより、図５に示すように、カメラ４の撮像タイミングにおける赤外光８の光量を、外光や可視光プロジェクタ２からの可視光７と比較して大きくする。これにより、カメラ４に露光される光量において、外光等のノイズの光量よりも赤外光プロジェクタ３からの赤外光８の光量を顕著に大きくすることができ、被写体６の計測精度におけるＳ／Ｎ比を向上できる。また、計測精度に対する外光の影響の緩和により、投影システム１の設置自由度を広げることができる。

以下、本実施形態における投影システム１のタイミング制御の詳細について、図６を用いて説明する。

図６の（ａ），（ｂ），（ｃ）は、それぞれ可視光プロジェクタ２による赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の発光タイミングを示す。本実施形態において、可視光プロジェクタ２は、図６の（ａ）〜（ｃ）に示すように、１フレームの映像を投影するためのフレーム期間Ｔ１において赤色光、緑色光及び青色光の各々を連続的に発光するように可視光光源２１（図１）を駆動する。これにより、例えば赤色光、緑色光及び青色光を時分割で発光する場合よりも光量（最大光量）を大きく設定でき、投影される映像を高品質にすることができる。フレーム期間Ｔ１は、映像を動体に追従させるために、例えば１／２００秒以下に設定される。

図６の（ｄ）は、赤外光プロジェクタ３による赤外光８の発光タイミングを示す。図６の（ｄ）に示すように、赤外光プロジェクタ３は、可視光プロジェクタ２が発光中の期間に重畳して、赤外光８のパルス発光を周期的に行う。これにより、例えば可視光７と赤外光８とを時分割で発光する場合よりも可視光７と赤外光８とのそれぞれの光量を大きく設定可能になる。

本実施形態では、一例として、赤外光プロジェクタ３が、パルス発光１回当たりに１フレームの計測パターンを投影する。また、パルス発光の繰り返し周期であるパルス周期の長さは、可視光７の映像のフレーム期間Ｔ１と同じ長さに設定される。また、パルス発光１回当たりの赤外光８の光量は、例えば可視光プロジェクタ２が発光可能な可視光７の光量を基準として設定され、例えばフレーム期間Ｔ１中に発光可能な可視光７の光量以上、或いはパルス幅Ｔ２と同じ期間中に発光可能な可視光７の光量以上に設定される。

図６の（ｅ）は、カメラ４による撮像タイミングを示す。カメラ４は、図６の（ｄ），（ｅ）に示すように、撮像動作において、赤外光プロジェクタ３の発光タイミングに同期して露光する。これにより、フレーム期間Ｔ１毎にカメラ４の撮像画像が得られる。図６の（ｆ），（ｇ）に、それぞれ図６の（ｄ），（ｅ）のフレーム期間Ｔ１中の詳細を示す。

図６の（ｆ），（ｇ）に示すように、本実施形態においてカメラ４は、計測光のパルス発光のタイミング及びパルス幅Ｔ２と同じ期間に露光を行う。パルス発光のパルス幅Ｔ２は、例えば０．１ピコ秒〜２０マイクロ秒に設定される。これにより、パルス発光の期間を短縮しすぎて計測光の波長帯に広がりが生じてしまう事態を回避しながら、パルス発光の光量のピークを顕著に高くすることができる。また、同様の観点から、パルス発光のデューティ比は、例えば１／１００〜１／１００００に設定される。この際、パルス周期に対応するパルス周波数は、動体に追従可能な撮像画像のフレームレートを確保するために、２００Ｈｚ〜１ＧＨｚの範囲内で適宜、設定されてもよい。

３．効果等
以上のように、本実施形態において投影システム１は、被写体６等の物体の形状に応じた映像を投影する。投影システム１は、赤外光プロジェクタ３と、カメラ４と、映像生成部５０と、可視光プロジェクタ２とを備える。赤外光プロジェクタ３は、所定の偏光特性を有し非可視光である赤外光８を出射し、物体及びスクリーン１０に赤外光８による計測パターン８１〜８３を投影する。スクリーン１０は、赤外光プロジェクタ３から赤外光が出射する方向において物体の後方に配置され、入射する赤外光８の偏光特性を維持して反射する性質の反射面１０ａを有する。カメラ４は、所定の偏光特性を維持したままスクリーン１０により反射される赤外光を遮断するように設置された第２偏光フィルタ４４を有し、赤外光プロジェクタ３によって投影された計測パターン８１〜８３を撮像する。映像生成部５０は、カメラ４によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光プロジェクタ２は、物体に映像データが示す映像を可視光７により投影する。

以上の投影システム１によると、第２偏光フィルタ４４によりスクリーン１０で反射された非可視光は遮断される。これにより、物体の形状に応じた映像を投影する投影システム１において、被写体６等の物体の形状を精度良く計測することができる。

また、本実施形態において、スクリーン１０は、可視光７を拡散反射する。これにより、可視光プロジェクタ２はスクリーン１０に映像を映し出すことができ、投影システム１における演出効果を高めることができる。

また、本実施形態において、カメラ４は、シリコンを含む撮像素子４１と、赤外光を透過して可視光を吸収または反射する可視光遮断フィルタ４３とを備える。これにより、カメラ４において、撮像素子４１が可視光領域に受光感度を有する場合であっても、可視光の受光を遮断することができ、カメラ４によって撮像される赤外光の計測パターン８１〜８３の撮像画像の精度を良くすることができる。なお、可視光領域に受光感度がない撮像素子を用いる場合には、可視光遮断フィルタ４３を省略してもよい。

また、本実施形態において、可視光遮断フィルタ４３は、カメラ４における撮像レンズ４２に取り付けられるフィルタである。可視光遮断フィルタ４３は、撮像素子４１に組み込まれるフィルタであってもよいし、カメラ４における撮像レンズ４２と一体的に構成されてもよい。

また、本実施形態において、赤外光プロジェクタ３は、投影する赤外光８に所定の偏光特性を付与する第１偏光フィルタ３４を有する。第１偏光フィルタ３４は、赤外光プロジェクタ３における投影光学系３３に取り付けられるフィルタである。第１偏光フィルタ３４は、赤外光プロジェクタ３における投影光学系３３と一体的に構成されてもよい。なお、赤外光プロジェクタ３におけるパルス光源３１が、偏光特性を持った光を発する発光素子により構成される場合、第１偏光フィルタ３４を省略してもよい。また、パルス光源３１の発光素子が偏光特性を持った光を発する場合であっても、併せて第１偏光フィルタ３４を用いることにより、赤外光プロジェクタ３は、主成分の所定の偏光成分をより多く含む偏光状態の赤外光８を出射することができる。

また、本実施形態において、第２偏光フィルタ４４は、カメラ４における撮像レンズ４２に取り付けられるフィルタである。第２偏光フィルタ４４は、撮像素子４１に組み込まれるフィルタであってもよいし、カメラ４における撮像レンズ４２と一体的に構成されてもよい。

また、本実施形態において、赤外光プロジェクタ３は、各計測パターン８１，８２，８３を投影するための赤外光８をパルス発光する。映像生成部５０は、パルス発光のタイミングに応じて撮像された撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３に基づき、映像データを生成する。

以上の投影システム１によると、赤外光プロジェクタ３によるパルス発光のパルス幅の期間に、各計測パターン８１，８２，８３を投影するための赤外光の光量を集中させ、撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３におけるＳ／Ｎ比を向上できる。これにより、投影システム１において、被写体６等の物体の形状を精度良く計測することができる。

また、本実施形態において、赤外光プロジェクタ３によるパルス発光のパルス幅は、可視光プロジェクタ２が投影する映像の１フレームの期間よりも短い。パルス発光の光量は、可視光プロジェクタ２がパルス幅の期間中に発光する可視光７の光量よりも大きい。

これにより、パルス幅の期間において、可視光プロジェクタ２からの可視光７の光量よりも顕著に大きいパルス発光の光量が設定できる。このため、投影システム１における物体の計測精度を良くすることができる。

また、本実施形態において、カメラ４は、赤外光プロジェクタ３によるパルス発光に同期して撮像動作を行う。これにより、カメラ４から、パルス発光によってＳ／Ｎ比が改善された撮像画像を得ることができる。

また、本実施形態において、赤外光プロジェクタ３は、パルスレーザで構成されるパルス光源３１を備える。これにより、パルスレーザのパルス発振による大光量のパルス発光が行える。

また、本実施形態において赤外光プロジェクタ３から投影する非可視光映像は、空間コード化法に基づく計測パターン８１〜８３である。非可視光映像は、これに限らず、例えば、ランダムドットパターンなどを用いてもよい。

また、本実施形態において、赤外光８が第１偏光フィルタ３４を透過する時に特定の方向の直線偏光成分のみが透過し、第２偏光フィルタ４４を透過する時に特定の方向の直線偏光成分のみを遮断する構成としたが、本開示は特定の直線偏光成分に限定されない。本開示は、赤外光プロジェクタ３から投影して第１偏光フィルタ３４を透過する所定の偏光特性を持つ非可視光が、第２偏光フィルタ４４を介してカメラ４で検出されなければよい。そのため第１偏光フィルタ３４で、非可視光を円偏光や楕円偏光などの所定の偏光状態の非可視光成分のみに変換し、第２偏光フィルタ４４で所定の偏光状態の非可視光成分のみを遮断する構成としても良い。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。

また、上記各実施形態において、投影システム１において被写体６に映像コンテンツ７１を追従させる例について説明した。本開示における投影システムの投影対象となる物体は、特に動体に限らず静止物体でもよく、例えば建造物でもよい。静止物体が投影システムの投影対象である場合には、特に投影動作中に位置を計測しなくてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。

本開示における投影システム及び投影方法は、物体に映像を投影する種々の用途に適用可能である。

１投影システム
２可視光プロジェクタ
３赤外光プロジェクタ
３１パルス光源
３４第１偏光フィルタ
４カメラ
４１撮像素子
４２撮像レンズ
４３可視光遮断フィルタ
４４第２偏光フィルタ
５コントローラ
５０映像生成部
６被写体
７可視光
７１映像コンテンツ
８赤外光
８１，８２，８３計測パターン
１０スクリーン
１０ａ反射面

Claims

物体の形状に応じた映像を投影する投影システムであって、
所定の偏光が主成分である非可視光による所定の非可視光映像を、前記物体、及び前記非可視光を前記所定の偏光を維持して反射する背景部材に投影する非可視光投影部と、
前記物体及び前記背景部材により反射された非可視光映像を、前記所定の偏光の非可視光を遮断して撮像し、撮像データを生成する撮像部と、
前記撮像データに基づき前記物体の形状を計測し、計測結果に応じて映像データを生成する映像生成部と、
前記物体に前記映像データが示す映像を可視光により投影する可視光投影部と、
を備える、投影システム。
前記背景部材は、金属粉を塗布したスクリーンである、
請求項１に記載の投影システム。
前記背景部材は、シルバースクリーンである、
請求項１または２に記載の投影システム。
前記所定の偏光が、直線偏光、円偏光、楕円偏光の何れかである、
請求項１〜３のいずれか１項に記載の投影システム。
前記非可視光投影部が、非可視光に前記所定の偏光を付与する第１偏光部材を有する、
請求項１〜４のいずれか１項に記載の投影システム。
前記第１偏光部材は偏光フィルタである、
請求項５に記載の投影システム。
前記非可視光投影部が、前記所定の偏光の前記非可視光を発する発光素子を有する、
請求項１〜６のいずれか１項に記載の投影システム。
前記撮像部は、前記所定の偏光の前記非可視光を遮断するように配置された第２偏光部材を有する、
請求項１〜７のいずれか１項に記載の投影システム。
前記第２偏光部材は、偏光フィルタである、
請求項８に記載の投影システム。
前記撮像部は、シリコンを含む撮像素子と、非可視光を透過して可視光を吸収または反射する波長選択部材とを備える、
請求項１〜９のいずれか１項に記載の投影システム。
前記波長選択部材は、前記撮像部における撮像レンズに取り付けられるフィルタ、又は前記撮像素子に組み込まれるフィルタである、
請求項１０に記載の投影システム。
前記波長選択部材は、前記撮像部における撮像レンズと一体的に構成される、
請求項１０に記載の投影システム。
前記非可視光は、赤外光である、
請求項１〜１２のいずれか１項に記載の投影システム。
前記所定の非可視光映像は、空間コード化法に基づく計測パターンである、
請求項１〜１３のいずれか１項に記載の投影システム。
前記非可視光において前記所定の偏光の成分が５０％より多い、
請求項１〜１４のいずれか１項に記載の投影システム。
前記非可視光において前記所定の偏光の成分が６０％以上である、
請求項１〜１５のいずれか１項に記載の投影システム。
物体の形状に応じた映像を投影する投影方法であって、
所定の偏光が主成分である非可視光による所定の非可視光映像を、前記物体、及び前記非可視光を前記所定の偏光を維持して反射する背景部材に投影する非可視光投影ステップと、
前記物体及び前記背景部材により反射された非可視光映像を、前記所定の偏光の非可視光を遮断して撮像し、撮像データを生成する撮像ステップと、
前記撮像データに基づき前記物体の形状を計測し、計測結果に応じて映像データを生成する映像生成ステップと、
前記物体に前記映像データが示す映像を可視光により投影する可視光投影ステップと、
を備える、投影方法。
前記撮像ステップにおいて、波長選択部材により、非可視光を透過し可視光を吸収または反射することにより、前記物体及び前記背景部材により反射された前記非可視光映像が撮像されて前記撮像データが生成される、
請求項１７に記載の投影方法。