JPWO2017212510A1 - 投影システム - Google Patents
投影システム Download PDFInfo
- Publication number
- JPWO2017212510A1 JPWO2017212510A1 JP2017504841A JP2017504841A JPWO2017212510A1 JP WO2017212510 A1 JPWO2017212510 A1 JP WO2017212510A1 JP 2017504841 A JP2017504841 A JP 2017504841A JP 2017504841 A JP2017504841 A JP 2017504841A JP WO2017212510 A1 JPWO2017212510 A1 JP WO2017212510A1
- Authority
- JP
- Japan
- Prior art keywords
- light
- visible light
- projection system
- image
- pulse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/315—Modulator illumination systems
- H04N9/3155—Modulator illumination systems for controlling the light source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/315—Modulator illumination systems
- H04N9/3161—Modulator illumination systems using laser light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/315—Modulator illumination systems
- H04N9/3164—Modulator illumination systems using multiple light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Abstract
投影システム(1)は、非可視光投影部(3)と、撮像部(4)と、映像生成部(50)と、可視光投影部(2)とを備える。非可視光投影部は、非可視光により物体に所定の非可視光映像を投影する。撮像部は、非可視光投影部によって投影された非可視光映像を撮像する。映像生成部は、撮像部によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光投影部は、可視光により物体に映像データが示す映像を投影する。非可視光投影部は、非可視光映像を投影するための非可視光をパルス発光する。映像生成部は、パルス発光のタイミングに応じて撮像された撮像画像に基づき、映像データを生成する。
Description
本開示は、物体の形状および位置等に応じた映像を投影する投影システムに関する。
特許文献1は、建物のような構造物に映像コンテンツを投影するプロジェクションマッピングのための投影システムを開示している。特許文献1の投影システムにおいては、投影装置が、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光とを構造物に照射する。また、撮像装置が、構造物に投影されたパターン画像を撮像する。特許文献1の投影システムによると、構造物に映像コンテンツを位置合わせしてプロジェクションマッピングを行うことが可能になる。
本開示は、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる投影システムを提供する。
本開示における投影システムは、物体の形状に応じた映像を投影する。投影システムは、非可視光投影部と、撮像部と、映像生成部と、可視光投影部とを備える。非可視光投影部は、物体に所定の非可視光映像を非可視光により投影する。撮像部は、非可視光投影部によって投影された非可視光映像を撮像する。映像生成部は、撮像部によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光投影部は、物体に映像データが示す映像を可視光により投影する。非可視光投影部は、非可視光映像を投影するための非可視光をパルス発光する。映像生成部は、パルス発光のタイミングに応じて撮像された撮像画像に基づき、映像データを生成する。
本開示における投影システムによると、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施形態1)
1.構成
実施形態1に係る投影システムの構成を、図1を参照して説明する。図1は、本実施形態に係る投影システム1の構成を示すブロック図である。
1.構成
実施形態1に係る投影システムの構成を、図1を参照して説明する。図1は、本実施形態に係る投影システム1の構成を示すブロック図である。
投影システム1は、図1に示すように、可視光プロジェクタ2と、赤外光プロジェクタ3と、カメラ4と、コントローラ5と、スクリーン10とを備える。本実施形態に係る投影システム1は、例えば演出用に人物等の被写体6に可視光の映像を投影するプロジェクションマッピングを行うシステムである。投影システム1では、可視光プロジェクタ2からの可視光による映像コンテンツを、被写体6の動きに追従させるため、赤外光プロジェクタ3及びカメラ4を用いて被写体6の形状等を計測する。また、スクリーン10は、各プロジェクタ2,3の投影方向において被写体6よりも後方となる位置に配置される。
可視光プロジェクタ2は、例えばDLP方式、3LCD方式又はLCOS方式などのプロジェクタである。可視光プロジェクタ2は、例えばコントローラ5から入力される映像信号(映像データ)に基づき、種々の映像コンテンツを含む映像を投影するように可視光を出射する。可視光プロジェクタ2は、本実施形態における可視光投影部の一例である。可視光プロジェクタ2は、図1に示すように、可視光光源21と、空間光変調部22と、投影光学系23とを備える。
可視光光源21は、本実施形態では、赤色光、緑色光及び青色光をそれぞれ出射する複数の光源素子(例えばLED)を含む。可視光光源21は、可視光プロジェクタ2の投影方式に応じて適宜、単色の光源素子のみ、或いは白色の光源素子を有してもよい。光源素子は、レーザダイオード又はハロゲンランプなどであってもよい。
空間光変調部22は、本実施形態では、3つの空間光変調素子で構成される。空間光変調素子としては、DMD又はLCD等を用いることができる。空間光変調部22は、1つの空間光変調素子で構成されてもよい。
投影光学系23は、可視光プロジェクタ2の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
赤外光プロジェクタ3は、例えばDLP方式、LCD方式又はLCOS方式などのプロジェクタである。赤外光プロジェクタ3は、例えばコントローラ5から入力される映像信号(映像データ)に基づき、後述する所定の赤外光の計測パターンを投影する。赤外光プロジェクタ3は、非可視光により非可視光映像を投影する非可視光投影部の一例である。本実施形態では、非可視光の一例として赤外光を用いるが、これに限らず、例えば紫外光を用いてもよい。
赤外光プロジェクタ3は、図1に示すように、パルス光源31と、空間光変調素子32と、投影光学系23とを備える。
パルス光源31は、本実施形態では、赤外光をパルス発振するパルスレーザで構成される。パルス光源31は、パルス発振により、0.1ピコ秒〜20マイクロ秒等のパルス幅において、例えばピーク波長が800nm〜900nmの赤外光をパルス発光する。
空間光変調素子32は、DMD又はLCD等で構成される。空間光変調素子32の画像形成面には、コントローラ5等からの映像信号に基づき画像が形成される。パルス光源31においてパルス発光した赤外光が空間光変調素子32の画像形成面に入射することで、赤外光が空間変調され、非可視光映像が生成される。
投影光学系33は、赤外光プロジェクタ3の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
各プロジェクタ2,3は、例えば互いに同一の領域に光を出射可能に配置される。各プロジェクタ2,3は、それぞれの光軸が一致するように光学的に結合されてもよい。この場合、例えば、可視光を透過して赤外光を反射する、或いは可視光を反射して赤外光を透過するダイクロイックミラーなどを用いてもよい。また、この場合、それぞれの投影光学系23,33は一体的に構成されてもよい。また、赤外光プロジェクタ3と可視光プロジェクタ2とが、一つの装置として一体的に構成されてもよい。
カメラ4は、赤外光プロジェクタ3によって非可視光映像が投影される領域の画像を撮像可能な位置に配置される。カメラ4は、赤外光において被写体6に投影される計測パターンの撮像画像を生成し、撮像画像を示す画像データである撮像データをコントローラ5に出力する。カメラ4は、投影システム1における撮像部の一例である。カメラ4は、図1に示すように、撮像素子41と、撮像レンズ42と、可視光遮断フィルタ43とを備える。
撮像素子41は、例えばシリコンを主原料として含むCCDイメージセンサ又はCMOSイメージセンサなどの固体撮像素子で構成される。撮像素子41は、光を受光する複数の画素回路が並ぶ撮像面を有する。撮像素子41の主原料はシリコンに限らず、例えばゲルマニウムやガリウムであってもよい。
撮像レンズ42は、カメラ4の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
可視光遮断フィルタ43は、入射する光の内の赤外光成分を透過し、可視光成分を吸収するバンドパスフィルタ或いはロングパスフィルタである。可視光遮断フィルタ43は、例えば撮像レンズ42に取り付けられる。可視光遮断フィルタ43は、カメラ4において選択的に赤外光を透過する波長選択部材の一例である。
可視光遮断フィルタ43は、撮像レンズ42におけるコーティング、或いは回折格子の形成等により、撮像レンズ42と一体的に構成されてもよい。また、可視光遮断フィルタ43は、撮像素子41の画像形成面などに組み込まれて構成されてもよい。また、可視光遮断フィルタ43は、可視光成分の吸収に代えて、又はこれに加えて、可視光成分を反射するように構成されてもよい。
コントローラ5は、投影システム1の各部を制御する制御装置である。コントローラ5は、例えばソフトウェアと協働して所定の機能を実現するCPU又はMPUを備える。コントローラ5は、図1に示すように、映像生成部50と、記憶部51とを備える。
コントローラ5は、記憶部51に格納されたデータやプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、コントローラ5は、映像生成部50としての機能を実現する。また、コントローラ5は、カメラ4、赤外光プロジェクタ3及び可視光プロジェクタ2等の各種動作タイミングの制御(例えば各部の同期制御)、ズーム制御、フォーカス制御などを行ってもよい。
コントローラ5は、所定の機能を実現するように設計された専用の電子回路や再構成可能な電子回路などのハードウェア回路であってもよい。コントローラ5は、CPU,MPU,マイコン、DSP、FPGA、ASIC等の種々の半導体集積回路で構成されてもよい。また、コントローラ5の各種機能は、投影システム1の各部2,3,4に組み込まれてもよい。
映像生成部50は、可視光プロジェクタ2によって投影される映像コンテンツを示す映像データを生成する。この際、映像データは、映像コンテンツを被写体6の動きに追従して投影できるように生成される必要がある。このため、映像生成部50は、カメラ4からの撮像データに基づき被写体6の形状等の三次元計測を行う。映像生成部50の動作については後述する。
記憶部51は、コントローラ5の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体であり、例えばハードディスク(HDD)又は半導体記憶装置(SSD)を備える。また、記憶部51は、さらに、DRAMやSRAM等の半導体デバイスを備えてもよく、データを一時的に記憶するとともにコントローラ5の作業エリアとしても機能する。例えば、記憶部51は、種々の映像コンテンツを示す映像データ及び後述する計測パターンを示す映像データを格納する。
スクリーン10は、投影システム1において被写体6の背景となるような映像コンテンツを映し出すための背景部材の一例である。スクリーン10を用いることにより、例えば被写体6の動きに連動するような映像コンテンツが投影でき、プロジェクションマッピングにおける演出効果を高めることができる。スクリーン10は、図1に示すように、拡散部材11と、赤外光遮断フィルタ12とを備える。
拡散部材11は、可視光を拡散反射する投影面を構成する幕部材である。スクリーン10は、拡散部材11が赤外光遮断フィルタ12に覆われる二層構造で構成される(図4参照)。スクリーン10の投影面は、平面であってもよいし、曲面であってもよい。
赤外光遮断フィルタ12は、入射する光の内の可視光成分を平均50%以上の透過率で透過し、赤外光成分を平均50%以上吸収する光学特性を有するフィルム部材で構成される。赤外光遮断フィルタ12により、スクリーン10の投影面が入射する赤外光の拡散反射を遮断する遮光面として形成される。赤外光遮断フィルタ12は、スクリーン10における遮光部材の一例である。
赤外光遮断フィルタ12は、上記の光学特性に限らず、例えば赤外光を鏡面反射する光学特性を有してもよい。また、赤外光遮断フィルタ12は、例えばビーズ部材等を含む再帰反射構造を備えてもよい。また、赤外光遮断フィルタ12は、フィルム部材に限らず、例えばパネル部材で構成されてもよい。また、拡散部材11に対するコーティングなどにより、赤外光遮断フィルタ12が形成されてもよい。
2.動作
以上のように構成された投影システム1の動作を以下に説明する。
以上のように構成された投影システム1の動作を以下に説明する。
2−1.投影動作(プロジェクションマッピング)
本実施形態に係る投影システム1においてプロジェクションマッピングを行うための投影動作を、図1を参照して説明する。
本実施形態に係る投影システム1においてプロジェクションマッピングを行うための投影動作を、図1を参照して説明する。
まず、赤外光プロジェクタ3は、赤外光を出射して、複数の計測パターンの内の各計測パターンを順次、被写体6に投影する。計測パターンは、空間コード化法によって被写体6の形状及び位置を計測するための非可視光映像の一例である。計測対象の形状は、被写体6等の物体の輪郭及び凹凸を含む三次元形状である。また、計測対象の位置は、物体までの距離を含む三次元的な位置である。三次元計測の原理については後述する。
赤外光プロジェクタ3は、例えばコントローラ5の制御により、記憶部51に格納された映像データを読み出し、空間光変調素子32において映像データが示す計測パターンを形成する。次いで、赤外光プロジェクタ3は、パルス光源31を駆動して、スクリーン10の投影面全体などの範囲を含む画角において、赤外光の計測パターンを投影する。
この際、カメラ4は、赤外光プロジェクタ3によって投影された計測パターンを撮像し、計測パターンの撮像画像を示す撮像データをコントローラ5に出力する。カメラ4の撮像動作は、複数の計測パターンにおける計測パターン毎に行われる。
次に、コントローラ5の映像生成部50は、計測パターンの撮像画像に基づいて被写体6の形状及び位置を計測し、計測結果に応じて被写体6に投影される映像コンテンツを含む映像データを生成する。
具体的に、映像生成部50は、後述する空間コード化法によって撮像画像における被写体6の領域の画素毎に自装置までの距離を計測し、画素毎に計測した距離を示す距離画像を生成する。生成した距離画像に基づいて、映像生成部50は、デフォルトの映像データが示す映像コンテンツが計測した形状及び位置の被写体6に投影された際に適切に映し出されるように、デフォルトの映像データを補正する。デフォルトの映像データは、例えば予め記憶部51に格納されている。
また、本実施形態において、映像生成部50は、スクリーン10に投影する映像コンテンツも含めるように、可視光プロジェクタ2に出力する映像データを生成する。例えば、投影システム1の設置時などのキャリブレーションによりスクリーン10の位置及び形状(向き)を示す情報を予め記憶部51に記録しておき、投影動作時に映像生成部50が上記の情報を参照して、スクリーン10に投影する映像コンテンツの補正を行う。
次に、可視光プロジェクタ2は、コントローラ5の映像生成部50からの映像データに基づき空間光変調部22を制御し、可視光光源21からの可視光の出射により被写体6及びスクリーン10に映像コンテンツを投影する。
投影システム1は、以上の処理を所定のフレームレートにおいて繰り返し行う。これにより、可視光プロジェクタ2から投影される映像コンテンツを被写体6の動きに精度良く追従させることができる。
以上のような投影システム1の投影動作においては、赤外光プロジェクタ3から投影される計測パターンの撮像画像に基づく被写体6の形状及び位置の計測精度を良くすることが重要である。そこで、本実施形態では、上記の計測精度を良くするという目的を達成するために、各種フィルタ12,43を用いる。また、本実施形態では、上記の目的を達成するために、赤外光プロジェクタ3においてパルス発光制御を採用する。以下、本実施形態に係る投影システム1の動作の詳細について説明する。
2−2.三次元計測の原理について
本実施形態では、被写体6の形状等を計測するための計測原理として、空間コード化法によるアクティブステレオ計測を採用する。本計測原理について、図2,3を用いて説明する。図2は、三次元計測の原理を説明するための図である。図3は、空間コード化法に基づく計測パターンを説明するための図である。
本実施形態では、被写体6の形状等を計測するための計測原理として、空間コード化法によるアクティブステレオ計測を採用する。本計測原理について、図2,3を用いて説明する。図2は、三次元計測の原理を説明するための図である。図3は、空間コード化法に基づく計測パターンを説明するための図である。
図2では、カメラ4と赤外光プロジェクタ3とが、それぞれの光軸が平行になるように並んで配置されている。以下、図2に示すように、各光軸の方向をz方向とする。また、z方向に直交し、カメラ4と赤外光プロジェクタ3とが並ぶ方向をx方向とし、z方向及びx方向に直交する方向をy方向とする。
図2では、赤外光プロジェクタ3から出射した赤外光が物体の特定の点(輝点)において反射し、輝点からの反射光がカメラ4に入射する様子を示している。図2に示すように、カメラ4と赤外光プロジェクタ3との間には、視差θが生じる。赤外光プロジェクタ3から投影された映像がカメラ4で撮像されると、投影された映像はカメラ4の撮像画像において視差θだけずれて映る。すなわち、図2に示すように、物体上の輝点までの距離に応じて、カメラ4の撮像画像における輝点のx座標がずれる。
投影システム1では、上記のような座標のずれに基づき、コントローラ5(映像生成部50)がカメラ4と赤外光プロジェクタ3との間隔を基線長とする三角法に基づく計算を行って、z方向の距離を計測する。基線長は、例えば投影システム1の設置時のキャリブレーションなどによって予め取得される。座標のずれは、空間コード化法に基づく計測パターンを用いて計測される。この計測方法について、図3(a),(b)を参照して説明する。
図3(a)は、赤外光プロジェクタ3から投影される1組の計測パターン81,82,83の映像データを例示している。各計測パターン81〜83は、ずれの計測対象のx座標の方向に沿って配置された発光領域R1と非発光領域R0を有する。空間コード化法によると、発光領域R1を「1」、非発光領域R0を「0」に対応させることで、映像データ上のx座標がコード化される。図3(a)の例では、3つの計測パターン81〜83により、映像データ上で8つの領域に対応する3ビットのコードが得られる。
図3(b)は、図3(a)の各計測パターン81,82,83が投影された物体がカメラ4によって撮像されたときに生成される撮像画像Im1,Im2,Im3を示している。図3(b)に示すように、同じコード「110」に対応する輝点であっても、物体上の奥行きに応じて、撮像画像におけるx座標がずれる。本実施形態では、コントローラ5が、映像生成部50において撮像画像Im1〜Im3を示す撮像データをデコードすることにより、座標のずれを計測する。
具体的に、コントローラ5は、まず、1フレームの撮像画像の画素毎に、画素の輝度と所定のしきい値とを比較するしきい値判定を行う。所定のしきい値は、撮像画像中で計測パターンにおける発光領域の輝点を映している画素を判断する基準のしきい値であり、例えばノイズの光量を考慮して設定される。コントローラ5は、しきい値判定において、輝度がしきい値を越えると判断した画素に「1」を割り当て、輝度がしきい値を越えないと判断した画素に「0」を割り当てる。
コントローラ5は、以上の処理を全ての撮像画像Im1,Im2,Im3に対して行い、画素毎に割り当てられた二値(「0」又は「1」)を集計することにより、撮像データのデコードを行う。この際、コントローラ5は、例えば全撮像画像Im1〜Im3において輝度がしきい値を超えない領域を除くなどにより、撮像データ上で被写体と考えられる領域を抽出してもよい。
コントローラ5は、デコード結果が表すx座標の値と基準のx座標の値とを画素毎に比較することにより、x座標のずれを計測する。y座標のずれについても、例えば図3(a)の計測パターン81〜83を90度回転させた計測パターンを用いることで、上記と同様に計測できる。また、赤外光プロジェクタ3と可視光プロジェクタ2との間にも視差がある場合、例えば予め両者の設置位置を示す情報を取得しておき、適宜、赤外光プロジェクタ3において規定される三次元座標を可視光プロジェクタ2において規定される三次元座標に換算する。
2−3.各種フィルタについて
本実施形態における赤外光遮断フィルタ12及び可視光遮断フィルタ43の機能について、図4を用いて説明する。図4は、投影システム1における各種フィルタの機能を説明するための図である。
本実施形態における赤外光遮断フィルタ12及び可視光遮断フィルタ43の機能について、図4を用いて説明する。図4は、投影システム1における各種フィルタの機能を説明するための図である。
本実施形態では、可視光プロジェクタ2は、被写体6と共に、スクリーン10に映像コンテンツを投影する(図1参照)。スクリーン10において観察者等に視認可能に映像コンテンツを映すためには、図4に示すように、可視光プロジェクタ2からの可視光がスクリーン10において拡散反射される必要がある。しかし、赤外光プロジェクタ3からの赤外光もスクリーン10において拡散反射されると、カメラ4による計測パターンの撮像画像中で、被写体6の領域と被写体6以外の領域との境界が不明瞭になってしまう。
そこで、本実施形態では、スクリーン10の投影面において赤外光が拡散反射されないように、赤外光遮断フィルタ12を用いてスクリーン10を構成する(図4)。これにより、赤外光プロジェクタ3から投影される計測パターン中のスクリーン10に投影された部分はカメラ4の撮像画像に映らずに、計測パターン中の被写体6に投影された部分のみが、撮像画像に映ることとなる。このため、カメラ4の撮像画像上で被写体6の輪郭が明瞭になり、被写体6の形状及び位置を精度良く計測可能になる。
また、スクリーン10は、可視光を拡散反射する拡散部材11に赤外光遮断フィルタ12を重ねて構成される。図4に示すように、赤外光遮断フィルタ12が可視光を透過することにより、スクリーン10の投影面において可視光の拡散反射は維持される。これにより、スクリーン10において可視光プロジェクタ2による映像の視認性を確保することができる。
また、本実施形態では、図4に示すように、可視光遮断フィルタ43をカメラ4に用いて、カメラ4に入射する光の内の可視光成分を遮断して赤外光成分を透過する。これにより、可視光プロジェクタ2が可視光の発光により映像を投影するタイミングに拘らず、カメラ4が赤外光プロジェクタ3による計測パターンを精度良く撮像することができる。
スクリーン10の遮光面10aにおける拡散反射の遮断は、赤外光の吸収に限らず、赤外光遮断フィルタ12が赤外光を鏡面反射、或いは再帰反射すること等によって実現されてもよい。鏡面反射によると、撮像画像中に遮光面10aを鏡面とする赤外光プロジェクタ3の光源像が映ることになる。この場合、例えばコントローラ5が撮像画像中で光源像の領域を光量又は位置等により判定し、除去してもよい。また、再帰反射によると、赤外光プロジェクタ3が出射した赤外光が赤外光プロジェクタ3に向けて反射され、カメラ4への入射を遮断できる。
2−4.パルス発光制御について
本実施形態における計測パターンのパルス発光制御について、図5を用いて説明する。図5は、投影システム1におけるパルス発光制御の機能を説明するための図である。
本実施形態における計測パターンのパルス発光制御について、図5を用いて説明する。図5は、投影システム1におけるパルス発光制御の機能を説明するための図である。
図5に示すように、被写体6で反射される光には、赤外光プロジェクタ3からの赤外光の他にも、可視光プロジェクタ2からの可視光および外光が含まれる。外光には通常、可視光成分と共に赤外光成分が含まれる。ここで、赤外光プロジェクタ3からの赤外光以外の光は、カメラ4に露光されることで、撮像画像に基づく被写体6の計測精度を低下させるノイズになる。
そこで、本実施形態では、赤外光プロジェクタ3のパルス光源31(図1)が計測パターンを投影するための赤外光をパルス発光し、発光する赤外光の光量をパルス幅の期間に集中させる(図5)。この際、カメラ4は、赤外光のパルス発光のタイミングに同期して撮像動作を行う。これにより、カメラ4に露光される光量において、外光等のノイズの光量よりも赤外光プロジェクタ3からの赤外光の光量を顕著に大きくすることができ、被写体6の計測精度におけるS/N比を向上できる。また、計測精度に対する外光の影響の緩和により、投影システム1の設置自由度を広げることができる。
以下、本実施形態における投影システム1のタイミング制御の詳細について、図6(a)〜(g)を用いて説明する。
図6(a),(b),(c)は、それぞれ可視光プロジェクタ2による赤色光(R)、緑色光(G)、青色光(B)の発光タイミングを示す。本実施形態において、可視光プロジェクタ2は、図6(a)〜(c)に示すように、1フレームの映像を投影するためのフレーム期間T1において赤色光、緑色光及び青色光の各々を連続的に発光するように可視光光源21(図1)を駆動する。これにより、例えば赤色光、緑色光及び青色光を時分割で発光する場合よりも光量(最大光量)を大きく設定でき、投影される映像を高品質にすることができる。フレーム期間T1は、映像を動体に追従させるために、例えば1/200秒以下に設定される。
図6(d)は、赤外光プロジェクタ3による赤外光の発光タイミングを示す。図6(d)に示すように、赤外光プロジェクタ3は、可視光プロジェクタ2が発光中の期間に重畳して、赤外光のパルス発光を周期的に行う。これにより、例えば可視光と赤外光とを時分割で発光する場合よりも可視光と赤外光とのそれぞれの光量を大きく設定可能になる。
本実施形態では、一例として、赤外光プロジェクタ3が、パルス発光1回当たりに1フレームの計測パターンを投影する。また、パルス発光の繰り返し周期であるパルス周期の長さは、可視光の映像のフレーム期間T1と同じ長さに設定される。また、パルス発光1回当たりの赤外光の光量は、例えば可視光プロジェクタ2が発光可能な可視光の光量を基準として設定され、例えばフレーム期間T1中に発光可能な可視光の光量以上、或いはパルス幅と同じ期間中に発光可能な可視光の光量以上に設定される。
図6(e)は、カメラ4による撮像タイミングを示す。カメラ4は、図6(d),(e)に示すように、撮像動作において、赤外光プロジェクタ3の発光タイミングに同期して露光する。これにより、フレーム期間T1毎にカメラ4の撮像画像が得られる。図6(f),(g)に、図6(d),(e)のフレーム期間T1中の詳細を示す。
図6(f),(g)に示すように、本実施形態においてカメラ4は、計測光のパルス発光のタイミング及びパルス幅と同じ期間T2に露光を行う。パルス発光光のパルス幅は、例えば0.1ピコ秒〜20マイクロ秒に設定される。これにより、パルス発光の期間を短縮しすぎて計測光の波長帯に広がりが生じてしまう事態を回避しながら、パルス発光の光量のピークを顕著に高くすることができる。また、同様の観点から、パルス発光のデューティ比は、例えば1/100〜1/10000に設定される。この際、パルス周期に対応するパルス周波数は、動体に追従可能な撮像画像のフレームレートを確保するために、200Hz〜1GHzの範囲内で適宜、設定されてもよい。
3.効果等
以上のように、本実施形態において投影システム1は、被写体6等の物体の形状に応じた映像を投影する。投影システム1は、赤外光プロジェクタ3と、スクリーン10と、カメラ4と、映像生成部50と、可視光プロジェクタ2とを備える。赤外光プロジェクタ3は、非可視光である赤外光により、物体に計測パターン81〜83を投影する。スクリーン10は、赤外光プロジェクタ3から赤外光が出射する方向において物体の後方に配置される。カメラ4は、赤外光プロジェクタ3によって投影された計測パターン81〜83を撮像する。映像生成部50は、カメラ4によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光プロジェクタ2は、物体に映像データが示す映像を可視光により投影する。スクリーン10は、赤外光が入射したときに赤外光の拡散反射を遮断する遮光面10aを有する。
以上のように、本実施形態において投影システム1は、被写体6等の物体の形状に応じた映像を投影する。投影システム1は、赤外光プロジェクタ3と、スクリーン10と、カメラ4と、映像生成部50と、可視光プロジェクタ2とを備える。赤外光プロジェクタ3は、非可視光である赤外光により、物体に計測パターン81〜83を投影する。スクリーン10は、赤外光プロジェクタ3から赤外光が出射する方向において物体の後方に配置される。カメラ4は、赤外光プロジェクタ3によって投影された計測パターン81〜83を撮像する。映像生成部50は、カメラ4によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光プロジェクタ2は、物体に映像データが示す映像を可視光により投影する。スクリーン10は、赤外光が入射したときに赤外光の拡散反射を遮断する遮光面10aを有する。
以上の投影システム1によると、遮光面10aにおいて赤外光プロジェクタ3からの赤外光の拡散反射が遮断される。これにより、物体の形状に応じた映像を投影する投影システム1において、被写体6等の物体の形状を精度良く計測することができる。
また、本実施形態において、スクリーン10は、遮光面10aにおいて赤外光を拡散反射せずに吸収する。スクリーン10は、拡散反射せずに鏡面反射又は再帰反射してもよい。これにより、遮光面10aにおいて赤外光の拡散反射が遮断され、物体の計測精度を良くすることができる。
また、本実施形態において、スクリーン10は、可視光を拡散反射する。これにより、可視光プロジェクタ2からスクリーン10に映像を映し出すことができ、投影システム1における演出効果を高めることができる。
また、本実施形態において、スクリーン10は、赤外光遮断フィルタ12と、拡散部材11とを備える。赤外光遮断フィルタ12は、遮光面10aを形成し、可視光を透過する。拡散部材11は、赤外光遮断フィルタ12に覆われ、可視光を拡散反射する。これにより、拡散部材11と赤外光遮断フィルタ12の二層構造で簡単に可視光を拡散反射する遮光面10aを構成することできる。
また、本実施形態において、カメラ4は、シリコンを含む撮像素子41と、赤外光を透過して可視光を吸収または反射する可視光遮断フィルタ43とを備える。これにより、カメラ4において、撮像素子41には可視光領域に受光感度があるような場合であっても、可視光の受光を遮断することができる。なお、可視光領域に受光感度がない撮像素子を用いる場合には、可視光遮断フィルタ43を省略してもよい。
また、本実施形態において、可視光遮断フィルタ43は、カメラ4における撮像レンズ42に取り付けられるフィルタである。可視光遮断フィルタ43は、撮像素子41に組み込まれるフィルタであってもよいし、カメラ4における撮像レンズ42と一体的に構成されてもよい。
また、本実施形態において、投影システム1は、赤外光プロジェクタ3と、カメラ4と、映像生成部50と、可視光プロジェクタ2とを備える。赤外光プロジェクタ3は、各計測パターン81,82,83を投影するための赤外光をパルス発光する。映像生成部50は、パルス発光のタイミングに応じて撮像された撮像画像Im1,Im2,Im3に基づき、映像データを生成する。
以上の投影システム1によると、赤外光プロジェクタ3によるパルス発光のパルス幅の期間に、各計測パターン81,82,83を投影するための赤外光の光量を集中させ、撮像画像Im1,Im2,Im3におけるS/N比を向上できる。これにより、投影システム1において、被写体6等の物体の形状を精度良く計測することができる。
また、本実施形態において、赤外光プロジェクタ3によるパルス発光のパルス幅は、可視光プロジェクタ2が投影する映像の1フレームの期間よりも短い。パルス発光の光量は、可視光プロジェクタ2がパルス幅の期間中に発光する可視光の光量よりも大きい。
これにより、パルス幅の期間において、可視光プロジェクタ2からの可視光の光量よりも顕著に大きいパルス発光の光量が設定できる。このため、投影システム1における物体の計測精度を良くすることができる。
また、本実施形態において、カメラ4は、赤外光プロジェクタ3によるパルス発光に同期して撮像動作を行う。これにより、カメラ4から、パルス発光によってS/N比が改善された撮像画像を得ることができる。
また、本実施形態において、赤外光プロジェクタ3は、パルスレーザで構成されるパルス光源31を備える。これにより、パルスレーザのパルス発振による大光量のパルス発光が行える。
また、本実施形態において赤外光プロジェクタ3から投影する非可視光映像は、空間コード化法に基づく計測パターン81〜83である。非可視光映像は、これに限らず、例えば、ランダムドットパターンなどを用いてもよい。
(実施形態2)
以下、図面を用いて、実施形態2を説明する。実施形態1では、赤外光プロジェクタ3によるパルス発光にカメラ4の撮像動作を同期させる際に、パルス発光のタイミングにカメラ4の露光のタイミングを一致させた。実施形態2では、パルス発光のタイミングから遅延期間を設けてカメラ4の露光のタイミングを同期させる。
以下、図面を用いて、実施形態2を説明する。実施形態1では、赤外光プロジェクタ3によるパルス発光にカメラ4の撮像動作を同期させる際に、パルス発光のタイミングにカメラ4の露光のタイミングを一致させた。実施形態2では、パルス発光のタイミングから遅延期間を設けてカメラ4の露光のタイミングを同期させる。
以下、実施形態1に係る投影システム1と同様の構成、動作の説明は適宜、省略して、本実施形態に係る投影システム1を説明する。
図7(a)は、赤外光プロジェクタ3による赤外光のパルス発光のタイミングを示す。図7(b)は、図7(a)のパルス発光した赤外光の反射光がカメラ4に入射するタイミングを示す。図7(c)は、図7(a)のパルス発光のタイミングに一致させた場合のカメラ4の露光のタイミングを示す。図7(d),(e),(f)は、それぞれ本実施形態に係る赤外光プロジェクタ3による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ4の露光のタイミングを示す。
図7(a),(b),(c)では、パルス発光のタイミングにカメラ4の露光のタイミングを一致させた場合の動作例を示している。図7(a)〜(c)の例では、パルス幅を2マイクロ秒に設定した際に150m程度離れた物体を計測対象とすることを想定している。この場合では、赤外光の反射光は光速(略3×108m/秒)に基づき、図7(b)に示すように、パルス発光のタイミングから略1マイクロ秒の経過後にカメラ4に入射する。すると、カメラ4の露光のタイミングをパルス発光のタイミングに一致させた場合、図7(c)に示すように、反射光の光量が、カメラ4に入射する反射光の光量の内の半分程度しか、カメラ4に露光されないこととなる。
そこで、本実施形態では、図7(d),(e),(f)に示すように、パルス発光のタイミングから遅延期間Δtを設けてカメラ4の露光を行うように、カメラ4の撮像動作をパルス発光に同期させる。遅延期間Δtは、投影対象の物体(被写体)が存在することが想定される基準距離、及び光速に基づき、光が基準距離を往復するためにかかる期間に設定される。これにより、図7(e),(f)に示すように、物体からの反射光がカメラ4に入射する期間とカメラ4の露光期間との重なりが遅延期間Δt分増える。このため、カメラ4に露光される反射光の光量が増大し、物体の計測精度を向上できる。
投影システム1における遅延期間Δtの設定は、例えば投影システム1のキャリブレーション時などに予め行われる。また、投影システム1の投影動作中に、ユーザの指示あるいは所定周期(例えば1分)等により、被写体6までの距離(z方向位置)の計測結果に基づいて行われてもよい。
以上のように、本実施形態に係る投影システム1において、カメラ4は、赤外光プロジェクタ3によるパルス発光のタイミングから遅延期間Δtの経過毎に撮像動作を行う。これにより、物体からの反射光がカメラ4に入射する期間とカメラ4の露光期間とを重なり易くすることができ、物体の計測精度を向上できる。
また、本実施形態において、遅延期間Δtは、物体までの距離及び光速に基づく期間である。これにより、赤外光プロジェクタ3からパルス発光した赤外光が物体までの距離を往復するためにかかる期間に遅延期間Δtを調整して、カメラ4に露光される反射光の光量を増大させることができる。
また、上記の実施形態では、カメラ4が赤外光のパルス発光のパルス幅と同じ期間に露光を行った。カメラ4の露光期間は、パルス幅とは異なる長さに設定されてもよい。この変形例について、図8(a)〜(c)を用いて説明する。
図8(a),(b),(c)は、それぞれ本変形例に係る赤外光プロジェクタ3による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ4の露光のタイミングを示す。本変形例では、図8(c)に示すように、カメラ4の露光期間が赤外光のパルス発光のパルス幅よりも長い期間に設定されている。これにより、カメラ4の露光のタイミングが反射光の入射のタイミングに完全に一致しなくても、カメラ4の露光期間内に反射光が入射する期間が含まれることとなる。このため、カメラ4のタイミング制御を過度に複雑化することなく、簡単な回路構成で物体の計測精度を向上できる。
カメラ4の露光期間は、例えば赤外光プロジェクタ3によるパルス発光の間隔、すなわちパルス周期(期間T1)よりも短く設定され、例えばパルス発光の間隔の半分以下に設定される。また、カメラ4の露光期間は、パルス発光のパルス幅の複数倍(例えば10倍)以下に設定されてもよい。これらの場合において、遅延期間Δtは省略されてもよい。
(実施形態3)
以下、図面を用いて、実施形態3を説明する。上記の各実施形態では、カメラ4が赤外光プロジェクタ3によるパルス発光に同期して撮像動作を行った。実施形態3では、カメラ4の撮像動作はパルス発光に同期させずに、映像生成部50がパルス発光のタイミングに応じた撮像画像を抽出する。
以下、図面を用いて、実施形態3を説明する。上記の各実施形態では、カメラ4が赤外光プロジェクタ3によるパルス発光に同期して撮像動作を行った。実施形態3では、カメラ4の撮像動作はパルス発光に同期させずに、映像生成部50がパルス発光のタイミングに応じた撮像画像を抽出する。
以下、実施形態1,2に係る投影システム1と同様の構成、動作の説明は適宜、省略して、本実施形態に係る投影システム1を説明する。
図9(a),(b),(c)は、それぞれ本実施形態に係る赤外光プロジェクタ3による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ4の露光のタイミングを示す。
本実施形態では、図9(c)に示すように、カメラ4が、パルス発光のタイミング(図9(a))に特に同期することなく、所定の繰り返し周期において撮像動作を繰り返す。これにより、カメラ4の撮像動作をパルス発光に同期させる同期信号源などの構成を省略できる。
本実施形態では、カメラ4の撮像の繰り返し周期は、図9(b),(c)に示すように、パルス発光のパルス幅よりも短い期間に設定される。これにより、反射光がカメラ4に入射する期間中に露光期間が含まれる撮像画像が生成されることとなる。このような撮像画像においては、反射光の光量に対して外光などのノイズ成分の光量が小さく、高いS/N比において物体の計測を行うことができる。
映像生成部50は、カメラが順次、撮像する撮像画像の中から上記のように生成された撮像画像を抽出し、抽出した撮像画像に基づいて計測パターンのデコードなどの処理を行う。例えば、反射光の往復期間を示す情報を予め記憶部51に格納しておき、当該情報及びパルス発光のタイミングに基づいて、映像生成部50が上記のような撮像画像の抽出を行う。
以上のように、本実施形態における投影システム1において、カメラ4は、赤外光プロジェクタ3によるパルス発光の繰り返し周期よりも短い時間間隔において撮像動作を繰り返す。映像生成部50は、繰り返し撮像された撮像画像の中からパルス発光のタイミングに応じた撮像画像を抽出する。これにより、映像生成部50が抽出した撮像画像に基づいて、精度良く物体の三次元計測を行うことができる。また、カメラ4の同期制御等の構成を省略でき、コストを削減することができる。
上記の実施形態において、カメラ4の撮像の繰り返し周期は、パルス発光のパルス幅の長さ以上の期間に設定されてもよい。この変形例について、図10(a)〜(c)を用いて説明する。
図10(a),(b),(c)は、それぞれ本変形例に係る赤外光プロジェクタ3による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ4の露光のタイミングを示す。
本変形例において、カメラ4の撮像の繰り返し周期は、図10(a),(c)に示すようにパルス発光のパルス幅の長さ以上であり、且つ赤外光プロジェクタ3によるパルス発光の間隔、すなわちパルス周期の半周期以下に設定される。また、撮像動作の1回当たりの露光期間は、例えばパルス幅の長さ以上パルス周期の半周期以下に設定される。
この場合、図10(b),(c)に示すように、反射光がカメラ4に入射する期間の半分以上を露光期間に含む撮像画像が周期的に生成される。このような撮像画像は、パルス周期1周期分の外光を取り込むことなくノイズの影響を緩和した物体の三次元計測を可能にする。映像生成部50が上記の撮像画像を抽出し、抽出した撮像画像に基づき映像データを生成することにより、物体に精度よく追従する映像を得ることができる。
(他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態1〜3を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
以上のように、本出願において開示する技術の例示として、実施形態1〜3を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
上記の各実施形態では、背景部材の一例として、可視光を拡散反射するスクリーン10について説明した。本開示における背景部材はこれに限らず、例えば、可視光を吸収または透過する部材を採用してもよい。例えば、投影システム1において、可視光プロジェクタ2からの映像コンテンツを特に背景部材に投影しない場合には、赤外光を拡散反射せずに可視光を吸収する暗幕を背景部材として用いてもよい。また、例えば、投影システム1の外部構成のスクリーンを用いる場合等に、可視光を透過する赤外光遮断フィルタ、遮光カバー或いは遮光カーテン等を背景部材として用いてもよい。
また、上記の各実施形態では、投影システム1が背景部材を備えると共に、非可視光のパルス発光制御を行った。本開示はこれに限らず、投影システム1が背景部材を備える場合には非可視光のパルス発光制御を省略してもよいし、非可視光のパルス発光制御を行う材には背景部材を省略してもよい。いずれの場合においても、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる。
また、非可視光のパルス発光制御を省略する場合、赤外光プロジェクタ3において、パルス光源31に代えて連続波レーザー或いはLEDなどで構成される光源を用いてもよい。
また、非可視光のパルス発光制御を行う場合、可視光遮断フィルタ43を省略してもよい。この場合、パルス発光の光量及び三次元計測のしきい値を適宜、設定することにより、撮像画像に基づき物体の形状を精度良く計測することができる。
また、上記各実施形態において、可視光プロジェクタ2が赤色光、緑色光及び青色光を連続発光する例について説明したが、赤色光、緑色光及び青色光を時分割で発光してもよい。また、このような可視光の発光と、赤外光プロジェクタ3による赤外光の発光とを時分割にしてもよい。
また、上記各実施形態において、投影システム1において被写体6に映像コンテンツを追従させる例について説明した。本開示における投影システムの投影対象となる物体は、特に動体に限らず静止物体でもよく、例えば建造物でもよい。静止物体が投影システムの投影対象である場合には、特に投影動作中に位置を計測しなくてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。
本開示における投影システムは、物体に映像を投影する種々の用途に適用可能である。
本開示は、物体の形状および位置等に応じた映像を投影する投影システムに関する。
特許文献1は、建物のような構造物に映像コンテンツを投影するプロジェクションマッピングのための投影システムを開示している。特許文献1の投影システムにおいては、投影装置が、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光とを構造物に照射する。また、撮像装置が、構造物に投影されたパターン画像を撮像する。特許文献1の投影システムによると、構造物に映像コンテンツを位置合わせしてプロジェクションマッピングを行うことが可能になる。
本開示は、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる投影システムを提供する。
本開示における投影システムは、物体の形状に応じた映像を投影する。投影システムは、非可視光投影部と、撮像部と、映像生成部と、可視光投影部とを備える。非可視光投影部は、物体に所定の非可視光映像を非可視光により投影する。撮像部は、非可視光投影部によって投影された非可視光映像を撮像する。映像生成部は、撮像部によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光投影部は、物体に映像データが示す映像を可視光により投影する。非可視光投影部は、非可視光映像を投影するための非可視光をパルス発光する。映像生成部は、パルス発光のタイミングに応じて撮像された撮像画像に基づき、映像データを生成する。
本開示における投影システムによると、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施形態1)
1.構成
実施形態1に係る投影システムの構成を、図1を参照して説明する。図1は、本実施形態に係る投影システム1の構成を示すブロック図である。
1.構成
実施形態1に係る投影システムの構成を、図1を参照して説明する。図1は、本実施形態に係る投影システム1の構成を示すブロック図である。
投影システム1は、図1に示すように、可視光プロジェクタ2と、赤外光プロジェクタ3と、カメラ4と、コントローラ5と、スクリーン10とを備える。本実施形態に係る投影システム1は、例えば演出用に人物等の被写体6に可視光の映像を投影するプロジェクションマッピングを行うシステムである。投影システム1では、可視光プロジェクタ2からの可視光による映像コンテンツを、被写体6の動きに追従させるため、赤外光プロジェクタ3及びカメラ4を用いて被写体6の形状等を計測する。また、スクリーン10は、各プロジェクタ2,3の投影方向において被写体6よりも後方となる位置に配置される。
可視光プロジェクタ2は、例えばDLP方式、3LCD方式又はLCOS方式などのプロジェクタである。可視光プロジェクタ2は、例えばコントローラ5から入力される映像信号(映像データ)に基づき、種々の映像コンテンツを含む映像を投影するように可視光を出射する。可視光プロジェクタ2は、本実施形態における可視光投影部の一例である。可視光プロジェクタ2は、図1に示すように、可視光光源21と、空間光変調部22と、投影光学系23とを備える。
可視光光源21は、本実施形態では、赤色光、緑色光及び青色光をそれぞれ出射する複数の光源素子(例えばLED)を含む。可視光光源21は、可視光プロジェクタ2の投影方式に応じて適宜、単色の光源素子のみ、或いは白色の光源素子を有してもよい。光源素子は、レーザダイオード又はハロゲンランプなどであってもよい。
空間光変調部22は、本実施形態では、3つの空間光変調素子で構成される。空間光変調素子としては、DMD又はLCD等を用いることができる。空間光変調部22は、1つの空間光変調素子で構成されてもよい。
投影光学系23は、可視光プロジェクタ2の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
赤外光プロジェクタ3は、例えばDLP方式、LCD方式又はLCOS方式などのプロジェクタである。赤外光プロジェクタ3は、例えばコントローラ5から入力される映像信号(映像データ)に基づき、後述する所定の赤外光の計測パターンを投影する。赤外光プロジェクタ3は、非可視光により非可視光映像を投影する非可視光投影部の一例である。本実施形態では、非可視光の一例として赤外光を用いるが、これに限らず、例えば紫外光を用いてもよい。
赤外光プロジェクタ3は、図1に示すように、パルス光源31と、空間光変調素子32と、投影光学系33とを備える。
パルス光源31は、本実施形態では、赤外光をパルス発振するパルスレーザで構成される。パルス光源31は、パルス発振により、0.1ピコ秒〜20マイクロ秒等のパルス幅において、例えばピーク波長が800nm〜900nmの赤外光をパルス発光する。
空間光変調素子32は、DMD又はLCD等で構成される。空間光変調素子32の画像形成面には、コントローラ5等からの映像信号に基づき画像が形成される。パルス光源31においてパルス発光した赤外光が空間光変調素子32の画像形成面に入射することで、赤外光が空間変調され、非可視光映像が生成される。
投影光学系33は、赤外光プロジェクタ3の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
各プロジェクタ2,3は、例えば互いに同一の領域に光を出射可能に配置される。各プロジェクタ2,3は、それぞれの光軸が一致するように光学的に結合されてもよい。この場合、例えば、可視光を透過して赤外光を反射する、或いは可視光を反射して赤外光を透過するダイクロイックミラーなどを用いてもよい。また、この場合、それぞれの投影光学系23,33は一体的に構成されてもよい。また、赤外光プロジェクタ3と可視光プロジェクタ2とが、一つの装置として一体的に構成されてもよい。
カメラ4は、赤外光プロジェクタ3によって非可視光映像が投影される領域の画像を撮像可能な位置に配置される。カメラ4は、赤外光において被写体6に投影される計測パターンの撮像画像を生成し、撮像画像を示す画像データである撮像データをコントローラ5に出力する。カメラ4は、投影システム1における撮像部の一例である。カメラ4は、図1に示すように、撮像素子41と、撮像レンズ42と、可視光遮断フィルタ43とを備える。
撮像素子41は、例えばシリコンを主原料として含むCCDイメージセンサ又はCMOSイメージセンサなどの固体撮像素子で構成される。撮像素子41は、光を受光する複数の画素回路が並ぶ撮像面を有する。撮像素子41の主原料はシリコンに限らず、例えばゲルマニウムやガリウムであってもよい。
撮像レンズ42は、カメラ4の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。
可視光遮断フィルタ43は、入射する光の内の赤外光成分を透過し、可視光成分を吸収するバンドパスフィルタ或いはロングパスフィルタである。可視光遮断フィルタ43は、例えば撮像レンズ42に取り付けられる。可視光遮断フィルタ43は、カメラ4において選択的に赤外光を透過する波長選択部材の一例である。
可視光遮断フィルタ43は、撮像レンズ42におけるコーティング、或いは回折格子の形成等により、撮像レンズ42と一体的に構成されてもよい。また、可視光遮断フィルタ43は、撮像素子41の画像形成面などに組み込まれて構成されてもよい。また、可視光遮断フィルタ43は、可視光成分の吸収に代えて、又はこれに加えて、可視光成分を反射するように構成されてもよい。
コントローラ5は、投影システム1の各部を制御する制御装置である。コントローラ5は、例えばソフトウェアと協働して所定の機能を実現するCPU又はMPUを備える。コントローラ5は、図1に示すように、映像生成部50と、記憶部51とを備える。
コントローラ5は、記憶部51に格納されたデータやプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、コントローラ5は、映像生成部50としての機能を実現する。また、コントローラ5は、カメラ4、赤外光プロジェクタ3及び可視光プロジェクタ2等の各種動作タイミングの制御(例えば各部の同期制御)、ズーム制御、フォーカス制御などを行ってもよい。
コントローラ5は、所定の機能を実現するように設計された専用の電子回路や再構成可能な電子回路などのハードウェア回路であってもよい。コントローラ5は、CPU,MPU,マイコン、DSP、FPGA、ASIC等の種々の半導体集積回路で構成されてもよい。また、コントローラ5の各種機能は、投影システム1の各部2,3,4に組み込まれてもよい。
映像生成部50は、可視光プロジェクタ2によって投影される映像コンテンツを示す映像データを生成する。この際、映像データは、映像コンテンツを被写体6の動きに追従して投影できるように生成される必要がある。このため、映像生成部50は、カメラ4からの撮像データに基づき被写体6の形状等の三次元計測を行う。映像生成部50の動作については後述する。
記憶部51は、コントローラ5の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体であり、例えばハードディスク(HDD)又は半導体記憶装置(SSD)を備える。また、記憶部51は、さらに、DRAMやSRAM等の半導体デバイスを備えてもよく、データを一時的に記憶するとともにコントローラ5の作業エリアとしても機能する。例えば、記憶部51は、種々の映像コンテンツを示す映像データ及び後述する計測パターンを示す映像データを格納する。
スクリーン10は、投影システム1において被写体6の背景となるような映像コンテンツを映し出すための背景部材の一例である。スクリーン10を用いることにより、例えば被写体6の動きに連動するような映像コンテンツが投影でき、プロジェクションマッピングにおける演出効果を高めることができる。スクリーン10は、図1に示すように、拡散部材11と、赤外光遮断フィルタ12とを備える。
拡散部材11は、可視光を拡散反射する投影面を構成する幕部材である。スクリーン10は、拡散部材11が赤外光遮断フィルタ12に覆われる二層構造で構成される(図4参照)。スクリーン10の投影面は、平面であってもよいし、曲面であってもよい。
赤外光遮断フィルタ12は、入射する光の内の可視光成分を平均50%以上の透過率で透過し、赤外光成分を平均50%以上吸収する光学特性を有するフィルム部材で構成される。赤外光遮断フィルタ12により、スクリーン10の投影面が入射する赤外光の拡散反射を遮断する遮光面として形成される。赤外光遮断フィルタ12は、スクリーン10における遮光部材の一例である。
赤外光遮断フィルタ12は、上記の光学特性に限らず、例えば赤外光を鏡面反射する光学特性を有してもよい。また、赤外光遮断フィルタ12は、例えばビーズ部材等を含む再帰反射構造を備えてもよい。また、赤外光遮断フィルタ12は、フィルム部材に限らず、例えばパネル部材で構成されてもよい。また、拡散部材11に対するコーティングなどにより、赤外光遮断フィルタ12が形成されてもよい。
2.動作
以上のように構成された投影システム1の動作を以下に説明する。
以上のように構成された投影システム1の動作を以下に説明する。
2−1.投影動作(プロジェクションマッピング)
本実施形態に係る投影システム1においてプロジェクションマッピングを行うための投影動作を、図1を参照して説明する。
本実施形態に係る投影システム1においてプロジェクションマッピングを行うための投影動作を、図1を参照して説明する。
まず、赤外光プロジェクタ3は、赤外光を出射して、複数の計測パターンの内の各計測パターンを順次、被写体6に投影する。計測パターンは、空間コード化法によって被写体6の形状及び位置を計測するための非可視光映像の一例である。計測対象の形状は、被写体6等の物体の輪郭及び凹凸を含む三次元形状である。また、計測対象の位置は、物体までの距離を含む三次元的な位置である。三次元計測の原理については後述する。
赤外光プロジェクタ3は、例えばコントローラ5の制御により、記憶部51に格納された映像データを読み出し、空間光変調素子32において映像データが示す計測パターンを形成する。次いで、赤外光プロジェクタ3は、パルス光源31を駆動して、スクリーン10の投影面全体などの範囲を含む画角において、赤外光の計測パターンを投影する。
この際、カメラ4は、赤外光プロジェクタ3によって投影された計測パターンを撮像し、計測パターンの撮像画像を示す撮像データをコントローラ5に出力する。カメラ4の撮像動作は、複数の計測パターンにおける計測パターン毎に行われる。
次に、コントローラ5の映像生成部50は、計測パターンの撮像画像に基づいて被写体6の形状及び位置を計測し、計測結果に応じて被写体6に投影される映像コンテンツを含む映像データを生成する。
具体的に、映像生成部50は、後述する空間コード化法によって撮像画像における被写体6の領域の画素毎に自装置までの距離を計測し、画素毎に計測した距離を示す距離画像を生成する。生成した距離画像に基づいて、映像生成部50は、デフォルトの映像データが示す映像コンテンツが計測した形状及び位置の被写体6に投影された際に適切に映し出されるように、デフォルトの映像データを補正する。デフォルトの映像データは、例えば予め記憶部51に格納されている。
また、本実施形態において、映像生成部50は、スクリーン10に投影する映像コンテンツも含めるように、可視光プロジェクタ2に出力する映像データを生成する。例えば、投影システム1の設置時などのキャリブレーションによりスクリーン10の位置及び形状(向き)を示す情報を予め記憶部51に記録しておき、投影動作時に映像生成部50が上記の情報を参照して、スクリーン10に投影する映像コンテンツの補正を行う。
次に、可視光プロジェクタ2は、コントローラ5の映像生成部50からの映像データに基づき空間光変調部22を制御し、可視光光源21からの可視光の出射により被写体6及びスクリーン10に映像コンテンツを投影する。
投影システム1は、以上の処理を所定のフレームレートにおいて繰り返し行う。これにより、可視光プロジェクタ2から投影される映像コンテンツを被写体6の動きに精度良く追従させることができる。
以上のような投影システム1の投影動作においては、赤外光プロジェクタ3から投影される計測パターンの撮像画像に基づく被写体6の形状及び位置の計測精度を良くすることが重要である。そこで、本実施形態では、上記の計測精度を良くするという目的を達成するために、各種フィルタ12,43を用いる。また、本実施形態では、上記の目的を達成するために、赤外光プロジェクタ3においてパルス発光制御を採用する。以下、本実施形態に係る投影システム1の動作の詳細について説明する。
2−2.三次元計測の原理について
本実施形態では、被写体6の形状等を計測するための計測原理として、空間コード化法によるアクティブステレオ計測を採用する。本計測原理について、図2,3を用いて説明する。図2は、三次元計測の原理を説明するための図である。図3は、空間コード化法に基づく計測パターンを説明するための図である。
本実施形態では、被写体6の形状等を計測するための計測原理として、空間コード化法によるアクティブステレオ計測を採用する。本計測原理について、図2,3を用いて説明する。図2は、三次元計測の原理を説明するための図である。図3は、空間コード化法に基づく計測パターンを説明するための図である。
図2では、カメラ4と赤外光プロジェクタ3とが、それぞれの光軸が平行になるように並んで配置されている。以下、図2に示すように、各光軸の方向をz方向とする。また、z方向に直交し、カメラ4と赤外光プロジェクタ3とが並ぶ方向をx方向とし、z方向及びx方向に直交する方向をy方向とする。
図2では、赤外光プロジェクタ3から出射した赤外光が物体の特定の点(輝点)において反射し、輝点からの反射光がカメラ4に入射する様子を示している。図2に示すように、カメラ4と赤外光プロジェクタ3との間には、視差θが生じる。赤外光プロジェクタ3から投影された映像がカメラ4で撮像されると、投影された映像はカメラ4の撮像画像において視差θだけずれて映る。すなわち、図2に示すように、物体上の輝点までの距離に応じて、カメラ4の撮像画像における輝点のx座標がずれる。
投影システム1では、上記のような座標のずれに基づき、コントローラ5(映像生成部50)がカメラ4と赤外光プロジェクタ3との間隔を基線長とする三角法に基づく計算を行って、z方向の距離を計測する。基線長は、例えば投影システム1の設置時のキャリブレーションなどによって予め取得される。座標のずれは、空間コード化法に基づく計測パターンを用いて計測される。この計測方法について、図3(a),(b)を参照して説明する。
図3(a)は、赤外光プロジェクタ3から投影される1組の計測パターン81,82,83の映像データを例示している。各計測パターン81〜83は、ずれの計測対象のx座標の方向に沿って配置された発光領域R1と非発光領域R0を有する。空間コード化法によると、発光領域R1を「1」、非発光領域R0を「0」に対応させることで、映像データ上のx座標がコード化される。図3(a)の例では、3つの計測パターン81〜83により、映像データ上で8つの領域に対応する3ビットのコードが得られる。
図3(b)は、図3(a)の各計測パターン81,82,83が投影された物体がカメラ4によって撮像されたときに生成される撮像画像Im1,Im2,Im3を示している。図3(b)に示すように、同じコード「110」に対応する輝点であっても、物体上の奥行きに応じて、撮像画像におけるx座標がずれる。本実施形態では、コントローラ5が、映像生成部50において撮像画像Im1〜Im3を示す撮像データをデコードすることにより、座標のずれを計測する。
具体的に、コントローラ5は、まず、1フレームの撮像画像の画素毎に、画素の輝度と所定のしきい値とを比較するしきい値判定を行う。所定のしきい値は、撮像画像中で計測パターンにおける発光領域の輝点を映している画素を判断する基準のしきい値であり、例えばノイズの光量を考慮して設定される。コントローラ5は、しきい値判定において、輝度がしきい値を越えると判断した画素に「1」を割り当て、輝度がしきい値を越えないと判断した画素に「0」を割り当てる。
コントローラ5は、以上の処理を全ての撮像画像Im1,Im2,Im3に対して行い、画素毎に割り当てられた二値(「0」又は「1」)を集計することにより、撮像データのデコードを行う。この際、コントローラ5は、例えば全撮像画像Im1〜Im3において輝度がしきい値を超えない領域を除くなどにより、撮像データ上で被写体と考えられる領域を抽出してもよい。
コントローラ5は、デコード結果が表すx座標の値と基準のx座標の値とを画素毎に比較することにより、x座標のずれを計測する。y座標のずれについても、例えば図3(a)の計測パターン81〜83を90度回転させた計測パターンを用いることで、上記と同様に計測できる。また、赤外光プロジェクタ3と可視光プロジェクタ2との間にも視差がある場合、例えば予め両者の設置位置を示す情報を取得しておき、適宜、赤外光プロジェクタ3において規定される三次元座標を可視光プロジェクタ2において規定される三次元座標に換算する。
2−3.各種フィルタについて
本実施形態における赤外光遮断フィルタ12及び可視光遮断フィルタ43の機能について、図4を用いて説明する。図4は、投影システム1における各種フィルタの機能を説明するための図である。
本実施形態における赤外光遮断フィルタ12及び可視光遮断フィルタ43の機能について、図4を用いて説明する。図4は、投影システム1における各種フィルタの機能を説明するための図である。
本実施形態では、可視光プロジェクタ2は、被写体6と共に、スクリーン10に映像コンテンツを投影する(図1参照)。スクリーン10において観察者等に視認可能に映像コンテンツを映すためには、図4に示すように、可視光プロジェクタ2からの可視光がスクリーン10において拡散反射される必要がある。しかし、赤外光プロジェクタ3からの赤外光もスクリーン10において拡散反射されると、カメラ4による計測パターンの撮像画像中で、被写体6の領域と被写体6以外の領域との境界が不明瞭になってしまう。
そこで、本実施形態では、スクリーン10の投影面において赤外光が拡散反射されないように、赤外光遮断フィルタ12を用いてスクリーン10を構成する(図4)。これにより、赤外光プロジェクタ3から投影される計測パターン中のスクリーン10に投影された部分はカメラ4の撮像画像に映らずに、計測パターン中の被写体6に投影された部分のみが、撮像画像に映ることとなる。このため、カメラ4の撮像画像上で被写体6の輪郭が明瞭になり、被写体6の形状及び位置を精度良く計測可能になる。
また、スクリーン10は、可視光を拡散反射する拡散部材11に赤外光遮断フィルタ12を重ねて構成される。図4に示すように、赤外光遮断フィルタ12が可視光を透過することにより、スクリーン10の投影面において可視光の拡散反射は維持される。これにより、スクリーン10において可視光プロジェクタ2による映像の視認性を確保することができる。
また、本実施形態では、図4に示すように、可視光遮断フィルタ43をカメラ4に用いて、カメラ4に入射する光の内の可視光成分を遮断して赤外光成分を透過する。これにより、可視光プロジェクタ2が可視光の発光により映像を投影するタイミングに拘らず、カメラ4が赤外光プロジェクタ3による計測パターンを精度良く撮像することができる。
スクリーン10の遮光面10aにおける拡散反射の遮断は、赤外光の吸収に限らず、赤外光遮断フィルタ12が赤外光を鏡面反射、或いは再帰反射すること等によって実現されてもよい。鏡面反射によると、撮像画像中に遮光面10aを鏡面とする赤外光プロジェクタ3の光源像が映ることになる。この場合、例えばコントローラ5が撮像画像中で光源像の領域を光量又は位置等により判定し、除去してもよい。また、再帰反射によると、赤外光プロジェクタ3が出射した赤外光が赤外光プロジェクタ3に向けて反射され、カメラ4への入射を遮断できる。
2−4.パルス発光制御について
本実施形態における計測パターンのパルス発光制御について、図5を用いて説明する。図5は、投影システム1におけるパルス発光制御の機能を説明するための図である。
本実施形態における計測パターンのパルス発光制御について、図5を用いて説明する。図5は、投影システム1におけるパルス発光制御の機能を説明するための図である。
図5に示すように、被写体6で反射される光には、赤外光プロジェクタ3からの赤外光の他にも、可視光プロジェクタ2からの可視光および外光が含まれる。外光には通常、可視光成分と共に赤外光成分が含まれる。ここで、赤外光プロジェクタ3からの赤外光以外の光は、カメラ4に露光されることで、撮像画像に基づく被写体6の計測精度を低下させるノイズになる。
そこで、本実施形態では、赤外光プロジェクタ3のパルス光源31(図1)が計測パターンを投影するための赤外光をパルス発光し、発光する赤外光の光量をパルス幅の期間に集中させる(図5)。この際、カメラ4は、赤外光のパルス発光のタイミングに同期して撮像動作を行う。これにより、カメラ4に露光される光量において、外光等のノイズの光量よりも赤外光プロジェクタ3からの赤外光の光量を顕著に大きくすることができ、被写体6の計測精度におけるS/N比を向上できる。また、計測精度に対する外光の影響の緩和により、投影システム1の設置自由度を広げることができる。
以下、本実施形態における投影システム1のタイミング制御の詳細について、図6(a)〜(g)を用いて説明する。
図6(a),(b),(c)は、それぞれ可視光プロジェクタ2による赤色光(R)、緑色光(G)、青色光(B)の発光タイミングを示す。本実施形態において、可視光プロジェクタ2は、図6(a)〜(c)に示すように、1フレームの映像を投影するためのフレーム期間T1において赤色光、緑色光及び青色光の各々を連続的に発光するように可視光光源21(図1)を駆動する。これにより、例えば赤色光、緑色光及び青色光を時分割で発光する場合よりも光量(最大光量)を大きく設定でき、投影される映像を高品質にすることができる。フレーム期間T1は、映像を動体に追従させるために、例えば1/200秒以下に設定される。
図6(d)は、赤外光プロジェクタ3による赤外光の発光タイミングを示す。図6(d)に示すように、赤外光プロジェクタ3は、可視光プロジェクタ2が発光中の期間に重畳して、赤外光のパルス発光を周期的に行う。これにより、例えば可視光と赤外光とを時分割で発光する場合よりも可視光と赤外光とのそれぞれの光量を大きく設定可能になる。
本実施形態では、一例として、赤外光プロジェクタ3が、パルス発光1回当たりに1フレームの計測パターンを投影する。また、パルス発光の繰り返し周期であるパルス周期の長さは、可視光の映像のフレーム期間T1と同じ長さに設定される。また、パルス発光1回当たりの赤外光の光量は、例えば可視光プロジェクタ2が発光可能な可視光の光量を基準として設定され、例えばフレーム期間T1中に発光可能な可視光の光量以上、或いはパルス幅と同じ期間中に発光可能な可視光の光量以上に設定される。
図6(e)は、カメラ4による撮像タイミングを示す。カメラ4は、図6(d),(e)に示すように、撮像動作において、赤外光プロジェクタ3の発光タイミングに同期して露光する。これにより、フレーム期間T1毎にカメラ4の撮像画像が得られる。図6(f),(g)に、図6(d),(e)のフレーム期間T1中の詳細を示す。
図6(f),(g)に示すように、本実施形態においてカメラ4は、計測光のパルス発光のタイミング及びパルス幅と同じ期間T2に露光を行う。パルス発光光のパルス幅は、例えば0.1ピコ秒〜20マイクロ秒に設定される。これにより、パルス発光の期間を短縮しすぎて計測光の波長帯に広がりが生じてしまう事態を回避しながら、パルス発光の光量のピークを顕著に高くすることができる。また、同様の観点から、パルス発光のデューティ比は、例えば1/100〜1/10000に設定される。この際、パルス周期に対応するパルス周波数は、動体に追従可能な撮像画像のフレームレートを確保するために、200Hz〜1GHzの範囲内で適宜、設定されてもよい。
3.効果等
以上のように、本実施形態において投影システム1は、被写体6等の物体の形状に応じた映像を投影する。投影システム1は、赤外光プロジェクタ3と、スクリーン10と、カメラ4と、映像生成部50と、可視光プロジェクタ2とを備える。赤外光プロジェクタ3は、非可視光である赤外光により、物体に計測パターン81〜83を投影する。スクリーン10は、赤外光プロジェクタ3から赤外光が出射する方向において物体の後方に配置される。カメラ4は、赤外光プロジェクタ3によって投影された計測パターン81〜83を撮像する。映像生成部50は、カメラ4によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光プロジェクタ2は、物体に映像データが示す映像を可視光により投影する。スクリーン10は、赤外光が入射したときに赤外光の拡散反射を遮断する遮光面10aを有する。
以上のように、本実施形態において投影システム1は、被写体6等の物体の形状に応じた映像を投影する。投影システム1は、赤外光プロジェクタ3と、スクリーン10と、カメラ4と、映像生成部50と、可視光プロジェクタ2とを備える。赤外光プロジェクタ3は、非可視光である赤外光により、物体に計測パターン81〜83を投影する。スクリーン10は、赤外光プロジェクタ3から赤外光が出射する方向において物体の後方に配置される。カメラ4は、赤外光プロジェクタ3によって投影された計測パターン81〜83を撮像する。映像生成部50は、カメラ4によって撮像された撮像画像に基づき物体の形状を計測し、計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光プロジェクタ2は、物体に映像データが示す映像を可視光により投影する。スクリーン10は、赤外光が入射したときに赤外光の拡散反射を遮断する遮光面10aを有する。
以上の投影システム1によると、遮光面10aにおいて赤外光プロジェクタ3からの赤外光の拡散反射が遮断される。これにより、物体の形状に応じた映像を投影する投影システム1において、被写体6等の物体の形状を精度良く計測することができる。
また、本実施形態において、スクリーン10は、遮光面10aにおいて赤外光を拡散反射せずに吸収する。スクリーン10は、拡散反射せずに鏡面反射又は再帰反射してもよい。これにより、遮光面10aにおいて赤外光の拡散反射が遮断され、物体の計測精度を良くすることができる。
また、本実施形態において、スクリーン10は、可視光を拡散反射する。これにより、可視光プロジェクタ2からスクリーン10に映像を映し出すことができ、投影システム1における演出効果を高めることができる。
また、本実施形態において、スクリーン10は、赤外光遮断フィルタ12と、拡散部材11とを備える。赤外光遮断フィルタ12は、遮光面10aを形成し、可視光を透過する。拡散部材11は、赤外光遮断フィルタ12に覆われ、可視光を拡散反射する。これにより、拡散部材11と赤外光遮断フィルタ12の二層構造で簡単に可視光を拡散反射する遮光面10aを構成することできる。
また、本実施形態において、カメラ4は、シリコンを含む撮像素子41と、赤外光を透過して可視光を吸収または反射する可視光遮断フィルタ43とを備える。これにより、カメラ4において、撮像素子41には可視光領域に受光感度があるような場合であっても、可視光の受光を遮断することができる。なお、可視光領域に受光感度がない撮像素子を用いる場合には、可視光遮断フィルタ43を省略してもよい。
また、本実施形態において、可視光遮断フィルタ43は、カメラ4における撮像レンズ42に取り付けられるフィルタである。可視光遮断フィルタ43は、撮像素子41に組み込まれるフィルタであってもよいし、カメラ4における撮像レンズ42と一体的に構成されてもよい。
また、本実施形態において、投影システム1は、赤外光プロジェクタ3と、カメラ4と、映像生成部50と、可視光プロジェクタ2とを備える。赤外光プロジェクタ3は、各計測パターン81,82,83を投影するための赤外光をパルス発光する。映像生成部50は、パルス発光のタイミングに応じて撮像された撮像画像Im1,Im2,Im3に基づき、映像データを生成する。
以上の投影システム1によると、赤外光プロジェクタ3によるパルス発光のパルス幅の期間に、各計測パターン81,82,83を投影するための赤外光の光量を集中させ、撮像画像Im1,Im2,Im3におけるS/N比を向上できる。これにより、投影システム1において、被写体6等の物体の形状を精度良く計測することができる。
また、本実施形態において、赤外光プロジェクタ3によるパルス発光のパルス幅は、可視光プロジェクタ2が投影する映像の1フレームの期間よりも短い。パルス発光の光量は、可視光プロジェクタ2がパルス幅の期間中に発光する可視光の光量よりも大きい。
これにより、パルス幅の期間において、可視光プロジェクタ2からの可視光の光量よりも顕著に大きいパルス発光の光量が設定できる。このため、投影システム1における物体の計測精度を良くすることができる。
また、本実施形態において、カメラ4は、赤外光プロジェクタ3によるパルス発光に同期して撮像動作を行う。これにより、カメラ4から、パルス発光によってS/N比が改善された撮像画像を得ることができる。
また、本実施形態において、赤外光プロジェクタ3は、パルスレーザで構成されるパルス光源31を備える。これにより、パルスレーザのパルス発振による大光量のパルス発光が行える。
また、本実施形態において赤外光プロジェクタ3から投影する非可視光映像は、空間コード化法に基づく計測パターン81〜83である。非可視光映像は、これに限らず、例えば、ランダムドットパターンなどを用いてもよい。
(実施形態2)
以下、図面を用いて、実施形態2を説明する。実施形態1では、赤外光プロジェクタ3によるパルス発光にカメラ4の撮像動作を同期させる際に、パルス発光のタイミングにカメラ4の露光のタイミングを一致させた。実施形態2では、パルス発光のタイミングから遅延期間を設けてカメラ4の露光のタイミングを同期させる。
以下、図面を用いて、実施形態2を説明する。実施形態1では、赤外光プロジェクタ3によるパルス発光にカメラ4の撮像動作を同期させる際に、パルス発光のタイミングにカメラ4の露光のタイミングを一致させた。実施形態2では、パルス発光のタイミングから遅延期間を設けてカメラ4の露光のタイミングを同期させる。
以下、実施形態1に係る投影システム1と同様の構成、動作の説明は適宜、省略して、本実施形態に係る投影システム1を説明する。
図7(a)は、赤外光プロジェクタ3による赤外光のパルス発光のタイミングを示す。図7(b)は、図7(a)のパルス発光した赤外光の反射光がカメラ4に入射するタイミングを示す。図7(c)は、図7(a)のパルス発光のタイミングに一致させた場合のカメラ4の露光のタイミングを示す。図7(d),(e),(f)は、それぞれ本実施形態に係る赤外光プロジェクタ3による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ4の露光のタイミングを示す。
図7(a),(b),(c)では、パルス発光のタイミングにカメラ4の露光のタイミングを一致させた場合の動作例を示している。図7(a)〜(c)の例では、パルス幅を2マイクロ秒に設定した際に150m程度離れた物体を計測対象とすることを想定している。この場合では、赤外光の反射光は光速(略3×108m/秒)に基づき、図7(b)に示すように、パルス発光のタイミングから略1マイクロ秒の経過後にカメラ4に入射する。すると、カメラ4の露光のタイミングをパルス発光のタイミングに一致させた場合、図7(c)に示すように、反射光の光量が、カメラ4に入射する反射光の光量の内の半分程度しか、カメラ4に露光されないこととなる。
そこで、本実施形態では、図7(d),(e),(f)に示すように、パルス発光のタイミングから遅延期間Δtを設けてカメラ4の露光を行うように、カメラ4の撮像動作をパルス発光に同期させる。遅延期間Δtは、投影対象の物体(被写体)が存在することが想定される基準距離、及び光速に基づき、光が基準距離を往復するためにかかる期間に設定される。これにより、図7(e),(f)に示すように、物体からの反射光がカメラ4に入射する期間とカメラ4の露光期間との重なりが遅延期間Δt分増える。このため、カメラ4に露光される反射光の光量が増大し、物体の計測精度を向上できる。
投影システム1における遅延期間Δtの設定は、例えば投影システム1のキャリブレーション時などに予め行われる。また、投影システム1の投影動作中に、ユーザの指示あるいは所定周期(例えば1分)等により、被写体6までの距離(z方向位置)の計測結果に基づいて行われてもよい。
以上のように、本実施形態に係る投影システム1において、カメラ4は、赤外光プロジェクタ3によるパルス発光のタイミングから遅延期間Δtの経過毎に撮像動作を行う。これにより、物体からの反射光がカメラ4に入射する期間とカメラ4の露光期間とを重なり易くすることができ、物体の計測精度を向上できる。
また、本実施形態において、遅延期間Δtは、物体までの距離及び光速に基づく期間である。これにより、赤外光プロジェクタ3からパルス発光した赤外光が物体までの距離を往復するためにかかる期間に遅延期間Δtを調整して、カメラ4に露光される反射光の光量を増大させることができる。
また、上記の実施形態では、カメラ4が赤外光のパルス発光のパルス幅と同じ期間に露光を行った。カメラ4の露光期間は、パルス幅とは異なる長さに設定されてもよい。この変形例について、図8(a)〜(c)を用いて説明する。
図8(a),(b),(c)は、それぞれ本変形例に係る赤外光プロジェクタ3による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ4の露光のタイミングを示す。本変形例では、図8(c)に示すように、カメラ4の露光期間が赤外光のパルス発光のパルス幅よりも長い期間に設定されている。これにより、カメラ4の露光のタイミングが反射光の入射のタイミングに完全に一致しなくても、カメラ4の露光期間内に反射光が入射する期間が含まれることとなる。このため、カメラ4のタイミング制御を過度に複雑化することなく、簡単な回路構成で物体の計測精度を向上できる。
カメラ4の露光期間は、例えば赤外光プロジェクタ3によるパルス発光の間隔、すなわちパルス周期(期間T1)よりも短く設定され、例えばパルス発光の間隔の半分以下に設定される。また、カメラ4の露光期間は、パルス発光のパルス幅の複数倍(例えば10倍)以下に設定されてもよい。これらの場合において、遅延期間Δtは省略されてもよい。
(実施形態3)
以下、図面を用いて、実施形態3を説明する。上記の各実施形態では、カメラ4が赤外光プロジェクタ3によるパルス発光に同期して撮像動作を行った。実施形態3では、カメラ4の撮像動作はパルス発光に同期させずに、映像生成部50がパルス発光のタイミングに応じた撮像画像を抽出する。
以下、図面を用いて、実施形態3を説明する。上記の各実施形態では、カメラ4が赤外光プロジェクタ3によるパルス発光に同期して撮像動作を行った。実施形態3では、カメラ4の撮像動作はパルス発光に同期させずに、映像生成部50がパルス発光のタイミングに応じた撮像画像を抽出する。
以下、実施形態1,2に係る投影システム1と同様の構成、動作の説明は適宜、省略して、本実施形態に係る投影システム1を説明する。
図9(a),(b),(c)は、それぞれ本実施形態に係る赤外光プロジェクタ3による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ4の露光のタイミングを示す。
本実施形態では、図9(c)に示すように、カメラ4が、パルス発光のタイミング(図9(a))に特に同期することなく、所定の繰り返し周期において撮像動作を繰り返す。これにより、カメラ4の撮像動作をパルス発光に同期させる同期信号源などの構成を省略できる。
本実施形態では、カメラ4の撮像の繰り返し周期は、図9(b),(c)に示すように、パルス発光のパルス幅よりも短い期間に設定される。これにより、反射光がカメラ4に入射する期間中に露光期間が含まれる撮像画像が生成されることとなる。このような撮像画像においては、反射光の光量に対して外光などのノイズ成分の光量が小さく、高いS/N比において物体の計測を行うことができる。
映像生成部50は、カメラ4が順次、撮像する撮像画像の中から上記のように生成された撮像画像を抽出し、抽出した撮像画像に基づいて計測パターンのデコードなどの処理を行う。例えば、反射光の往復期間を示す情報を予め記憶部51に格納しておき、当該情報及びパルス発光のタイミングに基づいて、映像生成部50が上記のような撮像画像の抽出を行う。
以上のように、本実施形態における投影システム1において、カメラ4は、赤外光プロジェクタ3によるパルス発光の繰り返し周期よりも短い時間間隔において撮像動作を繰り返す。映像生成部50は、繰り返し撮像された撮像画像の中からパルス発光のタイミングに応じた撮像画像を抽出する。これにより、映像生成部50が抽出した撮像画像に基づいて、精度良く物体の三次元計測を行うことができる。また、カメラ4の同期制御等の構成を省略でき、コストを削減することができる。
上記の実施形態において、カメラ4の撮像の繰り返し周期は、パルス発光のパルス幅の長さ以上の期間に設定されてもよい。この変形例について、図10(a)〜(c)を用いて説明する。
図10(a),(b),(c)は、それぞれ本変形例に係る赤外光プロジェクタ3による赤外光のパルス発光のタイミング、反射光の入射のタイミング、及びカメラ4の露光のタイミングを示す。
本変形例において、カメラ4の撮像の繰り返し周期は、図10(a),(c)に示すようにパルス発光のパルス幅の長さ以上であり、且つ赤外光プロジェクタ3によるパルス発光の間隔、すなわちパルス周期の半周期以下に設定される。また、撮像動作の1回当たりの露光期間は、例えばパルス幅の長さ以上パルス周期の半周期以下に設定される。
この場合、図10(b),(c)に示すように、反射光がカメラ4に入射する期間の半分以上を露光期間に含む撮像画像が周期的に生成される。このような撮像画像は、パルス周期1周期分の外光を取り込むことなくノイズの影響を緩和した物体の三次元計測を可能にする。映像生成部50が上記の撮像画像を抽出し、抽出した撮像画像に基づき映像データを生成することにより、物体に精度よく追従する映像を得ることができる。
(他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態1〜3を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
以上のように、本出願において開示する技術の例示として、実施形態1〜3を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
上記の各実施形態では、背景部材の一例として、可視光を拡散反射するスクリーン10について説明した。本開示における背景部材はこれに限らず、例えば、可視光を吸収または透過する部材を採用してもよい。例えば、投影システム1において、可視光プロジェクタ2からの映像コンテンツを特に背景部材に投影しない場合には、赤外光を拡散反射せずに可視光を吸収する暗幕を背景部材として用いてもよい。また、例えば、投影システム1の外部構成のスクリーンを用いる場合等に、可視光を透過する赤外光遮断フィルタ、遮光カバー或いは遮光カーテン等を背景部材として用いてもよい。
また、上記の各実施形態では、投影システム1が背景部材を備えると共に、非可視光のパルス発光制御を行った。本開示はこれに限らず、投影システム1が背景部材を備える場合には非可視光のパルス発光制御を省略してもよいし、非可視光のパルス発光制御を行う場合には背景部材を省略してもよい。いずれの場合においても、物体の形状に応じた映像を投影する投影システムにおいて、物体の形状を精度良く計測することができる。
また、非可視光のパルス発光制御を省略する場合、赤外光プロジェクタ3において、パルス光源31に代えて連続波レーザー或いはLEDなどで構成される光源を用いてもよい。
また、非可視光のパルス発光制御を行う場合、可視光遮断フィルタ43を省略してもよい。この場合、パルス発光の光量及び三次元計測のしきい値を適宜、設定することにより、撮像画像に基づき物体の形状を精度良く計測することができる。
また、上記各実施形態において、可視光プロジェクタ2が赤色光、緑色光及び青色光を連続発光する例について説明したが、赤色光、緑色光及び青色光を時分割で発光してもよい。また、このような可視光の発光と、赤外光プロジェクタ3による赤外光の発光とを時分割にしてもよい。
また、上記各実施形態において、投影システム1において被写体6に映像コンテンツを追従させる例について説明した。本開示における投影システムの投影対象となる物体は、特に動体に限らず静止物体でもよく、例えば建造物でもよい。静止物体が投影システムの投影対象である場合には、特に投影動作中に位置を計測しなくてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。
本開示における投影システムは、物体に映像を投影する種々の用途に適用可能である。
Claims (10)
- 物体の形状に応じた映像を投影する投影システムであって、
前記物体に所定の非可視光映像を非可視光により投影する非可視光投影部と、
前記非可視光投影部によって投影された非可視光映像を撮像する撮像部と、
前記撮像部によって撮像された撮像画像に基づき前記物体の形状を計測し、計測結果に応じて前記物体に投影される映像を示す映像データを生成する映像生成部と、
前記物体に前記映像データが示す映像を可視光により投影する可視光投影部とを備え、
前記非可視光投影部は、前記非可視光映像を投影するための非可視光をパルス発光し、
前記映像生成部は、前記パルス発光のタイミングに応じて撮像された撮像画像に基づき、前記映像データを生成する
投影システム。 - 前記非可視光投影部によるパルス発光のパルス幅は、前記可視光投影部が投影する映像の1フレームの期間よりも短く、
前記パルス発光の光量は、前記可視光投影部が前記パルス幅の期間中に発光する可視光の光量よりも大きい
請求項1に記載の投影システム。 - 前記撮像部は、前記パルス発光に同期して撮像動作を行う
請求項1又は2に記載の投影システム。 - 前記撮像部は、前記パルス発光のタイミングから所定の遅延期間の経過毎に撮像動作を行う
請求項3に記載の投影システム。 - 前記遅延期間は、前記物体までの距離および光速に基づく期間である
請求項4に記載の投影システム。 - 前記撮像部は、前記非可視光のパルス発光の繰り返し周期よりも短い時間間隔において撮像動作を繰り返し、
前記映像生成部は、繰り返し撮像された撮像画像の中からパルス発光のタイミングに応じた撮像画像を抽出する
請求項1に記載の投影システム。 - 前記撮像部による撮像動作の1回当たりの露光期間は、前記非可視光のパルス発光におけるパルス周期の半周期以下である
請求項1〜6のいずれか1項に記載の投影システム。 - 前記非可視光投影部は、パルスレーザで構成されるパルス光源を備える
請求項1〜7のいずれか1項に記載の投影システム。 - 前記非可視光は、赤外光である
請求項1〜8のいずれか1項に記載の投影システム。 - 前記非可視光映像は、空間コード化法に基づく計測パターンである
請求項1〜9のいずれか1項に記載の投影システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016114409 | 2016-06-08 | ||
JP2016114409 | 2016-06-08 | ||
PCT/JP2016/004085 WO2017212510A1 (ja) | 2016-06-08 | 2016-09-07 | 投影システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017106856A Division JP6587158B2 (ja) | 2016-06-08 | 2017-05-30 | 投影システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6160851B1 JP6160851B1 (ja) | 2017-07-12 |
JPWO2017212510A1 true JPWO2017212510A1 (ja) | 2018-06-21 |
Family
ID=60578469
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017504841A Active JP6160851B1 (ja) | 2016-06-08 | 2016-09-07 | 投影システム |
JP2017106856A Active JP6587158B2 (ja) | 2016-06-08 | 2017-05-30 | 投影システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017106856A Active JP6587158B2 (ja) | 2016-06-08 | 2017-05-30 | 投影システム |
Country Status (5)
Country | Link |
---|---|
US (7) | US9807356B1 (ja) |
EP (1) | EP3273681B1 (ja) |
JP (2) | JP6160851B1 (ja) |
CN (1) | CN107852475B (ja) |
WO (1) | WO2017212510A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100348782C (zh) | 2001-01-26 | 2007-11-14 | Memc电子材料有限公司 | 具有基本上没有氧化诱生堆垛层错的空位为主的芯的低缺陷密度硅 |
CN105829829B (zh) * | 2013-12-27 | 2019-08-23 | 索尼公司 | 图像处理装置和图像处理方法 |
JP6702171B2 (ja) * | 2016-12-22 | 2020-05-27 | カシオ計算機株式会社 | 投影制御装置、投影制御方法及びプログラム |
US10838551B2 (en) * | 2017-02-08 | 2020-11-17 | Hewlett-Packard Development Company, L.P. | Calibration of displays |
JP6766720B2 (ja) * | 2017-03-27 | 2020-10-14 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
CN109521634B (zh) * | 2017-09-20 | 2020-12-08 | 中强光电股份有限公司 | 投影装置与投影系统 |
CN109541882B (zh) * | 2017-09-20 | 2021-09-28 | 中强光电股份有限公司 | 投影屏幕与投影系统 |
JP7285470B2 (ja) | 2018-05-17 | 2023-06-02 | パナソニックIpマネジメント株式会社 | 投影システム、投影装置及び投影方法 |
CN112314059B (zh) * | 2018-06-25 | 2023-10-20 | 昕诺飞控股有限公司 | 照明系统和照明方法 |
JP6907277B2 (ja) * | 2018-08-30 | 2021-07-21 | コグネックス・コーポレイション | 歪みが低減された物体の3次元再構成を生成するための方法及び装置 |
US11107268B2 (en) * | 2018-09-07 | 2021-08-31 | Cognex Corporation | Methods and apparatus for efficient data processing of initial correspondence assignments for three-dimensional reconstruction of an object |
CN109656372A (zh) * | 2018-12-28 | 2019-04-19 | 河南宏昌科技有限公司 | 基于红外不可见结构光的人机交互装置及其操作方法 |
EP3839880A1 (en) * | 2019-12-20 | 2021-06-23 | Koninklijke Philips N.V. | A system for performing ambient light image correction |
JP7472007B2 (ja) | 2020-12-14 | 2024-04-22 | 株式会社小糸製作所 | 画像投影システムおよび画像投影方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3886303A (en) * | 1972-12-21 | 1975-05-27 | Gen Electric | Automatic ranging in an active television system |
JPS50134725A (ja) * | 1974-04-15 | 1975-10-25 | ||
JPH07286858A (ja) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | 障害物検知装置及び障害物検知装置を備えるナビゲーション装置 |
JP2003149717A (ja) * | 2001-11-19 | 2003-05-21 | Mitsubishi Heavy Ind Ltd | 撮像方法及び撮像装置 |
US7390092B2 (en) * | 2002-11-08 | 2008-06-24 | Belliveau Richard S | Image projection lighting devices with visible and infrared imaging |
JP4454288B2 (ja) * | 2003-11-13 | 2010-04-21 | Necディスプレイソリューションズ株式会社 | プロジェクタ |
JP4673674B2 (ja) * | 2005-06-06 | 2011-04-20 | 株式会社リコー | 形状測定装置 |
JP4894442B2 (ja) * | 2006-09-29 | 2012-03-14 | ブラザー工業株式会社 | 映像生成装置 |
JP5045250B2 (ja) * | 2007-06-01 | 2012-10-10 | セイコーエプソン株式会社 | プロジェクタ |
JP2009259070A (ja) * | 2008-04-18 | 2009-11-05 | Calsonic Kansei Corp | 車両用距離画像データ生成装置 |
CN101755300B (zh) * | 2008-05-21 | 2014-02-05 | 松下电器产业株式会社 | 投影仪 |
JP2010286307A (ja) * | 2009-06-10 | 2010-12-24 | Nec Engineering Ltd | 画像撮像装置 |
JP2012163371A (ja) * | 2011-02-03 | 2012-08-30 | Canon Inc | 情報処理装置、情報処理方法 |
JP2013124941A (ja) * | 2011-12-15 | 2013-06-24 | Samsung Yokohama Research Institute Co Ltd | 測距装置、及び測距方法 |
JP6042674B2 (ja) * | 2012-09-20 | 2016-12-14 | スタンレー電気株式会社 | 三次元情報取得機能付き画像投影装置 |
CN104884995B (zh) * | 2012-12-26 | 2017-10-03 | 西铁城时计株式会社 | 投影装置 |
US9047514B2 (en) * | 2013-07-10 | 2015-06-02 | Christie Digital Systems Usa, Inc. | Apparatus, system and method for projecting images onto predefined portions of objects |
FR3012625B1 (fr) * | 2013-10-31 | 2017-04-28 | Wysips | Dispositif optique faisant varier l'aspect de surface d'un capteur d'energie lumineuse partiellement recouvert de zone image |
JP2015148585A (ja) * | 2014-02-10 | 2015-08-20 | 稔 新村 | パターン投影装置 |
JP6510213B2 (ja) | 2014-02-18 | 2019-05-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 投影システム、半導体集積回路、および画像補正方法 |
JP6618249B2 (ja) * | 2014-02-18 | 2019-12-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 投影システムおよび半導体集積回路 |
JP6434788B2 (ja) | 2014-03-06 | 2018-12-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 計測システム、計測方法およびビジョンチップ |
-
2016
- 2016-09-07 CN CN201680002350.9A patent/CN107852475B/zh active Active
- 2016-09-07 JP JP2017504841A patent/JP6160851B1/ja active Active
- 2016-09-07 WO PCT/JP2016/004085 patent/WO2017212510A1/ja active Application Filing
- 2016-09-07 EP EP16836144.2A patent/EP3273681B1/en active Active
-
2017
- 2017-02-23 US US15/440,178 patent/US9807356B1/en active Active
- 2017-05-30 JP JP2017106856A patent/JP6587158B2/ja active Active
- 2017-08-31 US US15/692,186 patent/US9894332B2/en active Active
-
2018
- 2018-01-17 US US15/873,283 patent/US10110864B2/en active Active
- 2018-09-24 US US16/139,520 patent/US10356374B2/en active Active
-
2019
- 2019-05-22 US US16/419,504 patent/US10554939B2/en active Active
- 2019-12-18 US US16/718,863 patent/US10999564B2/en active Active
-
2021
- 2021-03-30 US US17/216,986 patent/US11394939B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10999564B2 (en) | 2021-05-04 |
JP2017225115A (ja) | 2017-12-21 |
US20180146178A1 (en) | 2018-05-24 |
JP6587158B2 (ja) | 2019-10-09 |
US10554939B2 (en) | 2020-02-04 |
US10110864B2 (en) | 2018-10-23 |
US20180013993A1 (en) | 2018-01-11 |
US11394939B2 (en) | 2022-07-19 |
US20190273899A1 (en) | 2019-09-05 |
US9894332B2 (en) | 2018-02-13 |
CN107852475A (zh) | 2018-03-27 |
JP6160851B1 (ja) | 2017-07-12 |
CN107852475B (zh) | 2018-11-06 |
US10356374B2 (en) | 2019-07-16 |
WO2017212510A1 (ja) | 2017-12-14 |
US20190028682A1 (en) | 2019-01-24 |
EP3273681A1 (en) | 2018-01-24 |
US20210218942A1 (en) | 2021-07-15 |
EP3273681A4 (en) | 2019-03-13 |
US20200128217A1 (en) | 2020-04-23 |
EP3273681B1 (en) | 2020-06-17 |
US9807356B1 (en) | 2017-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6587158B2 (ja) | 投影システム | |
JP6153050B1 (ja) | 投影システム | |
WO2017212509A1 (ja) | 投影システム | |
JP7236680B2 (ja) | 投影システム | |
JP6964223B2 (ja) | 投影システム及び投影方法 | |
WO2022209151A1 (ja) | 三次元計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170530 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6160851 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |