JP6467516B2 - 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法 - Google Patents

Description

本発明は、距離画像取得装置付きプロジェクタ装置及びプロジェクション方法に関し、特に移動及び静止する被投影体の動きに合わせて画像を投影する技術に関する。

距離情報を取得しながら画像を取得するカメラとして、ＴＯＦ（Time Of Flight)カメラが知られている。ＴＯＦカメラは、被写体に光を照射し、その反射光をイメージセンサで受光するまでの時間（飛翔時間）を測定することにより被写体までの距離を示す距離画像（深度データ）を求めるものである。

また、プロジェクタ装置から被投影体の立体形状に合わせて画像を投影する技術も知られており、プロジェクションマッピング、ビデオマッピングなどと呼ばれている。

特許文献１では、被投影体の撮像画像を電子カメラの座標系から表示画面の座標系に座標変換し、変換後の画像の被投影体に対してエッジ処理を行うことで閉領域の輪郭形状を抽出し、その輪郭形状に対してプロジェクションマッピングを行うことが記載されている。

また特許文献２では、被投影体の距離画像をリアルタイムに取得する装置としてＴＯＦカメラを利用し、プロジェクタ装置と一体化することで、プロジェクションマッピング用の装置を小型化する技術が提案されている。

特に特許文献２に記載のプロジェクタ装置は、投影用の画像をパルス光として照射し、これによりプロジェクタ装置の光源及び投影レンズを、ＴＯＦカメラの光源及び投影レンズとして兼用することを特徴としている。

特開２０１３−１９２１８９号公報 特表２０１３−５４６２２２号公報

ここでプロジェクションマッピングでは、被投影体の形状に合わせて生成された画像を投影するので、被投影体が動いているか又は静止しているかの検出が重要となる。すなわち、移動している被投影体に対してプロジェクションマッピングを行う場合、被投影体と投影画像とのずれが発生し上手くプロジェクションマッピングが行えない場合が発生する。

一方で被投影体の動きを検出するためには、被投影体の動きを検出するための検出装置の機能をプロジェクタ装置にさらに追加しなければならず、プロジェクタ装置が大型化又は複雑化する要因となる。

上述した特許文献１及び２には、プロジェクションマッピングを行う場合にプロジェクタ装置の大型化又は複雑化を抑制し且つ被投影体の動きを検出することに関しては言及されていない。

本発明はこのような事情に鑑みてなされたもので、その目的は、プロジェクタ装置の大型化又は複雑化を抑制し且つ被投影体の動きを検出し、被投影体に対して精度よく画像を投影する距離画像取得装置付きプロジェクタ装置及びプロジェクション方法を提供することである。

上記目的を達成するための本発明の一の態様である距離画像取得装置付きプロジェクタ装置は、投影画像を表示する表示用光学素子と、表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、複数の受光素子が２次元状に配列された距離画像センサと、測定用光源と、測定用光源から出射され、被投影体にて反射する測定光を距離画像センサに結像させる結像レンズと、測定用光源から出射され、被投影体にて反射して距離画像センサに入射する測定光の飛翔時間に対応する距離情報を距離画像センサから取得し、取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなり、プロジェクタ装置は、距離画像取得装置により取得した距離画像に基づいて被投影体の形状を検出し、検出した形状に対応する投影画像を生成する投影画像生成部と、距離画像取得装置により第１のタイミングで取得された第１の距離画像が有する距離情報と第２のタイミングで取得された第２の距離画像が有する距離情報との差分値を取得する差分値取得部と、差分値取得部で取得された差分値に基づいて被投影体が静止しているか否かの判定を行う判定部と、判定部の判定結果に基づいて、被投影体に対して投影画像生成部で生成された画像の投影を行う指示を出力する投影指示部と、投影指示部から出力された投影を行う指示に基づいてプロジェクタ装置の投影を制御する投影制御部と、を備える。

本態様によれば、距離画像取得装置の距離画像生成部で生成された距離画像に基づいて、投影体の形状を検出して投影画像が生成される。さらに本態様によれば、第１のタイミングで取得された距離画像及び第２のタイミングで取得された距離画像の差分値から被投影体が静止しているか否かの判定がされ、その判定に基づいて投影がおこなわれる。これにより、本態様は、距離画像を投影画像の生成及び被投影体が静止しているか否かの判定に使用するので、装置の大型化又は複雑化を抑制し且つ被投影体の動きを検出することができ、被投影体に対して精度良く投影画像を投影することができる。

好ましくは、差分値取得部は、第１の距離画像が有する距離情報の平均値と第２の距離画像が有する距離情報の平均値との差分値を取得し、判定部は、差分値が第１の閾値以下である場合に被投影体が静止していると判定する。

本態様によれば、差分値は第１の距離画像が有する距離情報の平均値と第２の距離画像が有する距離情報の平均値とに基づいて算出され、判定部は第１の閾値に基づいて被投影体が静止しているか否かを判定する。これにより、本態様は、距離画像が有する距離情報の平均値に基づいて、より精度良く被投影体が静止しているかの判定を行うことができる。

好ましくは、差分値取得部は、第１の距離画像が有する距離情報と第２の距離画像が有する距離情報との最大の差分値を取得し、判定部は、最大の差分値が第２の閾値以下である場合に被投影体が静止していると判定する。

本態様によれば、差分値は第１の距離画像が有する距離情報と第２の距離画像が有する距離情報との差分値の最大値であり、判定部は第２の閾値に基づいて被投影体が静止しているか否かを判定する。これにより、本態様は、差分値の最大値に基づいて、より精度良く被投影体が静止しているかの判定を行うことができる。

好ましくは、距離画像取得装置付きプロジェクタ装置は、差分値取得部が取得する差分値に基づいて生成された差分画像を生成する差分画像生成部と、を備える。

本態様によれば、差分値に基づいて差分画像が生成されるので、差分画像を利用することができる。

好ましくは、差分画像生成部は、差分画像の複数のフレームにおける平均差分値を取得し、判定部は、差分画像の複数のフレームにおける平均差分値が第３の閾値以下である場合に被投影体が静止していると判定する。

本態様によれば、差分画像の複数のフレームにおける平均差分値が第３の閾値以下である場合に被投影体が静止していると判定されるので、より精度良く被投影体が静止しているか否かの判定を行うことができる。

好ましくは、差分画像生成部は、差分画像の複数のフレームにおける最大の差分値を取得し、判定部は、差分画像の複数のフレームにおける最大の差分値が第４の閾値以下である場合に被投影体が静止していると判定する。

本態様によれば、差分画像の複数のフレームにおける最大の差分値が第４の閾値以下である場合に被投影体が静止していると判定されるので、複数フレームにおいて最大の差分値に基づいて被投影体が静止しているか否かの判定を行うことができる。

好ましくは、差分画像生成部は、差分画像の領域毎の差分値を取得し、判定部は、差分画像において差分値が第５の閾値以下である領域の大きさに基づいて被投影体が静止しているか否かの判定を行う。

本態様によれば、差分画像において差分値が第５の閾値以下である領域の大きさに基づいて被投影体が静止しているか否かの判定が行われるので、より精度良く被投影体が静止しているか否かの判定を行うことができる。

好ましくは、差分画像生成部は、差分画像の領域毎の差分値を複数フレームにおいて取得し、判定部は、複数フレームの差分画像において差分値が第６の閾値以下である領域の大きさに基づいて被投影体が静止しているか否かの判定を行う。

本態様によれば、複数フレームの差分画像において差分値が第６の閾値以下である領域の大きさに基づいて被投影体が静止しているか否かの判定が行われるので、複数フレームにおいての被投影体の静止を精度良く判定することができる。

好ましくは、差分画像生成部は、差分画像の領域に応じて設定された重み付け係数に差分値を乗じた値を取得し、判定部は、重み付け係数に差分値を乗じた値が第７の閾値以下である場合に被投影体が静止しているとの判定を行う。

本態様によれば、差分値は差分画像の領域に応じて設定された重み付けに基づいて取得され、その差分値に基づいて被投影体が静止しているか否かの判定が行われるので、より正確な被投影体の動きの判定を行うことができる。

好ましくは、距離画像取得装置付きプロジェクタ装置は、判定部の判定結果に基づいて、被投影体に対して投影画像生成部で生成された画像の投影の停止指示を出力する投影停止指示部と、を備え、投影制御部は、投影停止指示部からの投影の停止指示に基づいてプロジェクタ装置の投影を制御する。

本態様によれば、判定結果に基づいて画像投影の停止指示が出力され、その停止指示に基づいてプロジェクタ装置の投影が制御されるので、被投影体が静止した後に再び動き始めた場合に投影を停止する。これにより、移動している被投影体への投影を防ぎより精度の良い投影を行うことができる。

本発明の他の態様であるプロジェクション方法は、投影画像を表示する表示用光学素子と、表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、複数の受光素子が２次元状に配列された距離画像センサと、測定用光源と、測定用光源から出射され、被投影体にて反射する測定光を距離画像センサに結像させる結像レンズと、測定用光源から出射され、被投影体にて反射して距離画像センサに入射する測定光の飛翔時間に対応する距離情報を距離画像センサから取得し、取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなる距離画像取得装置付きプロジェクタ装置を使用するプロジェクション方法であり、距離画像取得装置により取得した距離画像に基づいて被投影体の形状を検出し、検出した形状に対応する投影画像を生成する投影画像生成ステップと、距離画像取得装置により第１のタイミングで取得された第１の距離画像が有する距離情報と第２のタイミングで取得された第２の距離画像が有する距離情報との差分値を取得する差分値取得ステップと、差分値取得ステップで取得された差分値に基づいて被投影体が静止しているか否かの判定を行う判定ステップと、判定ステップの判定結果に基づいて、被投影体に対して投影画像生成ステップで生成された画像の投影を行う指示を出力する投影指示ステップと、投影指示ステップから出力された投影を行う指示に基づいてプロジェクタ装置の投影を制御する投影制御ステップと、を含む。

本発明によれば、距離画像取得装置の距離画像生成部で生成された距離画像に基づいて、投影体の形状を検出して投影画像が生成され、第１のタイミングで取得された距離画像及び第２のタイミングで取得された距離画像の差分値から被投影体が静止しているか否かの判定がされ、その判定に基づいて投影がおこなわれる。これにより、本発明は、距離画像を投影画像の生成及び被投影体が静止しているか否かの判定に使用するので、装置の大型化又は複雑化を抑制し且つ被投影体の動きを検出することができ、被投影体に対して精度良く投影画像を投影することができる。

図１は距離画像取得装置付きプロジェクタ装置が使用される場合を示す概念図である。 図２は図１で説明した被投影体を正面から見た図である。 図３は図２で説明した被投影体に対してプロジェクションマッピングが行われている態様を概念的に示す図である。 図４はプロジェクタ装置の構成を示すブロック図である。 図５は被投影体の距離の演算処理を説明する図である。 図６は制御部の構成を示すブロック図である。 図７は差分値取得部が行う差分値の取得に関して説明する図である。 図８は差分値取得部が行う差分値の取得に関して説明する図である。 図９はプロジェクタ装置の動作を示すフロー図である。 図１０は制御部の構成を示すブロック図である。 図１１は差分画像を示す概念図である。 図１２は差分画像を示した概念図である。 図１３は距離画像と差分画像とが概念的に示された図である。 図１４は距離画像と差分画像とが概念的に示された図である。

以下、添付図面に従って本発明に係る距離画像取得装置付きプロジェクタ装置及びプロジェクション方法の好ましい実施の形態について説明する。

図１は、本発明に係る距離画像取得装置付きプロジェクタ装置が使用される場合を示す概念図である。被投影体２である人物が距離画像取得装置付きプロジェクタ装置２０（以下、プロジェクタ装置２０という）に直進してくる場合が示されている。図１に示す場合の具体例としてはファッションショー等が想定される。プロジェクタ装置２０は、距離画像取得部（距離画像取得装置）２０Ａとプロジェクタ部（プロジェクタ装置）２０Ｂとを備えている。プロジェクタ装置２０は、被投影体２である人物が着ている服を投影領域３とし、被投影体２が静止している場合に被投影体２の投影領域３に対してプロジェクションマッピング（Projection Mapping）を行う。

図２は、図１で説明した被投影体２を正面から見た図である。図２（Ａ）は時刻Ｔ１での被投影体２の正面図であり、図２（Ｂ）は時刻Ｔ２での被投影体２を正面図であり、図２（Ｃ）は時刻Ｔ３での被投影体２を正面図である。図２（Ａ）〜（Ｃ）に示すように被投影体２が移動している場合、プロジェクタ装置２０と被投影体２との距離が変化するので投影領域３の範囲が変化する。投影領域３の範囲が変化すると、投影領域３に合わせて生成された投影画像と投影領域３とが一致しなくなる。よって、本発明では投影画像と投影領域３との上述したような不一致を防ぐため、被投影体２の動きを検知して、被投影体２が静止している場合にプロジェクションマッピングを行う。

図３は、図２（Ｃ）で説明した被投影体２に対してプロジェクションマッピングが行われている態様を概念的に示す図である。プロジェクタ装置２０は、被投影体２である人物が着ている服に対して投影画像５を投影している。プロジェクタ装置２０により投影される投影画像５は、被投影体２である人物が着ている服が構成する閉領域の形状を投影領域３に合わせて形成されている。このように、投影領域３の形状に合わせた投影画像５を投影することは一般にプロジェクションマッピングと呼ばれている。

図４は、プロジェクタ装置２０の構成を示すブロック図である。このプロジェクタ装置２０は、距離画像の取得を行う距離画像取得部２０Ａと、投影画像５の投影を行うプロジェクタ部２０Ｂと、制御部２６と、メモリ２７と、投影画像生成部２８と、入力Ｉ／Ｆ(interface)２９と、を備えている。なお制御部２６、メモリ２７、及び入力Ｉ／Ｆ２９は、距離画像取得部２０Ａ及びプロジェクタ部２０Ｂにおいて共通に機能する。

距離画像取得部２０Ａは、パルス光検出方式の距離画像の取得を行うものであり、タイミングジェネレータ３１と、ＬＥＤ(Light Emitting Diode)光源（測定用光源）３２と、光源ドライバ３３と、投影レンズ３５と、結像レンズ３６と、レンズドライバ３７と、距離画像センサ３８と、図中「Ａ／Ｄ」と表示しているＡＤ(Analog-to-Digital)変換器３９と、図中「Ｉ／Ｆ」と表示しているインターフェース(interface)回路４０と、を含む。距離画像取得部２０Ａは所謂ＴＯＦ（Time Of Flight)カメラの機能を有する。ＴＯＦ（Time Of Flight)カメラの原理に関しては後述する。なお距離画像とは、ＴＯＦなどの距離計測方法によって得られる距離値（距離情報）の２次元分布画像のことである。距離画像の各画素は距離値（距離情報）を有する。

タイミングジェネレータ３１は、制御部２６の制御の下、ＬＥＤ光源３２と距離画像センサ３８とにそれぞれタイミング信号を出力する。

ＬＥＤ光源３２は、タイミングジェネレータ３１から入力されるタイミング信号に同期して一定のパルス幅のパルス光を発光する。光源ドライバ３３は、制御部２６の制御の下、ＬＥＤ光源３２の駆動を制御する。

投影レンズ３５は、ＬＥＤ光源３２から出射したパルス光を、被投影体２に向けて照射する。結像レンズ３６は、ＬＥＤ光源３２から投影レンズ３５を通して被投影体２にパルス光が照射された場合、この被投影体２にて反射されたパルス光を距離画像センサ３８に結像させる。レンズドライバ３７は、図示しないレンズ駆動部を介して、結像レンズ３６のフォーカス制御等を行う。

距離画像センサ３８は、複数の受光素子が２次元状に配列されており、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータ３１により駆動されるＣＭＯＳ型のイメージセンサにより構成されている。尚、距離画像センサ３８は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ(Charge Coupled Device)型のイメージセンサでもよい。

距離画像センサ３８は、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、ＬＥＤ光源３２から発光されるパルス光の波長帯域のみを通過させるバンドパスフィルタ、又は可視光を除去する可視光カットフィルタを設けてもよい。これにより、距離画像センサ３８の複数の受光素子は、パルス光に対して感度をもった画素として機能する。

距離画像センサ３８は、タイミングジェネレータ３１から入力されるタイミング信号により、ＬＥＤ光源３２のパルス光の発光と同期して露光期間（露光時間及び露光タイミング）が制御される。距離画像センサ３８の各受光素子には、露光期間に入射するパルス光の光量に対応する電荷が蓄積される。このようにパルス光検出方式では、被投影体２までの距離が短いほど露光量が多くなり、逆に被投影体２までの距離が遠いほど露光量が少なくなるので、露光量の大きさに応じて被投影体２までの距離を測定することができる。そして、距離画像センサ３８からは、被投影体２にて反射されたパルス光の入射光量に応じた画素信号（画素毎に蓄積された電荷に対応するアナログ信号）が読み出される。

ＡＤ変換器３９は、距離画像センサ３８から読み出された画素信号をデジタル信号に変換してインターフェース回路４０へ出力する。なお、ＣＭＯＳ型のイメージセンサには、ＡＤ変換器３９を含むものがあり、この場合にはＡＤ変換器３９は省略することができる。インターフェース回路４０は、画像入力コントローラとして機能するものであり、ＡＤ変換器３９から入力されたデジタル信号を制御部２６へ出力する。これにより、詳しくは後述するが、制御部２６の距離画像生成部１１３（図６）で距離画像が生成され、さらに投影画像生成部２８により投影画像５が生成される。

プロジェクタ部２０Ｂは、所謂単板式の液晶プロジェクタであり、表示用光学素子（光変調素子ともいう）４２と、素子ドライバ４３と、ＬＥＤ光源（投影光源）４４と、光源ドライバ４５と、投影レンズ４６と、レンズドライバ４７と、を含む。

表示用光学素子４２は、複数色のカラーフィルタを備えた透過型の液晶パネル、又はダイクロイックミラーとマイクロレンズアレイとモノクロの透過型の液晶パネルとを組み合わせたカラーフィルタレス構造の素子等が用いられる。カラーフィルタレス構造の素子は、例えば、Ｒ（Ｒｅｄ）光、Ｇ（Ｇｒｅｅｎ）光、Ｂ（Ｂｌｕｅ）光をそれぞれ反射する３種類のダイクロイックミラーにより白色光をＲＧＢの３色の光に分光し、３色の光を互いに異なった角度で液晶パネル上のマイクロレンズアレイに入射させる。そして、３色の光をマイクロレンズアレイにより液晶パネルのＲ用画素、Ｇ用画素、Ｂ用画素にそれぞれ入射させることによりカラー画像の表示が可能となる。

なお、プロジェクタ部２０Ｂは、単板式の液晶プロジェクタに限定されるものでなく、色分離光学及び複数の液晶パネルを備える公知の３板式の液晶プロジェクタであってもよい。また、プロジェクタ部２０Ｂは、透過型液晶方式に限定されるものではなく、反射型液晶表示方式やマイクロミラーデバイス方式（ライトスイッチ表示方式）等の他の方式を採用してもよい。

素子ドライバ４３は、制御部２６の制御の下、表示用光学素子４２を制御して、後述する投影画像生成部２８が生成した投影画像５を表示させる。

ＬＥＤ光源４４は、表示用光学素子４２の背面側（投影レンズ４６に対向する面とは反対面側）から表示用光学素子４２に対して白色光を入射させる。これにより、表示用光学素子４２から投影画像５の像光が出射される。光源ドライバ４５は、制御部２６の制御の下、ＬＥＤ光源４４の駆動を制御する。

投影レンズ４６は、表示用光学素子４２から出射される投影画像５の像光を被投影体２に投影する。レンズドライバ４７は、図示しないレンズ駆動部を介して、投影レンズ４６のフォーカス制御等を行う。

制御部２６は、データバス４９を介して、タイミングジェネレータ３１、光源ドライバ３３、レンズドライバ３７、距離画像センサ３８、インターフェース回路４０、素子ドライバ４３、光源ドライバ４５、及びレンズドライバ４７等に接続している。この制御部２６は、例えばＣＰＵ（Central Processing Unit）を含む各種の演算部及び処理部及び記憶部により構成されたものであり、メモリ２７から読み出した制御用のプログラムやデータを実行することで、プロジェクタ装置２０の全体の動作や処理を統括制御する。

メモリ２７は、制御部２６が処理を実行するための制御用のプログラム等を格納している。

投影画像生成部２８は、制御部２６の制御の下、制御部２６から入力されたデータや情報に基づいて投影画像５の生成を行う。すなわち投影画像生成部２８は、距離画像取得装置により取得した距離画像に基づいて被投影体２の形状を検出し、検出した形状に対応する投影画像５を生成する。なお投影画像生成部２８が行う投影画像５の生成に関しては後述する。

＜ＴＯＦ法の基本原理＞
次に、ＴＯＦカメラにより距離画像を取得する基本原理について説明する。以下、ＴＯＦカメラ（距離画像取得部２０Ａ）により被投影体２の距離画像を取得する場合について説明する。

距離画像取得部２０ＡのＬＥＤ光源３２は、近赤外光を発行するのでタイミングジェネレータ３１によりパルス駆動され、その結果、ＬＥＤ光源３２からは、パルス幅のパルス光が発光される。このパルス光は、被投影体２の表面で反射し、その反射したパルス光は、距離画像取得部２０Ａの結像レンズ３６を介して距離画像センサ３８により結像（受光）される。なお、距離画像センサ３８には可視光カットフィルタが設けられており、距離画像センサ３８は近赤外のパルス光のみを受光する。

図５は、被投影体２の距離の演算処理を説明する図である。

距離画像取得部２０ＡのＬＥＤ光源３２は、タイミングジェネレータ３１によりパルス駆動されるが、ＬＥＤ光源３２のパルス駆動に同期して、図５（Ａ）及び（Ｂ）に示すように、距離画像センサ３８は、タイミングジェネレータ３１により第１の露光制御及び第２の露光制御の２回の露光制御が順次行われる。

図５（Ａ）に示す第１の露光制御は、ＬＥＤ光源３２からパルス光を発光させ、少なくとも被投影体２の距離に応じて距離画像センサ３８の対応する受光素子での露光量に差が生じるように露光期間を制御する露光制御であり、ＬＥＤ光源３２からパルス光を発光させた後、一定時間（測距可能な最も遠い被写体からパルス光が戻ってくるまでの時間）経過後に露光を開始し、少なくとも最も遠い被写体にて反射したパルス光の全てが戻ってくる時間（所定の露光時間）経過後に露光を終了させる。

図５（Ｂ）に示す第２の露光制御は、ＬＥＤ光源３２からパルス光を発光させ、パルス光に対する露光開始の位相が第１の露光制御のパルス光に対する露光開始の位相と異なる露光制御であり、被写体の反射率の相違及び全画面一様光量でないパルス光による距離画像センサ３８での露光量の変化を除去するための露光制御である。本例では、距離画像センサ３８の全ての受光素子が被写体にて反射したパルス光を全て露光する露光制御である。具体的には、ＬＥＤ光源３２から発光するパルス光の発光タイミングに同期して露光を開始し、一定時間（少なくとも測距可能な最も遠い被写体からパルス光が全て戻ってくるまでの所定の露光時間）経過後に露光を終了させる。尚、第１の露光制御における「所定の露光時間」と、第２の露光制御における「所定の露光時間」とは同じ時間であるが、上記のようにパルス光に対する露光開始の位相が異なる。

次に、制御部２６の距離画像生成部１１３は、図５（Ｃ）に示すように第１の露光制御及び第２の露光制御により距離画像センサ３８から取得される各露光量に対応するセンサ出力（ある画素の出力データ）を、それぞれ第１のデータＬ_１及び第２のデータＬ_２とすると、被写体の距離に対応する距離情報Ｄを、次式により算出する。
［数１］
Ｄ＝Ｌ_１÷Ｌ_２
即ち、［数１］式によれば、第１のデータＬ_１を第２のデータＬ_２で除算した除算データを算出する。この除算データは、被写体の反射率の影響が除去され、かつ全画面一様光量でないパルス光の光量の影響が除去された相対距離に対応するデータ（距離情報Ｄ）となる。尚、第１のデータＬ_１と第２のデータＬ_２とに基づいて被写体の絶対距離を求めることも可能である。

そして、距離画像センサ３８の全ての画素毎に距離情報Ｄを取得することにより、距離画像を生成することができる。

＜投影画像の生成＞
次に投影画像生成部２８が行う投影画像５の生成に関して説明する。

投影画像生成部２８は、メモリ２７に記録されている投影用の画像（動画又は静止画）を、距離画像生成部１１３（図６）により生成された第１の距離画像及び第２の距離画像（即ち、被投影体２の投影領域３の形状、大きさ及び凹凸といった情報）を利用して、メモリ２７に記録されている投影用の画像（動画又は静止画）をトリミング、座標変換、拡縮等の処理を行い、被投影体２の表面に合った投影画像５を生成する。なお、投影画像生成部２８が投影画像５の生成のために使用する距離画像として、差分値取得部１０１で使用された距離画像を使用することによりデータが有効利用されるので好ましい。

図４に示したプロジェクタ部２０Ｂの表示用光学素子４２は、投影画像生成部２８により生成された投影画像５に基づいて各光学素子の透過率が制御される。

［第１実施形態］
次に本発明の第１実施形態における制御部２６に関して説明をする。

図６は、制御部２６の構成を示すブロック図である。制御部２６は、主に距離画像生成部１１３、差分値取得部１０１、判定部１０３、投影指示部１０５、投影制御部１０７、及び投影停止指示部１０９を備えている。

距離画像生成部１１３は、距離画像センサ３８から距離情報を取得し、取得した距離情報に基づいて距離画像を生成する。ここで距離情報とは、ＬＥＤ光源３２から発光されるパルス光（測定光）が被投影体２にて反射して距離画像センサ３８に入射する測定光の飛翔時間に対応する情報のことであり、被投影体２の距離に対応する。距離画像生成部１１３の具体的な距離画像の生成方法は上述したとおりである。距離画像生成部１１３で生成された距離画像は、２次元的に分布された距離情報により構成されている。

差分値取得部１０１は、距離画像取得部２０Ａにより第１のタイミングで取得された第１の距離画像が有する距離情報と第２のタイミングで取得された第２の距離画像が有する距離情報との差分値を取得する。

図７及び図８は、差分値取得部１０１が行う差分値の取得に関して説明する図である。図７（Ａ）は、図２（Ａ）（時刻Ｔ１）の場合に距離画像取得部２０Ａで取得された距離画像Ｓを示している。図７（Ｂ）は、図２（Ｂ）（時刻Ｔ２）の場合に距離画像取得部２０Ａで取得された距離画像Ｔを示している。また、説明のために距離情報を近距離１１、中距離１３、及び遠距離１５として図中では濃淡で示している。なお、図７では被投影体２は楕円で描き簡略化されており、画像中のステージ７及び被投影体２以外の背景は省略されている。

図７（Ａ）で示された距離画像Ｓは、ステージ７において近距離１１、中距離１３、及び遠距離１５の距離情報を有し、被投影体２において遠距離１５の距離情報を有する。そして、距離画像Ｓでは、ステージ７の遠距離１５の距離情報を有する領域の濃淡と被投影体２の濃淡とが等しく表されている。図７（Ｂ）で示された距離画像Ｔは、ステージ７において近距離１１、中距離１３、及び遠距離１５の距離情報を有し、被投影体２において中距離１３の距離情報を有する。そして、距離画像Ｔでは、ステージ７の中距離１３の距離情報を有する領域の濃淡と被投影体２の濃淡とが等しく表されている。

図７（Ｃ）では、距離画像Ｓが有する距離情報と距離画像Ｔが有する距離情報との差分値を示す。ステージ７に関する距離情報は、距離画像Ｓと距離画像Ｔとで変わらないので差分値は０となる。一方、被投影体２に関する距離情報は、距離画像Ｓと距離画像Ｔとで変わるので差分値は０ではない。すなわち、距離画像Ｓでの被投影体２の距離情報は遠距離１５であるのに対して、距離画像Ｔでの被投影体２の距離情報は中距離１３である。したがって、被投影体２には差分値が発生する。

一方図８の場合には、被投影体２が静止している場合に取得された距離画像Ｕ及びＶが示されている。すなわち、図８（Ａ）では時刻Ｔ３で距離画像取得部２０Ａで取得された距離画像Ｕが示されており、図８（Ｂ）では時刻Ｔ４で距離画像取得部２０Ａで取得された距離画像Ｖが示されている。距離画像Ｕ及びＶにおいて、被投影体２の距離情報は中距離１３で同じである。したがって、図８（Ｃ）で示すように、距離画像Ｕの距離情報と距離画像Ｖの距離情報との差分値は０となる。また、ステージ７の差分値に関しても図７と同様に０となる。なお、時刻Ｔ３とＴ４との時間差は非常に短いので、距離画像ＵとＶとの差分値が０に近いと被投影体２が静止していると予測することができる。また距離画像取得部２０Ａは連続して距離画像を取得することができる。その場合距離画像取得部２０Ａは、３０ｆｐｓ（frame per second）や６０ｆｐｓで距離画像を取得することができる。

このように差分値取得部１０１では、第１のタイミングで取得された距離画像が有する距離情報と第２のタイミングで取得された距離画像が有する距離情報とを引き算することによって差分値が取得される。

また差分値取得部１０１は、距離画像Ｓが有する距離情報の平均値を取得し、距離画像Ｔが有する距離情報の平均値を取得し、その後平均値同士を減算した値を差分値としてもよい。すなわち差分値取得部１０１は、第１のタイミングで取得された距離画像が有する距離情報の平均値と、第２の距離画像が有する距離情報の平均値とを減算した値を差分値として取得してもよい。

また例えば差分値取得部１０１は、第１のタイミングで取得された距離画像が有する距離情報と第２のタイミングで取得された距離画像が有する距離情報との最大の差分を、差分値として取得してもよい。すなわち、第１のタイミングで取得された距離画像が有する距離情報と第２のタイミングで取得された距離画像が有する距離情報とを減算し、最大の値を差分値として採用してもよい。

また例えば差分値取得部１０１は、第１のタイミングで取得された距離画像が有する距離情報の総和と第２のタイミングで取得された距離画像が有する距離情報の総和とを減算した値を差分値として取得してもよい。

図６に戻って、判定部１０３は、差分値取得部１０１で取得された差分値に基づいて被投影体２が静止しているか否かの判定を行う。すなわち判定部１０３は、差分値を取得し、その差分値に基づいて被投影体２の状態（移動している又は静止している）を判定する。判定部１０３は、差分値を用いて様々な方法により被投影体２の状態を判定することができる。例えば判定部１０３は閾値に基づいて被投影体２の状態を判定することができる。具体的には判定部１０３は、取得した差分値が閾値以下の場合には被投影体２が静止していると判定し、取得した差分値が閾値より大きい場合には被投影体２が動いていると判定してもよい。閾値は、判定部１０３が第１の距離画像が有する距離情報の平均値と第２の距離画像が有する距離情報の平均値との差分値により判別する場合の閾値（第１の閾値）と、判定部１０３が第１の距離画像が有する距離情報と第２の距離画像が有する距離情報との最大の差分値により判別する場合の閾値（第２の閾値）とで使い分けられる。

投影指示部１０５は、判定部１０３の判定結果に基づいて、被投影体２に対して投影画像生成部２８で生成された画像の投影を行う指示を出力する。すなわち、投影指示部１０５は、判定部１０３により被投影体２が静止していると判定された場合には、プロジェクタ部２０Ｂによる投影の指示を出力する。

投影制御部１０７は、投影指示部１０５から出力された投影を行う指示に基づいてプロジェクタ部２０Ｂの投影を制御する。投影制御部１０７は、投影画像生成部２８で生成された投影画像５を表示用光学素子４２に表示させ、光源ドライバ４５によりＬＥＤ光源４４を発光させ、投影画像５を被投影体２に表示させる。

投影停止指示部１０９は、一旦被投影体２が静止していると判定されプロジェクタ部２０Ｂにより投影が始まった後に、判定部１０３により被投影体２が動き出したと判定された場合には、被投影体２に対して投影画像生成部２８で生成された画像の投影の停止指示を出力する。すなわち、投影停止指示部１０９は、再び被投影体２が動き出した場合に、プロジェクタ部２０Ｂによる投影の停止の指示を出力する。なお、プロジェクタ部２０Ｂにより投影が行われている間でも、距離画像取得部２０Ａにより距離画像が随時取得され、判定部１０３により随時被投影体２の状態が判定されている。

次に、プロジェクタ装置２０を使用したプロジェクション方法に関して説明する。図９は、プロジェクタ装置２０の動作を示すフロー図である。

先ずプロジェクタ装置２０の距離画像取得部２０Ａにより、第１のタイミングで距離画像が取得される（ステップＳ１０）。その後、距離画像取得部２０Ａにより、第２のタイミングで距離画像が取得される（ステップＳ１１）。そして差分値取得部１０１により、第１のタイミングの距離画像が有する距離情報と第２のタイミングでの距離画像が有する距離情報との差分値が取得される（ステップＳ１２）。なお、図示は省略するが、距離画像取得部２０Ａによる距離画像の取得、及び差分値取得部１０１による差分値の取得は随時行われている。

そして、判定部１０３は差分値により被投影体２が静止しているか否かについて判定を行う（ステップＳ１３）。判定部１０３により、被投影体２が静止していない（動いている）と判定した場合（ステップＳ１３のＮｏの場合）には、再び距離画像取得部２０Ａで距離画像が取得される。一方判定部１０３により被投影体２が静止していると判定された場合には、投影画像生成部２８で投影画像５が生成される（ステップＳ１４）。投影画像生成部２８は、第１のタイミングで取得された距離画像及び／又は第２のタイミングで取得された距離画像に基づいて投影画像５を生成する。その後、投影指示部１０５により投影画像５を投影する指示が出力される（ステップＳ１５）。そして投影制御部１０７によりプロジェクタ部２０Ｂが制御されて被投影体２に対して投影が行われる（ステップＳ１６）。

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

以上で説明をしたように、本発明によれば、距離画像取得部２０Ａの距離画像生成部１１３で生成された距離画像に基づいて、被投影体２の形状を検出して投影画像５が生成される。さらに本発明によれば、第１のタイミングで取得された距離画像及び第２のタイミングで取得された距離画像の差分値から被投影体２が静止しているか否かの判定がされ、その判定に基づいて投影が行われる。これにより、本発明は、距離画像を投影画像５の生成及び被写体が静止しているか否かの判定に使用するので、装置の大型化又は複雑化を抑制しつつ被投影体２の動きを検出し、被投影体２に対して精度良く投影画像５を投影することができる。

［第２実施形態］
次に、本発明の第２実施形態に関して説明する。本実施形態では差分値に基づいて差分画像を生成し、被投影体２の動きを精度良く検出する。

図１０は、本実施形態の制御部２６の構成を示すブロック図である。なお、図６で説明を行った箇所は同じ符号を付し説明は省略する。制御部２６は、主に距離画像生成部１１３、差分値取得部１０１、判定部１０３、差分画像生成部１１１、投影指示部１０５、投影制御部１０７、及び投影停止指示部１０９を備えている。

図１０で示した本実施形態の制御部２６と、図６で示した第１実施形態の制御部２６を比較すると、本実施形態の制御部２６は差分画像生成部１１１を有する点で異なる。

差分画像生成部１１１は、差分値取得部１０１が取得する差分値に基づいて生成された差分画像を生成する。すなわち差分画像生成部１１１は、差分値取得部１０１から取得した差分値に基づいて、差分値の２次元分布図を作成する。なお、ここで差分画像とは、差分値の２次元の分布図のことである。

図１１は、差分画像を示す概念図である。図１１に示された差分画像Ｗは、図７及び図８で説明を行った距離画像及び差分値に基づいて作成されている。また、差分画像において、差分画像を構成する差分値に応じて濃淡又は色を変えて表示させてもよい。このようにすることで、差分画像が表示画面（図示せず）に表示された場合にユーザは、差分値の違いを把握し易くなる。図１１に示した差分画像の場合には差分値の違いが表現されている。なお、被投影体２及びステージ７以外の背景は省略されている。

図１１（Ａ）は、図７（Ａ）及び（Ｂ）で示された距離画像Ｓ及びＴから取得された差分値により作成される差分画像Ｗであり、取得された差分値の２次元分布が示されている。ステージ７は、距離画像Ｓ及びＴの間で差分値が０であるので、黒で表現されている。一方被投影体２は、距離画像Ｓ及びＴの間で差分値が異なる２つの領域（領域Ｏ、Ｐ、及びＱ）で構成されている。

領域Ｏは、距離画像Ｓ及びＴとの間で差分値０であるのでステージ７と同じように黒で示されている。領域Ｑでの差分値は中距離１３（図７）と遠距離１５（図７）との差分値であり、領域Ｐでの差分値は中距離１３（図７）と背景との差分値である。なお、背景は無限遠方と仮定をしている。

図１１（Ｂ）は、図８（Ａ）及び（Ｂ）で示された距離画像Ｕ及びＶから取得された差分値により作成される差分画像Ｗであり、取得された差分値の２次元分布が示されている。図１１（Ｂ）に示した場合では、被投影体２及びステージ７において差分値は０であるので、被投影体２及びステージ７は黒で表現されている。このように、差分画像は距離画像が有する距離情報の差分値の２次元分布により構成されている。

図１０に戻って本実施形態の判定部１０３は、差分画像Ｗに基づいて様々な態様により被投影体２の動きを判定することができる。例えば判定部１０３は、差分画像の領域に応じて設定された重み付け係数に差分値を乗じた値に基づいて被投影体２が静止しているか否かの判定を、閾値（第７の閾値）を使用して行うことができる。この場合、差分画像生成部１１１は、差分画像の領域に応じて設定された重み付け係数に差分値を乗じた値を取得する。

図１２は、差分画像Ｗを示した概念図である。図１２に示された差分画像Ｗは領域Ｆと領域Ｅとで異なる重み付け係数が設定されており、その重み付け係数に差分値を乗じた値を差分画像生成部１１１は取得する。例えば、領域Ｆに対しては係数１．５の重み付けがされ、領域Ｅに対しては係数０．５の重み付けがされる。そして差分画像生成部１１１は、領域Ｆの重み付け係数と領域Ｆの差分値を掛け合わせ、領域Ｅの重み付け係数と領域Ｅの差分値を掛け合わせる。これにより、画像の中央にはメインの被写体が存在している場合が多いので、メインの被写体（被投影体２）の動きをより正確に検出することができる。なお、図１２では中央付近の領域及びその周辺の領域とで領域分けを行ったが、領域の設定は様々な態様を採用することができる。例えば、差分画像ＷをＮ×Ｍ（Ｎ及びＭは整数）の格子状の領域に分割したり、被投影体２の形状に沿って領域を分割することもできる。

図１３及び１４は、距離画像Ｓ及びＴと差分画像Ｗとが概念的に示された図である。図１３（Ａ）では、被投影体２が中央付近に移っている距離画像Ｓ及び距離画像Ｔが示されている。距離画像Ｓは時刻Ｔ１で撮像され、距離画像Ｔは時刻Ｔ２で撮像されており、被投影体２は時刻Ｔ１からＴ２の間に図１３に向かって右に移動をしている。なお図１３（Ａ）では、距離に関して被投影体２と背景とで２値化されており、プロジェクタ装置２０から距離が近い被投影体２は背景に比べて白く表現されている。

図１３（Ｂ）は、図１３（Ａ）に示された距離画像Ｓと距離画像Ｔとの差分画像（Ｗ１及びＷ２）である。なお図１３（Ｂ）では、差分値が０の領域を黒で表現され、差分値が０でない領域１１７を白で表現されている。例えば差分画像（Ｗ１及びＷ２）の領域１１７の差分値を１００とする。差分画像Ｗ２では図１２で説明をしたように領域Ｅ及びＦにおいて重み付けが設定されており、差分画像Ｗ１では重み付けは設定されていない。差分画像Ｗ２では領域Ｆでの差分値に対して係数１．５の重み付けがされるので、差分画像生成部１１１は領域１１７の差分値（１００）と重み付け係数（１．５）が乗算され１５０という値を得る（１００×１．５＝１５０）。一方で、差分画像Ｗ１では重み付けは設定されていないので、Ｗ１の差分値は１００となる。

図１４（Ａ）では、被投影体２ではない人物１１４が写っている距離画像Ｓ及び人物１１４が写っていない距離画像Ｔが示されている。距離画像Ｓは時刻Ｔ１で撮像され、距離画像Ｔは時刻Ｔ２で撮像されている。また図１４（Ａ）では、距離に関して人物１１４と背景との２値化されており、プロジェクタ装置２０から距離が近い人物１１４は背景に比べて白く表現されている。

図１４（Ｂ）は、図１４（Ａ）に示された距離画像Ｓと距離画像Ｔとの差分画像（Ｗ１及びＷ２）であり、人物１１４に応じた差分値が０でない領域１１９が白で表現されている。例えば差分画像（Ｗ１及びＷ２）での差分値を５０とする。図１４（Ｂ）は、図１３（Ｂ）と同様に重み付けが設定されている。差分画像Ｗ２では領域Ｅでの差分値に対して係数０．５の重み付けがされるので、差分画像生成部１１１は領域１１９の差分値（５０）と重み付け係数（０．５）が乗算され２５という値を得る（５０×０．５＝２５）。一方で、差分画像Ｗ１では重み付けは設定されていないので、Ｗ１の差分値は５０となる。

このように図１３（Ｂ）及び図１４（Ｂ）の場合（領域に応じて重み付けが設定されている場合）では、領域Ｆの差分値が大きく評価され、領域Ｅの差分値が小さく評価される。

このように、差分画像の領域に応じて重み付けを行い、その重み付け係数に差分値を乗算することにより得た値に基づいて被投影体２の動きが判定されることにより、被投影体２の動きをより正確に判定することができる。

さらに判定部１０３は、差分画像生成部１１１が生成する差分画像の複数のフレームにおける平均差分値が閾値（第３の閾値）以下である場合に被投影体２が静止していると判定してもよい。すなわち、差分画像生成部１１１は一つの差分画像において平均差分値を取得しその平均値を複数フレーム分生成し、判定部１０３は得られた複数フレーム分の差分画像における平均差分値に基づいて被投影体２が静止していると判定する。これにより、複数フレームの差分画像の平均値に基づいて被投影体２が静止しているか否かが判定されるので、より正解な被投影体２の動きを判定することが可能となる。

また判定部１０３は、差分画像の複数のフレームにおける最大の差分値が閾値（第４の閾値）以下である場合に被投影体２が静止していると判定することができる。すなわち、差分画像生成部１１１は複数フレームの差分画像における最大の差分値を取得し、判定部１０３はその最大の差分値に基づいて被投影体２が静止しているか否かを判定する。これにより、最大の差分値に基づいて被投影体２が静止しているか否かが判定されるので、より正解な被投影体２の動きを判定することが可能となる。

また判定部１０３は、差分画像において差分値が閾値（第５の閾値）以下である領域の大きさに基づいて被投影体２が静止しているか否かの判定を行う。すなわち、差分画像生成部１１１は差分画像において閾値以下の領域を算出し、その領域の大きさが一定の大きさよりも大きい場合には被投影体２は静止していると判定部１０３は判定する。また、差分画像生成部１１１は複数フレームの差分画像において閾値（第６の閾値）以下の領域を算出し、その領域の大きさが一定の大きさよりも大きい場合には被投影体２は静止していると判定部１０３は判定してもよい。

また差分値取得部１０１は、差分画像に関連する様々な値を判定部１０３が被投影体２の動き判定する値（以下評価値という）として取得又は算出することができる。例えば差分画像生成部１１１は、距離画像Ｓと距離画像Ｔとの間で差分値が０でない画素の数を評価値としてもよい。また差分画像生成部１１１は、差分画像の差分値の分散値又は標準偏差を評価値としてもよい。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

２…被投影体、７…ステージ、２０…距離画像取得装置付きプロジェクタ装置、２０Ａ…距離画像取得部、２０Ｂ…プロジェクタ部、２６…制御部、２７…メモリ、２８…投影画像生成部、２９…入力Ｉ／Ｆ、３１…タイミングジェネレータ、３２…測定用光源、３３…光源ドライバ、３５…投影レンズ、３６…結像レンズ、３７…レンズドライバ、３８…距離画像センサ、３９…ＡＤ変換器、３９…変換器、４０…インターフェース回路、４０…回路、４２…表示用光学素子、４３…素子ドライバ、４４…投影光源、４５…光源ドライバ、４６…投影レンズ、４７…レンズドライバ、４９…データバス、１０１…差分値取得部、１０３…判定部、１０５…投影指示部、１０７…投影制御部、１０９…投影停止指示部、１１１…差分画像生成部、１１３…距離画像生成部

Claims (12)

1. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
   複数の受光素子が２次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなり、
   前記プロジェクタ装置は、
   前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成部と、
   前記距離画像取得装置により第１のタイミングで取得された第１の距離画像が有する距離情報と第２のタイミングで取得された第２の距離画像が有する距離情報との差分値を取得する差分値取得部と、
   前記差分値取得部で取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定部と、
   前記判定部の判定結果に基づいて、前記被投影体に対して前記投影画像生成部で生成された画像の投影を行う指示を出力する投影指示部と、
   前記投影指示部から出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御部と、
   を備え、
   前記差分値取得部は、前記第１の距離画像が有する距離情報の平均値と前記第２の距離画像が有する距離情報の平均値との差分値を取得し、
   前記判定部は、前記差分値が第１の閾値以下である場合に前記被投影体が静止していると判定する距離画像取得装置付きプロジェクタ装置。
2. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
   複数の受光素子が２次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなり、
   前記プロジェクタ装置は、
   前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成部と、
   前記距離画像取得装置により第１のタイミングで取得された第１の距離画像が有する距離情報と第２のタイミングで取得された第２の距離画像が有する距離情報との差分値を取得する差分値取得部と、
   前記差分値取得部で取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定部と、
   前記判定部の判定結果に基づいて、前記被投影体に対して前記投影画像生成部で生成された画像の投影を行う指示を出力する投影指示部と、
   前記投影指示部から出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御部と、
   を備え、
   前記差分値取得部は、前記第１の距離画像が有する距離情報と前記第２の距離画像が有する距離情報との最大の差分値を取得し、
   前記判定部は、前記最大の差分値が第２の閾値以下である場合に前記被投影体が静止していると判定する請求項１に記載の距離画像取得装置付きプロジェクタ装置。
3. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
   複数の受光素子が２次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなり、
   前記プロジェクタ装置は、
   前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成部と、
   前記距離画像取得装置により第１のタイミングで取得された第１の距離画像が有する距離情報と第２のタイミングで取得された第２の距離画像が有する距離情報との差分値を取得する差分値取得部と、
   前記差分値取得部で取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定部と、
   前記判定部の判定結果に基づいて、前記被投影体に対して前記投影画像生成部で生成された画像の投影を行う指示を出力する投影指示部と、
   前記投影指示部から出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御部と、
   前記差分値取得部が取得する前記差分値に基づいて生成された差分画像を生成する差分画像生成部と、を備える距離画像取得装置付きプロジェクタ装置。
4. 前記差分画像生成部は、前記差分画像の複数のフレームにおける平均差分値を取得し、
   前記判定部は、前記差分画像の前記複数のフレームにおける前記平均差分値が第３の閾値以下である場合に前記被投影体が静止していると判定する請求項３に記載の距離画像取得装置付きプロジェクタ装置。
5. 前記差分画像生成部は、前記差分画像の複数のフレームにおける最大の差分値を取得し、
   前記判定部は、前記差分画像の前記複数のフレームにおける前記最大の差分値が第４の閾値以下である場合に前記被投影体が静止していると判定する請求項３に記載の距離画像取得装置付きプロジェクタ装置。
6. 前記差分画像生成部は、前記差分画像の領域毎の差分値を取得し、
   前記判定部は、前記差分画像において前記差分値が第５の閾値以下である前記領域の大きさに基づいて前記被投影体が静止しているか否かの判定を行う請求項３に記載の距離画像取得装置付きプロジェクタ装置。
7. 前記差分画像生成部は、前記差分画像の領域毎の差分値を複数フレームにおいて取得し、
   前記判定部は、前記複数フレームの前記差分画像において前記差分値が第６の閾値以下である領域の大きさに基づいて前記被投影体が静止しているか否かの判定を行う請求項３に記載の距離画像取得装置付きプロジェクタ装置。
8. 前記差分画像生成部は、前記差分画像の領域に応じて設定された重み付け係数に差分値を乗じた値を取得し、
   前記判定部は、前記重み付け係数に差分値を乗じた値が第７の閾値以下である場合に前記被投影体が静止しているとの判定を行う請求項３に記載の距離画像取得装置付きプロジェクタ装置。
9. 前記判定部の判定結果に基づいて、前記被投影体に対して前記投影画像生成部で生成された画像の投影の停止指示を出力する投影停止指示部と、を備え、
   前記投影制御部は、前記投影停止指示部からの前記投影の停止指示に基づいて前記プロジェクタ装置の投影を制御する請求項１から８のいずれか１項に記載の距離画像取得装置付きプロジェクタ装置。
10. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
    複数の受光素子が２次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなる距離画像取得装置付きプロジェクタ装置を使用するプロジェクション方法であり、
    前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成ステップと、
    前記距離画像取得装置により第１のタイミングで取得された第１の距離画像が有する距離情報と第２のタイミングで取得された第２の距離画像が有する距離情報との差分値を取得する差分値取得ステップと、
    前記差分値取得ステップで取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定ステップと、
    前記判定ステップの判定結果に基づいて、前記被投影体に対して前記投影画像生成ステップで生成された画像の投影を行う指示を出力する投影指示ステップと、
    前記投影指示ステップから出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御ステップと、
    前記第１の距離画像が有する距離情報の平均値と前記第２の距離画像が有する距離情報の平均値との差分値を取得するステップと、
    前記差分値が第１の閾値以下である場合に前記被投影体が静止していると判定するするステップと、
    を含むプロジェクション方法。
11. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
    複数の受光素子が２次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなる距離画像取得装置付きプロジェクタ装置を使用するプロジェクション方法であり、
    前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成ステップと、
    前記距離画像取得装置により第１のタイミングで取得された第１の距離画像が有する距離情報と第２のタイミングで取得された第２の距離画像が有する距離情報との差分値を取得する差分値取得ステップと、
    前記差分値取得ステップで取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定ステップと、
    前記判定ステップの判定結果に基づいて、前記被投影体に対して前記投影画像生成ステップで生成された画像の投影を行う指示を出力する投影指示ステップと、
    前記投影指示ステップから出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御ステップと、
    前記第１の距離画像が有する距離情報と前記第２の距離画像が有する距離情報との最大の差分値を取得するステップと、
    前記最大の差分値が第２の閾値以下である場合に前記被投影体が静止していると判定するステップと、
    を含むプロジェクション方法。
12. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
    複数の受光素子が２次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなる距離画像取得装置付きプロジェクタ装置を使用するプロジェクション方法であり、
    前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成ステップと、
    前記距離画像取得装置により第１のタイミングで取得された第１の距離画像が有する距離情報と第２のタイミングで取得された第２の距離画像が有する距離情報との差分値を取得する差分値取得ステップと、
    前記差分値取得ステップで取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定ステップと、
    前記判定ステップの判定結果に基づいて、前記被投影体に対して前記投影画像生成ステップで生成された画像の投影を行う指示を出力する投影指示ステップと、
    前記投影指示ステップから出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御ステップと、
    前記差分値に基づいて生成された差分画像を生成するステップと、
    を含むプロジェクション方法。

Images