JP6603320B2 - 距離画像取得装置付きプロジェクタ装置及びプロジェクションマッピング方法 - Google Patents

Description

本発明は距離画像取得装置付きプロジェクタ装置及びプロジェクションマッピング方法に係り、特に移動体、建物等の任意の投影対象物の表面に合わせて画像を投射する技術に関する。

距離情報を取得しながら画像を取得するカメラとして、ＴＯＦ（Time Of Flight)カメラが知られている。ＴＯＦカメラは、物体に光を照射し、その反射光をイメージセンサで受光するまでの時間（飛翔時間）を測定することにより物体までの距離を示す距離画像（深度データ）を求めるものである。

また、プロジェクタ装置から投影対象物の立体形状に合わせて画像を投影する技術も知られており、プロジェクションマッピング、ビデオマッピングなどと呼ばれている。

更に、投影対象物の距離画像をリアルタイムに取得する装置としてＴＯＦカメラを利用し、プロジェクタ装置と一体化することで、プロジェクションマッピング用の装置を小型化する技術が提案されている（特許文献１）。

特に特許文献１に記載のプロジェクタ装置は、投影用の画像をパルス光として照射し、これによりプロジェクタ装置の光源及び投影レンズを、ＴＯＦカメラの光源及び投影レンズとして兼用することを特徴としている。

特表２０１３−５４６２２２号公報

ところで、プロジェクションマッピングでは、投影対象物に距離差があると、投影対象物の全体にピントの合った画像を投影することができないという問題があり、１台のプロジェクタ装置では距離差のある投影対象物（立体）の表面に明瞭な画像を投影することが出来ないという課題があった。

これに対し、それぞれ異なる投影距離にピント調整された（即ち、被写界深度が異なる）複数台のプロジェクタ装置から、投影対象物の距離に応じた画像を別々に投影することにより、距離差がある投影対象物の全体にピントの合った画像を投影することができる。

しかしながら、特許文献１に記載のプロジェクタ装置の場合、被写界深度が異なる複数台のプロジェクタ装置を準備し、投影対象物の距離に応じた画像をパルス光として別々に投影すると、ＴＯＦカメラは別々に投影されたパルス光を混信して受光することになり、距離画像を取得することができないという問題がある。

本発明はこのような事情に鑑みてなされたもので、投影対象物に距離差があり、かつ投影対象物が移動しても投影対象物の全体にピントの合った画像を投影することができ、特にＴＯＦ方式で距離画像を取得する際にＴＯＦ方式専用の光源等を省略することができ、かつ混信せずに測定精度の高い距離画像を取得することができる距離画像取得装置付きプロジェクタ装置及びプロジェクションマッピング方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る距離画像取得装置付きプロジェクタ装置は、第１の投影画像を表示する第１の表示用光学素子と、第１の表示用光学素子に投影光を入射させる第１の光源と、第１の表示用光学素子から出射される第１の投影画像を第１の投影対象物に投影する第１の投影レンズと、投影光路上に配置され、赤色、緑色、及び青色の透過波長域を有する第１のバンドパス光学フィルタと、を備えた第１のプロジェクタ装置と、複数の受光素子が２次元状に配列された第１の距離画像センサと、第１の投影対象物にて反射する第１の投影画像を第１の距離画像センサに結像させる第１の結像レンズと、撮像光路上に配置され、第１のバンドパス光学フィルタと同じ特性を有する第２のバンドパス光学フィルタと、第１の光源をパルス駆動し、第１の光源から出射され、第１の投影対象物にて反射して第１の距離画像センサに入射するパルス光の飛翔時間に対応する第１の情報を第１の距離画像センサから取得し、取得した第１の情報に基づいて第１の距離画像を生成する第１の距離画像生成部と、を備えた第１の距離画像取得装置と、第２の投影画像を表示する第２の表示用光学素子と、第２の表示用光学素子に投影光を入射させる第２の光源と、第２の表示用光学素子から出射される第２の投影画像を第１の投影対象物よりも近い第２の投影対象物に投影する第２の投影レンズと、投影光路上に配置され、第１のバンドパス光学フィルタの透過波長域と重複しない赤色、緑色、及び青色の透過波長域を有する第３のバンドパス光学フィルタと、を備えた第２のプロジェクタ装置と、複数の受光素子が２次元状に配列された第２の距離画像センサと、第２の投影対象物にて反射する第２の投影画像を第２の距離画像センサに結像させる第２の結像レンズと、撮像光路上に配置され、第３のバンドパス光学フィルタと同じ特性を有する第４のバンドパス光学フィルタと、第２の光源をパルス駆動し、第２の光源から出射され、第２の投影対象物にて反射して第２の距離画像センサに入射するパルス光の飛翔時間に対応する第２の情報を第２の距離画像センサから取得し、取得した第２の情報に基づいて第２の距離画像を生成する第２の距離画像生成部と、を備えた第２の距離画像取得装置と、からなる。

本発明の一の態様によれば、第１の投影画像を第１の投影対象物に投影する第１のプロジェクタ装置及び第１の投影対象物の第１の距離画像を取得する第１の距離画像取得装置と、第２の投影画像を第１の投影対象物よりも近い第２の投影対象物に投影する第２のプロジェクタ装置及び第２の投影対象物の第２の距離画像を取得する第２の距離画像取得装置との２組の距離画像取得装置付きプロジェクタ装置により、距離が異なる第１、第２の投影対象物に対して、それぞれピントの合った第１、第２の投影画像を投影することができる。また、第１のプロジェクタ装置の第１の光源及び第２のプロジェクタ装置の第２の光源をそれぞれパルス駆動することにより、第１、第２の光源及び第１、第２の投影レンズを、第１、第２の距離画像取得装置の光源及び投影レンズとして兼用することができ、装置の小型化及び低コスト化を図ることができる。更に、第１のプロジェクタ装置側の赤色、緑色、及び青色の透過波長域を有する第１のバンドパス光学フィルタと、第１の距離画像取得装置側の第２のバンドパス光学フィルタとを同一の特性にし、一方、第２のプロジェクタ装置側の第３のバンドパス光学フィルタと、第２の距離画像取得装置側の第４のバンドパス光学フィルタとを同一の特性にし、かつ第１、第２のバンドパス光学フィルタの透過波長域と、第３、第４のバンドパス光学フィルタの透過波長域とが重複しないようにしたため、第１、第２の距離画像センサにおいて、第１、第２の投影画像に対応するパルス光が混信して受光されることがなく、第１、第２の距離画像を精度よく測定することができる。

本発明の他の態様に係る距離画像取得装置付きプロジェクタ装置において、第１のバンドパス光学フィルタ及び第２のバンドパス光学フィルタは、第３のバンドパス光学フィルタ及び第４のバンドパス光学フィルタよりも透過波長域幅が広いことが好ましい。これにより、遠距離用の第１の投影画像の発光光量を、近距離用の第２の投影画像の発光光量よりも大きくすることができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置において、第１のバンドパス光学フィルタの透過率と第１の距離画像センサの分光感度とを掛け合わせた積分感度は、第３のバンドパス光学フィルタの透過率と第２の距離画像センサの分光感度とを掛け合わせた積分感度よりも大きいことが好ましい。これにより、遠距離用の第１の距離画像の生成に使用される第１の距離画像センサのセンサ出力と、近距離用の第２の距離画像の生成に使用される第２の距離画像センサのセンサ出力との差が大きくならないようにすること（測定精度の均一化）ができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置は、第１の投影レンズにより焦点の合う第１の合焦範囲は、第２の投影レンズより焦点の合う第２の合焦範囲よりも遠いことが好ましい。これにより、近距離から遠距離までピントの合った画像を投影することができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置において、第１の合焦範囲と第２の合焦範囲とは連続し、又は一部が重複することが好ましい。これにより、測定対象物の距離が連続して変化する場合でも、全ての距離にピントの合った画像を投影することができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置において、第１のプロジェクタ装置は、第１の距離画像取得装置により取得された第１の距離画像に応じて第１の投影レンズの焦点調節を行う第１の焦点調節部を備え、第２のプロジェクタ装置は、第２の距離画像取得装置により取得された第２の距離画像に応じて第２の投影レンズの焦点調節を行う第２の焦点調節部を備えることが好ましい。これにより、投影対象物（第１、第２の投影対象物）の距離に応じて、ピントの合った画像（第１、第２の投影画像）を投影することができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置において、第１のプロジェクタ装置は、第１の投影対象物に投影する第１の投影画像であって、第１の投影対象物の領域外を黒画像にした第１の投影画像を、第１の距離画像に基づいて生成する第１の投影画像生成部を備え、第２のプロジェクタ装置は、第２の投影対象物に投影する第２の投影画像であって、第２の投影対象物の領域外を黒画像にした第２の投影画像を、第２の距離画像に基づいて生成する第２の投影画像生成部を備える。これにより、第１の投影画像と第２の投影画像との投影領域を分けることができ、遠距離から近距離までピントの合った画像を投影することができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置において、第１の投影画像生成部と第２の投影画像生成部とは、それぞれ第１の投影対象物と第２の投影対象物との境界部分において、黒画像以外の第１の投影画像と黒画像以外の第２の投影画像とが重複する第１の投影画像と第２の投影画像とを生成し、かつ第１の投影画像と第２の投影画像との重複する境界部分の輝度を、それぞれ半減させた第１の投影画像と第２の投影画像とを生成することが好ましい。これにより、第１の投影画像と第２の投影画像との重複する境界部分も距離測定することができ、かつ境界部分の輝度が強調されないようにすることができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置において、第１のプロジェクタ装置は、第１の投影対象物と第２の投影対象物との境界部分の距離が連続的に変化する場合において、第１の投影画像の境界部分に対応する画像の輝度を連続的に減少させて黒画像にした第１の投影画像を、第１の距離画像に基づいて生成する第１の投影画像生成部を備え、第２のプロジェクタ装置は、第２の投影画像の境界部分に対応する画像の輝度を連続的に減少させて黒画像にした第２の投影画像を、第２の距離画像に基づいて生成する第２の投影画像生成部を備えることが好ましい。これにより、第１の投影画像と第２の投影画像との重複する境界部分も距離測定することができ、かつ境界部分の距離が連続して変化する場合でも、境界部分において、第１の投影画像と第２の投影画像とを滑らかにつなぐことができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置において、第１の距離画像センサのセンサ出力と第２の距離画像センサのセンサ出力とを使用した三角測距法に基づいて第１の距離画像取得装置により取得可能な距離よりも遠い距離を測距する三角測距部を備えることが好ましい。２組の第１、第２の距離画像取得装置を使用するため、測定対象物の測距に三角測距法を適用することができ、これにより第１の距離画像取得装置では測定することができない遠距離でも測定することができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置において、静的測距モードを選択する測距モード選択部と、静的測距モードが選択されると、第１のプロジェクタ装置及び第２のプロジェクタ装置からそれぞれ第１の投影画像及び第２の投影画像を投影する前に、第１のプロジェクタ装置及び第２のプロジェクタ装置のうちの少なくとも一方から全画面一様光量を投影対象物にパルス照射させ、第１の距離画像取得装置及び第２の距離画像取得装置の少なくとも一方により第１の投影対象物及び第２の投影対象物の第１の距離画像及び第２の距離画像を取得させる制御部と、を備えることが好ましい。これにより、静止している投影対象物（第１、第２の投影対象物）の距離を精度よく測定することができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置において、動的測距モードを選択する測距モード選択部と、動的測距モードが選択されると、第１のプロジェクタ装置及び第２のプロジェクタ装置からそれぞれ第１の投影画像及び第２の投影画像をそれぞれ第１の投影対象物及び第２の投影対象物に連続してパルス照射させ、第１の距離画像取得装置及び第２の距離画像取得装置により第１の距離画像及び第２の距離画像を連続して取得させる制御部と、を備えることが好ましい。これにより、投影対象物（第１、第２の投影対象物）が動体の場合でも、画像（第１、第２の投影画像）を動体に投影しつつ、動体の距離画像を取得することができる。

本発明の更に他の態様に係る距離画像取得装置付きプロジェクタ装置において、第１のバンドパス光学フィルタから第４のバンドパス光学フィルタは、それぞれ480nm以下の青色、500nm以上580nm以下の緑色、及び590nm以上の赤色の３原色域に透過波長域を持つことが好ましい。これにより、可視光の３原色の投影画像を投影し、その反射光を受光することができる。

他の態様に係る本発明は、第１の合焦範囲内の第１の投影対象物に第１の投影画像を合焦させて投影する第１のプロジェクタ装置と、第１の投影対象物の距離に対応する第１の情報であって、第１の投影対象物との間の光の飛翔時間に対応する第１の情報を取得し、取得した第１の情報に基づいて第１の距離画像を生成する第１の距離画像取得装置と、第１の合焦範囲よりも近い第２の合焦範囲内の第２の投影対象物に第２の投影画像を合焦させて投影する第２のプロジェクタ装置と、第２の投影対象物の距離に対応する第２の情報であって、第２の投影対象物との間の光の飛翔時間に対応する第２の情報を取得し、取得した第２の情報に基づいて第２の距離画像を生成する第２の距離画像取得装置と、からなる距離画像取得装置付きプロジェクタ装置を使用したプロジェクションマッピング方法であって、第１のプロジェクタ装置の第１の光源をパルス駆動し、赤色、緑色、及び青色の透過波長域を有する第１のバンドパス光学フィルタを介して第１の投影画像を投影するステップと、第２のプロジェクタ装置の第２の光源をパルス駆動し、第１のバンドパス光学フィルタの透過波長域と重複しない赤色、緑色、及び青色の透過波長域を有する第３のバンドパス光学フィルタを介して第２の投影画像を投影するステップと、第１の距離画像取得装置が、第１のバンドパス光学フィルタと同じ特性を有する第２のバンドパス光学フィルタを介して投影された第１の投影画像の第１の投影対象物からの反射光を受光し、第１の投影対象物の距離に対応する第１の距離画像を生成するステップと、第２の距離画像取得装置が、第３のバンドパス光学フィルタと同じ特性を有する第４のバンドパス光学フィルタを介して投影された第２の投影画像の第２の投影対象物からの反射光を受光し、第２の投影対象物の距離に対応する第２の距離画像を生成するステップと、第１のプロジェクタ装置が、第１の投影対象物に投影する第１の投影画像であって、第１の投影対象物の領域外を黒画像にした第１の投影画像を、第１の距離画像に基づいて生成するステップと、第２のプロジェクタ装置が、第２の投影対象物に投影する第２の投影画像であって、第２の投影対象物の領域外を黒画像にした第２の投影画像を、第２の距離画像に基づいて生成するステップと、を含み、第１の距離画像取得装置及び第２の距離画像取得装置は、それぞれ第１の距離画像及び第２の距離画像を連続して生成し、第１のプロジェクタ装置及び第２のプロジェクタ装置は、それぞれ連続して生成された第１の距離画像及び第２の距離画像に基づいて第１の投影画像及び第２の投影画像を連続して生成し、連続して生成した第１の投影画像及び第２の投影画像を第１の投影対象物及び第２の投影対象物に投影する。

本発明によれば、投影対象物に距離差があっても投影対象物の全体にピントの合った画像を投影することができ、特にＴＯＦ方式で距離画像を取得する際にＴＯＦ方式専用の光源及び投影レンズを省略することができ、装置の小型化及び低コスト化を図ることができ、更に混信せずに測定精度の高い距離画像を取得することができる。

本発明に係る距離画像取得装置付きプロジェクタ装置の外観を示す平面図 図１に示した距離画像取得装置付きプロジェクタ装置の内部構成例を示すブロック図 第１のバンドパス光学フィルタと第３のバンドパス光学フィルタのそれぞれの透過率を示すグラフ 距離画像センサの分光感度を示すグラフ 第１の距離画像センサの分光感度を示すグラフ 第２の距離画像センサの分光感度を示すグラフ 遠距離の投影対象物内の遠い物体Ｔ_１と近い物体Ｔ_２の距離の演算処理を示す図 第１のプロジェクタ装置及び第２のプロジェクタ装置から投影される遠距離用の投影画像及び近距離用の投影画像の焦点が合う範囲を示す図 距離画像取得装置付きプロジェクタ装置からそれぞれ異なる距離１、距離２、及び距離３の投影対象物に投影画像を投影する場合を示す図 図９に示した投影対象物の表面に投影する投影画像の一例を模式的に示した図 図９に示した投影対象物に投影する遠距離用の投影画像及び近距離用の投影画像を模式的に示した図 距離画像取得装置付きプロジェクタ装置から距離１の投影対象物（面１）、距離２の投影対象物、及び距離１から距離２にわたって距離が連続的に変化する斜めの投影対象物（面１−２）に投影画像を投影する場合を示す図 図１２に示した投影対象物の表面に投影する投影画像の一例を模式的に示した図 図１２に示した投影対象物に投影する遠距離用の投影画像及び近距離用の投影画像を模式的に示した図 図９に示した投影対象物の表面に投影する投影画像の一例を模式的に示した図と、遠距離用の投影画像及び近距離用の投影画像とを模式的に示した図 ＴＯＦ法による測距範囲とステレオ測距範囲とを示す図 動的測距モードが選択された場合のプロジェクションマッピング方法を示すフローチャート 静的測距モードが選択された場合のプロジェクションマッピング方法を示すフローチャート 人の目のＲＧＢの各色に対する分光感度例を示すグラフ

以下、添付図面に従って本発明に係る距離画像取得装置付きプロジェクタ装置及びプロジェクションマッピング方法の実施形態について説明する。

［距離画像取得装置付きプロジェクタ装置の外観］
図１は本発明に係る距離画像取得装置付きプロジェクタ装置の外観を示す平面図である。

この距離画像取得装置付きプロジェクタ装置１は、第１のプロジェクタ装置１０Ａ及び第１の距離画像取得装置（第１のＴＯＦ（Time Of Flight）カメラ）２０Ａからなる第１のＴＯＦカメラ付きプロジェクタ装置と、第２のプロジェクタ装置１０Ｂ及び第２の距離画像取得装置（第２のＴＯＦカメラ２０Ｂ）からなる第２のＴＯＦカメラ付きプロジェクタ装置との２組のＴＯＦカメラ付きプロジェクタ装置により構成されている。

第１のＴＯＦカメラ付きプロジェクタ装置は、遠距離の投影対象物（第１の投影対象物）に遠距離用の投影画像（第１の投影画像）を投影するとともに、第１の投影対象物の３次元の距離画像を取得するものであり、第２のＴＯＦカメラ付きプロジェクタ装置は、近距離の投影対象物（第２の投影対象物）に近距離用の投影画像（第２の投影画像）を投影するとともに、第２の投影対象物の３次元の距離画像を取得するものである。

尚、第１のＴＯＦカメラ付きプロジェクタ装置と第２のＴＯＦカメラ付きプロジェクタ装置とは、後述するように電気的に接続されているが、一体的に構成されていてもよいし、分離可能に構成されていてもよい。

［距離画像取得装置付きプロジェクタ装置の内部構成］
図２は上記距離画像取得装置付きプロジェクタ装置１の内部構成例を示すブロック図である。

図１及び図２に示すように、第１のＴＯＦカメラ付きプロジェクタ装置を構成する第１のプロジェクタ装置１０Ａは、主として第１の投影レンズ１１Ａと、第１のバンドパス光学フィルタ１２Ａと、第１の表示用光学素子１３Ａと、第１の光源１４Ａと、第１の焦点調節部として機能する投影レンズドライバ１６Ａとから構成され、第１のＴＯＦカメラ付きプロジェクタ装置を構成する第１のＴＯＦカメラ２０Ａは、主として第１の結像レンズ２１Ａと、第２のバンドパス光学フィルタ２２Ａと、第１の距離画像センサ２３Ａと、Ａ／Ｄ（Analog-to-Digital）変換器２４Ａと、インターフェース回路２５Ａと、結像レンズドライバ２６Ａとから構成されている。また、第１のプロジェクタ装置１０Ａ及び第１のＴＯＦカメラ２０Ａに共通のタイミングジェネレータ１５Ａを備えている。

第２のＴＯＦカメラ付きプロジェクタ装置は、第１のＴＯＦカメラ付きプロジェクタ装置と同様の構成を有しており、第２のＴＯＦカメラ付きプロジェクタ装置を構成する第２のプロジェクタ装置１０Ｂは、主として第２の投影レンズ１１Ｂと、第３のバンドパス光学フィルタ１２Ｂと、第２の表示用光学素子１３Ｂと、第２の光源１４Ｂと、第２の焦点調節部として機能する投影レンズドライバ１６Ｂとから構成され、第２のＴＯＦカメラ付きプロジェクタ装置を構成する第２のＴＯＦカメラ２０Ｂは、主として第２の結像レンズ２１Ｂと、第４のバンドパス光学フィルタ２２Ｂと、第２の距離画像センサ２３Ｂと、Ａ／Ｄ変換器２４Ｂと、インターフェース回路２５Ｂと、結像レンズドライバ２６Ｂとから構成されている。また、第２のプロジェクタ装置１０Ｂ及び第２のＴＯＦカメラ２０Ｂに共通のタイミングジェネレータ１５Ｂを備えている。

更に、２組の第１のＴＯＦカメラ付きプロジェクタ装置及び第２のＴＯＦカメラ付きプロジェクタ装置に共通の中央処理装置（ＣＰＵ：Central Processing Unit）３０、メモリ３２、及び測距モード選択部３４を備えている。

＜第１のプロジェクタ装置１０Ａ＞
本実施形態の第１のプロジェクタ装置１０Ａは、表示用光学素子が１枚の単板式のプロジェクタ装置である。第１のプロジェクタ装置１０Ａの第１の光源１４Ａは、例えば、投影光として白色光を発光する発光ダイオードにより構成されており、タイミングジェネレータ１５Ａから加えられるタイミング信号によりパルス発光できるようになっている。また、第１の光源１４Ａと第１の表示用光学素子１３Ａとの間には、第１の光源１４Ａから出射される白色光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に分解するＲＧＢのダイクロイックミラー（図示せず）が配置されており、ＲＧＢのダイクロイックミラーは、白色光をＲＧＢ光に色分解し、かつ色毎に角度の異なるＲＧＢ光を第１の表示用光学素子１３Ａに入射させる。

第１の表示用光学素子１３Ａは、例えば、光透過型の液晶表示素子から構成され、３つの画素毎に１つのマイクロレンズが配置されている。１つのマイクロレンズは、色毎に角度の異なるＲＧＢ光を入射すると、ＲＧＢ光を３つの画素のいずれかに入射させる。

また、第１の表示用光学素子１３Ａは、投影する遠距離用の画像（第１の投影画像）に応じて画素毎に透過率が制御され、これにより、第１の表示用光学素子１３Ａからは、ＲＧＢの第１の投影画像が出射される。尚、第１の表示用光学素子１３Ａは、タイミングジェネレータ１５Ａから加えられるフレーム毎のタイミング信号により駆動タイミングが制御される。

第１の表示用光学素子１３Ａから出射されたＲＧＢの第１の投影画像は、第１のバンドパス光学フィルタ１２Ａにより波長域が選択された後、第１の投影レンズ１１Ａを介して遠距離の投影対象物（第１の投影対象物）に投影される。尚、第１の投影レンズ１１Ａは、遠距離用の投影画像が遠距離の投影対象物の表面で合焦するように、ＣＰＵ３０からのピント調整指令に応じて投影レンズドライバ１６Ａを介してレンズ位置が制御される。

図３は、第１のバンドパス光学フィルタ１２Ａと第３のバンドパス光学フィルタ１２Ｂのそれぞれの透過率を示すグラフである。

図３に示すように第１のバンドパス光学フィルタ１２Ａと第３のバンドパス光学フィルタ１２Ｂは、それぞれ480nm以下の青色、500nm以上、580nm以下の緑色、590nm以上の赤色の３原色域に透過波長域を持ち、第１のバンドパス光学フィルタ１２Ａと第３のバンドパス光学フィルタ１２ＢとのＲＧＢの透過波長域は、それぞれ重なり合わないように設計されている。

上記のようにして第１のプロジェクタ装置１０Ａは、遠距離の投影対象物に遠距離用の投影画像を投影する。

＜第１のＴＯＦカメラ２０Ａ＞
第１のＴＯＦカメラ２０Ａは、物体に光を照射し、その反射光をセンサで受光するまでの時間を測定することにより物体までの距離（３次元の距離画像）を求めるものであり、本実施形態の第１のＴＯＦカメラ２０Ａは、第１のプロジェクタ装置１０Ａから投影される遠距離用の投影画像であって、パルス発光される投影画像が遠距離の投影対象物に照射され、その反射光を複数の画素を有する第１の距離画像センサ２３Ａにより受光し、第１の距離画像センサ２３Ａの画素毎の受光量（受光強度）から遠距離の投影対象物の距離画像を取得する。

第１のＴＯＦカメラ２０Ａの第１の結像レンズ２１Ａは、遠距離の投影対象物からの反射光（第１のプロジェクタ装置１０Ａからパルス発光された遠距離用の投影画像の反射光）を第２のバンドパス光学フィルタ２２Ａを介して第１の距離画像センサ２３Ａに結像させる。尚、第１の結像レンズ２１Ａは、遠距離の投影対象物の表面で反射した遠距離用の投影画像が第１の距離画像センサ２３Ａの受光面上で合焦するように、ＣＰＵ３０からのピント調整指令に応じて結像レンズドライバ２６Ａを介してレンズ位置が制御される。

第２のバンドパス光学フィルタ２２Ａは、図３に示した第１のバンドパス光学フィルタ１２Ａと同じ特性を有するものである。また、同じ特性のバンドパス光学フィルタとは、全く同じものに限らず、受光用の第２のバンドパス光学フィルタ２２Ａは、投影用の第１のバンドパス光学フィルタ１２Ａよりも透過波長域が広くてもよく、要は第２のプロジェクタ装置１０Ｂからパルス発光された近距離用の投影画像の波長域と重ならなければよい。

第１の距離画像センサ２３Ａは、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。尚、第１の距離画像センサ２３Ａは、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

第１の距離画像センサ２３Ａは、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、受光素子毎にＲＧＢのカラーフィルタが配置され、これによりＲＧＢの画素が構成されている。尚、ＲＧＢのカラーフィルタのフィルタ配列は、ベイヤ配列が一般的であるが、これに限らない。

図４は、距離画像センサの分光感度を示すグラフであり、主としてＲＧＢのカラーフィルタの透過率に対応している。

第２のバンドパス光学フィルタ２２Ａは、第１のバンドパス光学フィルタ１２Ａと同じ特性を有し、かつ距離画像センサ（第１の距離画像センサ２３Ａ）は、図４に示す分光感度を有するため、第１の距離画像センサ２３ＡのＲＧＢの画素には、図５に示す波長域の光が入射する。

第１の距離画像センサ２３Ａは、タイミングジェネレータ１５Ａから第１の光源１４Ａのパルス発光と同期して加えられるシャッタ制御信号により露光期間（露光時間及び露光タイミング）が制御され、第１の距離画像センサ２３Ａの各受光素子には、露光期間に入射する光量に対応する電荷が蓄積される。そして、第１の距離画像センサ２３Ａからは、入射光量に応じた画素信号（画素毎に蓄積された電荷に対応するアナログ信号）が読み出される。

ここで、タイミングジェネレータ１５Ａは、詳細については後述するが、第１の光源１４Ａからパルス光を発光させ、少なくとも遠距離の投影対象物の距離に応じて第１の距離画像センサ２３Ａの対応する受光素子での露光量（パルス光の受光時間）に差が生じる第１の露光制御と、第１の光源１４Ａからパルス光を発光させ、パルス光に対する露光開始の位相が第１の露光制御のパルス光に対する露光開始の位相と異なる第２の露光制御であって、第１の距離画像センサ２３Ａの全ての受光素子が遠距離の投影対象物にて反射したパルス光（遠距離用の第１の投影画像）を全て露光する第２の露光制御と、を順次行う。

タイミングジェネレータ１５Ａによる露光制御後に第１の距離画像センサ２３Ａから読み出されたアナログ信号は、Ａ／Ｄ変換器２４Ａによりデジタル信号に変換され、画像入力コントローラとして機能するインターフェース回路２５Ａを経由してメモリ３２に保持される。

メモリ３２は、ＣＰＵ３０での処理に必要な各種のデータなどを記憶すると共に、ＣＰＵ３０のワーキング・メモリとして機能する。また、メモリ３２は、投影用の動画又は静止画が記録され、また、第１のＴＯＦカメラ２０Ａ及び第２のＴＯＦカメラ２０Ｂで撮像された画像の記録部として機能し得る。

ＣＰＵ３０は、詳細については後述するが、タイミングジェネレータ１５Ａ、投影レンズドライバ１６Ａ及び結像レンズドライバ２６Ａ等の各部を統括的に制御するデバイス制御部としての機能、距離画像生成部３０Ａ（第１の距離画像生成部及び第２の距離画像生成部）、投影画像生成部３０Ｂ（第１の投影画像生成部及び第２の投影画像生成部）及び制御部３０Ｃとしての機能を有する。

距離画像生成部３０Ａは、距離画像センサ（第１の距離画像センサ２３Ａ，第２の距離画像センサ２３Ｂ）のセンサ出力に基づいて、それぞれ遠距離の投影対象物及び近距離の投影対象物の３次元の距離画像を生成する。

投影画像生成部３０Ｂは、距離画像生成部３０Ａにより生成された第１の距離画像及び第２の距離画像に基づいて遠距離用の投影画像及び近距離用の投影画像を生成する。

測距モード選択部３４は、手動操作により静的測距モード又は動的測距モードを選択する選択部である。ここで、静的測距モードは、投影対象物が静止している場合に選択される測距モードであり、動的測距モードは、投影対象物が動体の場合に選択される測距モードである。

一方、第２のプロジェクタ装置１０Ｂ及び第２のＴＯＦカメラ２０Ｂは、上述した第１のプロジェクタ装置１０Ａ及び第１のＴＯＦカメラ２０Ａと同様の構成を有しているため、その詳細な説明は省略するが、主として第３のバンドパス光学フィルタ１２Ｂ及び第４のバンドパス光学フィルタ２２Ｂの特性が、第１のバンドパス光学フィルタ１２Ａ及び第２のバンドパス光学フィルタ２２Ａと相違し、また、第２のプロジェクタ装置１０Ｂは、近距離用の投影画像（第２の投影画像）を投影する点で相違する。

第３のバンドパス光学フィルタ１２Ｂは、図３の破線で示す透過率を有している。また、第４のバンドパス光学フィルタ２２Ｂは、第３のバンドパス光学フィルタ１２Ｂと同じ特性を有している。ここで、同じ特性のバンドパス光学フィルタとは、全く同じものに限らず、受光用の第４のバンドパス光学フィルタ２２Ｂは、投影用の第３のバンドパス光学フィルタ１２Ｂよりも透過波長域が広くてもよく、要は第１のプロジェクタ装置１０Ａからパルス発光された遠距離用の投影画像の波長域と重ならなければよい。従って、投影用の第１のバンドパス光学フィルタ１２Ａ及び第３のバンドパス光学フィルタ１２Ｂよりも、受光用の第２のバンドパス光学フィルタ２２Ａ及び第４のバンドパス光学フィルタ２２Ｂの方が透過波長域が広くてもよい。

第４のバンドパス光学フィルタ２２Ｂは、第３のバンドパス光学フィルタ１２Ｂと同じ特性を有し、かつ距離画像センサ（第２の距離画像センサ２３Ｂ）は、図４に示す分光感度を有するため、第２の距離画像センサ２３ＢのＲＧＢの画素には、図６に示す波長域の光が入射する。

図３に示す第１のバンドパス光学フィルタ１２Ａ（これと同じ特性の第２のバンドパス光学フィルタ２２Ａ）は、第３のバンドパス光学フィルタ１２Ｂ（これと同じ特性の第４のバンドパス光学フィルタ２２Ｂ）よりも透過波長域幅が広くなっている。これにより、遠距離用の投影画像の発光光量を、近距離用の投影画像の発光光量よりも大きくしている。

また、図５及び図６に示すように、第１のバンドパス光学フィルタ１２ＡのＲＧＢの透過率と、図４に示した距離画像センサ（第１の距離画像センサ２３Ａ）のＲＧＢ画素の分光感度とを掛け合わせた積分感度は、第３のバンドパス光学フィルタ１２ＢのＲＧＢの透過率と、距離画像センサ（第２の距離画像センサ２３Ｂ）のＲＧＢ画素の分光感度とを掛け合わせた積分感度よりも大きい。これにより、遠距離の距離画像の生成に使用される第１の距離画像センサ２３Ａのセンサ出力と、近距離の距離画像の生成に使用される第２の距離画像センサ２３Ｂのセンサ出力との差が大きくならないように（測定精度を均一化）している。

本例では、第２の距離画像センサ２３ＢのＲＧＢ画素の積分感度に対する第１の距離画像センサ２３ＡのＲＧＢ画素の積分感度の比（積分感度比）は、Ｒ＝０．８７、Ｇ＝０．７２、Ｂ＝０．８２である。

＜ＴＯＦ法の基本原理＞
次に、ＴＯＦカメラにより３次元の距離画像を取得する基本原理について説明する。以下、第１のＴＯＦカメラ２０Ａにより遠距離の投影対象物の距離画像を取得する場合について説明するが、第２のＴＯＦカメラ２０Ｂも同様に近距離の投影対象物の距離画像を取得することができる。

第１のプロジェクタ装置１０Ａの第１の光源１４Ａは、タイミングジェネレータ１５Ａによりパルス駆動され、その結果、第１のプロジェクタ装置１０Ａからは、パルス状の遠距離用の投影画像が投影される。この遠距離用の投影画像は、遠距離の投影対象物の表面で反射し、その反射したパルス状の投影画像は、第１のＴＯＦカメラ２０Ａの第１の結像レンズ２１Ａ及び第２のバンドパス光学フィルタ２２Ａを介して第１の距離画像センサ２３Ａにより結像（受光）される。

図７は、遠距離の投影対象物内の遠い物体Ｔ_１と近い物体Ｔ_２の距離の演算処理を示す図である。

第１のプロジェクタ装置１０Ａの第１の光源１４Ａは、タイミングジェネレータ１５Ａによりパルス駆動されるが、第１の光源１４Ａのパルス駆動に同期して、図７（Ａ）及び（Ｂ）に示すように、第１の距離画像センサ２３Ａは、タイミングジェネレータ１５Ａにより第１の露光制御及び第２の露光制御の２回の露光制御が順次行われる。

図７（Ａ）に示す第１の露光制御は、第１のプロジェクタ装置１０Ａからパルス状の投影画像を発光させ、少なくとも投影対象物の距離に応じて第１の距離画像センサ２３Ａの対応する受光素子での露光量に差が生じるように露光期間を制御する露光制御であり、第１の光源１４Ａからパルス光を発光させた後、一定時間（測距可能な最も遠い物体からパルス光（投影画像）が戻ってくるまでの時間）経過後に露光を開始し、少なくとも最も遠い物体にて反射したパルス光（投影画像）の全てが戻ってくる時間（所定の露光時間）経過後に露光を終了させる。

尚、投影画像は、通常、所定のフレームレート（６０フレーム／秒、３０フレーム／秒）で連続して投影されるが、本例のパルス状の投影画像は、１フレーム期間（フレームレートが６０フレーム／秒の場合、１／６０（秒））に対して１つのパルス状の画像であり、かつ１フレーム期間よりも十分に短い画像である。即ち、あるフレーム期間に発光されたパルス状の画像が、最も遠い物体で反射し、全てが戻ってくるまでに次のフレーム期間のパルス状の画像が発光されない程度に短い画像である。

上記の第１の露光制御によれば、物体の反射率が一定、かつ全画面一様光量の画像の場合、遠い物体Ｔ_１と近い物体Ｔ_２とを比較すると、遠い物体Ｔ_１ほど露光量が多くなる。

図７（Ｂ）に示す第２の露光制御は、第１の光源１４Ａからパルス光を発光させ、パルス光に対する露光開始の位相が第１の露光制御のパルス光に対する露光開始の位相と異なる露光制御であり、物体の反射率の相違及び全画面一様光量でないパルス状の投影画像による第１の距離画像センサ２３Ａでの露光量の変化を除去するための露光制御である。本例では、第１の距離画像センサ２３Ａの全ての受光素子が物体にて反射したパルス光（パルス状の投影画像）を全て露光する露光制御である。具体的には、第１の光源１４Ａから発光するパルス光の発光タイミングに同期して露光を開始し、一定時間（少なくとも測距可能な最も遠い物体からパルス状の投影画像が全て戻ってくるまでの所定の露光時間）経過後に露光を終了させる。尚、第１の露光制御における「所定の露光時間」と、第２の露光制御における「所定の露光時間」とは同じ時間であるが、上記のようにパルス光に対する露光開始の位相が異なる。

次に、ＣＰＵ３０の距離画像生成部３０Ａは、図７（Ｃ）に示すように第１の露光制御及び第２の露光制御により第１の距離画像センサ２３Ａから取得される各露光量に対応するセンサ出力（ある画素の出力データ）を、それぞれ第１のデータＬ_１及び第２のデータＬ_２とすると、物体の距離に対応する距離情報Ｄを、次式、
［数１］
Ｄ＝Ｌ_１÷Ｌ_２
により算出する。

即ち、［数１］式によれば、第１のデータＬ_１を第２のデータＬ_２で除算した除算データを算出する。この除算データは、物体の反射率の影響が除去され、かつ全画面一様光量でないパルス状の投影画像の光量の影響が除去された相対距離に対応するデータ（距離情報Ｄ）となる。この距離情報Ｄは、投影対象物に光を照射し、その反射光を距離画像センサで受光するまでの時間（飛翔時間）に対応する情報である。尚、第１のデータＬ_１と第２のデータＬ_２とに基づいて物体の絶対距離を求めることも可能である。

そして、第１の距離画像センサ２３Ａの全ての画素毎に距離情報Ｄを取得することにより、３次元の距離画像を生成することができる。

尚、第１の距離画像センサ２３Ａからは、ＲＧＢの色毎のセンサ出力が得られるが、距離画像生成部３０Ａは、ＲＧＢの色毎のセンサ出力から輝度データを生成し、生成した輝度データを、第１のデータＬ_１及び第２のデータＬ_２として使用することが好ましい。また、輝度データの代わりに、輝度データの生成に最も寄与するＧのセンサ出力を、第１のデータＬ_１及び第２のデータＬ_２として使用してもよい。

次に、第１のプロジェクタ装置１０Ａ及び第２のプロジェクタ装置１０Ｂからそれぞれ投影される遠距離用の投影画像及び近距離用の投影画像の焦点が合う範囲について説明する。

第１のプロジェクタ装置１０Ａ及び第２のプロジェクタ装置１０Ｂは、それぞれＣＰＵ３０からのピント調整指令に応じて投影レンズドライバ１６Ａ、１６Ｂを介して第１の投影レンズ１１Ａ及び第２の投影レンズ１１Ｂのレンズ位置が制御できるようになっている。

ＣＰＵ３０は、距離画像生成部３０Ａにより遠距離の投影対象物の距離画像及び近距離の投影対象物の距離画像が生成されるため、遠距離の投影対象物の距離画像（例えば、距離画像の平均値）に基づいてピント調整指令を投影レンズドライバ１６Ａに出力し、同様に近距離の投影対象物の距離画像に基づいてピント調整指令を投影レンズドライバ１６Ｂに出力する。これにより、第１のプロジェクタ装置１０Ａの第１の投影レンズ１１Ａのレンズ位置及び第２のプロジェクタ装置１０Ｂの第２の投影レンズ１１Ｂのレンズ位置が調整され、第１の投影レンズ１１Ａにより焦点の合う合焦範囲（第１の合焦範囲）、及び第２の投影レンズ１１Ｂにより焦点の合う合焦範囲（第２の合焦範囲）が制御される。

図８（Ａ）及び（Ｂ）は、それぞれ第１のプロジェクタ装置１０Ａ及び第２のプロジェクタ装置１０Ｂから投影される遠距離用の投影画像及び近距離用の投影画像の焦点が合う範囲（第１のプロジェクタ装置１０Ａの被写界深度及び第２のプロジェクタ装置１０Ｂの被写界深度）を示す図である。

図８（Ａ）及び（Ｂ）に示す距離画像取得装置付きプロジェクタ装置１は、それぞれ第１の投影レンズ１１Ａ及び第２の投影レンズ１１Ｂのレンズ位置が異なる位置に調整されており、図８（Ａ）に示す距離画像取得装置付きプロジェクタ装置１は、第１のプロジェクタ装置１０Ａの被写界深度及び第２のプロジェクタ装置１０Ｂの被写界深度が、図８（Ｂ）に示す距離画像取得装置付きプロジェクタ装置１と比較して、近距離側にシフトしている。

尚、図８に示すように第１のプロジェクタ装置１０Ａの被写界深度と第２のプロジェクタ装置１０Ｂの被写界深度（第１の合焦範囲と第２の合焦範囲）とは、連続していること、又は一部が重複していることが好ましい。また、図示しないレンズ絞りにより被写界深度を調整し、第１の合焦範囲と第２の合焦範囲とが連続又は重複するように調整するようにしてもよい。

また、明示していないが、投影対象物が、遠距離と近距離との間にギャップがあり、中間距離に投影対象物が無い場合は、投影する必要が無いため、ギャップの部分は被写界深度に収まらなくてもよい。即ち、第１のプロジェクタ装置１０Ａの被写界深度と第２のプロジェクタ装置１０Ｂの被写界深度とは、必ずしも連続している場合に限らず、ギャップがあってもよい。

［投影画像生成部３０Ｂ］
次に、ＣＰＵ３０の投影画像生成部３０Ｂについて詳述する。

＜投影画像の第１の生成例＞
図９は、距離画像取得装置付きプロジェクタ装置１からそれぞれ異なる距離１、距離２、及び距離３の投影対象物に投影画像を投影する場合に関して示している。

本例では、距離１、距離２の投影対象物が近距離の投影対象物であり、距離３の投影対象物が遠距離の投影対象物である。

図１０は、図９に示した投影対象物の表面に投影する投影画像の一例を模式的に示した図である。

ＣＰＵ３０の投影画像生成部３０Ｂは、メモリ３２に記録されている投影用の画像（動画又は静止画）を、距離画像生成部３０Ａにより生成された第１の距離画像及び第２の距離画像（即ち、近距離の投影対象物及び遠距離の投影対象物の形状、大きさ及び凹凸といった情報）を利用して、トリミング、座標変換、拡縮等の処理を行い、遠距離の投影対象物及び近距離の投影対象物の表面に合った遠距離用の投影画像及び近距離用の投影画像を生成する。

図１１（Ａ）及び（Ｂ）は、それぞれ遠距離用の投影画像及び近距離用の投影画像を模式的に示した図であり、図９に示した距離１、距離２、及び距離３の投影対象物に、図１０に示す投影画像を表示させるための遠距離用の投影画像及び近距離用の投影画像を示している。

図１１（Ａ）に示す遠距離用の投影画像は、投影画角内で距離３の投影対象物（遠距離の投影対象物）のみに投影される投影画像であり、距離１、距離２の投影対象物（近距離の投影対象物）に対応する部分は黒画像である。

また、図１１（Ｂ）に示す近距離用の投影画像は、投影画角内で距離１、距離２の投影対象物（近距離の投影対象物）のみに投影される投影画像であり、距離３の投影対象物（遠距離の投影対象物）に対応する部分は黒画像である。

投影画像生成部３０Ｂは、図１０に示す投影画像を、距離画像生成部３０Ａにより生成された第１の距離画像及び第２の距離画像に基づいて画像処理し、図１１（Ａ）及び（Ｂ）に示した遠距離用の投影画像及び近距離用の投影画像を生成する。

図２に示した第１のプロジェクタ装置１０Ａの第１の表示用光学素子１３Ａは、投影画像生成部３０Ｂにより生成された遠距離用の投影画像に基づいて各光学素子の透過率が制御され、第２のプロジェクタ装置１０Ｂの第２の表示用光学素子１３Ｂは、投影画像生成部３０Ｂにより生成された近距離用の投影画像に基づいて各光学素子の透過率が制御される。

＜投影画像の第２の生成例＞
図１２は、距離画像取得装置付きプロジェクタ装置１から距離１の投影対象物（面１）、距離２の投影対象物、及び距離１から距離２にわたって距離が連続的に変化する斜めの投影対象物（面１−２）に投影画像を投影する場合に関して示している。

本例では、斜めの投影対象物（面１−２）の中間位置を境界に、その中間位置よりも手前（距離画像取得装置付きプロジェクタ装置１側）の投影対象物が、近距離の投影対象物であり、中間位置よりも奥行き側の投影対象物が、遠距離の投影対象物である。

図１３は、図１２に示した投影対象物の表面に投影する投影画像の一例を模式的に示した図である。

図１４（Ａ）及び（Ｂ）は、それぞれ遠距離用の投影画像及び近距離用の投影画像を模式的に示した図であり、図１２に示した面１、面１−２及び距離２の投影対象物に、図１３に示す投影画像を表示させるための遠距離用の投影画像及び近距離用の投影画像を示している。

図１４（Ａ）に示す遠距離用の投影画像は、投影画角内で、面１−２の奥行き側の約半分の面、及び距離２の投影対象物（遠距離の投影対象物）のみに投影される投影画像であり、面１及び面１−２の手前側の約半分の面（近距離の投影対象物）に対応する部分は黒画像である。

また、図１４（Ｂ）に示す近距離用の投影画像は、投影画角内で距離１の投影対象物、及び面１−２の手前側の約半分の面（近距離の投影対象物）のみに投影される投影画像であり、面１−２の奥行き側の約半分の面、及び距離２の投影対象物（遠距離の投影対象物）に対応する部分は黒画像である。

尚、面１−２は、距離１から距離２にわたって距離が連続的に変化する斜めの投影対象物の面であり、この面１−２の中間位置よりも奥行き側の面は、遠距離の投影対象物に属し、手前側の面は近距離の投影対象物に属する。従って、図１４（Ａ）及び（Ｂ）に示すように、遠距離用の投影画像と近距離用の投影画像とが滑らかにつながるように、遠距離用の投影画像と近距離用の投影画像との境界部分は、画像が重複するように生成し、かつ重複する部分の画像の輝度が高くならないように調整する（互いに連続して変化させる）ことが好ましい。

即ち、遠距離用の投影画像の境界部分に対応する画像の輝度を連続的に減少させて黒画像にし、近距離用の投影画像の境界部分に対応する画像の輝度を連続的に減少させて黒画像にする。

投影画像生成部３０Ｂは、図１３に示す投影画像を、距離画像生成部３０Ａにより生成された第１の距離画像及び第２の距離画像に基づいて画像処理し、図１４（Ａ）及び（Ｂ）に示した遠距離用の投影画像及び近距離用の投影画像を生成する。

＜投影画像の第３の生成例＞
図１５（Ａ）は、図９に示した投影対象物の表面に投影する投影画像の一例を模式的に示した図であり、図１０に示した投影画像と同じ投影画像である。

図１５（Ｂ）及び（Ｃ）は、それぞれ遠距離用の投影画像及び近距離用の投影画像を模式的に示した図であり、図９に示した距離１、距離２、及び距離３の投影対象物に、図１５（Ａ）に示す投影画像を表示させるための遠距離用の投影画像及び近距離用の投影画像を示している。

図１５（Ｂ）及び（Ｃ）に示した遠距離用の投影画像及び近距離用の投影画像と、図１１（Ａ）及び（Ｂ）に示した遠距離用の投影画像及び近距離用の投影画像との比較からも明らかなように、図１５（Ｂ）及び（Ｃ）に示した遠距離用の投影画像及び近距離用の投影画像は、遠距離用の投影画像と近距離用の投影画像との境界部分が重複して生成されている。尚、遠距離用の投影画像及び近距離用の投影画像は、それぞれ重複部分の画像の輝度が高くならないように調整（半減）されている。

上記のように遠距離用の投影画像と近距離用の投影画像との境界部分が重複するように遠距離用の投影画像と近距離用の投影画像とを生成することにより、投影対象物が移動する場合でも、遠距離用の投影画像と近距離用の投影画像との重複する境界部分も距離測定できるようにしている。

＜ステレオ測距＞
図１６は、ＴＯＦ法による測距範囲とステレオ測距範囲とを示す図である。

第１のＴＯＦカメラ２０Ａ及び第２のＴＯＦカメラ２０ＢによるＴＯＦ法では、正確に測距できない程、投影対象物が遠距離の場合、本例では、ステレオ測距法（三角測距法）により測定する。

図１６に示すように、距離画像取得装置付きプロジェクタ装置１（２組の第１のＴＯＦカメラ付きプロジェクタ装置及び第２のＴＯＦカメラ付きプロジェクタ装置）は、投影方向とは直交する方向に配置されており、特に第１のＴＯＦカメラ２０Ａの第１の結像レンズ２１Ａの光軸と第２のＴＯＦカメラ２０Ｂの第２の結像レンズ２１Ｂの光軸とは、投影方向に直交する方向にずれている。

三角測距部として機能するＣＰＵ３０は、第１のＴＯＦカメラ２０Ａ及び第２のＴＯＦカメラ２０Ｂから得られる２枚の画像（ステレオ画像）を使用し、第１のＴＯＦカメラ２０Ａの第１の結像レンズ２１Ａの光軸と第２のＴＯＦカメラ２０Ｂの第２の結像レンズ２１Ｂの光軸とのずれ量を基線長とした、ステレオ測距法（三角測距法）による測距を行う。

これにより、投影対象物がＴＯＦ法では正確に測距できない遠距離にある場合、又は本例のＴＯＦ法による測距可能範囲外の遠距離にある場合でも、ハードウエアを追加することなく測距することができる。

＜プロジェクションマッピング方法測距モード＞
次に、本発明に係るプロジェクションマッピング方法について説明する。

図２に示した測距モード選択部３４の手動操作により、静的測距モード及び動的測距モードのうちのいずれか一方の測距モードを選択することができる。

図１７は、動的測距モードが選択された場合のプロジェクションマッピング方法を示すフローチャートであり、特に投影対象物が動体の場合の距離画像の取得方法に関して示している。

図１７において、ＣＰＵ３０（制御部）は、測距モード選択部３４での操作に応じて、静的測距モードが選択されているか、又は動的測距モードが選択されているかを判別する（ステップＳ１０）。

ＣＰＵ３０は、動的測距モードが選択されていると判別すると（「Yes」の場合）、タイミングジェネレータ１５Ａ及び１５Ｂを介して第１の光源１４Ａ及び第２の光源１４Ｂをパルス駆動し、第１のプロジェクタ装置１０Ａ及び第２のプロジェクタ装置１０Ｂからそれぞれ連続的に投影する画像（遠距離用の画像及び近距離用の画像）をパルス光として照射させる（ステップＳ１２）。

第１のＴＯＦカメラ２０Ａ及び第２のＴＯＦカメラ２０Ｂは、それぞれパルス光照射された遠距離用の投影画像及び近距離用の投影画像の投影対象物での反射光を、第１の結像レンズ２１Ａ及び第２の結像レンズ２１Ｂを介して第１の距離画像センサ２３Ａ及び第２の距離画像センサ２３Ｂに結像させる。そして、第１の距離画像センサ２３Ａ及び第２の距離画像センサ２３Ｂからのセンサ出力に基づいてＴＯＦ法により遠距離の投影対象物の距離画像及び近距離の投影対象物の距離画像を取得する（ステップＳ１４）。

本例では、図７に示したように第１の露光制御及び第２の露光制御（即ち、２回のパルス発光）により距離画像を取得するため、連続的に投影される投影画像の２フレーム毎に距離画像を取得することができる。

投影対象物が移動する場合、上記の動的測距モードを選択し、距離画像を連続して（動画の２フレーム毎に）取得する。

投影対象物の移動速度が遅い場合、その投影対象物の速度に応じて、距離画像を取得する間隔（第１の光源１４Ａ及び第２の光源１４Ｂをパルス駆動する間隔）を空けることが好ましい。連続的に投影される画像の１フレーム当りの光量を大きくすることができるからである。

図１８は、静的測距モードが選択された場合のプロジェクションマッピング方法を示すフローチャートであり、特に投影対象物が静止している場合の距離画像の取得方法に関して示している。

図１８において、ＣＰＵ３０は、測距モード選択部３４での操作に応じて、静的測距モードが選択されているか、又は動的測距モードが選択されているかを判別する（ステップＳ２０）。

ＣＰＵ３０は、静的測距モードが選択されていると判別すると（「Yes」の場合）、タイミングジェネレータ１５Ａ及び１５Ｂを介して第１の光源１４Ａ及び第２の光源１４Ｂをパルス駆動し、第１のプロジェクタ装置１０Ａ及び第２のプロジェクタ装置１０Ｂからそれぞれ全画面一様光量の画像をパルス光として照射させる（ステップＳ２２）。即ち、投影画像の投影開始前に、第１の光源１４Ａ及び第２の光源１４Ｂをパルス駆動し、かつ第１のプロジェクタ装置１０Ａの第１の表示用光学素子１３Ａ、及び第２のプロジェクタ装置１０Ｂの第２の表示用光学素子１３Ｂの各光学素子の透過率を最大にして、ＴＯＦ法による測距用のパルス光を照射させる（ステップＳ２２）。

第１のＴＯＦカメラ２０Ａ及び第２のＴＯＦカメラ２０Ｂは、それぞれパルス光照射された全画面一様光量の画像の投影対象物での反射光を、第１の結像レンズ２１Ａ及び第２の結像レンズ２１Ｂを介して第１の距離画像センサ２３Ａ及び第２の距離画像センサ２３Ｂに結像させる。そして、第１の距離画像センサ２３Ａ及び第２の距離画像センサ２３Ｂからのセンサ出力に基づいてＴＯＦ法により遠距離の投影対象物の距離画像及び近距離の投影対象物の距離画像を取得する（ステップＳ２４）。

投影対象物が静止している場合、上記の静的測距モードを選択し、投影画像の投影開始前に遠距離の投影対象物の距離画像及び近距離の投影対象物の距離画像を取得する。

そして、投影対象物が静止している場合、投影画像の投影開始前に遠距離の投影対象物の距離画像及び近距離の投影対象物の距離画像を一旦取得すると、その後は、距離画像の取得は行わない。投影対象物が静止している場合、距離画像は変化しないからである。従って、投影画像の投影が開始されると、第１のＴＯＦカメラ２０Ａ及び第２のＴＯＦカメラ２０Ｂによる測距は行わないため、第１の光源１４Ａ及び第２の光源１４Ｂをパルス駆動する必要がない。

尚、全画面一様光量を投影対象物にパルス照射するため、パルス光の光量を大きくすることができ、静止している投影対象物の距離を精度よく測定することができる。

［その他］
図１９は、人の目のＲＧＢの各色に対する分光感度例を示すグラフである。

第１のバンドパス光学フィルタ１２Ａ及び第３のバンドパス光学フィルタ１２Ｂを設計する際に、図１９に示す人の目の分光感度に合うように設計することが好ましい。これによれば、可視光の３原色に合うような投影画像を投影することが可能になる。

また、第１の表示用光学素子１３Ａ及び第２の表示用光学素子１３Ｂは、光透過型の液晶表示素子に限らず、反射型の液晶表示素子、デジタル・マイクロミラー・デバイス（ＤＭＤ：Digital Micromirror Device)等の他の表示用光学素子を適用することができる。

更に、本実施形態の第１のプロジェクタ装置１０Ａ及び第２のプロジェクタ装置１０Ｂは、表示用光学素子が１枚の単板式のプロジェクタ装置であるが、これに限らず、３原色に対応する３枚の表示用光学素子を使用した３板式のプロジェクタ装置でもよい。また、３板式のプロジェクタ装置の場合、３原色（ＲＧＢ）の各色に対応する画像を表示する３枚の表示用光学素子に対する光源は、ＲＧＢの３つの発光ダイオードを使用することができ、また、第１のバンドパス光学フィルタ１２Ａ及び第３のバンドパス光学フィルタ１２Ｂ（マルチバンドパス光学フィルタ）の代わりに、３枚の表示用光学素子にそれぞれ対応する３枚（ＲＧＢ）のバンドパス光学フィルタを適用することができる。

１…距離画像取得装置付きプロジェクタ装置、１０Ａ…第１のプロジェクタ装置、１０Ｂ…第２のプロジェクタ装置、１１Ａ…第１の投影レンズ、１１Ｂ…第２の投影レンズ、１２Ａ…第１のバンドパス光学フィルタ、１２Ｂ…第３のバンドパス光学フィルタ、１３Ａ…第１の表示用光学素子、１３Ｂ…第２の表示用光学素子、１４Ａ…第１の光源、１４Ｂ…第２の光源、１５Ａ、１５Ｂ…タイミングジェネレータ、１６Ａ、１６Ｂ…投影レンズドライバ、２０Ａ…第１のＴＯＦカメラ（第１の距離画像取得装置）、２０Ｂ…第２のＴＯＦカメラ（第２の距離画像取得装置）、２１Ａ…第１の結像レンズ、２１Ｂ…第２の結像レンズ、２２Ａ…第２のバンドパス光学フィルタ、２２Ｂ…第４のバンドパス光学フィルタ、２３Ａ…第１の距離画像センサ、２３Ｂ…第２の距離画像センサ、２６Ａ、２６Ｂ…結像レンズドライバ、３０…中央処理装置（ＣＰＵ）、３０Ａ…距離画像生成部、３０Ｂ…投影画像生成部、３０Ｃ…制御部、３２…メモリ、３４…測距モード選択部

Claims (13)

1. 第１の投影画像を表示する第１の表示用光学素子と、前記第１の表示用光学素子に投影光を入射させる第１の光源と、前記第１の表示用光学素子から出射される第１の投影画像を第１の投影対象物に投影する第１の投影レンズと、投影光路上に配置され、赤色、緑色、及び青色の透過波長域を有する第１のバンドパス光学フィルタと、を備えた第１のプロジェクタ装置と、
   複数の受光素子が２次元状に配列された第１の距離画像センサと、前記第１の投影対象物にて反射する前記第１の投影画像を前記第１の距離画像センサに結像させる第１の結像レンズと、撮像光路上に配置され、前記第１のバンドパス光学フィルタと同じ特性を有する第２のバンドパス光学フィルタと、前記第１の光源をパルス駆動し、前記第１の光源から出射され、前記第１の投影対象物にて反射して前記第１の距離画像センサに入射するパルス光の飛翔時間に対応する第１の情報を前記第１の距離画像センサから取得し、前記取得した第１の情報に基づいて第１の距離画像を生成する第１の距離画像生成部と、を備えた第１の距離画像取得装置と、
   第２の投影画像を表示する第２の表示用光学素子と、前記第２の表示用光学素子に投影光を入射させる第２の光源と、前記第２の表示用光学素子から出射される第２の投影画像を前記第１の投影対象物よりも近い第２の投影対象物に投影する第２の投影レンズと、投影光路上に配置され、前記第１のバンドパス光学フィルタの透過波長域と重複しない赤色、緑色、及び青色の透過波長域を有する第３のバンドパス光学フィルタと、を備えた第２のプロジェクタ装置と、
   複数の受光素子が２次元状に配列された第２の距離画像センサと、前記第２の投影対象物にて反射する前記第２の投影画像を前記第２の距離画像センサに結像させる第２の結像レンズと、撮像光路上に配置され、前記第３のバンドパス光学フィルタと同じ特性を有する第４のバンドパス光学フィルタと、前記第２の光源をパルス駆動し、前記第２の光源から出射され、前記第２の投影対象物にて反射して前記第２の距離画像センサに入射するパルス光の飛翔時間に対応する第２の情報を前記第２の距離画像センサから取得し、前記取得した第２の情報に基づいて第２の距離画像を生成する第２の距離画像生成部と、を備えた第２の距離画像取得装置と、
   からなり、
   前記第１のプロジェクタ装置は、前記第１の距離画像取得装置により取得された前記第１の距離画像に応じて前記第１の投影レンズの焦点調節を行う第１の焦点調節部を備え、
   前記第２のプロジェクタ装置は、前記第２の距離画像取得装置により取得された前記第２の距離画像に応じて前記第２の投影レンズの焦点調節を行う第２の焦点調節部を備えた距離画像取得装置付きプロジェクタ装置。
2. 前記第１のバンドパス光学フィルタ及び第２のバンドパス光学フィルタは、前記第３のバンドパス光学フィルタ及び第４のバンドパス光学フィルタよりも透過波長域幅が広い請求項１に記載の距離画像取得装置付きプロジェクタ装置。
3. 前記第１のバンドパス光学フィルタの透過率と前記第１の距離画像センサの分光感度とを掛け合わせた積分感度は、前記第３のバンドパス光学フィルタの透過率と前記第２の距離画像センサの分光感度とを掛け合わせた積分感度よりも大きい請求項２に記載の距離画像取得装置付きプロジェクタ装置。
4. 前記第１の投影レンズにより焦点の合う第１の合焦範囲は、前記第２の投影レンズにより焦点の合う第２の合焦範囲よりも遠い請求項１から３のいずれか１項に記載の距離画像取得装置付きプロジェクタ装置。
5. 前記第１の合焦範囲と前記第２の合焦範囲とは連続し、又は一部が重複する請求項４に記載の距離画像取得装置付きプロジェクタ装置。
6. 前記第１のプロジェクタ装置は、前記第１の投影対象物に投影する前記第１の投影画像であって、前記第１の投影対象物の領域外を黒画像にした前記第１の投影画像を、前記第１の距離画像に基づいて生成する第１の投影画像生成部を備え、
   前記第２のプロジェクタ装置は、前記第２の投影対象物に投影する前記第２の投影画像であって、前記第２の投影対象物の領域外を黒画像にした前記第２の投影画像を、前記第２の距離画像に基づいて生成する第２の投影画像生成部を備えた請求項１から５のいずれか１項に記載の距離画像取得装置付きプロジェクタ装置。
7. 前記第１の投影画像生成部と前記第２の投影画像生成部とは、それぞれ前記第１の投影対象物と前記第２の投影対象物との境界部分において、前記黒画像以外の前記第１の投影画像と前記黒画像以外の前記第２の投影画像とが重複する前記第１の投影画像と前記第２の投影画像とを生成し、かつ前記第１の投影画像と前記第２の投影画像との前記重複する境界部分の輝度を、それぞれ半減させた前記第１の投影画像と前記第２の投影画像とを生成する請求項６に記載の距離画像取得装置付きプロジェクタ装置。
8. 前記第１のプロジェクタ装置は、前記第１の投影対象物と前記第２の投影対象物との境界部分の距離が連続的に変化する場合において、前記第１の投影画像の前記境界部分に対応する画像の輝度を連続的に減少させて黒画像にした前記第１の投影画像を、前記第１の距離画像に基づいて生成する第１の投影画像生成部を備え、
   前記第２のプロジェクタ装置は、前記第２の投影画像の前記境界部分に対応する画像の輝度を連続的に減少させて黒画像にした前記第２の投影画像を、前記第２の距離画像に基づいて生成する第２の投影画像生成部を備えた請求項１から５のいずれか１項に記載の距離画像取得装置付きプロジェクタ装置。
9. 前記第１の距離画像センサのセンサ出力と前記第２の距離画像センサのセンサ出力とを使用した三角測距法に基づいて前記第１の距離画像取得装置により取得可能な距離よりも遠い距離を測距する三角測距部を備えた請求項１から８のいずれか１項に記載の距離画像取得装置付きプロジェクタ装置。
10. 静的測距モードを選択する測距モード選択部と、
    前記静的測距モードが選択されると、前記第１のプロジェクタ装置及び前記第２のプロジェクタ装置からそれぞれ前記第１の投影画像及び前記第２の投影画像を投影する前に、前記第１のプロジェクタ装置及び前記第２のプロジェクタ装置のうちの少なくとも一方から全画面一様光量を投影対象物にパルス照射させ、前記第１の距離画像取得装置及び前記第２の距離画像取得装置の少なくとも一方により前記第１の投影対象物及び前記第２の投影対象物の前記第１の距離画像及び第２の距離画像を取得させる制御部と、
    を備えた請求項１から９のいずれか１項に記載の距離画像取得装置付きプロジェクタ装置。
11. 動的測距モードを選択する測距モード選択部と、
    前記動的測距モードが選択されると、前記第１のプロジェクタ装置及び前記第２のプロジェクタ装置からそれぞれ前記第１の投影画像及び前記第２の投影画像をそれぞれ第１の投影対象物及び第２の投影対象物に連続してパルス照射させ、前記第１の距離画像取得装置及び前記第２の距離画像取得装置により前記第１の距離画像及び前記第２の距離画像を連続して取得させる制御部と、
    を備えた請求項１から９のいずれか１項に記載の距離画像取得装置付きプロジェクタ装置。
12. 前記第１のバンドパス光学フィルタから前記第４のバンドパス光学フィルタは、それぞれ480nm以下の青色、500nm以上580nm以下の緑色、及び590nm以上の赤色の３原色域に透過波長域を持つ請求項１から１１のいずれか１項に記載の距離画像取得装置付きプロジェクタ装置。
13. 第１の投影レンズにより焦点の合う第１の合焦範囲内の第１の投影対象物に第１の投影画像を合焦させて投影する第１のプロジェクタ装置と、前記第１の投影対象物の距離に対応する第１の情報であって、前記第１の投影対象物との間の光の飛翔時間に対応する第１の情報を取得し、前記取得した第１の情報に基づいて第１の距離画像を生成する第１の距離画像取得装置と、前記第１の合焦範囲よりも近い第２の投影レンズにより焦点の合う第２の合焦範囲内の第２の投影対象物に第２の投影画像を合焦させて投影する第２のプロジェクタ装置と、前記第２の投影対象物の距離に対応する第２の情報であって、前記第２の投影対象物との間の光の飛翔時間に対応する第２の情報を取得し、前記取得した第２の情報に基づいて第２の距離画像を生成する第２の距離画像取得装置と、からなる距離画像取得装置付きプロジェクタ装置を使用したプロジェクションマッピング方法であって、
    前記第１のプロジェクタ装置の第１の光源をパルス駆動し、赤色、緑色、及び青色の透過波長域を有する第１のバンドパス光学フィルタを介して前記第１の投影画像を投影するステップと、
    前記第２のプロジェクタ装置の第２の光源をパルス駆動し、前記第１のバンドパス光学フィルタの透過波長域と重複しない赤色、緑色、及び青色の透過波長域を有する第３のバンドパス光学フィルタを介して前記第２の投影画像を投影するステップと、
    前記第１の距離画像取得装置が、前記第１のバンドパス光学フィルタと同じ特性を有する第２のバンドパス光学フィルタを介して前記投影された前記第１の投影画像の前記第１の投影対象物からの反射光を受光し、前記第１の投影対象物の距離に対応する第１の距離画像を生成するステップと、
    前記第２の距離画像取得装置が、前記第３のバンドパス光学フィルタと同じ特性を有する第４のバンドパス光学フィルタを介して前記投影された前記第２の投影画像の前記第２の投影対象物からの反射光を受光し、前記第２の投影対象物の距離に対応する第２の距離画像を生成するステップと、
    前記第１のプロジェクタ装置が、前記第１の投影対象物に投影する前記第１の投影画像であって、前記第１の投影対象物の領域外を黒画像にした前記第１の投影画像を、前記第１の距離画像に基づいて生成するステップと、
    前記第２のプロジェクタ装置が、前記第２の投影対象物に投影する前記第２の投影画像であって、前記第２の投影対象物の領域外を黒画像にした前記第２の投影画像を、前記第２の距離画像に基づいて生成するステップと、
    前記第１のプロジェクタ装置が、前記第１の距離画像取得装置により取得された前記第１の距離画像に応じて前記第１の投影レンズの焦点調節を行う第１の焦点調節ステップと、
    前記第２のプロジェクタ装置が、前記第２の距離画像取得装置により取得された前記第２の距離画像に応じて前記第２の投影レンズの焦点調節を行う第２の焦点調節ステップと、を含み、
    前記第１の距離画像取得装置及び前記第２の距離画像取得装置は、それぞれ前記第１の距離画像及び前記第２の距離画像を連続して生成し、
    前記第１のプロジェクタ装置及び前記第２のプロジェクタ装置は、それぞれ前記連続して生成された前記第１の距離画像及び前記第２の距離画像に基づいて前記第１の投影画像及び前記第２の投影画像を連続して生成し、連続して生成した前記第１の投影画像及び前記第２の投影画像を前記第１の投影対象物及び前記第２の投影対象物に投影するプロジェクションマッピング方法。