JP5486113B2 - パノラマ投影デバイスによって実施される投影方法 - Google Patents

Description

本発明は、例えば、部屋の面に、画像を投影するデバイスに関する。本発明は、更に、前記デバイスによって実施される方法に関する。

発明の分野は、より具体的には、仮想現実又は複合現実アプリケーション用の映像プロジェクタの分野である。

仮想現実アプリケーションに関して、本発明のデバイスは、例えば、ユーザが画像を部屋の面に投影することを可能にし、それによって、投影像が仮想現実環境を作り出すので；投影像を観察する観察者は仮想視点からシーンを観察していると錯覚する。

複合現実アプリケーションに関して、本発明のデバイスは、例えば、ユーザが画像を部屋の面に投影することを可能にし、それによって、投影像が部屋の実在する要素と一緒に複合現実環境を作り出す。

単一のプロジェクタを備えており、一連の画像を物体空間に投影するデバイスの種々の例が公知である。プロジェクタを設置して、投影方向に画像を投影する。投影された画像は投影方向に中心がある投影の立体角に沿って伝搬されるにつれてサイズが増大する。装置が画像を内部に投影することができる物体空間は、プロジェクタの絞りによって、すなわち、投影の立体角の値によって限定される。従って、プロジェクタが長方形の部屋の中心に置かれているこのような装置は、部屋の４つの側壁に同時に画像を投影できない。

各プロジェクタが物体空間の面又は特定の物体を照明する数台のプロジェクタを備える投影デバイスも公知である。これらの装置では、数台のプロジェクタを備えること、追加費用を提示すること、及び、通常、プロジェクタの投影が調整させられる必要があること、の欠点がある。

本発明の目的は、画像を投影することができる物体空間又は環境がプロジェクタの絞りによって限定されることなく、単一のプロジェクタから画像を投影する装置を提案することである。

この目的は、投影軸に沿って原画像を投影するために設けられるプロジェクタと、少なくとも部分的に原画像を反射し、原画像を３次元環境に投影するために設けられる凸面ミラーと、を備える投影デバイスにより達成される。

少なくとも部分的に原画像を反射し、そして、原画像を環境に投影するために設置されるミラーは、凸面を含むために、凸面ミラーと言われる。

好ましくは、プロジェクタを設置して、例えば、映像ストリームの連続的な原画像の異なる原画像を連続的に投影する。これらの異なる原画像は、サイズが異なることがあり、投影軸に関して位置が異なることがある。

ミラーは、実質的に回転軸の周りに回転対称性を有する凸面ミラーであることができる。この場合に、ミラーの回転軸及び投影軸は、好ましくは、実質的に統合（merge）される。

本明細書中、２本の軸は、２本の軸が正確に統合されているとき、又は、２本の軸が不完全であるにもかかわらず統合されているときのどちらでも、実質的に統合されているといわれる。

好ましくは、ミラーを設置して、原画像を変形することにより前記原画像を反射する。例えば、プロジェクタを設置して、原画像を第１の立体角の範囲内に投影することができ、そして、ミラーを設置して、原画像を第１の立体角より大きい第２の立体角の範囲内に投影することができる。好ましくは、第１の立体角は２πステラジアン、すなわち、半球面より小さい。

本明細書中、原画像が投影方向に伝搬される際に、この原画像のサイズが立体角に応じて比例的に増大する場合、前記原画像が立体角の範囲内に投影される、といわれる。

第２の立体角は、０と４πステラジアンとの間の任意の値をとることができ、第２の立体角の値は、特に、投影軸に対する原画像の位置と、ミラーへの投影軸の入射と、原画像のサイズとに依存する。所与の原画像に関して、第２の立体角は、２πステラジアン（すなわち、半球面）より大きい可能性があり、又は、４πステラジアン（すなわち、球面）に等しい、もしくは、４πステラジアンよりわずかに小さいだけであることができる。

同様に、ミラーは原画像を設置して、投影軸の周りに、ある角度の範囲内に投影することができ、この角度の値は、０度と３６０度との間に含まれることができ、特に、投影軸に対する画像の位置と、ミラーへの投影軸の入射と、原画像のサイズとに依存する。所与の原画像に関して、ミラーを設置して、原画像を投影軸の周りに１８０度より大きい角度の範囲内に投影するか、又は、投影軸の周りに実質的に３６０度に等しい角度でも投影することができる。

本明細書中、軸の周りの角度は軸に垂直な平面内で定義される。

本発明によるデバイスは、３次元環境の少なくとも１つの画像を取得する手段を更に備えることができる。環境の画像は、３次元環境の一部又は全部を画像化することができる。取得手段を設置して、環境によって放射されミラーによって反射されない光線からの、環境の少なくとも１つの画像を取得することができる。取得手段は、カメラと、回転軸の周りでカメラを回転させる手段とを備えることができる。好ましくは、取得手段を設置して、環境のいくつかの画像を取得し、画像の合計が軸（例えば、回転軸）の周りで３６０度にわたって環境を画像化する。好ましくは、投影軸及び回転軸は実質的に統合される。更に、本発明のデバイスは、環境の少なくとも１つの画像から３次元環境をモデリングする手段を更に備えることができる。

本発明のデバイスは、観察者の位置に応じて原画像を構築し、場合によっては、３次元環境をモデリングする手段を更に備え、それによって、環境への原画像の投影を観察する観察者が、自分の位置から、所与の仮想視点からのシーンを観察することができる。

更に、本発明のデバイスは、３次元環境の少なくとも１つの放射特性を測定する手段と、少なくとも１つの測定された放射特性に応じて原画像を修正する手段と、を更に備えることができる。

最後に、本発明のデバイスは、ミラーを壁、床、又は、天井に固定する手段を更に備えることができる。

本発明の別の態様によると、本発明のデバイスによって実施される投影方法は：
投影軸に沿って原画像を投影すること；
凸面ミラーによって原画像の少なくとも一部を反射すること；そして、
凸面ミラーによって反射される原画像を３次元環境に投影すること；
を含む。

原画像の一部はミラーによって反射されないことがあり、原画像のこの部分はプロジェクタによって３次元環境に直接的に投影される。

好ましくは、ミラーは原画像を変形することにより前記原画像を反射する。例えば、プロジェクタは、原画像を第１の立体角の範囲内に投影することができ、そして、ミラーは原画像を第１の立体角より大きい第２の立体角の範囲内に投影することができる。好ましくは、第１の立体角は２πステラジアン、すなわち、半球面より小さい。

第２の立体角は、０と４πステラジアンとの間の任意の値をとることができ、第２の立体角の値は、特に、投影軸に対する原画像の位置と、ミラーへの投影軸の入射と、原画像のサイズとに依存する。所与の原画像に関して、第２の立体角は、２πステラジアン（すなわち、半球面）より大きいか、又は、４πステラジアン（すなわち、球面）に等しいか、もしくは、４πステラジアンよりわずかに小さいだけであることができる。

同様に、ミラーは、原画像を投影軸の周りに、ある角度の範囲内に投影することができ、この角度の値は０度と３６０度との間に含まれることができる。所与の原画像に関して、ミラーは、原画像を投影軸の周りで１８０度より大きい角度の範囲内に投影するか、又は、投影軸の周りで実質的に３６０度に等しい角度でさえ投影することができる。

本発明の方法は、３次元環境の少なくとも１つの画像の取得を更に含むことができる。

画像の取得は：
回転軸の周りで、角度位置にカメラを位置決めすること；そして、
カメラのこの角度位置に関して、３次元環境によって放射される光線から環境の画像を取得すること；
を含むことができる。

本発明の方法は、３次元環境のモデリングを更に含むことができ、原画像は少なくとも１つのモデリング点を含み、画像の取得は、モデリングのために環境の少なくとも１つの画像を取得することを含み、モデリングは、各モデリング点及びモデリングのため取得される環境の各画像に関して：
モデリング点から発生し、ミラーによって反射され、そして、環境の第１の点に投影される光線の経路を計算すること；
環境の第１の点から発生し、モデリングのため取得される環境の画像の点によって画像化される光線の経路を計算すること；そして、
モデリング点から発生する光線の経路と環境の第１の点から発生する光線の経路との交点を計算すること；
を含む。

モデリング点の数が多いほど、モデリング解像度がより高い。モデリング点は、いくつかの連続的に投影される原画像にわたって分布することがある。好ましくは、モデリングのために取得される環境の画像は、環境のいくつかの画像を含み、これらの画像の合計が軸（例えば、回転軸）の周りに３６０度にわたって環境を画像化する。従って、軸の周りに３６０度にわたって環境をモデリングすることができる。

経路の計算は計算パラメータに依存するので；本発明の方法は、パラメータのキャリブレーションを含むことができ、原画像は、少なくとも１つのキャリブレーション点を含み、画像の取得は、キャリブレーションのために環境の少なくとも１つの画像を取得することを含む。

キャリブレーションのために取得される環境の画像が、互いに相違するが、前記環境の共通部分を画像化する少なくとも１つのペアの画像を含み、前記キャリブレーションが、各キャリブレーション点及び画像の各ペアに関して：
キャリブレーション点を、ペアのうちの第１の画像の点及びペアのうちの第２の画像の点に関連付けること、ここで、ペアのうちの前記第１の画像の点及びペアのうちの前記第２の画像の点とは、前記キャリブレーション点が投影される環境の第２の点を画像化するものとする；そして、
ペアのうちの第１の画像の点の位置及び前記計算パラメータから、ペアのうちの第２の画像の点の理論位置を計算すること；
を含み、キャリブレーションが、計算パラメータのうちの少なくとも１つを修正することを更に含み、全てのキャリブレーション点にわたって、ペアのうちの第２の画像の点の位置とペアのうちの第２の画像の同じ点の理論位置との間の距離の合計を最小限にすることができる。

キャリブレーションが、各キャリブレーション点及びキャリブレーションのために取得される環境の各画像に関して：
キャリブレーション点から発生し、ミラーによって反射され、そして、環境の第３の点に投影される光線の経路を計算すること；そして
環境の第３の点から発生し、そして、キャリブレーションのため取得される環境の画像の点によって画像化される光線の経路を計算すること；
を更に含むことができ、キャリブレーションが、計算パラメータのうちの少なくとも１つを修正することを含み、全てのキャリブレーション点にわたって、環境の第３の点に投影される光線の経路と環境の第３の点から発生する光線の経路との間の距離の合計を最小限にすることができる。

前記の各キャリブレーションに関して、キャリブレーション点の数が多いほど、パラメータのキャリブレーションはより良い。キャリブレーション点は、いくつかの連続的に投影された原画像にわたって分布することができる。好ましくは、キャリブレーションのため取得される環境の画像は、環境のいくつかの画像を含み、これらの画像の合計が軸（例えば、回転軸）の周りに３６０度にわたって環境を画像化する。

原画像の点はモデリング点及びキャリブレーション点の両方として使用されることができる。従って、環境の第１の点、環境の第２の点、及び、環境の第３の点は統合されることができる。同様に、環境の画像は、モデリング及びキャリブレーションのために同時に取得されることができる。

本明細書中、「点」はゼロではない表面を有することがある。実際に、原画像の「点」（例えば、モデリング点又はキャリブレーション点）は、典型的に少なくとも１個のピクセル、好ましくは、単一のピクセルからなることができる。環境の点のサイズ、及び、環境の画像の点のサイズは、例えば、プロジェクタ又はカメラの光学特性（例えば、焦点距離）、及び、プロジェクタと環境の点との間の距離に依存する。

更に、「２つの経路の間の距離」は２つの経路の間の最短直行ルートの長さを示す。

本発明の方法は、観察者の位置に応じて原画像を構築し、場合によっては、３次元環境のモデリングを更に含み、それによって、環境への原画像の投影を観察する観察者が、自分の位置から、所与の仮想視点からのシーンを観察することができる。

最後に、本発明の方法は、３次元環境の少なくとも１つの放射特性を測定すること、及び、少なくとも１つの測定された放射特性に応じて原画像を補正することを更に含むことができる。

本発明のその他の利点及び特徴は、決して限定的ではない実現形態及び実施態様の詳細な説明の解釈と、以下の添付図面とから明らかになるであろう。
本発明のデバイスの実施態様の側面図である。 本発明のデバイスの平面図である。 本発明のデバイスのプロジェクタのマトリクスに表示される、前記デバイスによる投影前の原画像を示す図である。 シーンの６つの見え方を示す図である。 図４の見え方からの図３の原画像の構築を示す図である。

従って、本発明の方法を実現する本発明のデバイス１の実施態様を、図１〜５を参照しながら説明する。

デバイス１は、プロジェクタ２と、凸面ミラー３と、カメラ４と、回転軸６の周りでカメラ４を回転させる手段５とを備えている。デバイス１は、投影スクリーンとしての役目を果たす異なる要素（特に、部屋の側壁７、床８ａ、天井８ｂ、並びに、部屋の中に含まれる物体）によって構成される３次元環境によって取り囲まれている。これらの要素の各々は、例えば、湾曲した物体、又は、地下室の天井のように、平坦でなくてもよい。

デバイス１は以下のとおり作動する。最初に、観察者にとって所望の視覚的印象で３次元環境に投影することが望ましいシーンを利用できるようにする。デバイス１は、一方で、原画像を角度が制限されたビームで投影する映像プロジェクタ２を使用し、他方で、頭上に設置され、角度が制限されたビームを反射して、好ましくはできるだけ大きい立体角の範囲内で３次元環境へ向ける再取得ミラー３を使用して、環境の空間の実質的に全部を網羅することができる。

投影が所望の視覚的印象に忠実であるために、デバイス１は、投影スクリーンの特異性、すなわち、位置、色、反射率、投影スクリーン間の相互作用を考慮する。

このため、デバイス１は、映像プロジェクタのアレイによって放射される種々の着色背景又は幾何学的プリミティブによって照明される環境を記録する取得カメラ４によって取得される画像を利用する。カメラがプロジェクタの放射の光軸の周りで回転する場合、カメラは、視差効果を含み、かつ、影領域を含まずに、投影スクリーンとしての役目を果たす全部の物体に関する情報を提供することができる。

カメラによって収集される情報を、原画像の修正の観点で処理し、そして、導入することによって、原画像を修正し、スクリーン上でのシーンの忠実な再構成のため必要な修正をそれ自体に持っている修正済みの原画像を生成するので、その結果、観察者はこのシーンを所望の視覚的印象で観察しているという印象を受ける。

プロジェクタ２は、原画像が表示されるピクセルのマトリクス９を備え、レンズ１０を更に含むマトリクス型映像プロジェクタである。プロジェクタを設置して、投影像の波面と直交する投影軸１１に沿ってレンズ１０を介して原画像を投影し、原画像のサイズは、原画像が投影軸１１に沿って伝搬されるのにつれて、投影の第１の立体角１８（立体角１８は、投影軸１１に中心が置かれ、そして、２πステラジアン未満である）に応じて徐々に増大する。典型的に、プロジェクタは、頂点に３０度の角度を有する投影円錐の範囲内に、すなわち、π／４ステラジアンである第１の立体角１８の範囲内に原画像を投影する。レンズ１０の光軸１３は、実質的にマトリクス９の中心を通過し、投影軸１１と実質的に統合される。

ミラー３は、天井８ｂに固定され、ミラー３の凸面はプロジェクタ２の方向へ向き、レンズ１０はミラー３の方向へ向く。その結果、ミラー３の凸面を設置して、プロジェクタによって第１の立体角の範囲内に投影される原画像の少なくとも一部を反射し、そして、反射される原画像の一部を、第２の立体角の範囲内で３次元環境の全部又は一部に投影する。従って、マトリクス型映像プロジェクタ２を、３次元環境７、８ａ、８ｂの中で原画像を反射することを目的とした凸面ミラー３と組み合わせるので、デバイス１は反射屈折投影デバイスである。

図１に示された実施例では、原画像の投影は、いくつかの光線１４〜１７の投影を含む。ミラー３を設置して、これらの光線の一部１４〜１６を反射する。ミラー３を設置して、光線１４のうちのいくつかを床８ａに向かって反射し、プロジェクタ２によって投影軸１１に十分接近して投影される光線は、ミラーによってプロジェクタ２へ更に反射される。ミラー３を設置して、光線１５のいくつかを壁７に向かって、光線１６のうちのいくつかを天井８ｂに向かって反射する。更に、ミラー３を設置して、原画像の周辺部を反射しないようして、原画像のこの周辺部から発生する光線１７をプロジェクタ２によって３次元環境７、８ａ、８ｂへ直接的に投影させる。

ミラー３は回転軸１２の周りに回転対称性を有する。ミラー３は、例えば、プロジェクタ２の方向に向けられた凸面をもつ球面部分を備えることができる。デバイス１の幾何学的構成を単純化するため、ミラー３の回転軸１２は、カメラ４の回転軸６、投影軸１１、及び、光軸１３と実質的に統合される。

凸面ミラー３を使用することによって、従来技術による投影装置と異なり、デバイス１を設置して、投影軸１１の周りにパノラマ式に原画像を投影する。ミラーは、例えば、所与の原画像を、投影軸１１の周りに１８０度より大きい角度の範囲内で投影することができる。例えば、回転軸１２（従って、投影軸１１）に中心が置かれる原画像は、反射され、そして、その後に投影軸１１の周りに３６０度にわたって（すなわち、投影軸の周り全体に）、ミラーによって投影される。これに反して、マトリクス９に表示される際に、回転軸１２（従って、投影軸１１）を切断又は取り囲むことなく、マトリクスの一部しか占有しない原画像の場合には、この原画像は、反射され、そして、その後に投影軸の周りに３６０度未満の任意の値を有する角度の範囲内でミラー３によって投影される。原画像に応じて、この原画像は、側壁のうちの単一の側壁、又は、全部の側壁に投影されることができる。

ミラー３は、投影の第１の立体角１８がミラー３の凸面を包含するように、プロジェクタ２に関して位置決めされる。ミラー３は、原画像を第２の立体角の範囲内に投影するために設置され、その際に、原画像のサイズは、原画像が第２の立体角に従って、ミラーから環境へ向かって伝搬されるのにつれて徐々に増大する。回転軸１２及び投影軸１１が実質的に統合される特定の場合に、第２の立体角はそれ自体も投影軸１１に中心が置かれている。第２の立体角は、０と４πステラジアンとの間の任意の値を取ることもでき、第２の立体角の値は、特に、ミラーの回転軸又は投影軸に対する原画像の位置と、マトリクス９上の原画像のサイズとに依存する。ミラーの回転軸（従って、マトリクス９）に中心が置かれる原画像に対して、この第２の立体角は、典型的に２πステラジアンより大きい。図１に示されるように、第２の立体角は４πステラジアンよりわずかに小さいこともでき、ミラーを設置して、原画像を反射し、その後、床８ａから天井８ｂへ原画像を投影する。原画像は、従って、部屋のすべての側壁、床、及び、天井に投影されることができる。図１において、第２の立体角は、ミラー３と天井８ｂとの間に位置している光線１６の一部によって画定される。

カメラ４と、カメラの回転軸６の周りにカメラを回転させる手段５によって、３次元環境７、８ａ、８ｂの画像を取得することができる。カメラは、取得カードに接続されたＣＣＤカメラであることができるか、あるいは、ＵＳＢ接続を有するウェブカメラ、又は、ＵＳＢもしくは無線（Ｂｌｕｅｔｏｏｔｈ又はＷＩＦＩ）接続を有する単なるデジタル写真機であることもできる。カメラはステッピング型のモータによって回転させられることができ、モータとカメラの軸６の周りのカメラの移動との間の伝達は、変速機（例えば、同期ベルト）によって提供され、カメラは、機械組立体（例えば、投影軸１１を取り囲む大径軸受）によって回転案内され、プロジェクタによって投影された原画像の光線を通すことができる。カメラの軸周りのカメラの位置に対し、カメラは、環境によって放射されミラーによって反射されない光線２０を直接的に受信する。このようにして、カメラは３次元環境の一部（すなわち、壁７、床８ａ、天井８ｂ、及び、部屋の中に収容される物体の一部）の画像を取得する。

カメラ４及び回転手段５は、投影軸１１の周りに１８０度より広く分布する３次元環境の一部の画像を取得することが可能な３次元環境の全方向取得手段を形成する。例えば、カメラの回転軸６の周りの３６０度というカメラ４の回転は、回転軸６の周り全体（従って、投影軸１１の周り全体）での３次元環境の画像の取得を可能にする。しかし、死角、すなわち、カメラによって見ることができない３次元環境の一部（例えば、プロジェクタ２によって隠された床８ａの一部、又は、ミラー３によって隠された天井８ｂの一部）が存在することがある。これらの死角を制限するため、カメラは、典型的に、約９０度の比較的広い視野１９を有するので、従って、焦点距離は非常に短い。同様に、これらの死角を制限するため、カメラの光軸を投影軸１１に実質的に直交させるか、又は、投影軸の垂線に対してわずかに傾斜させるように、カメラをプロジェクタ２とミラー３との間に設置される。最後に、更にこれらの死角を制限するため、回転手段５を設置して、回転軸６の周りで３６０度にわたってカメラの一連の連続的な回転を実行し、そして、これらの連続的な回転の１回毎に、投影軸１１又は回転軸に対するカメラの傾斜を修正することができる。

従って、カメラは、３次元環境を認識するために設置される。デバイス１は、カメラ４に接続される計算手段２１を更に備えている。これらの計算手段は、典型的に、アルゴリズム又はソフトウェアを実施する手段（例えば、プロセッサ、コンピュータの中央処理ユニット、又は、電子カード）を備えている。これらの計算手段を設置して、カメラ４による３次元環境の認識を考慮し、その後に、３次元環境の認識に応じて異なるタイプの補正を原画像に実行する。

最初に、計算手段を設置して、カメラによって取得される、環境の１つ以上の画像に基づいて３次元環境をモデル化する。モデリングのため使用される画像の数が多いほど、又は、回転軸６の周りに分布している画像が多いほど、モデリングすることができる３次元環境の部分が大きい。計算手段を設置して、ミラー３と取得手段４、５との間の三角測量により環境の３次元モデリングを構築する。更に、計算手段を設置して、観察者２２の位置に応じて、原画像に加えられるべき歪みをモデリングから計算し、それによって、観察者の位置から、３次元環境への原画像の投影を観察する観察者が、所与の仮想視点からのシーンを観察する。従って、計算手段により、原画像を構築して、観察者に仮想視点の錯覚を与えることができる。

他方で、カメラは、３次元環境の少なくとも１つの放射特性（例えば、３次元環境の比色特性又は反射率関数）を測定する手段を備えている。更に、計算手段を設置して、測定された放射特性に応じて原画像を補正し、それによって、観察者２２が、所望の比色レンダリング及び光強度で環境への原画像の投影を観察する。従って、計算手段によって、特に、原画像が投影される３次元環境の各要素の色、テクスチャ、及び、反射率を考慮して、更に、３次元環境に存在する光源を考慮して、比色視点及び光強度を有する原画像を忠実に再構成する。

デバイス１によって実施される方法は：
プロジェクタ２によって、投影の光軸１１に沿って原画像を投影する工程；
ミラー３によって原画像を反射する工程；そして、
ミラー３によって反射される原画像を３次元環境に投影する工程；
を含む。

上述されているように、ミラーは、例えば、投影軸の周りに１８０度より大きい角度Ａの範囲内で、又は、投影軸１１の周りで３６０度にわたって（すなわち、部屋の壁７の全体に）、パノラマ式に原画像を投影することが好ましい。実際に、この角度Ａは、０度と３６０度との間に含まれる任意の値をとることもでき、この値は、マトリクス９のレベルでの原画像のサイズと、マトリクス９の上の原画像の位置とに依存する。

図３は、プロジェクタ２のマトリクス９に表示されているときの、原画像２３の実施例を表している。原画像２３はマトリクス９に中心が置かれ、従って、投影軸１１によって実質的に中央で切断される。閉じた線２５（破線によって表されている）の外側で、原画像２３の周囲に位置している部分２４は、プロジェクタ２によって投影された後、ミラー３によって反射されないが、プロジェクタ２によって３次元環境に直接的に投影される。この部分２４のピクセルから発生する光線１７は、ミラー３に衝突しないで、天井８ｂに直接的に投影される。画像のこの部分２４は使用されるか、又は、抹消されることができるので；実際には、環境に直接入射するマトリクスの部分２４は抹消され、照明をミラーだけに制限する傾向がある。線２５の内部に位置している原画像２３のその他の部分２６は、プロジェクタ２によって投影され、その後に、ミラー３によって３次元環境へ反射される。

線２５の形状はミラー３の形状に依存する。凸面ミラーが、回転体形状（例えば、球面の一部分のような形状）を有する場合に、閉じた線２５は円である。原画像２３は、２πステラジアンより大きいか、又は、４πステラジアンに実質的に等しいか、もしくは、４πステラジアンよりわずかに小さい第２の立体角の範囲内で、プロジェクタ２によって３次元環境に投影される。

本発明の方法は、観察者位置２２に応じて原画像を構築することを更に含み、それによって、観察者の位置から、環境への原画像の投影を観察する観察者２２が仮想視点Ｐからのシーンを観察する。

前記構築は以下の通り実施される。

シーンは、図４に示される６つの見え方２７〜３２の形式で、保存手段によってプロジェクタ２に保存される。これらの見え方は全部が視点Ｐからのシーンのビューであり、直交３次元基準点の３つの軸に沿っている６方向におけるシーンのビューである。これらの６つの見え方は、それぞれが正方形の中に格納され、図５に表されているようにこれらの６つの見え方を立方体３３の６つの内面に置くことにより、この立方体の中心に位置付けられる観察者は、視点Ｐからのシーンを観察する。これらの見え方は、実際の景色の写真、又は、合成画像である可能性がある。

６つの見え方はその後に、計算手段２１によって実施されるアルゴリズムにより処理され、プロジェクタ２によって投影される原画像２３の構築に関与する。このため、計算手段は３次元環境のモデリングを使用し、前記モデリングは、プロジェクタ２に関連付けられる座標系の枠内において、原画像が投影される環境の点の座標を決定することを含む。このモデリングによって、原画像２３の各点又は各ピクセルに対し、原画像２３の中のピクセルの座標（ｕ，ｖ）と、このピクセルが投影される３次元環境の点Ｍ_ｒの座標と、点Ｍ_ｒ及び観察者位置２２を接続する直線Ｄの方向と、の間の相関テーブルを作成することが可能になる。その後、点Ｍ_ｖの色及び明度をこのピクセルに関連付ける。ここで、前記点Ｍ_ｖは、６つの見え方２７〜３２のうちの１つの点であって、立方体３３と直線Ｄとの交点に位置付けられる点である。前記立方体３３は、中心（すなわち、視点Ｐ）が観察者位置２２と実質的に統合されるように、環境７、８ａ、８ｂの中に位置付けられている。

観察者の位置は、プロジェクタ２の位置であるとしてデフォルトで定義することができるか、又は、いずれの位置でもよく、入力手段を用いてユーザによって定義されるか、もしくは、観察者の位置を見つけることにより決定することができる。

或る実施態様では、原画像の点が投影される環境の点の座標は、ユーザによって定義され、例えば、入力手段を用いて、デバイス１が位置している部屋の寸法をユーザが定義することを可能にし、そして、部屋の中におけるプロジェクタ２及びミラー３の位置をユーザが定義することが可能になる。

さらなる実施態様では、環境の幾何学的構成は、光学センサ（例えば、レーザ又は超音波）を含む外部情報源によって識別される。

最後に、本発明による方法の最後の実施態様において、環境のモデリングは：
プロジェクタによって、少なくとも１つのモデリング点を含むモデリング原画像を投影すること；
ミラー３によってモデリング原画像を反射すること；
ミラー３によって反射されるモデリング原画像を３次元環境に投影すること；
モデリングのため取得される（好ましくは、回転軸６の周りのカメラ４の異なる角度位置に対し取得される）環境の少なくとも１つの画像を取得すること；
各モデリング点とモデリングのため取得される環境の各画像とに関して、
− モデリング点に、モデリングのため取得される環境の画像の点を関連付けることであって、ここで、前記環境の画像の点はモデリング点が投影される環境の第１の点３４を画像化する；
− モデリング点から発生し、ミラーによって反射され、そして、環境の第１の点に投影される光線１５の経路を計算すること；
− 環境の第１の点３４から発生し、モデリングのため取得される環境の画像の点によって画像化される光線２０の経路を計算すること；
− モデリング点から発生する光線１５の経路と環境の第１の点３４から発生する光線２０の経路との交点であって、これらの２つの経路の間の交点の座標が実質的に環境の第１の点の座標である交点を計算すること；
を含む。

従って、環境のいくつかの第１の点の座標は、いくつかのモデリング点を使用して取得される。

計算された経路は、幾何光学の場合に直線又は直線の一部によって構成されるので単純である。経路計算は、計算パラメータ（詳細に後述する）に依存する。

実際には、これらの計算パラメータの知識に欠陥がある可能性があるので、環境のモデリング点から発生する光線１５の計算された経路と、環境の第１の点から発生する光線２０の計算された経路とは交差せずに、一つの場所で非常に接近する。近似によって、これらの２つの経路を接続する最短セグメントの中央の座標は、これらの２つの経路の間の交点の座標であるとみなされる。

従って、モデリングは、原画像２３の座標（ｕ，ｖ）の各モデリング点（従って、拡大解釈すれば、原画像２３の座標（ｕ，ｖ）の各ピクセル）に対し、このモデリング点又はピクセルの座標（ｕ，ｖ）と、このモデリング点又はピクセルが投影される環境の第１の点３４（又は、Ｍ_ｒ）の座標と、このモデリング点３４及び観察者位置２２を接続する直線Ｄの方向との間に、ルックアップテーブルを作成することが可能である。これらの座標及び方向の全部は、好ましくは、プロジェクタ２の座標系の枠内に表現される。

関連付けは、例えば、原画像を投影することなく、カメラが中立的環境の画像を観察し、その後に、単一のモデリング点を含む原画像を投影することによって実施することができ、カメラは、ミラーによって反射されるモデリング点の信号が付加される中立的画像（環境に投影され、カメラへ向かって再放射される）に対応する環境の別の画像を観察する。或る変形例では、関連付けは、例えば、特定の分布に従って分布するいくつかのモデリング点を含む原画像を投影することによって実施することができ、それによって、モデリングのため取得される環境の画像は、実質的に、そして、少なくとも部分的にこの特定の分布を再現するいくつかの点を含む。環境の画像のこれらの点の各々は、その後に、モデリング点のうちの１つと容易に関連付けられる。

原画像上のモデリング点の密度が高いほど、３次元環境のモデリングの解像度は優れている。原画像がモデリングのための単一のモデリング点だけを含む場合、モデリングは、各々が異なるモデリング点を有する原画像の連続的な投影を含み、前記モデリングの解像度は連続的な投影原画像の数に伴って増加する。

好ましくは、モデリングのための環境の画像の取得は、カメラの異なる近傍角度位置に対して実施される。実際に、環境の単一の画像は、全部のモデリング点が投影される環境の全部の点を必ずしも画像化しない。これらの近傍角度位置は、好ましくは、回転軸の周りに３６０度にわたって分布しており、それによって、２つの近傍角度位置に対し取得される２つの画像が３次元環境の共通部分を画像化する。従って、モデリングは、回転軸６の周りに３６０度にわたってモデリングすることを可能にし、従って、３次元環境の全体、又は、死角がある場合には、環境のほぼ全体をモデリングすることを可能にする。

よって、原画像が投影される環境の点の３次元座標は、一方でミラー３の間の、他方でカメラ４との間の三角測量により、プロジェクタ２にリンクされる座標系の内部で取得することができる。実際に、デバイス１のパラメータの知識は、ミラー３から発生する光線の経路の方程式、及び、カメラによって取得される光線の経路の方程式を計算すること、及び、これらの経路の交点の計算を可能にする。従って、３次元環境は、散布図タイプの非構造化モデリングアプローチ、又は、グリッドタイプのアプローチのいずれかによって、完全にモデリングされることがある。グリッドタイプのアプローチは、取得される環境の点３４を接続する方法を知るために順序付けされた方法でモデリング点が投影されることを前提とする。平坦部又はその他の幾何形状を認識するために環境の散布図を分析することも可能である。

前述したように、経路計算は計算パラメータに依存する簡単な幾何光学計算である。これらの計算は、好ましくは、プロジェクタ２の座標系の枠内で実施される。

例えば、モデリング点から発生し、ミラーによって反射され、そして、環境の第１の点３４に投影される光線１５の経路の計算は、特に、以下のパラメータに依存する：
マトリクス９上のモデリング点の位置であって、前記モデリング点は、好ましくは、単一のピクセルを含み、又は、組み立てられたピクセルのグループを含むことができる；
マトリクス９の寸法、及び、マトリクス９のピクセル単位の解像度；
レンズ１０に対するマトリクス９の相対位置；特に、投影軸１１及びレンズ１０の光軸１３は、実質的にマトリクス９の中央を通るが、マトリクスの中心とこれらの軸１１、１３との間には僅かなオフセット又は傾きが存在する可能性がある；このオフセット及びこの傾きは既知であるか、又は、推定されることが必要である；
レンズ１０の焦点距離；
レンズ１０の光学的歪み又は収差；
ミラー３の幾何学的構成及び寸法；
ミラー３に対するプロジェクタ２の相対位置、特に、プロジェクタ２とミラー３との間の距離及び位置合わせ；実際に、投影軸１１及び回転軸１２は実質的に統合されるが、これらの２つの軸１１、１２の間にオフセット及び／又は傾きが存在する可能性がある；このオフセット及びこの傾きは既知であるか、又は、推定されることが必要である。

同様に、環境の第１の点３４から発生する光線２０の経路の計算は、特に以下のパラメータに依存する：
カメラ４の焦点距離；
カメラセンサに対し、３次元環境が画像化されるセンサの寸法及び解像度；
カメラ４の光学的歪み又は収差；
第１の画像の取得中のプロジェクタ２に対するカメラの相対位置；カメラ４の角度位置は既知であることが必要であり、カメラの軸６でのカメラの回転ピッチは、例えば、カメラを回転させる役割を果たすモータのピッチから推測できる；更に、投影軸１１及び回転軸６は実質的に統合されるが、これらの２つの軸１１、６の間に僅かなオフセット及び／又は傾きが存在する可能性がある；このオフセット及びこの傾きは既知であるか、又は、推定されることが必要である。

前記のモデリングステップを実施することができるためには、これらのパラメータの全部が既知でなければならない。ある種のパラメータは保存手段によってメモリに保存されることがある。例えば、カメラ及びマトリクス９の焦点距離と寸法と解像度とは、製造元によって供給されることができる。カメラ又はレンズ１０の歪み又は収差は、例えば、テストカードを用いて知ることができる。

しかしながら、ミラー３及びカメラ４の相対位置と、プロジェクタ２に対するカメラの回転運動とを測定することが必要であることがある。実際に、ユーザは、回転軸６、投影軸１１、及び、回転軸１２の近似的な位置合わせを実施できる。

しかしながら、これらの位置合わせの精度は、プロジェクタ、ミラー、及び、カメラにリンクされる座標系の枠間の変換を知るためには一般的に不十分であり、従って、経路計算を正確に実行するために不十分である。

従って、本発明の方法は、好ましくは、計算パラメータの最適化又はキャリブレーションを含む。

キャリブレーションの一般的な原理は、原画像の中に既知の位置を有するキャリブレーション点を３次元環境に投影し、投影されたキャリブレーション点から、既知の角度位置に対しカメラによって取得される画像の中のキャリブレーション点の投影の座標に基づいて、ある種のパラメータを推測することにある。キャリブレーション点は、散布図の形式、又は、線の形式で原画像の上に分布することができる。キャリブレーションは、キャリブレーション点が投影される環境の点の３次元座標をどんなときにも要求することがなく、キャリブレーションを３次元環境の幾何学的構成と無関係にする。従来のステレオビジョン・キャリブレーション方法によって行われるように環境の特徴点を検出することも不要であるが、プロジェクタ２が環境の特徴点を作成するために使用される。

このことは、十分なコントラストを有するキャリブレーション点（例えば、暗い背景上の明るいキャリブレーション点）を投影できるという利点があり、それによって、どのような環境の材料の性質であろうとも、キャリブレーション点がカメラによって検出できる。画像減算方法は、環境の材料及び周辺光の差を省くことにより、デバイス１のコントラストを非常に著しく増大させることを可能にする。画像減算方法は、典型的に、キャリブレーション点を含む原画像の投影中にカメラによって取得される画像から、キャリブレーション点を含まない原画像の投影中にカメラによって取得される画像を減算することを含む。この目的のため、カメラは、好ましくは、自動利得制御手段を備えており、減算に悪影響を与える飽和を回避しながらカメラのセンサの線形性の範囲内に留まる。

従って、キャリブレーションは、少なくとも１つのキャリブレーション点を含む原画像を投影すること、及び、キャリブレーションのため取得される環境の少なくとも１つの画像を取得することを含む。

キャリブレーションのため取得される環境の画像は、互いに相違するが、環境の共通部分を画像化する少なくとも１つのペアの画像を含むことがあり、第１のタイプのキャリブレーションが、各キャリブレーション点及び画像の各ペアに関して：
キャリブレーション点を、ペアのうちの第１の画像の点及びペアのうちの第２の画像の点に関連付けること、ここで、ペアのうちの第１の画像の点及びペアの内の第２の画像の点が、キャリブレーション点が投影される環境の第２の点を画像化するものとする；
ペアのうちの第１の画像の点の位置と計算パラメータとから、ペアのうちの第２の画像の点の理論位置を計算すること；そして、
ペアのうちの第２の画像の点の位置と、ペアのうちの第２の画像のこの点の理論位置との間の距離を計算すること；
を含む。

この一連の工程の後には、計算パラメータのうちの少なくとも１つを修正すること、及び、理論位置を新たに計算することが後に続き、キャリブレーション点の全体にわたって、ペアのうちの第２の画像の点の位置とペアのうちの第２の画像のこの点の理論位置との間の差の合計を最小限に抑える。

従って、カメラの異なる角度位置に対する画像の取得から、これらの画像は、３次元環境の中に規則的に分布する環境の点を画像化し、そして、２つの連続画像の間の環境の点の冗長性を利用することによって、カメラによって取得される画像の点と、回転後の連続画像の点の理論位置との間の二次距離を最小限に抑えることにより計算パラメータを最適化することができる。

この第１のタイプのキャリブレーションは、特に、カメラの歪みパラメータと、回転軸６の座標系の枠に対するカメラ４の座標系の枠の剛性変換パラメータ（例えば、カメラ４の光軸と回転軸６との間の角度）とを最適化することが可能である。

第２のタイプのキャリブレーションは、各キャリブレーション点と、キャリブレーションのため取得される環境の各画像とに関して：
キャリブレーション点から発生し、ミラーによって反射され、そして、環境の第３の点に投影される光線の経路を計算すること；
環境の第３の点から発生し、そして、キャリブレーションのため取得される環境の画像の点によって画像化される光線の経路を計算すること；そして、
環境の第３の点に投影される光線の経路と、環境の第３の点から発生する光線の経路との間の距離を計算すること；
を含む。

この一連の工程の後には、計算パラメータのうちの少なくとも１つを修正すること、キャリブレーション点から発生する光線の経路及びキャリブレーションのため取得される環境の少なくとも１つの画像の点によって画像化される光線の経路を新たに計算することが続き、キャリブレーション点の全体にわたって、環境の第３の点に投影される光線の経路と環境の第３の点から発生する光線の経路との間の距離の合計を最小限に抑える。

換言すると、キャリブレーション点の全体にわたって、環境の第３の点に投影される光線の経路と環境の第３の点から発生する光線の経路との交点の個数が最大化される。

第２のタイプのキャリブレーションは、特に、以下の値を最適化することを可能にする：
ミラー３の座標系の枠とプロジェクタ２の座標系の枠との間の剛性変換パラメータ、例えば、ミラーとプロジェクタとの間の距離、及び、ミラーの回転軸１２と投影軸１１との間のオフセット又は傾き；及び
カメラ４の回転軸６の座標系の枠とプロジェクタ２の座標系の枠との間の剛性変換パラメータ、例えば、カメラ４と投影軸１１との間の距離、カメラ４の光軸と投影軸１１との間の傾き、及び、回転軸６と投影軸１１との間のオフセット又は傾き。

第１のタイプ及び第２のタイプのキャリブレーションに関して、原画像上のキャリブレーション点の個数が多くなるにつれて、パラメータの最適化がより良くなる。

最後に、本発明の方法は、３次元環境の少なくとも１つの放射特性を測定すること、及び、少なくとも１つの測定された放射特性に応じて原画像を補正することを含むことができる。補正は、原画像の比色又は強度を補正することを含むことができる。従って、プロジェクタとカメラとの組み合わせは、３次元環境によって反射される色及び強度と、３次元環境への原画像の投影の予想色及び強度との比較を可能にする。これは、環境による色の回復を含むこと、及び、原画像の構築の基準としての役割を果たすシーンに関して環境への原画像の投影が正確であることが保証されることを可能にする。

当然ながら、本発明は、説明された実施例だけに限定されることはなく、発明の範囲を越えることなく多数の調節がこれらの実施例に行われることがある。

特に、回転軸６、投影軸１１、回転軸１２及び光軸１３は実質的に統合されない可能性がある。プロジェクタによって放射される光線の経路の計算、及び、環境の点によって放射される光線の経路の計算は、その場合、これらの軸の間の有意なオフセット及び／又は傾きを考慮しなければならないので、より複雑であり、その結果として、３次元環境のモデリング及び原画像の構築はそれ自体としてより複雑である。

更に、球面の一部分の形状はデバイス１の垂直解像度を不均一にさせるので、ミラー３の凸面は必ずしもこの球面の一部分の形状を持たなくてもよい。実際には、前記デバイス１において、マトリクス９の中心からピクセルまでの距離が長くなるにつれて、このピクセルによって放射される光線１４〜１６を反射するミラーの部分がより大きくなり、この光線が投影される環境の部分のサイズがより大きくなる。従って、好ましくは、球面ミラーに対してデバイス１の垂直解像度を均一化する傾向があるミラー３の断面形状が使用される。

Claims (15)

1. （ｉ）投影軸（１１）に沿って原画像（２３）を投影するために設置されるプロジェクタ（２）と、
   （ｉｉ）少なくとも部分的に前記原画像を反射し、そして、それを３次元環境（７、８ａ、８ｂ）に投影するために設置される凸面ミラー（３）と
   を含む投影デバイスにより実施される投影方法であって、
   前記投影軸（１１）に沿って原画像（２３）を投影すること、そして
   凸面ミラー（３）によって前記原画像の少なくとも一部を反射すること、
   前記凸面ミラーによって反射される前記原画像を３次元環境（７、８ａ、８ｂ）に投影すること、
   ３次元環境の少なくとも１つの画像を取得すること、
   取得した３次元環境の少なくとも１つの前記画像から、３次元環境をモデリングすること、
   を含み、
   ここで、前記原画像は、少なくとも１つのモデリング点を含み、前記モデリングは、各モデリング点及びモデリングのために取得される環境の各画像に関して、
   前記モデリング点から発生し、前記凸面ミラーによって反射され、そして、環境の第１の点に投影される光線（１５）の経路を計算すること、
   環境の第１の点（３４）から発生し、モデリングのために取得される環境の画像の点によって画像化される光線（２０）の経路を計算すること、そして
   前記モデリング点から発生する光線（１５）の経路と前記環境の第１の点（３４）から発生する光線（２０）の経路との交点を計算すること、を含むものとする、
   前記の投影方法。
2. 凸面ミラーが、原画像を変形することにより前記原画像を反射することを特徴とする、請求項１に記載の方法。
3. 凸面ミラーが、２πステラジアンより大きい立体角の範囲内に原画像を投影することを特徴とする、請求項１に記載の方法。
4. 凸面ミラーが、投影軸（１１）の周りに１８０度より大きい角度の範囲内に原画像を投影することを特徴とする、請求項１に記載の方法。
5. ３次元環境の少なくとも１つの画像における各画像の取得が、
   回転軸（６）の周りでの角度位置で、カメラ（４）を位置付けすること、そして、
   ３次元環境によって放射される光線（２０）から、カメラの前記角度位置に対する環境の画像を取得すること、
   を含むことを特徴とする、請求項１に記載の方法。
6. モデリング点から発生する光線（１５）の経路と、環境の第１の点（３４）から発生する光線（２０）の経路に関して、これらの経路の計算が、計算パラメータに依存すること、
   それが、前記パラメータのキャリブレーションを含むこと、
   原画像が、少なくとも１つのキャリブレーション点を含むこと、そして
   ３次元環境の少なくとも１つの画像を取得する工程が、キャリブレーションのための環境の少なくとも１つの画像の取得を含むこと
   を特徴とする、請求項１に記載の方法。
7. 観察者の位置（２２）に応じて原画像を構築することを更に含み、環境への原画像の投影を観察する観察者が、自分の位置から、仮想視点（Ｐ）からのシーンを観察することを特徴とする、請求項１に記載の方法。
8. ３次元環境の少なくとも１つの放射特性を測定することを更に含むこと、及び少なくとも１つの測定された放射特性に応じて原画像を補正することを含むこと
   を特徴とする、請求項１に記載の方法。
9. 凸面ミラーが、２πステラジアンより大きい立体角、及び４πステラジアンより小さい立体角の範囲内に原画像を投影することを特徴とする、請求項１に記載の方法。
10. 凸面ミラーが、投影軸の周りに３６０度と等しい角度の範囲内に原画像を投影することを特徴とする、請求項１に記載の方法。
11. 原画像が、第１の立体角の範囲内に前記投影軸に沿って投影されること、そして、凸面ミラーが、前記第１の立体角より大きい第２の立体角の範囲内に前記原画像を投影すること
    を特徴とする、請求項２に記載の方法。
12. キャリブレーションのために取得される環境の画像が、互いに相違するが、前記環境の共通部分を画像化する少なくとも１つのペアの画像を含み、前記キャリブレーションが、各キャリブレーション点及び画像の各ペアに関して、
    キャリブレーション点を、ペアのうちの第１の画像の点及びペアのうちの第２の画像の点に関連付けること、ここで、ペアのうちの前記第１の画像の点及びペアのうちの前記第２の画像の点とは、前記キャリブレーション点が投影される環境の第２の点を画像化するものとし、そして
    ペアのうちの第１の画像の点の位置及び前記計算パラメータから、ペアのうちの第２の画像の点の理論位置を計算すること、
    を含むことを特徴とする、請求項６に記載の方法。
13. キャリブレーションが、各キャリブレーション点と、キャリブレーションのために取得される環境の各画像とに関して、
    キャリブレーション点から発生し、凸面ミラーによって反射され、そして、環境の第３の点に投影される光線の経路を計算すること、
    環境の第３の点から発生し、そして、キャリブレーションのために取得される環境の画像の点によって画像化される光線の経路を計算すること、
    を含むことを特徴とする、請求項６に記載の方法。
14. キャリブレーションが、計算パラメータのうちの少なくとも１つを修正することを更に含み、全てのキャリブレーション点にわたって、ペアのうちの第２の画像の点の位置と、ペアのうちの第２の画像の同じ点の理論位置との間の距離の合計を最小限にすることを特徴とする、請求項１２に記載の方法。
15. キャリブレーションが、計算パラメータのうちの少なくとも１つを修正することを含み、全てのキャリブレーション点にわたって、環境の第３の点に投影される光線の経路と、環境の第３の点から発生する光線の経路との間の距離の合計を最小限にすることを特徴とする、請求項１３に記載の方法。

Images