JP4584246B2 - 物体上に出力画像を表示する方法 - Google Patents

Description

本発明は、包括的にはデジタルプロジェクタに関し、より詳細には、強化現実のために用いられるプロジェクタに関する。

強化現実の分野は、物理的世界において我々の周りで見えるものおよび聞こえるものを拡張することに関係する。この分野の研究者は、実世界物体の我々のビューの上にコンピュータグラフィクスを重畳する。これは、我々の知覚、および、我々と実世界との相互作用の両方を拡張する。これにより、実世界作業のパフォーマンスを改善することが可能となる。

強化現実を達成するための複数の方法がある。世界の強化ビューを提供する１つの方法として、ＬＣＤ画面方式の個人情報端末（ＰＤＡ）を用いるものがある。この技法は、いくつかの欠点を有する。ＰＤＡの物理的サイズは、ピクセル解像度の将来の向上にもかかわらず、ユーザに提示することが可能な情報を制限する。ＰＤＡに表示される情報は、カメラの座標枠内にあり、ユーザ自身の視点にはない。ＰＤＡを使用することは、ユーザに対して、物理的環境とディスプレイとの間のコンテクスト切替を要求する。ＰＤＡは、ユーザが携帯し続けるか、または近くで、ただし容易に見えるところに保持しなければならない。ＰＤＡが強化を提供するのは、個人に対して、またはせいぜい、非常に小さい装置の周りに集まった少人数のグループに対してに過ぎない。

世界の強化ビューを提供するもう１つの方法として、「シースルー」方式のビデオマイクロディスプレイ眼鏡を用いるものがある。１つの欠点として、ユーザの目の座標枠と表示画像座標枠との間の結合が密であるため、ユーザ頭部の動きの非常に正確な処理を必要とすることがある。例えば、ユーザ頭部の回転を、表示画像における相補的な回転と正確に合わせなければならない。また、ビデオマイクロディスプレイ眼鏡は、個人用に限られ、共用はできない。ディスプレイは、目から１センチメートル程度しか離れていないため、ユーザの手のような他の物体が強化を遮り易く、強化された物体を扱うのは不便である。挙げ句の果てには、目に装着するディスプレイの疲労因子が知られている。

プロジェクタ方式の強化現実は、物理的シーン上に直接に強化を投影する。これは、ユーザ座標枠を、プロジェクタと物理的物体との間の関係から分離する。この方式の１つの利点は、投影される情報を表示する時に、ユーザ頭部の回転を決定する困難な作業が不要なことである。

家具で一杯の居間と人物との映画を撮るために、回転式映画カメラが用いられている。その場合、居間および家具をニュートラルホワイトに塗り、もとのカメラと正確に位置合わせした回転式プロジェクタを用いて映画を壁面および家具の上に再投影する。Naimark、「Displacements」（１９８４年、米国カリフォルニア州サンフランシスコのサンフランシスコ近代美術館での展示）を参照されたい。このように、撮影カメラと表示プロジェクタとを同じ場所に配置することが決定的であるのは、あらかじめ録画された画像、または物理的物体を照明するための画像シーケンスを使用するほとんどのシステムに共通である。

現実の水晶球内部の架空の占い師の頭部を動かすために、プロジェクタおよび光ファイバ束が用いられている。１９９０年１２月１８日にLiljegren他に交付された米国特許第４，９７８，２１６号、「Figure with back projected image using fiber optics」を参照されたい。非常に大きな建築的スケールで画像をレンダリングするために、精細なディテールを強化した修正写真のスライドが、非常に高輝度のプロジェクタとともに用いられている。このアイデアの既知の最近の実現は、フランスのロワール谷にあるブロワ城での「音と光のショー」である。また、現在では、この手段は、橋のような大規模構造物を照明するために、他にも世界各地で用いられている。

「Luminous Room」プロジェクトは、部屋または指定されたワークスペースの現実の物理的環境内の平坦面上で画像を検知し投影するためのＩ／Ｏバルブとして、同じ場所に配置されたカメラとプロジェクタとの対を扱う。Underkoffler等著「Emancipated pixels: Real-world graphics in the luminous room」（SIGGRAPH '99, pp.385-392, 1999）を参照されたい。彼らの主な着目点は、発光する有形のインタフェースを通じての情報との相互作用である。これは、同一平面上の２Ｄの物理的物体を認識し、平面内での２Ｄ位置および向きを追跡し、適切な太陽の光の陰影を再現するために頭上から光を投影した。

これらすべてのシステムは、有力なビジュアライゼーションを提供している。しかし、面倒なアラインメントプロセスには、単一のプロジェクタの場合でも数時間かかることがある。多くの同様のシステムでは、１つまたは複数の環境センサがプロセッサを支援し、このプロセッサがプロジェクタとディスプレイとの間のユークリッド関係またはアフィン関係を計算することができるという考えに基づいている。集中化されたセンサがなければ、プロジェクタは、目標物体を強化することができない。それらのシステムは、プロジェクタと、強化される物体との間に、固定された特別な関係を要求する。いずれかの一方の部分が移動すれば、システムを再較正しなければならない。また、それらのシステムでは、プロジェクタが固定されていることから、物体のある特定の部分しか強化できないことになる。

したがって、従来技術のシステムの制限および問題のない、状況検知プロジェクタを提供することが望ましい。

本発明は、目標物体を一意に識別する方法を提供する。さらに、本発明は、プロジェクタと物体との間の物理的関係を求める方法を提供する。物体の一意の識別およびプロジェクタと物体との相対位置を知ることにより、その物体に関連する較正された画像の投影が可能となる。

本発明は、物体を、その物体に固有の投影画像と強化することが望ましいさまざまなシステムに適用可能である。例として、物体上の情報ディスプレイがある。例えば、プリンタのための情報ディスプレイとしては、プリントキューやジョブが完了するまでの予想時間が挙げられる。書籍のための情報ディスプレイとしては、欄外に現れる注釈を挙げることができる。トレーニング用途では、教示が既知の物体上に表示される。物理的インデクシングでは、例えば、地面に投影された矢印によって、また、保管エリアやワークスペース内の特定のエリアの強調表示によって、ユーザが、必要とする対象物のほうへ誘導される。環境に取り付けられた電子データ項目が回復および投影される。「マジックレンズ」は、不透明表面の透過をシミュレートする。所定の対象物に関する言語固有情報が観光客のために投影される。

本発明は、さらに、相互作用の履歴、プロジェクタの位置および動き、ならびに他の類似装置の存在等のいくつかのファクタに従って、投影コンテンツを適応させる手段を提供する。

幾何学的検知プロジェクタ
図１は、本発明による状況検知プロジェクタ１００を示している。なお、プロジェクタ１００は、単独で使用しても、他の類似のプロジェクタと協調的に組み合わせて使用してもよいことに留意すべきである。

本プロジェクタ１００は、バス１４０で接続されたマイクロプロセッサ１１０、メモリ１２０、およびＩ／Ｏインタフェース１３０、包括的には処理ユニット１０３を含む。処理ユニットは、その電子機器的構成に関しては従来通りであるが、本明細書に記載される方法ステップを実行する際のその動作に関しては、従来とは異なる。

また、プロジェクタは、出力画像１０２を表示するためのプロジェクタサブシステム１５０、および一意に識別された物体を含むシーンの入力画像１０１を取得するためのカメラサブシステム１６０も含む。

ネットワークサブシステム１７０により、プロジェクタは、ローカルかリモートかを問わず、他の類似装置、または他のコンピューティング装置と通信することが可能となる。したがって、ネットワークシステムは、通信媒体に応じて、アンテナまたは赤外線トランシーバ１８０に接続されることが可能である。

ユーザインタフェース１９０は、プロジェクタの動作を容易にするための入力および出力データを提供することができる。例えば、インタフェースは、入力用マウスに通常見られるような左、中央、および右ボタンを含むことができる。また、インタフェースは、当技術分野で既知のような「スクロール」ホイールを含むこともできる。

内部センサ１９５、例えば傾斜センサまたは加速度計は、プロジェクタの向きを求めることができる。なお、センサは、内部センサのみであり、プロジェクタの外部の環境を検知しないことに留意すべきである。また、センサは、最適であることに留意すべきである。

プロジェクタの動作
プロジェクタ１００は、スマートキーストン補正、向き補償画像強度、自動輝度、ズームおよびフォーカス、ジオメトリおよびテクスチャのキャプチャのための３Ｄスキャニング、ならびにカメラサブシステム１６０のためのスマートフラッシュ等のいくつもの機能を実行することができる。この最後の機能では、プロジェクタ機能は、カメラ機能に対して副次的である。この場合、プロジェクタは、カメラによって観測されるシーン内の特定のエリアを単に照明するだけである。以下で、いくつかのさらなる適応的機能について、より詳細に説明する。

システム構成および方法
図２に示すように、本発明の較正されたプロジェクタ−カメラシステム１００を用いることにより、物体２０１を一意に識別し、物体固有の情報２２０を投影する。プロジェクタ１００に対する物体の相対位置が、物体２０１に取り付けられた一意の可視マーカ２１１〜２１４から求められる。本明細書において、姿勢とは、物体と同じ座標枠におけるプロジェクタの（ｘ，ｙ，ｚ）位置、およびプロジェクタの向きを意味する。本明細書において、向きとは、３つの主軸のいずれかの周りの回転量を意味する。

好ましい実施の形態では、マーカは、円形（拡大図参照）であり、複数（例えば４〜６個）の色付きのセグメントを有する。色のパターンは、異なる一意の識別を規定する。２０００年７月３１日に出願された米国特許出願第０９／６２８，４６１号「Badge Identification System」を参照されたい。この米国特許出願は、参照により本明細書に援用される。

色コーディングは、一意の識別をエンコードする。なお、他の類似のマーカも使用可能であることに留意すべきである。以下で詳細に説明するように、１つまたは複数のマーカを使用可能である。

較正されたカメラサブシステム１６０によるカメラ姿勢の一意の解を得るために、物体２０１上の４個以上の点が用いられる。これらの点は、長距離で取得された複数のマーカの画像から、またはより短距離では単一のマーカの形状から得られる。

カメラ姿勢を求めた後、プロジェクタ姿勢は、システム較正によって分かる。プロジェクタの位置および向きが分かった後、メモリ１２０から読み出された、またはネットワーク２１０を通じてダウンロードされた強化情報を表示することができる。画像が表示される際の形状、サイズ、および位置は、あらかじめ決めることができる。

コンテクストベースの強化を用いることができる重要なアプリケーションとしては、物体上の情報ディスプレイ（パッシブディスプレイでも、教示２２０が一連のステップの一部として表示されるトレーニング用途でもよい）、ユーザが必要とする対象物の方へ誘導される物理的インデクシング、環境に取り付けられた電子データ項目の存在識別および投影がある。

コンテクストベースの強化においては、強化される情報の位置決めにおける小さいずれは、通常は重要でないため、精度は、あまり厳格に要求されない。しかし、使用形態は、より重視される。例えば、物体からの距離は、投影される強化２２０におけるディテールのレベルを調整するために使用可能である。

システムは、以下の情報、すなわち、プロジェクタの固有パラメータ、カメラの固有パラメータ、プロジェクタとカメラとの間の相対的な位置および向きが分かるように較正される。この較正は、システムが動作する前の事前較正ステップとして行うことも可能であり、あるいはシステムの動作開始時に起動処理として行うことも可能である。既知のカメラ較正技法のいずれを用いてもよい。

カメラの目的は、シーン内の所定面に対するシステムの姿勢を取得することである。ここで、「姿勢」は、（ｘ，ｙ，ｚ）位置、および向きを意味するために用いられている。これは、物体の入力画像を処理することによりカメラの姿勢を求めてから、較正情報を用いてプロジェクタの姿勢を推論することによって達成される。プロジェクタの姿勢が分かった後、強化情報２２０を所定面上の所望の位置に投影することができる。

図３に示すように、本方法３００は、まず、シーンの入力画像（Ｉ_ｉ）３０１を取得する。シーンは、少なくとも４個の可視マーカを含む。これらの可視マーカは、色コーディングされ、その色コーディングが識別を指定する。マーカは、バーコードに類似しているとみなすこともできるが、縞模様ではなく色に基づいている。

次に、入力画像３０１の中から、マーカを検出する（３１５）。マーカを用いて、データベースレコード（Ｒ）３２１を索引付けする（３２０）。データベースレコード（Ｒ）３２１は、おそらくはメモリ１２０に、またはネットワークを通じてアクセス可能な他のメモリ１２０に記憶される。

レコードは、適当な座標枠、例えばそれが取り付けられた所定面の座標枠におけるマーカの位置情報を含む。位置情報は、実世界におけるマーカの（ｘ，ｙ，ｚ）位置と、それらの外観およびジオメトリ（例えば色、形状およびサイズ）を含む。

レコード３２１の位置情報を用いて、マーカに対する、したがって所定面に対するカメラの姿勢（ＣＰ）３３１を求める（３３０）。カメラ姿勢を用いて、プロジェクタの姿勢（ＰＰ）３３６を推論する（３３５）。この計算は、既知の画像処理技法である既知のホモグラフィを用いて実行される。

次に、出力画像（Ｉ_ｏ）３４１をメモリから読み出す（３４０）。出力画像は、レコード３２１に記憶しても、他の場所に記憶してもよい。どの特定の画像が読み出されるかは、一意の識別、相互作用の履歴、プロジェクタの位置および動き、ならびに他の類似装置の存在に依存し得る。

次に、出力画像を、プロジェクタの位置および向きに従って歪み補正する（３４５）。次に、本方法３００は、歪み補正した画像３４６を投影することにより、情報２２０を表示する。歪み補正は、プロジェクタ１００の任意の姿勢に対して、出力画像内の画素が、シーンの座標枠と、縦方向および横方向に位置合わせされて現れるように、出力画像内の画素を調整する。その結果、物理的物体の表面上に表示された情報の外観に歪みがなくなる。コンテンツを歪み補正する手段は、２００１年８月１４日に出願された米国特許出願第０８／９３０，４２６号「Simulating Motion of Static Objects in Scenes」に詳細に記載されている。この米国特許出願は、参照により本明細書に援用される。

強化の履歴
基本形態の変形として、強化の履歴を利用することができる。ステップ３２０で、データベースは、特定のレコードがアクセスされたことを記録することができる。その後、ステップ３４０で、データベースは、現在見られているマーカの識別だけでなく、そのマーカが過去に見られた回数にも基づいて、代替コンテンツを返すことができる。

４個のマーカを用いることの別法
動作の基本形態の別法として、ターゲット上に見える可視マーカの個数を少なくすることによるものがある。動作の基本形態のステップ３１５で、本方法は、４個のマーカを検出する。その理由は、カメラの姿勢を求めるために用いられるホモグラフィは、４個の既知の点に基づくからである。このステップは、各マーカの中心を既知の点として用いる。各マーカに対するレコードは、その中心の（ｘ，ｙ，ｚ）位置だけでなく、その半径も記憶しているので、単一のマーカが、複数の既知の点を提供することができる。この付加的な幾何情報を用いれば、本方法は、ステップ３１５で、少なくとも１つのマーカを正しく検出し識別するだけでよい。

可視マーカの別法
動作の基本形態の別法として、可視マーカの出現をなくすことができる。可視マーカは、レコード３２１内の記述に従って出力画像において可視マーカを打ち消すことによって、または入力画像におけるその出現を打ち消すことによって、人間の目にとって不可視にすることができる。

プロジェクタの位置に基づく代替コンテンツ
動作の基本形態の変形として、強化されている物体に対するプロジェクタの位置をさらに利用することができる。動作の基本形態では、ステップ３４５で、プロジェクタの姿勢を用いて、投影されているコンテンツを歪み補正しているが、姿勢を用いて、データベースから姿勢固有のコンテンツを読み出すこともできる。

この変形の一使用例では、強化されている物体からユーザが遠く離れている時には高レベルの意味情報を投影し、同じ物体にユーザが近づいた時には低レベルの詳細情報を投影する。

プロジェクタの動きに基づく代替コンテンツ
動作の基本形態の変形として、プロジェクタの動きを利用することができる。プロジェクタの位置を求めるステップ３３５において、この位置をデータベースに記録することができる。その後、ステップ３４０で、データベースからコンテンツを読み出す時に、プロジェクタの過去の位置の履歴を調べることによって、プロジェクタの動きに基づいてコンテンツを読み出すことができる。

この変形の一使用例では、ユーザが素早く動くことにより投影画像が物体を横切る時には、精細度の低い画像を投影し、ユーザがゆっくりと動いている時、または静止している時には、精細度の高い画像を投影する。

類似装置の存在に基づく代替コンテンツ
動作の基本形態の変形として、類似装置の存在を利用することができる。ステップ３４０で、データベースからコンテンツを読み出す時に、データベースは、コンテンツがアクセスされていることを記録し、レコードにアクセスしている装置の識別を記録することができる。複数の装置がレコードにアクセスしている場合、この情報に基づいてコンテンツを変更することができる。

この変形の一使用例では、複数の装置から投影されている画像が互いに重なり合ったり互いを不明瞭にしたりしないように、物体の表面上でコンテンツを再配置する。複数の人々が、待ち行列に入っているプリントジョブのリストをプリンタの表面上に投影している場合、装置は、それらが互いに重なり合わないようにこれらのリストを再配置することができる。

投影時刻に基づく代替コンテンツ
ステップにおいてデータベースから読み出されるコンテンツは、読み出し時刻によって影響を受けてもよい。

画像投影の別法
また、動作の基本形態の変形として、静止画像の代わりにビデオコンテンツを歪み補正し投影することもできる。

以上、好ましい実施形態を例として本発明を説明したが、本発明の精神および範囲内で、種々の他の適応および修正を行うことが可能であることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内に入るすべてのそのような変形および修正を包含することである。

本発明によるプロジェクタのブロック図である。 図１のプロジェクタによって表示される画像によって強化された物体のブロック図である。 本発明による物体上に画像を表示する方法のブロック図である。

Claims (15)

1. 物体上に出力画像を表示する方法であって、
   所定位置において前記物体に一意のマーカのセットを固定することと、
   プロジェクタと固定的な物理的関係にあるカメラを用いて前記物体および前記複数のマーカの入力画像を取得することと、
   前記マーカのセットに対する前記プロジェクタの姿勢を求めることと、
   前記プロジェクタの姿勢および前記一意のマーカのセットに従って前記物体上に出力画像を投影することと
   を含む物体上に出力画像を表示する方法において、
   前記セット内の各マーカは、円形であり、複数の異なる色のセグメントを有する方法。
2. 物体上に出力画像を表示する方法であって、
   所定位置において前記物体に一意のマーカのセットを固定することと、
   プロジェクタと固定的な物理的関係にあるカメラを用いて前記物体および前記複数のマーカの入力画像を取得することと、
   前記マーカのセットに対する前記プロジェクタの姿勢を求めることと、
   前記プロジェクタの姿勢および前記一意のマーカのセットに従って前記物体上に出力画像を投影することと
   を含む物体上に出力画像を表示する方法において、
   前記出力画像は、前記プロジェクタと前記物体との相互作用の履歴に依存する方法。
3. 物体上に出力画像を表示する方法であって、
   所定位置において前記物体に一意のマーカのセットを固定することと、
   プロジェクタと固定的な物理的関係にあるカメラを用いて前記物体および前記複数のマーカの入力画像を取得することと、
   前記マーカのセットに対する前記プロジェクタの姿勢を求めることと、
   前記プロジェクタの姿勢および前記一意のマーカのセットに従って前記物体上に出力画像を投影することと
   を含む物体上に出力画像を表示する方法において、
   前記出力画像は、前記プロジェクタの姿勢に依存する方法。
4. 物体上に出力画像を表示する方法であって、
   所定位置において前記物体に一意のマーカのセットを固定することと、
   プロジェクタと固定的な物理的関係にあるカメラを用いて前記物体および前記複数のマーカの入力画像を取得することと、
   前記マーカのセットに対する前記プロジェクタの姿勢を求めることと、
   前記プロジェクタの姿勢および前記一意のマーカのセットに従って前記物体上に出力画像を投影することと
   を含む物体上に出力画像を表示する方法において、
   前記マーカのセットを不可視にするために、前記出力画像における前記マーカのセットの出現を打ち消すことをさらに含む方法。
5. 物体上に出力画像を表示する方法であって、
   所定位置において前記物体に一意のマーカのセットを固定することと、
   プロジェクタと固定的な物理的関係にあるカメラを用いて前記物体および前記複数のマーカの入力画像を取得することと、
   前記マーカのセットに対する前記プロジェクタの姿勢を求めることと、
   前記プロジェクタの姿勢および前記一意のマーカのセットに従って前記物体上に出力画像を投影することと
   を含む物体上に出力画像を表示する方法において、
   前記姿勢から前記プロジェクタの動きを求めることと、
   前記動きに応じて前記出力画像を選択することと
   をさらに含む方法。
6. 物体上に出力画像を表示する方法であって、
   所定位置において前記物体に一意のマーカのセットを固定することと、
   プロジェクタと固定的な物理的関係にあるカメラを用いて前記物体および前記複数のマーカの入力画像を取得することと、
   前記マーカのセットに対する前記プロジェクタの姿勢を求めることと、
   前記プロジェクタの姿勢および前記一意のマーカのセットに従って前記物体上に出力画像を投影することと
   を含む物体上に出力画像を表示する方法において、
   投影時刻に基づいて前記出力画像を選択することをさらに含む方法。
7. 物体上に出力画像を表示する方法であって、
   所定位置において前記物体に一意のマーカのセットを固定することと、
   プロジェクタと固定的な物理的関係にあるカメラを用いて前記物体および前記複数のマーカの入力画像を取得することと、
   前記マーカのセットに対する前記プロジェクタの姿勢を求めることと、
   前記プロジェクタの姿勢および前記一意のマーカのセットに従って前記物体上に出力画像を投影することと
   を含む物体上に出力画像を表示する方法において、
   前記出力画像は、類似の装置の同時存在に依存する方法。
8. 前記セット内に４個のマーカがある請求項１ないし７のいずれか１項に記載の方法。
9. 前記マーカのジオメトリがあらかじめ求められ、前記セットは、１個のマーカを含む請求項１ないし７のいずれか１項に記載の方法。
10. 各マーカのジオメトリがあらかじめ求められ、前記物体上での前記マーカの位置があらかじめ求められる請求項１ないし７のいずれか１項に記載の方法。
11. 前記プロジェクタによってアクセス可能なメモリに前記ジオメトリおよび前記位置を記憶することをさらに含む請求項１０に記載の方法。
12. 前記姿勢は、前記プロジェクタの位置および向きを含む請求項１ないし７のいずれか１項に記載の方法。
13. 前記出力画像を投影する前に前記プロジェクタの前記姿勢に従って前記出力画像を歪み補正することをさらに含む請求項１ないし７のいずれか１項に記載の方法。
14. 前記歪み補正は、縦方向および横方向に、前記出力画像を前記物体の座標枠と位置合わせする請求項１３に記載の方法。
15. 前記出力画像は、所定の形状を有し、前記物体上の所定の位置に投影される請求項１ないし７のいずれか１項に記載の方法。

Images