JP4437748B2 - プロジェクタによる位置および向きの読み取り - Google Patents

Description

本発明は、包括的にはコンピュータビジョンに関し、特に、投影された画像を用いて物体の位置および向きを求めることに関する。

位置センサは、物体の位置および向きを求めることが必要な多くの応用形態にとって有用である。以下、「位置センサ」という用語は、位置および向きの両方のセンサを意味する。位置は、３次元座標枠における物体の場所であり、物体の向きは、その座標枠に対するその物体の回転である。

応用形態の一例では、位置センサを、３Ｄ走査に使用されている移動カメラに取り付けることができる。すると、カメラの位置および向きが分かり、移動カメラによって取得される画像からシーンの３Ｄ再構成を生成するのに役立つ。同様に、位置センサをプロジェクタに取り付けて、表面または物体上への画像の正確な投影に役立てることができる。また、位置センサを道具に取り付けて、道具を部品または作業面に対して正確に位置決めすることもできる。ユーザが道具を操作している場合、位置センサにより、例えば遠隔操作において、あるいはコンピュータ支援手術のために、触覚等のフィードバックが可能となる。また、位置センサは、車両や人のような移動物体の場所を追跡するためにも使用可能である。

従来技術の応用形態において位置センサが使用されてきた１つの方法は、環境内の既知の位置にＬＥＤ等の視覚マーカまたはアクティブエミッタを設置することである。それらの応用形態では、位置センサは、それ自身の位置および向きを推論するためにマーカまたはエミッタを観測するカメラであってもよい。他の応用形態として、光の代わりに超音波を使用するものがある。別法として、視覚マーカまたはアクティブエミッタを対象物体に取り付けて、物体の位置および向きを、物体を観測するカメラを用いて直接求めることができる。

環境内でＬＥＤエミッタを使用するシステムが、Welch等による「The HiBall Tracker: High-Performance Wide-Area Tracking for Virtual and Augmented Environments」（Proc. of the ACM Symposium on Virtual Reality Software and Technology, 1999）に記載されている。環境内で超音波エミッタを使用するシステムとして、米国マサチューセッツ州BurlingtonのIntersense Corporationから販売されているＩＳ−６００モーショントラッカ(motion tracker)がある。

従来技術の手法はいくつかの制限を有する。環境が広いか、または到達困難な場所を含む場合、環境を変えるのは困難なことがある。また、環境に機器を設置した後に較正手続きを行わなければならない。したがって、このようなタイプのシステムは、固定作業空間を有する固定設備となる傾向があり、新たな設定において容易にあるいは迅速に配備可能ではない。マーカまたはＬＥＤ等のエミッタを物体に取り付けることを伴うシステムは通常、物体の表面にわたって多数のエミッタを必要とする。マーカまたはエミッタの配置を求めるために較正手続きが使用される。小さい物体に多数のマーカまたはエミッタを取り付けるのは問題がある。また、物体がハンドヘルド型である場合にも、ユーザはマーカまたはエミッタを妨げないグリップを採用しなければならないので、問題となる。

これらの問題は電磁センサによって克服することができるが、このようなシステムはかなり複雑かつ高価となり、較正が依然として問題として存在し続ける。従来の技法のほとんどは比較的静的な設備を必要とし、このためその場その場で動的に変化する環境においてこのようなシステムを使用することが困難となる。電磁システムの一例として、米国バーモント州ColchesterのPolhemus Inc.から販売されているＦａｓｔｒａｋ（登録商標）というモーショントラッキング製品がある。

このように、物体のための位置・向きセンサであって、環境を変更することを必要とせずに機能し、複雑な較正を要しないものが必要とされている。また、コンパクトな位置・向きセンサ、すなわち、センサが、環境全体にわたって、または対象物体の表面全体にわたって分布したマーカまたはエミッタを必要としないものも必要とされている。ハンドヘルド型の物体に取り付けられた位置センサがコンパクトであることの利点として、ユーザは、位置センサを妨げずに、物体の一部に設けられたグリップを容易に採用することができることがある。

［発明の開示］
プロジェクタの位置および向きは、投影された画像から求められる。まず、カメラと平坦な表面の間のホモグラフィを求めることであって、カメラおよび平坦な表面は互いに固定した相対位置にある。

次に、既知のパターンは、既知の固有パラメータならびに未知の位置および向きを有するプロジェクタを用いて平坦な表面上に投影される。

カメラで既知のパターンの画像は取得され、ホモグラフィおよび固有パラメータを用いて画像からプロジェクタの位置および向きは求められる。

本発明は、本発明の好ましい実施形態についての以下の詳細な説明を添付図面とともに参照することで、より容易に明らかとなるであろう。

システムの構成
図１は、本発明による位置・向き読み取りシステム１００を示している。システムは、固定カメラ１１０および可動プロジェクタ１２０を含む。カメラ１１０およびプロジェクタ１２０は両方とも、固定した平坦な（２Ｄ）表面１３０を見る。カメラと平坦な表面は、互いに固定した相対位置を有する。カメラおよびプロジェクタは表面の同じ側にあってもよい。または別法として、表面が透光性である場合には、カメラとプロジェクタは平坦な表面をはさんで反対側にあってもよい。

好ましい一実施形態において、カメラ１１０およびプロジェクタ１２０はディジタルデバイスである。Ａ／Ｄコンバータを備えたアナログデバイスも可能である。

プロセッサ（ＣＰＵ）１４０がカメラ１１０に接続される。プロセッサ１４０は、当技術分野で既知のようにメモリおよびＩ／Ｏポートを備える。プロセッサ１４０は、以下でさらに詳細に説明するような本発明による位置・向き読み取り方法３００を実行することが可能である。

システムの動作
較正
図２に示すように、システム１００の較正手続き２００は２つの段階２１０〜２２０を有する。第２段階は任意である。第１段階２１０において、固定カメラ１１０を固定した平坦な表面１３０に対して較正することにより、カメラ１１０の画像平面の座標枠と、固定表面１３０のユークリッド（距離）座標枠の間のホモグラフィＨ２１１を求める。これは、固定表面１３０上の既知の位置の４点１３１、例えば、固定した平坦な表面１３０上の正方形の四隅が与えられれば、既知の幾何学的関係を用いて達成することができる。

ホモグラフィ２１１は、以下のように、カメラ１１０の座標枠を固定表面１３０の座標枠と関係づける。

２Ｄ表面上の対応する点Ｘの画像点ｘに対して、その関係は次の通りである。
ｘ＝ＨＸ
ここで、ｘおよびＸは同次座標であり、Ｈはホモグラフィを記述する３×３行列である。対応する点｛ｘ_ｉ，Ｘ_ｉ｝の４個のセット（ｉ＝１，...，４）が与えられると、上記の式は、ホモグラフィＨ２１１の配列要素に関して線形系を生成するので、Ｈについて解くことができる。

表面１３０の座標枠の全体的スケールが未知である場合、例えば、表面１３０上の４点１３１が正方形の隅であることは既知であるがその正方形のサイズが未知である場合、プロジェクタ１２０の位置および向きは、後続の処理において、未知のスケールを除いて決まる。これは、例えばシーンの３Ｄ走査のような多くの応用形態にとって十分である。シーンの３Ｄ走査では、目標は３Ｄ再構成を生成することであり、全体的スケールは重要でないことがある。

第２の任意段階２２０において、較正手続き２００は、プロジェクタ１２０の固有パラメータＩＰ２２１を求める。プロジェクタ１２０のようなピンホールデバイスの固有パラメータを求めることは既知のプロセスである。別法として、プロジェクタ１２０の固有パラメータは、以下でさらに詳細に説明するように、システム１００の動作中に求めることができる。

位置および向きの読み取り
図３に示すように、位置読み取りシステム１００は、プロジェクタ１２０および方法３００を用いて物体の位置および向きを読み取るために使用可能である。

まず、カメラ１１０と平坦な表面１３０の間のホモグラフィ２１１を前述のように求める（３１０）。

次に、固有パラメータ２２１は既知であるが位置および向きは未知であるプロジェクタ１２０によって、既知パターン２３０を平坦な表面２１０上に投影する（３２０）。最低限、パターン２３０は、少なくとも３個の、同一直線上にない異なる点を含む。

次に、カメラ１１０が既知パターン２３０の画像３３１を取得し（３３０）、パターン２３０の特徴をプロジェクタ１２０の画像座標において測定する。

プロセス３００の最終ステップ３４０において、ホモグラフィ２１１を用いて、画像３３１の座標枠から平坦な表面１３０の座標枠へパターンの特徴を変換する。

平坦な表面１３０上のパターン２３０の特徴の座標、およびプロジェクタの画像平面上のパターン特徴の対応する座標、ならびにプロジェクタの固有パラメータ２２１が与えられると、プロジェクタ１２０の位置および向きが決まる。本手法は、DeMenthon等による「Exact and Approximate Solutions of the Perspective-Three-Point Problem」（IEEE Trans. Pattern Analysis and Machine Intelligence, vol.14, no.11, pp.1100-1105, November 1992）に記載されている方法の一適応形態である。

DeMenthonの方法は、既知座標を有する物理的パターンを観測する、既知の固有パラメータを有するカメラの位置および向きを計算するためのものである。本発明では、その方法を、平面上にパターンを投影しているプロジェクタの場合に適応させ、座標枠が、平面を観測する固定カメラによって、投影パターンに課されている。

３点のみを用いる場合には位置および向きに複数の解があるが、これを処理して一意解を得るためのいくつかの既知の方法がある。例えば、デバイスが時間とともに移動する際の情報を統合することによるものや、３点の代わりに４個以上の点を使用することによるものがある。後者の手法は、投影されているパターンの完全な制御ができるので、システム１００にとって直接的である。システム１００のもう１つの利点として、投影されたパターンを必要に応じて動作中に適応させ、固定カメラ（複数可）にできるだけ良好なビューを提供することができることがある。

ピンホールプロジェクタとしてモデリングされ得るいかなるシステムも、投影を行うのに好適である。例えば、３つの異なる色のレーザポインタにおいて、相異なるビーム方向を有しビームがある同一点で交わる場合、あるいはビームは同一点で交わらないがその非共点条件を考慮に入れるための較正データを有する場合がある。

代替実施形態において、プロジェクタ２１０の固有パラメータ２２１は、システム１００の動作中に求めることができる。この場合、パターン２３０は、プロジェクタ２２０の２つの異なる位置について投影される。この場合におけるパターンに対する最小限の要件は、一般の位置にある４個の異なる点、またはそれと等価なパターンがあることである。

プロジェクタの固有パラメータ
プロジェクタの固有パラメータは以下のように求めることができる。まず、ホモグラフィＨ２１１を用いて、平坦な表面１３０上の投影されたパターン特徴の座標を求める。次に、プロジェクタ１２０の画像平面とプロジェクタの第１位置Ｐ１に対する平坦な表面との間の第１ホモグラフィＧ１を求める。同様に、プロジェクタの第２位置Ｐ２について第２ホモグラフィＧ２を計算する。Ｇ１およびＧ２が与えられれば、Zhangによる「A flexible new technique for camera calibration」（IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000）に記載されているように、プロジェクタ１２０の固有パラメータ２２１を求めることができる。

その技法は、カメラの固有パラメータのために開発されたものであった。しかし、本発明者等はその技法を、プロジェクタの固有パラメータを求めるために適用する。

上記のシステム１００の動作２００は１個の固定カメラ１１０を使用する。プロジェクタ１２０が広い領域にわたって移動しているため、投影されるパターンが１個のカメラの視野の外へ移動する可能性が高い場合、複数の固定カメラを使用し、それぞれが固定した平坦な表面１３０の異なる部分を観測するようにしてもよい。この場合、固定カメラの較正は、各カメラの画像平面と、固定表面１３０の共通座標枠との間の複数のホモグラフィＨ１、Ｈ２等を求めることを必要とする。

また、複数の固定表面を設け、各表面が１つまたは複数の固定カメラによって観測されるようにしてもよい。この場合、プロジェクタ１２０は部屋の内部を移動していてもよく、天井、床、または壁が固定した平坦な表面を提供する。

広角または全方位プロジェクタが広い視野に対して複数の表面上に同時に投影している場合、プロジェクタ１２０の位置および向きをより高い精度で求めるために、すべての投影情報を同時に使用することができる。

実際の一応用形態では、プロジェクタ１２０は、対象物体１６０と固定的な関係にあってもよい。その場合、プロジェクタの位置および向きは、物体１６０の位置および向きを推論するために使用可能である。物体がそれ自身の座標枠を有している場合、プロジェクタと物体をもう１つの較正ステップで較正することができる。

例えば、物体１６０は第２の移動カメラであってもよい。そして、プロジェクタ１２０が、カメラ１６０の位置および向きを追跡することができる。これは、第２カメラ１６０が３Ｄ走査のために使用される場合に有益である。この応用形態では、第２カメラの推論された位置および向きを用いて、走査画像から３Ｄ再構成を求めることができる。

別法として、物体はもう１つのプロジェクタであってもよい。この応用形態では、第２プロジェクタは、第２プロジェクタの推論された位置および向きに従って環境内に画像を投影する。これは、仮想現実シーン、またはアクティブディスプレイ領域を増強するために有益である。

また、物体は道具であってもよく、道具の推論された位置および向きに応じたフィードバックをユーザに提供することができる。例えば、フィードバックは触覚型であってもよい。

もう１つの応用形態において、プロジェクタを物体に取り付けることができる。物体は、２Ｄにおいて移動しており、例えば自動車やロボットである。その場合、位置のみが重要であり、向きは重要でない。

以上、好ましい実施形態の例によって本発明を説明したが、種々の他の適応および変更を本発明の精神および範囲内において行うことができることが理解されるべきである。したがって、添付の請求項の目的は、本発明の真の精神および範囲内に含まれるすべてのそのような変形および変更を包含することである。

本発明による位置・向き読み取りシステムのブロック図である。 本発明による較正プロセスの流れ図である。 本発明による位置・向き読み取り方法の流れ図である。

Claims (25)

1. プロジェクタの位置および向きを求める方法であって、
   前記プロジェクタはピンホールデバイスであり、
   互いに固定した相対位置にあるカメラと平坦な表面との間のホモグラフィを求めること、
   仕様データである既知の固有パラメータならびに未知の位置および向きを有するプロジェクタで、前記平坦な表面上に少なくとも３個の同一直線上にない異なる点を投影して、パターンを形成すること、
   前記カメラで前記パターンの画像を取得し、前記パターンの特徴を前記プロジェクタの画像座標において測定すること、
   前記ホモグラフィおよび前記固有パラメータを用いて、前記画像から測定した前記パターンの特徴を、前記画像の座標枠から前記平坦な表面の座標枠へ変換することにより、前記プロジェクタの位置および向きを求めること
   を含む方法であって、
   前記既知の固有パラメータは、
   前記カメラおよび前記ホモグラフィによって、前記平坦な表面上の前記パターンの特徴の座標を求めること、
   前記プロジェクタの第１位置Ｐ１に対して、前記プロジェクタの画像平面と前記平坦な表面との間の第１ホモグラフィＧ１を求めること、
   前記プロジェクタの第２位置Ｐ２に対して、前記プロジェクタの画像平面と前記平坦な表面との間の第２ホモグラフィＧ２を求めること、
   前記第１および第２ホモグラフィＧ１およびＧ２を用いて前記プロジェクタの前記固有パラメータを求めること
   を含む処理を行って求められるものである方法。
2. 前記パターンは、一般的な位置にある少なくとも４個の異なる点を含み、
   前記プロジェクタの位置および向きを求めている間に、前記プロジェクタの異なる向きに対して既知のパターンの少なくとも２個の投影を形成し、当該少なくとも２個の投影の取得された画像を使用して、前記プロジェクタの前記固有パラメータを較正すること
   をさらに含む請求項１に記載の方法。
3. 前記プロジェクタは全方位型であり、
   全方位パターンを投影すること
   をさらに含む請求項１に記載の方法。
4. 前記プロジェクタは広角型であり、
   広い視野にわたって前記パターンを投影すること
   をさらに含む請求項１に記載の方法。
5. 前記プロジェクタは可視光を使用する請求項１に記載の方法。
6. 前記プロジェクタは赤外線を使用する請求項１に記載の方法。
7. 複数の固定カメラが使用され、それによって、前記投影された既知のパターンの複数の画像を取得する請求項１に記載の方法。
8. 複数の平坦な表面が使用され、各平坦な表面ごとに１個のカメラがある請求項７に記載の方法。
9. 複数の平坦な表面が使用され、各平坦な表面ごとに１個または複数のカメラがある請求項７に記載の方法。
10. 前記平坦な表面は部屋の天井であり、
    前記プロジェクタの複数の位置および向きを求める間、前記部屋内で前記プロジェクタを移動すること
    をさらに含む請求項１に記載の方法。
11. 前記カメラおよび前記プロジェクタは前記平坦な表面の同じ側にある請求項１に記載の方法。
12. 前記平坦な表面は透光性スクリーンであり、前記プロジェクタおよび固定カメラは該透光性スクリーンをはさんで反対側にある請求項１に記載の方法。
13. 前記複数の平坦な表面上に同時に複数の既知のパターンを投影すること、
    すべての前記複数の投影された既知のパターンを同時に使用することによって前記プロジェクタの位置および向きを求めること
    をさらに含む請求項８に記載の方法。
14. 前記プロジェクタを物体に取り付け、該物体の位置および向きを推論するように、前記プロジェクタを使用すること
    をさらに含む請求項１に記載の方法。
15. 前記プロジェクタの位置および向きは、前記物体の位置および向きと既知の物理的関係にある請求項１４に記載の方法。
16. 前記プロジェクタと前記物体の位置および向きの前記物理的関係は較正ステップにおいて較正される請求項１４に記載の方法。
17. 前記物体は第２カメラであり、
    前記第２カメラで走査画像を取得すること、
    前記第２カメラの推論された位置および向きを利用して、前記走査画像からシーンの３Ｄ再構成を求めること
    をさらに含む請求項１４に記載の方法。
18. 前記物体は第２プロジェクタであり、
    前記第２プロジェクタの推論された位置および向きに従って前記第２プロジェクタで画像を投影すること
    をさらに含む請求項１４に記載の方法。
19. 前記物体は道具であり、
    前記道具の推論された位置および向きに依存してフィードバックを提供すること
    をさらに含む請求項１４に記載の方法。
20. 前記物体は車両である請求項１４に記載の方法。
21. 前記物体は人である請求項１４に記載の方法。
22. プロジェクタの位置および向きを求めるシステムであって、
    前記プロジェクタはピンホールデバイスであり、
    平坦な表面と固定した関係を有するカメラと、
    前記カメラと前記平坦な表面との間のホモグラフィを求める手段と、
    前記平坦な表面上に少なくとも３個の同一直線上にない異なる点を投影して、パターンを形成するように構成されて、仕様データである既知の固有パラメータならびに未知の位置および向きを有するプロジェクタと、
    前記ホモグラフィおよび前記固有パラメータならびに前記カメラによって取得された前記パターンの画像を用いて、前記パターンの特徴を前記プロジェクタの画像座標において測定し、測定された前記パターンの特徴を前記画像の座標枠から前記平坦な平面の座標枠へ変換することにより、前記プロジェクタの位置および向きを求める手段と
    を備え、
    前記既知の固有パラメータは、
    前記カメラおよび前記ホモグラフィによって、前記平坦な表面上の前記パターンの特徴の座標を求めること、
    前記プロジェクタの第１位置Ｐ１に対して、前記プロジェクタの画像平面と前記平坦な表面との間の第１ホモグラフィＧ１を求めること、
    前記プロジェクタの第２位置Ｐ２に対して、前記プロジェクタの画像平面と前記平坦な表面との間の第２ホモグラフィＧ２を求めること、
    前記第１および第２ホモグラフィＧ１およびＧ２を用いて前記プロジェクタの前記固有パラメータを求めること
    を含む処理を行って求められるものであるシステム。
23. 前記プロジェクタに取り付けた物体をさらに備え、前記プロジェクタの位置および向きを使用して、前記物体の位置および向きを推論する請求項２２に記載のシステム。
24. 前記プロジェクタの位置および向きは、前記物体の位置および向きと既知の物理的関係にある請求項２３に記載のシステム。
25. 前記プロジェクタと前記物体の位置および向きの前記物理的関係は較正ステップにおいて較正される請求項２３に記載のシステム。

Images