JP2024503224A - 光学追跡システム及び光学追跡システム用マーカー - Google Patents

Abstract

本発明は、ＬＥＤ壁及び／又はＬＥＤ天井及び／又はＬＥＤ床のような少なくとも１つのＬＥＤグリッド３０の近傍に配置される移動可能な物体、好ましくはメインカメラ２０の３Ｄ位置、又は３Ｄ位置及び向きを追跡するための光学追跡システムに関し、物体２０に取り付け可能な光学追跡カメラ１１を含んでいる；光学追跡カメラ１１に近接して配置され、好ましくは光学追跡カメラ１１に取り付けられ、光学追跡カメラ（1）の視野に光を放出するように構成される光源１２；および光学追跡カメラ１１の環境、好ましくはＬＥＤグリッド３０上に配置可能である複数のマーカー１３；ここでマーカー１３は光学追跡カメラ１１にのみ見え、物体、好ましくはメインカメラに見えないように構成される。本発明はさらに、光学追跡システムで使用するためのマーカー１３、および光学追跡システムにおけるマーカー１３の使用に関するものである。

Description

本発明は、請求項１に記載の被写体に係る光学追跡システム、及び、請求項９に記載の被写体に係る光学追跡システムに用いられるマーカーに関する。

物体追跡は、物体の位置及び／又は向きの連続的な判定の活動である。物体追跡は、例えば、工場自動化、自律ロボット移動、自律車両、又は宇宙探査のような多くの産業における重要なタスクである。追跡の対象がカメラである場合、これは、追跡されたカメラからの映像における拡張現実(XR)効果の生成を可能にする。拡張現実は、拡張現実、仮想現実及び複合現実を包含する用語である。このような効果を得るためには、実際のカメラ映像は、レンダリングされた仮想グラフィックスと結合される必要がある。仮想グラフィックスは、実際のカメラ映像と仮想グラフィックスとの組み合わせが矛盾なく見えるように、正しい視点でレンダリングされる必要がある。仮想グラフィックスの正確なレンダリングを確実にするために、カメラ位置や向きを、空間的および時間的に正しく決定する必要がある。

仮想現実の効果は、通常、いわゆるグリーンスクリーンを使用することが多い。これらは、緑色の特定の陰影で均一に覆われた領域である。他の色も使用されているが、緑色が最も一般的である。撮影した映像の中で、特定の背景色の陰影を認識し、他の映像コンテンツに置き換えることができる。これにより、シーンに登場するアクターやオブジェクトの背景として、バーチャルなグラフィックスを挿入することができる。グリーンスクリーンを使用する際の問題は、正確な視点でグラフィックスをレンダリングするだけでなく、実際の映像が仮想グラフィックスと一致するように照明を調整することである。これは、グラフィックスが時間とともに変化している場合に特に困難である。例えば、実際の現実世界の光源が静止しているのに仮想グラフィックス内の光源が移動すると、現実と仮想が融合した映像が不自然に見えてしまう。

これは、質の高い仮想スタジオを製造する際に、グリーンスクリーンよりもＬＥＤウォールが好まれる理由の１つである。ＬＥＤウォールは、多数の個々の発光ダイオード（ＬＥＤ）を格子状に配置したデジタルディスプレイ、すなわちＬＥＤグリッドで構成されている。

ＬＥＤウォールを使ったバーチャルリアリティの演出では、実際のカメラ映像に別途レンダリングした仮想グラフィックスを合成する必要はない。メインカメラが捉えた時点で、仮想グラフィックはすでにメインシーンの中に存在する。そのため、ＬＥＤウォールは、グリーンスクリーンなどに比べて、仮想グラフィックスと実際のアクターやオブジェクトとの一体化をより効果的に行うことができる。

グリーンスクリーンのセットアップにおける別の課題は、「クロマキー」である。これは、撮影された画像の特定の領域に、その領域における特定の緑色の色合いの陰影の価数に基づいて透明度を追加するプロセスである。さらに、背景の緑色の表面から反射した光によってアクターが緑色になる「緑こぼれ」を除去することも、グリーンスクリーンの課題である。
これらの不要な影響を除去するためには、複雑な画像処理が必要となる。

グリーンスクリーンを使用すると、雷雨のシーンや照明の点滅など、仮想グラフィックのダイナミックな照明の変化が、背景でだけ目立つようになる。この背景の前に立つアクターは、仮想グラフィックスに対応した照明効果を体験することができない。ここで、ＬＥＤウォールも好ましい。ＬＥＤウォールに照明効果を表示すると、メインカメラで撮影した映像に手を加えることなく、実際の光をアクターに当てることができ、シーン全体がよりリアルに見える。

近年、ＬＥＤウォールによる拡張現実技術は、最近ルーカスフィルムが大ヒットしたスターウォーズシリーズ「ザ・マンダロリアン」で普及させ、それ以来急速に人気が高まっている。特にCOVID-19の大流行で、映画産業は映画の作り方を見直し、撮影現場の人数を減らすための安全規制に準拠しなければならなくなった。この新しいＸＲ技術は、グリーンスクリーンスタジオに代わる現代的な技術である。

いずれにせよ、ＬＥＤウォールやビデオウォールを用いたバーチャルリアリティの演出において、仮想グラフィックの一貫した描画を可能にするためには、カメラの位置や向きを空間的・時間的に正確に決定する必要がある。

物体の追跡には様々な方法が存在する。例えば、ＧＰＳは物体の位置を追跡することができるが、不正確であり、屋内では使えない。追跡対象物に車輪がある場合、車輪のオドメトリーを使用して、任意の時点における対象物の位置を推定することが可能である。しかし、ホイールオドメトリーはホイールのスリップに敏感で、時間とともに誤差が蓄積されるため、頻繁に再起動が必要である。メカニカルなトラッキングは、満足のいくパフォーマンスを提供できるが、対象物をクレーンのような機械的なサポートに取り付けることが必要である。最後に、光学式トラッキングは、汎用性と精度を兼ね備えている。光学式トラッキングは、物体の位置を追跡する目的で、カメラなどの画像キャプチャデバイスを使用することを意味する。光学式トラッキングに使用されるカメラは、光学式トラッキングカメラと呼ばれる。光学式トラッキングがカメラの位置を追跡するために使用される場合、追跡されるカメラはメインカメラと呼ばれる。

光学式物体追跡は、視覚的特徴に依存している。視覚的特徴とは、トラッキングに使用するために光学式トラッキングカメラで撮影することができる、視覚的に区別できるあらゆる要素のことである。例えば、雲ひとつない晴天の空には、視覚的な特徴はないことがほとんどである。逆に、普通のリビングルームのような環境では、壁の絵、植物、家具など、多くの視覚的特徴が含まれている。視覚的特徴には、自然なものと人工的なものがある。

人工的な視覚的特徴、すなわち、環境の不可欠な部分ではないが、カメラの環境に意図的に配置可能または配置される視覚的特徴は、本開示の文脈では「マーカー」と呼ばれる。マーカーは、光学追跡カメラが光学追跡カメラによって捕捉された画像においてマーカーを検出することができるように、光学追跡カメラの環境において配置可能であり、かつ／または配置される。

視覚的特徴が追跡対象物にあり、光学カメラが静止している場合、これはアウトサイドイン・トラッキングと呼ばれ、一般的にモーションキャプチャに使用される。一方、視覚的特徴が環境中にあり、静止している状態で、光学追跡カメラが追跡対象物に取り付けられている場合、これはインサイド・アウト・トラッキングと呼ばれる。

インサイド・アウト・トラッキングを使用すると、視覚的特徴は光学追跡カメラの環境内に配置される。光学トラッキングに適した視覚的特徴は、時に特定の外観を持ち、かつ、非常に顕著でなければならない。そのため、メインカメラで撮影されるメインシーンでは好ましくない場合がある。例えば、ビデオウォール、グリーンスクリーン、ＬＥＤグリッドなどを広範囲に使用したメインシーンが挙げられる。インサイドアウト光学追跡は、ビデオやＬＥＤグリッドで観察される視覚的特徴に頼ることができないが、そのような視覚的特徴は永続的ではないためである。

別の例としては、グリーンスクリーンスタジオのような一様に着色された領域で主に構成されるメインシーンがある。このようなアプリケーションシナリオでは、光学追跡のために使用される視覚的特徴が、メインカメラによって撮影されたビデオに現れないことが望ましいとされる。これは通常、光学追跡カメラとメインカメラを異なる方向に向けることで実現される。メインカメラはメインシーンを撮影し、光学追跡カメラは、特に適切な視覚的特徴を含むいくつかの他の領域を撮影する。この方法では、メインシーンが光学追跡カメラに適した視覚的特徴を含んでいる必要はない。

しかし、状況によっては、メインシーン内に光学式トラッキングに適した視覚的特徴を持たせることが必須となる場合がある。これは、メインシーンがカメラの環境の大部分を占めているか、メインシーンの外側のカメラの環境が視覚的特徴を含むのに適していないことが原因である。

業界では、ＬＥＤウォールと天井からなる環境にマーカーを設置する必要があるインサイドアウト型のカメラトラッキングシステムの使用を避けてきた。これは、ＬＥＤウォールにマーカーを設置すると、少なくとも個々のＬＥＤからの光を遮るため、マーカーが見えてしまうからである。従って、このような状況では、追跡のために環境内のマーカーや視覚的特徴を必要としないアウトサイド・イン・カメラ追跡システムが好ましい選択肢となっている。しかし、このようなシステムでは、静的な光学追跡カメラも環境中に見えることがあり、これは望ましくない。そこで、このような欠点を克服するシステムが必要とされている。

以上のことから、本発明の目的は、先行技術に存在する欠点を克服するための解決策、特に、ＬＥＤグリッドが使用される環境において、光学追跡システムを用いて物体の位置及び／又は向きを追跡する際の解決策を提供することである。

上記目的は、請求項１の主題による光学追跡システム、および請求項９の主題による光学追跡システムで使用するためのマーカーによって解決される。本発明の好ましい実施形態は、従属請求項の主題によって定義される。

特に、この問題は、ＬＥＤ壁及び／又はＬＥＤ天井及び／又はＬＥＤ床のような少なくとも１つのＬＥＤグリッドの近傍に位置する移動可能な物体、好ましくはメインカメラの３Ｄ位置、又は３Ｄ位置及び向きを追跡するための光学追跡システムであって、以下を備えることによって解決される：
・対象物に取り付け可能な光学追跡カメラ；
・光学追跡カメラに近接して配置され、好ましくは光学追跡カメラに取り付けられ、光学追跡カメラの光軸の視野内に光を放出するように構成される光源と
・光学追跡カメラの環境、好ましくはＬＥＤグリッド上に配置可能かつ／または配置される複数のマーカー
ここで、マーカーは、光学追跡カメラにのみ見え、対象物、好ましくはメインカメラには見えないように構成される。

本発明の重要な側面は、メインカメラによって撮影されるメインシーンにマーカーを配置しても、マーカーが光学追跡カメラにのみ見え、メインカメラなどの追跡されるオブジェクトには実質的に見えないままであることが保証されていれば、メインシーンの外観に悪影響を及ぼさないという認識に基づいている。本発明による光学追跡システムにより、対象物またはメインカメラの光学追跡は、インサイドアウトカメラ追跡システムの使用により可能であり、一方、マーカーはメインシーンにおいて邪魔にならないようにすることができる。

光学追跡カメラの近傍に光源を設置し、光学追跡カメラの視野に光を照射するように光源を構成することで、光学追跡カメラに対するマーカーの視認性を確保する。光源は、光学追跡システムにマーカーを照射することができるが、メインカメラにはマーカーを視認できるような専用の光源が装備されていない。

本開示の文脈では、ＬＥＤグリッドは、例えば、ＬＥＤ壁、ＬＥＤ天井またはＬＥＤ床のような、規則的に配置されたＬＥＤの拡張領域として理解されるべきである。ＬＥＤグリッドの個々のＬＥＤは、時間とともに輝度、明るさ、および／または色が変化するように制御されることがあるため、ＬＥＤグリッド上の空間的に固定された位置の検出は不可能であるため、ＬＥＤグリッドは、本質的に、永続的で顕著な視覚特性を有さない。

本発明によれば、光学追跡カメラの環境に配置可能または配置されるマーカーは、光学追跡カメラに可視であるように構成される。本発明の文脈では、マーカーは、光学追跡カメラによって捕捉された画像におけるそのピクセル位置が決定され得る場合、光学追跡カメラに対して可視であると見なされる。逆に、本開示の文脈では、マーカーは、キャプチャされた画像におけるその外観が決定できない場合、または、メインカメラによってキャプチャされる画像におけるその外観が、メインカメラによってキャプチャされるメインシーンの視覚コンテンツに関して邪魔にならないほど目立たない場合、追跡されるオブジェクト、特にメインカメラに対して見えないまたは見えないものと理解される。

実際の追跡は、光学追跡カメラに見えるマーカーの視覚的表現を含む、光学追跡カメラによって撮影された画像の分析によって行われる。このため、光学追跡カメラまたは光学追跡カメラに接続された測位システムは、光学追跡カメラによって撮影された画像を分析し、撮影された画像内の視覚的特徴の位置を検出する。

光学式トラッキングカメラとしてデジタルカメラを使用すると、撮影された画像は基本的にピクセルで構成されるラスター画像となる。マーカーが画像に写り込んでいる場合、それは通常、１ピクセル以上にまたがる。光学追跡システムは、視覚的特徴と環境の残りの部分との間で、キャプチャされた画像における区切りを実行するように構成されている。光学追跡システムは、画像内で、そのすぐ近くの環境に著しいコントラストを含む画素を検出する。

これらの高コントラストの領域に基づいて、明暗の境界を表す明るさの閾値が計算されることがある。計算された閾値は、次に、光学追跡カメラの画像に捕らえられたマーカーの表現を構成するものとして考慮されるべき画素を正確に特定するために使用されることがある。要求された画素のセットが特定されると、光学追跡システムは、撮影された画像内のマーカーの視覚的特徴表現の正確な位置の算出に進むことができる。

この情報に基づいて、光学追跡カメラの３Ｄ位置および／または向き、ひいては光学追跡カメラに取り付けられた物体の３Ｄ位置および／または向きを、ＳＬＡＭ（Simultaneous Localization and Mapping）アルゴリズムなどの適切で既知のアルゴリズムの使用により決定することができる。ＳＬＡＭは、光学追跡法の文献でよく知られた技術である。このアプローチでは、光学追跡システムは、当初未知であった周囲のマップを構築および／または更新し、同時に周囲内の位置を追跡し続ける。

この方法では、光学追跡システムは、光学追跡カメラで撮影された周囲の視覚的特徴やマーカーを自動的に検出し、検出された視覚的特徴やマーカーの３Ｄ位置の情報を含む３Ｄモデルに決定して保存する。そして、これらの記憶された３次元位置を用いて、光学式追跡カメラの位置を迅速に決定することができる。３Ｄモデルは、例えば、標準的な「Structure from Motion」技術の使用により作成することができる。

この分野でＳＬＡＭアルゴリズムの実装を記述した代表的な作品に、Andrew J. Davisonが2003年に発表したものがある： 「Real-Time Simultaneous Localisation and Mapping with a Single Camera" (DOI: 10.1109/ICCV.2003.1238654)。さらに、H. Durrant Whyte e.a., "Simultaneous localization and mapping: part I" (DOI: 10.1109/MRA.2006.1638022) および T. Bailey, "Simultaneous localization and mapping (SLAM): part II" (DOI: 10.1109/MRA.2006.1678144) が参考になるであろう。

本発明の焦点は、実際の追跡アルゴリズムの計算上の詳細ではなく、既知のインサイドアウト定位アルゴリズムの使用を可能にする空間的に固定された視覚的特徴を提供することが不可能なため、インサイドアウト追跡には本質的に不向きと考えられてきた環境において、既知の光学ベースのインサイドアウト定位アルゴリズムを使用できる光学追跡システムの物理構成にあることが理解されるであろう。光学追跡システムに、光学追跡システムにのみ見えるが、それ以外は検出されない、配置可能なマーカーを提供することにより、ＬＥＤグリッドの存在などのシナリオでインサイドアウト追跡方法を使用できない先行技術のソリューションの欠点を克服することができる。

好ましい実施形態によれば、光源は、光学追跡カメラの露光時間の間だけ光を発するように、光学追跡カメラと同期して光を発するように構成される。これにより、メインカメラに対するマーカーの視認性がさらに低下する一方で、光学追跡カメラの露光時間中にのみマーカーが照明され、光学追跡カメラの露光時間中に高い視認性が得られるため、光学カメラに対するマーカーの高い視認性を確保できる。

光学追跡カメラが、光学追跡カメラの光学撮像系に近接して配置される光源を備え、光源が、光学追跡カメラの見る方向に光を放出するように構成されることが好ましい。これにより、マーカーを視認するために、光源によって光学追跡カメラの視野が十分に照らされることが保証され得る。

光源が、光波長スペクトルの近赤外および／または赤外部分の光を放出するように構成されていることは、さらに好ましいことである。近赤外光又は赤外光は、人間の目にはほとんど見えないか又は見えない。また、メインカメラにはほとんど見えないので、これは有益である。したがって、近赤外光または赤外光によるマーカーの照射は、メインカメラに対するマーカーの視認性を高めるものではなく、光学追跡カメラに対するマーカーの視認性を高めるのに役立つだけである。この場合、光学追跡カメラが、近赤外線及び／又は赤外光に対して高い感度を有するように構成されていることがさらに好ましい。これは、光学追跡カメラにInGaAsやCMOSセンサーなどの適切なイメージセンサを使用することで実現できる。

さらに好ましい実施形態によれば、光源は、光学追跡カメラが最も反応する波長範囲、好ましくは４５０ｎｍから６５０ｎｍの間の波長範囲の光を放出するように構成される。この場合、光学追跡カメラが、非常に短い露光時間、好ましくは１ｍｓ未満の露光時間で画像をキャプチャするように構成されていることがさらに好ましい。この場合、光源が、光学追跡カメラの露光時間の間だけ光を発するように構成されていることが、さらに好ましい。

光学追跡カメラのメインシーンの他の構成要素と比較してマーカーの視認性をさらに高めるために、光学追跡カメラは、光源が発する波長周辺の波長帯を除くすべての波長の光を減衰または遮断するように構成された光学フィルタを含むことが好ましい。

光学追跡カメラ及び／又は光源が、光学追跡カメラの露光時間（及び光源が光を発する対応する時間間隔）がメインカメラの露光時間と時間的に小さく重なるように、又は好ましくは、光学追跡カメラの露光時間（及び光源が光を発する対応する時間間隔）がメインカメラの露光時間と時間的に重ならないようにメインカメラと同期可能に構成されることが更に好ましい。

光学追跡カメラは、メインカメラに取り付けられ、メインカメラと同じ方向に向けられることがある。短い露光時間と高感度イメージセンサを使用する光学式トラッキングカメラと、光学式トラッキングカメラの露光時間に同期した光源を組み合わせれば、光源がメインシーンに向かって発光しても、非常に目立たないようにすることができる。

好ましい実施形態によれば、マーカーは、平面形状を有し、入射光を入射方向に反射するように構成された再帰性反射領域を備える。好ましくは、マーカーの表面全体または表面の９０％以上の部分が再帰反射性を有する。これにより、光源のエネルギー使用量が最適化され、光学追跡カメラとは異なる位置にいる観察者にマーカーが目立ちにくくなる。

マーカーに再帰性反射材が使用され、光源が使用され、光学追跡カメラの近傍に配置される場合、光学追跡カメラによって取り込まれる画像は、光学追跡システムの光源によって放射される入射光の指向性消極性によって、取り込まれた画像におけるマーカーの顕著性を高めるマーカーの再帰性反射性に起因して、著しいコントラストの部分を含むことが予測される。したがって、逆反射マーカーは、光学追跡カメラによって撮影された画像において、環境の他の部分よりも著しく明るく見えることになる。コントラストは、光学追跡カメラの短い露光時間や光学バンドパスフィルタの使用により、さらに強調されることがある。

複数のマーカーの少なくとも一部が穴を有し、ＬＥＤグリッドのＬＥＤがマーカーの穴の後ろ又は中に配置されるようにＬＥＤグリッドに取り付け可能に構成されることがさらに好ましい。これにより、メインシーンを遮ることなく観察するために不可欠なＬＥＤグリッドの動作を妨げることなく、ＬＥＤグリッドにマーカーを簡単に配置することができる。

さらなる好ましい実施形態によれば、マーカーは複数の穴を有し、穴のサイズおよび穴の間の距離は、ＬＥＤ壁上のＬＥＤのサイズおよび距離に対応する。これにより、ＬＥＤウォール上のＬＥＤの密度が高い場合に、マーカーを壁に取り付ける可能性が確保される。このような場合、１つのＬＥＤのみを囲むマーカーは小さすぎて光学追跡カメラで認識できないことがあるので、複数のＬＥＤにまたがる複数の穴を有するマーカーが好ましいと考えられる。

驚くべきことに、このようなマーカーは、メインカメラには実質的に見えないが、対応する光源を持つ光学追跡カメラには非常に目立つことが判明している。これは、メインカメラがＬＥＤグリッドの光によって支配的に定義された画像を撮影している一方で、メインカメラのレンズ内でＬＥＤグリッドの個々のＬＥＤによって生じるグレアが、ＬＥＤ間の空間を埋めているためである。ピアスマーカー、すなわち穴からなるマーカーを使用することにより、光学追跡カメラによって遠くから見えるが、それでもメインカメラからは完全に見えない、十分に大きなマーカーを提供することが可能である。

マーカーの穴は、マーカーを貫通させることによって、またはマーカーの穴を彫り抜くことによって製造することができる。好ましくは、マーカーの穴の製造は、穴の中に配置されたＬＥＤからの光が依然として広い角度で、すなわちＬＥＤグリッドの表面から直交するだけでなく、放射され得るような方法で実施される。

さらに好ましい実施形態によれば、マーカーは、長方形、正方形、円形、楕円形、多角形または星形などの特徴的な形状を有する。個々のマーカーに特徴的な形状を用いることで、マーカーを効率的に識別することができる。この文脈では、異なるマーカー間の区別を容易にするために、複数のマーカーが異なる、区別可能な特徴的な形状を含んでいる場合が好ましい。

マーカーは、特定の色、好ましくはＬＥＤグリッドの背景色と一致する色を有することがさらに好ましい。これにより、メインカメラに対するマーカーの視認性をさらに低下させることができる。特に、ＬＥＤグリッドと組み合わせて使用する場合、マーカーの色をＬＥＤグリッドの背景色と一致させることが好ましい。これにより、特にマーカーの表面が再帰反射領域からなる場合、光学追跡カメラに対する視認性を維持しつつ、メインカメラに対するマーカーの視認性をさらに低下させることができる。

本発明の目的は、さらに、前記請求項のいずれかに記載の光学追跡システムに使用するためのマーカーであって、平面形状を有し、入射光を入射方向に反射するように構成された再帰反射領域を含むマーカーによって解決される。

このようなマーカーは、ＬＥＤグリッドの近傍に位置する物体の３Ｄ位置及び／又は姿勢を追跡する光学追跡システムでの使用に特に適している。このようなマーカーは、上記のような本発明の光学追跡システムと共に使用される場合、光学追跡カメラからは同時に見えるが、メインカメラのような追跡される対象物からは実質的に見えない。

本発明のマーカーで達成される技術的利点は、上述した光学追跡システムで達成されるものに対応する。本発明の光学追跡システムの文脈で説明した側面、特徴および利点は、本発明のマーカーにも適用可能であり、その逆もまた同様である。

好ましくは、マーカーは、１つ以上の穴からなり、ＬＥＤグリッドのＬＥＤがマーカーの穴の後ろまたは中に配置されるように、ＬＥＤグリッドに取り付け可能であるように構成される。これにより、マーカーによって覆われるＬＥＤグリッドのＬＥＤからの光が依然としてマーカーを通過できるように、ＬＥＤグリッド上にマーカーを配置することができる。これにより、マーカーはＬＥＤグリッドとシームレスに調和し、ＬＥＤグリッドの外観に与える影響を最小限に抑えることができる。

穴はマーカー全体を通して延びていてもよい。あるいは、マーカーは、好ましくは再帰反射層と１つ以上の透明な層とを含む複数の層から構成されてもよい。この場合、穴はマーカーの全層を貫通せず、再帰反射層などのマーカーの非透明層のみを貫通することができる。穴は、ＬＥＤグリッドのＬＥＤが穴の後ろに配置可能であるように配置され、ＬＥＤが１つまたは複数の非透過層の穴を通って、透明層を通して光を放出することができるようにするためである。

その際、マーカーが、透明な層と非透明な層からなる複数の層からなり、非透明な層が穴を有し、ＬＥＤグリッドのＬＥＤがマーカーの穴の後ろに位置するようなＬＥＤグリッドにマーカーが取り付け可能であるように構成および配置されることが好ましいと考えられる。

マーカーが、長方形、正方形、円形、楕円形、多角形、星形などの特徴的な形状を有することがさらに好ましい。上記のように、特徴的な形状を有することにより、マーカーを効率的に識別することができる。

さらに好ましくは、マーカーは特定の色、好ましくはＬＥＤグリッドの背景色に一致する色を有する。これにより、メインシーンの背景へのマーカーの視覚的統合をより良くすることができる。
本発明はさらに、光学追跡システム、特に上述のような光学追跡システムにおける上述のようなマーカーまたは複数のマーカーの使用にも関する。

本発明の光学追跡システム及びマーカーで達成可能な技術的利点は、上述した光学追跡システムにおけるマーカーの使用で達成されるものに対応する。本発明の光学追跡システムおよび本発明のマーカーの文脈で説明した側面、特徴および利点は、マーカーの本発明の使用にも適用可能であり、その逆もまた同様である。
本発明の上記およびさらなる特徴および利点は、添付の図面を参照した本発明の好ましい実施形態の以下の詳細な説明からより容易に明らかになるであろう、

ＬＥＤ壁を含む環境においてメインカメラのトラッキングを可能とする、本発明の実施形態に係る光学トラッキングシステムの概略構成図である。 本発明の一実施形態に係る光学式トラッキングシステムの光学式トラッキングカメラ及び光源を示す模式図である。 本発明の実施形態に係る光学式追尾装置の光学式追尾カメラ及び光源の更なる構成を示す模式図である。 本発明の実施形態に係るマーカー付きＬＥＤウォールの一部を示す概略図である。 本発明の実施形態に係るマーカーを取り付けたＬＥＤ壁の一部を示す概略側面図である。

図１は、メインカメラ等の物体の３次元位置及び／又は姿勢を追跡するための、本発明の一実施形態による光学追跡システムの概略図である。光学追跡システムは、光学追跡カメラ１１と、光学追跡カメラ１１に取り付けられる光源１２とから構成される。光学追跡カメラ１１は、３次元の位置及び／又は向きを追跡したいメインカメラ２０に取り付けられる。光学追跡カメラ１１は、メインカメラ２０に取り付けられる。光学追跡カメラ１１は、メインカメラ２０と本質的に同じ方向を向くように配置される。

メインカメラ２０及び光学追跡カメラ１１の両方は、格子状に配置された多数のＬＥＤ３１からなるＬＥＤウォール３０に向けられる。図１に描かれ、以下に説明される例示的な実施形態では、ＬＥＤウォール３０は、ＬＥＤグリッドの例示的な表現である。ＬＥＤグリッドは、ＬＥＤ壁、ＬＥＤ天井、ＬＥＤ床、前者の任意の組み合わせ、またはメインカメラ２０などの追跡可能な物体によって観察または撮影される主要シーンの主要部分を構成するかなりの空間的範囲のＬＥＤ３１のグリッドの別の配置によって構成されてもよいことが理解されよう。光学追跡システムは、メインカメラ２０の３Ｄ位置及び／又は向きを追跡するように構成される。このために、光学追跡カメラ１１は、光学追跡システムによって解析され、メインカメラ２０の３Ｄ位置及び／又は向きを決定する画像を取り込む。この決定を可能にするために、光学追跡カメラ１１の環境は、時間と共に移動しない静止した視覚的特徴を含んでいる必要がある。このような視覚的特徴は、ローカライゼーションアルゴリズムのランドマークとして機能する。ＬＥＤグリッドの場合、光学追跡システムで利用できるような静止した視覚的特徴はなく、個々のＬＥＤ３１の色や明るさは時間と共に変化する可能性があるため、容易に利用できない。

このため、本発明による光学追跡システムは、光学追跡カメラ１１の視野に光を照射するように構成された光源１２と、ＬＥＤウォール３０上に配置可能なマーカー１３との組み合わせを利用する。図１は、ＬＥＤウォール３０上の１０個のマーカー１３を模式的に示している。マーカー１３は、光源１２を介した照明により光学追跡カメラ１１に視認される一方、メインカメラ２０にはほとんど視認されないように構成される。

図２は、本発明の実施形態による光学追跡カメラ１１と光源１２を模式的に示す図である。光源１２が常に光学追跡カメラ１１の視野内に発光するように配置されるように、光源１２は光学追跡カメラ１１に取り付けられる。

図３は、本発明の他の実施形態に係る光学追跡カメラ１１及び光源１２を模式的に示す図である。光源１２は、発光ダイオードなどの複数の光源ユニット１２ａによって構成されており、光学追跡カメラ１１のレンズ１１ａの周囲に配置されるリングライトとして構成される。本実施形態では、光源１２が常に光学追跡カメラ１１の光軸方向、ひいては光学追跡カメラ１１の視野内に光を照射することを確保し得る。

光源１２は、赤外光または近赤外光を放射するように構成されていてもよい。この場合、光学追跡カメラ１１は、光源１２によって放射される光のスペクトル範囲において十分な感度を有する適切なイメージセンサを備えている。さらに、光学追跡カメラ１１は、光源１２のスペクトル範囲の光を透過し、他のスペクトル範囲の光を遮断するように構成された１つまたは複数の光学フィルタ、好ましくはバンドパスフィルタを含んでいてもよい。あるいは、光源１２は、光学追跡カメラ１１のイメージセンサが最も感度を有するスペクトル範囲の光を放射するように構成されてもよい。

光学トラッキングシステムがメインカメラ２０の動作に与える影響をできるだけ低減し、過熱を防止してエネルギーを節約するために、光源１２は連続的に発光しないことが好ましい。むしろ、光源１２は、短い時間帯にのみ光を点滅させるように構成される。好ましくは、光源１２は、光源１２が光学追跡カメラ１１の露光時間の間だけ光を発するように、光学追跡カメラ１１に同期される。これにより、光学追跡カメラ１１の動作のために周囲が適切に照明される一方、メインカメラ２０の動作への影響が最小限に抑えられる。さらに好ましくは、光学追跡システムは、光学追跡カメラ１１の露光時間（したがって、光源１２が光を発する時間間隔）がメインカメラ２０の露光時間と実質的に重ならない、または全く重ならないように、メインカメラ２０に同期される。この場合、メインカメラ２０の動作は、光源１２の発光によってほとんど全く影響を受けない。

ＬＥＤウォール３０へのマーカー１３の取り付けを容易にする一方で、マーカー１３がＬＥＤウォール３０の動作に与える影響を最小限に抑え、メインカメラ２０に対する視認性を可能な限り低減するために、マーカー１３は、好ましくは実質的に平面的な形状を有する。マーカー１３は、板状の物体または箔の形態で提供され得る。好ましくは、マーカー１３は、ＬＥＤウォール３０への取り付けを容易にするために、自己粘着性の裏面を備えている。

光学追跡カメラ１１に対するマーカー１３の視認性を高めるために、マーカー１３は、入射した光を入射方向に反射するように構成された再帰性反射領域を構成することが好ましい。好ましくは、装着後にＬＥＤウォール３０から離れる方向を向くマーカー１３の前面側が、再帰反射領域を構成する。マーカー１３の前面の大部分が再帰反射性を有するように構成されていることが好ましく、例えば、マーカー１３の前面の面積の９０％以上が再帰反射性を有するように構成されていることが好ましい。再帰反射性は、マーカー１３の表面をキャットアイ状に成形することにより、あるいは、マーカー１３の表面に再帰反射膜を塗布することにより達成することができる。

再帰反射性を有するマーカー１３は、入射した光を入射方向に反射させるという利点を有する。上述のような光学追跡システムと共に使用される場合、光源１２によって放射された光は、マーカー１３によって光源１２の方向、ひいては光学追跡カメラ１１の方向に反射し返される。従って、マーカー１３の視認性が大幅に向上する。これにより、光学追跡カメラ１１の露光時間や光源１２の照射時間を短縮することができる。したがって、光学追跡システムがメインカメラ２０の動作に与える影響をさらに低減することができる。なお、メインカメラ２０は専用の光源を備えていないため、マーカー１３はメインカメラ２０からは見えない。上記のように光学追跡システムがメインカメラ２０に同期している場合、メインカメラ２０の露光時間中はマーカー１３が照射されないので、マーカー１３はメインカメラ２０から見えないままとなる。

ＬＥＤウォール３０へのマーカーの取り付けを容易にするために、マーカー１３は、マーカー１３をＬＥＤウォール３０に取り付けたときにＬＥＤウォール３０のＬＥＤ３１が穴の中に位置するように配置された穴からなる。これにより、ＬＥＤウォール３０にマーカー１３を目立たなく配置することが容易になる。図４ａ～図４ｃは、マーカー１３が配置されたＬＥＤ３１が格子状に配置されたＬＥＤウォール３０の断面を模式的に示している。

図４ａ及び図４ｂに示すマーカー１３は、マーカーをＬＥＤウォール３０に取り付けたときに、１つのＬＥＤ３１を収容する１つの穴のみからなる。マーカー１３は、ハッチングで示される再帰反射面を有する。光学トラッキングシステム用の個々のマーカー１３の識別を容易にするために、特徴的な形状を有するマーカー１３が使用されることが好ましい。図４ａ及び図４ｂは、特徴的な大きさ、すなわち円形、楕円形、長方形及び星形を有するマーカー１３の異なる実施形態を示す。なお、マーカーはそれらの形状に限定されるものではなく、多角形や不定形な形状を備えていてもよい。

ＬＥＤ３１の密度が高いＬＥＤウォール３０の場合、１つの穴だけでは光学追跡カメラ１１で認識できる程度の大きさのマーカー１３を設けることができない場合がある。この場合、マーカー１３は、ＬＥＤウォール３０上のＬＥＤ３１の距離およびサイズに一致するような距離およびサイズに構成された複数の穴からなる。図４ｃは、ＬＥＤ３１の密度がより高いＬＥＤウォール３０に使用され得る複数の穴を有するマーカー１３の異なる実施形態を模式的に示している。マーカー１３の形状は特に限定されず、また、穴の数も限定されない。図４ｃに示す例では、左側のマーカー１３は９個の穴を有する四角形状であり、中央のマーカー１３は４個の穴を有する円形状であり、右側のマーカー１３は５個の穴を有するクロス形状である。

好ましくは、マーカー１３の前面の色は、ＬＥＤウォール３０の背景色に対応するように選択される。これにより、マーカー１３は、直接照明されていないときには実質的に見えないことが保証される。

マーカー１３の穴は、マーカー１３が十分に薄いものであれば、ピアシングで作成してもよい。あるいは、マーカー１３がプラスチック材料などの固形材料からなり、十分な厚みを有していれば、マーカー１３から穴を削り出してもよい。穴の構成は、図５ａ～図５ｃに模式的に示すように、マーカーの厚みやＬＥＤウォール３０上のＬＥＤ３１の配置に合わせることが望ましい。

図５ａは、ＬＥＤウォール３０に取り付けられた３つのＬＥＤ３１及びマーカー１３を有するＬＥＤウォール３０の小さな部分を断面で模式的に示す図である。図５ａのＬＥＤ３１は、大きな空間的広がりを有し、ＬＥＤウォール３０から実質的に突出している。マーカー１３は非常に薄いので、マーカー１３は取り付け後にＬＥＤ３１の後ろに実質的に配置される。この構成により、マーカー１３は、ＬＥＤ３１、特にマーカー３１の穴に位置するＬＥＤ３１の動作に影響を与えない。この場合、マーカー１３の穴は、マーカー１３をプレス加工またはピアス加工することにより設けることができる。これまでの説明と同様に、再帰性反射材はハッチングで示されている。

図５ｂは、ＬＥＤ３１がＬＥＤウォール３０から実質的に突出せず、ＬＥＤウォール３０の表面近くに形成されているＬＥＤウォール３０の別の構成を模式的に示している。図５ｂのマーカー１３は、再び非常に薄いものである。マーカー１３の表面は、ＬＥＤ３１の先端と同じ距離にＬＥＤウォール３０からあり、マーカー１３の存在がマーカーの近傍のＬＥＤ３１の発光を実質的に妨げないようになっている。

図５ｃは、ＬＥＤウォール３０の表面から実質的に突出しないＬＥＤ３１を有するＬＥＤウォール３０に、厚いマーカー１３を使用する構成を示す。この場合、ピアシングやスタンピングによってマーカー１３に穴を作ることは好都合ではない。むしろ、マーカー１３の穴は、マーカー１３の厚み方向に穴の直径が大きくなるように、彫り込まれることが望ましい。マーカー１３の裏面において、穴の直径は、ＬＥＤウォール３０に設けられたＬＥＤ３１の直径に対応しており、穴の中にＬＥＤ３１が配置された状態でマーカー１３をＬＥＤウォール３０に配置することができる。マーカー１３の前面に向かって、穴の直径は、マーカー１３がマーカーの穴に位置するＬＥＤ３１を妨げないように、大きくなる。

図５ａ～図５ｃでは、本質的に１つの非透明な再帰反射層からなるマーカーを示した。マーカーはまた、透明な層を含む複数の層から構成することもできる。図５ｄは、穴を有する再帰反射層（ハッチングされた領域で示される）と透明層１３ａからなるマーカー１３を示す。穴は、マーカー１３の非透明層のみを貫通している。透明層１３ａは、穴を含まない。マーカー１３は、非透明層の穴が、ＬＥＤ３１が非透明層の穴の背後に位置するようなマーカー１３の配置を可能にする大きさと距離を有するように構成される。ＬＥＤは、透明層１３ａおよび非透明層の穴を通して、破線で示すように、広い角度で光を照射することができる。このようなマーカー１３の構成により、マーカー１３の非透明層の穴の奥に位置するＬＥＤ３１の発光を妨げることなく、マーカー１３をＬＥＤ３１の上に直接置くことができるので、マーカー１３をＬＥＤウォール３０に簡単に配置することができる。

マーカー１３が製造される材料は、特に限定されない。マーカー１３がキャットアイ面を有するように構成される場合、マーカー１３を合成樹脂またはポリマー材料から製造することが好ましい場合がある。また、マーカー１３は、一方の表面に再帰反射材が設けられ、他方の表面に自己粘着性コーティングが施された箔またはフィルムの形態で提供されることもある。

１１ 光学追跡カメラ
１１ａ レンズ
１２ 光源
１２ａ 光源ユニット
１３ マーカー
１３ａ 透明層
２０ メインカメラ
３０ ＬＥＤウォール
３１ ＬＥＤ

Claims (13)

1. ＬＥＤ壁および／またはＬＥＤ天井および／またはＬＥＤ床などの少なくとも１つのＬＥＤグリッド（３０）の近傍に位置する、移動物体、好ましくはメインカメラ（２０）の３Ｄ位置または３Ｄ位置および向きを追跡するための光学追跡システムであって、
   前記オブジェクト（２０）に取り付け可能な光学追跡カメラ（１１）と、
   光学追跡カメラ（１１）に近接して配置され、好ましくは光学追跡カメラ（１１）に取り付けられ、光学追跡カメラ（１１）の視野内に光を放射するように構成された光源（１２）と、
   光学追跡カメラ（１１）の環境内、好ましくはＬＥＤグリッド（３０）上に配置可能な複数のマーカー（１３）とを有し、
   前記マーカー（１３）は、光学追跡カメラ（１１）にのみ見えるように構成され、物体、好ましくは前記メインカメラには見えないように構成されている、ことを特徴とする光学追跡システム。
2. 前記光源（１２）は、前記光学追跡カメラ（１１）の露光時間の間だけ前記光源（１２）のみが発光するように、前記光学追跡カメラ（１１）と同期して発光するように構成されている、請求項１に記載の光学追跡システム。
3. 前記光源（１２）は、光波長スペクトルの近赤外及び／又は赤外部分の光を出射するように構成されている、請求項１又は２に記載の光学追跡システム。
4. 前記光源（１２）は、前記光学追跡カメラ（１１）が最も応答する波長範囲、好ましくは４５０ｎｍ－６５０ｎｍの波長範囲の光を放射するように構成されている、請求項１又は２に記載の光学追跡システム
5. 前記マーカー（１３）は、平面形状を有し、入射光を入射方向に反射するように構成された再帰反射領域を備える、請求項１ないし４のいずれかに記載の光学追跡システム。
6. 複数のマーカー（１３）の少なくともいくつかは穴を有し、ＬＥＤグリッド（３０）のＬＥＤ（３１）がマーカー（１３）の穴の後ろまたは中に位置するように、ＬＥＤグリッド（３０）に取り付け可能に構成されている、請求項１ないし５のいずれかに記載の光学追跡システム。
7. 前記マーカー（１３）は、長方形、正方形、円形、楕円形、多角形、または星形などの特徴的な形状を有する、請求項１ないし６のいずれかに記載の光学追跡システム。
8. 前記マーカー（１３）は、特定の色、好ましくは前記ＬＥＤグリッド（３０）の背景色と一致する色を有する、請求項１ないし７のいずれかに記載の光学追跡システム。
9. 平面形状を有し、入射光を前記入射方向に反射するように構成された再帰反射領域を備える、請求項１ないし８のいずれかに記載の光学追跡システムで使用するためのマーカー（１３）。
10. １つ以上の穴を備え、ＬＥＤグリッド（３０）のＬＥＤ（３１）がマーカー（１３）の穴の背後または穴の中に位置するように、ＬＥＤグリッド（３０）に取り付け可能に構成される、請求項９に記載のマーカー（１３）。
11. 矩形、正方形、円形、楕円形、多角形、星形などの特徴的な形状を有する、請求項９又は１０に記載のマーカー（１３）。
12. 特定の色、好ましくはＬＥＤグリッド（３０）の背景色と一致する色を有する、請求項９ないし１１のいずれかに記載のマーカー（１３）。
13. 光学追跡システムにおける請求項９ないし１２のいずれかに記載のマーカー（１３）の使用、好ましくは、請求項１ないし８のいずれかに記載の光学的位置決めシステム。

Images