JP5085878B2 - コードレスデバイスを使用した向き判定 - Google Patents

コードレスデバイスを使用した向き判定 Download PDF

Info

Publication number
JP5085878B2
JP5085878B2 JP2006112233A JP2006112233A JP5085878B2 JP 5085878 B2 JP5085878 B2 JP 5085878B2 JP 2006112233 A JP2006112233 A JP 2006112233A JP 2006112233 A JP2006112233 A JP 2006112233A JP 5085878 B2 JP5085878 B2 JP 5085878B2
Authority
JP
Japan
Prior art keywords
image data
retroreflector
image
orientation
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006112233A
Other languages
English (en)
Other versions
JP2006302279A (ja
JP2006302279A5 (ja
Inventor
ジュリー・イー・フォケット
リチャード・アール・ヘイブン
ダニエル・ユシコフ
ジョン・ステワート・ウェンストランド
Original Assignee
アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド filed Critical アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド
Publication of JP2006302279A publication Critical patent/JP2006302279A/ja
Publication of JP2006302279A5 publication Critical patent/JP2006302279A5/ja
Application granted granted Critical
Publication of JP5085878B2 publication Critical patent/JP5085878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Description

本発明はコードレスデバイスを使用した向き判定のためのシステム及び方法に関する。
グラフィック・ユーザ・インタフェース(GUI)を利用する大抵の位置トラッキングシステムはマウスを使用して二次元位置情報を生成している。マウスは一般に電気コードによってコンピュータに接続され、電気コードを通じてコンピュータからマウスへ電力が供給され、マウスからコンピュータへ位置情報が送られる。コードレスマウスは充電式電池や交換式電池を電源として使用し、無線周波数(RF)信号を使用して位置情報をコンピュータに伝送する。従来の位置トラッキングシステムはよく出来ているものの、コード付きマウスは電気コードによりユーザの移動が制限される。また、コードレスマウスは電源を定期的に充電又は交換しなければならない。
上記の制約に加えて、従来のマウスには、二次元位置情報しか生成することができないという制約もある。位置トラッキングの用途によっては、三次元の位置情報や向き情報を必要とするものもある
向き情報を生成するシステムは、反射器、画像収集システム、及びプロセッサからなる。画像収集システムは少なくとも2セットの画像データを収集するように構成され、一方のセットの画像データは、他方のセットの画像データよりも反射器の強い指示を有する。これら2セットの画像データは、何らかの向き依存特性を有する少なくも1つの反射器、又は、何らかの向き依存性のある構造的特徴を有するデバイスに一体化された反射器を使用して収集される。2セットの画像データを収集した後、それらを使用して反射器に関連する向き情報が生成される。具体的には、反射器に関連する向き情報は、2セットの画像データの差をとることにより生成される。一方のセットの画像データは他方のセットの画像データよりも反射器の強い指示を有するため、差分画像によれば、反射器の明確な指示が得られる。また、画像データは何らかの向き依存特性を有する反射器、又は、何らかの向き依存性のある構造的特徴を有するデバイスに一体化された反射器を使用して撮影されるため、差分画像は反射器に関連する向きに依存した画像情報を有するものとなる。
反射器及び画像収集システムを使用することにより、電力を何も必要としない受動型ポインティングデバイスを使用して、向き情報を生成することが可能になる。従って、ポインティングデバイスをコンピュータシステムに接続したり、ポインティングデバイスに電池を搭載する必要はない。空きスペースでポインティングデバイスを動かしながら、ポインティングデバイスの位置がトラッキングされる。
本発明の他の態様及び利点は、本発明の原理を例として示す図面を参照し、下記の説明を読むことから、明らかになるであろう。
全図面を通じて、同じ符号は同じ要素を指すのに使用される。
向き情報を生成するシステムは、反射器、画像収集システム、及びプロセッサからなる。画像収集システムは、少なくとも2セットの画像データを収集するように構成され、一方のセットの画像は、他方のセットの画像データよりも反射器の強い指示を有する。これら2セットの画像データは、何らかの向き依存特性を有する少なくとも1つの反射器、又は、何らかの向き依存性のある構造的特徴を有するデバイスに一体化された反射器を使用して収集される。2セットの画像データを収集された後、それらを使用して反射器に関連する向き情報が生成される。具体的には、反射器に関連する向き情報は、2セットの画像データの差をとることにより生成される。一方のセットの画像データは他方のセットの画像データよりも反射器の強い指示を有するため、差分画像によれば、反射器の明確な指示が得られる。また、画像データは何らかの向き依存特性を有する反射器、又は、何らかの向き依存性のある構造的特徴を有するデバイスに一体化された反射器を使用して撮影されるため、差分画像は反射器に関する向きに依存した画像情報を有するものとなる。
図1は、再帰反射器(リトロリフレクタ)102、画像収集システム104A、及びプロセッサ106を含む、位置情報を生成するシステム100を示している。図1の実施形態において画像収集システム104Aは、撮像装置108、並びに異なる波長の光114及び116をそれぞれ放出する第1の光源110及び第2の光源112を含む。第1の光源110は第2の光源112よりも撮像装置108に近い位置に配置され、これら2つの光源と撮像装置は同一平面上に配置される。本明細書において、第1の光源110は「軸上光源」と呼ばれ、第2の光源112は「軸外光源」と呼ばれる。
本明細書で使用される「軸上光源」及び「軸外光源」という用語について、図2及び図3を参照して説明する。光源からの光が再帰反射器102を照らす角度は照明角と呼ばれる。図2に示すように、照明角は撮像装置108の主表面の平面(破線120で描かれている)に対して測定される。図中、光源110の照明角はθi1で示され、光源112の照明角はθi2で示されている。再帰反射器102で反射された光118が撮像装置108に入射する角度は検出角と呼ばれる。図中、検出角はθで示されている。検出角θは照明角と同じ平面に対して測定される。2つの照明角θi1及びθi2がある場合、「軸上」という用語は、検出角θとの差が小さい方の光源又は光ビームに使用され、「軸外」という用語は、検出角θとの差が大きい方の光源又は光ビームに使用される。図2から分かるように、照明角と検出角の関係は、数学的には|θi1−θ|<|θi2−θ|のように表される。
図3は、再帰反射器102を撮像装置108及び2つの光源110、112に対して動かしたときに発生する、照明角及び検出角の変化を示している。再帰反射器を動かすと、照明角及び検出角は変化するが、軸上照明角と検出角の差は、軸外照明角と検出角の差よりも小さいままである。すなわち、|θi1−θ|<|θi2−θ|である。照明角と検出角の間にはこのような関係があるため、再帰反射器を動かしても、軸上光源や軸外光源のような光源の状態は変化しない。なお、この関係は、再帰反射器を図示の平面に対して垂直な成分を有する方向に動かした場合でも維持される点に注意して欲しい。
図1に戻ると、画像収集システム104Aを使用して、少なくとも2セットの画像データが収集される。第1セットの画像データは、光源110により生成された波長λ1の光に応答して収集される。第2セットの画像データは、光源112により生成された波長λ2の光に応答して収集される。第1セットの画像データは、本明細書において軸上画像データと呼ばれ、光源110によって照らされた再帰反射器102及び任意の他の物体から反射された波長λ1の光を表わす。第2セットの画像データは、本明細書において軸外画像データと呼ばれ、光源112によって照らされた再帰反射器及び任意の他の物体から反射された波長λ2の光を表わす。軸上照明角は軸外照明角よりも検出角に近いため、軸上画像データは軸外画像データよりも再帰反射器の強い指示を有するものとなる。この場合、再帰反射器102から撮像装置108へ反射される光の波長λ1における強度は、波長λ2における強度よりも遥かに強いものとなる。従って、軸上画像データにおける再帰反射器に関連するデータ点の強度値は、軸外画像データにおける対応するデータ点の強度値に比べて大きいものとなる。図4は、再帰反射器102及び他の物体128によって反射され撮像装置108に入射する、波長λ1の光122及び波長λ2の光124を示している。2つの光源によって放射される光の強度がほぼ同じであるものと仮定すれば、再帰反射器102から撮像装置108へ反射される光126の波長λ1における強度は、波長λ2における強度よりも遥かに強くなるが、他の物体により反射される光122、124の強度はほぼ同じになる。
再帰反射器から反射された光の2つの波長における強度の差は、位置情報の生成に使用される。図1のシステムの基本的動作について、図5を参照して説明する。図5において、再帰反射器102は、手に握られたポインティングデバイス130に結合されている。手、ポインティングデバイス、及び再帰反射器は、図1に示すように光源110及び112によって照明される。図5に示すように、軸上画像データ136は、手、ポインティングデバイス、及び再帰反射器から反射された光を含む。波長λ1における照明角は検出角に近いので、軸上画像データは、再帰反射器から反射された光の強い指示を有する。光のこの強い指示は、図5において黒いスポットとして描かれている。軸外画像データ138も同様に、手、ポインティングデバイス、及び再帰反射器から反射された光を含む。しかしながら、軸外画像データは軸外光に応答して取得されるため、再帰反射器102から撮像装置108へ向けて反射される軸外光の強度は、再帰反射器102から撮像装置108へ向けて反射される軸上光の強度に比べて小さい。従って、軸外画像データにおいて、再帰反射器が、他の物体によりも際立って明るく見えることはない。
軸上画像データ136を軸外画像データ138と比べると、2つのデータセットの間における大きな違いは、再帰反射器102の指示だけである(2つのデータセットを同時に、又はほぼ同時に撮影するものと仮定すれば)。そのため、2つのデータセットの差をとって差分画像140を生成することにより、再帰反射器の位置を明確に特定することができる。2つのデータセットにおけるほとんどのデータ点は同じであるから、対応するデータ点は除去され、再帰反射器に対応するデータ点が得られる。このように、軸上画像データと軸外画像データの差により、再帰反射器の位置の明確な指示が得られる。図5に示すように、差分画像では他の物体が全て除去され、再帰反射器だけが特定される。図1に戻ると、この差分をとる処理はプロセッサ106によって実施される。
差分をとる機能は位置情報の生成に影響するため、効率よく比較することが可能な2セットの画像データを生成することが重要となる。一実施形態において、撮像装置によって検出された光はフィルタリングされ、検出された光の波長帯域幅は照明に使用される波長付近に制限される。例えば、波長λ1と波長λ2の光を照明に使用する場合、波長λ1及び波長λ2において強い透過性を有するバルクフィルタを撮像装置の正面に配置し、他の波長の光(例えば周囲の光)をフィルタによって除去する場合がある。
撮像装置は照明に使用される2つの波長の光を区別することができるように構成される。これは例えば、市松模様のフィルタパターンを撮像装置の正面に配置することによって実現される。2つの強い透過波長を有するバルクフィルタと市松模様のフィルタパターンを備えた、撮像装置用の複合フィルタの一例は、2003年12月18日に出願された米国特許出願第10/739,831号、及び、2004年5月10日に出願された米国特許出願第10/843,517号に記載されている。両者はいずれも、「Method and system for wavelength−dependent imaging and detection using a hybrid filter」という発明の名称を有し、本願と同じ譲受人に譲渡される。図19Aは、市松模様のフィルタパターンを有する撮像装置108を示す正面図である。図19Aの実施形態において、一部の画素(白い正方形で描かれている)は波長λ1の光を透過するフィルタ111によって覆われ、残りの画素(黒っぽい正方形で描かれている)は波長λ2の光を透過するフィルタ113によって覆われている。図19Bは、撮像装置の正面に配置された複合フィルタ115を示す側面図である。複合フィルタ115は、バルクフィルタ117、並びに波長選択フィルタ111及び113を含む。他の実施形態では、一方のセットの正方形(例えば明るい正方形又は暗い正方形)だけに波長選択フィルタを設ける場合もある。複合フィルタを使用することで撮像装置は、2つの光源からの反射光で再帰反射器を照明しつつ、2セットの画像データを同時に生成することが可能になる。
あるいは、2セットの画像データは順番に収集してもよい。例えば、第1の光源だけが作動しているときに第1セットの画像データを収集し、第2の光源だけが作動しているときに第2セットの画像データを収集するように、撮像装置と光源を連携動作させてもよい。光源の順次駆動や画像データの収集はプロセッサにより制御することができる。ここでは2セットの画像データを順番に収集する例について説明したが、他の収集方法を採用することも可能である。
2セットの画像データは再帰反射器の部分を除いて互いにほぼ全ての部分が除去されるが、一般的には、再帰反射器以外の部分のデータ点においても、光強度の僅かな違いが存在する。こうした強度差は、再帰反射器に対応するデータ点における強度差に比べて、さほど重要ではない。一実施形態において差分生成処理は、重要でないデータ点を閾値関数を使用して除去することを含む。図6は差分画像データの例を示すグラフである。X軸は強度差値を、Y軸は各強度差値において収集されたデータ点の数をそれぞれ示している。ただし、負の強度差値を扱えるように、データ点は修正される場合もあることに注意して欲しい。グラフ中にピーク114として示されているように、ほとんどのデータ点は互いに集まってクラスタを形成している。これらのデータ点は、2セットの画像データが概ね等しく、実質的に互いに除去されるが、完全には除去されない領域を表している。強度差値の比較的大きいデータ点の小さなクラスタ146がもう1つある。データ点のこの小さい方のクラスタは、再帰反射器から反射された光に対応する。軸上対軸外効果により、上記のように、これらのデータ点における強度差値は比較的大きい。
重要な強度差値(即ち、再帰反射器に対応する強度差値)から重要でない強度差値(即ち、再帰反射器に対応しない強度差値)を分離するために、閾差分値を設定する。閾差分値よりも小さい強度差値は重要でないものとみなされ、閾差分値よりも大きい強度差値は重要であるものとみなされる。図6に破線148で示すように、閾差分値は2つのデータ点のクラスタ144と146の間に設定される。他の実施形態において、この閾差分値148は生成処理を簡単にするために事前に設定される場合もあり、また、現在又は過去のフレームの特性に基づいて設定される場合もある。具体的には、プロセッサは、閾差分値未満の強度差値を全て破棄するように構成される場合がある。閾差分値未満の強度差値を全て破棄した後、幾つかのアーティファクト147が残る場合がある。重要でないデータ点を破棄することによりプロセッサのメモリ要件を低減することができ、高速で遅延の少ない処理が可能となる。一実施形態では、画像のうちの過去に再帰反射器が見付かった位置の近くだけを処理することにより、画像処理時間を短縮する場合がある。
重要であることが判明した強度差値を処理し、再帰反射器を識別する。例えば、全ての重要な強度差値を処理することにより、再帰反射器の中心が特定される。そして、再帰反射器の中心の位置は、例えばUSB(ユニバーサル・シリアル・バス)インタフェースを使用してコンピュータシステムに転送される。プロセッサは例えば、差分画像における再帰反射器の特徴が既知の再帰反射器の特徴に一致するか否かの確認や、差分画像における再帰反射器の推定位置におけるパターンが既知の位置のパターンに従っているか否かの確認といった、更なる処理を実施する場合がある。例えばプロセッサは、差分画像を既知の画像情報と比較し、差分画像における特徴が再帰反射器(複数の場合もあり)の特徴に一致するか否かを判定する場合がある。
光の特性は良い画像データが得られるように決定される。図7は、図1Aに示した画像収集システム104Aの代替実施形態を示している。画像収集システム104Bは、1つの撮像装置108、複数の軸上光源110、及び複数の軸外光源112を含む。この実施形態では、光源110は波長λ1の光を生成し、波長λ2の光を生成する光源112よりも撮像装置に近い位置に配置される。複数の光源を使用することにより、図1のシステムに比べて、画像収集システムの照明の範囲が拡大される。軸上データと軸外データを収集し、それらが、図1を参照して上で説明したようにして処理される。光源構成の例を2つ、図1と図7に示したが、他の構成を採用することも可能である。
図1を参照して画像収集システムの一例104Aについて説明したが、画像収集システムには多数の代替実施形態を使用することが可能である。画像収集システムの実施形態は全て、少なくとも2セットの画像データを収集し、一方のセットの画像データは他方のセットの画像データよりも再帰反射器102の強い指示を有する。以下の説明から分かるように、2セットの画像データは様々な方法で収集することが可能である。
図8は、2つの撮像装置108A及び108B、並びに1つの光源110を含む、画像収集システムの一実施形態104Cを示している。1つの光源は波長λ1の光を生成し、撮像装置108Aに比較的近い位置に配置され、撮像装置108Aにおける照明角と検出角の差が、撮像装置108Bにおける照明角と検出角の差よりも小さくなるように配置される。2つの撮像装置に対する光源の位置から、軸上画像データは撮像装置108Aで収集され、軸外画像データは撮像装置108Bで収集される。軸上画像データと軸外画像データを収集した後、それらが上で説明したようにして処理され、位置情報が生成される。
図9は、2つの撮像装置108A及び108B、並びに2つの異なる波長の光を生成する光源152及び154を含む、画像収集システムの代替実施形態104Dを示している。具体的には、波長λ1の光を生成する2つの光源152は、撮像装置108Bよりも撮像装置Aに近い位置に配置され、波長λ2の光を生成する2つの光源154は、撮像装置108Aよりも撮像装置108Bに近い位置に配置される。波長λ1の光については、軸上画像データが撮像装置108Aにおいて収集され、軸外画像データが撮像装置108Bにおいて収集される。波長λ2の光については、軸上画像データが撮像装置108Bにおいて収集され、軸外画像データが撮像装置108Aにおいて収集される。図9の構成によれば、2つの異なるセットの軸上画像データと、2つの異なるセットの軸外画像データを収集することができる。2つの撮像装置、2つの異なるセットの軸上画像データ、及び2つの異なるセットの軸外画像データを使用し、ステレオ処理又は簡易ステレオ処理を使用することにより、三次元の位置情報を生成することができる。一実施形態において、画像収集システムは、再帰反射器に対してエピポーラ幾何構成をなすように配置される。図10は、エピポーラ幾何構成をなすように配置された図9の画像収集システム104Dを示す斜視図である。エピポーラ幾何構成において、位置Mにおける再帰反射器102のx座標、y座標及びz座標は、まず、撮像装置108A、108B上の再帰反射器102の位置m1及びm2を判定することにより計算される。
更に他の実施形態において、画像収集システムは、再帰反射器に関連する波長選択フィルタを含む場合がある。例えば、波長選択フィルタによって再帰反射器を覆う場合がある。図11は、軸上光源及び軸外光源110、112、並びに再帰反射器102を覆う波長選択フィルタ158を有する、画像収集システムの一実施形態104Eを示している。図11の実施形態において、波長選択フィルタ158は波長λ1において透過性であり、波長λ2において遮断性である。波長選択フィルタは、波長λ1において光を透過し、波長λ2において光を遮断するため、再帰反射器102に対応するデータ点における強度のコントラストを高めることができる。
再帰反射器に関連する波長選択フィルタにより、光源から放射された光の波長のうちの1つをフィルタリングすることができるため、同じ照明角の2つの光源を使用して、2セットの画像データを生成することが可能になる。図12は、同じような照明角を有する2つの異なる波長の光源110、112を備えた、画像収集システムの一実施形態104Fを示している。図12の例では、再帰反射器102に関連する波長選択フィルタ158は波長λ1において高い透過性を有し、波長λ2において遮断性を有する。第1セットの画像データは波長λ1の反射光に応答して収集され、第2セットの画像データは波長λ2の反射光に応答して収集される。再帰反射器102に関連する波長選択フィルタが波長λ1において高い透過性を有し、波長λ2において遮断性であるため、第1セットの画像データは、第2セットの画像データよりも再帰反射器の強い指示を有するものとなる。2セットの画像データは上で説明したようにして処理され、位置情報が生成される。
更に他の実施形態において、画像収集システムは、1つの撮像装置及び1つの光源を含む。図13は、1つの撮像装置108及び1つの軸上光源110を有する、画像収集システムの一実施形態104Gを示している。光源110は波長λ1の光を生成し、撮像装置108は上記のように市松模様のフィルタを有するように構成される。撮像装置において、市松模様をなす正方形のうちの半分は波長λ1の光を透過し、残り半分の正方形は波長λ1の光を遮断する。このような構成によれば、第1セットの画像データが波長λ1の光に応答して生成され、第2セットの画像データが、周囲光から波長λ1の光を差し引いたものに応答して生成される。光源110が軸上光源であることから、第1セットの画像データは第2セットの画像データよりも再帰反射器の強い指示を有するものとなる。一実施形態では、再帰反射器と撮像装置の間に波長選択フィルタを配置する場合がある。この波長選択フィルタは波長λ1の光を透過し、それ以外の波長の光を遮断する。図11及び図12を参照して上で説明したように、波長選択フィルタによれば、再帰反射器に対応するデータ点における強度のコントラストを高めることができる。
図14は、単一光源の画像収集システムの他の実施形態104Hを示している。図14の画像収集システム104Hは、2つの個別の撮像装置108A及び108Bを使用して、2セットの画像データを収集する。具体的には、軸上画像データは撮像装置108Aにおいて収集され、軸外画像データは撮像装置108Bにおいて収集される。この場合も、再帰反射器102と撮像装置の間に波長λ1の光を通過させるための波長選択フィルタを配置する場合がある。
上で説明した反射要素は再帰反射器であったが、反射要素には、再帰反射器のかわりに再帰反射器以外の反射器を使用してもよい。図15は、再帰反射器のかわりにミラー160を使用して位置情報を生成するシステムの一実施形態を示している。図15に示すように、軸外光116はミラー160によって入射角と同じ角度で反射される。軸外光を入射角と同じ角度で反射させることにより、反射された軸外光が撮像装置108に当たらなくなる。一方、ミラー160は、軸上光114を撮像装置へ向けて反射させる。従って、一方のセットの画像データが他方のセットの画像データよりも再帰反射器の強い指示を有するような、2セットの画像データを生成することが可能になる。この構成の場合、ミラー160は、2つの光ビームのうちの一方を撮像装置へ向けて反射させるような向きに配置される。あるいは、光源110からの光を撮像装置へ向けて反射させるかわりに、光源112からの光を撮像装置へ向けて反射させるようにシステムを構成してもよい。
再帰反射器は、例えばGUIを利用するコンピュータにおけるマウスのような、ポインティングの用途に使用することができる。一実施形態において、再帰反射器は、ポインティングデバイスのうちのユーザが握ったり動かしたりする部分を構成する。ポインティングの用途に使用する場合、システムはポインティングデバイスにより特定のコマンドをエミュレートする機能を有することが望ましい。例えば、システムは、「クリック」、「ドラッグ」、「スクロール」及び持ち上げ動作の検出といった、従来のマウスの機能を有することが望ましい。
従来のマウスの一部の機能は、ユーザの動作に応答して再帰反射器を遮断したり露出したりすることができるように、ポインティングデバイス及び再帰反射器を構成することによりエミュレートすることができる。一実施形態において、再帰反射器は、ユーザによって操作される手段により遮断されたり露出されたりする。図16A及び図16Bは、再帰反射器を遮断したり露出したりする手段を備えたポインティングデバイスの一実施形態170を示している。ポインティングデバイス170は、再帰反射器102(図16B)、カバー172、ガイド174、指置き部176、及び復帰スプリング178を含む。図16Aにおいて、再帰反射器(図示せず)はカバー172によって覆われている。ユーザは、指置き部176に指を載せて動かすことにより、カバー172を動かすことができる。図16Bは、カバー172を動かして再帰反射器102を露出させた後のカバー172を示している。
図17A及び図17Bは、複数の再帰反射器102を遮断又は露出させる手段を備えたポインティングデバイスの一実施形態180を示している。このポインティングデバイスは、カバー182、複数の再帰反射器102、及び直線回転変換手段184を含む。直線回転変換手段184は、軸186、旋回ジョイント188、スライダ173、ガイド174、及び指置き部176を含む。図17Aにおいて、再帰反射器102はカバー182によって遮断されている。ユーザは、直線回転変換手段184を使用してカバー182を回転させ、再帰反射器102を露出させることができる。図17Bは、直線回転変換手段184を使用してカバー182を回転させ、カバー182のスルーホールを通して再帰反射器102を露出させた状態を示している。
他の実施形態において、再帰反射器は、ポインティングデバイスの構造と向きの組み合わせを使用して、遮断又は露出される場合がある。例えば、少なくとも1つの再帰反射器をポインティングデバイスに画定されたキャビティの底部に配置し、ポインティングデバイスが照明光に対して或る向きにあるときに、キャビティの壁によって再帰反射器が照明光から遮断され、ポインティングデバイスが照明光に対して或る向きにあるときに、再帰反射器が照明光に対して露出されるようにする場合がある。図18A及び図18Bは、ポインティングデバイスのキャビティ192の底部に再帰反射器102が配置された、ポインティングデバイスの一実施形態190を示している。キャビティ192が照明光の方を向いていないとき、再帰反射器102は、キャビティ192の壁によって遮断され、照明されない。キャビティ192が照明光の方を向いているとき、再帰反射器102は照明される。図18Aは、照明光194が再帰反射器102に入射しないような向きにおけるポインティングデバイスを示し、図18Bは、照明光194が再帰反射器102に入射するような向きにおけるポインティングデバイスを示している。
図16A〜図18Bを参照し、再帰反射器を遮断又は露出させるいくつかの方法について説明してきたが、他にも多数の構成が可能である。他の実施形態では、再帰反射器(複数の場合もあり)の一部の特性を変更することにより、従来のマウスの機能を実現し、マウスの機能をエミュレートする場合がある。例えば、再帰反射器(複数の場合もあり)の形、サイズ、及び/又は、パターンを変更することにより、マウスの機能をエミュレートする場合がある。更に他の実施形態では、再帰反射器を徐々に遮断又は露出させることにより、幾つかの機能を実現する場合がある。例えば、再帰反射器の露出面積の増加に応じてスクロール速度を増加させ、再帰反射器の露出面積の減少に応じてスクロール速度を低下させる場合がある。
位置情報を生成するための上記の技術は、GUIを利用したコンピュータ向けの位置トラッキングシステムに組み込むこともできる。図20〜図23は、コンピュータシステムに一体化された画像収集システム及びポインティングデバイスの種々の例を示している。図20は、画像収集システムを有するように構成された携帯型コンピュータ又は「ラップトップ」コンピュータ200を示している。この画像収集システムは、コンピュータのハウジング内に取り付けられた2つの光源110及び112並びに撮像装置108を含む。第1の光源110は波長λ1の光を生成する軸上光源であり、第2の光源112は波長λ2の光を生成する軸外光源である。この画像収集システムの構成は図1に示したものより小型であり、コンピュータは内部にプロセッサ106を備えている。再帰反射器102を含むポインティングデバイス130は、GUIを利用するオペレーティングシステムにおいて位置を指し示すために使用される。ポインティングデバイスの位置は上で説明したようにして判定される。
図21は、画像収集システムを有するように構成された携帯型コンピュータを示している。この画像収集システムは、コンピュータのハウジング内に取り付けられた2つの光源152及び154並びに2つの撮像装置108A及び108Bを含む。この画像収集システムの構成は、図9のものに似ている。この構成では、ステレオ処理を使用して、ポインティングデバイスの三次元位置を判定することができる。
図22A及び図22Bは、撮像装置108並びに光源110及び112が自立ハウジング202の中に組み込まれた、画像収集システムの一実施形態を示す正面図及び側面図である。図22Aにおいて、光源110は波長λ1の光を放出し、光源112は波長λ2の光を放出する。図22Bにおいて、再帰反射器は波長選択フィルタによって覆われている。波長選択フィルタは、波長λ1の光を透過し、波長λ2の光を遮断する。この構成の動作は、図12を参照して上で説明した構成に似ている。具体的には、第1セットの画像データは波長λ1の反射光に応答して収集され、第2セットの画像データは波長λ2の反射光に応答して収集される。再帰反射器に関連する波長選択フィルタが波長λ1において透過性であり、波長λ2において遮断性であるため、第1セットの画像データは第2セットの画像データよりも再帰反射器の強い指示を有するものとなる。2セットの画像データは上で説明したようにして処理され、位置情報が生成される。図22A及び図22Bに示す画像収集システムは、コンピュータと連携して使用することもできる。例えば、画像収集システムは、有線のUSB接続や無線接続によりコンピュータに接続することができる。一実施形態において、ハウジングのヘッド部分203は回転させることができ、光源や撮像装置の視野を変更することができる。例えば、ヘッド部分203を下向きに回転させることにより、マウス操作に使用される机上面を視野の中にもってくることができる。
図23は、位置情報を生成する方法を示すフロー図である。ブロック220において、反射器を照明する。ブロック222において、第1セットの画像データ及び第2セットの画像データを生成する。第1セットの画像データは、第2セットの画像データよりも再帰反射器の強い指示を有する。ブロック224において、第1セットの画像データ及び第2セットの画像データを使用して、反射器に関連する位置情報を生成する。
図24は、位置情報を生成する他の方法を示すフロー図である。ブロック230において、再帰反射器を含むポインティングデバイスを照明する。ブロック232において、照明に応じて軸上画像データを生成する。ブロック234において、照明に応じて軸外画像データを生成する。ブロック236において、軸上画像データ及び軸外画像データを使用して、再帰反射器に関連する位置情報を生成する。
画像収集システムは従来の光学マウスのように机上面からの反射を利用しないため、ポインティングデバイスを反射性を持たない表面に置いた場合や、ガラスのように非常に滑らかな表面上に置いた場合であっても、ポインティングデバイスの位置をトラッキングすることが可能である。
GUIを利用するコンピュータオペレーティングシステム向けのポインティング用途に関連して、位置情報を生成するシステムについて説明してきたが、位置情報を生成するための上記の技術は、物体の位置を判定する他の用途にも使用することが可能である。そのような用途の1つは、例えば、モーションキャプチャやゲーム等に使用される人体の一部の動きのトラッキングである。
上で説明した二重画像位置トラッキング技術の他の利点は、反射器や再帰反射器を使用することにより、従来のデジタル写真による露出時間に比べて短い時間で画像データを収集することが可能である点である。
なお、再帰反射器はポインティングデバイスに取り付けるものとして説明したが、再帰反射器は何らかの他の物体に一体化させてもよい。例えば、再帰反射器は、衣服や人体の一部に取り付けることもでき、位置や向きを知りたい任意の物体に取り付けることができる。
空きスペースに置かれた物体は、直線移動における3つの自由度(例えば、x軸、y軸、z軸)と回転移動における3つの自由度(例えば、x軸、y軸、z軸を中心とした回転)を含む6つの自由度の項によって特徴付けることができる。物体の位置は、例えば、z軸、y軸、z軸の項によって特徴付けることができる。物体の向きは、例えば、x軸、y軸、z軸を中心とした回転の項によって特徴付けることができる。
図1〜図24を参照して行った上記の技術は主として、物体に関連する位置情報の生成を目的としたものであり、例えば、x軸及びy軸における物体の二次元位置や、x軸、y軸及びz軸における物体の三次元位置の生成を目的としている。用途によっては、物体の位置でなく、物体の向きを判定することが望ましい場合もあり、両方を判定することが望ましい場合もある。本発明によれば、向き情報の判定は、向き依存特性を有する少なくとも1つの反射器、又は、向き依存性のある何らかの構造的特徴を有するデバイスに組み込まれた反射器を使用して、2セットの画像データを収集することを含む。そして、それら2セットの画像データを使用して向き情報が生成される。具体的には、それら2セットの画像データの差分をとる。画像データは向き依存特性を有する反射器、又は、向き依存特性のある構造的特徴を有するデバイスに組み込まれた反射器を使用して撮影されるため、得られる差分画像は、反射器の向きに関連する向き依存画像情報を含む。
この向き依存画像情報の生成には、例えば、向き依存形状を有する再帰反射器、向き依存構成になるように配置された1以上の再帰反射器、又は、ある特定の向きでしか再帰反射器が照明されないように、ポインティングデバイスの各キャビティの底部に配置された1以上の再帰反射器などが使用される。以下では、図25A〜図36を参照し、向き依存画像情報を生成する方法の種々の例について説明する。具体的には、図25A〜図27Bは、向き依存特性を有する再帰反射器(複数の場合もあり)の例を示し、図28A〜図32Bは、何らかの向き依存性のある構造的特徴を有するポインティングデバイスに組み込まれた再帰反射器(複数の場合もあり)の例を示し、図33A及び図33Bは、再帰反射器の向き依存パターンと、向き依存性のある構造的特徴を有するポインティングデバイスに組み込まれた再帰反射器のパターンの組み合わせを有する、ポインティングデバイスを示している。
図25A及び図25Bは、向きに依存する特徴(この例では、矢印)を有する再帰反射器300の一例を示している。z軸を中心とした再帰反射器のあらゆる向きにおいて、再帰反射器に応答して形成される差分画像は一意に定まる。すなわち、この再帰反射器は回転対称形である。図25Aにおいて矢印は真っ直ぐ上を指し、図25Bにおいて矢印は約45°だけ時計方向に回転されている。2セットの画像データを撮影し、それらの画像データの差をとることにより、矢印の画像が特定される。再帰反射器の向きは、その差分画像を既知の画像情報と比較することにより判定することができる。たとえば、この既知の画像情報には、既知の向きの矢印の画像が使用される。既知の画像と差分画像を一致させることにより、向きを判定することができる。例えば、差分画像を既知の画像に一致させるために必要とされる回転から、再帰反射器の向きを知ることができる。図25A及び図25Bの実施形態において、再帰反射器は、ポインティングデバイス302の表面上に配置される。
図26A及び図26Bは、ポインティングデバイス302の表面上において向き依存構成を成すように配置された、複数の同じ形の再帰反射器の例を示している。具体的には、このパターンは3つの再帰反射器を含み、1つはパターンの上部に配置され、2つは互いに近接した状態でパターンの底部に配置される。再帰反射器のこのパターンに応答して形成される差分画像は、z軸を中心としたこの構成のあらゆる位置において一意に決まる。例えば、図26Aの向きでは、1つの再帰反射器がパターンの上部に位置し、互いに近接する2つの再帰反射器がパターンの底部に位置している。図26Bの向きでは、z軸を中心として約90度だけ時計方向にパターンが回転され、1つの再帰反射器がパターンの右側に位置し、互いに近接する2つの再帰反射器がパターンの左側に位置している。
図27A及び図27Bは、向き依存構成を成すように配置された、複数の異なる形の再帰反射器300の例を示している。図27A及び図27Bの例において、再帰反射器は、正方形、三角形、及びひし形の形を有する。再帰反射器のこのパターンに応答して形成される様々な画像は、z軸を中心としたあらゆる向きにおいて一意に決まる。なぜなら、あらゆる位置において、異なる形が異なる位置にくるからである。
図28A〜図28Cは、向き依存のある構造的特徴を有するデバイス302に一体化された再帰反射器310の例を示している。図28A〜図28Cの例において、デバイスはポインティングデバイスであり、向き依存のある構造的特徴は、ポインティングデバイスの表面のうちの1つからポインティングデバイスの中へ延びるキャビティ304である。キャビティ304は、キャビティ壁312によって画定され、再帰反射器310はキャビティの底部に配置される。図28Aは、ポインティングデバイスの側面図であり、この図から、再帰反射器310はキャビティの底部に配置されることが分かる。図28Bは、光ビーム308に対する、ポインティングデバイス、キャビティ、及び再帰反射器を示す側面斜視図である。図28Bにおいて、キャビティと再帰反射器は光ビームに対して、再帰反射器が光ビームによって照らされるような向きに配置されている。再帰反射器を照らす光は、受光した方向と同じ方向に反射される。光ビームに対するキャビティと再帰反射器の向きを十分に変更すると、ポインティングデバイスの一部によって光ビームが遮断され、再帰反射器に光が当たらなくなる。この向き依存性のある構造は、図28Bに示す向き以外の向きでは、再帰反射器の少なくとも一部が光ビームから遮断される。図28Cは、キャビティと再帰反射器の光ビームに対する向きが、再帰反射器に光が当たらないような向きにおける、ポインティングデバイスを示す側面斜視図である。図28A〜図28Cに示す構成に関し、図28Bに示すようにキャビティと再帰反射器が光ビームに対して一直線上になっているときに生成される差分画像における再帰反射器の指示は、図28Cに示すようにキャビティと再帰反射器が光ビームに対して一直線上になっていないときに生成される差分画像における再帰反射器の指示に比べて強い。x軸及びy軸を中心とした再帰反射器及びポインティングデバイスの回転方向の向きは、差分画像における再帰反射器の存在に基づいて判定される。
図28A〜図28Cの実施形態において、ポインティングデバイスの位置合わせは、二者択一的に判定される。つまり、差分画像において再帰反射器の強い指示が現れた場合、ポインティングデバイスは光ビームに対して一直線上にあるものとして判定され、差分画像において再帰反射器の強い指示が現れない場合は、ポインティングデバイスが光ビームに対して一直線上にないものとして判定される。他の実施形態において、キャビティ、再帰反射器、光ビーム間の向きは、差分画像における再帰反射器の形から判定してもよいし、差分画像における再帰反射器に対応するデータ点の強度値から判定してもよい。例えば、一実施形態では、再帰反射器の部分的画像を使用して、向きを判定することができる。他の実施形態では、再帰反射器からの検出光の強度を使用して、向きを判定することができる。ポインティングデバイスの向きが変化したとき、再帰反射器からの検出光の強度は、再帰反射器と撮像装置の間の距離に従って、及び/又は、向き依存特性のある構造的特徴が再帰反射器を露出させているかそれとも遮断しているかに応じて変化する。ただし、向きの判定は、距離に関係なく再帰反射器の形に基づいて行うこともでき、画像の幅に対する高さの比を比較することにより判定することもできる。
図28A〜図28Cの例において、ポインティングデバイス302の向きは、x軸及びy軸を中心とした回転について判定される。上記のように、ポインティングデバイスが再帰反射器が照明されない位置まで傾けられると、差分画像において再帰反射器310は検出されなくなる。用途によっては、ポインティングデバイスの位置と向きの両方をトラッキングすることが望ましい場合がある。再帰反射器が照明されていなければ、図28A〜図28Cにおけるポインティングデバイスの位置は、上記の二重画像技術を使用して判定することができない。
一実施形態では、ポインティングデバイスの向き依存特性のある構造的特徴の影響を受けない再帰反射器を更にポインティングデバイスの表面上に配置し、位置トラッキングを可能にする場合がある。図29A〜図29Cは、図28A〜図28Cを参照して説明したポインティングデバイスに似たポインティングデバイスの一実施形態302を示している。ただし、ポインティングデバイス302は、ポインティングデバイスの向き依存のある構造的特徴の影響を受けない再帰反射器300を有している点が異なる。図29Aに示すように、ポインティングデバイスの外面に更に他の再帰反射器を配置する。ポインティングデバイスが図29Bに示すような向きにあるとき、ポインティングデバイスの外面上の再帰反射器と、ポインティングデバイスのキャビティ304内の再帰反射器300との両方が、光ビーム308によって照らされる。両方の再帰反射器が照らされるため、それら両方が差分画像に現れる。ポインティングデバイスが図29Cに示すような向きにあるとき、ポインティングデバイスの外面上の再帰反射器310は照明されるが、キャビティ内の再帰反射器310は照明されない。これはポインティングデバイスの構造的特徴によって光ビームが遮断されるからである。ポインティングデバイスが図29Cに示すような向きにあるとき、キャビティ内の再帰反射器310は照明されないが、ポインティングデバイスの外面上の再帰反射器300は依然として照明されているため、再帰反射器300を位置のトラッキングに使用することができる。キャビティの寸法や壁の角度によって、再帰反射器の視野を設定することができる。
図30A及び図30Bは、複数の再帰反射器310を向き依存のある構造的特徴324と共に使用して向き情報を生成することが可能な、ポインティングデバイスの一実施形態302を示している。図30A及び図30Bの実施形態では、複数のキャビティ324のそれぞれの中に再帰反射器310が配置される。キャビティ324は円形325に配置される。各キャビティ324はそれぞれ向き依存性のある感度を有し、差分画像に表れた再帰反射器310の位置から、ポインティングデバイス302の向きを判定することができる。図30Bに示すように、キャビティ324の向き依存性のある感度は、キャビティの壁326と328を異なる角度に形成することによって実現することができる。図30Bに示すように、円の中心に近い方にあるキャビティの壁328は、円の中心から遠い方にある壁326に比べて、ポインティングデバイスの表面314に対する垂直なラインに対して、大きい角度を成すように形成される。
図31Aは、光ビーム308に対するキャビティ324及び再帰反射器310の向きが、全ての再帰反射器が照明されるような向きにおける、図30A及び図30Bのポインティングデバイス302を示す側面図である。図30Bは、図31Aのポインティングデバイスの正面図であり、図中、全ての再帰反射器が、黒く塗り潰された円で描かれている。図31Bの照明パターンから、全てのキャビティ324及び再帰反射器310が、光ビーム308と一直線上に位置合わせされていることが推測される。図32Aは、光ビーム308に対するキャビティ324及び再帰反射器310の向きが、一部の再帰反射器310だけが照明されるような向きにおける、図30A及び図30Bのポインティングデバイス302を示す側面図である。図32Bは、図32Aのポインティングデバイスの正面図であり、図中、照明されている再帰反射器310は黒く塗りつぶされた円で描かれ、照明されていない再帰反射器310は塗りつぶされていない円で描かれている。ポインティングデバイス302の向きは、照明されている再帰反射器310を特定することにより判定することができる。この実施形態において、照明されていない再帰反射器310は、ポインティングデバイスの向きが、画像収集システムの方へ回転された向きであることを示している。再帰反射器はポインティングデバイス上に配置され、円325の周りで回転されるため、x軸及びy軸に対するポインティングデバイスの向きを判定することができる。実施形態によっては、再帰反射器は部分的に照明される場合もある。更なる向き情報を得ることもでき、例えば、部分的に照明された再帰反射器に関連する画像情報の形、及び/又は、強度値から、更なる向き情報を得ることができる。
他の実施形態において、向き依存性のある構造的特徴は、ポインティングデバイスのようなデバイスの中に延びるスロットである。再帰反射器はそのスロットの中に配置される。スロットの形から、ある方向における再帰反射器の視野は、他の方向における視野よりも広くなる。具体的には、スロットに対して平行な方向における視野は、スロットに対して垂直な方向における視野よりも広くなる。視野の違いにより、平行な方向においては広い範囲にわたって再帰反射器が照明され、垂直な方向においては狭い範囲にわたって再帰反射器が照明されることになる。垂直な方向における向きの変化は、差分画像において再帰反射器が部分的又は完全に見えなくなることにより現れる。スロット内の再帰反射器の視野の特性は、スロットの幅及び深さの関数となる。向き依存性のある構造的特徴の寸法及び構成は、所望の応答が得られるように設定することができる。
向き情報を生成するための複数の技術を組み合わせることで、さらに詳細な向き情報を生成することも可能である。図33A及び図33Bは、図26A及び図26Bを参照して説明したような再帰反射器300の向き依存性パターンを、図30A〜図32Bを参照して説明したようなポインティングデバイスの向き依存性のある構造的特徴324に一体化された再帰反射器310のパターンと組み合わせて使用するポインティングデバイス302の例を示している。図33A及び図33Bの構成によれば、x軸、y軸、z軸を中心とした回転に関する向き情報の生成が可能となる。具体的には、ポインティングデバイスの表面314上の再帰反射器300の向き依存性パターンにより、z軸を中心とした回転に関する向き情報の生成が可能となり、ポインティングデバイスのキャビティ内に配置された再帰反射器のパターンにより、x軸及びy軸を中心とした回転に関する向き情報の生成が可能となる。
図34は、ポインティングデバイス302のキャビティ、及び該キャビティの底部に配置された再帰反射器310の一実施形態を示している。キャビティは、ポインティングデバイス302の表面314に対して垂直な軸330に対して異なる角度を有する、少なくとも2つの壁326及び328を有する。具体的には、キャビティの一方の壁326は、軸330に対して平行に近い角度を有し、キャビティの他方の壁328は、軸330に対して平行でない角度を有する。壁の角度とキャビティの深さにより、再帰反射器の視野が決まる。壁の角度が異なるため、再帰反射器は様々な向きおいて異なる視野を有する。このような異なる視野は、上で述べたように、向きを知るために使用される。図34は、キャビティの一例を描いたものに過ぎず、他の構成のキャビティを採用することも可能である。
図30A〜図33Bに示したキャビティは概ね円形に、対称形に配置されていたが、キャビティは他のパターンをなすように配置してもよい。キャビティの視野を変更してもよく、例えば、もっと無作為な配置にしてもよい。
図35は、向き情報を生成するための方法を示すフロー図である。ブロック420において、再帰反射器を照明する。ブロック422において、第1セットの画像データ及び第2セットの画像データを生成する。第1セットの画像データは、第2セットの画像データよりも再帰反射器の強い指示を有する。ブロック424において、第1セットの画像データ及び第2セットの画像データを使用して、再帰反射器に関連する向き情報を生成する。
図36は、位置情報及び向き情報を生成するための方法を示すフロー図である。ブロック430において、再帰反射器を有するポインティングデバイスを照明する。ブロック432において、照明に応じて第1セットの画像データを生成する。ブロック434において、照明に応じて第2セットの画像データを生成する。ブロック436において、第1セットの画像データ及び第2セットの画像データを使用して、再帰反射器に関連する位置情報及び向き情報を生成する。
上で例として示した一部の再帰反射器の向き依存性形状及びパターンは、向き依存性のある特徴の例として示したものに過ぎず、他の向き依存性構成を採用することも可能である。例えば、ライン上に配置された複数の再帰反射器、複数ラインのパターンを成すように配置された再帰反射器、又は、再帰反射器のサイズを使用して、向き依存性のある特徴を実現することができる。また、向き依存性のある構造的特徴を上で例示したが、他の向き依存性のある構造的特徴を採用することも可能である。
再帰反射器はポインティングデバイスに取り付けるものとして説明したが、再帰反射器は何らかの他の物体に一体化させてもよい。例えば、再帰反射器は、衣服や人体の一部に取り付けることもでき、位置及び/又は向きを知りたい任意の他の物体に取り付けることができる。
本発明の種々の具体的実施形態について図示説明したが、本発明が図示説明した特定の形態や部品構成に限定されることはない。本発明は、特許請求の範囲及びその均等により規定される。
再帰反射器、画像収集システム、及びプロセッサを含む、位置情報を生成するシステムを示す図である。 図1の画像収集システムにおける検出角、軸上照明角、及び軸外照明角を示す図である。 図1の画像収集システムにおける検出角、軸上照明角、及び軸外照明角を示す図である。 再帰反射器及びその他任意の物体で反射された後、撮像装置に入射する、波長λ1及び波長λ2の光を示す図である。 図1のシステムの基本動作を示す図である。 差分画像データのグラフの例であり、x軸は強度差値を示し、y軸は各強度差において収集されたデータ点の数を示す。 1つの撮像装置と複数の軸上光源及び軸外光源を有する、図1の画像収集システムの代替実施形態を示す図である。 2つの撮像装置と1つの光源を有する画像収集システムの一実施形態を示す図である。 2つの撮像装置と、異なる波長の光を生成する2つの光源を有する、画像収集システムの一実施形態を示す図である。 エピポーラ幾何構成を成すように配置された、図9の画像収集システムを示す斜視図である。 軸上光源及び軸外光源、並びに再帰反射装置の上に形成された波長選択フィルタを有する、画像収集システムの一実施形態を示す図である。 2つの異なる波長を有し、同じ又はほぼ同じ照明角を有する2つの光源を有し、再帰反射装置の上に波長選択フィルタが形成された、画像収集システムの一実施形態を示す図である。 1つの撮像装置と1つの光源とを有する画像収集システムの一実施形態を示す図である。 1つの光源を有する画像収集システムの一実施形態を示す図である。 再帰反射器以外の反射器を使用して位置情報を生成するシステムの一実施形態を示す図である。 再帰反射器を遮断又は露出する手段が組み込まれたポインティングデバイスの一実施形態を示す図である。 再帰反射器を遮断又は露出する手段が組み込まれたポインティングデバイスの一実施形態を示す図である。 再帰反射器を遮断又は露出する手段が組み込まれたポインティングデバイスの他の実施形態を示す図である。 再帰反射器を遮断又は露出する手段が組み込まれたポインティングデバイスの他の実施形態を示す図である。 ポインティングデバイスのキャビティ内に組み込まれた再帰反射器を有するポインティングデバイスの一実施形態を示す図である。 ポインティングデバイスのキャビティ内に組み込まれた再帰反射器を有するポインティングデバイスの一実施形態を示す図である。 市松模様のフィルタパターンを有する撮像装置を示す平面図である。 撮像装置上に複合フィルタを備えた図19Aの撮像装置の側面図である。 2つの光源及びコンピュータのハウジング内に組み込まれた1つの撮像装置を有する画像収集システムを有するように構成された携帯型コンピュータを示す図である。 2つの光源及びコンピュータのハウジング内に組み込まれた2つの撮像装置を有する画像収集システムを有するように構成された携帯型コンピュータを示す図である。 撮像装置及び光源が自立ハウジング内に組み込まれた画像収集システムを示す正面図である。 図22Aの画像収集システムの側面図である。 位置情報を生成する方法を示すフロー図である。 位置情報を生成する他の方法を示すフロー図である。 向き依存形状を有する再帰反射器の一例を示す図である。 向き依存形状を有する再帰反射器の一例を示す図である。 ポインティングデバイスの表面上に向き依存パターンをなすように配置された複数の再帰反射器の例を示す図である。 ポインティングデバイスの表面上に向き依存パターンをなすように配置された複数の再帰反射器の例を示す図である。 異なる形状を有する複数の再帰反射器の例を示す図である。 異なる形状を有する複数の再帰反射器の例を示す図である。 向き依存性のある構造的特徴を有するデバイスに一体化された再帰反射器の例を示す図である。 向き依存性のある構造的特徴を有するデバイスに一体化された再帰反射器の例を示す図である。 向き依存性のある構造的特徴を有するデバイスに一体化された再帰反射器の例を示す図である。 図28A〜図28Cを参照して説明したポインティングデバイスに似たポインティングデバイスの一実施形態を示す図である。ただし、このポインティングデバイスは、ポインティングデバイスの向き依存性のある構造的特徴の影響を受けない再帰反射器を有している点が異なる。 図28A〜図28Cを参照して説明したポインティングデバイスに似たポインティングデバイスの一実施形態を示す図である。ただし、このポインティングデバイスは、ポインティングデバイスの向き依存性のある構造的特徴の影響を受けない再帰反射器を有している点が異なる。 図28A〜図28Cを参照して説明したポインティングデバイスに似たポインティングデバイスの一実施形態を示す図である。ただし、このポインティングデバイスは、ポインティングデバイスの向き依存性のある構造的特徴の影響を受けない再帰反射器を有している点が異なる。 複数の再帰反射器を向き依存性のある構造的特徴と共に使用して、さらに詳細な向き情報を生成する、ポインティングデバイスの一実施形態を示す図である。 複数の再帰反射器を向き依存性のある構造的特徴と共に使用して、さらに詳細な向き情報を生成する、ポインティングデバイスの一実施形態を示す図である。 光ビームに対するキャビティ及び再帰反射器の向きを、全ての再帰反射器が照明されるような向きにしたときの、図30A及び図30Bに示すポインティングデバイスを示す側面図である。 図31Aの向きにあるポインティングデバイスを示す正面図である。図中、照明されている全ての再帰反射器が黒く塗りつぶされた円で描かれている。 光ビームに対するキャビティ及び再帰反射器の向きを、一部の再帰反射器だけが照明されるような向きにしたときの、図30A及び図30Bに示すポインティングデバイスを示す側面図である。 図32Aの向きにおけるポインティングデバイスを示す正面図である。図中、照明されている再帰反射器は黒く塗りつぶされた円で描かれ、照明されていない再帰反射器は塗りつぶされていない円で描かれている。 図26A及び図26Bを参照して説明したような再帰反射器の向き依存性パターンを、図30A〜図32Bを参照して説明したようなポインティングデバイスの向き依存性のある構造的特徴に一体化された再帰反射器のパターンと組み合わせて使用する、ポインティングデバイスの一例を示す図である。 図26A及び図26Bを参照して説明したような再帰反射器の向き依存性パターンを、図30A〜図32Bを参照して説明したようなポインティングデバイスの向き依存性のある構造的特徴に一体化された再帰反射器のパターンと組み合わせて使用する、ポインティングデバイスの一例を示す図である。 ポインティングデバイスのキャビティ、及び該キャビティの底部に取り付けられた再帰反射器の一実施形態を示す図である。 向き情報を生成する方法を示すフロー図である。 位置情報及び向き情報を生成する方法を示すフロー図である。

Claims (12)

  1. 向き情報を生成するためのシステムであって、
    反射器と、
    第1セットの画像データ及び第2セットの画像データを生成するように構成された画像収集システムであって、該第1セットの画像データは該第2セットの画像データよりも前記反射器の強い指示を有するものである、画像収集システムと、
    前記第1セットの画像データ及び前記第2セットの画像データを使用して、前記反射器に関連する向き情報を生成するように構成されたプロセッサと
    を含み、
    前記画像収集システムは、撮像装置、並びに異なる波長の光を生成する第1の光源及び第2の光源を含み、前記第1の光源と前記第2の光源は似たような照明角を有し、前記光源と前記撮像装置の間に波長選択フィルタが配置され、前記第1セットの画像データは前記第1の光源からの光の反射部分に応答して生成され、前記第2セットの画像データは前記第2の光源からの光の反射部分に応答して生成され、
    前記反射器は、キャビティを含むデバイスに一体化され、前記キャビティの中に配置され、かつ向き依存特性を有し、
    前記反射器は再帰反射器である、システム。
  2. 向き依存性構成を成すように配置された複数の再帰反射器を更に含む、請求項1に記載のシステム。
  3. デバイスのキャビティ内に配置された複数の再帰反射器を更に含む、請求項1に記載のシステム。
  4. 前記プロセッサは、前記第1セットの画像データと前記第2セットの画像データの強度差をとるように構成され、前記第1セットの画像データと前記第2セットの画像データの強度差をとることにより、差分画像が生成される、請求項1に記載のシステム。
  5. 前記プロセッサは前記差分画像を既知の画像情報と比較するように構成される、請求項に記載のシステム。
  6. 前記プロセッサは、前記第1セットの画像データ及び前記第2セットの画像データを使用して、前記再帰反射器に関連する位置情報を生成するように更に構成される、請求項1に記載のシステム。
  7. 前記画像収集システムは、光源、及び撮像装置を含み、前記再帰反射器と前記撮像装置の間に検出角が規定され、前記第1セットの画像データは軸上画像データであり、前記第2セットの画像データは軸外画像データであり、前記軸上画像データは、前記検出角に対して第1の照明角を成す照明ビームに応答して生成され、前記軸外画像データは、前記検出角に対して第2の照明角を成す照明ビームに応答して生成され、前記第1の焦明角は前記第2の照明角よりも小さく、前記第1の照明角、前記第2の照明角、及び前記検出角は、前記撮像装置の主表面の面に対して測定される、請求項1に記載のシステム。
  8. 前記撮像装置の上に複合フィルタが配置される、請求項に記載のシステム。
  9. 前記再帰反射器は波長選択フィルタによって覆われている、請求項1に記載のシステム。
  10. 前記再帰反射器と前記画像収集システムの間に配置された波長選択フィルタを更に含む、請求項1に記載のシステム。
  11. 位置情報及び向き情報を生成するための方法であって、
    再帰反射器を有するポインティングデバイスを照明するステップと、
    前記照明に応答して第1セットの画像データを生成するステップと、
    前記照明に応答して第2セットの画像データを生成するステップであって、前記第1セットの画像データは該第2セットの画像データよりも前記再帰反射器の強い指示を有するものである、第2セットの画像データを生成するステップと、
    前記第1セットの画像データ及び前記第2セットの画像データを使用して、前記再帰反射器に関連する位置情報及び向き情報を生成するステップであって、前記位置情報は、軸に沿った直線移動を特徴付けるものであり、前記向き情報は、軸を中心とした前記ポインティングデバイスの回転を特徴付けるものである、位置情報及び向き情報を生成するステップと
    を含み、前記位置情報及び向き情報を生成するステップは、
    前記第1セットの画像データと前記第2セットの画像データとの間の強度差をとるステップであって、前記第1セットの画像データと前記第2セットの画像データとの間の強度差をとることによって差分画像を生成するステップと、
    前記差分画像を既知の画像情報と比較し、前記差分画像上の特徴が、既知の再帰反射器特性に一致するか否かを判定するステップと
    を含み、
    前記再帰反射器は、キャビティを有するデバイスに一体化され、前記キャビティの中に配置され、かつ向き依存特性を有する、方法。
  12. 向き依存構成を成すように配置された複数の再帰反射器を更に含む、請求項11に記載の方法。
JP2006112233A 2005-04-21 2006-04-14 コードレスデバイスを使用した向き判定 Active JP5085878B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/111067 2005-04-21
US11/111,067 US7473884B2 (en) 2005-04-21 2005-04-21 Orientation determination utilizing a cordless device

Publications (3)

Publication Number Publication Date
JP2006302279A JP2006302279A (ja) 2006-11-02
JP2006302279A5 JP2006302279A5 (ja) 2009-05-28
JP5085878B2 true JP5085878B2 (ja) 2012-11-28

Family

ID=36292809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006112233A Active JP5085878B2 (ja) 2005-04-21 2006-04-14 コードレスデバイスを使用した向き判定

Country Status (3)

Country Link
US (2) US7473884B2 (ja)
JP (1) JP5085878B2 (ja)
GB (1) GB2425352B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7473884B2 (en) * 2005-04-21 2009-01-06 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Orientation determination utilizing a cordless device
US7796119B2 (en) * 2006-04-03 2010-09-14 Avago Technologies General Ip (Singapore) Pte. Ltd. Position determination with reference
US7976387B2 (en) * 2006-04-11 2011-07-12 Avago Technologies General Ip (Singapore) Pte. Ltd. Free-standing input device
US20090279107A1 (en) * 2008-05-09 2009-11-12 Analog Devices, Inc. Optical distance measurement by triangulation of an active transponder
US9285459B2 (en) * 2008-05-09 2016-03-15 Analog Devices, Inc. Method of locating an object in 3D
JP5037455B2 (ja) * 2008-08-26 2012-09-26 シャープ株式会社 入力システムおよび表示装置
US9383814B1 (en) * 2008-11-12 2016-07-05 David G. Capper Plug and play wireless video game
US9746544B2 (en) * 2008-12-03 2017-08-29 Analog Devices, Inc. Position measurement systems using position sensitive detectors
EP2436001B1 (en) * 2009-05-27 2018-02-14 Analog Devices, Inc. Position measurement systems using position sensitive detectors
WO2010138385A1 (en) 2009-05-27 2010-12-02 Analog Devices, Inc. Multiuse optical sensor
KR101624505B1 (ko) * 2009-09-24 2016-05-26 삼성전자주식회사 3-d 포인팅 감지 장치 및 방법
US8416409B2 (en) * 2010-06-04 2013-04-09 Lockheed Martin Corporation Method of ellipsometric reconnaissance
WO2012007561A2 (en) * 2010-07-16 2012-01-19 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Measurement system of a light source in space
US9702690B2 (en) 2011-12-19 2017-07-11 Analog Devices, Inc. Lens-less optical position measuring sensor
US9625994B2 (en) * 2012-10-01 2017-04-18 Microsoft Technology Licensing, Llc Multi-camera depth imaging
US9196040B2 (en) 2013-03-12 2015-11-24 Qualcomm Incorporated Method and apparatus for movement estimation
TWI536033B (zh) * 2014-07-18 2016-06-01 緯創資通股份有限公司 物體偵測方法及裝置
US9945948B2 (en) * 2015-06-18 2018-04-17 Nokia Technologies Oy Method and apparatus for providing time-of-flight calculations using distributed light sources
US10386463B1 (en) 2016-12-29 2019-08-20 X Development Llc Retroreflector with wavelength-dependent response to convey pose information
US11674797B2 (en) 2020-03-22 2023-06-13 Analog Devices, Inc. Self-aligned light angle sensor using thin metal silicide anodes

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3690767A (en) * 1970-10-01 1972-09-12 Systron Donner Corp Optical tanker-docking system
US4436417A (en) * 1982-04-14 1984-03-13 Itek Corporation Beam director for optical ranging system
US4823170A (en) * 1985-02-22 1989-04-18 Position Orientation Systems, Ltd. Line of sight measuring system
WO1987002484A1 (en) 1985-10-18 1987-04-23 Caterpillar Inc. Target and control system for positioning an automatically guided vehicle
US4733236A (en) * 1985-12-10 1988-03-22 The United States Of America As Represented By The Secretary Of The Air Force Space target with multi-spectral energy reflectivity
US4709580A (en) * 1986-02-26 1987-12-01 Bd Systems, Inc. Retroflective attitude determining system
FR2627290B1 (fr) 1988-02-12 1991-01-25 Matra Systeme de reperage et de mesure par voie optique pour vehicule spatial
EP0366112B1 (en) * 1988-10-26 1995-03-08 Wacom Co., Ltd. Optical coordinate input apparatus and position indicator therefor
US5072109A (en) * 1990-03-07 1991-12-10 Aguilera Jr John A Photocell array with multi-spectral filter
JP2564963B2 (ja) * 1990-03-29 1996-12-18 三菱電機株式会社 ターゲット及びこれを用いた三次元位置姿勢計測システム
DE9205427U1 (de) * 1992-04-21 1992-06-25 Bodenseewerk Gerätetechnik GmbH, 7770 Überlingen Reflektoreinheit und Einrichtung zur kontaktlosen Messung der Orientierung eines beweglichen Meßobjektes im Raum
JPH06249616A (ja) 1993-02-26 1994-09-09 Hitachi Zosen Corp 物体の位置・姿勢測定装置
US5334848A (en) * 1993-04-09 1994-08-02 Trw Inc. Spacecraft docking sensor system
US5530774A (en) * 1994-03-25 1996-06-25 Eastman Kodak Company Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields
JP3242529B2 (ja) * 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
US5734736A (en) * 1994-06-17 1998-03-31 Trw Inc. Autonomous rendezvous and docking system and method therefor
US5570113A (en) * 1994-06-29 1996-10-29 International Business Machines Corporation Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system
US5920394A (en) * 1995-09-01 1999-07-06 Research Corporation Technologies, Inc. Optical coordinate measuring machine
US6066642A (en) * 1996-01-29 2000-05-23 The United States Of America As Represented By The Department Of Health And Human Services Dihydropyridine-, pyridine-, benzopyran-4-one- and triazoloquinazoline derivative, their preparation and their use as adenosine receptor antagonists
US6285959B1 (en) * 1996-02-06 2001-09-04 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US6134507A (en) * 1996-02-06 2000-10-17 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US6066842A (en) 1996-10-11 2000-05-23 Trw Inc. Laser along-body tracker (SABOT III)
US5821922A (en) * 1997-05-27 1998-10-13 Compaq Computer Corporation Computer having video controlled cursor system
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6344846B1 (en) * 1997-10-27 2002-02-05 Stephen P. Hines Optical retroreflective remote control
JP3937533B2 (ja) * 1997-11-07 2007-06-27 セイコーエプソン株式会社 遠隔座標入力装置および遠隔座標入力方法
US6061644A (en) * 1997-12-05 2000-05-09 Northern Digital Incorporated System for determining the spatial position and orientation of a body
EP2306228A1 (en) * 1998-05-25 2011-04-06 Panasonic Corporation Range finder device and camera
US6791531B1 (en) * 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
PL359918A1 (en) * 2000-09-20 2004-09-06 Merck Patent Gmbh 4-amino-quinazolines
ES2278810T3 (es) 2000-11-02 2007-08-16 Intervet International Bv Nucleoproteina recombinante mutante del virus de la enfermedad de newcastle (ndv) como marcador de vacuna.
US6741755B1 (en) * 2000-12-22 2004-05-25 Microsoft Corporation System and method providing mixture-based determination of opacity
GB2372656A (en) 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
US6864557B2 (en) * 2001-06-18 2005-03-08 Foveon, Inc. Vertical color filter detector group and array
WO2003017193A1 (en) * 2001-08-16 2003-02-27 Optidtech Optical Identification Technologies Ltd. Electro-optic reader for retro-reflective bar codes
US7202793B2 (en) * 2002-10-11 2007-04-10 Attention Technologies, Inc. Apparatus and method of monitoring a subject and providing feedback thereto
JP2004152032A (ja) * 2002-10-30 2004-05-27 Nippon Telegr & Teleph Corp <Ntt> 3次元姿勢入力用状態指定機能付立体、3次元姿勢入力方法、3次元姿勢入力装置、3次元姿勢入力プログラム、およびそのプログラムを記録した記録媒体
JP2004157708A (ja) * 2002-11-06 2004-06-03 Fuji Electric Holdings Co Ltd 座標入力装置
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
CN1816792A (zh) * 2003-07-02 2006-08-09 新世代株式会社 信息处理装置、信息处理系统、操作物、信息处理方法、信息处理程序以及游戏系统
US6985216B2 (en) * 2003-07-18 2006-01-10 Chemimage Corporation Method and apparatus for compact birefringent interference imaging spectrometer
US7224468B2 (en) 2003-10-20 2007-05-29 Agilent Technologies, Inc. En-face functional imaging using multiple wavelengths
US7217913B2 (en) * 2003-12-18 2007-05-15 Micron Technology, Inc. Method and system for wavelength-dependent imaging and detection using a hybrid filter
US7720264B2 (en) * 2004-05-10 2010-05-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for pupil detection for security applications
US7583863B2 (en) * 2004-05-10 2009-09-01 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for wavelength-dependent imaging and detection using a hybrid filter
JP2006249616A (ja) * 2005-03-11 2006-09-21 Toray Ind Inc 染色織物および鞄
US7609249B2 (en) * 2005-04-21 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Position determination utilizing a cordless device
US7473884B2 (en) * 2005-04-21 2009-01-06 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Orientation determination utilizing a cordless device

Also Published As

Publication number Publication date
US20060237633A1 (en) 2006-10-26
US20090078858A1 (en) 2009-03-26
GB2425352A (en) 2006-10-25
GB0605224D0 (en) 2006-04-26
US7473884B2 (en) 2009-01-06
GB2425352B (en) 2010-07-14
JP2006302279A (ja) 2006-11-02
US7737393B2 (en) 2010-06-15

Similar Documents

Publication Publication Date Title
JP5085878B2 (ja) コードレスデバイスを使用した向き判定
US8384663B2 (en) Position determination utilizing a cordless device
US20170292828A1 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
US20170131085A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US9549168B2 (en) Hand held portable three dimensional scanner
Kuan et al. Comparative study of intel R200, Kinect v2, and primesense RGB-D sensors performance outdoors
JP2014066728A (ja) 六自由度計測装置及び方法
JP3807779B2 (ja) 座標検出装置
CN104284625B (zh) 用于对目标对象的表面的深度进行仿形的装置和方法
EP2105698A1 (en) Three-dimensional coordinate measuring device
JP2006302279A5 (ja)
CN107783353A (zh) 用于捕捉立体影像的装置及系统
EP3371779A1 (en) Systems and methods for forming models of three dimensional objects
WO2016040271A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US11727635B2 (en) Hybrid photogrammetry
JP2011257293A (ja) 情報処理装置、プログラム、および情報処理システム
CN101469975A (zh) 光学检测仪器和方法
US7796119B2 (en) Position determination with reference
JP4067569B2 (ja) 位置検知ユニットおよびそのようなユニットを一つ以上含む多次元ポインタ
JP2003280808A (ja) 3次元位置入力デバイス
JP2004157708A (ja) 座標入力装置
KR101594309B1 (ko) 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법
JP7350265B2 (ja) 位置推定装置、コンピュータに実行させるためのプログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体
CN113048878B (zh) 光学定位系统、方法以及多视图三维重建系统、方法
JP4698540B2 (ja) 目標物判別システム、目標物判別方法および目標物判別制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120706

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120906

R150 Certificate of patent or registration of utility model

Ref document number: 5085878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313135

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250