JP4114637B2 - 位置計測システム - Google Patents
位置計測システム Download PDFInfo
- Publication number
- JP4114637B2 JP4114637B2 JP2004159250A JP2004159250A JP4114637B2 JP 4114637 B2 JP4114637 B2 JP 4114637B2 JP 2004159250 A JP2004159250 A JP 2004159250A JP 2004159250 A JP2004159250 A JP 2004159250A JP 4114637 B2 JP4114637 B2 JP 4114637B2
- Authority
- JP
- Japan
- Prior art keywords
- concentric
- real space
- light source
- measured
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
また、以上のように位置や向きを簡易に精度良く計測できないために、室内に配置された物体の位置やサイズを簡易に精度良くコンピュータに入力することができない、などの問題がある。
ここで、前記現実空間は直方体空間であり、これを規定する位置は直方体の辺、面および角の少なくとも一つの位置とすることができる。前記電磁波発信源は前記受信デバイスに装着され、前記受信デバイスは前記現実空間を規定する位置に設置されうる。前記現実空間が部屋の場合、前記電磁波発信源が部屋の壁、天井、床、仕切り板および角の少なくとも一つに配置されることにより、前記部屋の寸法が計測され、それ以降に計測される電磁波発信源の位置が前記部屋の位置に対応した位置として計測されうる。前記電磁波は光とすることができ、この場合、前記電磁波発信源が光源であり、前記受信デバイスが受光デバイスであり、前記レンズ系が光学レンズ系とされる。
ここで、前記同心円検出装置は前記空間を規定する位置に配置され、前記同心円模様の中心位置を前記同心円光源モジュールの指示点として計測することができる。前記同心円模様の中心点に可視光ビームを投影する装置を前記同心円光源モジュールに具備することができる。前記同心円光源モジュールが前記空間を規定する位置に配置され、前記同心円検出装置は前記同心円模様を検出することで、前記同心円検出装置自身の位置を計測することができる。前記同心円検出装置に前記同心円光源モジュールが搭載され、前記同心円光源モジュールが前記空間を規定する位置に配置されうる。前記同心円模様は例えば同心円干渉模様である。
本発明に係る3次元画像計測システムは、同心円模様を対象物に投影する同心円光源モジュールと、前記同心円模様を撮影する撮影装置と、前記撮影装置が撮影した画像から、対象物の距離画像を計測する演算装置を備え、前記同心円模様が現実空間を規定している面に投影され、前記面の距離画像が計測され、前記現実空間に対応した座標軸が決定され、それ以降に計測される計測結果が前記現実空間に対応した位置として計測される。ここで、前記同心円光源モジュールは前記撮影装置に搭載され、前記撮影装置が現実空間のある固定された位置から前記現実空間を規定する面の距離画像を計測することができる。
前記同心円型位置計測システムまたは前記3次元画像計測システムで使われる前記同心円光源モジュールは、前記リング型位置計測システムの光源となり、前記同心円光源モジュールの3次元位置が前記現実空間に対応した位置として計測されうる。前記同心円型位置計測システムの同心円光源モジュールが投影する同心円模様が、前記3次元画像計測システムにより計測され、前記同心円光源モジュールまたは前記同心円模様の中心点の3次元位置が前記現実空間に対応した位置として計測されうる。前記3次元画像計測システムの同心円光源モジュールが対象物に投影する同心円模様の一部が、前記同心円型位置計測システムにより計測され、前記同心円光源モジュールまたは前記同心円模様の中心点の3次元位置が前記現実空間に対応した位置として計測されうる。前記同心円模様は例えば同心円干渉模様である。前記3次元画像計測システムの同心円光源モジュールが複数個あり、前記対象物に複数の同心円模様が投影され、前記複数の同心円光源モジュールの3次元位置が前記リング型位置計測システムまたは前記同心円型位置計測システムにより前記現実空間に対応した位置として計測されうる。さらに、前記光源または前記同心円光源モジュールが複数個あり、その各々が固有の変調信号でパルス発光し、前記受光デバイスまたは前記同心円検出装置がパルス発光の固有の変調信号を検出することにより、前記光源により形成された前記リング形状に集中した電磁波または光、または前記光源モジュールにより形成された同心円模様を識別して計測することができる。
ここで、前記表示装置上に表示されている対象物に対して、前記位置計測システムを用いて前記対象物に対応する現実空間の位置を指し示すことにより、現実空間の対象物とデジタル空間の対象物が対応付けられうる。また、実空間の前記対象物の位置またはサイズの範囲を計測する場合、前記同心円光源モジュールの指示点を利用することができる。
ここで、前記リングセンサーは、前記ICチップから発信される電波を検出することができる。前記ICチップから発信される電波から情報を取得し、それを表示装置に表示することができる。前記表示装置は例えばメガネディスプレイとすることができる。
ここで、前記表示装置には前記対象物が存在する現実空間に対応するデジタル空間が作成され、その中に前記対象物を示す項目が前記位置情報に基づいて表示されうる。前記デジタル空間内に、前記対象物を示す項目がその位置情報と属性とに基づいて、現実空間を縮尺または拡大した形状で表示されうる。前記表示装置上に存在する対象物が、前記コンピュータに入力された現実空間の位置座標に基づいて配置されうる。前記対象物がネットワークに接続された電子機器であり、ネットワークIDを有し、前記コンピュータが前記電子機器の実空間内の位置座標とネットワーク上のネットワーク接続地図とを対比させて管理するができる。前記対象物はネットワークに接続された電子機器であり、ネットワークIDを有し、前記コンピュータが前記電子機器の現実空間内の位置座標とネットワーク上のネットワーク接続地図と、前記ネットワークIDから見つけ出した対象物の属性を対比させて管理することができる。前記ネットワークIDは例えばIPアドレスである。
まず、リングセンサーの一例について説明する。本リングセンサーは電磁波発信源の位置を計測するものであるが、この電磁波は好ましくは波長が300nmないし1mであり、例えば光(紫外線、可視光、赤外線を含む)またはミリ波ないしマイクロ波帯の電波である。
このリング像は、図2に示したリング状入射窓となる第1レンズ面21をレンズ中心から放射状にプロットした点を通過する光が形成する。ここで注意すべき点は、図3に示されたリング像は単純にリング状入射窓から入った光が縮小投影されてリング像を形成しているわけではなく、リング状入射窓から入った光がイメージセンサ上で折り返して重なり、これにより光リング像を形成していることである(図3では線が重なりあっているので、分かりにくい)。これを次にわかりやすく説明する。
なお、本例では、上述のように、LED光源1以外の光を除去する赤外線透過フィルタ9をイメージセンサ5の前に設置したが、赤外線透過フィルタ9は、レンズ系2の前面や後面などに取り付けても、ノイズ光を除去することができる。
この金属球体1a,1bで反射した光は、赤外線透過フィルタ9を通過し、半球レンズ2に入射する。半球レンズ2は、その第1レンズ面の光軸周辺部に光遮蔽部20を有し、その周囲にリング状入射窓3を有する。レンズ2の後方にはイメージセンサ5が設けられており、このイメージセンサ5が撮影した光リング像の信号を演算装置7で演算処理し、この演算装置により算出された光源1の位置座標を表示装置8で表示する。
この半球レンズ2の無限遠光源に対する近軸光線の焦点位置は、半球レンズ出射面の後方19.5mmにある。この半球レンズは球面収差が大きいので、上記リング状入射窓3(Φ4mm〜Φ6mm)から入った光の集束位置は、折り返しリング像を形成するためには、上記近軸光線の焦点位置よりもかなりレンズ寄りとなる。ここではイメージセンサ5を半球レンズ2の後方5mmのところに設置した。
本例によれば、レンズ系にリング状入射窓を設けることで、複数の光源を同時に計測することが容易となる。また、本例では、位置計測の対象は電磁波の発生装置そのものではなく、電磁波を反射する小さい反射部材とすることができる。したがって、この小さい反射部材を物体に貼り付けることにより、様々な物体の3次元位置を簡易に計測することができるようになる。
図10(a)、(b)は、レンズの上半分を通過した光と下半分を通過した光が同心円干渉模様を形成する同心円ポインターの一例を示す図である。
本例では、図10(a)に示すように、光軸に窪みのある光軸対象のリング形状レンズ1−3を用いる。図10(b)において、レンズ1−3はレンズの断面図を示し、レンズ1−3uはレンズを光源方向から見た正面図を示すものである。ここで、レンズ外径は3mmとした。光軸上の平面におけるレンズの入射面はx=0.5*(y―1.5)1.5(単位はmm)の非球面で構成されている。ここで、xは光軸で光の進行方向を正とし、yは光軸に垂直な半径方向の軸である。レンズ1−3の光出射面は平面とした。レンズ素材の屈折率は1.51とした。
このレンズ1−3に半導体レーザ52から出射した光をコリメータレンズ51cで平行光として入射させた場合にどのような干渉模様が形成されるかをシミュレーションにより調べた。半導体レーザの光は一般にガウシアン分布の強度分布を持つので、ここではレンズ外径3mmの外径部を通過する光の強度は、レンズ中心部(光軸)を通過する光の強度の3.4%にまで減少する、としてシミュレーションを行った。その結果、4m先の対象物に約直径4mの同心円干渉模様が形成されることが分かった。その干渉パタンの一部分を図11に示す。図11には円中心から1500mm〜1510mm離れた位置の同心円干渉模様が示されている。このグラフでは、ちょうど0.5mmピッチで同心円ができることが確認できる。
図13は、同心円干渉模様を形成するレンズと半導体レーザ光源を光源モジュールとして用い、このモジュールが指し示す指示点を計測する図である。本例は、レーザ光源(半導体レーザ)52、コリメータレンズ51cおよび同心円干渉模様を形成するリング形状レンズ1−3を有する光源モジュール3と、表示装置100と、同心円干渉模様を検出する検出装置(例えばイメージセンサ)61と、検出した干渉模様のデータを演算処理する演算装置62とを備える。
光源モジュール53は、波長850nmの半導体レーザ52と同心円干渉模様を形成するリング形状レンズ1−3とを含む。レンズ外径は3mmとした。光軸上の平面におけるレンズの入射面はx=0.5*(y―1.5)*√(y―1.5)(単位はmm)の非球面で構成されている。ここで、xは光軸で光の進行方向を正とし、yは光軸に垂直な半径方向の軸である。レンズ1−3の光出射面は平面とした。レンズ素材の屈折率は1.51とした。このレンズ1−3に半導体レーザ52から出射した光をコリメータレンズ51cで平行光として入射させた。
上記の例では、検出装置は1個しか利用していないが、複数個取り付けることができる。この場合には、同心円の外径が小さくても、検出装置で同心円を検出することができるようになる。
まず、光源モジュールには、前面円錐面/後面凹面の光学レンズを搭載した。その仕様は、直径Φ6mm、円錐高さ1.4mm、円錐頂点と凹面中心の厚さ2mm、凹面の曲率半径8mm、屈折率1.6である。レーザ光源(波長780nm)と円錐頂点との距離は2.5mmとした。レンズ凹面中心から投影平面までの距離を1mとした場合に、投影平面に形成される同心円干渉模様は円中心から外周部に至るまで、そのピッチがほぼ同じ0.67mmであることが分かった。即ち、光源の光軸と平面が垂直であれば、干渉模様のピッチは平面内ではどこでも同じになることが判明した。また、この干渉模様のピッチは距離に比例することも分かった。従って、検出装置が検出した同心円の曲率から同心円中心を算出でき、次に、同心円のピッチから、光源モジュールまでの光軸上の距離を計算することができる。
本計測方法を応用すると、例えば、光源モジュールをポインターとして利用してプレゼンテーションを行っている人の動作とポインティング箇所を効果的に計測することができる。プレゼンテーションの表示画面の近くに検出装置を設置し、ポインターが指し示した箇所とポインターそのものの位置を連続的に記録する。これはプレゼンテーターの動きや行動と同時に、プレゼンテーション資料のポイント箇所とを同時に記録することになり、プレゼンテーションの要約やリプレイに有効な計測方法となる。
上記では、対象物を丸で囲むことにより、位置やサイズを計測したが、窓のようにサイズが長方形となっている場合には対角の2点をポインティングすることによりそのサイズと位置を計測することもできる。また、テレビやラジオなどの寸法も対角の2点をポイントすることにより簡易に計測することができる
図18において、イメージセンサなどの検出装置61の中心位置を61−0とすると、検出装置は干渉模様5−aと5−bを検出することにより、検出装置の中心61−0から同心円中心5−a−0と5−b−0へのベクトルRaとRbを算出することができる。各々のベクトルの長さはRaとRbである。したがって、検出装置61−0は原点から半径Raの位置に存在することが分かり、位置座標は曲座標では(Ra,t)で表される。ここで角度tは、図19に示すように、x軸(ベクトルL)となす角度である。このtが求まれば、検出装置61の位置座標が決定される。
この式から、cos(t)を求めることができる。
また、距離RaやRbの誤差が大きいと予想される場合には、図19に示すように、明確に計測できる角度t0を利用するのがよい。即ち、
L^2=Ra^2+Rb^2−2*Ra*Rb*cos(t0) (3)
を用いて、不明確な値の精度を高めることができる。その後で、角度tを求めて、検出装置の位置座標を得ることができる。
本例では、光源モジュールを識別する方法として、同心円干渉模様を検出する検出装置に通常の画像撮影速度よりも速く光信号を受光できる受光素子を設置する方法がある。本例の検出装置は2次元配列した受光素子アレイ321を備える。高速の受光素子322としては、アバランシェフォトダイオードなどを利用することができる。通常検出装置が撮影する画像情報は1秒間に30フレームであることが多いが、半導体レーザを用いた光源では、1秒間に100万回程度パルス発光させることができる。このパルス発光のパターンを検出装置が識別できれば、多数の光源モジュールを識別して、位置計測することができる。
図21は、部屋の寸法と対象物の位置を計測するための位置計測システムの実施例を示す図である。本実施例は、部屋の寸法を簡易にコンピュータに入力し、かつ、部屋内の物体配置をそのまま簡易にコンピュータに入力することができるようにしたものである。本実施例では、図21に示すように、部屋100の8つの角にLED光源101を搭載したリングセンサー102−1〜102−8が設置されている。ここでリングセンサーは、前述のとおり、光源の光からリング形状の光集中領域を形成するレンズと、これを検出する装置を組み合わせたものである。リングセンサー102はコンピュータ(PC)110と接続されており、入力された寸法や位置を表示装置111で表示できるようにされている。リングセンサー102には画角90度の光源位置を計測できる半球レンズを用いたので、自分以外の全てのLED光源の位置を計測することができる。これにより、先ず部屋のサイズを正確にコンピュータ110に入力することができる。これを部屋100の壁に掛けた表示装置111に縮小して表示する。
このように本実施例は、リングセンサーを用いたリング型位置計測システムであり、光源が現実空間を規定する位置に配置されることにより、現実空間のサイズと座標軸が決定され、それ以降に計測される光源の3次元位置が現実空間に対応した位置として計測される。現実空間が直方体空間の場合、現実空間を規定する位置は直方体の辺、面および角の少なくとも一つの位置である。例えば、現実空間が部屋の場合、光源が部屋の壁、天井、床、仕切り板、および角の少なくとも一つに配置されることにより、部屋の寸法が計測され、それ以降に計測される光源の位置が部屋の位置に対応した位置として計測される。現実空間がその他の形状の空間の場合、現実空間を規定する位置はその空間の形状に従って定められる。
本実施例では、LED光源付きリングセンサーを部屋の8つの角に設置したが、これはLED光源を移動させて机の位置を計測している時に、人や物体により遮光されて計測できなくなることを防ぐためである。
部屋の寸法を計測するためだけなら、設置するLED光源を、図22(a)に示すように、4箇所においてその位置を計測すればよい。天井の3点101−1、101−2、101−3が天井面のサイズと傾きを決定し、壁面の3点101−1、101−3、101−4が壁面のサイズと傾きを決定する。当然のことながら、LED光源は固定しておいてもよいし、あるいは部屋の寸法を計測する時だけ部屋の角などに持っていき、計測した後は取り外しても良い。
また、リングセンサーの光軸を壁面などに垂直に設置する場合には、図22(b)に示すように、3箇所102−1、102−2、102−3に設置するだけでよい。壁2面と天井面が規定されることにより直方体が決定される。特に同心円センサーの場合には通常、受光面が壁面に平行になる(光軸が壁面に垂直になる)ので、壁面に3個取り付けて、部屋中央の一点に同心円ポインターを設置して計測することで、部屋サイズを入力することができる。
位置情報管理リストの一例を図24に示す。この位置情報管理リストには、各項目毎に、サイズ、中心位置、向き、属性、実行プログラムが入力されている。例えば、ノートPCの画面を投影表示するプロジェクター画面120−1の寸法と位置を入力する場合には、まず項目欄の「プロジェクター画面」をクリックし、その項目の寸法や位置が入力できるモードに入る。この状態で同心円ポインター103で実際のプロジェクタ画面120−1の対角線の角を正確にポイントして、その寸法と部屋内位置を入力する。管理コンピュータは自動的に予め入力してある典型的なプロジェクタ画面120−1を今計測した寸法に修正し、その部屋内位置に基づいて、管理コンピュータの部屋内に配置する。
このように本実施例は、同心円ポインターおよび同心円センサーを用いた同心円型位置計測システムであり、同心円ポンターおよび同心円センサーの少なくとも一方が現実空間を規定する位置に配置されることにより、現実空間のサイズと座標軸が決定され、それ以降に計測される計測結果が現実空間に対応した位置として計測される。同心円センサーは同心円干渉模様の中心位置を同心円ポンターの指示点として計測する。
さらに、図24に示した位置情報管理リストを用いて、同心円ポインターで指し示した対象物を制御することができる。例えば、照明120−2の位置をポインターで指し示すと、その位置座標が管理コンピュータに入力され、各項目の位置座標と比較される。そうすると、その測定位置は照明120−2−2の位置に相当することが判明する。照明の実行プログラム欄には「電源オンオフ」が設定されている。コンピュータはこの実行プログラムを実行する。即ち、管理コンピュータは照明120−2−2の制御装置にネットワークを介して信号を送信し、照明がオンの場合はオフに、オフの場合はオンに電源が切り替える。このように、同心円ポインターを用いて照明120−2−2のオンオフを簡易に制御することができる。
これにより、位置計測システムを用いて計測されたある対象物の位置情報と対象物名と対象物の属性が前記コンピュータで管理され、その位置情報と対象物名と属性を表示装置上にデータとして表示することができる。表示装置上には、位置計測システムが規定し、計測した現実空間に対応したデジタル空間が形成され、現実空間の対象物はその現実の位置に対応するようにデジタル空間の中に表示される。また、表示装置上に表示されている対象物に対して、位置計測システムを用いて対象物に対応する現実空間の位置を指し示すことにより、現実空間の対象物とデジタル空間の対象物が対応付けられる。対象物の実空間で存在する位置またはサイズの範囲を計測する場合、位置計測システムを用いて対象物を取り囲むことでその位置またはサイズの範囲を計測することができる。また、対象物の実空間で存在する位置またはサイズの範囲を計測する場合、同心円ポインターの指示点を利用することができる。
また、同心円ポインターにマウスの右クリックや左クリックを取り付けて、その信号を無線送信する装置を取り付けてもよいことは言うまでもない。
以上のようにして、同心円ポインターを利用して電源オンオフやカーソル移動などを自由に設定することができる。
また、上記ではコンピュータはネットワークを介して制御装置に信号を送信しているが、電子機器によっては制御装置を必要とせず、電子機器が制御装置を含んでいる場合がある。例えば、テレビのリモコン操作では、テレビに制御装置が内蔵されているので、制御装置に信号を送信するというよりは、テレビに信号を送信する、ということになる。
また、図24に表示されている「エアコン」の実行プログラムは「温度設定、オンオフ」となっており、実行するプログラムの内容が複数にわたっている。この場合、同心円ポインターを押すと電源のオンオフとし、同心円ポインターを上方に上げる動作で設定温度をあげ、同心円ポインターを下方に下げる動作で設定温度を下げる、などのようにすることができる。即ち、人間の動作に対応して制御することができる。
また、上記ではコンピュータはネットワークを介して制御装置に信号を送信しているが、ネットワークを介さず、コンピュータを直接に電子機器に接続し、制御信号を送ることもできる。この場合にはコンピュータである必要はなく、信号処理チップのような物でコンピュータの役割を代行することができる。
以上のように、対象物はネットワークに接続された電子機器とすることができ、これはネットワークIDとしてのIPアドレスを有し、またコンピュータは前記電子機器の実空間内の位置座標とネットワーク上のネットワーク接続地図とを対比させて管理することができ、さらに前記IPアドレスから見つけ出した対象物の属性を対比させて管理することができる。
同心円ポインターが等間隔の同心円干渉模様を形成する場合には、リングセンサーなしで同心円センサーだけで同心円ポインターの3次元位置を計測することができるが、この場合にはレンズの設計が容易でない、レンズ面の精度が高く、コストが高いなどの問題がある。本実施例のようにリングセンサーを用いれば、間隔がランダムな同心円干渉模様から同心円ポインターの3次元位置を計測できるので、それほど面精度の高くないレンズを利用できる、また、そのコストが低くなるという効果がでる。
同心円センサー104は同心円ポインターから発される同心円干渉模様の一部を検出するので、その同心円中心である人130の顔の向きを正確に知ることができる。例えば、最初に窓120−2を見た後、直ぐに時計120−3の針を30秒見ていたなどを計測することができる。このように顔の向きのデータを連続して保存することにより、人130が時間とともにどのような方向を向いたかを知ることができる。
また、同心円センサーが計測した顔の向きのデータと、リングセンサーが計測した3次元情報を照らし合わせると、人の行動をさらに詳しく分析することができる。部屋のどの位置から何処を見たかの情報を精度良くとることができる。
また、同心円センサーを利用した顔の向きの計測は、視線計測メガネなどと併用することができる。視線計測は眼球のむいている方向を計測するが、何処を見ているかを知るためには顔の向きを知ることが必要になる。顔の向きを計測する方法として、同心円ポインターと同心円センサーを利用した技術を利用できることはいうまでもない。
このように本実施例は、リング型位置計測システムと同心円型位置計測システムを併用したものであり、リングセンサーおよび同心円センサーが現実空間を規定する位置に配置されることにより、現実空間のサイズと座標軸が決定され、それ以降に計測される同心円型位置計測の結果とリング型位置計測の結果が、現実空間の位置に対応した位置として計測される。
多人数の人が同心円ポインターを利用する場合には、同心円ポインターは識別可能なパルスパターンでパルス発光させことなどが必要となる。同心円センサーにパルスパターンの識別センサーを取り付けて、どの同心円ポインターの光を受けているかを検出する。
本実施例では、人の位置計測の方法として、リングセンサーを利用したが、図19に示すように、天井に多数の同心円ポンターを設置し、同心円センサーを人が携帯して自らの位置を知ることができることは言うまでもない。
本実施例では、同心円ポインターの干渉模様の光を、ICチップの電力供給源としたが、一般的なRFIDに用いられている電波供給でも良いことは言うまでもない。その場合には同心円ポインター以外に電波供給装置を携帯することになる。
ICチップの電力供給源として電波を用いる場合には、ICチップは本の背表紙のように表面に出ている必要はなく、本の中に隠れていてもよいことは言うまでもない。電波は本などを透過して起電力供給をすることができるからである。
本実施例では、メガネディスプレイ141を人が装着しているが、表示装置であれば何でもよく、ヘッドマウントディスプレイやPDAやノートPCでもよいことは言うまでもない。この場合には実施例1または実施例2で説明した現実の状況をコンピュータ内に構築して、その中で上記のメタ情報を表示するのが、人が認識し易くてもよい。
本実施例では、本を例にして、そのメタ情報を表示する方法を説明したが、メタ情報の表示対象は何でもよく、紙ドキュメント、ビデオ、CD、DVDなどの媒体(メディア)、なににでも応用できることはいうまでもない。
距離画像を用いて直方体の部屋を規定する方法として、3面が交差する角160−1とその対角にある160−2の距離画像を取得する方法を図29を用いて説明する。角160−1と角160−2を結ぶ直線上の一点に距離画像計測システム105を設置し、先ず角160−1付近の距離画像を計測して、3面の形を計測する。次に同じ位置から角160−2付近の距離画像を計測して、3面の形を計測する。床面は共通しているので、この面が一致するように距離画像を対角線を中心として回転させ接合すると、直方体の部屋の領域と座標軸を決定することができる。
また、このような方法で部屋の領域と座標軸を決定した後で、距離画像計測システムを対象物の方向に回転させ、対象物の距離画像を計測することで、部屋位置に対応した距離画像を計測することができる。ただし、この場合には対象物に向けて距離画像計測システムをxyz軸方向に何度回転させたかを記録しておく必要がある。
距離画像計測システム105は、上述した位置計測システムにより実現することができる。これは、例えば、同心円模様を対象物に投影する同心円光源モジュールと、同心円模様を撮影する撮影装置と、撮影装置が撮影した画像から、対象物の距離画像を計測する演算装置を備えた3次元画像計測システムにより実現することができる。このシステムでは、同心円模様が現実空間を規定している面、辺および角の少なくとも一つに投影され、この面、辺および角の少なくとも一つの距離画像が計測され、前記現実空間に対応した座標軸が決定され、それ以降に計測される計測結果が前記現実空間に対応した位置として計測される。この場合、同心円光源モジュールは撮影装置に搭載することができ、この撮影装置が現実空間のある固定された位置から前記現実空間を規定する面、辺および角の少なくとも一つの距離画像を計測することができる。
部屋100には、光源の光をリング状に集光し、光源位置を計測するリングセンサー102と同心円干渉模様を検出する同心円センサー104が設置されている。実施例1に示した方法で部屋の領域と座標軸を決定した。
次に、距離画像計測システム105により壁に掛けられた彫刻120−4の距離画像を撮影した。その方法を次に説明する。本実施例では、距離画像計測システム105は、デジタルカメラ106と同心円光源モジュール103−2とを備える。デジタルカメラ106は、イメージセンサと演算装置(例えば、コンピュータで構成される)を有する。図示のように、デジタルカメラ106には同心円光源モジュール(同心円ポインター)103−2が1個搭載されている。同心円光源モジュール103−2を発光させて同心円模様を壁に掛けられた彫刻120−4に投影し、各々のイメージをデジタルカメラ106で撮影する。デジタルカメラ106により撮影された彫刻の像には、同心円中心とそこから広がる同心円模様が連続して撮影された。この撮影データはデジタルカメラ106の演算装置で演算処理される。即ち、どの同心円模様の同心円中心から何番目であるかを数えることができる。
y^2+z^2=(ax)^2 (4)
のaを決定することを意味する。ここで、xは光源モジュールから同心円中心までの距離で、y軸z軸はxに垂直な平面を構成する直交軸である。aは同心円番号により決定される係数である。
一方、デジタルカメラの各画素Piが決定する光入射方向を表す直線Lは次式で表される。
また、同時に、距離画像を計測する際に発光した同心円光源モジュールの光を、リングセンサー102でも検出することができる。これにより、距離画像計測システムの3次元位置を計測することができる。
以上の実施例では、同心円模様を形成する方法として、光干渉を用いたが、プロジェクターなどで同心円模様を投影しても同様にして位置計測ができることは言うまでもない。
101 LED光源
102−1〜102−8 リングセンサー
103 同心円ポインター
104 同心円センサー
105 距離画像計測システム
106 デジタルカメラ
110 コンピュータ(PC)
111 表示装置
120 机
120−1 テレビ
120−2 窓
120−3 時計
120−4 彫刻像
141 メガネディスプレイ
150 ICチップ
160 空間を規定する位置
Claims (29)
- 電磁波発信源から放出された電磁波を球面収差の効果によりリング形状に集中するレンズ系と、前記リング形状に集中した電磁波を検出する受信デバイスと、前記受信デバイスが検出した情報から、前記電磁波発信源の3次元位置を計測する演算装置とを備えたリング型位置計測システムにおいて、前記レンズ系が、第1レンズ面の中心軸周辺部に電磁波遮蔽部を有し、前記電磁波遮蔽部を除く第1レンズ面から入射した前記電磁波を第2レンズ面から出射するものであり、
前記第1レンズ面に対向する前記第2レンズ面の中心軸から離れた位置に配置された第1ミラー面と、前記第2レンズ面に対向する前記電磁波遮蔽部の位置に配置された第2ミラー面とを備え、前記第1レンズ面、第2レンズ面および第2ミラー面がそれぞれ凸形状を有し、前記第1ミラー面が凹形状を有すること、または、
前記第1レンズ面が平坦面で前記第2レンズ面が球面の半球レンズを有すること、
前記電磁波発信源または前記受信デバイスが、計測が行われる現実空間のサイズを計測できる位置に配置されること、並びに、
前記演算装置が、前記電磁波発信源または前記受信デバイスの配置された位置に基づいて前記現実空間のサイズを計測し前記現実空間に対応した座標軸を決定し、それ以降に計測する電磁波発信源の3次元位置を前記計測した現実空間に対応した位置として計測することを特徴とするリング型位置計測システム。 - 前記現実空間が直方体空間であり、これを規定する位置が直方体の辺、面および角の少なくとも一つの位置であることを特徴とする請求項1に記載のリング型位置計測システム。
- 前記電磁波発信源が前記受信デバイスに装着され、前記受信デバイスが前記現実空間を規定する位置に設置されることを特徴とする請求項1または2に記載のリング型位置計測システム。
- 前記現実空間が部屋であり、前記電磁波発信源が部屋の壁、天井、床、仕切り板および角の少なくとも一つに3つ以上配置されることにより、前記部屋の寸法が計測され、それ以降に計測される電磁波発信源の位置が前記部屋の位置に対応した位置として計測されることを特徴とする請求項1〜3のいずれかに記載のリング型位置計測システム。
- 前記電磁波が光であり、前記電磁波発信源が光源であり、前記受信デバイスが受光デバイスであり、前記レンズ系が光学レンズ系であることを特徴とする請求項1〜4のいずれかに記載のリング型位置計測システム。
- 請求項5に記載のリング型位置計測システム、
同心円模様を投影する同心円光源モジュールと、前記同心円模様の光を検出する同心円検出装置と、前記同心円検出装置が検出した信号から、前記同心円光源モジュールおよび前記同心円模様の中心位置の少なくとも一方の位置を計測する演算装置を備えた同心円型位置計測システムにおいて、前記同心円光源モジュールおよび同心円検出装置の少なくとも一方が、計測が行われる現実空間のサイズを計測できる位置に配置されること、並びに、前記演算装置が、前記同心円光源モジュールおよび同心円検出装置の少なくとも一方の配置された位置に基づいて前記現実空間のサイズを計測し前記現実空間に対応した座標軸を決定し、それ以降に計測する計測結果を前記計測した現実空間に対応した位置として計測する同心円型位置計測システム、および
同心円模様を対象物に投影する同心円光源モジュールと、前記同心円模様を撮影する撮影装置と、前記撮影装置が撮影した画像から、対象物の距離画像を計測する演算装置を備えた3次元画像計測システムにおいて、前記同心円模様が、計測が行われる現実空間のサイズを計測できる面に投影され、前記演算装置が、前記現実空間の前記面の距離画像を計測し前記現実空間に対応した座標軸を決定し、それ以降に計測する計測結果を前記計測した現実空間に対応した位置として計測する3次元画像計測システム
のうち、少なくとも一つの計測システムが現実空間を規定する位置に設置され、前記現実空間に対応する座標軸が決定され、前記3つの計測システムのうち少なくとも二つの計測システムがそれ以降に計測する計測結果が前記現実空間に対応した位置として計測される計測システムであって、
前記同心円型位置計測システムまたは前記3次元画像計測システムで使われる前記同心円光源モジュールが、前記リング型位置計測システムの光源となり、前記同心円光源モジュールの3次元位置が前記現実空間に対応した位置として計測されることを特徴とする計測システム。 - 請求項5に記載のリング型位置計測システム、
同心円模様を投影する同心円光源モジュールと、前記同心円模様の光を検出する同心円検出装置と、前記同心円検出装置が検出した信号から、前記同心円光源モジュールおよび前記同心円模様の中心位置の少なくとも一方の位置を計測する演算装置を備えた同心円型位置計測システムにおいて、前記同心円光源モジュールおよび同心円検出装置の少なくとも一方が、計測が行われる現実空間のサイズを計測できる位置に配置されること、並びに、前記演算装置が、前記同心円光源モジュールおよび同心円検出装置の少なくとも一方の配置された位置に基づいて前記現実空間のサイズを計測し前記現実空間に対応した座標軸を決定し、それ以降に計測する計測結果を前記計測した現実空間に対応した位置として計測する同心円型位置計測システム、および
同心円模様を対象物に投影する同心円光源モジュールと、前記同心円模様を撮影する撮影装置と、前記撮影装置が撮影した画像から、対象物の距離画像を計測する演算装置を備えた3次元画像計測システムにおいて、前記同心円模様が、計測が行われる現実空間のサイズを計測できる面に投影され、前記演算装置が、前記現実空間の前記面の距離画像を計測し前記現実空間に対応した座標軸を決定し、それ以降に計測する計測結果を前記計測した現実空間に対応した位置として計測する3次元画像計測システム
のうち、少なくとも一つの計測システムが現実空間を規定する位置に設置され、前記現実空間に対応する座標軸が決定され、前記3つの計測システムのうち少なくとも二つの計測システムがそれ以降に計測する計測結果が前記現実空間に対応した位置として計測される計測システムであって、
前記同心円型位置計測システムの同心円光源モジュールが投影する同心円模様が、前記3次元画像計測システムにより計測され、前記同心円光源モジュールまたは前記同心円模様の中心点の3次元位置が前記現実空間に対応した位置として計測されることを特徴とする計測システム。 - 請求項5に記載のリング型位置計測システム、
同心円模様を投影する同心円光源モジュールと、前記同心円模様の光を検出する同心円検出装置と、前記同心円検出装置が検出した信号から、前記同心円光源モジュールおよび前記同心円模様の中心位置の少なくとも一方の位置を計測する演算装置を備えた同心円型位置計測システムにおいて、前記同心円光源モジュールおよび同心円検出装置の少なくとも一方が、計測が行われる現実空間のサイズを計測できる位置に配置されること、並びに、前記演算装置が、前記同心円光源モジュールおよび同心円検出装置の少なくとも一方の配置された位置に基づいて前記現実空間のサイズを計測し前記現実空間に対応した座標軸を決定し、それ以降に計測する計測結果を前記計測した現実空間に対応した位置として計測する同心円型位置計測システム、および
同心円模様を対象物に投影する同心円光源モジュールと、前記同心円模様を撮影する撮影装置と、前記撮影装置が撮影した画像から、対象物の距離画像を計測する演算装置を備えた3次元画像計測システムにおいて、前記同心円模様が、計測が行われる現実空間のサイズを計測できる面に投影され、前記演算装置が、前記現実空間の前記面の距離画像を計測し前記現実空間に対応した座標軸を決定し、それ以降に計測する計測結果を前記計測した現実空間に対応した位置として計測する3次元画像計測システム
のうち、少なくとも一つの計測システムが現実空間を規定する位置に設置され、前記現実空間に対応する座標軸が決定され、前記3つの計測システムのうち少なくとも二つの計測システムがそれ以降に計測する計測結果が前記現実空間に対応した位置として計測される計測システムであって、
前記3次元画像計測システムの同心円光源モジュールが対象物に投影する同心円模様の一部が、前記同心円型位置計測システムにより計測され、前記同心円光源モジュールまたは前記同心円模様の中心点の3次元位置が前記現実空間に対応した位置として計測されることを特徴とする計測システム。 - 前記同心円模様が同心円干渉模様であることを特徴とする請求項7または8に記載の計測システム。
- 前記3次元画像計測システムの同心円光源モジュールが複数個あり、前記対象物に複数の同心円模様が投影され、前記複数の同心円光源モジュールの3次元位置が前記リング型位置計測システムまたは前記同心円型位置計測システムにより前記現実空間に対応した位置として計測されることを特徴とする請求項6〜9のいずれかに記載の計測システム。
- 電磁波発信源より発信された電磁波からリング形状の電磁波集中領域を形成するレンズ系および前記レンズ系により形成された電磁波集中領域を検出する受信デバイスを有するリングセンサーと、レーザ光源と同心円模様を形成するレンズの組み合わせからなる同心円ポインターと、前記同心円ポインターから光を受けることにより電波を発信する、物体に貼付されたICチップとを備え、前記受信デバイスが検出した情報から、前記電磁波発信源の3次元位置を計測する演算装置とを備えたリング型位置計測システムにおいて、前記レンズ系が、第1レンズ面の中心軸周辺部に電磁波遮蔽部を有し、前記電磁波遮蔽部を除く第1レンズ面から入射した前記電磁波を第2レンズ面から出射するものであり、
前記第1レンズ面に対向する前記第2レンズ面の中心軸から離れた位置に配置された第1ミラー面と、前記第2レンズ面に対向する前記電磁波遮蔽部の位置に配置された第2ミラー面とを備え、前記第1レンズ面、第2レンズ面および第2ミラー面がそれぞれ凸形状を有し、前記第1ミラー面が凹形状を有すること、または、
前記第1レンズ面が平坦面で前記第2レンズ面が球面の半球レンズを有すること、
前記電磁波発信源または前記受信デバイスが、計測が行われる現実空間のサイズを計測できる位置に配置されること、並びに、
前記演算装置が、前記電磁波発信源または前記受信デバイスの配置された位置に基づいて前記現実空間のサイズを計測し前記現実空間に対応した座標軸を決定し、それ以降に計測する電磁波発信源の3次元位置を前記計測した現実空間に対応した位置として計測することを特徴とする位置管理システム。 - 前記同心円模様が同心円干渉模様であることを特徴とする請求項11に記載の位置管理システム。
- 前記リングセンサーが、前記ICチップから発信される電波を検出することを備えたことを特徴とする請求項11または12に記載の位置管理システム。
- 前記ICチップから発信される電波から情報を取得し、それを表示装置に表示することを特徴とする請求項13に記載の位置管理システム。
- 前記表示装置がメガネディスプレイであることを特徴とする請求項14に記載の位置管理システム。
- 電磁波発信源より発信された電磁波からリング形状の電磁波集中領域を形成するレンズ系および前記レンズ系により形成された電磁波集中領域を検出する受信デバイスを有するリングセンサーと、前記受信デバイスが検出した情報から、前記電磁波発信源の3次元位置を計測する前記リングセンサーに接続されたコンピュータと、前記コンピュータに接続された表示装置とを備え、前記レンズ系が、第1レンズ面の中心軸周辺部に電磁波遮蔽部を有し、前記電磁波遮蔽部を除く第1レンズ面から入射した前記電磁波を第2レンズ面から出射するものであり、
前記第1レンズ面に対向する前記第2レンズ面の中心軸から離れた位置に配置された第1ミラー面と、前記第2レンズ面に対向する前記電磁波遮蔽部の位置に配置された第2ミラー面とを備え、前記第1レンズ面、第2レンズ面および第2ミラー面がそれぞれ凸形状を有し、前記第1ミラー面が凹形状を有すること、または、
前記第1レンズ面が平坦面で前記第2レンズ面が球面の半球レンズを有すること、
前記電磁波発信源または前記受信デバイスが、計測が行われる現実空間のサイズを計測できる位置に配置されること、並びに、
前記コンピュータが、前記電磁波発信源または前記受信デバイスの配置された位置に基づいて前記現実空間のサイズを計測し前記現実空間に対応した座標軸を決定し、それ以降に計測するある対象物の位置情報を前記計測した現実空間に対応した位置として、前記対象物を示す項目と前記対象物の属性と共に管理し、前記位置情報と前記項目と前記属性を前記表示装置に表示しうることを特徴とする位置管理システム。 - 前記表示装置には前記対象物が存在する現実空間に対応するデジタル空間が作成され、その中に前記対象物を示す項目が前記位置情報に基づいて表示されることを特徴とする請求項16に記載の位置管理システム。
- 前記デジタル空間内に、前記対象物を示す項目がその位置情報と属性とに基づいて、現実空間を縮尺または拡大した形状で表示されることを特徴とする請求項17に記載の位置管理システム。
- 前記表示装置上に存在する対象物が、前記コンピュータに入力された現実空間の位置座標に基づいて配置されることを特徴とする請求項16に記載の位置管理システム。
- 前記対象物がネットワークに接続された電子機器であり、ネットワークIDを有し、前記コンピュータが前記電子機器の実空間内の位置座標とネットワーク上のネットワーク接続地図とを対比させて管理することを特徴とする請求項16に記載の位置管理システム。
- 前記対象物がネットワークに接続された電子機器であり、ネットワークIDを有し、前記コンピュータが前記電子機器の現実空間内の位置座標とネットワーク上のネットワーク接続地図と、前記ネットワークIDから見つけ出した対象物の属性を対比させて管理することを特徴とする請求項16に記載の位置管理システム。
- 前記ネットワークIDがIPアドレスであることを特徴とする請求項20または21に記載の位置管理システム。
- 請求項11または16に記載の位置管理システムにおいて、
前記位置管理システムは現実空間に存在する対象物を示す項目と前記対象物の属性とその位置座標情報を有し、前記位置計測システムが計測する位置座標が前記位置座標情報に対応する場合には、前記コンピュータがすでに入力されているプログラムを実行することを特徴とする位置管理システム。 - 請求項23に記載の位置管理システムにおいて、
位置計測される対象物が、ネットワークに接続された電子機器であり、前記コンピュータはネットワークを介して前記プログラムの内容を実行することを特徴とする位置管理システム。 - 請求項24に記載の位置管理システムにおいて、
前記電子機器はIPアドレスを有し、前記コンピュータはIPアドレスを用いて前記プログラムの内容を実行することを特徴とする位置管理システム。 - 請求項23〜25のいずれかに記載の位置管理システムにおいて、
前記コンピュータは前記プログラムの実行に際して、前記プログラムの内容が複数の場合には、前記位置計測のやり方を識別し、実行プログラム内容を選別して、実行することを特徴とする位置管理システム。 - 請求項23〜26のいずれかに記載の位置管理システムにおいて、
前記対象物がネットワークに接続されているコンピュータ画面であり、すでに入力されている前記コンピュータ画面の位置座標に対応する値を前記位置計測システムが計測した場合には、前記位置計測システムはコンピュータのマウスの役割を果たし、前記コンピュータ画面の計測位置にカーソルを移動させることを特徴とする位置管理システム。 - 請求項27に記載の位置管理システムにおいて、
前記位置計測システムは発信源の3次元位置から前記マウスの画面上の位置を算出し、かつ、前記発信源の3次元位置およびその動きから左クリックまたは右クリックを実行することを特徴と位置管理システム。 - 請求項23に記載の位置管理システムにおいて、
位置計測される対象物が制御装置により制御される電子機器であり、前記コンピュータは前記制御装置に信号を送信し、前記制御装置が前記電子機器を制御することを特徴とする位置管理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004159250A JP4114637B2 (ja) | 2004-05-28 | 2004-05-28 | 位置計測システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004159250A JP4114637B2 (ja) | 2004-05-28 | 2004-05-28 | 位置計測システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005337966A JP2005337966A (ja) | 2005-12-08 |
JP4114637B2 true JP4114637B2 (ja) | 2008-07-09 |
Family
ID=35491703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004159250A Expired - Fee Related JP4114637B2 (ja) | 2004-05-28 | 2004-05-28 | 位置計測システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4114637B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4918830B2 (ja) * | 2006-08-31 | 2012-04-18 | 富士ゼロックス株式会社 | 位置計測システム |
US9495386B2 (en) | 2008-03-05 | 2016-11-15 | Ebay Inc. | Identification of items depicted in images |
US10936650B2 (en) | 2008-03-05 | 2021-03-02 | Ebay Inc. | Method and apparatus for image recognition services |
US9164577B2 (en) | 2009-12-22 | 2015-10-20 | Ebay Inc. | Augmented reality system, method, and apparatus for displaying an item image in a contextual environment |
US9449342B2 (en) * | 2011-10-27 | 2016-09-20 | Ebay Inc. | System and method for visualization of items in an environment using augmented reality |
US9240059B2 (en) | 2011-12-29 | 2016-01-19 | Ebay Inc. | Personal augmented reality |
US10846766B2 (en) | 2012-06-29 | 2020-11-24 | Ebay Inc. | Contextual menus based on image recognition |
-
2004
- 2004-05-28 JP JP2004159250A patent/JP4114637B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005337966A (ja) | 2005-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7009713B2 (en) | Optical position measuring system using an interference pattern | |
US8471812B2 (en) | Pointing and identification device | |
US8971565B2 (en) | Human interface electronic device | |
US5686942A (en) | Remote computer input system which detects point source on operator | |
US10949027B2 (en) | Interactive virtual display | |
JP2005331784A (ja) | 光学レンズ系およびこれを用いた位置計測システム | |
CN110998223B (zh) | 用于确定至少一个对像的位置的检测器 | |
US8933912B2 (en) | Touch sensitive user interface with three dimensional input sensor | |
JP5212991B2 (ja) | 空中映像インタラクション装置及びそのプログラム | |
JP5461470B2 (ja) | 近接度検出器 | |
CN102591488B (zh) | 改进的输入设备和相关联的方法 | |
US20150253428A1 (en) | Determining positional information for an object in space | |
JPH08506193A (ja) | ペンの視覚的検出のための拡散支援による位置標定用装置および方法 | |
JP2014517361A (ja) | カメラ式マルチタッチ相互作用装置、システム及び方法 | |
JP2009037620A (ja) | 三次元バーチャルインプットとシミュレートの装置 | |
CN105593786A (zh) | 对象位置确定 | |
JP2005233842A (ja) | 位置計測システム | |
JPWO2018216619A1 (ja) | 非接触入力装置 | |
JP4114637B2 (ja) | 位置計測システム | |
JP2019074933A (ja) | 非接触入力装置 | |
JP2006268582A (ja) | ジェスチャによる情報機器の制御方法および制御システム | |
JP2007327966A (ja) | 光源モジュールおよびこれを用いた位置計測システム | |
Balaji et al. | RetroSphere: Self-Contained Passive 3D Controller Tracking for Augmented Reality | |
CN107743628A (zh) | Led面发光的结构化光 | |
TW201617814A (zh) | 光學式觸控裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060818 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20060818 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080407 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120425 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130425 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140425 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |