JPH11218409A - 3次元情報計測方法及び装置 - Google Patents

3次元情報計測方法及び装置

Info

Publication number
JPH11218409A
JPH11218409A JP10021992A JP2199298A JPH11218409A JP H11218409 A JPH11218409 A JP H11218409A JP 10021992 A JP10021992 A JP 10021992A JP 2199298 A JP2199298 A JP 2199298A JP H11218409 A JPH11218409 A JP H11218409A
Authority
JP
Japan
Prior art keywords
reference light
dimensional information
scanning
projection
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10021992A
Other languages
English (en)
Inventor
Toshio Norita
寿夫 糊田
Fumiya Yagi
史也 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP10021992A priority Critical patent/JPH11218409A/ja
Priority to US09/243,809 priority patent/US6204916B1/en
Publication of JPH11218409A publication Critical patent/JPH11218409A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】広い角度範囲にわたる空間に配置された物体の
3次元情報を比較的簡単な構成で高速に且つ安定して計
測できるようにすること。 【解決手段】回転体型ミラー11と当該回転体型ミラー
11の中心軸Jに受光軸が一致するように配置された撮
像装置12とを用い、中心軸J上の周囲の空間に配置さ
れた対象物の3次元情報を計測する3次元情報計測方法
であって、中心軸J上から参照光を投射して対象物を走
査し、参照光の投射角度δに対応する物理量と、対象物
により反射された参照光が回転体型ミラー11を介して
撮像装置12で撮像されたときに得られる投影像の位置
に対応する物理量とに基づいて、対象物の3次元情報を
求める。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、物体の3次元情報
を広い角度範囲にわたって計測して入力するための3次
元情報計測方法及び装置に関し、例えば、周囲180
度、270度、さらには360度の全方位にわたって計
測することの可能な3次元情報計測方法及び装置に関す
る。
【0002】
【従来の技術】近年、バーチュアルリアリティや移動ロ
ボットの技術がめざましく進歩してきている。これらの
分野では、撮影の対象となる物体の3次元情報を入力す
ることが必要とされ、これにともなって3次元情報計測
装置に対する関心と需要が高まっている。
【0003】移動ロボットにおいては、移動する際、障
害物に衝突しないようにするために、常に周囲に障害物
がないかどうかを監視し、障害物がある場合にはこれを
避ける必要がある。周囲にある物体が障害物であるか否
かの判断は、例えば、移動ロボットに3次元情報計測装
置を搭載することによって周囲にある物体までの距離を
計測し、その距離が所定の値よりも小さな値となったこ
とに基づいて行われる。このような判断は、実時間で行
う必要があり、各方位毎についての距離の計測を全周に
わたって高速で行うことが要求される。
【0004】従来より、周囲にある物体までの距離を広
い角度範囲にわたって計測する手法として、距離計測装
置のカメラ部分を撮影しながら回転させる手法が用いら
れている。回転が遅い場合には各方位についてカメラの
視線が物体をとらえるタイミングの時差が大きくなり、
鈍い監視となる。回転を高速にすれば、カメラの視線が
速く周囲を見廻すので、時差が小さくなり、鋭い監視と
なる。しかし、そのための機構が大型化し、回転による
騒音の問題が生じる。
【0005】一方、カメラ部分を回転させる代わりに、
距離測定のための参照光の投光及び受光を行うための2
つのミラーを一体的に設け、それらを同時に回転させる
全方位距離検出装置が提案されている(特開平7─19
1142号)。
【0006】
【発明が解決しようとする課題】しかし、上述の公報に
開示された全方位距離検出装置では、前述のミラーを周
壁が透明な円筒形のケーシングの中に収め、ケーシング
の軸まわりに回転させることにより参照光を周囲の物体
に照射し、その反射光を受けることにより距離計測を行
っている。ミラーはロータを介したモータによって駆動
されており、ロータやモータなども全てケーシングの中
に収められているため回転騒音が低減される効果があ
る。しかし、カメラの視線を回転させる手法に比べて構
造が複雑である。参照光の投光及び受光のための2つの
ミラーを同時に回転させるためにサイズが大きくなり、
回転を高速にした場合に装置の安定性が悪くなる。
【0007】本発明は上述の問題に鑑みてなされたもの
で、広い角度範囲にわたる空間に配置された物体の3次
元情報を比較的簡単な構成で高速に且つ安定して計測す
ることのできる3次元情報計測方法及び装置を提供する
ことを目的とする。
【0008】
【課題を解決するための手段】請求項1の発明に係る方
法は、回転体型ミラーと当該回転体型ミラーの中心軸に
受光軸が一致するように配置された撮像装置とを用い、
前記中心軸の周囲の空間に配置された対象物の3次元情
報を計測する3次元情報計測方法であって、前記中心軸
上から参照光を投射して前記対象物を走査し、前記参照
光の投射角度に対応する物理量と、前記対象物により反
射された前記参照光が前記回転体型ミラーを介して前記
撮像装置で撮像されたときに得られる投影像の位置に対
応する物理量とに基づいて、前記対象物の3次元情報を
求める。
【0009】請求項2の発明に係る装置は、回転体型ミ
ラーと当該回転体型ミラーの中心軸に受光軸が一致する
ように配置された撮像装置とを有し、前記中心軸の周囲
の空間に配置された対象物の3次元情報を求める3次元
情報計測装置であって、ビーム状の参照光を投射する参
照光投射手段と、前記参照光の投射方向が前記中心軸を
中心とする周方向に変化するように前記参照光を偏向し
て主走査を行うための主走査手段と、前記参照光の投射
方向が前記中心軸に沿った方向に変化するように前記参
照光を偏向して副走査を行うための副走査手段と、前記
参照光の副走査における投射方向である投射角度に対応
する物理量と、前記対象物により反射された前記参照光
についての前記撮像装置により得られる投影像の位置に
対応する物理量とに基づいて、前記対象物の3次元情報
を求める3次元情報算出手段と、を有してなる。
【0010】請求項3の発明に係る装置は、前記中心軸
上に設けられ、円錐面状に拡がる放射状の参照光を投射
する放射状参照光投射手段と、前記参照光の投射角度が
変化するように前記参照光を偏向して副走査を行うため
の副走査手段と、前記参照光の副走査における投射方向
である投射角度に対応する物理量と、前記対象物により
反射された前記参照光についての前記撮像装置により得
られる投影像の位置に対応する物理量とに基づいて、前
記対象物の3次元情報を求める3次元情報算出手段と、
を有してなる。
【0011】投射角度に対応する物理量として、投射角
度それ自体、又は投射角度に関連した物理量、例えば、
副走査を開始してからの経過時間、光源、ミラー、又は
スリットなどの移動量などが用いられる。投影像の位置
に対応する物理量として、投影像の位置の基準位置から
の距離、投影像が投影された画素のにらむ方向などが用
いられる。
【0012】本明細書において「中心軸上から参照光を
投射して」との記載中の「中心軸上」には、中心軸上及
びその周辺を含む。
【0013】
【発明の実施の形態】〔第1の実施形態〕図1は第1の
実施形態に係る3次元情報計測装置1Aの構成を示す図
である。
【0014】図1において、3次元情報計測装置1A
は、映像ミラー11A、撮像装置12A、光源13A、
走査光学系14A、走査ミラー15A、及び回転駆動装
置16Aなどから構成される。
【0015】映像ミラー11Aは、双曲線、楕円、放物
線などの二次曲線を中心軸である軸Jのまわりに回転さ
せて得られる二次曲面を有した回転体型ミラー(又は回
転面型ミラー)である。つまり、映像ミラー11Aは、
軸Jに関して対称であり、しかも軸Jを含む平面による
断面がその接線の横軸に対する傾きを単調に増加させる
曲線となる形状である。映像ミラー11Aは、軸Jが鉛
直方向に沿うように、且つ反射面が下方に向いた状態に
設置される。
【0016】映像ミラー11Aの下方には、受光軸が軸
Jに一致するように撮像装置12Aが設けられている。
撮像装置12Aは光学レンズ及び撮像素子を備える。撮
像装置12Aとして例えばビデオカメラが用いられる。
撮像装置12Aには映像ミラー11Aで反射した光が入
射するので、撮像装置12Aによって全方位を対象とし
た撮影が可能である。したがって、軸Jのまわりの全て
の方位に存する物体の像は、撮像装置12Aそれ自体を
はじめとして3次元情報計測装置1Aの各構成部材によ
って影になる部分を除けば、撮像装置12Aの撮像素子
により同時に撮像される1つの画像の中に取り込まれる
こととなる。
【0017】撮像装置12Aの下方には、軸Jに沿っ
て、光源13A、走査光学系14A、走査ミラー15
A、及び回転駆動装置16Aがこの順で設置されてい
る。光源13Aからは参照光が発せられ、走査光学系1
4Aを通ることによって適当な径を有する参照光ビーム
に整えられる。この参照光ビームは、走査ミラー15A
で反射して周囲の空間へ投射される。
【0018】走査ミラー15Aは、軸Jに垂直な軸のま
わりに角度制御が可能である。つまり、走査ミラー15
Aの反射面に垂直な軸と軸Jとのなす角度である偏角φ
が、所定の範囲で可変制御される。したがって、走査ミ
ラー15Aから投射される参照光ビームは、例えば、偏
角φが最小のときに実線P11の方向に投射され、偏角
φが最大のときは実線P12の方向に投射される。すな
わち、実線P11とP12との間の矢印B’で示す角度
範囲において、参照光ビームが照射される。この角度範
囲内に物体が存する場合に、その物体は参照光ビームに
よって軸Jに沿った方向に走査される。物体からの反射
光は、破線P13,P14などで示される経路を経て撮
像装置12Aに入射する。
【0019】本明細書において、軸Jに沿った方向の走
査を副走査とする。副走査のために、走査ミラー15A
に対して偏角φの制御機構が設けられる。但し、走査ミ
ラー15Aとして、角度制御機構付のもの、例えばガル
バノスキャナーのようなものを使用すれば、偏角φの制
御のための機構を別途設けることなく、簡易な構成で実
現できる。
【0020】回転駆動装置16Aは、モータ又はモータ
とギヤなどからなり、走査ミラー15A、又は走査ミラ
ー15Aに加え光源13Aと走査光学系14Aのいずれ
か又は両方を、矢印Aで示すように軸Jを中心として回
転させる。これによって、走査ミラー15Aから投射さ
れる参照光ビームは、軸Jを中心とする周方向に変化す
るように偏向され、軸Jのまわりの全ての方位に照射さ
れる。したがって、軸Jのまわりのどの方位に存する物
体に対しても、参照光ビームによる走査が行われる。本
明細書において、軸Jを中心とする周方向の走査を主走
査とする。
【0021】3次元情報計測装置1Aでは、上述した主
走査と副走査とを組み合わせることによって、矢印B’
で示す角度範囲について全ての方位に走査が行われ、そ
の範囲内に存する物体の計測が行われる。
【0022】つまり、主走査の1周期(矢印Aの方向の
1回転)に対し、走査ミラー15Aの角度を副走査方向
の分解能分だけ変化させ、この角度の変化を矢印B’で
示す範囲で片道1回の副走査の間繰り返す。これによっ
て、矢印B’で示す範囲において、軸Jまわりの全方位
にわたって、存在する物体を参照光ビームで走査する。
【0023】次に、3次元情報計測装置1Aによって物
体の3次元情報を計測する原理について、図2及び図3
などを参照して説明する。図2は3次元情報計測装置1
Aが3次元形状の物体OB1〜OB4の置かれた環境下
に設置された状態を示す図である。
【0024】図3は図2の状態で3次元情報計測装置1
Aを動作させた場合において、ある副走査タイミングに
おける主走査の1周期に対して、撮像装置12Aによっ
て撮像される参照光スポットの軌跡Z1〜Z4の例を示
す図である。
【0025】図3において、参照光スポットの方位角を
基準縦軸Yから時計まわりに計った角度θで表し、ま
た、参照光スポットの観測位置を画像の中心Oからの距
離rで表わす。
【0026】この場合、方位角θの角度位置における参
照光スポットの観測位置rは、参照光ビームの投射の起
点位置が明らかになっていれば、その参照光ビームが投
射されたときの投射角度δと、参照光ビームの投射の起
点位置からその参照光ビームが到達する物体OB上の点
Pまでの距離d(図2参照)とによって、一意に定ま
る。投射角度δは、走査ミラー15Aの偏角φによって
一意に定まる。すなわち、換言すれば、物体OBまでの
距離dは、走査ミラー15Aの偏角φと観測位置rとか
ら求められる。
【0027】したがって、距離dは、映像ミラー11A
の形状定義式と、撮像装置12A及び走査光学系14A
などの位置関係とから、三角測距の原理に基づいて算出
可能である。このような処理又は操作を0〜360度の
全ての方位角θについて繰り返すことにより、走査ミラ
ー15Aのある偏角φに関して、軸Jまわりの全周の角
度範囲に存する物体OBについての距離dを算出するこ
とができる。さらに偏角φを副走査範囲内で変化させる
ことによって、軸Jまわりの全方位にわたって置かれた
物体OBについての3次元情報を算出することができ
る。
【0028】3次元情報算出部PRにおいて、撮像装置
12Aの撮像素子からの出力、主走査及び副走査におけ
る制御量又は係数、及び予め設定された定数などに基づ
いて、全方位についての距離dの算出、つまり物体OB
の3次元情報の算出が行われる。その算出方法及び処理
回路については後述する。〔第2の実施形態〕図4は第
2の実施形態に係る3次元情報計測装置1Bの構成を示
す図である。
【0029】3次元情報計測装置1Bにおいても、第1
の実施形態に係る3次元情報計測装置1Aの場合と同様
な形状の映像ミラー11Bが設けられる。映像ミラー1
1Bの下方に、受光軸が軸Jに一致するように撮像装置
12Bが設けられている。
【0030】撮像装置12Bの下方で且つ軸Jに沿った
位置に、円錐状光投射装置43及び走査ミラー44が設
けられている。円錐状光投射装置43は、投射口43K
から円錐面状の参照光45を下方へ向かって投射する。
つまり、参照光45は、その進行方向に直角な面による
断面が円環であり、進行方向への距離に比例して直径が
大きくなる。走査ミラー44は、映像ミラー11Bと同
様な形状であり、その反射面が上方に向いた状態に設置
される。走査ミラー44の反射面に当たる参照光45は
環状となる。走査ミラー44は、駆動装置46によっ
て、軸Jに沿った上下方向に往復直線移動する。走査ミ
ラー44の移動によって、円錐状光投射装置43と走査
ミラー44との間の距離が変化する。これによって、参
照光45の走査ミラー44に当たる位置が変化し、その
反射光の投射角度δが変化する。
【0031】走査ミラー44が破線Y21の位置にある
場合には、参照光45は走査ミラー44の傾きの小さい
位置に入射して反射され、放射状の参照光P21となっ
て周囲空間に投射される。走査ミラー44が実線Y22
の位置にある場合には、参照光45は走査ミラー44の
傾きの大きい位置に入射して反射され、放射状の参照光
P22となって周囲空間に投射される。投射された参照
光P21,22の物体からの反射光は、破線P23,P
24などで示される経路を経て撮像装置12Bに取り込
まれる。このように、参照光P21,22は、0〜36
0度の全ての方位角θにわたって同時に、つまり主走査
方向に対しては同時に投射され、走査ミラー44の移動
によって副走査が行われる。
【0032】したがって、第2の実施形態の3次元情報
計測装置1Bにおいては、第1の実施形態の場合のよう
に主走査を行うための回転駆動装置16Aを設ける必要
がない。その上、参照光P21,22は全方位に対して
同時に投射されるので、第1の実施形態のような周方向
における走査の時差がない。
【0033】3次元情報計測装置1Bにおいても、第1
の実施形態の3次元情報計測装置1Aと同様の原理で物
体OBの3次元情報が計測される。すなわち、参照光4
5が走査ミラー44によって反射され、放射状の参照光
を投射角度δで投射しているときの走査ミラー44の位
置をyとする。この場合、撮像装置12Bにおける参照
光の観測位置rは、図2及び図3に示す場合と同様に、
投射角度δと、参照光ビームの投射の起点位置からその
参照光ビームが到達する物体OB上の点Pまでの距離d
(図2参照)とによって、一意に定まる。したがって、
物体OBまでの距離dは、走査ミラー44の位置yと観
測位置rとから求められる。
【0034】なお、走査ミラー44を移動させる代わり
に、円錐状光投射装置43を移動させてもよい。 〔第3の実施形態〕図5は第3の実施形態に係る3次元
情報計測装置1Cの構成を示す図、図6は3次元情報計
測装置1Cに用いられるマスク54の外観を示す図であ
る。
【0035】図5に示されるように、3次元情報計測装
置1Cにおいても、第1の実施形態における3次元情報
計測装置1Aの場合と同様な形状の映像ミラー11Cが
設けられ、その下方において軸Jに受光軸が一致する撮
像装置12Cが設けられている。撮像装置12Cの下方
には、軸J上に光源53が設けられている。また、光源
53を覆うように、円筒状のマスク54が軸J上に設け
られている。マスク54は、駆動装置55によって、軸
Jに沿った上下方向に往復直線移動する。
【0036】図6によく示されるように、マスク54の
外周面にはその周方向に沿って1周分のスリットS1が
設けられている。スリットS1は、マスク54の一部を
透明材料で製作することによって設けられる。また、上
下に2分割された円筒状部材を隙間を開けて配置し、そ
れらを構造部材によって互いに連結することによって、
スリットS1の設けられたマスク54を構成してもよ
い。
【0037】光源53から放射される光は、スリットS
1から洩れて外部に放射される。すなわち、図5に示す
ように、光源53から放射された光は、マスク54が破
線Y31の位置にある場合には、断面が円環状の参照光
P31となって周囲に投射される。マスク54が実線Y
32の位置にある場合には、同じく円環状の参照光P3
2となって周囲に投射される。このように、マスク54
の移動によって、図5の矢印Q2で示される範囲に参照
光が投射される。したがって、マスク54を移動させる
ことによって、軸Jまわりの全方位にわたり、周囲に存
在する物体を参照光で走査することができる。物体から
の反射光は、破線P33,P34などを経て撮像装置1
2Cに取り込まれる。
【0038】なお、マスク54を移動させる代わりに、
光源53を移動させてもよい。 〔第4の実施形態〕図7は第4の実施形態に係る3次元
情報計測装置1Dの構成を示す図、図8は3次元情報計
測装置1Dに用いられるマスク64の外観を示す図であ
る。
【0039】図7に示されるように、3次元情報計測装
置1Dにおいても、第1の実施形態の場合と同様な形状
の映像ミラー11Dが設けられ、その下方において受光
軸が軸Jに一致する撮像装置12Dが設けられている。
撮像装置12Dの下方において軸J上に光源63が設け
られている。また、光源63を覆うように、円筒状のマ
スク64が軸J上に設けられている。マスク64は、駆
動装置65によって、軸Jを中心として回転駆動され
る。
【0040】図8によく示されるように、マスク64の
外周面に螺旋状の1周分のスリットS2が設けられてい
る。スリットS2は、マスク64の一部を透明材料で製
作することによって設けられる。
【0041】光源63から放射される光は、スリットS
2から洩れて外部に参照光として投射される。スリット
S2が螺旋状であるため、スリットS2を抜けた参照光
は螺旋状に放射される。すなわち、図7に示すように、
光源63から放射された光は、周方向のある角度位置で
は上方へ向かう参照光P41となり、周方向の他のある
角度位置では下方へ向かう参照光P42となる。このよ
うに、外部へ投射される参照光は、周方向の角度位置に
応じてその投射角度δが異なり、全体として投射角度δ
の最大と最小との間において螺旋状に連続する。このよ
うな螺旋状の参照光は、それ自体がマスク64の回転に
ともなって回転し、マスク64が1回転することによっ
て、周方向の全ての角度に対して矢印Q3で示される範
囲の全ての方位に投射される。
【0042】したがって、マスク64を回転させること
によって、軸Jまわりの全方位にわたり、周囲に存在す
る物体を参照光で走査することができる。物体からの反
射光は破線P43,P44などの経路を経て撮像装置1
2Dに取り込まれる。
【0043】3次元情報計測装置1Dにおいては、距離
dは、映像ミラー11D及びスリットS2の形状定義
式、並びに、映像ミラー11D、撮像装置12D、光源
63、及びマスク64などの位置関係、マスク64の回
転角ψから、三角測距の原理に基づいて算出可能であ
る。つまり、距離dは、回転角ψと観測位置r(図2参
照)とから算出される。 〔第5の実施形態〕図9は第5の実施形態に係る3次元
情報計測装置1Eの構成を示す図、図10は3次元情報
計測装置1Eに用いられる他の走査レンズ17の外観を
示す斜視図である。
【0044】図9に示されるように、3次元情報計測装
置1Eにおいても、第1の実施形態に係る3次元情報計
測装置1Aの場合と同様な形状の映像ミラー11Eが設
けられる。映像ミラー11Eの下方に、受光柚が軸Jに
一致するように撮像装置12Eが設けられている。
【0045】撮像装置12Eの下方で且つ軸Jに沿っ
て、光源13E、走査光学系14E、走査ミラー15
E、及び回転駆動装置16Eがこの順で設置されてい
る。光源13Eからは参照光が発せられ、走査光学系1
4Eを通ることによって適切な径を有する参照光ビーム
に整えられる。この参照光ビームは、走査ミラー15E
で反射して進行方向が変わり、走査レンズ17を通過し
た後に投射される。走査レンズ17は、軸Jに平行な上
下方向に位置制御が可能である。これにより、走査レン
ズ17への参照光ビームの入射位置が変化し、投射され
るビームの偏角が変わる。
【0046】例えば、図9に示すように走査レンズ17
として凹レンズを使用した場合において、走査レンズ1
7がY51の位置にある場合には、参照光ビームは実線
P51の方向に投射され、走査レンズ17がY52の位
置にある場合には、参照光ビームは実線P52の方向に
投射される。すなわち、実線P51とP52との間の矢
印B’で示す角度範囲において、参照光ビームが照射さ
れる。この角度範囲内に物体が存する場合に、その物体
は参照光ビームによって軸Jに沿った方向に走査され
る。これが本実施形態における副走査である。物体から
の反射光は、破線P53、P54などで示される経路を
経て撮像装置12Eに入射する。
【0047】回転駆動装置16Eは、モータまたはモー
タとギヤなどからなり、走査ミラー15E及び走査レン
ズ17、又はそれらに加えて光源13Eと走査光学系1
4Eのいずれか又は両方を、矢印Aで示すように軸Jを
中心として回転させる。これによって、走査レンズ17
から投射される参照光ビームは、軸Jを中心とする周方
向に変化するように偏向され、軸Jのまわりの全ての方
位に照射される。したがって、軸Jのまわりのどの方位
に存する物体に対しても、参照光ビームによる走査が行
われる。これが本実施形態における主走査である。
【0048】上述した主走査と副走査とを組み合わせる
ことによって、矢印B’で示す角度範囲について全ての
方位に走査が行われ、その範囲内に存する物体の計測が
行われる。すなわち、主走査の1周期(矢印Aの方向の
1回転)に対し、走査レンズ17の位置をずらすことに
より参照光ビームの照射角度を副走査方向の分解能分だ
け変化させ、この角度の変化を矢印B’で示す範囲で片
道1回の副走査の間繰り返す。これによって、矢印B’
で示す範囲において、軸Jまわりの全方位にわたって、
存する物体を参照光ビームで走査する。
【0049】なお、上述の実施形態では走査ミラー15
Eと走査レンズ17をともに軸Jまわりに回転させて主
走査を行うようにしたが、走査レンズ17を、例えば、
図10に示すように環状の走査レンズ17Eとし、その
中心軸を含む面による断面を凹レンズの形状としてもよ
い。このような走査レンズ17Eを、その中心軸が軸J
と一致するように設置すれば、走査ミラー15Eのみを
回転させることで主走査が可能になる。もちろんこの場
合にも、副走査を行うにあたっては走査レンズ17Eを
上下方向に位置制御することが必要である。なお、走査
レンズ17Eの断面の形状を凸レンズの形状とすること
も可能である。 〔3次元情報の算出方法の説明〕次に、3次元情報算出
部PRにおける3次元情報の算出処理について、図11
乃至図17を参照して説明する。
【0050】図11は3次元情報計測装置1と計測の対
象となる物体OB上の点Pとの光学的な関係を示す図、
図12は撮像装置12によって観測される参照光スポッ
トの軌跡Zの撮像素子71上における結像状況を模式的
に示す図、図13は3次元情報計測装置1の処理回路の
例を示すブロック図、図14は3次元情報計測装置1の
処理回路の他の例を示すブロック図、図15は撮像素子
71上における投射光の太さ及び輝度の一例を示す図、
図16は撮像素子71のある1つの画素に注目して、投
射光によって1フレーム毎に照射されるときの光量の変
化をプロットした図、図17は画像データの時間重心演
算を行う処理回路10の構成を示すブロック図である。
【0051】撮像装置12には、映像を電気信号に変換
するためにCCDなどの撮像素子が使用されている。と
ころで、現在実用化されている撮像素子の多くは、直交
座標系に配列された多数の受光素子で構成されている。
したがって、前述の図3で示したように、ある副走査タ
イミングにおける参照光ビームの主走査1周期分又は円
環状の参照光(これらを「投射光」ということがある)
の軌跡Zの画像は、撮像素子71上では模式的に図12
のように結像していることとなる。
【0052】撮像素子71上の画像に基づいて3次元情
報を算出するには、撮像素子71の各画素が、刻々と走
査されていく投射光のうちどの時点の投射光に基づくも
のであるかを知ることにより行われる。
【0053】いま、撮像素子71がCCDであるとし
て、撮像素子71上の座標(Hi,Vj)で示される1
つの画素E1に着目する。画素E1上には、画素E1と
撮像装置12のレンズ主点73とを結んだ直線(光線)
L0が映像ミラー11により反射した直線(光線)L1
上に存在する点Pの像が結像する。
【0054】直線L0と直線L1とのなす角度γは、直
線L0の映像ミラー11への入射角に応じて定まる。し
たがって、直線L1の水平線に対する角度も定まる。画
素E1上の像に対応する点Pは、直線L1上のどこかに
存在する。
【0055】投射光の像を撮像装置12で撮影し、画素
E1の出力(電気信号)に注目していると、画素E1に
対応する点Pを投射光が通過する際に、その出力がピー
ク値を示す。したがって、画素E1の出力がピーク値を
示す瞬間の投射光の投射角度δと、その投射光の起点と
なる点の空間座標である投光主点76とを把握すること
ができれば、これら投射角度δと投光主点76とによっ
て、どこかに点Pの存在する直線L2が規定されること
となる。
【0056】以上のようして導かれた直線L1と直線L
2との交点が、点Pの3次元位置となる。このようなプ
ロセスを撮像素子71上の全ての画素について適用すれ
ば、全画素に対応する点についての3次元情報を算出す
ることができる。
【0057】なお、投光主点76については、投射光学
系75が各実施形態で様々な構成になっているため、そ
れらの違いにより投光主点76の位置や位置の時間変化
が異なる。しかし、投射光学系75を特定の構成とした
場合には、時間変化と投射角度δとは1対1で対応す
る。したがって、3次元情報の算出には、投射角度δと
投光主点76の位置とのうち投射角度δが検出できれば
十分である。
【0058】図13において、矢印記号のうち太い矢印
記号は主としてデータの流れを示し、細い矢印記号は主
として指令の流れを示す。図14においても同様であ
る。図13に示されるように、処理回路PR1は、2つ
のメモリバンク81,82、比較器83、及びフレーム
番号発生器84から構成される。メモリバンク81及び
メモリバンク82は、それぞれ撮像装置12によって得
られる画像と同じサイズの記憶容量を有したメモリであ
る。
【0059】撮像素子71から出力されるアナログの画
像データは、公知のアナログ処理回路を経てA/D変換
された後、デジタルの画像データとして処理回路PR1
に入力される。
【0060】一方のメモリバンク81には、各画素の画
像データのうち輝度値が書き込まれる。他方のメモリバ
ンク82には、撮像素子71の各画素について輝度がピ
ーク値を示す時点の画像のフレーム番号が書き込まれ
る。ここで、画像のフレーム番号は、3次元情報を入力
するための上述のプロセスが開始されてからの経過時間
に対応する。つまり、画像のフレーム番号は、物体OB
を副走査方向に走査する際の投射光の投射角度δに対応
することとなる。
【0061】処理回路PR1に入力される画像データの
輝度値S11は、比較器83によって、各画素の過去の
最大輝度値を記憶しているメモリバンク81の当該画素
の輝度値S12と比較される。もし、入力された輝度値
S11がメモリバンク81に記憶されている輝度値S1
2よりも大きければ、メモリバンク81のその画素に相
当する番地の輝度値を輝度値S11に書き換えた上、メ
モリバンク82の当該番地の内容をフレーム番号発生器
84から供給されるフレーム番号に書き換える。
【0062】この処理を、撮像素子71の画素配列のラ
イン数、及びその他の条件から定まる総フレーム数だけ
繰り返すと、メモリバンク81には、各画素の出力がピ
ーク値になったときの輝度値が記憶され、また、メモリ
バンク82にはそれに対応するフレーム番号が記憶され
ることになる。メモリバンク82に記憶されたフレーム
番号をもとに、各画素について、輝度がピーク値を示す
時点の投射光の投射角度δが求められる。
【0063】処理回路PR1によると、比較的簡単な回
路構成によって投射光の投射角度δ(又はそれに対応す
る物理量)を求めることができる。しかし、処理回路P
R1においては、投射角度δの分解能を撮像素子71の
画素ピッチより高くすることはできない。
【0064】そこで、処理回路PR1の回路構成を発展
させ、投射角度δを求めるに際し、より高い分解能を達
成することのできる処理回路PR2について、図14を
参照して説明する。
【0065】図14に示されるように、処理回路PR2
は、ディレイメモリ96a,96b,96c,96d、
メモリバンク91,92,93,94,95,98、比
較器97、及びフレーム番号発生器99から構成され
る。各メモリバンク91〜95,98は、それぞれ撮像
装置12によって得られる画像と同じサイズの記憶容量
を有したメモリである。ディレイメモリ96a〜dは、
入力される画像データをそれぞれ1フレームづつ遅延さ
せる。
【0066】ディレイメモリ96a〜dは、それぞれ直
列に接続されており、各ディレイメモリ96a〜dの出
力信号は、それぞれメモリバンク92〜95に取り込ま
れる。これにより、5フレーム分の連続した画像データ
を同時に参照することができる。
【0067】処理回路PR2に入力された画像データの
輝度値S21は、2フレーム分だけ遅延された時点で、
比較器97によって、その画素についての過去の最大出
力値を記憶しているメモリバンク93の当該画素につい
ての輝度値S22と比較される。もし、2フレーム分だ
け遅延された画像データの輝度値S21がメモリバンク
93の当該画素に対応する輝度値より大きければ、その
時点で、メモリバンク91〜95のそれぞれに入力され
ている輝度値に、それぞれのメモリバンク91〜95の
当該番地の輝度値が書き換えられる。さらに、メモリバ
ンク98の当該番地の内容が、フレーム番号発生器99
から供給される出力データのフレーム番号に書き換えら
れる。
【0068】このような処理を、撮像素子71の画素配
列のライン数、及びその他の条件から定まる総フレーム
数だけ繰り返すと、メモリバンク91〜95,98には
次の内容が記憶される。すなわち、メモリバンク93に
は各画素がピーク値を出力したときのその輝度値が、メ
モリバンク92にはピーク値を示した1フレーム後の投
射光によるその画素の輝度値が、メモリバンク91には
ピーク値を示した2フレーム後の投射光によるその画素
の輝度値が、それぞれ記憶される。一方、メモリバンク
94にはピーク値を示した1フレーム前の投射光による
その画素の輝度値が、メモリバンク95にはピーク値を
示した2フレーム前の投射光によるその画素の輝度値
が、それぞれ記憶される。また、メモリバンク98には
それらに対応するフレーム番号が記憶される。
【0069】ここで、投射光が、例えば図15に示され
るように、その太さが撮像素子71上で結像した際に5
画素相当のサイズであり、その輝度分布がガウス分布の
ように中央に1つのピーク値を持つ単調な山形の形状で
あるものとする。このような場合に、ある1つの画素に
注目し、照射される光量の変化をフレーム毎にプロット
すれば図16に示すグラフが得られる。
【0070】つまり、ある画素の光量は、5フレーム分
において有意な値を示し、且つその値はフレーム毎に変
化する。しかも、ガウス分布のように山形に変化する。
したがって、一連の処理の終了後には、各メモリバンク
91〜95に記憶されるデータは、メモリバンク95、
メモリバンク94の順で光量の値が増し、メモリバンク
93で極大となり、メモリバンク92、メモリバンク9
1の順で光量が低下する。これら各メモリバンク91〜
95に記憶された5つのデータをもとに、それらの重心
を計算することによって、フレーム間隔すなわち画素ピ
ッチよりも細かな刻みで、投射光の中心点つまりはピー
ク値の位置を求めることができる。このような重心演算
を行うアルゴリズムに関しては、本出願人が開示した特
願平7−299921号に詳しく説明されている。
【0071】以上説明したように、処理回路PR2によ
ると、撮像素子71の画素ピッチよりも高い分解能で投
射光の投射角度δを求めることができ、したがって高精
度に3次元情報を計測することができる。しかし、実際
には、投射光学系75及び撮像装置12の光学系の特性
などに起因して、投射光の像に何らかのノイズが加わる
ことが多い。その結果、輝度分布に複数のピーク値が発
生したり、分布が平坦となってピーク値の位置がはっき
りしなくなったりし、理想形状から大きく外れることが
ある。その場合には、上述の方法ではピーク値の位置の
計算結果がノイズに大きく左右されてしまう。
【0072】このようなノイズの影響は、輝度のピーク
値が得られたタイミングの前後に、2フレームずつにと
どまらず、もっと十分に長い期間をとって、その間の光
量に基づいて演算を行うことにより低減することができ
る。その方法について、図17を参照して説明する。
【0073】図17に示されるように、処理回路10
は、減算器121、定常光データメモリ122、第1演
算装置123、第2演算装置124、及び除算器125
から構成される。
【0074】撮像装置12から出力された画像データX
iは、減算器121によって投射光以外の不要な定常光
成分が除去された後、第1演算装置123及び第2演算
装置124に送られる。
【0075】第1演算装置123は、撮像素子71の各
画素について、画像データXiとその画像データXiが
出力されたタイミングすなわちフレーム番号iとの積X
i・iを求め、その全フレームにわたる総和Σ(Xi・
i)を算出する。第2演算装置124は、前述の画像デ
ータXiの全フレームにわたる総和ΣXiを算出する。
そして、除算器125において、画像データXiの時間
重心Σ(xi・i)/Σxiを算出する。なお、この演
算方法については、本出願人が開示した特願平8−30
8106号において詳しく説明されている。
【0076】上述の第1〜第4の実施形態の3次元情報
計測装置1A〜Eによると、広い角度範囲にわたる空間
に配置された物体の3次元情報を計測することができ
る。特に、撮像装置として用いられる映像ミラー11A
〜Eを移動させる必要がないので、従来のようにその駆
動装置が不要であり、したがって駆動装置の小型化を図
ることができる。また、駆動される部分を軽量且つ小型
化することができるので高速での駆動を安定して行うこ
とができる。したがって、軸Jのまわりに配置された物
体の3次元情報を比較的簡単な構成で高速に且つ安定し
て入力することができる。特に、第2及び第3の実施形
態においては、放射状の参照光が用いられており、走査
ミラー44及びマスク54を主走査方向に駆動する必要
がないため、この利点は更に強調される。
【0077】上述の実施形態において、3次元情報計測
装置1A〜Eは軸Jのまわりの360度の視野範囲にわ
たって存在する物体の3次元情報の入力が可能である。
したがって、3次元情報の入力に際し、装置自体を移動
させる必要がなく、例えばワンショットの容易な操作又
は動作のみで全周の3次元情報の計測を行うことができ
る。
【0078】上述の実施形態において、3次元情報計測
装置1A〜Eは軸Jまわり360度の視野範囲にわたっ
て存在する物体の3次元情報の入力が可能であるが、視
野範囲が例えば180度又は270度などの場合でも勿
論適用可能である。この場合において、映像ミラー11
A〜Eとして、計測範囲外の部分の欠けるものを用いて
もよく、また、参照光ビーム又は参照光における主走査
範囲の不要な部分を省略することもできる。
【0079】上述の実施形態において、光学的な機構部
と3次元情報算出部PR又は処理回路PR1,2とは、
同一の筐体内に組み込んでもよいし、また互いに別の筐
体内に組み込んでもよい。3次元情報算出部PR又は処
理回路PR1,2の全体又は一部として、パーソナルコ
ンピュータなどを用いることも可能である。その他、3
次元情報計測装置1A〜Eの全体又は各部の構造、形
状、及び配置位置、また、処理回路PR1,PR2の回
路構成、処理内容などは、本発明の主旨に沿って適宜変
更することができる。
【0080】
【発明の効果】本発明によると、広い角度範囲にわたる
空間に配置された物体の3次元情報を比較的簡単な構成
で高速に且つ安定して計測することができる。
【0081】請求項3の発明によると、主走査方向に駆
動する必要がないので、一層の高速化と安定化を図るこ
とができる。
【図面の簡単な説明】
【図1】第1の実施形態に係る3次元情報計測装置の構
成を示す図である。
【図2】3次元情報計測装置が3次元形状の物体の置か
れた環境下に設置された状態を示す図である。
【図3】撮像装置によって観測される参照光スポットの
軌跡を示す図である。
【図4】第2の実施形態に係る3次元情報計測装置の構
成を示す図である。
【図5】第3の実施形態に係る3次元情報計測装置の構
成を示す図である。
【図6】第3の実施形態に用いられるマスクの外観を示
す図である。
【図7】第4の実施形態に係る3次元情報計測装置の構
成を示す図である。
【図8】第4の実施形態に用いられるマスクの外観を示
す図である。
【図9】第5の実施形態に係る3次元情報計測装置の構
成を示す図である。
【図10】3次元情報計測装置に用いられる環状レンズ
の外観を示す斜視図である。
【図11】3次元情報計測装置と計測の対象となる物体
上の点との光学的な関係を示す図である。
【図12】参照光スポットの軌跡の撮像素子上における
結像状況を模式的に示す図である。
【図13】3次元情報計測装置の処理回路の例を示すブ
ロック図である。
【図14】3次元情報計測装置の処理回路の他の例を示
すブロック図である。
【図15】撮像素子上における投射光の太さ及び輝度の
一例を示す図である。
【図16】撮像素子の1つの画素についての光量の変化
を示す図である。
【図17】画像データの時間重心演算を行う処理回路の
構成を示すブロック図である。
【符号の説明】
1,1A〜E 3次元情報計測装置 11,11A〜E 映像ミラー(回転体型ミラー) 12,12A〜E 撮像装置(撮像装置) 15A,15E 走査ミラー(参照光投射手段、副走査
手段) 16A,16E 回転装置(主走査手段) 17 走査レンズ(放射状参照光投射手段) 17E 走査レンズ(放射状参照光投射手段) 45 走査ミラー(放射状参照光投射手段) 46 駆動装置(副走査手段) 54 マスク(放射状参照光投射手段) 55 駆動装置(副走査手段) 64 マスク(放射状参照光投射手段) 65 駆動装置(主走査手段,副走査手段) J 軸(中心軸) OB 物体(対象物) δ 投射角度 Z 参照光スポットの軌跡(投影像) r 観測位置(位置) d 距離(3次元情報) PR 3次元情報算出部(3次元情報算出手段) PR1,PR2 処理回路(3次元情報算出手段)

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】回転体型ミラーと当該回転体型ミラーの中
    心軸に受光軸が一致するように配置された撮像装置とを
    用い、前記中心軸の周囲の空間に配置された対象物の3
    次元情報を計測する3次元情報計測方法であって、 前記中心軸上から参照光を投射して前記対象物を走査
    し、 前記参照光の投射角度に対応する物理量と、前記対象物
    により反射された前記参照光が前記回転体型ミラーを介
    して前記撮像装置で撮像されたときに得られる投影像の
    位置に対応する物理量とに基づいて、前記対象物の3次
    元情報を求める、 ことを特徴とする3次元情報計測方法。
  2. 【請求項2】回転体型ミラーと当該回転体型ミラーの中
    心軸に受光軸が一致するように配置された撮像装置とを
    有し、前記中心軸の周囲の空間に配置された対象物の3
    次元情報を求める3次元情報計測装置であって、 ビーム状の参照光を投射する参照光投射手段と、 前記参照光の投射方向が前記中心軸を中心とする周方向
    に変化するように前記参照光を偏向して主走査を行うた
    めの主走査手段と、 前記参照光の投射方向が前記中心軸に沿った方向に変化
    するように前記参照光を偏向して副走査を行うための副
    走査手段と、 前記参照光の副走査における投射方向である投射角度に
    対応する物理量と、前記対象物により反射された前記参
    照光についての前記撮像装置により得られる投影像の位
    置に対応する物理量とに基づいて、前記対象物の3次元
    情報を求める3次元情報算出手段と、 を有してなることを特徴とする3次元情報計測装置。
  3. 【請求項3】回転体型ミラーと当該回転体型ミラーの中
    心軸に受光軸が一致するように配置された撮像装置とを
    有し、前記中心軸の周囲の空間に配置された対象物の3
    次元情報を求める3次元情報計測装置であって、 前記中心軸上に設けられ、円錐面状に拡がる放射状の参
    照光を投射する放射状参照光投射手段と、 前記参照光の投射角度が変化するように前記参照光を偏
    向して副走査を行うための副走査手段と、 前記参照光の副走査における投射方向である投射角度に
    対応する物理量と、前記対象物により反射された前記参
    照光についての前記撮像装置により得られる投影像の位
    置に対応する物理量とに基づいて、前記対象物の3次元
    情報を求める3次元情報算出手段と、 を有してなることを特徴とする3次元情報計測装置。
JP10021992A 1998-02-03 1998-02-03 3次元情報計測方法及び装置 Pending JPH11218409A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP10021992A JPH11218409A (ja) 1998-02-03 1998-02-03 3次元情報計測方法及び装置
US09/243,809 US6204916B1 (en) 1998-02-03 1999-02-03 Three dimensional information measurement method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10021992A JPH11218409A (ja) 1998-02-03 1998-02-03 3次元情報計測方法及び装置

Publications (1)

Publication Number Publication Date
JPH11218409A true JPH11218409A (ja) 1999-08-10

Family

ID=12070530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10021992A Pending JPH11218409A (ja) 1998-02-03 1998-02-03 3次元情報計測方法及び装置

Country Status (1)

Country Link
JP (1) JPH11218409A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1172678A2 (en) * 2000-07-13 2002-01-16 Sharp Kabushiki Kaisha Omnidirectional vision sensor
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
KR100442733B1 (ko) * 2000-05-23 2004-08-02 샤프 가부시키가이샤 전방향 시각 시스템
JP2007187970A (ja) * 2006-01-16 2007-07-26 Sumitomo Mitsui Construction Co Ltd 広角撮影装置、及び画像処理方法
KR101193789B1 (ko) 2007-08-09 2012-10-23 엘지이노텍 주식회사 3차원 공간인식센서
CN110462423A (zh) * 2017-04-21 2019-11-15 松下知识产权经营株式会社 距离计测装置以及移动体

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442733B1 (ko) * 2000-05-23 2004-08-02 샤프 가부시키가이샤 전방향 시각 시스템
EP1172678A2 (en) * 2000-07-13 2002-01-16 Sharp Kabushiki Kaisha Omnidirectional vision sensor
EP1172678A3 (en) * 2000-07-13 2004-01-07 Sharp Kabushiki Kaisha Omnidirectional vision sensor
US6793356B2 (en) 2000-07-13 2004-09-21 Sharp Kabushiki Kaisha Omnidirectional vision sensor
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
JP2007187970A (ja) * 2006-01-16 2007-07-26 Sumitomo Mitsui Construction Co Ltd 広角撮影装置、及び画像処理方法
KR101193789B1 (ko) 2007-08-09 2012-10-23 엘지이노텍 주식회사 3차원 공간인식센서
CN110462423A (zh) * 2017-04-21 2019-11-15 松下知识产权经营株式会社 距离计测装置以及移动体

Similar Documents

Publication Publication Date Title
US6587597B1 (en) Image input method, image input apparatus, and recording medium
CN109211107B (zh) 测量装置、旋转体以及产生图像数据的方法
US6204916B1 (en) Three dimensional information measurement method and apparatus
Gluckman et al. Real-time omnidirectional and panoramic stereo
CN1095282C (zh) 全方向成象装置、全方向图象投影装置和全方向成象方法
JP2001526471A (ja) 全方向撮像装置
CN105678783A (zh) 折反射全景相机与激光雷达数据融合标定方法
CN116067283B (zh) 一种深腔测量方法、装置、设备及介质
KR20020007211A (ko) 전방위 시각 센서
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
KR100442733B1 (ko) 전방향 시각 시스템
WO2002019270A1 (fr) Procede de conversion d'image courbe et support d'enregistrement sur lequel ce procede de conversion d'image courbe est enregistre
JPH11218409A (ja) 3次元情報計測方法及び装置
JP2010176325A (ja) 任意視点画像生成装置及び任意視点画像生成方法
JPH1195344A (ja) 全方位ステレオ画像撮影装置
US6788807B1 (en) Three dimensional information measurement method and apparatus
JP2000304508A (ja) 3次元入力装置
JP2005275789A (ja) 三次元構造抽出方法
JPH1118007A (ja) 全方向性画像表示システム
Gao et al. Development of a high-speed videogrammetric measurement system with application in large-scale shaking table test
WO2021149509A1 (ja) 撮像装置、撮像方法、及び、プログラム
JPH11230720A (ja) 3次元情報計測方法及び装置
JP2000088539A (ja) 3次元入力方法及び3次元入力装置
RU2804376C1 (ru) Устройство для панорамной пространственной фотосъемки
Blais et al. Comparison of pose estimation methods of a 3D laser tracking system using triangulation and photogrammetry techniques

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20080622

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20090622

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees