JPH102712A - 3次元計測装置 - Google Patents
3次元計測装置Info
- Publication number
- JPH102712A JPH102712A JP8157069A JP15706996A JPH102712A JP H102712 A JPH102712 A JP H102712A JP 8157069 A JP8157069 A JP 8157069A JP 15706996 A JP15706996 A JP 15706996A JP H102712 A JPH102712 A JP H102712A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- light
- distance
- image
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
確認して適切な操作を行うことのできる3次元計測装置
を提供する。 【解決手段】物体にパターン光を投射し、物体で反射し
たパターン光の反射光に基づいて物体の形状を計測する
3次元計測装置において、物体の反射率・撮影距離など
の計測条件の適否を判別する条件判別手段と、計測条件
が不適正と判別されたときに警告を発する通知手段とを
設ける。
Description
射して物体形状を非接触で計測する3次元計測装置に関
する。
の3次元計測装置は、接触型に比べて高速の計測が可能
であることから、CGシステムやCADシステムへのデ
ータ入力、身体計測、ロボットの視覚認識などに利用さ
れている。
スリット光投影法(光切断法ともいう)が知られてい
る。この方法は、物体を光学的に走査して三角測量の原
理により3次元画像(距離画像)を得る方法であり、特
定の検出光を照射して物体を撮影する能動的計測方法の
一種である。3次元画像は、物体上の複数の部位の3次
元位置を示す画素の集合である。スリット光投影法で
は、検出光として断面が直線状のスリット光が用いられ
る。スリット光に代えて、スポット光、ステップ光、濃
度パターン光などを投射する光投射法も知られている。
図、図22はスリット光投影法による計測の原理を説明
するための図である。計測対象の物体Qに断面が細い帯
状のスリット光Uを投射し、その反射光を例えば2次元
撮像デバイス(エリアセンサ)の撮像面S2に入射させ
る〔図21(a)〕。物体Qの照射部分が平坦であれ
ば、撮影像(スリット画像)は直線になる〔図21
(b)〕。照射部分に凹凸があれば、直線が曲がったり
階段状になったりする〔図21(c)〕。つまり、計測
装置と物体Qとの距離の大小が撮像面S2における反射
光の入射位置に反映する〔図21(d)〕。スリット光
Uをその幅方向に偏向することにより、受光側から見え
る範囲の物体表面を走査して3次元位置をサンプリング
することができる。サンプリング点数はイメージセンサ
の画素数に依存する。
レンズの主点Oとを結ぶ基線AOが受光軸と垂直になる
ように、投光系と受光系とが配置されている。受光軸は
撮像面S2に対して垂直である。なお、レンズの主点と
は、有限遠の被写体の像が撮像面S2に結像したとき
の、いわゆる像距離(image distance)bだけ撮像面S
2から離れた受光軸上の点(後側主点)である。以下に
おいて、像距離bを実効焦点距離Frealということ
がある。
受光軸がZ軸、基線AOがY軸、スリット光の長さ方向
がX軸である。スリット光Uが物体上の点P(X,Y,
Z)を照射したときの投光軸と投光基準面(受光軸と平
行な投光面)との角度をθa、受光角をθpとすると、
点Pの座標Zは(1)式で表される。
受光軸を含む平面(受光軸平面)とがなす角度である。
S2の中心と受光画素とのX方向の距離をxp、Y方向
の距離をypとすると〔図22(a)参照〕、点Pの座
標X,Yは、(2),(3)式で表される。
に決まる。受光角θpはtanθp=b/ypの関係か
ら算出できる。つまり、撮像面S2上での位置(xp,
yp)を測定することにより、そのときの角度θaに基
づいて点Pの3次元位置を求めることができる。
提としたものである。実際の厚肉レンズ系では、図22
(c)のように主点Oは前側主点Hと後側主点H’とに
分かれる。
可変としたレンジファインダには、パッシブ型測距セン
サが設けられている(特開平7−174536号)。測
距の結果は、AF(オートフォーカシング)、及び投射
光強度との設定に用いられている。
じて投射光強度を調整したとしても、物体面の反射率が
過小であったときには検出光の受光量が下限値を下回
り、適正な計測結果が得られない。環境光の入射や物体
面での正反射のために受光量が上限値を越えた場合にも
適正な計測結果が得られない。また、測距の結果に基づ
いて設定された計測距離範囲が計測可能から外れると、
計測の誤差が大きくなる。
の設定状態といった計測条件が不適正であったときに、
実際には適正な計測結果が得られていないにも係わら
ず、ユーザーが適正な計測が行われたものと判断して計
測作業を終えてしまうことがあるという問題があった。
測の前又は後に確認して適切な操作を行うことのできる
3次元計測装置の提供を目的としている。
は、物体にパターン光を投射し、前記物体で反射した前
記パターン光の反射光に基づいて前記物体の形状を計測
する3次元計測装置であって、計測条件の適否を判別す
る条件判別手段と、計測条件が不適正と判別されたとき
に警告を発する通知手段とを有する。
定する測距手段を有し、前記条件判別手段が前記測距手
段によって測定された対物間距離を計測条件として判別
するものである。
パターン光を投射して物体を撮影する予備計測を行うよ
うに構成され、前記測距手段が予備計測で得られた撮影
情報に基づいて対物間距離を測定するものである。
段が前記パターン光を投射したときの前記撮像手段の受
光量を計測条件として判別するものである。請求項5の
発明において、前記パターン光はスリット光である。
形状を示す距離画像を表示するモニタ手段と、前記距離
画像の画素毎に計測値の合否を判定する計測値判定手段
とを有し、前記距離画像の表示に際して、計測値が不合
格と判定された部分について強調表示をするように構成
された3次元計測装置である。
られた物体の撮影情報を保持した状態で動作条件の変更
操作を受け付け、変更操作に呼応して、新たに指定され
た動作条件に対応した距離画像を、保持されている前記
撮影情報に基づいて生成して表示するプレビュー機能を
有している。
はスリット光である。
1の構成図である。計測システム1は、スリット光投影
法によって立体計測を行う3次元カメラ(レンジファイ
ンダ)2と、3次元カメラ2の出力データを処理するホ
スト3とから構成されている。
プリング点の3次元位置を特定する計測データ(スリッ
ト画像データ)とともに、物体Qのカラー情報を示す2
次元画像及びキャリブレーションに必要なデータを出力
する。三角測量法を用いてサンプリング点の座標を求め
る演算処理はホスト3が担う。
b、キーボード3c、及びマウス3dなどから構成され
たコンピュータシステムである。CPU3aには計測デ
ータ処理のためのソフトウェアが組み込まれている。ホ
スト3と3次元カメラ2との間では、オンライン及び可
搬型の記録メディア4によるオフラインの両方の形態の
データ受渡しが可能である。記録メディア4としては、
光磁気ディスク(MO)、ミニディスク(MD)、メモ
リカードなどがある。
る。ハウジング20の前面に投光窓20a及び受光窓2
0bが設けられている。投光窓20aは受光窓20bの
上側にある。内部の光学ユニットOUが射出するスリッ
ト光(所定幅wの帯状のレーザビーム)Uは、投光窓2
0aを通って計測対象の物体(被写体)に向かう。スリ
ット光Uの長さ方向M1の放射角度φは固定である。物
体の表面で反射したスリット光Uの一部が受光窓20b
を通って光学ユニットOUに入射する。なお、光学ユニ
ットOUは、投光軸と受光軸との相対関係を適正化する
ための2軸調整機構を備えている。
タン25a,25b及びレリーズボタン27が設けられ
ている。図2(b)のように、ハウジング20の背面に
は、液晶ディスプレイ(LCD)21、カーソルボタン
22、セレクトボタン23、アンドゥーボタン24、レ
コードボタン28、アナログ出力端子31,32、デジ
タル出力端子33、及び記録メディア4の着脱口30a
が設けられている。レコードボタン28はフォーカスロ
ックボタンを兼ねる。液晶ディスプレイ21は操作画面
の表示手段及び電子ファインダとして用いられる。ユー
ザー(操作者)は背面の各ボタンを押すことにより撮影
モードの設定を行うことができる。アナログ出力端子3
1からは計測データが出力され、アナログ出力端子31
からは2次元画像信号が例えばNTSC形式で出力され
る。デジタル出力端子33は例えばSCSI端子であ
る。
ロック図である。図中の実線矢印は電気信号の流れを示
し、破線矢印は光の流れを示している。3次元カメラ2
は、上述の光学ユニットOUを構成する投光側及び受光
側の2つの光学系40,50を有している。光学系40
において、半導体レーザ(LD)41が射出する波長6
90nmのレーザビームは、投光レンズ系42を通過す
ることによってスリット光Uとなり、ガルバノミラー
(走査手段)43によって偏向される。半導体レーザ4
1のドライバ44、投光レンズ系42の駆動系45、及
びガルバノミラー43の駆動系46は、システムコント
ローラ61によって制御される。
によって集光された光はビームスプリッタ52によって
分光される。半導体レーザ41の発振波長帯域の光は、
計測用のイメージセンサ53に入射する。可視帯域の光
はモニタ用のカラーイメージセンサ54に入射する。イ
メージセンサ53及びカラーイメージセンサ54は、ど
ちらもCCDエリアセンサである。ズームユニット51
は内焦型であり、入射光の一部がオートフォーカシング
(AF)に利用される。AF機能は、AFセンサ57と
レンズコントローラ58とフォーカシング駆動系59に
よって実現される。ズーミング駆動系60は電動ズーミ
ングのために設けられている。
ライバ55からのクロックに同期して出力処理回路62
へ転送される。出力処理回路62によってイメージセン
サ53の各画素毎に対応する計測データDsが生成さ
れ、出力処理回路62内のメモリに一旦格納される。一
方、カラーイメージセンサ54による撮像情報は、ドラ
イバ56からのクロックに同期してカラー処理回路67
へ転送される。カラー処理を受けた撮像情報は、NTS
C変換回路70及びアナログ出力端子32を経てオンラ
イン出力され、又はディジタル画像生成部68で量子化
されてカラー画像メモリ69に格納される。
づいて計測結果を示す距離画像データD21を生成し、
マルチプレクサ72に出力する。マルチプレクサ72
は、システムコントローラ61の指示に従って、距離画
像データD21及びカラー画像メモリ69からのカラー
画像データD22の2つの入力のうちの一方を出力とし
て選択する。マルチプレクサ72によって選択されたデ
ータは、D/A変換器73を経てアナログのモニタ表示
信号としてキャラクタジェネレータ71に転送される。
キャラクタジェネレータ71は、モニタ表示信号が示す
画像とシステムコントローラ61が指定した文字や記号
とを合成し、合成画像をLCD21へ出力する。
データ出力(録画)を指示すると、出力処理回路62内
の計測データDsが、SCSIコントローラ66又はN
TSC変換回路65によって所定形式でオンライン出力
され、又は記録メディア4に格納される。計測データD
sのオンライン出力には、アナログ出力端子31又はデ
ィジタル出力端子33が用いられる。また、カラー画像
データD22がカラー画像メモリ69からSCSIコン
トローラ66へ転送され、ディジタル出力端子33から
オンライン出力され、又は計測データDsと対応づけて
記録メディア4に格納される。カラー画像は、イメージ
センサ53による距離画像と同一の画角の像であり、ホ
スト3側におけるアプリケーション処理に際して参考情
報として利用される。カラー情報を利用する処理として
は、例えばカメラ視点の異なる複数組の計測データを組
み合わせて3次元形状モデルを生成する処理、3次元形
状モデルの不要の頂点を間引く処理などがある。
を駆動して動作確認音又は警告音を発生させる。また、
出力処理回路62に対して、モニタ表示のためのスケー
ル値scを与える。出力処理回路62は、システムコン
トローラ61に対して、後述する3種の警告信号S11
〜13、及び計測データDsの一部である受光データD
gを出力する。
の算出の原理図である。同図では理解を容易にするた
め、図21及び図22と対応する要素には同一の符号を
付してある。
画素分となる比較的に幅の広いスリット光Uを物体Qに
照射する。具体的にはスリット光Uの幅を5画素分とす
る。スリット光Uは、サンプリング周期毎に撮像面S2
上で1画素ピッチpvだけ移動するように上から下に向
かって偏向され、それによって物体Qが走査される。サ
ンプリング周期毎にイメージセンサ53から1フレーム
分の光電変換情報が出力される。
走査中に行うN回のサンプリングのうちの5回のサンプ
リングにおいて有効な受光データが得られる。これら5
回分の受光データに対する補間演算によって注目画素g
がにらむ範囲の物体表面agをスリット光Uの光軸が通
過するタイミング(時間重心Npeak:注目画素gの
受光量が最大となる時刻)を求める。図4(b)の例で
は、n回目とその1つ前の(n−1)回目の間のタイミ
ングで受光量が最大である。求めたタイミングにおける
スリット光の投射方向と、注目画素gに対するスリット
光の入射方向との関係に基づいて、物体Qの位置(座
標)を算出する。これにより、撮像面の画素ピッチpv
で規定される分解能より高い分解能の計測が可能とな
る。
存する。しかし、5回のサンプリングの各受光量の相対
比は受光の絶対量に係わらず一定である。つまり、物体
色の濃淡は計測精度に影響しない。
カメラ2がイメージセンサ53の画素g毎に5回分の受
光データを計測データとしてホスト3に出力し、ホスト
3が計測データに基づいて物体Qの座標を算出する。3
次元カメラ2における各画素gに対応した計測データの
生成は、出力処理回路62が担う。
6はイメージセンサ53の読出し範囲を示す図である。
出力処理回路62は、クロック信号CKを出力するクロ
ック発生回路620、イメージセンサ53の出力する光
電変換信号のレベルを最適化するための増幅器621、
クロック信号CKに同期して各画素gの光電変換信号を
8ビットの受光データDgに変換するAD変換器62
2、直列接続された4つのフレームディレイメモリ62
3〜626、コンパレータ627、フレーム番号(サン
プリング番号)FNを指し示すジェネレータ628、マ
ルチプレクサ629、6個のメモリ630A〜F、警告
判別回路631、スケール発生回路632、及び画像合
成回路633を有している。増幅器621のゲインは可
変であり、システムコントローラ61によって適切な値
に設定される。4つのフレームディレイメモリ623〜
626は、イメージセンサ53の各画素gについて5フ
レーム分の受光データDgを同時にメモリ630A〜E
に出力するために設けられている。
光データDgを記憶するために設けられており、それぞ
れが計測のサンプリング点数(つまり、イメージセンサ
53の有効画素数)と同数個の受光データDgを記憶可
能な容量をもつ。メモリ630Fは、画素g毎に特定の
フレーム番号FNを記憶するために設けられており、サ
ンプリング点数と同数個のフレーム番号FNを記憶可能
な容量をもつ。メモリ630B〜Fには、書込み信号と
してコンパレータ627の出力信号S627が共通に加
えられる。これに対して、メモリ630Aには、出力信
号S627とクロック信号CKの2つの信号のうち、マ
ルチプレクサ629によって選択された一方の信号が書
込み信号として加えられる。クロック信号CKは予備計
測において書込み信号として選択される。つまり、予備
計測ではAD変換器622の変換動作と同期してメモリ
630Aの書込みが行われる。
計測と呼称する)において、イメージセンサ53におけ
る1フレームの読出しは、撮像面S2の全体ではなく、
高速化を図るために図6のように撮像面S2の一部の有
効受光エリア(帯状画像)Aeのみを対象に行われる。
有効受光エリアAeはスリット光Uの偏向に伴ってフレ
ーム毎に1画素分だけシフトする。本実施形態では、有
効受光エリアAeのシフト方向の画素数は32に固定さ
れている。この32画素分の幅が計測対象となる距離範
囲(計測可能範囲)に対応する。CCDエリアセンサの
撮影像の一部のみを読み出す手法は、特開平7−174
536号公報に開示されている。
ライン分の受光データDgを画素gの配列順にシリアル
に出力する。各フレームディレイメモリ623〜626
は、31(=32−1)ライン分の容量をもつFIFO
である。AD変換部622から出力された注目画素gの
受光データDgは、2フレーム分だけ遅延された時点
で、コンパレータ626によって、メモリ630Cが記
憶する注目画素gについての過去の受光データDgの最
大値と比較される。遅延された受光データDg(フレー
ムディレイメモリ624の出力)が過去の最大値より大
きい場合に、その時点のAD変換部622の出力及び各
フレームディレイメモリ623〜626の出力が、メモ
リ630A〜Eにそれぞれ格納され、メモリ630A〜
Eの記憶内容が書換えられる。これと同時にメモリ63
0Fには、メモリ630Cに格納する受光データDgに
対応したフレーム番号FNが格納される。ただし、ここ
でのフレーム番号FNは、撮像面S2の全体における通
しのライン番号(Y方向の画素番号)ではなく、上述し
た32画素幅の有効受光エリアAe内でのライン番号で
あり、0〜31の範囲の値をとる。32ライン分ずつの
読出しの順位(すなわち注目画素gのY方向の位置)と
フレーム番号FNとにより、撮像面S2の全体における
ライン番号を特定することができる。
大になった場合には、メモリ630Aに(n+2)番目
のラインのデータが格納され、メモリ630Bに(n+
1)番目のフレームのデータが格納され、メモリ630
Cにn番目のフレームのデータが格納され、メモリ63
0Dに(n−1)番目のフレームのデータが格納され、
メモリ630Eに(n−2)番目のフレームのデータが
格納され、メモリ630Fにnが格納される。本計測の
結果としてホスト3へ送られる上述の計測データDs
は、メモリ630A〜Eに格納された受光データDgと
メモリ630Fに格納されたフレーム番号FNとを合わ
せたデータである。
32、及び画像合成回路633は、計測結果のモニタ表
示のための回路である。警告判別回路631には、メモ
リ630Cからの受光データDg、メモリ630Fから
のフレーム番号FN、及びシステムコントローラ61か
らのスケール値scが入力される。警告判別回路631
は、3種の入力の値の組合せに応じて、計測結果である
3次元形状を無彩色の濃淡(グレースケール)で表した
距離画像データD21と、3種の警告信号S11〜13
を出力する。距離画像データD21は、具体的には、画
像の各画素の表示色を規定するR,G,Bの3色の輝度
データである。スケール発生回路632は、距離画像の
濃淡と対物間距離との関係を示す帯状のグラデーション
画像(スケールバー)90を生成する。画像合成回路6
33は、距離画像データD21にスケールバー90の表
示データを組み入れる。
図8は警告判別回路631の入力と出力との関係を表形
式で示す図である。警告判別回路631は、2個のコン
パレータ6311,6312とルックアップテーブル
(LUT)6313とから構成されている。コンパレー
タ6311,6312には、メモリ630Cから有効画
素数の受光データDgが画素毎にシリアルに入力され
る。一方のコンパレータ6311は、注目画素の最大受
光量を示す受光データDgの値が許容受光量の下限値で
ある閾値thBより小さいときに、低輝度検出信号SL
を出力する。他方のコンパレータ6312は、受光デー
タDgの値が許容受光量の上限値である閾値thAを越
えたときに、オーバーフロー警告信号S13を出力す
る。LUT6313は、フレーム番号FN、スケール値
sc、低輝度検出信号SL、及びオーバーフロー警告信
号S13の値の組合せに応じて、距離画像データD2
1、近接警告信号S11、及び遠方警告信号S12を出
力する。
幅で規定される計測可能範囲内の計測基準面の位置を示
し、0〜31の値をとる。スケール値scのデフォルト
値は16である。なお、本計測では、計測基準面の位置
をほぼ中央とする計測可能範囲が設定される。フレーム
番号FNは、計測可能範囲内における物体位置(厳密に
は注目画素に対応したサンプリング点の位置)を示す。
基本的には距離画像データD21は、このフレーム番号
FNをそのままグレースケール変換したデータである。
すなわち、グレースケールにおけるR,G,Bの輝度Y
r,Yg,Ybは8×(FN−sc+16)である。た
だし、本実施形態においては、計測結果の良否を視覚的
に容易に理解できるように、特定の画素についてカラー
表示による強調が行われる。
ティブ(オン)であれば、その画素の表示色はブラック
である。つまり、表示画面のうち、物体の反射率が極端
に小さい画素及び計測可能範囲外の画素はブラックで表
示される。オーバーフロー警告信号S13がオンであれ
ば、正確に時間重心Npeakを算出することができな
いことをユーザーに知らせるため、その画素はレッドで
表示される。計測基準面と物体との位置関係の理解を助
けるため、フレーム番号FNがスケール値scと等しい
画素はシアンで表示される。そして、計測可能範囲の近
接側の端縁に対応した画像がグリーンで表示され、遠方
側の端縁に対応した画像はブルーで表示される。このよ
うな色分け表示により、ユーザーは物体の所望部分が正
しく計測されているかを容易に確認することができる。
を計測の手順と合わせて説明する。以下では、計測のサ
ンプリング点数を244×256とする。すなわち、実
質的なフレーム数Nは244であり、撮像面S2におけ
るスリット長さ方向の画素数は256である。
画像を見ながら、カメラ位置と向きとを決めて画角を設
定する。その際、必要に応じてズーミング操作を行う。
3次元カメラ2ではカラーセンサ54に対する絞り調整
は行われず、電子シャッタ機能により露出制御されたカ
ラーモニタ像が表示される。これは、絞りを開放状態と
することによってイメージセンサ53の入射光量をでき
るだけ多くするためである。
れを示す図、図10はホスト3におけるデータの流れを
示す図、図11は光学系の各点と物体Qとの位置関係を
示す図である。
グ)に応じて、ズームユニット51のバリエータ部が移
動するとともにフォーカシング部の移動によるフォーカ
シングが行われる。フォーカシングの過程でおおよその
対物間距離d0 が測定される。このような受光系のレン
ズ駆動に呼応して、投光側のバリエータレンズの移動量
が演算により算出され、算出結果に基づいてバリエータ
レンズの移動制御が行われる。投光側のレンズ制御は、
撮影距離及び画角に係わらず、イメージセンサ53に5
画素分の幅のスリット光Uを入射させるためのものであ
る。
トローラ58を介して、フォーカシング駆動系59のエ
ンコーダ出力(繰り出し量Ed)及びズーミング駆動系
60のエンコーダ出力(ズーム刻み値fp)を読み込
む。システムコントローラ61の内部において、歪曲収
差テーブルT1、主点位置テーブルT2、及び像距離テ
ーブルT3が参照され、繰り出し量Ed及びズーム刻み
値fpに対応した撮影条件データがホスト3へ出力され
る。ここでの撮影条件データは、歪曲収差パラメータ
(レンズ歪み補正係数d1,d2)、前側主点位置F
H、及び像距離bである。前側主点位置FHは、ズーム
ユニット51の前側端点Fと前側主点Hとの距離で表さ
れる〔図22(c)参照〕。前側端点Fは固定であるの
で、前側主点位置FHにより前側主点Hを特定すること
ができる。
の方向にスリット光Uを投射して計測環境を測定する予
備計測を実行し、予備計測で得られた撮影情報に基づい
て三角測量法により対物間距離dを求め、その対物間距
離dに基づいて、繰り出し量Edを再設定するとともに
レンズ駆動を行い、本計測の動作設定をする。設定項目
には、半導体レーザ41の出力(レーザ光強度)、スリ
ット光Uの偏向条件(投射開始角、投射終了角、偏向角
速度)などがある。
離d0 に平面物体が存在するものとして、撮像面S2の
中央に反射光が入射するように投射角を設定する。半導
体レーザ41をパルス点灯して受光量を測定し、受光量
が適正になるように投射強度を調整する。このとき、人
体への安全と半導体レーザ41の定格とを考慮した許容
上限値に投射強度を設定しても必要な受光量が得られな
い場合には、計測を中止し、その旨の警告メッセージを
表示するとともに警告音を発する。対物間距離dの算定
においては、測距基準点である受光系の前側主点Hと投
光の起点AとのZ方向のオフセットdoffを考慮す
る。偏向条件の算定に際しては、走査方向の端部におい
ても中央部と同様の計測可能範囲d’を確保するため、
所定量(例えば8画素分)のオーバースキャンを行うよ
うにする。投射開始角th1、投射終了角th2、偏向
角速度ωは、次式で表される。 th1=tan-1〔(β×pv(np/2+8)+L)
/(d+doff)〕×180/π th2=tan-1〔−(β×pv(np/2+8)+
L)/(d+doff)〕×180/π ω=(th1−th2)/np β:撮像倍率(=d/実効焦点距離Freal) pv:画素ピッチ np:撮像面S2のY方向の有効画素数 L:基線長 このようにして算出された条件で本計測が行われる。物
体Qが走査され、出力処理回路52によって1画素当た
り5フレーム分の計測データDsが生成される。そし
て、上述したように距離画像のモニタ表示が行われる。
3次元カメラ2は、再計測の便宜を図るためのプレビュ
ー機能(詳細は後述)を有している。ユーザーはモニタ
表示を見た上で、必要に応じて再計測を指示する。再計
測モードにおいてユーザーが計測条件を変更すると、新
たな計測条件に対応した仮想の距離画像が前回の計測時
の計測データDsに基づいて生成され、プレビュー画像
として表示される。条件変更操作に呼応してプレビュー
画像がリアルタイムで表示されるので、ユーザーは計測
条件の最適化を効率的に進めることができる。ユーザー
が条件変更の終了を入力すると、再計測が行われて新た
な計測データDsが生成される。
と、計測データDsがホスト3へ送られる。同時に、偏
向条件(偏向制御データD43)及びイメージセンサ5
3の仕様などを示す装置情報D10も、ホスト3へ送ら
れる。表1は3次元カメラ2がホスト3へ送る主なデー
タをまとめたものである。
設定に際して、上述の式に代えて次の式を適用すれば、
測定可能距離範囲を光軸方向にシフトさせることができ
る。 th1=tan-1〔(β×pv(np/2+8+pit
choff)+L)/(d+doff)〕×180/π th2=tan-1〔−(β×pv(np/2+8+pi
tchoff)+L)/(d+doff)〕×180/
π pitchoff:測定可能距離範囲のシフト量 後述のように対物間距離の算定の基準位置を物体の近接
位置(3次元カメラ2側)に設定し、その前後に計測可
能範囲d’を設定すると、前側(3次元カメラ2側)の
計測可能範囲が無駄になることが多い。したがって、シ
フト量pitchoffを設定して、前側25%、後側
75%の割合になるように計測可能範囲d’を後側へシ
フトさせるのが望ましい。
32画素幅である場合(つまり、CCDエリアセンサが
32ラインの読出し幅をもつ場合)、シフト量pitc
hoffを「8」とすれば、上述の割合の計測可能範囲
が設定される。
リット重心演算、歪曲収差の補正演算、カメラ視線方程
式の演算、スリット面方程式の演算、及び3次元位置演
算が実行され、それによって244×256個のサンプ
リング点の3次元位置(座標X,Y,Z)が算定され
る。サンプリング点はカメラ視線(サンプリング点と前
側主点Hとを結ぶ直線)とスリット面(サンプリング点
を照射するスリット光Uの光軸面)との交点である。
参照)は、各サンプリング時の受光データDg(i)を
用いて(4)式で与えられる。 Npeak=n+Δn …(4) Δn=〔−2×Dg(n−2)−Dg(n−1)+Dg
(n+1)+2×Dg(n+2)〕/ΣDg(i) (i=n−2,n−1,n,n+1,n+2) 又は Δn=[−2×〔Dg〔n−2)−minDg(i)〕
−〔Dg(n−1)−minDg(i)〕+〔Dg(n
+1)−minDg(i)〕+2×〔Dg(n+2)−
minDg(i)〕]/ΣDg(i) 5つの受光データの内の最小のデータminDg(i)
を差し引いて加重平均を求めることにより、環境光の影
響を軽減することができる。
である。 (u−u0)=(xp)=(b/pu)×〔X/(Z−FH)〕 …(5) (v−v0)=(yp)=(b/pv)×〔Y/(Z−FH)〕 …(6) b:像距離 FH:前側主点位置 pu:撮像面における水平方向の画素ピッチ pv:撮像面における垂直方向の画素ピッチ u:撮像面における水平方向の画素位置 u0:撮像面における水平方向の中心画素位置 v:撮像面における垂直方向の画素位置 v0:撮像面における垂直方向の中心画素位置 スリット面方程式は(7)式である。
画素を中心として対象に生じる。したがって、歪み量は
中心画素からの距離の関数で表される。ここでは、距離
の3次関数で近似する。2次の補正係数をd1、3次の
補正係数をd2とする。補正後の画素位置u’,v’は
(8)式及び(9)式で与えられる。
を代入し、vに代えてv’を代入することにより、歪曲
収差を考慮した3次元位置を求めることができる。な
お、キャリブレーションについては、電子情報通信学会
研究会資料PRU91-113[カメラの位置決めのいらない
画像の幾何学的補正]小野寺・金谷、電子情報通信学会
論文誌D-II vol. J74-D-II No.9 pp.1227-1235,'91/9
[光学系の3次元モデルに基づくレンジファインダの高
精度キャリブレーション法]植芝・吉見・大島、などに
詳しい開示がある。
計測例を示す図、図13は計測条件の変更例を示す図、
図14は図13に対応したモニタ表示の内容を示す図で
ある。
し、鳥の顔面に対する真正面の位置から計測を行うもの
とする。図12のように、鳥の胴の前面側に高輝度部分
qが存在する。図13(a)は最初の計測時の計測可能
範囲d’の設定状態を示し、図13(b)は再計測時の
計測可能範囲d’の設定状態を示している。図14
(a)は図13(a)に対応し、図14(b)は図13
(b)に対応する。
の画面には距離画像G1、スケールバー90、計測基準
位置e1の対物間距離(単位はmm)を表す数値z1、
計測可能範囲d’の両端縁e2,e3の対物間距離を表
す数値z2,z3、スケールバー90における計測基準
位置e1に対応した表示輝度を示す矢印Z4、及び投射
光強度の設定値を表す数値z5が表示される。なお、実
際には、図14(a)及び(b)中の斜線部分はブラッ
クで表示され、白抜き部分は図8で説明したように計測
値に応じた濃度(明暗)の無彩色で表示される。通常、
白抜き部分の全域が同一濃度となることはほとんどな
い。
1が鳥の頭の中央付近に設定されており、くちばしの先
端が計測可能範囲d’より近接側にはみ出ている。この
ことは、図14(a)の距離画像G1において、計測可
能範囲d’の近接側端縁e2に対応したグリーンの部分
(連続的又は断続的な線状の画素群)E2が存在するこ
とから判る。また、距離画像G1は、遠方側端縁e3に
対応したブルーの部分E3と、高輝度部分qに対応した
レッドの部分Eqとを含んでいる。
計測可能範囲d’を以前より近接側にシフトしたとす
る。操作としては、下向きのカーソルボタン22(図2
参照)を必要回数だけ押せばよい。カーソルボタン22
を押す毎に、矢印z4は表示画面の下方側に移動し、数
値Z1が更新される。そして、この条件変更操作に呼応
してモニタ画像がリアルタイムで書換えられる。図13
(b)の状態では、くちばしの全体が計測可能範囲d’
の内側に入っている。このことは、図14(b)のプレ
ビュー画像G1’の中に近接警告を意味するグリーンの
部分がないことから判る。なお、プレビュー画像G1’
は前回の計測データDgに基づいて生成されるので、距
離画像G1で欠けているくちばしは実際には計測されて
いないことから、プレビュー画像G1’においてその部
分はブラックで表示される。また、計測可能範囲d’の
変更に伴って、新たに計測可能範囲外となった部分もブ
ラックで表示される。
ーチャートである。フォーカスロック操作に呼応してア
クティブ形式の予備撮影を行う(#11、12)。測定
した対物間距離dが仕様で定められた撮影距離範囲から
外れている場合には、エラー処理を実行する(#13、
23)。エラー処理では、LCD21により所定のメッ
セージを表示するとともにブザー75を鳴らす。対物間
距離dが撮影距離範囲内であれば、その後のレリーズ操
作に呼応して計測データDsを得るための撮影処理を行
う(#14、15)。一方、フォーカスロック操作が行
われずにレリーズ操作が行われた場合も、予備撮影を行
って対物間距離dの適否を判断する(#20〜22)。
対物間距離d及び受光光量が適正であれば撮影処理に進
み、不適正であればエラー処置を行う(#15、2
3)。
れた場合は、再計測処理を実行する(#16、19)。
レコード操作が行われた場合は、計測データDsをホス
ト3又は記憶媒体4へ出力する録画処理を実行する(#
17、18)。撮影処理ルーチン(#15)で図14
(a)の表示が行われており、操作者は測定できなかっ
た部分を確認して、その撮影結果を採用するか、再計測
を行うかを選択できる。
る。AFセンサ57の出力に基づいて投射方向を定め
(#121)、スリット光Uを投射する(#122)。
メモリ630Aから撮像面S2全体に対応するモノクロ
画像を取り込み(#123)、撮像面S2におけるスリ
ット光Uの受光光量及び入射位置を検出する(#12
4)。そして、三角測量法により対物間距離dを求める
(#125)。
物間距離dに応じて投射角範囲を設定し(#151)、
スキャンニングを行う(#152)。スキャンニングで
得られた距離画像のモニタ表示を行い(#153)、出
力処理回路62による警告信号の出力の有無をチェック
する(#154)。近接警告信号S11、遠方警告信号
S12、オーバーフロー警告信号S13のいずれかが出
力された場合には、出力された警告に応じたメッセージ
表示を行い、ブザー75を鳴らす(#155、15
6)。予備撮影では時間を短縮するために撮影像の一部
分(例えば中央部)について適否判別を行っている。そ
のため、その部分以外について本撮影でエラーの検出さ
れることがある。
る。投射光量設定を行い(#191)、その後のセレク
ト操作を受けて図15のフローへリターンする(#19
2)。セレクトボタン23が押される以前に、上向き又
は下向きのカーソルボタン22が押されると、モニタ表
示の矢印z4を上方又は下方へ移動させる(#193、
194、198、199)。
距離dを算出し、数値z1の表示を更新する(#19
7)。スケール値scも矢印z4の位置に対応した値に
更新し(#198)、プレビュー画像を表示する(#1
99)。操作者は、このプレビュー画像によって、設定
変更後の撮影結果を予測しながら設定変更を行うことが
できる。セレクトボタン28が押されると、そのときの
設定が記憶されたままリターンする。その後、#14で
レリーズ操作があると上述の設定条件で撮影が行われ
る。
ンサ53との同期制御の一例を示すタイムチャート、図
20はガルバノミラー43とイメージセンサ53との同
期制御の他の例を示すタイムチャートである。これらの
図において符合の添字「t」はテレ状態の値であること
を示し、「w」はワイドテレ状態の値であることを示し
ている。
画角を偏向するので、図19のように低倍率時の偏向角
θwは高倍率時の偏向角θtとりも大きい。システムコ
ントローラ61は、レリーズボタン27からのレリーズ
信号S27を検知すると、まず、ガルバノミラー43の
回転を開始してから撮像を開始するまでの期間T2、す
なわち停止位置から所定の角度位置までガルバノミラー
43を回転させるのに必要な時間を、ズーム倍率及び対
物間距離に基づいて算出する。このとき、期間T2にお
ける偏向角速度を、センサ駆動期間Tsにおける角速度
ωと同じ値に設定する。角速度ωを安定させるためであ
る。期間T2の算出を終えた後、ガルバノミラー43の
回転駆動を開始し、期間T2の経過後にイメージセンサ
53の駆動を開始する。
ルバノミラー43及びイメージセンサ53の両方を直接
に制御する形態では、駆動のタイミングを正確に合わせ
るために、システムコントローラ61に高速の処理が要
求される。一方、専用のハードウェア又は市販のビデオ
用タイミングジェネレータをセンサ駆動に用いることに
より、システムコントローラ61をガルバノミラー43
の制御に専念させて、制御の負担を軽減することも可能
である。
(図3参照)は、レリーズ信号S27をビデオ同期信号
Vsyncの立上がりエッジで正規化し、レリーズ検知
信号S27’を生成する。また、ドライバ55は、レリ
ーズ検知信号S27’の立上がりから一定時間T0’が
経過した時点でセンサ駆動を開始する。レリーズ検知信
号S27’はシステムコントローラ61に割込み信号と
して入力される。システムコントローラ61は、レリー
ズ動作に先立って、上述の期間T2とともに、レリーズ
検知信号S27’の立上がりからミラーの回転を開始す
るまでの時間T1’(=T0’−T2)を計算してお
く。そして、レリーズ検知信号S27’の割込みを受け
付けると、その時点から時間T1’が経過した時点でガ
ルバノミラーの回転を開始する。
告が行われるので、操作者は本撮影を実行させずに条件
の再設定を行うことができ、計測作業を効率良く進める
ことができる。
る計測を例に挙げたが、計測の方法は光切断法に限られ
るこのではなく、例えばパターン投影法であってもよ
い。パターン投影法では、パターンの投影方向と受光視
野との関係で測定可能距離範囲が決まる。また、光切断
法と同様に対象物体の反射率によっては、パターンの反
射光が検出できなかったり、受光系がオーバーフローを
起こしたりすることがある。そのような場合に警告する
ように構成すればよい。
ユーザーは計測条件の適否を計測の前又は後に確認して
適切な操作を行うことができる。
定値以下に抑えることができる。請求項3の発明によれ
ば、測距精度を高めることができるとともに無駄な計測
動作を防止することができる。
量の過不足の有無を確認することができる。請求項6の
発明によれば、ユーザーは計測結果の良否を容易に判断
することができる。
条件の指定作業を効率的に進めることができる。
る。
図である。
示す図である。
ある。
る。
ある。
す図である。
である。
である。
御の一例を示すタイムチャートである。
御の他の例を示すタイムチャートである。
るための図である。
Claims (8)
- 【請求項1】物体にパターン光を投射し、前記物体で反
射した前記パターン光の反射光に基づいて前記物体の形
状を計測する3次元計測装置であって、 計測条件の適否を判別する条件判別手段と、 計測条件が不適正と判別されたときに警告を発する通知
手段と、 を有したことを特徴とする3次元計測装置。 - 【請求項2】対物間距離を測定する測距手段を有し、 前記条件判別手段は、前記測距手段によって測定された
対物間距離を計測条件として判別する請求項1記載の3
次元計測装置。 - 【請求項3】計測に先立ってパターン光を投射して物体
を撮影する予備計測を行うように構成され、 前記測距手段は、予備計測で得られた撮影情報に基づい
て対物間距離を測定する請求項2記載の3次元計測装
置。 - 【請求項4】前記条件判別手段は、前記パターン光を投
射したときの前記撮像手段の受光量を計測条件として判
別する請求項1乃至請求項3のいずれかに記載の3次元
計測装置。 - 【請求項5】前記パターン光はスリット光である請求項
1乃至請求項4のいずれかに記載の3次元計測装置。 - 【請求項6】物体にパターン光を投射し、前記物体で反
射した前記パターン光の反射光に基づいて前記物体の形
状を計測する3次元計測装置であって、 計測された物体形状を示す距離画像を表示するモニタ手
段と、 前記距離画像の画素毎に計測値の合否を判定する計測値
判定手段とを有し、前記距離画像の表示に際して、計測
値が不合格と判定された部分について強調表示をするよ
うに構成されたことを特徴とする3次元計測装置。 - 【請求項7】最新の計測で得られた物体の撮影情報を保
持した状態で動作条件の変更操作を受け付け、変更操作
に呼応して、新たに指定された動作条件に対応した距離
画像を、保持されている前記撮影情報に基づいて生成し
て表示するプレビュー機能を有した請求項6記載の3次
元計測装置。 - 【請求項8】前記パターン光はスリット光である請求項
6又は請求項7に記載の3次元計測装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15706996A JP3893169B2 (ja) | 1996-06-18 | 1996-06-18 | 3次元計測装置 |
US08/748,325 US6141105A (en) | 1995-11-17 | 1996-11-13 | Three-dimensional measuring device and three-dimensional measuring method |
US09/676,767 US6529280B1 (en) | 1995-11-17 | 2000-10-02 | Three-dimensional measuring device and three-dimensional measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15706996A JP3893169B2 (ja) | 1996-06-18 | 1996-06-18 | 3次元計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH102712A true JPH102712A (ja) | 1998-01-06 |
JP3893169B2 JP3893169B2 (ja) | 2007-03-14 |
Family
ID=15641559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15706996A Expired - Fee Related JP3893169B2 (ja) | 1995-11-17 | 1996-06-18 | 3次元計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3893169B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6438507B1 (en) | 1999-05-31 | 2002-08-20 | Minolta Co., Ltd. | Data processing method and processing device |
JP2003269935A (ja) * | 2002-03-18 | 2003-09-25 | Hamano Engineering:Kk | 3次元面形状の測定方法、3次元面形状の測定装置、コンピュータプログラム、及びコンピュータプログラム記録媒体 |
US7454054B2 (en) | 2004-05-07 | 2008-11-18 | Konica Minolta Sensing, Inc. | Three-dimensional shape input device |
US7495776B2 (en) | 2005-06-22 | 2009-02-24 | Konica Minolta Sensing, Inc. | Three-dimensional measuring system |
JP2009192332A (ja) * | 2008-02-13 | 2009-08-27 | Konica Minolta Sensing Inc | 3次元処理装置における3次元データの表示制御方法および3次元処理装置 |
JP2010060451A (ja) * | 2008-09-04 | 2010-03-18 | Toyota Motor Corp | ロボット装置及び物体の位置姿勢推定方法 |
JP2014044203A (ja) * | 2012-08-27 | 2014-03-13 | Boeing Co | 加工対象物検査のための方法及びシステム |
JP2014055815A (ja) * | 2012-09-11 | 2014-03-27 | Keyence Corp | 形状測定装置、形状測定方法および形状測定プログラム |
JP2014055813A (ja) * | 2012-09-11 | 2014-03-27 | Keyence Corp | 形状測定装置、形状測定方法および形状測定プログラム |
CN103697815A (zh) * | 2014-01-15 | 2014-04-02 | 西安电子科技大学 | 基于相位编码的混频结构光三维信息获取方法 |
JP2015031539A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社キーエンス | 画像処理装置、画像処理システム、検査方法およびプログラム |
JP2016200607A (ja) * | 2016-09-06 | 2016-12-01 | 株式会社キーエンス | 形状測定装置、形状測定方法および形状測定プログラム |
JP2017207520A (ja) * | 2017-08-31 | 2017-11-24 | 株式会社キーエンス | 形状測定装置、形状測定方法および形状測定プログラム |
CN112288810A (zh) * | 2020-10-29 | 2021-01-29 | 铜陵有色金属集团股份有限公司 | 采样定位方法、装置、系统及计算机存储介质 |
-
1996
- 1996-06-18 JP JP15706996A patent/JP3893169B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6438507B1 (en) | 1999-05-31 | 2002-08-20 | Minolta Co., Ltd. | Data processing method and processing device |
JP2003269935A (ja) * | 2002-03-18 | 2003-09-25 | Hamano Engineering:Kk | 3次元面形状の測定方法、3次元面形状の測定装置、コンピュータプログラム、及びコンピュータプログラム記録媒体 |
US7454054B2 (en) | 2004-05-07 | 2008-11-18 | Konica Minolta Sensing, Inc. | Three-dimensional shape input device |
US7495776B2 (en) | 2005-06-22 | 2009-02-24 | Konica Minolta Sensing, Inc. | Three-dimensional measuring system |
JP2009192332A (ja) * | 2008-02-13 | 2009-08-27 | Konica Minolta Sensing Inc | 3次元処理装置における3次元データの表示制御方法および3次元処理装置 |
JP2010060451A (ja) * | 2008-09-04 | 2010-03-18 | Toyota Motor Corp | ロボット装置及び物体の位置姿勢推定方法 |
JP2014044203A (ja) * | 2012-08-27 | 2014-03-13 | Boeing Co | 加工対象物検査のための方法及びシステム |
JP2014055815A (ja) * | 2012-09-11 | 2014-03-27 | Keyence Corp | 形状測定装置、形状測定方法および形状測定プログラム |
JP2014055813A (ja) * | 2012-09-11 | 2014-03-27 | Keyence Corp | 形状測定装置、形状測定方法および形状測定プログラム |
JP2015031539A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社キーエンス | 画像処理装置、画像処理システム、検査方法およびプログラム |
CN103697815A (zh) * | 2014-01-15 | 2014-04-02 | 西安电子科技大学 | 基于相位编码的混频结构光三维信息获取方法 |
CN103697815B (zh) * | 2014-01-15 | 2017-03-01 | 西安电子科技大学 | 基于相位编码的混频结构光三维信息获取方法 |
JP2016200607A (ja) * | 2016-09-06 | 2016-12-01 | 株式会社キーエンス | 形状測定装置、形状測定方法および形状測定プログラム |
JP2017207520A (ja) * | 2017-08-31 | 2017-11-24 | 株式会社キーエンス | 形状測定装置、形状測定方法および形状測定プログラム |
CN112288810A (zh) * | 2020-10-29 | 2021-01-29 | 铜陵有色金属集团股份有限公司 | 采样定位方法、装置、系统及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP3893169B2 (ja) | 2007-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4032603B2 (ja) | 3次元計測装置 | |
JP4111592B2 (ja) | 3次元入力装置 | |
JP4111166B2 (ja) | 3次元形状入力装置 | |
US6141105A (en) | Three-dimensional measuring device and three-dimensional measuring method | |
US7046838B1 (en) | Three-dimensional data input method and apparatus | |
JPH10206132A (ja) | 3次元計測システム | |
US6049385A (en) | Three dimensional measurement system and pickup apparatus | |
JP3893169B2 (ja) | 3次元計測装置 | |
JP3996617B2 (ja) | 画像歪み補正機能を備えたプロジェクタ装置 | |
JP2005318652A (ja) | 画像歪み補正機能を備えたプロジェクタ装置 | |
JP3493403B2 (ja) | 3次元計測装置 | |
JP3235485B2 (ja) | 3次元計測のための分光装置 | |
JPH10124646A (ja) | 3次元計測装置 | |
JP4186347B2 (ja) | 3次元入力方法及び装置 | |
JP2000283721A (ja) | 3次元入力装置 | |
JP2001280917A (ja) | 3次元計測装置 | |
JP3360505B2 (ja) | 3次元計測方法及び装置 | |
JP2009092409A (ja) | 3次元形状測定装置 | |
JPH11271030A (ja) | 3次元計測装置 | |
JP3324367B2 (ja) | 3次元入力カメラ | |
JP3733625B2 (ja) | 3次元計測のための撮像装置 | |
JP2000292121A (ja) | 3次元計測方法及び3次元入力装置 | |
JP3861475B2 (ja) | 3次元入力装置 | |
JP2000275024A (ja) | 3次元入力装置 | |
JP3740848B2 (ja) | 3次元入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031125 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040212 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040304 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040405 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040423 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061211 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131215 Year of fee payment: 7 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |