JP4589648B2 - 光学測定装置及びこれらの距離測定方法 - Google Patents

光学測定装置及びこれらの距離測定方法 Download PDF

Info

Publication number
JP4589648B2
JP4589648B2 JP2004108221A JP2004108221A JP4589648B2 JP 4589648 B2 JP4589648 B2 JP 4589648B2 JP 2004108221 A JP2004108221 A JP 2004108221A JP 2004108221 A JP2004108221 A JP 2004108221A JP 4589648 B2 JP4589648 B2 JP 4589648B2
Authority
JP
Japan
Prior art keywords
light
light receiving
imaging
measured
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004108221A
Other languages
English (en)
Other versions
JP2005208027A (ja
Inventor
裕正 古田
Original Assignee
サンクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サンクス株式会社 filed Critical サンクス株式会社
Priority to JP2004108221A priority Critical patent/JP4589648B2/ja
Publication of JP2005208027A publication Critical patent/JP2005208027A/ja
Application granted granted Critical
Publication of JP4589648B2 publication Critical patent/JP4589648B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、光学測定装置及びこれらの距離測定方法に関する。
従来から知られている光学測定装置として三角測距の原理を用いて被測定対象物の距離及び傾きを測定するものであり、距離測定用光学系と傾き測定用光学系とを備えている。距離測定用光学系では、レンズにより収束された投光素子からの光を被測定対象物に対して斜めから投射し、反射光をレンズにより収束して撮像手段の撮像面に結像する構成とされており、その撮像面における結像位置により被測定対象物の距離を測定することができる。
また、傾き測定用光学系は、レンズにより平行光とされた投光素子からの光を被測定対象物に対して斜めから投射し、反射光をレンズにより収束して撮像手段の撮像面に結像する構成とされており、その撮像面における結像位置により被測定対象物の傾きを測定することができる。
特開平8−240408号公報
ところで、レンズの球面収差をはじめとする種々の収差が原因となって、被測定対象物からの反射光のスポット径がばらつくことは周知の事実である。
上記構成の場合では、図14に示すように、被測定対象物Wからの反射光がレンズ101の中心軸C付近を通過した場合と、中心軸Cから離れた周縁領域付近を通過した場合とでは、周縁領域付近を通過した場合の方が受光スポットが拡大されることとなる。これら両受光スポットの受光量分布をプロファイリングすると、両者は山型形状とされるのは共通しているものの、レンズ101の周縁領域付近を通過した場合のほうが最大受光量とされる画素の受光量は低くなっており、また、山型形状の傾斜がなだらかとなっていることは一目瞭然である。従って、閾値を固定とすることは測定精度がばらついてしまうから、最大受光量に基づいて閾値を決定することが不可欠となる。
しかしながら、上記のような閾値の設定方法であっても、やはり測定精度にばらつきが生じてしまう。即ち、分解能が一定に定まらないという不具合をはらんでいたのである。
本発明は上記のような事情に基づいて完成されたものであって、一義的な誤差でもって距離測定を行なうことができる距離測定装置、光学測定装置及びこれらの距離測定方法を提供することを目的とする。
上記の目的を達成するための手段として、請求項1の発明は、距離測定用投光手段からの光を収束レンズにて収束し、この収束光を被測定対象物の表面に対して斜めから照射するとともに、当該被測定対象物からの正反射光を収束して距離測定用撮像手段の受光素子群に集光し、前記距離測定用撮像手段から出力される撮像信号に基づいて前記被測定対象物までの距離を測定する距離測定用光学系と、傾角測定用投光手段からの光をコリメータレンズにより平行光に変換し、この平行光を前記被測定対象物に照射するとともに、前記被測定対象物からの反射光を収束して傾角測定用撮像手段の撮像面に照射し、前記傾角測定用撮像手段から出力される撮像信号に基づき、前記撮像面上における前記反射光の集光スポットの中心位置と基準位置との位置関係から前記被測定対象物の傾きを測定する傾角測定用光学系とを有する光学測定装置において、
前記撮像信号から前記受光素子群において最大受光量となる基準受光素子を検出し、当該最大受光量に対する任意の割合の値を閾値として設定して当該閾値を上回る受光素子の受光量と前記閾値との差分値の和である総合体積値を算出し、その総合体積値が所定体積値と一致したときには、検出された受光素子群における重心位置を検出し、当該重心位置に相当する受光素子と、前記傾角測定用撮像手段の撮像面に照射された前記反射光の中心位置に相当する受光素子との位置関係に基づいて前記被測定対象物の距離を測定する測定手段を備えるところに特徴を有する。
請求項2の発明は、距離測定用投光手段からの光を収束レンズにて収束し、この収束光を被測定対象物の表面に対して斜めから照射するとともに、当該被測定対象物からの正反射光を収束して距離測定用撮像手段の受光素子群に集光し、前記距離測定用撮像手段から出力される撮像信号に基づいて前記被測定対象物までの距離を測定する距離測定用光学系と、傾角測定用投光手段からの光をコリメータレンズにより平行光に変換し、この平行光を前記被測定対象物に照射するとともに、前記被測定対象物からの反射光を収束して傾角測定用撮像手段の撮像面に照射し、前記傾角測定用撮像手段から出力される撮像信号に基づき、前記撮像面上における前記反射光の集光スポットの中心位置と基準位置との位置関係から前記被測定対象物の傾きを測定する傾角測定用光学系とを有する光学測定装置において、
前記撮像信号から前記受光素子群において最大受光量となる基準受光素子を検出し、当該基準受光素子を基準として受光スポットにおける各受光素子の受光量に基づいて総合面積値を算出し、この総合面積値が所定面積値と一致したときには検出された受光素子群における重心位置を検出し、当該重心位置に相当する受光素子と、前記傾角測定用撮像手段の撮像面に照射された前記反射光の中心位置に相当する受光素子との位置関係に基づいて前記被測定対象物の距離を測定する測定手段を備えるところに特徴を有する。
請求項3の発明は、請求項1又は請求項2に記載のものにおいて、前記距離測定用撮像手段は2次元撮像素子から構成されているところに特徴を有する。
請求項4の発明は、請求項3に記載のものにおいて、前記距離測定用撮像手段から出力される撮像信号を受信して各画素の受光量に関する情報を記憶する距離測定用記憶手段と、
前記受光量に関する情報から所定の閾値よりも高い受光量とされる画素を検出する距離測定用画素検出手段とを備え、
前記測定手段は前記距離測定用画素検出手段で検出された画素において、最大受光量とされる画素を前記基準受光素子として検出するところに特徴を有する。
請求項5の発明は、請求項4に記載のものにおいて、前記画素検出手段において検出された画素を計数し、その数が所定数以下であることを条件に検出不能を報知する報知手段が備えられているところに特徴を有する。
請求項6の発明は、請求項3に記載のものにおいて、各画素の受光量に基づいて特定の画素を選択する距離測定用画素選択手段と、
前記距離測定用画素選択手段により選択された画素の受光量に関する情報を記憶する距離測定用記憶手段とを備え、
前記測定手段は前記距離測定用記憶手段に記憶された前記受光量に関する情報に基づき、最大受光量とされる画素を前記基準受光素子として検出するところに特徴を有する。
請求項7の発明は、請求項6に記載のものにおいて、前記距離測定用画素選択手段は、
前記距離測定用撮像手段から出力される撮像信号を基に各画素の受光量を所定の閾値と比較し、当該所定の閾値を上回る受光量とされる画素を選択するところに特徴を有する。
請求項8の発明は、請求項6に記載のものにおいて、前記距離測定用画素選択手段は、
前記距離測定用撮像手段から出力される撮像信号を基に各画素の受光量を所定の閾値と比較し、当該所定の閾値を上回る受光量とされる画素を含むように領域を指定し、その領域内に含まれる画素の撮像信号を受信するように動作するところに特徴を有する。
請求項9の発明は、請求項6ないし請求項8に記載のものにおいて、前記画素選択手段において検出された画素を計数し、その数が所定数以下であることを条件に検出不能を報知する報知手段が備えられているところに特徴を有する。
請求項10の発明は、距離測定用投光手段からの光を収束レンズにて収束し、この収束光を被測定対象物の表面に対して斜めから照射するとともに、当該被測定対象物からの正反射光を収束して距離測定用撮像手段の受光素子群に集光し、前記距離測定用撮像手段から出力される撮像信号に基づいて前記被測定対象物までの距離を測定する距離測定用光学系と、傾角測定用投光手段からの光をコリメータレンズにより平行光に変換し、この平行光を前記被測定対象物に照射するとともに、前記被測定対象物からの反射光を収束して傾角測定用撮像手段の撮像面に照射し、前記傾角測定用撮像手段から出力される撮像信号に基づき、前記撮像面上における前記反射光の集光スポットの中心位置と基準位置との位置関係から前記被測定対象物の傾きを測定する傾角測定用光学系とを有する光学測定装置における距離測定方法であって、
前記撮像信号から前記受光素子群において最大受光量となる基準受光素子を検出する処理と、
前記最大受光量に対する任意の割合の値を閾値として設定して当該閾値を上回る受光素子の受光量と前記閾値との差分値の和である総合体積値を算出する処理と、
その総合体積値が所定体積値と一致したときには、検出された受光素子群における重心位置を検出し、当該重心位置に相当する受光素子と、前記傾角測定用撮像手段の撮像面に照射された前記反射光の中心位置に相当する受光素子との位置関係に基づいて前記被測定対象物の距離を測定する処理とを含むところに特徴を有する。
請求項11の発明は、距離測定用投光手段からの光を収束レンズにて収束し、この収束光を被測定対象物の表面に対して斜めから照射するとともに、当該被測定対象物からの正反射光を収束して距離測定用撮像手段の受光素子群に集光し、前記距離測定用撮像手段から出力される撮像信号に基づいて前記被測定対象物までの距離を測定する距離測定用光学系と、傾角測定用投光手段からの光をコリメータレンズにより平行光に変換し、この平行光を前記被測定対象物に照射するとともに、前記被測定対象物からの反射光を収束して傾角測定用撮像手段の撮像面に照射し、前記傾角測定用撮像手段から出力される撮像信号に基づき、前記撮像面上における前記反射光の集光スポットの中心位置と基準位置との位置関係から前記被測定対象物の傾きを測定する傾角測定用光学系とを有する光学測定装置における距離測定方法であって、
前記撮像信号から前記受光素子群において最大受光量となる基準受光素子を検出する処理と、
前記最大受光量に対する任意の割合の値を閾値として設定して当該閾値を上回る受光量の受光素子数の合計値である総合面積値を算出する処理と、
その総合面積値が所定面積値と一致したときには検出された受光素子群における重心位置を検出し、当該重心位置に相当する受光素子と、前記傾角測定用撮像手段の撮像面に照射された前記反射光の中心位置に相当する受光素子との位置関係に基づいて前記被測定対象物の距離を測定する処理とを含むところに特徴を有する。
請求項1,2,3,10,11の発明>
上記発明では、総合体積値あるいは総合面積値を所定の値に固定して閾値に設定するようにしている。
そもそも、上記の距離測定の方法に到達したのには、発明者による鋭意研究によるところが多大にあり、従来の距離測定の方法からは容易に想到することは極めて困難である。
まず、図6に示すように、レンズの中心軸あるいはその近辺を通過した光とレンズの周縁領域を通過した光とでは、その最大受光量が相違している。それぞれの最大受光量における所定割合の値を閾値と定めた場合、両者間で測定精度が一致していないことは明らかである。この図6に示されているグラフが背景技術で述べた従来の距離測定方法の問題点を明確に表している。
一方、図7に示すように、受光素子群のうち最大受光量とされる基準受光素子を基準として、その最大受光量から所定割合の値を閾値として設定し、閾値を上回る受光量とされる受光素子を検出しつつ、検出された受光素子の受光量と閾値との差分値の和となる総合体積値を算出する。上記の閾値を変更しながら算出された総合体積値と閾値との関係を確認したところ、その関係は逆比例となっていることが発明者が行なった実験によって明らかにされた。
そして、上記図6及び図7から測定精度と総合体積値との関係が導かれ、これによると、総合体積値が所定の体積値となるように閾値を設定することで、測定精度が略一定となることが確認された(図8参照)。
従って、上記方法で距離測定を行なうことで、測定精度のばらつきをなくすることができ、もって、測定精度の安定化を図ることができる。
また、受光素子群として2次元撮像素子を用いた構成としても良い。これによれば、被測定対象物からの反射光が2次元的に移動する場合であっても確実に距離測定を行なうことができる。特に、上記光学測定装置のように被測定対象物の傾き及び距離測定を行なう場合には、被測定対象物からの反射光が2次元的に移動することとなるから、このような場合には好適な構成とされる。
請求項8の発明>
上記発明では、所定の閾値以上の受光量とされている画素を検出し、その検出された画素から受光中心位置(最大輝度位置、面積重心位置、体積重心位置)を検出するようにしている。このようにすれば全画素の受光量情報を参照することなく受光中心位置を検出することが出来るから、処理時間の短縮化を図ることができる。
請求項4,6,7の発明>
このような構成では、受光中心位置の検出において不要な受光量情報が排除されて、処理時間の短縮化を図ることができる。
例えば、複数回にわたって測定動作を行ない、それぞれの結果に基づいての傾角または距離を算出する場合には、初回の測定動作において、撮像面における全画素を指定し、2回目以降の測定動作では、初回の測定動作における各画素の受光量を基に光照射面において受光中心位置の検出に必要な領域を指定するようにすればよい。このようにすることで、2回目以降の測定動作の処理時間を短縮化することができるという利点がある。
請求項5,9の発明>
例えば、測定対象物の傾き角(距離)が装置の測定許容範囲から外れた場合には、撮像手段に被測定物からの反射光が照射されなくなる。このようなイレギュラーな使用においては、正確な測定を行なうことができないから、管理者や使用者に対して何らかの方法により測定できないことを知らしめなければならない。
これに対して、上記発明では、測定不能とされた場合には、報知手段にて報知することができるから、確実な測定に寄与することができる。
<実施形態1>
本発明に係る光学測定装置の実施形態1を図1ないし図8を参照して説明する。本実施形態の構成は図1に示す通りであり、角度測定用レーザ光源11及び距離測定用レーザ光源21から出射された光をダイクロイックミラー31、ビームスプリッタ32及びコリメータレンズ33(「コリメータレンズ」及び「収束レンズ」に相当)を介してワークW(被測定対象物)に両者の光を照射し、正反射光をコリメータレンズ33、ビームスプリッタ32及びダイクロイックミラー34を介して例えば2次元CCDからなる角度測定用撮像素子12及び同じく2次元CCDからなる距離測定用撮像素子22(「受光素子群」、「2次元撮像素子」に相当)の撮像面に照射し、その照射位置に基づいてCPU4(「設定手段」に相当)によりワークWの傾き及び距離が算出されるようになっている。尚、ワークWの表面は鏡面であっても非鏡面であってもよい。
両レーザ光源11,21はそれぞれ波長の異なる光を照射するようになっており、例えば、角度測定用レーザ光源11は波長λ1のレーザ光を出射するものとされており、一方、距離測定用レーザ光源21は波長λ2のレーザ光を出射するものとされている。また、両レーザ光源11,21にはそれぞれレーザ駆動回路13,23が接続されており,CPU4からの制御信号Sa,Sbに基づいてそれぞれのレーザ光源11,21に駆動電流Ia,Ibを供給する(角度測定用レーザ光源11及びレーザ駆動回路13により角度測定用投光手段を構成し、距離測定用レーザ光源21及びレーザ駆動回路23により距離測定用投光手段を構成している)。なお、レーザ光源11,21は間欠的又は連続的に駆動することができる。
ダイクロイックミラー31は、波長λ1の光を透過させ、波長λ2の光を反射させるように構成されており、これによって、角度測定用レーザ光源11のレーザ光はこのダイクロイックミラー31を透過してビームスプリッタ32に向かうとともに、距離測定用レーザ光源21からの光はこのダイクロイックミラー31を反射してビームスプリッタ32に向かう。
また、角度測定用レーザ光源11からのレーザ光はダイクロイックミラー31の入射面に垂直に入射させており、距離測定用レーザ光源21からのレーザ光はダイクロイックミラー31の入射面に対して斜めに入射させるように構成している。これによって、角度測定用レーザ光源11の光線軸は光学系の光軸LC(L´C´)と平行とされるとともに、距離測定用レーザ光源21の光線軸は光学系の光軸LC(L´C´)に対して傾いた状態とされる。
ビームスプリッタ32を反射したレーザ光はコリメータレンズ33により平行光とされて、ワークWに照射される。このとき、角度測定用レーザ光源11からのレーザ光はワークWが傾きのない姿勢とされているときには、ワークWの表面に対して垂直に光が照射されているのに対して、距離測定用レーザ光源21からのレーザ光は光学系の光軸LC(L´C´)に対して傾いているので、ワークWの表面に対して斜めから光が照射されている。また、ワークWに照射されたレーザ光のスポット径はレーザ光源11のレーザ光よりもレーザ光源21のレーザ光のほうが小さくされており、かつ、レーザ光源21のレーザ光はレーザ光源11のレーザ光の照射範囲内に照射されるようになっている。
ワークWからの正反射光はそれぞれ、コリメータレンズ33により集光され、上記ダイクロイックミラー31と同様の特性を有するダイクロイックミラー34により、角度測定用レーザ光源11による正反射光(角度測定用正反射光)は角度測定用撮像素子12の撮像面に結像して集光スポットが形成される。また、距離測定用レーザ光源21による正反射光(距離測定用正反射光)はダイクロイックミラー34を反射して距離測定用撮像素子22の撮像面に照射される。この距離測定用撮像素子22の撮像面は正反射光の焦点位置Fよりも後方に配置されているため、撮像面上には所定の大きさの光像が形成される。ここで、距離測定用撮像素子22の撮像面を焦点位置Fに一致させなかったのは、ワークWの距離に応じて焦点位置Fに至るまでの光路が変化するので、その光像の位置からワークWの距離が算出できるからである。
角度測定用撮像素子12及び距離測定用撮像素子22は撮像面上に形成されている光像あるいは集光スポットに応じたディジタル信号列からなる撮像信号Sc,SdをCPU4に送信する。当該撮像信号は各画素における受光量を例えば0〜255までの数値に振り分け、この数値をディジタル信号としてCPU4に送信するようになっている。
尚、撮像面12A,21Aにおいて、図10における横方向をX軸、縦方向をY軸とする座標系を設定し、撮像面15Aの中央を原点Oと規定する。また、撮像面12A,21Aは複数の画素がマトリクス状に配されて矩形形状に構成されている。
CPU4は、前述したレーザ駆動回路13,23に制御信号Sa,Sbを送信するとともに、制御信号Saの送信に同期して角度測定用撮像素子12からの撮像信号Scを取り込み、制御信号Sbの送信に同期して距離測定用撮像素子22からの撮像信号Sdを取り込む。そして、撮像信号Sc,Sdに基づいてワークWの傾きとコリメータレンズ33からワークWまでの距離とを測定する。
本実施形態の構成は以上であり、続いてその動作について説明する。
「傾き検出」
本実施形態では周知のオートコリメーション法を用いて傾き測定を行なう構成とされており、ここでは、詳細な説明は割愛する。まず、角度測定用撮像素子12からの撮像信号Scから、最大の受光量を有する画素を集光スポットSの中心位置S0と決定し、撮像面における基準位置Ra(例えば、撮像面の中央位置)と中心位置S0との位置関係から傾きの方向と傾き角とを算出する。
「距離検出」
例えば、ワークWが図1中の(1)の位置(距離d1、傾き角0)にある場合には(詳しくは図2参照)、角度測定用撮像素子12の撮像面に形成される集光スポットの位置S1は基準位置Raと一致するから、傾き角は0°と測定される。 また、距離測定については、距離測定用撮像素子122の撮像面における光像L1の形成位置及び前記集光スポットの位置S1とに基づいて距離d1が測定される。
ワークWが図1中の(2)の位置(距離d2、傾き角0)にある場合には(詳しくは図3参照)、角度測定用撮像素子22の撮像面に形成される集光スポットの位置S2は基準位置Raと一致するから、傾き角は0°と測定される。
また、距離測定用撮像素子112の撮像面における光像L2の形成位置及び前記集光スポットの位置S2とに基づいて距離d2が測定される。
ワークWが図1中の(3)の位置(距離d2、傾き角θ1)にある場合には(詳しくは図4参照)、角度測定用撮像素子12の撮像面に形成される受光スポットの位置S3は基準位置Raから距離dだけ離れているから、これに基づいて、傾き角θ1が測定される。
また、距離測定用撮像素子122の撮像面に形成される光像L3は(2)の位置の場合の光像L2と異なる位置に形成される。しかしながら、光像L3の形成位置と前記集光スポットの位置S3とに基づいて距離を算出しているから、結局、距離はd2と測定される。
上記距離測定をさらに詳しく説明する。
図5のフローチャートに示すように、距離測定用撮像素子22からの撮像信号Sdに基づいて撮像素子22を構成する画素群のうち最大受光量とされている基準画素を検出し(ステップS10)、その最大受光量に対する任意の割合の値を閾値として設定して当該閾値を上回る受光量とされる画素を検出するとともに、検出された画素の受光量と閾値との差分値の和となる総合体積値を算出する(ステップS20)。その総合体積値が所定体積値と一致したときには(ステップS30で「Y」)、その総合体積値を算出する際に検出された画素群において重心に相当する画素を算出し、この重心に相当する画素を受光スポットの位置として特定し、上記の基準位置Raに相当する画素との位置関係に基づいて被測定対象物の距離を算出する(ステップS40)。
尚、「重心位置」には、いわゆる面積重心位置と体積重心位置とが含まれ、それぞれ次のように定義される。
<面積重心位置>
面積重心位置={Σ(MI)/ΣM}
I:撮像素子の受光面上における任意の領域内の各画素の位置ベクトル
M:上記各画素の受光量レベルが所定レベル以上であるときには例えば1、そうでないときには0
<体積重心位置>
体積重心位置={Σ(mI)/Σm}
I:上記面積重心位置の場合と同じ
m:上記各画素の受光量レベルに応じた係数
上記の距離算出方法についての根拠を以下に示す。
まず、図14に示したように、レンズ33の中心軸あるいはその近辺を通過した光とレンズ33の周縁領域を通過した光とでは、最大受光量とされた画素における受光量が相違している。それぞれの最大受光量における所定割合の値を閾値と定めた場合、両者間で測定精度が一致していないことは図13のグラフからして明白である。
尚、図6〜図8では、レンズ33の中心軸あるいはその近辺を通過した光によって形成された受光スポットのうち最大受光量とされた画素の受光量が「225」、レンズ33の周縁領域を通過した光によって形成された受光スポットのうち最大受光量とされた画素の受光量が「120」とされている。また、横軸の閾値は最大受光量とされた画素の受光量に対する割合(%)として示されている。
一方、図6に示すように、距離測定用撮像手段22を構成する画素群のうち最大受光量とされる基準画素を基準として、その最大受光量から所定割合の値を閾値として設定し、閾値を上回る受光量とされる画素を検出しつつ、検出された画素の受光量の和となる総合体積値を算出する。上記の閾値を変更しながら算出された総合体積値と閾値との関係を確認したところ、その関係は逆比例となっていることが発明者が行なった実験によって明らかにされた。
そして、上記図6及び図7から測定精度と総合体積値との関係が導かれ、これによると総合体積値が所定の体積値となるように閾値を設定することで、測定精度が略一定となることが確認された(図8参照)。
従って、上記方法で距離測定を行なうことで、測定精度のばらつきを無くすることができ、もって、測定精度の安定化を図ることができる。
また、2次元撮像素子12を用いた構成としたことにより、被測定対象物からの反射光が2次元状に移動する場合であっても確実に距離測定を行なうことができる。特に、上記光学測定装置のようにワークWの傾き及び距離測定を行なう場合には、反射光が2次元方向に移動することとなるから、最適な構成とされる。
また、上記構成において、両レーザ光源11,21から同一波長のレーザ光を出射する構成とすることもできる。この場合には、それぞれのレーザ光源11,21交互にパルス点灯させるようにCPU4から制御信号Sa,Sbをレーザ駆動回路13,23に供給し、ダイクロイックミラー31,34に代わって例えばビームスプリッタを配置するようにすればよい。また、CPU4は前述したようにレーザ駆動回路13,23に制御信号Sa,Sbを送信するとともに、制御信号Saの送信に同期して角度測定用撮像素子12からの撮像信号Scを取り込み、制御信号Sbの送信に同期して距離測定用撮像素子22からの撮像信号Sdを取り込む。そして、撮像信号Sc,Sdに基づいてワークWの傾き及びコリメータレンズ33からワークWまでの距離を測定する構成とする。このようにすると、例えばレーザ光は交互に出射されることとなり、光の干渉が抑制され、測定精度が向上するという効果が得られる。
本実施形態では、所定の閾値以上の受光量とされている画素Pを抽出し、その抽出された画素Pから集光スポットSの中心位置S0を検出するようにしている。このようにすれば全画素の受光量を参照することなく中心位置S0を検出することができるから、処理時間の短縮化を図ることができる。
<実施形態2>
本実施形態では、いわゆる総合面積値に基づいて距離測定を行なっているところが実施形態1と相違しており、その他の構成は同一とされている。
距離測定用撮像素子22からの撮像信号Sdによりこれを構成する画素群において最大受光量となる基準画素を検出し、その最大受光量に対する任意の割合の値を閾値として設定して当該閾値を上回る受光量とされる画素を検出するととともに、検出された受光素子数の合計値からなる総合面積値を算出する。そして、この総合面積値が所定面積値と一致したときには検出された画素群における重心位置を検出し、当該重心位置に相当する画素と基準位置に相当する画素との位置関係に基づいて被測定対象物Wの距離を測定している。
尚、「重心位置」は、実施形態1で説明したように、面積重心位置と体積重心位置とが含まれており、どちらを適用しもよい。
<実施形態3>
本発明の光学測定装置の実施形態について図9ないし図11を参照して説明する。尚、上記実施形態1と同一の部分には同一の符号を付して重複する説明を省略する。
本実施形態の光学測定装置は、図11に示すように撮像素子12,22とメモリ5との間にコンパレータ6(請求項に記載の「画素選択手段」に相当)が介在されており、さらに、CPU4からの駆動信号を受けて発光動作を行なう発光部7が設けられているところが実施形態1の構成と相違している。
コンパレータ6は撮像素子12(22)から出力される撮像信号Sc,Sdを受信し、この撮像信号Sc(Sd)のレベルと所定の閾値とを比較し、所定の閾値を上回る撮像信号Sc(Sd)をメモリ5に送信するように構成されている。
以下、本実施形態の測定動作は、まず撮像素子12(22)から出力された撮像信号Sc(Sd)がコンパレータ6にて所定の閾値と比較され、この閾値を上回る撮像信号Sc(Sd)がメモリ5に送信されてその受光量情報がこれに記憶される。
ここで、所定の閾値を上回る受光量を有する画素Pの数が所定の数n(n=1,2,3・・・・)に達していない場合には、CPU4から発光部7に対して駆動信号を送信して発光部を動作させることで、使用者や管理者等に測定不能の旨が報知される(CPU4、コンパレータ6及び発光部7で請求項に記載の「報知手段」が構成されている)。
尚、上記のような場合には、ワークWの傾き角が装置の測定許容範囲を越えているというようなことが考えられ、このようなイレギュラーな使用においては、正確な傾角測定を行なうことができない。しかし、発光部7の動作によってそれを報知することができるから確実な測定が約束される。
この後、領域指定処理、受光中心位置検出処理及び傾角算出処理を行なうこととなる。これらの処理は上記実施形態1ないし実施形態4のいずれかに記載した処理を適用することにより可能であるから、詳細な説明については省略する。
本実施形態では、所定の閾値以上のレベルとされる受光量情報をメモリ81に記憶し、このメモリ5に記憶されている受光量情報からワークWの傾角(距離)を測定するようにしている。これにより、中心位置S0の検出において不要な受光量情報が排除されて、処理時間の短縮化を図ることができる。また、本実施形態においては、図10に示すようにCPU4にコンパレータ6の機能を持たせるような構成であってもよい。
また、図11に示すような構成であってもよい。これは、撮像素子としてCMOSイメージセンサ112(122)を配し、その光照射面112A(122A)にワークWからの正反射光を照射させるようになっている。また、CPU4からはCMOSイメージセンサ112(122)へ駆動信号Se(Sf)及び制御信号Sg(Sh)が送信されるようになっている。
上記CMOSイメージセンサ112(122)はCPU4からの駆動信号Se(Sf)を受信することで、各画素の受光量に応じた撮像信号Sc(Sd)を出力する。一方、制御信号Sg(Sh)を受信したときには、この制御信号Sg(Sh)により指定された画素あるいは指定された領域内の画素に関する撮像信号Sc(Sd)を出力するようになっている。
CPU4は、CMOSイメージセンサ112(122)に駆動信号Se(Sf)及び制御信号Sg(Sh)を出力するようになっている。駆動信号Se(sf)はCMOSイメージセンサ112(122)から撮像信号Sc(Sd)を取り出す際に出力する信号である。また、制御信号Sg(Sh)は光照射面112A(122A)を構成する画素群において、所定の画素あるいは所定の領域内の画素を指定するための信号である。従って、制御信号Sg(Sh)にて光照射面112A(122A)における画素または領域を指定して、駆動信号Se(Sf)をCMOSイメージセンサ112(122)に送信すると、指定された画素あるいは指定された領域内の画素からの撮像信号Sc(Sd)のみがCMOSイメージセンサ112,122から出力されるのである。
測定動作においては、CMOSイメージセンサ112(122)の光照射面112A(122A)において、集光スポットSが形成されている領域を指定する制御信号Se(Sf)をCPU4からCOMSイメージセンサ112(122)へ送信する。
そうすると、CMOSイメージセンサ112(122)からは指定された領域内の画素の受光量に関する撮像信号Sc(Sd)がCPU4へ出力される。この後、上記実施形態1ないし実施形態4の処理を適用することによりワークWの傾角(距離)を測定することができる。
上記構成は、例えば、複数回にわたって傾角算出動作を行ない、それぞれの結果に基づいてワークWの傾角を算出する場合には、初回の傾角算出動作において、制御信号Se(Sf)により光照射面112A(122A)における全画素を指定し、2回目以降の傾角算出動作では、初回の傾角算出動作における撮像信号Sc(Sd)を基に光照射面112A(122A)において集光スポットSが含まれる領域を制御信号Sg(Sh)により指定するようにすればよい。このようにすることで、2回目以降の傾角算出動作の処理時間を短縮化することができるという利点がある。
<第4実施形態>
次に、本発明の実施形態を図12を参照して説明する。本実施形態と上記実施形態との相違は、角度測定用レーザ光源11とダイクロイックミラー31との間にコリメータレンズ14が配されているとともに、距離測定用レーザ光源21とダイクロイックミラー31との間にコリメータレンズ24が配されており、それぞれのレーザ光源11,21からの光が平行光に変えられてからダイクロイックミラー31に至るように構成されている。また、ダイクロイックミラー34とビームスプリッタ33との間に収束レンズ36が配されている。
このように構成することで、両レーザ光源11,21からのレーザ光をそれぞれのコリメータレンズ14,24により平行光に変えてからビームスプリッタ33に導く構成としているから、両レーザ光源11,21からビームスプリッタ33までの光学的距離の調整を行なう必要がなく装置内の光学系の組付け精度を緩やかにすることができるとともに、光学系の調整作業も簡略化することもできる。
<第7実施形態>
次に、本発明の実施形態を図13を参照して説明する。本実施形態と実施形態6との相違点は、ビームスプリッタ33に代わってS偏光を反射しP偏光を透過させる偏光ビームスプリッタ37を配し、さらに、この偏光ビームスプリッタ37とワークWとの間に1/4波長板38を設けたところにある。また、ワークWの表面は鏡面であることが望ましい。
一般にレーザ光は直線偏光とされているから、両レーザ光源11,21からのレーザ光を偏光ビームスプリッタ37に照射すると、S偏光が反射して1/4波長板37に向かうとともに、P偏光は透過する。S偏光は1/4波長板38を透過することで円偏光に変えられてワークWに照射される。ワークWからの正反射光は円偏光のまま1/4波長板38を透過する。このときに円偏光からP偏光に変えられ、これによって偏光ビームスプリッタ37を透過してそれぞれの撮像素子12,22に照射される。
本実施形態のような構成とすることで光学的な損失を低減することが可能となり、鏡面体検出におけるS/N比を向上させることができる。また、レーザ光源11,21から出射される光は直線偏光であるから、直線偏光を出射させるための構成を極めて簡略化することができる。
<他の実施形態>
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
(1)上記実施形態では、2次元CCDに受光スポットを形成させ、この受光スポットから距離測定を行なうように構成していたが、例えば、1次元CCDに受光スポットを形成させる事により距離測定を行なうような構成であってもよい。
(2)また、上記実施形態では、個別体積値の算出と並行して総合体積値の算出を行なう構成としていたが、双方を並行して処理する構成としても良い。
(3)上記実施形態では、ワークWに照射される光において、角度測定用レーザ光源11からの光によって形成される照射スポットが距離測定用レーザ光源21からの光によって形成される照射スポットを包囲するように構成していたが、距離測定用レーザ光源21からの光によって形成される照射スポットが角度測定用レーザ光源11からの光によって形成される照射スポットを包囲するように構成してもよい。また、両レーザ光源11,21からの光によって形成される照射スポットが互いに重なり合うような構成であってもよい。
実施形態1に係る光学測定装置の全体構成を示した模式図 ワークの位置と反射光の光路を示した概略図 ワークの位置と反射光の光路を示した概略図 ワークの位置と反射光の光路を示した概略図 距離測定の処理内容を示したフローチャート 閾値と測定精度の関係を示したグラフ 閾値と総合体積値との関係を示したグラフ 閾値、測定精度及び総合体積値の相互関係を示したグラフ 実施形態3に係る光学測定装置の全体構成を示した図 光学測定装置の構成を示した概念図 光学測定装置の構成を示した概念図 実施形態6に係る光学測定装置の全体構成を示した図 実施形態7に係る光学測定装置の全体構成を示した図 レンズの通過位置と受光スポットの光強度分布との関係を示した概念図
4...CPU
11...角度測定用レーザ光源
12...角度測定用撮像素子
13...レーザ駆動回路
21...距離測定用レーザ光源
22...距離測定用撮像素子
23...レーザ駆動回路
31...ダイクロイックミラー
32...ビームスプリッタ
33...コリメータレンズ
W...ワーク
LC...光学系の光軸

Claims (11)

  1. 距離測定用投光手段からの光を収束レンズにて収束し、この収束光を被測定対象物の表面に対して斜めから照射するとともに、当該被測定対象物からの正反射光を収束して距離測定用撮像手段の受光素子群に集光し、前記距離測定用撮像手段から出力される撮像信号に基づいて前記被測定対象物までの距離を測定する距離測定用光学系と、傾角測定用投光手段からの光をコリメータレンズにより平行光に変換し、この平行光を前記被測定対象物に照射するとともに、前記被測定対象物からの反射光を収束して傾角測定用撮像手段の撮像面に照射し、前記傾角測定用撮像手段から出力される撮像信号に基づき、前記撮像面上における前記反射光の集光スポットの中心位置と基準位置との位置関係から前記被測定対象物の傾きを測定する傾角測定用光学系とを有する光学測定装置において、
    前記撮像信号から前記受光素子群において最大受光量となる基準受光素子を検出し、当該最大受光量に対する任意の割合の値を閾値として設定して当該閾値を上回る受光素子の受光量と前記閾値との差分値の和である総合体積値を算出し、その総合体積値が所定体積値と一致したときには、検出された受光素子群における重心位置を検出し、当該重心位置に相当する受光素子と、前記傾角測定用撮像手段の撮像面に照射された前記反射光の中心位置に相当する受光素子との位置関係に基づいて前記被測定対象物の距離を測定する測定手段を備えることを特徴とする光学測定装置。
  2. 距離測定用投光手段からの光を収束レンズにて収束し、この収束光を被測定対象物の表面に対して斜めから照射するとともに、当該被測定対象物からの正反射光を収束して距離測定用撮像手段の受光素子群に集光し、前記距離測定用撮像手段から出力される撮像信号に基づいて前記被測定対象物までの距離を測定する距離測定用光学系と、傾角測定用投光手段からの光をコリメータレンズにより平行光に変換し、この平行光を前記被測定対象物に照射するとともに、前記被測定対象物からの反射光を収束して傾角測定用撮像手段の撮像面に照射し、前記傾角測定用撮像手段から出力される撮像信号に基づき、前記撮像面上における前記反射光の集光スポットの中心位置と基準位置との位置関係から前記被測定対象物の傾きを測定する傾角測定用光学系とを有する光学測定装置において、
    前記撮像信号から前記受光素子群において最大受光量となる基準受光素子を検出し、前記最大受光量に対する任意の割合の値を閾値として設定して当該閾値を上回る受光量の受光素子数の合計値である総合面積値を算出し、この総合面積値が所定面積値と一致したときには検出された受光素子群における重心位置を検出し、当該重心位置に相当する受光素子と、前記傾角測定用撮像手段の撮像面に照射された前記反射光の中心位置に相当する受光素子との位置関係に基づいて前記被測定対象物の距離を測定する測定手段を備えることを特徴とする光学測定装置。
  3. 前記距離測定用撮像手段は2次元撮像素子から構成されていることを特徴とする請求項1又は請求項2に記載の光学測定装置。
  4. 前記距離測定用撮像手段から出力される撮像信号を受信して各画素の受光量に関する情報を記憶する距離測定用記憶手段と、
    前記受光量に関する情報から所定の閾値よりも高い受光量とされる画素を検出する距離測定用画素検出手段とを備え、
    前記測定手段は前記距離測定用画素検出手段で検出された画素において、最大受光量とされる画素を前記基準受光素子として検出することを特徴とする請求項3に記載の光学測定装置。
  5. 前記画素検出手段において検出された画素を計数し、その数が所定数以下であることを条件に検出不能を報知する報知手段が備えられていることを特徴とする請求項4に記載の光学測定装置。
  6. 各画素の受光量に基づいて特定の画素を選択する距離測定用画素選択手段と、
    前記距離測定用画素選択手段により選択された画素の受光量に関する情報を記憶する距離測定用記憶手段とを備え、
    前記測定手段は前記距離測定用記憶手段に記憶された前記受光量に関する情報に基づき、最大受光量とされる画素を前記基準受光素子として検出することを特徴とする請求項3に記載の光学測定装置。
  7. 前記距離測定用画素選択手段は、
    前記距離測定用撮像手段から出力される撮像信号を基に各画素の受光量を所定の閾値と比較し、当該所定の閾値を上回る受光量とされる画素を選択することを特徴とする請求項に記載の光学測定装置。
  8. 前記距離測定用画素選択手段は、
    前記距離測定用撮像手段から出力される撮像信号を基に各画素の受光量を所定の閾値と比較し、当該所定の閾値を上回る受光量とされる画素を含むように領域を指定し、その領域内に含まれる画素の撮像信号を受信するように動作することを特徴とする請求項に記載の光学測定装置。
  9. 前記画素選択手段において検出された画素を計数し、その数が所定数以下であることを条件に検出不能を報知する報知手段が備えられていることを特徴とする請求項6ないし請求項8に記載の光学測定装置。
  10. 距離測定用投光手段からの光を収束レンズにて収束し、この収束光を被測定対象物の表面に対して斜めから照射するとともに、当該被測定対象物からの正反射光を収束して距離測定用撮像手段の受光素子群に集光し、前記距離測定用撮像手段から出力される撮像信号に基づいて前記被測定対象物までの距離を測定する距離測定用光学系と、傾角測定用投光手段からの光をコリメータレンズにより平行光に変換し、この平行光を前記被測定対象物に照射するとともに、前記被測定対象物からの反射光を収束して傾角測定用撮像手段の撮像面に照射し、前記傾角測定用撮像手段から出力される撮像信号に基づき、前記撮像面上における前記反射光の集光スポットの中心位置と基準位置との位置関係から前記被測定対象物の傾きを測定する傾角測定用光学系とを有する光学測定装置における距離測定方法であって、
    前記撮像信号から前記受光素子群において最大受光量となる基準受光素子を検出する処理と、
    前記最大受光量に対する任意の割合の値を閾値として設定して当該閾値を上回る受光素子の受光量と前記閾値との差分値の和である総合体積値を算出する処理と、
    その総合体積値が所定体積値と一致したときには、検出された受光素子群における重心位置を検出し、当該重心位置に相当する受光素子と、前記傾角測定用撮像手段の撮像面に照射された前記反射光の中心位置に相当する受光素子との位置関係に基づいて前記被測定対象物の距離を測定する処理とを含むことを特徴とする光学測定装置の距離測定方法。
  11. 距離測定用投光手段からの光を収束レンズにて収束し、この収束光を被測定対象物の表面に対して斜めから照射するとともに、当該被測定対象物からの正反射光を収束して距離測定用撮像手段の受光素子群に集光し、前記距離測定用撮像手段から出力される撮像信号に基づいて前記被測定対象物までの距離を測定する距離測定用光学系と、傾角測定用投光手段からの光をコリメータレンズにより平行光に変換し、この平行光を前記被測定対象物に照射するとともに、前記被測定対象物からの反射光を収束して傾角測定用撮像手段の撮像面に照射し、前記傾角測定用撮像手段から出力される撮像信号に基づき、前記撮像面上における前記反射光の集光スポットの中心位置と基準位置との位置関係から前記被測定対象物の傾きを測定する傾角測定用光学系とを有する光学測定装置における距離測定方法であって、
    前記撮像信号から前記受光素子群において最大受光量となる基準受光素子を検出する処理と、
    前記最大受光量に対する任意の割合の値を閾値として設定して当該閾値を上回る受光量の受光素子数の合計値である総合面積値を算出する処理と、
    その総合面積値が所定面積値と一致したときには検出された受光素子群における重心位置を検出し、当該重心位置に相当する受光素子と、前記傾角測定用撮像手段の撮像面に照射された前記反射光の中心位置に相当する受光素子との位置関係に基づいて前記被測定対象物の距離を測定する処理とを含むことを特徴とする光学測定装置における距離測定方法。
JP2004108221A 2003-12-25 2004-03-31 光学測定装置及びこれらの距離測定方法 Expired - Fee Related JP4589648B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004108221A JP4589648B2 (ja) 2003-12-25 2004-03-31 光学測定装置及びこれらの距離測定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003430551 2003-12-25
JP2004108221A JP4589648B2 (ja) 2003-12-25 2004-03-31 光学測定装置及びこれらの距離測定方法

Publications (2)

Publication Number Publication Date
JP2005208027A JP2005208027A (ja) 2005-08-04
JP4589648B2 true JP4589648B2 (ja) 2010-12-01

Family

ID=34914152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004108221A Expired - Fee Related JP4589648B2 (ja) 2003-12-25 2004-03-31 光学測定装置及びこれらの距離測定方法

Country Status (1)

Country Link
JP (1) JP4589648B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007064670A (ja) * 2005-08-29 2007-03-15 Tokyo Seimitsu Co Ltd 表面形状測定機
US8602449B2 (en) 2009-05-11 2013-12-10 Toyota Jidosha Kabushiki Kaisha Vehicle seat
KR102392787B1 (ko) * 2015-04-13 2022-05-02 삼성전자주식회사 전자 장치에서 온도를 측정하는 장치 및 방법
WO2016185581A1 (ja) * 2015-05-20 2016-11-24 オリンパス株式会社 標本形状測定方法及び標本形状測定装置
JPWO2017119118A1 (ja) * 2016-01-08 2018-11-01 オリンパス株式会社 標本形状測定方法及び標本形状測定装置
WO2018092248A1 (ja) * 2016-11-17 2018-05-24 オリンパス株式会社 標本形状測定装置
JPWO2018092247A1 (ja) 2016-11-17 2019-10-10 オリンパス株式会社 標本形状測定方法及び標本形状測定装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000234907A (ja) * 1999-02-12 2000-08-29 Ricoh Co Ltd 変位傾斜測定装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2787928B2 (ja) * 1992-01-13 1998-08-20 日産自動車株式会社 画像信号処理方法
JPH08240408A (ja) * 1995-03-02 1996-09-17 Omron Corp 変位センサ
JPH10332335A (ja) * 1997-04-03 1998-12-18 Keyence Corp 光学式変位計

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000234907A (ja) * 1999-02-12 2000-08-29 Ricoh Co Ltd 変位傾斜測定装置

Also Published As

Publication number Publication date
JP2005208027A (ja) 2005-08-04

Similar Documents

Publication Publication Date Title
US10764487B2 (en) Distance image acquisition apparatus and application thereof
US8314939B2 (en) Reference sphere detecting device, reference sphere position detecting device, and three-dimensional-coordinate measuring device
JP5829381B2 (ja) 正反射面の相対位置を測定する方法及び装置
US20110317146A1 (en) Optical distance detection system
JP2005351745A (ja) 測量機
JP2007147299A (ja) 変位測定装置及び変位測定方法
TWI411860B (zh) 聚焦定位判定方法
JP2006189389A (ja) 光学式厚さ測定方法および装置
JP2006244139A (ja) 光学情報読取装置
JP4589648B2 (ja) 光学測定装置及びこれらの距離測定方法
JP2017020873A (ja) 被計測物の形状を計測する計測装置
JP4500097B2 (ja) 光学測定装置及び光学測定装置における距離算出方法
US9562761B2 (en) Position measuring device
JP2008039750A (ja) 高さ測定装置
JP2005241607A (ja) 角度測定装置
JP2018151278A (ja) 計測装置
FI127908B (en) Method and apparatus for measuring surface height
JP2010085395A (ja) 光学式位置角度検出装置
JP2010014505A (ja) 三次元形状測定装置及び三次元形状測定方法
JP2005017257A (ja) 光学測定装置
KR102020038B1 (ko) 라이다 센서 모듈
JP2005291938A (ja) 受光中心検出方法、距離測定装置、角度測定装置及び光学測定装置
KR101487251B1 (ko) 옵티컬 트랙킹 시스템 및 이를 이용한 트랙킹 방법
JP4339166B2 (ja) 角度測定装置及びその傾き角度測定方法
JP2006292513A (ja) 屈折率分布型レンズの屈折率分布測定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070209

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070709

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070710

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090924

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100907

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees