JP4143759B2 - 光学式座標入力装置 - Google Patents

光学式座標入力装置 Download PDF

Info

Publication number
JP4143759B2
JP4143759B2 JP2002302404A JP2002302404A JP4143759B2 JP 4143759 B2 JP4143759 B2 JP 4143759B2 JP 2002302404 A JP2002302404 A JP 2002302404A JP 2002302404 A JP2002302404 A JP 2002302404A JP 4143759 B2 JP4143759 B2 JP 4143759B2
Authority
JP
Japan
Prior art keywords
light
optical
input device
coordinate input
position detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002302404A
Other languages
English (en)
Other versions
JP2004139288A (ja
JP2004139288A5 (ja
Inventor
康弘 福崎
正夫 熊岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiroku Inc
Original Assignee
Xiroku Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiroku Inc filed Critical Xiroku Inc
Priority to JP2002302404A priority Critical patent/JP4143759B2/ja
Publication of JP2004139288A publication Critical patent/JP2004139288A/ja
Publication of JP2004139288A5 publication Critical patent/JP2004139288A5/ja
Application granted granted Critical
Publication of JP4143759B2 publication Critical patent/JP4143759B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明が属する技術分野】
光学式の2次元座標入力装置に関し、特に外来光の影響を低減した光学式の2次元座標入力装置に関するものである。
【0002】
【従来の技術】
光を使って指示体の位置を検出する方式については、公開特許公報「特開2001−290602」に公開されているものなどがある。その一例を図4に示す。この方式は、位置検出平面上の指示体から発せられる光、あるいは、指示体によって作られる影の入射角度を、位置検出平面の周囲の少なくとも2点から、リニアイメージセンサーを用いて計測し、三角測量の原理によって指示体の位置を算出するものである。その受光系(光検出部)は、位置検出平面に平行で薄く広がった視野角をもっているが、視野の内側に、観測対象でない光(外乱光)が入ってくると、誤認識を生じるため、外乱光を防ぐための遮光枠が設けられている(再帰反射枠をもつタイプでは、再帰反射枠が遮光枠も兼ねる)。
【0003】
【発明が解決しようとする課題】
ところが、この方式においては、視野角がリニアイメージセンサーの受光素子の縦横比によって決定されてしまうため、太いリニアイメージセンサーを用いると、視野角が厚くなり、それに付随して遮光枠や再帰反射枠の高さが高くなってしまうことになる。そして、必要な枠の高さが高いと、デザイン的な制約となって、商品価値を大きく損なってしまうという問題があった。
【0004】
座標検出範囲をできるだけ広くとるため、位置検出平面に平行な方向の画角は、通常ほぼ90°である。したがって、図5に示すように、リニアイメージセンサーの受光素子全体の幅をw、物体までの距離をL、結像レンズの焦点距離をf、倍率をMとして、
f ≒ w/2
M ≒ f/L ≒ w/2L
の関係がある。これより、枠の高さを決定するところの、Lの距離における視野の厚みhは、リニアイメージセンサーの受光素子の高さをdとして、
h ≒ d/M ≒ Ld/f ≒ 2Ld/w
と計算される。遮光枠や再帰反射枠はこのh以上の高さが必要となる。
【0005】
これは、視野の厚みがリニアイメージセンサーの受光素子の縦横比によって決定され、受光部の太いリニアイメージセンサーを使用すると、視野の厚みが厚くなり、枠の高さも高くなってしまうことを意味している。
【0006】
一例として、15インチフラットディスプレイ用タッチパネルを想定して、物体距離L=400mm、リニアイメージセンサーの受光素子の高さd=100μm、幅w=8mmとすると、f≒4mm、M≒1/100、h≒10mmとなる。
【0007】
さらに、この結像レンズは水平画角が大きいために、画角全体にわたって収差をなくすことは困難であり、特に視野の周辺部で像がぼけることになるので、その影響も考慮すると、hの評価式は次のようになる:
h ≒ (d+ε)/M ≒ 2L(d+ε)/w
ここで、εは収差によって生じるスポットの最大直径である。
【0008】
εの大きさは、絞りを絞れば小さくなるが、そうすると光検出系の感度が悪くなって強い光源が必要になることや、波動光学的な限界があるため、むやみには小さくできない。また、dがεに比べて小さいと、入射光の多くの部分がセンサー外に出てしまって、感度が悪くなる。細いセンサーを使えばいいと単純には言えない理由がここにある。
【0009】
ちなみに、前述の構成で絞りをF=4(絞りの直径≒1mm)とした場合、ε≒100μm程度になり、上式に代入するとh≒20mmとなる。このことが意味するのは、例え受光部の薄いリニアイメージセンサーを使って、上の式で言うdを小さくしたとしても、εが小さくできないので、結局受光部の太いイメージセンサーを使ったのと同じ結果になってしまい、枠の高さを低くすることができないということになる。
【0010】
また、細いセンサーと小さな絞りを使ったとしても別に残る問題として、センサーの取付精度の問題がある。
【0011】
仮にセンサー位置がδずれたとすると、そのずれは物体側においては、1/Mの比率で拡大されてδ/Mとなる。1/M≒2L/wであるから、wが小さくなる、すなわちセンサーを小型にするほど、ずれの拡大率が大きくなる。前述の例では、1/M≒100なので、取り付け位置が0.1mmずれただけで、物体側では10mmのずれとなる。ずれの拡大率が大きくなるということは、センサーの部品精度や取付精度に対する要求が強まるということを意味し、製造コスト増につながる。Mの式にはセンサーの太さdは入ってこないので、この問題は細いセンサーを使ったとしても解決しない。
【0012】
【課題を解決するための手段】
そこで、結合光学系をアナモフィックにすることにより、この問題を解決する。より具体的には、位置検出平面に垂直な方向の結像を行う光学面を、位置検出平面に平行な方向の結像を行う光学面よりも物体側に設け、位置検出平面に垂直な方向についての焦点距離を大きくすることにより、遮光枠や再帰反射枠の高さを低くすることができる。同時にそれは位置検出平面に垂直な方向についての倍率を大きくすることになり、センサの製造と取り付けに要求される精度も低く抑えることができるようになる。
【0013】
位置検出平面に垂直な方向の視野の厚みを概算すると、図6に示すように、位置検出平面に垂直な方向についての焦点距離をfv(fv>f)、倍率をMvとして、
Mv ≒ fv/L > f/L ≒ M
hnew ≒ d/Mv ≒ Ld/fv < Ld/f ≒ h
となる。
例えば、fv=8mmとし、その他のパラメータは前と同じとすると、視野の厚みhnew≒5mm<h、Mv≒1/50>Mとなり、高さの低い枠を実現でき、また、センサーの取付精度も半分となる。
【0014】
【発明の実施の形態】
以下に、本発明の実施形態を図面を参照しつつ説明する。
【0015】
【実施例】
図1に最初の実施例の構成図を示す。これは位置指示器7が光を発する場合の構成例である。位置指示器7から出た光が、位置検出平面に垂直な方向の結像を行うシリンダーレンズ3から、受光絞り5を通って、位置検出平面に水平な方向の結像を行うシリンダーレンズ4を介して、リニアイメージセンサー6の受光素子群の上に像を結ぶが如く、それらが配置されている。位置指示器7からの光以外の周囲からの妨害光を除くために遮蔽枠8が設けてある。また、組立調整などのために、光学系の素子を1つにまとめたのが、受光ユニット2である。
【0016】
なお、リニアイメージセンサー6の中で、位置指示器7からの光の入射した角度に対応する受光素子が反応するので、その角度を電子的に知ることができる。左右2つの受光ユニット2からの角度情報により、図示しない演算処理ユニットにおいて、三角測量の原理を用いて、位置指示器7の指示位置を算出することができる。算出された位置情報は、更に上位の情報処理装置によって、例えば、インタラクティブな処理を行う高度な情報処理システムを構成することができる。
【0017】
図2に別の実施例の構成図を示す。これは、指示体10が光を遮る方式の場合の構成例である。発光部9は光学ユニット2の中にあって、光を発し、再帰反射枠11で反射して、光学ユニット2に戻ってくる。戻ってきた光は、位置検出平面に垂直な方向の結像を行うシリンダーレンズ3から、受光絞り5を通って、位置検出平面に水平な方向の結像を行うシリンダーレンズ4を介して、リニアイメージセンサー6の受光素子群の上に像を結ぶ。この時に、指示体10によって、光を遮られた角度からのみ、光が入らなくなるので、リニアイメージセンサー6の中で、その角度に対応する受光素子のみが反応しないので、その角度を電子的に知ることができる。この指示体10は光を遮断できる物であれば何でもとく、操作者の指であってもよい。
【0018】
なお、再帰反射とは、光が入射した方向へ、光を反射する性質のことである。再帰反射部材は自動車の後部や、道路標識などに取り付けられ、ヘッドライトの光を運転者側に効率よく返す事によって視認性を高めるという用途に広く用いられている。小さな光学ボールを塗布したテープ状のものや、柔軟な光学プラスティック素材で微細なコーナーキューブを多数形成してテープ状にしたものなどを、簡単に入手することができる。
【0019】
図3は、図1の受光系の光路の詳細を示す図である。位置検出平面に垂直な方向の結像を行うシリンダーレンズ3と、位置検出平面に平行な方向の結像を行うシリンダーレンズ4を有している。位置指示器から出た光は、まず最初のシリンダーレンズによって位置検出平面に垂直な方向に集光され、次に位置検出平面に平行な方向について、2番目のシリンダーレンズによって集光されてリニアイメージセンサーの受光素子上に結像される。広い画角に対してよりよい結像性能を得るため、特に2番目のシリンダーレンズに非球面のシリンダーレンズを用いてもよい。
【0020】
なお、図1は指示体が自ら発光するタイプを示し、図2は、光入射角度検出ユニットの近傍の投光部から光を発して、位置検出平面の周囲の再帰反射枠で反射して返ってくる光を指示体が遮る影の位置を計測することによって、指示体の位置を求めるタイプの位置検出装置を示しているが、本発明が主眼とする受光光学系の観点からは、どちらも同等である。
【0021】
図4、図5、図6はすでに言及した図である。図4が、従来の構成例を示している。受光レンズ12は、通常の回転対称のレンズである。受光レンズ部分の構成以外は、図2に等しい。図5は、図4の光学系の光路の詳細を示す図である。図6は、本発明の光学系の光路について説明するための図である。
【0022】
図7に更に別の実施例の構成図を、図8にその光学ユニットの光路図を示す。この実施例では、位置検出平面に垂直な方向の結像をシリンダーミラー13で行う。
【0023】
位置指示器から出た光は、まずシリンダーミラー13によって位置検出平面に垂直な方向に集光される。特に、断面が位置検出面に平行な軸を持つ放物線であるようなシリンダーミラーを用いれば、軸に平行な光線を焦点に集めるという放物面の性質によって、位置検出平面に平行な入射光線を、放物線の焦点を通る直線上に集めることができる。この直線上にリニアイメージセンサーの受光素子が来るようにすることで、位置検出平面に垂直な方向に関して無収差にできる。ただし、それが厳密に成り立つのは、後ろ側にあるシリンダーレンズを無視した場合であって、実際は、後に通過するシリンダーレンズによって光路が曲げられるため、無収差にはならないが、fに対してfvがずっと大きければ、その影響は相対的に小さくなる。したがって、このような構成は、より大型の装置に向いているといえる。
【0024】
位置検出平面に平行な方向については、最初の実施例と同様である。なお、ここでは理論的なわかりやすさから放物線シリンダーミラーを用いたが、製造コストその他の条件により、断面が円あるいは楕円のシリンダーミラーを用いることももちろん可能である。また、光路を折り曲げる角度が90°以外の角度であってももちろん構わない。また、このミラーを内面鏡とすることもできる。
【0025】
三角測量方式に固有の問題として、2つの基準点を結ぶ直線上の位置の測定精度が悪くなるという現象がある。それに対して、この実施例のように、光路を折り返すことにより、三角測量の基準となる点を位置検出面から遠い位置に設けることができるので、位置検出面周囲の無効領域(位置検出ができない領域)を少なくするという効果も期待できる。
【0026】
なお、図は示していないが、位置検出平面に水平な方向に集光させる光学面を反射面とする構成も考えられる。更にふたつの光学面共に反射面で構成することも可能であることは言うまでもない。また、更には、ふたつの光学面をレンズや反射面ではなく、スリットで構成することも可能である。
【0027】
また、ふたつの光学面がそれぞれ複数のレンズやミラーで構成されていてもよい。また、シリンダーレンズやシリンダーミラーのような、完全に1方向のみにしか集光作用のない光学面は有していないとしても、それぞれの光学面の持つ主要な光学特性が本発明で言うが如き配置になっていれば、本発明の範疇に入ることは言うまでもない。
【0028】
【発明の効果】
以上説明したように本発明により、既存の安価なリニアイメージセンサーを使用しながら、遮光枠や再帰反射枠の高さを低くした位置検出装置を提供することができ、センサーの製造と取り付けに要求される精度も低く抑えることができるようになった。
【図面の簡単な説明】
【図1】本発明の最初の実施例の構成を示す図である。
【図2】本発明の別の実施例の構成を示す図である。
【図3】本発明の最初の実施例の光入射角度検出ユニットの構成を示す図である。
【図4】従来例を示す図である。
【図5】従来例の光入射角度検出ユニットの光路を示す図である。
【図6】本発明の最初の実施例の光入射角度検出ユニットの光路を示す図である。
【図7】本発明の別の実施例の構成を示す図である。
【図8】本発明の別の実施例の光入射角度検出ユニットの構成を示す図である。
【図9】本発明の別の実施例のミラー部分の光路特性を説明する図である。
【符号の説明】
1 位置検出平面
2 光入射角度検出ユニット
3 受光シリンダーレンズ(垂直集光用)
4 受光シリンダーレンズ(水平集光用)
5 受光絞り
6 リニアイメージセンサー
7 位置指示器
8 遮蔽枠
9 発光部
10 指示体
11 再帰反射枠
12 受光レンズ
13 受光シリンダーミラー

Claims (7)

  1. 光を用いて、位置指示器の指示位置を2次元平面内で検出して、上位の情報処理装置に伝える光学式座標入力装置であって、
    前記光学式座標入力装置は、光を自ら発光するか、または光を反射する発光部を持つ位置指示器と、2次元の位置検出のための位置検出平面と、位置検出平面の近傍に設けられた少なくとも2つの光入射角度検出ユニットと、前記光入射角度検出ユニットで検出された光入射角度情報によって、指示体の位置を三角測量の原理で算出するようになした演算処理ユニットとからなり、
    前記光入射角度検出ユニットは、光学レンズ系と、複数の受光素子がアレイ状に配置されたイメージセンサーにより構成されており、
    前記光学レンズ系は、光軸に対して垂直な方向と水平な方向の結像倍率が異なるアナモフィック光学系であって、前記位置検出平面に垂直な方向に集光能力をもつ光学面と、前記位置検出平面に平行な方向に集光能力を持つ光学面の少なくとも2つの光学面を有し、
    前記位置検出平面に垂直な方向に集光能力を持つ光学面が、前記イメージセンサーから見て、前記位置検出面に平行な方向に集光能力を持つ光学面よりも遠くに配置されることにより、前記イメージセンサーが妨害光からの影響を防止できることを特徴とする光学式座標入力装置。
  2. 請求項1に記載の光学式座標入力装置であって、
    位置検出平面の周囲に周囲からの妨害光を防止するための周囲枠を設け、前記光入射角検出ユニットの光学レンズ系をとおして、前記イメージセンサーに周囲からの妨害光が当たらないようになしたことを特徴とする光学式座標入力装置。
  3. 請求項1または2に記載の光学式座標入力装置であって、
    前記少なくとも2つのうちの1つの光学面は、反射光学面であることを特徴とする光学式座標入力装置。
  4. 請求項3に記載の光学式座標入力装置であって、
    前記反射光学面とは、凹面シリンダーミラーであることを特徴とする光学式座標入力装置。
  5. 光を用いて、指示体の指示位置を2次元平面内で検出して、上位の情報処理装置に伝える光学式座標入力装置であって、
    前記光学式座標入力装置は、2次元の位置検出のための位置検出平面と、位置検出平面の近傍に設けられた少なくとも2つの光入射角度検出ユニットと、それぞれの前記光入射角度検出ユニットの近傍に設けられた光投射ユニットと、前記光投射ユニットと位置検出平面を挟んで対向して設けられた光再帰反射枠と、前記光投射ユニットから投射された光が、光再帰反射枠にあたって、再帰反射により、それぞれの光投射ユニットの近傍の光入射角度検出ユニットに帰ってくるように構成され、操作者の指などの指示体により、その光の一部が遮断された際にその影の入射方向を検出することによって、前記指示体の位置を三角測量の原理で算出するようになした演算処理ユニットとからなり、
    前記光入射角度検出ユニットは、光学レンズ系と、複数の受光素子がアレイ状に配置されたイメージセンサーにより構成されており、
    前記光学レンズ系は、光軸に対して垂直な方向と水平な方向の結像倍率が異なるアナモフィック光学系であって、前記位置検出平面に垂直な方向に集光能力をもつ光学面と、前記位置検出平面に平行な方向に集光能力を持つ光学面の少なくとも2つの光学面を有し、
    前記前記位置検出平面に垂直な方向に集光能力をもつ光学面が、前記イメージセンサーから見て、前記前記位置検出平面に平行な方向に集光能力を持つ光学面より、遠くに配置されることにより、前記イメージセンサーが妨害光からの影響を防止できることを特徴とする光学式座標入力装置。
  6. 請求項に記載の光学式座標入力装置であって、
    前記少なくとも2つのうちの1つの光学面は、反射光学面であることを特徴とする光学式座標入力装置。
  7. 請求項に記載の光学式座標入力装置であって、
    前記反射光学面とは、凹面シリンダーミラーであることを特徴とする光学式座標入力装置。
JP2002302404A 2002-10-17 2002-10-17 光学式座標入力装置 Expired - Fee Related JP4143759B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002302404A JP4143759B2 (ja) 2002-10-17 2002-10-17 光学式座標入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002302404A JP4143759B2 (ja) 2002-10-17 2002-10-17 光学式座標入力装置

Publications (3)

Publication Number Publication Date
JP2004139288A JP2004139288A (ja) 2004-05-13
JP2004139288A5 JP2004139288A5 (ja) 2006-02-16
JP4143759B2 true JP4143759B2 (ja) 2008-09-03

Family

ID=32450471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002302404A Expired - Fee Related JP4143759B2 (ja) 2002-10-17 2002-10-17 光学式座標入力装置

Country Status (1)

Country Link
JP (1) JP4143759B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9140540B2 (en) 2012-12-07 2015-09-22 Ricoh Company, Ltd. Coordinate detector and electronic information board system
US9292135B2 (en) 2013-07-08 2016-03-22 Ricoh Company, Ltd. Coordinate detecting device and electronic information board system
WO2024173973A1 (de) * 2023-02-23 2024-08-29 Wilfried Lutz Abbildende optik

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4570145B2 (ja) * 2004-12-07 2010-10-27 株式会社シロク 位置検出平面外に撮像部を有する光学式位置検出装置
KR100843704B1 (ko) * 2006-10-25 2008-07-04 탑 에이앤씨테크 주식회사 이동통신단말기용 액정표시모듈의 필름부착장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9140540B2 (en) 2012-12-07 2015-09-22 Ricoh Company, Ltd. Coordinate detector and electronic information board system
US9292135B2 (en) 2013-07-08 2016-03-22 Ricoh Company, Ltd. Coordinate detecting device and electronic information board system
WO2024173973A1 (de) * 2023-02-23 2024-08-29 Wilfried Lutz Abbildende optik

Also Published As

Publication number Publication date
JP2004139288A (ja) 2004-05-13

Similar Documents

Publication Publication Date Title
JP4043128B2 (ja) 光走査型タッチパネル
US6862097B2 (en) Three-dimensional shape measuring method, and three-dimensional shape measuring apparatus
US20030066954A1 (en) Optoelectronic detection device
JP2014006110A (ja) レーザレーダ
US10652475B2 (en) Structured light 3D sensors with variable focal length lenses and illuminators
US20090032689A1 (en) Optical sensor device
CN104071084B (zh) 用于车辆的摄像机和具有该摄像机的车辆
US20200137306A1 (en) Passive and active stereo vision 3d sensors with variable focal length lenses
WO2008145972A1 (en) Electro-optical sensors
US20080059069A1 (en) System and method for detecting an object in the path of a vehicle
US11454706B2 (en) Optical emission device for laser pulses with selective optical system
JP2007060158A (ja) 撮像モジュール
JPH11257917A (ja) 反射型光式センサ
US5589930A (en) Optical radar apparatus
US20200026161A1 (en) Optical system, image capturing apparatus, distance measuring apparatus, and vehicle-mounted system
JPH07270602A (ja) 受光用レンズ,受光装置,これらを用いた光電センサおよびレーザ・レーダ,ならびにレーザ・レーダを搭載した車両
JP2005017382A (ja) 測距センサおよびこれを備えた電子機器
JP4143759B2 (ja) 光学式座標入力装置
JP2007514942A (ja) 遠方・近接物体との距離測定装置
US20070035954A1 (en) Device for detecting the dirt accumulation on a transparent covering pane in front of a optical unit
JP4127579B2 (ja) 光波距離計
US20060176581A1 (en) Light apparatus of an optical mouse with an aperture stop and the light projection method thereof
JP2021117224A (ja) レーザー探知機
US20090213390A1 (en) Displacement detecting device and optical instrument having the same
US20180160101A1 (en) Variable focal length lenses and illuminators on time of flight 3d sensing systems

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050720

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050720

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050720

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080520

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080522

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees