JP2852646B2 - トラッキングシステム - Google Patents

トラッキングシステム

Info

Publication number
JP2852646B2
JP2852646B2 JP31020296A JP31020296A JP2852646B2 JP 2852646 B2 JP2852646 B2 JP 2852646B2 JP 31020296 A JP31020296 A JP 31020296A JP 31020296 A JP31020296 A JP 31020296A JP 2852646 B2 JP2852646 B2 JP 2852646B2
Authority
JP
Japan
Prior art keywords
work
transport
workpiece
attached
tracking system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31020296A
Other languages
English (en)
Other versions
JPH10139147A (ja
Inventor
基仁 天蔵
和紀 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Seiki KK
Original Assignee
Seiko Seiki KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Seiki KK filed Critical Seiko Seiki KK
Priority to JP31020296A priority Critical patent/JP2852646B2/ja
Publication of JPH10139147A publication Critical patent/JPH10139147A/ja
Application granted granted Critical
Publication of JP2852646B2 publication Critical patent/JP2852646B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、コンベヤ上を搬送
中のワークを撮像装置で撮影し、この撮影により得られ
た画像を利用してコンベヤ上のワークをロボットが把持
し、所定位置まで搬送して位置決めさせるトラッキング
システムに関する。
【0002】
【従来の技術】従来のトラッキングシステムは、ワーク
を搬送するコンベヤと、このコンベヤの上方に配置さ
れ、コンベヤで搬送中のワークを撮影する撮像装置と、
この撮像装置で撮影した画像からワークを認識する画像
処理装置と、このワークの画像認識結果に基づき、コン
ベヤの下流側でワークを把持(ピックアップ)し、所定
位置へ整列させるロボットなどから構成されている。こ
のような構成からなるトラッキングシステムでは、コン
ベヤの上流側に前工程からのワークがランダムに落下さ
れ、ワークがコンベヤにより撮像装置の真下まで搬送さ
れてくると、撮像装置がワークを撮影し、この撮影によ
り得られた画像が画像処理装置に取り込まれる。画像処
理装置は、コンベヤの下流側でワークをピックアップす
るために、ワークの位置とその形状などを撮影画像から
認識する。ワークは、撮像装置の撮影位置から下流側に
把持位置まで移動すると、コンベヤの上方で待機するロ
ボットのハンドがワークを把持し、所定の位置まで搬送
して位置決めさせる。
【0003】
【発明が解決しようとする課題】ところで、トラッキン
グシステムで処理の対象となるワークは、その大きさや
形状が様々である。しかし、従来は、ワークを搬送する
手段としてベルトコンベヤが使用されていたので、例え
ばワークが丸形の小容器のような場合には、搬送中にベ
ルトコンベヤ上を転がってしまうという不都合があっ
た。このため、撮像装置で撮影後のワークが、把持位置
まで搬送する間に転がってしまうと、ワークの撮影位置
を基準に求められるワークの把持位置(ピックアップ位
置)でロボットがワークを把持しようとしても、ワーク
が把持する位置に未到達であったり、行き過ぎたりして
しまい、ロボットがワークを的確に把持できないという
不都合がある。
【0004】そこで、本発明は、コンベヤで搬送中のワ
ークが、画像の読み取り位置から把持される位置まで搬
送される期間中は動かないようにしたトラッキングシス
テムを提供することを目的とする。
【0005】
【課題を解決するための手段】かかる目的を達成するた
めに、本発明は、ワークを搬送する搬送手段(搬送装置
1)と、この搬送手段の上方に配置され、搬送手段で搬
送中のワークを撮影してワークに応じた画像を得る撮像
手段(撮像装置3)と、この撮像手段で得られた画像に
基づいてワークを認識する認識手段(画像処理装置)
と、この認識手段によるワークの認識結果に基づき、搬
送手段の下流側でワークを把持し、所定位置まで搬送し
て位置決めさせるロボット6とを備え、搬送手段は、ワ
ークを搬送する無端の搬送体と、この搬送体を回転させ
る駆動機構(コンベヤモータ23等)とからなり、搬送
体の表面には、粘着性物質を取り付けている。上記の搬
送体は、ワークの搬送方向に向けて平行に配置させ、か
つ回転自在な左右一組のチェーン13、14と、この左
右一組のチェーン13、14の長さ方向に連続的に取り
付け、ワークを載置して搬送するアクリル板などからな
る複数の搬送板12とからなり、各搬送板12は表面に
粘着シート26を取り付けている。従って、本発明で
は、ワークは粘着性物質に粘着され、粘着された状態で
搬送されるので、ワークの姿勢が不安定で転がり易いよ
うな場合であっても、ワークは、撮像装置3の撮影位置
からロボット6の把持位置まで搬送される間に位置ずれ
を起こすことがない。このため、ロボット6は、ワーク
が把持位置に到来したときに、その把持位置で確実にワ
ークを把持できる。
【0006】また、本発明では、各搬送板12と粘着性
シート26とは、いずれも透明とし、搬送板12の裏面
側であって、撮像装置3と対向する位置に、ワークを下
側から照明する照明装置38を配置するようにした。こ
のため、ワークが上側の照明により乱反射を起こすよう
な場合や、外乱の影響がある場合であっても、下側の照
明装置38によりワークの影が得られるので、撮像装置
3ではワークの輪郭が鮮明な安定した画像が得られ、そ
の画像中から画像処理装置がワークの形状などを認識し
易くなる。さらに、本発明では、複数の各搬送板12の
左右を、左右一組のチェーン13、14に対して磁気的
に取り付けるようにしたので、搬送板12の表面に貼り
付けてある粘着性シート26が汚れたような場合には、
搬送板12を取り外して粘着性シート26の部分を洗浄
すれば、汚れが落ちるとともに粘着性を復活できるよう
な利点がある
【0007】
【発明の実施の形態】以下、本発明のトラッキングシス
テムの好適な実施の形態について、図1ないし図7を参
照して詳細に説明する。図1は、この実施の形態のトラ
ッキングシステムの全体の構成を示す正面図、図2は、
同システムの平面図、図3は、同システムの右側面図で
ある。このトラッキングシステムは、図1から図3に示
すように、ワークを搬送する搬送装置1と、この搬送装
置1で搬送中のワークを上方から撮影してワークに応じ
た画像を得る撮像装置3と、この撮像装置3で得られた
画像に基づきワークの位置、形状、重心などを認識する
画像処理装置(図示せず)と、搬送装置1の下流側に配
置され、画像処理装置で認識されたワークの位置や形状
に基づいて、ワークをその下流側の把持位置で把持(吸
着や掴むこと)し、所定の位置まで搬送して整列などを
行うロボット6を備えている。
【0008】ここで、このトラッキングシステムの処理
対象となるワークは、特にその形状などは問わないが、
例えば、丸形の各種の大きさの容器のように姿勢が不安
定で容易に転がり易いものが好適である。
【0009】搬送装置1は、図1〜図4に示すように、
設置台7およびこの設置台7に一体に接続される補助部
8の上に設置されている。この搬送装置1は、図4に示
すように、スラットコンベヤからなり、ワークaを載置
して搬送する多数の搬送板12を備えている。そして、
この各搬送板12は、ワークを搬送する無端の搬送体を
形成するために、各搬送板12の左右端が、左右一組の
チェーン13、14に取り付けられている。従って、各
搬送板12は、チェーン13、14への取り付け後は、
搬送方向に連続的に配列される。各搬送板12は、図4
に抜き出して示すように、その表面に粘着性物質である
粘着性シート26が取り付けられており、その詳細な構
成は後述する。
【0010】左右一組のチェーン13、14は、ワーク
aの搬送方向に向けて平行かつ回転自在に配置されてい
る。すなわち、チェーン13は、駆動軸24の一端に取
付けた駆動用スプロケット15と、従動軸の一端に取付
けた従動用スプロケット16と、スプロケット17、1
8(図4では省略)とに掛け渡されている。同様に、チ
ェーン14は、駆動軸24の他端に取付けた駆動用スプ
ロケット19と、従動軸の他端に取付けた従動用スプロ
ケット20と、スプロケット21、22とに掛け渡され
ている。
【0011】駆動軸24は、駆動源であるコンベヤモー
タ23の回転軸とベルトなどを介して連結されている。
従って、コンベヤモータ23が回転すると、その回転力
が駆動軸24に伝達されて一対のチェーン13、14が
回転し、これによりチェーン13、14に一体に取り付
けられている多数の搬送板12が回転し、この搬送板1
2上をワークが搬送されるように構成されている。ま
た、駆動軸24の一端には、駆動軸24の回転数を検出
するためのエンコーダ25が配置されている。
【0012】撮像装置3は、例えば500画素×500
画素からなるCCDカメラなどからなり、図示のよう
に、搬送装置1の搬送路の長手方向のほぼ中央の上方
に、配置されている。すなわち、搬送装置1の搬送路の
ほぼ中央に、搬送路の両側に沿って2本ずつ合計4本の
支柱31〜34が上下方向に設けられ、これらの支柱3
1〜34により支持される天井板35の下面中央に、撮
像装置3が取り付けられている。
【0013】また、支柱31〜34の下部側には、搬送
装置1の搬送板12上のワークを上側から照明する照明
装置36が設けられている。この上側の照明装置36
は、4本の蛍光灯37からなり、各蛍光灯37は、支柱
31〜34の同じ高さ位置に、撮像装置3のワークの撮
像が妨害されないように、全体が方形状の環を形成する
ように取り付けられている。さらに、撮像装置3と対向
する位置であって、搬送板12の裏面側には、ワークを
下側から照明する下側の照明装置38が配置されてい
る。この下側の照明装置38は、4本の蛍光灯(図示せ
ず)が、箱39内に互いに平行にして配列され、その箱
39の上側開口部が乳白色の平板で覆われて、搬送板1
2の裏面側を均一に照明できるように構成されている。
なお、搬送板12は、透明のアクリル板などからなり、
その詳細については後述する。
【0014】ロボット6は、ワークを個別に把持する2
つのハンド61を有し、この2つのハンドを同時に3次
元的に移動できるように構成されている。なお、図3で
は、ハンド61などは省略されている。このロボット6
は、図1〜図3に示すように、ハンド61が、上下方向
(Z軸方向)に移動する回転軸63の下端に取り付けら
れている。回転軸63は、左右方向(X軸方向)に移動
自在なX方向移動部64に回動自在に設けられ、X方向
移動部64は、前後方向(Y軸方向)に移動自在なY方
向移動部65に搭載されている。
【0015】次に、搬送板12の構成について、図5お
よび図6を参照して説明する。この搬送板12は、例え
ば透明のアクリル樹脂を素材とする合成樹脂板からな
り、そのサイズは、例えば100mm×300mm×6
mm程度である。なお、搬送板12は、透明であって機
械的強度があれば、アクリル樹脂以外の合成樹脂などで
も良い。また、この搬送板12は、図5および図6に示
すように、その右端の表面側に2本のネジ121により
補強部材122が取付けられ、その右端の裏面側に2本
のネジ123により補強部材124が取付けられてい
る。同様に、搬送板12の左端の表面側に2本のネジ1
25により補強部材126が取付けられ、その左端の裏
面側に2本のネジ127により補強部材128が取付け
られている。これらの補強部材122、124、12
6、128は、ステンレスなどの磁性体から構成され
る。さらに、搬送板12の左右端には、搬送板12をチ
ェーン13、14に取り付けるための取り付け孔27、
27が穿設されている。
【0016】搬送板12の表面側には、図5および図6
に示すように、補強部材122、126から所定距離を
離れた部分を除いた全体に、透明で粘着性があり厚さが
3mm程度の粘着性シート26が貼り付けられている。
この粘着性物質としての粘着性シート26は、ワークの
搬送中にワークが動くのを止めるためにワークを粘着さ
せるものであり、例えば透明の粘着性ウレタンゴム(例
えば、三進興産(株)から市販されている商品名「ソル
ボセイン」など)が好適であるが、透明で粘着性のある
ものであれば他の物質でも良い。なお、粘着性シート2
6は、自己の粘着力により搬送板12の表面に貼り付く
ので、貼り付けるために接着剤などが不要であり、その
取り外しも容易であるという利点がある。
【0017】次に、このような構成からなる搬送板12
をチェーン13、14に取付けるための構成について、
図7を参照して説明する。搬送板12の左右端に設けた
取付け孔27、27は、チェーン13、14に取付けら
れた対応する支持部材131、141に一体に設けた突
起132、142に挿通されている。ここで、突起13
2、142は磁石により構成され、補強部材122、1
24、126、128は上述のようにステンレスなどの
磁性体から構成されている。このため、突起132は補
強部材126、128と磁気的に結合し、突起142は
補強部材122、124と磁気的に結合するため、各搬
送板12の左右端は、チェーン13、14に磁気的に結
合して取り付けられることになる。また、図8に示すよ
うに、搬送板12の左右端の下面側は、支持部材13
1、132を介して搬送板受け133、143に受けら
れるように構成されている。また、チェーン13、14
の各裏側は、チェーン受け134、144により受けら
れるように構成されている。
【0018】次に、このように構成される実施の形態の
動作について、図面を参照して説明する。いま、搬送装
置1の上流側(始端側)に、前工程の処理が終了したワ
ークaが順次落下されて倒れると、搬送板12の表面側
には粘着性シート26が取り付けてあるので、ワークa
は倒れた状態でその粘着性シート26により粘着され、
その位置に固定された状態で搬送装置1の下流側に向け
て搬送されていく。従って、ワークaが、丸型の小容器
などからなる転がり易いものであっても、粘着性シート
26の上に粘着されたままとなり、転がることはない。
このように、搬送板12上の粘着性シート26により粘
着されたワークaが、撮像装置3の真下まで搬送される
と、ワークaは撮像装置3で撮影され、撮像装置3から
は撮影に応じた画像が、図示しない画像処理装置に出力
される。
【0019】ここで、ワークaの表面が乱反射するよう
な性質の場合や、外乱があるような場合には、上側の照
明装置36だけでは乱反射や外乱により、撮像装置3か
ら得られる画像が不安定となり、その画像中から画像処
理装置がワークaの形状などを認識するのが難しくな
る。しかし、この実施の形態では、各搬送板12と粘着
性シート26はいずれも透明とし、搬送板12の裏面側
に、ワークaを下側から照明する照明装置38を備えて
いる。このため、ワークaが乱反射を起こしたり透明容
器のような場合や、外乱の影響がある場合であっても、
下側の照明装置38によりワークaの影が得られ、これ
により撮像装置3ではワークaの輪郭が鮮明な安定した
画像が得られるので、この画像中から画像処理装置がワ
ークaの形状などを認識し易くなる。
【0020】画像処理装置は、その得られた画像に基づ
き、ワークaの読み取り位置、形状、大きさ、重心など
を認識すると同時に、ワークaの把持位置(ピッキング
ポイント)を算出する。この認識結果と算出結果は、ロ
ボット6を制御する制御装置(図示せず)に通知され
る。制御装置は、その通知に基づいて、ロボット6のハ
ンド61が、ワークaの把持位置で把持できる状態とな
るように、ロボット6の各部を制御する。そして、エン
コーダ25からの出力信号により、ワークaが把持位置
にきたことを制御装置が判断すると、ロボット6は、決
められているワークaをハンド61により把持したの
ち、そのワークaを次工程のために所定の位置まで搬送
し、位置決めや整列などを行う。
【0021】以上説明したように、この実施の形態で
は、ワークを載置して搬送する搬送板12の表面に、ワ
ークを粘着させる粘着性シート26を取り付けるように
したので、ワークは粘着性シート26に粘着された状態
で搬送され、撮像装置3の撮像位置からロボット6のワ
ークの把持位置までの搬送中は粘着された状態を維持す
る。このため、ロボット6のアーム61は、搬送板12
上のワークが把持位置に到来したときに、位置ずれを起
こすことなく確実にワークを把持できる。また、この実
施の形態では、各搬送板12は、チェーン13、14に
対して磁気的に取付けるようにしたので、各搬送板12
はチェーン13、14から着脱自在である。従って、搬
送板12に表面に貼り付けてある粘着性シート26が汚
れたような場合には、搬送板12を取り外して粘着性シ
ート26の部分を洗浄すれば、汚れが落ちるとともに粘
着性を復活できるような利点がある。
【0022】
【発明の効果】以上説明したように本発明によれば、ワ
ークを搬送する搬送手段を、ワークを搬送する無端の搬
送体と、この搬送体を回転させる回転機構とから構成
し、搬送体の表面には、粘着性物質を取り付けるように
した。このため、ワークは粘着性物質に粘着された状態
で搬送されるので、ワークの姿勢が不安定で転がり易い
ような場合であっても、ワークは撮像装置の撮影位置か
らロボットの把持位置まで搬送される間に位置ずれを起
こすことがなく、ロボットはワークを把持位置で的確に
把持できる。また、本発明では、各搬送板と粘着性物質
とは、いずれも透明なものとし、搬送板の裏面側であっ
て、撮像手段と対向する位置に、ワークを下側から照明
する照明装置を設けるようにした。従って、下側の照明
装置によりワークの影が得られるので、ワークの輪郭が
鮮明な安定した画像が得られ、その画像中からワークの
形状などを認識し易くなる。
【図面の簡単な説明】
【図1】本発明の実施の形態のトラッキングシステムの
構成を示す正面図である。
【図2】同トラッキングシステムの平面図である。
【図3】同トラッキングシステムの右側面図である。
【図4】同トラッキングシステムの要部を示す斜視図で
ある。
【図5】搬送板の構成を示す平面図である。
【図6】同搬送板の右側面図である。
【図7】搬送板をチェーンに取り付けるための構成を示
す断面図である。
【符号の説明】
a ワーク 1 搬送装置 3 撮像装置 6 ロボット 12 搬送板 13、14 チェーン 23 コンベヤモータ 26 粘着性シート 38 下側の照明装置
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) B65G 47/90 - 47/92 B65G 17/06 - 17/10 B65G 15/58 B65G 17/46

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 ワークを搬送する搬送手段と、 この搬送手段の上方に配置され、搬送手段で搬送中のワ
    ークを撮影してワークに応じた画像を得る撮像手段と、 この撮像手段で得られた画像に基づいてワークを認識す
    る認識手段と、 この認識手段によるワークの認識結果に基づき、前記搬
    送手段の下流側でワークを把持し、所定位置まで搬送し
    て位置決めさせるロボットとを備え、 前記搬送手段は、ワークを搬送する無端の搬送体と、こ
    の搬送体を回転させる駆動機構とからなり、前記搬送体
    の表面に、粘着性物質を取り付けたことを特徴とするト
    ラッキングシステム。
  2. 【請求項2】 前記搬送体は、 ワークの搬送方向に向けて平行に配置させ、かつ回転自
    在な左右一組のチェーンと、 この左右一組のチェーンの長さ方向に連続的に取り付
    け、前記ワークを載置して搬送する複数の搬送板とから
    なり、 前記粘着性物質は粘着シートとし、この粘着シートを前
    記各搬送板の表面に取り付けたことを特徴とする請求項
    1記載のトラッキングシステム。
  3. 【請求項3】 前記搬送板はアクリル板からなり、前記
    粘着性シートは粘着性のウレタンゴムからなることを特
    徴とする請求項2記載のトラッキングシステム。
  4. 【請求項4】 前記各搬送板と前記粘着性シートとは、
    いずれも透明なものとし、 前記搬送板の裏面側であって、前記撮像手段と対向する
    位置に、ワークを下側から照明する照明装置を設けたこ
    とを特徴をする請求項2または請求項3記載のトラッキ
    ングシステム。
  5. 【請求項5】 前記複数の各搬送板の左右は、前記左右
    一組のチェーンに対して磁気的に取り付けたことを特徴
    とする請求項2、請求項3、または請求項4記載のトラ
    ッキングシステム。
JP31020296A 1996-11-06 1996-11-06 トラッキングシステム Expired - Fee Related JP2852646B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31020296A JP2852646B2 (ja) 1996-11-06 1996-11-06 トラッキングシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31020296A JP2852646B2 (ja) 1996-11-06 1996-11-06 トラッキングシステム

Publications (2)

Publication Number Publication Date
JPH10139147A JPH10139147A (ja) 1998-05-26
JP2852646B2 true JP2852646B2 (ja) 1999-02-03

Family

ID=18002418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31020296A Expired - Fee Related JP2852646B2 (ja) 1996-11-06 1996-11-06 トラッキングシステム

Country Status (1)

Country Link
JP (1) JP2852646B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109733869A (zh) * 2019-03-13 2019-05-10 合肥国轩高科动力能源有限公司 一种方形铝壳自动除尘设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4766899B2 (ja) * 2005-03-30 2011-09-07 株式会社コーセー ホットメルト供給装置
JP6568163B2 (ja) 2017-08-09 2019-08-28 ファナック株式会社 ロボットシステム
CN107626687B (zh) * 2017-10-30 2023-10-17 贵州维讯光电科技有限公司 用于图像处理芯片的自动除尘设备
JP7328017B2 (ja) * 2019-06-11 2023-08-16 ファナック株式会社 ロボットシステム及び制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109733869A (zh) * 2019-03-13 2019-05-10 合肥国轩高科动力能源有限公司 一种方形铝壳自动除尘设备

Also Published As

Publication number Publication date
JPH10139147A (ja) 1998-05-26

Similar Documents

Publication Publication Date Title
JP3796289B2 (ja) 小物物品の外観検査装置
JP5279172B2 (ja) 搬送装置および搬送物検査装置
JP2852646B2 (ja) トラッキングシステム
CN111730970B (zh) 一种自动化印刷固化设备
CN115921335A (zh) 一种分拣系统
JP3038429B2 (ja) トラッキングシステム
JP4656360B2 (ja) ラベル貼付システム
JP4558467B2 (ja) 物品の方向をそろえる方法及び装置
JP2001055212A (ja) ラベル貼付装置
KR100879806B1 (ko) 폴부착 장치
JPH07285655A (ja) 物品の搬送システム及び搬送物品の検査システム
JPH10139145A (ja) トラッキングシステム
JP4251307B2 (ja) 外観検査装置
EP1099631A3 (en) Method and apparatus for turning eggs
US5775871A (en) Rollerless plate-feeding apparatus
CN216066253U (zh) 一种安全扣自动检测机
JPH11169799A (ja) 果菜類の自動選別装置
JP2000237696A (ja) 物品検査装置
CN219408302U (zh) 一种盖体上料转运装置
JPH11199020A (ja) 粘着性コンベヤ及びそれを用いた画像認識装置
CN218878517U (zh) 一种上料转运装置
CN114701688B (zh) 一种汽车水冷板的自动贴膜设备
JP2002019751A (ja) ラベル貼付装置
JPH0755728B2 (ja) 部品供給方法
JP2023110588A (ja) シート状海苔の異物除去装置

Legal Events

Date Code Title Description
S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071120

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081120

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081120

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091120

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091120

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101120

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101120

Year of fee payment: 12

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

LAPS Cancellation because of no payment of annual fees