JP5201411B2 - バラ積みピッキング装置とその制御方法 - Google Patents
バラ積みピッキング装置とその制御方法 Download PDFInfo
- Publication number
- JP5201411B2 JP5201411B2 JP2008297857A JP2008297857A JP5201411B2 JP 5201411 B2 JP5201411 B2 JP 5201411B2 JP 2008297857 A JP2008297857 A JP 2008297857A JP 2008297857 A JP2008297857 A JP 2008297857A JP 5201411 B2 JP5201411 B2 JP 5201411B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- robot
- image data
- data
- workpieces
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
Description
かかるバラ積みピッキング装置として、例えば特許文献1が提案されている。
物体認識装置52は、照合モデル記憶手段、姿勢照合モデル記憶手段、特定部位検出手段、位置決定手段、ピッキング指令手段、補正量演算手段、および姿勢補正指令手段を有する。
この装置により、照合モデル記憶手段に照合モデルを記憶し、特定部位検出手段により山積み部品の2次元画像の中から照合モデルとの照合により認識された部分を特定部位として検出し、位置決定手段により検出された特定部位の位置を決定し、ピッキング指令手段により決定された位置にロボットのハンドを位置決めして特定部位をピックアップさせる。また、姿勢照合モデル記憶手段に記憶されている姿勢照合モデルを用いて、補正量演算手段によりピックアップされた状態における部品単体の2次元画像において姿勢補正量を算出し、姿勢補正指令手段により姿勢補正量に基づいて部品の姿勢を補正する指令をロボット側に出力するものである。
そのため、カメラ50ではワークの2次元情報しか把握できず、乱雑に重なり合って置かれたワークを対象とする場合に誤認識を生じるおそれがあった。
そのため、従来は1回のピッキングが完了する度にレーザスキャナによる再計測を行う必要があるため、計測に時間がかかるという問題点があった。
物体認識処理装置とロボット制御装置により前記画像データと距離データからワークの3次元位置と姿勢を認識して1つのワークをピッキングし、
次いで、カメラにより再度画像データのみを取得し、
物体認識処理装置により直前の画像データとの比較から位置と姿勢の変化が許容範囲内のワークの有無を判断し、
前記許容範囲内のワークが存在する場合には、ロボット制御装置によりそのワークを前記画像データと距離データに基づきピッキングを継続し、
前記許容範囲内のワークが存在しない場合には、レーザスキャナにより再度距離データを取得する、ことを特徴とするバラ積みピッキング装置が提供される。
複数の前記レーザスキャナを備え、得られた複数の距離データを物体認識処理装置により合成すること、
の一方または両方により、大きなワークの3次元位置と姿勢を認識する、ことが好ましい。
(A) レーザスキャナとカメラにより距離データと画像データをそれぞれ取得し、これから複数のワークの3次元位置と姿勢を認識して記憶し、
(B) 複数のワークのうちピッキング可能なワークを決定して、そのワークをピッキングし、
(C) ピッキング後に画像データのみを再取得して、直前の画像データと比較して位置と姿勢の変化が許容範囲内のワークの有無を判断し、
(D) 前記許容範囲内のワークが存在する場合に、そのワークをピッキングして(C)に戻り、
(E) 前記許容範囲内のワークが存在しない場合に、(A)に戻り再度距離データを取得する、ことを特徴とするバラ積みピッキング装置の制御方法が提供される。
複数の前記レーザスキャナにより、得られた複数の距離データを合成すること、
の一方または両方により、大きなワークの3次元位置と姿勢を認識する、ことが好ましい。
従って本発明の装置および方法により、ピッキングの成功率と装置の稼働率の両方を高めることができる。
本発明のバラ積みピッキング装置10は、乱雑に重なり合って置かれた複数のワーク1から個別にワーク1の位置・姿勢を認識し、ワークを1つずつ取出して、別の位置に移載するピッキング装置である。
レーザスキャナ14は、この例ではレーザ光を用いて距離を計測するレーザレーダである。レーザレーダはレーザ光を2次元的にスキャンすることで、ワーク1の3次元形状情報を得ることができる。
ロボット20は、ロボットハンド22を有し、ロボットハンド22の3次元位置と姿勢を制御してワークを1つずつ取出す。
この例において、ロボット20は多関節型ロボットである。しかし、本発明はこれに限定されず、上方からワーク1を取り出せる限りでその他の形式であってもよい。
ロボットハンド22は、この例では、ツメを開閉してその間にワークを挟持するツメ開閉ハンドであるが、本発明はこの例に限定されず、ワーク1を1つずつ取り出せる限りで、電磁石式、エアー吸着式、あるいはそれらの組合せであってもよい。
上記の判断で、許容範囲内のワーク1が存在しない場合には、レーザスキャナ14により再度距離データを取得する。この場合には、レーザスキャナを用いた通常の計測時間を要するが、複数のワークを対象とする場合に、この頻度は少ないので、全体として計測時間を大幅に短縮できる。
この計測で得られた画像データ2と距離データ3から、記憶装置11に予め登録されているワークの3次元情報を基に、物体認識処理装置16により複数のワーク1の3次元位置と姿勢を認識し、認識データ4(3次元位置と姿勢)を記憶装置11に記憶する。
この3次元位置と姿勢の認識は、例えば画像データ2と距離データ3から両者が一致する3次元画像を作成し、この3次元画像に対してエッジ抽出を行い、記憶装置11から得られるワークの輪郭(テンプレート)と抽出したエッジ情報とをマッチング(テンプレートマッチング)させ、各ワークの位置及び姿勢を検出する。なお、認識手段はこの例に限定されず、その他の周知の手段を用いてもよい。
図3(A)は、ステップS1,S2でA,B,C,Dの4つワークの位置(3次元位置)と姿勢を認識した状態を2次元で模式的に示している。従って、この図において、距離データ3から求めたワークの位置と姿勢は、画像データ2と一致する。
図3(B)では、ピッキング可能なワーク1から最も取り易いワークとしてワークAを検出している。なお、ピッキング可能なその他のワークB〜Dについても、3次元位置と姿勢の認識は、既に完了している。
このピッキングにより、ピッキングの成功、不成功によらず、バラ積み状態の他のワーク1は、崩れ等により位置と姿勢が変化する場合がある。
この差分処理により、ワークB〜Dの領域において、画像の差分が大きいときは、崩れ等により位置と姿勢が変化したものと判断することができる。
ステップS4において、崩れの発生していないことが確認できたワークのうち、最も取り易いものを検出し、ステップS5において、ロボットハンド22で目的のワークをピッキングする。以下、ステップS2に戻って繰り返す。
この例において、本発明のバラ積みピッキング装置10は、カメラ12及びレーザスキャナ14をそれぞれ複数(この例では2台ずつ)備えている。なお、カメラ12及びレーザスキャナ14は、ワーク全体を撮影又は計測できる限りで、一方が1台であっても、両方が3台以上であってもよい。
また、この場合に、物体認識処理装置16は、カメラ12及びレーザスキャナ14で得られた複数の画像データ及び/又は距離データを合成して大きなワーク1の3次元位置と姿勢を認識するようになっている。
その他の構成は、図1の第1実施形態と同様である。
その他の方法は、図2の第1実施形態と同様である。
従って本発明の装置および方法により、ピッキングの成功率と装置の稼働率の両方を高めることができる。
4 認識データ(3次元位置と姿勢)、
10 バラ積みピッキング装置、11 記憶装置、
12 カメラ、14 レーザスキャナ、
16 物体認識処理装置、18 ロボット制御装置、
20 ロボット、22 ロボットハンド
Claims (6)
- ロボットハンドを有し該ロボットハンドによりワークを1つずつピッキングするロボットと、バラ積みされた複数のワークを上方から撮影して画像データを取得するカメラと、前記ワークを上方からレーザ光で走査してワーク表面までの距離データを上方から取得するレーザスキャナと、前記画像データと距離データから複数のワークの3次元位置と姿勢を認識し、認識データとして記憶する物体認識処理装置と、前記認識データに基づき前記ロボットを制御するロボット制御装置とを備え、
物体認識処理装置とロボット制御装置により前記画像データと距離データからワークの3次元位置と姿勢を認識して1つのワークをピッキングし、
次いで、カメラにより再度画像データのみを取得し、
物体認識処理装置により直前の画像データとの比較から位置と姿勢の変化が許容範囲内のワークの有無を判断し、
前記許容範囲内のワークが存在する場合には、ロボット制御装置によりそのワークを前記画像データと距離データに基づきピッキングを継続し、
前記許容範囲内のワークが存在しない場合には、レーザスキャナにより再度距離データを取得する、ことを特徴とするバラ積みピッキング装置。 - 前記ロボットは多関節型ロボットであり、前記ロボットハンドはツメを開閉してその間にワークを挟持するツメ開閉ハンドであり、レーザスキャナはレーザ光を用いて距離を計測するレーザレーダである、ことを特徴とする請求項1に記載のバラ積みピッキング装置。
- 複数の前記カメラを備え、得られた複数の画像データを物体認識処理装置により合成すること、及び、
複数の前記レーザスキャナを備え、得られた複数の距離データを物体認識処理装置により合成すること、
の一方または両方により、大きなワークの3次元位置と姿勢を認識する、ことを特徴とする請求項1に記載のバラ積みピッキング装置。 - ロボットハンドを有し該ロボットハンドによりワークを1つずつピッキングするロボットと、バラ積みされた複数のワークを上方から撮影して画像データを取得するカメラと、前記ワークを上方からレーザ光で走査してワーク表面までの距離データを上方から取得するレーザスキャナと、前記画像データと距離データから複数のワークの3次元位置と姿勢を認識し、認識データとして記憶する物体認識処理装置と、前記認識データに基づき前記ロボットを制御するロボット制御装置とを用いて、
(A) レーザスキャナとカメラにより距離データと画像データをそれぞれ取得し、これから複数のワークの3次元位置と姿勢を認識して記憶し、
(B) 複数のワークのうちピッキング可能なワークを決定して、そのワークをピッキングし、
(C) ピッキング後に画像データのみを再取得して、直前の画像データと比較して位置と姿勢の変化が許容範囲内のワークの有無を判断し、
(D) 前記許容範囲内のワークが存在する場合に、そのワークをピッキングして(C)に戻り、
(E) 前記許容範囲内のワークが存在しない場合に、(A)に戻り再度距離データを取得する、ことを特徴とするバラ積みピッキング装置の制御方法。 - 前記許容範囲を、ロボットハンドで把持できる範囲に設定する、ことを特徴とする請求項4に記載のバラ積みピッキング装置の制御方法。
- 複数の前記カメラにより、得られた複数の画像データを合成すること、及び、
複数の前記レーザスキャナにより、得られた複数の距離データを合成すること、
の一方または両方により、大きなワークの3次元位置と姿勢を認識する、ことを特徴とする請求項4に記載のバラ積みピッキング装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008297857A JP5201411B2 (ja) | 2008-11-21 | 2008-11-21 | バラ積みピッキング装置とその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008297857A JP5201411B2 (ja) | 2008-11-21 | 2008-11-21 | バラ積みピッキング装置とその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010120141A JP2010120141A (ja) | 2010-06-03 |
JP5201411B2 true JP5201411B2 (ja) | 2013-06-05 |
Family
ID=42321925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008297857A Active JP5201411B2 (ja) | 2008-11-21 | 2008-11-21 | バラ積みピッキング装置とその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5201411B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016159387A (ja) * | 2015-02-27 | 2016-09-05 | キヤノン株式会社 | 情報処理装置、処理システム、物体移動システム、および、物体移動方法 |
US10040199B2 (en) | 2015-08-25 | 2018-08-07 | Canon Kabushiki Kaisha | Apparatus and method for determining work to be picked |
CN109118144A (zh) * | 2018-08-17 | 2019-01-01 | 深圳蓝胖子机器人有限公司 | 分拣方法、设备和计算机可读存储介质 |
KR101919463B1 (ko) | 2016-11-24 | 2019-02-08 | 한국폴리텍7대학 산학협력단 | 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템 |
US20200055091A1 (en) * | 2018-08-17 | 2020-02-20 | Shenzhen Dorabot Inc. | Logistics sorting system and logistics sorting method |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4938115B2 (ja) | 2010-07-27 | 2012-05-23 | ファナック株式会社 | ワーク取出し装置およびワーク取出し方法 |
JP5618067B2 (ja) * | 2010-08-23 | 2014-11-05 | 株式会社Ihi | バラ積みピッキング装置および方法 |
JP5630208B2 (ja) * | 2010-10-25 | 2014-11-26 | 株式会社安川電機 | 形状計測装置、ロボットシステムおよび形状計測方法 |
JP5769411B2 (ja) * | 2010-12-15 | 2015-08-26 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP5767464B2 (ja) | 2010-12-15 | 2015-08-19 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP5533727B2 (ja) | 2011-02-18 | 2014-06-25 | 株式会社安川電機 | ワークピッキングシステム |
FI20115326A0 (fi) * | 2011-04-05 | 2011-04-05 | Zenrobotics Oy | Menetelmä sensorin mittausten mitätöimiseksi poimintatoiminnon jälkeen robottijärjestelmässä |
US9469035B2 (en) | 2011-06-29 | 2016-10-18 | Mitsubishi Electric Corporation | Component supply apparatus |
JP5899951B2 (ja) * | 2012-01-18 | 2016-04-06 | セイコーエプソン株式会社 | ロボット装置および位置姿勢検出方法 |
JP5642738B2 (ja) * | 2012-07-26 | 2014-12-17 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
AT514162A1 (de) | 2013-04-09 | 2014-10-15 | Knapp Ag | Lager- und Kommissioniersystem zum vollautomatisierten Erkennen und Kommissionieren von Artikeln |
JP6415026B2 (ja) * | 2013-06-28 | 2018-10-31 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
JP6424560B2 (ja) * | 2014-10-17 | 2018-11-21 | 株式会社リコー | 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法 |
JP6548422B2 (ja) | 2015-03-27 | 2019-07-24 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2017051446A1 (ja) * | 2015-09-22 | 2017-03-30 | 富士機械製造株式会社 | 部品供給システム |
JP6570395B2 (ja) * | 2015-09-28 | 2019-09-04 | 株式会社富士通アドバンストエンジニアリング | ピッキング装置及び復旧プログラム |
JP6717113B2 (ja) * | 2016-08-22 | 2020-07-01 | 株式会社Ihi | 観察装置および観察方法 |
DE102017000524A1 (de) | 2017-01-20 | 2018-07-26 | Liebherr-Verzahntechnik Gmbh | Vorrichtung zum automatisierten Entnehmen von in einem Behälter angeordneten Werkstücken |
DE102017000527A1 (de) | 2017-01-20 | 2018-07-26 | Liebherr-Verzahntechnik Gmbh | Vorrichtung zum automatisierten Entnehmen von in einem Behälter angeordneten Werkstücken |
JP6687591B2 (ja) | 2017-12-26 | 2020-04-22 | ファナック株式会社 | 物品搬送装置、ロボットシステムおよび物品搬送方法 |
JP6879238B2 (ja) * | 2018-03-13 | 2021-06-02 | オムロン株式会社 | ワークピッキング装置及びワークピッキング方法 |
JP6823008B2 (ja) * | 2018-05-18 | 2021-01-27 | ファナック株式会社 | バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法 |
JP6725587B2 (ja) * | 2018-05-18 | 2020-07-22 | ファナック株式会社 | バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法 |
JP2020001127A (ja) * | 2018-06-28 | 2020-01-09 | 勇貴 高橋 | ピッキングシステム,ピッキング処理装置及びプログラム |
JP7120153B2 (ja) * | 2019-05-21 | 2022-08-17 | トヨタ自動車株式会社 | ワーク識別方法 |
JP2021135881A (ja) * | 2020-02-28 | 2021-09-13 | セイコーエプソン株式会社 | ロボットの制御方法 |
JP7481867B2 (ja) | 2020-03-16 | 2024-05-13 | 株式会社東芝 | 制御装置及びプログラム |
JP2022174815A (ja) * | 2021-05-12 | 2022-11-25 | 東京ロボティクス株式会社 | 情報処理装置、システム、方法及びプログラム |
WO2023238215A1 (ja) * | 2022-06-07 | 2023-12-14 | 川崎重工業株式会社 | ロボットシステム、ピッキング方法およびコンピュータプログラム |
CN118559720A (zh) * | 2024-07-30 | 2024-08-30 | 佛山大学 | 一种面向重度遮挡目标的采摘机器人自适应容错作业方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60123974A (ja) * | 1983-12-09 | 1985-07-02 | Hitachi Ltd | 多段階視野認識方式 |
JPH02173503A (ja) * | 1988-12-27 | 1990-07-05 | Kao Corp | 容器天板の口栓位置検出方法及び装置 |
JPH03202290A (ja) * | 1989-12-27 | 1991-09-04 | Toyota Motor Corp | ばら積み物体の取出装置 |
JPH0430991A (ja) * | 1990-05-25 | 1992-02-03 | Toyoda Mach Works Ltd | 視覚装置付ロボット |
JP2555823B2 (ja) * | 1991-10-30 | 1996-11-20 | 日本電装株式会社 | 山積み部品の高速ピッキング装置 |
JPH05173644A (ja) * | 1991-12-19 | 1993-07-13 | Pioneer Electron Corp | 3次元物体認識装置 |
JP3679460B2 (ja) * | 1995-07-18 | 2005-08-03 | キヤノン株式会社 | 移動体装置及びその制御方法 |
AU2002304133A1 (en) * | 2002-05-31 | 2003-12-19 | Fujitsu Limited | Remotely-operated robot, and robot self position identifying method |
JP3859571B2 (ja) * | 2002-10-17 | 2006-12-20 | ファナック株式会社 | 3次元視覚センサ |
JP4356579B2 (ja) * | 2004-10-05 | 2009-11-04 | オムロン株式会社 | 画像処理方法および画像処理装置 |
JP4199264B2 (ja) * | 2006-05-29 | 2008-12-17 | ファナック株式会社 | ワーク取り出し装置及び方法 |
US7313464B1 (en) * | 2006-09-05 | 2007-12-25 | Adept Technology Inc. | Bin-picking system for randomly positioned objects |
-
2008
- 2008-11-21 JP JP2008297857A patent/JP5201411B2/ja active Active
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016159387A (ja) * | 2015-02-27 | 2016-09-05 | キヤノン株式会社 | 情報処理装置、処理システム、物体移動システム、および、物体移動方法 |
US9916512B2 (en) | 2015-02-27 | 2018-03-13 | Canon Kabushiki Kaisha | Information processing apparatus, processing system, object moving system, and object moving method |
US10040199B2 (en) | 2015-08-25 | 2018-08-07 | Canon Kabushiki Kaisha | Apparatus and method for determining work to be picked |
KR101919463B1 (ko) | 2016-11-24 | 2019-02-08 | 한국폴리텍7대학 산학협력단 | 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템 |
CN109118144A (zh) * | 2018-08-17 | 2019-01-01 | 深圳蓝胖子机器人有限公司 | 分拣方法、设备和计算机可读存储介质 |
US20200055091A1 (en) * | 2018-08-17 | 2020-02-20 | Shenzhen Dorabot Inc. | Logistics sorting system and logistics sorting method |
US11433429B2 (en) * | 2018-08-17 | 2022-09-06 | Shenzhen Dorabot Inc. | Logistics sorting system and logistics sorting method |
Also Published As
Publication number | Publication date |
---|---|
JP2010120141A (ja) | 2010-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5201411B2 (ja) | バラ積みピッキング装置とその制御方法 | |
JP4226623B2 (ja) | ワーク取り出し装置 | |
US20120098961A1 (en) | Shape measuring apparatus, robot system, and shape measuring method | |
JP4199264B2 (ja) | ワーク取り出し装置及び方法 | |
KR100693262B1 (ko) | 화상 처리 장치 | |
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
CN109940662B (zh) | 具备拍摄工件的视觉传感器的摄像装置 | |
JP5429614B2 (ja) | 箱状ワーク認識装置および方法 | |
JP4174342B2 (ja) | ワーク搬送装置 | |
US9205563B2 (en) | Workpiece takeout system, robot apparatus, and method for producing a to-be-processed material | |
JP2000288974A (ja) | 画像処理機能を持つロボット装置 | |
JP2005305613A (ja) | 物品取出し装置 | |
JP2016147330A (ja) | 物体認識に基づく制御装置 | |
JP5263501B2 (ja) | デパレタイズ用のワーク位置認識装置および方法 | |
CN114341930A (zh) | 图像处理装置、拍摄装置、机器人以及机器人系统 | |
JP6666764B2 (ja) | ワーク認識方法及びランダムピッキング方法 | |
JP2000161916A (ja) | 半導体パッケージの検査装置 | |
JP7481867B2 (ja) | 制御装置及びプログラム | |
JP7436170B2 (ja) | ロボットシステム | |
JP6238629B2 (ja) | 画像処理方法及び画像処理装置 | |
JP7275688B2 (ja) | ロボットの部品ピッキングシステム | |
JP7328017B2 (ja) | ロボットシステム及び制御装置 | |
JP5736978B2 (ja) | 物品認識装置、物品認識システム、プログラムおよび物品認識方法 | |
WO2023157964A1 (ja) | ピッキング装置及びピッキング制御プログラム | |
CN115609579A (zh) | 拾取系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121029 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130130 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5201411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |