JP4936362B2 - 収穫ロボット - Google Patents
収穫ロボット Download PDFInfo
- Publication number
- JP4936362B2 JP4936362B2 JP2006197012A JP2006197012A JP4936362B2 JP 4936362 B2 JP4936362 B2 JP 4936362B2 JP 2006197012 A JP2006197012 A JP 2006197012A JP 2006197012 A JP2006197012 A JP 2006197012A JP 4936362 B2 JP4936362 B2 JP 4936362B2
- Authority
- JP
- Japan
- Prior art keywords
- fruit
- image
- cameras
- camera
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Harvesting Machines For Specific Crops (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
例えば、ナス等の長物果実の収穫適期のもののみを選択的に自動収穫するため、カメラ撮影された長物果実の画像を取り込み、撮影画像の色情報を基に画像を処理して果実を検出すると共に、果実の位置から移動位置を決定し、果実に接近させ、果実の把持及び大きさ判定を行って収穫適期の果実の果梗を切断する技術が提案されている(下記特許文献1参照)。
このような技術によれば、長物果実のナス等であれば、赤緑青色の色情報を基に果実を認識することができ、その検出した果実の果実長さを判定して収穫適期のものを選択することが可能である。
また、ピーマン等の長物果実でない果実は、葉の形との区別もつきにくく、形状に基づいて認識することも困難である。
前記移動装置は、前記収穫ロボットを移動するための駆動手段と車輪とで構成され、
前記撮影手段は、果菜を照明する照明装置と、2台のカメラと、前記2台のカメラ位置を同時に移動する移動機構を備え、
前記摘み取り装置は、前記2台のカメラの移動に追従して移動可能に取り付けられ、
前記画像処理手段は、2台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、
前記画像処理アプリケーションは、デジタル変換されたカラー画像データをHSI値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別するとともに、前記画像情報から認識された果実の中央位置、及び、前記2台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、
前記制御手段は、前記果実の中央位置が画像における基準位置(x,y)に揃い、かつ、前記距離が所定距離となる基準位置(z)に前記2台のカメラが配置されるように、前記移動機構を制御することにより、前記摘み取り装置が果実に届く範囲に配置されるようにしたことを特徴とする収穫ロボットに関する。
さらに、撮影手段が2台のカメラの位置を同時に移動する移動機構を備え、認識された果実の中央位置がカメラ画像の基準位置(x,y)に揃うように、かつ、2台のカメラによるステレオビジョンによって算出された果実とカメラとの距離(奥行)を、所定距離(基準位置(z))となるようにカメラ位置を移動することによって、摘み取り装置が果実に届く範囲に配置される。これによって、摘み取り装置は、果柄を切断して果実を収穫することができる。
図1は、本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。図2は、収穫ロボットにおける機能構成を示す構成図である。図3は、収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。図4は、照明装置の一例を示す概略構成図である。図5は、摘み取り装置の機能構成を示す構成図である。
本発明に係る収穫ロボット1は、2台のカメラ10を備える撮影手段2と、画像処理手段3と、移動装置4と、果柄を切断して果実を摘み取る摘み取り装置5と、摘み取った果実を収容するコンテナ6とで構成される。なお、図1においては、2台のカメラ10が紙面垂直方向に重なっているので、1台のみが表されている。
この果実の収穫は、画像処理システムと、カメラ位置決めシステムとによって実現することができる。画像処理システムによって果実を認識し、その果柄を切断するため、カメラ位置決めシステムによって、認識した果実に対してカメラを位置決めする。
画像処理システムは、カメラ10によって撮影された茎や葉とともにある果菜の画像を、画像処理アルゴリズムによって処理し、茎や葉から識別して果実を認識する。
そして、変換された画像データ24(輝度、彩度、色相の各値)は、画像処理アプリケーション22によって収穫しようとする果実ごとに予め設定した閾値に基づいて、その果実の色の領域に絞り込まれる(二値化)。二値化では、まず光度画像で選別し(ステップ3:S3)、彩度の二値化で葉等の大部分が果実と区別され(ステップ4:S4)、最後に色相でノイズを取り除く(ステップ5:S5)。
標識づけされた各領域について、特徴量(形状、大きさ等)を算出し(ステップ7:S7)、収穫しようとする果実ごとに予め設定された特徴量に合致する領域を果実として認識する(ステップ8:S8)。このとき、大きさで選別することによって、収穫適期の果実を認識することが可能である。
ピーマン等のように果実の色が葉等と同じ緑色の果実については、普通に撮影された画像データについて二値化しただけでは、葉等から識別することが困難である。そこで、果実に照明装置17のライトを当てることによって、彩度のグレー値は、果実と葉等とで明確に区別することができ、葉等とともにある画像の中から果実だけを認識することができる。
例えば、果実が2つ隣接した状態では、左カメラにLEDが取り付けられていると左カメラ正面に照明範囲が限定され、そこに位置する果実に照明が集中して隣接する果実よりも明るく照らされ、光度や彩度が異なる。従って、明るく照らされた果実を認識するように、光度及び彩度の閾値を設定すれば、左右のカメラで夫々撮影された画像から、左カメラ正面に位置する1つの果実のみを確実に一致して認識することができる。
なお、画像処理領域を小さく限定することによって、左右のカメラで夫々撮影された画像から認識される果実を一致させることも考えられるが、その場合、果実を見つけ出すまでに時間がかかりすぎるという問題がある。これに対し、照明範囲を限定することによって時間をかけずに1つの果実を認識することが可能である。
さらに、照明装置17をLEDとし、2台のカメラのうち、一方のレンズ周囲に複数個取り付けることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、2台のカメラで夫々撮影された画像から、その1つの果実をより確実に一致して認識することが可能となる。
カメラ位置決めシステムは、上述のように、画像処理システムによって認識された果実の果柄を切断するために、その果実に対してカメラの位置決めを行うシステムであり、画像処理を利用したビジュアルフィードバック制御を利用する。このように、カメラ位置決めシステムは、上述の画像処理システムを包含するシステムである。
図8は、ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。図9は、図8のカメラ位置決めシステムを機能構成によって示す構成図である。図10は、ステレオビジョンによって奥行を算出する原理を示す概念図である。図11は、認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。図12は、カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。
次いで、撮影された画像が、上述の画像処理システムによって処理される(ステップ12:S12)。この処理によって、左右のカメラによって同時に撮影された画像について夫々果実が認識され、左右のカメラで認識された果実がなければ(ステップ13:S13)、再びカメラ位置を移動するところから始める(ステップ11:S11)。なお、S13までは、上述の画像処理システムにおける処理である。
次いで、画像処理アプリケーション22によって、ステレオビジョンによる画像処理が行われる。即ち、2台のカメラ10によるステレオビジョンによって、カメラ10と認識された果実との距離が測定される。例えば図10に示すように、各カメラ10で撮影された画像における果実の中央位置のX座標は異なるので、その差(xl−xr)によって、奥行dがd=bf/(xl−xr)から算出される。なお、fは焦点長さ、bは2台のカメラの距離である。この画像処理によって、カメラから果実の奥行方向への位置を把握することができる。
さらに、別の果実の摘み取りを続行する場合には(ステップ19)、ステップ11に戻り、摘み取り作業を続行しない場合には終了する。
また、本実施形態においては、ピーマンやオクラ等の軽量な果実を摘み取る場合を想定し、摘み取り装置5には、果実を把持してコンテナ6に収容する機構を設けていないが、従来既知の把持機構を備えるようにすれば、重量のある果実に対応することが可能である。
また、摘み取り装置5は、ラック駆動機構15を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。
本発明に係る収穫ロボットにおける撮影手段及び画像処理手段の構成部分を作製し、実際に栽培されているハウス内の果菜(ピーマン)の画像データを収集し、画像処理アルゴリズムの検証試験を行った。なお、撮影手段に、移動機構は設けず、2台のカメラと照明装置で構成した。
有効画素数640×480のカラーCCDカメラ(Logcool製QcamPro4000)2台を、110mmの間隔で照明装置(蛍光灯27W)に取り付け、画像入力ボード(Leutron Vision製Pic−Port)、画像処理アプリケーション(MVTec製HALCON)及び制御手段(DSPコントローラ)で構成される画像処理手段(ノート型パーソナルコンピュータ)に接続し、本試験例1における収穫ロボットとした。周囲の明るさの影響を確認するため、昼間と夜間の画像データを夫々収集し、これらの画像データにおいて認識できたピーマンの認識数を、人の目で確認したピーマンの個数と比較した。
認識率は、昼間47.6%、夜間75.5%で、画像処理アルゴリズムは有効であった。夜間に認識率が高いのは、周囲の明るさの影響を受けにくく、安定して認識できたためと考えられる。なお、ピーマンが葉に一部隠れている状態では、大きさの判定や果柄部の認識は困難であったが、ピーマン自体の存在の認識は可能であった。
本発明に係る収穫ロボットを試作し、撮影手段及び画像処理手段の構成によって果実を認識してカメラを位置決めし、その果実を摘み取り装置によって摘み取った。
有効画素数640×480のカラーCCDカメラ(Logcool製QcamPro4000)2台を、120mmの間隔で配設し、画像処理手段を、画像入力ボード(Leutron Vision製Pic−Port)、画像処理アプリケーション(MVTec製HALCON)及び制御手段(DSPコントローラ)で構成した。照明装置として、蛍光灯(27W)は2台のカメラの下方に取り付けた。撮影手段における移動機構は、図3に示すように2台のカメラが平行状態を保って同時に同方向へ3方向(水平、垂直、奥行)で位置決めすることができるように設定した。また、摘み取り装置は、図3のように、右カメラの右側上方にカメラの移動に追従し、かつカメラの移動とは別に水平方向に移動可能なように取り付けた。
認識及び摘み取り目標の果実(ピーマン)は、カメラからのリアルタイムの影像を画像処理して認識した。なお、画像処理領域は小さく限定し、左右カメラで夫々撮影された画像において認識する果実を一致させるようにした。
図14(a)のように果実が葉とともにあっても単体で存在する場合は、葉と区別して高い確率で果実の認識から摘み取りまでの動作ができることが確認できた。複数の果実が存在する場合、左右カメラで夫々撮影された画像において認識する摘み取りの目標となる果実が一致しないことがあり、認識が不安定となって摘み取り成功率が低くなった。図14(c),(d)のように果実同士が接触したり、重なり合った状態では、切断成功率は低かったが、果実が2つ以上存在する場合でも図14(b)のように果実同士が隣接せずに離れている場合は、93%と高い切断成功率であった。
試験例2と同じ収穫ロボットを試作し、さらに照明装置として、白色のLED(光度:5500mcd/20mA,指向特性:18度)16個を左カメラの周囲に取り付けた。左カメラ1台による認識状況を、LEDを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを2個用い、隣接させて設置した場合と、1個を後方に置いて前方から重なって見える場合の2つのケースで実施した。大きさによる果実の絞込みや画像領域の制限は行わず、認識したピーマンをすべてマーキングさせた。
隣接して果実を設置した場合、図16(a),(b)のように蛍光灯の照明では2つの果実を認識したが、図16(c),(d)のようにLEDの照明では、正面にあたる果実のみを認識した。また、重なりがあるように設置した場合、図16(e),(f)のように蛍光灯の照明では2つの果実を1つと認識したが、図16(g),(h)のようにLEDの照明では、前方の果実のみを認識した。これらの結果から、蛍光灯を用いた照明では、広範囲の果実を認識するため、誤認や左右のカメラで認識する果実の不一致が生じる可能性が高いことが分かった。一方、LEDの場合、照明範囲が限定されるため、誤認が少なく、左右のカメラで夫々撮影された画像において認識する果実が一致する可能性が高いと考えられる。
試験例3と同じ収穫ロボットによって、左右2台のカメラによるステレオビジョンでの認識状況を、LEDを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを2個用い、図14(b)の状態で、カメラ位置を移動させて、認識状況を確認した。カメラは、2個のピーマンに対して正面右側方、略真正面及び正面左側方に順次移動させた。画像処理領域は制限せず、ピーマンと認識されたものの中で最も大きいものを選択してマーキングさせた。また、同じカメラ位置で、複数回、認識状況を確認した。
蛍光灯照明の場合、左右カメラで夫々撮影された画像において認識するピーマンの不一致や、同じカメラ位置で撮影された画像でも認識するピーマンの変動が見られた。一方、LED照明の場合、カメラ位置によって認識するピーマンを限定できることが分かった。
2 撮影手段
3 画像処理手段
4 移動装置
5 摘み取り装置
6 コンテナ
Claims (5)
- 撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、
前記移動装置は、前記収穫ロボットを移動するための駆動手段と車輪とで構成され、
前記撮影手段は、果菜を照明する照明装置と、2台のカメラと、前記2台のカメラ位置を同時に移動する移動機構を備え、
前記摘み取り装置は、前記2台のカメラの移動に追従して移動可能に取り付けられ、
前記画像処理手段は、2台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、
前記画像処理アプリケーションは、デジタル変換されたカラー画像データをHSI値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別するとともに、前記画像情報から認識された果実の中央位置、及び、前記2台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、
前記制御手段は、前記果実の中央位置が画像における基準位置(x,y)に揃い、かつ、前記距離が所定距離となる基準位置(z)に前記2台のカメラが配置されるように、前記移動機構を制御することにより、前記摘み取り装置が果実に届く範囲に配置されるようにしたことを特徴とする収穫ロボット。 - 前記画像アプリケーションは、さらに、果実と葉の彩度のグレー値に基づいて、葉とともにある画像の中から果実だけを認識するようにしたことを特徴とする請求項1に記載の収穫ロボット。
- 前記照明装置は、果実同士が隣接したり重なったりした状態において、1つの果実に照明が集中するように、その照明範囲が限定されていることを特徴とする請求項1又は2記載の収穫ロボット。
- 前記照明装置は、LEDであって、前記2台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項3記載の収穫ロボット。
- 前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項1乃至4いずれか記載の収穫ロボット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006197012A JP4936362B2 (ja) | 2006-07-19 | 2006-07-19 | 収穫ロボット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006197012A JP4936362B2 (ja) | 2006-07-19 | 2006-07-19 | 収穫ロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008022737A JP2008022737A (ja) | 2008-02-07 |
JP4936362B2 true JP4936362B2 (ja) | 2012-05-23 |
Family
ID=39114038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006197012A Expired - Fee Related JP4936362B2 (ja) | 2006-07-19 | 2006-07-19 | 収穫ロボット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4936362B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020158248A1 (ja) * | 2019-01-31 | 2021-11-25 | 株式会社クボタ | 作業装置 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5810494B2 (ja) * | 2010-09-07 | 2015-11-11 | 株式会社ニコン | 植物栽培システム、植物栽培プラント、収穫装置及び植物栽培方法 |
KR101328487B1 (ko) | 2011-12-27 | 2013-11-13 | 한국식품연구원 | 벼의 수확시기 예측 방법 및 장치 |
KR101405858B1 (ko) * | 2013-12-04 | 2014-06-16 | 안성훈 | 영상인식 과일 수확용 로봇 장치 |
JP2016183826A (ja) * | 2015-03-26 | 2016-10-20 | 日本電産コパル株式会社 | 撮像ユニット及び冷蔵庫 |
CN105075521B (zh) * | 2015-08-31 | 2017-04-12 | 梧州市旺捷机械制造有限公司 | 茶叶采摘机 |
CN108811758A (zh) * | 2018-05-11 | 2018-11-16 | 哈尔滨理工大学 | 一种新型多机械臂水果采收车 |
KR20190136209A (ko) | 2018-05-30 | 2019-12-10 | 주식회사 에스피투로보틱스 | 과실 수확 로봇 장치 |
JP7207493B2 (ja) | 2018-10-10 | 2023-01-18 | 井関農機株式会社 | 作物用車両 |
WO2020085076A1 (ja) * | 2018-10-26 | 2020-04-30 | パナソニックIpマネジメント株式会社 | 塊茎類の水耕栽培方法および塊茎類の水耕栽培システム |
CN109729836B (zh) * | 2019-02-25 | 2024-02-23 | 广西职业技术学院 | 一种自动式水果采摘器 |
CN112715159A (zh) * | 2020-12-30 | 2021-04-30 | 武汉晴川学院 | 基于机械臂的柑橘自动化采摘方法及装置 |
CN113261429A (zh) * | 2021-06-23 | 2021-08-17 | 安徽农业大学 | 智能核桃采摘车 |
CN113383642B (zh) * | 2021-07-12 | 2022-08-05 | 扬州大学 | 一种瓜菜智能采摘方法 |
CN114586546A (zh) * | 2022-03-14 | 2022-06-07 | 西南大学 | 基于电子鼻与图像识别的草莓自动采摘装置及其控制方法 |
CN115039574A (zh) * | 2022-05-12 | 2022-09-13 | 山东农业大学 | 在线分级的果品采摘机器人及方法 |
CN118120473B (zh) * | 2024-05-06 | 2024-07-30 | 安徽农业大学 | 一种用于茶叶的采摘装置及其采摘方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61271916A (ja) * | 1985-05-25 | 1986-12-02 | 株式会社クボタ | 作業用ロボツト |
JP2802638B2 (ja) * | 1989-03-08 | 1998-09-24 | ヤンマー農機株式会社 | 果菜物収穫機 |
JP2784585B2 (ja) * | 1989-03-08 | 1998-08-06 | ヤンマー農機株式会社 | 果菜物位置認識装置 |
JPH05297152A (ja) * | 1992-04-15 | 1993-11-12 | Minolta Camera Co Ltd | 物体認識装置 |
JP3546477B2 (ja) * | 1994-08-02 | 2004-07-28 | 井関農機株式会社 | 収穫ロボットの画像識別装置 |
JP2002077694A (ja) * | 2000-08-30 | 2002-03-15 | Kyocera Corp | 赤外線カメラ |
-
2006
- 2006-07-19 JP JP2006197012A patent/JP4936362B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020158248A1 (ja) * | 2019-01-31 | 2021-11-25 | 株式会社クボタ | 作業装置 |
JP7250049B2 (ja) | 2019-01-31 | 2023-03-31 | 株式会社クボタ | 作業装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2008022737A (ja) | 2008-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4936362B2 (ja) | 収穫ロボット | |
Yaguchi et al. | Development of an autonomous tomato harvesting robot with rotational plucking gripper | |
US20200344956A1 (en) | Automated plant trimmer | |
Zhao et al. | A review of key techniques of vision-based control for harvesting robot | |
Hannan et al. | Current developments in automated citrus harvesting | |
Kondo et al. | Visual feedback guided robotic cherry tomato harvesting | |
Sarig | Robotics of fruit harvesting: A state-of-the-art review | |
KR101374802B1 (ko) | 농업용 로봇시스템 | |
Kitamura et al. | Recognition and cutting system of sweet pepper for picking robot in greenhouse horticulture | |
KR102301658B1 (ko) | 식물 생육 장치 및 그 제어 방법 | |
Tejada et al. | Proof-of-concept robot platform for exploring automated harvesting of sugar snap peas | |
CN109433627B (zh) | 基于机器视觉处理的机械手物流分拣系统及其工作方法 | |
Kondo et al. | A machine vision system for tomato cluster harvesting robot | |
JPH08103139A (ja) | 果菜類の収穫対象部検出装置 | |
Rajendra et al. | Machine vision algorithm for robots to harvest strawberries in tabletop culture greenhouses | |
JP4961555B2 (ja) | 植物の対象部分の位置特定方法とその方法による対象部分の位置特定装置及びその装置を用いた作業用ロボット | |
JP2020099215A (ja) | 植物管理システム | |
Hannan et al. | A real-time machine vision algorithm for robotic citrus harvesting | |
JP7259888B2 (ja) | 収穫装置、収穫システム、収穫方法及びコンピュータプログラム | |
Kondo et al. | A machine vision for tomato cluster harvesting robot | |
JP7174217B2 (ja) | 果菜収穫装置 | |
CN108669600B (zh) | 一种全自动香菇分离装置 | |
JP2000262128A (ja) | ナスの自動収穫方法及び装置 | |
JP3396920B2 (ja) | 収穫ロボットの撮像方法 | |
Bachche et al. | Distinction of green sweet peppers by using various color space models and computation of 3 dimensional location coordinates of recognized green sweet peppers based on parallel stereovision system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090312 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110705 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110712 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120216 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |