JP5481391B2 - 食品を識別及び分類するための自動化方法及び自動化システム - Google Patents

食品を識別及び分類するための自動化方法及び自動化システム Download PDF

Info

Publication number
JP5481391B2
JP5481391B2 JP2010542651A JP2010542651A JP5481391B2 JP 5481391 B2 JP5481391 B2 JP 5481391B2 JP 2010542651 A JP2010542651 A JP 2010542651A JP 2010542651 A JP2010542651 A JP 2010542651A JP 5481391 B2 JP5481391 B2 JP 5481391B2
Authority
JP
Japan
Prior art keywords
food
sensor
fish
robot gripper
classifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010542651A
Other languages
English (en)
Other versions
JP2011509820A5 (ja
JP2011509820A (ja
Inventor
デ マラニョン イバベ イニーゴ マルチネス
フェルナンデス ラケル ロドリゲス
モラン アイトール ラサ
Original Assignee
ファンダシオン アスチ−アスチ ファンダシオア
ファンダシオン ファトロニック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファンダシオン アスチ−アスチ ファンダシオア, ファンダシオン ファトロニック filed Critical ファンダシオン アスチ−アスチ ファンダシオア
Publication of JP2011509820A publication Critical patent/JP2011509820A/ja
Publication of JP2011509820A5 publication Critical patent/JP2011509820A5/ja
Application granted granted Critical
Publication of JP5481391B2 publication Critical patent/JP5481391B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution
    • B07C5/38Collecting or arranging articles in groups
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063Using robots
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0081Sorting of food items
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S209/00Classifying, separating, and assorting solids
    • Y10S209/905Feeder conveyor holding item by suction

Landscapes

  • Sorting Of Articles (AREA)
  • Manipulator (AREA)
  • Processing Of Meat And Fish (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Description

本発明は、食品を識別及び分類するための自動化方法及び自動化システムに関する。
本発明は、互いに接触せずにベルトコンベアによって無作為な形で移動する食品を検出することができ、その食品をそれぞれの特徴に従って分類することができる位置確認システムが補佐する高速の操作ロボットに基づいている。ロボットには操作用のロボットグリッパーが組み込まれ、このロボットグリッパーは、食品を分類することができる少なくとも1つのセンサーを内蔵している。
食品の分類の自動化方法には、米国特許第4884696号に記載されるような方法がある。この明細書には、さまざまな形状の物体を分類する自動化方法が記載されている。
この発明には、物体を分類する工程に沿ってさまざまなセンサーがある。グリッパーの付いたホイールは、どの面も見えるように製品を回転している。
本発明では、さまざまな食品を分類するための自動化方法及び自動化システムであって、運搬システムによって食品を投入し、その食品を動かすことも回転させることもなしにその存在を位置確認システムによって検出し、一旦このシステムによってベルトコンベア上の食品とその位置を認識すると、少なくとも1つのセンサーを内蔵するロボットグリッパーが食品を分類する自動化方法及び自動化システムを記載している。
本発明は、自動化によって食品を識別及び分類する際の問題を解決しようとするものである。
解決策は、各食品のそれぞれの特徴を識別し、その特徴によって食品を分類することができる自動化システムを開発することである。
本発明の第一の特徴は、食品を識別及び分類するための自動化方法であって、少なくとも、位置確認システムによって食品の位置、向き、幾何学的構造及び寸法を識別する工程と、ロボットグリッパーを備えるロボットに、そのロボットグリッパーに存在するセンサーを食品上に位置決めするべき地点の座標を送信するために、位置確認システムを参照システムに変換する工程と、ロボットグリッパーに内蔵されているセンサーの食品上での位置決めによってデータを取得し、このセンサーによって得たデータに従って食品を分類する工程と、ロボットグリッパーによって、分類した食品を分離する工程と、を含む自動化方法に関する。本発明の第一の特徴は、食品を識別及び分類するための自動化方法であって、少なくとも、食品を移動させる運搬システムで分類する食品を供給する工程と、位置確認システムによって食品の位置、向き、幾何学的構造及び寸法を識別する工程と、位置確認システムで得た情報によって、食品の上でロボットグリッパーを位置決めする工程と、ロボットグリッパーに内蔵のセンサーによってデータを取得し、このセンサーによって得たデータに従って食品を分類する工程と、分類した食品を分離する工程、と、を含む自動化方法に関する。
本発明の第二の特徴は、食品を識別及び分類するための自動化システムであって、少なくとも、食品を移動させる運搬システムと、食品の位置、向き、幾何学的構造及び寸法を識別する位置確認システムと、位置確認システムで得た情報によって食品の上で位置決めされると共に、分類した食品を分離するロボットグリッパーと、食品を分類するロボットグリッパーに内蔵している少なくとも1つのセンサー、と、を含む自動化システムに関する。本発明の第二の特徴は、食品を識別及び分類するための自動化システムであって、少なくとも、食品を移動させる運搬システムと、食品の位置、向き、幾何学的構造及び寸法を識別する位置確認システムと、位置確認システムで得た情報によって、食品の上で位置決めするロボットグリッパーと、食品を分類するロボットグリッパーに内蔵している少なくとも1つのセンサー、と、を含む自動化システムに関する。
本発明でいう運搬システムとは、手動でも自動でもよく、たとえばベルトコンベアなどのことである。
本明細書でいう位置確認システムとは、人工視覚システム、又はマイクロ波、超音波、赤外線、紫外線、X線、又はたとえばバケットなどの機械システムを介して機能するシステムのことである。
ロボットに具備されている食品の操作グリッパーは、真空、空気圧アクチュエータ、油圧、電気機械又はパッシブ法のなかでも特に、正確な操作のために製品の幾何学的構造及び物理的特徴に適応すると同時に内蔵型知覚システムである内蔵センサーに適応するような方法を介して作動することができる。
センサーは、食品の外部から、又は内部に挿入して情報を取得する。
本発明の一実施例では、分類の対象となるのは魚であり、具体的にはサバである。
サバはベルトコンベアで投入する。
この魚を視覚システムで検出し、そのあとに視覚システムによってロボットグリッパーをサバの上に配置して、分類に必要な情報を取得する。
この実施例は、サバをオスとメスに分類しようとするものである。
この実施例では、センサーを食品内、具体的には魚の上又は生殖腺に挿入することによって測定を実施する。センサーは、ロボットグリッパーに内蔵されており、視覚システムによって得た情報により、適切な場所に挿入されて性別を正確に識別する。
視覚システムは、ベルトコンベアで移動する魚を検出し、魚の位置と向きを正確に認識する。検出後、ロボット及びベルトコンベアに対してあらかじめ較正されている視覚システムが、センサーを挿入するべき場所の座標を、グリッパーを備えるロボットに送信するために参照システムに変換する。
視覚システムは、主要な3部分で構成されている。それは、照明システム、レンズ及び画像を分析するソフトウェアである。
照明システムは、さまざまな目的を想定している。困難を来たす、又は分析ソフトウェアの作業を妨げることもある変動を除去するために、常に作業エリアに照明が当たるようにすることと、物体によってできる影を除去することと、物体及びベルト上にできる光沢及び反射を除去することと、分析する物体と背景であるベルトコンベアとのコントラストを最大にすることである。
照明の強度が一定となるように、作業エリアを外部の照明から絶縁する仕切りを設置する。
本実施例での視覚システムは、高強度の線状蛍光灯の光源を2つ備えている。この光源は、フリッカー及び光強度の変動を回避するため、十分に高い周波数で機能するようになっている。
光源はベルトコンベアの両側に、ベルトコンベアに対して適切な高さに配置する。2つの光源は、ベルトコンベアに光が間接的に当たるように対面させて配置し、これによって影及び光沢を回避する。
視覚システムの適切なレンズを選択するには、基本的にカメラセンサーの寸法、作業面までの距離、及び検出しなければならない物体の寸法を考慮する必要がある。
視覚システムによる検出システムには、最初に背景、すなわち魚も何もないベルトコンベアの統計モデリングを実施する。
このモデルでは、各画像画素をいくつかのガウス関数の和として格納する。
モデルを近づけるガウス分布の数は、必要とする柔軟性及び適応性に左右される。試験では3〜5が適切な数であると思われる。
このモデルは、アルゴリズムの実行中に更新される。そのためモデルは漸進的な変化にも急激な変化にも柔軟であり、どちらの場合にも適応時間を要する。モデルをガウス分布に適応させ、得られたデータを調整するには、期待最大化(EM)アルゴリズムを用いる。画素レベルのモデリングを実施することにより、作業エリアの照明をはじめ色/材質の異なる複数のエリアが可能となり、この適応により、センサーに飽和状態が生じることなくダイナミックレンジが十分である限り、照明の恒常性に関して、また、時間の経過とともに磨耗又は汚れによって変色することもあるベルトの色に関して、柔軟であることが可能となる。
前述の統計モデルを使用して、作業スペースに配置する物体の分割を行う。各ガウス分布の標準偏差に応じて固定境界を定め、グレースケール値がどのガウス分布で定めた鐘形曲線内にもない場合は、特定の1つの画素が1つの物体に属することを決定する。
その後、2つのパスで領域成長の反復アルゴリズムを使用して、のちに分析するブロッブ、すなわち連結する領域を識別する。ここでも、エリア、長さ、及び長さと幅の関係に応じて単一フィルタリングを実施し、最も明確な領域を除外する。一次及び二次慣性モーメントを用いて物体の質量中心及び長半軸と短半軸とを計算することにより、魚の向きを識別することができる。
穿刺部分を正しく規定するため、異なる2箇所の寸法を抽出する。はじめに物体を長手方向の分割を行い、分割マスクを用いて半分ずつに計算した平均強度を比較する。このようにして背と胃の位置を区別する。最後に、頭部分と尾部分を区別するために、両端から一定の距離のところで横断方向の寸法を2箇所抽出する。この分析により、まず穿刺部分を計算することができる。
本実施例では、ロボットが具備している、魚を操作するロボットグリッパーは、
真空を利用して作動する。
グリッパーには、真空及び一連の吸盤による吸引システムが備わり、魚を捕獲するのに少なくとも1つ必要である。この吸盤は、さまざまな魚の湾曲部に容易に適応するように、ベローズ型になっている。
このシステムは、吸盤に及ぶ切断応力を回避することができるピンを少なくとも1本用いることにより完結するものである。魚を扱う水の多い環境は非常に滑りやすいため、横方向に移動し、高速かつ高加速で回転する魚を処理する場合、主に張力で機能する吸盤では慣性及び切断応力に対応できない。切断応力を回避するためには、魚にピンを刺す必要がある。
魚を迅速に放す又は置くためには、システムの真空を断つという方法のほかに、吸盤を介してさらに空気を吹き込む作業をする。それによって作業が加速され、さらに吸盤内部の清掃にも役立つ。
ピンのうち魚の腹部に刺す1本はセンサープローブを備え、これを生殖腺まで損傷しない方法で挿入する。
センサーを魚の生殖腺上に挿入し、生殖腺に電磁放射線が発生したあとに得られるスペクトルを分析する。スペクトルは、オスとメスとで異なる。
魚の性別を判断したあとは、ロボットグリッパーでその魚を適切なベルトコンベアに載せる。
本発明の構成要素の材質、形状、寸法及び配置の変形例は、本発明の本質を変えるものではなく、これに限定されることなく当業者が再現するのに十分な程度に記述している。

Claims (7)

  1. 食品を識別及び分類するための自動化方法であって、少なくとも、
    位置確認システムによって食品の位置、向き、幾何学的構造及び寸法を識別する工程と、
    ロボットグリッパーを備えるロボットに、そのロボットグリッパーに存在するセンサーを上記食品上に位置決めするべき地点の座標を送信するために、上記位置確認システムを参照システムに変換する工程と、
    上記ロボットグリッパーに内蔵されているセンサーの食品上での位置決めによってデータを取得し、このセンサーによって得たデータに従って食品を分類する工程と、
    前記ロボットグリッパーによって、上記分類した食品を分離する工程と、
    を含む自動化方法。
  2. センサーによる前記データの取得は、センサーを食品内部に挿入して行うことを特徴とする、請求項1に記載の自動化方法。
  3. 分類する前記食品は、魚であることを特徴とする、請求項1または2に記載の自動化方法。
  4. 前記データの取得は、前記魚の生殖腺の上で行うことを特徴とする、請求項3に記載の自動化方法。
  5. 前記位置確認システムは、前記魚の長手方向に分割した測定と、前記魚の両端から一定の距離の横断方向の測定とを行い、穿刺部位を計算することを特徴とする、請求項4に記載の自動化方法。
  6. 食品を識別及び分類するための自動化システムであって、少なくとも
    食品を移動させる運搬システムと、
    食品の位置、向き、幾何学的構造及び寸法を識別する位置確認システムと、
    位置確認システムで得た情報によって食品の上で位置決めされると共に、分類した食品を分離するロボットグリッパーと、
    食品を分類するロボットグリッパーに内蔵している少なくとも1つのセンサーと、
    を含む自動化システム。
  7. 前記位置確認システムは視覚システムであることを特徴とする、請求項6に記載の自動化システム。
JP2010542651A 2008-01-17 2008-01-17 食品を識別及び分類するための自動化方法及び自動化システム Expired - Fee Related JP5481391B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/ES2008/070007 WO2009090279A1 (es) 2008-01-17 2008-01-17 Método y sistema automático para la determinación y clasificación de alimentos

Publications (3)

Publication Number Publication Date
JP2011509820A JP2011509820A (ja) 2011-03-31
JP2011509820A5 JP2011509820A5 (ja) 2012-12-13
JP5481391B2 true JP5481391B2 (ja) 2014-04-23

Family

ID=39796858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010542651A Expired - Fee Related JP5481391B2 (ja) 2008-01-17 2008-01-17 食品を識別及び分類するための自動化方法及び自動化システム

Country Status (8)

Country Link
US (1) US8207467B2 (ja)
EP (1) EP2251100B1 (ja)
JP (1) JP5481391B2 (ja)
CN (1) CN101952055A (ja)
BR (1) BRPI0819967A2 (ja)
CA (1) CA2712386A1 (ja)
ES (1) ES2461792T3 (ja)
WO (1) WO2009090279A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2251100B1 (en) * 2008-01-17 2014-01-08 Fundacion Azti-azti Fundazioa Automatic food determination and grading system and method
JP2013235066A (ja) * 2012-05-07 2013-11-21 Ricoh Co Ltd 画像形成装置
CN107812716A (zh) * 2017-11-29 2018-03-20 山东代代良智能控制科技有限公司 一种产品尺寸视觉检测中间传输单元

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3152587A (en) * 1960-03-31 1964-10-13 Hellige & Co Gmbh F Medical photometric apparatus
SE344879B (ja) * 1966-11-17 1972-05-08 Arenco Ab
US4051952A (en) 1974-09-09 1977-10-04 Neptune Dynamics Ltd. Fish characteristic detecting and sorting apparatus
CA1125410A (en) * 1978-02-22 1982-06-08 Neptune Dynamics Ltd. Fish sorter
JPS6028252B2 (ja) * 1982-12-28 1985-07-03 マルハ株式会社 魚加工処理システム
CH672089A5 (ja) 1985-12-16 1989-10-31 Sogeva Sa
IL82037A0 (en) 1987-03-29 1987-10-20 Kalman Peleg Method and apparatus for automatically inspecting and classifying different objects
US4869813A (en) * 1987-07-02 1989-09-26 Northrop Corporation Drill inspection and sorting method and apparatus
CA1251863A (en) * 1988-02-29 1989-03-28 Kevin Mccarthy Fish sorting machine
JPH0276528A (ja) * 1988-09-13 1990-03-15 Fujitsu Autom Kk 魚類の雌雄選別装置及びその選別方法
JP2789846B2 (ja) * 1991-04-23 1998-08-27 日立プラント建設株式会社 魚類の選別方法及びその装置
JPH06222022A (ja) * 1992-06-11 1994-08-12 Sankei Techno Kuraato:Kk 魚類の肉質判別法
JPH0655144A (ja) * 1992-08-06 1994-03-01 Iseki & Co Ltd 果実等の選別装置
US5335791A (en) 1993-08-12 1994-08-09 Simco/Ramic Corporation Backlight sorting system and method
US5396938A (en) * 1993-12-17 1995-03-14 Boring Machine Works, Inc. Apparatus and method for producing surfaced lumber
JPH09103761A (ja) * 1995-10-12 1997-04-22 Hitachi Ltd 電子部品搭載プリント配線基板の処理方法及びその装置
US6396938B1 (en) 1998-02-27 2002-05-28 University Of Arkansas, N.A. Automatic feather sexing of poultry chicks using ultraviolet imaging
JP2000004775A (ja) * 1998-06-18 2000-01-11 Mitsuo Horiguchi 魚の生きしめ装置
JP2981891B1 (ja) * 1998-10-13 1999-11-22 秀雄 山下 鮭・鱒の水揚げ自動システム
AU5967300A (en) * 1999-07-28 2001-02-19 Marine Harvest Norway As Method and apparatus for determining quality properties of fish
ES2234652T3 (es) * 1999-09-10 2005-07-01 Scanvaegt International A/S Clasificadora.
JP2001252886A (ja) * 2000-03-10 2001-09-18 Hitachi Zosen Corp 物体のハンドリングシステム
DE60236615D1 (de) 2001-11-01 2010-07-15 Stein Grov Eilertsen Vorrichtung und verfahren zum schneiden von fischfilet
AU2002353489A1 (en) 2001-11-29 2003-06-10 Style Ehf. Method and device for grading objects
US7010457B2 (en) * 2002-12-23 2006-03-07 Kenneth Wargon Apparatus and method for producing a numeric display corresponding to the volume of a selected segment of an item
IS2320B (is) * 2006-01-23 2007-11-15 Valka Ehf. Tæki til flokkunar á hlutum
WO2009063101A1 (es) 2007-11-12 2009-05-22 Fundacion Azti-Azti Fundazioa Método y equipo para determinar el sexo del pescado
EP2251100B1 (en) * 2008-01-17 2014-01-08 Fundacion Azti-azti Fundazioa Automatic food determination and grading system and method

Also Published As

Publication number Publication date
US20110024336A1 (en) 2011-02-03
US8207467B2 (en) 2012-06-26
JP2011509820A (ja) 2011-03-31
BRPI0819967A2 (pt) 2015-06-16
CN101952055A (zh) 2011-01-19
EP2251100A1 (en) 2010-11-17
ES2461792T3 (es) 2014-05-21
WO2009090279A1 (es) 2009-07-23
EP2251100B1 (en) 2014-01-08
CA2712386A1 (en) 2009-07-23

Similar Documents

Publication Publication Date Title
CA3062051C (en) Fluorescent penetrant inspection system and method
EP2198703A2 (en) Apparatus for determining the mass/weight of articles on a conveyer belt by X-ray imaging and for subsequent sorting of the articles by mass/weight
JP7359788B2 (ja) 医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム
CN106824816B (zh) 一种基于机器视觉的pe瓶检测与分拣方法
WO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
CN116879308A (zh) 一种工业机器视觉系统图像处理方法
JP7186304B2 (ja) 欠陥検査装置
CN110146516B (zh) 基于正交双目机器视觉的水果分级装置
JP5481391B2 (ja) 食品を識別及び分類するための自動化方法及び自動化システム
CN210071686U (zh) 基于正交双目机器视觉的水果分级装置
CN111805541A (zh) 一种基于深度学习的中药饮片净选装置及净选方法
US20190308300A1 (en) Appearance inspection apparatus, surface treatment system, appearance inspection method, program and shot material replacement determination method
US11745224B2 (en) Method and apparatus for sorting
CN112630230A (zh) 一种基于光度立体法的在线表面缺陷检测方法
JPWO2018142614A1 (ja) ガラスびんの検査装置
CN112136722A (zh) 鸡蛋分拣系统和鸡蛋分拣方法
JP2002205019A (ja) 自動選別装置
Abbaspour-gılandeh et al. Identification of cracks in eggs shell using computer vision and hough transform
JP7075218B2 (ja) 錠剤検査方法および錠剤検査装置
CN212180649U (zh) 膏体外观缺陷检测设备
JP2020192677A (ja) 対象ワークの識別移載装置及び識別移載方法
KR20020003061A (ko) 지능형 피혁 품질선별 장치
NL2012983C2 (nl) Inspectie- en overzetsysteem voor het inspecteren en overzetten van natuurlijke producten en werkwijze daarvoor.
CN118831838A (en) Pesticide packing automatic sorting identification system
Balabantaray Design and Development of Robotic Part Assembly System under Vision Guidance

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20121025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140217

R150 Certificate of patent or registration of utility model

Ref document number: 5481391

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees