JP7033804B2 - 自己学習技術に基づく移動物品分類システム - Google Patents

自己学習技術に基づく移動物品分類システム Download PDF

Info

Publication number
JP7033804B2
JP7033804B2 JP2020125297A JP2020125297A JP7033804B2 JP 7033804 B2 JP7033804 B2 JP 7033804B2 JP 2020125297 A JP2020125297 A JP 2020125297A JP 2020125297 A JP2020125297 A JP 2020125297A JP 7033804 B2 JP7033804 B2 JP 7033804B2
Authority
JP
Japan
Prior art keywords
article
parameter
control unit
unit
main control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020125297A
Other languages
English (en)
Other versions
JP2021021729A (ja
Inventor
孫逢佐
葉怡▲テイ▼
孫逢佑
張惠普
Original Assignee
開必拓數據股▲分▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 開必拓數據股▲分▼有限公司 filed Critical 開必拓數據股▲分▼有限公司
Publication of JP2021021729A publication Critical patent/JP2021021729A/ja
Application granted granted Critical
Publication of JP7033804B2 publication Critical patent/JP7033804B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/34Devices for discharging articles or materials from conveyor 
    • B65G47/42Devices for discharging articles or materials from conveyor  operated by article or material being conveyed and discharged
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/34Devices for discharging articles or materials from conveyor 
    • B65G47/46Devices for discharging articles or materials from conveyor  and distributing, e.g. automatically, to desired points
    • B65G47/48Devices for discharging articles or materials from conveyor  and distributing, e.g. automatically, to desired points according to bodily destination marks on either articles or load-carriers
    • B65G47/49Devices for discharging articles or materials from conveyor  and distributing, e.g. automatically, to desired points according to bodily destination marks on either articles or load-carriers without bodily contact between article or load carrier and automatic control device, e.g. the destination marks being electrically or electronically detected
    • B65G47/493Devices for discharging articles or materials from conveyor  and distributing, e.g. automatically, to desired points according to bodily destination marks on either articles or load-carriers without bodily contact between article or load carrier and automatic control device, e.g. the destination marks being electrically or electronically detected by use of light responsive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/905Control arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera

Description

本発明は、工業用途の製品自動検査システムの技術分野に係り、特に、移動物品分類システム及び方法に関するものである。
一般的に、最終製品の品質を確保するために、部品の入庫前、及び半完成品や完成品の出荷前に、それらに対して品質検証を行う必要がある。通常、既定の測定プロセスに従う場合、製品機能の品質検査結果については、判断面での議論がないため、機能の異常有無に応じて良品または不良品を判定することが非常に容易にできる。しかし、製品外観(cosmetic)の判定基準に関しては、いくつかの議論がよく起こっている。
手作業の品質検査に起因する判定基準の議論という問題を解消するために、いくつかの工業用途の自動検査及び分類システムがリリースされている。例えば、中国実用新案登録第201394544(Y)号明細書(特許文献1)では、色と木目模様に従って木材を選別する設備が開示され、その主要構成は、搬送ベルトと、映像取得装置と、選別装置と、制御装置とを備える。
特許文献1の開示内容から分かるように、映像取得装置は、前記搬送ベルトの上に位置する複数本の木材の映像を取得するために用いられる。こうして、所定の分類データテーブルを参照する場合、前記制御装置は、各本の木材の色、杢目、色ムラに基づいて、各本の木材ごとに対して分類と等級分けすることができる。
一方、中国特許出願公開第101823057(A)号明細書(特許文献2)では、お米の色彩選別システムが開示されており、それも同様に映像取得装置を利用して前記搬送ベルトの上に位置する複数粒のお米の映像を取得し、次に同様に外観色に応じて各粒のお米の品質を判断する。
また、中国特許出願公開第101486033(A)号明細書(特許文献3)では、果物の選別仕分け装置及び栗の選別仕分け方法が開示されており、その主要構成は、輸送ユニットと、駆動ユニットと、映像取得装置と、制御装置と、選別装置とを備える。
特許文献3の開示内容から分かるように、映像取得装置は、前記搬送ベルトの上に位置する複数個の果物の映像を取得するために用いられる。次に、所定の分類条件を参照する場合、前記制御装置は、各個の果物の品質良否を自動判断し、次に選別装置が品質基準に満たさない果物を選んで取り出すように制御することができる。説明に値することは、かかる所定の分類条件は、果物の外観色を指し、例を挙げて言えば、映像検査を通じて果物の外観に黒点が存在するか否かを検査することができ、黒点が存在すると判定された場合、前記黒点を虫食い(または、虫孔と称する)として識別することである。
上記の説明から分かるように、従来の技術によれば、多数種の製品自動検査システムが提案されているものの、偶然にも、各前記製品自動検査システムは、いずれも映像取得装置を使用して搬送ベルトの上の製品に対して映像取得を行い、後端の制御装置は、所定の分類条件を参照して作業ライン上の製品に対して外観品質の判断を行うことで、製品に対して分類を行う。知っておくべき点は、異なる製品の分類条件は、必ず異なっているはずであり、例を挙げて言えば、特許文献1の分類条件は、色、木目模様と木材の色ムラを含み、そして特許文献2と特許文献3では、単に色のみをその分類条件として使用する点である。従って、装置の設定パラメータ及び製品の分類条件を変更しないことを前提に、木材に対して品質検査を実行するための製品自動検査システムでは、果物に対して品質検査を実行することに適用することができない。
勿論、装置の設定パラメータ及び製品の分類条件を変更した後、木材に対して品質検査を実行するための製品自動検査システムは、機会があれば果物に対して品質検査を実行するのに適用されてもよいが、装置の設定パラメータの変更は、そう簡単なことではなく、再現性の測定手順とデータ収集を経なければ完成し得ない。
中国実用新案登録第201394544(Y)号明細書 中国特許出願公開第101823057(A)号明細書 中国特許出願公開第101486033(A)号明細書
上記の説明から分かるように、現在、市販されている各種の製品自動検査システムは、通常、特定の部品、半完成品または完成品のみに対して限定的に品質検査を実行する専用システム(special purpose machine)である。従って、適応的に(Adaptively)異なる製品に応じてその装置の設定パラメータ及び/または製品の分類条件を調整することができ、単一機体で多用途に対応する作用効果を達成するためには、実に従来の製品自動検査システムに対して改良または新たな設計を施す必要がある。
以上に鑑みて、本願の発明者は、極力研究考案した結果、遂に本発明に係る移動物品分類システム及び方法を研究開発して完成させた。
本発明の主要な目的は、移動物品分類システム及び方法を提供することである。その内、前記移動物品分類システムは、光源供給装置と、映像取得装置と、制御と処理装置と、物品選別装置とを備える。
上記した本発明の主要な目的を達成するために、本願の発明者は、移動物品分類システムの一実施例を提供する。
かかる移動物品分類システムは、光源供給装置と、映像取得装置と、制御と処理装置と、物品選別装置とを備える。
光源供給装置は、搬送ベルトの一側に設けられ、前記搬送ベルトの上に移動する複数個の物品を照射するための照明光を供給するために用いられる。
映像取得装置は、前記搬送ベルトの一側に設けられ、かつ同時に前記光源供給装置に近接し、前記照明光の照射下で各当該物品に対して映像取得処理を実行するために用いられてから、複数組の物品映像データを生成する。
制御と処理装置は、前記光源供給装置と前記映像取得装置とに接続され、かつ主制御ユニットと、第1パラメータ選択ユニットと、第2パラメータ選択ユニットと、パラメータ格納ユニットと、映像データ格納ユニットと、分類器選択ユニットとを有する。
第1パラメータ選択ユニットは、前記主制御ユニットに連結され、当該物品の種類に応じて少なくとも1つの第1パラメータを前記主制御ユニットへ提供するために用いられることで、前記主制御ユニットは、当該第1パラメータに従って前記光源供給装置から前記照明光を供給するように制御させ、前記照明光に特定の光色と特定の強度を持たせる。
第2パラメータ選択ユニットは、前記主制御ユニットに連結され、当該物品の種類に応じて少なくとも1つの第2パラメータを前記主制御ユニットへ提供するために用いられることで、前記主制御ユニットは、当該第2パラメータに従って前記映像取得装置を制御させることによって、前記映像取得装置は、当該第2パラメータに基づいて前記映像取得処理を完了させる。
パラメータ格納ユニットは、前記主制御ユニットに連結され、当該第1パラメータと当該第2パラメータを格納するために用いられる。
映像データ格納ユニットは、前記主制御ユニットに連結され、前記複数組の物品映像データを格納するために用いられる。
分類器選択ユニットは、前記パラメータ格納ユニットと前記映像データ格納ユニットとに連結され、当該第1パラメータ、当該第2パラメータ及び前記複数組の物品映像データに応じて映像分類器を選択するために用いられてから、前記映像分類器を使用して前記複数組の物品映像データに対して映像分類処理を行う。
物品選別装置は、前記制御と処理装置に接続される。
その内、前記映像分類処理を完了した前記複数組の物品映像データに応じて、前記物品選別装置は、前記搬送ベルトの上に移動する各当該物品に対して物品選別処理を実行することで、複数個の物品を少なくとも複数個の正常物品と複数個の非正常物品とに仕分ける。
また、上記した本発明の主要な目的を達成するために、本願の発明者は、同時に前記移動物品分類方法の一実施例を提供し、それは物品分類システムの中に適用され、その内、当該物品分類システムは、搬送ベルトと、光源供給装置と、映像取得装置と、制御と処理装置と、物品選別装置とを備え、かつ前記方法は以下のステップ(1)~(7)を含む。
ステップ(1)にて、前記制御と処理装置の中に、主制御ユニットと、第1パラメータ選択ユニットと、第2パラメータ選択ユニットと、パラメータ格納ユニットと、映像データ格納ユニットと、分類器選択ユニットとを配置する。
ステップ(2)にて、複数個の物品を前記搬送ベルトにより搬送する。
ステップ(3)にて、前記第1パラメータ選択ユニットが、当該物品の種類に応じて少なくとも1つの第1パラメータを前記主制御ユニットへ提供することで、前記主制御ユニットが、当該第1パラメータに従って前記光源供給装置から前記搬送ベルトの上に移動する複数個の物品を照射するための照明光を供給するように制御させ、その内、前記照明光が特定の光色と特定の強度を持つ。
ステップ(4)にて、前記第2パラメータ選択ユニットが、当該物品の種類に応じて少なくとも1つの第2パラメータを前記主制御ユニットへ提供することで、前記主制御ユニットが、当該第2パラメータに従って前記映像取得装置を制御させることによって、前記映像取得装置が、前記照明光の照射下で各当該物品に対して映像取得処理を実行してから、複数組の物品映像データを生成する。
ステップ(5)にて、前記分類器選択ユニットが、前記パラメータ格納ユニットの中に格納される当該第1パラメータと当該第2パラメータ、及び前記映像データ格納ユニットに格納される複数組の物品映像データに応じて映像分類器を選択してから、前記映像分類器を使用して前記複数組の物品映像データに対して映像分類処理を行う。
ステップ(6)にて、前記映像分類器が、前記映像分類処理を経て正常に前記複数個の物品を少なくとも複数個の正常物品と複数個の非正常物品とに仕分けることが可能であるか否かを判断し、はいと判断された場合、次のステップに進んで実行する一方、いいえと判断された場合、ステップ(3)に戻って実行する。
ステップ(7)にて、前記映像分類処理を完了した前記複数組の物品映像データに応じて、前記物品選別装置が、前記搬送ベルトの上に移動する各当該物品に対して物品選別処理を実行してから、複数個の正常物品と複数個の非正常物品をそれぞれ正常品集積装置と非正常品集積装置の中に送り込む。
特に、本発明は、前記制御と処理装置の中に、第1パラメータ選択ユニットと、第2パラメータ選択ユニットと、分類器選択ユニットとを構築する。これらの3つのユニットは、少なくとも1つの第1パラメータ、少なくとも1つの第2パラメータと複数組の物品映像データを用いて自己学習(Self learning)及び自己訓練(Self training)を行うことができるから、適応的に(Adaptively)搬送ベルトの上に搬送される物品の種類に応じて、前記光源供給装置に適用される少なくとも1つの第1パラメータ、前記映像取得装置に適用される少なくとも1つの第2パラメータ、及び当該物品の良品と不良品の識別及び分類に適用される映像分類器を決定することができる。上記の説明から分かるように、本発明の移動物品分類システムは、あらゆる種類の農産物、機械部品、電子部品、半完成品または完成品に対して自動検査及び分類を実行するように用いられてもよく、単一機体で多用途に対応する特別の機能を持つ。
本発明に係る移動物品分類システムを示す第1斜視図である。 光源供給装置、映像取得装置、制御と処理装置及び物品選別装置を示す機能ブロック図である。 本発明の移動物品分類システムを示す第2斜視図である。 本発明に係る移動物品分類方法を示す流れ図である。 本発明に係る移動物品分類方法を示す流れ図である。
本発明が提出した移動物品分類システム及び方法をより明瞭に記述するために、添付図面を参照しながら、本発明の好適な実施例を以下に詳述する。
図1は、本発明に係る移動物品分類システムの第1斜視図を示している。本発明の移動物品分類システム1の構成は、主に搬送ベルト2と、光源供給装置10と、映像取得装置11と、制御と処理装置12と、物品選別装置13とを備える。
図2は、前記光源供給装置10、前記映像取得装置11、前記制御と処理装置12及び前記物品選別装置13を示す機能ブロック図である。関連図面から分かるように、前記光源供給装置10は、前記搬送ベルト2の一側に設けられ、前記搬送ベルト2の上に移動する複数個の物品3を照射するための照明光を供給するために用いられる。さらに、前記映像取得装置11もまた、前記搬送ベルト2の一側に設けられ、かつ同時に前記光源供給装置10に近接し、前記照明光の照射下で各当該物品3に対して映像取得処理を実行するために用いられてから、複数組の物品映像データを生成する。
より詳細に説明すると、前記光源供給装置10は、第1調整ユニット100と、発光ユニット101とを有し、その内、前記第1調整ユニット100は、光源駆動器(図示せず)と、電子式高さ/角度調整架台とを具備し、かつ前記光源駆動器と前記電子式高さ/角度調整架台は、いずれも前記制御と処理装置12によって制御される。一方、前記映像取得装置11は、第2調整ユニット110と、映像取得ユニット111(すなわち、ビデオカメラ)とを有し、その内、前記第2調整ユニット110は、主に電子式高さ/角度調整架台であり、かつ前記第2調整ユニット110と前記映像取得ユニット111は、いずれも前記制御と処理装置12によって制御される。
本発明の技術的特徴は、前記制御と処理装置12の中に、主制御ユニット120と、第1パラメータ選択ユニット121と、第2パラメータ選択ユニット122と、パラメータ格納ユニット123と、映像データ格納ユニット124と、分類器選択ユニット125とを配置することにある。人工知能(Artificial intelligence)ソフトウェアまたはハードウェア装置の設計と作製に熟練した技術者であれば、前記第1パラメータ選択ユニット121、前記第2パラメータ選択ユニット122及び前記分類器選択ユニット125には、ライブラリ、変数またはオペランドの形式で少なくとも1つの応用プログラムが編集されると共に、前記制御と処理装置12の中には当該応用プログラムが構築されることを理解するであろう。
図2に示すように、前記第1パラメータ選択ユニット121は、前記主制御ユニット120に連結され、当該物品3の種類に応じて少なくとも1つの第1パラメータを前記主制御ユニット120へ提供するために用いられることで、前記主制御ユニット120は、当該第1パラメータに従って前記光源供給装置10から前記照明光を供給するように制御させる。特に説明するのは、前記制御と処理装置12の制御に基づいて、前記第1調整ユニット100は、その光源駆動器で前記発光ユニット101の照明光の光色と強度を調整する点である。さらに、必要がある場合に、前記第1調整ユニット100もまた、その電子式高さ/角度調整架台で前記発光ユニット101の光照明高さと光照明角度を調整する。容易に理解されるように、当該第1パラメータは、光照明高さ、光照明角度、光色及び光強度を含むが、これらに限定されない。
一方、前記第2パラメータ選択ユニット122は、前記主制御ユニット120に連結され、当該物品3の種類に応じて少なくとも1つの第2パラメータを前記主制御ユニット120へ提供するために用いられることで、前記主制御ユニット120は、当該第2パラメータに従って前記映像取得装置11を制御させることによって、前記映像取得装置11は、当該第2パラメータに基づいて前記映像取得処理を完了させる。注意に値することは、前記制御と処理装置12の制御の下で、前記第2調整ユニット110は、直接に前記映像取得ユニット111(すなわち、ビデオカメラ)に対して、映像取得焦点距離、被写界深度、視野角度及びアパーチャサイズを含むが、これらに限定されない基礎パラメータの設定を実行することができる点である。更に、必要がある場合には、前記第2調整ユニット110は、その電子式高さ/角度調整架台で前記映像取得ユニット111の映像取得高さと映像取得角度に対して適宜調整を行うように調整する。上記の説明から分かるように、当該第2パラメータは、映像取得焦点距離、被写界深度、視野角度、アパーチャサイズ、映像取得高さ及び映像取得角度を含むが、これらに限定されない。
本発明の設計によれば、前記パラメータ格納ユニット123は、前記主制御ユニット120に連結され、当該第1パラメータと当該第2パラメータを格納するために用いられ、かつ前記映像データ格納ユニット124は、前記主制御ユニット120に連結され、前記複数組の物品映像データを格納するために用いられる。
図2に示すように、前記分類器選択ユニット125は、前記パラメータ格納ユニット123と前記映像データ格納ユニット124とに連結される。特に、本発明で設計されたいわゆる分類器選択ユニット125は、前記パラメータ格納ユニット123の中に格納される当該第1パラメータと当該第2パラメータ、及び前記映像データ格納ユニット124に格納される複数組の物品映像データに応じて映像分類器を選択してから、前記映像分類器を使用して前記複数組の物品映像データに対して映像分類処理を行う。強調すべき点は、前記搬送ベルト2に搬送される物品3の種類に従って、前記分類器選択ユニット125により最終的に選出された映像分類器は、ある程度異なる可能性があるので、本発明においては、前記映像分類器のタイプに制限されることはないが、ここでは依然として、例えばニューラルネットワーク分類法(Neural Networks Classification)、ベイズ分類法(Bayesian Classifier)、繰り返し自己組織化データ解析手法アルゴリズム(Iterative Self-Organizing Data Analysis Technique Algorithm,ISODATA)に基づくスペクトル分類処理、K-平均クラスタリングアルゴリズム(K-Means Clustering Algorithm)に基づくスペクトル分類処理、ガウシアン最尤分類法(Gaussian Maximum Likelihood Classification)を含むような常用の映像分類器が列挙される点である。
図1と図2に示すように、前記物品選別装置13は、前記制御と処理装置12に接続され、かつそれは、制御ユニット130と、物品選別ユニット131とを有する。その内、前記制御ユニット130は、前記制御と処理装置12に接続され、前記映像分類処理を完了した前記複数組の物品映像データに応じて、前記制御ユニット130が前記搬送ベルト2の上に移動する各当該物品3に対して物品選別処理を実行するように制御してから、前記複数個の物品3を少なくとも複数個の正常物品3aと複数個の非正常物品3bとに仕分けるために用いられる。例を挙げて言えば、図1に示される前記物品選別装置13は、ロボットアームである。制御ユニット130の制御の下で、前記ロボットアームは、複数個の物品3の中から正常物品3aと非正常物品3bを選んで取り出すことができることが理解されるべきである。最後に、前記物品選別装置13により選別された前記複数個の正常物品3aが前記搬送ベルト2の終端側に設置される正常品集積装置15の中に送り込むことになる。これに対して、前記物品選別装置13により選別された前記複数個の非正常物品3bが前記搬送ベルト2の終端側に設置される非正常品集積装置16の中に送り込むことになる。
図3は、本発明の移動物品分類システムを示す第2斜視図である。ここで、補充説明すべき点は、図1に示される前記物品選別装置13は、一例として、ロボットアームであるが、これにより前記物品選別装置13の実施可能な態様を限定するものではない点である。
図3に示すように、実施可能な実施例において、前記物品選別装置13はまた、光投射ユニット及び投影ユニットのうちのいずれか1つであってもよい。こうして、前記物品選別処理を実行する過程において、光投射ユニットは、非正常物品3bの上に照射するように光を投射することができるので、作業ライン上の作業員が手動で前記非正常物品3bをピックアップして前記非正常品集積装置16に搬入することができる。前記物品選別装置13が投影ユニットである場合、投影ユニットは、非正常物品3bの上にラベルメッセージまたは警告メッセージを投影することができるので、作業ライン上の作業員が手動で前記非正常物品3bをピックアップして前記非正常品集積装置16に搬入することができる。
上記のように、本発明に係る移動物品分類システム1を既に十分かつ明瞭に説明してきた。次に、本発明に係る移動物品分類方法について、以下に継続して説明を行う。
図4Aと図4Bは、本発明に係る移動物品分類方法を示す流れ図である。本発明の移動物品分類方法は、物品分類システム(図1を参照)の中に適用され、その内、前記移動物品分類システム1は、搬送ベルト2と、光源供給装置10と、映像取得装置11と、制御と処理装置12と、物品選別装置13とを備える。本発明の移動物品分類方法は、複数の実行ステップを含む。まず、ステップS1において、前記制御と処理装置12の中に、主制御ユニット120と、第1パラメータ選択ユニット121と、第2パラメータ選択ユニット122と、パラメータ格納ユニット123と、映像データ格納ユニット124と、分類器選択ユニット125とを配置する。
図4Aと図4Bに示すように、方法のプロセスでは、続いて複数個の物品3を前記搬送ベルト2により搬送するステップS2を実行する。注意に値することは、前記複数個の物品3が搬送ベルト2の上に移動する過程において、方法のプロセスでは、前記第1パラメータ選択ユニット121が、当該物品3の種類に応じて少なくとも1つの第1パラメータを前記主制御ユニット120へ提供することで、前記主制御ユニット120が、当該第1パラメータに従って前記光源供給装置10から前記搬送ベルト2の上に移動する複数個の物品3を照射するための照明光を供給するように制御させるステップS3を実行する点である。その内、前記照明光が特定の光色と特定の強度を持つ。さらに、ステップS4において、前記第2パラメータ選択ユニット122が、当該物品3の種類に応じて少なくとも1つの第2パラメータを前記主制御ユニット120へ提供することで、前記主制御ユニット120が、当該第2パラメータに従って前記映像取得装置11を制御させ、前記映像取得装置11が、前記照明光の照射下で各当該物品3に対して映像取得処理を実行してから、複数組の物品映像データを生成する。
前記ステップS3と前記ステップS4を完了した後、方法のプロセスでは、続いて前記分類器選択ユニット125が、前記パラメータ格納ユニット123の中に格納される当該第1パラメータと当該第2パラメータ、及び前記映像データ格納ユニット124に格納される複数組の物品映像データに応じて映像分類器を選択してから、前記映像分類器を使用して前記複数組の物品映像データに対して映像分類処理を行うステップS5を実行する。知っておくべき点は、前記搬送ベルト2に搬送される物品3の種類に従って、前記分類器選択ユニット125により最終的に選出された映像分類器は、ある程度異なる可能性があるので、本発明においては、前記映像分類器のタイプに制限されることはないが、ここでは依然として、例えばニューラルネットワーク分類法(Neural Networks Classification)、ベイズ分類法(Bayesian Classifier)、繰り返し自己組織化データ解析手法アルゴリズム(Iterative Self-Organizing Data Analysis Technique Algorithm,ISODATA)に基づくスペクトル分類処理、K-平均クラスタリングアルゴリズム(K-Means Clustering Algorithm)に基づくスペクトル分類処理、ガウシアン最尤分類法(Gaussian Maximum Likelihood Classification)を含むような常用の映像分類器が列挙される点である。
継続的に、ステップS6において、前記映像分類器が、前記映像分類処理を経て正常に前記複数個の物品3を少なくとも複数個の正常物品3aと複数個の非正常物品3bとに仕分けることが可能であるか否かを判断し、はいと判断された場合、前記分類器選択ユニット125により選出された映像分類器が当該物品3に対して行う良品と不良品の分類に適することを意味する。これに対して、もし、ステップS6での判断結果がいいえの場合、前記分類器選択ユニット125により選出された映像分類器が当該物品3に対して行う良品と不良品の分類を明瞭にすることができないことを意味し、それゆえ、第1パラメータ及び/または第2パラメータを再び変更する必要があるか、あるいはその他の映像分類器を選抜する必要がある。
本発明の技術的特徴は、すなわち、制御と処理装置12の中に、前記第1パラメータ選択ユニット121と、前記第2パラメータ選択ユニット122と、前記分類器選択ユニット125とを計画構築することにある。これらの3つのユニット121,122,125は、第1パラメータ、第2パラメータと複数組の物品映像データを用いて自己学習(Self-learning)及び自己訓練(Self-training)を行うことができるから、適応的に(Adaptively)異なる物品3に応じて、前記光源供給装置10に適用される少なくとも1つの第1パラメータ、前記映像取得装置11に適用される少なくとも1つの第2パラメータ、及び物品3の良品と不良品の識別及び分類に適用される映像分類器を選出することができる。従って、ステップS6での判断結果がいいえの場合、方法のプロセスでは、ステップS3に戻って実行する。
ステップS6での判断結果がはいの場合、方法のプロセスでは、続いて前記映像分類処理を完了した前記複数組の物品映像データに応じて、前記物品選別装置13が、前記搬送ベルト2の上に移動する各当該物品3に対して物品選別処理を実行してから、複数個の正常物品3aと複数個の非正常物品3bをそれぞれ正常品集積装置15と非正常品集積装置16の中に送り込むステップS7を実行する。
以上、上記に本発明に係る移動物品分類システム及び方法を十分かつ明瞭に説明してきた。上記によって、本発明が下記の利点を有することが分かる。
(1)本発明は、主に光源供給装置10と、映像取得装置11と、制御と処理装置12と、物品選別装置13とからなる本発明の移動物品分類システム1である。特に、本発明は、前記制御と処理装置12の中に、第1パラメータ選択ユニット121と、第2パラメータ選択ユニット122と、分類器選択ユニット125とを構築する。これらの3つのユニット121,122,125は、少なくとも1つの第1パラメータ、少なくとも1つの第2パラメータと複数組の物品映像データを用いて自己学習(Self-learning)及び自己訓練(Self-training)を行うことができるから、適応的に(Adaptively)搬送ベルト2の上に搬送される物品3の種類に応じて、前記光源供給装置10に適用される少なくとも1つの第1パラメータ、前記映像取得装置11に適用される少なくとも1つの第2パラメータ、及び当該物品3の良品と不良品の識別及び分類に適用される映像分類器を決定することができる。上記の説明から分かるように、本発明の移動物品分類システム1は、あらゆる種類の農産物、機械部品、電子部品、半完成品または完成品に対して自動検査及び分類を実行するように用いられてもよく、単一機体で多用途に対応する特別の機能を持つ。
強調すべき点は、上記の詳細な説明は、本発明の実施可能な実施例を具体的に説明したものであり、但し、本発明の特許範囲はこれらの実施例に限定されるものではなく、本発明の技術的精神を逸脱しない限り、その等効果実施または変更は、なお、本発明の特許請求の範囲内に含まれるものとする点である。
動物品分類システム
2 搬送ベルト
3 物品
10 光源供給装置
100 第1調整ユニット
101 発光ユニット
11 映像取得装置
110 第2調整ユニット
111 映像取得ユニット
12 制御と処理装置
120 主制御ユニット
121 第1パラメータ選択ユニット
122 第2パラメータ選択ユニット
123 パラメータ格納ユニット
124 映像データ格納ユニット
125 分類器選択ユニット
13 物品選別装置
130 制御ユニット
131 物品選別ユニット
15 正常品集積装置
16 非正常品集積装置
3a 正常物品
3b 非正常物品
S1~S7 方法ステップ

Claims (4)

  1. 光源供給装置と、映像取得装置と、制御と処理装置と、前記制御と処理装置に接続される物品選別装置とを備える自己学習技術に基づく移動物品分類システムであって、
    前記光源供給装置は、搬送ベルトに近接して設けられ、前記搬送ベルトの上に移動する複数個の物品を照射するための照明光を供給するために用いられ、
    前記映像取得装置は、前記搬送ベルトに近接して設けられ、かつ同時に前記光源供給装置に近接し、前記照明光の照射下で各当該物品に対して映像取得処理を実行するために用いられてから、複数組の物品映像データを生成し、
    前記光源供給装置と前記映像取得装置とに接続される前記制御と処理装置は、
    主制御ユニットと、
    前記主制御ユニットに連結され、当該物品の種類に応じて少なくとも1つの第1パラメータを前記主制御ユニットへ提供するために用いられる第1パラメータ選択ユニットと、
    前記主制御ユニットに連結され、当該物品の種類に応じて少なくとも1つの第2パラメータを前記主制御ユニットへ提供するための第2パラメータ選択ユニットと、
    前記主制御ユニットに連結され、当該第1パラメータと当該第2パラメータを格納するためのパラメータ格納ユニットと、
    前記主制御ユニットに連結され、前記複数組の物品映像データを格納するための映像データ格納ユニットと、
    前記パラメータ格納ユニットと前記映像データ格納ユニットとに連結され、当該第1パラメータ、当該第2パラメータ及び前記複数組の物品映像データに応じて映像分類器を選択するための分類器選択ユニットとを有し、
    前記主制御ユニットは、当該第1パラメータに従って前記光源供給装置から特定の光色と特定の強度を持つ前記照明光を供給するように制御させ、
    前記主制御ユニットは、当該第2パラメータに従って前記映像取得装置を制御させることによって、前記映像取得装置は、当該第2パラメータに基づいて前記映像取得処理を完了させ、
    前記映像分類器を使用して前記複数組の物品映像データに対して映像分類処理を行い、
    前記映像分類処理を完了した前記複数組の物品映像データに応じて、前記物品選別装置は、前記搬送ベルトの上に移動する各当該物品に対して物品選別処理を実行することで、前記複数個の物品を少なくとも複数個の正常物品と複数個の非正常物品とに仕分けることを特徴とする、
    自己学習技術に基づく移動物品分類システム。
  2. 前記搬送ベルトの終端側に設置され、前記物品選別装置により選別された前記複数個の正常物品を受け取るための正常品集積装置と、前記搬送ベルトの前記終端側に設置され、前記物品選別装置により選別された前記複数個の非正常物品を受け取るための非正常品集積装置とをさらに備えることを特徴とする、請求項1に記載の自己学習技術に基づく移動物品分類システム。
  3. 前記物品選別装置は、前記制御と処理装置に接続される制御ユニットと、前記制御ユニットに接続され、前記制御ユニットの制御に基づいて、前記搬送ベルトの上に移動する各当該物品に対して前記物品選別処理を実行するための物品選別ユニットとを有することを特徴とする、請求項1に記載の自己学習技術に基づく移動物品分類システム。
  4. 前記物品選別ユニットは、光投射ユニットと、投影ユニット及びロボットアームのうちのいずれか1つであることを特徴とする、請求項に記載の自己学習技術に基づく移動物品分類システム。
JP2020125297A 2019-07-24 2020-07-22 自己学習技術に基づく移動物品分類システム Active JP7033804B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108126173 2019-07-24
TW108126173A TWI700129B (zh) 2019-07-24 2019-07-24 基於自我學習技術之移動物品分類系統及方法

Publications (2)

Publication Number Publication Date
JP2021021729A JP2021021729A (ja) 2021-02-18
JP7033804B2 true JP7033804B2 (ja) 2022-03-11

Family

ID=73003353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020125297A Active JP7033804B2 (ja) 2019-07-24 2020-07-22 自己学習技術に基づく移動物品分類システム

Country Status (4)

Country Link
US (1) US11203494B2 (ja)
JP (1) JP7033804B2 (ja)
CN (1) CN112287748B (ja)
TW (1) TWI700129B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922368B1 (en) * 2020-12-11 2024-03-05 Amazon Technologies, Inc. Object classification exception handling via machine learning
KR102551306B1 (ko) * 2021-12-02 2023-07-05 (주)리눅스아이티 영상 기반의 과일 선별 장치
US20230191608A1 (en) * 2021-12-22 2023-06-22 AMP Robotics Corporation Using machine learning to recognize variant objects
TWI811001B (zh) * 2022-06-30 2023-08-01 國立虎尾科技大學 菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039863A (ja) 2000-07-26 2002-02-06 Matsushita Electric Works Ltd 建材外観色調検査方法およびその装置
JP2008287506A (ja) 2007-05-17 2008-11-27 Hitachi Plant Technologies Ltd 画像処理装置および画像処理方法
JP2012173264A (ja) 2011-02-24 2012-09-10 Nikka Whisky Distilling Co Ltd 物品の欠陥検査装置、及び、物品の欠陥検査方法
JP2019035606A (ja) 2017-08-10 2019-03-07 オムロン株式会社 設定支援装置、画像処理システムおよび設定支援プログラム
US20190156472A1 (en) 2017-11-17 2019-05-23 Kodak Alaris Inc. Automated in-line object inspection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4882498A (en) * 1987-10-09 1989-11-21 Pressco, Inc. Pulsed-array video inspection lighting system
JP2855851B2 (ja) * 1990-11-30 1999-02-10 日産自動車株式会社 表面欠陥検査装置
US5412220A (en) * 1993-03-05 1995-05-02 United Industrial Products, Ltd. Optical scanning device for lumber
AU6802694A (en) * 1993-05-28 1994-12-20 Axiom Bildverarbeitungssysteme Gmbh An automatic inspection apparatus
AU2007352792B2 (en) * 2007-04-20 2012-11-15 Meinan Machinery Works, Inc. Lumber inspection method, device and program
DE102008046325A1 (de) * 2008-08-29 2010-03-11 SSI Schäfer PEEM GmbH Verfahren und Vorrichtung zum mannlosen, vollautomatisierten Kommissionieren von Artikeln in Auftragsladehilfsmittel
US9035210B1 (en) * 2010-08-17 2015-05-19 Bratney Companies Optical robotic sorting method and apparatus
US8930015B2 (en) * 2012-11-20 2015-01-06 Bratney Companies Sorting system for damaged product
DE102010052338A1 (de) * 2010-11-25 2012-05-31 Steinert Elektromagnetbau Gmbh Verfahren und Einrichtung zur Einzelkornsortierung von Schüttgütern beliebiger Art
JP6616645B2 (ja) * 2014-11-28 2019-12-04 キヤノン株式会社 分類方法、検査方法、検査装置、およびプログラム
CN109829496B (zh) * 2019-01-30 2021-05-25 广州市载道信息科技有限公司 一种物理测量分类方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039863A (ja) 2000-07-26 2002-02-06 Matsushita Electric Works Ltd 建材外観色調検査方法およびその装置
JP2008287506A (ja) 2007-05-17 2008-11-27 Hitachi Plant Technologies Ltd 画像処理装置および画像処理方法
JP2012173264A (ja) 2011-02-24 2012-09-10 Nikka Whisky Distilling Co Ltd 物品の欠陥検査装置、及び、物品の欠陥検査方法
JP2019035606A (ja) 2017-08-10 2019-03-07 オムロン株式会社 設定支援装置、画像処理システムおよび設定支援プログラム
US20190156472A1 (en) 2017-11-17 2019-05-23 Kodak Alaris Inc. Automated in-line object inspection

Also Published As

Publication number Publication date
US20210024297A1 (en) 2021-01-28
US11203494B2 (en) 2021-12-21
TW202103810A (zh) 2021-02-01
JP2021021729A (ja) 2021-02-18
CN112287748B (zh) 2023-09-15
CN112287748A (zh) 2021-01-29
TWI700129B (zh) 2020-08-01

Similar Documents

Publication Publication Date Title
JP7033804B2 (ja) 自己学習技術に基づく移動物品分類システム
US8794447B2 (en) Sorting device and method for separating products in a random stream of bulk inhomogeneous products
Rokunuzzaman et al. Development of a low cost machine vision system for sorting of tomatoes.
KR101703542B1 (ko) 멍게의 특징 측정과 hsv 색상 모델을 이용한 멍게 자동 선별방법
US20230252617A1 (en) Systems and methods for automatically grading pre-owned electronic devices
US20200020094A1 (en) Artificial intelligence-based leather inspection method and leather product production method
JP6528040B2 (ja) インテリジェントマシンのネットワーク
WO2021221176A1 (ja) 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム
US11680909B2 (en) Automated inspection of foreign materials, cracks and other surface anomalies
WO2012039597A2 (en) Fruit ripeness grading system
CN113643287A (zh) 水果的分拣方法、装置和计算机可读存储介质
JP2013505115A (ja) 果実を選別および箱詰めする、工程および装置
JP7248317B2 (ja) 豆腐類製造システム
JP2010227892A (ja) 異物選別方法および異物選別設備
JP2016161381A (ja) 選別装置
US11935216B2 (en) Vision inspection system and method of inspecting parts
CN209550027U (zh) 基于计算机视觉的一次性纸尿裤智能分拣系统
JP7248316B2 (ja) 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム
EP3594682A1 (en) Leather inspection equipment
KR20230004507A (ko) 두부류 제조 시스템
JP2019007901A (ja) 粉粒体質量検査装置及び検査方法、並びに粉粒体含有物品の製造装置及び製造方法
KR20230062754A (ko) 인공지능 기반 인삼 자동 분류 방법
Liu et al. Intelligent bamboo part sorting system design via machine vision
US20230405640A1 (en) A system and method for the detection and removal of defective drippers
DE102021211548A1 (de) System und Verfahren zur automatischen Qualitätsprüfung von Obst und Gemüse und anderen Lebensmitteln

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R150 Certificate of patent or registration of utility model

Ref document number: 7033804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150