TWI777527B - 廢料判別系統及廢料判別方法 - Google Patents

廢料判別系統及廢料判別方法 Download PDF

Info

Publication number
TWI777527B
TWI777527B TW110115220A TW110115220A TWI777527B TW I777527 B TWI777527 B TW I777527B TW 110115220 A TW110115220 A TW 110115220A TW 110115220 A TW110115220 A TW 110115220A TW I777527 B TWI777527 B TW I777527B
Authority
TW
Taiwan
Prior art keywords
waste
model
image
scrap
camera image
Prior art date
Application number
TW110115220A
Other languages
English (en)
Other versions
TW202217632A (zh
Inventor
岸本康夫
小笠原太
高雄保嘉
Original Assignee
日商杰富意鋼鐵股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商杰富意鋼鐵股份有限公司 filed Critical 日商杰富意鋼鐵股份有限公司
Publication of TW202217632A publication Critical patent/TW202217632A/zh
Application granted granted Critical
Publication of TWI777527B publication Critical patent/TWI777527B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/20—Recycling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W90/00—Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Sorting Of Articles (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
  • Processing Of Solid Wastes (AREA)

Abstract

本發明提供一種可改善廢料之判別技術的廢料判別系統及廢料判別方法。廢料判別系統(1)具備有：第1廢料判別模型(221)，其根據相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率，藉由包含第1學習用影像之教導資料所生成；第2廢料判別模型(222)，其根據相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率，藉由包含第2學習用影像之教導資料所生成；選擇模型(223)，其根據相機影像，判別是否使用第1廢料判別模型(221)或第2廢料判別模型(222)中之其中之一者；及輸出部(24)，其將使用選擇模型(223)所選擇之模型，根據相機影像所判別之廢料之等級及各等級之比率的資訊，予以輸出。

Description

廢料判別系統及廢料判別方法
本發明係關於一種廢料判別系統及廢料判別方法。
近年來，就有效利用資源之觀點而言，被要求將廢料等廢棄物作為可再循環之資源而再利用。為了將廢棄物再利用，則必須判別可再循環之資源。習知已提出有一種不依靠人力之廢棄物的判別處理方法(例如專利文獻1)。 [先前技術文獻] [專利文獻]
專利文獻1：日本專利特開2017-109197號
(發明所欲解決之問題)
然而，專利文獻1之技術係以拆除處理後之住房及災害瓦礫等廢棄物作為判別對象，有關有效率地判別例如金屬等廢料之方法則未被作研究。例如，鐵屑作為鐵之再利用資源，已於市場上流通，而使用電爐等再循環為鐵。習知，於鐵屑處理之現場，係由作業人員藉由目視來判別廢料之等級。其原因在於，破碎後之廢料金屬片具有各種各樣之尺寸，且各廢料之形狀亦不相同，為了進行等級判別，必須將整體以目視進行，這是難以自動化的原因。另一方面，於作業人員藉由目視進行判別之作業中，會產生因作業人員之熟練度導致判別結果存在良莠不齊之問題。而且還有相關作業人員之高齡化及確保人員足夠的問題。如此，關於廢料之判別技術，其尚存在有改善之餘地。
本發明之目的係鑒於上述情況所完成，其提供一種可改善廢料之判別技術之廢料判別系統及廢料判別方法。 (解決問題之技術手段)
本發明之一實施形態的廢料判別系統具備：取得部，其取得包含廢料之相機影像；第1廢料判別模型，其根據上述相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率，而藉由包含第1學習用影像之教導資料所生成；第2廢料判別模型，其根據上述相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率，而藉由包含與上述第1學習用影像不同之第2學習用影像之教導資料所生成；選擇模型，其根據上述相機影像，判別是否使用上述第1廢料判別模型或上述第2廢料判別模型中之其中之一者；及輸出部，其於上述第1廢料判別模型或上述第2廢料判別模型中，藉由上述選擇模型所選擇之模型，根據上述相機影像，將所判別之廢料之等級及各等級之比率的資訊予以輸出。
又，本發明之一實施形態的廢料判別方法，係使用第1廢料判別模型及第2廢料判別模型之廢料判別方法；上述第1廢料判別模型係根據包含廢料之相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率，而藉由包含第1學習用影像之教導資料所生成；上述第2廢料判別模型係根據上述相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率，而藉由包含與上述第1學習用影像不同之第2學習用影像之教導資料所生成；且上述廢料判別方法包含如下步驟：取得包含上述廢料之相機影像之步驟；根據上述相機影像，藉由選擇模型來選擇是否使用上述第1廢料判別模型或上述第2廢料判別模型中之其中之一者之步驟；以及於上述第1廢料判別模型或上述第2廢料判別模型中，使用藉由上述選擇模型所選擇之模型，根據上述相機影像，將判別之廢料之等級及各等級之比率的資訊予以輸出之步驟。 (對照先前技術之功效)
根據本發明之一實施形態的廢料判別系統及廢料判別方法，可改善廢料之判別技術。
以下，參照圖式對本發明之實施形態進行說明。
各圖中，對相同或相當之部分，標註相同符號。於本實施形態之說明中，對於相同或相當之部分，已適當地省略或簡化說明。
圖1係表示本發明之一實施形態之廢料判別系統1之整體概要的示意圖。以下，於本實施形態中，對所要判別之廢料對象為鐵屑之情況進行說明，但判別對象並不限定為鐵屑。例如，判別對象亦可為其他金屬廢料。
鐵屑根據其產生源，可大致分為2種。一種為於製造業之生產階段產生之加工廢料(亦稱為工廠產生之廢料)。加工廢料由回收業者回收之後，名稱被改為新斷、碎鋼、生鐵切屑而流通。而且，大半部分加工廢料不進行加工處理(中間處理)，即由製鋼廠商收購。加工廢料可謂是可追溯來歷之鐵屑，其品質方面與回爐碎屑相同，被視為是好用之廢料。又，於產生、回收及搬送階段，異物混入之可能性亦較小。
另一種廢料係鋼構造物老化後產生之老化廢料。老化廢料亦包含修理或損傷階段所產生之廢料。產生部位係因建築物拆除時、機械類更新時、用過之汽車、容器等而多種多樣，其產生形狀亦有各種各樣。因此，為了回收後提高製鋼投入效率，老化廢料被進行大小分級(sizing)、破碎、減容等加工處理之後，作為重量屑而處理。又，關於家電機器類、汽車之車身、自動販賣機等鋼板製品，主要是在藉由破碎而減容化後，利用磁選來進行，目的是僅僅篩選出鐵材。該等老化廢料由於分別在產生階段、回收階段及加工處理階段各階段中有多樣化，因此於加工處理後要進行等級之判別。老化廢料之等級判別，係由形狀、即廢料之厚度、寬度、長度等決定。目前廣泛採用的是日本鐵源協會(社團法人)於1996年所製定之鐵屑驗收統一標準。
如上所述，以往，於鐵屑處理之現場，係由作業人員藉由目視來判別廢料之等級。又，藉由作業人員的目視所進行之判別作業，存在因作業人員之熟練度而導致判別結果有良莠不齊之問題等。本實施形態之廢料判別系統1係鑒於該等問題所完成者，概略而言，係不藉由作業人員的目視進行判別，而改用根據拍攝鐵屑所得之相機影像來判別廢料。
以下，於本實施形態中，對於廢料之中較一般的HS、H1、H2、H3及生銹之鍍鋅鐵皮板等鐵品級較低之L1、L2這6種判別之例進行說明，但判別對象之等級並不受限於此。又，判別對象之等級亦可包含新斷屑(剪斷屑)、碎粉(切削屑)等。即，本實施形態中要判別之廢料之等級，可配合製造現場之需求，而可包含任何廢料之等級。
如圖1所示，本實施形態之廢料判別系統1，包含複數台相機10及資訊處理裝置20。複數台相機10及資訊處理裝置20，係藉由網路30而連接。複數台相機10例如為網路相機，將經由網路30拍攝之相機影像，發送至資訊處理裝置20。於圖1中，例示了具備4台相機10之情況，但相機10之台數並不限定於此。相機10之台數亦可未滿4台，亦可為1台。又，相機10之台數亦可多於4台。相機影像係於利用卡車搬送鐵屑之後，於暫時移動至堆積場之時間點，拍攝鐵屑所得者。圖2表示藉由相機10拍攝之相機影像之具體例。如圖2所示，相機影像中所包含之廢料，係複數個等級之鐵屑混合存在。概略而言，資訊處理裝置20係根據藉由機器學習所生成之數個模型，判別相機影像中之鐵屑的等級及各等級之比率。於實際操作中，根據廢料之各等級之重量比及總重量，進行廢料之交易。因此，以下，於本實施形態中，對資訊處理裝置20判別相機影像中之各等級之廢料之重量比率的情況進行說明。
在資訊處理裝置20中，其具備有：控制部21、記憶部22、取得部23、及輸出部24。
在控制部21中，包含至少1個處理器、至少1個專用電路、或其等之組合。處理器，係中央處理器(CPU，central processing unit)等泛用處理器、或已作特定處理的特殊化之專用處理器。專用電路，例如：場域可程式閘陣列(FPGA，field-programmable gate array)或特殊應用積體電路(ASIC，application specific integrated circuit)。控制部21，係一面對資訊處理裝置20之各部進行控制，一面執行與資訊處理裝置20之動作相關之處理。
在記憶部22中，包含至少1個半導體記憶體、至少1個磁性記憶體、至少1個光記憶體、或其等之中至少2種之組合。半導體記憶體，例如：隨機存取記憶體(RAM，random access memory)或唯讀記憶體(ROM，read only memory)。RAM，例如：靜態隨機存取記憶體(SRAM，static random access memory)或動態隨機存取記憶體(DRAM，dynamic random access memory)。ROM，例如：電子可抹除可程式化唯讀記憶體(EEPROM，electrically erasable programmable read only memory)。記憶部22，例如作為主記憶裝置、輔助記憶裝置、或快取記憶體而發揮功能。在記憶部22中，儲存用於資訊處理裝置20之動作的資料、及藉由資訊處理裝置20之動作而獲得的資料。例如，記憶部22儲存第1廢料判別模型221、第2廢料判別模型222、及選擇模型223。
第1廢料判別模型221，係根據相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率的學習模型。第1廢料判別模型221係藉由包含第1學習用影像之教導資料所生成。第1學習用影像係單一等級之鐵屑之影像。亦即，第1廢料判別模型221，係根據包含第1學習用影像與該第1學習用影像之判別之實績資料的教導資料，藉由使用神經網路等機器學習演算法之機器學習所生成。圖3表示第1廢料判別模型221之學習處理概要。如圖3所示，向第1廢料判別模型221之輸入層，輸入第1學習用影像、即單一等級之鐵屑之影像。在各單一等級之鐵屑之影像上，以操作員所判別出之等級的實績資料來建立關連對應以作為實績資料。根據該教導資料，調整神經元間之加權因數，進行第1廢料判別模型221之學習處理。再者，於圖3中，雖然顯示了將HS、H1、H2、H3、L1及L2與各影像建立關連對應之例，但等級並不限定於該等。單一等級之鐵屑的影像，可為其他任何等級之鐵屑影像。此處，於圖3中，圖示了第1廢料判別模型221係根據包括由輸入層、隱藏層及輸出層所構成之多層感知器，所生成之模型之例，但其並不受限於此。第1廢料判別模型221亦可為藉由其他任何之機器學習演算法所生成之模型。例如，第1廢料判別模型221亦可為根據迴旋神經網路(CNN，Convolutional Neural Network)、深度學習等機器學習演算法所生成之模型。
於判別相機影像中所包含之廢料的等級及各等級的比率時，控制部21使用第1廢料判別模型221，根據相機影像中之各等級之廢料之面積比，來判別廢料之比率。圖4係表示藉由第1廢料判別模型221進行判別處理之概要。如圖4所示，控制部21將分割成格子狀之相機影像之各部的影像，輸入至第1廢料判別模型221，判別該部分影像之廢料的等級。如此一來，用隨機抽出被分割成格子狀之相機影像的部分影像，來判別廢料之等級，控制部21算出該影像中之廢料的等級之面積比。進而，控制部21根據各廢料之疏密度，將面積比換算為重量比。如此一來，控制部21算出相機影像中所包含之廢料的等級及各等級的比率。再者，此處雖然表示了控制部21隨機抽出相機影像之一部分的部分影像，而算出上述面積比之例，但其並不受限於此。例如，控制部21亦可根據相機影像之所有部分影像，算出上述面積比。
第2廢料判別模型222，係根據相機影像，判別該相機影像中所包含之廢料的等級及各等級之比率的學習模型。第2廢料判別模型222，係藉由包含與第1學習用影像不同之第2學習用影像的教導資料所生成。第2學習用影像係混合等級之鐵屑的影像。所謂混合等級之鐵屑，係指包含複數個等級之鐵屑的鐵屑。亦即，第2廢料判別模型222，係根據教導資料，其包含第2學習用影像與該第2學習用影像之判別的實績資料，藉由使用了神經網路等機器學習演算法之機器學習所生成。圖5表示第2廢料判別模型222之學習處理概要。如圖5所示，向第2廢料判別模型222之輸入層，輸入第2學習用影像、即混合等級之鐵屑的影像。由操作員判別出之等級及各等級之比率，與各混合等級之鐵屑的影像建立關連對應，來作為實績資料。根據該教導資料，調整神經元間之加權因數，而進行模型之學習處理。此處，於圖5中，圖示了第2廢料判別模型222，係根據由輸入層、隱藏層及輸出層所構成之多層感知器，如此所生成之模型之例，但其並不受限於此。第2廢料判別模型222，亦可為藉由其他任何之機器學習演算法所生成之模型。例如，第2廢料判別模型222，亦可為根據迴旋神經網路(CNN，Convolutional Neural Network)、深度學習等機器學習演算法，所生成之模型。藉由第2廢料判別模型222，判別相機影像中所包含之廢料的等級及各等級之比率時，亦與第1廢料判別模型221相同，隨機抽出分割相機影像所得之部分影像，來判別廢料之等級，控制部21算出該影像中之廢料之等級之重量比。其原因在於，藉由將影像分割，並多次判別隨機選出之影像，可提高判定精度。再者，此處表示了隨機抽出相機影像之一部分之部分影像，而算出廢料之等級的重量比之例，但其並不受限於此，關於此點，亦與第1廢料判別模型221相同，控制部21亦可根據相機影像之所有部分影像，將影像分割，算出上述重量比。
選擇模型223，係根據相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率時，推定第1廢料判別模型221或第2廢料判別模型222之其中之一者，是否輸出更準確之可能(解)的模型。選擇模型223根據推定結果，選擇輸出更準確之可能(解)之模型。而且，控制部21利用使用選擇模型223所選擇之模型，根據相機影像，判別廢料之等級及各等級之比率。換言之，選擇模型223根據相機影像，判別是否將第1廢料判別模型221或第2廢料判別模型222之其中之一者，用於廢料等級之判別。選擇模型223之教導資料，係自相機10經由網路30取得之包含廢料之相機影像、藉由第1廢料判別模型221推定之廢料之等級及各等級之比率、藉由第2廢料判別模型222推定之廢料之等級及各等級之比率、以及實績資料之由操作員判別之等級及各等級之比率。模型選擇之實績資料，係根據分別輸入至第1廢料判別模型221及第2廢料判別模型222時之判別結果、以及該相機影像由操作員判別出之等級及各等級之比率的結果所決定。即，選擇模型223，係使用該教導資料，藉由使用神經網路等機器學習演算法之機器學習，而生成之推定模型。選擇模型223係根據例如：多層感知器、迴旋神經網路(CNN，Convolutional Neural Network)、深度學習等機器學習演算法所生成。
取得部23中，自相機10經由網路30，取得包含廢料之相機影像，取得部23包含至少1個通信用介面。通信用介面，例如：區域網路(LAN，Local Area Network)介面、廣域網路(WAN，Wide Area Network)介面、與長期演進(LTE，Long Term Evolution)、第四代(4G，4th generation)、或第五代(5G，5th generation)等移動通信標準相對應之介面、或與藍芽(Bluetooth)(註冊商標)等近距離無線通信相對應之介面。取得部23接收用於資訊處理裝置20之動作之資料，又，其發送根據資訊處理裝置20之動作所獲得之資料。
在輸出部24中，包含至少1個輸出用介面。輸出用介面，例如係顯示器。顯示器係例如：液晶顯示器(LCD，liquid crystal display)或有機電致發光(EL，electro luminescence)顯示器。輸出部24，將藉由資訊處理裝置20之動作所取得之資料輸出。輸出部24亦可不被配置於資訊處理裝置20，而改為連接至資訊處理裝置20，來作為外部之輸出機器。作為連接方式，可使用例如：通用序列匯流排(USB，Universal Serial Bus)、高畫質多媒體介面(HDMI，high definition multimedia interface)(註冊商標)、或藍芽(Bluetooth)(註冊商標)等之任何方式。
資訊處理裝置20之功能，係藉由相當於控制部21之處理器，執行本實施形態之程式而實現。亦即，資訊處理裝置20之功能，係藉由軟體而實現。程式藉由使電腦執行資訊處理裝置20之動作，使電腦作為資訊處理裝置20而發揮功能。亦即，電腦藉由根據程式執行資訊處理裝置20之動作，作為資訊處理裝置20，而發揮功能。
於本實施形態中，程式可預先記錄於電腦可讀取之記錄媒體中。電腦可讀取之記錄媒體，包含電腦可讀取之非暫時性的媒體，例如：磁性記錄裝置、光碟、磁光記錄媒體、或半導體記憶體。程式之流通，係例如藉由將記錄有程式之數位多功能光碟(DVD，digital versatile disc)或唯讀光碟(CD-ROM，compact disc read only memory)等可攜型記錄媒體出售、轉讓、或出借而進行。又，程式之流通，亦可藉由將程式預先儲存於伺服器之儲存器中，自伺服器將程式發送至其他電腦而進行。又，程式亦可被作為程式產品而提供。
於本實施形態中的電腦，將例如記錄於可攜型記錄媒體之程式或自伺服器發送之程式，暫時地，儲存於主記憶裝置中。而且，電腦利用處理器讀取儲存於主記憶裝置中之程式，並利用處理器執行依據所讀取之程式之處理。電腦亦可自可攜型記錄媒體中，直接讀取程式，並執行依據程式之處理。電腦亦可於每當自伺服器接收程式時，逐次地，執行依據所讀取之程式的處理。其也可以不自伺服器向電腦發送程式，而僅僅藉由執行指示及結果取得來實現功能，藉由所謂的應用服務提供商(ASP，application service provider)型服務來執行處理亦可以。在程式中，包含供電子計算機處理用之資訊，且準用程式之基準者。例如，對於雖非電腦之直接指令，但具有規範電腦之處理之性質的資料，即係「準用程式之基準者」。
資訊處理裝置20之一部分或所有功能，亦可藉由相當於控制部21之專用電路來實現。亦即，資訊處理裝置20之一部分或所有功能，亦可藉由硬體來實現。
其次，對本發明之一實施形態之廢料判別系統1所執行之廢料判別方法進行說明。圖6係表示本發明之一實施形態的廢料判別方法之流程圖。
首先，廢料判別系統1之相機10，拍攝包含廢料之相機影像(步驟S10)。其次，相機10將該相機影像經由網路30，發送至資訊處理裝置20。資訊處理裝置20之取得部23，經由網路30，取得該相機影像(步驟S20)。
繼而，控制部21根據所取得之相機影像，使用選擇模型223判別，是否使用第1廢料判別模型221或第2廢料判別模型222中之其中之一者(步驟S30)。
繼而，控制部21使用第1廢料判別模型221或第2廢料判別模型222中，藉由選擇模型223所選擇之模型，判別相機影像中所包含之廢料之等級及比率(步驟S40)。
繼而，控制部21，使步驟S40中判別出之廢料之等級及比率，輸出至輸出部24。輸出部24，將步驟S40中被判別出之廢料之等級及比率，加以輸出(步驟S50)。
如此，根據本發明之一實施形態之廢料判別系統1，可根據藉由相機10拍攝之廢料的相機影像，使用第1廢料判別模型221或第2廢料判別模型222自動地判別廢料之等級及比率。又，選擇模型223選擇是否使用第1廢料判別模型221或第2廢料判別模型222中之其中之一者，自動地選擇更適當之模型。換言之，根據本發明之一實施形態之廢料判別系統1，可不借助人手，而判別並輸出該廢料之等級及比率。亦即，根據本發明之一實施形態之廢料判別系統1，可改善廢料之判別技術。
雖已根據各圖式及實施例對本發明進行說明，但請注意，若為熟悉本技藝者，則可容易根據本發明進行各種變形及修正。因此，該等變形及修正均包含於本發明之範圍中。例如，在各構成或各步驟等其中所包含之功能等，可以用邏輯上不矛盾之方式重新配置，且可將複數個構成或步驟等組合為1個，或進行分割。
例如，於第1廢料判別模型221、第2廢料判別模型222、及選擇模型223之學習處理及判別處理中，控制部21亦可使用與各影像相對應之變焦資訊。於使用變焦資訊之情況下，相機10將相機影像以及與該相機影像相對應之開放式網路視訊介面論壇(ONVIF，open network video interface forum)資料之變焦資訊，經由網路30，發送至資訊處理裝置20。例如，第1學習用影像、第2學習用影像、及相機影像亦可根據與各影像相對應之變焦資訊而被正規化。亦即，控制部21根據與第1學習用影像、第2學習用影像及相機影像之各者相對應之變焦資訊，將各影像正規化為既定之放大率。而且，控制部21使用正規化後之第1學習用影像、第2學習用影像進行學習處理，又，根據相機影像進行判別處理。由於藉由該正規化之處理而將各影像正規化，因此可提高廢料判別系統1之判別精度。
此處，於根據變焦資訊將各影像正規化為既定之放大率之情況下，控制部21亦可根據變焦資訊，將影像分組，對每個組以不同之放大率正規化。圖7表示相機影像之每個組之正規化之概念圖。於圖7中，根據放大率，將相機影像分類。具體而言，於相機影像之放大率為x 0以上且未滿x 1之範圍R 01(以下，亦稱為第1範圍R 01)之情況下，將該相機影像分類為第1組。於相機影像之放大率為x 1以上且未滿x 2之範圍R 12(以下，亦稱為第2範圍R 12)之情況下，將該相機影像分類為第2組。於相機影像之放大率為x 2以上且未滿x 3之範圍R 23(以下，亦稱為第3範圍R 23)之情況下，將該相機影像分類為第3組。於相機影像之放大率為x 3以上且未滿x 4之範圍R 34(以下，亦稱為第4範圍R 34)之情況下，將該相機影像分類為第4組。於相機影像之放大率為x 4以上且未滿x 5之範圍R 45(以下，亦稱為第5範圍R 45)之情況下，將該相機影像分類為第5組。而且，第1範圍R 01、第2範圍R 12、第3範圍R 23、第4範圍R 34及第5範圍R 45中之各相機影像，分別被正規化為各範圍之基準放大率X 01、X 12、X 23、X 34及X 45。亦即，第1學習用影像、第2學習用影像及相機影像，根據與各影像相對應之變焦資訊，被正規化為不同之放大率。換言之，控制部21，會根據相機影像之變焦資訊，對所決定之複數個基準中之任一個基準放大率，進行正規化。藉此，可抑制因過度放大或縮小相機影像所致之影像解像度之差異，而提高廢料判別系統1之判別精度。再者，於圖7中，表示了控制部21將影像分類為5個組，以相對應之5個放大率進行正規化之例，但其並不受限於此。例如，控制部21亦可使分類數量為4以下或6以上，以分別不同之放大率進行正規化。
再者，於上文中表示了將相機影像之變焦資訊，用於學習處理及判別處理之例，但其並不受限於此。例如，廢料判別系統1，亦可將自相機10獲得之ONVIF資料之至少一部分，用於學習處理及判別處理。ONVIF資料包含取景位置調整(pan)、傾斜(tilt)及變焦之資訊。即，廢料判別系統1亦可使用取景位置調整、傾斜及變焦之資訊中之至少任一者，進行學習處理及判別處理。
又，例如，於第1廢料判別模型221、第2廢料判別模型222及選擇模型223之學習處理及判別處理中，控制部21亦可使用搬入廢料之搬入業者的資訊。藉此，則可考慮每個搬入業者所搬入之廢料的傾向，以提高廢料判別系統1之判別精度。
又，例如，廢料判別系統1亦可進而於判別處理後，將用於判別之相機影像，作為新的教導資料而加以蓄積。而且，控制部21亦可根據該相機影像，與操作員判別出之等級及各等級之比率的結果相結合，而重新學習第1廢料判別模型221、第2廢料判別模型222及選擇模型223。例如，假設輸出結果(判別結果)有問題之情況下，亦可將有問題之輸出的資訊、及與該資訊相對應之相機影像及實績資料，作為教導資料，重新學習第1廢料判別模型221、第2廢料判別模型222及選擇模型223中之至少任一者。藉此，則可提高第1廢料判別模型221、第2廢料判別模型222及選擇模型223之判別的精度及速度。
又，例如，於本實施形態中，相機影像係利用卡車搬送鐵屑之後，於暫時移動至堆積場之時間點拍攝所得者，但其並不受限於此。例如，相機影像亦可為，在製造現場將廢料以起重機吊起之狀態下，對其進行拍攝所得之影像。又，在該情況下，拍攝時亦可使用照亮廢料之照明裝置。藉此，則可以採用清晰之相機影像。
1:廢料判別系統 10:相機 20:資訊處理裝置 21:控制部 22:記憶部 23:取得部 24:輸出部 221:第1廢料判別模型 222:第2廢料判別模型 223:選擇模型 30:網路
圖1係表示本發明之一實施形態的廢料判別系統之概要構成的圖。 圖2係成為判別對象之廢料之相機影像的具體例。 圖3係表示第1廢料判別模型之學習處理的概要之圖。 圖4係表示第1廢料判別模型之判別處理的概要之圖。 圖5係表示第2廢料判別模型之學習處理的概要之圖。 圖6係表示本發明之一實施形態的廢料判別方法之流程圖。 圖7係與相機影像之變焦級別相對應的每個組之正規化之概念圖。
1:廢料判別系統
10:相機
20:資訊處理裝置
21:控制部
22:記憶部
23:取得部
24:輸出部
221:第1廢料判別模型
222:第2廢料判別模型
223:選擇模型
30:網路

Claims (10)

  1. 一種廢料判別系統，其具備：取得部，其取得包含廢料之相機影像；第1廢料判別模型，其根據上述相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率，而藉由包含第1學習用影像之教導資料所生成；第2廢料判別模型，其根據上述相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率，而藉由包含與上述第1學習用影像不同之第2學習用影像之教導資料所生成；選擇模型，其根據上述相機影像，判別是否使用上述第1廢料判別模型或上述第2廢料判別模型中之其中之一者；及輸出部，其對上述第1廢料判別模型或上述第2廢料判別模型中，使用藉由上述選擇模型所選擇之模型，根據上述相機影像所判別之廢料之等級及各等級之比率的資訊，予以輸出。
  2. 如請求項1之廢料判別系統，其中，上述第1學習用影像，係單一等級之鐵屑之影像，於使用上述第1廢料判別模型判別上述相機影像中所包含之廢料之等級及各等級之比率時，根據上述相機影像中之各等級之廢料之面積比，來判別上述比率。
  3. 如請求項1之廢料判別系統，其中，上述第2學習用影像，係混合等級之鐵屑的影像。
  4. 如請求項2之廢料判別系統，其中，上述第2學習用影像，係混合等級之鐵屑的影像。
  5. 如請求項1至4中任一項之廢料判別系統，其中，上述第1學習用影像、上述第2學習用影像及上述相機影像，係根據與各影像相對應之變焦資訊，被正規化。
  6. 如請求項5之廢料判別系統，其中，上述第1學習用影像、上述第2學習用影像及上述相機影像，係根據與各影像相對應之上述變焦資訊，以不同之放大率而被正規化。
  7. 如請求項1至4中任一項之廢料判別系統，其中，上述第1廢料判別模型、上述第2廢料判別模型及上述選擇模型中之至少任一者，係根據上述相機影像及上述輸出部所輸出之資訊，被重新學習，該資訊係根據上述相機影像所判別之廢料之等級及各等級之比率的資訊。
  8. 如請求項5之廢料判別系統，其中，上述第1廢料判別模型、上述第2廢料判別模型及上述選擇模型中之至少任一者，係根據上述相機影像及上述輸出部所輸出之資訊，被重新學習，該資訊係根據上述相機影像所判別之廢料之等級及各等級之比率的資訊。
  9. 如請求項6之廢料判別系統，其中，上述第1廢料判別模型、上述第2廢料判別模型及上述選擇模型中之至少任一者，係根據上述相機影像及上述輸出部所輸出之資訊，被重新學習，該資訊係根據上述相機影像所判別之廢料之等級及各等級之比率的資訊。
  10. 一種廢料判別方法，其使用第1廢料判別模型及第2廢料 判別模型；上述第1廢料判別模型係根據包含廢料之相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率，藉由包含第1學習用影像之教導資料所生成；上述第2廢料判別模型係根據上述相機影像，判別該相機影像中所包含之廢料之等級及各等級之比率，藉由包含與上述第1學習用影像不同之第2學習用影像之教導資料所生成；上述廢料判別方法包含如下步驟：取得包含上述廢料之相機影像之步驟；根據上述相機影像，藉由選擇模型來選擇是否使用上述第1廢料判別模型或上述第2廢料判別模型中之其中之一者之步驟；及對上述第1廢料判別模型或上述第2廢料判別模型中，使用藉由上述選擇模型所選擇之模型，根據上述相機影像所判別之廢料之等級及各等級之比率的資訊予以輸出之步驟。
TW110115220A 2020-04-30 2021-04-28 廢料判別系統及廢料判別方法 TWI777527B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-080778 2020-04-30
JP2020080778 2020-04-30

Publications (2)

Publication Number Publication Date
TW202217632A TW202217632A (zh) 2022-05-01
TWI777527B true TWI777527B (zh) 2022-09-11

Family

ID=78373238

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110115220A TWI777527B (zh) 2020-04-30 2021-04-28 廢料判別系統及廢料判別方法

Country Status (7)

Country Link
US (1) US20230173546A1 (zh)
EP (1) EP4144448A4 (zh)
JP (1) JP7205637B2 (zh)
KR (1) KR20220131358A (zh)
CN (1) CN115004011A (zh)
TW (1) TWI777527B (zh)
WO (1) WO2021220987A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023524038A (ja) * 2020-05-01 2023-06-08 マジック リープ， インコーポレイテッド 階層正規化がかけられる画像記述子ネットワーク

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272500A (zh) * 2018-09-27 2019-01-25 西安电子科技大学 基于自适应卷积神经网络的织物分类方法
CN110717455A (zh) * 2019-10-10 2020-01-21 北京同创信通科技有限公司 一种收储中的废钢等级分类检测方法
US20200104949A1 (en) * 2018-05-06 2020-04-02 Strong Force TX Portfolio 2018, LLC Systems and methods for forward market purchase of machine resources using artificial intelligence

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2924442B2 (ja) * 1992-04-28 1999-07-26 松下電器産業株式会社 パターン認識装置
JP5969685B1 (ja) * 2015-12-15 2016-08-17 ウエノテックス株式会社 廃棄物選別システム及びその選別方法
JP2017109197A (ja) 2016-07-06 2017-06-22 ウエノテックス株式会社 廃棄物選別システム及びその選別方法
JP6863326B2 (ja) * 2018-03-29 2021-04-21 日本電気株式会社 選別支援装置、選別支援システム、選別支援方法及びプログラム
KR101981031B1 (ko) * 2018-05-18 2019-05-23 제이에이치데이터시스템 주식회사 인공지능 기반 철 스크랩 플랫폼
JP6731680B2 (ja) * 2018-08-23 2020-07-29 荏原環境プラント株式会社 情報処理装置、情報処理プログラム、および情報処理方法
JP6679188B1 (ja) 2018-10-19 2020-04-15 株式会社御池鐵工所 廃棄物選別装置及び廃棄物選別方法
CN110397280A (zh) 2019-07-30 2019-11-01 中建城市建设发展有限公司 浇筑漏斗
CN110660074B (zh) * 2019-10-10 2021-04-16 北京同创信通科技有限公司 一种建立废钢等级划分神经网络模型方法
CN110937280B (zh) * 2019-12-24 2021-11-16 浙江大学 一种基于视听结合的智能垃圾分类回收方法和终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104949A1 (en) * 2018-05-06 2020-04-02 Strong Force TX Portfolio 2018, LLC Systems and methods for forward market purchase of machine resources using artificial intelligence
US20200111181A1 (en) * 2018-05-06 2020-04-09 Strong Force TX Portfolio 2018, LLC Transaction-enabled systems and methods with licensing smart wrappers and ip licensing chains
CN109272500A (zh) * 2018-09-27 2019-01-25 西安电子科技大学 基于自适应卷积神经网络的织物分类方法
CN110717455A (zh) * 2019-10-10 2020-01-21 北京同创信通科技有限公司 一种收储中的废钢等级分类检测方法

Also Published As

Publication number Publication date
KR20220131358A (ko) 2022-09-27
EP4144448A1 (en) 2023-03-08
CN115004011A (zh) 2022-09-02
TW202217632A (zh) 2022-05-01
WO2021220987A1 (ja) 2021-11-04
JP7205637B2 (ja) 2023-01-17
JPWO2021220987A1 (zh) 2021-11-04
EP4144448A4 (en) 2023-10-04
US20230173546A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
German et al. Rapid entropy-based detection and properties measurement of concrete spalling with machine vision for post-earthquake safety assessments
Parlak et al. Deep learning-based detection of aluminum casting defects and their types
CN112348791B (zh) 基于机器视觉的废钢智能检判方法、系统、介质及终端
CN110717455A (zh) 一种收储中的废钢等级分类检测方法
Diaz-Romero et al. Deep learning computer vision for the separation of Cast-and Wrought-Aluminum scrap
TWI787943B (zh) 廢料判別系統及廢料判別方法
JP2009110240A (ja) 動画像の各画素の前景背景分類装置、方法及びプログラム
TWI777527B (zh) 廢料判別系統及廢料判別方法
CN104156963A (zh) 一种电气火灾熔痕物证的自动鉴定方法
CN114283383A (zh) 一种智慧城市公路养护方法、计算机设备及介质
CN116206155A (zh) 基于YOLOv5网络的废钢分类识别方法
CN116342540A (zh) 包装膜缺陷检测方法、装置、设备及存储介质
CN111709991B (zh) 一种铁路工机具的检测方法、系统、装置和存储介质
JP7311455B2 (ja) スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム
Shankar Bharathi et al. Surface defect detection of rubber oil seals based on texture analysis
JP2024031854A (ja) スクラップ材の化学成分を推定するための成分推定方法
Ren et al. A case study of construction equipment recognition from time-lapse site videos under low ambient illuminations
KR102520218B1 (ko) 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법
CN116597364B (zh) 图像处理方法及装置
CN113205110B (zh) 一种面板缺陷分类模型的建立方法及面板缺陷分类方法
WO2023222171A1 (en) Method and apparatus for analysing street images or satellite images of locations intended to be used for placement of one or more parcel lockers
CN114863227A (zh) 模型评估方法、系统及计算机存储介质
JP2023146255A (ja) 特徴量選択方法及び装置
Jiang et al. Automatic Pixel-Level Detection of Structural Steel Elements Using U-Net and Transfer Learning
JP2024035552A (ja) 管理装置、管理方法、およびプログラム

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent