JP7469731B2 - 監視システム、監視方法、およびプログラム - Google Patents

監視システム、監視方法、およびプログラム Download PDF

Info

Publication number
JP7469731B2
JP7469731B2 JP2023527922A JP2023527922A JP7469731B2 JP 7469731 B2 JP7469731 B2 JP 7469731B2 JP 2023527922 A JP2023527922 A JP 2023527922A JP 2023527922 A JP2023527922 A JP 2023527922A JP 7469731 B2 JP7469731 B2 JP 7469731B2
Authority
JP
Japan
Prior art keywords
taboo
iron scrap
probability
learning model
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023527922A
Other languages
English (en)
Other versions
JPWO2022260133A1 (ja
Inventor
信之 立溝
弘二 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Publication of JPWO2022260133A1 publication Critical patent/JPWO2022260133A1/ja
Application granted granted Critical
Publication of JP7469731B2 publication Critical patent/JP7469731B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/85—Investigating moving fluids or granular solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B09—DISPOSAL OF SOLID WASTE; RECLAMATION OF CONTAMINATED SOIL
    • B09B—DISPOSAL OF SOLID WASTE NOT OTHERWISE PROVIDED FOR
    • B09B5/00—Operations not covered by a single other subclass or by a single other group in this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/104—Mechano-optical scan, i.e. object and beam moving
    • G01N2201/1042—X, Y scan, i.e. object moving in X, beam in Y
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • Environmental & Geological Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、監視システム、監視方法、およびプログラムに関する。本願は、２０２１年０６月０９日に、日本に出願された特願２０２１－０９６４６８号に基づき優先権を主張し、その内容をここに援用する。
近年、地球温暖化問題を背景としてＣＯ２排出量を削減する必要性から、鉄鋼業においては現在主要な製法である高炉法に代わり、電炉法が注目されている。電炉法の主原料は鉄スクラップであるが、銅などのトランプエレメントが混入すると自動車向け鋼板などの高級鋼製造時に割れ等の不良品を発生させる要因になる。またガスボンベなどの密閉物が混入していると電炉内で爆発を引き起こす危険性がある。そのため、鉄スクラップからトランプエレメント含有物や密閉物などを除去する技術が重要である。
特許文献１には、破砕後の鉄スクラップ群をカラーテレビカメラで撮影し、彩度値と色相角値をもとに銅を含有した破砕片を自動識別する技術が開示されている。しかしながら、特許文献１に記載の技術は、検知可能な対象物が銅に限定されている。加えて、モーターのように銅線が内包され外から見えない対象物は検知できない。
特許文献２には、トラックの荷台に積載されたスクラップ群をカメラで撮影し、人工知能（以下、深層学習モデルとも呼ぶ）により撮影データに禁忌物（除去すべき対象物）が映っているか否かを判断し、禁忌物が映っているならば作業者にその旨を知らせ除去させる方法が開示されている。
特開平７－２５３４００号公報 特開２０２０－１７６９０９号公報
Joseph Redmon、他３名、"You Only Look Once: Unified, Real-Time Object Detection"[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1506.02640〉 Olaf Ronneberger、他２名、"U-Net：Convolutional Networks for Biomedical Image Segmentation"［令和３年５月１８日検索］、インターネット〈URL:https://arxiv.org/abs/1505.04597〉 Samet Akcay、他２名、"GANomaly：Semi-Supervised Anomaly Detection via Adversarial Training"[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1805.06725〉 Paul Bergmann、他３名、"Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders"、[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1807.02011〉 Paolo Napoletano、他２名、"Anomaly Detection in Nanofibrous Materials by CNN-Based Self-Similarity"、[令和３年５月１８日検索]、インターネット〈https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5795842/〉
しかし、特許文献２は、トラックの荷台上にある鉄スクラップ群が静止した状態での撮影を前提としている。そのため、鉄スクラップ群を撮影するカメラの画角内に、撮影の邪魔となるリフトマグネットが映っていないタイミングで、静止した状態の鉄スクラップ群を撮影する。リフトマグネットがカメラの画角から外れていることの確認は、位置センサ、作業者、もしくは深層学習モデルにより行う。この確認ステップを経て、カメラによる撮影、深層学習モデルによる禁忌物有無の判定処理、判定結果の作業者への表示が行われる。
このような特許文献２の方法では荷台上のスクラップ群の表面から少し奥に入った物体などは画像に映りにくく、たとえ映ったとしても認識し難いため、禁忌物を見逃す場合がある。
本発明は、上記事情に鑑みてなされたものである。すなわち、画像処理などの技術を用いて鉄スクラップに含まれる禁忌物の有無を自動判定する場合であっても、禁忌物を見逃すことなく、従来よりも正確に判定可能な監視システム、監視方法、プログラム、およびコンピュータプログラムが記憶されたコンピュータ読み取り可能な記録媒体を提供することを目的とする。
本発明の要旨は以下である。
（１）
鉄スクラップを監視するシステムであって、
前記鉄スクラップに対して現在時刻を含む別タイミングで複数回撮影する撮影部と、
前記撮影部の撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、前記学習モデルによって特定された現在時刻での禁忌物である確率および現在時刻より過去のタイミングで前記学習モデルによって特定された禁忌物である確率を所定の関数に入力し、前記現在時刻での禁忌物である確率を再計算する禁忌物特定部と、
前記禁忌物特定部により算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備える、監視システム。
（２）
鉄スクラップを監視するシステムであって、
前記鉄スクラップに対して別視点かつある時点を含む別タイミングで複数回撮影する撮影部と、
前記撮影部の撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、複数の視点かつ前記ある時点を含む複数のタイミングで撮影された複数の画像を前記学習モデルに入力することで得られた複数の当該禁忌物である確率を所定の関数に入力し、前記ある時点での禁忌物である確率を再計算する禁忌物特定部と、
前記禁忌物特定部により算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備える、監視システム。
（３）
鉄スクラップを監視するシステムであって、
前記鉄スクラップを運搬する運搬部と、
前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影部と、
前記撮影部の撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定部と、
前記禁忌物特定部により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備え、
前記撮影部は、前記運搬部により運搬中の前記鉄スクラップの位置および前記運搬部の操作に関する少なくともいずれかの情報に基づいて撮影方向および撮影倍率を逐次調整して、運搬中の前記鉄スクラップを追従した撮影を行い、
前記禁忌物特定部は、前記追従した撮影により得られた複数の画像を前記学習モデルに入力して、前記禁忌物の種類、位置、および禁忌物である確率を特定する、監視システム。
（４）
前記運搬部は、リフトマグネットであり、
前記撮影部は、前記リフトマグネットの磁力強度または吊り荷重量に応じて、前記撮影方向および前記撮影倍率を逐次調整する、（３）に記載の監視システム。
（５）
鉄スクラップを監視するシステムであって、
前記鉄スクラップを運搬する運搬部と、
前記運搬部により運搬中の前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影部と、
前記撮影部の撮影により得られた複数の画像から、それぞれ禁忌物が含まれている可能性のある領域を抽出する領域抽出部と、
前記領域抽出部により抽出されたそれぞれの領域の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率を特定する禁忌物特定部と、
前記禁忌物特定部により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備え、
前記運搬部は、リフトマグネットであり、
前記領域抽出部は、前記リフトマグネットの磁力強度または吊り荷重量に応じて、抽出する領域サイズを変更する、監視システム。
（６）
前記領域抽出部は、前記撮影部の撮影により得られた複数の画像から、深層学習モデルを用いてリフトマグネットを特定し、特定したリフトマグネットの直下から禁忌物が含まれている可能性のある領域を抽出し、前記リフトマグネットの磁力強度または吊り荷重量に応じて、当該抽出する領域サイズを変更する、（５）に記載の監視システム。
（７）
鉄スクラップを監視するシステムであって、
前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影部と、
前記撮影部の撮影により得られた複数の画像から、第１の深層学習モデルを用いて禁忌物が含まれている可能性のある領域を、それぞれ抽出する領域抽出部と、
前記領域抽出部により抽出されたそれぞれの領域の画像を第２の深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定部と、
前記禁忌物特定部により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備える、監視システム。
（８）
前記領域抽出部において前記第１の深層学習モデルに入力される画像は、前記禁忌物特定部において前記第２の深層学習モデルに入力される画像よりも低解像度である、（７）に記載の監視システム。
（９）
鉄スクラップを監視するシステムであって、
前記鉄スクラップを運搬する運搬部と、
前記運搬部により運搬中の前記鉄スクラップに対して別タイミングで複数回撮影する撮影部と、
前記撮影部の撮影により得られた複数の画像についての差分の画像から、禁忌物が含まれている可能性のある領域を抽出する領域抽出部と、
前記領域抽出部により抽出された領域の画像を深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定部と、
前記禁忌物特定部により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備え、
前記禁忌物特定部は、前記領域抽出部により抽出された、禁忌物が含まれている可能性のある領域から、前記運搬部を除いた画像を、前記深層学習モデルに入力する、監視システム。
（１０）
鉄スクラップを監視する監視方法であって、
前記鉄スクラップに対して現在時刻を含む別タイミングで複数回撮影する撮影ステップと、
前記撮影ステップにおける撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、前記学習モデルによって特定された現在時刻での禁忌物である確率および現在時刻より過去のタイミングで前記学習モデルによって特定された禁忌物である確率を所定の関数に入力し、前記現在時刻での禁忌物である確率を再計算する禁忌物特定ステップと、
前記禁忌物特定ステップにより算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備える、監視方法。
（１１）
鉄スクラップを監視する監視方法であって、
前記鉄スクラップに対して別視点かつある時点を含む別タイミングで複数回撮影する撮影ステップと、
前記撮影ステップにおける撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、複数の視点かつ前記ある時点を含む複数のタイミングで撮影された複数の画像を前記学習モデルに入力することで得られた複数の当該禁忌物である確率を所定の関数に入力し、前記ある時点での禁忌物である確率を再計算する禁忌物特定ステップと、
前記禁忌物特定ステップにより算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備える、監視方法。
（１２）
鉄スクラップを監視する監視方法であって、
前記鉄スクラップを運搬する運搬ステップと、
前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影ステップと、
前記撮影ステップにおける撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定ステップと、
前記禁忌物特定ステップにより特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備え、
前記撮影ステップは、前記運搬ステップにより運搬中の前記鉄スクラップの位置および前記運搬ステップの操作に関する少なくともいずれかの情報に基づいて撮影方向および撮影倍率を逐次調整して、運搬中の前記鉄スクラップを追従した撮影を行い、
前記禁忌物特定ステップは、前記追従した撮影により得られた複数の画像を前記学習モデルに入力して、前記禁忌物の種類、位置、および禁忌物である確率を特定する、監視方法。
（１３）
前記運搬ステップは、リフトマグネットにより行われ、
前記撮影ステップは、前記リフトマグネットの磁力強度または吊り荷重量に応じて、前記撮影方向および前記撮影倍率を逐次調整する、（１２）に記載の監視方法。
（１４）
鉄スクラップを監視する監視方法であって、
前記鉄スクラップを運搬する運搬ステップと、
前記運搬ステップにより運搬中の前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影ステップと、
前記撮影ステップの撮影により得られた複数の画像から、それぞれ禁忌物が含まれている可能性のある領域を抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出されたそれぞれの領域の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率を特定する禁忌物特定ステップと、
前記禁忌物特定ステップにより特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備え、
前記運搬ステップは、リフトマグネットにより行われ、
前記領域抽出ステップは、前記リフトマグネットの磁力強度または吊り荷重量に応じて、抽出する領域サイズを変更する、監視方法。
（１５）
前記領域抽出ステップは、前記撮影ステップの撮影により得られた複数の画像から、深層学習モデルを用いてリフトマグネットを特定し、特定したリフトマグネットの直下から禁忌物が含まれている可能性のある領域を抽出し、前記リフトマグネットの磁力強度または吊り荷重量に応じて、当該抽出する領域サイズを変更する、（１４）に記載の監視方法。
（１６）
鉄スクラップを監視する監視方法であって、
前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影ステップと、
前記撮影ステップの撮影により得られた複数の画像から、第１の深層学習モデルを用いて禁忌物が含まれている可能性のある領域を、それぞれ抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出されたそれぞれの領域の画像を第２の深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定ステップと、
前記禁忌物特定ステップにより特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備える、監視方法。
（１７）
前記領域抽出ステップにおいて前記第１の深層学習モデルに入力される画像は、前記禁忌物特定ステップにおいて前記第２の深層学習モデルに入力される画像よりも低解像度である、（１６）に記載の監視方法。
（１８）
鉄スクラップを監視する監視方法であって、
前記鉄スクラップを運搬する運搬部によって運搬中の前記鉄スクラップに対して別タイミングで複数回撮影する撮影ステップと、
前記撮影ステップの撮影により得られた複数の画像についての差分の画像から、禁忌物が含まれている可能性のある領域を抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出された領域の画像を深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定ステップと、
前記禁忌物特定ステップにより特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備え、
前記禁忌物特定ステップは、前記領域抽出ステップにより抽出された、禁忌物が含まれている可能性のある領域から、前記運搬部を除いた画像を、前記深層学習モデルに入力する、監視方法。
（１９）
鉄スクラップを監視するためのプログラムであって、
前記鉄スクラップに対して現在時刻を含む別タイミングで複数回撮影する撮影手順と、
前記撮影手順における撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、前記学習モデルによって特定された現在時刻での禁忌物である確率および現在時刻より過去のタイミングで前記学習モデルによって特定された禁忌物である確率を所定の関数に入力し、前記現在時刻での禁忌物である確率を再計算する禁忌物特定手順と、
前記禁忌物特定手順により算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、コンピュータに実行させるための、プログラム。
（２０）
鉄スクラップを監視するためのプログラムであって、
前記鉄スクラップに対して別視点かつある時点を含む別タイミングで複数回撮影する撮影手順と、
前記撮影手順における撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、複数の視点かつ前記ある時点を含む複数のタイミングで撮影された複数の画像を前記学習モデルに入力することで得られた複数の当該禁忌物である確率を所定の関数に入力し、前記ある時点での禁忌物である確率を再計算する禁忌物特定手順と、
前記禁忌物特定手順により算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、をコンピュータに実行させるための、プログラム。
（２１）
鉄スクラップを監視するためのプログラムであって、
前記鉄スクラップを運搬する運搬手順と、
前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影手順と、
前記撮影手順における撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定手順と、
前記禁忌物特定手順により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、をコンピュータに実行させ、
前記撮影手順は、前記運搬手順により運搬中の前記鉄スクラップの位置および前記運搬手順の操作に関する少なくともいずれかの情報に基づいて撮影方向および撮影倍率を逐次調整して、運搬中の前記鉄スクラップを追従した撮影を行い、
前記禁忌物特定手順は、前記追従した撮影により得られた複数の画像を前記学習モデルに入力して、前記禁忌物の種類、位置、および禁忌物である確率を特定する、プログラム。
（２２）
前記運搬手順は、リフトマグネットにより行われ、
前記撮影手順は、前記リフトマグネットの磁力強度または吊り荷重量に応じて、前記撮影方向および前記撮影倍率を逐次調整する、請求項２１に記載のプログラム。
（２３）
鉄スクラップを監視するためのプログラムであって、
前記鉄スクラップを運搬する運搬手順と、
前記運搬手順により運搬中の前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影手順と、
前記撮影手順の撮影により得られた複数の画像から、それぞれ禁忌物が含まれている可能性のある領域を抽出する領域抽出手順と、
前記領域抽出手順により抽出されたそれぞれの領域の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率を特定する禁忌物特定手順と、
前記禁忌物特定手順により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、をコンピュータに実行させ、
前記運搬手順は、リフトマグネットにより行われ、
前記領域抽出手順は、前記リフトマグネットの磁力強度または吊り荷重量に応じて、抽出する領域サイズを変更する、プログラム。
（２４）
前記領域抽出手順は、前記撮影手順の撮影により得られた複数の画像から、深層学習モデルを用いてリフトマグネットを特定し、特定したリフトマグネットの直下から禁忌物が含まれている可能性のある領域を抽出し、前記リフトマグネットの磁力強度または吊り荷重量に応じて、当該抽出する領域サイズを変更する、（２３）に記載のプログラム。
（２５）
鉄スクラップを監視するためのプログラムであって、
前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影手順と、
前記撮影手順の撮影により得られた複数の画像から、第１の深層学習モデルを用いて禁忌物が含まれている可能性のある領域を、それぞれ抽出する領域抽出手順と、
前記領域抽出手順により抽出されたそれぞれの領域の画像を第２の深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定手順と、
前記禁忌物特定手順により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、をコンピュータに実行させる、プログラム。
（２６）
前記領域抽出手順において前記第１の深層学習モデルに入力される画像は、前記禁忌物特定手順において前記第２の深層学習モデルに入力される画像よりも低解像度である、（２５）に記載のプログラム。
（２７）
鉄スクラップを監視するためのプログラムであって、
前記鉄スクラップを運搬する運搬部によって運搬中の前記鉄スクラップに対して別タイミングで複数回撮影する撮影手順と、
前記撮影手順の撮影により得られた複数の画像についての差分の画像から、禁忌物が含まれている可能性のある領域を抽出する領域抽出手順と、
前記領域抽出手順により抽出された領域の画像を深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定手順と、
前記禁忌物特定手順により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、をコンピュータに実行させ、
前記禁忌物特定手順は、前記領域抽出手順により抽出された、禁忌物が含まれている可能性のある領域から、前記運搬部を除いた画像を、前記深層学習モデルに入力する、プログラム。
本発明によれば、鉄スクラップに対して別視点（複数のカメラで撮影した静止画、動画を含む）又は別タイミング（単一又は複数のカメラで撮影した動画を含む）での監視を行うため、鉄スクラップ群の表面から少し奥に禁忌物が入っている場合であっても、従来よりも正確に禁忌物の有無を判定できる。
本実施形態に係る監視システムの適用例を示す図である。 撮影装置が３つのカメラにより構成されている例を示す図である。 禁忌物検出装置の機能構成例を示すブロック図である。 鉄スクラップの存在領域を示した図である。 鉄スクラップの存在領域を矩形で示した図である。 リフトマグネットの磁力強度に応じて鉄スクラップの存在領域のサイズを変更した例を示す図である。 学習モデルの生成に用いられる学習データの一例を示す図である。 本実施形態に係る学習モデル生成処理を説明するためのフローチャートである。 本実施形態に係る禁忌物検出処理を説明するためのフローチャートである。 運搬中の未検品鉄スクラップを追従した撮影を行う場合の構成例を示す図である。 運搬装置をベルトコンベアとした場合の例を示す図である。 本実施形態および変形例における禁忌物検出装置のハードウェア構成の一例を示すブロック図である。 実施例１によりリフトマグネットの運搬によって禁忌物が露出し、検出に成功した例を示す図である
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
［１．概要］
まず、図１を参照して、本発明の一実施形態の概要を説明する。図１は、本実施形態に係る監視システム１の適用例を示す図である。図１に示すように、監視システム１は、鉄スクラップを監視するシステムであって、例えば、鉄スクラップヤードで用いられる。工場、市中などで発生した鉄スクラップは、トラック２によって鉄スクラップヤードに搬入されると、リフトマグネットなどの運搬装置１０を用いて検品済み鉄スクラップ積載場３まで運搬（荷下ろし）される。
トラック２によって搬入されたばかりの鉄スクラップには、製鉄メーカーによって受け入れ禁止となっている禁忌物が混入している可能性がある。このため、鉄の製造等に再利用する前に搬入された鉄スクラップを検品し、禁忌物が混ざっていれば当該鉄スクラップから除去する必要がある。ここで、禁忌物には、銅などの非鉄成分を含むモーター、溶鋼に投入すると爆発の恐れがあるガスボンベなどが含まれる。また、以下では、検品前の鉄スクラップを未検品鉄スクラップ４、検品後の鉄スクラップを検品済み鉄スクラップ５と称する場合がある。
そこで、本実施形態に係る監視システム１は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４、もしくは運搬装置１０により運搬中の未検品鉄スクラップ４を撮影し、画像処理によって検品を行う。具体的には、本実施形態に係る監視システム１は、深層学習などの技術を用いて、鉄スクラップ中に含まれる禁忌物を検出できる学習モデルをあらかじめ作成しておく。学習モデルからは、禁忌物の種類、位置に加えて、禁忌物である確率をも出力させる。未検品鉄スクラップ４を撮影して新たに取得した画像をこの学習モデルに入力したとき、画像から禁忌物が検出され、上記禁忌物である確率が所定の閾値を超えた場合には、オペレータにその旨を通知して、禁忌物の除去を促す。なお以下では、学習モデルが深層学習の技術で生成された深層学習モデルとして説明することが多いが、学習モデルの種類はこれに限られるものではなく、例えば深層学習ではない一般的な機械学習の技術で生成されたものでもよい。
なお、本実施形態に係る監視システム１は、別視点又は別タイミングで複数回撮影して得られた画像（例えば、別タイミングで連続的に撮影する場合は１秒に３０枚程度）を上記学習モデルに逐次入力して、その都度、禁忌物を検出する。そのため、本実施形態に係る監視システム１は、トラック２の荷台上で禁忌物の検出を一度しか行わない特許文献２に比べ、禁忌物を発見できる確率が上がる。
以下、本実施形態に係る監視システム１について詳細に説明する。
［２．監視システム１全体の構成］
図１に示すとおり、本実施形態に係る監視システム１は、運搬装置１０と、撮影装置２０と、禁忌物検出装置３０と、を備える。
（運搬装置１０）
運搬装置１０は、鉄スクラップヤード内の所定位置に停車したトラック２の荷台から、検品済み鉄スクラップ積載場３まで、未検品鉄スクラップ４を運搬する。図１に示す例では、運搬装置１０は、リフトマグネット１１と、クレーン１２と、クレーンレール１３と、運搬制御部１４と、操作部１５と、を備え、磁力によって未検品鉄スクラップ４を吊り上げて運搬可能である。ただし、本発明は係る例に限定されず、運搬装置１０は、例えばベルトコンベア、アーム、重機のような機械装置であってもよく、未検品鉄スクラップ４をトラック２の荷台から検品済み鉄スクラップ積載場３まで運搬できるのであればどのような形態でもよい。
リフトマグネット１１は、筐体内部に磁力を発生する装置を備え、その磁力の強弱を制御することにより、磁性を有する未検品鉄スクラップ４の吸着と吸着解除を行う。クレーン１２は、リフトマグネット１１をワイヤー等により吊下げ可能な構造を有しており、リフトマグネット１１を昇降させる。クレーンレール１３は、図１の紙面奥行方向と左右方向にクレーン１２を移動させることが可能なレールを有している。そのため、クレーン１２は、クレーンレール１３に沿って移動し、鉄スクラップヤードの特定の範囲内であれば位置を自由に変更できる。運搬制御部１４は、操作部１５からの指示に基づき、リフトマグネット１１の磁力の強弱と、クレーン１２の昇降および位置とを制御する。操作部１５は、オペレータによる操作を受け付ける操作機構（例えば、操作パネル）を有しており、オペレータの操作に基づきリフトマグネット１１とクレーン１２を制御するための指示（信号）を運搬制御部１４に送信する。
（撮影装置２０）
撮影装置２０は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４、もしくは運搬装置１０により運搬中の未検品鉄スクラップ４を撮影部で撮影する。これを撮影ステップとする。図１に示す例では、撮影装置２０は、単一のカメラにより構成され、連続的に異なるタイミングで複数回撮影することで動画を作成する。ただし、撮影装置２０は、複数のカメラにより構成され、それぞれのカメラが別視点で複数回撮影することで、複数の静止画を作成してもよい。また、鉄スクラップ４は運搬装置１０を介して基本的には動き続けており、複数のカメラは運搬中の鉄スクラップ４を撮影対象とする。
なお、それぞれのカメラが別視点で複数回撮影することとは、複数のカメラを異なる場所に設置し、各々のカメラが時系列的に複数のタイミングで鉄スクラップを撮影することをいう。あるいはカメラが１つの場合は、鉄スクラップに対する撮影装置の位置を変更ながら撮影したり、撮影倍率を変更しながら撮影したりしてもよい。
また、別タイミングで複数回撮影することとは、時系列的に複数のタイミングで鉄スクラップを撮影することをいう。なお、カメラが複数台の場合、各カメラの撮影のタイミングは一致していてもよく、また、一致していなくてもよい。
図２は、撮影装置２０が３つのカメラにより構成されている例を示す図である。図２の上図は、鉄スクラップヤードを側面から見た図であり、図２の下図は鉄スクラップヤードを上から見た図である。図２に示すとおり、撮影装置２０は、トラック２の荷台の上方に設けられた第１カメラ２０ａと、リフトマグネット１１の下方から未検品鉄スクラップ４を別視点で撮影可能な位置に設けられた第２カメラ２０ｂ、第３カメラ２０ｃとにより構成されてもよい。もちろん、撮影装置２０が複数のカメラにより構成される場合であっても、それぞれのカメラが動画を作成するようにしてもよい。なお、撮影装置２０で作成された動画、又は複数の静止画は、禁忌物検出装置３０に出力される。
（禁忌物検出装置３０）
図１に戻り、禁忌物検出装置３０は、撮影装置２０から得られた画像（静止画、動画を含む）に含まれている禁忌物を検出し、その検出結果をオペレータに通知する。これを実現するために、図１に示す例では、禁忌物検出装置３０は、検出制御部３１と、出力部３２とを備えている。
（検出制御部３１）
検出制御部３１は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点又は別タイミングで複数回撮影させ、動画、又は複数の静止画を取得する。検出制御部３１は、取得した複数の画像（すなわち、動画、又は複数の静止画）を深層学習モデル（機械学習により学習済みの学習モデル）に入力して、禁忌物の種類、位置、および禁忌物である確率を逐次特定する。そして、検出制御部３１は、特定された禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率を、それぞれ出力部３２に送信する。
上記学習モデルは上記複数の画像に対し共通（単一）とせず、複数設けてもよい。例えば、撮影装置２０が複数のカメラにより構成される場合は、カメラ毎に異なる学習モデルを設けてもよい。撮影装置２０が単一のカメラにより構成される場合であっても、例えば、モーター、ガスボンベといった禁忌物の種類毎にそれぞれの禁忌物を検出するのに特化した別々の学習モデルを設けてもよい。
以下、検出制御部３１の変形例について説明する。変形例では、撮影装置２０が単一のカメラにより構成される場合を扱う。前述の通り、本実施形態では、単一のカメラが連続的に異なるタイミングで複数回撮影を実施し深層学習モデルの処理にかけることで、それぞれのカメラ、タイミングに対し禁忌物の種類、位置、および禁忌物である確率が出力される。ここで、現在時刻での禁忌物である確率は、現在時刻での禁忌物である確率および、現在時刻より過去の複数タイミングでの禁忌物である確率の関数として算出した後、禁忌物か否かを判断するための所定の閾値と比較してもよい。例えば、現在時刻からの隔たりが所定の時間範囲に入る複数タイミングでの禁忌物である複数の確率の平均（後方移動平均）、あるいは最大値や最小値などとして算出してもよい。後方移動平均を取ると過検知を抑制することができる。すなわち、あるタイミングで禁忌物以外の物体に対し深層学習モデルがたまたま禁忌物である確率が高いと誤って判断を下した場合であっても、過去の複数タイミングで禁忌物である確率を低いと正しく出力していたならば後方移動平均値は低く抑えられることができる。これにより、禁忌物をより正確に特定することが可能となる。
また図２のように複数のカメラ構成を用いる場合には、ある時点でのある禁忌物である確率を、当該時点の複数のカメラ画像に対する深層学習モデル処理の結果として得られる、複数の当該禁忌物である確率の関数として算出した後、禁忌物か否かを判断するための所定の閾値と比較してもよい。具体的には、例えば、当該時点の複数のカメラに対する当該禁忌物である確率の和として算出してもよい。この積算処理は未検知抑制に効果的である。すなわち、未検品鉄スクラップの搬送過程においては、あるカメラの画像には禁忌物の一部しか映らず、もう一つの別のカメラの画像でもやはり禁忌物の一部しか映らない状況が起こりえる。このような場合に、カメラ毎に禁忌物である確率を算出すると、禁忌物が一部しか映らなくなり、禁忌物である確率が低くなり、禁忌物か否かを判断するための所定の閾値を超えずに未検知となる。一方で、上述のように、各カメラに対する当該禁忌物である確率を積算すれば、積算値が所定の閾値を上回ることで、検知可能となる。なお積算においては、単純な和を取るのではなく、各カメラに重み係数を与え、重み付き和を取ってもよい。各カメラ画像から得られる禁忌物である確率は、カメラと未検品鉄スクラップとの距離等に影響を受け、各カメラ間で信頼度に差が生じるが、この補正を狙うものである。一例として、この信頼度の差をカメラと未検品鉄スクラップとの距離等で指標化し、それらを係数にした重み付き和を取ってもよい。
また禁忌物である確率の算出については、上記でそれぞれ述べた、時間方向の複数タイミングにおける確率の処理と、複数カメラに対する確率の処理とを組合せてもよい。例えば上記で述べた、２つ以上のカメラに禁忌物の一部ずつが映るという現象は、あるカメラに禁忌物の一部が映った後で、別のカメラに禁忌物の一部が映るという時差が生じることがある。この場合、各々の１タイミングで複数カメラに対する禁忌物である確率を積算するだけでは、全てのタイミングに対し、禁忌物か否かを判断するための所定の閾値を超えずに未検知となってしまう。一方、時間方向の複数タイミングにおける確率の処理まで組み合わせれば、たとえ上述の時差があったとしてもその影響を吸収し、検知することができる。
（出力部３２）
出力部３２は、検出制御部３１から送信された情報を出力する。すなわち、出力部３２は、禁忌物特定手順で禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類および、位置をそれぞれ出力する。また、出力部３２は、禁忌物の検出に用いた画像（後述する図６に示す元画像）、および検出結果の画像（図６に示すマーキング画像、矩形生成画像）を併せて出力してもよい。また、出力部３２は、深層学習モデルにより特定された禁忌物である確率を併せて出力してもよい。
このような出力部３２は、文字列、画像等を表示するディスプレイであってもよいし、音声を出力するスピーカであってもよい。なお、出力部３２は、禁忌物検出装置３０と一体的に設けられてもよいし、禁忌物検出装置３０とは離れた位置に独立して設けてもよい。これにより、出力部３２の出力を受けたオペレータは、未検品鉄スクラップ４に禁忌物が混入しているおそれがあることを容易かつ正確に知ることができ、適宜、禁忌物を未検品鉄スクラップ４から除去できる。
以上のような構成により、本実施形態１に係る監視システム１は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４、もしくは運搬装置１０により運搬中の未検品鉄スクラップ４に対して撮影し、撮影して得られた複数の画像（動画、又は複数の静止画）を用いて、未検品鉄スクラップ４の検品を行う。
［３．禁忌物検出装置３０の機能構成］
次に、禁忌物検出装置３０の機能構成について説明する。図３は、禁忌物検出装置３０の機能構成例を示すブロック図である。
図３に示すように、上述した禁忌物検出装置３０の検出制御部３１は、画像取得部３１０と、領域抽出部３１１、禁忌物特定部３１２と、判定部３１３とを、有する。
（画像取得部３１０）
画像取得部３１０は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点又は別タイミングで複数回撮影手順を繰り返し、複数の画像（動画、又は複数の静止画）を取得する。画像取得部３１０は、撮影装置２０より取得した画像を適切な所定サイズに変換し、領域抽出部３１１又は禁忌物特定部３１２へ出力する。
（領域抽出部３１１）
領域抽出部３１１は、撮影装置２０の撮影により得られた複数の画像（所定サイズに変換された画像）から、それぞれ禁忌物が含まれている可能性のある領域（以下、「鉄スクラップの存在領域」と称する）を抽出する。鉄スクラップの存在領域とは、運搬中の鉄スクラップが存在する領域のことであり、例えば、運搬開始場所（具体的にはトラックの荷台など）におけるスクラップの表面や、運搬終了場所におけるスクラップの表面、運搬中の鉄スクラップのことである。
例えば、領域抽出部３１１は、深層学習モデルなどを用いて鉄スクラップの存在領域を特定し、特定した鉄スクラップの存在領域のみを抽出して禁忌物特定部３１２へ出力する。
複数の画像を入力画像として深層学習モデル（周知のＹＯＬＯｖ３（非特許文献１）に入力すると、オペレータが注目していない運搬中の鉄スクラップ以外のものを異物として検知したり、既に検品が終了したスクラップ中の異物に反応したりするので実用的ではない。そこで、「鉄スクラップの存在領域」の抽出として、物体検出モデルを使用して、リフトマグネットと鉄スクラップの領域を特定し、抽出された鉄スクラップの存在領域を異物検出モデルに適用してもよい。また、リフトマグネット等の運搬部の座標をオペレータの操作情報から取得し、予めどの座標であれば画像中のどこの位置に運搬部や鉄スクラップが存在するかの対応付け情報を準備しておき、その対応付け情報に基づき、鉄スクラップの存在領域を抽出してもよい。また、時系列的に連続する複数の画像の情報から「鉄スクラップの存在領域」を検出してもよい。これにより、禁忌物特定部３１２において誤検知を防ぐことができると同時に処理時間も短くなる。また、深層学習モデルは、例えば、ニューラルネットワーク等のディープラーニング（深層学習）によって生成された学習済みモデルである。ディープラーニングの手法としては、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの多層のニューラルネットワークを適用することができるが、これに限定されるものではない。
図４Ａは、鉄スクラップの存在領域を示した図である。図４Ａに示すように、鉄スクラップの存在領域は、ピクセル毎に定められた領域とする。このように鉄スクラップの存在領域の画像のみを用いて禁忌物特定部３１２で禁忌物を特定するようにすれば、禁忌物特定部３１２が禁忌物を探索する画像領域が限定されるため処理時間を短縮することができる。
なお領域抽出部３１１で鉄スクラップの存在領域を抽出する深層学習モデルに入力される画像は、禁忌物特定部３１２で用いる深層学習モデルに入力される画像と比べて低解像度でよく、従って処理時間も短い。よって、領域抽出部３１１が無い場合と比較した際に、領域抽出部３１１を追加することで全体の処理時間が長くなることはない。
また、図４Ｂは、鉄スクラップの存在領域を矩形で示した図である。図４Ｂに示すように、領域抽出部３１１は、鉄スクラップの存在領域を矩形で表現した矩形情報（例えば、矩形の位置を示す座標データ）を出力する深層学習モデルを用いて、スクラップの存在領域を特定し、禁忌物特定部３１２に出力してもよい。このとき、領域抽出部３１１から禁忌物特定部３１２へは、元画像と鉄スクラップの存在領域に対応する矩形情報をセットとして出力してもよいし、矩形情報をもとに鉄スクラップの存在領域を元画像から切り取った画像のみ出力してもよい。
また、領域抽出部３１１は、未検品鉄スクラップ４がリフトマグネット１１によって運搬されている場合、禁忌物特定部３１２へ出力する鉄スクラップの存在領域を、リフトマグネット１１の磁力強度に応じて、その領域サイズを変更してもよい。具体的には、領域抽出部３１１は、あらかじめリフトマグネット１１の特徴を学習させた深層学習モデルなどを用いて、画像中のリフトマグネット１１の位置を特定後、そのリフトマグネット１１の直下に、リフトマグネット１１の磁力強度に応じたサイズの矩形領域を鉄スクラップの存在領域として設定すればよい。リフトマグネット１１の磁力強度変更については、内部に電磁石を備えた電磁式のリフトマグネットを用いて、電磁石に流れる電流量を制御することで磁力強度を調整することができる。なお、鉄スクラップの存在領域サイズは、リフトマグネット１１の磁力強度でなく、リフトマグネット１１に吊られた荷物の荷重（吊り荷重量）に応じて変更してもよい。この場合、吊り荷重量は、公知の計測手段（例えば、ロードセル等）を用いて計測することが可能である。以降では、説明を簡単にするために、磁力強度に応じて鉄スクラップの存在領域サイズを変更する場合の例について説明する。
図５は、リフトマグネット１１の磁力強度に応じて鉄スクラップの存在領域のサイズを変更した例を示す図である。図５の左図に示すように、リフトマグネット１１の磁力強度が弱いときは、リフトマグネット１１に吸着している未検品鉄スクラップ４は少ないため、鉄スクラップの存在領域は相対的に小さく設定される。一方で、図５の右図に示すように、リフトマグネット１１の磁力強度が強いときは、リフトマグネット１１に吸着している未検品鉄スクラップ４が多くなるため、鉄スクラップの存在領域は相対的に大きく設定される。
以上説明してきた鉄スクラップの存在領域の抽出方法は、複数のタイミングで撮影される画像それぞれに対し、独立に適用できるものであるが、鉄スクラップの存在領域の抽出方法にはタイミングの異なる複数の画像を用いることもできる。例えば、領域抽出部３１１は、禁忌物特定部３１２へ出力する鉄スクラップの存在領域を、動体検知によって移動中の物体存在領域として抽出してもよい。これは、検品作業をとらえるカメラ画像において、リフトマグネット等の搬送器具およびそれが搬送している鉄スクラップが動く一方、カメラに映るその他物体は全て静止している、との性質を利用するものであり、動体検知によって搬送器具および鉄スクラップ領域が抽出される。動体検知の方法としては、現時点の画像と少し前の画像との差分の画像を求め、値の大きい部分を抽出するといった公知の技術を用いることができる。こうして抽出された領域を禁忌物特定部３１２に出力する。なおこの抽出領域のうち搬送器具の部分には禁忌物が含まれる可能性はない。そこで、別の画像処理（予め取得された搬送器具の画像パターンとのマッチング等）で搬送器具の部分を特定し、この部分を除いた上で禁忌物特定部３１２に出力してもよい。
なお、領域抽出部３１１、深層学習モデルなどの技術は用いずに、画像中の所定の位置、所定のサイズの領域を鉄スクラップの存在領域として設定してもよい。
また、領域抽出部３１１を設けず、画像取得部３１０で取得された画像をそのまま禁忌物特定部３１２に出力してもよい。
（禁忌物特定部３１２）
図３に戻り、禁忌物特定ステップで、禁忌物特定部３１２は、画像取得部３１０により取得された複数の画像（所定サイズに変換された画像、もしくは領域抽出部３１１により抽出された領域の画像）を、深層学習モデル（機械学習により学習済みの学習モデル）に入力して、禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する。また、禁忌物を検出した時に禁忌物の位置を特定することで、オペレータが当該画像内における禁忌物の場所を目視で即座に確認することが出来る。これにより、オペレータは画像上で禁忌物の位置を短時間で判別でき、監視方法、監視システムの精度をより高めることが出来る。
本実施形態において、ディスプレイには運搬中の鉄スクラップが映し出されており、運搬中の鉄スクラップに対して禁忌物の位置、確率、種類をさらに表示させている。そのため、オペレータはどのような種類の禁忌物がどの位置に存在しているのか、精度よく把握することができる。
なお、禁忌物の位置を表示するとは、例えば禁忌物が存在する領域を枠で囲むこととしてもよい。また、禁忌物の種類を表示するとは、例えば、予め設定された禁忌物の種類ごとに枠の色や形状等を変更したり、テキストで禁忌物の種類を表示したりしてもよい。また、禁忌物の確率を表示するとは、例えば、枠で囲まれた領域に禁忌物が存在する確率を数値でディスプレイに表示することとしても良い。なお、運搬中の鉄スクラップをディスプレイに表示させるため、撮像装置が取得した鉄スクラップの画像を随時ディスプレイに表示させることとしてもよい。なお、本実施形態において、禁忌物の位置および種類に加えて、禁忌物の確率を出力ステップで出力しているが、禁忌物の位置および種類のみを出力することとしてもよい。
禁忌物の種類の設定の仕方としては、例えば、モーター、ガスボンベ、というように禁忌物が利用される際の機能に応じた設定とすることができるが、これに限られるものではない。例えば、モーター、ガスボンベ、その他の禁忌物を全てまとめて１種類として扱ってもよい。この場合、禁忌物の種類としては１つになる（例えば「禁忌物」との１種類）。モーター、ガスボンベなど種類を細分化するのと比較して、得られる情報は少なくなるが、除去すべき禁忌物が存在するとの最低限出力すべき情報は出力することができる。また、禁忌物の種類の設定の仕方は組合せも考えられる。例えば、禁忌物特定部３１２における深層学習モデルの出力では、モーター、ガスボンベなど種類を細分化しておくが、出力部３２における出力では、全ての禁忌物を１種類にまとめた形で出力することもできる。
なお、ここで用いる学習モデルとしては、特に限定するものではないが、非特許文献１と非特許文献２に示すような画像中の物体の種類、位置およびその物体である確率を出力する機械学習モデルとしてもよいし、非特許文献３－５のように正常な画像を学習し正常からのズレを異常として検知する機械学習モデルとしてもよいし、禁忌物の形状パターンを人があらかじめ設定して検出するパターンマッチングなどの画像処理技術が用いられてもよい。非特許文献１－５では、毎回の判定の際、深層学習モデルへ入力される画像の数は１枚であるが、時系列的に連続する複数の画像を入力し、それらを総合的に判断して、物体の種類、位置およびその物体である確率を出力させてもよい。以下の説明では、深層学習モデルへ入力される画像の数は１枚として説明する。
（判定部３１３）
判定部３１３は、禁忌物特定部３１２により特定された禁忌物である確率が所定の閾値を超えているか否かを判定する。そして、判定部３１３は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率を、それぞれ出力部３２に送信する。
また、禁忌物検出装置３０は、図３に示すように、モデル生成部３３と、モデル出力部３４と、データ記憶部３５とを、さらに有していてもよい。
（モデル生成部３３）
モデル生成部３３は、撮影装置２０で撮影された未検品鉄スクラップ４の画像から禁忌物の種類、位置、および禁忌物である確率を特定する単数あるいは複数の学習モデルを生成する。
モデル生成部３３は、撮影装置２０により撮影された過去の未検品鉄スクラップ４の画像と、その画像に含まれていた禁忌物の種類および位置を表す情報とが関連付けられた複数のデータを学習データとして、機械学習により、画像中の禁忌物の種類、位置、および禁忌物である確率を特定するモデルを生成する。
図６は、学習モデルの生成に用いられる学習データの一例を示す図である。モデル生成部３３は、撮影装置２０により撮影された過去の未検品鉄スクラップ４の画像（図６の上図に示す元画像）と、その元画像中において禁忌物が存在している正解の領域を特定し得るラベルデータ（図６の中図、下図に示す画像）とを、学習データのセットとして用いる。例えば、図６の中図に示すように、予め、元画像に対して人が禁忌物の存在している領域を判定して、禁忌物全体にラベル付け（マーキング）した画像を学習データのセットとして用いる。なお、学習時には人がつけた正解のラベルデータに対して禁忌物である確率が所定の基準値以上（例えば、１００％）となるように最適化の目的関数を設定して学習する。
なお、ここで用いるラベルデータとしては、元画像データ（図６の上図）中における禁忌物の位置をマーキングしたマーキング画像データ（図６の中図）であってもよい。このとき、マーキングした禁忌物の種類を表す情報として、あらかじめ禁忌物ごとに振り分けた輝度値を用いることができる。例えば、０～２５５段階の輝度値で表されるグレースケール画像をマーキング画像として用いる場合、モーターを輝度５０、ガスボンベを輝度１００でマーキングするなどして、禁忌物の種類を各画素の輝度値で区別できるようにしてもよい。もちろん、禁忌物の位置を表す情報としては、禁忌物として振り分けた輝度値を有する画素の座標を用いればよい。
また、ラベルデータとして、図６の下図のように画像中の禁忌物の周囲を囲うように作成した矩形情報などを含むテキストデータとしてもよい。例えば、このテキストデータには、禁忌物の位置として矩形の座標データを用い、禁忌物の種類としてその矩形内の禁忌物を識別可能な情報を用いればよい。
上記で用いる元画像データには、例えば、ｊｐｇ、ｂｍｐ、ｐｎｇ等の形式が用いられ、テキストデータには、ｔｘｔ、ｊｓｏｎ、ｘｍｌなどの形式が用いられる。
また、モデル生成部３３は、禁忌物を含まない正常の鉄スクラップを撮影したときの画像を学習データとして学習してもよい。この手法では、非特許文献２－４のように、禁忌物を含まない正常な鉄スクラップの画像を複数枚用いて、正常な鉄スクラップを表現するための特徴を機械学習モデルに学習させる。このように正常な鉄スクラップを学習して生成された学習済みのモデルに、禁忌物が含まれている画像が入力されたときは、異常として異常部位と異常度が出力される。このモデルを採用する場合、オペレータに出力する禁忌物である確率には、その異常度をベースとした値を使用する。例えば、異常度の値が０．０～１．０の範囲に入るように規格化し、その異常度を禁忌物である確率と見做す。
なお、図３に示すように、モデル生成部３３は、後述するデータ記憶部３５から、学習データを取得する。モデル生成部３３によるモデル生成処理の詳細については後述する。
（モデル出力部３４）
モデル出力部３４は、モデル生成部３３により生成された学習モデルを出力する。例えば、モデル出力部３４は、モデル生成部３３により生成された学習モデルを、禁忌物特定部３１２において禁忌物の種類、位置、および禁忌物である確率を特定するときに用いることが可能なように、禁忌物特定部３１２へ出力する。
（データ記憶部３５）
データ記憶部３５は、モデル生成部３３が学習モデルを生成する際に用いる学習データを記憶する記憶装置である。データ記憶部３５は、撮影装置２０により撮影して得られた全ての画像を記憶しておいてもよいし、学習データとして用いる予定の画像のみを記憶しておいてもよい。
以上、本実施形態に係る監視システム１の構成について説明した。なお、図１および図３に示す監視システム１の各装置の構成は一例であり、複数の装置の機能を１つの装置が備えてもよく、１つの装置に含まれる複数の機能を異なる装置で実施するように構成することも可能である。
［４．学習モデル生成処理］
以下、本実施形態に係る監視システム１の動作について説明する。最初に、監視システム１において実施される学習モデル生成処理について説明する。図７は、本実施形態に係る学習モデル生成処理を説明するためのフローチャートである。
モデル生成部３３は、監視システム１を用いて鉄の製造等に再利用する鉄スクラップの検品を実施する前に、あらかじめユーザからの指示に基づき学習モデル生成処理を開始する。もしくは、モデル生成部３３は、定期的に学習モデル生成処理を実行してもよい。
（Ｓ１１０：学習データ取得）
本実施形態の学習モデルの学習条件は、モデル条件、データセット条件及び学習設定条件を含む。モデル条件は、ニューラルネットワークの構造に関する条件である。データセット条件は、学習中にニューラルネットワークに入力する学習データの選択条件、それらデータの前処理や画像の拡張方法の条件等を含む。学習設定条件は、重みやバイアスといったニューラルネットワークのパラメータの初期化条件や最適化方法の条件、損失関数の条件等を含む。ここで、損失関数の条件には正則化関数の条件も含まれる。
図７に示すように、学習モデル生成処理を開始すると、まず、モデル生成部３３は、撮影装置２０により撮影された画像から鉄スクラップ中に含まれている禁忌物を検出することが可能な学習モデルの生成に必要な学習データを、データ記憶部３５から取得する（Ｓ１１０）。例えば、モデル生成部３３は、撮影装置２０により撮影された過去の未検品鉄スクラップ４の元画像と、その元画像中に含まれていた禁忌物の種類および位置を表す情報とが関連付けられた複数のデータを、学習データとして取得する。
ここで、禁忌物の位置および種類を表す情報としては、禁忌物全体にラベル付け（マーキング）したマーキング画像（図６の中図）であってもよいし、禁忌物を含む矩形領域にラベル付け（矩形生成）した矩形生成画像（図６の下図）であってもよい。また、段落［００５６］で述べた方法に対応して、禁忌物が含まれていない正常な未検品鉄スクラップ４の画像を学習データとして用いてもよい。なお、ステップＳ１１０において取得する学習データは、禁忌物特定部３１２で禁忌物の検出に用いる画像と同一の撮影装置２０により撮影された画像であることが望ましいが、異なる撮影装置２０により撮影された画像であってもよい。また、学習データに用いる画像としては、未検品鉄スクラップ４に紛れている実際の禁忌物を撮影して得た画像が望ましいが、インターネットなどで取得可能な禁忌物の画像（モーターのカタログ画像など）であってもよい。
（Ｓ１２０：モデル生成）
次いで、モデル生成部３３は、ステップＳ１１０により取得した学習データを用いて、機械学習によって、禁忌物を検出可能な学習モデルを生成する（Ｓ１２０）。
モデル生成部３３で生成される学習モデルには、次の２通りが想定されるがどちらを用いてもよい。一つ目は、禁忌物が含まれている画像（図６の上図の元画像）と、その画像中において禁忌物が存在している正解の領域を特定し得るデータ（図６の中図、下図に示す画像）とが関連付けられた複数のデータを学習データとして、画像中の禁忌物の特徴を学習し、検出時に禁忌物の種類、位置、および禁忌物である確率を算出する第１学習モデルである。二つ目は、禁忌物が含まれていない正常な未検品鉄スクラップ４の画像を学習データとして、正常な鉄スクラップ全体の特徴を学習し、検出時には未検品鉄スクラップ４に禁忌物が含まれているときのみ異常として、その異常部位と異常度を算出する第２学習モデルである。
・第１学習モデル
第１学習モデルを生成する場合は、モデル生成部３３は、データ記憶部３５から取得した禁忌物が含まれている画像（図６の上図の元画像）を第１学習モデルに入力し、その第１学習モデルが出力する禁忌物の位置（領域）が、禁忌物が存在している正解の位置（図６の中図、下図に示す画像の禁忌物の位置）に近づくように、また禁忌物の種類とその禁忌物である確率が所定の基準値以上（例えば、１００％）となるように、学習モデルを最適化する。この形式の第１学習モデルを禁忌物の検出に用いる場合、禁忌物の種類、禁忌物の位置（領域）を示す座標データ、確信度を示す確率の値が第１学習モデルから出力される（例えば非特許文献１）。
・第２学習モデル
一方、第２学習モデルを生成する場合は、モデル生成部３３は、データ記憶部３５から取得した禁忌物が含まれていない正常な未検品鉄スクラップ４の画像を第２学習モデルに入力し、正常な鉄スクラップ全体の特徴を学習する。このとき、生成される第２学習モデルが未検品鉄スクラップ４に禁忌物が含まれていないことを表現（出力）できるように学習モデルを最適化する。この場合、禁忌物が含まれた画像が第２学習モデルに入力された際の禁忌物の位置および禁忌物である確率の算出には、第２学習モデルに入力した画像と、第２学習モデルから出力された画像との差分画像又は異常度を用いる（例えば非特許文献３）。上記の第２学習モデルは、機械学習モデルに正常な特徴を学習させ、異常が含まれる画像から異常の部位や異常度を算出するモデルの一例であり、非特許文献２のようなアルゴリズムに限られない（例えば非特許文献４、５）。
モデル生成部３３は、機械学習により学習モデル（第１学習モデル又は第２学習モデル）を生成すると、その学習モデルをモデル出力部３４へ出力する。
（Ｓ１３０：モデル出力）
モデル出力部３４は、ステップＳ１２０にて生成された学習モデルを、禁忌物特定部３１２へ出力する（Ｓ１３０）。
その後、モデル出力部３４は、学習モデル生成処理を終了する。禁忌物検出装置３０は、上記のような学習モデル生成処理を実行することにより、鉄スクラップ群の表面から少し奥に禁忌物が入っている場合であっても従来よりも正確に禁忌物の有無を判定できる学習モデルを生成できる。
なお、上記の実施形態では、禁忌物検出装置３０が学習モデル生成処理を実行するものとして説明しているが、これに限定されない。禁忌物検出装置３０とは別の独立した装置が、モデル生成部３３、モデル出力部３４、およびデータ記憶部３５の一部又は全てを有し、学習モデル生成処理を実行してもよい。この場合、禁忌物検出装置３０は、学習済みの学習モデルをその別の独立した装置から取得し、後述する禁忌物検出処理を実行すればよい。
［５．禁忌物検出処理］
次に、監視システム１において実施される禁忌物検出処理について説明する。図８は、本実施形態に係る禁忌物検出処理を説明するためのフローチャートである。
検出制御部３１は、鉄スクラップヤード内の所定位置にトラック２が停車した後、ユーザからの指示に基づき禁忌物検出処理を開始する。
（Ｓ２１０：画像取得）
図８に示すように、禁忌物検出処理を開始すると、まず、画像取得部３１０は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点又は別タイミングで複数回撮影させ、複数の画像（動画、又は複数の静止画）を取得する（Ｓ２１０）。なお、未検品鉄スクラップ４の撮影は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４に対して行ってもよいし、運搬装置１０により運搬中の未検品鉄スクラップ４に対して行ってもよい。画像取得部３１０は、撮影装置２０より取得した画像を適切な所定サイズに変換し、逐次、領域抽出部３１１へ出力する。
（Ｓ２２０：領域抽出）
ここで、ステップＳ２１０で取得した画像は、未検品鉄スクラップ４を含む検品作業現場全体が画角に入る画像であるが、図４Ａ又は図４Ｂに示すように、領域抽出部３１１は、禁忌物が含まれている可能性のある領域（鉄スクラップの存在領域）を、ステップＳ２１０で取得した画像から抽出する。例えば、領域抽出部３１１は、深層学習モデルなどを用いて鉄スクラップの存在領域を特定し、特定した鉄スクラップの存在領域のみを抽出して禁忌物特定部３１２へ出力する。ここで、鉄スクラップの存在領域は、ピクセル毎に定められた領域としてもよいし、単純な矩形により定められた領域としてもよい。なお、ステップＳ２２０の処理は省略可能であり、その場合は、画像取得部３１０が、取得した画像を直接禁忌物特定部３１２へ出力すればよい。
（Ｓ２３０：禁忌物特定）
次いで、禁忌物特定部３１２は、領域抽出部３１１から出力された複数の画像を、上述した学習モデル生成処理でモデル生成部３３が生成した学習モデルに入力して、禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する（Ｓ２３０）。このとき、禁忌物特定部３１２は、画像から１つでも禁忌物を特定できた場合には（Ｓ２３０：ＹＥＳ）、学習モデルから出力された禁忌物の種類、位置、および禁忌物である確率を判定部３１３に出力して、処理をステップＳ２４０に進める。一方で、禁忌物特定部３１２は、画像から１つも禁忌物を特定できなかった場合には（Ｓ２３０：ＮＯ）、処理をステップＳ２７０に進める。
（Ｓ２４０：判定）
判定部３１３は、禁忌物特定部３１２より禁忌物の種類、位置、禁忌物である確率などの情報を受け取ると、禁忌物である確率が所定の閾値（例：８０％）を超えているか否か判定する（Ｓ２４０）。このとき、判定部３１３は、禁忌物である確率が所定の閾値を超えている場合には（Ｓ２４０：ＹＥＳ）、その禁忌物の種類、位置、および禁忌物である確率のうちを、それぞれ出力手順で出力部３２に送信して、処理をステップＳ２５０に進める。一方で、判定部３１３は、禁忌物である確率が所定の閾値以下である場合には（Ｓ２４０：ＮＯ）、処理をステップＳ２７０に進める。
（Ｓ２５０：判定結果出力）
出力部３２は、判定部３１３から出力された出力結果を受け取ると、オペレータ（検品作業者）に対し、その出力結果を出力する（Ｓ２５０）。このように、出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率をそれぞれ出力しているため、必要なときに限って禁忌物の除去をオペレータに促している。上記のような閾値を設けずに、判定部３１３の結果を無選別にオペレータに連続的に出力することは、オペレータの集中力を低下させるなど、安全上好ましくない。また、ステップＳ２５０では、出力部３２は、禁忌物の検出の際に学習モデルに入力された画像（図６の上図に示す元画像）、およびその学習モデルから出力されたラベル付きの画像（図６の中図に示すマーキング画像、図６の下図に示す矩形生成画像に示すような形式）を併せて出力してもよい。
なお、本実施形態において、出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率をそれぞれ出力している場合について説明したが、これに限られない。出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、および位置をそれぞれ出力するものとし、禁忌物である確率を必ずしも出力する必要はない。
（Ｓ２６０：禁忌物除去）
出力部３２の出力を受けたオペレータは、未検品鉄スクラップ４に禁忌物が混入しているおそれがあることを知ると、未検品鉄スクラップ４に含まれている禁忌物の除去を行う（Ｓ２６０）。ここでの除去の作業は、一度地面に禁忌物を含む鉄スクラップ群を広げ、人手、重機、ロボットなどを用いて除去される。除去後、オペレータの操作に従って、除去作業の終了を検出制御部３１へ通知し、検出制御部３１は、処理をステップＳ２７０に進める。
（Ｓ２７０：運搬作業）
処理がステップＳ２７０に進むと、例えば、出力部３２は、オペレータに運搬作業の開始、継続、もしくは再開を促す通知を行う。運搬制御部１４は、操作部１５からの指示に基づき、リフトマグネット１１とクレーン１２を制御して、未検品鉄スクラップ４の運搬を開始、継続、もしくは再開する。禁忌物を特定できなかった場合（Ｓ２３０：ＮＯ）や、特定できたとしても禁忌物である確率が所定の閾値を超えなかった場合（Ｓ２４０：ＮＯ）は、オペレータへ何の通知も表示もなすことなく、運搬作業を継続することが可能である。
（Ｓ２８０：終了判定）
上記のステップＳ２１０からＳ２７０までのステップは、トラック２の荷台から、未検品鉄スクラップ４がなくなるまで繰り返される（Ｓ２８０：ＹＥＳ）。
トラック２の荷台から未検品鉄スクラップ４がなくなると（Ｓ２８０：ＮＯ）、検出制御部３１は、禁忌物検出処理を終了する。禁忌物検出装置３０は、上記のような禁忌物検出処理を実行することにより、運搬中の鉄スクラップの検品を単一または複数のカメラを用いて逐次実施することができ、運搬中に角度、露出度合の変化する鉄スクラップ中の禁忌物の検出を高精度に行うことができる。そのため、鉄スクラップ群の表面から少し奥に禁忌物が入っている場合であっても従来よりも正確に禁忌物の有無を判定でき、オペレータは適切なタイミングで除去すべき禁忌物を確実に未検品鉄スクラップ４から除去できる。
［６．変形例］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、撮影装置２０の撮影方向と撮影倍率は固定として撮影しているが、本発明は係る例に限定されない。例えば、撮影装置２０は、運搬装置１０により運搬中の未検品鉄スクラップ４の位置および運搬装置１０の操作に関する少なくともいずれかの情報に基づいて撮影方向（アングル）および撮影倍率（ズーム倍率）を逐次調整して、運搬中の未検品鉄スクラップ４を追従した撮影を行えるようにしてもよい。特に、撮影倍率を調整した場合には、画角中に占める鉄スクラップの存在領域の割合を高くできるため、禁忌物検出装置３０が禁忌物を検出する際に処理すべき画像領域が限定でき、処理時間を短縮することができる。加えて、禁忌物の検出に用いる学習モデルへの入力画像を低解像化できるので、禁忌物検出装置３０全体の処理時間を短縮することができる。
図９は、運搬中の未検品鉄スクラップ４を追従した撮影を行う場合の構成例を示す図である。例えば、図９に示すように、リフトマグネット１１に現在位置を特定可能なセンサ（ＧＰＳなど）１１ａが取り付けられる。そして、禁忌物検出装置３０の検出制御部３１は、センサ１１ａの最新の情報（リフトマグネット１１の現在位置）を用いて、未検品鉄スクラップ４の位置を特定する。これに応じて、撮影装置２０は、撮影方向（アングル）および撮影倍率（ズーム）を逐次調整してもよい。また、運搬中の未検品鉄スクラップ４を追従した撮影を行う場合も、撮影装置２０は、リフトマグネット１１の磁力強度に応じて、撮影方向および撮影倍率を逐次調整してもよい。
また、検出制御部３１は、リフトマグネット１１とクレーン１２を制御するために操作部１５に入力された指示情報およびリフトマグネット１１の特徴を学習させた深層学習モデルから得られる画像中のリフトマグネット１１の位置情報などを取得し、これらの情報のうちいずれかまたは複数の組み合わせを利用することにしてもよい。
また、上記実施形態では、運搬装置１０がリフトマグネット１１の磁力によって未検品鉄スクラップ４を吊り上げて運搬する例を示したが、本発明は係る例に限定されない。例えば、運搬装置１０は、ベルトコンベアでもよい。図１０は、運搬装置１０をベルトコンベアとした場合の例を示す図である。図１０に示すように、トラック２の荷台と検品済み鉄スクラップ積載場３との間に、未検品鉄スクラップ４を運搬可能なベルトコンベア１０ａを設置し、未検品鉄スクラップ４が検品済み鉄スクラップ積載場３までベルトコンベアによって運搬される工程を撮影装置２０が撮影して、検品してもよい。ベルトコンベア１０ａで運搬中の未検品鉄スクラップ４は、トラック２の荷台上やリフトマグネット１１によって吊り上げられた状態よりも禁忌物が露出している可能性が高く、禁忌物の検出精度を高めることができる。
［７．ハードウェア構成］
図１１は、上記実施形態および変形例における禁忌物検出装置３０のハードウェア構成の一例を示すブロック図である。
禁忌物検出装置３０は、プロセッサ（図１１ではＣＰＵ９０１）と、ＲＯＭ９０３と、ＲＡＭ９０５とを含む。また、禁忌物検出装置３０は、バス９０７と、入力Ｉ／Ｆ９０９と、出力Ｉ／Ｆ９１１と、ストレージ装置９１３と、ドライブ９１５と、接続ポート９１７と、通信装置９１９とを含む。
ＣＰＵ９０１は、演算処理装置および制御装置として機能する。ＣＰＵ９０１は、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１３、またはリムーバブル記録媒体９２５に記録された各種プログラムに従って、禁忌物検出装置３０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムあるいは演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラム、あるいは、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバス９０７により相互に接続されている。
バス９０７は、ブリッジを介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バスに接続されている。
入力Ｉ／Ｆ９０９は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等の、ユーザが操作する操作手段である入力装置９２１からの入力を受け付けるインタフェースである。入力Ｉ／Ｆ９０９は、例えば、ユーザが入力装置９２１を用いて入力した情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等として構成されている。入力装置９２１は、例えば、赤外線あるいはその他の電波を利用したリモートコントロール装置、あるいは、禁忌物検出装置３０の操作に対応したＰＤＡ等の外部機器９２７であってもよい。禁忌物検出装置３０のユーザは、入力装置９２１を操作し、禁忌物検出装置３０に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力Ｉ／Ｆ９１１は、入力された情報を、ユーザに対して視覚的または聴覚的に通知可能な出力装置９２３へ出力するインタフェースである。出力装置９２３は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプ等の表示装置であってもよい。あるいは、出力装置９２３は、スピーカ及びヘッドホン等の音声出力装置や、プリンター、移動通信端末、ファクシミリ等であってもよい。出力Ｉ／Ｆ９１１は、出力装置９２３に対して、例えば、禁忌物検出装置３０により実行された各種処理にて得られた処理結果を出力するよう指示する。具体的には、出力Ｉ／Ｆ９１１は、表示装置に対して禁忌物検出装置３０による処理結果を、テキストまたはイメージで表示するよう指示する。また、出力Ｉ／Ｆ９１１は、音声出力装置に対し、再生指示を受けた音声データ等のオーディオ信号をアナログ信号に変換して出力するよう指示する。
ストレージ装置９１３は、禁忌物検出装置３０の記憶部の１つであり、データ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイスまたは光磁気記憶デバイス等により構成される。ストレージ装置９１３は、ＣＰＵ９０１が実行するプログラム、プログラムの実行により生成された各種データ、及び、外部から取得した各種データ等を格納する。
ドライブ９１５は、記録媒体用リーダライタであり、禁忌物検出装置３０に内蔵あるいは外付けされる。ドライブ９１５は、装着されているリムーバブル記録媒体９２５に記録されている情報を読み出し、ＲＡＭ９０５に出力する。また、ドライブ９１５は、装着されているリムーバブル記録媒体９２５に情報を書き込むことも可能である。リムーバブル記録媒体９２５は、例えば、磁気ディスク、光ディスク、光磁気ディスクまたは半導体メモリ等である。具体的には、リムーバブル記録媒体９２５は、ＣＤメディア、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、コンパクトフラッシュ（登録商標）（CompactFlash：ＣＦ）、フラッシュメモリ、ＳＤメモリカード（Secure Digital memory card）等であってもよい。また、リムーバブル記録媒体９２５は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Integrated Circuit card）または電子機器等であってもよい。
接続ポート９１７は、機器を禁忌物検出装置３０に直接接続するためのポートである。接続ポート９１７は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポート、ＲＳ－２３２Ｃポート等である。情報処理装置９００は、接続ポート９１７に接続された外部機器９２７から、直接各種データを取得したり外部機器９２７に各種データを提供したりすることができる。
通信装置９１９は、例えば、通信網９２９に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＵＳＢ（Wireless USB）用の通信カード等である。また、通信装置９１９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデム等であってもよい。通信装置９１９は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１９に接続される通信網９２９は、有線または無線によって接続されたネットワーク等により構成されている。例えば、通信網９２９は、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等である。
以上、禁忌物検出装置３０のハードウェア構成の一例を示した。上述の各構成要素は、汎用的な部材を用いて構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。禁忌物検出装置３０のハードウェア構成は、本実施形態を実施する時々の技術レベルに応じて適宜変更可能である。また、本実施形態は、上記のコンピュータプログラムが記憶されたコンピュータ読み取り可能な記録媒体を備えてもよい。
［８．実施例］
上記実施形態に係る手法の効果を検証すべく、図１に示した監視システム１を用いて、禁忌物を検出するための学習モデルを生成し、鉄スクラップ中の禁忌物の検出、除去を実施して、その検出率を算出した。本実施例では、禁忌物を最も混入頻度が高い禁忌物であるモーターに限定した。モーターを５８９個用意し、そのうち４８９個をモデル学習用、１００個をスクラップヤードでの検品性能の検証用として振り分けた。
まず、４８９個の学習用のモーターについて、モーター１個に対して角度、背景などを変えて２回撮影し合計９７８枚の学習用画像を取得した。このときの撮影環境として、モーターを地面に置いて撮影したほか、未検品鉄スクラップ４に意図的に混ぜるなどし、実際の検品時に近い画像を取得した。撮影機材は、検品時に用いる監視システム１の撮影装置２０と同じ撮影機材を用いて撮影した。この合計９７８枚の画像に対し、図６の下図に示すような画像中の禁忌物の位置、種類およびその確率を示す情報を含むテキストデータ（ラベルデータ）を作成し、元画像とラベルデータを学習用データセットとした。
学習モデルには、深層学習モデルとして周知のＹＯＬＯｖ３（非特許文献１）を用いた。このモデルは、図６の下図に示すような、画像とその画像中の禁忌物の周囲を囲うように作成した矩形の情報を学習することで、未知の画像を入力したときにその画像中に含まれる禁忌物の位置を示す矩形の情報を出力するモデルである。つまり本実施例では、モーターが含まれる画像を、すでにモーターを学習済みのモデルに入力することで、画像中の禁忌物の種類（モーター）、その位置を示す矩形の情報、モーターである確率を出力させた。
表１は、上記実施形態に係る手法の効果を検証するための実験方法について、比較例と実施例１、２とで対比した表である。比較例と実施例１、２では、共通の深層学習モデル（ＹＯＬＯｖ３）を用いた。また、表１に示すように、比較例と実施例１、２では、カメラ配置、撮影方法（静止画、動画）を異なる条件で設定し、別々に実験を行った。
比較例は、特許文献２に開示されている通り、禁忌物の検出対象をトラックの荷台上の鉄スクラップとした。また、撮影および検出は、トラックの荷台上からリフトマグネットが鉄スクラップを搬出した後、リフトマグネットがカメラ画角に入っていないことを確認してから１回のみ行った。この１回の検出で、禁忌物が撮影画像から検出されれば、禁忌物の有無を作業者に出力し、作業者はこれを除去した。
これに対し、実施例１では、撮影対象をリフトマグネットによって運搬中の鉄スクラップとし、図１、図８のように検品作業中は撮影と検出を逐次行い、検出された禁忌物の候補について禁忌物である確率が５０％を超えたと判定したときのみ、作業者に出力し、作業者はこの禁忌物を除去した。また、実施例２では、図２のように撮影対象をトラック荷台上のカメラで１台と、リフトマグネットを撮影するカメラ２台を用いて、実施例１と同様の実験を実施した。
Figure 0007469731000001
表２は、比較例の結果および実施例１、２によって検品作業を実施した結果を示す。本実験では、モデルの学習では使用していないテスト用のモーター１００個を、合計１０００ｔの正常な鉄スクラップ中に意図的に混ぜ、各手法で検品実験を行い、最終的な検出個数を比較した。
Figure 0007469731000002
表２に示す通り、一つのカメラを用いてリフトマグネットを連続的に撮影した実施例１では、トラックの荷台上で１回のみ検出を行う比較例と比べて１１個多くモーターを禁忌物として検出することができた。これは比較例が禁忌物の検出を１回のみ実施しているのに対し、実施例１では鉄スクラップ中の禁忌物の角度や露出状況が運搬中に変化するため、禁忌物を撮影できるチャンスが増えた効果である。
図１２は、実施例１によりリフトマグネットの運搬によって禁忌物が露出し、検出に成功した例を示す図である。図１２に示すように、禁忌物の位置に矩形が生成されていることがわかる。カメラを複数台用いた実施例２では、実施例１で死角となった禁忌物も検出することができたため、実施例１よりも１２個多く検出することができた。本実験では、実施例１、２ともに比較例の検品精度を上回った。
１ 監視システム
２ トラック
３ 検品済み鉄スクラップ積載場
４ 未検品鉄スクラップ
５ 検品済み鉄スクラップ
１０ 運搬装置
１０ａ ベルトコンベア
１１ リフトマグネット
１１ａ センサ
１２ クレーン
１３ クレーンレール
１４ 運搬制御部
１５ 操作部
２０ 撮影装置
２０ａ 第１カメラ
２０ｂ 第２カメラ
２０ｃ 第３カメラ
３０ 禁忌物検出装置
３１ 検出制御部
３２ 出力部
３３ モデル生成部
３４ モデル出力部
３５ データ記憶部
３１０ 画像取得部
３１１ 領域抽出部
３１２ 禁忌物特定部
３１３ 判定部
９０１ ＣＰＵ
９０３ ＲＯＭ
９０５ ＲＡＭ
９０７ バス
９０９ 入力Ｉ／Ｆ
９１１ 出力Ｉ／Ｆ
９１３ ストレージ装置
９１５ ドライブ
９１７ 接続ポート
９１９ 通信装置
９２１ 入力装置
９２３ 出力装置
９２５ リムーバブル記録媒体
９２７ 外部機器
９２９ 通信網

Claims (27)

  1. 鉄スクラップを監視するシステムであって、
    前記鉄スクラップに対して現在時刻を含む別タイミングで複数回撮影する撮影部と、
    前記撮影部の撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、前記学習モデルによって特定された現在時刻での禁忌物である確率および現在時刻より過去のタイミングで前記学習モデルによって特定された禁忌物である確率を所定の関数に入力し、前記現在時刻での禁忌物である確率を再計算する禁忌物特定部と、
    前記禁忌物特定部により算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備える、監視システム。
  2. 鉄スクラップを監視するシステムであって、
    前記鉄スクラップに対して別視点かつある時点を含む別タイミングで複数回撮影する撮影部と、
    前記撮影部の撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、複数の視点かつ前記ある時点を含む複数のタイミングで撮影された複数の画像を前記学習モデルに入力することで得られた複数の当該禁忌物である確率を所定の関数に入力し、前記ある時点での禁忌物である確率を再計算する禁忌物特定部と、
    前記禁忌物特定部により算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備える、監視システム。
  3. 鉄スクラップを監視するシステムであって、
    前記鉄スクラップを運搬する運搬部と、
    前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影部と、
    前記撮影部の撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定部と、
    前記禁忌物特定部により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備え、
    前記撮影部は、前記運搬部により運搬中の前記鉄スクラップの位置および前記運搬部の操作に関する少なくともいずれかの情報に基づいて撮影方向および撮影倍率を逐次調整して、運搬中の前記鉄スクラップを追従した撮影を行い、
    前記禁忌物特定部は、前記追従した撮影により得られた複数の画像を前記学習モデルに入力して、前記禁忌物の種類、位置、および禁忌物である確率を特定する、監視システム。
  4. 前記運搬部は、リフトマグネットであり、
    前記撮影部は、前記リフトマグネットの磁力強度または吊り荷重量に応じて、前記撮影方向および前記撮影倍率を逐次調整する、請求項３に記載の監視システム。
  5. 鉄スクラップを監視するシステムであって、
    前記鉄スクラップを運搬する運搬部と、
    前記運搬部により運搬中の前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影部と、
    前記撮影部の撮影により得られた複数の画像から、それぞれ禁忌物が含まれている可能性のある領域を抽出する領域抽出部と、
    前記領域抽出部により抽出されたそれぞれの領域の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率を特定する禁忌物特定部と、
    前記禁忌物特定部により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備え、
    前記運搬部は、リフトマグネットであり、
    前記領域抽出部は、前記リフトマグネットの磁力強度または吊り荷重量に応じて、抽出する領域サイズを変更する、監視システム。
  6. 前記領域抽出部は、前記撮影部の撮影により得られた複数の画像から、深層学習モデルを用いてリフトマグネットを特定し、特定したリフトマグネットの直下から禁忌物が含まれている可能性のある領域を抽出し、前記リフトマグネットの磁力強度または吊り荷重量に応じて、当該抽出する領域サイズを変更する、請求項５に記載の監視システム。
  7. 鉄スクラップを監視するシステムであって、
    前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影部と、
    前記撮影部の撮影により得られた複数の画像から、第１の深層学習モデルを用いて禁忌物が含まれている可能性のある領域を、それぞれ抽出する領域抽出部と、
    前記領域抽出部により抽出されたそれぞれの領域の画像を第２の深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定部と、
    前記禁忌物特定部により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備える、監視システム。
  8. 前記領域抽出部において前記第１の深層学習モデルに入力される画像は、前記禁忌物特定部において前記第２の深層学習モデルに入力される画像よりも低解像度である、請求項７に記載の監視システム。
  9. 鉄スクラップを監視するシステムであって、
    前記鉄スクラップを運搬する運搬部と、
    前記運搬部により運搬中の前記鉄スクラップに対して別タイミングで複数回撮影する撮影部と、
    前記撮影部の撮影により得られた複数の画像についての差分の画像から、禁忌物が含まれている可能性のある領域を抽出する領域抽出部と、
    前記領域抽出部により抽出された領域の画像を深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定部と、
    前記禁忌物特定部により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力部と、を備え、
    前記禁忌物特定部は、前記領域抽出部により抽出された、禁忌物が含まれている可能性のある領域から、前記運搬部を除いた画像を、前記深層学習モデルに入力する、監視システム。
  10. 鉄スクラップを監視する監視方法であって、
    前記鉄スクラップに対して現在時刻を含む別タイミングで複数回撮影する撮影ステップと、
    前記撮影ステップにおける撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、前記学習モデルによって特定された現在時刻での禁忌物である確率および現在時刻より過去のタイミングで前記学習モデルによって特定された禁忌物である確率を所定の関数に入力し、前記現在時刻での禁忌物である確率を再計算する禁忌物特定ステップと、
    前記禁忌物特定ステップにより算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備える、監視方法。
  11. 鉄スクラップを監視する監視方法であって、
    前記鉄スクラップに対して別視点かつある時点を含む別タイミングで複数回撮影する撮影ステップと、
    前記撮影ステップにおける撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、複数の視点かつ前記ある時点を含む複数のタイミングで撮影された複数の画像を前記学習モデルに入力することで得られた複数の当該禁忌物である確率を所定の関数に入力し、前記ある時点での禁忌物である確率を再計算する禁忌物特定ステップと、
    前記禁忌物特定ステップにより算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備える、監視方法。
  12. 鉄スクラップを監視する監視方法であって、
    前記鉄スクラップを運搬する運搬ステップと、
    前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影ステップと、
    前記撮影ステップにおける撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定ステップと、
    前記禁忌物特定ステップにより特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備え、
    前記撮影ステップは、前記運搬ステップにより運搬中の前記鉄スクラップの位置および前記運搬ステップの操作に関する少なくともいずれかの情報に基づいて撮影方向および撮影倍率を逐次調整して、運搬中の前記鉄スクラップを追従した撮影を行い、
    前記禁忌物特定ステップは、前記追従した撮影により得られた複数の画像を前記学習モデルに入力して、前記禁忌物の種類、位置、および禁忌物である確率を特定する、監視方法。
  13. 前記運搬ステップは、リフトマグネットにより行われ、
    前記撮影ステップは、前記リフトマグネットの磁力強度または吊り荷重量に応じて、前記撮影方向および前記撮影倍率を逐次調整する、請求項１２に記載の監視方法。
  14. 鉄スクラップを監視する監視方法であって、
    前記鉄スクラップを運搬する運搬ステップと、
    前記運搬ステップにより運搬中の前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影ステップと、
    前記撮影ステップの撮影により得られた複数の画像から、それぞれ禁忌物が含まれている可能性のある領域を抽出する領域抽出ステップと、
    前記領域抽出ステップにより抽出されたそれぞれの領域の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率を特定する禁忌物特定ステップと、
    前記禁忌物特定ステップにより特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備え、
    前記運搬ステップは、リフトマグネットにより行われ、
    前記領域抽出ステップは、前記リフトマグネットの磁力強度または吊り荷重量に応じて、抽出する領域サイズを変更する、監視方法。
  15. 前記領域抽出ステップは、前記撮影ステップの撮影により得られた複数の画像から、深層学習モデルを用いてリフトマグネットを特定し、特定したリフトマグネットの直下から禁忌物が含まれている可能性のある領域を抽出し、前記リフトマグネットの磁力強度または吊り荷重量に応じて、当該抽出する領域サイズを変更する、請求項１４に記載の監視方法。
  16. 鉄スクラップを監視する監視方法であって、
    前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影ステップと、
    前記撮影ステップの撮影により得られた複数の画像から、第１の深層学習モデルを用いて禁忌物が含まれている可能性のある領域を、それぞれ抽出する領域抽出ステップと、
    前記領域抽出ステップにより抽出されたそれぞれの領域の画像を第２の深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定ステップと、
    前記禁忌物特定ステップにより特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備える、監視方法。
  17. 前記領域抽出ステップにおいて前記第１の深層学習モデルに入力される画像は、前記禁忌物特定ステップにおいて前記第２の深層学習モデルに入力される画像よりも低解像度である、請求項１６に記載の監視方法。
  18. 鉄スクラップを監視する監視方法であって、
    前記鉄スクラップを運搬する運搬部によって運搬中の前記鉄スクラップに対して別タイミングで複数回撮影する撮影ステップと、
    前記撮影ステップの撮影により得られた複数の画像についての差分の画像から、禁忌物が含まれている可能性のある領域を抽出する領域抽出ステップと、
    前記領域抽出ステップにより抽出された領域の画像を深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定ステップと、
    前記禁忌物特定ステップにより特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力ステップと、を備え、
    前記禁忌物特定ステップは、前記領域抽出ステップにより抽出された、禁忌物が含まれている可能性のある領域から、前記運搬部を除いた画像を、前記深層学習モデルに入力する、監視方法。
  19. 鉄スクラップを監視するためのプログラムであって、
    前記鉄スクラップに対して現在時刻を含む別タイミングで複数回撮影する撮影手順と、
    前記撮影手順における撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、前記学習モデルによって特定された現在時刻での禁忌物である確率および現在時刻より過去のタイミングで前記学習モデルによって特定された禁忌物である確率を所定の関数に入力し、前記現在時刻での禁忌物である確率を再計算する禁忌物特定手順と、
    前記禁忌物特定手順により算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、コンピュータに実行させるための、プログラム。
  20. 鉄スクラップを監視するためのプログラムであって、
    前記鉄スクラップに対して別視点かつある時点を含む別タイミングで複数回撮影する撮影手順と、
    前記撮影手順における撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定し、複数の視点かつ前記ある時点を含む複数のタイミングで撮影された複数の画像を前記学習モデルに入力することで得られた複数の当該禁忌物である確率を所定の関数に入力し、前記ある時点での禁忌物である確率を再計算する禁忌物特定手順と、
    前記禁忌物特定手順により算出された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、をコンピュータに実行させるための、プログラム。
  21. 鉄スクラップを監視するためのプログラムであって、
    前記鉄スクラップを運搬する運搬手順と、
    前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影手順と、
    前記撮影手順における撮影により得られた複数の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定手順と、
    前記禁忌物特定手順により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、をコンピュータに実行させ、
    前記撮影手順は、前記運搬手順により運搬中の前記鉄スクラップの位置および前記運搬手順の操作に関する少なくともいずれかの情報に基づいて撮影方向および撮影倍率を逐次調整して、運搬中の前記鉄スクラップを追従した撮影を行い、
    前記禁忌物特定手順は、前記追従した撮影により得られた複数の画像を前記学習モデルに入力して、前記禁忌物の種類、位置、および禁忌物である確率を特定する、プログラム。
  22. 前記運搬手順は、リフトマグネットにより行われ、
    前記撮影手順は、前記リフトマグネットの磁力強度または吊り荷重量に応じて、前記撮影方向および前記撮影倍率を逐次調整する、請求項２１に記載のプログラム。
  23. 鉄スクラップを監視するためのプログラムであって、
    前記鉄スクラップを運搬する運搬手順と、
    前記運搬手順により運搬中の前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影手順と、
    前記撮影手順の撮影により得られた複数の画像から、それぞれ禁忌物が含まれている可能性のある領域を抽出する領域抽出手順と、
    前記領域抽出手順により抽出されたそれぞれの領域の画像を学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率を特定する禁忌物特定手順と、
    前記禁忌物特定手順により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、をコンピュータに実行させ、
    前記運搬手順は、リフトマグネットにより行われ、
    前記領域抽出手順は、前記リフトマグネットの磁力強度または吊り荷重量に応じて、抽出する領域サイズを変更する、プログラム。
  24. 前記領域抽出手順は、前記撮影手順の撮影により得られた複数の画像から、深層学習モデルを用いてリフトマグネットを特定し、特定したリフトマグネットの直下から禁忌物が含まれている可能性のある領域を抽出し、前記リフトマグネットの磁力強度または吊り荷重量に応じて、当該抽出する領域サイズを変更する、請求項２３に記載のプログラム。
  25. 鉄スクラップを監視するためのプログラムであって、
    前記鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影手順と、
    前記撮影手順の撮影により得られた複数の画像から、第１の深層学習モデルを用いて禁忌物が含まれている可能性のある領域を、それぞれ抽出する領域抽出手順と、
    前記領域抽出手順により抽出されたそれぞれの領域の画像を第２の深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定手順と、
    前記禁忌物特定手順により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、をコンピュータに実行させる、プログラム。
  26. 前記領域抽出手順において前記第１の深層学習モデルに入力される画像は、前記禁忌物特定手順において前記第２の深層学習モデルに入力される画像よりも低解像度である、請求項２５に記載のプログラム。
  27. 鉄スクラップを監視するためのプログラムであって、
    前記鉄スクラップを運搬する運搬部によって運搬中の前記鉄スクラップに対して別タイミングで複数回撮影する撮影手順と、
    前記撮影手順の撮影により得られた複数の画像についての差分の画像から、禁忌物が含まれている可能性のある領域を抽出する領域抽出手順と、
    前記領域抽出手順により抽出された領域の画像を深層学習モデルに入力して、前記鉄スクラップから除去する対象となる禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定手順と、
    前記禁忌物特定手順により特定された前記確率が所定の閾値を超えたときに、前記禁忌物の種類および位置をそれぞれ出力する出力手順と、をコンピュータに実行させ、
    前記禁忌物特定手順は、前記領域抽出手順により抽出された、禁忌物が含まれている可能性のある領域から、前記運搬部を除いた画像を、前記深層学習モデルに入力する、プログラム。
JP2023527922A 2021-06-09 2022-06-09 監視システム、監視方法、およびプログラム Active JP7469731B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021096468 2021-06-09
JP2021096468 2021-06-09
PCT/JP2022/023309 WO2022260133A1 (ja) 2021-06-09 2022-06-09 監視システム、監視方法、プログラム、およびコンピュータプログラムが記憶されたコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2022260133A1 JPWO2022260133A1 (ja) 2022-12-15
JP7469731B2 true JP7469731B2 (ja) 2024-04-17

Family

ID=84424588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023527922A Active JP7469731B2 (ja) 2021-06-09 2022-06-09 監視システム、監視方法、およびプログラム

Country Status (5)

Country Link
US (1) US20240177293A1 (ja)
JP (1) JP7469731B2 (ja)
KR (1) KR20230154274A (ja)
CN (1) CN117157518A (ja)
WO (1) WO2022260133A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208729A1 (ja) 2018-04-27 2019-10-31 日立造船株式会社 情報処理装置、制御装置、および不適物検出システム
US20200012894A1 (en) 2018-07-05 2020-01-09 Mitsubishi Electric Research Laboratories, Inc. Visually Aided Active Learning for Training Object Detector
JP2020035195A (ja) 2018-08-30 2020-03-05 富士通株式会社 画像認識装置、画像認識方法および画像認識プログラム
JP2020095709A (ja) 2018-11-29 2020-06-18 株式会社神鋼エンジニアリング＆メンテナンス スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム
JP2021086285A (ja) 2019-11-26 2021-06-03 株式会社神鋼エンジニアリング＆メンテナンス 密閉物検出システム、密閉物検出方法、推定装置、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3187237B2 (ja) 1994-03-16 2001-07-11 新日本製鐵株式会社 鉄スクラップ群から銅を含有したスクラップを自動識別する方法
JP7213741B2 (ja) 2019-04-17 2023-01-27 株式会社メタルワン 鉄スクラップ検品方法および鉄スクラップ検品システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208729A1 (ja) 2018-04-27 2019-10-31 日立造船株式会社 情報処理装置、制御装置、および不適物検出システム
US20200012894A1 (en) 2018-07-05 2020-01-09 Mitsubishi Electric Research Laboratories, Inc. Visually Aided Active Learning for Training Object Detector
JP2020035195A (ja) 2018-08-30 2020-03-05 富士通株式会社 画像認識装置、画像認識方法および画像認識プログラム
JP2020095709A (ja) 2018-11-29 2020-06-18 株式会社神鋼エンジニアリング＆メンテナンス スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム
JP2021086285A (ja) 2019-11-26 2021-06-03 株式会社神鋼エンジニアリング＆メンテナンス 密閉物検出システム、密閉物検出方法、推定装置、及びプログラム

Also Published As

Publication number Publication date
US20240177293A1 (en) 2024-05-30
CN117157518A (zh) 2023-12-01
KR20230154274A (ko) 2023-11-07
WO2022260133A1 (ja) 2022-12-15
JPWO2022260133A1 (ja) 2022-12-15

Similar Documents

Publication Publication Date Title
CN112528721B (zh) 一种桥吊集卡安全定位方法和系统
CN104773626B (zh) 一种施工升降机标准节螺栓安全状态检测装置
JP6856522B2 (ja) 情報処理装置、制御装置、情報処理方法、および情報処理プログラム
JP5168215B2 (ja) 外観検査装置
JP2007230706A (ja) ベルトコンベアの縦裂き検知方法および装置
JP2020128877A (ja) 線状体の異常検出装置及び異常検出方法
JP7213741B2 (ja) 鉄スクラップ検品方法および鉄スクラップ検品システム
CN115082850A (zh) 基于计算机视觉的模板支架安全风险识别方法
JP7469731B2 (ja) 監視システム、監視方法、およびプログラム
CN110674900A (zh) 基于rfid的无人机巡检杆塔缺陷的方法及装置
CN112802017B (zh) 一种基于工作台的产品外部合格性检测方法及装置
WO2014103617A1 (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
US20230316489A1 (en) Scrap discrimination system and scrap discrimination method
JP2020135051A (ja) 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル
JP2024082930A (ja) 監視方法、監視システム及び検品済み鉄スクラップ製造方法
JP4823996B2 (ja) 輪郭検出方法及び輪郭検出装置
JP2024082912A (ja) 監視システム及び監視方法
CN111652873A (zh) 基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法
JP2020037464A (ja) 判定装置および判定方法
US20210080521A1 (en) Magnetic particle inspection device
CN114663365A (zh) 缺陷检测方法、装置及计算机存储介质
JP2024087501A (ja) 監視システム及び監視方法
CN107543826A (zh) 一种轴承缺陷检测装置
CN115279684A (zh) 控制系统、信息处理装置、以及信息处理方法
JP7241011B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230906

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7469731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150