JP7230873B2

JP7230873B2 - 異物検出装置、異物除去装置および異物検出方法

Info

Publication number: JP7230873B2
Application number: JP2020062831A
Authority: JP
Inventors: 有仁松永; 典子小澤
Original assignee: JFE Steel Corp
Current assignee: JFE Steel Corp
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2023-03-01
Anticipated expiration: 2040-03-31
Also published as: JP2021163078A

Description

この発明は、異物検出装置に係り、特に、鉄系スクラップに混在した異物を検出する異物検出装置に関する。
また、この発明は、このような異物検出装置を用いて異物を除去する異物除去装置にも関している。
さらに、この発明は、鉄系スクラップに混在した異物を検出する異物検出方法にも関している。

環境負荷を低減しつつ鉄鋼製品を製造するため、鉄原料として鉄系スクラップの利用増加が望まれている。市中から集められる鉄系スクラップは、加工装置、自動車、電気装置等の様々な製品の廃棄物として生み出されている。これらの製品は、制御等に利用される電子機器、アクチュエータとなるモータ、各種センサ、さらに、電子機器とアクチュエータおよびセンサ等を接続する電線などの様々な機器により構成されている。このような製品の廃棄物から鉄主体の材料を取り出すことにより、鉄系スクラップとしているが、鉄主体の材料と他の材料は製品製造時に密接に接続されていることが多いため、鉄以外の成分を含む材料が鉄系スクラップに混在することがある。鉄以外の成分を含む材料としては、例えば、銅を含む電気モータ、銅を含む電線、銅または他の金属を含む電子基板、液体を含む可能性がある空き缶などがある。

一方、鉄鋼製品を生産する場合、鉄鋼製品を構成する組成が重要となる。例えば、鉄鋼製品に異物として銅成分が多く含まれると、製造時に割れの原因となり、問題が生じる。この銅成分は、鉄鋼製品を製造するために鉄系スクラップとともに溶解されると、製造過程では取り除くことが困難である。異物に関しては、銅以外でも問題になることがある。例えば、内部に液体が含まれた飲料用缶が鉄系スクラップに混在する場合には、鉄系スクラップの融解時に、液体が高温により気化して飲料用缶が破裂し、製造装置を破損するおそれがある。

このように、鉄以外の成分を含む材料は、鉄系スクラップとともに溶解した場合に、鉄鋼製品の製造時に種々の問題を発生させるため、溶解前にできる限り取り除くことが望ましい。
鉄系スクラップから異物となる鉄以外の材料を取り除くには、鉄系スクラップ内における異物の位置を特定する必要がある。

近年、対象物を撮像した画像から、画像要素（画素）毎に被撮像物の種別を判定する、いわゆる、深層学習を利用した画像セグメンテーションによる物体認識技術が開発されている。例えば、道路と自動車とを識別するセマンティックセグメンテーションにおいて、道路を「０」、自動車を「１」と判別するものであれば、道路と自動車とが撮像された画像を入力すると、道路上に位置する画像要素は「０」、自動車の上に位置する画像要素は「１」と判定され、入力された画像と同一サイズを有し且つ「０」と「１」の２値で表された結果行列が出力される。結果行列における値「１」の座標を抽出することにより、自動車の位置を特定することができる。

画像セグメンテーションにより画像要素毎に精度の高い種別判定を行うためには、大量の教師データを用いた機械学習が必要になる。それぞれの教師データは、対象物となる物体を撮像した教師画像と、教師画像内の判別したい物体が撮像されている画像要素に物体を特定することができるラベルを付した教師ラベルとを有するものである。

特に、鉄系スクラップは、寸法が管理された製造プロセスで生産されるものでないため、様々な形状、大きさがあり、姿勢もランダムである。鉄以外の成分を含む異物となるものも、様々な形状、大きさがあり、姿勢もランダムである。様々な形状、大きさ、姿勢を持つ鉄系スクラップに、同様に様々な形状、大きさ、姿勢を持つ異物が混在する画像の組み合わせはほぼ無限大であり、鉄系スクラップから異物を判別するには、鉄系スクラップに異物を含んだ教師画像と教師ラベルを大量に用意しなくてはならない。

ここで、教師画像と教師ラベルとからなる教師データを大量に作成する方法として、特許文献１の方法が提案されている。特許文献１の方法によれば、事前に用意したある一定量の教師画像と教師ラベルとからなる初期教師データを用いた機械学習により画像セグメンテーションの第１機械学習モデルを生成し、第１機械学習モデルを用いて初期教師データにおける教師画像以外の教師画像に対して画像セグメンテーションすることにより、これらの教師画像に対する教師ラベルを作成する。このようにして、大量の教師画像と教師ラベルとが作成される。

特開２０１９－１０１５３５号公報

しかしながら、特許文献１の方法により大量の教師データを作成し、画像セグメンテーションを用いて、異物を含む鉄系スクラップが撮像された画像から異物の位置を特定しようとしても、第１機械学習モデルを生成するために必要な一定量の教師画像と教師ラベルを、異物を含む鉄系スクラップの画像から異物を判別することができる程度の数量だけ準備することが困難であるという問題がある。

その理由は、鉄系スクラップに混在する異物は、多くは鉄系スクラップ業者が取り除く作業を行うため、異物が混在した鉄系スクラップを撮影した画像は少ないからである。さらに、鉄系スクラップと異物の形状、大きさ、姿勢はほぼランダムであるため、あらゆる混在パターンを想定した画像を準備することは困難である。

また、異物が混在した鉄系スクラップの画像を大量に入手できたとしても、異物と鉄系スクラップは似ていることが多いため、熟練した作業員でないと判別が難しく、多数の熟練した作業員を確保することは難しい。たとえ、熟練した作業員を多数集められたとしても、形状、大きさ、姿勢にランダム性の強い鉄系スクラップと異物とが混在した教師画像から異物を見つけ出し、教師ラベルを作成する作業を、人手で行うには多大の時間と労力を要する。

そもそも、鉄系スクラップから取り除かれた異物を撮影することはあっても、異物が混在している状態の鉄系スクラップを撮影することは少ないため、教師画像を確保すること自体、難しいことが多い。
このため、従来は、異物が混在する鉄系スクラップから精度よく異物を検出して取り除くことが困難であった。

この発明は、このような従来の問題点を解消するためになされたもので、異物が混在する鉄系スクラップから精度よく異物を検出することができる異物検出装置を提供することを目的とする。
また、この発明は、このような異物検出装置を用いて異物が混在する鉄系スクラップから異物を除去する異物除去装置を提供することも目的としている。
さらに、この発明は、異物が混在する鉄系スクラップから精度よく異物を検出することができる異物検出方法を提供することも目的としている。

この発明に係る異物検出装置は、鉄系スクラップを含む対象物が撮像された対象物画像を取得する対象物画像取得部と、対象物画像に基づいて対象物から鉄系スクラップと鉄系スクラップ以外の異物とを判別することにより異物を検出する画像判別部とを備えるものである。

画像判別部は、対象物画像を複数の画像要素に分割して画像要素毎に鉄系スクラップと鉄系スクラップ以外の異物のいずれであるかを判定し且つ異物であると判定された画像要素の集合体を異物と認識する種別判定部を含むことが好ましい。
種別判定部は、多層ニューラルネットワークにより構成され、多層ニューラルネットワークのパラメータは、鉄系スクラップに異物が混在する教師画像と、教師画像に対応し且つ教師画像内の異物が存在する位置に所定の標識によるラベル付けがなされた教師ラベルと、を含む複数の教師データに基づいて機械学習されることが好ましい。

画像判別部は、複数の教師データを作成する教師データ作成部と、教師データ作成部により作成された複数の教師データを用いて、種別判定部を構成する多層ニューラルネットワークのパラメータを機械学習させる種別判定機能学習部とを含むことが好ましい。
教師データ作成部は、鉄系スクラップのみが撮像された鉄系スクラップ画像を取得する鉄系スクラップ画像取得部と、異物が含まれる異物含有画像を取得する異物含有画像取得部と、異物含有画像から異物の画像部分を切り出す画像切り出し部と、画像切り出し部により切り出され且つ鉄系スクラップを背景にした異物の画像部分を鉄系スクラップ画像に貼り付けることにより教師画像を作成する教師画像作成部と、教師画像に対応する教師ラベルを作成する教師ラベル作成部とを含むことが好ましい。

この発明に係る異物除去装置は、上記の異物検出装置と、種別判定部による判定結果に基づいて実空間における異物の位置を特定する異物位置特定部と、異物位置特定部により特定された異物の位置に基づいて、対象物から異物を除去する異物除去部とを備えるものである。

この発明に係る異物検出方法は、鉄系スクラップを含む対象物が撮像された対象物画像を取得する対象物画像取得ステップと、対象物画像に基づいて鉄系スクラップと鉄系スクラップ以外の異物とを判別することにより異物を検出する判別ステップとを備える方法である。

この発明によれば、対象物画像取得部が、鉄系スクラップを含む対象物が撮像された対象物画像を取得し、画像判別部が、対象物画像に基づいて対象物から鉄系スクラップと鉄系スクラップ以外の異物とを判別することにより異物を検出するので、異物が混在する鉄系スクラップから精度よく異物を検出することが可能となる。

この発明の実施の形態１に係る異物検出装置の構成を示すブロック図である。鉄系スクラップと異物とを含む対象物が撮像された対象物画像を示す図である。複数の画像要素に分割された対象物画像を示す図である。図３の対象物画像に対して画像要素毎に種別判定を行うことにより得られる判定行列を画像要素の位置に合わせて表示した図である。実施の形態１係る異物検出装置に用いられた教師データ作成部の構成を示すブロック図である。鉄系スクラップ画像を示す図である。異物含有画像を示す図である。異物含有画像から切り出された異物の画像部分を示す図である。異物の画像部分を鉄系スクラップ画像に貼り付けることにより作成された教師画像を示す図である。複数の画像要素に分割された教師画像を示す図である。図１０の教師画像に対応して作成された教師ラベルを示す図である。実施の形態２に係る異物除去装置の構成を示すブロック図である。異物除去装置に用いられる異物除去部を模式的に示す図である。鉄系スクラップと異物とを含む対象物から異物を除去して、鉄系スクラップを電気炉に装入する動作を示すフローチャートである。異物を除去している異物除去部を模式的に示す図である。

以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１
図１に、実施の形態１に係る異物検出装置１の構成を示す。
異物検出装置１は、鉄系スクラップが含まれる対象物を撮像することにより対象物画像を取得する対象物画像取得部２と、対象物画像取得部２に有線または無線により接続され且つ対象物画像に基づいて対象物から鉄系スクラップと鉄系スクラップ以外の異物とを判別する画像判別部３とを備えている。

ここで、鉄系スクラップは、例えば、スクラップ業者から調達することができる。スクラップ業者により市中から集められた鉄系スクラップは、自動車、建材などの廃棄物として生み出されたもので、鉄以外の材料からなる廃棄物が混在しやすい。鉄系スクラップに混在する鉄以外の材料の中には、鉄鋼製品として望ましくない成分のもの、生産プロセスで問題を起こすものが存在する。鉄鋼製品として望ましくない成分を含むものとしては、例えば、銅を含む電気モータ、電線、電子基板があり、生産プロセスで問題を引き起こすものとしては、内部に液体が含まれる飲料缶、内部に爆発性の気体原料が残っているガス管等である。鋼板に銅が含まれてしまうと、鋼板の加工時に割れの原因になることがある。液体を含む飲料缶、爆発性の気体原料を含むガス管が鉄系スクラップと共に電気炉に装入されると、電気炉内で爆発が生じ、電気炉および周辺の製造装置を破損するおそれがある。

対象物画像取得部２は、取得した対象物画像を有線または無線により画像判別部３に転送する機能を有している。対象物画像取得部２として、可視光を利用して対象物を撮像する一般的な可視光カメラだけでなく、赤外線を利用して対象物を撮像する赤外線カメラを用いることもできる。また、対象物画像取得部２は、１台のカメラにより構成することもでき、また、複数台のカメラにより構成することもできる。対象物画像は、カメラから見た対象物の表面しか捉えることができないため、例えば、鉄鋼製品の複数の製造工程にそれぞれカメラを設置し、これら複数のカメラにより構成される対象物画像取得部２により、複数の対象物画像を取得することが望ましい。

図１に示されるように、画像判別部３は、対象物画像取得部２に接続された種別判定部４と、種別判定部４に接続された種別判定機能学習部５と、種別判定機能学習部５に接続された教師データ作成部６とを有している。

種別判定部４は、対象物画像取得部２により取得された対象物画像を、複数の画像要素に分割し、画像要素毎に鉄系スクラップと鉄系スクラップ以外の異物のいずれであるかを判定し、対象物画像の複数の画像要素と同じ個数で且つ同じ配列を有する複数の行列要素からなる判定行列を出力する。判定行列のそれぞれの行列要素には、鉄系スクラップと異物とを判別し得る数値が入力される。すなわち、判定行列には、異物であると判定された画像要素に対応する行列要素として、所定の標識となる数値が入力され、異物ではないと判定された画像要素に対応する行列要素として、上記の所定の標識となる数値とは異なる数値が入力される。従って、種別判定部４から出力される判定行列のそれぞれの行列要素の数値に基づいて、鉄系スクラップに混在している異物を検出することが可能となる。
このような種別判定部４は、多数のパーセプトロンからなる多層ニューラルネットワークにより構成されている。

種別判定部４には、種別判定機能学習部５と教師データ作成部６とが順次接続されており、種別判定部４を構成する多層ニューラルネットワークのパラメータは、教師データ作成部６により作成される複数の教師データを用いて種別判定機能学習部５により機械学習されている。
図２に、対象物画像取得部２により取得された対象物画像ＧＡの一例を示す。対象物画像ＧＡは、鉄系スクラップＳを含む対象物Ａが撮像された画像であり、図２に示される対象物画像ＧＡには、鉄系スクラップＳの間に異物Ｆが混在している対象物Ａが写っている。

種別判定部４は、機械学習された多数のパーセプトロンからなる多層ニューラルネットワークにより構成され、図３に示されるように、対象物画像ＧＡを複数の画像要素Ｅに分割した後、画像要素Ｅ毎に鉄系スクラップＳと異物Ｆのいずれであるかを判定し、図４に示されるような、判定結果を表す判定行列ＬＡを出力する。判定行列ＬＡは、対象物画像ＧＡの複数の画像要素Ｅと同じ個数で且つ同じ配列を有する複数の行列要素からなる行列である。

図４に示される判定行列ＬＡは、図３に示した対象物画像ＧＡに対応するもので、対象物画像ＧＡにおいて異物Ｆであると判定された画像要素Ｅに対応して、図４に太線で表されている２つの行列要素ＭＦとして、所定の標識となる数値「１」が入力され、異物Ｆではないと判定された画像要素Ｅに対応する行列要素には、数値「０」が入力されている。
従って、図４に示される判定行列ＬＡから、数値「１」が入力されている２つの行列要素ＭＦに対応する対象物画像ＧＡの画像要素Ｅに異物Ｆが写っており、数値「０」が入力されている他の行列要素に対応する対象物画像ＧＡの画像要素Ｅには異物Ｆが写っていないこととなり、数値「１」の２つの行列要素ＭＦに対応し且つ異物Ｆであると判定された２つの画像要素Ｅの集合体を異物Ｆと認識することができる。

図１に示したように、種別判定部４には、種別判定機能学習部５が接続され、種別判定機能学習部５には、教師データ作成部６が接続されている。
種別判定部４を構成する多層ニューラルネットワークのパラメータが、種別判定機能学習部５により機械学習されることで、種別判定部４は、このような対象物画像ＧＡの画像要素Ｅ毎の鉄系スクラップＳと異物Ｆのいずれであるかの判定を行うことができる。
機械学習された種別判定部４が、精度の高い種別判定を行うためには、種別判定機能学習部５が、多数の教師データを用いて種別判定部４を機械学習することが望まれる。

種別判定機能学習部５に接続された教師データ作成部６は、多数の教師データを作成することができる。なお、教師データ作成部６により作成される多数の教師データは、それぞれ、教師画像と、この教師画像に対応する教師ラベルとから構成されている。

教師画像は、鉄系スクラップＳに異物Ｆが混在している画像である。教師画像の解像度は、鉄系スクラップＳと異物Ｆとを識別することができればよく、教師画像の大きさは制限されない。教師画像は、カラー画像でも白黒画像でも構わないが、色の違いにより異物Ｆを鉄系スクラップＳから識別する可能性を考慮すると、種別判定部４による種別判定の精度を向上させるために、教師画像はカラー画像であることが望ましい。

一方、教師ラベルは、教師画像に対応し且つ教師画像内の異物Ｆが存在する位置に所定の標識によるラベル付けがなされたものである。具体的には、教師ラベルは、教師画像を複数の画像要素Ｅに分割した際に、教師画像の複数の画像要素Ｅと同じ個数で且つ同じ配列を有する複数の行列要素からなる行列であって、教師画像内の異物Ｆが存在する画像要素Ｅに対応する行列要素に、異物Ｆを表す所定の標識となる数値「１」が入力され、異物Ｆが存在しない、その他の画像要素Ｅに対応する行列要素に、数値「０」が入力された行列により構成されている。

図５に示されるように、教師データ作成部６は、鉄系スクラップ画像取得部７と、異物含有画像取得部８と、異物含有画像取得部８に接続された画像切り出し部９と、鉄系スクラップ画像取得部７および画像切り出し部９の双方に接続された教師画像作成部１０と、教師画像作成部１０に接続された教師ラベル作成部１１とを有している。

鉄系スクラップ画像取得部７は、図６に示されるように、鉄系スクラップＳのみが撮像された鉄系スクラップ画像Ｇ１を取得するもので、鉄系スクラップＳのみを撮像することにより鉄系スクラップ画像Ｇ１を取得するカメラから構成することもでき、また、ネットワーク、通信等を介して、鉄系スクラップＳのみが撮像された鉄系スクラップ画像Ｇ１の画像信号を取得するものでもよい。
種々の形状の鉄系スクラップＳが存在するため、様々な形状の鉄系スクラップＳの画像を多数取得することが望ましい。

異物含有画像取得部８は、図７に示されるように、少なくとも一部に異物Ｆが含まれる異物含有画像Ｇ２を取得するもので、鉄系スクラップ画像取得部７と同様に、異物Ｆを撮像することにより異物含有画像Ｇ２を取得するカメラから構成することもでき、また、ネットワーク、通信等を介して、異物Ｆが撮像された異物含有画像Ｇ２の画像信号を取得するものでもよい。

後述する教師画像作成部１０により作成される教師画像は、異物含有画像Ｇ２から切り出された異物Ｆの画像部分を鉄系スクラップ画像Ｇ１に貼り付けることにより得られるため、教師画像の生成時に、背景となる鉄系スクラップ画像Ｇ１との差異を小さくする目的で、例えば図７に示されるように、鉄系スクラップＳを背景にして異物Ｆを撮像することが望ましい。
また、鉄鋼製品を生産する際に鉄系スクラップＳに混在する異物Ｆの形状には種々のものがあるため、様々な形状の異物Ｆの画像を多数取得することが望ましい。

画像切り出し部９は、図８に示されるように、異物含有画像取得部８により取得された異物含有画像Ｇ２から異物Ｆの画像部分Ｇ３を切り出すものである。具体的には、画像切り出し部９は、異物含有画像Ｇ２に対する画像処理により、異物Ｆの形状に合わせて、異物Ｆ以外の部分の異物含有画像Ｇ２を除去し、異物Ｆの画像部分Ｇ３を切り出す。例えば、異物Ｆの上端、下端、左端および右端にそれぞれ接するように、図７に示される破線の矩形部分Ｂを設定し、異物含有画像Ｇ２から矩形部分Ｂに沿って異物Ｆを切り出すことができる。異物Ｆの背景をできる限り含まないように、異物Ｆの画像部分Ｇ３を切り出すことができれば、切り出しの画像処理方法自体は制限されるものではない。

教師画像作成部１０は、画像切り出し部９により切り出された異物Ｆの画像部分Ｇ３を、鉄系スクラップ画像取得部７により取得された鉄系スクラップ画像Ｇ１の上に貼り付けることにより、図９に示されるような教師画像ＧＴを作成する。鉄系スクラップ画像Ｇ１に異物Ｆの画像部分Ｇ３が貼り付けられることから、教師画像ＧＴは、鉄系スクラップＳに異物Ｆが混在する画像として作成される。

教師ラベル作成部１１は、図１０に示されるように、教師画像ＧＴを複数の画像要素Ｅに分割した後、図１１に示されるように、教師画像ＧＴの複数の画像要素Ｅと同じ個数で且つ同じ配列を有する複数の行列要素からなる行列として教師ラベルＬＴを作成する。このとき、教師画像ＧＴ内の異物Ｆが存在する画像要素Ｅに対応する行列要素ＭＦに、異物Ｆを表す所定の標識となる数値「１」が入力され、異物Ｆが存在しない、その他の画像要素Ｅに対応する行列要素に、数値「０」が入力される。

ここで、教師画像ＧＴは、異物含有画像Ｇ２から切り出された異物Ｆの画像部分Ｇ３を鉄系スクラップ画像Ｇ１に貼り付けることにより作成されているため、教師ラベル作成部１１は、教師画像ＧＴから異物Ｆを識別する手間をかけることなく、異物Ｆの画像部分Ｇ３を貼り付けた位置に対応する行列要素に数値「１」を入力するだけで、容易に且つ機械的に教師ラベルＬＴを作成することができる。
なお、図１１においては、便宜的に、異物Ｆに対応する行列要素ＭＦに数値「１」を入力し、その他の行列要素に数値「０」を入力したが、異物Ｆに対応する行列要素ＭＦとその他の行列要素とが互いに異なる数値を有していれば、他の数値とすることもできる。

また、教師画像作成部１０は、鉄系スクラップ画像取得部７により取得された複数の鉄系スクラップ画像Ｇ１と、異物含有画像取得部８により取得された複数の異物含有画像Ｇ２から切り出される複数の異物Ｆの画像部分Ｇ３とをランダムに組み合わせ、さらに、異物Ｆの位置、角度、大きさ、異物Ｆの反転化、１枚の教師画像ＧＴにおける異物Ｆの個数を、ランダムに設定することにより、実際に鉄系スクラップＳに異物Ｆが混在している画像を用意することなく、多数の教師画像ＧＴを作成することができる。
教師ラベル作成部１１は、このようにして教師画像作成部１０により作成される多数の教師画像ＧＴにそれぞれ対応する多数の教師ラベルＬＴを作成する。

教師データ作成部６の教師画像作成部１０および教師ラベル作成部１１により作成された多数の教師画像ＧＴおよび多数の教師ラベルＬＴを用いて、種別判定機能学習部５が種別判定部４を構成する多層ニューラルネットワークのパラメータを機械学習させることで、種別判定部４による種別判定の精度を向上させることが可能となる。

以上説明したような種別判定部４、種別判定機能学習部５および教師データ作成部６を含む異物検出装置１の画像判別部３は、ＣＰＵ（中央処理装置）と、ＣＰＵに接続されたＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）等の主記憶装置、ＣＰＵに接続されたＳＳＤ（ソリッド・ステート・ドライブ）もしくはＨＤＤ（ハード・ディスク・ドライブ）等の大容量記憶装置、並びにＣＰＵを作動させるプログラムにより構成することができる。
教師データ作成部６により作成され且つ種別判定部４が種別判定を行う際のモデルとなる多数の教師データと、種別判定部４を構成する多層ニューラルネットワークのパラメータとを大容量記憶装置に格納し、ＣＰＵが主記憶装置を利用しながら演算を行うことで、種別判定部４による種別判定処理が実行される。

次に、図１～図１１を参照しつつ、実施の形態１に係る異物検出装置１の動作について説明する。
まず、対象物画像取得部２により、鉄鋼製品を製造するために収集された鉄系スクラップＳを含む対象物Ａが撮像され、図２に示されるような対象物画像ＧＡが取得される。
取得された対象物画像ＧＡは、有線または無線により対象物画像取得部２から画像判別部３に転送され、画像判別部３の種別判定部４に入力される。

種別判定部４は、多数の教師データを用いて機械学習された多数のパーセプトロンからなる多層ニューラルネットワークにより構成されており、種別判定部４に入力された対象物画像ＧＡは、図３に示されるように、複数の画像要素Ｅに分割された後、画像セグメンテーションにより画像要素Ｅ毎に鉄系スクラップＳと異物Ｆのいずれであるかが判定される。そして、図４に示されるように、異物Ｆであると判定された画像要素Ｅに対応する行列要素ＭＦに数値「１」が入力され、異物Ｆではないと判定された画像要素Ｅに対応する行列要素に数値「０」が入力された判定行列ＬＡが種別判定部４から出力される。
判定行列ＬＡから数値「１」が入力されている行列要素ＭＦを抽出することにより、対象物Ａ内に異物Ｆが含まれていることを検出することができる。さらに、数値「１」の行列要素ＭＦに対応し且つ異物Ｆであると判定された画像要素Ｅの集合体を異物Ｆと認識することが可能となる。

種別判定部４では、画像セグメンテーションにより画像要素Ｅ毎に鉄系スクラップＳと異物Ｆのいずれであるかの種別判定を行っているが、一般に、多層ニューラルネットワークのパラメータを機械学習させて調整するには、パラメータの個数の１０倍程度以上もの教師データ数が必要と言われている。このような多数の教師データを用意するために、実物の異物が混在する鉄系スクラップを撮影して多数の教師画像を収集しようとすると、形状および大きさが異なる様々な鉄系スクラップと異物とを集め、これらの鉄系スクラップおよび異物を様々な混在方法で混在させ、それぞれの状態を撮像する必要がある。

しかしながら、鉄系スクラップおよび異物は、数十ｋｇ～数千ｋｇの重量を有しているため、鉄系スクラップおよび異物を動かすために多大の労力がかかる。従って、多層ニューラルネットワークのパラメータを機械学習に必要な教師画像を実物により収集するのは現実的ではない。
たとえ、実物の異物が混在する鉄系スクラップの画像を取得することができたとしても、教師画像に対応する教師ラベルを生成するためには、鉄系スクラップに混在する異物を作業者が自らの目で判断して異物の位置を特定し、その位置に異物であることを表す数値当の標識でラベル付けする必要がある。多数の教師画像に対して、鉄系スクラップに混在する異物を作業者の目で判断することは、容易ではない。

この実施の形態１に係る異物検出装置においては、少なくとも一部に異物Ｆが含まれる異物含有画像Ｇ２から切り出された異物Ｆの画像部分Ｇ３を鉄系スクラップ画像Ｇ１に貼り付けることにより教師画像ＧＴを作成すると共に、異物Ｆの画像部分Ｇ３を貼り付けた位置に対応する行列要素に数値「１」を入力することで教師ラベルＬＴを作成している。このため、実物の異物が混在する鉄系スクラップを撮影することなく、形状、大きさ、個数が異なる様々な異物Ｆが様々な混在方法で鉄系スクラップＳに混在した多数の教師画像ＧＴと、これらの教師画像ＧＴに対応する多数の教師ラベルＬＴとを、容易に且つ機械的に作成することができる。

なお、一般に、第１の画像に第２の画像を貼り付ける操作を行う際に、第１の画像に対する第２の画像の位置関係が現実のものと異なる場合には、極度に不自然な貼り付け画像となるおそれがある。しかしながら、この発明において種別判定の対象となる鉄系スクラップＳおよび異物Ｆは、形状、大きさ、姿勢にランダム性が大きく、鉄系スクラップ画像Ｇ１に異物Ｆの画像部分Ｇ３をランダムに配置しても、現物に近い画像を生成することができる。

特に、鉄系スクラップＳを背景にして異物Ｆを撮像された異物含有画像Ｇ２を取得して、異物含有画像Ｇ２から異物Ｆの画像部分Ｇ３を切り出せば、異物Ｆの画像部分Ｇ３に鉄系スクラップＳからなる背景が残っていたとしても、その背景が鉄系スクラップ画像Ｇ１に同化しやすくなり、質の高い教師画像ＧＴを得ることができる。このようにして作成される多数の良質の教師画像ＧＴと、多数の教師ラベルＬＴを用いて機械学習させることで、種別判定部４による種別判定能力を著しく高めることが可能になる。

実施の形態２
図１２に、実施の形態２に係る異物除去装置２１の構成を示す。異物除去装置２１は、実施の形態１の異物検出装置１を用いて、鉄系スクラップＳに混在する異物Ｆを除去するものである。
異物除去装置２１は、実施の形態１において説明した異物検出装置１と、異物検出装置１の種別判定部４に接続された異物位置特定部２２と、異物位置特定部２２に接続された異物除去制御部２３と、異物除去制御部２３に接続された異物除去部２４とを備えている。

異物位置特定部２２は、種別判定部４による判定結果に基づいて、鉄系スクラップＳに混在する異物Ｆの実空間での位置を特定して、実空間における異物Ｆの位置情報を異物除去制御部２３に出力する。
種別判定部４は、画像セグメンテーションにより画像要素Ｅ毎に種別判定を行い、判定結果を表す判定行列ＬＡを出力するので、異物位置特定部２２は、種別判定部４から出力された判定行列ＬＡにおいて異物Ｆに対応する行列要素ＭＦを確認して、異物Ｆであると判定された画像要素Ｅの集合体を異物Ｆと認識することにより、対象物画像ＧＡ上における異物Ｆの全体位置を特定することができる。さらに、対象物画像ＧＡは、対象物画像取得部２により鉄系スクラップＳを含む対象物Ａが撮像された画像であるので、異物位置特定部２２は、対象物画像ＧＡ上における異物Ｆの全体位置に基づいて、実空間での異物Ｆの外形座標を含んだ異物Ｆの位置を特定することができる。

異物除去制御部２３は、異物位置特定部２２から出力された実空間における異物Ｆの位置情報に基づき、鉄系スクラップＳに異物Ｆが混在している対象物Ａから異物Ｆを除去するために異物除去部２４を作動制御する。
異物除去部２４は、異物除去制御部２３による制御の下で、異物Ｆを除去するように作動するアクチュエータであり、図１３に示されるように、鉄系スクラップＳが含まれる対象物Ａに対して、Ｘ方向、Ｙ方向およびＺ方向からなる三次元方向に移動可能に保持された把持部２５を有している。なお、図１３には、対象物Ａの近傍に設置された対象物画像取得部２が示されている。

実施の形態２に係る異物除去装置２１を用いることにより、鉄系スクラップＳと異物Ｆとを含む対象物Ａから異物Ｆを除去することができる。
図１４に、鉄系スクラップＳと異物Ｆとを含む対象物Ａから異物Ｆを除去した後、鉄系スクラップＳを電気炉に装入する方法のフローチャートを示す。
図１４と、図３～４、図１２～１３および図１５を参照して、異物Ｆが除去された鉄系スクラップＳを電気炉に装入する動作について説明する。

まず、ステップＳ１で、鉄系スクラップＳが含まれる対象物Ａが鉄鋼製品の製造施設に輸送される。
次に、ステップＳ２で、図１３に示されるように、対象物Ａの近傍に設置された対象物画像取得部２により対象物Ａが撮像され、対象物画像ＧＡが取得される。なお、図１３には、鉄系スクラップＳに異物Ｆが混在した対象物Ａが示されている。
また、対象物画像取得部２により取得された対象物画像ＧＡは、有線または無線により対象物画像取得部２から種別判定部４に転送される。

さらに、ステップＳ３で、対象物画像ＧＡは、図３に示されるように、種別判定部４により複数の画像要素Ｅに分割された後、画像セグメンテーションにより画像要素Ｅ毎に鉄系スクラップＳと異物Ｆのいずれであるかが判定される。そして、図４に示されるように、異物Ｆであると判定された画像要素Ｅに対応する行列要素ＭＦに数値「１」が入力され、異物Ｆではないと判定された画像要素Ｅに対応する行列要素に数値「０」が入力された判定行列ＬＡが種別判定部４から出力される。

種別判定部４から判定行列ＬＡが出力されると、ステップＳ４で、判定行列ＬＡに基づいて、対象物Ａからの異物Ｆの検出が行われる。
ステップＳ４で、対象物Ａから異物Ｆが検出されると、ステップＳ５に進み、異物位置特定部２２により、種別判定部４から出力された判定行列ＬＡに基づいて、鉄系スクラップＳに混在する異物Ｆの実空間での位置が特定され、実空間における異物Ｆの位置情報が出力される。

さらに、ステップＳ６で、異物位置特定部２２から出力された異物Ｆの位置情報に基づいて、異物除去制御部２３により異物除去部２４が作動制御され、対象物Ａから異物Ｆが除去される。このとき、図１５に示されるように、異物除去部２４の把持部２５が、実空間における異物Ｆの位置まで移動され、把持部２５により異物Ｆが把持された状態で対象物Ａから除去される。
このようにして対象物Ａから異物Ｆが除去された後、ステップＳ７で、鉄系スクラップＳのみが、製造施設の図示しない電気炉に装入される。
なお、ステップＳ４で、対象物Ａから異物Ｆが検出されなかった場合は、対象物Ａが鉄系スクラップＳのみからなると判断され、ステップＳ４からステップＳ７に進んで、鉄系スクラップＳのみからなる対象物Ａが電気炉に装入される。

対象物Ａから異物Ｆが除去されることで、電気炉において、鉄系スクラップＳのみを原材料とする溶鉄を行うことができる。従って、例えば、銅成分の混入による鉄鋼製品の割れを防止し、また、液体を含む飲料缶、爆発性の気体原料を含むガス管が鉄系スクラップＳと共に装入されることによる電気炉の破損を防止して、高品質の鉄鋼製品を製造することが可能となる。

図１３および図１５では、把持部２５が吊り下げられた状態で三次元方向に移動する異物除去部２４が示されているが、これに限るものではない。例えば、三次元方向に可動するアームの先端に把持部が取り付けられている、いわゆるロボットアームのようなアクチュエータを異物除去部２４として使用することもできる。
また、鉄が含まれている異物Ｆを除去する場合には、異物除去部２４として、電磁石により異物Ｆを吸着するものを使用してもよい。

なお、対象物画像ＧＡを取得するための対象物画像取得部２は、鉄鋼製品の製造施設に輸送された対象物Ａを撮像することができる位置に設置されていればよく、また、対象物Ａに接触することなく非接触で対象物画像ＧＡを取得するため、対象物画像取得部２の設置の自由度は高いものである。このため、製造現場の動線を妨げることなく、さらに、生産性を低下させることなく、対象物画像取得部２により対象物画像ＧＡの取得を行うことが可能となる。

１異物検出装置、２対象物画像取得部、３画像判別部、４種別判定部、５種別判定機能学習部、６教師データ作成部、７鉄系スクラップ画像取得部、８異物含有画像取得部、９画像切り出し部、１０教師画像作成部、１１教師ラベル作成部、２１異物除去装置、２２異物位置特定部、２３異物除去制御部、２４異物除去部、２５把持部、Ｓ鉄系スクラップ、Ｆ異物、Ａ対象物、ＧＡ対象物画像、Ｅ画像要素、ＬＡ判定行列、ＭＦ行列要素、Ｇ１鉄系スクラップ画像、Ｇ２異物含有画像、Ｇ３異物の画像部分、Ｂ矩形部分、ＧＴ教師画像、ＬＴ教師ラベル。

Claims

鉄系スクラップを含む対象物が撮像された対象物画像を取得する対象物画像取得部と、
前記対象物画像に基づいて前記対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別する画像判別部と、
を備え、
前記画像判別部は、種別判定部を含み、
前記種別判定部は、
前記対象物画像を複数の画像要素に分割し、
前記画像要素毎に前記鉄系スクラップと前記異物のいずれであるかを判定し、
判定された結果を、前記対象物画像の前記複数の画像要素と同じ個数で且つ同じ配列を有する複数の行列要素からなる判定行列として出力する、
異物検出装置。
前記種別判定部は、多層ニューラルネットワークにより構成され、
前記多層ニューラルネットワークのパラメータは、鉄系スクラップに異物が混在する教師画像と、前記教師画像に対応し且つ前記教師画像内の前記異物が存在する位置に所定の標識によるラベル付けがなされた教師ラベルと、を含む複数の教師データに基づいて機械学習されることで得られる請求項１に記載の異物検出装置。
請求項１または２に記載の異物検出装置と、
前記種別判定部により出力された前記判定行列に基づいて、実空間における前記異物の位置を特定する異物位置特定部と、
前記異物位置特定部により特定された前記異物の位置に基づいて、前記対象物から前記異物を除去する異物除去部と、
を備える異物除去装置。
鉄系スクラップを含む対象物が撮像された対象物画像を取得する対象物画像取得ステップと、
前記対象物画像に基づいて前記対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別する判別ステップと、
を備え、
前記判別ステップは種別判定ステップを含み、
前記種別判定ステップは、
前記対象物画像を複数の画像要素に分割し、
前記画像要素毎に前記鉄系スクラップと前記異物のいずれであるかを判定し、
判定された結果を、前記対象物画像の前記複数の画像要素と同じ個数で且つ同じ配列を有する複数の行列要素からなる判定行列として出力する、
異物検出方法。
鉄系スクラップを含む対象物が撮像された対象物画像を取得する対象物画像取得ステップと、
前記対象物画像を複数の画像要素に分割し、
前記画像要素毎に前記鉄系スクラップと前記前記鉄系スクラップ以外の異物のいずれであるかを判定し、
判定された結果を、前記対象物画像の前記複数の画像要素と同じ個数で且つ同じ配列を有する複数の行列要素からなる判定行列として出力する、
種別判定ステップと、
前記種別判定ステップにより出力された前記判定行列に基づいて、実空間における前記異物の位置を特定する異物位置特定ステップと、
前記異物位置特定ステップにより特定された前記異物の位置に基づいて、前記対象物から前記異物を除去する異物除去ステップと、
を備える異物除去方法。
鉄系スクラップを含む対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別する異物検出方法に用いる種別判定部のための教師データ作成方法であって、
前記鉄系スクラップのみが撮像された鉄系スクラップ画像を取得する鉄系スクラップ画像取得ステップと、
鉄系スクラップを背景として異物を撮像することにより異物含有画像を取得する異物含有画像取得ステップと、
前記異物含有画像から前記鉄系スクラップを背景にした前記異物の画像部分を切り出す画像切り出しステップと、
切り出され且つ前記鉄系スクラップを背景にした前記異物の画像部分を前記鉄系スクラップ画像に貼り付けることにより教師画像を作成する教師画像作成ステップと、
前記教師画像に対応し且つ前記教師画像内の前記異物が存在する位置に所定の標識によるラベル付けがなされた教師ラベルを作成する教師ラベル作成ステップと、
を含む教師データ作成方法。
鉄系スクラップを含む対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別する異物検出方法に用いる種別判定部の生成方法であって、
請求項６に記載の教師データ作成方法を用いて、複数の教師データを作成する教師データ作成ステップと、
前記教師データ作成ステップにより作成された前記複数の教師データを用いて、前記種別判定部を構成する多層ニューラルネットワークのパラメータを機械学習させる種別判定機能学習ステップと、
を含む種別判定部の生成方法。
前記画像判別部は、
前記複数の教師データを作成する教師データ作成部と、
前記教師データ作成部により作成された前記複数の教師データを用いて、前記種別判定部を構成する前記多層ニューラルネットワークのパラメータを機械学習させる種別判定機能学習部と、
を含む請求項２に記載の異物検出装置。
鉄系スクラップを含む対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別する異物検出装置に用いる種別判定部のための教師データ作成部であって、
前記鉄系スクラップのみが撮像された鉄系スクラップ画像を取得する鉄系スクラップ画像取得部と、
鉄系スクラップを背景として前記異物を撮像することにより前記異物が含まれる異物含有画像を取得する異物含有画像取得部と、
前記異物含有画像から前記鉄系スクラップを背景にした前記異物の画像部分を切り出す画像切り出し部と、
前記画像切り出し部により切り出され且つ鉄系スクラップを背景にした前記異物の画像部分を前記鉄系スクラップ画像に貼り付けることにより教師画像を作成する教師画像作成部と、
前記教師画像に対応し且つ前記教師画像内の前記異物が存在する位置に所定の標識によるラベル付けがなされた教師ラベルを作成する教師ラベル作成部と、
を含む、教師データ作成部。