WO2025100034A1 - 異物検知装置及び異物検知方法 - Google Patents

異物検知装置及び異物検知方法 Download PDF

Info

Publication number
WO2025100034A1
WO2025100034A1 PCT/JP2024/029903 JP2024029903W WO2025100034A1 WO 2025100034 A1 WO2025100034 A1 WO 2025100034A1 JP 2024029903 W JP2024029903 W JP 2024029903W WO 2025100034 A1 WO2025100034 A1 WO 2025100034A1
Authority
WO
WIPO (PCT)
Prior art keywords
foreign object
scrap
images
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/029903
Other languages
English (en)
French (fr)
Inventor
雄亮 石垣
皓紀 長屋
慶晃 西名
友一 中村
真慧 松本
正敏 石割
徹 五十川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Priority to CN202480065321.1A priority Critical patent/CN122029567A/zh
Priority to JP2025502464A priority patent/JP7655460B1/ja
Priority to KR1020267007138A priority patent/KR20260049281A/ko
Priority to EP24888336.5A priority patent/EP4779561A1/en
Publication of WO2025100034A1 publication Critical patent/WO2025100034A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/20—Recycling

Definitions

  • This disclosure relates to a foreign object detection device and a foreign object detection method. This disclosure particularly relates to a foreign object detection device and a foreign object detection method for detecting foreign objects contained in scrap.
  • Patent Document 1 proposes a system that uses a camera installed in a scrap yard to detect sealed objects contained in a collection of iron scrap.
  • Patent Document 1 uses multiple cameras to capture images of iron scrap piled up in a scrap yard, iron scrap lifted by a crane, and iron scrap loaded onto a truck or ship.
  • scrap yards are vast and contain multiple piles of scrap. This makes it difficult to capture images of only the target scrap with the camera.
  • the target scrap is far away from the camera, it is difficult to capture a high-precision image of the scrap, which reduces the accuracy of detecting foreign objects from the captured images.
  • the purpose of this disclosure is to provide a foreign object detection device and a foreign object detection method that can identify foreign objects with a high degree of accuracy from photographed images of the target scrap.
  • a foreign object detection device for detecting foreign objects contained in scrap, comprising: an image acquisition unit that moves following a working unit that performs a predetermined operation on the scrap and acquires images taken by a camera that captures images of the surroundings of the working unit;
  • the image processing device further includes a determination unit that detects the candidate foreign object based on the image and determines the presence or absence of a foreign object based on a result of the detection of the candidate foreign object.
  • the working unit is an arm of a heavy machine, and the camera is attached to the heavy machine or the arm.
  • the image is a plurality of images captured by the camera with different fields of view
  • the determination unit detects the foreign object candidate in each of the plurality of images, and determines the presence or absence of the foreign object based on a detection result of the foreign object candidate in the plurality of images.
  • the image acquisition unit acquires the images at time intervals of 30 seconds or less.
  • a foreign object detection method for detecting foreign objects contained in scrap comprising the steps of: acquiring an image captured by a camera that moves following a working unit that performs a predetermined operation on the scrap and captures an image of the surroundings of the working unit; Detecting the candidate foreign object based on the image, and determining the presence or absence of a foreign object based on a result of detecting the candidate foreign object.
  • the present disclosure provides a foreign object detection device and a foreign object detection method that can identify foreign objects with high accuracy from photographed images of the target scrap.
  • FIG. 1 is a schematic diagram illustrating an example of the configuration of a foreign object detection system including a foreign object detection device according to an embodiment of the present disclosure.
  • FIG. 2 is a flowchart showing a process of a foreign object detection method according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing an example of N images.
  • Fig. 1 is a schematic diagram showing an example of the configuration of a foreign object detection system including a foreign object detection device 10 according to this embodiment.
  • the foreign object detection device 10 is shown in a block diagram illustrating an example of the internal configuration.
  • the foreign object detection device 10 is a device that detects foreign objects contained in scraps based on images of the scraps.
  • the foreign object detection device 10 is used to inspect iron-based scrap using heavy machinery with an arm.
  • Iron-based scrap is used as an iron raw material in the manufacture of steel products.
  • the foreign object detection device 10 determines whether or not there is a foreign object in the scrap.
  • a lifting magnet for transporting and moving the scrap is provided at the tip of the arm of the heavy machinery. The scrap is placed on the ground (yard) as a scrap pile.
  • a scrap pile means a collection of a lump of scrap piled up in a mountain shape.
  • the part that performs the specified work on the scrap is called the working unit.
  • the working unit is the arm of the heavy machinery that performs the leveling work.
  • the working unit is not limited to the arm of the heavy equipment, but may be, for example, a lifting magnet that moves along a rail.
  • the predetermined work is not limited to leveling work, but may be, for example, work such as transporting, moving, and lifting scrap.
  • the worker is also the driver who operates the heavy equipment.
  • the foreign object detection device 10 includes a communication unit 11, a storage unit 12, and a control unit 13.
  • the control unit 13 includes an image acquisition unit 131, a determination unit 132, and an output unit 133.
  • the foreign object detection device 10 may be, for example, a computer as a hardware configuration.
  • the computer may be a server computer or a portable computer such as a laptop or tablet. Details of the components of the foreign object detection device 10 will be described later.
  • the foreign object detection device 10 may not be a single device, but may be composed of multiple devices that are placed in multiple locations and can send and receive data to each other via a network. In other words, multiple devices connected by a network may function as the foreign object detection device 10 shown in FIG. 1 as a whole.
  • the foreign object detection device 10 may be composed of one computer as a hardware configuration, or may be composed of multiple computers connected by a network.
  • the storage unit 12 may be a shared memory that can be accessed by each computer.
  • the foreign object detection device 10 is described as a server computer installed at a location away from the yard where the scrap pile is placed, but it may be any type of computer located in the yard.
  • the foreign object detection device 10 may be a small computer built into a camera, or a terminal device used by an operator may be integrated with the foreign object detection device 10.
  • the foreign object detection device 10 may constitute a foreign object detection system together with devices connected to the network.
  • the network may be, for example, the Internet.
  • the network may also be configured to include, for example, a LAN (Local Area Network) in part.
  • the foreign object detection system is configured to include a camera attached to a heavy machine or an arm. The camera moves following the working unit (arm) and captures images of the surroundings of the working unit. Since the heavy machine or arm moves relative to the scrap pile during work, the images captured by the camera also capture the scrap pile from multiple different directions (angles). In other words, the worker can capture the scrap pile from multiple different directions (angles) simply by operating the heavy machine to perform normal work (in other words, without the need to operate the camera separately).
  • the camera has a communication function, and the captured images can be output to the foreign object detection device 10 via the network.
  • the camera may also be configured to output captured images to the foreign object detection device 10 via a terminal device.
  • the foreign object detection system is configured to include a terminal device used by workers performing work in the yard.
  • the terminal device has at least a function for transmitting information regarding the presence or absence of a foreign object (specific examples include determination results, etc.) to the worker.
  • the terminal device may be, but is not limited to, a general-purpose mobile terminal such as a smartphone or tablet.
  • the terminal device has a communication function, and can obtain information regarding the presence or absence of a foreign object from the foreign object detection device 10 via a network.
  • the camera has a communication function, and takes an image of the scrap to be worked on during the leveling work, and outputs the image data to the foreign object detection device 10 via the network.
  • the camera takes multiple images of the scrap to be worked on at a predetermined time interval, with different fields of view (orientation and angle of view).
  • the camera is installed on the arm of the heavy equipment, so the position and orientation of the camera change in response to the operator manipulating the position and orientation of the arm during the leveling work.
  • multiple images may be taken while spreading out the scrap pile, or may be taken while changing the field of view with the scrap pile unchanged.
  • the result of the determination of the presence or absence of foreign objects based on multiple images is notified to the terminal device used by the operator. Therefore, the operator who is also the driver of the heavy equipment can detect foreign objects with high accuracy without increasing the workload (i.e., by simply operating the heavy equipment as usual), and can efficiently inspect the iron-based scrap.
  • the communication unit 11 includes one or more communication modules that connect to a network.
  • the communication unit 11 may include a communication module that supports mobile communication standards such as 4G (4th Generation) and 5G (5th Generation).
  • the communication unit 11 may include a communication module that supports a wired or wireless LAN standard.
  • the storage unit 12 is one or more memories.
  • the memory may be, for example, a semiconductor memory, a magnetic memory, or an optical memory, but is not limited to these and may be any type of memory.
  • the storage unit 12 is, for example, built into the foreign object detection device 10, but may also be configured to be accessed from the outside by the foreign object detection device 10 via any interface.
  • the storage unit 12 stores various data used in the various calculations performed by the control unit 13.
  • the storage unit 12 may also store the results and intermediate data of the various calculations performed by the control unit 13.
  • the storage unit 12 may temporarily store various information from devices connected via a network.
  • the storage unit 12 stores multiple images of the scrap pile with different fields of view captured by a camera at a predetermined time interval.
  • the storage unit 12 stores the presence or absence of a foreign object candidate determined by the determination unit 132 in association with each of the multiple images.
  • the storage unit 12 may store the presence or absence and position of a foreign object determined by the determination unit 132.
  • a foreign object candidate means a foreign object determined in one image.
  • the final presence or absence of a foreign object is determined in multiple images. Therefore, in order to distinguish it from the final foreign object, a foreign object determined in one image is called a "foreign object candidate."
  • the control unit 13 is one or more processors.
  • the processor may be, for example, a general-purpose processor or a dedicated processor specialized for a particular process, but is not limited to these and may be any processor.
  • the control unit 13 controls the overall operation of the foreign object detection device 10.
  • the foreign object detection device 10 may have the following software configuration.
  • One or more programs used to control the operation of the foreign object detection device 10 are stored in the memory unit 12.
  • the programs stored in the memory unit 12 are loaded by the processor of the control unit 13, they cause the control unit 13 to function as an image acquisition unit 131, a determination unit 132, and an output unit 133.
  • the image acquisition unit 131 acquires images captured by a camera.
  • the image acquisition unit 131 acquires multiple images with different fields of view captured by the camera.
  • the interval (acquisition interval) at which the image acquisition unit 131 acquires images may be the above-mentioned predetermined time interval, i.e., the shooting interval of the camera, but may be longer than the predetermined time interval.
  • the acquisition interval of the image acquisition unit 131 may be set based on the moving speed of the heavy equipment or the operating speed of the arm. However, it is preferable that the acquisition interval is short enough that there is no change in the target scrap pile in the predetermined work (leveling work in this embodiment). For example, the acquisition interval is within 30 seconds.
  • the image acquisition unit 131 acquires multiple images at a time interval of 30 seconds or less.
  • the determination unit 132 detects potential foreign objects based on the images acquired by the image acquisition unit 131, and determines the presence or absence of foreign objects in the scrap pile based on the detection results of the potential foreign objects.
  • the number of images acquired by the image acquisition unit 131 is at least N (N is an integer equal to or greater than 2).
  • the determination unit 132 detects potential foreign objects in each of the multiple images, and determines the presence or absence of a foreign object based on the detection results of the potential foreign objects in the multiple images. In addition to the presence or absence of a foreign object, the position of the foreign object may also be determined. Details of determining the presence or absence of a foreign object will be described later.
  • the output unit 133 outputs information regarding the presence or absence of a foreign object, including the result of the determination by the determination unit 132, to a terminal device or the like.
  • the information regarding the presence or absence of a foreign object may be audio, image, or text information. If the terminal device is equipped with, for example, a speaker, and can convey information to the worker by audio, the output unit 133 may output audio information regarding the presence or absence of a foreign object. If the terminal device is equipped with, for example, a display, and can convey information to the worker by image, the output unit 133 may output image information regarding the presence or absence of a foreign object.
  • the output unit 133 may also output a control signal to the terminal device to cause it to perform a predetermined operation according to the presence or absence of a foreign object.
  • the output unit 133 may output a control signal to the terminal device to cause it to generate an alarm sound.
  • the output unit 133 may also send an email or the like including the determination result to the terminal device or the smartphone of the yard manager or the like.
  • (Foreign object detection method) 2 is a flowchart showing the process of the foreign object detection method according to this embodiment.
  • the process of the foreign object detection method is executed by the foreign object detection device 10, and may be started, for example, when at least N images have been captured after the camera has started capturing images.
  • the image acquisition unit 131 acquires data of an image captured by a camera (step S1).
  • the determination unit 132 determines whether or not there is a candidate for a foreign object for the image acquired by the image acquisition unit 131 (step S2). Then, the determination result by the determination unit 132 (whether or not there is a candidate for a foreign object) is recorded (step S3). In other words, the presence or absence of a candidate for a foreign object is linked to the acquired image and stored in the memory unit 12.
  • the detection of potential foreign objects by the determination unit 132 may use a known method for object recognition in an image.
  • a model generated by machine learning using past images containing foreign objects and images not containing foreign objects as learning data may be used.
  • a pre-trained deep learning model may be used.
  • the position of a foreign object may also be determined using such a model.
  • the judgment unit 132 judges whether or not there is a foreign object using not only one image (the most recently obtained image), but N (multiple) images. As described above, the judgment results (whether or not there is a foreign object candidate) by the judgment unit 132 are stored in the memory unit 12. The judgment unit 132 acquires the judgment results of the past N images, including the most recent image, from the memory unit 12. The judgment unit 132 then calculates the number of times that it has been determined that there is a foreign object candidate in the N images (step S4). In the following description, it is assumed that the number of times that it has been determined that there is a foreign object candidate in step S4 is k. The judgment unit 132 also calculates the proportion of times that it has been determined that there is a foreign object candidate (k/N).
  • FIG. 3 is a diagram showing an example of N images.
  • the time when the most recent image was obtained is "T", and the above-mentioned acquisition interval is " ⁇ T".
  • the judgment unit 132 acquires from the memory unit 12 the presence or absence of foreign object candidates for the past N images up to T-(N-1) ⁇ T.
  • T time when the most recent image was obtained
  • ⁇ T acquisition interval
  • the judgment unit 132 acquires from the memory unit 12 the presence or absence of foreign object candidates for the past N images up to T-(N-1) ⁇ T.
  • there is no foreign object candidate in the third and Nth images In the example of FIG. 3, if N is 5 in the example of FIG. 3, the number of times that it was judged that there is a foreign object candidate is 3, and the above-mentioned ratio (k/N) is 60%.
  • the determination unit 132 determines whether the ratio (k/N) of the number of candidates for a foreign object is equal to or greater than a threshold (step S5). If the ratio (k/N) is equal to or greater than the threshold (Yes in step S5), the determination unit 132 determines that a foreign object is present in the target scrap pile (step S6). If the ratio (k/N) is less than the threshold (No in step S5), the determination unit 132 determines that no foreign object is present in the target scrap pile (step S7).
  • the determination result may be output to a terminal device by the output unit 133.
  • the threshold is 50% as an example, but is not limited to this and may be changed according to, for example, the value of N.
  • the interval (acquisition interval) at which the image acquisition unit 131 acquires images i.e., ⁇ T
  • the threshold is 50%
  • N is 5.
  • the ratio (k/N) is 60%, which is equal to or greater than the threshold, so the determination unit 132 determines that a foreign object is present.
  • the foreign object detection method of this embodiment multiple images with different fields of view are taken of the same scrap, and foreign object detection is performed based on the multiple images. Therefore, foreign objects that are difficult to see from one direction can be detected in an image seen from another direction, preventing them from being overlooked. Furthermore, because foreign object detection is performed based on multiple images, erroneous detection of objects other than foreign objects as foreign objects can also be prevented. Furthermore, because foreign object detection is possible using only multiple images from the camera, the processing load is reduced and the time until a judgment result is obtained can be shortened. Since workers can obtain judgment results almost in real time, they can efficiently proceed with inspection work, etc.
  • the foreign object detection device 10 and foreign object detection method according to this embodiment can identify foreign objects with high accuracy from captured images of the target scrap.
  • it is possible to prevent quality degradation due to the inclusion of impurity elements in steel products manufactured by melting scrap. It is also possible to prevent steam explosions and other problems caused by the inclusion of sealed objects in the manufacturing of steel products.
  • the camera was attached to the arm of the heavy equipment.
  • the camera may be attached somewhere other than the arm of the heavy equipment (for example, above the driver's seat, etc.). Even if the camera is attached somewhere other than the arm, the camera moves with the heavy equipment when it moves forward, backward, and turns, so the camera can always capture the tip of the arm. Also, the camera does not have to be attached to the heavy equipment as long as it can follow the movement of the arm.
  • the camera may be attached to an unmanned aerial vehicle, and the unmanned aerial vehicle may fly around the heavy equipment so that the camera is always pointing at the tip of the arm.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

異物検知装置（１０）は、スクラップの中に含まれる異物を検知する異物検知装置であって、スクラップに対して所定の作業を行う作業部に追随して移動するとともに作業部の周囲の画像を撮影するカメラによって撮影された画像を取得する画像取得部（１３１）と、画像に基づいて異物の候補を検知し、異物の候補の検知結果に基づいて異物の有無を判定する判定部（１３２）と、を備える。

Description

異物検知装置及び異物検知方法
　本開示は、異物検知装置及び異物検知方法に関する。本開示は、特にスクラップの中に含まれる異物を検知する異物検知装置及び異物検知方法に関する。
　鉄鋼製品の製造において、環境負荷を低減するために、鉄原料として鉄系のスクラップの利用を増加させることが望まれている。鉄鋼製品の製造でスクラップを溶解させる際には、鉄系以外の物質及び密閉物等の異物を事前に取り除く必要がある。スクラップから異物を取り除くために、スクラップの中における異物の有無を判定する必要がある。
　近年、対象物を撮影した画像から、深層学習を利用して事前に学習した物体を判別する物体認識技術が開発されている。物体認識技術は、対象物であるスクラップの画像から異物を検知することにも適用可能である。例えば特許文献１は、スクラップヤードに設置されたカメラを用いて鉄スクラップの集合に含まれる密閉物を検出するシステムを提案する。
特開２０２１－８６２８５号公報
　特許文献１の技術は、スクラップヤードに積み重なった鉄スクラップ、クレーンにより持ち上げられた鉄スクラップ及びトラック又は船に積込まれた鉄スクラップを複数のカメラでそれぞれ撮影する。しかし、スクラップヤードは広大であり、複数のスクラップ山が存在している。そのため、対象のスクラップのみをカメラで撮影することは難しい。また、対象のスクラップとカメラとの位置が遠い場合に、高精度なスクラップの画像を撮影することが難しいため、撮影画像から異物を検知する精度が低下する。
　かかる事情に鑑みてなされた本開示の目的は、対象のスクラップの撮影画像から高精度に異物を判別することができる異物検知装置及び異物検知方法を提供することにある。
　（１）本開示の一実施形態に係る異物検知装置は、
　スクラップの中に含まれる異物を検知する異物検知装置であって、
　前記スクラップに対して所定の作業を行う作業部に追随して移動するとともに前記作業部の周囲の画像を撮影するカメラによって撮影された画像を取得する画像取得部と、
　前記画像に基づいて前記異物の候補を検知し、前記異物の候補の検知結果に基づいて異物の有無を判定する判定部と、を備える。
　（２）本開示の一実施形態として、（１）において、
　前記作業部は重機のアームであり、前記カメラは前記重機又は前記アームに取り付けられている。
　（３）本開示の一実施形態として、（１）又は（２）において、
　前記画像は、前記カメラによって撮影された視野が異なる複数の画像であって、
　前記判定部は、前記複数の画像のそれぞれについて前記異物の候補を検知するとともに、前記複数の画像における前記異物の候補の検知結果に基づいて前記異物の有無を判定する。
　（４）本開示の一実施形態として、（３）において、
　前記画像取得部は、３０秒以内の時間間隔で前記複数の画像を取得する。
　（５）本開示の一実施形態に係る異物検知方法は、
　スクラップの中に含まれる異物を検知する異物検知方法であって、
　前記スクラップに対して所定の作業を行う作業部に追随して移動するとともに前記作業部の周囲の画像を撮影するカメラによって撮影された画像を取得することと、
　前記画像に基づいて前記異物の候補を検知し、前記異物の候補の検知結果に基づいて異物の有無を判定することと、を含む。
　本開示によれば、対象のスクラップの撮影画像から高精度に異物を判別することができる異物検知装置及び異物検知方法を提供することができる。
図１は、本開示の一実施形態に係る異物検知装置を備える異物検知システムの構成例を示す概略図である。 図２は、本開示の一実施形態に係る異物検知方法の処理を示すフローチャートである。 図３は、Ｎ枚の画像の例を示す図である。
　以下、図面を参照して本開示の一実施形態に係る異物検知装置１０（図１参照）及び異物検知方法が説明される。
（異常検知システム）
　図１は、本実施形態に係る異物検知装置１０を備える異物検知システムの構成例を示す概略図である。図１において、異物検知装置１０は内部構成を例示するブロック図で示されている。異物検知装置１０は、スクラップの画像に基づいて、スクラップの中に含まれる異物を検知する装置である。
　図１の例において、異物検知装置１０はアーム付き重機を用いる鉄系スクラップの検品で使用される。鉄系スクラップは鉄鋼製品の製造において鉄原料として利用される。鉄鋼製品の製造でスクラップを溶解させる際には異物（鉄系以外の物質及び密閉物等）を事前に取り除く必要がある。スクラップから異物を取り除くために、異物検知装置１０がスクラップの中における異物の有無を判定する。ここで、重機のアームの先端には、スクラップを運搬、移動するためのリフティングマグネットが設けられている。スクラップは地上（ヤード）にスクラップ山として置かれている。異物を検知して取り除くために、アーム付き重機を操作する作業者は、山が平らになるようにスクラップを広げる作業（以下「均し作業」）を行う。ここで、スクラップ山とは、山状に積み上げられた一塊のスクラップの集合体を意味する。以下の説明において、スクラップに対して所定の作業を行う部分は作業部と称される。図１の例において、作業部は均し作業を行う重機のアームである。ここで、作業部は重機のアームに限定されず、例えばレールに沿って移動するリフティングマグネット等であってよい。また、所定の作業は均し作業に限定されず、例えばスクラップの運搬、移動、持ち上げ等の作業であってよい。また、図１の例において、作業者は重機の運転を行う運転者でもある。
　異物検知装置１０は、通信部１１と、記憶部１２と、制御部１３と、を備える。制御部１３は、画像取得部１３１と、判定部１３２と、出力部１３３と、を備える。異物検知装置１０は、ハードウェア構成として、例えばコンピュータであってよい。コンピュータは、サーバコンピュータであってよいし、ラップトップ又はタブレットのように可搬のコンピュータであってよい。異物検知装置１０の構成要素の詳細については後述する。ここで、異物検知装置１０は１つの装置でなく、複数の場所に配置されて互いにネットワークでデータの送受信が可能な複数の装置で構成されてよい。つまり、ネットワークで接続される複数の装置が、全体として図１に示される異物検知装置１０として機能してよい。したがって、例えば異物検知装置１０は、ハードウェア構成として、１つのコンピュータで構成されてよいし、ネットワークで接続された複数のコンピュータで構成されてよい。複数のコンピュータで構成される場合に、記憶部１２はそれぞれのコンピュータがアクセス可能な共有メモリなどであってよい。本実施形態において、異物検知装置１０はスクラップ山が置かれるヤードから離れた場所に設けられたサーバコンピュータであるとして説明するが、ヤードに配置された各種のコンピュータであってよい。例えば別の構成例として、異物検知装置１０はカメラに内蔵された小型のコンピュータであってよいし、作業者が用いる端末装置が異物検知装置１０と一体化されてよい。
　異物検知装置１０は、ネットワークで接続される装置とともに、異物検知システムを構成してよい。ネットワークは例えばインターネットである。また、ネットワークは、例えば一部においてＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含んで構成されてよい。本実施形態において、異物検知システムは、重機又はアームに取り付けられているカメラを含んで構成される。カメラは、作業部（アーム）に追随して移動するとともに作業部の周囲の画像を撮影する。重機又はアームは作業中にスクラップ山に対して動くため、カメラによって撮影される画像もスクラップ山を複数の異なる方向（角度）から撮影するものになる。つまり、作業者は重機を操作して通常の作業を実行するだけで（換言すると、カメラを別途操作する必要なく）、スクラップ山を複数の異なる方向（角度）から撮影できる。また、図１のようにカメラがリフティングマグネットの方を向いて設けられることによって、アームの先端の周囲をカメラによって確実に撮影することができる。ここで、本実施形態において、カメラは通信機能を備えており、撮影画像をネットワーク経由で異物検知装置１０に出力することができる。また、カメラは、端末装置を介して撮影画像を異物検知装置１０に出力する構成であってよい。
　また、本実施形態において、異物検知システムは、ヤードで作業を行う作業者が用いる端末装置を含んで構成される。端末装置は、少なくとも作業者に対して異物の有無に関する情報（具体例として判定結果等）を伝える機能を備える。端末装置は、例えばスマートフォン又はタブレットなどの汎用の移動端末であってよいが、これらに限定されない。ここで、端末装置は通信機能を備えており、異物の有無に関する情報をネットワーク経由で異物検知装置１０から取得することができる。
　上記のように、カメラは通信機能を備えており、均し作業中に作業対象のスクラップを撮影して、画像データをネットワーク経由で異物検知装置１０に出力する。本実施形態において、カメラは所定の時間間隔で、作業対象のスクラップが撮影された視野（向き及び画角）が異なる複数の画像を撮影する。本実施形態において、カメラは重機のアームに設置されているため、均し作業中に作業者がアームの位置及び向きを操作することに追随してカメラの位置及び向きが変化する。ここで、複数の画像はスクラップ山を広げながら撮影されてよいし、スクラップ山が変化しない状態で視野を変えて撮影されてよい。また、後述するように、本実施形態において複数の画像に基づく異物の有無の判定結果は作業者が用いる端末装置に通知される。そのため、重機の運転手でもある作業者は作業負荷を増大させることなく（すなわち通常の重機の操作を行うだけで）、異物を高い精度で検知可能であり、鉄系スクラップの検品を効率的に実施できる。
（異物検知装置）
　以下、異物検知装置１０の構成要素の詳細が説明される。通信部１１は、ネットワークに接続する１つ以上の通信モジュールを含んで構成される。通信部１１は、例えば４Ｇ（４ｔｈ　Ｇｅｎｅｒａｔｉｏｎ）、５Ｇ（５ｔｈ　Ｇｅｎｅｒａｔｉｏｎ）などの移動体通信規格に対応する通信モジュールを含んでよい。通信部１１は、例えば有線又は無線のＬＡＮ規格に対応する通信モジュールを含んでよい。
　記憶部１２は、１つ以上のメモリである。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られず任意のメモリとすることができる。記憶部１２は、例えば異物検知装置１０に内蔵されるが、任意のインターフェースを介して異物検知装置１０によって外部からアクセスされる構成も可能である。
　記憶部１２は、制御部１３が実行する各種の算出において使用される各種のデータを記憶する。また、記憶部１２は、制御部１３が実行する各種の算出の結果及び中間データを記憶してよい。
　記憶部１２は、ネットワークで接続される装置からの各種情報を一時的に記憶してよい。本実施形態において、記憶部１２は、カメラが所定の時間間隔で撮影した視野が異なるスクラップ山の複数の画像を記憶する。また、本実施形態において、記憶部１２は判定部１３２によって判定された異物の候補の有無を複数の画像のそれぞれに紐づけて記憶する。また、記憶部１２は判定部１３２によって判定された異物の有無及び位置などを記憶してよい。ここで、異物の候補は１枚の画像において判定される異物を意味する。後述するように、本実施形態において最終的な異物の有無は複数枚の画像で判定される。そのため、最終的な異物と区別するために、１枚の画像において判定される異物は「異物の候補」と称される。
　制御部１３は、１つ以上のプロセッサである。プロセッサは、例えば汎用のプロセッサ、又は特定の処理に特化した専用プロセッサであるが、これらに限られず任意のプロセッサとすることができる。制御部１３は、異物検知装置１０の全体の動作を制御する。
　ここで、異物検知装置１０は、以下のようなソフトウェア構成を有してよい。異物検知装置１０の動作の制御に用いられる１つ以上のプログラムが記憶部１２に記憶される。記憶部１２に記憶されたプログラムは、制御部１３のプロセッサによって読み込まれると、制御部１３を画像取得部１３１、判定部１３２及び出力部１３３として機能させる。
　画像取得部１３１はカメラによって撮影された画像を取得する。本実施形態において、画像取得部１３１はカメラによって撮影された視野が異なる複数の画像を取得する。ここで、画像取得部１３１が画像を取得する間隔（取得間隔）は、上記の所定の時間間隔、すなわちカメラの撮影間隔であってよいが、所定の時間間隔より長くてよい。視野が異なる複数の画像を効率的に取得できるように、画像取得部１３１の取得間隔は重機の移動速度又はアームの操作速度などに基づいて設定されてよい。ただし、取得間隔は、所定の作業（本実施形態において均し作業）における対象のスクラップ山に変化がない程度に短い時間であることが好ましい。例えば取得間隔は３０秒以内である。取得間隔が長すぎる場合に、途中で重機が別のスクラップ山に移動して、取得した複数の画像において撮影されているスクラップ山が異なることがあり得るためである。よって、画像取得部１３１は、３０秒以内の時間間隔で複数の画像を取得することが好ましい。
　判定部１３２は、画像取得部１３１によって取得された画像に基づいて異物の候補を検知し、異物の候補の検知結果に基づいてスクラップ山における異物の有無を判定する。本実施形態において、画像取得部１３１によって取得される画像は少なくともＮ枚（Ｎは２以上の整数）である。判定部１３２は、複数の画像のそれぞれについて異物の候補を検知するとともに、複数の画像における異物の候補の検知結果に基づいて異物の有無を判定する。異物の有無に加えて、異物の位置が判定されてよい。異物の有無の判定の詳細については後述する。
　出力部１３３は、判定部１３２による判定結果を含む異物の有無に関する情報を端末装置などに出力する。異物の有無に関する情報は音声、画像又は文字の情報であってよい。端末装置が例えばスピーカーなどを備えており、作業者に音声で情報を伝えられる場合に、出力部１３３は異物の有無に関する音声情報を出力してよい。端末装置が例えばディスプレイなどを備えており、作業者に画像で情報を伝えられる場合に、出力部１３３は異物の有無に関する画像情報を出力してよい。また、出力部１３３は端末装置に異物の有無に応じた所定の動作をさせる制御信号を出力してよい。例えば判定部１３２によって異物が有ると判定された場合に、出力部１３３は、端末装置に警告音を発生させる制御信号を出力してよい。また、出力部１３３は端末装置又はヤードの管理者のスマートフォンなどに判定結果を含めた電子メールなどを送信してよい。
（異物検知方法）
　図２は、本実施形態に係る異物検知方法の処理を示すフローチャートである。異物検知方法の処理は異物検知装置１０によって実行され、例えばカメラの撮影が始まってから少なくともＮ枚の画像が撮影されたタイミングで開始されてよい。
　画像取得部１３１は、カメラによって撮影された画像のデータを取得する（ステップＳ１）。画像取得部１３１によって取得された画像について、判定部１３２は異物の候補の有無を判定する（ステップＳ２）。そして、判定部１３２による判定結果（異物の候補の有無）が記録される（ステップＳ３）。つまり、異物の候補の有無が取得された画像と紐づけられて記憶部１２に記憶される。
　ここで、判定部１３２による異物の候補の検知は、画像における物体認識を行う公知の手法が用いられてよい。例えば過去の異物を含む画像及び異物を含まない画像を学習用データとして機械学習によって生成されたモデルが用いられてよい。具体例として事前学習済みのディープラーニングモデルが用いられてよい。また、このようなモデルを用いて、異物の位置についても判定が行われてよい。
　本実施形態において、判定部１３２による異物の有無の判定は、１枚の画像（直近で得られた画像）だけでなく、Ｎ枚（複数）の画像を使って行われる。上記のように、判定部１３２による判定結果（異物の候補の有無）は記憶部１２に記憶されている。判定部１３２は、直近の画像を含む過去のＮ枚の画像の判定結果を記憶部１２から取得する。そして、判定部１３２はＮ枚の画像で異物の候補が有ると判定された回数を算出する（ステップＳ４）。以下、ステップＳ４において、異物の候補が有ると判定された回数がｋ回であるとして説明する。また、判定部１３２は異物の候補があると判定された割合（ｋ／Ｎ）を算出する。
　図３は、Ｎ枚の画像の例を示す図である。直近の画像が得られた時刻を「Ｔ」として、上記の取得間隔を「ΔＴ」とする。判定部１３２は、Ｔ－（Ｎ－１）×ΔＴまでの過去のＮ枚の画像について異物の候補の有無を記憶部１２から取得する。図３の例において、１枚目、２枚目及び４枚目の画像で異物の候補が「有り」と判定されている。また、図３の例において、３枚目及びＮ枚目の画像で異物の候補が「無し」と判定されている。ここで、図３の例でＮが５であるとすると、異物の候補が有ると判定された回数が３回であるため、上記の割合（ｋ／Ｎ）は６０％になる。
　判定部１３２は、異物の候補が有ると判定された割合（ｋ／Ｎ）が閾値以上であるかを判定する（ステップＳ５）。判定部１３２は、割合（ｋ／Ｎ）が閾値以上であれば（ステップＳ５のＹｅｓ）、対象のスクラップ山に異物が有ると判定する（ステップＳ６）。判定部１３２は、割合（ｋ／Ｎ）が閾値未満であれば（ステップＳ５のＮｏ）、対象のスクラップ山に異物が無いと判定する（ステップＳ７）。判定結果は出力部１３３によって端末装置に出力されてよい。ここで、閾値は一例として５０％であるが、これに限定されず、例えばＮの値などに応じて変更されてよい。具体例として、画像取得部１３１が画像を取得する間隔（取得間隔）すなわちΔＴが１０秒で、閾値が５０％で、Ｎが５であるとする。図３の例では、割合（ｋ／Ｎ）が６０％であって閾値以上であるため、判定部１３２は異物が有ると判定する。
　本実施形態に係る異物検知方法によれば、同一のスクラップについて視野が異なる複数の画像を撮影して、複数の画像に基づいて異物検知が行われる。そのため、ある方向から見えにくい異物も別の方向から見た画像で検知されるため、見逃しを防止することができる。また、複数の画像に基づいて異物検知が行われるため、異物以外を異物として検知する誤検知も防ぐことができる。また、カメラからの複数の画像だけで異物検知が可能であるため、処理の負荷が低減されて、判定結果を得るまでの時間を短くすることができる。作業者は、ほぼリアルタイムに判定結果を得ることができるため、効率的に検品の作業などを進めることが可能である。
　以上のように、本実施形態に係る異物検知装置１０及び異物検知方法は、対象のスクラップの撮影画像から高精度に異物を判別することができる。また、スクラップを溶解させて製造される鉄鋼製品について、不純物元素混入による品質低下を回避することができる。また、鉄鋼製品の製造において、密閉物混入による水蒸気爆発などが生じることを回避することができる。
　本開示の実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各工程などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又は工程などを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態は装置が備えるプロセッサにより実行されるプログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　上記の実施形態において、カメラは重機のアームに取り付けられていた。ここで、カメラは、重機のアーム以外（例えば運転席上部等）に取り付けられてよい。アーム以外に取り付けられた場合でも、カメラは重機の前進、後進及び旋回時に重機と一緒に動くため、カメラが常にアームの先端を撮影するようにすることができる。また、カメラは、アームの動きに追随させることができるのであれば、重機に取り付けられなくてよい。具体的に述べると、例えば無人航空機に取り付けられて、カメラが常にアームの先端を向くように無人航空機が重機の周りを飛行する構成であってよい。
　１０　異物検知装置
　１１　通信部
　１２　記憶部
　１３　制御部
　１３１　画像取得部
　１３２　判定部
　１３３　出力部

Claims (5)

  1. 　スクラップの中に含まれる異物を検知する異物検知装置であって、
    　前記スクラップに対して所定の作業を行う作業部に追随して移動するとともに前記作業部の周囲の画像を撮影するカメラによって撮影された画像を取得する画像取得部と、
    　前記画像に基づいて前記異物の候補を検知し、前記異物の候補の検知結果に基づいて異物の有無を判定する判定部と、を備える、異物検知装置。
  2. 　前記作業部は重機のアームであり、前記カメラは前記重機又は前記アームに取り付けられている、請求項１に記載の異物検知装置。
  3. 　前記画像は、前記カメラによって撮影された視野が異なる複数の画像であって、
    　前記判定部は、前記複数の画像のそれぞれについて前記異物の候補を検知するとともに、前記複数の画像における前記異物の候補の検知結果に基づいて前記異物の有無を判定する、
    　請求項１又は２に記載の異物検知装置。
  4. 　前記画像取得部は、３０秒以内の時間間隔で前記複数の画像を取得する、請求項３に記載の異物検知装置。
  5. 　スクラップの中に含まれる異物を検知する異物検知方法であって、
    　前記スクラップに対して所定の作業を行う作業部に追随して移動するとともに前記作業部の周囲の画像を撮影するカメラによって撮影された画像を取得することと、
    　前記画像に基づいて前記異物の候補を検知し、前記異物の候補の検知結果に基づいて異物の有無を判定することと、を含む、異物検知方法。
PCT/JP2024/029903 2023-11-10 2024-08-22 異物検知装置及び異物検知方法 Pending WO2025100034A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202480065321.1A CN122029567A (zh) 2023-11-10 2024-08-22 异物检测装置及异物检测方法
JP2025502464A JP7655460B1 (ja) 2023-11-10 2024-08-22 異物検知装置及び異物検知方法
KR1020267007138A KR20260049281A (ko) 2023-11-10 2024-08-22 이물질 검지 장치 및 이물질 검지 방법
EP24888336.5A EP4779561A1 (en) 2023-11-10 2024-08-22 Foreign matter detection device and foreign matter detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-192560 2023-11-10
JP2023192560 2023-11-10

Publications (1)

Publication Number Publication Date
WO2025100034A1 true WO2025100034A1 (ja) 2025-05-15

Family

ID=95695120

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/029903 Pending WO2025100034A1 (ja) 2023-11-10 2024-08-22 異物検知装置及び異物検知方法

Country Status (5)

Country Link
EP (1) EP4779561A1 (ja)
JP (1) JP7655460B1 (ja)
KR (1) KR20260049281A (ja)
CN (1) CN122029567A (ja)
WO (1) WO2025100034A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120543532A (zh) * 2025-05-28 2025-08-26 广东铂崛科技有限公司 一种基于机器视觉的金属粉末杂质分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208868062U (zh) * 2018-07-23 2019-05-17 中国安全生产科学研究院 一种城市轨道交通自动巡检系统
JP2021086285A (ja) 2019-11-26 2021-06-03 株式会社神鋼エンジニアリング＆メンテナンス 密閉物検出システム、密閉物検出方法、推定装置、及びプログラム
JP2021163078A (ja) * 2020-03-31 2021-10-11 Ｊｆｅスチール株式会社 異物検出装置、異物除去装置および異物検出方法
JP2021174785A (ja) * 2020-04-17 2021-11-01 東京エレクトロン株式会社 異物検査システム、異物検査方法、プログラム及び半導体製造装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208868062U (zh) * 2018-07-23 2019-05-17 中国安全生产科学研究院 一种城市轨道交通自动巡检系统
JP2021086285A (ja) 2019-11-26 2021-06-03 株式会社神鋼エンジニアリング＆メンテナンス 密閉物検出システム、密閉物検出方法、推定装置、及びプログラム
JP2021163078A (ja) * 2020-03-31 2021-10-11 Ｊｆｅスチール株式会社 異物検出装置、異物除去装置および異物検出方法
JP2021174785A (ja) * 2020-04-17 2021-11-01 東京エレクトロン株式会社 異物検査システム、異物検査方法、プログラム及び半導体製造装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120543532A (zh) * 2025-05-28 2025-08-26 广东铂崛科技有限公司 一种基于机器视觉的金属粉末杂质分析方法及系统

Also Published As

Publication number Publication date
JP7655460B1 (ja) 2025-04-02
KR20260049281A (ko) 2026-04-13
CN122029567A (zh) 2026-05-12
EP4779561A1 (en) 2026-07-22
JPWO2025100034A1 (ja) 2025-05-15

Similar Documents

Publication Publication Date Title
Yang et al. Vision-based tower crane tracking for understanding construction activity
JP5263694B2 (ja) 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
CN114972421B (zh) 车间物料识别追踪与定位方法、系统
US20220327676A1 (en) Method and system for detecting change to structure by using drone
CN116048011B (zh) 工作状况监视系统、工作状况监视方法、及存储有工作状况监视程序的计算机可读存储介质
JP7655460B1 (ja) 異物検知装置及び異物検知方法
JP2016224547A (ja) 画像処理装置、画像処理システム及び画像処理方法
KR20170050448A (ko) 이미지 상의 객체 검출 방법 및 객체 검출 장치
Kim et al. Sequential pattern learning of visual features and operation cycles for vision-based action recognition of earthmoving excavators
CN107767399B (zh) 叉车监控方法及监控系统
CN116091932A (zh) 巡检机器人的图像处理方法、装置和计算机设备
US20110304730A1 (en) Pan, tilt, and zoom camera and method for aiming ptz camera
JPWO2020003764A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
CN117475397A (zh) 基于多模态传感器的目标标注数据获取方法、介质及设备
US20230039203A1 (en) Information processing apparatus, moving body, method for controlling information processing apparatus, and recording medium
CN116142981A (zh) 吊装作业人员预警方法、装置、系统及吊装设备
CN114596239B (zh) 装卸货事件检测方法、装置、计算机设备和存储介质
CN118283424B (zh) 一种抓拍方法、装置、电子设备及存储介质
CN114241404A (zh) 卸料小车定位方法、装置、设备及存储介质
CN120431700A (zh) 火灾预警方法、装置、介质以及电子设备
CN117710463A (zh) 复杂环境下广视角高精度的机器人乘梯方法
CN114666476B (zh) 机器人智能录像方法、装置、设备及存储介质
US20240428446A1 (en) Intelligent projection point prediction for overhead objects
KR102626346B1 (ko) 공작 기계의 공구 마모 및 파손 상태 여부를 감지하는 방법 및 장치
KR20230079716A (ko) 자동차부품용 프레스 공정의 실시간 데이터 수집이 가능한 사물인터넷 기반의 공정 토탈 관리 시스템

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2025502464

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025502464

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24888336

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 1020267007138

Country of ref document: KR

Free format text: ST27 STATUS EVENT CODE: A-0-1-A10-A15-NAP-PA0105 (AS PROVIDED BY THE NATIONAL OFFICE)

WWE Wipo information: entry into national phase

Ref document number: 1020267007138

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 202617027949

Country of ref document: IN

WWP Wipo information: published in national office

Ref document number: 202617027949

Country of ref document: IN

WWP Wipo information: published in national office

Ref document number: 1020267007138

Country of ref document: KR

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112026010998

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE