WO2025257901A1 - 異物除去装置および異物識別方法 - Google Patents

異物除去装置および異物識別方法

Info

Publication number
WO2025257901A1
WO2025257901A1 PCT/JP2024/021083 JP2024021083W WO2025257901A1 WO 2025257901 A1 WO2025257901 A1 WO 2025257901A1 JP 2024021083 W JP2024021083 W JP 2024021083W WO 2025257901 A1 WO2025257901 A1 WO 2025257901A1
Authority
WO
WIPO (PCT)
Prior art keywords
foreign matter
identification
unit
removal device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/021083
Other languages
English (en)
French (fr)
Inventor
寿人 澤浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Priority to PCT/JP2024/021083 priority Critical patent/WO2025257901A1/ja
Publication of WO2025257901A1 publication Critical patent/WO2025257901A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties

Definitions

  • Patent Document 1 describes a system that generates an identification algorithm by learning training data in which the type of object is labeled from past image data taken inside the pit, and then processes images taken inside the pit using the identification algorithm to identify the type of object.
  • the object contains foreign matter, it is necessary to identify and remove it in order to use the object appropriately.
  • attempting to accurately identify a wide variety of foreign matter from captured images increases the processing load, which may affect the removal process.
  • This disclosure takes the following measures to achieve the above-mentioned primary objective.
  • the foreign matter removal device of the present disclosure comprises: A foreign matter removal device that performs a removal process to identify and remove foreign matter contained in an object, an imaging unit that images the object; an acquisition unit that acquires information about at least one of the removal process and the object; an identification unit that performs an identification process to identify the foreign matter based on the image captured by the imaging unit and the information acquired by the acquisition unit;
  • the gist of the project is to provide the following:
  • the foreign matter removal device disclosed herein performs an identification process to identify foreign matter based on the captured image and information related to at least one of the removal process and the target object. This allows the identification process to be suited to at least one of the removal process and the target object, thereby reducing the processing burden and enabling accurate identification of foreign matter contained in the target object.
  • FIG. 1 is a diagram showing an outline of the configuration of a processing system 10.
  • FIG. 2 is a diagram showing the outline of the configuration of a foreign matter removal device 30.
  • FIG. 2 is a diagram showing an outline of the configuration of a removal unit 40.
  • FIG. 10 is a flowchart showing an example of a foreign matter removal processing routine.
  • 10 is a flowchart showing an example of an identification setting process.
  • FIG. 10 is an explanatory diagram showing an example of the tendency of identifying foreign matter 14 for each identification model.
  • 10 is a flowchart showing a modified example of an identification setting process.
  • FIG. 10 is an explanatory diagram showing an example of the type of treatment material 12 for each time period.
  • 10 is a flowchart showing a modified example of an identification setting process.
  • 10 is a flowchart showing a modified example of an identification setting process.
  • 10 is a flowchart showing a foreign matter removal processing routine according to a modified example.
  • FIG. 4 is an explanatory
  • Figure 1 is a diagram showing the general configuration of the processing system 10.
  • Figure 2 is a diagram showing the general configuration of the foreign matter removal device 30.
  • Figure 3 is a diagram showing the general configuration of the removal unit 40.
  • Figure 4 is a top view of the foreign matter removal device 30.
  • the left-right direction (X-axis), front-back direction (Y-axis), and up-down direction (Z-axis) are as shown in Figures 1 to 4.
  • the material 12 to be treated in the treatment system 10 is, for example, waste asphalt or concrete, and is a mixture of waste materials 13 to be recycled, such as asphalt or concrete, and foreign matter 14, such as metal, cloth, or wood.
  • the treatment system 10 comprises a primary crusher 15, a primary magnetic separator 16, a screening machine 17, a foreign matter removal device 30, a secondary crusher 18, a secondary magnetic separator 19, and conveying devices 20-25.
  • the direction in which the material 12 to be treated is conveyed is referred to as the conveying direction D.
  • the primary crusher 15 is a device that performs primary crushing of the treated material 12. This primary crusher 15 crushes the treated material 12, for example, to a predetermined primary size or smaller (e.g., 40 cm or smaller).
  • the primary magnetic separator 16 is a device that uses magnetic force to remove magnetic foreign matter 14 contained in the treated material 12.
  • the screening machine 17 is a device that separates treated material 12 of a primary size or larger from treated material 12 of a smaller size by, for example, passing the treated material 12 over a mesh.
  • the secondary crusher 18 is a device that performs secondary crushing of the treated material 12 to a size smaller than that of the primary crusher 15. This secondary crusher 18 crushes the treated material 12 to a predetermined secondary size or smaller (e.g., 10 cm or smaller).
  • the secondary magnetic separator 19 is a device that removes magnetic material from the treated material 12 that was not completely removed by the primary magnetic separator 16 or the foreign matter removal device 30.
  • the conveying devices 20-25 serving as the conveying line are devices that convey the treatment material 12 along the conveying direction D, and are configured, for example, as belt conveyors. Note that the conveying devices 20-25 may be configured as devices other than belt conveyors, as long as they are capable of conveying the treatment material 12.
  • the foreign matter removal device 30 is a device that collects and removes foreign matter 14 from the treatment material 12 transported by the transport device 22. As shown in FIG. 2, the foreign matter removal device 30 includes a detection unit 31, a disposal unit 35, a removal unit 40, and a control device 50. The foreign matter removal device 30 also includes an operation panel 60.
  • the detection unit 31 detects foreign matter 14 from the treatment material 12 transported by the transport device 22, and includes an imaging unit 32 and a measurement unit 33.
  • the imaging unit 32 and measurement unit 33 are held above the transport device 22 by a holding member arranged to straddle the transport device 22 in the left-right direction.
  • the imaging unit 32 is configured, for example, as a camera that captures images of the transport surface of the transport device 22 and the treatment material 12, and outputs the captured images to the control device 50. As shown in FIG. 4, the imaging unit 32 captures captured images Im1 and Im2.
  • Captured image Im1 is an example of an image in which no treatment material 12 is being transported on the transport device 22.
  • Captured image Im2 is an example of an image in which treatment material 12 including waste material 13 and foreign matter 14 is being transported on the transport device 22.
  • the measuring unit 33 measures the height of the treatment material 12, foreign matter 14, etc. on the conveying device 22 and outputs information about the measured height to the control device 50.
  • the measuring unit 33 is configured, for example, as a stereo camera equipped with two cameras.
  • the measuring unit 33 may be a sensor that detects reflected waves obtained by irradiating the conveying surface and obtains the height of the reflection position. Note that if the foreign matter removal device 30 is capable of obtaining height information about the treatment material 12, the measuring unit 33 may be omitted.
  • the disposal section 35 is a dust box that serves as a storage section for foreign objects 14, and is arranged to the side of the conveying device 22. Foreign objects 14 collected by the removal section 40 are dropped into the disposal section 35.
  • the disposal section 35 may have multiple storage containers and may separate the foreign objects 14 according to their weight and type (material).
  • the removal unit 40 is located downstream of the detection unit 31 in the transport direction D, and collects and removes foreign matter 14 identified from the treatment material 12 based on the image captured by the imaging unit 32 of the detection unit 31.
  • the removal unit 40 includes an X-axis slider 41 and a Y-axis slider 43 that constitute an XY robot, and a removal head 45.
  • the XY robot uses, for example, a linear motion mechanism using a ball screw equipped with a screw shaft and a nut, but is not particularly limited as long as it is a linear motion mechanism, and may also be a linear motor, etc.
  • the removal unit 40 may also have other configurations, such as an articulated arm robot.
  • the X-axis slider 41 is slidably attached to a guide rail installed along the X-axis direction perpendicular to the conveying direction D, and moves along the guide rail when driven by a drive motor.
  • the Y-axis slider 43 is slidably attached to a guide rail installed along the conveying direction D, and moves along the guide rail when driven by a drive motor.
  • the guide rail of the Y-axis slider 43 is fixed to a support part 34 installed on the conveying device 22 along the conveying direction D.
  • the guide rail of the X-axis slider 41 is fixed to the Y-axis slider 43, and moves the X-axis slider 41 in the Y-axis direction.
  • a removal head 45 is fixed to the X-axis slider 41, and moves the removal head 45 in the X-axis direction.
  • the removal head 45 comprises a collection member 47 and an elevator 49.
  • the collection member 47 is a member that can be opened and closed by a drive unit (not shown) to collect objects to be removed, such as foreign matter 14; it may be, for example, a gripping claw that grips the object.
  • the elevator 49 uses a linear motion mechanism to raise and lower the collection member 47 along the Z-axis direction.
  • the removal head 45 grips and releases the foreign matter 14 by opening and closing the collection member 47, and collects and removes it from the treatment material 12.
  • the collection member 47 is moved in the X, Y, and Z directions by the X-axis slider 41, Y-axis slider 43, and elevator 49.
  • the operation panel 60 includes a display unit 61 and an operation unit 62.
  • the display unit 61 is a display that displays various information related to the foreign matter removal device 30.
  • the operation unit 62 accepts various input operations from the operator M.
  • the control device 50 controls the entire foreign matter removal device 30 and includes a control unit 51 and a memory unit 52.
  • the control unit 51 is configured as a microprocessor centered around a CPU.
  • the control unit 51 outputs control signals to the detection unit 31 and removal unit 40, and outputs display signals to the display unit 61 of the operation panel 60.
  • the control unit 51 also inputs signals from the detection unit 31 and removal unit 40, and inputs operation signals from the operation unit 62 of the operation panel 60.
  • the memory unit 52 is a storage medium for storing information, and is configured, for example, with an HDD or flash memory.
  • the memory unit 52 stores, for example, information related to the collection of foreign matter 14.
  • an asphalt discrimination model 53 and a concrete discrimination model 54 are stored in order to identify foreign matter 14.
  • the asphalt discrimination model 53 is a discrimination model that is created and stored in advance as a discrimination model suitable for distinguishing foreign matter 14 from treatment material 12 in the form of asphalt waste.
  • the concrete discrimination model 54 is a discrimination model that is created and stored in advance as a discrimination model suitable for distinguishing foreign matter 14 from treatment material 12 in the form of concrete waste. Details of these discrimination models will be described later.
  • FIG. 5 is a flowchart showing an example of a foreign matter removal processing routine. This processing is executed by the control unit 51 of the control device 50. When the control unit 51 starts this routine, it first drives the conveying device 22 (S100), and determines whether it is time to set an identification model for the foreign matter 14 (S110), and whether an identification model has already been set (S120).
  • the setting timing of S110 is the timing for setting one of the above-mentioned asphalt discrimination model 53 and concrete discrimination model 54.
  • the setting timing is determined, for example, when a predetermined time has elapsed since the conveying device 22 started to operate in S100, or when the conveying device 22 has sent the belt a predetermined length.
  • the control unit 51 may determine the setting timing to be the timing of a change in time, such as when a predetermined time has elapsed or when a predetermined time (for example, when switching between morning processing and afternoon processing) during execution of the foreign object removal processing routine.
  • control unit 51 determines in S110 that it is not the timing to set the discrimination model and determines in S120 that the discrimination model has not been set, it returns to S110 and repeats the processing. On the other hand, if the control unit 51 determines in S110 that it is the setting timing, it executes discrimination setting processing (S130) and proceeds to S140. If it determines in S120 that the discrimination model has been set, it skips S130 and proceeds to S140.
  • FIG. 6 is a flowchart showing an example of the identification setting process.
  • the control unit 51 captures an image of the treatment material 12 using the imaging unit 32 (S200) and processes the image to obtain the type of treatment material 12 (S210).
  • the control unit 51 can obtain the type of treatment material 12, for example, based on the brightness of the pixels in the image. For example, the control unit 51 obtains the type of treatment material 12 based on whether the brightness trend of each pixel is closer to a trend indicating waste asphalt or waste concrete.
  • the control unit 51 determines whether the obtained type of treatment material 12 is waste asphalt or waste concrete (S220). If the control unit 51 determines that the treatment material 12 is waste asphalt, it sets the asphalt identification model 53 (S230) and terminates this process. If the control unit 51 determines that the treatment material is waste concrete, it sets the concrete identification model 54 (S240) and terminates this process.
  • FIG 7 is an explanatory diagram showing an example of the recognition tendency of foreign objects 14 for each recognition model.
  • examples of types of foreign objects 14 include metal, cloth, wire, wood chips, tree roots, blocks, and plants.
  • asphalt waste tends to contain relatively large amounts of wood chips, tree roots, blocks, and plants, and almost no metal, cloth, or wire.
  • concrete waste tends to contain relatively large amounts of metal, cloth, and wire, and less wood chips, tree roots, blocks, and plants than asphalt waste.
  • the asphalt recognition model 53 and the concrete recognition model 54 are models created in advance based on these trends to improve the recognition rate of foreign objects 14.
  • multiple images of asphalt waste are captured by the imaging unit 32, and the asphalt recognition model 53 is created by machine learning using training data that includes pairs of feature values extracted from areas within the images and labels indicating the presence or absence and type of foreign object 14 within the areas.
  • multiple images of concrete waste are captured by the imaging unit 32, and a concrete discrimination model 54 is created through machine learning using pairs of feature amounts extracted from regions within the images and labels indicating the presence or absence and type of foreign matter 14 within those regions as training data.
  • Known machine learning algorithms such as support vector machines (SVMs), k-nearest neighbor methods, and neural networks, are used.
  • the asphalt discrimination model 53 created in this manner has a high discrimination rate for wood chips, tree roots, blocks, and plants, which are commonly found in asphalt waste, and a low discrimination rate for metal, cloth, and wire. Furthermore, the concrete discrimination model 54 has a high discrimination rate for metal, cloth, and wire, and a flat discrimination rate for wood chips, tree roots, blocks, and plants.
  • the control unit 51 then captures an image of the treatment material 12 using the imaging unit 32 (S140) and processes the image to extract features (S150). Next, the control unit 51 performs a foreign matter 14 identification process based on the features using the content set in S130 (in this embodiment, an identification model) (S160) and determines whether or not a foreign matter 14 is present (S170). If the control unit 51 determines that a foreign matter 14 is present, it collects and removes the foreign matter 14 using the removal head 45 (collection member 47) (S180).
  • the control unit 51 recognizes the position and size (width, thickness) of the foreign matter 14 from the area of the foreign matter 14 in the image captured by the imaging unit 32 and the measurement results by the measurement unit 33, and controls the removal head 45 (collection member 47) to collect the foreign matter 14 based on the recognition results. Furthermore, if the control unit 51 determines in S170 that there is no foreign object 14, it skips S180.
  • control unit 51 determines whether processing of the target processing material 12 has been completed (S190), and if it determines that processing has not been completed, it returns to S110. On the other hand, if the control unit 51 determines that processing has been completed, it stops the conveying device 22 (S195) and ends this processing.
  • the imaging unit 32 of this embodiment corresponds to the imaging unit of the present disclosure
  • the control unit 51 that executes S210 of the identification setting process corresponds to the acquisition unit
  • the control unit 51 that executes S220 to S240 of the identification setting process and S150 and S160 of the foreign substance removal process routine corresponds to the identification unit.
  • an example of the foreign substance identification method of the present disclosure is also clarified by explaining the operation of the foreign substance removal device 30.
  • the foreign matter removal device 30 described above performs identification processing of foreign matter 14 based on the image captured by the imaging unit 32 and information related to the treatment material 12 (target object). This allows for accurate identification of foreign matter 14 while reducing the processing burden.
  • the foreign matter removal device 30 sets one of the multiple identification models (asphalt identification model 53 and concrete identification model 54) stored in the memory unit 52 based on information about the treatment material 12, and performs the identification process for the foreign matter 14 using the set identification model. Therefore, by using one of the multiple identification models that is suitable for the treatment material 12, the foreign matter 14 can be accurately identified while reducing the processing burden.
  • the foreign matter removal device 30 acquires the type of processing material 12 and sets an identification model based on that type.
  • the tendency of the foreign matter 14 contained in the processing material 12 may differ depending on the type of processing material 12. Therefore, by using an identification model set based on the type of processing material 12, it is possible to more accurately identify the foreign matter 14.
  • the foreign matter removal device 30 processes the image captured by the imaging unit 32 to obtain the type of treatment material 12.
  • the type of treatment material 12 can be obtained and the identification model can be set automatically without relying on instructions from an operator or the like.
  • the multiple identification models are created in advance through learning using multiple images captured by the imaging unit 32 in association with the type of treatment material 12, and are therefore associated with the type of treatment material 12.
  • the control unit 51 sets one of the multiple identification models that is associated with the type of treatment material 12. Therefore, in the foreign matter removal process, it is only necessary to set an identification model that is associated with the type of treatment material 12, which further reduces the processing burden. Furthermore, because each identification model is created through learning using images captured in association with the type of treatment material 12, the process of identifying foreign matter 14 can be performed with even greater accuracy.
  • an identification model is set based on the type of processing material 12 obtained from the image, but this is not limited to this.
  • an identification model may be set based on information regarding at least one of the removal process and the processing material 12 (target object).
  • the same processes as in the embodiment are assigned the same step numbers, and explanations thereof will be omitted.
  • the control unit 51 first acquires the current time zone (seasonal information) (S210b) and determines whether the acquired time zone is morning or afternoon (S220b).
  • the type of treatment material 12 to be treated varies depending on the time zone, for example, asphalt waste in the morning and concrete waste in the afternoon (see FIG. 9).
  • the tendency of foreign matter 14 varies depending on the time zone in which the foreign matter removal process is performed. Therefore, if the control unit 51 determines that the time zone is morning, it sets the asphalt identification model 53 in S230, and if it determines that the time zone is afternoon, it sets the concrete identification model 54 in S240.
  • the control unit 51 may determine that the setting timing is based on seasonal information, such as the start of morning processing or the switch between morning and afternoon processing.
  • the control unit 51 acquires the time period (seasonal information) when the removal process is performed as information related to the removal process, and sets the identification model based on the time period. Therefore, even if the tendency of foreign matter 14 varies depending on the time period, foreign matter 14 can be accurately identified while reducing the processing burden.
  • the time period is acquired as the time period information, but this is not limited to this. Information acquired may include at least one of the following: day of the week, date, month, period (e.g., April 1st to May 31st), season (e.g., one of the four seasons when the year is divided into spring, summer, autumn, and winter), etc.
  • the control unit 51 acquires such time period information and sets the content of the identification process (identification model). This allows foreign matter 14 to be accurately identified while reducing the processing burden, even if the tendency of foreign matter 14 varies depending on the time period for treatment material 12.
  • the control unit 51 first acquires the installation area (regional information) where the foreign object removal device 30 (treatment system 10) is installed (S210c) and determines whether the acquired installation area is the first region or the second region (S220c).
  • the foreign object removal device 30 (treatment system 10) is installed in either the first region, which has a large amount of asphalt waste, or the second region, which has a large amount of concrete waste.
  • the tendency of foreign objects 14 differs depending on the installation area of the foreign object removal device 30. Therefore, if the control unit 51 determines that the installation area is the first region, it sets the asphalt identification model 53 in S230.
  • control unit 51 determines that the installation area is the second region, it sets the concrete identification model 54 in S240.
  • the control unit 51 may determine that the setting timing is when the foreign object removal device 30 is installed and the foreign object removal treatment is first started, for example.
  • the control unit 51 acquires the installation area (regional information) of the foreign matter removal device 30 as information related to the removal process, and sets the identification model based on the installation area. Therefore, even if the tendency of foreign matter 14 varies depending on the installation area, foreign matter 14 can be accurately identified while reducing the processing burden.
  • the installation area of the foreign matter removal device 30 is acquired as regional information, but this is not limited to this, and the region where the treatment material 12 is generated may also be acquired. In other words, if the tendency of foreign matter 14 varies depending on the region where the treatment material 12 is generated, the control unit 51 only needs to acquire information on such generation region.
  • control unit 51 only needs to determine that the setting timing has occurred when the generation region (source) of the target treatment material 12 changes. Note that the control unit 51 may recognize that the generation region of the target treatment material 12 will change based on an instruction from the operator, or may recognize this based on acquiring information on the generation region of the target treatment material 12. The control unit 51 may also set an identification model based on both the installation area of the foreign matter removal device 30 and the area where the target treatment material 12 is generated.
  • control unit 51 sets the identification model based on both the time information and the area information, but this is not limited to this and the identification model may be set based on a combination of time information and area information.
  • the control unit 51 may also set the identification model based on environmental information such as weather. This is because, in a foreign matter removal device 30 that is typically installed outdoors, the brightness of the image captured by the imaging unit 32 may vary depending on the weather, etc.
  • the control unit 51 may set the content of the identification process (e.g., the identification model) based on at least one of information on the type of treatment material 12, time information, area information, and environmental information, and may also set the content of the identification process based on multiple pieces of information.
  • two discrimination models were exemplified as discrimination models created by learning, but this is not limited to this and three or more discrimination models may be used.
  • a label including the type of foreign matter 14 was assigned, but the type of foreign matter 14 does not need to be included, as long as a label indicating at least the presence or absence of foreign matter 14 is assigned.
  • the discrimination model is stored in the memory unit 52 of the foreign matter removal device 30, this is not limited to this and the model may be stored in another memory unit within the processing system 10, or may be stored in a data server accessible to the foreign matter removal device 30.
  • one of multiple discrimination models is set in the discrimination setting process, but this is not limited to this.
  • a single discrimination model may be created through prior learning, and various parameters in the algorithm of that discrimination model may be set in the discrimination setting process depending on the type of processing material 12, etc.
  • a convolutional neural network (CNN) or an R-CNN that uses a CNN may be used as the discrimination model algorithm.
  • CNN convolutional neural network
  • R-CNN that uses a CNN
  • these have a well-known configuration having an input layer, multiple convolutional layers, multiple pooling layers, a fully connected layer, and an output layer, and parameters such as the filter value of the convolutional layer and the connection weight of the fully connected layer are set. Therefore, it is sufficient if these parameters are configurable. Of course, this is not limited to these parameters, as long as the parameters used in the discrimination model are configurable.
  • the control unit 51 sets parameters for asphalt if the type of treatment material 12 is asphalt (S230b), and sets parameters for concrete if the type of treatment material 12 is concrete (S240b).
  • the control unit 51 may set parameters based on time information or regional information. That is, the control unit 51 sets parameters according to at least one of the removal process and the treatment material 12 (target object).
  • the control unit 51 executes the identification process for the foreign object 14 using an identification model to which the parameters set in the identification setting process are applied.
  • the identification process is suited to at least one of the removal process and the target object, and therefore the identification process for the foreign object 14 can be performed with high accuracy.
  • FIG 12 is a flowchart showing a modified foreign matter removal processing routine.
  • the control unit 51 identifies the type of foreign matter 14 based on the settings made in S130 during the foreign matter 14 identification process (S160b). Furthermore, if the control unit 51 determines in S170 that a foreign matter 14 is present, it collects and removes the foreign matter 14 using collection conditions according to the type of identified foreign matter 14 (S180b).
  • FIG. 13 is an explanatory diagram showing an example of collection conditions 55 according to the type of foreign matter 14.
  • These collection conditions 55 determine the gripping width, which is the width of the opening and closing of the collection member 47 that grips the foreign matter 14 by opening and closing, and the amount of depression in the Z-axis direction according to the type of foreign matter 14, and are stored, for example, in the memory unit 52.
  • the gripping width is determined based on the width of the foreign matter 14, and the amount of depression is determined based on the thickness of the foreign matter 14.
  • the control unit 51 can obtain the width and thickness of the foreign matter 14 from image processing of the image captured by the imaging unit 32, measurement results by the measurement unit 33, etc.
  • a predetermined gripping width is set regardless of the width of the foreign object 14.
  • This gripping width is determined in advance through experiments, etc., as a value that can reliably grip soft materials whose thickness is easily crushed when gripped with the collection member 47.
  • a first pressing amount different from that for hard materials is set for cloth, and a second pressing amount greater than the first pressing amount is set for plants. The first pressing amount is determined in advance through experiments, etc., as a value that can more reliably grip the cloth when pushing the collection member 47.
  • the second pressing amount is set to a value greater than the first pressing amount to ensure a more reliable grip.
  • the collection member 47 collects the foreign matter 14 under collection conditions (gripping width, pushing amount) that correspond to the type of identified foreign matter 14, allowing for more appropriate collection of the identified foreign matter 14.
  • the gripping width and the pushing amount are defined as the collection conditions, but other conditions may also be defined.
  • the control unit 51 may determine the opening and closing speed of the collection member 47 when collecting the foreign matter 14, or the movement speed of the collection member 47 after collecting the foreign matter 14, depending on the type of foreign matter 14 identified.
  • the foreign matter 14 is identified using an identification model, but this is not limiting, and an identification model is not essential. In other words, any identification process may be performed, not limited to one that uses an identification model, as long as the foreign matter 14 is identified based on the image captured by the imaging unit 32 and information related to at least one of the removal process and the treatment material 12 (target object).
  • the foreign object identification method of the present disclosure includes: A foreign matter identification method in a removal process for identifying and removing foreign matters contained in an object, comprising: (a) imaging the object; (b) obtaining information about at least one of the removal process and the object; (c) performing an identification process to identify the foreign matter based on the image captured in step (a) and the information acquired in step (b);
  • the gist is that it includes the following.
  • the foreign matter identification method of the present disclosure can accurately identify foreign matters contained in an object while reducing the processing burden.
  • This foreign matter identification method may employ various aspects of the foreign matter removal device of the present disclosure described above, or may include additional steps that implement each function of the foreign matter removal device of the present disclosure.
  • This disclosure is applicable to the technical field of detecting and removing foreign matter from an object.

Landscapes

  • Image Processing (AREA)

Abstract

対象物に含まれる異物を識別して除去する除去処理を行う異物除去装置は、対象物を撮像する撮像部と、除去処理および対象物の少なくとも一方に関する情報を取得する取得部と、撮像部により撮像された画像と、取得部により取得された情報とに基づいて、異物を識別する識別処理を行う識別部と、を備える。

Description

異物除去装置および異物識別方法
　本明細書は、異物除去装置および異物識別方法を開示する。
　従来、処理の対象物が貯留されるピット内を撮像した画像に基づいて、対象物の種類を識別するものが提案されている。例えば、特許文献１には、ピット内を撮像した過去の画像データに対象物の種類がラベリングされた教師データを学習することにより識別アルゴリズムを生成しておき、ピット内を撮像した画像を識別アルゴリズムを用いて処理することで対象物の種類を識別するものが記載されている。
特開２０２０－３４２６７号公報
　ここで、対象物に異物が含まれる場合、対象物を適切に利用するために、異物を識別して除去する必要がある。一方で、撮像した画像から多種多様な異物を精度よく識別しようとすると、処理負担が大きくなって、除去処理に影響が及ぶ場合がある。
　本開示は、対象物に含まれる異物の識別を処理負担を軽減しつつ精度よく行うことを主目的とする。
　本開示は、上述の主目的を達成するために以下の手段を採った。
　本開示の異物除去装置は、
　対象物に含まれる異物を識別して除去する除去処理を行う異物除去装置であって、
　前記対象物を撮像する撮像部と、
　前記除去処理および前記対象物の少なくとも一方に関する情報を取得する取得部と、
　前記撮像部により撮像された画像と、前記取得部により取得された前記情報とに基づいて、前記異物を識別する識別処理を行う識別部と、
　を備えることを要旨とする。
　本開示の異物除去装置では、撮像された画像と、除去処理および対象物の少なくとも一方に関する情報とに基づいて、異物を識別する識別処理を行う。これにより、除去処理および対象物の少なくともいずれかに適した識別処理とするから、対象物に含まれる異物の識別を処理負担を軽減しつつ精度よく行うことができる。
処理システム１０の構成の概略を示す構成図。 異物除去装置３０の構成の概略を示す構成図。 除去部４０の構成の概略を示す構成図。 異物除去装置３０の上面図。 異物除去処理ルーチンの一例を示すフローチャート。 識別用設定処理の一例を示すフローチャート。 識別モデル毎の異物１４の識別傾向の一例を示す説明図。 変形例の識別用設定処理を示すフローチャート。 時間帯毎の処理材１２の種類の一例を示す説明図。 変形例の識別用設定処理を示すフローチャート。 変形例の識別用設定処理を示すフローチャート。 変形例の異物除去処理ルーチンを示すフローチャート。 異物１４の種類に応じた採取条件の一例を示す説明図。
　本開示の実施形態について図面を用いて説明する。図１は、処理システム１０の構成の概略を示す構成図である。図２は、異物除去装置３０の構成の概略を示す構成図である。図３は、除去部４０の構成の概略を示す構成図である。図４は、異物除去装置３０の上面図である。本実施形態において、左右方向（Ｘ軸）、前後方向（Ｙ軸）および上下方向（Ｚ軸）は、図１～図４に示す通りとする。
　処理システム１０で処理される対象物としての処理材１２は、例えばアスファルト廃材やコンクリート廃材等であり、アスファルトやコンクリート等のリサイクルの対象となる廃材１３と、金属や布、木材等の異物１４とが混合した混合物である。処理システム１０は、図１に示すように、１次破砕機１５と、１次磁選機１６と、スクリーン機１７と、異物除去装置３０と、２次破砕機１８と、２次磁選機１９と、搬送装置２０～２５と、を備える。なお、処理材１２を搬送する方向を搬送方向Ｄと称する。
　１次破砕機１５は、処理材１２を１次破砕する装置である。この１次破砕機１５は、例えば、所定の１次サイズ以下（例えば、４０ｃｍ以下など）となるように処理材１２を破砕する。１次磁選機１６は、処理材１２に含まれる磁性体の異物１４を磁力によって除去する装置である。スクリーン機１７は、例えば、処理材１２がメッシュの上を通過することにより、１次サイズ以上の処理材１２と１次サイズ未満の処理材１２とを分離する装置である。２次破砕機１８は、１次破砕機１５よりも小さいサイズに処理材１２を２次破砕する装置である。この２次破砕機１８は、所定の２次サイズ以下（例えば、１０ｃｍ以下）となるように処理材１２を破砕する。２次磁選機１９は、１次磁選機１６や異物除去装置３０では除去しきれなかった磁性体を処理材１２から除去する装置である。
　搬送ラインとしての搬送装置２０～２５は、処理材１２を搬送方向Ｄに沿って搬送する装置であり、例えば、ベルトコンベアとして構成されている。なお、搬送装置２０～２５は、処理材１２を搬送するものであれば、ベルトコンベア以外の構成としてもよい。
　異物除去装置３０は、搬送装置２２によって搬送される処理材１２から異物１４を採取して除去する装置である。異物除去装置３０は、図２に示すように、検出部３１と、廃棄部３５と、除去部４０と、制御装置５０とを備える。また、異物除去装置３０には、操作パネル６０が設けられている。
　検出部３１は、搬送装置２２によって搬送される処理材１２から異物１４を検出するものであり、撮像部３２と、測定部３３と、を備える。撮像部３２と測定部３３は、搬送装置２２を左右方向に跨ぐように設けられた保持部材によって搬送装置２２の上方に保持されている。撮像部３２は、例えば、搬送装置２２の搬送面や処理材１２の画像を撮像するカメラとして構成されており、撮像した画像を制御装置５０に出力する。図４に示すように、撮像部３２は、撮像画像Ｉｍ１，Ｉｍ２を撮像する。撮像画像Ｉｍ１は、搬送装置２２上に処理材１２が搬送されていない状態の画像の一例である。撮像画像Ｉｍ２は、搬送装置２２上に廃材１３や異物１４を含む処理材１２が搬送されている状態の画像の一例である。
　測定部３３は、搬送装置２２上の処理材１２や異物１４などの高さを測定するものであり、測定した高さに関する情報を制御装置５０へ出力する。測定部３３は、例えば、２つのカメラを備えたステレオカメラとして構成されている。あるいは、測定部３３は、搬送面に照射して得られる反射波を検出して反射位置の高さを得るセンサとしてもよい。なお、異物除去装置３０が、処理材１２の高さ情報を取得可能であれば、測定部３３を省略してもよい。
　廃棄部３５は、異物１４を収容する収容部としてのダストボックスであり、搬送装置２２の側方に配設されている。廃棄部３５には、除去部４０により採取された異物１４が投下される。なお、廃棄部３５は、複数の収容容器を有し、異物１４の重量や種類（材質）に応じて分別してもよい。
　除去部４０は、検出部３１よりも搬送方向Ｄの下流側に設けられており、検出部３１の撮像部３２によって撮像された撮像画像に基づいて処理材１２から識別された異物１４を採取して除去するものである。除去部４０は、ＸＹロボットを構成するＸ軸スライダ４１およびＹ軸スライダ４３と、除去ヘッド４５と、を備える。なお、ＸＹロボットは、例えば、ねじ軸とナットとを備えるボールねじによる直動機構を用いるものとするが、直動機構であれば特に限定されず、リニアモータなどとしてもよい。また、除去部４０は、多関節アームロボットなどの他の構成としてもよい。
　Ｘ軸スライダ４１は、搬送方向Ｄに直交するＸ軸方向に沿って架設されたガイドレールにスライド可能に取り付けられており、駆動モータの駆動によりガイドレールに沿って移動する。Ｙ軸スライダ４３は、搬送方向Ｄに沿って架設されたガイドレールにスライド可能に取り付けられており、駆動モータの駆動によりガイドレールに沿って移動する。Ｙ軸スライダ４３のガイドレールは、搬送方向Ｄに沿って搬送装置２２上に架設された支持部３４に固定されている。また、Ｙ軸スライダ４３には、Ｘ軸スライダ４１のガイドレールが固定されており、Ｘ軸スライダ４１をＹ軸方向に移動させる。Ｘ軸スライダ４１には、除去ヘッド４５が固定されており、除去ヘッド４５をＸ軸方向に移動させる。
　除去ヘッド４５は、採取部材４７と、昇降部４９と、を備える。採取部材４７は、図示しない駆動部によって開閉動作して、異物１４などの除去対象の物体を採取可能な部材であり、例えば物体を把持する把持爪としてもよい。昇降部４９は、直動機構により採取部材４７をＺ軸方向に沿って昇降させる。除去ヘッド４５は、採取部材４７の開閉動作によって異物１４を把持、把持解除して処理材１２から採取、除去する。採取部材４７は、Ｘ軸スライダ４１、Ｙ軸スライダ４３および昇降部４９によってＸＹＺ方向に移動される。
　操作パネル６０は、表示部６１や操作部６２などを備える。表示部６１は、異物除去装置３０に関する各種情報を表示するディスプレイである。操作部６２は、作業者Ｍからの各種入力操作を受け付けるものである。
　制御装置５０は、異物除去装置３０の全体を制御する装置であり、制御部５１と、記憶部５２とを備える。制御部５１は、ＣＰＵを中心とするマイクロプロセッサとして構成されている。制御部５１は、検出部３１および除去部４０へ制御信号を出力したり、操作パネル６０の表示部６１に表示信号を出力したりする。また、制御部５１は、検出部３１および除去部４０から信号を入力したり、操作パネル６０の操作部６２から操作信号を入力したりする。
　記憶部５２は、情報を記憶する記憶媒体であり、例えばＨＤＤやフラッシュメモリなどにより構成されている。記憶部５２は、例えば異物１４の採取に関する情報などを記憶する。本実施形態では、異物１４を識別するために、アスファルト用識別モデル５３と、コンクリート用識別モデル５４とが記憶されている。アスファルト用識別モデル５３は、アスファルト廃材としての処理材１２から異物１４を識別するのに適した識別モデルとして、予め作成されて記憶されたものである。また、コンクリート用識別モデル５４は、コンクリート廃材としての処理材１２から異物１４を識別するのに適した識別モデルとして、予め作成されて記憶されたものである。これらの識別モデルの詳細は後述する。
　次に、こうして構成された異物除去装置３０の動作として、処理材１２から識別した異物１４を採取して除去する処理を説明する。図５は、異物除去処理ルーチンの一例を示すフローチャートである。この処理は、制御装置５０の制御部５１により実行される。制御部５１は、このルーチンを開始すると、まず、搬送装置２２を駆動させて（Ｓ１００）、異物１４の識別モデルの設定タイミングであるか否か（Ｓ１１０）、識別モデルを設定済みであるか否か（Ｓ１２０）、をそれぞれ判定する。
　Ｓ１１０の設定タイミングは、上述したアスファルト用識別モデル５３とコンクリート用識別モデル５４のうち、いずれか１つの識別モデルの設定を行うタイミングである。設定タイミングは、例えば、Ｓ１００で搬送装置２２を駆動開始してから所定時間が経過したタイミングや、搬送装置２２がベルトを所定長さ分送ったタイミングなどに定められている。あるいは、制御部５１は、異物除去処理ルーチンの実行中において、例えば所定時間が経過したタイミングや、所定時刻（例えば、午前の処理と午後の処理との切り替わり等）など、時期の切り替わりのタイミングを、設定タイミングと判定してもよい。制御部５１は、Ｓ１１０で識別モデルの設定タイミングでないと判定し、Ｓ１２０で識別モデルを設定済みでないと判定すると、Ｓ１１０に戻り処理を繰り返す。一方、制御部５１は、Ｓ１１０で設定タイミングであると判定すると、識別用設定処理を実行して（Ｓ１３０）、Ｓ１４０に進み、Ｓ１２０で設定済みであると判定すると、Ｓ１３０をスキップしてＳ１４０に進む。
　図６は、識別用設定処理の一例を示すフローチャートである。識別用設定処理では、制御部５１は、撮像部３２により処理材１２の画像を撮像し（Ｓ２００）、画像を処理して処理材１２の種類を取得する（Ｓ２１０）。制御部５１は、例えば、画像内の画素の輝度に基づいて処理材１２の種類を取得可能である。例えば、制御部５１は、各画素の輝度の傾向が、アスファルト廃材を示す傾向かコンクリート廃材を示す傾向のいずれに近いかなどに基づいて、処理材１２の種類を取得する。次に、制御部５１は、取得した処理材１２の種類が、アスファルト廃材であるかコンクリート廃材であるかを判定する（Ｓ２２０）。制御部５１は、アスファルト廃材であると判定すると、アスファルト用識別モデル５３を設定して（Ｓ２３０）、本処理を終了する。また、制御部５１は、コンクリート廃材であると判定すると、コンクリート用識別モデル５４を設定して（Ｓ２４０）、本処理を終了する。
　図７は、識別モデル毎の異物１４の識別傾向の一例を示す説明図である。図示するように、異物１４の種類の一例として、例えば、金属や布、線材、木片、木の根、ブロック、植物などがある。ここで、アスファルト廃材には、木片や木の根、ブロック、植物などが比較的多く含まれ、金属や布、線材などは殆ど含まれない傾向にある。一方、コンクリート廃材には、金属や布、線材などが比較的多く含まれ、木片や木の根、ブロック、植物などはアスファルト廃材に比して少ない傾向にある。アスファルト用識別モデル５３やコンクリート用識別モデル５４は、このような傾向に基づいて、異物１４の識別率が向上するように予め作成されたモデルである。例えば、撮像部３２でアスファルト廃材の画像を複数撮像し、画像内の領域から抽出した特徴量と、当該領域内での異物１４の有無やその種類を示すラベルとの組を教師データとして、機械学習によりアスファルト用識別モデル５３が作成される。同様に、撮像部３２でコンクリート廃材の画像を複数撮像し、画像内の領域から抽出した特徴量と、当該領域内での異物１４の有無やその種類を示すラベルとの組を教師データとして、機械学習によりコンクリート用識別モデル５４が作成される。機械学習におけるアルゴリズムとしては、例えば、サポートベクターマシン（ＳＶＭ）やｋ近傍法、ニューラルネットワークなどの公知の手法が用いられる。こうして作成されたアスファルト用識別モデル５３では、アスファルト廃材に多く含まれる木片や木の根、ブロック、植物の識別率が高くなり、金属や布、線材の識別率が低くなる。また、コンクリート用識別モデル５４は、金属や布、線材の識別率が高くなり、木片や木の根、ブロック、植物の識別率が横ばいとなる。
　図５の異物除去処理ルーチンでは、制御部５１は、次に、撮像部３２により処理材１２の画像を撮像し（Ｓ１４０）、画像を処理して特徴量を抽出する（Ｓ１５０）。続いて、制御部５１は、Ｓ１３０で設定した内容（本実施形態では識別モデル）を用いて、特徴量に基づき異物１４の識別処理を実行し（Ｓ１６０）、異物１４があるか否かを判定する（Ｓ１７０）。制御部５１は、異物１４があると判定すると、その異物１４を除去ヘッド４５（採取部材４７）により採取して除去する（Ｓ１８０）。なお、制御部５１は、撮像部３２により撮像された画像における異物１４の領域や測定部３３による測定結果などから、異物１４の位置やサイズ（幅、厚み）などを認識し、その認識結果に基づいて除去ヘッド４５（採取部材４７）を制御して異物１４を採取させる。また、制御部５１は、Ｓ１７０で異物１４がないと判定すると、Ｓ１８０をスキップする。
　続いて、制御部５１は、対象の処理材１２の処理が完了したか否かを判定し（Ｓ１９０）、処理が完了していないと判定すると、Ｓ１１０に戻る。一方、制御部５１は、処理が完了したと判定すると、搬送装置２２を停止させて（Ｓ１９５）、本処理を終了する。
　ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の撮像部３２が本開示の撮像部に相当し、識別用設定処理のＳ２１０を実行する制御部５１が取得部に相当し、識別用設定処理のＳ２２０～Ｓ２４０と異物除去処理ルーチンのＳ１５０，Ｓ１６０とを実行する制御部５１が識別部に相当する。本実施形態では、異物除去装置３０の動作を説明することにより本開示の異物識別方法の一例も明らかにしている。
　以上説明した異物除去装置３０では、撮像部３２で撮像された画像と、処理材１２（対象物）に関する情報とに基づいて、異物１４の識別処理を行う。このため、異物１４の識別を処理負担を軽減しつつ精度よく行うことができる。
　また、異物除去装置３０では、処理材１２に関する情報に基づいて、記憶部５２に記憶されている複数の識別モデル（アスファルト用識別モデル５３とコンクリート用識別モデル５４）のうちいずれかの識別モデルを設定し、設定した識別モデルを用いて異物１４の識別処理を行う。このため、複数の識別モデルのうち処理材１２に適した識別モデルを用いて、異物１４の識別を処理負担を軽減しつつ精度よく行うことができる。
　また、異物除去装置３０では、処理材１２の種類を取得し、その種類に基づいて識別モデルを設定する。ここで、処理材１２の種類によって、含まれる異物１４の傾向が異なることがある。このため、処理材１２の種類に基づいて設定された識別モデルを用いることで、異物１４の識別をより精度よく行うことができる。
　また、異物除去装置３０では、撮像部３２により撮像された画像を処理して、処理材１２の種類を取得する。このため、処理材１２の種類の取得や識別モデルの設定を、作業者などの指示によらずに自動で行うことができる。
　また、複数の識別モデルは、処理材１２の種類に対応付けて撮像部３２により撮像された複数の画像を用いて予め学習により作成されることで、処理材１２の種類に対応付けられている。そして、制御部５１は、複数の識別モデルのうち、処理材１２の種類に対応付けられた識別モデルを設定する。このため、異物除去処理では、処理材１２の種類に対応付けられた識別モデルを設定すればよいから、処理負担をさらに軽減することができる。また、各識別モデルは、処理材１２の種類に対応付けて撮像された画像を用いて学習により作成されたものであるから、異物１４の識別処理をさらに精度よく行うことができる。
　なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　実施形態では、識別用設定処理において、画像から取得した処理材１２の種類に基づいて識別モデルを設定したが、これに限られない。以下の変形例のように、除去処理および処理材１２（対象物）の少なくとも一方に関する情報に基づいて識別モデルを設定すればよい。なお、変形例では、実施形態と同じ処理には同じステップ番号を付して、説明を省略する。
　図８の変形例の識別用設定処理では、制御部５１は、まず現在の時間帯（時期の情報）を取得し（Ｓ２１０ｂ）、取得した時間帯が午前か午後かを判定する（Ｓ２２０ｂ）。ここで、変形例の異物除去装置３０（処理システム１０）では、対象の処理材１２の種類が、例えば午前はアスファルト廃材で午後はコンクリート廃材など、時間帯に応じて異なるものとする（図９参照）。即ち、異物除去処理が行われる時間帯によって、異物１４の傾向が異なる。そこで、制御部５１は、時間帯が午前と判定すると、Ｓ２３０でアスファルト用識別モデル５３を設定し、時間帯が午後と判定すると、Ｓ２４０でコンクリート用識別モデル５４を設定する。なお、この変形例では、図５の異物除去処理ルーチンのＳ１１０において、制御部５１は、午前の処理の開始時や、午前の処理と午後の処理との切り替わり時など、時期の情報に基づいて設定タイミングであると判定すればよい。
　この変形例では、制御部５１は、除去処理に関する情報として、除去処理が行われる時間帯（時期の情報）を取得し、識別モデルを時間帯に基づいて設定する。このため、時間帯によって異物１４の傾向が異なる場合でも、異物１４の識別を処理負担を軽減しつつ精度よく行うことができる。なお、変形例では、時期の情報として、時間帯を取得したが、これに限られず、曜日や日、月、期間（例えば、４月１日～５月３１日など）、季節（例えば、１年を春夏秋冬の４つに分割した場合のいずれか）などの少なくともいずれかを含む情報を取得すればよい。即ち、異物除去処理の対象の処理材１２の種類が、曜日や日、月、期間、季節などの時期に応じて異なる場合、制御部５１は、そのような時期の情報を取得して識別処理の内容（識別モデル）を設定すればよい。これにより、時期によって異物１４の傾向が異なる処理材１２であっても、異物１４の識別を処理負担を軽減しつつ精度よく行うことができる。
　また、図１０の変形例のようにしてもよい。この変形例の識別用設定処理では、制御部５１は、まず異物除去装置３０（処理システム１０）が設置されている設置地域（地域の情報）を取得し（Ｓ２１０ｃ）、取得した設置地域が第１地域か第２地域かを判定する（Ｓ２２０ｃ）。この変形例では、異物除去装置３０（処理システム１０）が、アスファルト廃材の多い第１地域か、コンクリート廃材の多い第２地域のいずれかに配置されるものとする。即ち、異物除去装置３０の設置地域によって、異物１４の傾向が異なる。このため、制御部５１は、設置地域が第１地域であると判定すると、Ｓ２３０でアスファルト用識別モデル５３を設定し、設置地域が第２地域であると判定すると、Ｓ２４０でコンクリート用識別モデル５４を設定する。なお、この変形例では、図５の異物除去処理ルーチンのＳ１１０において、制御部５１は、異物除去装置３０が設置されて異物除去処理を最初に開始する際などに設定タイミングであると判定すればよい。
　この変形例では、制御部５１は、除去処理に関する情報として、異物除去装置３０の設置地域（地域の情報）を取得し、識別モデルを設置地域に基づいて設定する。このため、設置地域によって異物１４の傾向が異なる場合でも、異物１４の識別を処理負担を軽減しつつ精度よく行うことができる。なお、変形例では、地域の情報として、異物除去装置３０の設置地域を取得したが、これに限られず、処理材１２の発生地域を取得してもよい。即ち、処理材１２の発生地域によって、異物１４の傾向が異なる場合、制御部５１は、そのような発生地域の情報を取得すればよい。また、図５の異物除去処理ルーチンのＳ１１０において、制御部５１は、対象の処理材１２の発生地域（発生元）が変わる際に、設定タイミングであると判定すればよい。なお、制御部５１は、対象の処理材１２の発生地域が変わる旨を、作業者からの指示に基づいて把握してもよいし、対象の処理材１２の発生地域の情報を取得することに基づいて把握してもよい。また、制御部５１は、異物除去装置３０の設置地域と、対象の処理材１２の発生地域との両方に基づいて、識別モデルを設定してもよい。
　図８、図１０の変形例では、制御部５１は、時期の情報と地域の情報の各々に基づいて識別モデルを設定したが、これに限られず、時期の情報と地域の情報との組合せに基づいて識別モデルを設定してもよい。また、制御部５１は、天候などの環境の情報に基づいて識別モデルを設定してもよい。通常、屋外に設置される異物除去装置３０では、天候などにより撮像部３２により撮像される画像の明暗が異なる場合があるためである。なお、制御部５１は、処理材１２の種類の情報と、時期の情報と、地域の情報と、環境の情報とのうち少なくとも１つの情報に基づいて識別処理の内容（例えば識別モデル）を設定すればよく、複数の情報に基づいて識別処理の内容を設定してもよい。
　実施形態では、学習により作成された識別モデルとしてアスファルト用識別モデル５３とコンクリート用識別モデル５４との２つを例示したが、これに限られず、３つ以上の識別モデルがあってもよい。また、識別モデルの作成時において、異物１４の種類が含まれるラベルが付与されたが、異物１４の種類が含まれなくてもよく、少なくとも異物１４の有無を示すラベルが付与されればよい。また、識別モデルが異物除去装置３０の記憶部５２に記憶されたが、これに限られず、処理システム１０内の他の記憶部に記憶されてもよいし、異物除去装置３０がアクセス可能なデータサーバなどに記憶されてよい。
　実施形態では、識別用設定処理において、複数の識別モデルのうちいずれかの識別モデルを設定したが、これに限られない。例えば、予め学習により１つの識別モデルを作成すると共に、当該識別モデルのアルゴリズムにおける各種パラメータを、識別用設定処理において処理材１２の種類などに応じて設定可能としてもよい。なお、識別モデルのアルゴリズムとして、例えば、畳み込みニューラルネットワーク（ＣＮＮ）や、ＣＮＮを利用したＲ－ＣＮＮなどを用いてもよい。それらは、図示は省略するが、入力層と、複数の畳み込み層および複数のプーリング層と、全結合層と、出力層とを有する周知の構成であり、畳み込み層のフィルタの値や全結合層の結合の重みなどのパラメータが設定される。このため、それらのパラメータを設定可能とすればよい。勿論、それらのパラメータに限られず、識別モデルで用いられるパラメータが設定可能であればよい。
　そして、図１１の変形例の識別用設定処理に示すように、制御部５１は、処理材１２の種類がアスファルトの場合にはアスファルト用パラメータを設定し（Ｓ２３０ｂ）、処理材１２の種類がコンクリートの場合にはコンクリート用パラメータを設定する（Ｓ２４０ｂ）。なお、上述した変形例の識別用設定処理のように、制御部５１は、時期の情報や地域の情報に基づいて、パラメータを設定してもよい。即ち、制御部５１は、除去処理および処理材１２（対象物）の少なくともいずれかに応じてパラメータを設定する。そして、図５の異物除去処理ルーチンのＳ１６０では、制御部５１は、識別用設定処理で設定されたパラメータを適用した識別モデルを用いて、異物１４の識別処理を実行する。これにより、実施形態と同様に、除去処理および対象物の少なくともいずれかに適した識別処理とするから、異物１４の識別処理を精度よく行うことができる。
　実施形態では、識別した異物１４の種類を考慮せずに以降の処理を実行したが、これに限られず、識別した異物１４の種類に応じた処理を実行してもよい。図１２は、変形例の異物除去処理ルーチンを示すフローチャートである。変形例の異物除去処理ルーチンでは、制御部５１は、異物１４の識別処理では、Ｓ１３０での設定内容に基づき異物１４の種類まで識別する（Ｓ１６０ｂ）。また、制御部５１は、Ｓ１７０で異物１４があると判定すると、識別した異物１４の種類に応じた採取条件で異物１４を採取して除去する（Ｓ１８０ｂ）。
　図１３は、異物１４の種類に応じた採取条件５５の一例を示す説明図である。この採取条件５５は、開閉動作によって異物１４を把持する採取部材４７の開閉の幅である把持幅と、Ｚ軸方向の押し込み量とを、異物１４の種類に応じて定めたものであり、例えば記憶部５２に記憶されている。図１３の例では、異物１４の種類が、金属や線材、木片、木の根、ブロックなどの比較的硬い硬質材料の場合には、異物１４の幅を基準とする把持幅が定められると共に、異物１４の厚みを基準とする押し込み量が定められる。なお、制御部５１は、撮像部３２により撮像された画像の画像処理や測定部３３による測定結果などから、異物１４の幅や厚みを取得することができる。
　また、図１３の例では、異物１４の種類が、布や植物などの比較的柔らかい軟質材料の場合には、異物１４の幅に拘わらず所定値の把持幅が定められる。この把持幅は、採取部材４７で把持する際に厚みが潰れやすい軟質材料を確実に把持できる値として、予め実験などにより求めて定められる。また、布には、硬質材料とは異なる第１押し込み量が定められ、植物には、第１押し込み量より大きな第２押し込み量が定められる。第１押し込み量は、採取部材４７を押し込む際に、布をより確実に把持できる値として、予め実験などにより求めて定められる。また、植物を採取部材４７で把持する際や把持後に移動させる際には、ちぎれなどが起きやすいため、より確実に把持するように、第２押し込み量には第１押し込み量よりも大きな値が定められる。このように、変形例では、識別した異物１４の種類に応じた採取条件（把持幅、押し込み量）で採取部材４７に異物１４を採取させるから、識別した異物１４の採取をより適切に行うことができる。
　この変形例では、採取条件として把持幅と押し込み量を定めたが、これに限られず、他の条件を定めてもよい。例えば、制御部５１は、異物１４を採取する際の採取部材４７の開閉速度や、異物１４を採取した採取部材４７の移動速度などを、識別した異物１４の種類に応じて定めてもよい。
　実施形態や変形例では、識別モデルを用いて異物１４の識別処理を行ったが、これに限られず、識別モデルは必須ではない。即ち、撮像部３２により撮像された画像と、除去処理および処理材１２（対象物）の少なくとも一方に関する情報とに基づいて、異物１４の識別処理を行うものであれば、識別モデルを用いるものに限られず、如何なる識別処理を行ってもよい。
　本開示は、以下のように構成してもよい。例えば本開示の異物識別方法は、
　対象物に含まれる異物を識別して除去する除去処理における異物識別方法であって、
（ａ）前記対象物を撮像するステップと、
（ｂ）前記除去処理および前記対象物の少なくとも一方に関する情報を取得するステップと、
（ｃ）前記ステップ（ａ）により撮像された画像と、前記ステップ（ｂ）により取得された前記情報とに基づいて、前記異物を識別する識別処理を行うステップと、
　を含むことを要旨とする。
　本開示の異物識別方法では、上述した本開示の異物除去装置と同様に、対象物に含まれる異物の識別を処理負担を軽減しつつ精度よく行うことができる。この異物識別方法において、上述した本開示の異物除去装置の種々の態様を採用してもよいし、本開示の異物除去装置の各機能を実現するようなステップを追加してもよい。
　本明細書では、出願当初の請求項５の「請求項２または３に記載の異物除去装置」を「請求項２ないし４のいずれか１項に記載の異物除去装置」に変更した技術思想や、出願当初の請求項８の「請求項１または２に記載の異物除去装置」を「請求項１ないし７のいずれか１項に記載の異物除去装置」に変更した技術思想も開示されている。
　本開示は、対象物から異物を検出して除去する技術分野に利用可能である。
　１０　処理システム、１２　処理材、１３　廃材、１４　異物、１５　１次破砕機、１６　１次磁選機、１７　スクリーン機、１８　２次破砕機、１９　２次磁選機、２０～２５　搬送装置、３０　異物除去装置、３１　検出部、３２　撮像部、３３　測定部、３４　支持部、３５　廃棄部、４０　除去部、４１　Ｘ軸スライダ、４３　Ｙ軸スライダ、４５　除去ヘッド、４７　採取部材、４９　昇降部、５０　制御装置、５１　制御部、５２　記憶部、５３　アスファルト用識別モデル、５４　コンクリート用識別モデル、５５　採取条件、６０　操作パネル、６１　表示部、６２　操作部、Ｉｍ１，Ｉｍ２　撮像画像、Ｄ　搬送方向、Ｍ　作業者。

Claims (9)

  1. 　対象物に含まれる異物を識別して除去する除去処理を行う異物除去装置であって、
    　前記対象物を撮像する撮像部と、
    　前記除去処理および前記対象物の少なくとも一方に関する情報を取得する取得部と、
    　前記撮像部により撮像された画像と、前記取得部により取得された前記情報とに基づいて、前記異物を識別する識別処理を行う識別部と、
    　を備える異物除去装置。
  2. 　前記識別部は、前記取得部により取得された前記情報に基づいて、複数の識別モデルのうちいずれかの識別モデルを設定し、該識別モデルを用いて前記識別処理を行う、
    　請求項１に記載の異物除去装置。
  3. 　前記取得部は、前記対象物に関する前記情報として、前記対象物の種類を取得し、
    　前記識別部は、前記識別モデルを、前記対象物の種類に基づいて設定する、
    　請求項２に記載の異物除去装置。
  4. 　前記取得部は、前記撮像部により撮像された画像を処理して、前記対象物の種類を取得する、
    　請求項３に記載の異物除去装置。
  5. 　複数の前記識別モデルは、前記情報に対応付けて前記撮像部により撮像された複数の画像を用いて予め学習により作成されることで、前記情報に対応付けられており、
    　前記識別部は、複数の前記識別モデルのうち、前記取得部により取得された前記情報に対応付けられた前記識別モデルを設定する、
    　請求項２または３に記載の異物除去装置。
  6. 　前記除去処理は、時間帯、曜日、日、月、期間および季節の少なくともいずれかを含む時期によって、前記異物の傾向が異なる前記対象物に対して行われ、
    　前記取得部は、前記除去処理に関する前記情報として、前記時期の情報を取得する、
    　請求項１または２に記載の異物除去装置。
  7. 　前記除去処理は、前記異物除去装置の設置地域および前記対象物の発生地域の少なくともいずれかを含む地域によって、前記異物の傾向が異なる前記対象物に対して行われ、
    　前記取得部は、前記除去処理に関する前記情報として、前記地域の情報を取得する、
    　請求項１または２に記載の異物除去装置。
  8. 　前記除去処理は、前記異物を採取部材により採取して除去するものであり、
    　前記識別部は、前記識別処理で前記異物の種類を識別可能であり、
    　前記識別部により識別された前記異物の種類に応じた採取条件で前記異物を採取するように、前記採取部材を制御する制御部を備える、
    　請求項１または２に記載の異物除去装置。
  9. 　対象物に含まれる異物を識別して除去する除去処理における異物識別方法であって、
    （ａ）前記対象物を撮像するステップと、
    （ｂ）前記除去処理および前記対象物の少なくとも一方に関する情報を取得するステップと、
    （ｃ）前記ステップ（ａ）により撮像された画像と、前記ステップ（ｂ）により取得された前記情報とに基づいて、前記異物を識別する識別処理を行うステップと、
    　を含む異物識別方法。
PCT/JP2024/021083 2024-06-10 2024-06-10 異物除去装置および異物識別方法 Pending WO2025257901A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/021083 WO2025257901A1 (ja) 2024-06-10 2024-06-10 異物除去装置および異物識別方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/021083 WO2025257901A1 (ja) 2024-06-10 2024-06-10 異物除去装置および異物識別方法

Publications (1)

Publication Number Publication Date
WO2025257901A1 true WO2025257901A1 (ja) 2025-12-18

Family

ID=98050711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/021083 Pending WO2025257901A1 (ja) 2024-06-10 2024-06-10 異物除去装置および異物識別方法

Country Status (1)

Country Link
WO (1) WO2025257901A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021163078A (ja) * 2020-03-31 2021-10-11 Ｊｆｅスチール株式会社 異物検出装置、異物除去装置および異物検出方法
CN113909156A (zh) * 2021-10-25 2022-01-11 太初环塑科技(浙江)有限公司 一种回收塑料瓶分拣装置、分拣系统
CN116871177A (zh) * 2023-09-05 2023-10-13 国擎(山东)信息科技有限公司 一种基于多光谱技术的高岭土原矿分选方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021163078A (ja) * 2020-03-31 2021-10-11 Ｊｆｅスチール株式会社 異物検出装置、異物除去装置および異物検出方法
CN113909156A (zh) * 2021-10-25 2022-01-11 太初环塑科技(浙江)有限公司 一种回收塑料瓶分拣装置、分拣系统
CN116871177A (zh) * 2023-09-05 2023-10-13 国擎(山东)信息科技有限公司 一种基于多光谱技术的高岭土原矿分选方法及系统

Similar Documents

Publication Publication Date Title
JP7517662B2 (ja) 廃棄物選別装置
KR20230013498A (ko) 재활용품을 선별하는 시스템 및 방법
JP2020199444A (ja) 廃棄物選別装置
CN107999399A (zh) 基于点阵高光谱检测的建筑垃圾在线分拣系统和方法
CN111366584B (zh) 基于视觉识别的报废汽车可回收零部件损伤分类方法及设备
CN119588646A (zh) 基于xrt和高光谱的矿石自动化精细分选方法与系统
Han et al. Toward fully automated metal recycling using computer vision and non-prehensile manipulation
JP7826327B2 (ja) 異物除去システム
WO2025156325A1 (zh) 工厂香菇采摘机器人及基于视觉的分级采摘方法
EP4201579A1 (de) Verfahren und vorrichtung zum schneiden und entnehmen von teilen
JP7787755B2 (ja) 制御装置、異物除去装置及び制御方法
JP7663588B2 (ja) 異物除去装置
CN115646821A (zh) 一种基于视觉调控的分拣生产线的控制方法
JP7707193B2 (ja) 異物除去システム
JP3795463B2 (ja) バルク包装に用いるセパレートシート清掃装置
WO2024202044A1 (ja) 異物除去装置及び異物除去方法
CN103018154B (zh) 一种遍历晶粒不规则区域的多区域图像检测方法
EP4640323A1 (en) Control device, foreign body removal device, collection apparatus, and information processing method
CN116309375A (zh) 实木板材双面缺陷检测及智能加工坐标确定方法
WO2024100751A1 (ja) 異物除去装置、ピッキングチャック及び制御方法
WO2024127555A1 (ja) 異物除去装置及び異物除去装置の制御方法
CN113989278A (zh) 抓取装置的定位方法和系统
EP4685087A1 (en) Foreign matter removal device and control method for foreign matter removal device
EP4640380A1 (en) Control device, foreign object removing device, collecting device, and collecting device control method
CN119725138B (zh) 批量芯片的自动化除尘方法、设备、除尘检测机及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24943382

Country of ref document: EP

Kind code of ref document: A1