WO2024028971A1 - 異物検査装置 - Google Patents

異物検査装置 Download PDF

Info

Publication number
WO2024028971A1
WO2024028971A1 PCT/JP2022/029620 JP2022029620W WO2024028971A1 WO 2024028971 A1 WO2024028971 A1 WO 2024028971A1 JP 2022029620 W JP2022029620 W JP 2022029620W WO 2024028971 A1 WO2024028971 A1 WO 2024028971A1
Authority
WO
WIPO (PCT)
Prior art keywords
tobacco
type
image
information
foreign
Prior art date
Application number
PCT/JP2022/029620
Other languages
English (en)
French (fr)
Inventor
友彦 植竹
友祐 和田
Original Assignee
日本たばこ産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本たばこ産業株式会社 filed Critical 日本たばこ産業株式会社
Priority to PCT/JP2022/029620 priority Critical patent/WO2024028971A1/ja
Publication of WO2024028971A1 publication Critical patent/WO2024028971A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles

Definitions

  • the present invention relates to a foreign matter inspection device.
  • the present invention relates to a foreign matter inspection device for detecting foreign matter in cut tobacco using an image of the cut tobacco.
  • Foreign substances that get mixed into dried leaf tobacco include weeds caught by-catch in the field, mixed stones, and agricultural packaging materials used in the field and in the leaf tobacco drying process (cardboard, paper, cloth, string, plastic, sponge, film, etc.) ), and its mode (geometrical properties such as shape and thickness, physical properties such as density, optical properties such as color (brightness and saturation) and transparency, and chemical properties such as material) is indefinite.
  • Foreign matter and debris whose appearance is indeterminate cannot necessarily be detected optically and are difficult to eliminate by wind selection.
  • the above-mentioned foreign substances that were not removed by the wind sorting device were visually checked and removed by hand by placing a person next to the belt conveyor that conveys the shredded tobacco from the crushing device. This work is a heavy burden on the people involved, and a technical solution has been required.
  • dried leaf tobacco is an agricultural product of plants of the genus Nicotiana, including plant type, variety, production area, annual production, tissue (leaves, leaf veins, petioles, stems), and position (leaf on the apical side of the plant). root side leaves), growth conditions (sunlight, temperature, rainfall), harvesting methods (trunk cutting, harvesting only leaves, harvesting all at once, timely harvesting), growing period, harvest time, post-harvest drying method (airflow drying, heat The hue and luster vary depending on drying (drying, sun drying), drying quality, and storage period. Furthermore, the dried leaf tobacco is mixed (blended) in an arbitrary proportion and then shredded to become shredded tobacco.
  • the accuracy of image recognition in detecting foreign objects may vary depending on the blend of dried leaf tobacco and various conditions.
  • one aspect of the present invention is a foreign matter inspection device for detecting foreign matter contained in cut tobacco, comprising: a conveyance device configured to convey the cut tobacco; A photographing device that photographs the cut tobacco being conveyed on the conveyance path of the conveyance device, a trained model that has been trained using, as learning data, an image of the shredded tobacco that has been contaminated with a known foreign substance; Further, a foreign object detection section configured to detect a foreign object in the cut tobacco using an image of the cut tobacco conveyed on a conveyance path of the conveyance device and the learned model; a learning unit that performs learning, the learning data having color information and annotation information for identifying shredded tobacco and foreign objects for each pixel of the image; By extracting the color information and annotation information of the pixels corresponding to the foreign object from the learning data regarding the foreign object, and incorporating the extracted color information and annotation information into the image of the second type of shredded tobacco that does not include the foreign object,
  • the method includes a foreign object inspection device configured to extract the color information and annotation information of the pixels
  • the aspects (geometric properties, physical properties, optical properties) of foreign substances mixed in dried leaf tobacco are indeterminate, and dried leaf tobacco can be mixed (blended) in arbitrary proportions. Then it is shredded and made into shredded tobacco. Therefore, in the manufacturing process of shredded tobacco, there are countless combinations of foreign substances and blends, but it is difficult to create learning data for each combination of foreign substances and blends in order to detect foreign substances with high accuracy. This is because, if training data were to be created for all combinations of foreign substances and blends by passing chopped tobacco samples through a foreign substance inspection device built into the manufacturing line, the manufacturing process would have to be stopped for the entire period, and the This is because a prolonged period of time is unavoidable.
  • the learning section extracts color information and annotation information of pixels corresponding to foreign objects from the learning data regarding the first type of chopped tobacco, and transfers the extracted color information and annotation information to pixels that do not contain foreign objects.
  • Learning data regarding the second type of chopped tobacco is created by incorporating it into the image of the second type of chopped tobacco, so the learning section can create new data corresponding to the new blend by simply performing calculations based on the image and annotation information. You can create learning data. There is no need to create learning data for each combination of foreign matter and blend by passing a cut tobacco sample through a foreign matter inspection device built into the production line.
  • Another aspect of the present invention includes the foreign matter inspection device according to the above aspect, wherein the first type of chopped tobacco and the second type of chopped tobacco are different blends of chopped tobacco.
  • the annotation information includes at least one of information identifying the blend of the shredded tobacco and information identifying the type of the foreign object. including.
  • Another aspect of the present invention includes the foreign matter inspection apparatus according to the above aspect, further comprising a user interface for inputting the annotation information.
  • the color information and the annotation information are incorporated into the image of the second type of cut tobacco, including all pixels in the image of the second type of chopped tobacco.
  • a step of setting annotation information to the image of the second type of shredded tobacco which is the same as the color information and annotation information extracted from the learning data regarding the first type of shredded tobacco among the pixels in the image of the second type of shredded tobacco;
  • the method includes the step of replacing color information and annotation information in a pixel with color information and annotation information extracted from the learning data regarding the first type of cut tobacco.
  • foreign matter detection can be performed with high accuracy on various types of chopped tobacco.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a foreign matter inspection device according to an embodiment of the present invention.
  • 1 is a flowchart illustrating an example of a process for detecting foreign substances contained in cut tobacco according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically showing a foreign object detection process according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram showing several aspects of cutting out image data from video data in an embodiment of the present invention.
  • FIG. 4 illustrates exemplary training images used to create a trained model by machine learning, in an embodiment of the present invention. 4 illustrates exemplary training data used to create a trained model by machine learning in an embodiment of the invention.
  • FIG. 1 is a flowchart illustrating an exemplary process for creating a trained model for use in detecting foreign objects in shredded tobacco, according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating a process for creating a trained model according to an embodiment of the present invention.
  • FIG. 7 illustrates exemplary initial state training data for a second type of cut tobacco in an embodiment of the invention.
  • FIG. 7 illustrates updated learning data for an exemplary second type of cut tobacco in an embodiment of the present invention;
  • FIG. 1 is a schematic diagram showing the general configuration of a foreign matter inspection device 100 according to an embodiment of the present invention.
  • the foreign object inspection device 100 includes a transport device 110, an imaging device 120, an information processing device 130, and a control device 140.
  • the information processing device 130 is communicably connected to the photographing device 120 and the control device 140, and the control device 140 is further communicably connected to the transport device 110.
  • the conveying device 110 is configured to convey cut tobacco.
  • the transport device 110 may be a belt conveyor.
  • a cutting machine (not shown) is arranged upstream of the transport device 110, and a winding machine (not shown) is arranged downstream of the transport device 110.
  • the shredding machine shreds the dried leaf tobacco and supplies the resulting shredded tobacco to the upstream portion of the belt conveyor 110.
  • the shredded tobacco supplied from the shredding machine is conveyed downstream on the belt conveyor 110, and is conveyed to the winding machine.
  • the winding machine wraps the shredded tobacco carried on the belt conveyor 110 with wrapping paper and forms it into a cigarette.
  • the conveying device 110 may include two or more upstream and downstream belt conveyors 110a, 110b, and the shredded tobacco is transferred from the downstream end of the upstream belt conveyor 110a to the downstream belt conveyor 110b.
  • Two or more of these belt conveyors 110a, 110b may be arranged so that the belt conveyor 110a, 110b falls to
  • Belt conveyors 110a and 110b may be arranged in a straight line when viewed from above, or may be arranged in an L-shape.
  • the photographing device 120 is a camera arranged to photograph the shredded tobacco being conveyed on the conveying device 110.
  • the photographing device 120 photographs the shredded tobacco being conveyed on the conveying device 110, generates video data, and transmits the video data to the information processing device 130.
  • the photographing device 120 may take a still image of the shredded tobacco and transmit the still image data to the information processing device 130. It is preferable that the photographing device 120 has a photographing range that is wider than the width of the cut tobacco placed on the conveying device 110.
  • a plurality of photographing devices 120 may be provided.
  • the photographing device 120 may be provided separately into an upstream photographing device 120a and a downstream photographing device 120b along the conveyance direction of shredded tobacco.
  • the information processing device 130 is a computer configured to detect foreign substances contained in cut tobacco using images taken by the photographing device 120.
  • information processing device (computer) 130 includes a processor, memory (e.g., working memory such as RAM), local storage for persistent storage (e.g., hard disk drive, solid state drive, etc.), and a communication interface (e.g., A communication device having a communication function with the device 120 and the control device 140) and a user interface (for example, a keyboard, a display, etc.) may be provided.
  • Information processing device 130 may be connected to photographing device 120 and control device 140 via LAN or the Internet. Data may be saved to data storage on the cloud instead of local storage. Some or all of the functions of the information processing device 130 may be provided by cloud computing.
  • the control device 140 is configured to control the operation of the transport device 110 based on instructions from the information processing device 130. For example, when the information processing device 130 detects a foreign object in the shredded tobacco, the information processing device 130 transmits a transport stop signal to the control device 140 indicating that the transport device 110 should stop transporting the shredded tobacco, In response, the control device 140 instructs the conveyance device 110 to stop conveying the shredded tobacco.
  • the foreign matter inspection device 100 optionally further includes one or more rakes 170 for flattening the shredded tobacco on the belt conveyor 110 and stirring the shredded tobacco on the belt conveyor 110 to facilitate exposure of foreign matter on the surface of the shredded tobacco.
  • a stirring device 180 and a foreign matter removal device 190 that removes detected foreign matter by air jet or suction may be provided. It is preferable that the rake 170 be arranged upstream of the photographing device 120. When a plurality of imaging devices 120 are provided, the stirring device 180 is preferably arranged between the upstream imaging device 120a and the downstream imaging device 120b.
  • stirring device 180 By disposing the stirring device 180 between the two photographing devices, foreign substances buried in the shredded tobacco and not captured by the upstream photographing device 120a are exposed by the stirring device 180 and captured by the downstream photographing device 120b. It can be made easier. Note that the same effect as the stirring device 180 can also be achieved by causing the shredded tobacco to fall from the upstream belt conveyor 110a onto the downstream belt conveyor 110b.
  • FIG. 2 is a flowchart illustrating an example of processing performed by the information processing device 130 according to the present embodiment to detect foreign substances contained in cut tobacco.
  • the information processing device 130 executes the series of processes shown in the flowchart of FIG. 2, the information processing device 130 functions as a foreign object detection section.
  • FIG. 3 is a diagram schematically showing the foreign object detection process. An example of the operation of the foreign object inspection apparatus 100 according to this embodiment will be described with reference to FIGS. 2 and 3.
  • the photographing device 120 photographs the shredded tobacco being conveyed on the belt conveyor 110 to generate video data VD.
  • the imaging device 120 is placed above the belt conveyor 110 at a predetermined position and orientation, and its imaging range is greater than or equal to the width of the shredded tobacco spread on the belt conveyor 110 (width of spread in the direction perpendicular to the conveyance direction). It is set to be.
  • the temporal length of the video data VD may be any length.
  • the photographing device 120 may generate a plurality of continuous video data VD separated by a predetermined time length (for example, several seconds to several tens of seconds), or one video data VD that is not separated in time. Streaming video data VD may also be generated.
  • the video data VD generated by the photographing device 120 is transmitted to the information processing device 130, for example, in response to a request from the information processing device 130.
  • the information processing device 130 acquires the video data VD from the photographing device 120 (step 202). For example, the information processing device 130 periodically sends a video acquisition request to the imaging device 120 at a predetermined time interval (for example, every 30 seconds), and in response to each of these requests, the information processing device 130 sends a video acquisition request to the imaging device 120 for a predetermined length of time. The latest video data VD (for example, 30 seconds) may be sequentially acquired.
  • the information processing device 130 may acquire video data VD transmitted from the imaging device 120 in a streaming manner. When a plurality of photographing devices 120 are provided, the information processing device 130 may acquire the video data VD from each photographing device 120a, 120b.
  • the information processing device 130 generates a plurality of still image data (hereinafter simply referred to as image data) SD at predetermined time intervals from the acquired video data VD (step 204).
  • image data still image data
  • the predetermined time interval for cutting out the image data SD from the video data VD is set such that, for example, there are no gaps between the areas of chopped tobacco captured in each image data SD (i.e., the entire chopped tobacco on the belt conveyor 110 is image data SD). Alternatively, gaps may exist between the areas of cut tobacco captured in each image data SD.
  • the shredded tobacco on the belt conveyor 110 is transported at such a transport speed that it crosses the imaging range of the imaging device 120 in 5 seconds, from video data VD with a length of 30 seconds, (i) 30 (ii) six image data SD may be generated every 5 seconds; or (iii) three image data SD may be generated every 10 seconds.
  • the areas of adjacent image data SD overlap in sequence by 1/5, and any part of the shredded tobacco on the belt conveyor 110 is divided into five consecutive image data. Included in SD.
  • case (ii) as shown in FIG.
  • the areas of adjacent image data SD have no overlap or gap, and any part of the shredded tobacco on the belt conveyor 110 is Included only in image data SD. Furthermore, in case (iii), as shown in FIG. 4(c), there is a gap between areas of adjacent image data SD, and neither image data There are also parts that are not captured on SD. Note that the photographing device 120 may generate the still image data SD by photographing the shredded tobacco at predetermined time intervals, and provide the still image data SD to the information processing device 130.
  • the information processing device 130 determines, for each of the plurality of image data SD, based on the learned model LM that has been machine learned in advance using predetermined learning data (teacher data).
  • the shredded tobacco and foreign objects are identified (step 206).
  • the trained model LM accepts the image data SD as input, and outputs as output data, for example, the type of shredded tobacco shown in the image data SD, the presence or absence of foreign objects, and if there is a foreign object, its position, shape, and type. is configured to output information indicating.
  • the information processing device 130 may identify, for each pixel of the image data SD, whether the pixel corresponds to shredded tobacco or a foreign object.
  • the learning data and the method for creating the learned model LM using the learning data in this embodiment will be described later.
  • the information processing device 130 determines whether or not a foreign object is detected in the shredded tobacco, and if a foreign object is detected, performs a predetermined abnormality detection process (steps 208, 210). For example, when the image data SD is generated in the manner described in (i) above, in order to increase the foreign object detection accuracy, a plurality of consecutive (n (in the above example, 2 ⁇ n ⁇ 5)) image data When a foreign object is identified in the SD, it may be determined that a foreign object is detected in the cut tobacco. Furthermore, when the image data SD is generated in the manner described in (ii) or (iii) above, it is possible to simply determine whether a foreign object has been detected based on the identification result in one image data SD. good. Furthermore, when a plurality of photographing devices 120 are provided, it may be determined whether a foreign object has been detected based on the identification results in the image data SD acquired from the plurality of photographing devices 120.
  • the information processing device 130 may transmit a conveyance stop signal to the control device 140 indicating that the conveyance device 110 should stop conveying the shredded tobacco.
  • the control device 140 may instruct the conveying device 110 to stop conveying the shredded tobacco.
  • the information processing device 130 may provide a predetermined abnormality notification on the user interface (for example, display on a display or generate an alarm sound).
  • Foreign matter removal device 190 may be driven.
  • FIG. 5 shows an exemplary learning image used to create a trained model LM by machine learning in this embodiment.
  • the learning image 500 is an image obtained by photographing shredded tobacco containing a known foreign substance.
  • the learning image 500 shows that, prior to actually operating the foreign object inspection device 100 to detect foreign objects, shredded tobacco for preliminary evaluation into which a known foreign object has been intentionally mixed is conveyed by the conveying device 110.
  • a plurality of image data SD obtained by photographing with the photographing device 120.
  • FIG. 5 shows one learning image 500 (image data SD).
  • the learning image 500 includes a pixel group 502 corresponding to shredded tobacco, as well as a pixel group 504 corresponding to a foreign object.
  • Pixel group 504 corresponding to foreign matter has a different color and/or brightness than pixel group 502 corresponding to cut tobacco.
  • FIG. 6 shows exemplary learning data (teacher data) used to create a learned model LM by machine learning in this embodiment.
  • the learning data 600 is created based on the learning image 500, specifically, by adding annotation information to the learning image 500.
  • FIG. 6 shows one piece of learning data 600 corresponding to one learning image 500 (image data SD).
  • image data SD image data SD
  • a plurality of learning data 600 similar to that shown in FIG. 6 is created corresponding to the plurality of learning images 500.
  • the learning data 600 includes color information 602 and annotation information 604 for each pixel of the learning image 500.
  • the color information 602 indicates the color and brightness of the pixel, and may be the same numerical value as the numerical value in the image data SD.
  • the annotation information 604 is information that identifies whether the pixel corresponds to shredded tobacco or a foreign object.
  • the annotation information 604 may further identify objects other than shredded tobacco and foreign objects (for example, the loading surface of the belt conveyor 110 shown as a background in the learning image).
  • the annotation information 604 only needs to be able to identify at least cut tobacco and foreign objects, and may be, for example, text data consisting of characters, character strings, numbers, symbols, or any combination thereof.
  • the annotation information 604 may include attribute 1 and attribute 2, as shown in FIG.
  • Attribute 1 may be a major classification such as "chopped tobacco,” “foreign matter,” and “other,” and attribute 2 may be a minor classification lower than the classification such as “chopped tobacco” and “foreign matter.”
  • attribute 2 may be specified by a blend code that identifies a blend of cut tobacco (eg, "blend A") and information that identifies the type of foreign material (eg, "cardboard,” “weed,” “paper,” etc.). Note that, since a plurality of types of foreign substances may be mixed into shredded tobacco, a plurality of different pieces of information may be assigned to a portion of attribute 2 in one learning data 600 that corresponds to a foreign substance.
  • the conveyance device 110 since the conveyance device 110 usually conveys only one type of chopped tobacco at the same time, the part corresponding to chopped tobacco in the attribute 2 in one learning data 600 (that is, one learning image 500) contains the one type of chopped tobacco. Only information indicating (for example, "blend A") is provided.
  • the annotation information 604 may be added manually or may be added using some automatic method. For example, since the type (blend) of chopped tobacco for preliminary evaluation photographed in the learning image 500 should be known, all pixels of the learning data 600 are automatically set to attribute 1 as initial data. Annotation information such as "Blend A (the known blend name)" may be added to Attribute 2 of "Shredded Tobacco". Next, the creator of the trained model LM visually checks the corresponding learning image 500 to confirm the type of foreign object for the foreign object part of the pixels of the learning data 600, and sets the attribute 1 to "foreign object". 2 may be changed to the name of the type of foreign object (for example, "cardboard").
  • Attribute 1 image processing using an existing image recognition algorithm identifies pixels of brown or a similar color from other pixels, and the Attribute 1 of the former pixel has "chopped tobacco",
  • the annotation information "foreign object” may be automatically added to attribute 1 of the latter pixel.
  • Attribute 2 "Blend A (known blend name)” is assigned to Attribute 2 of the pixel corresponding to the shredded tobacco using the same method as in the above example, and "Blend A (known blend name)” is assigned to Attribute 2 of the pixel corresponding to the foreign object.
  • the name of the type of foreign substance visually confirmed may be given.
  • a learned model LM is constructed by training using the plurality of learning data 600 (learning data sets) created in this way. For example, by using the learning data 600 created based on the learning image 500 of the cut tobacco of Blend A, it is possible to construct a trained model LM that can distinguish between the cut tobacco of Blend A and foreign objects. .
  • cut tobacco of different blends for example, cut tobacco of Blend A and cut tobacco of Blend B, may have different colors, and in such a case, the trained model LM created using the cut tobacco of Blend B Foreign substances contained in cut tobacco may not be detected or the detection accuracy may be reduced.
  • a new learning data set (a plurality of learning data 600 similar to that in FIG. 6) is created based on the learning image 500 of the cut tobacco of Blend B. It is necessary to create a trained model LM for cut tobacco of Blend B using this new learning data.
  • learning data 600 for cut tobacco of a blend that has already been created is used to create learning data for cut tobacco of another blend. Details of such processing will be described below with reference to FIGS. 7 to 10.
  • FIG. 7 is a flowchart showing an exemplary process executed by the information processing device 130 according to the present embodiment to create a trained model LM used for detecting foreign objects in cut tobacco.
  • the information processing device 130 functions as a learning unit by executing the series of processes shown in the flowchart of FIG. 7 .
  • FIG. 8 is a diagram schematically showing the process of creating a trained model.
  • the information processing device 130 acquires a learning image 500 of a first type (for example, blend A) of shredded tobacco (step 702).
  • the learning image 500 is an image of cut tobacco intentionally mixed with a known foreign substance.
  • a plurality of learning images 500 of the first type of shredded tobacco are prepared and provided to the information processing device 130.
  • the information processing device 130 creates learning data 600 for the first type of chopped tobacco based on the learning image 500 and the annotation information (step 704).
  • the learning data 600 is as described with reference to FIG.
  • the annotation information 604 may be added manually, as described above, or may be added using some automatic method.
  • the information processing device 130 constructs a learned model LM for the first type of cut tobacco through training using the plurality of created learning data 600 (step 706).
  • a general known machine learning method can be used as appropriate to create the learned model LM.
  • the information processing device 130 acquires an image 802 of the second type (for example, blend B) of shredded tobacco (step 708).
  • An image 802 is an image (still image) of a second type of shredded tobacco that has been adjusted to contain no foreign matter. Only one image 802 is required.
  • the image 802 may be an image photographed using the photographing device 120, or may be an image photographed by another camera different from the photographing device 120.
  • the second type of shredded tobacco is the same blend as the first type of shredded tobacco, but the leaf tobacco is collected at a different time or the manufacturing lot of the tobacco product is different, or the state on the conveyance device 110 (for example, The extent of spread on the loading surface and lighting conditions) may be different.
  • the information processing device 130 creates initial state learning data 900 for the second type of chopped tobacco based on the image 802 (step 710).
  • FIG. 9 shows exemplary initial state training data 900 that has been created.
  • the learning data 900 in the initial state includes color information 902 and annotation information 904 for each pixel of the image 802.
  • color information 902 and annotation information 904 are set to information representing the second type of chopped tobacco for all pixels. More specifically, attribute 1 of the annotation information 904 may be set to "chopped tobacco" for all pixels, and attribute 2 may be set to "blend B" indicating the second type for all pixels.
  • the information processing device 130 identifies pixels corresponding to foreign objects in the learning data 600 (one learning data 600) for the first type of chopped tobacco created in step 704, and
  • the color information 602 and annotation information 604 are extracted (step 712). For example, color information and annotation information of pixels indicated by dotted squares 606 and 608 are extracted from the learning data 600 in FIG. 6 .
  • the information processing device 130 updates the learning data 900 in the initial state for the second type of chopped tobacco using the color information and annotation information extracted from the learning data 600 for the first type of chopped tobacco (step 714). Specifically, among the pixels in the initial state learning data 900 for the second type of cut tobacco, the color information and annotation information are set for the same pixels as the foreign object pixels in the learning data 600 for the first type of cut tobacco. , is replaced with the color information and annotation information extracted from the learning data 600 for the first type of chopped tobacco.
  • FIG. 10 shows updated exemplary training data 1000 for a second type of cut tobacco.
  • This learning data 1000 shows an example in which the initial state learning data 900 in FIG. 9 is updated with the learning data 600 in FIG. 6.
  • the color information and annotation information of pixels indicated by thick dotted squares 1006 and 1008 are the same as the color information and annotation information of pixels indicated by dotted squares 606 and 608 in FIG. information has been replaced.
  • the color information and annotation information of pixels other than the thick dotted squares 1006 and 1008 remain at the values in the learning data 900 in the original initial state (for example, "chopped tobacco", "blend B", etc.).
  • Steps 712-714 are repeated for all learning data 600 for the first type of cut tobacco.
  • the same number of learning data 1000 for the second type of shredded tobacco as the learning data 600 for the first type of shredded tobacco are obtained.
  • the information processing device 130 constructs a learned model LM for the second type of cut tobacco by training using these plurality of learning data 1000 (step 716). Similar to step 706 described above, a commonly known machine learning method can be used as appropriate in creating the trained model LM for the second type of cut tobacco.
  • the color information and annotation information of the pixels corresponding to the foreign matter extracted from the learning data 600 for the first type of chopped tobacco are
  • the learning data 1000 for the second type of shredded tobacco is created by incorporating the information based on the shredded tobacco image 802 (that is, the learning data 900). Therefore, in addition to adding annotation information to the learning images of the first type of cut tobacco, there is no need to separately add annotation information to the images of the second type of cut tobacco. Therefore, when creating a trained model for detecting foreign objects in various types (blends) of chopped tobacco, it is possible to reduce the time and effort required to prepare separate training images for each blend and add annotation information. can. As a result, highly accurate trained models compatible with various types of cut tobacco can be created using a simple method.

Abstract

様々な種類の刻みたばこに対して精度良く異物検出を行う。　異物検査装置は、既知の異物が混入した刻みたばこを撮影した画像を学習データとして用いて学習を行った学習済みモデルと、前記刻みたばこの画像と前記学習済みモデルとを用いて、前記刻みたばこ中の異物を検出するように構成された異物検出部と、前記学習済みモデルの学習を行う学習部と、を備え、前記学習データは、画像の画素毎に、色情報と、刻みたばこと異物を識別するアノテーション情報と、を有し、前記学習部は、第１の種類の刻みたばこに関する前記学習データから異物に対応する画素の色情報およびアノテーション情報を取り出し、取り出した色情報およびアノテーション情報を、異物を含まない第２の種類の刻みたばこの画像に組み込むことによって、前記第２の種類の刻みたばこに関する学習データを作成する、ように構成される。

Description

異物検査装置
　本発明は、異物検査装置に関する。特に、本発明は、刻みたばこの画像を用いて刻みたばこ中の異物を検出するための異物検査装置に関する。
　従来たばこ製造業では、裁刻装置で乾燥葉タバコを刻みたばこへと連続的に処理する直前に、乾燥葉タバコに含まれる異物を光学的に検出する装置、および検出された異物を風選する装置が知られている（例えば特許文献１参照）。しかし、それらの装置でも検出・排除されなかった異物は、刻みたばこと同等の大きさの粒子・細片へ裁刻され、刻みたばこへ混入する虞がある。また、加熱式たばこの材料である再構成たばこシートの製造においても、粉砕装置で乾燥葉タバコを乾燥葉タバコ葉片へと粉砕する直前に、異物を検出する装置を適用することが考えられるものの、それらの装置でも検出・排除されなかった異物は、刻みたばこと同等の大きさの粒子・細片へ粉砕され、再構成たばこシートの製造工程へ混入する虞がある。
　乾燥葉タバコに混入する異物は、圃場で混獲される雑草・混入する石、圃場や葉タバコの乾燥工程で使用される農業用梱包資材（段ボール・紙・布・紐・プラスチック・スポンジ・フィルム等）であり、その態様（幾何学的特性として形状・厚さ、物理的特性として密度、光学的特性として色（明度・彩度）・透明度、化学的特性として素材）は不定である。それら態様が不定である異物・細片は、光学的に検出できるとは限らず、風選による排除にかかりにくい。従来、風選する装置で排除されなかった前述の異物は、粉砕装置から刻みたばこを搬送するベルトコンベアの横へ人を配置し、人により目視で確認し手で取り除かれていた。この作業は、従事する人にとり大きな負担であり、技術的な解決手段が求められていた。
特許第５８６４４８８号公報
　画像認識により、刻みたばこ中の異物を検出することが可能である。ここで、乾燥葉タバコは、Nicotiana属の植物の農産品であり、植物の種類、品種、産地、年産、組織（葉・葉脈・葉柄・茎）、着位（植物の茎頂側の葉～根側の葉）、生育条件（日照・気温・降雨量）、収穫方法（幹刈・葉のみ収穫・一斉収穫・適時収穫）、生育期間、収穫時期、収穫後の乾燥方法（気流乾燥、熱乾燥、天日乾燥）、乾燥の品質、貯蔵期間により、色相・色沢が異なる。さらに乾燥葉タバコは任意の割合で混合（ブレンド）されたうえで裁刻され刻みたばことなる。
　そのため、乾燥葉タバコのブレンドや各種条件によって、異物検出における画像認識の精度に差が出る場合がある。
　上述した課題を解決するために、本発明の一態様は、刻みたばこに含まれている異物を検出するための異物検査装置であって、前記刻みたばこを搬送するように構成された搬送装置と、前記搬送装置の搬送路上を搬送される前記刻みたばこを撮影する撮影装置と、既知の異物が混入した刻みたばこを撮影した画像を学習データとして用いて学習を行った学習済みモデルと、前記撮影装置によって撮影された、前記搬送装置の搬送路上を搬送される前記刻みたばこの画像と、前記学習済みモデルとを用いて、前記刻みたばこ中の異物を検出するように構成された異物検出部と、前記学習済みモデルの学習を行う学習部と、を備え、前記学習データは、画像の画素毎に、色情報と、刻みたばこと異物を識別するアノテーション情報と、を有し、前記学習部は、第１の種類の刻みたばこに関する前記学習データから異物に対応する画素の色情報およびアノテーション情報を取り出し、取り出した色情報およびアノテーション情報を、異物を含まない第２の種類の刻みたばこの画像に組み込むことによって、前記第２の種類の刻みたばこに関する学習データを作成する、ように構成される、異物検査装置を含む。前述したように、乾燥葉タバコに混入する異物は、その態様（幾何学的特性、物理的特性、光学的特性）は不定であり、また、乾燥葉タバコは任意の割合で混合（ブレンド）されたうえで裁刻され刻みたばことなる。従って、刻みたばこの製造工程において異物とブレンドの組み合わせは無数に存在することになるが、精度良く異物検出を行うために、異物とブレンドの組み合わせごとに学習データを作成することは困難である。なぜなら、すべての異物とブレンドの組み合わせについて、刻みたばこの試料を製造ラインに組み込まれた異物検査装置に通過させて学習データを作成するとすれば、その間ずっと製造工程を停止せざるを得ず、停止期間の長期化が避けられないからである。その困難さに対し、前記学習部は、第１の種類の刻みたばこに関する前記学習データから異物に対応する画素の色情報およびアノテーション情報を取り出し、取り出した色情報およびアノテーション情報を、異物を含まない第２の種類の刻みたばこの画像に組み込むことによって、前記第２の種類の刻みたばこに関する学習データを作成するので、学習部が画像とアノテーション情報を元に演算するだけで、新たなブレンドに対応する新たな学習データを作成できる。異物とブレンドの組み合わせごとに、刻みたばこの試料を製造ラインに組み込まれた異物検査装置に通過させて学習データを作成する必要はない。
　また、本発明の他の一態様は、上記一態様において、前記第１の種類の刻みたばこと前記第２の種類の刻みたばこは、異なるブレンドの刻みたばこである、異物検査装置を含む。
　また、本発明の他の一態様は、上記一態様において、前記アノテーション情報は、前記刻みたばこのブレンドを識別する情報、および前記異物の種類を識別する情報のうちの少なくとも一方を含む、異物検査装置を含む。
　また、本発明の他の一態様は、上記一態様において、前記アノテーション情報を入力するためのユーザインターフェイスをさらに備える、異物検査装置を含む。
　また、本発明の他の一態様は、上記一態様において、前記第２の種類の刻みたばこの画像への前記色情報およびアノテーション情報の組み込みは、前記第２の種類の刻みたばこの画像における全ての画素に対して、アノテーション情報を刻みたばこと設定するステップと、前記第２の種類の刻みたばこの画像における画素のうち、前記第１の種類の刻みたばこに関する前記学習データから取り出された色情報およびアノテーション情報と同じ画素において、色情報およびアノテーション情報を、前記第１の種類の刻みたばこに関する前記学習データから取り出された色情報およびアノテーション情報で置き換えるステップと、を含む、異物検査装置を含む。
　本発明によれば、様々な種類の刻みたばこに対して精度良く異物検出を行うことができる。
本発明の一実施形態に係る異物検査装置の概略的な構成を示す模式図である。 本発明の一実施形態に係る、刻みたばこ中に含まれる異物を検出する処理の例を示すフローチャートである。 本発明の一実施形態に係る異物検出の処理を模式的に示す図である。 本発明の一実施形態における、動画データから画像データを切り出すいくつかの態様を示す模式図である。 本発明の一実施形態における、機械学習によって学習済みモデルを作成するのに用いられる例示的な学習用画像を示す。 本発明の一実施形態における、機械学習によって学習済みモデルを作成するのに用いられる例示的な学習データを示す。 本発明の一実施形態に係る、刻みたばこ中の異物検出に用いるための学習済みモデルを作成する例示的な処理を示すフローチャートである。 本発明の一実施形態に係る、学習済みモデルの作成処理を模式的に示す図である。 本発明の一実施形態における、第２の種類の刻みたばこ用の例示的な初期状態の学習データを示す。 本発明の一実施形態における、更新された例示的な第２の種類の刻みたばこ用の学習データを示す。
　以下、図面を参照しながら本発明の実施形態について詳しく説明する。
　図１は、本発明の一実施形態に係る異物検査装置１００の概略的な構成を示す模式図である。本実施形態に係る異物検査装置１００は、搬送装置１１０、撮影装置１２０、情報処理装置１３０、および制御装置１４０を備える。情報処理装置１３０は、撮影装置１２０および制御装置１４０と通信可能に接続され、制御装置１４０は、さらに搬送装置１１０と通信可能に接続されている。
　搬送装置１１０は、刻みたばこを搬送するように構成される。例えば、搬送装置１１０はベルトコンベアであってよい。搬送装置１１０の上流側には、不図示の裁刻機が配置され、搬送装置１１０の下流側には、不図示の巻上機が配置される。裁刻機は、乾燥葉タバコを裁刻して、それにより得られる刻みたばこをベルトコンベア１１０の上流部分に供給する。裁刻機から供給された刻みたばこは、ベルトコンベア１１０上を下流へ向けて搬送され、巻上機まで運ばれる。巻上機は、ベルトコンベア１１０を運ばれてきた刻みたばこを巻紙で巻いて、紙巻きたばこに成形する。一例として、搬送装置１１０は、上流側と下流側の２つ以上のベルトコンベア１１０ａ、１１０ｂから構成されてもよく、刻みたばこが上流側のベルトコンベア１１０ａの下流側末端から下流側のベルトコンベア１１０ｂ上へ落下するように、これら２つ以上のベルトコンベア１１０ａ、１１０ｂが配置されるのであってもよい。ベルトコンベア１１０ａ、１１０ｂは、上方から見て直線に配置されてもよいし、Ｌ字型に配置されてもよい。
　撮影装置１２０は、搬送装置１１０上を搬送される刻みたばこを撮影するように配置されたカメラである。撮影装置１２０は、搬送装置１１０上を搬送される刻みたばこを撮影して動画データを生成し、情報処理装置１３０へ動画データを送信する。なお、撮影装置１２０は、刻みたばこの静止画を撮影し静止画データを情報処理装置１３０へ送信するのであってもよい。撮影装置１２０は、搬送装置１１０上に刻みたばこが載置されている幅以上の撮影範囲を有することが好ましい。撮影装置１２０は、複数台設けられてよい。例えば、撮影装置１２０は、刻みたばこの搬送方向に沿って、上流側の撮影装置１２０ａと下流側の撮影装置１２０ｂに分けて設けられてよい。
　情報処理装置１３０は、撮影装置１２０によって撮影された画像を用いて、刻みたばこに含まれる異物を検出するように構成されたコンピュータである。典型的に、情報処理装置（コンピュータ）１３０は、プロセッサ、メモリ（例えばＲＡＭなどのワーキングメモリ）、永続的記憶のためのローカル記憶装置（例えばハードディスクドライブやソリッドステートドライブなど）、通信インターフェイス（例えば撮影装置１２０や制御装置１４０との通信機能を備えた通信デバイス）、ユーザインターフェイス（例えばキーボード、ディスプレイ等）を備えてよい。情報処理装置１３０は、ＬＡＮまたはインターネットを介して撮影装置１２０と制御装置１４０に接続されるのであってもよい。データは、ローカル記憶装置の代わりに、クラウド上のデータストレージに保存されてもよい。情報処理装置１３０の機能の一部または全部が、クラウドコンピューティングによって提供されてもよい。
　制御装置１４０は、情報処理装置１３０からの指示に基づいて、搬送装置１１０の動作を制御するように構成される。例えば、情報処理装置１３０において刻みたばこ中に異物が検出された場合、情報処理装置１３０は、搬送装置１１０が刻みたばこの搬送を停止すべきであることを示す搬送停止信号を制御装置１４０へ送信し、これに応じて、制御装置１４０は、搬送装置１１０に対して刻みたばこの搬送の停止を指示する。
　異物検査装置１００は、オプションとして、さらに、ベルコトンベア１１０上の刻みたばこを平らにならすための１または複数のレーキ１７０、刻みたばこの表面に異物を露出させやすくするためにベルトコンベア１１０上の刻みたばこを撹拌する撹拌装置１８０、および、検出された異物を空気噴流や吸引によって除去する異物除去装置１９０を備えてもよい。レーキ１７０は、撮影装置１２０よりも上流側に配置されることが好ましい。撮影装置１２０が複数台設けられる場合、撹拌装置１８０は、上流側の撮影装置１２０ａと下流側の撮影装置１２０ｂとの間に配置されることが好ましい。撹拌装置１８０が２つの撮影装置の間に配置されることにより、刻みたばこに埋もれて上流側の撮影装置１２０ａでは捉えられなかった異物を、撹拌装置１８０で表出させ下流側の撮影装置１２０ｂで捉えやすくすることができる。なお、刻みたばこが上流側のベルトコンベア１１０ａから下流側のベルトコンベア１１０ｂ上へ落下することによって、撹拌装置１８０と同様の効果を奏させることもできる。
　図２は、本実施形態に係る情報処理装置１３０が刻みたばこ中に含まれる異物を検出するために実行する処理の例を示すフローチャートである。情報処理装置１３０が図２のフローチャートの一連の処理を実行することによって、情報処理装置１３０は、異物検出部として機能する。図３は、異物検出の処理を模式的に示す図である。図２および３を参照して、本実施形態に係る異物検査装置１００の動作例について説明する。
　まず、図３に示されるように、撮影装置１２０が、ベルトコンベア１１０上を搬送される刻みたばこを撮影して動画データＶＤを生成する。例えば、撮影装置１２０はベルトコンベア１１０の上方の所定位置および向きに配置され、その撮影範囲が、ベルトコンベア１１０上に広げられた刻みたばこの幅（搬送方向と垂直な方向における広がりの幅）以上となるように設定されている。動画データＶＤの時間的長さは、任意の長さであってよい。例えば、撮影装置１２０は、所定の時間的長さ（例えば数秒から数十秒）で区切られた連続する複数の動画データＶＤを生成してもよいし、あるいは、時間的に区切られない１つのストリーミング動画データＶＤを生成してもよい。撮影装置１２０において生成された動画データＶＤは、例えば情報処理装置１３０からの要求に応じて、情報処理装置１３０へ送信される。
　情報処理装置１３０は、動画データＶＤを撮影装置１２０から取得する（ステップ２０２）。例えば、情報処理装置１３０は、所定の時間間隔で（例えば３０秒毎に）定期的に撮影装置１２０へ動画取得要求を送り、それら各要求に対する応答として、撮影装置１２０から所定の時間的長さ（例えば３０秒）の最新の動画データＶＤを順次取得するのであってよい。情報処理装置１３０は、撮影装置１２０からストリーミング方式で送信される動画データＶＤを取得するのであってもよい。撮影装置１２０が複数台設けられる場合、情報処理装置１３０は、各撮影装置１２０ａ、１２０ｂから動画データＶＤを取得してよい。
　次に、情報処理装置１３０は、取得した動画データＶＤから、所定の時間間隔の複数の静止画データ（以下、単に画像データと称する）ＳＤを生成する（ステップ２０４）。動画データＶＤから画像データＳＤを切り出す所定の時間間隔は、例えば、各画像データＳＤにキャプチャーされる刻みたばこのエリアの間に隙間が生じないように（即ち、ベルトコンベア１１０上の刻みたばこ全体が一連の画像データＳＤでカバーされるように）設定されてよい。あるいは、各画像データＳＤにキャプチャーされる刻みたばこのエリアの間に隙間が存在してもよい。
　一例として、ベルトコンベア１１０上の刻みたばこが撮影装置１２０の撮影範囲を５秒で横切るような搬送速度で搬送される場合、３０秒の長さの動画データＶＤから、（ｉ）１秒毎の３０枚の画像データＳＤが生成されてもよいし、（ｉｉ）５秒毎の６枚の画像データＳＤが生成されてもよいし、（ｉｉｉ）１０秒毎の３枚の画像データＳＤが生成されてもよい。（ｉ）の場合、図４の（ａ）に示されるように、隣り合う画像データＳＤのエリアが１／５ずつ順に重なり、ベルトコンベア１１０上の刻みたばこの任意の部分は連続する５つの画像データＳＤに含まれる。（ｉｉ）の場合には、図４の（ｂ）に示されるように、隣り合う画像データＳＤのエリアは重なりも隙間も持たず、ベルトコンベア１１０上の刻みたばこの任意の部分はいずれか１つの画像データＳＤにのみ含まれる。さらに、（ｉｉｉ）の場合には、図４の（ｃ）に示されるように、隣り合う画像データＳＤのエリアの間には隙間が存在し、ベルトコンベア１１０上の刻みたばこにはいずれの画像データＳＤにもキャプチャーされない部分が存在する。なお、撮影装置１２０が所定の時間間隔で刻みたばこを撮影することにより静止画データＳＤを生成し、情報処理装置１３０に提供してもよい。
　次に、情報処理装置１３０は、所定の学習データ（教師データ）を用いて事前に機械学習された学習済みモデルＬＭに基づいて、複数の画像データＳＤの各々について、当該画像データＳＤに含まれる刻みたばこと異物を識別する（ステップ２０６）。学習済みモデルＬＭは、画像データＳＤを入力として受け付け、出力データとして、例えば、当該画像データＳＤに写っている刻みたばこの種類、異物の有無、および異物がある場合にはその位置、形状、種類を示す情報を出力するように構成される。情報処理装置１３０は、画像データＳＤの画素ごとに、その画素が刻みたばこに該当するか異物に該当するか識別してもよい。本実施形態における学習データおよびそれを用いた学習済みモデルＬＭの作成方法については後述する。
　次に、情報処理装置１３０は、刻みたばこ中に異物が検出されたか否かを判定し、異物が検出された場合には、所定の異常検知処理を行う（ステップ２０８、２１０）。例えば、画像データＳＤが上記（ｉ）のような態様で生成された場合、異物の検出確度を高めるために、連続する複数の（ｎ枚（上記例では２≦ｎ≦５）の）画像データＳＤにおいて異物が識別されたことをもって、刻みたばこ中に異物が検出されたと判定してよい。また、画像データＳＤが上記（ｉｉ）または（ｉｉｉ）のような態様で生成された場合には、単に１つの画像データＳＤにおける識別結果に基づいて、異物が検出されたか否かを判定すればよい。さらに、撮影装置１２０が複数台設けられる場合は、それら複数の撮影装置１２０から取得された画像データＳＤにおける識別結果に基づいて、異物が検出されたか否かを判定してもよい。
　異物が検出された場合の異常検知処理として、例えば、情報処理装置１３０は、搬送装置１１０が刻みたばこの搬送を停止すべきであることを示す搬送停止信号を制御装置１４０へ送信してよく、これに応じて、制御装置１４０は、搬送装置１１０に対して刻みたばこの搬送の停止を指示するのであってよい。搬送停止信号の送信に加えて、またはその代わりに、情報処理装置１３０は、ユーザインターフェイスに所定の異常報知（例えばディスプレイへの表示またはアラーム音発生など）を行ってもよい。異物除去装置１９０が駆動されてもよい。
　図５は、本実施形態において機械学習によって学習済みモデルＬＭを作成するのに用いられる例示的な学習用画像を示す。学習用画像５００は、既知の異物が混入した刻みたばこを撮影し得られた画像である。例えば、学習用画像５００は、異物の検出を行うために実際に異物検査装置１００を稼動するのに先立ち、意図的に既知の異物を混入させた事前評価用の刻みたばこを搬送装置１１０で搬送し、撮影装置１２０で撮影することによって得られた複数の画像データＳＤであってよい。図５は、１つの学習用画像５００（画像データＳＤ）を示している。図５に示されるように、学習用画像５００は、刻みたばこに対応する画素群５０２に加えて、異物に対応する画素群５０４を含む。異物に対応する画素群５０４は、刻みたばこに対応する画素群５０２とは異なる色および／または明るさを有している。
　図６は、本実施形態において機械学習によって学習済みモデルＬＭを作成するのに用いられる例示的な学習データ（教師データ）を示す。学習データ６００は、学習用画像５００に基づいて、具体的には、学習用画像５００にアノテーション情報を付与することによって作成される。図６は、１つの学習用画像５００（画像データＳＤ）に対応する１つの学習データ６００を示している。複数の学習用画像５００に対応して、図６と同様の複数の学習データ６００が作成される。図６に示されるように、学習データ６００は、学習用画像５００の画素毎に、色情報６０２とアノテーション情報６０４を有する。色情報６０２は、当該画素の色および明るさを示し、画像データＳＤにおける数値と同じ数値であってよい。
　アノテーション情報６０４は、当該画素が刻みたばこと異物のいずれに該当するかを識別する情報である。アノテーション情報６０４は、さらに、刻みたばこと異物以外のもの（例えば、学習用画像に背景として写っているベルトコンベア１１０の積載面など）を識別してもよい。アノテーション情報６０４は、少なくとも刻みたばこと異物を識別できればよく、例えば、文字、文字列、数値、記号、またはそれらの任意の組み合わせからなるテキストデータであってよい。アノテーション情報６０４は、図６に示されるように、属性１と属性２を含んでよい。属性１は、「刻みたばこ」「異物」「その他」のような大分類であってよく、属性２は、「刻みたばこ」「異物」のような分類よりも下位の小分類であってよい。例えば、属性２は、刻みたばこのブレンドを識別するブレンドコード（例えば「ブレンドＡ」）、および異物の種類を識別する情報（例えば「段ボール」「雑草」「紙」等）によって特定されてよい。なお、刻みたばこには複数種類の異物が混入し得るので、１つの学習データ６００における属性２のうち異物に対応する箇所には、複数の異なる情報が付与されることがある。一方、搬送装置１１０は通常、同時に１種類の刻みたばこしか搬送しないので、１つの学習データ６００（すなわち１つの学習用画像５００）における属性２のうち刻みたばこに対応する箇所には、当該１種類の刻みたばこを示す情報（例えば「ブレンドＡ」）だけが付与される。
　アノテーション情報６０４（すなわち属性１および属性２）は、人手によって付与してもよいし、あるいは何らかの自動的な方法で付与されてもよい。例えば、学習用画像５００に撮影されている事前評価用の刻みたばこの種類（ブレンド）は既知であるはずなので、最初に自動的に、学習データ６００の全ての画素について、初期データとして属性１に「刻みたばこ」、属性２に「ブレンドＡ（当該既知のブレンド名）」とアノテーション情報が付与されてよい。次いで、学習データ６００の画素のうち異物の部分について、学習済みモデルＬＭの作成者が、対応する学習用画像５００を目視することにより異物の種類を確認し、属性１を「異物」に、属性２をその異物の種類の名称（例えば「段ボール」）に変更するのであってよい。別の例として、属性１については、既存の画像認識アルゴリズムを用いた画像処理により茶色またはそれに近い色の画素とそれ以外の画素とを識別し、前者の画素の属性１には「刻みたばこ」、後者の画素の属性１には「異物」とアノテーション情報を自動的に付与してもよい。この場合、属性２については、上記例と同様の方法により、刻みたばこに対応する画素の属性２に「ブレンドＡ（既知のブレンド名）」が付与され、異物に対応する画素の属性２には、目視により確認された異物の種類の名称が付与されるのであってよい。
　このようにして作成された複数の学習データ６００（学習データセット）を用いた訓練により、学習済みモデルＬＭが構築される。例えば、ブレンドＡの刻みたばこを撮影した学習用画像５００に基づいて作成された学習データ６００を用いることにより、ブレンドＡの刻みたばこと異物を識別することが可能な学習済みモデルＬＭを構築することができる。ここで、ブレンドの異なる刻みたばこ、例えばブレンドＡの刻みたばことブレンドＢの刻みたばこは色が異なることがあり、そのような場合、ブレンドＡの刻みたばこを使用して作成された学習済みモデルＬＭでは、ブレンドＢの刻みたばこに含まれている異物を検出できないか、検出精度が低下するおそれがある。ブレンドＢの刻みたばこに含まれている異物を正しく検出するためには、ブレンドＢの刻みたばこを撮影した学習用画像５００に基づいて新たな学習データセット（図６と同様の複数の学習データ６００）を作成し、この新たな学習データを用いて、ブレンドＢの刻みたばこ用の学習済みモデルＬＭを別途構築する必要がある。
　しかしながら、様々なブレンドの刻みたばこに対応するために、ブレンド毎に別個の学習用画像５００を用意し、そのそれぞれにアノテーション情報を付与して学習データ６００を作成するのは、多大な手間と時間がかかり非効率である。そこで本実施形態に係る異物検査装置１００（あるいは情報処理装置１３０）では、すでに作成されたあるブレンドの刻みたばこ用の学習データ６００を利用して、別のブレンドの刻みたばこ用の学習データを作成する。以下、図７～図１０を参照し、そのような処理の詳細について説明する。
　図７は、本実施形態に係る情報処理装置１３０が刻みたばこ中の異物検出に用いる学習済みモデルＬＭを作成するために実行する例示的な処理を示すフローチャートである。情報処理装置１３０が図７のフローチャートの一連の処理を実行することによって、情報処理装置１３０は、学習部として機能する。図８は、学習済みモデルの作成処理を模式的に示す図である。
　まず、情報処理装置１３０は、第１の種類（例えばブレンドＡ）の刻みたばこの学習用画像５００を取得する（ステップ７０２）。学習用画像５００は、図５を参照して説明したとおり、意図的に既知の異物を混入させた刻みたばこを撮影した画像である。第１の種類の刻みたばこを撮影した複数枚の学習用画像５００が用意され、情報処理装置１３０に与えられる。
　次に、情報処理装置１３０は、学習用画像５００とアノテーション情報に基づいて、第１の種類の刻みたばこ用の学習データ６００を作成する（ステップ７０４）。学習データ６００は、図６を参照して説明したとおりのものである。アノテーション情報６０４は、前述したように、人手によって付与してもよいし、あるいは何らかの自動的な方法で付与されてもよい。１枚の学習用画像５００から１つの学習データ６００が作成されることにより、第１の種類の刻みたばこについての複数の学習データ６００が得られる。
　次に、情報処理装置１３０は、作成された複数の学習データ６００を用いた訓練により、第１の種類の刻みたばこ用の学習済みモデルＬＭを構築する（ステップ７０６）。学習済みモデルＬＭの作成には、一般的な公知の機械学習の方法を適宜用いることができる。
　次に、情報処理装置１３０は、第２の種類（例えばブレンドＢ）の刻みたばこの画像８０２を取得する（ステップ７０８）。画像８０２は、異物を含まないように調整された第２の種類の刻みたばこを撮影した画像（静止画）である。画像８０２は１枚だけあればよい。画像８０２は、撮影装置１２０を用いて撮影された画像であってもよいし、撮影装置１２０とは異なる他のカメラで撮影されたものであってもよい。第２の種類の刻みたばこは、第１の種類の刻みたばことブレンドは同じであるが、葉タバコの採取時期やたばこ製品の製造ロットが異なるもの、あるいは搬送装置１１０上の状態（例えば、搬送装置１１０の積載面での広がり具合や照明条件）が異なるものであってもよい。
　次に、情報処理装置１３０は、画像８０２に基づいて、第２の種類の刻みたばこ用の初期状態の学習データ９００を作成する（ステップ７１０）。図９は、作成された例示的な初期状態の学習データ９００を示す。初期状態の学習データ９００は、学習データ６００と同様に、画像８０２の画素毎に、色情報９０２とアノテーション情報９０４を有する。図９に示されるように、初期状態の学習データ９００は、全ての画素について、色情報９０２とアノテーション情報９０４が第２の種類の刻みたばこを表す情報に設定される。さらに特定すれば、アノテーション情報９０４のうち属性１は、全ての画素について「刻みたばこ」と設定され、属性２は、全ての画素について第２の種類を示す「ブレンドＢ」と設定されてよい。
　次に、情報処理装置１３０は、ステップ７０４で作成済みの第１の種類の刻みたばこ用の学習データ６００（１つの学習データ６００）において、異物に対応する画素を特定し、特定されたそれらの画素の色情報６０２とアノテーション情報６０４を取り出す（ステップ７１２）。例えば、図６の学習データ６００から、点線の四角６０６および６０８で示される画素の色情報とアノテーション情報が取り出される。
　次に、情報処理装置１３０は、第１の種類の刻みたばこ用の学習データ６００から取り出した色情報とアノテーション情報を用いて、第２の種類の刻みたばこ用の初期状態の学習データ９００を更新する（ステップ７１４）。具体的に、第２の種類の刻みたばこ用の初期状態の学習データ９００における画素のうち、第１の種類の刻みたばこ用の学習データ６００における異物の画素と同じ画素において、その色情報とアノテーション情報を、第１の種類の刻みたばこ用の学習データ６００から取り出した色情報とアノテーション情報で置き換える。
　図１０は、更新された例示的な第２の種類の刻みたばこ用の学習データ１０００を示す。この学習データ１０００は、図９の初期状態の学習データ９００を図６の学習データ６００によって更新した例を示している。図１０の例の更新後の学習データ１０００において、太い点線の四角１００６および１００８で示される画素の色情報とアノテーション情報が、図６における点線の四角６０６および６０８で示される画素の色情報とアノテーション情報に置換されている。太い点線の四角１００６および１００８以外の画素の色情報とアノテーション情報は、元の初期状態の学習データ９００における値（例えば「刻みたばこ」「ブレンドＢ」等）のままである。
　ステップ７１２～７１４は、第１の種類の刻みたばこ用の全ての学習データ６００について繰り返される。これにより、第１の種類の刻みたばこ用の学習データ６００と同じ数の、第２の種類の刻みたばこ用の複数の学習データ１０００が得られる。
　次に、情報処理装置１３０は、これら複数の学習データ１０００を用いた訓練により、第２の種類の刻みたばこ用の学習済みモデルＬＭを構築する（ステップ７１６）。前述のステップ７０６と同様、第２の種類の刻みたばこ用の学習済みモデルＬＭの作成においても、一般的な公知の機械学習の方法を適宜用いることができる。
　以上のように、本実施形態に係る異物検査装置１００によれば、第１の種類の刻みたばこ用の学習データ６００から取り出された異物に対応する画素の色情報とアノテーション情報が、第２の種類の刻みたばこの画像８０２に基づく情報（すなわち学習データ９００）に組み込まれることによって、第２の種類の刻みたばこ用の学習データ１０００が作成される。そのため、第１の種類の刻みたばこの学習用画像にアノテーション情報を付与するほかに、別途、第２の種類の刻みたばこの画像にアノテーション情報を付与する必要がない。したがって、様々な種類（ブレンド）の刻みたばこにおいて異物検出をするための学習済みモデルを作成するにあたって、ブレンド毎に別個の学習用画像を用意してアノテーション情報を付与する手間と時間を削減することができる。これにより、様々な種類の刻みたばこに対応した高精度な学習済みモデルを、簡便な方法によって作成することができる。
　以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。
１００　異物検査装置
１１０　搬送装置
１２０　撮影装置
１３０　情報処理装置
１４０　制御装置
１７０　レーキ
１８０　撹拌装置
１９０　異物除去装置
 

Claims (5)

  1. 　刻みたばこに含まれている異物を検出するための異物検査装置であって、
    　前記刻みたばこを搬送するように構成された搬送装置と、
    　前記搬送装置の搬送路上を搬送される前記刻みたばこを撮影する撮影装置と、
    　既知の異物が混入した刻みたばこを撮影した画像を学習データとして用いて学習を行った学習済みモデルと、
    　前記撮影装置によって撮影された、前記搬送装置の搬送路上を搬送される前記刻みたばこの画像と、前記学習済みモデルとを用いて、前記刻みたばこ中の異物を検出するように構成された異物検出部と、
    　前記学習済みモデルの学習を行う学習部と、
    　を備え、
    　前記学習データは、画像の画素毎に、色情報と、刻みたばこと異物を識別するアノテーション情報と、を有し、
    　前記学習部は、
    　第１の種類の刻みたばこに関する前記学習データから異物に対応する画素の色情報およびアノテーション情報を取り出し、取り出した色情報およびアノテーション情報を、異物を含まない第２の種類の刻みたばこの画像に組み込むことによって、前記第２の種類の刻みたばこに関する学習データを作成する、
    　ように構成される、異物検査装置。
  2. 　前記第１の種類の刻みたばこと前記第２の種類の刻みたばこは、異なるブレンドの刻みたばこである、請求項１に記載の異物検査装置。
  3. 　前記アノテーション情報は、前記刻みたばこのブレンドを識別する情報、および前記異物の種類を識別する情報のうちの少なくとも一方を含む、請求項１または２に記載の異物検査装置。
  4. 　前記アノテーション情報を入力するためのユーザインターフェイスをさらに備える、請求項３に記載の異物検査装置。
  5. 　前記第２の種類の刻みたばこの画像への前記色情報およびアノテーション情報の組み込みは、
    　前記第２の種類の刻みたばこの画像における全ての画素に対して、アノテーション情報を刻みたばこと設定するステップと、
    　前記第２の種類の刻みたばこの画像における画素のうち、前記第１の種類の刻みたばこに関する前記学習データから取り出された色情報およびアノテーション情報と同じ画素において、色情報およびアノテーション情報を、前記第１の種類の刻みたばこに関する前記学習データから取り出された色情報およびアノテーション情報で置き換えるステップと、
    　を含む、請求項１から４のいずれか１項に記載の異物検査装置。
PCT/JP2022/029620 2022-08-02 2022-08-02 異物検査装置 WO2024028971A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/029620 WO2024028971A1 (ja) 2022-08-02 2022-08-02 異物検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/029620 WO2024028971A1 (ja) 2022-08-02 2022-08-02 異物検査装置

Publications (1)

Publication Number Publication Date
WO2024028971A1 true WO2024028971A1 (ja) 2024-02-08

Family

ID=89848688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029620 WO2024028971A1 (ja) 2022-08-02 2022-08-02 異物検査装置

Country Status (1)

Country Link
WO (1) WO2024028971A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003207456A (ja) * 2002-01-10 2003-07-25 Jt Engineering Inc 異物検査装置
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
WO2019188040A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2020106461A (ja) * 2018-12-28 2020-07-09 Tdk株式会社 画像生成装置及び外観検査装置
CN112730445A (zh) * 2021-01-19 2021-04-30 红云红河烟草(集团)有限责任公司 一种烟丝杂物视像检测系统
CN113600508A (zh) * 2021-07-06 2021-11-05 杭州安脉盛智能技术有限公司 一种基于机器视觉的烟叶烟包霉变及杂物监测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003207456A (ja) * 2002-01-10 2003-07-25 Jt Engineering Inc 異物検査装置
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
WO2019188040A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2020106461A (ja) * 2018-12-28 2020-07-09 Tdk株式会社 画像生成装置及び外観検査装置
CN112730445A (zh) * 2021-01-19 2021-04-30 红云红河烟草(集团)有限责任公司 一种烟丝杂物视像检测系统
CN113600508A (zh) * 2021-07-06 2021-11-05 杭州安脉盛智能技术有限公司 一种基于机器视觉的烟叶烟包霉变及杂物监测系统

Similar Documents

Publication Publication Date Title
Momin et al. Machine vision based soybean quality evaluation
US10197504B2 (en) Method and system of detecting foreign materials within an agricultural product stream
Ni et al. Deep learning image segmentation and extraction of blueberry fruit traits associated with harvestability and yield
EP2548147A2 (en) Computer vision and machine learning software for grading and sorting plants
Pourdarbani et al. Study on an automatic sorting system for Date fruits
JP2019526061A (ja) 食品加工産業の製品の製品固有データを取得および分析するための装置、ならびにその装置を備えたシステムおよび食品加工産業の製品処理方法
Dammer et al. Detection of head blight (Fusarium ssp.) in winter wheat by color and multispectral image analyses
CN104807829A (zh) 一种咀棒视觉检测系统及方法
JP5753051B2 (ja) 圃場情報生成システム
CN106455594B (zh) 虾加工系统和方法
CN105806751A (zh) 一种联合收割机粮箱中谷物破碎在线监测系统及方法
CN111359907B (zh) 基于嵌入式深度学习的小麦感染赤霉病病粒率实时在线检测系统及方法
US20210378170A1 (en) Method for controlling the operation of a machine for harvesting root crop
CN110174401A (zh) 一种基于视觉成像技术的鸡胸肉木质化程度分级装置及其方法
Hamidisepehr et al. Comparison of object detection methods for corn damage assessment using deep learning
WO2024028971A1 (ja) 異物検査装置
JP2022008924A (ja) 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム
JP5455409B2 (ja) 異物選別方法および異物選別設備
CN115128033A (zh) 烟叶检测方法、装置和系统、存储介质
Rodriguez-Sanchez et al. Cotton yield estimation from aerial imagery using machine learning approaches
Sara et al. VegNet: An organized dataset of cauliflower disease for a sustainable agro-based automation system
Anderegg et al. Combining high-resolution imaging, deep learning, and dynamic modeling to separate disease and senescence in wheat canopies
Behera et al. Image processing based detection & size estimation of fruit on mango tree canopies
GB2458951A (en) Method and apparatus for removing roots from soil
Adeleke A Review of Plastic Contamination Challenges and Mitigation Efforts in Cotton and Textile Milling Industries. AgriEngineering 2023, 5, x

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953960

Country of ref document: EP

Kind code of ref document: A1